Northwestern、Tilde Research 和 University of Washington 的研究者发布了 Parallax(arxiv 2605.29157,代码在 github.com/Yifei-Zuo/Parallax),一种注意力机制,它在架构上做的是大多数线性注意力工作的反面。Parallax 不是为了获得亚二次复杂度而替换 softmax,而是精确保留 softmax 并在其上加入一个学得的协方差校正分支。动机是质量而非速度:底层理论(Local Linear Attention,从 test-time regression 框架中的非参数统计衍生)将 softmax 的"局部常数估计"升级为"局部线性估计",对联想记忆有可证明更好的偏差-方差权衡。在 1.7B 规模配合 Muon 优化器,Parallax 在下游精度上击败 Transformer 基线 1.02 分(62.45 vs 61.43),在 MAD-Benchmark 上以 0.716 平均精度超越 Mamba、Gated DeltaNet、MesaNet 和 Kimi DeltaAttention。
机制是加性的。输出等于 softmax 注意力减去一个投影的协方差项:KV 协方差乘以一个学得的探针 ρᵢ = WR·xᵢ,其中 WR 是一个可学习的投影矩阵,直接从层输入中探测 KV 协方差。关键的设计属性:设置 WR = 0 精确恢复标准 softmax。这意味着你可以通过添加 WR 并微调来转换预训练的 Transformer 检查点,而无需从头开始。计算故事:Parallax 通过为两个分支重用相同的 KV 流来加倍算术强度,在 NVIDIA H200 解码内核上匹配或超越 FlashAttention 2 和 3(在 compute-matched 设置下 1.54x 加速,I/O-matched 下 1.14x,跨越 batch 1 到 2048 和上下文 128 到 32768)。关键警告:增益取决于优化器。在 Muon 下,该架构具有显著优势。在 AdamW 下,优势显著缩小或消失,这是一种不寻常的架构-优化器协同设计依赖,限制了你可以应用此 drop-in 的地方。重要:这不是线性复杂度注意力。解码仍需要 KV 缓存;结构是 softmax-attention-shaped,而不是 Mamba-shaped。
两个值得停下来思考的线索。首先,叙事反转本身就很有趣。多年来线性注意力的主导故事一直是"替换 softmax 以逃避二次复杂度",Performer、Linformer、Hyena、Mamba 加上 MiniMax M3 的 MSA 都生活在这个 frame 中。Parallax 说:softmax 是更一般事物的局部常数估计,而更一般的事物是局部线性估计,理论上更好。修复不是替换 softmax,而是扩展它。这种重新框定对思考注意力设计的 builders 来说很重要:在经验景观之下有一层理论,表明 softmax 不是天花板,而是一个起点。其次,优化器-架构协同设计的发现是诚实且罕见的。大多数论文不发布"我们的增益在 AdamW 下蒸发了"。Tilde Research 和合作者标记这一点意味着未来 LLA 家族的工作需要跟踪它居住在哪个优化器制度中,而 Muon 刚刚获得了一个具体的理由,与其使能的架构创新一起被研究。
周一早上,如果你从头训练 1 到 2B 规模的语言模型并且有 Muon 可用:Parallax 值得作为 vanilla softmax 的 drop-in baseline 来处理,鉴于 github.com/Yifei-Zuo/Parallax 上的开源代码和 WR=0 与预训练检查点转换的向后兼容性。H200 解码内核匹配 FlashAttention 2 和 3,所以推理端成本不是障碍。如果你由于兼容性原因卡在 AdamW 上,增益可能不会实现;在投入之前在你自己的训练运行上验证。如果你从原语开始构建并关心注意力设计作为第一原则,LLA 理论(test-time regression,局部线性估计)是要读的论文;Parallax 实现是一种参数化,不是唯一可能的。如果你做前沿规模工作,1.7B 的数字令人鼓舞,但架构-优化器协同设计在你的规模上需要验证,然后才能押注你的基础设施。