线性注意力架构：机制、权衡与跨层路由

  • 关联论文：2607.07953
  • 作者：spark
  • 更新：2026-07-21

一句话结论

这是一篇系统化的"线性注意力架构横评 + 跨层路由改进"工作:作者把 softmax attention 与 DeltaNet、Gated DeltaNet、Kimi Delta Attention(KDA)、Gated DeltaNet-2 四种近期循环线性注意力架构放进同一套循环记忆符号下比较,在 350M 参数 / 15B token 的受控扫描里给出机制差异、训练吞吐、最终 loss 的可复现对比,并提出并验证了一种轻量跨层路由机制 Cross-Layer Value Routing (CLVR),在 DeltaNet 与 Gated DeltaNet 的匹配实验中都能进一步压低最终验证 loss。

解决的真问题

Linear attention 这条线过去两年密集出活(DeltaNet、RWKV、Mamba、Gated DeltaNet、KDA、Gated DeltaNet-2、RetNet 等),但行业普遍面临三个痛点:

  1. 机制说不清: 不同工作各自定义自己的 update rule、memory decay、erase/write 控制,横向对比要么没有,要么条件不对齐,从业者难以判断"换哪个";
  2. 训练 vs 推理被混着谈: 很多论文报"推理快",但没在同一硬件 / 同一 batch size 下报训练吞吐与最终 loss;
  3. 跨层路由是公开盲区: 线性注意力的循环 memory 天然适合跨层共享,但"下层 memory 怎么喂给上层"几乎没有系统研究。

本文用同一套符号、同一组对照实验,把这三个问题一次性回答。

核心方法

1. 统一循环记忆符号

作者把 softmax attention 与四种 linear attention 都表达成"循环记忆更新 + 当前查询读取"的同一形式:

$$ S_t = f(S_{t-1}, k_t, v_t, g_t), \quad o_t = (S_t \, q_t) / Z_t $$

其中 $S_t$ 是 step $t$ 的 memory matrix, $g_t$ 是 gate(若存在), $Z_t$ 是归一项。差异完全由 $f$ 的具体形式决定:

  • DeltaNet: 用 delta-rule 风格的"先 erase 再 write"更新,记忆擦除更精确,但实现复杂度高;
  • Gated DeltaNet: 在 delta-rule 上叠加对 $S$ 的乘性 gate(类似 GRU 的 forget gate),控制记忆衰减;
  • Kimi Delta Attention (KDA): Kimi 团队提出的 delta-rule 变体,目标是更好的 long-context;
  • Gated DeltaNet-2: 在 Gated DeltaNet 基础上优化数值稳定性与并行化。

Softmax attention 则是 $S_t$ 累积全部 $(k_i v_i^\top)$、除以全部 $\exp(\cdot)$ 的"无衰减、无擦除"极端情形。

2. 受控实验扫描

  • 规模: 350M 参数,训练 15B token;
  • 对比维度: 优化器(AdamW vs Muon)、学习率调度、纯架构 vs 混合架构(hybrid: 部分层用 linear attention、部分层用 softmax)、序列长度运行时;
  • 扩展: 在 DeltaNet 上额外跑了 1.3B 与 3B 参数的训练;
  • 下游: 一组小规模下游任务评估;
  • 诚实声明: 作者明确说本文不提供推理速度的经验基准,只报训练吞吐与迭代时间。

3. 主要实验结论(原文措辞忠实转述)

  • 在 350M / 15B 受控扫描里, Kimi Delta Attention + Muon 达到最低最终验证 loss;
  • 纯 Gated DeltaNet + AdamW 在归一化训练吞吐上最高;
  • 混合架构(hybrid) 通常以吞吐为代价换来 loss 改进;
  • Muon 在匹配架构下普遍比 AdamW 压低最终验证 loss。

4. 跨层路由 CLVR(本文方法贡献)

作者提出"下层 memory 的某个分量被路由到上层作为输入"的设计空间,并系统比较了两种最自然的方案:

# 方案 A: 把下层的 delta-rule write error 转发到上层的 value target
h_l+1 = delta_write_error(h_l) + v_l+1
# 结果: 不优于匹配基线,失败

# 方案 B (本文胜出): 把下层的 write value 转发到上层 hidden stream
h_l+1 = cross_layer_value(h_l) + h_l+1
# 即 CLVR: Cross-Layer Value Routing

CLVR 的关键观察是:value 是被记忆与查询共同消费的目标信号,把它的"已写版本"透传到上层作为残差,等价于给上层一个高带宽捷径,既不破坏下层 memory 的独立性,又提升了信息流。

实验上,CLVR 在 DeltaNet 与 Gated DeltaNet 的匹配运行中都降低了最终验证 loss,但增益是 modest(温和),作者如实标注。

关键实验与数据

  • 规模: 主扫描 350M / 15B token;扩展扫描 DeltaNet 1.3B 与 3B;
  • 评测: 最终验证 loss、归一化训练吞吐(FLOPS / step 或 token / step,原文未明确单位)、迭代时间、下游任务一组;
  • 优化器扫描: AdamW vs Muon;
  • 架构扫描: 纯线性 vs hybrid(softmax + linear);
  • 代码开源: 论文评论行明确给出仓库 https://github.com/tommasocerruti/linear-attention-architectures。

亮点与局限

亮点

  • 用同一套符号把五种架构装进同一框架,读一遍就掌握横向差异;
  • 受控实验 + 诚实声明(不报推理速度)是稀缺的可复现研究范本;
  • CLVR 是一个低成本、模块化的改进,易被吸收到现有 DeltaNet 实现里;
  • 附带优化器层 insight(Muon vs AdamW)对实际训练者很有用。

局限

  • 主扫描仅 350M / 15B,在 7B+ 上的扩展性原文未明确给出;
  • 缺少推理速度基准,而业界选型最关心的恰恰是 inference TPS / latency;
  • CLVR 的增益"modest",且只在 matched runs 上验证,跨规模 / 跨任务泛化性待补;
  • hybrid 比例、门控超参的消融规模原文未明确;
  • 没有与 Mamba-2 / RWKV-7 等同期工作做 head-to-head。

对工程落地的启发

  • 训练侧: 如果你正在用 Gated DeltaNet / KDA / DeltaNet 训练,先确认 Muon 优化器收益是否在你的硬件 / 数据配比下成立——本文提示它普遍胜 AdamW;
  • 架构选型: 长上下文训练场景,KDA 在 loss 上领先;纯吞吐优先选 Gated DeltaNet;
  • 混合栈: 多数任务 hybrid(loss 更低)但吞吐更差,需要在 loss 与 throughput 之间做权衡,而不是默认上 hybrid;
  • 跨层路由: CLVR 是低风险可加项,在已用 DeltaNet 的栈里加一行 routing 就能尝试;
  • 诚实实验: 不要把"推理快"等同于"训练快",在内部 benchmark 里分开报。

与同方向工作的关系

  • DeltaNet 系列: 直接基线,本文把它们并排比,贡献最大;
  • Gated DeltaNet / Gated DeltaNet-2: 同代工作,本文确认 Gated DeltaNet-2 数值稳定性更好;
  • Kimi Delta Attention: Kimi 团队工作,本文是首批外部受控复现之一;
  • Mamba-2 / RWKV-7: 同属 linear-recurrent 阵营,本文未做 head-to-head(局限);
  • Softmax attention / FlashAttention-3: 作为对照基线;
  • Hybrid 架构(Jamba / Zamba / Hymba): 思路一致,本文贡献了"在 Delta 系内做 hybrid"的系统数据。

适合谁读

  • LLM 训练基础设施工程师: 直接拿来做架构选型与优化器决策;
  • Linear attention 研究者: 把五种架构装进同一个符号框架,省一周阅读时间;
  • 做长上下文模型的团队: KDA vs Gated DeltaNet vs DeltaNet 的选择直接影响 long-context 性能;
  • 研究 hybrid / MoE 路由的同学: CLVR 是低成本 routing 模块的范本。

工程落地与核查（Jay）

原文事实核查

  • arXiv 2607.07953：✅ abstract 与 §3 实验结论吻合，原文关键表述（KDA+Muon 最低 loss、纯 Gated DeltaNet+AdamW 吞吐最高、hybrid 牺牲吞吐换 loss、Muon 一致优于 AdamW）均逐字可查；
  • GitHub 仓库：✅ 可访问，https://github.com/tommasocerruti/linear-attention-architectures 实为 Megatron-LM fork，支持 DeltaNet / Gated DeltaNet / KDA / Gated DeltaNet-2 / CLVR；
  • Kimi Delta Attention：✅ 溯源至 MoonshotAI/Kimi-Linear（arXiv:2510.26692, 2025），KDA 描述为 Gated DeltaNet 的 channel-wise gating 细化版，GitHub 仓库 moonshotai/Kimi-Linear 有完整实现；
  • Muon optimizer：✅ 溯源至 Keller Jordan 等人 2024 年工作（github.com/KellerJordan/muon，MIT license），核心机制为矩阵参数的梯度动量正交化（Newton-Schulz 迭代）；
  • ⚠️ 吞吐量单位：原文仅称"normalized training throughput"，未区分 FLOPS/step 与 token/step，不能与 FlashAttention 等报 TPS 的工作横向比较。

工程落地可行性

  • 训练侧：DeltaNet/Gated DeltaNet/Gated DeltaNet-2 实现可参考 GitHub 仓库；KDA 对 long-context 友好，建议在 1B 以下规模先做 ablate；
  • 推理侧：本文不报推理速度，不代表推理快——如需推理 benchmark 请另行实测；
  • 混合架构：CLVR 残差路由是低风险模块化加项，但收益取决于任务类型；
  • 硬件：主实验 350M，1.3B/3B 仅 DeltaNet，若要做 7B+ 规模需自行 ablate hybrid 比例与门控位置。

主要风险点

  1. 吞吐量单位不明确：不能直接与 FlashAttention 等报 TPS 的工作横向比较；
  2. 规模 gap：350M → 7B+ 的 loss 曲线走向未验证，KDA 领先结论未必跨规模成立；
  3. 推理缺失：选型时不能以"训练快"直接推导"推理快"；
  4. 对比基线偏少：缺 Mamba-2 / RWKV-7，可能遗漏同期更强基线；
  5. Gated DeltaNet-2 并行化：文中提到优化数值稳定性与并行化，但 CUDA 实现质量与生产级可靠性需自行验证。