Agentic 强化学习的异步难题:SAO 用单 Rollout + 双侧裁剪稳训 1000 步

  • 关联论文:2607.07508

当 LLM 走向 Agentic 任务(自动化编码、长链路工具调用),传统同步批处理 RL 管线开始失灵——必须等最慢的 rollout 返回才能更新策略。SAO 提出"单 Rollout 异步优化",在 GLM-5.2(750B-A40B)上完成生产级部署验证,可稳定训练 1000 步,在 SWE-Bench Verified 等基准上一致优于 GRPO。

为什么这件事重要

LLM 后训练的 RL 管线大多为同步批处理模式:所有 rollout 收集完毕后才开始学习。这种模式在短 horizon 任务(选择题、推理题)上能跑,但面对长 horizon Agentic 任务(自动化编码、多步工具调用)时效率极低——卡在"等最慢的那个 rollout"上。

异步 RL(rollout 到达即更新)理论上能解决,但落地有两个未充分研究的难题:

  1. 训练稳定性:off-policy 样本(由旧策略产生)大规模引入会导致梯度爆炸或策略崩溃;
  2. 任务有效性:GRPO 等主流方法依赖组采样(group-wise sampling)——同一个 prompt 产生多个候选回答,通过相对排序算优势。这与异步的单轨迹更新天然不兼容。

SAO 同时拆这两个难题。

核心机制一:单 Rollout 采样(Single-Rollout Sampling)

GRPO 的优势依赖组内比较:同一 prompt 生成 G 个回答,做相对排名。在异步设置下,如果等 G 个同 prompt 的 rollout 全部到达再更新,异步的"到达即更新"优势几乎消失。

SAO 的洞察是:一个 prompt 只产生一个 rollout,立即用该 rollout 更新策略。这完全消除了等待问题,实现真正的异步。

代价是:单 rollout 没有组内对比,优势估计只能基于绝对回报,容易受单个轨迹方差影响。SAO 通过专门设计的价值模型训练机制缓解,但具体公式原文未明确披露。

核心机制二:严格双侧 Token 级裁剪

这是 SAO 解决 off-policy 稳定性的关键技术。

在 PPO/GRPO 中,重要性采样(IS)比率裁剪是防止 off-policy 梯度破坏的核心手段。传统方法通常只对 ratio 做单侧裁剪(只裁上界或下界),SAO 引入双侧裁剪——同时约束 IS ratio 的上限和下限,并对每个 Token 独立应用,而不是对整条序列统一裁剪。

Token 级双侧裁剪使策略更新在每个生成步骤上都有界,显著压缩了 off-policy 样本的梯度方差,是 SAO 能在 1000 步训练中保持稳定的关键。

端到端训练流

prompt → LLM 生成 rollout(异步)→ 计算 token 级优势 → 双侧 IS 裁剪 → 即时策略更新

整个流程完全异步,无需等待批次完成,已在 GLM-5.2(750B-A40B)上完成生产级别部署。

证据边界与工程局限

  • 基线对比:SWE-Bench Verified / BeyondAIME / IMOAnswerBench 三个基准上一致优于 GRPO 及其变体;1000 步稳定训练声明来自摘要原文;
  • 价值模型细节:"frozen-attention value model" 在 alphaxiv.org 正文中出现,但具体训练机制摘要未展开,需读全文;
  • A40B 算力规格:promo 引用基于 Substack 报道的合理推断,arXiv 摘要未直接披露硬件配置;
  • 任务异质性:对 rollout 长度分布差异较大的异质任务群适用性尚未验证;
  • 单 Rollout 方差:长 rollout 上单条轨迹的 reward 噪声会直接传导至梯度,需额外做 reward normalization。

对工程落地的启发

  1. 异步 RL 是 LLM Agent 后训练的必然方向:同步批处理在长 horizon 任务上效率低下已成共识;
  2. Token 级比序列级控制更稳定:长序列生成中粗粒度裁剪容易在子序列上产生未约束梯度,Token 级双侧裁剪值得借鉴;
  3. 单 Rollout 特别适合在线学习:环境持续演化(代码库 daily commit、用户行为漂移)时,单 Rollout 的快速反馈循环比等待完整批次更具适应性;
  4. 已有 GLM-5.2 部署验证:对考虑引入异步 RL 的团队,SAO 是目前最完整的大模型 RL 异步工程参考。

工程落地注意点

  • Rollout 缓冲队列需设容量上限,防止内存溢出;
  • Value Model 建议独立异步线程/进程更新,避免阻塞主训练循环;
  • 双侧 Token 级裁剪的上下界(通常 ±0.2~±0.3)需针对模型规模调参;
  • 750B 参数级别的异步 RL 需 tensor parallelism,rollout 和 training 建议同一节点 GPU 承担,降低 all-reduce 瓶颈。

三个标题变体

  1. Agentic 强化学习的异步难题:SAO 用单 Rollout + 双侧裁剪稳训 1000 步
  2. 把 GRPO 的组采样换成单轨迹:异步 LLM RL 的稳定性解法 SAO
  3. Token 级双侧裁剪 + 单 Rollout:GLM-5.2 上的生产级异步 RL 实践

小红书卡片文案

⚙️ 长 horizon Agentic 任务,同步批处理 RL 等最慢的那个 rollout 就崩。

SAO 做对两件: 1️⃣ 一个 prompt 只采一个 rollout,到达即更新,真异步; 2️⃣ 双侧 Token 级 IS 裁剪,把 off-policy 梯度方差压住,稳训 1000 步不崩。

已在 GLM-5.2(750B-A40B)生产部署,SWE-Bench Verified 等三基准一致优于 GRPO。

🔗 2607.07508