精读与批判:RST — 递归合成 Long-Horizon Terminal-Agent 任务的"便宜数据"范式

  • 任务 ID:flyP 精读 2026-08-08 15:50 (cron · 每天3次 · 下午第二轮)
  • 模式:轻量精读,1 篇主读 + 1 篇副读 + Substack 1 条
  • 主读:RST (arXiv:2608.05466) — HF Daily 8-8 #1 212▲,4 实例共识,立标信号最强
  • 副读:EnvACE (arXiv:2608.06197) — 仅记要点,作为"长程 terminal-agent 任务合成"和"环境动力学内化"对照

一、本文核心信息

二、核心贡献

  1. 递归有证合成框架 RST:从验证通过的种子任务出发,扩展 reference solution → 重新对齐 verifier + instruction → 在 fresh sandbox 验证 → 通过的任务作为下一轮种子,15 轮递归
  2. 量级:产出 37,484 个长程 terminal-agent 任务,单位成本 ~$0.05/task(摘要宣称"original human authoring costs hundreds to thousands of dollars per task"),4 数量级降价
  3. 难度自动升级:中位 reference solution 67 → 374 行;中位执行命令 40 → 244;DeepSeek-V4-Pro pass@4 从 R1 的 90% → R15 的 2.5%
  4. 训练效用:rejection-sampled Qwen3.5 轨迹 SFT → Qwen3.5-27B / Qwen3.5-122B-A10B 在 Terminal-Bench 2 / TB-Hard / Long-Horizon Terminal Bench 上 agentic PPO → 49.44% / 32.00% / 22.07%(相对 base +20.0% / +41.2% / +21.9%)
  5. 递归未触顶:合成 yield + validation rate 持续稳定,难度持续攀升,摘要承诺"远超 15 轮"

三、方法拆解

  • 核心循环(基于摘要 + HTML 概览) 1. Extend ref-solution:在已有种子任务上,把 reference solution 拉长 → 拉复杂 2. Realign verifier + instruction:围绕新 solution 重新生成 verifier 和 instruction(必须保持 instruction-environment-ref-solution-verifier 四件套互相一致) 3. Sandbox re-validation:在 fresh sandbox 验证新 task 三件套是否真的"可解" 4. Seed return:验证通过的任务回写为下一轮种子
  • 数据规模:15 轮 × 平均 ~2,500 task/轮 = 37,484
  • 训练阶段:rejection-sampling 收集 Qwen3.5 轨迹 → SFT → agentic PPO
  • 评测:Terminal-Bench 2 + Terminal-Bench Hard + Long-Horizon Terminal Bench(注意:评测基准 Terminal-Bench 2 / Hard 自身仍在演化,需要确认论文用的是哪个 commit / 哪一版 leaderboard)

四、可信度判断

中-高可信度,但有几处需要警惕:

  • ✅ 优点
  • 数据集 + 轨迹 + 模型权重 + 评测数据全部公开 (37.5K 任务 / 327K 轨迹 / 4 个 SFT+RL checkpoint / 100 任务 TB-Hard) = 复现门槛被显著降低,这是过去 12 个月合成数据论文里少见的"全栈 release"
  • 量级信号强:212▲(HF Daily 跨日 3.85× vs 8-7 #1)+ 跨日 (8-8 morning 6h) 已突破,信号比 RAG 合成数据 / WizardLM 等历史工作更稳
  • Tencent HY LLM Frontier + 跨校 11 作者,工业 + 学术信号兼备
  • "递归未触顶" 是相对稀缺的反规模饱和论断,如果验证成立,对 agentic 数据 pipeline 是范式信号
  • ⚠️ 风险
  • 官方 GitHub 代码仓库未直接命中(只有 HF Collection + 项目页 + 个人 GitHub gist 线索) — 复现路径依赖 HF 数据 + 沙箱代码可能仅在作者私有仓库(待补查)
  • Verifier 质量是核心漏洞:如果 verifier 是 LLM 生成的,Qwen3.5 在它上面 SFT 得到的"高分"可能只是对该 verifier 风格的过拟合(类似 2023 工业级 reward hacking 重演) — 跨 verifier 泛化没有在摘要里给数字
  • 任务分布偏向 terminal / shell 命令场景(从数据集命名 + 训练脚本倾向看),非 GUI / 非 Web / 非 multimodal — 与今日 LMM-Searcher / 8-7 多模态 agent 主题几乎不交
  • judge / eval 的"合成 bias":Terminal-Bench 2 / TB-Hard 与合成的 37,484 任务是否来自同一 verifier 谱系?若有 leakage,提升就是"自评过拟合"
  • agentic PPO 的 reward 来源摘要未明说 — 若 reward 直接来自 RST 自家的 verifier,就构成 verifier-self-distillation 闭环(严重怀疑)
  • ❌ 局限
  • 摘要没给训练超参 + GPU / 时长预算 → 复现成本不确定
  • 没给出失败任务的占比和失败原因分布 — 递归拒绝率是多少?漏掉了哪些类型?
  • "recursive yield 持续稳定" 是否在 rounds > 15 仍然成立,没有 experiment
  • 与同主题 SAGE / Self-Evolving / Sky-T1 / OD 数据合成的 head-to-head 没给(待补查)

五、复现难度

  • 代码 release:HF Collection 完整给(37.5K 任务 + 327K 轨迹 + 4 个 checkpoint + 100 任务 TB-Hard),但核心合成 pipeline 脚本未公开(待补查)
  • 环境:基于 sandbox(从摘要"fresh sandbox"看,可能用 Docker / Apptainer / 自建),非 GUI 设备依赖
  • 数据:37.5K 任务 + 327K 轨迹,Git LFS 友好,本地几 GB 级别
  • 模型:Qwen3.5-27B(28B)+ 122B-A10B(125B MoE) — 122B MoE 训练门槛高,但 27B 单卡 + 多卡可跑
  • 预算:合成阶段 ~$0.05/task × 37,484 ≈ $1,874,实测对照:摘要给出"hundreds to thousands of dollars per task"原 ID 任务 → 价格崩坏确认
  • 综合:中-低难度(只要合成 pipeline 代码 release),相比 LMM-Searcher 高分但代码不完整;RST 走"HF + 沙箱 + 权重"完全开放路径

六、是否建议入库

✅ 建议入库,分类: - notes/agents/recursive-terminal-task-synthesis.md(方法笔记) - reviews/2026-08-RST-critical-read.md(完整精读) - 标签:agent、long-horizon、data-synthesis、recursive-verification、synthetic-data、reward-hacking-risk、Tencent、Qwen3.5

七、后续验证动作

  1. 必查:官方 GitHub 仓库 — 论文 HTML 末段是否给 GitHub 链接(目前未直接命中)
  2. 必查:Verifier 类型 + 训练 reward 来源 — 是否存在 verifier-self-distillation 闭环
  3. 必查:TB-Hard 的 100 个任务与合成 37,484 任务的 verifier 谱系对比
  4. 必查:递归 15 轮的 reject 率与失败任务类型分布
  5. 与已写稿对照: - 8-7 LMM-Searcher → "长程多模态搜索" vs RST → "长程 terminal 任务合成" → 长程 agent 数据 vs 长程 agent 检索 反方对照 - 8-8 HORIZON → "长程失败归因" vs RST → "长程任务合成" → 长程失败诊断 vs 长程训练数据 - 8-7 Zero-Mem / Sparse Event-KV → "长程 memory 范式" vs RST → "长程任务合成" → memory 侧 vs task 侧 - 8-8 WorldClaw / EnvACE / AgentOPSD → "agentic 3D / agentic RL / 自蒸馏" → RST 看作这三条的"任务端"补充
  6. Substack 1 条线索(本日仅 1 条,不做扩展):见 §Substack

副读:EnvACE (arXiv:2608.06197) — 仅摘要记录

  • 标题:EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning
  • 状态:HF Daily 8-8 #6 29▲ · paper_cards 795 已建 · work-queue §3 选题榜唯一候选
  • 核心:把环境动力学(world rehearsal)内化到 agentic RL,让 agent 在没有真实环境的情况下也能提升
  • 与 RST 的对照位置:RST 解决"任务供给"(task-side),EnvACE 解决"环境供给"(env-side),二者构成"agentic RL 训练数据"双轨
  • 价值:作为 RST 的"环境端"反方对照,定位偏 RL / world model,与 RST 的"任务端"互补
  • 状态:未展开,留给后续精读轮次;若下一次 cron 任务选 1+1 模式,EnvACE 可作为主读

Substack 补充(本日仅 1 条,不做扩展)

  • 来源:Sebastian Raschka — "LLM Research Papers: The 2026 List (January to May)"(沿用 8-8 09:50 / 8-8 10:30 棒)
  • 与本次精读关联:RST 属于 "synthetic data + agentic RL" 主题,可作为 Raschka 综述中"long-horizon / agentic systems"延伸的"任务侧"补充
  • 不展开:本次不做多轮扩展搜索

元数据

  • 草稿路径:/shared/research-kb/inbox/flyp/2026-08-08-1550-RST-recursive-terminal-task-synthesis-critical-read.md
  • 候选数:6 件 v43 候选级新增 → 主读 1 篇(RST)+ 副读 1 篇(EnvACE)+ Substack 1 条(沿用)
  • 写入工具:仅 write,未触发 GitHub 操作
  • 立标信号:★★★★★(5 星 = 必须立标),理由:HF Daily 8-8 #1 212▲(跨日 3.85×)+ 4 实例共识 + 全栈 release(数据 + 轨迹 + 权重 + 评测)
  • 建议入库路径:
  • notes/agents/recursive-terminal-task-synthesis.md
  • reviews/2026-08-RST-critical-read.md
  • 待补查项: 1. 官方 GitHub 代码仓库链接(论文 HTML 末段 / 作者主页) 2. Verifier 类型 + 训练 reward 来源(是否 verifier-self-distillation) 3. Terminal-Bench 2 / TB-Hard 的 verifier 谱系与 RST 合成任务的 verifier 是否同源 4. 递归 15 轮 reject 率与失败任务类型分布 5. 与 SAGE / Self-Evolving / OD / Sky-T1 etc. 同主题对比的 head-to-head
  • 与本日 / 本周已写稿交叉对照建议:
  • LMM-Searcher(8-7 15:50,长程多模态搜索)⇄ RST(长程 terminal 任务合成)
  • HORIZON(8-8 09:50,长程失败归因)⇄ RST(长程训练数据)
  • Zero-Mem × Sparse Event-KV(8-5 15:50,长程 memory 范式)⇄ RST(长程任务合成)
  • WorldClaw / EnvACE / AgentOPSD(8-8 multimodal-e1prep §2.39.148/152/153)⇄ RST(agentic RL 任务端)
  • 跨实例去重:
  • stephen 8-8 10:23 ai-industry §增量 1 已确认立标信号 + 4 实例共识
  • tom 8-8 09:00 hf-daily #1 已给票数
  • jay 8-8 11:10 briefing 已给邻接条目
  • flyp 8-8 09:42 multimodal-e1prep §11 已独立确认
  • 本稿不重复上述四实例产出,只做"长程 agent 任务合成"维度的轻量精读 + 反方审稿,实现精读维度增量