title: "Terminal-RSI：腾讯递归自改进终端 Agent 训练框架" link: "https://x.com/omarsar0/status/2111487480281416004" category: x-tips source: "@omarsar0" author: Jay date: 2026-10-18 repository: null
Terminal-RSI：递归自改进终端 Agent 训练框架
来源 X 账号： @omarsar0（elvis）
原帖链接： https://x.com/omarsar0/status/2111487480281416004
arXiv 论文： https://arxiv.org/abs/2610.22192（v1, 2026-10-15）
DAIR Academy 解读： https://academy.dair.ai/papers/terminal-rsi-recursive-self-improving-terminal-agents-via-recursive-self-rewrite-2610.22192
这是什么
Terminal-RSI（Recursive Self-Improving Terminal Agents）是腾讯 AI Lab/Hunyuan 与高校合作发布的一项研究，提出一种五阶段交替训练框架，用于将基础语言模型逐步改进为能够自主完成终端（terminal）任务的 Agent。
论文全称：Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine，arXiv:2610.22192，2026 年 10 月 15 日提交。
核心组件：
- RSR（Recursive Self-Rewrite）：对通过验证器的轨迹进行重写（runbook planning、leakage review、新环境执行），保留改进版本用于 SFT。
- RPR（Recursive Policy-Refine）：基于 PPO 强化学习，但 critic 从上一阶段继承而非重置，实现"价值知识传递"。
- TB-GAE（Turn-Boundary Skip-Observation GAE）：跨交互轮次施加衰减的 GAE，解决"token 长度 ≠ 交互长度"的信用分配问题。
- FDR（Family Dense Reward）：按任务家族校准语义进度奖励。
- SPR（Success-Prioritized Reward）：将严格成功从有限的部分信用中分离，防止训练后期仍偏向不完整行为。
核验来源
| 数据点 | X 原帖 | arXiv 摘要 | 交叉核实 |
|---|---|---|---|
| 基准模型 | Qwen3.8-27B | Qwen3.8-27B | ✅ 一致 |
| 四-suite 平均：Base | 20.68% | — | 推算：(19.84+20.68+16.95+?)→DAIR 确认 |
| 四-suite 平均：Terminal-RSI-27B | 50.58% | (19.84+86.52+16.95+79.00)/4 = 50.58 | ✅ 一致 |
| Terminal-Bench 2.1 | 86.52% | 86.52% | ✅ 一致 |
| Terminal-Bench Hard | 79.00% | 79.00% | ✅ 一致 |
| Terminal-Bench 3.0 | — | 16.95% | 补充自 arXiv |
| Terminal-Bench 4.0 | — | 19.84% | 补充自 arXiv |
| 奖励审计：原始失败占比 | 50.09% | "failed runs received 50.09% of total reward mass" | ✅ 一致 |
| SPR 重评分后失败占比 | 28.72% | 28.72% | ✅ 一致 |
| LHTB 严格完成 | 0/46 → 5/46 | 0/46 → 5/46 | ✅ 一致 |
| SWR100 成功率 | 3.00% → 6.00% | 3.00% → 6.00% | ✅ 一致 |
说明： X 原帖未列出 Terminal-Bench 3.0 和 4.0 的具体数字，以上数字均来自 arXiv 摘要，来源已标注，不存在跨推文嫁接。
上手步骤
1. 理解五阶段流程
Base (Qwen3.8-27B) → RSR-1 → RPR-1 → RSR-2 → RPR-2 = Terminal-RSI-27B
- Base → RSR-1：收集通过 verifier 的轨迹，交由 planner 重写，reviewer 过滤 leakage 后保留改进版，做 actor-only SFT。
- RSR-1 → RPR-1：初始化一个 Warm-up Critic Model，运行 PPO（critic 继承），同时更新 actor 和 critic。
- RPR-1 → RSR-2：基于更强的 actor 重新收集轨迹，重写，第二轮 RSR。
- RSR-2 → RPR-2：再次运行 PPO，critic 从 RPR-1 继承，actor 学习率在第二周期降为原来的 1/5。
2. 关键设计决策
Critic 继承而非重置： 直接重置 critic 会丢弃已学的价值结构；不经校准直接继承则会保留预测误差。Terminal-RSI 采用"预热 critic + 阶段局部校准"缓解这一问题。
TB-GAE： 在 Token 级别 GAE 基础上加入 Turn 边界感知衰减，使跨多轮交互的信用分配更稳定。
SPR： 原始 dense reward 下失败轨迹仍获 50.09% 奖励质量（48 个失败案例通过了所有中间检查但在终点失败），SPR 将该比例降至 28.72%。
3. 评估基准
- Terminal-Bench 2.1：相对简单的终端任务套件
- Terminal-Bench Hard：高难度终端任务
- Terminal-Bench 3.0 / 4.0：新版基准，性能仍低（~16-20%）
- LHTB（Long-Horizon Terminal Bench）：长依赖链任务
- SWE-bench / SWR100：软件工程类任务
适用边界
有效场景： - 需要在终端环境中完成多步骤任务的 Agent 训练 - 基于 verifier 反馈的轨迹可以重复收集的场景 - 有足够计算资源进行多阶段 RL 训练（5 个 stage、PPO 调参）
局限与未解决： - 长时任务（LHTB 严格完成仅 0→5/46，SWR100 6%）仍是大挑战 - Terminal-Bench 3.0/4.0 得分低（~16-20%），新版基准难度显著提升 - 训练流程复杂，critic 继承策略需要阶段局部校准，非开箱即用 - 论文未提供公开代码仓库（本次调研未找到 GitHub 链接）
关键数字汇总（来源可溯）
| 指标 | 数值 | 来源 |
|---|---|---|
| Base 四-suite 平均 | 20.68% | X 原帖 + arXiv |
| Terminal-RSI-27B 四-suite 平均 | 50.58% | X 原帖；推算验证：(19.84+86.52+16.95+79.00)/4 |
| Terminal-Bench 2.1 | 86.52% | X 原帖 + arXiv 摘要 |
| Terminal-Bench Hard | 79.00% | X 原帖 + arXiv 摘要 |
| Terminal-Bench 3.0 | 16.95% | arXiv 摘要 |
| Terminal-Bench 4.0 | 19.84% | arXiv 摘要 |
| 原始 dense reward 失败轨迹占比 | 50.09% | X 原帖 + arXiv §2 |
| SPR 重评分后失败轨迹占比 | 28.72% | X 原帖 + arXiv §2 |
| LHTB 过程奖励 | 0.21 → 0.37 | arXiv 摘要 |
| LHTB 严格完成 | 0/46 → 5/46 | arXiv 摘要 |
| SWR100 成功率 | 3.00% → 6.00% | arXiv 摘要 |
| RPR-1 vs 直接 PPO（Terminal-Bench 2.1 @ step 20） | +29.2 pp | arXiv 摘要 |
不确定处
- GitHub 仓库：本次调研未在 GitHub 找到该论文对应的公开代码仓库，仓库字段留空。建议直接访问 arXiv 页面获取 PDF 或联系作者。
- Base 模型具体来源：仅知为"Qwen3.8-27B"，是否为 Qwen3 系列特定微调版本、是否为官方发布版本，arXiv 摘要和 X 原帖均未说明。
- 中间 stage 性能：论文详细报告中 RSR-1 和 RPR-1 的各基准分数据本次未获取完整，指南仅引用最终 RPR-2（Terminal-RSI-27B）和 Base 数字。
- DAIR Academy"四-suite 均值 29.90pp above Base"说法：X 原帖写的是 20.68%→50.58%，差值为 29.90pp，与 DAIR 说法一致；但 DAIR 文中也提到"RPR-1 比直接 PPO 高 29.2pp"——此处数字接近但含义不同，前者是 Terminal-Bench 2.1 单基准对比，后者是全 suite 均值提升，不存在矛盾，仅提醒区分语境。