MASS · 干货攻略
- 链接:https://x.com/_akhaliq/status/2108934334589857850
- 分类:x-tips
- 来源:X @_akhaliq
- 作者:Jay
- 更新:2026-10-13
- 仓库:SakanaAI/mass
- 论文:arXiv:2610.12176
这是什么
MASS（Multi-Agent Self-Supervision）是 Sakana AI 与 UC Berkeley 联合提出的一种递归自我改进（Recursive Self-Improvement, RSI）方法，核心创新在于用同一份模型权重同时扮演三个角色：
- Executor（执行者）：组成多 Agent 团队，完成具体任务并产出工件（报告、图表、数据集等）
- Optimizer（优化器）：根据评估反馈修改团队的工作流配置（角色分工、信息路由、交接规则）
- Evaluator（评估者）：对比两个工件，判断哪个更好地满足任务要求
论文标题：Recursive Self-Improvement through Multi-Agent Self-Supervision，arXiv:2610.12176，2026 年 10 月 8 日发表于 arXiv，第一作者为 UC Berkeley 在读博士 Hyunin Lee（实习于 Sakana AI）。
为什么值得关注
解决什么问题
在开放式研究任务（无标准答案、无自动评测信号）上实现递归自我改进，存在两大瓶颈：
- 评估瓶颈：人类专家也无法可靠判断前沿科研成果的质量，无法提供足够的监督信号
- 改进瓶颈：手动设计任务分解、工具调用和验证步骤，工作量大到不可扩展
一个直觉解法是让模型自己当评估者——但同质约束（homogeneous loop）会导致模型的盲点被自身评估信号强化，而不是被纠正。
MASS 的核心洞察
论文从Minsky 的"社会心智"理论得到启发：让同一个模型的多个副本组成团队，各自承担不同角色（数据处理、信号生成、回测等），通过团队协作克服单一个体的盲点。然后将团队协作的集体经验蒸馏回模型权重，实现同质 RSI。
原帖分享者 @_akhaliq 指出：这是"递归自我改进新范式，open-ended 任务无需外部验证器即可 Scaling"——这正是 MASS 的核心价值主张。
核验过程
官方来源
| 来源 | 内容 | 核验结论 |
|---|---|---|
| arXiv:2610.12176 摘要页 | 核心方法、1.2–1.6x 提升声明、使用 Qwen3.6-27B | ✅ 原文确认 |
| GitHub README (SakanaAI/mass) | 基准测试详细数据表、内环/外环工作流、qwen-code 0.20.0 依赖 | ✅ 原文确认 |
| Sakana AI 官方公告 (pub.sakana.ai/mass) | 论文发布时间、作者团队、方法概述 | ✅ 原文确认 |
交叉验证
| 交叉来源 | 关键数字 | 与官方一致性 |
|---|---|---|
| explainx.ai 博客 | 两轮后 1.2x–1.6x/token；LoRA + 两轮 SFT | ✅ 一致 |
| aicoder.com 新闻 | 胜率 53.9% → 69.9%；多 Agent 轨迹训练效率 1.4x | ✅ 一致 |
| trackfuture.ai 分析 | 裁判自我一致性 73% → 93%；SWE-bench 轻微退步 | ✅ 一致 |
⚠️ 需注意的不一致
- 原帖提及 Spider 2.0-SQLite：arXiv 摘要与 GitHub README 均未提及 Spider 2.0-SQLite 评测结果，原帖该部分与 MASS 论文官方内容不符，已从本攻略正文删除，保留本注释说明
- 模型规格：原帖未明确规模；官方明确为 Qwen3.6-27B（非 Qwen3-14B）
上手步骤
环境准备
# 克隆仓库
git clone https://github.com/SakanaAI/mass.git
cd mass
# 创建 Python 环境（推荐 conda）
conda create -n mass python=3.11 -y
conda activate mass
# 安装核心依赖
pip install -r requirements-core.txt
# 模型服务依赖（需要 GPU）
pip install vllm transformers peft
快速计划（无需 GPU）
python3 -m mass plan --config configs/paper.json
运行测试（离线，无需模型调用）
python3 -m unittest discover -s tests -v
实际运行一个 MASS 循环
参考 docs/running.md：
- 准备 Python 环境与模型下载（需要 GPU + vLLM serving）
- 启动 vLLM 模型服务器
- 配置
configs/paper.json中的模型 endpoint - 执行 RHI 内环（固定权重下的工作流搜索）：
python3 -m mass run-rhi --config configs/paper.json --cycle L0
- 执行外环微调（LoRA + assistant-only loss mask + validation-loss 选 checkpoint）：
python3 -m mass run-post-training --config configs/paper.json --cycle L0
- 用 L1 模型重启内环，进入第二轮循环
关键配置项（configs/paper.json）
| 参数 | 说明 | 官方默认值 |
|---|---|---|
base_model |
基础模型 | Qwen3.6-27B |
coding_runtime |
Agent 运行时 | qwen-code 0.20.0 |
inner_loop |
工作流搜索方法 | RHI（Recurrent Harness Improvement） |
post_training.lora |
微调方式 | LoRA |
checkpoint_selection |
选 checkpoint 依据 | validation-loss |
基准测试结果（官方 GitHub README）
以下数据来自 SakanaAI/mass README，L^(0) 为基座模型，L^(1)/L^(2) 为第 1/2 轮 MASS 后的模型：
| 基准 | 任务数 × 试验 | L^(0) 基座 | L^(1) | L^(2) |
|---|---|---|---|---|
| ScienceAgentBench（%，越高越好） | 102 × 3 | 28.8 ± 1.5 | 30.4 ± 2.0 | 31.7 ± 2.0 |
| MLR-Bench（分数，越高越好） | 107 × 3 | 1.71 ± 0.08 | 1.77 ± 0.09 | 2.25 ± 0.06 |
| MLR-Bench 交付率（%） | 107 × 3 | 57% | 59% | 76% |
| AstaBench（E2E-Bench-Hard，均值） | 40 × 3 | 0.053 ± 0.002 | 0.055 ± 0.004 | 0.067 ± 0.017 |
| AstaBench 交付率（%） | 40 × 3 | 50% | 58% | 76% |
| DSBench（分数） | 74 × 3 | 0.473 ± 0.029 | 0.465 ± 0.011 | 0.482 ± 0.025 |
| Terminal-Bench 2.0（官方时限） | 89 × 3 | 0.375 ± 0.022 | 0.353 ± 0.021 | 0.352 ± 0.017 |
| SWE-bench Verified（通过率） | 500 × 3 | 0.626 ± 0.015 | 0.618 ± 0.019 | 0.611 ± 0.006 |
关键发现： - 在 MLR-Bench 交付率上，两轮后从 57% 跃升至 76%（+19pp） - 在 ScienceAgentBench 上，31.7 vs 28.8（+2.9pp） - Terminal-Bench 2.0 和 SWE-bench Verified 轻微退步（约 -2% 到 -3%），论文认为这是因为这些基准偏向单 Agent 可独立完成的结构化任务，多 Agent 协调开销反而拖累
训练效率优势
论文核心claim：用多 Agent 轨迹训练的学生模型，优于用 1.4 倍单 Agent token 训练的学生模型（在相同基座上），即多 Agent 轨迹的训练效率是单 Agent 的 1.4 倍。
解释：多 Agent 工作流天然将任务分解为有边界的子轨迹（Orchestrator 负责委托/整合，Worker 负责局部执行），比从单一长轨迹中同时学习委托和执行更容易。
坑与适用边界
✅ MASS 有效的场景
- 开放式研究任务：金融建模、机器人编程、药物发现等无 ground-truth 的领域
- 多角色协作有价值的任务：需要分工、交叉验证、综合判断的工作流
- 你想在有限训练数据下最大化效率：1.4x 训练效率意味着同等算力下可以得到更好的学生模型
❌ MASS 可能无效甚至反效果的场景
- Terminal-Bench 2.0 / SWE-bench Verified：这两个基准偏向单 Agent 独立解决的结构化编程任务，多 Agent 协调引入的 overhead 导致性能轻微下降（官方已报告）
- 极小模型：论文使用 Qwen3.6-27B，小模型可能缺乏同时扮演三个角色的足够能力
- 强结构化约束任务：有自动评测信号（代码执行通过/数学答案正确）的任务，RLVR 比 MASS 更高效
其他注意事项
- qwen-code 0.20.0 是必需的 coding-agent 运行时，不在 requirements-core.txt 中，需要单独安装
- 107 任务完整配置（包括 AstaBench、DSBench、Terminal-Bench 2.0、SWE-bench 的适配器）未包含在代码包中，代码包只含 12 个合成任务的完整配置
- 两轮之后的进一步循环增益尚未充分探索，论文只报了 L^(0)→L^(1)→L^(2)
- 评判者（Evaluator）自己也是被改进的模型，可能存在偏见累积问题；论文用外部裁判（GPT-5.5、Claude Opus 4.8）验证了自我评判的一致性从 73% 提升到 93%
一句话结论
MASS 将"多 Agent 协作"本身变成训练信号——让同一份模型权重轮流扮演执行者、优化器和裁判，在工作流搜索与 SFT 微调之间交替循环，两轮后即可在开放式研究任务上实现 1.2–1.6x 的 token 效率提升，且多 Agent 轨迹的训练效率比单 Agent 高 1.4 倍。
参考来源
- Lee, H. et al. "Recursive Self-Improvement through Multi-Agent Self-Supervision." arXiv:2610.12176 (Oct 8, 2026) — https://arxiv.org/abs/2610.12176
- Sakana AI. MASS Project Page — https://pub.sakana.ai/mass
- SakanaAI/mass GitHub README (benchmark results table) — https://github.com/SakanaAI/mass
- explainx.ai. "Sakana MASS: 27B Model Gains 1.6x in 2 Self-Training Rounds" (cross-validation) — https://explainx.ai/blog/sakana-mass-multi-agent-self-supervision-recursive-self-improvement-2026
- AICoder. "Sakana AI Unveils MASS: Recursive Self-Improvement via Multi-Agent Self-Supervision, Boosting Win Rates to 69.9%" (cross-validation) — https://aicoder.com/news/news-20261012-mass-recursive-self-improvement-through-multi-agent-self-supervision
- trackfuture.ai. "AI Evaluating AI: What Two Sakana AI Papers Really Show" (cross-validation) — https://trackfuture.ai/article/ai-evaluating-ai-can-a-model-grade-its-own-work-two-sakana-ai-papers-put-it-to-the-test