万亿参数 AI 自己变强的燃料是什么？小米 MiMo-V2.6 给出的答案不是「更大」
- 关联论文：2610.11959
我们听惯了大模型叙事，好像自我改进 = 灌更多算力。小米 MiMo-V2.6 给了更具体的答案：当模型已是万亿参数、轨迹长到几百步时，真正卡住 AI 自我改进的，不是底座不够大，而是反馈信号太粗。
为什么重要
RL 早成了自我改进的中心范式。但 scale 到「万亿 MoE + agentic 长轨迹」，两个硬骨头：
探索空间和底座不匹配。 通用预训练的模型没见过你的环境，轨迹跑不远，RL 信号稀疏、reward hacking 频发。
基础设施跟不上。 单 step 上千样本、上下文 1M、单步 token 以亿计、还要跨多框架并发 rollout，传统 RLHF 框架要么不动，要么训推不一致。
解法不是单点突破，而是「先把底座调到能跑，再把 RL 算力同时朝三个维度铺开」，然后整条栈开源。
核心机制
底座：Hybrid-SWA + 稀疏 MoE。 文本主干是局部滑窗注意力与全局注意力交替的混合块，窗口 128；所有 block 用稀疏 MoE FFN（无共享专家），接 MTP 预测头。Pro 1.02T 总参 / 42B 激活，Flash 310B / 15B。视觉侧是 681M 混合注意力 ViT，音频侧 308M tokenizer encoder。
Mid-training：给 agent 探索扩面。 通用预训练后加一段 agent 导向中训练，让 RL 有足够多解的探索空间，避免一进 RL 就卡在窄分布上。
RL 三路同扩——最值得看的部分：
训练侧算力。 全异步，每 step 消费 1,568 样本、2.7～3.7B token，上下文最高 1M。要点不是单卡大，而是 batch × 吞吐 × 上下文相乘。
环境侧复杂度。 覆盖 code、general、visual、cybersecurity 四类任务，每类配不同 agent harness，拉大组合空间。
Grader 侧算力——胜负手。 长轨迹任务若只看测试过没过，reward 几乎全是 0/1，模型学不会「做得更短、更省 token」。论文用 Groupwise Agentic Grading 换掉二值打分，三招：Groupwise Reward Synthesis 在组内横向比较多条轨迹、按 rubric 合成细粒度 reward；Groupwise Advantage Redistribution 把组间差距转成 advantage 回喂；Behavioral Regularization 对 token 用量、轨迹长度加正则，把模型往更省的解推。
稳定性补丁。 冻结 MoE router（路由改动太大会让分布漂移甚至崩溃）、统一轨迹表示并给低质轨迹 penalty、Harness Pool + Payload Porter 做多框架高并发 rollout、训推两侧对齐 routing 与 top-p 候选集。
开源栈。 9B 蒸馏模型、verifier、端到端 RL 框架、mini-harness、训练动态。论文报告该 9B 模型在多任务多 harness 上 RL 曲线一致上涨。
证据边界
原文 §5 可查的 verbatim 数据主要是：DeepSWE v1.1 上 Pro 得 71.9；与 Claude Opus 5 的差距按差值给出，OSWorld-Verified 落后 1.4 分，ExploitBench 落后 22.1 分，Terminal-Bench 4.0 落后 14.1 分，ProgramBench 落后 10.5 分；AutomationBench、Terminal-Bench 2.1、MiMo Visual Coding 胜出，Agents' Last Exam 持平。
但对手模型的具体分数来源并未在原文明确标注，多数出现在二手评测页；直播报告里的 58.4→72.57、6 天、$2.62M、30 RL steps、75 万条轨迹属二手转述，不能当论文事实。MiMo Cyber Bench 上 launch page 写 80.2、媒体口径 81.7，原文未做调和。顶会状态也未见标注。
一句话：它提供的是「同一份代码下的曲线」，不是和闭源 frontier 的排行榜对位。
工程局限
Router 冻结是稳定补丁，也是欠债。 router 完全不更新，意味着训出的策略遇到更新过的 router 就可能失效。部署到 router 会更新的生产模型前，得做渐进式解冻，或测「router 轻微扰动下性能还稳不稳」。
多 harness 混合可能负迁移。 四类 harness 的 reward 尺度与验证方式差异大，一刀切混合可能让某类任务比单独训练还差。做法是加 per-harness 加权或早停，评估时分别报每类分数。
Grader 质量是天花板。 GRS 效果全看 rubric 糙不糙。rubric 粗糙，groupwise reward 仍是 0/1 的变种，优势发挥不出来——算力烧完了，模型行为几乎没变。
防御边界没测。 论文有专节讲多层 reward-hacking 防御，但没公开命中率。上生产前得自己红队，针对「调用伪工具」「绕 verifier」构造用例测真实拦截率。
训推不一致会被长轨迹放大。 即使 routing 候选集对齐，推理侧 top-p 的动态截断仍可能与训练时不一致。偏差在 50 步以上长任务里逐步累积，最终表现为「评测能过、生产过不了」。
9B 复现不等于超参可迁移。 蒸馏小模型用于验证「栈能跑」，不是搜索大模型超参。learning rate、group size 跨规模照抄通常会令人困惑。
该怎么用
只带走一句：当 RL 信号几乎全是 0/1 时，与其堆模型参数，不如堆 grader 的算力。 这是全文最反直觉也最有迁移价值的经验。
能直接抄的三件：router 冻结当「在已训 MoE 上继续做 RL/SFT」的稳定性 baseline；训练时就用与推理相同的 top-p，并把 p=0.9/0.95/0.99 各跑一遍做敏感度测试；训推 routing 对齐做成 CI 里的 commit hook。
还有一条反常识的判断：rubric 不好，再大的模型也只是在噪声上做优化。
标题变体（三选一）
- 万亿参数 AI 自己变强的燃料是什么？小米 MiMo-V2.6 给出的答案不是「更大」
- 当奖励只剩 0 和 1，AI 就学不会变聪明——问题出在打分器，不在模型
- 一边冻结路由、一边重写打分：万亿参数自我改进踩过的坑
小红书卡片文案
标题：万亿参数 AI 怎么自己变强？答案不是「更大」
正文：
我们听惯了大模型叙事，好像自我改进 = 灌更多算力。
MiMo-V2.6 给了个更具体的答案：当模型已是万亿参数、轨迹长到几百步时，真正卡住 AI 自我改进的——不是底座不够大，是【反馈信号太粗】。
🎯 为什么重要
RL 早是自我改进的中心范式，但 scale 到「万亿 MoE + 长轨迹 agent」有俩硬骨头： · 探索空间和底座不匹配 → 模型没见过你的环境，轨迹跑不远，RL 信号稀疏、reward hacking 频发 · 基础设施跟不上 → 单 step 上千样本、上下文 1M、单步 token 以亿计、跨多框架并发，老框架要么不动要么训推不一致
🔧 核心机制：RL 三路同扩
1️⃣ 训练侧：全异步，每 step 1568 样本 / 2.7–3.7B token / 上下文 1M
2️⃣ 环境侧：code / general / visual / cybersecurity 四类任务，每类配不同 agent harness，拉大组合空间
3️⃣ Grader 侧——胜负手：长轨迹只看测试过没过，reward 全是 0/1，模型学不会「做得更短更省 token」。论文换上 Groupwise Agentic Grading：组内横向比较合成细粒度 reward + advantage 重新分配 + 行为正则
底座是 Hybrid-SWA + 稀疏 MoE（Pro 1.02T/42B 激活），冻结 router 防崩溃，训推对齐 routing 与 top-p。9B 蒸馏模型 + verifier + RL 框架 + mini-harness 全套开源。
⚠️ 边界讲清 · 对手模型分数来源原文没明确标注，多在二手评测页 · 「6 天 / $2.62M / 30 RL steps」是直播转述，不是论文事实 · Cyber Bench launch page 80.2 vs 媒体 81.7，原文没调和 · 顶会状态未见标注
它是「同一份代码下的曲线」，不是和闭源 frontier 的对位。
💡 最反直觉也最可迁移的一句： 当 RL 信号几乎全是 0/1 时，与其堆模型参数，不如堆【grader】的算力。
rubric 粗糙，groupwise reward 就还是 0/1 的变种——算力烧完了，模型行为几乎没变。
🔧 能直接抄的： · router 冻结当稳定性 baseline · 训练时就用和推理相同的 top-p · 训推 routing 对齐做成 CI 的 commit hook · 多 harness 混合记得加 per-harness 加权或早停
你最想吐槽哪条？是 rubric 质量，还是训推不一致被长轨迹放大？评论区聊 👇
标签：#AI #大模型 #强化学习 #RL #MoE #论文解读 #小米 #人工智能 #Agent