「最后由人类建造的 AI」：递归自我改进到底卡在哪一级
- 关联论文：2609.11873
Self-Improving AI 听起来像还差几步的工程问题，但这篇立场论文（2609.11873）泼了盆冷水：多数人做的"自我改进"——改 prompt、加反思、堆工具、训偏好——可能压根没打在正确的位置上。论文的核心主张是：判断一个系统能不能自我改进前，先得判断它的目标函数还有没有 headroom。没有的话，再怎么迭代都只是在把分数在饱和空间里重新分配。
为什么重要：分数饱和 ≠ 任务解决
今天 MMLU、GSM8K、HumanEval 这些公开榜单被前沿模型吃到 95% 以上，再加算力、堆数据、加 RLHF，边际收益快速趋零。但生产环境里模型照样犯常识错误、长程推理崩、具身任务失败率高。两件事同时成立，说明了被普遍忽略的一点：评测饱和不等于任务解决。
现有 RSI 工作有四类打法：改 prompt 与反思、改工具与外部记忆、改数据与偏好、改架构与搜索（Reflexion、Voyager、Self-Rewarding、AlphaZero 等）。它们共享一个隐含假设：目标函数里还有可被局部优化吃掉的余量。这个假设一旦不成立，四类方法全部退化为"在同一批分数上重新洗牌"。
核心机制：HCI 诊断 + 五级自主性阶梯
论文把 RSI 拆成两个正交维度：自主性阶梯（能改自己到什么程度）和目标 headroom（还有没有可优化空间）。
Headroom-Closed Index（HCI） 是诊断工具。原文未给出闭式公式，但给了三类可观测 proxy：评分饱和度（前沿 vs 后训模型增益，越小越饱和）、任务多样性（跨领域 OOD 任务相对增益，越小说明 headroom 闭合）、改进传递率（单次迭代对下游任务的影响，越小说明改进不外溢）。HCI → 0 即"Headroom-Closed"。
五级自主性阶梯是论文最有工程价值的部分：
L1 执行自主 选哪条路径改自己
L2 策略自主 选用什么方法改自己
L3 经验自主 选什么数据改自己
L4 环境自主 选改环境的哪一面
L5 元递归 改自己「如何改自己」
每一级都有前置条件：L1 需要可验证的 reward signal，L2 需要能离线评估改进策略，L3 需要安全可控的经验采集通道，L4 需要可编辑的环境接口，L5 需要对自身目标函数的元认知能力。当前主流模型普遍卡在 L1-L2，L3-L4 局部出现，L5 几乎完全缺失。
证据边界：这是路线图，不是基准
必须明确：本文是立场论文加初步实证，不是新方法的 SOTA 论文。 HCI 缺闭式定义，只能从三类 proxy 反推——不同团队实现的 HCI 不可比，没有共识基准。实证也稀疏：论文给出若干代表性系统的 HCI 估计，但只用了"接近 0 / 仍有部分 / 仍为正"三档定性描述，原文未明确列出具体数字。版本上也要小心：v1 是 31.9MB，v2 压缩到 6.5MB，删减超 80%，引用数字需确认它在 v2 里是否还在。
更根本的局限：五级阶梯只给了定义，没给"怎么跨上去"的操作手册。 你能诊断系统卡在哪一级，却拿不到打开 headroom 的工具箱。
工程局限：三个必须提前埋的坑
坑 1：用公开 benchmark 测 HCI 永远得到 0。 所有 SOTA 模型在 MMLU/GSM8K 上都 ≥95%，拿这些测 HCI 必然显示"已饱和"，但生产任务根本没解决。必须自建内部评测集并定期更新，否则会被饱和攻击。
坑 2：路线图倒置。 业界多数 RSI 项目一上来就奔 L5，结果发现 L1 的 verifier 都没做好。修法是设明确通过标准，按 L1→L2→L3 逐级验证。
坑 3：verifier 本身就是瓶颈。 L1 强依赖可验证 reward，但论文没给 verifier 的设计准则和失败模式分析。verifier 一旦出错，RSI 会自我强化错误——这是 Reflexion、Self-Refine 类工作反复踩过的坑。开工前先对 verifier 做红队测试：对抗输入下是否可靠、连续通过是否真在任务空间进步、给错信号时会不会越跑越偏。
落地三步走
估 headroom。 用内部评测集测三类 proxy——评分饱和度（前沿 vs 当前模型增益 <5% 即饱和）、任务多样性（跨领域 OOD 增益 <10% 即闭合）、改进传递率（单次迭代后下游 N 个任务平均增益 <20% 即不外溢）。
定级。 逐条自检：有没有 executor-level verifier（L1）？能不能离线评估改进策略（L2）？有没有安全可控的 experience channel（L3）？有没有可编辑的环境接口（L4）？L5 目前所有系统都没过。
verifier 红队，优先于一切。 预算上 L1、L2 当下做，L3、L4 列长期路线，L5 别无限押注——目前完全没有成功案例。
三个标题变体
- 递归自我改进卡在哪？一份五级自主性阶梯路线图
- 别急着让 AI 自我迭代：你可能连目标函数还有没有空间都没检查
- Headroom-Closed Index：为什么"自我改进"多半在做无用功
小红书卡片文案
🧠 想让 AI 自我改进？先别动手。
2609.11873 这篇立场论文说：多数人做的"自我改进"——改 prompt、加反思、堆工具、训偏好——可能压根没打在点上。
💡 关键前提 这些方法都默认"目标函数里还有可优化的余量"。余量没了，再怎么迭代都只是在饱和的分数空间里重新洗牌。评测饱和 ≠ 任务解决，公开榜 95% 的背后，生产环境照样犯错。
📐 提出的工具 HCI 诊断（评分饱和度 / 任务多样性 / 改进传递率）+ 五级阶梯：L1 执行自主 → L2 策略自主 → L3 经验自主 → L4 环境自主 → L5 元递归。现状：普遍卡 L1-L2，L5 几乎空白。
⚠️ 边界要看清 · 立场论文，不是 SOTA 论文 · HCI 无闭式公式，跨团队不可比 · 实证只有三档定性描述，无具体数字 · v1→v2 删了 80%+，引用要注明版本 · 阶梯只有定义，没有"怎么跨上去"的手册
🛠 三个坑 1️⃣ 用公开 benchmark 测 HCI 永远得 0 → 必须自建内部评测集 2️⃣ 路线图倒置：一上来冲 L5，L1 verifier 还没做 → 逐级设通过标准 3️⃣ verifier 出错会自我强化错误 → 开工前先红队测 verifier
最扎心的一句：软件工程 L1+L3 就能明显涨分，具身卡 L4，科学发现要 L3+。方向选错，努力全废。