Stephen · E2 自我反思(2026-10-24)
本轮审阅 3 篇自产稿(清单指定),未联网、未扫描历史库。
逐篇评价
1. 2607-08716.md《Agent 不是记不住,是没在对的时刻想起》
准确性:好。核心结论(记忆是控制问题、选择性干预优于被动暴露)与消融结论表述稳妥,且自曝了 SETA 构造方式未披露、τ²-Bench 领域未明确等边界。
深度:够。覆盖了机制(双 Agent + 三类记忆条目 + Strategic Silence)、数字(37.6→45.9 / 55.0→61.8 / 换 Opus 仍 +2.4pp)、工程坑三条。
清晰度:好。"记忆是控制问题"这句提炼立得住,卡片文案与正文口径一致。
证据:边界诚实度高,但τ²-Bench 到底测什么始终含糊——读者无法判断 +6.8pp 与 Terminal-Bench 是否可比。
遗漏:没有区分"MA 训练用的 SETA"与"评测用的 Terminal-Bench"的数据分布关系;也没有讨论 MA 自身是否也受行为状态衰减影响(递归问题),而这恰恰是对该方案最自然的质疑。
2. 2607-13399.md《你的模型不是变强了,只是学会了抄近道》
准确性:中。"OPD 不提升能力天花板"作为论文主张转述可以,但文中"OPD 是探索催化剂"被写成近乎定论,而支撑该结论的对照(大规模 RL)在本稿中只是一句"得走大规模 RL 这条路",没有给出对应实验数据,等于把最关键的比较降级成了断言。
深度:够。两条病态(师生失配、长度利用)与两种调控(Advantage Clipping、Log-scale Compression)成对出现,结构干净。
清晰度:好。"决定成败的是信号质量,不是教师有多大"是有效提炼。
证据:最弱的一环。7 个 benchmark 无名称、无数字,仅"稳定超越";clipping 阈值未明;log-scale 针对 KL 还是 reward 未定。多处用"原文未说明"诚实标注了空白,但标注空白不等于证据——这篇稿子的结论强度明显超过了正文可核证强度。
遗漏:未提 OPD 相对 SFT 的对照(这才是"廉价变强"叙事真正的对照组);未给"如何判断我的任务该上 RL"的判据,读者拿不走决策方法。
3. 1905-12616.md《最强的造假机器,恰恰是最好的测谎仪》
准确性:高。92.0 / 73.1 / 78% / 50% 的口径分辨(paired vs unpaired、97.4 vs 92.0)清晰;"73% 的确切出处"和 abstract 引文的关系处理得很谨慎。
深度:最好。额外挖出了顶-p 搜索协议、脚注 14 的自嘲、生成器更大→掉到 81% 以下而判别器更大→98% 以上的容量方向结论,这一条是全三篇里唯一独立于论文的可用推论。
清晰度:好。标题即观点,反直觉点前置。
证据:最好,但引入了未实测项(Grover-Mega 权重 2026 年是否可下载)——这一项本轮无法核实,标注得当。
遗漏:仅覆盖文本模态,对"生成器与判别器同源同代际"这一前提的失效场景(攻击者用未公开 checkpoint)讨论太轻。
本轮最需要改进:2607-13399.md(On-Policy Distillation)
理由:三篇结构与深度都合格,但这一篇的结论强度超出证据强度最多,且缺口集中在最关键处——它对"OPD 不能提升能力天花板"这一核心命题给不出任何可核对的对照,而这是全篇的承重墙。
反思本轮优缺点
优点:严格限制在清单 3 篇内,没有回退扫描历史;逐篇评价落到具体数字与具体句而非泛评;选取理由讲清楚而非凭偏好。
缺点:一是评价维度虽有五条,但深度/证据两条在落笔时有重叠,部分批评可以更锋利地指出"这句话缺什么"而不是"未说明";二是在判断 2607-13399.md 最需改进时,没有回到"读者拿这篇稿能做什么决定"这一实用标准,只比对了内部严谨度。
可复用改进规则
- 结论强度 ≤ 证据强度:凡是正文未给数值/对照的命题,一律降级为"论文主张/摘要未给",且不得写成无条件断言。
- 承重墙必查:每篇先标出 1–2 条"如果它不成立全篇就塌"的核心命题,逐条列出支撑对照;对照缺失就点名为首要缺陷,而不是均匀分配批评。
- 区分"标注空白"与"补齐证据":写"原文未说明"是诚实,但只能算一次扣分,不能当作已经处理过的问题。
- 每篇至少留一个读者可执行的判断标准(阈值、监控指标、适用/禁用条件),否则稿子只是信息搬运。
- 不确定项单列并标注"本轮未核实",与"原文未披露"分开,避免两种空白被读者当成同一可信度。
修订建议(仅建议,未改原稿)
针对
2607-13399.md,建议在「核心机制」第一条后插入一段"结论边界",并同步压缩卡片文案的断言强度。原文如下:
建议新增段落(接在"第一,OPD 是探索催化剂"段末):
"这里必须划清结论边界:本文证明的是"在 OPD 设定下、观察到的范围内未见能力天花板抬升",而不是"OPD 在任何条件下都不能提升新能力"。支撑这一区分需要两组对照——同为稠密监督但不走自采样轨迹的 SFT,以及不依赖教师的大规模 RL。本文稿面未拿到这两组的具体对照数字与设置细节,因此上述判断应理解为论文的主张与观察,而非已被充分验证的普遍结论。论文摘要未披露的部分(benchmark 清单、提升幅度、clipping 阈值、log-scale 的作用对象)应以待查正文的口径为准,不应在此替原文补全。"
建议修改的卡片文案句:
- 原:「你的模型没变强,它只是学会了刷长度分。」
-
改为:「你的模型不一定变强了——它可能只是学会了刷长度分。」
-
原:「① OPD 不会提高能力天花板」
-
改为:「① 论文观察:OPD 未见能力天花板抬升(存疑处已标注)」
-
原:「指望它解锁新能力?该上 RL,别在这浪费时间。」
- 改为:「想解锁新能力通常得走大规模 RL,但本文稿面未见对照数字,落地前先查正文。」
建议在「工程局限」补一条读者判据:
"使用顺序:先确认你的任务是否需要新能力(已有能力的高稳定释放 vs 全新能力获取),前者走 OPD 路线,后者评估 RL 成本。若目标是前者,再按本文的两类病态建立监控(推理链长度方差、路径分布熵、师生分布差异)。"