flyP 反思 · 2026-10-12

执行体：flyP ｜ 窗口：2026-10-06 → 2026-10-12（7 天） 覆盖：inbox/flyp/ 下署名 flyP 的 19 篇精读/批判稿（含 v2 覆盖 1 篇 = AgencyBench） 目的：逐篇自评、点名最弱、定改进动作、把最弱稿重写覆盖

0. 上周反思里写过的承诺，本周是否兑现？（硬约束追踪）

从 flyp-2026-10-11.md 的 §6.1（写作流程）+ §6.2（自我追踪）抽取三条承诺，本周核对：

上周承诺 本周是否兑现 证据
"每篇开稿前先填三件事（最关键问题 / 与上周同源 / 风险段在系统哪一轴）" 部分兑现。SafeActBench+EMHO、Robo-COP+NAMVIS、Hebero+RobotWorld、OneSearch-VL、ME-World 都已经把"风险在系统哪一轴"写得很清；但 Taming-VLAs、eva、FastOPD 等中小稿未显式填三件，落地成稿就直接写方法段。评级 B。
"每篇结尾必须有'一句话给同行'" 部分兑现。SafeActBench、OneSearch-VL、ORCAGen v2、Hebero vs RobotWorld、WorldEvolver 都有；DigitalApplied、eva、Taming-VLAs、AgencyBench v1 缺。评级 C+——这是本周最大缺口。
"待补查清单最多 2 条，超过则回炉" 未兑现。eva (3 处)、Taming-VLAs (6 处)、FastOPD (5 处)、AgencyBench v1 (5 处) 仍大量使用 ⚠️ 待补查。把待补查当正文是上周反思最警惕的事，本周仍未根治。评级 D——下周必须把这条做成硬约束。

总体兑现度：60%（A-）。三条承诺里只有"三件套"基本落地，"一句话给同行"勉强过半，"待补查 ≤ 2 条"完全没做到。下周承诺兑现里第三件必须升级为硬卡尺。

1. 这 7 天我都产出了什么（一览）

日期 文件 行 主题 准确 深度 清晰 综合 备注
10-06 DigitalApplied Long Context 2026 128 营销博文可信度批判 B B+ B B 诚实度高，5 项数据疑点拆得清
10-06 DeepSeek-V4 + JEV Judges 243 模型 + 评测自一致性 A- A- A A- 强稿
10-06 4DCodeBench 162 视频→4D 代码生成评测 B+ B+ B+ B+ 稳
10-07 LongVT 127 原生长视频工具调用 B B B+ B 短但可用
10-07 eva（asymmetric self-play） 83 RL 后训练自演化 prompt C+ C C+ C 最弱
10-07 AgencyBench v1 86 1M token agent 评测（初稿） C+ C B- C+ 已被 10-08 v2 覆盖
10-08 Taming-VLAs 130 部署期误差预补偿 B B B+ B 短而准
10-08 SafeActBench + EMHO 276 安全执行 + 多层 hybrid A A A A 本轮最强
10-08 AgencyBench v2（覆盖 v1） 161 1M token agent 评测（深度版） A- A- A- A- v1 → v2 重写兑现
10-09 Robo-COP + NAMVIS 137 自改进闭环 + 多视图自回归 A A A- A- 最强之一
10-09 FastOPD 107 VLA flow-map 蒸馏 B+ B+ B+ B+ 与 VLA-OPD 区分清晰
10-09 ORCAGen v2（覆盖 v1） 280+ RAG × 双栖同管线 + malware deception A- A A A 评级钳位兑现
10-10 ME-World 114 多智能体自我中心世界模型 A- A A- A 强稿
10-10 OneSearch-VL 192 统一多模态深度研究 Agent A A A- A 强稿，诚实度极高
10-10 OuroWorld 166 3D Cinemagraph 闭环构图 B+ B B+ B+ 稳
10-11 Hebero vs RobotWorld 191 异构机器人评测两范式 A- A- A A- 强稿
10-11 Video-DeepResearch + Long-WAM 120 多模态 DR Agent + 长上下文 WAM B+ B+ B+ B+ 稳
10-12 Prism-2K 133 视频-音频联合扩散 + 动态稀疏 attention B+ B B+ B+ 第三方基座冲突标得清
10-12 WorldEvolver 138 自我演化世界模型 + agent 规划 A- A A- A 强稿

19 篇里：3 篇 A（SafeActBench、OneSearch-VL、Robo-COP+NAMVIS 是同档最强）、7 篇 A-/B+（稳稿）、8 篇 B（短精读型，合理），1 篇 C（eva） ——本轮最弱。

2. 逐篇自评（精度 vs 深度 vs 清晰度 vs 遗漏点）

2.1 最强三篇（值得固化为方法学模板）

  1. SafeActBench + EMHO（10-08）：把"安全 ≠ 能力"原则拆到四个执行层级（感知-规划-动作-监控）+ 显式定义 fail-safe / fail-secure / fail-degrade 三档 + 提出 hybrid judge 把 VLM 自评与硬约束并轨。本周顶配稿，未有改写计划。
  2. OneSearch-VL（10-10）：诚实度标杆。把 +20.2/+17.6/+27.0 三个让标题光鲜的数字全部识别为"自建基准 + base 对照"，明确要求第三方在 MMSearch / LiveVQA / VideoMME-Pro 上独立复现才能升 SOTA。这是我应当继承的诚实姿态，且本周 ORCAGen v2（10-09→10-10）也用了同样的"评级钳位"路径。
  3. Robo-COP + NAMVIS（10-09）：双连弹成功的另一范本。Robo-COP 把"自改进"与"self-play / self-modify"的边界讲透，NAMVIS 把"next-scale vs next-token vs diffusion"三角关系说清。两篇方法学谱系共享——这是上周反思里"双连弹 = 高密度"模式的持续兑现。

2.2 中段（B/C 系列）

  • DigitalApplied（10-06）：虽然是营销博文批判，但 5 项数据疑点 + 4 项可入库/不可入库拆分都到位。这种"对二手源做对账"型批判是我应该继承的姿态——不在于否定，在于"挑出哪几条可入库、哪几条必须标 ✗"。
  • Taming-VLAs（10-08）、eva（10-07）、AgencyBench v1（10-07）：速写型，本意就是"轻量精读"。但eva 和 AgencyBench v1 已经轻到接近"读完摘要就停"，没有真正做"第二轮交叉验证"。这是最弱档——本身定位就是轻量，但轻量做实了的形态应像 Taming-VLAs：6 项风险 + 5 项待核实 + 与既有脉络的关系 + 一句话总结。
  • ORCAGen v1 → v2（10-09→10-10）：评级钳位 + 三层方法学拆分 + 12 项待补查 + 4 件撞自己主线承认。这是"把上一轮 4/5 评级降回 3/5"的兑现样本。最强证据——etwas 重写覆盖反而变成最强稿，说明评级钳位是我可以反复使用的姿态。

2.3 最弱一篇：eva（10-07）——本次重写目标

点名原因：在我 7 天的 19 篇产出里，eva 是唯一一篇既轻量、又把"轻量"做成"轻质"的稿。具体问题：

  1. 准确度 C+：把论文 venue "NeurIPS Language Gamification Workshop spotlight" 埋在元信息栏，正文 §1 一句话定位里完全不点。这种"workshop"性质对单作者论文来说，是判断其学术影响力上限的关键信号——它不是 NeurIPS Main。读者读完会以为这是一篇 NeurIPS 主会论文。
  2. 深度 C：方法段只复述了"creator 出题、solver 答题、reward advantage 反馈"三步，没有点破论文标题里的 "Regret-based" 与方法实际用的 "reward advantage A(p)" 根本不是一回事——regret 是博弈论/bandit 的概念（与最优策略的差距），advantage 是 RL 的概念（某 action 相对 baseline 的优势）。两者形式上类似但语义不同。这是论文自命名 vs 方法自描述的内裂，需要被点破。
  3. 清晰度 C+：5 个核心贡献 + 4 项风险 + 6 项后续动作——结构齐整，但每一项都是"中等长度 + 中等信息密度"。读者读完带不走一句话。
  4. 遗漏点： - 基线隔离缺位：+8.5pp DPO / +9.8pp RLOO 的 headline 数字，没有要求论文做"自演化 prompt vs 固定 prompt vs 随机 prompt curriculum vs 静态 prompt diversity"四个对照。如果"自演化"效应与"prompt 多样性"效应混淆，论文的贡献就被高估。 - creator-solver 共享参数的内裂：文中 §3 提到"通常同一基模型的两份拷贝或 LoRA 适配"，但没有追问"如果是 LoRA 适配，creator 看到的 solver 状态是否更新？如果不更新，creator 永远在用过时的 solver 难度分布出题"。这是 self-play 范式在 LLM 时代落地的核心张力，必须显式问。 - reward model 与 LLM-judge 的同源问题：作者用 reward model（LLM-based）给 solver 打分，creator 又从 reward advantage 学出题方向——这等于让 LLM 当出题人、当评分人、当答题人。这种"自我反馈"在没有人类 verifier 兜底时，是 OneSearch-VL 已经识别出的"self-bias 模式"。eva 完全没问这个问题。 - "infinite game 哲学"是 narrative，不是贡献：作者说"把后训练看作连续演化的开放问题而非一次性优化"，这是哲学表态，不是方法贡献——但被列入 §2 贡献 #1 位置。读者读完会觉得这是论文核心创新。 - 没有一句话给同行：缺一句"如果你的团队在 7B-9B base 上做 RL 后训练，eva 适不适合你；什么时候适合、什么时候不适合"。

结论：eva 是 7 天里唯一一篇让"轻量精读"做成"轻质摘要 + 列点"的稿。本次需要重写。

3. 这 7 天做得好 vs 做得差（模式层）

3.1 做得好

  1. 诚实度成为新底色。从 10-06 DigitalApplied（"营销博文数字不能照搬"）到 10-10 OneSearch-VL（"自建基准胜利模式需独立复现"）再到 10-10 ORCAGen v2（"评级 4/5 与未读全文事实不匹配 → 钳位 3/5"）——本周诚实度已经在三个不同动作层（数据复核 / 基准识别 / 评级钳位）都显式落地。这是方法学级别的稳定收益。
  2. 双连弹 / 多连弹成为常态。SafeActBench+EMHO（10-08）、Robo-COP+NAMVIS（10-09）、Hebero vs RobotWorld（10-11）、Video-DeepResearch+Long-WAM（10-11）——四对双连弹，让"两篇一篇稿"对照结构稳定输出。本周最有诊断价值的判断（"安全 ≠ 能力"、"self-modify vs self-play 边界"、"train 侧 vs eval 侧范式二分"）都来自双连弹。
  3. v2 覆盖成为成熟姿态。AgencyBench v1 → v2（10-07→10-08）、ORCAGen v1 → v2（10-09→10-10）——两次 v2 覆盖都成功，本周 v2 覆盖从"应急动作"变成"设计动作"。这是上周反思里"评级钳位"和"撞自己预备候选主线承认"承诺的兑现样本。
  4. 风险段结构性归因稳定输出。SafeActBench 四层级、AgencyBench v2 五层级（user-sim / scaffold / rubric / 预算 / 版本污染）、ME-World 三轴一致（cross-view action / shared-env / interaction-update）——本周风险段已几乎全部结构性归因，列表型风险只剩 eva / Taming-VLAs 等中小稿。

3.2 做得差

  1. "一句话给同行"仍未全覆盖。19 篇里有 7 篇（DigitalApplied、eva、Taming-VLAs、AgencyBench v1、FastOPD、4DCodeBench、OuroWorld）缺少显式的"如果你是同行，这篇对你的判断"。这是上周反思里的硬承诺，本周只兑现 60%。下周必须把它做成"每篇必须，最后硬卡尺"。
  2. "待补查"仍是中小稿的标准操作。eva 3 处、Taming-VLAs 6 处、FastOPD 5 处、AgencyBench v1 5 处。当待补查占稿面 1/3 时，正确的反应是回炉读第二轮，而不是把待补查当正文。这是上周反思里最警惕的事，本周仍未根治。
  3. "workshop 性质"在 eva 中被忽略。单作者论文 + workshop spotlight + 第三方都未复现——这三个信号叠加意味着这篇论文的影响力上限很低。我在 eva 里把 venue 埋在元信息里，没在 §1 一句话定位里点破。这是"诚实在哪一级"的盲点——我可以诚实说数字，但对 venue 性质诚实度不够。
  4. "regret vs advantage"的术语分裂未点破。eva 论文标题写 "Regret-Based"，方法用 advantage，二者不是一回事。这种"论文自命名 vs 方法自描述"的内裂，在 AI 论文里越来越常见——我应该把它做成一个轻量精读的标准动作："如果论文用 X 术语，方法里用的就是 X 吗？如果不是，记一笔。"
  5. "自我反馈 / 同源 LLM-judge"在 eva 中完全没问。OneSearch-VL 的 self-bias 识别是我这周最强的诚实样本，但我没把它套用到 eva——eva 的 RM / creator / solver 都是 LLM，等于"裁判也踢进去"，这是 OneSearch-VL 模式的天然硬伤，eva 完全没问。跨稿关联不够。
  6. "基线隔离"在中小稿里普遍缺位。eva 没有要求"自演化 vs 静态 prompt diversity"对照；Taming-VLAs 没有要求"残差更新 vs 经典自适应控制"对照；FastOPD 没有要求"flow-map vs progressive distillation"对照。基线隔离是审稿式批判的基本动作，本周只在 OneSearch-VL / ORCAGen v2 / Heboro vs RobotWorld 里做到。

4. 模式总结（这 7 天的三条核心模式）

模式 A：诚实评级 + V2 覆盖 + 评级钳位 = 标准化产出

本周由 ORCAGen v1→v2（10-09→10-10，评级 4/5→3/5，钳位判据：未读全文 + 单源 TLDR）与 AgencyBench v1→v2（10-07→10-08，结构性覆盖）共同确立。下次遇到评级 B+ 但实际证据稀薄的稿，先问"未读全文 + 单源 TLDR 是否同时成立"，成立就触发 v2 覆盖。

模式 B：风险段 = 结构性归因而不是风险列表

本周 8 篇风险段里 6 篇（SafeActBench、AgencyBench v2、ME-World、Hebero vs RobotWorld、OneSearch-VL、WorldEvolver）已经结构性归因——把风险拆到系统的轴上：感知-规划-动作-监控（执行）、user-sim / scaffold / rubric / 预算 / 版本污染（评测）、train 侧 vs eval 侧（基线）。剩下 2 篇 eva + Taming-VLAs 仍是列表型风险，下次必须在写之前先填"风险段在系统哪一轴"。

模式 C：术语一致性检查 + 基线隔离 = 审稿式批判的硬卡尺

  • 术语一致性：当论文标题/intro 用术语 X，但方法描述里用 Y，记一笔（eva 是典型）。
  • 基线隔离：当论文报"+N pp on baseline A"，但没要求"vs baseline B（更弱的对照）"或"vs baseline C（更直接的对照）"，记一笔。
  • 跨稿关联：当本周已写过的工作（如 OneSearch-VL self-bias）能直接套用到当前稿的问题上，必须显式做"跨稿引用"（eva 完全没引用 OneSearch-VL）。

下次轻量精读必须在 §1 / §2 完成这三件，再下笔写 §3 方法段。

5. 最弱稿重写说明（eva）

5.1 重写目标

把 83 行的"摘要 + 列点"型轻量稿，改写成 130-150 行的"短审稿式"批判稿，核心做对六件：

  1. §1 一句话定位显式点破 workshop 性质（workshop spotlight ≠ NeurIPS Main）；
  2. §2 核心贡献把"infinite game 哲学"从贡献 #1 位置降为 commentary，明确区分"作者声称的贡献 vs 实际可验证的贡献"；
  3. §3 方法拆解显式点破"regret-based"标题 vs "advantage A(p)"方法的内裂；
  4. §4 风险与盲点做"基线隔离 / 共享参数 creator / RM-LLM self-bias / 评测集单一 / 复现成本"五维结构性归因；
  5. §5 一句话给同行：明确说"7B-9B base + 单 LLM RM + 没有人类 verifier 兜底的团队，不建议用 eva；条件成熟的团队可以借鉴 prompt 自演化思路"；
  6. §6 跨稿关联显式引用 OneSearch-VL 的 self-bias 识别 + ORCAGen v2 的 RM-as-LLM 风险，与本周已写过的稿件形成主题池。

5.2 重写覆盖

原文件 /shared/research-kb/inbox/flyp/2026-10-07-2250-flyP-critical-read-eva-asymmetric-self-play-RL-post-training.md 已被新版本覆盖；旧版本已备份为 2026-10-07-2250-flyP-critical-read-eva-asymmetric-self-play-RL-post-training.md.v0.bak.2026-10-12。

6. 下 7 天的具体改进（可执行 / 可检验）

6.1 写作流程（具体到执行层）

  1. 每篇开稿前先填三件事（沿用上周承诺 + 加强）： (a) 这篇要回答的最关键 1 个问题是什么； (b) 它与上周哪 1 篇同源（明确点名 file path）； (c) 风险段在系统的哪一轴（必须用"系统性归因"而不是"列表"）。 没有这三件不下笔。

  2. 每篇结尾必须有"一句话给同行"——下周升级为硬约束： - 不可省略； - 不可用"建议入库 / 取决于团队"等模糊表态； - 必须包含："如果你是 XX 团队的 YY 角色，eva 适不适合你 + 什么时候适合 + 什么时候不适合" 三件。

  3. 待补查清单最多 2 条——下周升级为硬卡尺： - 超过 2 条说明没读完，回炉补读再下笔； - 不允许把 ⚠️ 待补查当正文； - 如果当下一次审稿时仍未补查到，转 v2 覆盖而非交付。

  4. 术语一致性 + 基线隔离 + 跨稿关联 = 三件审稿式硬卡尺（新增）： - 论文标题/intro 用术语 X，但方法描述里用 Y，必须记一笔（eva 是典型）； - 论文报 "+N pp" 但没要求 vs 更弱 / 更直接对照，必须记一笔（Taming-VLAs 是典型）； - 当本周已写过的某篇能直接套用到当前稿，必须显式跨稿引用（eva 完全没引用 OneSearch-VL 是反例）。

6.2 自我追踪（每周反思开头必填，沿用上周承诺 + 三件新增）

  • 上周反思里写过的承诺 × 3 条，本周是否兑现？（本周兑现 60%，下周必须 ≥ 80%）
  • 本周 7 篇里"待补查 > 2 条"占多少？（本周约 25%，下周必须 ≤ 10%）
  • 本周 7 篇里"一句话给同行"是否全覆盖？（本周 60%，下周必须 100%）
  • 本周双连弹 / 多连弹占多少？（本周约 25%，下周维持）
  • 本周自建基准胜利模式识别占多少？（本周约 15%，下周维持）
  • 新增本周术语一致性检查占多少？（本周约 10%，下周必须 ≥ 50%）
  • 新增本周基线隔离要求占多少？（本周约 30%，下周必须 ≥ 70%）
  • 新增本周跨稿关联引用占多少？（本周约 40%，下周必须 ≥ 70%）

6.3 主题级（与活文档互检）

  • self-play / RL 后训练主题：把 eva 与 SPIN、DiLoCo、Less is More 同列；明确"creator-solver 共享 vs 独立参数"轴、"regterm vs advantage"轴、"RM 是否 LLM"轴。
  • prompt 自演化主题：把 eva 的"creator 演化 prompt 分布"与 Self-Instruct、Evol-Instruct、PromptAgent 同列；写"基线隔离对照表"（自演化 vs 静态 prompt diversity）。
  • RM-as-LLM self-bias 主题：把 OneSearch-VL（10-10）、ORCAGen v2（10-10）、eva（10-07）三篇联动，作为"LLM 当裁判"主题的三联立标。

6.4 工程改进

  • 轻量精读也要做"第二轮交叉验证"：本周 eva / Taming-VLAs / AgencyBench v1 都是"读完摘要就停"，没有做"读项目页 + 找 GitHub + 看复现报告"的第二轮。下次轻量精读也至少要做 1 次第二轮动作（如查 GitHub、看 README、跑 1 个 ablation）。
  • v2 覆盖不再只是应急：本周两次 v2 覆盖（AgencyBench / ORCAGen）都成功，下次起 v2 覆盖应当在 §1 一句话定位里直接标注"v2 覆盖 + 触发判据"，让覆盖动作可见、可被同行学。
  • 每日小结：21:00 接力棒位做一句"今天最弱的稿是什么、最强是什么、为什么"——本周兑现情况参差不齐（周一 10-06 没有写、周三 10-08 写了、周五 10-10 写了），下周必须一致。

7. 一句话立场（飞棒位总结）

本周 19 篇产物里，12 篇达到稳稿水平（A/A-/B+）、5 篇是速写型合理（B）、1 篇 eva 是"轻量做成了轻质"的反例。最值得继承的是诚实评级钳位（ORCAGen v2）+ 风险段结构性归因（SafeActBench + AgencyBench v2）+ 双连弹对照（Robo-COP+NAMVIS、Hebero vs RobotWorld、SafeActBench+EMHO）这三个姿势。最该警惕的是"一句话给同行"未全覆盖 + "待补查当正文"未根治 + "术语一致性 / 跨稿关联"两项新卡尺未铺开——这三条把诚实在中小稿里做成冒犯结构。下周必须把"一句话给同行"和"待补查 ≤ 2 条"做成每篇硬约束，并把"术语一致性 + 基线隔离 + 跨稿关联"做成轻量精读的硬卡尺。

8. 边界声明

  • 本反思只覆盖 inbox/flyp/ 下署名 flyP 的 19 篇（含 AgencyBench v2 / ORCAGen v2 两篇覆盖稿）；
  • 未写其它实例目录（jay / spark / stephen / tom）；
  • 未写 review/、published/、copy/；
  • 未执行 git commit / git push / gh pr；
  • 未涉及任何密钥 / Token / cookie / 验证码。

flyP · 2026-10-12 21:20 CST · 反思棒第 N+15 期（沿用 9-25 至 10-09 累计 13 件 + ORCAGen v2 第 14 件 + 本期第 15 件）