E2 自我反思 · spark · 2026-10-23

  • 作者：spark
  • 产出日期：2026-10-23
  • 本轮范围：清单 e2:spark 一条，指定三篇新产物
  • 选为最需改进：organized/promo/surveys/2026-10-23-multimodal.md

一、材料出处（全部三篇均已使用）

  1. 2026-10-23-multimodal.md（完整名 organized/promo/surveys/2026-10-23-multimodal.md）
  2. aryan-pardeshi-citeproof-ai-mcp.md（完整名 organized/guides/aryan-pardeshi-citeproof-ai-mcp.md）
  3. zapier-automationbench.md（完整名 organized/guides/zapier-automationbench.md）

二、逐篇评价

2.1 CiteProof 攻略

准确性：高。§0 三证 checklist 明列 venue 未证实、许可待核；「resolved ≠ verified」这类 README 反直觉点都引了原话。深度：12 条坑覆盖 PRISMA 不变量、DOI unverified 两态、截断哈希 ID，机制讲到了实现层。清晰度：三段式（现象/影响/修复）极稳。证据：README verbatim + 抓取截断已声明。遗漏：未做最小可跑 smoke test 的预期输出留痕；§6 同类对比表中 Elicit/Consensus 的描述来自常识判断而非引用，缺出处标注。

2.2 AutomationBench 攻略

准确性：高，且把「公开分 ≠ 官方分」「simple 域不计入」这两个最易踩的坑放在首位。深度：CLI 19 项参数逐条列出并保留默认值，这直接决定可复现性。清晰度：与上篇同构，可横向复用。证据：榜单表标 verbatim，arXiv ID 明示未独立核实。遗漏：未记录榜单抓取时刻的具体时间戳，只标了日期；--input-cost/--output-cost 覆盖内置查表这条未展开实际价格来源。

2.3 multimodal 综述（本轮最需改进）

准确性：中。它自己划了证据层级（摘要/解读/核验），这点做得比两篇攻略更严谨，但层级标注再规范也改变不了一个事实：全篇性能数字都来自二手解读摘录，而它仍在 §1 用「+27.3pp」这类数字支撑「轴心位移」这一核心论点。证据强度撑不起结论强度。

深度：结构好，§2.8 条「约束施加位置」的三层归纳（数据层/表示层/流程层）是真提炼。但归纳只在一棒 8 篇内部成立，未做跨周稳健性检验——而它自己在 §5-5 就提议把它复用到下棒，等于用一个 n=8 的样本立轴。

清晰度：好。§0 自检表、层级约定、附录齐全。

证据：最弱的一环。§3 自己承认 8 篇全未通读、两处数字未二次确认，却在 §4-8 把「ACG-Bench 的 3.9× 是否来自基准设计」列为未解问题——这条本质是「现有解读的消融归因是隐式推断」，它已经知道答案方向，却仍保留为「未解」，属于把不确定性推给了读者。

遗漏：① 未核实任何 GitHub/HF 链接（§3-5 明说未做），对一篇以「落地闭环」为主线的综述，可得性恰是最关键的下游变量；② 未对 2610.12417、2610.04616 之外的处理方式给出统一标准——为何只查这两篇，选择依据缺失；③ 缺一个「若只能记住三件事」的收敛段，§5 七条建议对读者是并列的，没有优先级。

三、本轮反思

优点：读了自检表的样式确实管用——「未通读全文」写在正文顶部而非藏在末尾，这一位置选择让读者第一时间校准预期；⚠️ 标记密度足够高，不掩饰；横向归纳是本轮最大增量。

缺点：① 「诚实标注不确定性」被我当成了免责，一旦标注到位就照常使用这些数字下强结论，标注替代了验证；② 建议清单只做加法不做减法，§5 七条没有排序，读者拿不走行动；③ 本次反思同样存在「读完即评」的倾向——评价攻略时我也没验证其中的对比表是否真有出处。

可复用改进规则： - 规则 A：综述中每个数字必须紧跟「我是否直接看过该数字所在的那一节」。只看过二手摘录的数字，一律降级为「据解读，X 声称」并禁止进入结论句。 - 规则 B：分类轴在 n<10 的样本上只能称「本棒观察」，要称「轴」需跨周复现一次。 - 规则 C：建议清单必须分「本周可做/需外部条件」，且不超过 3 条。 - 规则 D：跨文献对比表中的每一行都要么有引用，要么标注「背景判断」。

四、修订建议（仅建议，未改动原稿）

对 organized/promo/surveys/2026-10-23-multimodal.md：

  1. §1 其一：将「最高 +27.3pp、可替换任务自身数据 30–50%」从论点句中移除，移入该段末尾的证据限定句，改为「既有解读报告在 26 个基准中的 22 个上取得提升，但该组数字未经原文二次确认」。
  2. §1 其三 收尾：「这是本棒最有分量的观点之一」改为「这是本棒最值得优先证伪的观点之一」，把评价词从「分量」换成「可证伪性」，与实际证据状态一致。
  3. §2 横向归纳 标题后加一句：「本划分在单棒 8 件上成立，跨周稳健性待下棒验证」，并把 §5-5 的措辞从「值得作为下棒的主题轴复用」下调为「可作为下棒候选轴之一」。
  4. §3 增列第 7 条：「无一件做过代码/数据可得性核实，故全篇不支撑任何『可直接用』的判断」，使可得性缺口与性能缺口同级显性。
  5. §4-8 移出「未解问题」表，降级并入 §3 证据边界（它已被定性为解读者的隐式推断，不是待解谜题）；腾出的位置可放「SheetSage2 的 BPM 判别在无节拍标记的 jazz 段落是否退化」。
  6. §5 改为三档：本周可做（GroundingFscore 作为报告项、NAMVIS ProPE 消融）、需外部条件（WOVEN 跨任务复现、SLA 模态数消融）、暂不做（维持不排行原则仅作声明）。删去与其余条目重叠的第 7 条。
  7. 新增 §6「若只记住三件事」：接口层之争正在展开（语言 / 视觉转移 / 结构化约束）；VLA 瓶颈在分布与闭环而非容量；本棒全部为摘要级证据，机制可信、性能不可报。