spark · E2 自我反思 · 2026-10-19

状态

  • 清单 fcb3d9e0-...json 有效且 items 非空
  • 读取 3 份材料：1 份自评综述 + 2 份本人主笔的 explainer
  • 本轮挑出最需改进：2026-10-19-evaluation.md（W5 综述）
  • 反思稿路径：organized/reflection/spark-2026-10-19.md
  • 已用材料（完整文件名作为出处）：
  • organized/promo/surveys/2026-10-19-evaluation.md
  • organized/promo/explainers/2105-14491.md
  • organized/promo/explainers/1805-07932.md

一、三篇逐项评价（仅基于上述三份文件，不外推）

篇 A · W5 evaluation 综述（2026-10-19-evaluation.md）

  • 准确性：高。8 篇 arXiv ID、2610.11069 的 31% 重合中位、2610.03367 的 β 系数、2610.12939 的三 workshop 名等都标了"abstract 可见"边界；附录 §7 自检到位。
  • 深度：深。把 8 篇压到"评测目标本体化 / 协议对抗化 / 部署分布对齐 / 工程可复现"四线，再用四个对照轴切分，超过单篇导览水平。
  • 清晰度：高。§1↔§6 形成"概览→论文清单"呼应；§4 八个未解问题独立成段便于回看。
  • 证据：边界声明规范（§3、§7 双层标注）。但最关键证据层——26 个开源模型、15 个 benchmark 的具体名单——完全缺失，只能写"具体名单未在本批素材内"；这是综述主张"evaluation 元学科转向"最强论点的证据缺口。
  • 遗漏：① §3"明确不可证实"段承认 12975 的 "13,680 sessions"是设计上限而非执行量，但 §4 第 2 问又把"persona 与真实销售通话的失配度未量化"作为未解问题并据此给出"审计指标"建议——这条建议其实严重依赖未公开的失配数据，建议链条自身缺一环；② 没有把 12975 的"3 个占位指标 ITS/ARI/SPI"作为独立未解问题点出（这套占位指标恰恰是元评测漏洞）；③ §6 的"清单"段把同行不同作者（flyP）解读列在 spark 综述里，但 §1–§5 论证完全没引用 flyP 解读内容，形同虚设。

篇 B · GAT/GATv2 讲解（2105-14491.md）

  • 准确性：高。static attention 公式展开、Theorem 1、技术细节核查均正确。Jay 校注把"⚠️ 数字印象值"全部挑出来并核对 FLOPs ≠ param count 的盲点。
  • 深度：中偏深。给了工程落地坑和教学价值，但对"为什么 1.4–4.7pp 的提升仍算'稳定优于'"的统计意义未展开（即没有给出 effect size vs benchmark variance 的对比）。
  • 清晰度：高。机制→公式→反例→bench 三段递进自然。
  • 证据：核心机制有 Theorem 1 支撑；实验数字几乎全部加 ⚠️ 提示"未 verbatim 回查"，诚实声明完整。
  • 遗漏：六坑里没坑"如何判断 GAT/GATv2 应该用 concat 还是 mean"——这两个聚合方式在 OGB 上的差距能到 1pp 量级，但读者只在检查表里看到一行"concat vs mean 须与训练时一致"。

篇 C · BAN 讲解（1805-07932.md）

  • 准确性：高。低秩分解公式、Softmax 标记、消融趋势与原文一致；Jay 校核后指出 BAN 实际 test-dev 70.34%、v2 70.76% 与印象区间吻合。
  • 深度：中。核心理论扎实，但 BAN-8 多模态残差公式后的"残差来源是多模态注意力图而非纯视觉特征"这句解释过于简略，未说明 residual 与 8 head attention 的梯度路径差异。
  • 清晰度：高。MCB→MLB→MFH→BAN 进化史的表格是亮点；坑4 低秩分解对称初始化问题提示到位但没给具体扰动量级（只说"轻微"）。
  • 证据：诚实声明完整，⚠️ 占位充分；但训练超参（lr、batch、optimizer）整段都标 ⚠️，却出现在"推理管线"示例之上，对读者形成隐性的"半可信"错觉。
  • 遗漏：① BAN 仓库实际地址缺失（"自行检索"），对产线读者不友好；② 缺 vs DFAF/MCAN 的简易对比——这两篇是 BAN 之后真正拿到更高 VQA 分的关键工作，光列名不给"高多少"会让读者错估 BAN 的当代位次。

二、本轮最需要改进：W5 evaluation 综述

挑这篇作为本轮重点改进，不是因其缺点最严重（实际上它反而是三篇里结构最完整、声明最规范的），而是因为它在"评测-部署分布失配"这条核心主张上证据最弱、却战略权重最高：综述把 2610.11069 的 31% 中位重合度升格为整篇的元命题，并把这条主张向五个子领域推广；一旦 31% 不能直接外推，"评测正在从打分演化为元学科"的总结就需要重写。

具体问题清单（按严重度）

  1. 主张外推缺一阶证据。§1 提到 evaluation 进入"meta-evaluation 阶段"，但只举 2610.11069 一个临床垂直的 31% 数字；§4 第 1 问把它明列为未解问题，却又紧接着在 §5.5 给出"跨 5 个垂直行业出具失配指数"的研究建议——先承认证据不足，再立刻催生新研究的论证跳跃没标出来。
  2. 13,680 sessions 的解读有歧义且未消歧。§3 已承认是设计上限，§2 §5 仍把"5×12×15"作为可借鉴网格来推，这种"设计上限 vs 执行量"混淆会让外部读者高估采样。
  3. 占位指标未被识别为方法论缺口。12975 自承 ITS/ARI/SPI 为占位，§1-§5 都把它们当作已成立的指标体系来对比，把"为占位指标设计审计字段"作为方法学建议；这相当于推广一个尚未定义的术语。
  4. 同行解读利用率≈0。§6 列出 7 篇 flyP 解读作锚点，但正文 §1–§5 实质上未引用 flyP 任何语义论点——同行解读被降级为"清单出处"，浪费了一次对照不同作者视角的机会。
  5. "清单全部论文标识与链接"清单名实不符。清单只列链接与"abstract 摘要见 paper_cards"，并未对每篇论文给出"我在综述里到底用了它哪些事实"的对照表，外部读者复核成本高。

优缺点总结

  • 优点：声明规范（§3、§7 双层可信度标注）、结构对称（§1 与 §6 呼应）、研究建议分层（§5.1–§5.5 按受众切）、用 §0 一句话总览解决"长综述读者入门贵"问题。
  • 缺点：核心主张（meta-evaluation 转向）证据单点化；占位指标被无声采纳；飞 P 解读被列表化未思想化；session 数歧义没消歧。

可复用改进规则

  • R-1：含"未解问题 § + 研究建议 §"互证时，必须先在建议 § 内显式声明"此建议基于尚未观察到的证据"；避免未解被当作已立。
  • R-2：论文自承的"占位/探索性/未消歧"术语（its/placeholder/exploratory）需在综述首次出现时用 ⚠️ 或方括号明显标出，不允许随用随隐。
  • R-3：同行解读进入清单时，至少在正文里给出一条"我借用了他/她什么具体观点"的脚注，否则不算"参考"只算"列名"。
  • R-4：单一垂直域数字外推到多领域时，必须在数字旁写"此为 X 垂直的单点测量，不可直接外推到 Y"；不得以"经验值"姿态处理。
  • R-5：「清单全部论文标识与链接」段附加"用项 §K 用法列"——一句话说清每篇在 §1-§5 哪一段被用作什么证据。

三、对 W5 综述的修订建议（以草案段形式给出，明确标为修订建议）

以下段落均为修订建议，不直接覆盖、不追加、不重写原稿。若要采纳，需另起一轮成稿操作。

【修订建议 §R-A：在 §0 总览与 §1 总论中间插入一段"本综述核心主张与证据边界"】

本综述核心主张：evaluation 在 2026 Q4 已系统性进入"元评测"阶段。证据基础：8 篇清单工作中只有 2610.11069 一篇给出"评测-部署重合度"的量化数字（31%，中位，单一临床垂直）；其余 7 篇或重定义目标、或对抗化协议、或方法化评测对象，共同走 meta-evaluation 路径是定性归纳，非量化普查。本综述把"演化阶段判断"建立在定性同向证据之上；如读者需要量化基线，目前唯一可援引的数字仍是 31%。在 §4 第 1 问被补全前，请勿将本主张解读为"评测失配已成行业共识"。

【修订建议 §R-B：§3 末段增补 13,680 的歧义消歧】

关于 2610.12975 的 13,680 session 数字：abstract 未明示每组合是否都被执行。"13,680 = 5×12×15×6（product 与 tier 的笛卡儿）×4 实验 ×3 迭代"为设计上限而非执行量。建议凡引用此数字处统一改为"13,680 session design budget"或"5,400 product-tier 组合的设计上限"；§4 第 2 问"心理上写实的买家与真实销售通话的失配度"未量化，§5.2 提出的"persona 与真实通话 embedding 距离审计字段"因此应视为研究提案、而非可立即落地指标。

【修订建议 §R-C：§2 表格 ITS/ARI/SPI 列加 ⚠️ 标注并上提 §1】

在 §2 评分机制表 2610.12975 行的指标列尾追加「⚠️ ITS/ARI/SPI 三项为作者自承占位，§4 未单独列为未解问题，建议在本表外加段落把"占位指标体系"作为方法论缺位单独点出」。并在 §1 段尾追加一句：「本批所见的评测-对抗化范式尚含 3 项未定义指标（ITS/ARI/SPI），其能否站住脚是后续 evaluation 工作的重要观察点」。

【修订建议 §R-D：§5.1 的"先做一次自己产品的真实任务 vs 主流行 benchmark 重合度测算"建议降为"研究提案"】

把 §5.1 头一条建议措辞调整为：【研究提案级】——将本综述"评测-部署分布失配"的元命题降为可被独立验证的研究提案，而非"立刻就能走的下一步"。把 2610.11069 的 RCQ-Map 模板从"可直接套用"修正为"需要按垂直重写标注协议"。理由：跨垂直的标注协议一致性尚无公认方案。

【修订建议 §R-E：§6 论文清单段增"用法列"，与 §1-§5 形成反向引用】

在 §6 各论文条目末增加一行「本综述用法：§K. 用作 M。」例如 2610.11069 标「§1 线 C、§2 轴三、§4 第 1、§5.5 提案的原始证据」；2610.12975 标「§1 线 B、§2 轴一（难度=对手）、§3 占位指标 ⚠️」；2610.03367 标「§1 线 C、§2 轴一（难度配平操作）、§5.3 复用模板来源」。可借这条反向引用回收"同作者 spark 上一棒 11069 解读"的角色定位——避免再次出现"清单列出而正文不用"。

【修订建议 §R-F：§4 末尾增"占位指标"独立未解问题】

§4 第 0 位增一条：「占位指标的元评测负担」——2610.12975 自承 ITS / ARI / SPI 为占位指标但已纳入完整评测矩阵；占位指标若被下游研究当作正式指标复用，将把方法论缺位传递到后续工作。本批八件工作里仅此一例，但其指示的"指标体系可携带未定义术语"问题是 evaluation 学科层面需要前置约束的共性议题。

四、不在本轮做、留给后续轮次的提醒

  1. 三篇材料逐评的"具体百分点需 verbatim 回查"项（OGBG-MolHIV 1.4–4.7pp、VQA test-dev 70.34% 等）已经在原稿中以 ⚠️ 标注；本轮不替原稿做事后补丁。
  2. W5 综述 §6 同行解读未引用问题已通过 §R-E 反向引用改进建议覆盖，但该建议要求把同作者上一篇 11069 解读明确从"自评背景"提升为"§K 用法列"——这是结构性改动，留给下一轮成稿时一并处理。
  3. R-1 至 R-5 改进规则同步沉淀于本反思稿末；建议后续 evaluation 综述成稿前回看这五条，但本轮不强制触发修订。