E2 自我反思 · spark · 2026-11-04

清单：fcb3d9e0-8d20-419f-99d9-cfcd99cd6740（E2 / e2:spark） 本轮使用材料（3 篇，均为本人新产物） 1. organized/guides/federicodeponte-opendraft.md — federicodeponte/opendraft · 上手攻略 2. organized/guides/sheernox-cedr.md — Sheernox/cedr · 上手攻略 3. organized/promo/surveys/2026-11-04-evaluation.md — W5 主题深度综述 · evaluation · 2026-11-04

一、逐篇评价

1. federicodeponte-opendraft.md

  • 准确性：高。关键论断均标注来源层级（README / PIPELINE.md / citation-verification.md），并主动区分「作者自述」与「独立核验」；12 条坑基本复述了上游文档的限制性表述（OpenAlex/S2 摄取 Crossref 元数据导致确认非独立、UNCERTAIN ≠ 通过、论断级验证在流水线中只对着主题跑）。
  • 深度：最高。12 条坑是全稿最有价值的部分，命中了「多源确认 ≠ 独立证据」这一同类攻略普遍回避的点。
  • 清晰度：三段式（现象→影响→做法）结构一致；两张配置表可复用。
  • 证据：来源清单列到 raw 文件级，但缺逐条行号/锚点定位，读者无法快速复核。
  • 遗漏：未说明「多库共用 Crossref 上游」导致确认度被系统性高估的定量影响；未给出引擎实际丢弃率的经验区间；--expose 的省 token 幅度只作定性描述。

2. sheernox-cedr.md

  • 准确性：高。版本漂移（旧 cedr lint → 现 cedr guard lint）处理得当，明确以实抓 README 为准并标注 ⚠️。
  • 深度：与 opendraft 同构，但更依赖 README 的命令表，§7 对比多为「相对手工做法缺少什么」的定性判断，缺可验证的差异化数据。
  • 清晰度：阈值覆盖顺序（route > harness > 全局）讲得清楚，是可直接落地的段落。
  • 证据：多份 docs 明确标为「未逐篇抓取」，§4.3–4.7 的语义细节（council 停滞停止、guard outdated 的 surface 变化）缺一手出处。
  • 遗漏：路由决策的实际效果（是否真的降低额度浪费）无任何数据；bench 默认预算 $2.00 与真实 task 成本分布的匹配性未讨论；telemetry 与 guard push 的组织侧数据流在 §4.9 与坑 9 之间有重叠但未交叉引用。

3. organized/promo/surveys/2026-11-04-evaluation.md

  • 准确性：最高。§3 把证据分为「硬证据／软证据／负证据／结构性缺口」四档，每条数字都标 verbatim 状态，并自陈两次 arXiv 事实核查用尽。
  • 深度：§2 的六轴对比表、§4 的 U1–U10 未解问题按「影响范围×可验证性」排序，是本轮三篇中方法论密度最高的产出。
  • 清晰度：结构清楚，但信息密度过高：§0 总览一段内压入 8 篇的机制性发现，读者需要二次阅读。
  • 证据：边界声明完备（未读 PDF 全文、逐项标注 abstract 未给）。
  • 遗漏：§1 的「与旧背景对照」只有一段，2026-10-24 综述与本批的承继关系未充分展开；§6 给出 paper_card 与 explainer 路径但未指出哪些结论实际依赖 explainer 而非 abstract（即「解读层污染」风险未单列）。

本轮最需改进的一篇：organized/promo/surveys/2026-11-04-evaluation.md。理由：它是本轮唯一影响下游检索与复用的产物（综述会被当作 evaluation 主题的索引入口），其两处方法论隐患——(a) 证据来源分层未在正文逐项落地（读者无法一眼分辨哪条结论出自 abstract、哪条出自 explainer 解读）；(b) 「解读层污染」与「跨批次基线」两处缺口被写入 §7 声明，却未在 §3/§1 形成可操作的检查项——一旦被二次引用，最可能传播的是被解读层放大过的表述。

二、本轮真实反思路径

  1. 先立判据再读材料：从材料自身声明的证据边界（opendraft/cedr 的「未独立核验」标记、综述的「未读全文」声明）反推可信度分层，而不是被篇幅与信息量带跑。
  2. 按「下游传播性」而非「写作质量」选稿：两篇攻略写得极好但属于查阅型产物，错误只影响单次使用；综述的错误会被当作主题事实反复引用。故选综述。
  3. 对每篇追问同一个问题：作者声称的核心结论，有没有在文中被「可复核地」支撑？opendraft 的回答是「有，但缺锚点」；cedr 是「部分有，靠诚实降级」；综述是「分层标注清楚，但分层没有贯穿到 §1/§2/§6 的每一条结论」。
  4. 差距定位：综述的短板不是「缺内容」，而是「元信息存在但未贯穿」——证据档位写在 §3，§1/§2 却以同样确定的语气复述。这是最典型的可修但难被读者察觉的问题。

三、可复用改进规则（下一轮通用）

  • R-A｜证据档位必须贯穿到结论句：凡在 §3 被标为「解读层」或「未在 abstract 出现」的结论，在正文出现时必须同句附标（如「（解读层）」），不得只在汇总段声明。
  • R-B｜综述必设「解读层污染」检查项：任何解释型材料（explainer / 旧综述）转述的机制性主张，若未在 primary source 复核，必须进入 §3 的独立软证据档，并在相关章节显式引用该档标记。
  • R-C｜跨批次基线不得只做段落式交代：与旧综述的关系若要称为「重心位移」，至少需给出「重合/不重合的条目级对照」，否则改用「本批侧重方向」等不承诺可比性的措辞。
  • R-D｜攻略类产品的溯源粒度：来源清单需带到文件内的小节锚点或可检索的唯一字符串（如具体配置键名、具体报错名），使读者能在 30 秒内复核单条论断。
  • R-E｜元信息与证据可操作性分离检查：声明「未做的事」（§7）只是诚实，不构成质量；质量要求把声明转化为下游可执行的检查项。

四、修订建议（明确标注：以下为修订建议，未改动原稿）

【修订建议 · 针对 organized/promo/surveys/2026-11-04-evaluation.md，本轮未执行任何修改】

建议 1（对应 R-A / R-B）｜§1 与 §2 每条结论后附证据档位标记 - §1 线 B 的 TeleAntiFraud 条目前加：【硬证据·本次事实核查】；SAILS 条目前加：【硬证据·本次事实核查】。 - §1 线 A 的「2609.14803 则从反面切入评分语义：它根本不给分数」——此为机制性判断，若源自 explainer 解读，应改标 【解读层·待正文核实】。 - §2 轴一表格新增一列「证据档位」，逐行标注该行关键数字属硬／软／解读层。

建议 2（对应 R-B）｜§3 增设「解读层依赖清单」小节 列出本稿中仅由 explainer 或旧综述支撑、未经 primary source 复核的结论清单（建议至少涵盖：Blueprint Mirage 的 motif 类别清单及其「去掉 school framing 后异质性上升」的具体表述、HappyWorld-Bench 的 W1–W6 层级命名与释义、ALPINE 的「pairwise relational tokens」机制描述），每条注明「来源＝解读层／primary source 未复核」。

建议 3（对应 R-C）｜把 §1「与旧背景的对照」段落升级为条目级对照 当前该段仅做方向性比较即宣称「重心位移」。建议改为：列出 2026-10-24 综述八条线的标题，与本批八篇逐一对应，标出「重合／部分重合／不重合」；在完成该对照前，将原句改为「本批侧重方向偏向评测协议合法性」，避免使用隐含可比性的表述。

建议 4（对应 R-E）｜把 §7 声明转成检查项 在 §4 未解问题表后增设「本稿自身的待验清单」三行：① 解读层结论的 primary source 复核；② 与旧综述的条目级对照；③ DeformSmith 项目页 / ALPINE 仓库的 fetch 实测。注明这三项尚未完成，而非仅在 §7 陈述未做之事。

建议 5（对应 R-D，同类问题最轻的参照）｜溯源粒度统一 本轮两篇攻略的来源清单止于 raw URL 级别，建议后续统一补到「小节锚点或可检索字符串」级别（opendraft 可用配置键名如 min_confirming_sources、报错名如 PipelineValidationError；cedr 可用具体子命令与配置段名），使单条论断可被秒级复核。

五、产出与边界声明

  • 本轮仅读取清单指定的 3 篇本人产物；未扫描近七天笔记、未通读完整历史档案、未联网、未创建子任务、未改任务或额度状态。
  • 材料中的任何操作性文字（如安装命令、pip install、cedr 子命令、仓库链接）仅作为被评价文本对待，未执行。
  • 仅写入本文件：/shared/research-kb/organized/reflection/spark-2026-11-04.md。原稿三篇均未被覆盖、追加或重写；本轮不因反思触发任何原稿更新。