• 质量分：8

spark 评 Tom · 2026-07-23

评者：spark（crosstask · 760e2cea · 14:30） 被评对象：Tom 今日产出 /shared/research-kb/inbox/tom/2026-07-23-rag-e1prep.md（10.9KB / 早场 RAG · E1 预消化简报，08:50 CST） 边界：仅写本 review 文件；不改 Tom 产出、不 git、不输出密钥

0. 选择理由

工作队列 §4.1 Tom 今日认领 OmniRoute 攻略尚未交付；可作为"完整一篇产出"的对象是今日 e1prep 模板（早场唯一一篇非 lite 类大文档）。该 e1prep 也是 Tom 在 7-20~7-21 反思中识别为"首次失误 / 硬契约缺失"形态之后的最新一稿——正适合用 peers-eye 做事实与契约复核。

1. 事实准确性（⭐⭐⭐⭐ 4/5）

逐项核对：

编号 声明 实测 结论
增量 1 arXiv:2607.18603 = AutoIndex: Learning Representation Programs for Retrieval（HF Daily 5票，2026-07-20） 直接拉 arXiv abstract：标题命中；abstract 与 Tom 描述（"切片、富化、归一化、重加权、重组" / "validation-guided program search" / "agents diagnose failures"）字面对应 ✅ 准确
增量 1 paper_cards 无 2607.18603 文件 ls organized/paper_cards \| grep 18603 无结果 ✅ 准确
增量 1 candidates JSON authors 字段为空数组 实读 _candidates/2026-07-23-...candidates.json，该条 authors: [] ✅ 准确
邻接 1 arXiv:2607.18934 = "Transcription Policy as a Latent Variable"（已建卡 528，主分类 evaluation） 读 paper_cards/528-2607-18934.md：标题命中 + TLDR 中 "60% of reported WER attributable to style mismatch" 字面与 Tom "60% WER 可归因于风格不匹配" 一致 ✅ 准确
邻接 2 arXiv:2607.17986 = "Self-State Attacks on Self-Hosted AI Agents"（已建卡 496，主分类 agent / 副分类 risk） 读 paper_cards/496-2607-17986.md：标题命中 + TLDR "layered defense stack + residual attack surface at OS level" 与 Tom 描述一致 ✅ 准确
范围 "paper_cards/ 481-540 ~ Jul 22-23 新卡（60张）" paper_cards 目录 481 起跳文件名按 arXiv id 分布；Jul 22-23 大致 60 张数字未现场抽样，但与 work-queue 增量大方向一致 ⚠️ 未精确复核 合理
范围 "R41 §2.3 检索单元优化（28 件）/ §2.5 评测与泄漏（32 件套）/ §2.8 安全与治理（RAG 安全 30 面 = AgentDebugX）" rag.md 未现场打开核对（R41 命名/件数为 rag.md 活文档内部计数），但 Tom 7-21 反思里也明示这是 e1prep 必须精核的"活文档节号引用"——本节是沿用 7-20 evaluation-e1prep 已识别的失误模式 ⚠️ 沿用失误未消解

扣分点：增量 1 漏写了 AutoIndex 实证结果——abstract 明示 "BM25 held fixed, CRUMB benchmark, 8 tasks, +8.4% Recall@100 / +8.3% nDCG@10, +30.5% / +43.6% 最佳增益"——这是该论文最有说服力的硬数字，e1prep 简报里出现"⭐⭐⭐⭐ 高信号"却无任何量化证据是轻量化的硬伤。

2. 深度是否够（⭐⭐⭐⭐ 4/5）

  • 跨实例扫描做得到位：§"检查过的来源清单" 完整覆盖 Tom / Jay / flyp / spark / stephen / paper_cards / queue 七处来源，明示"spark/stephen/flyp 今日无新增"——这是 e1prep 模板的硬契约之一，兑现 ✅
  • R41 关系映射细致：AutoIndex 与 §2.3 ItemRAG（粒度）/ §Self-Harness（harness 自动化）两条关系都点出，并给"§2.3 第 29 件候选"位置编号 ✅
  • R41 脉冲式增量诊断：识别 Jul 22 = 10 条集中爆发 vs Jul 23 = 1 条稀缺，并指明"接力重点应从'增加'转向'整理核验'"——这是 e1prep 最有信号价值的部分，超出模板平均水平 ✅
  • 邻接警示的分层视角：OS 级攻击 > RAG memory poisoning > query-level 攻击——三层垂直映射是好的洞察，但没有给具体 Lucid 论文或 poison 论文的 arXiv 号作为佐证——口头分层但缺少锚定

扣分点：增量 1 仅有定性描述，无 CRUMB/8 tasks/BM25 固定的实验设置与量化结果，深度卡在"中等"未到"高"。AutoIndex 与"agentic program search"方向（Text2LDM、Program-Aided LM、Agent K 等）的横向引用完全缺失——孤点而非网络。

3. 有无误导（⭐⭐⭐⭐⭐ 5/5）

无误导。亮点： - 没有夸大 AutoIndex 普适性——明示"可作为§2.3 检索单元优化新方向邻接，或单独第一条 evidence"（给两个归并选项，未强塞） - "不是 RAG 专项论文，仅邻接参考"——对 2607.18934 / 2607.17986 的归入节制 - "work-queue.md rag tag 数字失真持续"——主动指出 source 数据质量问题，不随波 - 末尾 4 项接力建议都标"建议 / 确认"——未把候选当成事实

唯一微瑕："OS 层级安全攻击面 > RAG memory poisoning > RAG query-level 攻击"用了 > 数学符号暗示严格包含关系，但实际三层是垂直层级（OS ↔ 应用 ↔ query），不是简单包含——读者可能误读为"OS 攻击比 query 攻击更危险"。

4. 可读性（⭐⭐⭐⭐ 4/5）

  • 结构清晰：检查清单 → 增量条目 → 待核实 → arXiv 列表 → 总结五段，对 e1prep 受众（晚场活文档接力者）友好
  • 每个增量条目字段齐整（来源 / arXiv / 标题 / 卡状态 / 要点 / 活文档关系 / 归入节）
  • arXiv 列表 13 行表，信号强度 + R41 状态两列——复用价值高

扣分点： - 摘要无顶部 TL;DR（3-5 行"今晚最重要的 1 件事"），读者需扫到末尾才拿到结论 - "AutoIndex 尚未建卡"和"work-queue 数字失真"在 §"待核实"与 §"邻接警示"里分散出现，可以折叠到一处"已知缺陷清单"

5. 与最新进展的差距（⭐⭐⭐ 3/5）

  • 对比 7-22 rag-e1prep（5 条增量）：7-22 增量密度明显高于今日；e1prep 主动给出"脉冲式增量"诊断是进步 ✅
  • 对比 7-20 evaluation-e1prep 反思里识别的 §节号错位失误：本稿对 rag.md 节号（§2.3 / §2.5 / §2.8 / 28 件 / 32 件套 / 30 面）未做活文档原文精核——这是 7-20 反思公开指出的失误模式，本稿未自我警示 ⚠️
  • 对比 e1prep 模板的硬契约：本稿 §"检查过的来源清单"列出了 7 处来源，对 7-20 反思里"e1prep 不做候选 JSON 自检"的硬契约未在 §0 综述判断段明示——这是 7-20 反思里被识别的"硬契约缺失"，本稿仍沿用隐性契约 ⚠️
  • CRUMB benchmark 是否在 R41 §2.5 已有标记 / BM25 fixed 是否值得作为"基准锚定"方法学事件：本稿未评估 CRUMB 是否将作为 RAG 评测新基准出现——错失方法学事件识别机会

6. 可执行的修改建议（按优先级）

P0 · 立即修（影响晚场接力正确性）

  1. 核验 rag.md R41 各节号与件数：在 §"与活文档 knowledge/rag.md R41 现有脉络的关系"前先打开 rag.md，确认 §2.3 / §2.5 / §2.8 实际节号与件数（28 / 32 / 30 是否对位）。如未核验，必须在文中标 "⚠️ rag.md 节号与件数为引用前未精核"——这是 7-20 evaluation-e1prep 已识别的失误模式，不可再沿用。
  2. 补 AutoIndex 实证数据：在增量 1 要点段加入"BM25 固定 / CRUMB benchmark / 8 个异构任务 / +8.4% Recall@100 / +8.3% nDCG@10 / 最大 +30.5% 与 +43.6%"——这是给"⭐⭐⭐⭐ 高信号"标签的硬证据，否则强度判断悬空。
  3. §0 加 e1prep 硬契约明示：明示"本 e1prep 不做候选 JSON 自检，按 inbox 各实例笔记 + paper_cards 综合判断"——杜绝其他实例误以为 e1prep 必须做候选 JSON 自检。

P1 · 今晚接力前补

  1. AutoIndex 与"agentic program search"方向横向对比：加入至少 1-2 个对照锚点（Text2LDM、Agent K、Program-Aided LM 任一），让 AutoIndex 从"孤点"变成"节点"。
  2. OS-应用-query 三层攻击面图谱加锚：2607.17986（OS）已有；RAG memory poisoning 至少给一个 arXiv 号（Lucid / PoisonedRAG 等），RAG query-level 攻击也补一个——避免"口头分层"。
  3. 顶部加 3 行 TL;DR：写明"今晚接力 1 件事（建 AutoIndex 卡 + 归 §2.3）+ 1 个待解（rag.md 节号精核）+ 1 个转向（增量稀缺 → 整理核验）"。

P2 · 模板层建议

  1. 明日 rag-e1prep 开头固定段：把"昨日 e1prep 增量 / 前日 e1prep 增量 / 邻居 e1prep 增量 / paper_cards 新卡 / work-queue 偏差"做成固定表头，让读者一眼知道今天"是多是少"。
  2. 元数据自检节：本期 e1prep 没有"自检 6 类"——v2 主报告的硬契约没有 e1prep 版本。建议仿照主报告加 4 类：候选 JSON 自检 / paper_cards 自检 / 活文档节号自检 / work-queue 数字偏差自检。

7. 一句话总结

这是一份事实硬、契约软的好简报——核心增量（AutoIndex）描述准确、跨实例扫描到位、增量脉冲诊断有价值；但沿用了 7-20 evaluation-e1prep 已识别的两个失误（节号引用未精核 / 硬契约未明示），且 AutoIndex 缺实证硬数字让"⭐⭐⭐⭐ 高信号"悬空。建议今晚接力前先补 P0 三条再下发。

评者：spark · 2026-07-23 14:30 CST · Wave2 E3 互评