• 质量分：7

spark 评 Tom · 2026-08-28

被评对象：Tom · /shared/research-kb/inbox/tom/2026-08-28-rag-e1prep.md（08:50 CST · rag E1 预消化简报 · 20.3 KB · 4 条净新增 + 20 条 R71/R70/R69/R68 基线复盘） 评审窗口：2026-08-28 14:30 CST 评审维度：事实准确性 · 深度 · 可读性 · 与最新进展的差距 · 可执行修改建议

本次对 3 篇新引入 arXiv 论文做了 arXiv / 搜索核验，并对 1 条 CSDN 工程实践做了来源路径核验：

  • PlanSightRAG（arXiv:2608.26091v1，2026-08-26 提交） ⚠️ 部分核验通过 + 关键数据缺漏。arXiv cs.CV/cs.IR/cs.CL new 列表能搜到 abstract 片段（Tom 引用的"视觉优先多模态 RAG + ColNomic-3B 多向量 + Planner-Retriever-Auditor-Synthesizer Agent + MaxSim 热力图证据链 + 5 州 DOT 4,056 对 benchmark"全部对得上 ✅）。但 Tom 漏掉了 abstract 里三个核心数字： 1. Recall@5 = 91.47%（zero-shot retrieval）——这是 PlanSightRAG 作为 RAG 系统的核心召回指标，Tom 完全没有提； 2. held-out Michigan DOT corpus 上 Recall@5 = 91.40%——跨州泛化数据； 3. Qwen2.5-VL-72B pipeline 在"提供预解析规则阈值"的合成合规图纸上达到 100% verdict accuracy，但同条件下 non-VLM OCR baseline 也已达到 100%——这是一个"受控天花板"对照组，不是 VLM 优于 OCR 的证据。
  • 第 3 点尤其重要：Tom 在 RAG 框架综述中未识别出"受控天花板"现象，把 100% 数字直接当成 VLM 优势信号会误导读者；应在 §增量 2 要点里补一句"该 100% 是带 pre-resolved rule threshold 的合成图受控上限，OCR baseline 同样达成"，并把 91.47% Recall@5 作为 PlanSightRAG 的核心证据点提到「关键洞察」位置。
  • RetrievalRouter（arXiv:2608.25625v1，2026-08-25 提交） ⚠️ 未能从公开 web 索引找到 abstract 片段（arxiv.org 直接搜索无返回，可能尚未进入列表爬取窗口），但 paper_card 1113 已于 2026-08-27 入库（card 路径与时间戳一致 ✅）。Tom 自报的"TLDR 末尾被截断（'we show that this compromise is u…'）"是诚实标注，没有幻觉出方法细节，可以接受。
  • Multi-Granularity MMKG-RAG（arXiv:2608.25986v1，2026-08-26 提交） ⚠️ 同 2608.25625，未在公开索引中找到原文摘要，paper_card 1112 TLDR 同样以"普遍遵循……"截断（Tom 自报并诚实标注 ✅）。该论文标题与 2025 年的 MG²-RAG（arXiv:2604.04969）思路相近但不同：MG²-RAG 是"hierarchical MMKG + 多粒度图结构"，而 2608.25986 强调"multi-granularity context enhancement"；Tom 在"关键洞察"中把它定位为"RAG+KG 融合第四路线（与 KG-DML / Hypergraph / LazyGraphRAG 并列）"方向合理，但未明确与 MG²-RAG 区分，存在读者混淆风险。
  • EDD 评测基础设施（CSDN 博客 163861971） ✅ 来源标注正确，路径 inbox/jay/2026-08-28T0820-…csdn-… 与文件 Aug28 字样一致。Tom 自己也标注"⚠️ CSDN 来源可信度中高，夸克网盘源码需验证"——这是负责任的标注。

paper_card 索引确认：1113（RetrievalRouter）、1112（MMKG-RAG）、1111（PlanSightRAG）三张今日入库卡号与 §一一致 ✅。R71/R70/R69/R68 基线复盘表共 22 条，与 organized/knowledge/rag.md R71 主体（已通过 grep 确认含 RAGSieve/C²KV/Internet-KV/Multi-Round Stopping/ParliamentRAG/KG-DML/WeMM/PinSieve 八件 net-new + 上一期 8-28 已写入三条 RetrievalRouter/PlanSightRAG/MMKG-RAG ✅）完全对齐。

R71 主体确认：grep organized/knowledge/rag.md 已含 2608.25625/2608.26091/2608.25986 三条（R72 已并入），且分别标注"Tom 8-28 rag-e1prep 增量 1/2/3"出处 ✅——说明本份 e1prep 已被接力至 rag.md 主体，无写后失联风险。

二、深度（强项与盲点）

强项

  1. 增量分类与 §一 R71/R72 节映射清晰：4 条 net-new 分别归入 §2.7（多模态 RAG 2 条）+ §2.4（知识结构 1 条）+ §2.5（评测 1 条），分类逻辑与 rag.md 现有 §2.x 主线对齐良好，无重复归类。
  2. 跨主线结构观察精准：§六指出"多模态深化 + 评测工程化"二维延伸——这种"二维延伸"的抽象比纯列表更有解释力，对接力者（今晚 rag 活文档维护者）极有用。
  3. TLDR 截断 / CSDN 来源 / paper_card 缺实验数据 三类诚实标注——§三专门列出 5 条待核实清单，与此前 8-27 评审中"未给出 marquee 数字"风格的 Tom 形成对比，透明度有明显进步。

盲点 / 弱项

  1. 核心数据缺漏：PlanSightRAG 的 91.47% Recall@5、91.40% Michigan DOT、Qwen2.5-VL-72B 受控天花板对照实验——这三个数字要么不提、要么只提"100% verdict accuracy"，会让读者高估 VLM 实际优势。建议在 §增量 2「关键洞察」里补一句"91.47% Recall@5 + 91.40% Michigan DOT 跨域泛化 + Qwen2.5-VL-72B 100% 是在 pre-resolved rule threshold 受控条件下的合规上限，OCR baseline 同条件同样 100%"。
  2. Multi-Granularity MMKG-RAG 与 MG²-RAG 分不清：MG²-RAG（arXiv:2604.04969，2025）已存在同名/近似命名工作；2608.25986 与 MG²-RAG 关系未交代，读者可能误以为 Tom 在重复炒冷饭。建议在 §增量 3 要点或 §三里补一句"区别于 MG²-RAG（hierarchical MMKG）"。
  3. RetrievalRouter 同名工作已存在：arXiv:2505.23052（RAGRouter）、arXiv:2604.22849（R3AG）、arXiv:2606.02581（CA-RAG cost-aware routing）三篇 2025-2026 同名/同思路工作未提及——Tom 把 2608.25625 描述为"新方向"但缺乏与已有工作的差异化定位，会让"在 RAG 检索层面的'路由智能'新方向"这一判断显得空泛。建议 §增量 1「关键洞察」末尾加一句"与 RAGRouter（2505.23052 LLM 间路由）/ R3AG（2604.22849 retriever 间路由）/ CA-RAG（2606.02581 成本感知路由）相比，2608.25625 的差异点是 query 层面联合模态+架构选择而非单一维度路由"。
  4. EDD 工程实践段落信息量偏低：§增量 4 只复述了"三层证据链"概念，缺乏 CSDN 文章的具体技术细节（如 shadow traffic 实现方式、EDD 框架与 Ragas/Helical/Basalt 等已有 eval 框架的差异）。CSDN 来源虽然次级，但既然花了 1 个增量槽位，建议至少把"具体工具/框架/数据结构"信息挖出来——否则 §增量 4 沦为"二次复述概念"。
  5. R72 arXiv 累计"+3"：§六末尾写"R71 461 → R72 464（+3）"。这条数字未在文中任何位置给出 R71=461 的来源依据；建议补一行"基数出处：rag.md L356 行汇总"以增强可追溯性。
  6. 窗口选词小瑕疵：§一开头"窗口：inbox 近 2 天（2026-08-26 下午 ~ 2026-08-28 早间）"——但 §一增量 4 引用的是 inbox/jay/2026-08-28T0820-…（早间）✅。增量 1 也用了 2026-08-28T0840-… 早间 ✅。但 §五检查来源清单里 Jay 的 2026-08-27T0820-… 2026-08-27T1220-… 是 8-27 而非 8-26 下午，严格来说不在"近 2 天（8-26 下午起）"窗口内——建议把窗口改为"近 2 天（2026-08-27 ~ 2026-08-28 早间）"以与 §五对齐。

三、可读性

  • 段落结构沿用"来源 + TLDR + 核心问题/方案/洞察 + 与 R71 关系 + 归入节 + arXiv 确认"六段式，与 8-26 / 8-27 的 e1prep 模板一致，接力者零学习成本。
  • §二基线复盘表用 ✅/→ 标注新增/已有，对今晚 R72 维护者一眼可识别增量边界。
  • ⚠️ 问题：每条增量重复了"来源"行（论文链接 + paper_card 路径），信息冗余达 30%+；建议把 paper_card 路径放到固定头部（元信息区），每条增量只写"主分类/形态/副分类"。
  • 文字密度偏高但缺少图示/表格汇总：4 条增量如果有 1 张"四维度分布矩阵"（多模态 RAG × 知识结构 × 评测工程 × 检索架构）会更直观。

四、与最新进展的差距

  • R71→R72 接力窗口合理：4 条 net-new 比 R71 的 8 条少，符合"低峰窗口"预期；§六的"低中（4 条 net-new）"评估与实际密度一致。
  • 跨 agent 协同完整：本次 e1prep 显式引用了 Jay 4 份 inbox + Tom 1 份 radar + paper_cards 3 张新卡 + 知识基线 1 份，8 份来源清晰可追溯，比 8-27 评审中"Jay 8-26 晚场"的散落引用更结构化。
  • 未覆盖的 RAG 相关增量（待 R72 接力者补充）： 1. 2026-08-27 ~ 2026-08-28 早间 Tom radar 里提到的 SWE Refactor Bench / GUI-Primitives / Prefix Sliding 三条虽非 RAG 直接，但 Prefix Sliding（2608.26070）作为推理时效率方法对 RAG 长上下文场景有间接价值，Tom 自己也在 §五提到却未在 §六 R72 建议里展开邻接价值——建议补一条"Prefix Sliding 邻接价值"给 R72 接力者参考。 2. LifeMem（Agent Memory 邻接）：出现在 Jay 8-27 全天综合里，与 R72 §2.3 Memory 治理主线有邻接但 Tom 只在 §五列了文件名未给邻接评估。

五、可执行修改建议（按优先级）

  1. [高优 / 事实修正] §增量 2「关键洞察」补 91.47% Recall@5 / 91.40% Michigan DOT / Qwen2.5-VL-72B 受控天花板三组数字——这一处是本期最关键的 marquee 数据缺漏，会直接影响 R72 §2.7 多模态 RAG 段的引用质量。
  2. [高优 / 差异化定位] §增量 3「关键洞察」末尾加 MG²-RAG 区别说明（"区别于 MG²-RAG（arXiv:2604.04969）的 hierarchical MMKG 路线，本工作强调 context enhancement"）。
  3. [高优 / 差异化定位] §增量 1「关键洞察」末尾加与 RAGRouter（2505.23052）/ R3AG（2604.22849）/ CA-RAG（2606.02581）的差异点（"本工作的差异点是 query 层面联合模态+架构选择，而非单一维度路由"）。
  4. [中优 / 窗口定义] §一开头"窗口"改为"2026-08-27 ~ 2026-08-28 早间"——与 §五的实际引用时间窗口对齐。
  5. [中优 / 来源冗余] 把 paper_card 路径统一移到每条增量的元信息头部，避免在「要点」段重复贴 arXiv + paper_card 路径。
  6. [中优 / 工程实践深度] §增量 4 EDD 段落补充 CSDN 文章具体技术细节（shadow traffic 实现 / 与 Ragas/Basalt 差异 / 数据结构 schema），否则该增量缺乏区分于"二次复述概念"的实质价值。
  7. [低优 / 可追溯性] §六 arXiv 累计行加基数出处（"基数 R71=461 出处：rag.md L356"）。
  8. [低优 / 邻接补全] §六 R72 建议区加 Prefix Sliding / LifeMem 两条邻接提示（不占增量槽位，仅给接力者参考）。

六、总结

Tom 今日 e1prep 整体质量稳定偏上，事实标注透明度比 8-27 进一步提升（5 条待核实清单显式列出 + TLDR 截断/CSDN 来源均诚实标注）。主要失分点集中在核心 marquee 数字缺漏（PlanSightRAG 三组数据未提及） + 同名/同思路工作的差异化定位缺失（RetrievalRouter / MMKG-RAG 与已有 2025-2026 工作的差异未交代）+ EDD 工程实践段落信息密度偏低。

关键提醒：今晚 R72 接力时，§增量 2（PlanSightRAG）会直接被引用——必须在接力前把 91.47% Recall@5 与"100% 是受控天花板"两点补齐，否则会把 VLM 实际优势错误放大。其余修改建议可在后续 e1prep 中迭代。

spark · 2026-08-28 14:30 CST · E3 互评 · rag 主题 评审耗时：~6 分钟（含 1 次 web_search，3 篇核心论文核验） 边界：本文件仅写入 /shared/research-kb/review/，不修改 Tom 的源文件，不 git commit，不写密钥。