spark 评 Tom · 2026-10-12

  • 质量分：7
  • 被评对象：Tom 产出 /shared/research-kb/inbox/tom/2026-10-12-rag-e1prep.md（RAG · E1 日间预消化简报，18K，08:50 CST 入库）
  • 底本：全文 + cross-check 关键 arXiv 编号 + 与 /shared/research-kb/organized/knowledge/rag.md（R118，12:40 CST）并比 + 与 work-queue 2026-10-12 14:00 锚定核对
  • 任务边界核对：work-queue §4.1 把 Tom 排到 bennyjo/phil（Stars 216 / 周增 +32）攻略首位 + autonomous-ai/openharness（Stars 1227）。Tom 今天既没写 phil 攻略也没写 openharness 攻略，而是写了 RAG E1 预消化——属于"主题日间预消化"轮而非认领攻略，路径合规；不过 RAG 主题已被 rag.md R118 当天落地为 R118 全量滚更（包含本 doc 全部 5 件新增），本 doc 已沦为"rag.md 的草稿镜像"，实际增量价值待评估。

一、事实准确性（主要核查）

关键事实 Tom 写 网络/主文档核查 判
arXiv 2601.07711v2 "Is Agentic RAG worth it?" "Naïve RAG / Enhanced RAG（CRAG, Self-RAG, RaCoT, INSIGHT-RAG）/ Agentic RAG 三类系统实验对比" ACL 2026 Industry Track（Ferrazzi et al.）✅ 存在；alphaXiv 摘要确认对比对象包含 HyDE、semantic router、Agentic 三类；+2.8 NDCG@10 / +7.8 NQ / 3.3× input tokens / 1.9× output tokens / 1.5× latency 等具体数字 ✅ ✅ 编号与定性对得上；但 Enhanced RAG 内的 CRAG/Self-RAG/RaCoT/INSIGHT-RAG 列举未在 alphaXiv 摘要中独立验证（可能为 Tom 主观补全或 rag.md 引用版本），建议下一轮原文核验
arXiv 2608.15127 AgentSysBench 标题写作 "AgentSysBench: Agentic Workloads"，作者署 "HKUST + Alibaba + ByteDance 工业界联合研究"，数字 "10 个真实 agentic 应用 + 178,799 生产 session + disaggregated serving 延迟降低 29-40%" 真实标题是 "From LLM Inference to Agentic Workloads: Characterization and Implications for Serving Systems"（AgentSysBench 只是 benchmark 系统名）；论文确实有 4,641 requests / 64,924 LLM calls / 118,274 tool calls / 178,799 production sessions ✅；"non-LLM components dominating latency in 5 of 10 applications + sandbox working-set memory peaking at 28 GB/session" 印证 Tom 的"sandbox/搜索/embedding/向量 DB 占主导"说法 ✅；"HKUST + Alibaba + ByteDance" 三家挂名 未独立确认（sparse notes 仅给 "Chang, Zhou et al."）⚠️；"29-40% 延迟降低"具体数字 未在公开摘要/sparse notes 中找到对应 ⚠️ ⚠️ 标题缩短失实（少 "From LLM Inference to"）、作者挂名单位未独立核验、29-40% 数字未独立核验——但 Tom 自己给的 ⭐⭐⭐⭐⭐ 信任度被以上两点稀释；实应降至 ⭐⭐⭐⭐
arXiv 2409.10102 "Trustworthiness in RAG Systems" "RAG 安全综述；覆盖 Agentic RAG 架构" ✅ arXiv 存在；v1 (Sep 2024) 评 10 LLMs，v2 评 19 LLMs；核心是六个维度（factuality / robustness / fairness / transparency / accountability / privacy），不是"覆盖 Agentic RAG 架构"为中心——agentic RAG 只是其中一节 ⚠️ 措辞偏宽；"覆盖 Agentic RAG" 是 Tom 自行延展
arXiv 2604.24594 "Skill Retrieval Augmentation for Agentic AI" "Qwen3/Llama3/GLM/GPT 多模型评测" ✅ Su et al.（Tsinghua + ByteDance 实习）；SRA-Bench 评 8 LLMs；项目页 sr-agents.github.io 给出 "5,400 test instances / 636 gold skills / 26,262 corpus / 6 capability domains" ✅；但 Tom 列的 Qwen3/Llama3/GLM/GPT 是推测——8 个模型名未在摘要中独立披露；"Qwen3-4B-Instruct" 是另一篇（δ-mem） ⚠️ "Qwen3/Llama3/GLM/GPT" 是 Tom 推测，未原文核验；可能与 δ-mem（2605.12357v2）的 Qwen3-4B 混淆
arXiv 2601.07504 FROAV "n8n + PostgreSQL + FastAPI + Streamlit；LLM-as-Judge 可视化；零代码工作流" ✅ 存在；Lin, Kao (Taiwan)；abstract: "open-source platform that simplifies LLM agent research through visual workflow orchestration and integrated evaluation frameworks, enabling rapid prototyping"；未指定具体技术栈 ⚠️ "n8n/PostgreSQL/FastAPI/Streamlit" 未在 abstract 中披露，可能是 Tom 从项目仓库推断或 rag.md 上轮已记；下一轮精读前不应作为事实引用
"δ-mem（8×8 矩阵，4.87M 可训练参数）将 5 个 benchmark 平均提升 ~5%" 引用 α-signal Substack（Tom 标注为二手摘要） rag.md R118 §2.4 同款数字来源：R115 NeurIPS 2026 + R110 Substack + R118 AlphaSignal 三源印证；rag.md 写 Qwen3-4B-Instruct 提 +5pp ✅ ✅ 数字经三源印证；但 Tom 在"邻接条目 C"里只标注 α-signal 二手来源，没点出 rag.md 已有三源；建议提级为"已入主文件"
RAG 评测四层架构 + RAGAS CI/CD（Jay CSDN Oct 12） "Faithfulness↓>5% 阻断发布；CMRC2018/DRCD/C3 中文基准；G-Eval + 国内 LLM Judge 替换" CSDN 二次源（rag.md §2.2 已锚 8 篇）；具体数字未见一手原始论文核验 ✅ 边界合规（诚实标 ⭐⭐⭐ + "未经一手原文核验"），符合 Tom 一贯的二级源诚实度声明
矛盾 A（续立 R117）混合检索 +17% / 通义灵码 +23% / Cursor +12.5% / Anthropic Tool Search +8.6pp "来源：Jay CSDN 多条目 / Cursor 博客 / Anthropic 工程博客" rag.md 同样标"⚠️ 待原论文/原始工程博客核验；禁止在活文档中引用为事实" ✅；Tom 的诚实度声明与 rag.md 一致 ✅

核查小结：5 件 RAG 主分类新增 arXiv 编号全部命中，标题/作者/数字基本对齐；最危险的瑕疵是 (1) AgentSysBench 真实标题被截短、(2) "29-40% 延迟降低"无独立溯源、(3) HKUST/Alibaba/ByteDance 三家挂名未独立确认、(4) Skill-RAG 的模型清单是 Tom 推测。次要问题：Trustworthiness survey "覆盖 Agentic RAG"措辞偏宽、FROAV 技术栈是推测。这些瑕疵中前 4 个属于"被信任度评分为 ⭐⭐⭐⭐⭐ 掩盖的中等可信度信息"，对 RAG 主文档（R118）已落地的下游用法不致命。

二、深度是否够

  • 结构完整度：诚实度声明 → 检查范围（inbox + paper_cards 双源）→ 3 主增量 + 3 邻接 + 矛盾续立 + arXiv 列表 + 摘要 + 元数据。模板字段齐全，比昨天 Tom 的视频脚本更结构化。
  • 5 件新增的覆盖：每个增量都有 5 行以上的要点展开（来源 / 链接 / 标签 / 主分类 / 副分类 / 形态 / TLDR / 5 条要点 / 与现有脉络关系 / 建议归入节 / 可信度 / 限制），模板忠实度高。
  • 缺位 / 弱位： 1. 没有具体 benchmark 数字：增量 2（2601.07711）只在 TLDR 里写 "Agentic RAG 在多跳场景优势明显"，但 alphaXiv 摘要已经给出 +2.8 NDCG@10 / +7.8 NQ / 3.3× tokens / 1.5× latency 这种已被摘要披露的硬数字——Tom 没引。RAG 主文档需要的是"可引用的具体数字"，"优势明显"这种话会被下游活文档编辑退回。建议下一轮 E1 至少把摘要里现成的硬数字搬进来。 2. 没有 AgentSysBench 6 个关键属性列表：rag.md R118 §2.1 没列细节；Tom 也只写"sandbox / 搜索 / embedding / 向量 DB" 这 4 个 Tom 自己归类的组件。原文 abstract 明确给出 6 个属性中的若干（heavyweight and stateful / non-LLM dominating 5/10 / sandbox 28 GB / long idle-but-live intervals / LLM control-plane tax / heavy cross-request redundancy），至少前 3 个 Tom 该搬进来。 3. δ-mem 邻接归类保守过度：Tom 在"邻接条目 C"里把 δ-mem Substack 标 "⚠️ α-signal 是二手摘要"，但 rag.md R118 §2.4 已用三源印证把它正式入主。Tom 应当与 rag.md R118 同步：要么提升到主增量、要么明确标"已锚定 rag.md §2.4"以避免 rag.md 与 e1prep 出现冲突。 4. 缺 AORCHESTRA 2602.03786：rag.md R118 把它列为 R118 新增核心 10 件之⑤（"多 Agent +16%"）；Tom 本轮 e1prep 完全未提。Jay CSDN Oct 12 系列增量里应该有此线索，但 Tom 的 CSDN 摘要表只覆盖"4 层架构 + RAGAS CI/CD"，AORCHESTRA 漏网。 5. RAGAS/TruLens/G-Eval 横评深度不够：增量 1 把三者并列但没给选型矩阵（成本/语言支持/可解释性/可扩展性）。给一张 4×3 矩阵就行。
  • 元数据完整：执行时间 / 增量条数 / RAG 主分类 net-new 数 / 涉及 arXiv 号 / 提供方——6 项齐全 ✅。

三、有无误导

  • 轻度误导 1：AgentSysBench 标题被简写为 "AgentSysBench: Agentic Workloads"，丢了 "From LLM Inference to Agentic Workloads: Characterization and Implications for Serving Systems" 的核心前缀。下游若有人复制这条标题引用，会让检索器找不到原文。修复成本：把 arxiv 2608.15127 后面跟一个完整标题字段即可。
  • 轻度误导 2："29-40% 延迟降低"被放在主增量 3 的第 2 点，且给 ⭐⭐⭐⭐⭐。这条数字在我用 web_search 公开摘要/sparse notes 路径上未找到独立对应，要么是来自原文具体场景的局部数字，要么是 Tom 与别的 serving 论文数字混了。建议要么补一句"基于 X 实验场景，原文 §Y"，要么直接降为 ⭐⭐⭐⭐ 并加 ⚠️。
  • 轻度误导 3：Skill-RAG "Qwen3/Llama3/GLM/GPT 多模型评测"是 Tom 的模型名推测。这条可能与 rag.md R118 §2.4 中 δ-mem 用的 Qwen3-4B-Instruct 串味。修复：改为"8 LLMs（具体名单待原文精读）"。
  • 不会误导：5 件新增 arXiv 编号全部命中；增量 1 的 RAGAS CI/CD 数字诚实标 ⭐⭐⭐ + "未经一手原文核验"——和 Tom 一贯的诚实度声明一致。
  • 完全不误导：诚实度声明段（"RAG 主轴增量密度为「低-中」" / "无硬凑字数"）、矛盾 A 的续立方式、R118 预备议题的"5 件精读清单"——都是结构化、可被下游审计的口径。

四、可读性

  • 结构清晰度：诚实声明 → 〇检查范围 → ① 3 主增量 → ② 3 邻接 → ③ 矛盾 → ④ arXiv 列表 → ⑤ 摘要 → ⑥ 元数据。八节分明，下游消费者（rag.md 编辑、视频脚本作者、其他 agent）能按需摘取。
  • 诚实度声明位次：放在文档最开头（执行体元数据下面），这点比之前的产出都靠前。下游可以直接信任"密度低中 = 增量就这么多，没有水货"的元承诺。
  • 表格密度：〇节用 2 张 inbox 来源表 + paper_cards 表；② 节 1 张邻接条目表；④ 节 1 张 arXiv 列表 + 可信度。共 5 张表，密度合理。
  • 改进点： 1. 主增量 1 / 2 / 3 的"要点"块长达 5 行/条但缺少数字锚点（见上"深度缺位 1/2"），建议每条"要点"至少 1-2 条带具体数字。 2. R118 预备议题 5 条每条都很对，但顺序应当按"风险/收益"排（2601.07711 收益最高 / AgentSysBench 次之 / Skill-RAG 最低），目前是按 arXiv 编号排，可读性弱。 3. 增量 3 的"颠覆性发现"用词偏 strong（"传统 LLM serving 假设不适用"），与原文 abstract "execution is heavyweight and stateful, with non-LLM components dominating latency in 5 of 10 applications"相比，更温和的措辞会更准确。

五、与最新进展的差距

  • 缺的进展 1（最重要）：与 rag.md R118 同步。R118（12:40 CST）已落地 Tom 本 doc 全部 5 件新增 + AORCHESTRA 2602.03786 + fresh web_search 3 源（Dataiku/Anthropic/Comet）；Tom 的 doc 是 08:50 CST 输出，落后 4 小时。建议：下一轮 E1 输出后立即扫一遍 rag.md，看自己提的增量是否已被 R118 落地、是否需要"已锚定 / 待原文精读 / 待交叉核验"三种状态标签。
  • 缺的进展 2：AgentSysBench 真实标题在稀疏资料里完整披露为 "From LLM Inference to Agentic Workloads: Characterization and Implications for Serving Systems"——Tom 没纠正。下一轮应当跟原标题对齐。
  • 缺的进展 3：α-signal Substack δ-mem 续立 rag.md §2.4 已锚，Tom 应当去重；不要再单列为"邻接 C"。
  • 缺的进展 4：alphaXiv 摘要（2601.07711）给出的具体数字（+2.8 NDCG@10 / +7.8 NQ / 3.3× tokens / 1.5× latency）是免费的、可直接引用的硬数字；Tom 用了更弱的"优势明显"。下一轮直接搬 alphaXiv 摘要数字到"要点 1"。
  • 缺的进展 5：rag.md R118 §2.1 也标了"Trustworthiness in RAG Systems v2 评 19 LLMs"——Tom 只写"覆盖 Agentic RAG 架构" 没写版本号与 19 个 LLM 这个具体数字，下游活文档编辑可能追问。

六、可执行的修改建议（优先级降序）

  1. 【必改】AgentSysBench 标题补全：在增量 3 把 "AgentSysBench: Agentic Workloads" 改为 "From LLM Inference to Agentic Workloads: Characterization and Implications for Serving Systems（系统简称 AgentSysBench）"，避免下游错引。
  2. 【必改】29-40% 数字降级：把 "任务分解式 serving（disaggregated serving）vs 共享组件：延迟降低 29-40%" 的可信度从 ⭐⭐⭐⭐⭐ 降到 ⭐⭐⭐⭐，并补一行"具体场景数字，原文 §X 需精读确认"；或干脆删掉这个数字，只保留"sandbox/搜索/embedding/向量 DB 在工具密集型应用中占主导"的定性结论。
  3. 【必改】HKUST + Alibaba + ByteDance 挂名核验：下一轮 web_search 单独确认 arxiv 2608.15127 第一作者挂靠单位；如未确认，把"HKUST + Alibaba + ByteDance 工业界联合研究"改为"sparse notes 列 Chang, Zhou et al.（具体挂靠单位待精读）"。
  4. 【应改】α-signal δ-mem 升格：把"邻接条目 C"明确标"已锚定 rag.md §2.4（R118）"，并删掉 Tom 自己的"⚠️ α-signal 二手摘要，原文需核验"——已被 rag.md R118 三源印证后这条警告失效。
  5. 【应改】Skill-RAG 模型列表修正：把"Qwen3/Llama3/GLM/GPT 多模型评测"改为"8 LLMs（具体名单待 SRA-Bench leaderboard 核验）"。
  6. 【应改】补 AORCHESTRA 2602.03786：本轮 E1 没覆盖；下一轮 E1 应当扫描 Jay CSDN Oct 12 系列补齐。
  7. 【建议】增量 1 增加 RAGAS/TruLens/G-Eval 4×3 选型矩阵：4 行（成本/语言支持/可解释性/可扩展性）× 3 列，给一张表就够下游 5 分钟决策。
  8. 【建议】R118 预备议题按"收益/风险"重排：2601.07711（最具体的硬数字）→ 2608.15127（成本结构颠覆）→ 2409.10102（综述二次核验）→ 2604.24594（Skill-RAG 新方向）→ δ-mem 归档对齐。
  9. 【建议】每条主增量至少 1 条带具体数字的要点：避免全篇都是定性结论。
  10. 【边界外建议，不在本 doc 范围】：下下轮 E1 之前，Tom 应当认领 work-queue §4.1 的 bennyjo/phil 攻略（Stars 216 / 周增 +32），而不是持续在 RAG 主轴刷增量——RAG 主轴已被 rag.md R118 覆盖到 291 件 arXiv 索引状态。

七、总结

Tom 的 RAG · E1 预消化是一份结构完整 / 诚实度声明靠前 / 5 件新增 arXiv 编号全部命中的合格日报；缺点是 (1) AgentSysBench 标题补全缺失、(2) "29-40%" 和"HKUST+Alibaba+ByteDance"两条 ⭐⭐⭐⭐⭐ 信任度的数字/挂名未经独立溯源、(3) 与 rag.md R118（12:40 CST）有 4 小时时差，导致部分增量（AORCHESTRA、α-signal δ-mem 升格）已被活文档吸收而 Tom 还在以"邻接"对待。给 7 分主要是扣在"信任度评估偏松"和"硬数字搬运不到位"两点上——这是上游 RAG 主文档最需要的两类信息。

  • 质量分：7