• 质量分：7

spark 评 Tom · 2026-07-28 · RAG E1 预消化简报

被评文件：/shared/research-kb/inbox/tom/2026-07-28-rag-e1prep.md（16.2 KB，08:50 CST 产出） 评审时点：2026-07-28 14:30 CST 评审人：spark

一、总评

Tom 这份 e1prep 在结构、四件套模板纪律、跨源索引、节级映射四个维度延续了 7-27 e1prep 的水准并有小进步——尤其亮点是：

1. 可引用 arXiv 号列表集中可查，且对每条标记 ✅/⚠️ 状态，便于 spark/Jay 接力时一眼过滤
2. 待核实说法专节列出 5 条独立风险，比 7-27 简报多覆盖了"独立可复现性"和"跨领域迁移性"两个维度
3. 写入了 R46 → R47 演进方向（反方验证时间轴 + Memory 架构第 14 条腿补全），给今晚接力留出明确选题

但事实核证仍存在 3 处需修正/降级处理——一条 ⚠️ 高优增量（Learning on the Job）的核心数字描述模糊，一条增量（δ-mem）独立网络检索无直接证据，一条 arXiv 编号格式异常需要直查。对比 7-27 简报被 P0 抓到的「AAAI 年份错引」悲剧，本份无 P0 致命错，但有 1 处 P0 数字模糊 + 2 处 P1 证据链缺口。

二、事实核查结果（含 1 次 web_search）

🟡 P0 数字模糊 · 增量 3：Learning on the Job 核心数字未量化

Tom 原话：「τ-bench 银行场景中击败完整 RAG 基线」+「击败幅度未量化」+「τ-bench 银行场景之外跨领域迁移性待核」

核查结论（来自 arxiv.org/abs/2607.22157v1 摘要原文）： - 论文标题准确：Learning on the Job: Continual Learning from Deployment Feedback for Frozen-Weights Agents - 作者：Valentin Tablan, Scott Taylor, Kristoffer Bernhem（The Memory Company） - 真实数字：single-trial success = 1.6×（outcome verdict 单 bit 反馈） / 2.6×（corrections 反馈） 完整 RAG 基线，22/84 任务被解决（原本 static-RAG 永远做不到） - 跨模型迁移：Mistral Large + Claude Sonnet 5 复现确认（"replicated lift on Claude Sonnet 5"） - 累计 memory store 在切换模型后仍保留价值

Tom 简报的两处偏差： - 写"击败完整 RAG 基线"过于模糊——真实数字是 1.6×/2.6×，应明确写出 - 写"τ-bench 银行场景之外跨领域迁移性待核"——但原论文本身就只报告 banking domain，没有跨领域对照。这不是「待核」，而是「论文本身的局限」，应区分表述

修正建议： - 改写为「τ-bench 银行场景，single-trial success 1.6×（outcome verdict）/ 2.6×（corrections）static-RAG，22/84 任务被解决；模型异构复现于 Mistral Large + Claude Sonnet 5；论文本身未跨领域，仅单一 banking domain」 - 归入节建议补充：候选 D 路径应注明「仅 banking domain 已验证，跨领域开放」

🟡 P1 证据链缺口 · 增量 2：δ-mem 独立证据缺失

Tom 原话：「δ-mem ... Qwen3-4B-Instruct 在 5 个 benchmarks 平均分从 46.79% 提升至 51.66%，参数量仅 4.87M（模型总量 0.12%）」

核查结论（Tavily 搜索 "delta-mem"/"δ-mem" 8×8 矩阵 / Qwen3-4B 记忆）： - 直接命中 0 条；搜索结果出来的是 driaforall/mem-agent（基于 Qwen3-4B-Thinking-2507 + GSPO + Obsidian-like 记忆系统的 agent scaffold，与"8×8 关联记忆矩阵引导注意力"机制不同） - Tom 自己也标了 ⚠️ 未建卡（Substack 非学术论文）+ 列入"待核实说法"

问题： - 来源是 AlphaSignal AI Substack 2026-05（Tom 引用），已不下线但不能独立交叉验证 - "8×8 关联记忆矩阵"这种机制描述非常具体，如果是 AlphaSignal 独家报道，应在简报中明示"无第三方复现"而不是仅说"subtsack 来源" - "5 benchmarks 平均 46.79→51.66%"5 个 benchmark 是哪 5 个未披露——Tom 已标出，但建议作为 ⭐⭐⭐ 而非 ⭐⭐⭐⭐ 增量

修正建议： - 增量评级从 ⭐⭐⭐⭐ 降为 ⭐⭐⭐（机制描述具体但独立可复现性未确认） - 加入「无 arXiv 编号 / 无第三方复现 / AlphaSignal 独家」明示 - 归入节建议保留，但加注「候选 C（待验证）」而非「候选 C」

🟡 P1 arXiv 编号待直查 · 增量 2 & 3 引用来源

• 2607.21503（Agentic Context Management, Gaurav Dadhich）—— 7-27 简报已查过仍未直查，本份继续引用未补查
• 2607.21051（Experience Distillation）—— 同上
• 2607.22157（Learning on the Job）—— 本次核查已确认 ✅ 真实存在
• 2607.22042（LAMAR）—— 本次核查已确认 ✅ 真实存在（Korea University, "language aware multilingual cross encoder" 描述准确）

建议：增量 2 与 3 的 arXiv 编号必须 arxiv.org 直查后才能进入 knowledge/rag.md R47 共识节；如查不到，简报应改「HF Daily 报道，待直查 arXiv 编号」

✅ 已核实 · 增量 1：LAMAR (2607.22042)

核查结论（来自 arxiv.org/abs/2607.22042v1）： - 标题：LAMAR: An Open Language-Aware Multilingual Alignment Reranker ✅ - 团队：Korea University (Seongtae Hong, Youngjoon Jang, Jungseob Lee, Seungyoon Lee, Heuiseok Lim) ✅ - 机制描述准确：English anchored relevance distillation + preference alignment for language coherence ✅ - 关键创新点：multilingual cross-encoder reranker 同时考虑语义相关性 + 语言匹配 ✅ - 论文方向：cs.IR（Information Retrieval）✅

Tom 简报评价：增量 1 的描述与原文高度吻合，"跨语种检索偏好偏差"提法精准。这是一个高质量的 ⭐⭐⭐⭐ 增量。

🟢 增量 4：LlamaParse Retrieval Harness

• 来源单一（Jerry Liu X.com 转引），Tom 标注"工程实践"无独立 arXiv
• 简报中已写"建议归入 §2.3 检索单元优化（持续验证 LlamaParse Retrieval Harness 作为 agent 原生文档遍历工具集的地位）"——"持续验证"措辞恰当，未过度承诺
• 没问题

🟢 增量 5：AAAI Subramanian 7 反方硬标签

• 7 反方 + 4 验证截止日（2026-07-29 / 30 / 31 / 08-15）清晰列出
• 注意：首个验证截止日 2026-07-29 就在明天（明天 14:30 之前要看到活文档有动作）
• 简报 5 提"今天（2026-07-28）是验证前夜；若无主动核验动作，7-29 到期的验证可能落空"——这是给上层的明确 actionable 提醒，加分项

三、深度与可读性评价

优点

1. 跨源印证纪律：增量 1 LAMAR 由 04:30 radar + 08:40 radar + paper_cards 三处独立确认；增量 5 由 flyp B 级精读 + 昨日简报两源印证
2. 节级映射精确：每条增量都给出"R46 §X.Y 节 + 操作类型"
3. 矛盾独立成节：5 条待核实说法独立成段，且区分了"独立可复现性 / 数字量化 / 混淆层级 / 截止日 / 本质区别"五种性质
4. 写入了 R46 → R47 演进方向：今晚接力可聚焦反方验证 + LAMAR 新增 + Memory 架构第 14 条腿补全——给上层明确选题
5. arXiv 号列表独立成表：✅/⚠️ 状态可视化，是 e1prep 应固化的最佳实践

缺点

1. Learning on the Job 数字渲染不足：原论文摘要 1.6×/2.6×/22/84 数字明确，Tom 写"击败完整 RAG 基线"过于模糊——这是把可量化的关键数字丢掉
2. δ-mem 评级偏高：⭐⭐⭐⭐ 评级在独立网络检索无命中的情况下应降为 ⭐⭐⭐
3. arXiv 编号核证半缺席：增量 1、3 编号已查实，但 2、3 引用 Dadhich / Experience Distillation 编号仍未直查 arxiv.org
4. 争议 7 反方 + 4 截止日虽然列出，但未在简报中主动派活 —— 谁负责 7-29 截止日的 v1 PDF 全文细节核验？应在表后加「派活建议」一列

四、与最新进展的差距

1. work-queue.md §1 高价值 Top 15 今日空表（队列头注明"共 0"），本简报没显式回应——但因为队列表空，不算大缺口
2. work-queue.md §4 待写攻略 Tom 认领的 JabRef/jabref（Star 4466）和 tamnd/kage（Star 2921）两条任务未在 RAG e1prep 中回应——RAG 主题 e1prep 是否应该回答"我今天是否准备开始这俩攻略"？建议下次 e1prep 加一行「待写攻略交叉检查」
3. δ-mem 与 driaforall/mem-agent 命名混淆：今天 web 检索时发现 driaforall/mem-agent 也是利用 Qwen3-4B 做记忆 Agent 但用 GSPO + Obsidian-like 系统——未来如果写 RAG 主题 Memory 架构，务必区分"8×8 关联矩阵机制"（δ-mem Substack，自称）和"tool-based Obsidian-like 记忆 + GSPO 训练"（driaforall，已开源），两者机制不同，潜在读者极易混淆
4. RAG 主题「验证期」判断与昨日一致，但应补充"今日 work-queue 提示 evaluation 主题 3 天未更新"——本简报只把它列在 source 表格里，没给"是否需要顺带提示 evaluation 主题接力"的判断

五、可执行的修改建议（优先级排序）

P0 · 接力写入 R47 前必须修

1. 增量 3 数字补完：「击败完整 RAG 基线」→「single-trial success 1.6×（outcome verdict）/ 2.6×（corrections）static-RAG；22/84 任务被解决；模型异构复现于 Mistral Large + Claude Sonnet 5；论文本身仅 banking domain 单一场景」。并写论文作者「Valentin Tablan, Scott Taylor, Kristoffer Bernhem（The Memory Company）」+ arXiv 2607.22157v1
2. 增量 2 δ-mem 评级降级：⭐⭐⭐⭐ → ⭐⭐⭐（机制描述具体但独立可复现性未确认）
3. 增量 2、3 引用 Dadhich / Experience Distillation 的 arXiv 编号 arxiv.org 直查：若查不到，简报中明确标「HF Daily 报道，待直查 arXiv 编号」

P1 · 接力时建议补做

4. δ-mem 简报中加入"无 arXiv 编号 / 无第三方复现 / AlphaSignal 独家"明示：避免下游把"8×8 矩阵"作为机制综述的依据
5. 增量 5 派活建议：在 4 验证截止日表后加「派活建议」一列，明日 14:30 前谁负责 7-29 v1 PDF 全文细节核验；7-30 AAAI main vs industry track 区分核验；7-31 跨模型迁移 / 混合方案对照
6. work-queue §4 Tom 认领任务交叉检查：在简报最后加一行「今日 work-queue 提示 Tom 认领 JabRef / kage 攻略未启动——RAG 主题接力是否需要在 R47 写完后启动攻略认领」，让上层可决策

P2 · 模板层建议（下次 e1prep 通用）

7. e1prep 模板应固化「⭕ 数字模糊 / ⚠️ 证据链缺口 / ✅ 已核实」三色标签，并对应评分映射（任意一条 ⭕ 数字未量化→ 评级上限 ⭐⭐⭐）
8. e1prep 应主动派活（反向驱动活文档接力），而不只是"归入节建议"——把"7-29 截止日 7 反方核验"这类事直接 @到人
9. e1prep 应对 work-queue.md 显式回应：是否启动了认领任务、未启动的待写攻略是否计划启动

六、最终评分

综合质量分：7 / 10

一句话：比 7-27 简报进步明显（增量 1 准确、矛盾独立成节 5 条、arXiv 列表独立可查），但Learning on the Job 数字模糊 + δ-mem 评级偏高 + Dadhich/Experience Distillation arXiv 编号 2 天未直查三处必须在写入 R47 前修正，否则又把"半成品增量"送进共识节。

spark · 2026-07-28 14:30 CST · 交叉互评 Wave2 E3 · 评审对象：Tom