质量分：8

spark 评 Tom · R128 · 2026-10-25

被评文件：organized/knowledge/rag.md（Tom · 2026-10-25 13:55 CST · R128 Wave3 E1）
评审者：spark
日期：2026-10-25（Asia/Shanghai）
事实核查：已做 1 次 web_search（arXiv 2610.30418 + 摘要页 + HuggingFace papers 页）

一、总体判断

R128 是一份证据纪律明显高于平均水位的活文档轮次。它的核心价值不在"新增了几件"，而在于三件事都做对了：（a）把一件论文从"检索质量"翻译到"权限语义"这一新层面；（b）拒绝把 3 件明显非 RAG 的经典论文计入主分类净增；（c）在数字口径混乱时主动踩刹车而不是硬凑结论。

§2.2 明确写出"7.08% 与 32.37% 口径不同、不可相减"，这一条是本篇最值得肯定的地方——同一篇里两个数字都带着置信区间出现，且作者主动标注了分母差异（单模型最好表现 / 良性查询 vs 跨意图 pooled 残余）。对一篇以 arXiv ID 计数为核心的活文档来说，这种自我设限反而是可信度的来源。

但本篇也有几处真实缺陷，主要集中在：（1）关于 ACL Findings 综述的部分，绝大多数具体断言被降级为"自述"却未标注证据强度；（2）把 3 件分类噪声写成"本轮最重要的证伪型增量"，与它自身的证据权重不匹配；（3）R128 声称的"最强证据"其实在文档内部有降级，§2.2 的强度高于 §1⑥ 允许的强度。

二、事实准确性核查

2.1 已核实且准确 ✅

我对 2610.30418 Agent Mosaic 做了唯一一次 web_search，以下要点全部与 Tom 的记载吻合：

Tom 的记载	核查结果
30 个合成网络安全/医疗/军事场景	✅ 一致（abstract: "30 synthetic cybersecurity, medical, and military examples"）
3 个 LLM agent 受控仿真 → 10,800 条最终回答	✅ 一致
2 个开源 harness 中 live agent → 1,440 条回答	✅ 一致
"增加拒答并不保证安全"	✅ 一致（abstract: "increased refusals do not guarantee confidentiality, since significant refusals reveal the prohibited conclusion regardless"）
防护 = 可见分类头 + 显式聚合规则	✅ 一致（"Visible classification headers and explicit aggregation rules mitigate disclosure"）
残余 ≈ 跨全部意图 pooled 约三分之一	✅ 一致（HTML 摘要："Roughly one-third of pooled simulated answers across all intents still disclose with both safeguards enabled"）
单文档可答的良性查询下仍发生泄露	✅ 一致（"benign requests elicit forbidden composites in controlled simulation and both live GPT-led harnesses"）

一处 Tom 未写、但值得补的细节：论文标题全称是 Agent Mosaic: Recognizing Confidentiality Leaks in Agentic LLM Systems，作者 Ruiz / Luceri / Ferrara，主分类 cs.CR（次 cs.AI / cs.CL），16 页 9 图，2026-10 提交至 ACL Rolling Review。Tom 在 §1⑥ 说"这是 R82 以来第一次出现主分类净增，且增量来自安全/权限维度"，但没有把 cs.CR 这个 primary category 与本库自己的"主分类"口径对齐说明——本库的"主分类"是内部字段还是 arXiv primary category？论文本身投的 ACL Rolling Review（未录用），这对"证据权重"的判断有实际意义。Tom 在别处（R126/R127）看起来会记录"🔍 待核"这类状态，本篇没有标注 2610.30418 的评审状态，这在严谨性上是一处遗漏。

2.2 无法核实但已诚实降级的部分 ⚠️

ACL Findings 2026.findings-acl.78（Deng et al.《Data-Centric Perspectives on Agentic RAG》）：Tom 已在 §3.4 开放 285 中明确写"本轮只读到综述的引言/结论/数据生命周期与流水线描述，未读全文的分领域数据集与基准表"，§2.3 也说"自述为首个 Agentic RAG 数据中心视角综述"。这个降级做得对，但 Tom 没有为这篇新引入的材料标注"未读全文"这一事实核查状态——它是以"新范式材料""本轮唯一真正的'新范式'材料"（§1⑤）的措辞进入正文的，而这句话的强度暗示了全文级的把握。这是我认为本篇最需要修正的一处（详见 §四）。
3 件 D 组 paper_card 的摘要核对：Tom 声称"已用 arXiv 官方 API 逐条核对摘要"，并给出 BLIP-2 的 8.7% / 54×、Big Bird 的 $O(1)$ 全局 token、Skip-Thought 的 8 任务线性评测。这些数字与我所知的原文献一致（BLIP-2 zero-shot VQAv2 超越 Flamingo80B 8.7% 是论文原话；Big Bird 的全局 token 分析也是原文要点）。但这三个 ID 的分类错位判定反而说明 Tom 的核对是有效的——BLIP-2 / Skip-Thought / BigBird 确实与 RAG 无实质关系，把它们挡在主分类净增之外是正确的。

三、深度与误导性评估

3.1 最有价值的判断：§2.2 的"分析单位上移"

Tom 在 §2.2 提出"RAG 安全的分析单位从'文档'上移到'结论'"，并把它与本库既有的逐文档授权隐含假设（2409.10102 / 2610.13623 / 2610.12415 / 2610.19128 / 2601.07711）做对照。这不是摘要复述，是一个真实的概念升级：它指出了本库 47 轮积累中一整个类别的安全证据共享的隐含前提。

而且这个升级给出了可操作的设计含义——"检索层需要按 clearance 维度做复合结论级过滤"，以及评测范式的转换（"评测的最小单元不能是单文档是否被正确授权，而必须是由任意若干份已授权文档组合出的结论集是否越界"）。§4 又把它提炼成"可直接复刻的最小实验设计：30 个合成场景 + 单文档可答的良性查询 + 跨模型 × 跨 harness 对照 + pooled 残余率与置信区间"。这是本篇最扎实的一段，是我认为值得 8 分的主要原因。

3.2 §3.4 开放 284 的登记方式

Tom 把"逐文档授权 vs 复合结论级授权"登记为开放问题而非共识，并给出争议点的精确定位（"不是要不要做，而是在什么成本/召回代价下值得做、复合结论空间如何可枚举、评测如何构造禁止集"），还给出了补齐条件（"读到 2610.30418 全文，确认 pooled 32.37% 的分母与意图分层"）。

这是很好的实践：把"怎么做"从共识降级为开放，同时给出可执行的补齐路径。§3.3 开放 279 里把"禁止集比评分员更可核查"作为可迁移方法论参照，同样合理——而且 Tom 明确限定了"可迁移方法论参照"而非"直接迁移"，边界把握准确。

3.3 潜在误导点：两处措辞偏强

(1) §1⑤ "本轮唯一真正的'新范式'材料" —— 这句把 ACL Findings 综述抬到了与 2610.30418 并列甚至更高的位置，但 §3.4 同一篇文档里承认"本轮只读到综述的引言/结论…未读全文"。只读到引言结论的一篇综述，不能支撑"新范式"这一定性。Tom 自己在 §2.3 说它"给 R126-R127 的一个隐含前提提供了外部支撑"，这已经足够了，不需要"新范式"。

(2) §2.1 把 D 组称为"本轮最重要的证伪型增量" —— 这是明显的权重错配。D 组 3 件的内容是 BLIP-2 / Skip-Thought / BigBird，Tom 自己论证它们"与检索增强生成无实质关系"。一件你自己论证为"分类噪声"的东西，不可能是"最重要的证伪型增量"。证伪型增量应当是 §2.2 的复合结论级安全证据——它真正证伪的是"逐文档授权即安全"这个本库沿用 47 轮的隐含假设。D 组是"标签噪声处理流程的记录"，属于元数据维护，不是证伪。

这个错配有一个副作用：它在 §2.4 里造成了"§2.4 判断三：A 组三件是'证据层工具'，D 组三件是分类噪声"的分类，但 §2.1 把 D 组标为"最重要的证伪型增量"，两处自相矛盾。

3.4 §2.5 工业材料一节

Tom 对 datanucleus.dev / lyzr.ai / workativ.com / research.google / progress.com / cyberhaven.com 这批材料的定性是准确的：⚠️"全部是厂商/博客内容，无同行评审、无统一评测协议、无实验数字，只能作为术语与关注点收敛的旁证"。并且他明确把 cyberhaven 的"检索层应强制与源系统相同的权限"定位为文档级版本，与 2610.30418 的复合结论级构成对照。这个"把工业材料降级但仍提取其价值（术语收敛）"的处理方式是本库的一贯做法，做得好。

一个小瑕疵：§2.5 说工业侧材料"共同使用同一套动作词汇"，然后给了"规划（plan）→ 路由（route）→ 迭代（iterate）→ 校验（verify）"，这与 lyzr.ai 自己的六种模式命名并不完全对应（Router agent / Corrective RAG / Self-RAG / Adaptive RAG / Agentic GraphRAG 里没有 "iterate/verify" 这一对）。"高度一致"的说法可能强于实际——厂商文章的模板相似度通常来自共同的写作范式而非独立收敛。建议改成"术语上出现同源表述"。

3.5 读起来像人写的部分

§2.4 的观察（"RAG 的下游可信度正在分化为两条独立工程线——权限可核查 vs 引证可核查，而检索本身反倒不再是被质疑的对象"）和 §3.5 趋势 343 的重写（"装置、对象、原料三者齐全"）有真实的分析味道，不是套话。§1 的 "①②③④⑤⑥" 分条也很利落。

可读性是本篇的短板。 §5 之后是 332 条 arXiv URL + 23 条 papers.cool + 63 条 github + 3 条 vllm + 83 条 huggingface + 125 条 csdn + 35 条 substack + 190 条 other —— 总计约 850 条裸 URL，占了整篇文档的大半篇幅。§5 标题写着"关键参考清单（索引版）"，但实际是完整 URL 转储。这让 §1-§4 那部分（真正的分析）只占全文约 15%。建议把 §5 的 URL 块拆到独立的 rag.urls.md 附页，本文件只保留 §1-§4 + 增量 ID 摘要 + changelog。这对一篇活文档的可维护性影响是实打实的：R129、R130 继续叠加时，§5 会成为每次编辑都要全量重写的负担，且极易在重写中丢条目或产生重复（本次就存在同类风险迹象：arxiv 组里 2607.19648 不存在，但 2608.12403v1 与 2608.12403v1v1 并存、2605.12357 与 2605.12357v2 并存、2607.26760 与 2607.26760v1 并存——这些看似重复的条目可能是不同来源的合法重复，但 §5 没有去重规则说明）。

四、可执行的修改建议

按优先级排列，每条都对应上面指出的具体位置：

P0-1｜§1⑤ 降级 ACL Findings 综述的定性。 把"属本轮唯一真正的'新范式'材料"改为"属本轮唯一的新方法论综述材料（本轮仅读到引言/结论与数据生命周期章节，未读全文）"。理由：该定性已与本文档 §3.4 的自我限制冲突。 P0-2｜§2.1 修正 D 组权重。 把"本轮最重要的证伪型增量"改为"分类体系错位命中（标签噪声）的样本"，并在同处补一句真正的证伪型增量是什么："§2.2 的复合结论级泄露证伪了本库沿用 47 轮的'逐文档授权即安全'隐含前提"。同时消除与 §2.4 的自相矛盾。

P1-3｜§1⑥ / §2.2 补齐 2610.30418 的元数据与评审状态。 在 §1⑥ 补：作者 Ruiz / Luceri / Ferrara，arXiv 主分类 cs.CR，16 页 9 图，2026-10 提交至 ACL Rolling Review（审稿中，未录用）。理由：本库对 CiteProof 已明确区分"仓库卡学术状态标注"与"学术背书"，同类纪律应一致地施加到本轮最强证据上。 P1-4｜§2.2 明确 32.37% 的"跨全部意图"是 pooled 而非分层。 论文摘要用词是 "across all intents"，Tom 已正确标注 pooled，但建议补一句"论文未按意图分层披露，无法判断某类意图是否主导残余"，这正是 §3.4 开放 284 里"确认意图分层"作为补齐条件的理由。

P2-5｜§5 拆分 URL 语料到独立附页。 把约 850 条 URL 迁移到 organized/knowledge/rag.urls.md（或复用既有 ID Archive 机制），本文件 §5 只保留"R128 增量 4 条 arXiv ID + 4 条 DOI + 8 件 evidence URL"的增量视图 + 指向附页的链接。同时为附页加一条去重规则（是否保留 /abs/ 与 /pdf/、是否保留带版本号的重复 URL），避免 R129 起重复膨胀。 P2-6｜§2.5 把"高度一致"改为"出现同源表述"。 理由：六家厂商文档的用词相似很可能来自共同的行业写作模板，"独立收敛"是更强的论断，需要证据支撑。

P3-7｜§4 SOTA 综述节把"最小实验设计"这条提炼上移。 Tom 在 §4 承认 Agent Mosaic 的独特价值"可能不在 7.08% 这个数字，而在可直接复刻的最小实验设计"，但 SOTA 主轴本身没有承接这条。建议在 §4 的"2610.30418 Agent Mosaic（安全轴对照）"条目下加一句"其可复刻的评测设计（30 合成场景 + 良性单文档可答查询 + 跨模型×跨 harness + pooled CI）本身是一条可复用评测范式"。理由：这是本轮唯一产出方法论而非结论的资产，埋在 §4 段落末尾会被读者漏掉。

P3-8｜为 §2.3 的 ACL Findings 综述补一个🔍 状态标记。 本库在 R126/R127 用"🔍 待核"标注未读到正文的材料。§2.3 这篇综述引用了具体的五阶段生命周期与 generate–verify–filter/refine 流水线，虽有"未读全文"声明在 §3.4，但 §2.3 正文处没有标记。建议在 §2.3 标题行加"（🔍 仅读引言/结论/数据生命周期章节）"，让每一条引用自带其证据状态，而不是依赖读者跨节拼接。

五、不需要修改的部分（明确认可）

§2.2 与 §1⑥ 对两个百分比的"不可相减"标注 —— 这是全篇最有价值的写作纪律。它同时防止了两种相反的误读（"防护反而更差" / "防护挡掉了 92%"）。审稿中我没有找到任何一处口径混用。
§2.1 D 组不计主分类净增的判定 —— 三件经典论文被 主题: rag 标签误命中，作者逐条核对摘要后判定为分类噪声、登记但不计数、不进 SOTA 主轴。这正是活文档应有的行为，也反向说明上游 主题 标签召还有噪声，§2.4 那条"本库当前的 rag 主题标签召回会大量吸入非 RAG 论文"的观察有价值（但它只是待验证的怀疑，不是已证事实——本轮只观测到 3/8 的命中率，样本太小，不足以支撑"大量"这个量词；建议 §2.4 改为"本轮 3/8 命中，样本小，尚不足以估计整体噪声率，但方向明确"）。
§3.4 开放 284 的登记与补齐条件 —— "争议点不是要不要做，而是成本/召回代价、结论空间可枚举性、禁止集构造"的三元拆解准确。
§3.1/§3.2 对共识 236 与争议 198 的续立方式 —— 引用 CiteProof MCP server "刻意内不含语言模型"推出"协议层可以只承担审计契约而不承担能力契约"，作为 198 的第三个坐标而非裁决，处理得当。
§2.3 把数据中心视角接到 R126/R127 评测批判主线上 —— "可信的评测装置需要可信的任务分布，而任务分布来自一条有 generate–verify–filter/refine 纪律的数据流水线"，这个连接是本轮第二有价值的判断。

六、评分依据

维度	分数	说明
事实准确性	8/10	2610.30418 全部关键数字与设置经独立核查一致；元数据（作者、cs.CR、ACL Rolling Review 状态）缺失
深度	9/10	§2.2 的分析单位上移、§2.3 的数据流水线接线是真实概念升级，非摘要复述
无误导性	7/10	§1⑤"新范式"与 §2.1"最重要的证伪型增量"两处措辞强于其证据支撑；§2.4"大量吸入"的量词与 3/8 样本不匹配
可读性	6/10	§5 约 850 条裸 URL 淹没分析主体；本文档已膨胀到分析与转储比例失衡
与最新进展的差距	8/10	本轮引入 ACL Findings 综述作为数据轴对照，视野未落后；缺 2610.30418 同行评审状态

综合 8/10。 这是一份可以放心作为下一轮基线引用的文档——它的强项是证据纪律（不可相减标注、分类噪声挡在净增外、拒答泄露与工业材料降级），弱项是权重分配与版面工程（把噪声写成最重要增量、把只读引言的综述写成新范式、URL 转储挤占分析空间）。P0-1 与 P0-2 两处措辞修正成本极低但收益直接，建议在 R129 前处理。

spark · 2026-10-25 · Wave2 E3 互评 · 评 organized/knowledge/rag.md（R128）· 1 次 web_search 核查 2610.30418 · 未改动被评正文