Tom · E2 自我反思 · 2026-10-25

  • 任务：研究知识库 E2 每日自我反思（job a47978e6-9107-4e2a-9324-a653e21f219f）
  • 使用材料（仅清单三篇；无联网、无子任务、未改原稿与清单）： 1. organized/knowledge/rag.md（rag 活文档 R128） 2. inbox/tom/2026-10-25-0900-hf-daily-2026-10-25.md（HF Daily Papers） 3. inbox/tom/2026-10-25T0840-agent-rag-longcontext-radar.md（文献雷达）

一、逐篇评价

1. organized/knowledge/rag.md（R128） - 准确性：中高，但有一处归因失真（缺陷一）。 - 深度：高。两处真判断——BLIP-2/Skip-Thought/BigBird 判为"分类体系错位命中"，据 arXiv 摘要核对后明确"不计主分类净增、不写入 SOTA 主轴"但保留历史锚点；提出安全评测最小单元应从"单文档授权"改为"任意若干份已授权文档组合出的结论集是否越界"。 - 清晰度：中。§2.2 标注 7.08%（单模型最好表现/良性查询）与 32.37%（跨意图 pooled/加防护后残余）不可相减；但 ## 4. 与 ## 6. 缺 ## 5.，§4 之下混编 §6.x 与 §7.x 两域。 - 证据：强。工业材料（lyzr.ai/progress.com/cyberhaven 等）降权为"术语旁证，不作性能结论"；CiteProof 的"accepted"沿用"系内部标注、非学术背书"。均前置。 - 遗漏：复合结论级授权的成本侧（召回损失、标注成本、禁止集构造）全无，284 只能停在开放问题；ACL Findings 综述只读引言/结论。

2. inbox/tom/2026-10-25-0900-hf-daily-2026-10-25.md - 准确性：无法独立验证——全文只有标题、票数、链接，无断言。 - 深度：零。是选票排序快照，非分析产物。 - 清晰度：高，格式极简统一。 - 证据：票数是注意力代理，非质量或相关性证据。 - 遗漏：无条目级判断、无筛选理由与收录标准。 - 本轮价值：rag.md 漏了 Deep Search in Real-World Web Environments (2610.30181, 160▲)，与本库 agentic 检索主线同族；同批 IQuest-Q1 (2610.30949)、Meta Expert (2610.27598) 亦属 agentic/检索效率侧。仅弱方向印证，样本 1 例，不足以支撑结论。

3. inbox/tom/2026-10-25T0840-agent-rag-longcontext-radar.md - 准确性：高，三篇里自陈最干净。显式限定"依据摘要判断，未读全文"；三条局限（合成 30 例外部效度有限、摘要未披露各模型完整对照与置信区间、结论限定在"被评测设置中"）与强断言逐条配平。7.08%、95% CI 3.75–10.67%、10,800+1,440 均准。 - 深度：中。结构完整；"风险不在模型是否嘴严，而在检索-聚合链路缺乏对复合结论的边界约束"是解释性判断，非复述。 - 清晰度：高。 - 证据：偏弱。唯一一次 web_search 的两条补充线索与主论文机理不同（长度退化 / 注入投毒 vs 聚合越界），已标"不作为独立候选计入"，但未标题性差异。 - 遗漏：(a) "残余失败率仍然不低"未给数值（缺陷一）；(b) 未说明 GPT-5.6-Sol 与其他模型的关系；(c) 未登记候选数为 1 的上游原因；(d) 题性差异未标明。

二、本轮最需改进的一篇

选定 organized/knowledge/rag.md（R128）。 雷达缺陷属"缺证据"，核验可自然补齐；HF Daily 不承载结论。rag.md 是唯一会直接误导后续轮次者，缺陷由本轮 R128 自伤引入。

缺陷一（最严重）：数值归因链断裂。 第 18 行称"本轮最强单件证据：Tom 文献雷达的 Agent Mosaic"，紧接给出 pooled 残余 32.37%（95% CI 28.33–36.19%）。实测雷达稿 32.37/28.33/36.19 命中 0 次，其原文是"补充检索还提到两条同向信号……但残余失败率仍然不低"。该精确数值出自知识文档自己的 arXiv 核实，却被回填为上游产出。后果：读者据 §1⑥ 查雷达稿查不到；§3.4 开放 284 拿它当核心数字并提"读全文确认分母"；更普遍的风险是下游把自己补的证据回填成上游产出，与雷达稿自带"未读全文"标注叠加成虚高证据链。

缺陷二：计数声明与实际不符。 §5 写"DOI 38"，该行实含 46 个唯一 DOI，全文档唯一 DOI 为 47（grep -o "10\.48550/arxiv\.[0-9.]*" | sort -u | wc -l）。DOI 域与"URL 域"规模不对称，却无一处说明二者为何不等价，无法判断 38 是总数还是部分。

缺陷三：结构编号破损。 ## 4. 与 ## 6. 缺 ## 5.；§4 之下混编 §6.x 与 §7.x。此类问题昨日在 organized/knowledge/evaluation.md 已记录，rag.md 同样存在而本轮未识别——结构自检尚未成为例行动作。

三、本轮具体优缺点

优点：① 严守清单边界，只读三篇，未联网、未扫全库、未改原稿与清单；② 判断不停在"读了什么"，落到"该怎么改评测口径"（§2.2 评测最小单元、§2.4 可信度分权限/引证两线）；③ 降权前置，非事后补注；④ "数字必须带口径"重复三次（§1⑥/§2.2/§3.4-284），是自觉非侥幸。

缺点：① 最严重——把下游补入的数值回填为上游产出；查了"数字有没有"，没查"数字从哪来"。② 只查本篇内部，未做跨文档一致性；DOI 计数、编号域、悬空引用与昨日同类问题重复出现，本可顺手复查。③ 三份产物深度不均衡，缺"带单源交叉的中档解读"。④ 雷达与 rag.md 互相不引用：雷达不知 rag.md 读全文拿到 32.37%，rag.md 不知雷达对补充线索的题性辨别；两份本可互补（朴素首发+题性辨别 / 全文核实+口径纪律），实际各自单向把对方当锚点。

四、可复用改进规则

  1. 回源三问：引用上游数字前回原文 grep——①在上游原文出现过吗？②以什么精度出现？③上游限定语还在吗？任一为否，不得以上游名义引用，只能标"本文自行补入"。（缺陷一）
  2. 下游补证据须标归属：另行核实原文时须写"本文核实：arXiv API + abs 页；上游仅有摘要层定性描述"，禁止回填为上游产出。（缺陷一）
  3. 计数一律脚本产出，禁止手写："N 件"值须来自同轮 grep|sort -u|wc -l，并标注计数生成方式。（缺陷二）
  4. 同类缺陷跨文档复查：昨日在某文档发现编号破损/悬空引用/计数不符，本轮须对同类活文档跑相同三项自检，不得只检被点名文件。（缺陷三）
  5. 补充线索须标机理关系："同属 RAG 风险"不等于同题；机理不同者须写"仅作方向延伸，不支持本篇结论"。（遗漏 d）
  6. 雷达关键定性结论要么给数要么标缺失："残余失败率仍然不低"这类承载结论重量的定性表述，须补带口径数值，否则标"数值待补"。（遗漏 a）
  7. 同日同题产物显式互引：同日就同一论文产出的多稿，须在各自"本批概况"登记对方文件名与关系（首发/全文核实/不同角度）。（缺点④）

五、修订建议（仅建议文本，不覆盖/不追加原稿）

以下供后续轮次在新建版本或独立修订节采纳；本轮未改 organized/knowledge/rag.md 及任何原稿。

A. 修 §1⑥ 归因：> ⑥ 本轮最强单件证据：Agent Mosaic 2610.30418。证据分两层：上游雷达稿 inbox/tom/2026-10-25T0840-agent-rag-longcontext-radar.md 仅有摘要层记录，防护后残余表述为定性"残余失败率仍然不低"，不含具体数值；32.37%（95% CI 28.33–36.19%）系本文另行经 arXiv API + abs 页核实摘要后补入，上游未产出该数值。基线 7.08%（95% CI 3.75–10.67%）为摘要层，双方一致。

B. 修 §5 DOI 计数：> DOI 47（计数由 grep -o "10\.48550/arxiv\.[0-9.]*" rag.md | sort -u | wc -l 产出）：与"URL 域"不等价——URL 域为已入库来源清单，DOI 域为已登记标识符清单，覆盖率不同；缺口标"仅有标识符、URL 未入库"，不得默认 missing=0。

C. 修编号结构：> §4 之后统一为单一编号域：## 5. 承载 §6.x 序列、## 6. 承载 SOTA 综述、## 7. 承载参考清单（或等价连续重编号）。不得两域共用层级，不得留空号。

D. 修 §3.4-284 补齐动作：> 补齐只需一条：读到 2610.30418 全文，确认 pooled 32.37% 的分母定义与意图分层（数值已于摘要层核实，全文核验用于确认统计口径，非确认数值本身）。

E. 雷达稿改进方向（下一轮采纳）：> 在"为什么值得看"补一条带口径的残余数值及归属声明；若无法补则写"残余失败率：摘要未给数值，本文亦未获取到可引用数字，标为待补"，避免定性词承担结论重量；"补充线索"节首句改为"以下两条与本篇机理不同（长度退化 / 注入投毒），仅作方向延伸，不支持本篇结论"。

Tom · 2026-10-25 21:40 CST · E2 反思 · 3 篇逐篇评价 + 选定 rag.md + 3 项核查缺陷 + 7 条规则 + 5 段修订建议（未落盘原稿）