• 质量分：8
  • 评审者：Stephen（研究知识库 · Wave2 E3 互评）
  • 运行日期：2026-10-25（Asia/Shanghai）
  • 被评对象：inbox/spark/2026-10-25-agent-e1prep.md（《agent · E1 预消化简报(2026-10-25)》）
  • 来源 job：7bbbfcca-fa65-4ba9-a103-35d90f39d599 · family E3 · item e3:7bbbfcca-…
  • 评审依据：被评文件全文（读全）+ 定向核查（organized/knowledge/agent.md v123、llm-application.md:74、paper_cards/117,118,119、repo_cards/4430,4557,4558,4573,4576,4602）+ 1 次 web_search（arXiv:2603.15031 归属复核）

0. 一句话结论

这是本轮质量最高的一篇 E1 预消化。 它的核心价值不在"补料多"，而在用一份预消化发现了本库三主轴共用的一处编号污染——而且它在自己权限边界内（"只登记不静默改号"）做到了正确的处理方式。扣分项集中在两处：① C1 的结论比事实更保守（标"存疑"但一搜即定案，白丢了一晚上的确定性）；② §5 接力建议把一个已可定案的矛盾继续标为"待核"，等于把已解决的工作留给了下一班。

1. 事实准确性核查（本篇逐条验证）

我按被评文件 §1/§2/§3 的每条具体断言做了独立核对，未发现事实错误。逐项证据如下：

1.1 C1 卡片撞号矛盾 —— ✅ 属实，且我已定案

被评文件 §1「增量 2」指出 paper_cards/117-2603.15031.md 自身标识字段与卡内时间线撞号（时间线写 "Mar 15: Attention Residuals (arXiv:2603.15031)"，而卡片自身标识也是 2603.15031）。我直接读了该卡原文确认：

  • 卡 117 头部：- **标识**：2603.15031 / - **链接**：https://arxiv.org/abs/2603.15031 / - **标题中文**：LLM 研究论文：2026 年清单（1—5 月）— Sebastian Raschka
  • 卡 117 时间线末行：- - **Mar 15**: Attention Residuals ([arXiv:2603.15031](https://arxiv.org/abs/2603.15031))

冲突真实存在，spark 的描述准确。

我做了被评文件明确说"本轮按纪律未执行"的那次核查（1 次 web_search），结果是决定性的：

arXiv:2603.15031 = 《Attention Residuals》（Kimi Team / 月之暗面，cs.CL，2026-03-16 提交，attnres tech report）。arXiv 摘要页标题即 "Attention Residuals"；官方仓 MoonshotAI/Attention-Residuals 的 BibTeX 明确 eprint={2603.15031}；HuggingFace papers/2603.15031 与 papers.cool/arxiv/2603.15031 均标题为 Attention Residuals；Kimi 官方推文（2026-03-16）直接贴出 arxiv.org/abs/2603.15031 并称 "Introducing 𝑨𝒕𝒕𝒆𝒏𝒕𝒊𝒐𝒏 𝑹𝒆𝒔𝒊𝒅𝒖𝒂𝒍𝒔"。

结论：2603.15031 是 Attention Residuals 论文，不是 Raschka 清单文章。 本库 risk/rag/evaluation 三主轴沿用的"清单"语义确认是错的——被评文件 C1 表里"若实际 arXiv:2603.15031 是 Attention Residuals，则三处锚定的语义都可能是错的"这一假设分支已经被证实。

1.2 C2 三卡同源污染 —— ✅ 属实

被评文件说 117/118/119"共享同一 H1 标题却挂三个编号"。我逐卡读头部确认：

卡 H1 自身标识 形态 TLDR
117 6. LLM Research Papers: The 2026 List (Jan–May) — Sebastian Raschka 2603.15031 survey 无
118 同上 2603.15569 method SSM/MIMO（Mamba-3）
119 同上 2604.12374 method Nemotron 3 Super / NVFP4 / LatentMoE / MTP

且 118/119 的时间线正文与 117 逐字相同，118 时间线末尾多出一行 Mar 16: Mamba-3 (2603.15569)——即 118 卡把"清单文章标题"和"自己那篇论文的编号"混编在一张卡上，被评文件对此的机制描述（"卡片生成器把来源标题 + 被引论文的 arXiv 编号混编成了一张卡"）完全准确。

1.3 增量 3 跨主轴锚点不一致 —— ✅ 属实

被评文件 §1「增量 3」称 AI-Scientist-v3 在 llm-application.md:74 已作实质判断、在 agent 侧只有 URL 锚点。核查：

  • grep -n "AI-Scientist\|SakanaAI" organized/knowledge/agent.md → 仅 572 行一处，位于 ### 9.4 URL 锚点清单全量 段内，https://github.com/SakanaAI/AI-Scientist-v3 与 best-of-Agent-Harnesses 并列。§1 现状全景、§2 关键工作脉络、§8 跨主文档边界均无叙述。
  • llm-application.md:74 原文：- ㉑ **CiteProof-AI 的 claim/evidence 检查覆盖面**：PRISMA 跟踪 + 声明检查已声明，但对"自主取证型"(aipoch/open-science、**SakanaAI/AI-Scientist-v3**)产出的覆盖度未知。

确认：同一仓库在 llm-application 侧有实质判断（并挂了待核项 ㉑），在 agent 侧只有裸 URL。 被评文件把这条列为"今晚最确定、最可执行的一处修补"——判断正确。

1.4 数值漂移段（§3 末条）—— ✅ 四个数字全部逐字命中

仓库 被评文件（13:31 快照） 我实测卡面 活文档 v123 §1
typesafe-ai/skills 2,779★ / +7/周 2779 / +7 ✅ 2,778 / +21
stanford-iris-lab/meta-harness 1,713★ / +7/周 1713 / +7 ✅ 1,712 / +28
uclanlp/OpenVLHarness 246★ / +77/周 246 / +77 ✅ 235 / +105
thesysdev/openui 13,680★ / +651/周 13680 / +651 ✅ 13,587 / +672

四张卡 上次采集 均为 2026-10-25，与被评文件所述 13:31 采集一致。数字全对，且被评文件正确地把它们降级为"采集态漂移、不构成新观点"——这条纪律执行得很干净。

1.5 承接判定 —— ✅ 正确

  • 2602.15763 已在 agent.md:93（§9.1 arXiv 全量锚点区）✅ 被评文件判"不构成净增"正确。
  • 2610.30418 在 agent.md 出现 9 次，Agent Mosaic 已被 v123 §1/§2/§3/§5 完整承接 ✅ 判"无实质增量"正确。
  • AI-Scientist-v3 卡面：484★ / +14 / Python / Apache-2.0 / 最近提交 2026-10-18 / 分类 trending / 成熟度 experimental / 主分类 agent / 形态 app ✅ 被评文件 §1 引用的卡面事实逐字正确。

小结：本篇 0 处事实错误，且我额外完成了一次它自认未做的核查，结论支持它的判断方向。

2. 深度与误导性评估

2.1 深度 —— 充分，且有真正的结构化贡献

被评文件不是卡片式堆叠，它做出了三层次的分析：

  1. 材料级：§3「逐条材料核对与落点表（8/8 全部交代，含"无增量"判定）」——8 件材料逐件交代落点，并明确标出 6 件"无实质增量"。这符合本库"不凑数"的纪律，比逐件硬吹增量更可信。
  2. 矛盾级：§2 汇总 C1–C9 共 9 条矛盾/待核项，每条给出出处、风险等级、处置建议。这是本篇最有价值的部分——C1（编号撞号）与 C2（成片同源污染）都不是材料本身暴露的，需要跨卡比对才能发现，被评文件做了这个跨卡比对。
  3. 元级：被评文件 §0 结论速览明确写出"本批净增标题级 arXiv 编号 0 件"、"不建议今晚为凑数改动活文档主体"。主动报告零增量的批次，比假装有增量的批次有价值得多。

2.2 误导性 —— 低，但有一处措辞需要收紧

唯一需要指出的问题在 §4 标题与 C1 的措辞上：

被评文件 §4 表格把 arXiv:2603.15031 的标题列写成"编号归属存疑（Raschka 2026 清单 vs Attention Residuals）"，§5 建议 3 写"编号归属需 arXiv 页面复核（该动作属"网页补料"，本轮按纪律未执行）"。

严格说，"存疑"是低估。被评文件在 §2 表格里其实已经给出了足以定案的内证：

  • 卡片自身标识 = 2603.15031，且链接直接指向 arxiv.org/abs/2603.15031
  • 同一批的 118/119 的 TLDR 明确是它们各自论文（Mamba-3 / Nemotron 3 Super），而 118 的形态是 method 而非 survey

也就是说：117 卡自称"survey/清单"，其形态字段与 118/119 明显不同；而它链接到的 arXiv 编号与"Attention Residuals"这一步的时间线条目完全一致。 "Raschka 清单文章本身是 arXiv:2603.15031"这个假设，从卡内自相矛盾看就已经很弱。

被评文件把它标为"高风险、待核、只登记不静默修正"——处置方向完全正确（登记 ≠ 静默改号，这个判断是对的），但它把一个证据强度已经达到"实质可定案"的问题仍挂在"待核"名下，等于让下一班再花一次同样的力气。

这不是事实错误，是置信度标定偏保守——本库纪律要求"未复核的不作结论"，但被评文件自己已经完成了不依赖网页的交叉验证（118/119 的形态与 TLDR 对照），却没有把这个证据链提到结论层。

2.3 可读性 —— 好

结构清晰（§0 速览 → §1 增量 → §2 矛盾表 → §3 落点表 → §4 编号表 → §5 建议 → §6 边界声明），每个断言都能追到具体文件路径与字段（organized/paper_cards/117-2603.15031.md 卡内时间线 vs 自身标识字段）。⚠⚬⚬ 强度标记沿用本库体例。§6 边界声明完整列出了读取范围、未做的事、以及明确标注了"未纳入的近两日其他 agent 向材料"（Tom 10-23/10-24 雷达的 8 个编号），并说明"不在本批清单内，按纪律未纳入正文，仅登记为下一批优先候选"——这个处理方式尤其值得肯定：既没有自行找活（违反清单纪律），也没有把发现的信息丢掉（避免了下一批重复劳动）。

3. 与最新进展的差距

被评文件对照的是 agent.md v123（cutoff 2026-10-25 10:30 CST），自身材料 mtime 13:31，时间差仅 3 小时，基线选取是紧的，无过时问题。

真正的差距有两条：

  1. 外部进展未补：AI-Scientist-v3 的 README 未读、被评文件自认"C5：'编排'具体指多 agent 并行？分工？流水线？未知"。本轮网检额度用在了 C1 上（我的那次核查），但被评文件自己在 §5 建议 1 里要写"多 agent 任务编排"作为"第四极"——这是全文唯一一处接近机制性论断的地方，却正好是证据最薄的地方。被评文件用 C5 + "证据等级：摘要级…不得据一句话简介给出机制性结论"双重标注做了保护，处理得当，但结论强度仍应再降半档。
  2. C1/C2 的库级影响面未展开：被评文件在 C2 里提示"可能存在成片的同源污染，不止 117 一张"，并标注"（本次未扩查）"。这是本篇最可惜的地方——既然已经发现生成器的混编机制，而库内 2603.15569（Mamba-3）与 2604.12374（Nemotron 3 Super）都已作为 arXiv 编号进入 risk/evaluation/rag 的锚点区，那么"这两张卡的编号是否也各自撞上了别的论文"是一个成本极低、收益极高的检查（只需按同样方式比对各卡的"时间线末行编号"与"自身标识"是否一致）。

4. 可执行的修改建议

按优先级排列，均可直接落到被评文件或今晚 v124 的动作上。

P0 — C1 立即定案（今天就要做，不要再等）

依据：本轮 1 次 web_search 已确证 arXiv:2603.15031 = 《Attention Residuals》（Kimi Team，cs.CL，2026-03-16；官方仓 MoonshotAI/Attention-Residuals 的 BibTeX eprint={2603.15031}；arXiv 摘要页 / HF papers / papers.cool 三处标题一致）。

动作： 1. 被评文件 §2 表 C1 行的"说法/事实"列改为："2603.15031 = Attention Residuals（Kimi Team, cs.CL, 2026-03-16），非 Raschka 清单文章——已核实"；"处置建议"列改为"三处语义确认为错，需修正"。 2. 被评文件 §4 表格该行标题列改为："Attention Residuals（Kimi Team, cs.CL, 2026-03-16）"，并在"净增？"列注明"⚠ 编号-标题错配已确证，非待核"。 3. §5 建议 3 拆成两件事：① 登记矛盾（保留）；② 新起一条"编号修正"任务，把 risk.md / rag.md / evaluation.md 三处 2603.15031 的"清单"语义改为"Attention Residuals 论文"，并把这张 117 卡的正确标识留空待补（Raschka 清单文章的真实 arXiv 编号目前未知——它可能根本没有 arXiv 编号，只是 Substack 杂志文章；若确实无编号，则三处该写的是来源 URL https://magazine.sebastianraschka.com/p/llm-research-papers-2026-part1 而非 arXiv 号）。 4. 注意不要"改正"成另一个错编号：2603.15031 在库内还被用作 Raschka 清单的引用锚（risk R104 记 "Raschka 2026 清单 arXiv:2603.15031"）。修正时须把"清单文章的来源"与"清单内引用的 Attention Residuals 编号"拆成两条记录，而不是简单改号。

P0 — 补一条同源污染的定案证据，把 C2 从"提示"升级为"确证"

依据：我已核到 118 卡时间线末行为 Mar 16: Mamba-3 (2603.15569)，而 118 卡自身标识正是 2603.15569——与 117 完全同构；119 卡时间线止于 Mar 16: Mamba-3，不含自身标识 2604.12374，说明 119 的撞号发生在更靠后的一条未进时间线的条目上。

动作：在 §2 表 C2 的"说法/事实"列补一句："已确证 118 同样撞号（自身标识 2603.15569 = 时间线末行 Mamba-3 编号）；119 撞号位置在时间线末行之后，形态为 method + TLDR 指向 Nemotron 3 Super，可判定为同源混编。"这把 C2 的"可能存在成片污染"从推测变成已有两例实证。

P1 — 半小时可完成的低成本扩查（补齐本篇唯一未做的检查）

动作：对 paper_cards/ 中所有"来源文件含 magazine.sebastianraschka.com"或"H1 含 LLM Research Papers"的卡，逐张比对三件事：① 自身标识；② 时间线各条编号；③ TLDR 指向的论文标题。判定规则极简：若自身标识 == 时间线中某个条目的编号，则该卡编号-标题错配已成立。预计卡片量级在 5–10 张，一次定向 grep 即可完成。

产出：一张"错配卡号 → 自身标识 → 时间线中同号条目 → TLDR 指向的真实论文"对照表，直接给出全库该修哪些号的清单。这是被评文件 §5 建议 3 从"登记"升级为"修正"的必要前置。

P1 — 今晚 v124 采纳增量 1 时的措辞降档

依据：被评文件 §5 建议 1 要把脉络二扩为"三通道 + 多 agent 任务编排"，但 §1 增量 1 自认"未读 README、未读其对应论文…其'编排 coding agents 做科研发现'的具体机制、评测方式、是否有可复现实验均未知"，C5 亦标"只登记定位，不推断机制"。

动作：v124 写 §2 时，把"多 agent 任务编排"降为"任务编排侧（机制未读）"，并在同处保留一句机制未知声明。避免今晚的 v124 在"第四极"标题上给出比证据更强的确定性——降半档不损失可读性，却避免下轮被"这条结论怎么来的"反问打脸。

P2 — §5 建议 4 的"邻接级登记"要写清它到底带来什么

依据：被评文件 §2 表 C4 判定"一张 survey 不应被抬升为 agent 主轴独立锚"，处置为"邻接级承接，与 meta-harness/a-evolve/openui 同级"。判断合理，但"邻接级"若不写明增量价值，读者无法判断为何要收。

动作：补一句限定增量——"Raschka 清单（2603.15031 卡）可作为 agent 工具链的横向索引页：其 4 篇时间线里 2602.15763（GLM-5: From Vibe Coding to Agentic Engineering）是 agent 主轴已在承接的条目，其余 3 篇属模型/多模态弱邻接。因此其 agent 侧价值 = 索引价值，非观点增量。"

P2 — 修正 §0 的一处内部不一致

依据：被评文件 §0 结论速览写"真正对 agent 主轴构成增量的只有 2 件（SakanaAI/AI-Scientist-v3 缺叙述锚；paper_card 2603.15031 缺 agent 侧锚且带数据矛盾）"，随后又称"外加 1 条跨材料的数据质量矛盾"（增量 3）。

动作：§0 的"增量 1 / 增量 2 / 增量 3"三段与"实质增量 2 件"的表述需口径统一——建议改为"2 件实质缺口 + 1 条跨主轴不一致（增量 3 实为增量 1 的佐证，非独立增量）"。事实上 §1「增量 3」自己写的是"这是今晚最确定、最可执行的一处修补（增量 1 的依据）"——即增量 3 自认是增量 1 的论据，而非并列的第三项。§0 与 §1 在这一点上自相矛盾，读者需要自己调和。

P2 — 保留并强化 §6 的"未纳入材料"登记机制

依据：§6 末段把 Tom 10-23 / 10-24 雷达的 8 个编号（2610.29722 / 2610.29560 / 2610.11942 / 2610.30108 / 2610.30949 / 2610.19705 / 2610.26233 / 2610.31466）登记为"下一批次优先候选"，并明确说明"不在本批 work-guard 清单内，按纪律未纳入正文"。

动作：这是本篇最值得被其他实例抄的做法——"不自行找活"与"不浪费已获得的发现"不冲突。建议在文中显式写出判定依据（我核了 evaluation.md:287 的 R75→R110 累积编号表：其中已含 2610.19705、2610.26233、2610.30949、2610.31466，这 4 个编号其实已在库内，只是不在 agent 主轴 §9.1；另 4 个 2610.29722/2610.29560/2610.11942/2610.30108 未见于该表）——把"候选"进一步分成"已在他轴、待 agent 侧承接"与"全库未见"两档，可直接提高下一批的命中率。

5. 结论

被评文件 事实零错误，四项数值漂移逐字命中，三处结构判断（撞号矛盾 / 三卡同源污染 / 跨主轴锚点不一致）经我独立核查全部成立。其"净增 0 件也如实报告"、"只登记不静默改号"、"不自行找活但登记下批候选"三处纪律执行尤其干净。

扣分点集中在置信度标定偏保守（C1 已可定案却仍标"待核"）与一处 §0/§1 口径不一致，均属可在 10 分钟内修正的表述层问题，不涉及事实层。

综合 8/10。 建议今晚 v124 采纳其增量 1（跨主轴补丁，证据最硬）与增量 3，同时按 P0 立即把 C1 从"待核"升级为"已确证"，并启动 P1 的同源污染扩查——这份预消化找到的编号污染，其影响面比本篇已登记的还要大，值得在今晚就往前走一步。

附：本次评审的核查动作（供追溯）

  • 读全：inbox/spark/2026-10-25-agent-e1prep.md（被评对象）
  • 定向读：organized/knowledge/agent.md（v123 §1/§2/§9.1/§9.4）、organized/knowledge/llm-application.md:74、organized/knowledge/evaluation.md:160,287、organized/knowledge/risk.md:105、organized/knowledge/rag.md:143
  • 定向读卡：organized/paper_cards/117-2603-15031.md、118-2603-15569.md、119-2604-12374.md、organized/repo_cards/4430/4557/4558/4573/4576/4602
  • web_search ×1：arXiv 2603.15031 Attention Residuals → 确证 2603.15031 = Attention Residuals（Kimi Team, cs.CL, 2026-03-16）
  • 未做：未修改任何同伴产出、未改活文档/水位/认领记录/定时配置、未 git、未输出密钥