周六精读与反方审稿 · 2026-10-17

反方周审读。reading_depth=primary_sections,仅使用 materials[*].text_evidence 中已抽取的方法、实验、可用局限节证据;非逐段阅读、非实验复现。is_new=true 仅表示本周纳入清单,不等同新发现;context 中 newsletter/GitHub 摘录仅作线索,不冒充全文核验。unreviewed=1598、quarantined_materials=1598 表示积压,非本批质量评价。 仍有 1598 份未逐条评审;存在失败隔离(1598 份)。


原文关键节证据

  • 方法节:各篇已抽取架构/公式/范式定义。
  • 实验节:已抽取基准、规模与主要数值。
  • 可用局限节:已抽取作者声明的限制。
  • 非作者明确局限以"反方推断风险"单独标注。

arxiv: 2610.13735 — Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers

主张 - 在文本推理中引入"prefill–decode 异构注意力",prefill 主要用 SWA、仅在末位 prompt token 做全交叉注意;decode 阶段对 KV cache 做滑动窗口+全交叉注意,从而以线性复杂度 prefill 与完整注意 decode 完成生成。 - 160M–6.8B 规模实验里,对 Transformer 与多种高效注意力方案取得可比或更好结果;Llama3.1/Qwen3 基座可经低数据继续训练转换为 Orthros;128K 针入草堆近完美;单/多 GPU prefill 最快 21.9× 加速。 - 作者明确列出两条局限:训练–推理权衡(训练 token 计算翻倍)与 prefill 主导负载下的算力分配讨论留待未来工作。

反方质疑 - 21.9× 是 prefill-only 极端情形;decode 阶段 FLOP 翻倍,作者以 I/O-bound 解释可掩盖,但实际 decode 受 KV cache 物化与两套注意力交替影响,未给出 wall-clock vs. throughput 拆分。 - "可转换为 Orthros" 的继续训练数据量、收敛曲线与灾难性遗忘评测在方法节摘录中未见,仅在实验段提到"data-efficient",缺乏相对 Transformer 继续训练的对照损失曲线。 - 128K 针入草堆"近完美"未给失败长度阈值与失败率分布,效率型注意力常在该长度出现尾部失败,单点高分不足以下结论。

复现风险 - 训练–推理一致性需要专门训练流程与 scale-offset 设计,第三方若无同等训练栈难以复现 prefill 21.9×。 - decode 翻倍 FLOP 的 I/O-bound 结论依赖具体 GPU 与 batch,无法跨硬件外推。 - 来源:https://arxiv.org/abs/2610.13735(方法节 https://arxiv.org/html/2610.13735)。


主张 - 构建德国 58 部联邦法典的结构化 KG(168,469 节点、240,507 边),按 Buch→Titel→§→Absatz→Satz→Nr.→Buchstabe 分层;以 KaLM-Embedding-Gemma3-12B 嵌入,对 §/Absatz/Satz/Nr./Buchstabe 与 100 词朴素切分做对照,并可选 1-hop KG 扩展。 - 最优粒度在 Code 级 ToER ≈ 14.2,§ 级 ≈ 3.2,Satz 级 ≈ 1.5;作者明确指出 ToER 随评估深度陡降,归因于 Tatbestand 与抽象法条之间的领域鸿沟。 - 作者明确局限:绝对 ToER 偏低,且随深度衰减,反映任务本身难度与领域鸿沟,密集检索嵌入难以桥接。

反方质疑 - 评测对象是"参考引用列表结构匹配",并非端到端判决正确性;高 ToER 不代表模型生成的法律意见更可靠,未与人工评阅对照。 - 嵌入模型与 chunking 粒度耦合,仅换 chunking 而固定嵌入,无法判断提升来自结构 KG 还是更细粒度文本;缺乏消融 KG 结构 vs. 仅用更细粒度切分的对照。 - 评估在德国法单一司法管辖区,跨法系/跨语种泛化未触及。

复现风险 - KG 解析依赖 gesetze-im-internet.de 当前格式与自定义正则,源站更新即可能断链。 - ToER 仅基于 OpenLegalData 案例的引用结构,未涉及法规修订时间线,错引/废止法条风险未评估。 - 来源:https://arxiv.org/abs/2610.13695(方法节 https://arxiv.org/html/2610.13695)。


arxiv: 2610.13361 — AgentSWE: Can Coding Agents Build the Agent You Actually Want?

主张 - 提出以"委托(commission)"形式给出自然语言需求 q=(g,ℐ,𝒞,ℛ) 与公开开发集 D,对生成代理 a=harness+backbone 在未见案例空间 𝒳_q 上行为打分,覆盖创建、编辑、优化三阶段。 - 通过冻结提交、在保留案例上评估产出代理行为,回答"coding agent 是否真交付用户所需的 agent"。 - 作者明确局限:构建 vs. 任务仅一次性构建;Optimization 目标在重复评估间波动;分数由模型法官基于任务 rubric 给出,与至少一个 builder 共享模型族,绝对水平仅家族内可比。

反方质疑 - 法官与 builder 共享模型族在 Creation/Editing 都会引入同源偏差,尤其当 builder 已针对该族 rubric 过拟合时,"高有效性"难与"过拟合自评"区分。 - "冻结提交 + 行为评分"对延迟/成本的真实部署约束不敏感,仅看正确性;agent 可通过慢推理刷分。 - Optimization 单次构建、未给多次独立测量的能力限(CI),作者承认波动但未量化。

复现风险 - AgentSWE 依赖固定 gateway 与受控环境,第三方复现需复刻整个 harness 与 rubric;版本漂移即破坏可比性。 - 模型法官对长执行轨迹的稳定性未做独立核验。 - 来源:https://arxiv.org/abs/2610.13361(方法节 https://arxiv.org/html/2610.13361)。


共同对照

  • 共性:三篇均面向"效率/可验证性/忠实性"——分别从架构效率(Orthros)、检索可验证性(Legal KG)、agent 忠实交付(AgentSWE)切入,且都以"原端—基准"思路(异构注意力、结构化对照、行为级 rubric)替代纯端到端评分。
  • 不同证据条件:Orthros 提供硬件侧 wall-clock 与 21.9× 上限但 decode FLOP 翻倍未独立核验;Legal KG 给出 ToER 随深度衰减的硬数据但仅限引用结构匹配;AgentSWE 强调行为保真却依赖同族模型法官。三者均缺跨硬件/跨法系/跨 builder 的独立外部复现,故任何效率或可验证性结论目前都只在作者给定的对照条件下成立。