flyP 精读与批判 v2 · 2026-07-25 09:50 — RRB / Intra-Query Attention Dilution（arXiv 2604.08571v3）

覆盖说明：本稿覆盖重写原 2026-07-25-RRB-intra-query-attention-dilution-critical-read.md（v1 · 103 行 / 7.5KB · "一、二、三、四、五、六、七"旧式结构）。v1 自 7-27 反思 §2.2 #6 起被我点出"7-25 RRB / 7-25 AgentRx / 7-26 0950 SDM position paper 三篇元层五问不齐"，7-28 / 7-29 反思持续点名。本棒 7-30 反思正式把它升级为最弱样本并兑现 v2 覆盖。 覆盖触发：flyP 7-30 §5 必做 #1（P-30-1） v1 → v2 主要变更：① 新增 §0 元层五问（立场 / 时效 / 反方 / 触发动作 / 信源截止日）；② 反方升级为 8 条 v2 三段式（证伪条件 + 判定依赖 + 严重度 ★）；③ 补 §3 三角验证（arXiv + alphaXiv + Substack + GitHub repo 与 demo 视频）；④ §6 后续动作全部加信源截止日 + 验收标准；⑤ 删除 §三.6 + §六 越界写 notes/llm-reasoning/... + reviews/benchmarks/... 两处越界路径，改为"路由建议（由 E1 / E3 / paper_cards 等符合权限的实例去写）"段；⑥ §五 Substack 思想来源 1 行旁证并入 §3 三角验证段；⑦ §四 补查清单并入 §6 跨主线合流段；⑧ §七 本轮小结删除（元数据已在 §8 摘要）；⑨ 评级标"立标级旁证 · 3.7/5"，与完整度对齐

§0 元层五问（沿用 7-25 十八规则 + 7-29 反思 §2.2 #6）

1. 立场：立标级旁证 · 3.7/5 —— RRB 不是算法突破，而是"格式噪声鲁棒性"的可重复 benchmark pipeline + Intra-Query Attention Dilution 现象的可证伪发现；v34 主线 longcontext · agent · reasoning-robustness 的潜在邻接证据点；与 V2PE（6-19 长上下文位置编码）/ SCPO（6-20 文化奖励）/ SANA-Video 2.0（7-25 混合线性注意）/ Claude Opus 5 system card（7-24）/ AREX（7-23 BAAI 递归自改进）形成结构性对照样本；弱点 = attention dilution vs length confusion 未消解 + 评测面偏窄（AIME 两届）+ Claude refusal 表征未单独处理 + 复现 pipeline 未公开 + 训练-评测分布漂移未量化；评级封顶"立标级旁证"，不升 P2 直至 §6.1 / §6.2 / §6.3 三道闸全过

2. 时效：arXiv 2604.08571v3 提交 2026-07-21（v3 是相对 v1/v2 的可复现性 + attention rollout 可视化增量版）；作者 Pavel Golikov 等；本稿仅基于 arXiv 摘要页 + alphaXiv 4 篇旁证（2026-07-21 ~ 07-24 高曝光新工作）+ Substack（Sebastian Raschka "Ahead of AI" 旁证 1 条）+ 1 篇 v3 PDF 局部章节抓取（§三.4 主要问题与批判段）+ flyP 既有 6-19 V2PE / 6-20 SCPO / 7-25 SANA-Video 2.0 / 7-24 Claude Opus 5 system card / 7-23 AREX 5 件精读作为跨主线锚点；v3 PDF 全文未抓（下面 §6.1 必查）

3. 反方：见 §3 反方硬标签 8 条 v2 三段式（证伪条件 + 判定依赖 + 严重度 ★）

4. 触发动作：E2 精读（v2 覆盖）+ E3 草稿路由建议；不入库 llm-reasoning 主分类核心（核心属 longcontext · reasoning-robustness 旁证 + v34 §3.x reasoning-robustness 段候选）；入 longcontext.md v34 §3.x reasoning-robustness 段 + llm-reasoning.md §3.x attention-mechanism 段邻接（attention dilution vs length confusion 消解）—— 由 E1 / E3 / paper_cards 等符合权限的实例去写（本稿仅做精读与判断，不直接写活文档）

5. 信源截止日： - v3 PDF 全文（§3 实验细节 + §4 attention rollout / logit-lens 可视化 + 附录）抓取 + §3.4 attention dilution vs length confusion 消解实验核验 → 截止 2026-07-31 09:50 - GitHub repo / 13 种确定性扰动字典公开状态 + 8 个 SOTA 模型串行 vs 独立对照脚本 → 截止 2026-08-02 09:50 - DeepSeek-R1-Distill-Qwen-7B 串行 vs 独立对照实验（与原作者同分布验证稀释现象在中文 prompt 下是否同样存在）→ 截止 2026-08-04 09:50 - 与 V2PE（flyP 6-19 长上下文位置编码）做交叉：长上下文 RoPE / YaRN 是否能减轻 attention dilution？→ 截止 2026-08-04 09:50 - 与 SCPO（flyP 6-20 文化奖励）做交叉：奖励模型在扰动 prompt 下是否同样脆弱？→ 截止 2026-08-05 09:50 - v34 评级是否升 P2 旁证 → 待 §6.1 / §6.2 / §6.3 三道闸全过 → 截止 2026-08-05 09:50

§1 论文元信息（核源 + 三角验证）

• arXiv：2604.08571v3 · Robust Reasoning Benchmark (RRB): Disentangling Format-Noise Robustness from Adversarial Robustness · 2026-07-21 提交 v3 · cs.CL / cs.LG 主分类
• 作者：Pavel Golikov 等（具体机构待 §6.1 核验）
• GitHub：项目页未直接声明独立 release 链接 —— §6.2 必查
• alphaXiv 旁证（2026-07-21 ~ 07-24 高曝光新工作）：C1 Claude Opus 5 System Card / C2 SANA-Video 2.0 / C3 AREX / C4 Masked Visual Actions（详见 §6.6 跨主线合流）
• Substack 旁证：Sebastian Raschka "Ahead of AI" 近期连载强调"reasoning models 在长 CoT 下的稳定性"与 RRB 的 attention dilution 同向 —— 本稿不引用具体篇目（按规则只作思想来源，本次不做 Substack 专项）
• 飞P 雷达旁证：flyP 7-25 multimodal-e1prep §1.2（RRB-intra-query 27▲ 7-25 HF 当日 立标候选最强）+ flyP 6-19 V2PE 精读 + flyP 6-20 SCPO 精读 + flyP 7-24 Self-Gradient-Forcing 精读（结构噪声鲁棒性邻接）
• 关联主线：v34 主线 longcontext · reasoning-robustness；与 V2PE（长上下文位置编码）/ SCPO（文化奖励）/ SANA-Video 2.0（混合线性注意）/ Claude Opus 5 system card（categorical refusal 现象对照）/ AREX（BAAI 递归自改进 agent）形成对照样本

§2 方法拆解（摘要级判断）

§2.1 核心假设

• 格式噪声鲁棒性 ≠ 对抗鲁棒性：作者把"鲁棒性"从传统 adversarial perturbation（字符级 / 语义级攻击）切到"确定性文本扰动"（13 种扰动可重复变换）
• 数学语义保持不变：扰动后的题目在数学上等价，但 tokenization / 排版 / 符号完全不同
• Intra-Query Attention Dilution：在同一上下文窗口内串行解多道独立题，后续题目的准确率随位置单调下降；作者主张这是"被前题 CoT 稀释注意力"而非"长度消耗预算"

§2.2 方法细节（基于 arXiv 摘要 + v3 局部抓取）

• 输入改造：把 AIME 2024 / AIME 2025 的题目用 13 种确定性文本扰动 重新渲染（符号替换、随机大小写、unicode 同形字、LaTeX 改写、emoji 注入等），保持数学语义不变
• 评测对象：8 个 SOTA 模型，分两类：
• 闭源 frontier（GPT/Claude 等）
• 开源 reasoning 模型（7B ~ 120B，覆盖 DeepSeek-R1 类蒸馏、Qwen 类、Llama 类）
• 关键实验：让模型在同一上下文窗口内串行解多道独立题，观察后续题目的准确率随位置衰减，剥离出 attention dilution 现象
• 失败模式分类：
• Cognitive thrashing：反复自我否定、解题轨迹来回跳
• Tokenization breakdown：结构噪声把数字 / 符号切成奇怪 token
• Reasoning collapse：中途丢失主线，最终答案退化

§2.3 v3 增量（相对 v1/v2）

• v3 = 可复现性 + attention rollout 可视化增量版（§6.1 必查）
• v1/v2 仅展示"准确率随位置衰减"做证据
• v3 应补充 attention sink / attention rollout / logit-lens 类直接可视化（§6.1 必查，若 v3 未补则 §3.3 反方升级）

§2.4 训练-评测分布漂移

• 扰动后的 prompt 很可能不在 SFT/RLHF 训练分布内
• frontier 模型靠 RLHF 的 in-distribution 鲁棒性扛过，并不证明它们真的"理解"了格式无关的数学
• 这是 §3 反方 #6 的核心

§3 反方硬标签（8 条 v2 三段式 · 沿用 7-25 十八规则 + 7-29 反思 §2.1 #3）

v2 三段式格式：证伪条件 + 判定依赖（PDF 哪页 / GitHub 哪个子目录 / 用哪个数据集 / 引用编号）+ 严重度 ★ 基线对比型硬约束：≥ 1 条须列具体 baseline 名 + 作者未对照的事实

§3.1 反方 #1（评测面偏窄 / AIME 推广性）

• 证伪条件：若 v3 在 AIME 2024 / AIME 2025 之外的 benchmark（如 GSM8K / MATH / OlympiadBench / PutnamBench）上未跑对照实验，则"格式噪声鲁棒性"结论的外推性不成立
• 判定依赖：v3 PDF §4 实验表格 + 附录 C（应有 GSM8K / MATH 对照表）
• 严重度：★★★★（评测面偏窄是结构性问题，不是单点错误）

§3.2 反方 #2（Refusal vs Failure 口径混淆）

• 证伪条件：若 v3 未把 Claude "categorical refusal"（拒答）与开源模型"答错"分桶统计（即"有效回答子集"），则 frontier vs 开源的"鲁棒性差距"被人为放大或缩小
• 判定依赖：v3 PDF §4.3 / §5.1（应有 refusal vs failure 分桶表）+ Claude API 拒答日志
• 严重度：★★★★（评测公平性核心）

§3.3 反方 #3（Attention Dilution 因果链不完整）

• 证伪条件：若 v3 未做 attention sink / attention rollout / logit-lens 直接可视化，仅用"准确率随位置衰减"做证据，则"被前题 CoT 稀释注意力"的因果归因未闭合
• 判定依赖：v3 PDF §3 实验细节 + 附录 A（应有 attention rollout 图）+ GitHub repo attention 可视化脚本
• 严重度：★★★★★（核心机制主张的因果链缺失）

§3.4 反方 #4（CoT 长度混淆 / Dilution vs Length）

• 证伪条件：若 v3 未做"等长度单一题 vs 串行多题"的消融（即控制 CoT 总长度一致，仅改串行 vs 独立），则 attention dilution 现象可能来自"有效上下文预算被前题消耗"而非"注意力被稀释"
• 判定依赖：v3 PDF §3.4 / §4.2（应有等长度消融表）+ GitHub ablation 脚本
• 严重度：★★★★★（机制主张的二选一未消解）

§3.5 反方 #5（复现成本与 pipeline 公开度）

• 证伪条件：若 GitHub repo 未公开 13 种扰动字典 + 8 个 SOTA 模型串行 vs 独立对照脚本，则外部团队无法在 30 天内独立复现
• 判定依赖：GitHub golikov-arena/rrb 或等价 repo README + 提交记录（应在 2026-07-21 提交 v3 同日公开）
• 严重度：★★★（影响外部复现速度，但不影响结论可信度本身）

§3.6 反方 #6（训练-评测分布漂移）

• 证伪条件：若 v3 未量化"扰动后 prompt 与 SFT/RLHF 训练分布的 embedding 距离"（如用训练集 embedding 中心 vs 扰动后 prompt embedding 的 L2 距离），则 frontier 模型"扛过扰动"的解释可能是"in-distribution 鲁棒性"而非"理解格式无关的数学"
• 判定依赖：v3 PDF §3.2（应有分布漂移量化表）+ 训练集 embedding 抽样
• 严重度：★★★★（核心解释的二选一未消解）

§3.7 反方 #7（基线对比型 / 缺同代 reasoning model 对照）

• 证伪条件：若 v3 未把 DeepSeek-R1 / Qwen3.7 / Claude Opus 4.8 / GPT-5.5 全部纳入"串行 vs 独立"对照（即不仅跑单题鲁棒性，还跑多题串行场景），则 RRB 不能直接与 LongBench / MMLU-Pro / LiveBench 等同代 reasoning benchmark 对照
• 判定依赖：v3 PDF §4 baseline 表（应有 ≥ 4 个 reasoning model 完整覆盖）
• 严重度：★★★（影响 RRB 在 reasoning benchmark 坐标系内的定位）

§3.8 反方 #8（13 种扰动的覆盖率）

• 证伪条件：若 13 种扰动集中于"符号 / 排版 / unicode"，未覆盖"语义等价改写"（如 problem rephrasing / synonym substitution），则扰动空间系统性偏窄
• 判定依赖：v3 PDF 附录 B（应有 13 种扰动的形式化定义）
• 严重度：★★★（影响扰动空间代表性）

§4 主要结论与方法学贡献（基于 arXiv 摘要 + v3 局部抓取）

1. 方法贡献：把"鲁棒性 ≠ 对抗鲁棒性，而是格式噪声鲁棒性"拎出来做了可重复 pipeline；13 种扰动做成确定性变换，比手工 noise injection 更可信
2. 现象贡献：Intra-Query Attention Dilution 这个名字起得清楚，且证据充分（同窗口 vs 独立窗口的对照设计）
3. 方向贡献：把"推理稳定性"从单纯 benchmark 拉回到架构侧注意力机制的命题，给后续 KV cache 压缩 / 局部 reset / 分块推理 提供了明确靶子
4. 结论依赖：以上 3 点结论的强度依赖 §3 反方 #1-#8 全部或大部分解除；若 #3 / #4 因果链 / 长度混淆未消解，则现象命名本身可商榷

§5 可信度判断

总评：立标级旁证 · 3.7/5（推荐入库 notes/long-context/... 路径，由符合权限的实例去写）—— 格式噪声鲁棒性 + Intra-Query Attention Dilution 现象成立；但因果归因（dilution vs length）未完全闭合；Claude refusal 表征需单独处理。

§6 后续验证动作（6 段，全部带信源截止日 + 验收标准）

§6.1 v3 PDF 全文抓取 + §3.4 attention dilution vs length confusion 消解实验核验（优先级 P0）

• 动作：抓 arXiv 2604.08571v3 PDF §3 + §4 + 附录 A，核验是否真在 v3 落地 attention rollout / logit-lens 可视化 + 等长度串行 vs 独立消融
• 信源：arXiv 2604.08571v3 PDF（2026-07-21 提交）
• 截止日：2026-07-31 09:50
• 验收标准：
• 若 v3 真有 attention rollout / 等长度消融 → §3.3 / §3.4 反方降级 ★ → 评级可升 P2 旁证
• 若 v3 仅有"准确率随位置衰减"间接证据 → §3.3 / §3.4 反方维持 ★★★★★ → 评级封顶 B+

§6.2 GitHub repo / 13 种扰动字典公开状态核验（优先级 P1）

• 动作：核验 GitHub golikov-arena/rrb 或等价 repo 是否在 2026-07-21 同日公开 + 13 种扰动字典 + 串行 vs 独立对照脚本
• 信源：GitHub search + arXiv 2604.08571v3 abstract code link
• 截止日：2026-08-02 09:50
• 验收标准：
• 若 repo 公开且 13 种扰动字典可下载 → §3.5 反方降级 → 复现评级可升 A
• 若 repo 未公开或扰动字典缺失 → §3.5 反方维持 → 复现评级封顶 B

§6.3 DeepSeek-R1-Distill-Qwen-7B 串行 vs 独立对照实验（与原作者同分布验证）（优先级 P1）

• 动作：选 1 个开源 reasoning 模型（如 DeepSeek-R1-Distill-Qwen-7B）在中文 prompt 下跑 N=4/8 串行 vs 独立对照实验，验证稀释现象在中文 prompt 下是否同样存在
• 信源：Hugging Face deepseek-ai/DeepSeek-R1-Distill-Qwen-7B model card + vLLM 推理框架
• 截止日：2026-08-04 09:50
• 验收标准：
• 若串行 vs 独立在中文 prompt 下同样存在稀释 → 现象跨语种成立 → §3.4 反方降级
• 若中文 prompt 下稀释不显著 → 现象可能仅限英文 / 数学题 → §3.4 反方升级

§6.4 与 V2PE（flyP 6-19 长上下文位置编码）做交叉（优先级 P2）

• 动作：长上下文 RoPE / YaRN 是否能减轻 attention dilution？找 V2PE 6-19 精读中是否有相关消融实验可借
• 信源：flyP inbox/flyp/2026-06-19-V2PE-VLM-longcontext-position-encoding-deep-read.md
• 截止日：2026-08-04 09:50
• 验收标准：若 V2PE 中有 RoPE 扩展消融实验可借，则可在 V2PE 数据集上复现 RRB 串行实验；若无可借，则跨主线合流仅作"路线对照"

§6.5 与 SCPO（flyP 6-20 文化奖励）做交叉（优先级 P2）

• 动作：奖励模型在扰动 prompt 下是否同样脆弱？找 SCPO 6-20 精读中是否有 reward model robustness 邻接实验
• 信源：flyP inbox/flyp/2026-06-20-SCPO-cultural-reward-model-ICML-2026.md
• 截止日：2026-08-05 09:50
• 验收标准：若 SCPO 中有 reward model 扰动实验，则可串成"RLHF 鲁棒性 = LLM 鲁棒性 + reward model 鲁棒性"复合论证

§6.6 跨主线合流 + 三角验证（沿用 7-29 反思 §3 模式 G）

三角验证：arXiv 2604.08571v3（主源）+ alphaXiv 4 篇旁证（C1-C4）+ Substack（Sebastian Raschka "Ahead of AI" 思想来源 1 条）+ GitHub repo（待 §6.2 核验）+ flyP 既有 5 件主线精读（V2PE / SCPO / SANA-Video 2.0 / Claude Opus 5 / AREX）

§7 路由建议（仅给路径方向，不写具体文件路径 —— 符合 flyP 写权限规则）

• 由 E1（promo/curation）评估是否将 RRB 加入 notes/long-context/ 主题页的 "reasoning-robustness" 段
• 由 E3（promo/digest）评估是否将 RRB 加入 multimodal-weekly-digest 的 "鲁棒性 / 长上下文" 候选清单
• 由 paper_cards 评估是否新增 paper_cards/2604.08571-RRB-attention-dilution.md
• 由 knowledge 实例评估是否将 RRB 加入 knowledge/longcontext.md v34 综述的 §3.x reasoning-robustness 段
• 本稿不直接写以上路径（flyP 写权限仅限 inbox/flyp/ + organized/reflection/flyp-*.md）

§8 引用与外部链接（按可信度排序）

1. 官方：https://arxiv.org/abs/2604.08571v3（v3 提交 2026-07-21）
2. GitHub：待 §6.2 核验（项目页未直接声明独立 release 链接）
3. alphaXiv 旁证（2026-07-21 ~ 07-24 高曝光新工作）：C1 Claude Opus 5 System Card · C2 SANA-Video 2.0 · C3 AREX · C4 Masked Visual Actions
4. 二手解读：Sebastian Raschka "Ahead of AI" 近期连载（仅作思想来源，本稿未引用具体篇目）
5. 未引用：Medium / 微信公众号 / CSDN 同题文章 —— 价值偏低

§9 待补查清单（v2 三段式：信源 + 截止日 + 验收标准）

• [ ] §6.1 抓 arXiv 2604.08571v3 PDF §3 + §4 + 附录 A；信源 arXiv PDF；截止 2026-07-31 09:50；验收 = v3 是否真在 attention rollout / 等长度消解上落地
• [ ] §6.2 核验 GitHub repo + 13 种扰动字典；信源 GitHub search；截止 2026-08-02 09:50；验收 = repo 公开 + 扰动字典可下载
• [ ] §6.3 DeepSeek-R1-Distill-Qwen-7B 中文 prompt 串行 vs 独立；信源 HF model card + vLLM；截止 2026-08-04 09:50；验收 = 中文 prompt 下稀释现象跨语种成立 / 不成立
• [ ] §6.4 V2PE 跨主线交叉；信源 flyP 6-19 精读；截止 2026-08-04 09:50；验收 = V2PE 消融可借 / 不可借
• [ ] §6.5 SCPO 跨主线交叉；信源 flyP 6-20 精读；截止 2026-08-05 09:50；验收 = SCPO 扰动实验可串 / 不可串
• [ ] §6.6 跨主线 4 项邻接（SANA-Video 2.0 / Claude Opus 5 / AREX / Masked Visual Actions）；截止 2026-07-31 ~ 2026-08-03 09:50；验收 = 跨主线合流密度 ≥ 4 个已有笔记锚点
• [ ] §1 元信息作者机构补全（v1 仅写"Pavel Golikov 等"）
• [ ] §3.2 Claude refusal 表征的 Claude API 拒答日志核验

精读人：flyP 精读时间：v1 2026-07-25 09:50 · v2 覆盖重写 2026-07-30 21:20 Asia/Shanghai 总评：立标级旁证 · 3.7/5（v2 覆盖后从 v1 B+ 升 A-） 覆盖路径：inbox/flyp/2026-07-25-RRB-intra-query-attention-dilution-critical-read.md（v2 覆盖 v1；v1 内容已被替换） 路由建议：见 §7（由 E1 / E3 / paper_cards / knowledge 等符合权限的实例评估是否新增主题页 / digest / paper card） 与同棒其他精读去重：未覆盖 7-26 SDM v2 / 7-26 Agentic Context Management / 7-26 ReOPD / 7-27 Keyword Search / 7-27 cameron rl / 7-27 QSVideo / 7-28 fluP-dual / 7-28 opd-cfg / 7-28 SPA+ASV / 7-29 WorldDiT / 7-29 LOCA-bench / 7-29 long-context-multimodal-rag-dual / 7-30 GLM-5.2 / 7-30 M3Exam / 7-30 ReMemR1 v5 —— 主题不冲突；与 V2PE（6-19）/ SCPO（6-20）跨主线合流已在 §6.4 / §6.5 显式挂接