主题综述 · llm-infra（2026-10-30）
- 作者：spark
- 更新：2026-10-30（W5 · 主题槽 llm-infra）
- 清单：
work-guard/a7d6254f-9c7d-4862-9b58-cf778b1bee03.json
边界声明：仅使用本次清单 item.materials（8 张 paper_card 的标题与摘要摘录）与 item.context（8 篇既有解读 + 上一棒综述摘录 + W42 lessons 周记）给出的有界材料。未下载任何 PDF 全文，未通读论文正文；材料未覆盖处一律标注"清单材料未覆盖"，不补写性能、引用或实验。执行 2 次针对清单已有论文链接的事实核查（2609.07139、2608.29188 的 arXiv abstract 页），结果见 §六。
§一、方向脉络：从"堆规模"转向"定位责任"
本棒 8 篇全部 is_new=true（清单 new_papers=8），且与上一棒（2026-10-24）综述的 8 篇无任何重叠。上一棒的主线是"把代理指标换成物理量"；本棒的重心整体挪到了下一个问题上：当一个黑箱系统（多语言模型、训练过程、天气预报、推理策略、长视频流、持续学习状态、压缩器）给出一个笼统的"好/不好"时，责任究竟落在哪个具体部件上？
八篇的答案高度一致：先把笼统结论拆成可测量的分量，再谈改进。 拆法有三种：
- 拆到载体（能力来自哪）——2609.10445、2609.06008、2608.27763；
- 拆到位置（网络哪一层、轨迹哪一步、训练哪一刻）——2609.07139、2608.29188、2609.02373；
- 拆到组件（误差来自观测还是模型、几何漂移来自记忆不足还是目标设计）——2608.30795、2608.27529。
旧背景承接：上一棒已综述的 8 件为 CrossTimeEdit（2609.36616）、Neural Spectral Capacity（2609.23087）、IntBMoE（2609.21346）、WeVisDoc（2609.20423）、nnU-Net @ BraTS-GoAT 2026（2609.15524）、RelateAnything（2609.12552）、Competence-Gated Pooling（2609.12101）、GenV（2609.11085），其链接见文末旧背景表；再上一棒（2026-10-18）的 galahad-kv、PISA block-sparse attention、G^2PTQ、Softmax 输出头量化、Whisper 剪枝、LRH 群作用、hRoPE 压缩深度等条目清单材料未给出 arXiv 标识，故不列链接。两棒可衔接的主线是：上一棒造测量工具，本棒用测量工具做定位——本棒八篇的核心交付物，多数是一个"坏在哪儿"的坐标，而不是更高的 SOTA 分数。
§二、方法差异：三组对照
2.1 组 A · 载体归因：用少量显式规则换掉一个大而模糊的旋钮
- 2609.10445（多语言数据混合）：data-centric 路线，不动架构、不动训练目标，只调 SFT 阶段三件事——数据组成、调度、来源。核心主张是 L2（语言即提示语种的）推理本质是 language-agnostic 行为，只要"更广语言覆盖 + 易得多语非推理数据 + 足够强的英语推理主干"三件套齐全，held-out 语言无需 per-language 推理监督即可泛化。被换掉的代理是"每种语言都要单独做推理 SFT"。
- 2609.06008（Cadence）：330M 时序基础模型 TimesFM-3 + 自适应算术编码 + 误差有界裁剪，保证每样本 |x_t - x̂_t| ≤ τ。但最有价值的其实是它的负面结论：无损编码下 Δb = log₂(MAE_old/MAE_new)，1.51 倍的预测精度优势只值 0.60 bit（对 20.28 bit），中位增益 +0.03%——基础模型塞进无损压缩器几乎一文不值；真正有收益的是误差有界场景（预测落进带内、残差索引为 0）。论文还主动做了一次证伪：在通用基准 SDRBench 上得 -0.8% 中位增益、27 对里 0 对获胜。
- 2608.27763（Fast Weight Attention）：把 fast-weight 记忆与状态空间模型的状态转移重新表述为"在线学习规则"，从 prefix-prediction / 自回归似然目标严格推出归一化一阶更新，派生 6 个变体 × recurrent / masked-parallel / chunk-parallel 三种计算形态，并给出正衰减重归一化保数值稳定；应用侧把持续学习拆成时序对齐、可塑性、遗忘、有界回放四件事。
对照要点：三篇都是"用一条显式规则替代一个不可诊断的旋钮"——配比替代 per-language SFT，误差界替代不可控的下采样保留，目标函数替代各家手写更新式。2609.06008 的特殊之处在于它把"不划算"这件事先证伪给读者看，再把价值挪到误差有界场景。
2.2 组 B · 位置归因：把"什么时候、哪一层"变成可测量的层间分离
- 2609.07139（encoded early, used late）：线性探针沿层深扫描"伙伴专业度"，峰值出现在早期层、到网络中点前掉到近随机；反事实补丁显示，在峰值可解码层注入专业度差异几乎不改变固定晚期 readout，而过了中点注入几乎完全传播，分离超过一个数量级。三重对照（内容匹配随机对照、probe-free 诊断、静态陈述属性对照）把结论钉住。关键限定：单模型 + 合成语料 ExpertCollab，作者自称 "initial demonstration"。
- 2608.29188（locked at the entrance）：利用 Countdown 解空间可穷举这一特例，按"首个操作数 + 首个运算符"切出入口族，从而把"访问不到"与"启动后执行不了"分开。结论是收缩集中在入口：首个算术运算之前的 per-token likelihood shift 比后续推理大 11–16 倍；只补上未选中的入口前缀，低覆盖族的完成率从 0.018 回升到 0.212（一个数量级以上）；表面 prompt 救不回多样性，而晚层参数插值把 solution coverage 提 37% 且 pass@1 不降。
- 2609.02373（渗流动力学）：把 SGD 的随机梯度流建模为渗流过程，主张嵌套架构对称性迫使子网络按离散块同步合并而非逐边挂载，宏观序参量出现方差尖峰；并称在显式重尾噪声模型下同一机制延伸到 Adam / AdamW；标题中的离散尺度不变性对应合并事件只在离散倍数上重复。
对照要点：2609.07139 与 2608.29188 是同一套方法学（先用可枚举/可解码性定位，再做因果干预验证），只是一个在网络深度轴上做、一个在轨迹 token 轴上做，二者共享"表征位置 ≠ 使用位置"的分离结构——这是本棒最值得借用的分析范式。2609.02373 走的是物理类比路线，交付的不是干预而是可证伪预测（合并事件的对数周期振荡）。三者共同把"训练/推理中什么时候发生质变"从比喻变成了可定位的坐标。
2.3 组 C · 组件归因：把混在一起的两个来源拆成可归因两项
- 2608.30795（Aardvark Weather 概率化）：在观测编码器注入学习的、输入依赖的噪声（捕获 aleatoric，来自观测系统本身），在 processor 引入 Monte Carlo dropout（捕获 epistemic，来自模型对大气动力学的认知不足）；两者构成嵌套集合，再用全方差定律分解预报离散，并以观测流 withholding 做交叉验证——移走某观测流后对应 aleatoric 方差是否按预期变化。
- 2608.27529（ABot-Recon）：只缓存前 11 帧 KV，在当前相机坐标系下预测 point map 并同时预测相邻帧相对位姿，二者在参考系变换下等变；全局几何与位姿靠沿时间链顺序组合恢复，漂移抑制靠轻量时序精修器（改相对旋转）与组合感知位姿损失（训练时显式监督组合 N 步后的相对位姿）。
对照要点：两篇都在"把端到端系统里纠缠的量分离"，但分离轴不同——2608.30795 分的是不确定性来源（观测 vs 模型），2608.27529 分的是参考系（局部 vs 全局）。后者的等变性设计还顺带换来与序列长度解耦的显存占用，是"结构约束换资源"而非"加资源换指标"。
§三、证据边界（按影响范围 × 可验证性排序）
| 论文 | 关键数字的证据锚点 | 本棒复核状态 | 风险提示 |
|---|---|---|---|
| 2608.29188 | 摘要逐字含 coverage 降最多 67%、11–16×、0.018→0.212、插值 +37%、6 个数学 benchmark、SFT 基线覆盖率高出两倍以上 | 已复核（arXiv abs，2026-10-30），逐条一致 | 清单 paper_card 摘录把"37%"句重复了一次（卡片生成瑕疵），arXiv 原文仅一次 |
| 2609.07139 | 摘要逐字含"分离超过一个数量级"、"中点前掉到近随机"、单模型合成语料的 initial demonstration | 已复核（arXiv abs，2026-10-30），逐条一致 | 各层探针的具体百分比摘要未给，需正文 |
| 2609.10445 | 摘要仅含"更广覆盖 + 易得多语非推理 + 足够英语主干"这条结论；既有解读另称 3.35B / 60 语言 / 6 benchmark / L2 rate >93% | 未复核 | 清单 card 摘录不含这些数字，解读自称来自 abstract，但清单材料无法自证 → 标待核验 |
| 2609.06008 | card 摘录逐字含 Δb=log₂(MAE_old/MAE_new)、1.51 倍优势仅值 0.60 bit / 20.28 bit、中位 +0.03%；EIA-930 +13.3%、MTA +28.3%、SDRBench -0.8%/0-27 胜来自解读转述 | 未复核（关系式已核对，卡片内） | 端到端增益百分比属解读转述的 abstract/README，未逐条比对 |
| 2608.30795 | card 摘录仅含方法描述（双随机机制、aleatoric/epistemic 分离）；+4.2%、spread-skill 0.98、station RMSE +2.4% 来自解读 | 未复核 | 归因是否成立强依赖 withholding 实验数字，材料未给 |
| 2608.27763 | card 摘录含方法（四项分解 + 正衰减重归一化）与代码链接；性能仅定性（LM 具竞争力、变长加法外推改善） | 未复核 | 摘要层无性能数字，勿按"摘要级证据"引用具体指标 |
| 2608.27529 | card 摘录含 11 帧 KV、point map + 相对位姿等变；ATE 4.35 m / RPE-R 0.12° / 约 40% 降幅来自解读所述 abstract+README 交叉 | 未复核 | README 首句写 12-frame 与技术段 11 帧内部不一致，以摘要为准并标存疑 |
| 2609.02373 | 摘要层无任何实验数字（解读自陈"数字可溯源几乎空白"） | 未复核 | 43 页 / 正文 9 页为解读记录；模型族、数据集、DSI 比例 λ 均未披露 |
共同边界：八篇均只有摘要级材料；本棒未读任何 PDF 正文，未核对 Figure/Table 单元格，因此所有"消融幅度""逐语种细分""主要实验表格"级别的问题一律不写。
§四、未解问题（按影响范围 × 可验证性排序）
- RLVR 的入口收缩在真实任务上是否成立（影响范围最大、可验证性最高）。目前唯一的直接证据是 Countdown 这一"解空间可穷举"的特例；6 个数学 benchmark 上的 early-step entropy collapse 是间接证据（且 7B/14B 侧不是直接的 coverage 测量）。需要能在更真实任务（短程序生成、工具调用序列）上枚举"首动作族"的设置，重测 0.018→0.212 与 +37% 这两个数是否成立。
- 推理优化的熵坍缩是否可避免，棒内两篇口径并不一致。2608.29188 报告 SFT 基线与分阶段 SFT→DPO→RLVR 都能保住早期步熵，说明它不是必然副产物；2609.07139 本身不涉及后训练，因此"可避免"目前只有单篇单来源。缺的是同任务、同模型、同一熵度量下的对照。
- "定位"方法能否跨模型外推。2609.07139 明示单模型单语料；2608.29188 主实验在 3B；晚层插值的最优插值点（取哪个 checkpoint 的哪些层）无理论指导，只能搜索。
- 误差有界压缩的收益依赖离散事件，边界未刻画。2609.06008 的正收益来自"预测落进 [x_t-τ, x_t+τ] 带内"这一命中事件；τ 一旦收紧到预测误差分布的尾端，命中率下降，收益可能非线性坍缩。缺收益-τ 曲线与命中率分解。
- 多语言 L2 一致率与任务准确率是两件事，且更大模型是否仍需同等数据配方未知；3.35B 上的配方外推到更大规模是否有边际收益递减，清单材料未覆盖。
- 2609.02373 的核心预测尚无可复现实验设定：对数周期振荡、离散尺度不变性比例 λ、重尾噪声的具体参数，都需要可复现的最小实验来判定。
- 未解的跨篇问题：2608.29188 的"入口族离散同步坍缩"与 2609.02373 的"块级同步合并"形式上高度相似（离散而非连续过渡），二者是否共享同一套解释，目前无任何一篇论文处理。
§五、研究建议（显式映射到 §三 / §四）
- 建议 1（→ §四-1、§三-2608.29188）：把"只给入口前缀看完成率是否回升"做成通用诊断脚本，在任何首动作可枚举的任务上直接跑；第一批试短程序生成与工具调用，而不是继续在 Countdown 上加实验。
- 建议 2（→ §四-2、§四-3、§二-2.2）：建立"表征位置 vs 因果使用位置"的双轴统一协议——同一属性在"层深轴"与"token 轨迹轴"各做一次探针 + 因果干预，统一报告分离倍数（2609.07139 的 >10× 与 2608.29188 的 11–16× 才可跨轴比较）。
- 建议 3（→ §四-4、§三-2609.06008）：复现时先画收益-τ 曲线与预测命中率分解，再报端到端增益百分比；并把 SDRBench 式"主动证伪"设为必做对照项，避免只报赢的那半张表。
- 建议 4（→ §四-5、§三-2609.10445）：在小模型上做三轴配比消融（组成 × 调度 × 来源），并把 L2 reasoning rate 与任务准确率分表报告——用语言一致性数字掩盖任务能力损失是这类工作的主要失真方式；同时把摘要级与解读级数字分层标注。
- 建议 5（→ §四-6、§三-2609.02373）：先只做一件事——在公开训练日志上对 loss / 梯度范数做 FFT，看是否存在对数周期成分。有或无都是可发表的结论，比补一张实验表更划算。
- 建议 6（→ §四-7）：把"入口族坍缩"与"渗流块级合并"写成一篇对比笔记，形式化两者的离散同步结构（共同生成元：架构/搜索空间对称性 + 离散合并规则），并明确两篇都没有做过对方的对照实验。
- 建议 7（→ §二-2.3、§三-2608.30795 / 2608.27529）：两篇的分离思路可以互相借用——在流式 3D 里对"观测缺失 vs 位姿估计误差"做一次类似全方差分解的归因；在天气模型里对"参考系/初始化"做等变性检验。
§六、事实核查记录（本棒共 2 次，均针对清单已有论文链接）
- 2609.07139（https://arxiv.org/abs/2609.07139 ，2026-10-30 核）：摘要逐字确认"most decodable in the early layers and falls to near chance before the midpoint"、"a separation of more than an order of magnitude"、"A content-matched random control and a probe-free diagnostic place the transition at the same early layer"、"We use one model on a synthetic corpus as an initial demonstration"，并附 Sci-FM Workshop @ COLM 2026 会议信息。→ 与清单 paper_card 摘录一致，无冲突。
- 2608.29188（https://arxiv.org/abs/2608.29188 ，2026-10-30 核）：摘要逐字确认"solution coverage falls by up to 67%"、"11x--16x larger prior to the first arithmetic operation"、"0.018 -> 0.212 under PPO"、"late-layer parameter interpolation with early checkpoints increases solution coverage by 37% at no loss in pass@1"、"across six math benchmarks with 7B and 14B models"、"an SFT baseline preserves more than double the coverage"。→ 与清单 paper_card 摘录一致；仅发现卡片摘录把 37% 一句重复一次，原文仅一次。代码链接 https://github.com/ershiyidian/early-branch-locking 已在摘要中。
未核查项：其余 6 篇的 arXiv 页面本棒未访问（已用满 2 次核查额度），其数字状态一律按 §三 表格标注为"未复核 / 解读转述"。
§七、清单论文标识与链接（本棒 8 篇，全部 is_new=true）
| # | 标识 | 标题 | 链接 | 状态 |
|---|---|---|---|---|
| 1 | 2609.10445 | Building Multilingual Bridges: Data Mixing as the Pillar of Generalization for In-Language Reasoning | https://arxiv.org/abs/2609.10445 | is_new=true（新） |
| 2 | 2609.07139 | Encoded Early, Used Late: Where Transformers Begin to Act on an Inferred Partner's Expertise | https://arxiv.org/abs/2609.07139 | is_new=true（新，已核查） |
| 3 | 2609.06008 | Cadence: Error-Bounded Lossy Compression of Demand Time Series with a Time-Series Foundation Model | https://arxiv.org/abs/2609.06008 | is_new=true（新） |
| 4 | 2609.02373 | Percolation Dynamics in Optimization: Variance Cascades and Discrete Scale Invariance | https://arxiv.org/abs/2609.02373 | is_new=true（新） |
| 5 | 2608.30795 | Uncertainty-Aware End-to-End AI Weather Forecasting: Disentangling Observation and Model Contributions | https://arxiv.org/abs/2608.30795 | is_new=true（新） |
| 6 | 2608.29188 | Locked at the Entrance, Open Inside: Where RLVR Narrows the Solution Space | https://arxiv.org/abs/2608.29188 | is_new=true（新，已核查） |
| 7 | 2608.27763 | Fast Weight Attention for Continual Learning | https://arxiv.org/abs/2608.27763 | is_new=true（新） |
| 8 | 2608.27529 | Revisiting Local Context for Long-Horizon Streaming 3D Reconstruction | https://arxiv.org/abs/2608.27529 | is_new=true（新） |
旧背景（上一棒 2026-10-24 已综述，本棒非 net-new，仅作承接参照）：
| 标识 | 标题简称 | 链接 |
|---|---|---|
| 2609.36616 | CrossTimeEdit | https://arxiv.org/abs/2609.36616 |
| 2609.23087 | Neural Spectral Capacity | https://arxiv.org/abs/2609.23087 |
| 2609.21346 | IntBMoE | https://arxiv.org/abs/2609.21346 |
| 2609.20423 | WeVisDoc | https://arxiv.org/abs/2609.20423 |
| 2609.15524 | nnU-Net @ BraTS-GoAT 2026 | https://arxiv.org/abs/2609.15524 |
| 2609.12552 | RelateAnything | https://arxiv.org/abs/2609.12552 |
| 2609.12101 | Competence-Gated Pooling | https://arxiv.org/abs/2609.12101 |
| 2609.11085 | GenV（生成式验证） | https://arxiv.org/abs/2609.11085 |
其他材料内提及的链接：2608.27763 代码 https://github.com/yifanzhang-pro/fast-weight-attention ；2608.27529 项目页 https://amap-cvlab.github.io/ABot-Recon-html/ 、代码 https://github.com/amap-cvlab/ABot-Recon （材料提及，清单未提供 arXiv 外的其他链接，此处照录不另核实）。