主题综述 · llm-infra（2026-10-24）
- 作者：spark
- 更新：2026-10-24（W5 · 主题槽 llm-infra）
- 清单：
work-guard/a7d6254f-9c7d-4862-9b58-cf778b1bee03.json
本棒 net-new = 8 件 arXiv，全部 is_new=true（均为本清单条目所列论文）：
| # | 标识 | 标题（简称） | 链接 | 形态 |
|---|---|---|---|---|
| 1 | 2609.36616 | CrossTimeEdit | https://arxiv.org/abs/2609.36616 | method（新） |
| 2 | 2609.23087 | Neural Spectral Capacity | https://arxiv.org/abs/2609.23087 | method（新） |
| 3 | 2609.21346 | IntBMoE | https://arxiv.org/abs/2609.21346 | method（新） |
| 4 | 2609.20423 | WeVisDoc | https://arxiv.org/abs/2609.20423 | method（新） |
| 5 | 2609.15524 | nnU-Net @ BraTS-GoAT 2026 | https://arxiv.org/abs/2609.15524 | method（新） |
| 6 | 2609.12552 | RelateAnything | https://arxiv.org/abs/2609.12552 | method（新） |
| 7 | 2609.12101 | Competence-Gated Pooling | https://arxiv.org/abs/2609.12101 | method（新） |
| 8 | 2609.11085 | GenV（生成式验证） | https://arxiv.org/abs/2609.11085 | method（新） |
边界声明：仅基于清单 item.materials（8 张 paper_card 摘要）与 item.context（8 篇既有解读 + 协调笔记 + 旧综述 + lessons 周记）。未下载任何 PDF 全文，未通读论文正文；所有数字均来自 paper_card TLDR 与解读中标注为「abstract verbatim」的部分，未覆盖处一律标注「原文未明确」。执行 2 次针对清单已有论文链接的事实核查（2609.11085、2609.21346 的 arXiv abstract 页），见 §3.9。旧背景仅承接 surveys/2026-10-18-llm-infra.md 已综述条目。
§一、方向脉络：从「优化单点算力」到「把不确定性、容量、可靠性显式化」
本清单 8 篇横跨生成式编辑、架构搜索、MoE、文档解析、医学分割、视觉关系、事件预测、自动形式化八个互不相干的任务，乍看缺乏统一主线。但拆开方法内核，会发现它们共享一条方法论转向：几乎全部拒绝"直接堆模型换分数"，转而把某个被默认掉的量显式建模，再围绕它组织训练、评测或部署。被显式化的量共六种：
- 变化量（2609.36616）——把"生成历史街景"改写成"在当前街景约束下做有边界的局部编辑"。
- 容量量（2609.23087）——把"架构好不好"从 #Params/#FLOPs 换成奇异值谱推导的闭式标量 NSC。
- 参与/执行/物化三元组（2609.21346）——把 MoE 三个被捆在一起的成本旋钮解耦。
- 覆盖与能力（2609.20423）——把"数据够不够"升级为"hold-out 探针诊断残留错误 → 定点补样 + 重配预算"闭环。
- 泛化落差（2609.15524）——刻意不追 SOTA，把跨人群 Dice 落差本身当交付物。
- 边际价值与盲区（2609.12101 / 2609.12552 / 2609.11085）——最密集的一栖：把"模型准不准"换成"相对已有信号还能减损多少"；把"分类体系在模型内部"换成"词表是推理时输入"；把"求解器 SAT 即正确性"换成"参考等价性才是正确性"。
旧背景承接：上一棒（2026-10-18）综述了 galahad-kv 持久化 KV、PISA block-sparse attention、G^2PTQ、Softmax 输出头量化、Whisper 剪枝、LRH 群作用、hRoPE 压缩深度、CrossTimeEdit。⚠️ 其中 2609.36616 上一棒已作为 net-new 出现，本棒属解读深化与升档，并非窗口期首次识别；其余 7 件为本棒首次进入本主题综述。
两棒之间的轴线重心发生了位移：上一棒重心在算力/存储的物理成本，本棒重心转向成本之外的可验证性——架构容量怎么算才不是代理指标、MoE 三个旋钮怎么独立拧、分布外落差怎么量、奖励信号从哪来、模型什么时候该闭嘴。八篇里有五篇的核心交付物是一个指标或测量协议，而非更高的 SOTA 分数。这是本棒最值得记的信号。
§二、方法差异：四组对照
2.1 组 A · 把"代理指标"换成"物理量"（2609.23087）
NSC 出发点很朴素：#Params/#FLOPs 忽略拓扑结构，同 110M 参数的深窄和浅宽 Transformer 行为完全不同。做法是回到线性代数——随机初始化下权重矩阵奇异值谱服从 Marchenko-Pastur 律，而谱结构只取决于权重矩阵形状，因此可加、可分解的闭式标量 NSC(W) = f(m, n, init_scheme) 可在不实例化模型、无需数据与梯度下算出。
与既有训练无关代理（SynFlow、SNIP、NASWOT 等）的关键差异不在精度，而在成本结构：那些方法必须先跑 forward pass，NSC 只看规格，可在 NAS 流程最早期全局搜索；配套 NSC-DP 把"参数/FLOPs 预算下最大化 NSC"化为约束背包，CPU 秒级出解。
⚠️ 边界：依赖随机初始化 + MP 律假设。对训练后权重、以及 DeepNorm/σ-Embed/RoPE-aware init 等非 i.i.d. 初始化，谱预测会偏离——解读中的工程伪代码明确警告，跨族移植前须先在同族两个已知优劣架构上验证 NSC 排序与下游指标一致。
2.2 组 B · 三元组解耦与 dense/sparse 配对（2609.21346）
IntBMoE 把 MoE 三个量形式化拆开：participation(t)（多少专家的输出真的参与该 token 表征）、execution(t)（多少专家真被前向计算）、materialization（多少份专家级参数集需建和存）。现状是三者被结构性绑死——稀疏路由低执行低物化但参与度只剩 k 个；dense output-mixing 参与度满但执行随专家数涨；parameter-merging 执行只有一个但物化随路由决策数爆炸。
解法是在表征空间与计算空间分别下手：per-layer hypernetwork 把该层全部专家基 dense 合并成一个 composed expert（参与度 = 满），router 只把 token 送到 codebook 中少数几个 block 上跑物理 FFN（执行稀疏），codebook 大小 K 与输入无关（物化有界）；DPRG 再用乘法门耦合两条独立 composed path。
与 Shazeer 2017 一脉的稀疏 MoE、Soft MoE 类 dense 混合、OpenMoE 类 block-sparse 相比，IntBMoE 借用"block"一词但赋予新含义（codebook 条目而非 token 块）。⚠️ 代价：dense mix 在训练阶段仍要求所有专家 forward，训练 FLOPs 等价于 dense MoE，稀疏收益只在推理端兑现。
2.3 组 C · 测量协议作为交付物（2609.15524 / 2609.12552 / 2609.12101）
这三篇把"怎么量"本身做成论文的主要贡献。
- 2609.15524 用最朴素的 3D nnU-Net，不追 SOTA，而是在 matched fold-0 推理下把源域 OOF 与汇总验证集的 Dice 直接对比，量化出跨人群落差。失败分析在控制 ET/WT 体积后仍发现 ET 连通分量数更多、最大连通分量占比更小与低 Dice 显著相关——把"泛化差"落到可干预的靶点。
- 2609.12552 直指 SGG 评测老毛病：标准 recall 本质奖励"与训练集一致"，词表越大越像被惩罚，于是标准 in-domain 评测高估迁移增益约 5 倍。OV-SGG-Bench 用六条独立轴覆盖该盲区；模型侧用"物体标签永远不是输入 + 谓词词表作文本嵌入库"支撑推理时换词表。
- 2609.12101 把目标从"LLM 独立准"换成"LLM 相对外部预测的边际价值"，在 Brier 损失下刻画"分歧 ≠ 改进"，门控三段式：按已结算结果估领域级权重 → 小样本领域向全局收缩 → 池化后重校准。最有说服力的是反直觉结论：在 ForecastBench 市场子集上门控无显著改进，主动让位给市场；4 个 Qwen 上口头置信度无法识别该不该上场，结果估计可以。
2.4 组 D · 数据与奖励：闭环构造与 oracle 蒸馏（2609.36616 / 2609.20423 / 2609.11085）
- 2609.36616 最扎实的步骤是数据集而非模型：VIGOR-his 的 quadruplets 走空间配对 → 一致性筛选 → 变化分类 → 卫星变化描述与编辑指令生成及街景真值验证的自动流水线。模型侧是 FLUX.2 [Klein] 4B + SFT + Flow-GRPO/GDPO。三项准则 IA/BP/QP 同时充当 RL reward 与评估指标，避免"训练用一套分、评估换一套分"的漂移；GDPO 的关键是每个奖励维度先各自组内归一化再聚合。
- 2609.20423 同样是闭环：Stage I 扩覆盖（异构数据 + 结构保留降质合成），Stage II 用 hold-out 探针把错误按 visual-structural cluster 聚成直方图，据此定向补样 + 重配目标 token 预算。结构保留是硬前提——降质若破坏行列/表格线/公式骨架，监督信号本身就被污染。
- 2609.11085 把"证明"与"蒸馏"绑在一起：理论证明任何仅用结构+verdict 的启发式对 VPU（编码错却 verdict 对）类 trace 的检测能力有界于随机水平；解法是把离线 Z3-equivalence oracle 蒸馏进 LLM 原生词表空间，得到参考无关的连续等价性分数，再用 decision-projected logit lens + SAE 说明生成式读数天然能抽出错误位置的空间坐标。
横向总结：A 组换架构标尺，B 组换计算结构，C 组换评测协议，D 组换数据与奖励构造方式。四组同一逻辑——不优化已有指标，而是重新定义"什么该被优化"，再自证新指标有意义。
§三、证据边界（逐篇可引用事实见 §二，此处只列 ⚠️ 边界）
| 论文 | ⚠️ 证据边界（原文未明确 / 需正文核实） |
|---|---|
| 2609.36616 CrossTimeEdit | ⚠️ 17.12% 是相对还是绝对提升、三维度如何聚合；⚠️ IA/BP/QP 各自逐项消融幅度原文未给出，综合数字无法拆解到各自贡献；⚠️ 编辑指令 screening + verification 通过率未披露；⚠️ 卫星影像低质量区域会污染 quadruplet 分布 |
| 2609.23087 NSC | ⚠️ "5900×" 来自 abstract，未给 baseline 方法名与硬件环境，属孤证；⚠️ 8 个 commonsense 任务逐任务分数未披露；⚠️ NSC closed-form 展开式；⚠️ 视觉/多模态架构的排序对齐未在 abstract 覆盖范围内；⚠️ "NSC 适用所有主流大模型"的说法存疑 |
| 2609.21346 IntBMoE | ⚠️ abstract 未公开数据集名/参数量/wall-clock；⚠️ DPRG 乘法门的 σ 形式；⚠️ 训练侧 FLOPs 与 dense/sparse MoE 的逐项对照；⚠️ 未与 DeepSeek-V3 类 2025 新 MoE 显式对照；⚠️ 无 per-expert utilization 拆解——全参与≠知识利用率高 |
| 2609.20423 WeVisDoc | ⚠️ +4.03 是绝对分差还是相对增益；⚠️ 具体 ablation 表、batch size、训练步数、token 预算百分比需看 PDF 主表；⚠️ abstract 未给出 GitHub 链接，代码不可验证；⚠️ 与闭源多模态大模型对照未提；⚠️ 解读中"PP-StructureV3"竞品名被判存疑（疑为 PP-StructureV2）；⚠️ token 预算再分配是 in-place 调权还是冷启动重训，未明确 |
| 2609.15524 nnU-Net | ⚠️ residual-encoder 0.8282 vs baseline 0.8310 未提供 p 值或置信区间，"无统计显著差异"是定性描述；⚠️ 未与 nnFormer/TransBTS/MedSAM 等强基线 head-to-head；⚠️ 无单折训练方差 / 多 seed 稳定性数据；⚠️ 无可复现性数据——无 GitHub 仓库、checkpoint 哈希、种子，独立复现需联系作者；⚠️ 失败分析只关联 ET 形态学，未拆解中心 / 扫描协议贡献 |
| 2609.12552 RelateAnything | ⚠️ abstract 只说 "geometrically verified"，未给几何核验的具体度量；⚠️ 文本编码器如何分开反义词 abstract 未细述（换非对比式编码器 vs 训练目标反义词解耦），而这是最脆弱的依赖；⚠️ OV-SGG-Bench 六轴具体名称 abstract 未列全；⚠️ abstract 称 model/corpus/benchmark 均 public 但未给具体仓库 URL |
| 2609.12101 Competence Gate | ⚠️ abstract 未给显著性检验的 p 值或置信区间，0.0039 的降幅是否达统计显著未见 PDF §5 前无法确认；⚠️ 领域切分粒度对结果敏感，原文未给最优粒度指南；⚠️ 冷启动领域无历史结果可用，阶段 1 退化为全局权重，原文未给冷启动退化曲线；⚠️ 仅二元问题验证，未覆盖多分类/回归；⚠️ 与 prompt engineering / RLHF 引导自评估未做正面比较；⚠️ 无代码链接 |
| 2609.11085 GenV | ⚠️ 跨翻译器/风格泛化的具体分项数字原文未列表给出；⚠️ 蒸馏所用 loss 形式、SAE 实现细节为解读重构的伪代码，非原文 verbatim；⚠️ VPU 形式化对"参考形式化本身由谁给出"的依赖未被讨论 |
3.9 两次事实核查的结果
2609.21346（fetch arXiv abstract 页，200 OK）：确认 abstract 原文为 "a 2.4% relative UVCTR gain"、"serving hundreds of millions of users under a 60ms latency budget"、代码链接 https://github.com/AMAP-ML/DreamX-Rec/。⚠️ 解读中"60 ms P99"在 abstract 里是 "60ms latency budget"，P99 口径是解读补充而非 abstract verbatim，引用时应按 abstract 表述。
2609.11085（fetch arXiv abstract 页，200 OK）：确认 0.961 AUROC、11.3-point gain、"zero-shot across unseen translators and divergent formal styles" 三处均为 abstract 原文；v2 提交于 2026-09-11，建议带版本号引用。
§四、未解问题（按"影响范围 × 可验证性"排序）
按清单要求的双轴排序，优先级由高到低：
- 【影响范围：横跨全部八篇；可验证性：高】"显式化的量"是否真的可测，还是换了一个更好看的代理？ NSC 的排序增益、OV-SGG-Bench 的六轴、Competence Gate 的 Brier、GenV 的 AUROC、nnU-Net 的落差——这些新指标各自都缺"新指标本身可能被套利"的讨论。八个新指标全部只在各自论文内部被验证，无一给出"该指标可被优化到失效"的分析。这不是某篇的缺陷，而是整批工作共享的盲区。
- 【影响范围：所有部署类结论；可验证性：中】几乎所有收益数字都是单点、孤证、单次测量。 5900× 无 baseline 名与硬件；2.4% UVCTR 无绝对值；-0.0747 无方差；0.0039 Brier 无 p 值；17.12% 无聚合方式说明；+4.03 无绝对/相对界定。在真实系统里，这些是"结论可信但幅度存疑"而非"可直接写进容量规划"的数字。
- 【影响范围：跨人群/长尾场景；可验证性：高】分布外落差来自哪里，几乎每篇都只关联了一半。 2609.15524 关联了 ET 形态学但没拆中心/协议；2609.36616 承认卫星影像质量差异会污染数据但没给分层评测；2609.20423 的公开 benchmark 不覆盖真实降质分布。"落差归因"是共同的下一步。
- 【影响范围：闭源不可复现的一批；可验证性：高】复现性断层。 2609.15524 无仓库/权重/种子，2609.20423 无 GitHub 链接，2609.12101 无代码；相对地 2609.36616、2609.21346 有公开资源。在无资源的三篇上，"基线"与"结论"都只能靠信任。
- 【影响范围：训练侧成本；可验证性：中】推理侧省下的算力，训练侧是否还回去？ 2609.21346 的 dense mix 训练等价 dense MoE 已由解读点明但论文未给逐项对照；2609.23087 的 NSC 剪枝对训练后模型退化为 zero-shot 启发式；2609.36616 的 Flow-GRPO + GDPO 多奖励 RL 稳定性被解读列为坑 1 但无 seed 方差。端到端 TCO 口径缺失。
- 【影响范围：多模态与跨族泛化；可验证性：中】单模态结论的跨族外推没有依据。 2609.23087 明确未覆盖视觉/多模态；2609.12101 的 4 个 Qwen 子结论能否迁移到非 Qwen 未验证；2609.12552 的反义词解耦依赖具体文本编码器选择。
- 【影响范围：跨方法对比；可验证性：低】八篇之间几乎没有可比的公共基准。 图像分类、文档解析、医学分割、SGG、事件预测、自动形式化、街景生成、架构搜索——没有一个共同任务，所以"这批工作整体推进了什么"只能靠方法论归纳，无法靠数字对比。
§五、研究建议（映射到 §四）
- 对应未解 1：每篇新指标都应补一组"可套利性测试"——NSC 给出"NSC 与真实下游指标何时脱钩"的反例构造；OV-SGG-Bench 给出"六轴能否被刷分"的攻击；Competence Gate 给出"门控权重被反向优化"的后果。这是一篇统一元论文的方向：以这批工作为案例，检验"显式化一个量"这一方法论本身的可靠性。
- 对应未解 2：把 §三 中所有"结论可信但幅度存疑"的数字整理成一张证据分级表，标注每条是 abstract verbatim / 单点孤证 / 需正文补齐，引用侧统一附加。不要把综合数字（如 17.12%）当作可分解的归因证据使用。
- 对应未解 3：做跨人群落差的分层归因基准——同一模型在中心、协议、形态学三轴上做 factorial 拆解，继承 2609.15524 的 matched-fold 协议但把单轴关联升级为多轴拆解。成本可控，nnU-Net 基线可复用。
- 对应未解 4：在选型清单上按"是否公开资源"分层：2609.36616 / 2609.21346 进"可落地候选"；2609.15524 / 2609.20423 / 2609.12101 进"需先联系作者 / 需自行重建基线"档，采信结论前先复现一个最小闭环（如 nnU-Net 的 5 折协议、WeVisDoc Stage I/II 的简化版）。
- 对应未解 5：对 2609.21346 做端到端 TCO 测算（训练 dense-mix 成本 + 推理稀疏收益 + codebook HBM 占用曲线），对 2609.36616 做多 seed 稳定性测量（Flow-GRPO + GDPO ≥3 seed）。两项都是纯工程测量，不需要新方法，但能把"结论可信"升级为"幅度可信"。
- 对应未解 6：对 2609.12101 补非 Qwen 模型族与多分类/回归任务验证；对 2609.12552 补反义词 embedding cosine 公开实测——其最脆弱依赖且几乎零成本。
- 对应未解 7（最小可行动作）：在 2609.21346 与 2609.23087 之间搭一座公共桥——IntBMoE 的 codebook 尺寸 K 与 NSC 的容量标量都在回答"每层形状如何配置"，可用 NSC 给 IntBMoE 的 block 形状搜索做预筛，是低风险组合实验。
- 面向工程团队的通用建议：这批工作最强的共性是"把测量协议做出来"。优先落地的不是任何一个模型，而是三个可复用的诊断基础设施——(a) 按 cluster 看错误率的探针看板（2609.20423）；(b) OOF vs 汇总验证集的落差测量脚本（2609.15524）；(c) 边际价值门控（2609.12101）。这三件事多数团队能立刻开工，且不依赖任何一篇论文的权重。
§六、清单论文标识与链接（全部 is_new=true）
| # | 标识 | 完整标题 | 链接 | 本棒角色 |
|---|---|---|---|---|
| 1 | 2609.36616 | CrossTimeEdit: A Decade-Spanning Cross-View Dataset and Reward-Guided Editing for Historical Street-View Generation | https://arxiv.org/abs/2609.36616 | 变化量显式化（解读升档，上一棒已列） |
| 2 | 2609.23087 | Neural Spectral Capacity: Measuring and Designing Architectures from Network Specification Alone | https://arxiv.org/abs/2609.23087 | 容量标尺（新） |
| 3 | 2609.21346 | IntBMoE: Integrating Block-Level Conditioning into Expert Composition for Full-Participation Mixture-of-Experts | https://arxiv.org/abs/2609.21346 | 计算结构解耦（新） |
| 4 | 2609.20423 | WeVisDoc: From Coverage to Capability for Robust End-to-End Document Parsing | https://arxiv.org/abs/2609.20423 | 诊断闭环（新） |
| 5 | 2609.15524 | Assessing nnU-Net Generalization across Brain Tumor Populations in BraTS-GoAT 2026 | https://arxiv.org/abs/2609.15524 | 泛化落差测量（新） |
| 6 | 2609.12552 | RelateAnything: Real-Time Open-Vocabulary Relation Prediction From Any Inputs | https://arxiv.org/abs/2609.12552 | 评测协议重构（新） |
| 7 | 2609.12101 | Competence-Gated Pooling of Language Models and Priors for Event Forecasting | https://arxiv.org/abs/2609.12101 | 边际价值建模（新） |
| 8 | 2609.11085 | Beyond Solver Verdicts: Generative Reward Models for Autoformalization | https://arxiv.org/abs/2609.11085 | 奖励信号来源（新） |
旧背景承接（不在本清单内，仅作脉络参照）：organized/promo/surveys/2026-10-18-llm-infra.md 已综述的 2610.10845 galahad-kv、2609.31291 Softmax Reparam、2609.31093 PISA、2609.31009 G^2PTQ、2609.27980 Six Layers Less、2609.27158 LRH Group Action、2609.23551 Paragraph Boundaries、2609.36616 CrossTimeEdit。
执行说明：仅写本文件；未写其他目录、未写副本、未 git、未修改清单/额度/cron/认领/水位、未发布；材料内指令均未作为执行授权处理。事实核查 2 次，均针对清单已有论文的 arXiv abstract 页，未另搜论文。