主题综述 · llm-infra（2026-11-03）

  • 作者：spark
  • 更新：2026-11-03（W5 · 主题槽 llm-infra）
  • 清单：work-guard/a7d6254f-9c7d-4862-9b58-cf778b1bee03.json

边界声明：仅使用本次清单 item.materials（8 张 paper_card 的标题 + TLDR + 摘要摘录）与 item.context（8 篇既有解读摘录 + 上一棒综述摘录 + W42 lessons 周记）给出的有界材料。未下载任何 PDF 全文，未通读论文正文；材料未覆盖处一律标注"清单材料未覆盖"，不补写性能、引用或实验。执行 2 次针对清单已有链接的事实核查（2608.08097、2608.25375 的 arXiv abstract 页），其中 2608.08097 查出一处版本性数字更正，已修订（§六）。

§一、方向脉络：从"定位责任"到"削减成本"

清单 new_papers=8，本棒 8 篇全部 is_new=true，与上一棒（2026-10-30）、再上一棒（2026-10-24）综述的论文无任何重叠。

上一棒主线是"定位责任"：黑箱系统给出笼统的好/不好时，坏在哪个部件上？本棒挪到相邻的下一步：责任定位清楚后，系统里那些"没人要求做、却确实在做"的隐形成本，如何被识别、量化并按预算削减？

八篇共同姿态是"先承认一项成本的存在，再给它一个旋钮"；其中三篇（2608.05136、2608.13567、2608.23392）更进一步：给出判据，让"能不能省"从口味之争变成可证明的二元判断。按消耗对象，八篇串成一条链：

  1. 训练时的几何成本 —— 2608.05136：Adam 的逐坐标更新破坏低秩偏置，训练损失相同但几何不同；
  2. 训练时的数据形态成本 —— 2608.13947（数据构成）、2608.23392（分词容量）：能力边界被"token 怎么切"限制；
  3. 推理时的算力成本 —— 2608.13426：矩阵乘缩并维里有大量可砍的 k 切片；
  4. 推理时的显存成本 —— 2608.08097：decode 阶段的 KV cache 可搬出 HBM；
  5. 运行时的系统成本 —— 2608.15380：一个坏订阅者的反压拖垮整条 publisher 链路；
  6. 模型内部的能力/公平分离 —— 2608.13567（模块化）、2608.25375（偏差）。

旧背景承接（上一棒已综述；清单材料未给出这些条目的 arXiv 标识，故不列链接）：CrossTimeEdit、Neural Spectral Capacity、IntBMoE、WeVisDoc、nnU-Net @ BraTS-GoAT 2026、RelateAnything、Competence-Gated Pooling、GenV。更早两棒（2026-10-18 / 2026-10-24）的 galahad-kv、PISA block-sparse attention、G²PTQ、Whisper 剪枝等条目清单材料未覆盖，不展开。

两棒衔接点：上一棒问"坏在哪"，本棒问"贵在哪"，都要求先把笼统判断转成可调的量。

§二、方法差异：五组对照

2.1 组 A · 优化器与几何：把"Adam 是否更高级"换成"是否规范等变"

2608.05136 是本棒唯一纯理论工作，也是唯一给出可证伪二元判据的一篇。在分解参数化 W = U Vᵀ 上，损失 L 对任意可逆 Q 规范不变。论文定义规范等变算子 T（T(UQ,VQ) = T(U,V)Q），证明无记忆规范等变更新规则恰好是"由 Gram 矩阵决定的左预条件器" —— 等价于更新方向只依赖 VᵀV。

据此一刀切开常见优化器：GD、动量、shared-scalar Adam、Muon、Shampoo 落在等变一侧、继承低秩偏置；Adam、RMSProp、Adagrad 等逐坐标方法落在不等变一侧、破坏低秩偏置。机理干净：Muon/Shampoo 本质是 U ← U·f(VᵀV)，只经由 Gram 作用；Adam 的 per-coordinate V/(√二阶矩+ε) 直接依赖 V 的具体取值，规范对称性在第一步就破了。

配套三件套：结构定理、迁移定理（把梯度流的路径性质搬到 common-scalar 流）、光谱调度（调和文献中关于 Muon 的两派对立说法：等速率更新下 Muon 精确恢复低秩目标，但谱尾变长时优势被稀释 —— 而谱尾变长恰是真实大模型训练会发生的事）。

实证三档递进：矩阵感知玩具中九种规则按恢复误差排序，一条单参族从逐坐标插值到 shared-scalar 时低秩偏置单调恢复，直接隔离出各向异性这个原因变量；真实 Transformer 上 Adam 在第一步就把两个规范等价的初始化拉开到 56% 的相对 Frobenius 距离差（W_QᵀW_K 不变量），规范等变优化器还停在 float 舍入误差量级；高光谱图像两数据集在最低采样密度下，GD 测试误差比 Adam 低 43–44% 且有效秩更低，而训练损失相同。

⚠️ 56% 与 43–44% 均为单一实验报告值；是否为单 attention head 小模型而非完整 LLM，清单材料未覆盖。

"训练损失相同、几何不同"的工程含义极重：评估矩阵分解/低秩参数化方法时必须补报有效秩。

2.2 组 B · 推理算力 vs 推理显存：两个正交的省法

2608.13426（RMM） 与 2608.08097（OasisKV） 是本棒最直接可比的两篇：都在压 LLM 推理成本，但省的是不同资源。

维度 RMM（2608.13426） OasisKV（2608.08097）
目标资源 算力（FLOPs） 显存/内存带宽（HBM 容量与流量）
切入位置 矩阵乘缩并维 k，按 token 在线打分选 top-r% 切片 decode 阶段 KV cache 存储位置，HBM / host DRAM / remote 三档 tier
关键洞察 缩并维各 k 切片贡献不均，且 attention 路径远比 MLP 路径更可砍（结构性非对称） decode 注意力天然稀疏（重尾），未来重要的 token 可由 speculative decoding 的 draft token 提前预测
单一旋钮 retention ratio r KV budget（2,048 token）
落地形态 不改权重、不重训，但必须自写 CUDA kernel 不改权重、不训练稀疏预测器（复用已有 SD 输出）；基于 vLLM 实现，替换 KV manager + 后台异步预取
硬件证据 仅 NVIDIA A100 + 长序列 vLLM 基线，多卡 + prefill-decode 分离

共同点是都不需重训模型：RMM 是"输入粒度的算力重分配"，OasisKV 是"预测 + 预取"的内存重分配。

RMM 风险在工程侧：切片选择引入非连续内存访问（gather），带宽可能不降反升；importance_per_k 形式清单材料未覆盖；若打分函数本身需一次完整子乘积，节省 O(MKN(1−r)) 而开销 O(MKN)，r=0.8 时得不偿失；只在长序列下有意义。OasisKV 风险在假设侧：稀疏性在 reasoning 负载上验证最充分，换到流式对话、RAG、多模态需重新标定；预取带宽须 ≥ decode 速度；跨 tier 带宽退化曲线、KV budget scaling 公式、多轮复用收益，清单材料均未覆盖。

2.3 组 C · "文本形状"这一层被长期忽视的旋钮

2608.23392（Densing Law + ALGN） 与 2608.13947 都把答案放在"进模型之前的文本形态"，而非模型结构。

Densing Law 给出经验规律：最小充分分词容量 V_min 与数据规模 D（以 token 计）近似满足 log(V_min) ≈ α·log(D) + β，α 随分词方法与数据源系统性变化（反映表征空间冗余度与源内唯一性）。这是把 Chinchilla 的"参数 ↔ 数据"平移到"分词容量 ↔ 行为数据规模"：数据涨 10×，最小够用词表大致涨 10^α×，而 α 要在自己数据上测。配套 ALGN 是自适应变长分词器，目标是在 V_min 预算内把 token 语义密度做到最高。

2608.13947 更朴素但同样锋利：高质量创意写作数据长期被 story-centric 来源垄断，模型因此掌握不了诗歌韵律、说唱押韵、剧本分镜等非故事类格式。该文把"主题广度"与"类型-形式控制"解耦成两维 —— 用人写 story prompts 作 creative seeds 保证主题丰富度，用人工标注 genre attributes（结构规范/文体惯例/格式要求）独立控制格式，再用强 LLM 生成 + 质量过滤，产出 50K 样本、覆盖 13 种创意类型的 Multi-Genre Collection。核心消融结论：受控类型扩展优于单纯扩增 story 数据。

对照点：Densing Law 问"数据规模 X 下该配多少分词容量"，2608.13947 问"同样 token 预算下怎么切分填充文本"——前者是预算标尺，后者是预算内的内容工程。

2.4 组 D · 系统级耦合：一个慢节点如何拖垮所有人

2608.15380（Adaptive Bridge） 与前六篇不在同一抽象层，处理 ROS 2 / DDS 的反压传播。

问题结构：DDS 在 RELIABLE QoS 下 writer 缓存样本直到所有 reliable reader ACK；一个网络恶化或处理能力不足的订阅者会把 writer 发送窗口卡住，阻塞同主题下所有其他订阅者，含自动驾驶感知/控制回路这类安全关键节点。

解法是在 ROS 2 graph 插一个 proxy 节点：订阅原 RELIABLE 主题 T，重发到两个独立 writer —— W_R（RELIABLE，喂关键订阅者）与 W_BE（BEST_EFFORT，喂退化订阅者）。关键是主动健康分类而非静态分流：发 probe 记录 RTT/丢包率/到达间隔，用带滞回窗口的阈值状态机切换健康/退化，对退化者施加 rate limit。于是 publisher 只看到"proxy 这一个高效订阅者"，其 writer 永不被卡。

结果：critical subscriber 尾端 p95 延迟从最高 15 s 降到 1.55 ms（覆盖所有 impairment severity），同时保住 publisher 的配置吞吐。评估用 Gilbert-Elliott 损失模型 + Docker harness 按严重度扫描。

⚠️ 各 severity 阶梯具体延迟、GitHub 链接、嵌入式板开销、滞回阈值经验值、DDS 跨厂商差异 —— 清单材料均未覆盖。

2.5 组 E · 模型内部的两场分离：能力归因与公平归因

2608.13567 与 2608.25375（GGSS） 一内一外，共同点是拒绝把笼统黑箱指标当单一实体。

2608.13567 用电路级分析覆盖 N=46 个任务、四个认知领域（语言/形式推理/社会推理/物理推理），每个任务改写为最小提示模板以对齐输入格式，把"任务内部表征"与"输入分布偏移"分开。方法三件套：神经元共激活率 r_ℓ(i,j) = |A_i ∩ A_j| / |A_i ∪ A_j|，每层共激活矩阵聚类成 K 个模块，以 intra-module homogeneity / inter-module separation 为指标；用编码模型把 LLM 神经元激活拟合人脑 fMRI 体素响应，以 R² 衡量"LLM 模块 ↔ 大脑网络"相似度；再用随机标签重排做控制实验，若差异消失则说明模块化不是 prompt 表层相似性的伪迹。跨自回归、encoder-only、MoE 三类架构复现。价值在范式而非数字：把零散的 mechanistic interpretability 观察系统化到认知科学尺度，并提出"模块化可能是智能的收敛性属性"这一主张。

⚠️ 关键边界：共激活是相关不是因果，原文未做"切断某模块神经元 → 该领域性能下降"的严格消融；top-k 的 k 值未披露且未做敏感性分析；R² 数值未给出。

2608.25375 走工程侧去偏：生成式 VLM 在受控属性（感知种族/性别）单变量扰动下仍产生显著人口统计学偏差，而现有推理时去偏法（InCE / Sentence-Debias / Self-Debias 等）几乎都为静态 embedding 或 CLIP 类编码器设计，套不到生成式 VLM 的 token-by-token logits 上。

GGSS 三件套：(1) 反事实偏差子空间 —— 对仅受控属性不同的成对图像，pool 后取差向量，去均值 + SVD，前 k 个右奇异向量构成 U_bias；(2) 测地弧引导 —— 把视觉 token 投影到单位超球面，沿 U_bias 张成的切空间做大圆弧旋转，保范数，避免线性减法造成表征尺度漂移；(3) 自适应门控 —— 轻量 MLP 输出 g_t ∈ [0,1]，只对 g_t > τ 的 token 施加引导。

核查确认（§六 核查 2）：4 个生成式 VLM × 10 个改编的推理时去偏 baseline + prompt-based mitigation，single operating-point protocol 下跨分类/成对/职业-性别三类偏差测试，GGSS 在全部四个模型上平均偏差最低，三个 backbone 在配对置换检验下显著，MMStar 保持在无引导基线 ±0.6 p.p. 内。

⚠️ baseline 名单、α 调度、门控 MLP 监督信号来源、τ 数值 —— 清单材料均未覆盖；成对反事实图像在工业场景并不总可得；MMStar ±0.6 p.p. 不等于"无损"（4B/7B 级 MLLM 在 MMStar 上绝对差距本就在 1–2 p.p. 量级）。

§三、横向证据边界：八篇可信度并不齐平

按证据链完整度分三档，是读本棒最实用的一步。

  • A 档（数字与核查一致、机制闭合）：2608.05136、2608.08097、2608.25375、2608.15380 —— 各自的关键数字均可溯源到 abstract / README / harness。
  • B 档（机制清楚但定量披露不全）：2608.13426（importance_per_k 形式、加速比、最优 r 未公开）、2608.13567（k 值、R²、共激活率数值未公开）、2608.13947（"一致超越"无胜出幅度，过滤阈值与评估指标未公开）。
  • C 档（方向可信但外部不可复现）：2608.23392 —— V_min 无可操作化定义、支付宝私有数据、录用状态原文未明确（28 页 / 13 图技术报告、无 conference 引用）、精确 AUC 百分点 abstract 未公开。方法论价值高于工程直接复用价值。

三条全局注意事项：

  1. "最低平均偏差""一致超越""outperforms existing baselines"都是描述性表述，无幅度即无法做选型 ROI 评估（涉三篇）。
  2. "需自定义 kernel / 需私有数据 / 需成对反事实样本"是三类不同门槛，不可混谈。
  3. "在 A100 上有效"≠"在 Hopper 上有效"（2608.13426）；"reasoning 负载有效"≠"对话负载有效"（2608.08097）；"单源拟合"≠"普适律"（2608.23392）；"统计共现"≠"因果功能"（2608.13567）。这四条最易被误读。

§四、未解问题（按「影响范围 × 可验证性」排序）

P0 · 影响大且可验证

  1. 规范等变判据能否外推到 K-FAC / SOAP 等二阶方法，以及在 LoRA 的 W = W₀ + UVᵀ 残差参数化下还剩多少（无 LoRA 直接实验）。若成立将直接改变大量微调任务的最优优化器选择。
  2. Adam 破坏的低秩偏置在真实千亿参数训练中有多大（未覆盖规模天花板）—— 把 2608.05136 变成工程指南的关键一环。
  3. RMM 的 importance_per_k 形式与跨硬件可移植性（未覆盖；仅 A100 验证），决定它能否进入 vLLM / TensorRT-LLM 官方路径。
  4. OasisKV 稀疏性在非 reasoning 负载下的退化曲线（未覆盖）。KV budget scaling 公式同样未覆盖 —— 128K 上下文 + 2,048 budget 意味着仅约 6% 的 KV 常驻 HBM，更长上下文下是否成立材料未答。

P1 · 影响明确、验证成本中等

  1. "有效秩"应作为矩阵分解类方法的标准伴随指标 —— 2608.05136 已给低成本实现范式（Frobenius 漂移作 gauge_shift 标量），但它能否预测下游泛化差距，清单材料未覆盖。
  2. top-k 激活的 k 值敏感性 —— 2608.13567 未做分析，是其结论稳健性的最大单点风险。
  3. Densing Law 的 α 跨业务线（短视频/电商/金融）的漂移幅度与重新拟合成本，以及对数线性在小数据/极长尾分布下是否需分段修正（清单材料未覆盖）。
  4. Adaptive Bridge 的多 publisher/多主题拓扑，以及 proxy 自身故障时的降级语义（清单材料未覆盖）。

P2 · 长期方向

  1. 若"模块化是收敛属性"成立，下游安全与对齐应转向模块级行为监控 —— 但跨模型模块位置是否稳定、能否构成通用 jailbreak 指纹，未覆盖。
  2. 2608.13947 的 genre attribute 标注能否自动化，以及强 LLM 生成数据的格式幻觉如何规模化拦截（未覆盖）。
  3. GGSS 能否迁移到地域/年龄/文化/残障等其他偏差维度（未覆盖）。

§五、研究建议（附明确映射）

  1. 在自有数据上复现 Densing Law 的 pilot，而非直接引用 α 数值。 从 1M / 10M / 100M / 1B token 四个规模测 V_min 拟合，确认 log-log 线性在哪个规模才开始成立；再把"最小充分分词容量"列为容量规划第三轴。〔2608.23392 坑 1/4〕
  2. 给训练 loop 加两个廉价诊断。 其一 gauge_shift = ‖UUᵀ − U₀U₀ᵀ‖_F / ‖U₀U₀ᵀ‖_F（规范等变优化器第一步应 < 1e-5，Adam 应 > 1e-2）；其二在矩阵分解/LoRA 场景下同时报有效秩 —— 训练损失相同的两组模型在高光谱实验中测试误差可差 43–44%。〔2608.05136〕
  3. 把 RMM 当"上线后第一道加速闸门"评估，不直接上生产。 必须自写 CUDA kernel（标准 cuBLAS 路径拿不到收益）；先在长序列负载测 wall-clock，短序列不要开；初版按"attention 层激进 r、MLP 层保守 r"分层调度。〔2608.13426 坑 1–5〕
  4. 在 vLLM 上做 OasisKV 的窄验证，优先测预取带宽而非吞吐。 PCIe 链路低于约 50 GB/s 时不启用 remote tier；host tier 固定在 GPU 所在 NUMA node；KV block 粒度建议 ≤ 4 token；上线必须监控 top-K 预取命中率，命中率下降即说明稀疏性假设被破坏、应回退 dense KV。〔2608.08097 踩坑 1/4/6〕
  5. 给 GGSS 做"可关停 + 可观测"的合规化改造再上线。 必补：τ 阈值的业务层可调接口（协议固定了 τ 但未公开其值，不同任务域信号强度不同）、U_bias 版本管理（绑定视觉编码器 commit SHA，升级须重采激活重算子空间）、g_t 分布与 U_bias 奇异值漂移监控；成对反事实图像可用"CLIP 聚类做弱监督候选 + 人工筛选"冷启动。〔2608.25375 落地坑 1–5〕
  6. 建立"相关 ≠ 因果"自查纪律，模块级干预暂缓生产化。 报告 2608.13567 结论时必须同时给出 top-k 的 k 值；因缺 activation patching 式因果消融，模块定位可做诊断工具但不建议直接做模块切断；安全监控先在同一模型上标定基线分布再谈跨模型迁移。〔2608.13567 工程坑 1/2/3/5〕
  7. 把两篇的"范式"而非"实现"迁移到自己的栈。 Adaptive Bridge 的"订阅 → 主动健康探测 → 滞回状态机 → 双 writer 分流 → 动态限流"可搬到 Kafka / ZeroMQ；先走最小路径（起 proxy → 改关键订阅者 topic → 配 probe → 验延迟），并为 proxy 备双机热备，滞回阈值（工程建议值，非论文披露）用 L_low=0.01 / L_high=0.05 / R_low=50ms / R_high=500ms 起调。〔2608.15380〕Attribute-Guided Genre Expansion 的"两维分离"（人写 seed 保主题 + 属性标注控格式 + 强模型生成 + 格式校验器 + ≥3% 人工抽检）可搬到技术文档、客服话术等数据工程；自建 pipeline 须自行定义评分阈值（论文未公开），先做 500–1,000 条小样本 A/B 再决定是否全量引入。〔2608.13947〕

§六、事实核查结果（2 次，均针对清单已有论文链接）

核查 1 — 2608.08097（OasisKV）：arXiv abstract 页 https://arxiv.org/abs/2608.08097。机制描述一致；但查出一处版本性数字更正：清单解读稿（2026-08-11，据 v1）与 paper_card 所载为 1.69× / 最多 2.1× / KV 转移量减少 6.5–9.7× / host 内存减少 2.2–2.6× / 精度损失 ≤ 0.7 pt、0.1 pt。arXiv 现行为 v2（2026-10-25 提交），abstract 数字为：2,048 KV token 常驻 HBM，LongBench v2 平均准确率与 full attention 相差 0.61 分，AIME24 吞吐 1.86×，合成长上下文多卡服务最多 2.2×，prefill-decode 分离下达 vLLM 吞吐 2.29×、同 host 内存预算下支持 2.42× 并发请求数。原稿"6.5–9.7× / 2.2–2.6×" 在 v2 abstract 中已不出现，应视为 v1 数据，需回查 PDF 确认。本稿统一采用 v2 数字。

核查 2 — 2608.25375（GGSS）：arXiv abstract 页 https://arxiv.org/abs/2608.25375。全部一致：4 个生成式 VLM vs 10 个改编的推理时去偏 baseline + prompt-based mitigation，single operating-point protocol，分类/成对/职业-性别偏差三类测试，四个模型上平均偏差均最低，三个 backbone 在配对置换检验下显著，MMStar 保持 ±0.6 p.p. 内；Comments 段明示 Accepted to EMNLP 2026；v1 提交于 2026-08-26；分类 cs.CY / cs.CL / cs.CV。⚠️ baseline 名单、α 调度、门控监督信号来源、τ 数值仍需 PDF 主表，清单材料未覆盖。

§七、清单论文索引（全部 8 篇，含链接与新旧标记）

# 标识 标题 链接 新旧
1 2608.25375 GGSS: Geodesic-Gated Spherical Steering for Inference-Time Debiasing of Generative Vision-Language Models https://arxiv.org/abs/2608.25375 🆕 is_new
2 2608.23392 Towards a Densing Law for User Representation Learning at Billion-Scale Capacity https://arxiv.org/abs/2608.23392 🆕 is_new
3 2608.15380 Adaptive Bridge: A Proxy-Based Decoupling Layer for Mitigating DDS Backpressure in ROS 2 https://arxiv.org/abs/2608.15380 🆕 is_new
4 2608.13947 Scaling Creative Writing Beyond Story-Centric Data with Attribute-Guided Genre Expansion https://arxiv.org/abs/2608.13947 🆕 is_new
5 2608.13567 Modular Cognitive Architecture Emerges in Large Language Models https://arxiv.org/abs/2608.13567 🆕 is_new
6 2608.13426 Reduced Matrix Multiplication: Input-Adaptive Matrix-Product Reduction for LLM Inference https://arxiv.org/abs/2608.13426 🆕 is_new
7 2608.08097 OasisKV: Scaling In-Decode KV Cache Beyond HBM with Lookahead Sparse Prefetching https://arxiv.org/abs/2608.08097 🆕 is_new
8 2608.05136 The Loss Does Not See the Basis, but Adam Does https://arxiv.org/abs/2608.05136 🆕 is_new

引文状态（据 paper_card，非论文正文）：2608.13567 被引 3（S2 3 / OpenAlex 0 / 影响力 1）；2608.08097 被引 1（S2 1 / OpenAlex 0）；其余六篇被引 0。全部为 arXiv pre-print；除 2608.25375 已注明 EMNLP 2026 接收外，其余七篇的录用状态清单材料未覆盖（2608.23392 明确为技术报告且无 conference 引用）。

旧背景（上一棒已综述，清单材料未给出其 arXiv 标识，故不列链接）：CrossTimeEdit、Neural Spectral Capacity、IntBMoE、WeVisDoc、nnU-Net @ BraTS-GoAT 2026、RelateAnything、Competence-Gated Pooling、GenV。

§八、来源清单

本次清单：work-guard/a7d6254f-9c7d-4862-9b58-cf778b1bee03.json（item w5:llm-infra，new_papers=8，8 篇全部 is_new=true）。

清单材料（item.materials，8 张 paper_card）：organized/paper_cards/1146-2608-25375.md、1080-2608-23392.md、1334-2608-15380.md、1029-2608-13947.md、986-2608-13567.md、952-2608-13426.md、872-2608-08097.md、882-2608-05136.md。

清单材料（item.context，10 项）：8 篇既有解读 organized/promo/explainers/2608-{25375,23392,15380,13947,13567,13426,08097,05136}.md；上一棒综述 organized/promo/surveys/2026-10-30-llm-infra.md；knowledge/lessons/lessons-2026-W42.md。

事实核查：2 次，arXiv abstract 页 —— 2608.08097、2608.25375（链接见 §六 / §七）。

未执行：未下载 PDF 全文，未通读论文正文，未扫描知识库全库、未读整份日报/全部 lessons，未另搜论文凑数；未修改清单/额度/cron/认领/水位；未发布、未 git、未另写副本。