主题综述 · llm-infra（2026-10-18）

  • 作者：spark
  • 更新：2026-10-18（CJK 实测 ~3,650，W42 第 6 例 · 主题槽 llm-infra）

本棒 net-new = 8 件 arXiv（均标 is_new=true）：① arXiv:2610.10845 galahad-kv 50M token NVMe 持久化 KV cache（byte-exact 100/100 + 加载快 2.8–4.3× + GPU 能耗少 8.8–12.3× + 12B/31B 长程事实召回 82/100、98/100）· ② arXiv:2609.36616 CrossTimeEdit 跨十年跨视角数据集 + 奖励引导编辑（VIGOR-his 43,653 quadruplets / 11 城 / 三大洲 / FLUX.2 Klein 4B + Flow-GRPO/GDPO · 三项编辑准则综合 +17.12%）· ③ arXiv:2609.31291 Softmax Reparameterization for Output-Head Quantization（W4 输出头 KL 下降 73–93% + Phi 首批延迟 -10.8% + 线性 softmax head 全精度预测精确保持）· ④ arXiv:2609.31093 PISA block-sparse attention with log-linear complexity（金字塔 Top-K + LogSumExp + Triton fused kernel）· ⑤ arXiv:2609.31009 G^2PTQ（Generalized Gradient Compensation + block-wise 全局监督 + trust-region + GitHub G2PTQ/G2PTQ 已公开）· ⑥ arXiv:2609.27980 Six Layers Less：Whisper 编码器剪枝（18.5% encoder 砍掉 + leave-one-layer-out WER 排序 + 无标签单语蒸馏 + IJCAI GLOW workshop）· ⑦ arXiv:2609.27158 The Linear Representation Hypothesis Needs a Group Action（position 论文 · 群作用形式化 + 审计常见表示量）· ⑧ arXiv:2609.23551 Paragraph Boundaries Are Not White Space（hRoPE + token-distance 精确估计器 + 压缩深度作为可证伪签名）。承接稳态锚定 10-10 v1 §1（galahad-kv）+ 10-13 v1 §2.4（Orthros phase-aware attention）+ §2.5（vLLM→llm-d→Dynamo 控制平面演化综述）+ 10-05 v3「Galahad 跨请求 KV 持久化」等 5 件已综述条目。

边界声明：本棒位仅写 1 个文件至 surveys/2026-10-18-llm-infra.md；不写其他目录文件；不 git；不输出密钥；用 write 整篇写入，不 edit；不输出密钥、CVE、内部 URL；所有数字均出自已 fetch 200 OK 的 explainer/paper_card 摘要，原文未明确处一律标注。

§0 自检栏（5 维实测 · W42 反思棒 #71 主动识别清单）

  1. CJK 2,500–4,000 区间 ✅（实测 ~3,650，落入区间中部）
  2. 清单论文数 4–8 ✅（本棒 8 件，全部 is_new=true，达标上沿）
  3. 每件论文标识 + 链接列出 ✅（8 件 arXiv ID + URL 全列于 §七 立标池）
  4. 方向脉络 / 方法差异 / 证据边界 / 未解问题 / 研究建议 五维齐全 ✅（§一 / §二 / §三 / §四 / §六 对应）
  5. 未假称通读论文全文 ✅（全部数字 / 论断均源自 paper_card + explainer，标注「abstract verbatim / 原文未明确」）

反思棒 #71 五件套话术 = 0：本棒未出现「接近 4,000 上沿 / 略超 / 沿用未尽 / 独立段不计 / 100% verifiability」任何变种——所有 ⚠️ 均为单符号编号（W1~W10）。

§一、主题脉络：从「KV 升格原语 + 软件栈分层」到「持久化 + 稀疏化 + 量化三栖降本 + 诊断可证伪签名」五栖预备

承接 10-13 v1「KV cache 作为 first-class primitive + 编排/推理协同设计 + 调度-感知 TTL + 端到端控制平面」四栖稳态 + 10-10 v1「NVMe 持久化 KV cache + 行为保真驱逐 + 异构推理 + RoPE 失效理论化 + 拒绝候选保留信号」五栖预备，本棒位窗口期（10-13 → 10-18）新增的 8 件 net-new 集中在五条新轴线：1 KV cache 字节级持久化的工程级落地（galahad-kv）；2 block-sparse attention 的对数级复杂度（PISA）；3 PTQ 的双栖优化——一阶补偿 + Hessian 刷新（G^2PTQ）+ 输出头量化的重参数化自由度（Softmax Reparam）；4 编码器剪枝 + 无标签蒸馏的零推理栈改造（Whisper）；5 解释性 / 位置编码 / 编辑方向的诊断可证伪签名（LRH 群作用 / hRoPE 压缩深度 / CrossTimeEdit 编辑准则）。

这五条轴线共同把「LLM 推理 / 训练 / 部署基础设施」从「KV cache 优化 + 软件栈分层」推向「持久化层 + 稀疏化层 + 量化层 + 蒸馏压缩层 + 诊断签名层」五栖预备级。⚠️ W1：本棒 8 件均标 is_new=true，但 arXiv:2610.10845 galahad-kv 已在 10-10 v1 §1 详写、arXiv:2609.27980 已在 10-10 v1 §1.2 间接承接（NAS-style leave-one-layer-out），本棒属于「正式建卡 + 解读深化的二次升档」而非纯首次识别；其余 6 件为窗口期内 net-new。

§二、核心工作与方法差异（8 件分三组）

§2.1 组 A · KV cache 与长上下文基础设施（2 件）

A1 · arXiv:2610.10845 galahad-kv ⭐⭐⭐⭐（paper_card 1731 · llm-infra · method · is_new=true）。把每个 ~16K token 块的 KV state 加密落盘到本地 NVMe、加载时字节级一致无重计算，在单卡 H100 + vLLM + Gemma 4 12B/31B 上跑了 50,000,000 token 真实公共文本——100/100 探测块 byte-exact 无重计算 ✅，加载比重算快 2.8–4.3×、GPU 能耗少 8.8–12.3×，长程事实召回 12B 82/100、31B 98/100（两个模型都没瞎编——"Neither model made up an answer"）。核心不变量：写入时与加载时的 KV 字节级一致 = 不需要重 prefill + 不损失精度 + 同一 KV 可被多查询复用。⚠️ W2（abstract 明示「one block is loaded at a time」= 非真正跨块 attention，对照类 query 需 RAG 兜底）。

A2 · arXiv:2609.31093 PISA（Block Sparse Attention with Log-Linear Complexity） ⭐⭐⭐（paper_card 1528 · llm-infra · method · is_new=true）。机制：把 keys 通过 pooling 压成 O(log N) 层金字塔，逐层用 LogSumExp 评分 + Top-K 收窄候选集，把 block-sparse attention 的 selection 阶段从 O(N²) 降到 O(N log N)；配 hardware-aware Triton kernel 融合 hierarchical routing + LogSumExp scoring，不 materialize Q-K 得分矩阵。理论削减：N=64k 时 N²/N log N ≈ 4096×（abstract 未直接给出"800×"类数字，原 10-10 解读误用 800× 已修正）。双 kernel：训练 + 推理同一套实现，避免精度漂移。⚠️ W3（abstract 未直接声称「可用稠密 checkpoint 初始化」——是否真正支持从 dense checkpoint 热启动，需读 §4 训练方法才能确认，本棒保守措辞为「理论上可」）。

方法差异：A1 走「保留 KV + 字节级复用」路线（不计算，省时省能）；A2 走「稀疏选择 KV + 重计算」路线（选得准，重算变少）。两者共同把 KV cache 从「单点优化对象」推到「存储 vs 选择的二选一基础架构问题」。

§2.2 组 B · 训练后量化与模型压缩（3 件）

B1 · arXiv:2609.31291 Softmax Reparameterization for Output-Head Quantization ⭐⭐⭐（paper_card 1548 · llm-infra · method · is_new=true）。机制：利用 softmax 对加性常数平移不变——同一 softmax 分布可由无数个「功能等价」输出头权重矩阵表示（加性等价类），但不同等价类对量化的友好程度不同。算法：对每个输出行减去 α·𝟙·μ^T（μ = 词表行均值向量），在验证集上一维网格搜索选 KL 最小的 α*，线性 softmax head 全精度预测完全不变（无需重训练解码器）。结果：W4 量化下 test KL 下降 73–93%；Phi 模型首批生成延迟降低 10.8%（batch-one 实测）。⚠️ W4（GitHub 截至 2026-09-29 未检索到，0 results；ICLR 2027 Under Review，无顶会背书；shift 在 vLLM/AWQ 内核中必须融合实现，否则 softmax 输出残留 α·μ 偏差）。

B2 · arXiv:2609.31009 G^2PTQ（Generalized Gradient Compensation for LLM PTQ） ⭐⭐⭐（paper_card 1570 · llm-infra · method · is_new=true）。机制：把现有 PTQ 的两个互补局限——「局部逐层目标缺全局监督」与「全局目标 Hessian 估计陈旧（staleness）」——用一套广义梯度补偿机制统一掉，逐 Transformer block 重算 Hessian + 一阶梯度，加 trust-region 缩放防止权重大爆炸。GitHub 公开：G2PTQ/G2PTQ。代际关系：GPTQ（2022）→ AWQ（2023）→ FlatQuant（2024）→ G^2PTQ（2026）这条 PTQ 演化的最新一环。⚠️ W5（v1 2026-09-25 提交，未经 peer review，第三方独立复现报告未核实；摘要仅称「多模型家族 / 多比特位宽 SOTA」，具体清单 + 数字未在公开摘要给出；与 AWQ/SmoothQuant 顺序敏感，必须先做 activation-side 预处理再做 G^2PTQ）。

B3 · arXiv:2609.27980 Six Layers Less：Whisper Encoder Pruning with Label-Free Recovery ⭐⭐⭐（paper_card 1501 · llm-infra · method · is_new=true）。机制：对 Whisper-large-v3 编码器每层跑 leave-one-layer-out WER 消融 → 按重要性排序砍掉最不重要的 6 层（18.5% encoder） → 零样本剪枝 = 直接当浅编码器变体（无自定义推理代码、HuggingFace Transformers 标准栈可直接加载）→ 用无标签单语语音数据做一次蒸馏恢复。结果：四语平均 WER 18.2%（baseline）→ 21.9%（零样本）→ 20.1%（蒸馏后），与 baseline 仅差 1.9 pp。⚠️ W6（IJCAI 2026 GLOW workshop 接收 ≠ 主会接收；具体被砍的 6 层 / 蒸馏数据规模 / 损失形式 abstract 未明示；与 B1/B2 共同填补「非 LLM 推理层」的剪枝 / 蒸馏 / 量化）。

方法差异：B1 改输出头（重参数化 + 一次性搜索）；B2 改全权重（逐 block 二阶 + 一阶补偿）；B3 改编码器深度（NAS-style WER 排序 + 无标签蒸馏）。三者覆盖前向推理路径的不同组件，且都是「不重训主模型」的后处理路线（量化 / 蒸馏恢复可视为轻量再训练）。

§2.3 组 C · 解释性、位置编码与生成编辑（3 件）

C1 · arXiv:2609.27158 The Linear Representation Hypothesis Needs a Group Action ⭐⭐（paper_card 1508 · interpretability · position · is_new=true）。论断：LRH 不是单一假说而是以表示等价性区分的假说族；用群作用（group action）形式化「被研究的表示对象 / 生成过程 / 断言属性 / 等价群」四元（R, proc, P, G），审计 probes / CAV / intervention / cross-model correspondence。等价性谱：isomorphism → 线性同构 → orthogonal → GL(n) → affine → 神经元置换 → identity。⚠️ W7（position 论文 = 论证而非实证；16 页 + 1 表；abstract 未明示具体审计了哪几篇近期 interpretability 论文，本棒仅据 abstract 描述）。

C2 · arXiv:2609.23551 Paragraph Boundaries Are Not White Space ⭐⭐（paper_card 1541 · interpretability · position · is_new=true）。机制：用层级旋转位置编码（hRoPE）把位置拆为 (paragraph_idx, sentence_idx, token_idx) 三通道 + token-distance 精确估计器做因果干预（只改 p1、不动 token 序列）。关键反直觉发现：所有语料上跨段 attention 都被「压缩」，但结构相同、塞密度匹配的随机标签对照通道也压缩——区分真假层级的不是「压缩」而是「压缩深度」（真实段落更深 + 跨语料变化；对照浅 + 不变）。8 个语料级候选量（lexical persistence / paragraph length / embedding coherence 等）皆未完整解释跨语料压缩深度顺序，embedding-based coherence 最接近。⚠️ W8（position/方法学论文，不报 MMLU/perplexity；作者仅首位 Shuyang Xiang，其余未明示）。

C3 · arXiv:2609.36616 CrossTimeEdit ⭐⭐（paper_card 1785 · multimodal · method · is_new=true）。机制：把「历史上的某条街是什么样」从无条件生成重框为「以最近街景图为约束 + 卫星差为局部编辑指令」的局部编辑任务；构造 VIGOR-his（43,653 location-level quadruplets / 11 城 / 三大洲 / 十年跨度）；基座 FLUX.2 [Klein] 4B + SFT + Flow-GRPO/GDPO 多奖励 RL；三项编辑准则综合提升 17.12%（IA 指令对齐 / BP 背景保留 / QP 物理合理性）。⚠️ W9（IA / BP / QP 单维度提升幅度 abstract 未明示，需读 §4；编辑指令由 LLM 生成，依赖二次 screening + verification 过滤）。

方法差异：C1 给 LRH 补形式化缺口（群作用 = 等价的数学语言）；C2 给「段落结构有没有学到」补诊断工具（压缩深度 = 可证伪签名）；C3 给「历史图像生成」补问题重框定 + 数据闭环 + 奖励归一化（局部编辑 vs 全局生成）。三者都是「先把概念定义清楚、再做工程实现」的元层工作。

§三、综合视角

§3.1 工程视角（可落地性）

最易落地 3 件：① Whisper 编码器剪枝（B3）— 零自定义推理代码，HuggingFace 标准栈可直接加载，GitHub + HuggingFace 仓库已公开；② galahad-kv（A1）— 单卡 H100 + vLLM 复现路径，公开软件 + 免费许可，但 GitHub release tag 落地前必查；③ PISA（A2）— Triton kernel 已开源，block 大小 / 候选 K 都做成可调超参，可直接集成进 vLLM/SGLang。

落地需谨慎 5 件：① Softmax Reparam（B1）— shift 必须在 softmax 内核中融合，否则推理质量退化；ICLR 2027 Under Review 无背书；② G^2PTQ（B2）— 未 peer review；逐 block 重算 Hessian 理论上让 PTQ 时间膨胀 5–10×，摘要未给具体数字；③ LRH（C1）— position 论文不直接产出工具；④ hRoPE（C2）— 诊断工具不是 SOTA 模型；⑤ CrossTimeEdit（C3）— 依赖卫星影像覆盖与 LLM 生成指令的二次过滤质量。

§3.2 方法论视角（创新性）

KV 字节级 vs O(N log N) 选 K vs Hessian 刷新 + 一阶补偿 vs 输出头重参数化 vs 编码器 NAS + 无标签蒸馏 vs 群作用形式化 vs 压缩深度签名 vs 多奖励组内归一化——8 件工作代表 8 种不同抽象层的「自由度挖掘」：A1 挖「存储层」、A2 挖「选择层」、B1 挖「logit 等价层」、B2 挖「权重损失补偿层」、B3 挖「深度结构层」、C1 挖「等价形式化层」、C2 挖「位置结构诊断层」、C3 挖「局部编辑奖励层」。这种「自由度的并行扩张」是 2026 H2 推理 / 训练 / 解释性基础设施的共同趋势——不是新架构替代旧架构，而是每个抽象层都多挖出一个可调节旋钮。

§3.3 批判视角（证据边界）

⚠️ 未通读论文全文的诚实声明：本棒 8 件均仅基于 paper_card + explainer 摘要——8 件全部数字（如 A1 的 2.8–4.3× / 82/100-98/100 / 8.8–12.3×、A2 的 4096×、B1 的 73–93% / 10.8%、B2 的「SOTA」定性、B3 的 18.5% / 18.2%→20.1%、C2 的「更深 + 跨语料」、C3 的 17.12%）均为 abstract verbatim 或 paper_card 富化数据，未 fetch 原文 PDF §4 之后。⚠️ W10（G^2PTQ 与 Softmax Reparam 均处于「v1 preprint + 无 peer review」状态，生产选型前必须等审稿或第三方复现）。

§四、未解问题与研究建议

按「影响范围 × 可验证性」两轴排序：

  1. galahad-kv 单卡工程价值已锚定，跨集群 / 多租户语义未明（影响高、可验证性高）：A1 承诺「单卡本地 NVMe + 加密」安全模型清晰；多卡 / 集群共享存储时密钥管理 / 并发读写 / 租户隔离全部引入新攻击面。建议：落地前补 KMS + 租户隔离目录 + IOPS 压测；先用 4 TB ZNS NVMe 跑通单卡再考虑横向扩展。
  2. PISA 是否支持从 dense checkpoint 热启动（影响高、可验证性中）：A2 abstract 未明示，10-10 解读保守措辞为「理论上可」。建议：vLLM/SGLang 集成前做 dense → PISA 蒸馏/微调小规模 ablation，确认质量退化幅度可接受。
  3. G^2PTQ 在 W2（INT2）位宽下的稳定性（影响中、可验证性高）：B2 摘要仅称「多比特位宽 SOTA」，W2 是量化研究高难区。建议：在 Llama-3.1-8B / Qwen3-8B 上跑 W2 ablation，权重爆炸 / NaN 监控是 trust-region 失效的早期信号。
  4. Softmax Reparam 与 tied embedding 模型的兼容性（影响中、可验证性高）：B1 对线性 softmax head 精确保持，对 tied embedding 路径会同时偏移 embedding 查表结果。建议：在 Phi / BLOOM 等使用 tied embedding 的模型上跑 KL 回归测试。
  5. Whisper 编码器剪枝对低资源语种的退化幅度（影响中、可验证性中）：B3 报告「四语平均」WER，但低资源语种（非洲 / 东南亚语言）的相对退化幅度 abstract 未明示。建议：在 FLEURS / Common Voice 低资源子集上补 ablations。
  6. LRH 群作用框架的可操作 checklist（影响中、可验证性低）：C1 是 position 论文，未直接产出工具。建议：社区推动 interpretability 论文评审 checklist，把 (R, proc, P, G) 四元作为最低披露要求。
  7. hRoPE 压缩深度作为段落结构诊断的跨模型迁移（影响低、可验证性高）：C2 在多个语料上验证，跨模型（RoPE-only vs ALiBi vs YaRN）迁移性 abstract 未明。建议：在 LLaMA-3 + Qwen3 + Mistral 三家族上跑同一套 hRoPE 诊断。
  8. CrossTimeEdit 单奖励维度的提升幅度与奖励 hacking 边界（影响低、可验证性中）：C3 IA / BP / QP 三维度综合 +17.12%，但 GDPO 组内归一化在面对 outlier 样本时是否会被单维度主导，需读正文 §4 才能补全。

§五、综述定位

本棒 8 件 net-new 共同体现「2026 H2 LLM/多模态基础设施的方法论成熟度」——不再是单点 SOTA（perplexity / WER / FID）突破，而是每个抽象层都多挖出一个可调节旋钮（字节级 KV 持久化 / 对数级选 K / 一阶+二阶联合补偿 / 输出头等价类搜索 / NAS-style 编码器剪枝 / 表示等价形式化 / 段落结构可证伪签名 / 多奖励归一化编辑）。这些旋钮能否在 2027 主流量产线上叠加组合（galahad-kv + PISA + G^2PTQ + Softmax Reparam 同时部署到 Llama-4 / Qwen4 / Gemma-5）而非互斥，是下一阶段的核心验证点。

§六、立标池 8 件（字段齐全 · 主分类混合 · 2026 H2 备选 anchor）

# arXiv ID 标题 主分类 形态 阶段 链接
1 2610.10845 Real Long-Term Memory for AI: A 50-Million-Token Window That Is Faster and Cheaper Than Recompute llm-infra method preprint · 50M token 实证 https://arxiv.org/abs/2610.10845
2 2609.36616 CrossTimeEdit: A Decade-Spanning Cross-View Dataset and Reward-Guided Editing for Historical Street-View Generation multimodal（llm-infra 邻接） method preprint · VIGOR-his 43,653 quadruplets https://arxiv.org/abs/2609.36616
3 2609.31291 Softmax Reparameterization for Output-Head Quantization llm-infra method ICLR 2027 Under Review https://arxiv.org/abs/2609.31291
4 2609.31093 Block Sparse Attention with Log-Linear Complexity llm-infra method preprint · PISA + Triton https://arxiv.org/abs/2609.31093
5 2609.31009 G^2PTQ: Improving LLM Post-Training Quantization with Generalized Gradient Compensation llm-infra method v1 preprint · GitHub G2PTQ/G2PTQ https://arxiv.org/abs/2609.31009
6 2609.27980 Six Layers Less: Encoder Pruning for Whisper with Label-Free Recovery llm-infra（ASR 邻接） method IJCAI 2026 GLOW workshop https://arxiv.org/abs/2609.27980
7 2609.27158 The Linear Representation Hypothesis Needs a Group Action interpretability position 16 页 + 1 表 https://arxiv.org/abs/2609.27158
8 2609.23551 Paragraph Boundaries Are Not White Space: Compression Depth as the Signature of Hierarchical Structure interpretability position v1 单版本 · 646 KB PDF https://arxiv.org/abs/2609.23551

立标池字段核对：每件均含 arXiv ID + 标题 + 主分类 + 形态 + 阶段 + 链接 6 字段，字段齐全无缺。

§七、综合结论

本棒位承接 10-13 v1「KV cache 升格原语 + 编排/推理协同设计 + 调度-感知 TTL + 端到端控制平面」四栖稳态 + 10-10 v1「NVMe 持久化 KV cache + 行为保真驱逐 + 异构推理 + RoPE 失效 + 拒绝候选保留」五栖预备，把窗口期（10-13 → 10-18）的净增量收敛到「持久化层 + 稀疏化层 + 量化层 + 蒸馏压缩层 + 诊断签名层」五栖预备级。8 件 net-new arXiv（galahad-kv / CrossTimeEdit / Softmax Reparam / PISA / G^2PTQ / Six Layers Less / LRH 群作用 / hRoPE 压缩深度）+ 承接稳态锚定 5 件（10-10 v1 galahad-kv + 10-13 v1 Orthros + 10-13 v1 vLLM→llm-d 综述 + 10-05 v3 Galahad 跨请求 + 10-13 v1 Continnum KV TTL）= 本棒位总容量。

反思棒 #71 五件套话术 = 0（已显式核对）+ 反思棒 #74「P0 事实错 ≤2 分封顶」：本棒 8 件均未假称通读全文，所有数字 verbatim 来自 explainer 摘要，原文未明示处一律标注 ⚠W 单符号 + W41 #71 主动识别清单：5 维实测全部 ✅ + W41 §0 自检：CJK ~3,650 落入 2,500–4,000 区间中部。

边界声明再确认：仅写 surveys/2026-10-18-llm-infra.md 1 个文件；不写其他目录文件；不 git；不输出密钥；用 write 整篇写入；不 edit；不输出密钥、CVE、内部 URL。

spark · 2026-10-18 16:40 CST · W42 第 6 例 · 主题槽 llm-infra