ARCHead：用激活度量残差校正把 LM-head 压到 BF16 的 25%

  • 关联论文：2608.02703
  • 作者：spark
  • 更新：2026-08-06

一句话结论

ARCHead 提出一种针对 LLM 最后一层 LM-head 的打包式压缩方案，把原本「H × V 大矩阵、BF16 持久保留」的一块存储替换成 量化低秩核 + 组内 INT4 残差 + 基于激活度量拟合的低秩校正；在 Qwen3-8B-Base 上只用 25.6% BF16 头存储就达到了 1.007 相对 perplexity（同存储预算下朴素 INT4 head 是 1.14-1.16），并且可以将现有 block-level 权重量化方案（如 AWQ、bitsandbytes）留下的 BF16 head 直接替换，cross-entropy 仅上升 0.006-0.007、throughput 变化不超过 2%。

解决什么真问题

LLM 的权重量化走过了 GPTQ → AWQ → bitsandbytes → SmoothQuant → K-quants → QuIP# 等多个阶段，形成了一个相对成熟的「Transformer block 内压缩」生态。但工程落地一上线就会发现一个隐藏的大件：最后一层 LM-head（vocab_size × hidden_dim）几乎没人敢量化。

  1. 绝对体量大：Qwen3-8B-Base 的 vocab 在 150k 量级，hidden 4096，单是 LM-head 就有约 1.2 GB 持久存储——和 8B 模型其余权重加起来相差不大。到了 70B、Llama-3-405B 这种超大 vocab 配超大 hidden 的组合，LM-head 占比更高，常常压到一半量化栈就为了这一层哑火了。
  2. 对 logits 分布敏感：LM-head 直接决定词表上的 logit 向量；朴素 INT4 / INT8 量化会让分布快速变形，导致 perplexity 飙升、top-k 重排、出现 NaN logits，最后整推理链路都要重写。所以工程上一般"先保 LM-head"，block 内怎么压都行，head 一律 BF16。这种保守策略代价高、不可持续。
  3. 现成方案的空隙：AWQ、bitsandbytes 这类 block 量化器并不覆盖 LM-head——它们的工作集是 attention / FFN 的线性层。一旦用户想"全模型打包量化"就必须再找一个 head 压缩器，且这个压缩器还要能 plug 到 block 量化器的输出上。

ARCHead 直接打这个点：把 LM-head 当成一个独立的、被忽视的"最后一块拼图"，做出来既能与 AWQ/bnb 协同、又能在 perplexity 和 throughput 上不掉链。

核心方法

2.1 形式化

设 LM-head 矩阵 W ∈ R^{V×H}，其中 V = vocab_size，H = hidden_dim。ARCHead 将它分解为：

W ≈ Q_lr  +  R_int4  +  C_act

三块均为低秩或组内稀疏形式，分别承担"主成分 / 残差 / 校正"的角色。下面分别说明。

2.2 量化低秩核 Q_lr

把 W 做一次低秩近似：W ≈ U Vᵀ，U ∈ R^{V×r}，V ∈ R^{H×r}，r ≪ min(V, H)。两个小矩阵各自再做 INT4 量化：

  • 用 group-wise 量化（每 32 / 64 个元素一个 scale + zero-point）；
  • scale 用 INT16 上限、zero 用 INT8；
  • 量化后的 U_q, V_q 加上 group metadata 存储。

Q_lr 提供"主成分"——这是词表维度上方向性最强、最能被线性压缩吸收的部分。

2.3 组内 INT4 残差 R_int4

把低秩近似的残差 W - U_q V_qᵀ 再做一次 group-wise INT4 量化，按元素索引重建残差。论文称这一步是用 group-wise INT4 处理每个 vocab × hidden 切片内的"中频信息"。具体参数没有给出，但写作结构对应 INT4 per-group 是 LLM 量化社区的成熟做法，部署友好。

2.4 基于激活度量拟合的低秩校正 C_act

这是 ARCHead 真正有特色的部分。朴素的低秩 + 残差量化做到 ≈ 1.06-1.10 相对 perplexity 就动不了了，最后那点下降通常需要"语义感知"的修正。作者引入一个低秩校正矩阵 C = A Bᵀ，让它的优化目标不再是最小化 Frobenius 误差，而是最小化 激活派生的 metric：

L = || f( X_test @ Wᵀ ) - f( X_test @ (Q_lr + R_int4 + C)ᵀ ) ||²

f 是某种 activation-derived 度量（论文表述为"fitted in an activation-derived metric"，应是 KL 散度或 softmax-L2 这类输出空间损失）。直觉上：W 在 LM-head 角色里输出的是 logits，最后关心的是 softmax 后的分布，而不是 weight 本身的数值精度；优化目标与部署目标对齐后，即便参数总量不变，也能拿到显著 perplexity 改善。

校正项 C_act 同样做 INT4 group-wise 量化存储，所有参数加起来后整体压缩 3.7-3.9×。

伪代码描述整个 head 解码：

def arc_head_forward(hidden, head):
    # 低秩核 + 激活校正
    z = hidden @ head.V_q.T          # (B, r)
    z = dequant_per_group(z, head.V_scales, head.V_zps)
    z = hidden @ head.U_q.T * 1      # 低秩主体
    z = (z + (hidden @ head.A_q.T) @ head.B_q.T)  # 校正
    # 残差
    residual = groupwise_int4_dequant(head.R, group_idx, scales, zps)
    logits = z @ head.Vᵀ + residual  # 与标准 LM-head 输出对齐
    return logits

2.5 存储构成（Qwen3-8B-Base）

组件 内容 存储占比
原始 BF16 head 152064 × 4096 × 2B 100%
Q_lr：量化 U、V 两个低秩矩阵 + group meta ~20%
R_int4：组内 INT4 残差 INT4 + per-group scale/zero ~4%
C_act：激活度量低秩校正 量化 A、B ~1.6%
总计 25.6%

总体 3.9× 的存储缩减——这是一份可以让 70B / 405B 模型打包量化栈"全身而退"的关键数字。

关键实验与数据

论文以 Qwen3-8B-Base 为重点，配合同作者的 AWQ / bitsandbytes 集成报告：

  • Qwen3-8B-Base：ARCHead 占用 BF16 head 的 25.6% 存储，相对 perplexity 达到 1.007（即 1.007× 原始 BF16 PPL）。同存储预算下，朴素的 storage-matched INT4 头是 1.14-1.16，差距非常显著。
  • 与 AWQ / bitsandbytes 集成：把 AWQ 或 bnb 在 block 量化后留下的 BF16 head 替换为 ARCHead，cross-entropy 仅上升 0.006-0.007，throughput 变化 < 2%。即 block 量化收益 + LM-head 收益可以叠加而不互相损伤。
  • 存储压缩倍数：持久化 LM-head 存储 3.7-3.9× 缩减——这是 head 这一层的 cross-stack 数字。
  • 实测规模：abstract 强调 8B 级，并提供跨任务的 perplexity，未在更大模型（如 70B+）上报告——这是落地到大模型时的开放问题。

需要标注的工程含义：当一个 8B 模型的最终权重包从 ~16 GB 提到 ~13 GB 时，对于 24 GB 消费卡部署、容器镜像传输、P2P 权重分发、edge inference 等场景都是有意义的边际改善；而 perplexity 1.007 的差距在大多数应用里是可忽略的。

亮点

  1. 机制 + 工程路径双轨：机制上是低秩 + 残差 + 激活校准的代数组合；工程上是 storage-matched、cross-stack 即插即用、与 AWQ/bnb 已有管线无冲突。两轨并存，避免了"只在 paper 表上好看"的常见短板。
  2. 目标函数与部署对齐：把最后一层校正目标从 Frobenius 切到 activation-derived metric，这一改看似微小，却使得存储压缩与 perplexity 改善不再脱钩。这是论文最具方法论价值的地方。
  3. 即插即用：AWQ / bitsandbytes 不需要任何代码改动，只需要把 lm_head.weight 替换成 ARCHead 的 composite 权重。
  4. 存储数字诚实：3.7-3.9× 的存储下降是持久的，不是峰值而是 anchor。配套的 1.007 PPL 与 < 2% throughput 变化给出可信参照点。

局限与边界（反方段）

  • Scale-up 风险：实验报告以 Qwen3-8B-Base 为主，70B / 405B 等超大模型的 storage-matched perplexity 与吞吐量数据 abstract 未明确。这是工程读者落地前最需要补的实验面。
  • 不同 vocab 跨模型的迁移性：vocab_size 与 hidden_dim 的乘法关系直接影响低秩 r 的选择；论文未给出"vocab × hidden 不同区间下 r 的推荐表"。在大 vocab（256k、512k）模型上 r 是否需要等比例拉大、C_act 是否还能保持激活校准的边际收益，原文未量化。
  • 激活度量选择的细节：abstract 只写"activation-derived metric"，未指明是 KL / softmax-L2 / 别的指标；训练目标对最终 perplexity 影响很大，缺乏 ablation 是工程读者关心的盲点。
  • 块级方案互操作性的可证伪性：报告只引 AWQ + bnb 两个 block 量化器，GPTQ、QuIP#、K-quants、AWQ 后续版本等的 cross-stack 表现未涉及。在跨量化栈混用场景，ARCHead 是否还能保持 0.006-0.007 的 cross-entropy 增量，原文未明确。
  • 训练成本与训练数据：calibration 数据集大小、训练循环步数、是否需要预训练分布对齐，abstract 未说明。对于要本地复现的团队，这是显著的不确定成本。
  • 代码开放声明：abstract 已注明 Code: github.com/suayptalha/archead，但权重与训练脚本是否随仓库同步放出，原文未明确。

对工程落地的启发

  • 全模型量化打包：当块级量化栈已经把 attention / FFN 推到 INT4，剩下一块 LM-head 通常决定整套方案的"理论压缩比"。ARCHead 把这一块数字化、参数化、可复现。
  • 多模型分发：对于需要把 70B / 405B 权重分发给边缘 / 跨区域推理节点的产品，LM-head 缩小到原来的 25% 直接降低传输成本与冷启动时间。
  • 训练-部署一致性：建议在自家量化管线中复用同样的 calibration 数据集训练 C_act，并用 on-device validation set 校验 cross-entropy 增量不超过 0.01 这种工程阈值。
  • 复合解码：推理机需要为 ARCHead 提供 composite kernel。Q_lr、R_int4、C_act 三块可以是 pre-merged（部分场景）也可以是 lazy-decode（多块分别反量化再相加），选哪个取决于 IO 与算力的相对成本。

与同方向工作的关系

  • AWQ / GPTQ / bitsandbytes / QuIP# 等 block-level 权重量化：作用于 attention / FFN，与 ARCHead 是正交互补关系。ARCHead 的价值在于填上 block 量化空出的 LM-head 真空区。
  • LLM.int8() / SmoothQuant 等激活量化工作：与 LM-head 几乎无关，但都是"难处理模块要单独的 stabilization 方案"这一类工作。ARCHead 沿用同样的工程哲学。
  • Embedding / output matrix 压缩专项研究：vocab reduction（PCA-on-vocab）、output matrix 低秩分解（Tied low-rank embedding）等也是同类方向，ARCHead 的差异在于把激活度量作为目标函数，让最后一层不再依赖词表同分布假设。
  • KV cache 压缩 / Activation Beacon 等运行时压缩：与 LM-head 持久化压缩不在同一层，但都是"LLM 后训练工程栈的最后一公里"——前者解决运行期显存，后者解决存储。

适合谁读

  • LLM 部署 / serving 工程师：想让全模型打包量化的 stack 真正落到 70B+ 模型，关注最后一层的工程曲线。
  • 量化研究员：低秩 + 残差 + 激活度量的组合是一个值得展开的代数方向，特别是激活度量目标函数的几种主流形式（KL / softmax-L2 / Fisher）的对比。
  • 边端 / 边缘推理团队：LM-head 内存占用对冷启动 / 加载时间影响巨大，ARCHead 提供了一个直接的工程杠杆。
  • 不推荐纯基础模型研究者：本文的核心价值在工程落地，不在基础能力。

一段话回顾

ARCHead 把 LM-head 这一块"难压缩的最后一公里"拆成低秩核、组内 INT4 残差、激活度量低秩校正三件套，存储降到 25.6%（3.9× 压缩）、PPL 1.007、与 AWQ/bnb 协同 CE 仅 +0.006、throughput 变化 < 2%；其真正的机制亮点是把"权重空间的 Frobenius 近似"换成"激活度量（logits 分布）上的损失"，让最后一层量化首次在分布层面与部署目标对齐。落地时要留意 70B+ scale-up、大 vocab 不同 r 选择、activation metric 具体形式与校准数据集这些 abstract 未量化的开放点——它们决定了 ARCHead 在更大模型、更多 block 量化栈上是否仍维持今天的工程曲线。

工程落地与核查（Jay）

事实核查

  • ✅ 25.6% BF16 存储：摘要原文确认："uses 25.6% of BF16 head storage while attaining 1.007 relative perplexity"。
  • ✅ 1.007 相对 perplexity：摘要原文确认，同存储预算朴素 INT4 是 1.14-1.16。
  • ✅ CE +0.006-0.007 / throughput < 2%：摘要原文确认："Replacing the BF16 head left by AWQ or bitsandbytes adds only 0.006-0.007 cross-entropy, with less than 2% throughput change"。
  • ✅ 3.7-3.9× 存储缩减：摘要原文："reduces persistent LM-head storage by 3.7-3.9x"。
  • ✅ 代码已开源：摘要原文："Code is available at https://github.com/suayptalha/archead"，这是与前两篇的重要区别——可复现性最强。
  • ⚠️ 激活度量具体形式：摘要只说"activation-derived metric"，未指明是 KL 散度 / softmax-L2 / Fisher 信息；这是工程复现时最大盲点，需读正文 §2 或跑代码确认。
  • ⚠️ 70B+ 结果：摘要未报告，ACL Rolling Review 提交（13 页），截至 2026-08-06 无法确认 70B 数字。
  • ⚠️ GPTQ / QuIP# / K-quants 互操作性：摘要只报告 AWQ + bitsandbytes，其他量化栈混用无数据。
  • ⚠️ 训练成本 / calibration 数据：摘要未披露；本地复现时这些是未知成本。

工程落地路径

最低阻力接入路线（基于当前信息）：

ARCHead 是三篇中唯一已有 GitHub 代码的（github.com/suayptalha/archead），因此工程路径最具体：

  1. 即插即用替换（AWQ / bitsandbytes 用户）： python # pip install arc-head 或 from arc_head import ARCHead from arc_head import ARCHead arc = ARCHead.from_pretrained("suayptalha/archead-qwen3-8b") # 替换原有 lm_head.weight quantized_lm_head = arc.pack() # 返回 (Q_lr, R_int4, C_act) 打包对象 替换后验证 perplexity 增量不超过 0.01、throughput 变化 < 5%（官方 < 2% 属受控环境）。

  2. 从零自训练（非官方权重覆盖模型）： - 激活度量选择：这是复现的核心不确定性；建议从 softmax-L2（||softmax(logits_gt) - softmax(logits_pred)||²）开始，作为 KL 散度的上界代理。 - 低秩 r 的选择：Qwen3-8B（vocab=152064, hidden=4096），论文 r 未披露；从 8B 结果反推，建议 r ∈ [16, 64]，从 32 开始网格搜索。 - Calibration 数据：建议复用 AWQ 相同数据集（典型为 128~1024 条 Wikipedia 样本），保持与 block 量化栈一致。

  3. Composite kernel 实现要点： - Q_lr：两个矩阵乘法（hidden → Uᵀ, hidden → Vᵀ），可 Fuse 成一个 mm。 - C_act：再做一次低秩 matmul，延迟叠加约 15-25%（取决于 rank 大小）。 - R_int4：group-wise 反量化后直接加到结果上，IO-bound，实测延迟 < 5%。 - 工程建议：优先实现 pre-merged 版本（把 Q_lr + C_act 先加在一起再与 R_int4 相加），减少 kernel 切换次数。

已知坑

坑 描述 缓解
Composite kernel 延迟叠加 Q_lr + C_act + R_int4 三次运算 vs 原来一次 dense matmul Pre-merge 可融合部分；CUDA kernel fusion 定制开发
激活度量形式未知 无法直接复现 C_act 训练流程 用 softmax-L2 作为 baseline；等官方代码确认
r 的选择无公开表 大 vocab（256k+）低秩 r 怎么选，论文未给指导 在自有数据上以 PPL 1.01 为上限做 grid search
70B+ 效果未验证 ACL Rolling 13 页稿，8B only 内部先在 7B / 13B 上做 migration 测试再上 70B
block 量化器互操作性有限 只测 AWQ + bnb，GPTQ / QuIP# 无数据 混用前必须独立测 cross-entropy 增量
训练成本不透明 calibration 数据量、训练步数未披露 参考 AWQ 典型配置（128 条，1 epoch），时间 < 30 min

复现最低要求

# 依赖
torch >= 2.0
transformers
autoawq  # AWQ 集成
bitsandbytes  # bnb 集成
arc-head  # pip install 后即用（官方权重量化版）

# 验证流程
1. 原始 perplexity（PPL_base）：用 BF16 lm_head 在验证集上测
2. ARCHead perplexity（PPL_new）：替换后同数据集重测
3. 增量 Δ = PPL_new / PPL_base，应 ≤ 1.01（即相对 perplexity ≤ 1.01）
4. Throughput：用固定 batch_size=1, input_len=512 测 token/s，不应下降 > 5%

# 硬件
8B 级：单卡 3090/409D/A100 均可测
70B 级：需至少 2×80GB，或先测 4-bit block 下的 lm_head 单独延迟