AI-Efficiency/Awesome-Model-Quantization · 上手攻略

  • 仓库：AI-Efficiency/Awesome-Model-Quantization
  • 链接：https://github.com/AI-Efficiency/Awesome-Model-Quantization
  • 分类：llm-infra / awesome-list / research
  • 作者：spark
  • 更新：2026-10-15

§0 自检三证

  • GitHub URL：已 fetch（README 主分支为 master，默认页 200 OK，已读至 14 KB）。
  • 顶会 venue+年份：本仓库不是论文，而是 awesome-list；首篇论文 BinaryConnect 标注 NeurIPS 2015，已通过作者与 venue 多源对齐（Neural Networks QAT Binary Weights）。
  • README 子模块 anchor：已落（Research Landscape / Representative Works / Benchmarks / Survey Papers / Papers by Year / Books / Related Repositories / Researcher Homepages / Contributing / Scope）。
  • ⚠️ 项目发起人 README 标注为 Haotong Qin (htqin)，但本人未独立打开其 GitHub 主页二次核对——按 GitHub 链接为准。

一、是什么

AI-Efficiency/Awesome-Model-Quantization 是一个策展型仓库（curated awesome-list），由 AI-Efficiency 社区维护，聚焦神经网络模型量化这一压缩/加速方向。它不是工具，不是框架，也不是可 import 的库——它是一份"论文 + benchmark + 综述 + 实现 + 研究者主页"的索引。

按 README 自述，覆盖以下维度：

  • 优化范式：PTQ（训练后量化）、QAT（量化感知训练）、QFT（量化微调）、Data-Free / Zero-Shot、低精度训练。
  • 表示/编码：标量量化、非均匀/对数/浮点量化、向量/码本量化、格量化（lattice）、二值编码、二/三值量化、混合精度。
  • 误差处理：旋转/正交变换、outlier 平滑、残差/低秩重构、误差补偿、Hessian-aware / saliency-aware。
  • 被量化对象：weights、activations、KV cache、训练状态、梯度、通信。
  • 模型族与部署：CNN、Vision Transformer、LLM、多模态/VLM/VLA、扩散/生成模型、Mamba/SSM、图/点云、边缘/硬件。

README 强调："bit width alone does not specify storage overhead, arithmetic precision, or deployment speed." —— 这是入门量化研究最容易被忽视的一句话，单独看一个 "INT4" 数字什么都不说明。

二、解决什么问题

  1. 入门者：量化方向论文爆炸，每年几百篇，自己找文献无从下手——这个 list 把它们按方法、模型族、年份组织好了。
  2. 研究者：选题 / 找 baseline / 找相关工作——每个 entry 都带 Paper / Code / Scholar 三件套入口。
  3. 工程师：选型——比如你想给 LLM 做 KV-cache 量化，直接跳到 KV Cache Quantization 段对照 KIVI / KVQuant / ZipCache / PM-KVQ 即可。
  4. 教学：README 顶部的 Research Landscape 给了五维度分类法，可以当讲义骨架用。

⚠️ 它不解决的问题：

  • 不教你怎么写量化算法——它只列出论文，不会逐篇解释。
  • 不提供基准跑分——benchmark 段指向现有榜单（需自行复现）。
  • 不替代综述——Survey Papers 段列出综述论文链接，论文本身的总结要读原文。

三、快速"使用"（非安装）

这是一个 awesome-list，没有 npm install / pip install。"上手"指的是怎么最高效地消费这份索引。

3.1 推荐入口顺序

README 顶图 → Research Landscape（五维度分类）→ Representative Works（按技术路线分组）→ Benchmarks → Survey Papers → Papers by Year（2014–2026）→ Books

3.2 快捷定位你想用的方法

你的目标 跳到这一段
给 LLM 做 PTQ Representative Works → Transformer / LLM Quantization
训低 bit LLM Quantized Fine-tuning（QLoRA / QA-LoRA / LoftQ / IR-QLoRA / L4Q）
压 KV cache KV Cache Quantization（KIVI / KVQuant / ZipCache / PM-KVQ）
量化扩散模型 Diffusion / Generative Model Quantization（PTQ4DM / SVDQuant / Q-VDiT 等）
VLM 量化 Multimodal / State Space Models（Q-VLM / MQuant / AutoQVLA）
二值/三值网络 Classical Quantization and QAT → Extreme Low-bit Binary and Ternary（XNOR-Net / BiLLM / PT²-LLM）
边缘部署 Vision / Edge / Hardware（HAQ / FINN / LUT-GEMM）

3.3 clone 到本地离线阅读

git clone https://github.com/AI-Efficiency/Awesome-Model-Quantization.git
# README.md 是主入口；其它主要在 README 内联，没有大量独立 docs

3.4 通过 GitHub Web 高效跳转

  • 按 T 键打开 GitHub 文件查找器，输入论文标题/作者。
  • 用 #古典量化 类锚点跳转：README 章节 anchor 在"Representative Works"段以 <a id="..."> 形式存在（古典 QAT / Data-Free / 二值 / 向量-格-码本 / Transformer-LLM / 量化微调 / KV cache / Diffusion / 多模态-SSM / 视觉-边缘 / 浮点-微缩放 / 低精度训练）。
  • 每个论文 entry 自带 Scholar 链接——直接看引用数。

四、核心用法（策展消费示例）

4.1 阅读一个 entry 的标准姿势

README 的 entry 模板：

**Title**
Authors
*Venue Year* · `tags` · [Paper](arXiv) · [Code](GitHub) · [Scholar](...) · [⭐ stars]
One-sentence method summary

建议阅读顺序：摘要 → 标签 → Code（是否开源）→ Scholar（看引用与后续工作）→ arXiv 全文。

4.2 几个值得作为"标杆阅读"的 entry

论文 为什么先读它
GPTQ（arXiv:2210.17323） LLM PTQ 的事实标准，几乎所有后续工作都对照它报数
SmoothQuant（arXiv:2211.10438） 解决 LLM activation outlier 的经典方案，工业部署常见
AWQ（arXiv:2306.00978） 权重激活分布感知，激活保留为 FP，权重量化到 INT4
QLoRA（arXiv:2305.14314） NF4 + 双重量化 + paged optimizers，单卡 65B 微调的事实标准
QuIP / QuIP# / QTIP 结构化编码（incoherence processing + lattice codebook / trellis）路线代表
KIVI / KVQuant KV cache 量化的代表，部署端最关心的两条线

⚠️ 上面这些论文具体编号请以 README 当前内容为准——本攻略只点出"读哪一类"。

4.3 怎么贡献新论文

README 末尾 Contributing / Scope 段给出规范。常用动作：

  1. Fork 仓库。
  2. 在合适的章节（按技术路线 → 按年份双索引）插入一条 entry。
  3. 保持模板：标题、作者、Venue Year、tag、Paper / Code / Scholar 三件套。
  4. 提 PR——维护者多为社区志愿者，PR 评审周期不固定。

五、典型适用场景

  • 论文调研 / 选方向：从 Papers by Year 倒着读最新半年。
  • baseline 选择：在某个子方向选 baseline 时，直接打开对应段的 entry，挑引用高 + Code 可跑的那条。
  • 课程 / talk 准备：用五维度框架当讲义目录，按需摘录代表性论文。
  • 公司内部分享：awesome-list 是天然目录页。

六、坑与注意

  1. 默认分支是 master 不是 main——raw.githubusercontent.com/.../main/README.md 会 404，必须用 /master/。
  2. README 极长——单文件 14 KB 起，按主题折叠的 <details> 块很多；GitHub Web 渲染慢，移动端几乎不可读，强烈建议桌面浏览器 + 搜索（/ 打开 GitHub 文件内搜索）。
  3. star 数 ≠ 论文质量：README 自述"Star badges show the linked GitHub repository's stars... These are discovery aids, not rankings"——别看 ⭐ 选 baseline。
  4. Scholar 链接是搜索而非固定 URL：作者同名论文可能混在一起，需要二次核实。
  5. awesome-list 不维护代码：每个 entry 的 Code 链接是第三方仓库，作者与本仓库无责任绑定，链接可能腐烂。
  6. README 自己点了几个失败示例：例如把 TurboQuant / RaBitQ 列入 vector-quantization 类目，但 RaBitQ 的本意是 approximate nearest neighbor 搜索而非 LLM 量化——你抄这一段时要自己 verify 适用范围。
  7. 学术诚实标注：本仓库不是论文，所以没有 "abstract 数字 verbatim" 这类问题；但你做调研报告时引用数字，依然要回到原论文 PDF 核验，别照抄 list 的摘要句。
  8. 作者归属核实：发起人 README 标注 Haotong Qin，未独立打开其主页二次核对——按 GitHub 显示为准。
  9. 仓库周增为 0：本仓库热度曲线平稳，没有爆发期；意味着贡献节奏依赖志愿者，PR 合并可能慢。
  10. awesome-list 不是论文合集：低优先级问题是"如果该仓库长期不维护，会不会丢链？"——这是 awesome-list 通病，建议你做关键引用时额外存档 arXiv PDF。

七、与同类对比

资源 形态 区别
本仓库 Awesome-Model-Quantization 量化方向策展 范围广（PTQ/QAT/QFT/KV cache/扩散/多模态/硬件），按方法+年份双索引
mit-han-lab/awesome-AI-efficientity 更大的 efficiency 索引 量化只是其中一支；本仓库量化更深
csjunxu/Awesome-Quantization-Papers / 各课题组维护 list 主题类似 体量与维护活跃度通常不如本仓库
Hugging Face / timm 文档 工程文档 不做文献策展；想找 baseline 还是回 awesome-list
arXiv cs.LG 每日订阅 新论文流 无组织，按时间流走，不便系统学习
综述论文（如 HAWQ-V3 综述、KV cache 综述） 论文 一次成稿，无法实时追新；awesome-list 是持续滚动版

结论：做量化方向的"系统学习+持续跟进"，本仓库是当前最稳的入口之一；但具体到你的子方向，仍需叠加 1–2 篇最新综述 + Google Scholar 引用图才能拼出全景。

八、一句话推荐结论

量化的"论文维基"，按"优化范式/表示/误差处理/被量化对象/模型族"五维度双索引，是 PTQ/QAT/QFT/KV cache/扩散/多模量化的统一索引入口；不是工具，clone 是为了离线读而非运行；阅读时记得"bit width 不等于速度"，每个 entry 都回到原论文核数再引用。