EnnengYang/Awesome-Model-Merging-Methods-Theories-Applications · 上手攻略

  • 仓库：EnnengYang/Awesome-Model-Merging-Methods-Theories-Applications
  • 链接：https://github.com/EnnengYang/Awesome-Model-Merging-Methods-Theories-Applications
  • 分类：ai / llm-infra · 模型合并（Model Merging）文献地图
  • 作者：spark
  • 更新：2026-11-01

一、这是什么

这是一个 awesome list 型的论文索引仓库，但它的定位比一般 awesome list 更重：它是 ACM Computing Surveys 综述《Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications, and Opportunities》的配套文献库。

综述论文本体是 arXiv:2408.07666（2024 年 8 月首发），正式发表于 ACM Computing Surveys, Vol. 58, No. 8, Article 216, 41 页，2026 年 6 月（DOI: 10.1145/3787849）。作者团队：Yang Enneng、Shen Li、Guo Guibing、Xingwei Wang、Xiaochun Cao、Jie Zhang、Dacheng Tao。

模型合并（Model Merging） 指的是：不重新收集原始训练数据、不做昂贵训练，直接把多个已训练好的模型权重（通常是 LoRA/SFT 微调后的 delta）融合成一个模型。原始任务向量（Task Arithmetic）、TIES、DARE、Slerp 这些都属此类。它是当下最热门的「不花训练算力就拼装模型能力」的技术路线。

仓库本身没有代码，也不需要安装任何东西——它是一张地图：告诉你模型合并有哪些方法流派、有哪些论文、各自属于哪一类，以及还有哪些坑没填完。

二、解决什么问题

模型合并这个领域 2023 年起爆发，论文多到没人跟得完。常见痛点：

  • 术语混乱：task vector、model soup、weight interpolation、DARE、TIES、model stock、SELMA……名字一堆，关系不明。
  • 方法谱系断裂：预合并（改微调方式）vs 合并中（怎么加权）vs 后校准，三条路线文献互不引用。
  • 不知道该读哪篇：综述论文 41 页读不完，但入门者需要的恰恰是「先看哪几篇」。

这个仓库的解法是给出一套自创的分类学（taxonomic approach），把散落的论文塞进一棵可导航的树里：Survey 区列 10 篇综述，Benchmark 区列 22 篇评测与代码库，Advanced Methods 区按方法族展开细目，Application 区按应用场景展开。

它还有个实用设计：在 Benchmark 表的 Remark 列标注了每篇论文实验用的模型与规模（如 Llama-3.2-3B-Instruct, Llama-3.1-8B-Instruct, Qwen3-4B, Qwen3-8B、Qwen2.5 0.5/1.5/3/7/14/32/72B）。这让你能快速判断「这篇结论在我的模型规模上复现得了吗」——对研究者极其省事。README 特别说明，他们标注了使用 ≥7B 模型（或小型主流 LLM）的论文。

三、快速安装

没有安装步骤——这是纯 Markdown 仓库。直接 clone 或在线读：

git clone https://github.com/EnnengYang/Awesome-Model-Merging-Methods-Theories-Applications.git

仓库结构（据 README 的 Framework 目录）：

imgs/           # intro.png、methodv2.png、premerging.png 等配图
README.md       # 唯一主体，巨大的分类表格

推荐用法：

  1. 先读 arXiv:2408.07666 的综述本体建立框架（41 页，建议只读 §方法分类与 §挑战两章）。
  2. 打开本仓库 README，用 Framework 目录（带锚点的超长 ToC）跳到对应分支。
  3. 从 Survey 区的 10 篇综述里挑 1-2 篇作为二级综述（推荐其中带 ACM/JMLR/ICLR 背书的）。
  4. 从 Benchmark/Evaluation 区挑评测基准，先跑通再选方法。

四、核心用法

4.1 仓库的整体结构（Framework 锚点）

├── Survey                       # 10 篇模型合并综述
├── Benchmark/Evaluation         # 22 篇 benchmark + 可用代码库
├── Advanced Methods
│   ├── Pre-Merging Methods      # 合并「之前」做什么
│   │   ├── Better Fine-tuning  # 线性化微调 / 子空间微调 / SAFT / 其它
│   │   ├── Architecture Transformation
│   │   └── Weight Alignment
│   ├── During Merging Methods   # 合并「过程中」怎么算
│   │   ├── Basic / Weighted-based
│   │   ├── Subspace-based（稀疏或低秩子空间）
│   │   ├── Routing-based（动态合并）
│   │   └── Post-calibration based
│   ├── Other Merging Methods
│   └── Theories or Analysis
├── Application in Foundation Models
│   ├── in Large Language Models  # 对齐/去毒/知识编辑/加速训练/加速推理/MoE 效率/混数据/Agent 合并
│   ├── in Multimodal LLMs        # 多模态融合 / 跨模态迁移 / 专家能力组合
│   ├── in Image Generative Models # 风格混合 / 降训练成本 / 提升保真度 / Deepfake 检测
│   ├── in Video Generative Models # 运动建模
│   └── in Embodied Models
└── Application in ML Subfields
    ├── Continual Learning（抗灾难性遗忘）
    ├── Multi-Task / Multi-Objective / Multi-Domain / Auxiliary Learning
    ├── Out-of-Distribution / Domain Generalization
    ├── Federated Learning（本地知识聚合）
    ├── Zero-shot / Few-shot Learning
    └── Adversarial Learning（作为攻击 / 作为防御与 IP 保护）

4.2 三阶段心智模型（这是本仓库最值钱的部分）

合并方法可以按介入时机分三类，读论文时先判断它属于哪一类：

阶段 核心问题 代表关键词 典型论文
Pre-Merging 合并之前怎么训，才能合得动 Linearization / Subspace / SAFT / Weight Alignment Task Arithmetic in the Tangent Space (NeurIPS 2023)、Tangent Transformers (ICLR 2024)、Mitigating Parameter Interference via SAFT (ICLR 2025)
During Merging 合并那一刻怎么加权、去冲突 Weighted / Subspace / Routing / Post-calibration TIES、DARE、Slerp、Model Soups、SELMA
Post-Merging / 应用层 合完之后拿来干什么 Alignment / Detox / Unlearning / MoE / Agent Mix Data or Merge Models (2024/2025)、LLM Agent Merging

4.3 Benchmark 区可直接用的代码库

README 在 Benchmark 表里给了几个带 GitHub 链接的工程：

  • merge-and-rebase（apanariello4）— 模型合并、task-vector 迁移、可配置微调的代码库，支持视觉与文本双侧，设计目标是「快速迭代 checkpoint 合并 / rebasing / 评测工作流」。
  • crdt-merge（mgillr）— 基于 CRDT 的分布式模型合并，带形式化收敛保证；实现了 25 种合并策略（SLERP、TIES、DARE、Fisher、进化式）；采用两层 OR-Set 架构实现多节点无冲突合并。对应论文 arXiv:2605.19373。
  • Mergenetic（arXiv:2505.11427，System Demonstrations）— 简单的进化式模型合并库（Mistral-7B）。
  • Arcee's MergeKit（arXiv:2403.13257）— 社区最流行的大模型合并工具包（本身不在本仓库，但被作为重要相关工作引用）。

想真正动手合并模型，从 MergeKit 起步比从任何论文起步都现实；本仓库的价值在于帮你挑方法，不是给你代码。

4.4 标注规模 ≥7B 的实践价值

仓库刻意把「用了 ≥7B 模型」的论文标出来。原因很实际：模型合并的主流实验在 7B 规模上做，小模型的合并结论经常不外推。README 里的 benchmark 表大量条目都写明了实验 backbone（Llama-3.2-3B-Instruct、Qwen3-8B、LLaVA-v1.5-7B、Mistral-7B、PaLM-2 1B/8B/24B/64B…）。做复现前先扫一眼 Remark 列，能省掉大量无效尝试。

五、典型适用场景

  • 文献入门：第一次接触模型合并，需要一张不遗漏的地图。
  • 方法选型：手上有 3-5 个微调好的模型，想知道合并成功率高的路线（去 Pre-Merging 还是 During-Merging 的哪一支）。
  • 追踪前沿：这个领域 2026 年出了大量新工作（ICML/ICLR/CVPR 2026 都有），paper list 是持续更新的。
  • 分布式/联邦合并：CRDT 类工作面向多节点无冲突合并，与联邦学习、模型分片部署场景相关。
  • 能力组合：把「安全对齐模型」和「高能力模型」拼成一个，既有偏好对齐又保住性能——这是对齐/去毒/知识编辑几条支线共同的动机。

六、坑与注意（7 条）

  1. 这是论文索引，不是可运行的库。现象：clone 完发现没有 setup.py、没有 requirements.txt，跑不了任何东西。影响：浪费时间。修复：明确把它当导航目录用；要代码去 Benchmark 区点名的 merge-and-rebase、crdt-merge、Mergenetic，或直接用 MergeKit。
  2. README 单文件极长且表格密集。现象：在 GitHub 上滚动找某个方法要滚很久。影响：检索体验差。修复：用浏览器 Ctrl+F 搜方法名；或读综述 PDF 的方法分类章节，README 只当索引。
  3. 收录条目与原始论文的时效性不同步。现象：某篇论文 2024 年才出，仓库里引的是 2024 年 8 月的 arXiv v1，结论可能已被后续版本修订。影响：据旧结论做决策。修复：点条目时直接读 arXiv 最新版本与会议正式版（本综述已正式发表于 ACM CSUR 2026，比 arXiv v1 更新更全）。
  4. 标注的模型规模是「论文里用什么」不是「你需要什么」。现象：拿 Qwen2.5-7B 的结论直接套到自己的 70B 上。影响：复现失败。修复：README 自己就提示了这点——把 Remark 列当参考系，务必在自己的 backbone 上重跑基准。
  5. 预印本占比高，部分未同行评审。现象：把 arXiv 预印本的结论当定论。影响：决策风险。修复：优先跟进带会议/期刊标注的条目（ICML 2026、ICLR 2026、CVPR 2026、ICCV 2025、NeurIPS、ICASSP、ECCV、JMLR 等）；纯 Arxiv 标注的当作线索。
  6. 方法命名高度重叠易混。现象：把 Routing-based merging 当成 Dynamic Expert Routing（MoE），其实前者是合并期的动态权重分配。影响：读错论文。修复：严格按仓库 Pre/During/Post 三段树定位，不要凭名字猜。
  7. 表格里的链接可能指向被撤稿或版本变动的主页。现象：GitHub 仓库改名或论文撤稿，README 未同步。影响：点开404。修复：关键条目建议在 arXiv / Semantic Scholar 上二次确认后再引用。

七、与同类对比

资源 形态 特点 适合
本仓库 awesome list + 分类学 与一篇 CSUR 综述深度绑定，标注实验规模，分类树完整 方法选型、文献追踪
综述论文本体（arXiv:2408.07666 / CSUR 2026） 41 页 PDF 方法论最扎实，有公式与理论分析 系统学习、理论部分
其他综述（Model Merging in the Era of LLMs、Mergenetic 关联的 Deep Model Fusion Survey 等，仓库 Survey 区列了 10 篇） PDF 不同视角交叉印证 补盲区
MergeKit（arXiv:2403.13257） 可运行工具包 真正做合并的社区事实标准 动手做合并
单篇方法论文 PDF 单点突破 深入某个具体技术

读法建议：本仓库当索引用，MergeKit 当工具用，CSUR 综述当教材读。三者配合才是完整闭环。

八、一句话推荐结论

推荐，尤其对模型合并方向的研究者与算法工程师。 它罕见地把一篇顶级综述（ACM CSUR 2026）做成了可持续维护的活文档，分类树清晰、实验规模标注到位、benchmark 与代码库都给了链接——是进入模型合并这个碎片化领域最高效的一张地图；唯一要记住的是：它只给你地图不给路标落地，真要合并模型请转向 MergeKit，并始终在自家 backbone 上验证。

附：本文引用与核验记录

一手来源（2026-11-01 抓取） - https://github.com/EnnengYang/Awesome-Model-Merging-Methods-Theories-Applications（HTML 渲染页，README 摘要段 + BibTeX） - https://raw.githubusercontent.com/EnnengYang/Awesome-Model-Merging-Methods-Theories-Applications/main/README.md（原文，两次抓取分别得到前 ~19KB，覆盖至 "Pre-Merging Methods → Weight Alignment" 起始处） - 仓库卡：organized/repo_cards/4782-ennengyang-awesome-model-merging-methods-theories-applications.md

引用锚点（均来自 README 原文 / BibTeX） - 综述：arXiv:2408.07666；ACM CSUR, Vol. 58, No. 8, Article 216, 41 pages, issue_date June 2026, DOI 10.1145/3787849 - 作者：Yang Enneng, Shen Li, Guo Guibing, Xingwei Wang, Xiaochun Cao, Jie Zhang, Dacheng Tao - 本仓库列出的其他综述 9 篇、benchmark/代码库 22 条

⚠️ 不确定 / 待核处 1. README 后半段未能完整抓取：两次 fetch 均在 ~19-20KB 处被截断，During Merging 之后的 Detailed Methods 表格、Theories 章节、Application 各分支的具体论文列表、以及 Contact 段均未读到。本文中关于这些章节的描述来自 Framework 目录锚点（目录本身完整抓到了），不是来自表格正文——具体某方法分支下有哪些论文，本文未逐一列举。 2. arXiv ID 与年份的时效性：仓库收录了 arXiv:2603.09938、2607.15661、2610.06415 等较新条目。这些编号格式与本文写作时点（2026-11）一致，但未逐个打开核验其存在性与内容。 3. 未核验 merge-and-rebase 与 crdt-merge 两个仓库的实际可用性（未打开其 README），相关描述照抄自本仓库 Benchmark 表的 Remark 列。 4. ACM CSUR 的卷期页码「issue_date June 2026」与 BibTeX 中 month = feb 存在不一致（均为原文照录，未做判断）。 5. 未核对「论文被 ACM CSUR 接收」这一说法的独立证据（未打开 dl.acm.org 页面），依据为 README 自述与 BibTeX 字段。 6. 未执行任何代码（按任务边界：只读公开内容，不 clone、不跑代码）。