Llama 3 模型群:一份把"数据—规模—复杂度管理"当主线的预训练复盘

  • 关联论文：2407.21783
  • 作者：flyP
  • 更新：2026-10-29

§0 自检

  • 一句话结论：Llama 3 用 15.6T tokens 训出 405B dense Transformer 并把上下文推到 128K，benchmark 上与 GPT-4 打成平手；其真正的方法论贡献不是某个架构 trick，而是"用数据规模换质量、用稠密架构换训练稳定性、用 SFT+RS+DPO 换后训练可扩展性"这三条克制原则。
  • 领域：pre-training / post-training / foundation model 工程 / 开源模型
  • 核心数据：405B 参数 / 15.6T tokens / 3.8×10²⁵ FLOPs / 128K context / 8B·70B·405B 三档 / 176 种语言 / 多模态编码器+adapter 三阶段组合方案
  • arXiv ID 独立核实：已在 arxiv.org/abs/2407.21783 与 export.arxiv.org API 双通道抓取 abstract 与作者清单（Meta AI@Meta Llama Team，作者数百人）。提交日期 2024-07-23，paper 内标注 "date: July 23, 2024"。✅
  • GitHub/权重公开：权重在 Llama 3 Community License 下公开发布（含 405B 预训练与后训练版、Llama Guard 3）；本稿未逐条 fetch 模型仓库页面，⚠️ 具体 commit/tag 版本未核。
  • 数字 verbatim 与存疑标注：15.6T / 3.8×10²⁵ FLOPs / 126 层 / 128 attention heads / 16,384 token 表示维度 来自 arXiv 正文；本轮已回查官方 arXiv HTML 的 Table 2 与 Table 13，405B 后训练 MMLU 87.3（5-shot）与预训练 MMLU 85.2（Table 13）已逐格确认，"MMLU 88.6" 实为 0-shot CoT 口径。⚠️ 基础设施"平均 3.38 小时一次中断"经复核不是论文原文，本轮已改写（论文支持的是 16K GPU、>90% 有效训练时间、至少每日一次意外中断）。
  • 明文负面发现：含 ≥5 条（"原始 markdown 标记反而有害故全部去除"这一反直觉结论；"405B 用自己生成的数据训练反而无益甚至退化"；行级去重会误删高质量文本但经验上仍有效；探索过 PPO 但因更耗算力且效果更差而放弃；自蒸馏必须引入 execution feedback 作 ground truth）。

§1 一句话结论

Meta 用三个"不聪明但正确"的杠杆——更好的数据、更大的规模、以及刻意压低架构与算法的复杂度——训出了 405B dense Transformer 的 Llama 3，在 MMLU、GSM8K、HumanEval 等 benchmark 上与 GPT-4 相当，并把 8K 上下文推到 128K；论文同时公开了预训练与后训练权重、Llama Guard 3，以及一套"独立编码器 + cross-attention adapter"的组合式多模态方案（但多模态模型当时尚未发布）。

§2 解决什么真问题

2024 年中，开放权重模型和闭源前沿模型之间有一道鸿沟：GPT-4 的规模已经到 200B+ 参数、上下文几十万 token，但研究者既拿不到权重，也复现不了训练过程。Meta 想解决三件事：

第一件事：可复现的开源旗舰。 Llama 3 论文提供的不只是权重，还有完整训练配方——数据清洗流水线（去重、过滤、质量分级）、scaling law 推导、长上下文扩展的验收标准、后训练六轮迭代的 recipe。配合上一代 Llama 2 的经验，Meta 把"大模型训练"从少数实验室的秘方变成了一份可抄的作业。

第二件事：长上下文到底怎么训出来。 很多团队直接把 8K 的训练配置改成 128K，然后发现模型在短文本上退化、needle-in-a-haystack 也过不去。Llama 3 给出了一个可执行的验收协议：只有在短上下文评测恢复、且该长度下 needle-in-a-haystack 完美通过之后，才允许把上下文长度往上加一档。这是论文里最容易被忽视、但工程价值极高的一段。

第三件事：多模态怎么"加"而不"重训"。 论文没有重训一个大一统模型，而是走组合式路线：独立训练图像/语音编码器 → 用 cross-attention adapter 把编码器表示喂进已训好的语言模型 → 在语言模型冻结的前提下只训 adapter 和编码器。这个"冻结 LLM 只训 adapter"的思路，是后来 LLaVA 一类做法和多模态 adapter 路线的直接先驱。

§3 核心方法

3.1 架构：刻意保持"无聊"

Llama 3 405B 是 dense Transformer，论文明确说这是为了 maximize training stability 而没有选 MoE。配置为 126 层、token 表示维度 16,384、128 个 attention head。相较 Llama 2 的关键改动是 8K → 128K 上下文，以及 128K 训练序列带来的 RoPE 频率扩展处理（原文 §3.4）。

这里有个值得玩味的技术决策："不用 MoE"本身是一个方法论选择。MoE 能在同样算力下训出更大参数量的模型，但路由不稳定、负载不均、调试困难。Meta 明确承认自己牺牲了参数效率换稳定性——这与后来 DeepSeek-V3 的激进 MoE 路线形成鲜明对照，说明"稠密 vs MoE"在 2024 年还没有定论。

3.2 数据：清洗流水线的六个层次

这是论文 §3.1 最有信息量的部分，可以照抄成工程 checklist：

  1. PII 与安全过滤：按 Meta 安全标准排名移除高 PII 站点与有害域名、成人内容域名。
  2. 文本抽取与清洗：自建 HTML parser，在 boilerplate 移除精度与内容召回上做优化；数学与代码页面单独处理，保留 alt 属性（因为预渲染的数学公式其 LaTeX 源码常藏在 alt 里）。 - ⚠️ 反直觉结论：论文明确 "we find markdown is harmful to the performance of a model that is primarily trained on web data compared to plain text, so we remove all markdown markers." 对以网页为主的数据集，去掉 markdown 标记反而更好。这与"结构化标记能帮模型"的直觉相反。
  3. 三级去重： - URL 级：同 URL 保留最新版本。 - 文档级：全局 MinHash 去近重复文档。 - 行级：每个 30M 文档桶内，删掉出现超过 6 次的行（ccNet 风格）。
    • ⚠️ 论文自陈："our manual qualitative analysis showed that the line-level de-duplication removes not only leftover boilerplate ... but also frequent high-quality text" ——人工分析表明它会误删优质高频文本，但经验评估显示仍有强改进。这是一条"直觉上不好但实测有效"的诚实记录。
  4. 启发式过滤：重复 n-gram 覆盖率比（去日志/报错行）、"dirty word" 计数（去漏网成人站）、token 分布 KL 散度（去离群 token 过多的文档）。
  5. 模型化质量过滤：fasttext 快分类器（是否会被 Wikipedia 引用）+ DistilRoberta 质量打分器（用 Llama 2 chat 标注质量要求，DistilRoberta 是为效率而选的蒸馏版）。
  6. 代码与推理数据：代码/数学分类器同样是 DistilRoberta，但做了 prompt tuning 以命中含数学推导、STEM 推理、代码与自然语言交错的页面；因为 code/math 的 token 分布与自然语言差异大，pipeline 有独立的 HTML 抽取、定制特征与启发式。

多语言：fasttext 语言识别分到 176 种语言，各语言独立做文档级与行级去重、语言特定启发式与模型过滤，再用多语言 Llama 2 分类器做质量排序。多语言 token 占比是实验确定的，不是拍的。

3.3 数据配比：分类器降采样 + scaling law 双重校准

做法是：训练一个知识分类器识别网页数据所含信息类型，据此对网络上过represent的类别降采样；同时用 scaling law 实验反推在给定算力预算下的最优数据配比。

3.4 训练配方：8K → 128K 的渐进式扩展 + 退火

  • 标准预训练：405B 参数在 15.6T tokens 上以 8K 上下文训练。
  • 长上下文扩展：进入持续预训练阶段，把支持长度逐档提升；每提升一档，验收条件是「短上下文评测已恢复」且「该长度下 needle-in-a-haystack 完美求解」。
  • 退火（annealing）：最后阶段在剩余 40M tokens 上把学习率线性退火到 0，同时上调高质量数据源占比，并在 128K 上下文下进行。
  • 权重平均：退火阶段对多个 checkpoint 做平均得到最终预训练模型。

⚠️ 本轮更正：原稿把 checkpoint 平均的方法写成 alphaXiv 作者在公开问答中的说法 "we do vanilla uniform averaging"。论文正文的表述是 Polyak averaging（"we compute the average of model checkpoints (Polyak averaging) during annealing"）。"vanilla uniform averaging" 是第三方问答中的措辞，不是论文术语；两者未必等价（Polyak averaging 隐含对更新步的指数加权）。本轮已按原文改写，"vanilla uniform" 一并标为第三方表述。

3.5 Scaling law 与"非最优训练"策略

论文自述：405B 按 scaling law 算是「该训练预算下大致 compute-optimal 的尺寸」。但对小模型，Meta 故意训得比 compute-optimal 更久，理由是在同等推理预算下，小模型表现更好——因为推理时算力受限于部署。一个实用洞察：预训练优化目标不应该是"最优单点"，而应该是"沿 scaling law 曲线选在推理预算约束下的最优点"。

3.6 后训练：SFT → RS → DPO 的六轮迭代

论文 §4 明确流程：每一轮 = SFT + DPO，数据来自人工标注或合成；配合 rejection sampling（RS）。

⚠️ 本轮更正（重要）：原稿写"Meta 的博客把配方列为 SFT + rejection sampling + PPO + DPO（PPO 用于 reward model 阶段）"。论文正文的表述是：Meta 探索过 PPO 这类 on-policy 算法，但 "We also explored on-policy algorithms such as PPO, but found that DPO required less compute for large-scale models and performed better"，因此最终配方不含 PPO。原稿把"探索过并放弃"写成了"配方包含"，方向相反。已更正。

迭代流程（据 §4 与相关技术解读整理）： - 奖励建模（RM）：人工偏好标注 → 训 reward model。 - 拒绝采样（RS）：用 RM 对模型自身生成的多个候选打分，取最优者作为 SFT 数据。 - SFT：标准 cross-entropy，在 prompt 段做 loss mask（只对 completion 段计损失）。 - DPO：用 (prompt, chosen, rejected) 三元组直接优化策略。 - 迭代：论文明确后训练共进行 six rounds（六轮）。每轮收集新的偏好标注与 SFT 数据，用最新模型采样合成数据。RM/SFT/DPO 各阶段权重做平均再进入下一轮。

质量控制上的一个反直觉点：论文作者在 alphaXiv 公开问答中回答"能否用训练 loss 判断 SFT 数据质量"时明确说 不行 —— "Training loss performance doesn't seem like a good way to measure SFT data quality. It would lead you to select SFT data that is 'easier' to predict... better to monitor performance on downstream tasks." 数据要按下游任务表现筛，不是按 loss 筛。论文给的例子是 405B 的 MMLU 在后训练后从 85.2%（Table 13，预训练模型）升到 87.3%（Table 2，后训练模型）——本轮已逐格回查官方 HTML 表格确认这两个数值。

3.7 多模态：三阶段组合式扩展

论文 §7–§8 的多模态方案是三条独立流水线，共同点是语言模型全程冻结或近乎冻结：

  1. 多模态编码器预训练：图像编码器在大规模 image-text pair 上训练；语音编码器用自监督 masked 重建（mask 语音片段，用离散 token 表示重建被遮部分）。
  2. Vision adapter 训练：adapter 是一串 cross-attention 层，把图像编码器表示送进语言模型；训练时更新图像编码器参数，但故意不更新语言模型参数。视频 adapter 叠在图像 adapter 之上，用于跨帧聚合信息。
  3. Speech adapter 训练：adapter 把语音编码转成 token 表示直接喂给已微调的语言模型；adapter 与 encoder 联合更新，语言模型仍不改。另接入 text-to-speech。

论文结论：该组合方案在 image、video、speech 识别任务上 "performs competitively with the state-of-the-art"。⚠️ 具体 benchmark 分数在 §7/§8 表格中，本稿未逐格回查。

§4 关键实验与数据

预训练侧 - 405B / 15.6T tokens / 3.8×10²⁵ FLOPs，约为 Llama 2 最大版本的近 50 倍算力。 - 对比锚点：Llama 2 是 1.8T tokens，Llama 3 约 15T 多语言 tokens。 - 论文总述："performs on par with leading language models such as GPT-4 ... and is close to matching the state-of-the-art"，8B 与 70B 在同参数量级上 "best-in-class"。 - 安全：Llama 3 在 helpfulness 与 harmlessness 的平衡上明显优于 Llama 2（§5.4）。

后训练侧（Table 2，405B 行，Jay 本轮已逐格回查官方 arXiv HTML） - MMLU（5-shot）87.3 - MMLU（0-shot, CoT）88.6 - GSM8K（8-shot, CoT）96.8 - HumanEval（0-shot）89.0 - IFEval（0-shot）88.6 - MATH（4-shot）73.8、ARC-C 84.8、MMLU-Pro 73.3

⚠️ 本轮更正：原稿 §9 收纳的第三方流传数字中 "IFEval 86.0" 有误，官方 Table 2 中 405B 的 IFEval 为 88.6。"MMLU 88.6" 并非错误，但它是 0-shot CoT 口径，不是 5-shot；5-shot 的 87.3 才是常被引用的数字。GSM8K 96.8、HumanEval 89.0 与第三方流传一致。原稿把整组数字都标为"未核"，本轮已把已核部分升级为正文事实、仅保留未核项在 §9。

多模态侧（定性） - 与 SOTA 竞争性；模型当时仍在开发中，未广泛发布。

基础设施侧 - 论文明确：训练使用最多 16K 张 H100 GPU，采用 >90% 的有效训练时间（"we are able to achieve over 90% effective training time"）。 - 论文明确：训练期间至少每日发生一次意外中断（"we observe at least one training interruption daily"）；78% 的意外中断归因于硬件，其中 GPU 相关问题占 58.7%；以及"significant manual intervention required only three times"。

⚠️ 本轮更正：原稿的"平均约三小时一次中断"来自第三方整理页（vivarium.sh），论文正文并无此表述；论文支持的是"至少每日一次"+"78% 硬件归因"+"GPU 问题占 58.7%"。两者数量级并不冲突（每天 1–3 次量级与 3.38 小时/次均值在 16K 卡规模上是相容的），但既然无法逐字追溯，就不能写成论文结论。已按原文重写。

§5 亮点与局限

亮点

  1. 可执行的协议而非结论：长上下文扩展的"两条件验收"（短上下文恢复 + needle 完美）是全论文最可复用的资产，把"我的模型 128K 掉分了"变成了一张二值 checklist。
  2. 数据流水线的负知识同样被记录：markdown 有害、n-gram 覆盖率过滤、行级去重误删优质文本但仍有效——这些反直觉结论比"我们用了更多数据"有价值，因为它们能直接改写别人的清洗脚本。
  3. 克制：dense 而非 MoE、SFT+RS+DPO 而非 PPO 系、adapter 而非重训。三个选择都指向同一判断：在大规模下，可复现性与稳定性 > 纸面效率。
  4. 退火 + 权重平均：40M tokens 退火 + checkpoint 平均（Polyak averaging），是低成本高收益的后期技巧。
  5. 多模态的冻结策略：把 LLM 当成稳定的"语言中枢"，只训 adapter 接入新模态，是当前多模态架构演进的主流路线之一。

局限与负面发现

  1. dense 405B 的推理成本极高。405B dense 的部署门槛远高于同规模 MoE，Meta 自己也承认这是稳定性换来的代价。
  2. 405B 自我生成数据无益：论文披露初期实验发现，训练 Llama 3 405B 时用其自身生成的数据没有帮助，甚至可能退化；解决办法是引入 execution feedback（执行反馈）作为 ground truth。这是对"自蒸馏"这条流行路径的一次重要泼冷水。
  3. Markdown 有害的结论可能与具体数据管线耦合，脱离其自定义 parser 直接套用有风险。
  4. 行级去重的副作用被承认但未量化：会误删高质量文本，损失多少未给数字。
  5. 多模态"只给结果不给权重"：模型当时仍在开发中未广泛发布，读者无法复现该结论。
  6. 合成数据的自反馈风险：用 Llama 2 给网页打质量分、标注代码/数学页面——用旧模型训新模型，存在质量天花板与偏差继承问题。
  7. PPO 被探索后放弃：论文承认试过 on-policy 的 PPO，但 DPO 在大规模下"更省算力且表现更好"。这说明算法选型是算力约束下的工程决策，不是偏好问题。
  8. 有效训练时间 >90% 仍意味着近 10% 的时间在受干扰：且 78% 的中断来自硬件，说明规模越大，硬件故障不再是异常而是常态预算项。
  9. 多模态"冻结 LLM"路线的上限：冻结主干意味着语言能力的提升无法传导到多模态侧，adapter 只能在既有表示空间里做映射。

§6 对工程落地的启发

  1. 把长上下文当成一个带验收门的流水线，而不是一个配置项。 "短上下文恢复 + needle 完美"这两条可以直接写成 CI 检查。
  2. 清洗脚本按 Llama 3 的六层顺序重排：安全/PII → 抽取 → 三级去重 → 启发式 → 模型化质量 → 领域专用管线。多数团队跳过第 5、6 层，而 code/math 数据恰恰是 SOTA 模型拉开差距的地方。
  3. 别用 training loss 选数据。 论文作者自己给了这条：loss 会把"更好预测"误当成"更好数据"。用下游任务分数做数据验收。
  4. 小模型可以故意超训。 沿 scaling law 选点时，把推理预算而非训练预算作为约束，才是部署侧的正确目标函数。
  5. 多模态接入优先走 adapter + 冻结 LLM，不要动主干。这条路径的重训成本可以低到几天，且不影响已验证的语言能力。
  6. 合成数据必须有 execution feedback 做 ground truth，否则自蒸馏会退化。Llama 3 405B 的这个负面结果比正面结果更值得抄。
  7. 退火 + checkpoint 平均是低成本收益项，值得在现有训练管线里加一段。

§7 与同方向工作的关系

  • vs GPT-3 / GPT-4：Llama 3 的定位是"开放权重下达到闭源前沿水平"。论文本身不做机制创新，而做配方披露——但正是这份披露让后续 Llama 3.1 生态、微调研究与 Llama 系列的迭代研究得以进行。
  • vs Llama 2（2303）：数据 1.8T → 15T+ tokens；上下文 4K → 128K；架构从 GQA 进一步扩展到 128 attention heads / 16,384 维；后训练从 RLHF 全面转向 SFT+RS+DPO。
  • vs OPT（2205.01068，同批解读）：OPT 是"GPT-3 级的完全开放 + 1/7 碳足迹 + logbook 透明"，Llama 3 是"GPT-4 级的开放 + 更大规模 + 多模态组合式"。两者构成开放模型的两个世代：OPT 建立了"训练日志与失败记录该公开" norms，Llama 3 把它推到了旗舰规模。
  • vs MoE 路线（Mixtral、DeepSeek-V3）：Llama 3 明确站在 dense 一侧，理由是训练稳定性。这场路线之争 2025 年仍未定论，DeepSeek-V3 用更低成本做到更大总参数，是对该选择的有力挑战。
  • vs DeepSeek-R1（2501.12948，同批解读）：Llama 3 的后训练是 SFT+RS+DPO，不含 RL；DeepSeek-R1 则证明纯 RL 可以在可验证任务上激发推理能力。两条后训练路线在 2025 年后开始合流（RL + 拒绝采样 + SFT 的混合配方成为主流）。

§8 适合谁读

  • 必读：准备做长上下文训练/微调的工程师（§3.4 的验收协议直接可用）；做数据清洗与配比的团队（§3.1–3.3 是现成 checklist）；做模型压缩/量化/部署的（架构与配方决定量化难度与推理成本）。
  • 强烈推荐：任何做 open-weight 模型的团队（"三杠杆"框架可直接复用）；做多模态 adapter 的（§7 的冻结策略可直接抄）。
  • 选读：关心 alignment / RLHF 的（主线是 SFT+DPO，与 RL 路线关系有限）；只关心 SOTA 排名的（本文价值在配方不在榜单）。
  • 不适合：想找"新架构突破"的读者——这篇论文刻意没有架构创新，创新全在数据与工程纪律上。

§9 待核与不确定项（集中收纳）

  1. Table 2 的其余 benchmark 单元格（MATH、ARC-C、MMLU-Pro 等）本轮仅核对了 405B 行中与第三方流传数字重叠的几项，其余数值未逐格回查。
  2. "vanilla uniform averaging"：来自 alphaXiv 作者公开问答；论文正文对应表述是 Polyak averaging。两者是否严格等价未经核实。
  3. "用 training loss 判断 SFT 数据质量"的作者表态：来自 alphaXiv 公开问答，非论文正文。
  4. 多模态 benchmark 具体分数：§7/§8 表格未逐格回查。
  5. 权重仓库 commit/tag 版本：未 fetch 具体仓库页面核对。
  6. 16K GPU 的"最多/峰值"性质：论文表述为 "up to 16K H100 GPUs"，即峰值规模而非全程规模；具体卡型、集群拓扑与训练时长（天）未给。
  7. "近 50 倍算力"：论文口径为预训练 FLOPs 约为 Llama 2 最大版的 50 倍（Llama 2 405B 约 7×10²⁴ FLOPs），量级可核；"近"字为稳妥表述。

工程落地与核查（Jay）

本节为第二读者审校补充：先记核查结论，再记工程落地与坑。核查以 arXiv 2407.21783 的官方 HTML 渲染文本层为准（ar5iv 版表格缺失，故补抓 arxiv.org 官方 HTML），逐条定位到原文段落。

核查结论（与原文逐条对照）

原稿结论 原文位置 判定
405B 预训练 MMLU 85.2 → 后训练 87.3 Table 13 / Table 2 ✅ 已逐格回查官方 HTML，确认
流传的 "MMLU 88.6" Table 2 ✅ 数值属实，但口径是 0-shot CoT；5-shot 为 87.3
流传的 "IFEval 86.0" Table 2 ❌ 错，405B 的 IFEval 为 88.6，已更正
流传的 "GSM8K 96.8 / HumanEval 89.0" Table 2 ✅ 与官方一致，已升为正文事实
配方含 PPO（博客口径） §4 ❌ 方向错：论文称探索过 PPO，但 DPO 更省算力且更好，最终配方不含 PPO，已更正
checkpoint 平均用 "vanilla uniform averaging" §3.4 ⚠️ 原文为 Polyak averaging；"vanilla uniform" 为第三方措辞，已改写
"六轮迭代" §4 ✅ 原文有 "six rounds"
16,000 GPU / 平均约三小时一次中断 §3.5 ⚠️ "3.38 小时/次"非原文；论文支持 16K H100、>90% 有效训练时间、至少每日一次意外中断、78% 归因硬件、GPU 问题占 58.7%，已按原文重写
markdown 有害故全部去除 §3.1 ✅ 原文 verbatim
行级去重：30M 文档桶内删出现 >6 次的行 §3.1 ✅ verbatim
176 种语言（fasttext） §3.1 ✅ verbatim
dense 而非 MoE，为 maximize training stability §3.1 ✅ verbatim
126 层 / 16,384 维 / 128 heads §3.1 ✅ verbatim
15.6T tokens / 3.8×10²⁵ FLOPs / 约 Llama 2 最大版 50 倍 §3.1 ✅ verbatim
先 8K 预训练，再持续预训练扩到 128K §3.3 ✅
退火 40M tokens、LR 线性到 0、128K 上下文 §3.3 ✅
多模态：cross-attention adapter、更新图像编码器但冻结 LM §7–§8 ✅ verbatim
多模态模型当时未发布 §8 ✅

实际系统怎么用

  1. 把长上下文验收写成 CI 门禁：short_context_recovered 与 needle_perfect@new_len 两个布尔检查，任一失败就不允许进入下一档长度。这是 Llama 3 全文最可直接落地的资产。
  2. 清洗流水线照六层顺序实现：安全/PII → 抽取 → 三级去重 → 启发式 → 模型化质量 → 领域专用（code/math 用 prompt-tuned 分类器 + 独立抽取管线）。最常被跳过的是第 5、6 层，而这正是 code/math 拉开差距的地方。
  3. 数据验收用下游任务分，不用 loss：给每批候选数据算下游任务分而非训练 loss（作者原话：loss 会偏向"更容易预测"的数据）。
  4. 退火 + checkpoint 平均直接加进现有管线：最后 40M tokens 级别的退火段 + Polyak averaging，成本极低、收益明确。
  5. 多模态按 adapter 路线接：图像/语音编码器独立训 → cross-attention adapter → 冻结 LM，只训 encoder+adapter。好处是已验证的语言能力不受影响、迭代周期可以压到几天。
  6. 自蒸馏必须挂执行反馈：代码类生成数据一定要有可执行 ground truth（编译/测试），否则 405B 的那个"自生成数据无益甚至退化"结论就会在你身上复现。
  7. 硬件故障按常态预算：78% 中断来自硬件、GPU 问题占 58.7%——把 checkpoint 频率、诊断脚本与备件写进预算，而不是当异常处理。

主要工程坑（现象 / 影响 / 修复）

  1. 直接改配置拉长上下文，模型短文本能力静默退化 - 现象：把 8K 配置改成 128K 继续训练，上线后短文本指令遵循明显变差。 - 影响：退化常常只体现在业务长尾里（如摘要长度、格式遵循），不易定位，排查成本极高。 - 修复：引入两条件门禁——新长度上 needle 完美通过 且 短上下文评测恢复到基线，才放行下一档；每次扩档保留一份 8K 回归快照做 diff。

  2. 把"去 markdown"当成普适真理 - 现象：看到论文结论，直接在自己数据里剥掉所有 markdown。 - 影响：论文的限定语是 "a model that is primarily trained on web data compared to plain text"；若你的数据是代码、文档、表格为主，剥标记会直接毁掉结构信息，且退化会以"模型变笨"的形式出现，难归因。 - 修复：把 markdown 剥离做成按数据域开关的实验（web 域开、code/doc 域关），用 A/B 下游任务分验证，而不是一刀切。

  3. 行级去重误删高质量高频文本 - 现象：30M 文档桶内出现超过 6 次的行被删，某些模板化但高质量的内容（如标准 API 文档、公式片段、法条原文）随之消失。 - 影响：论文自己承认人工分析表明会误删高频优质文本，只是"经验评估显示整体仍改进"——收益是整体层面的，损失是局部的，而局部的损失往往正是业务所需。 - 修复：对高频行做白名单采样而非直接删除（保留 top-N + 按域配额）；把"被去重命中的高频行"抽样人工审计并回流成白名单。

  4. 用训练 loss 挑 SFT 数据 - 现象：按 loss 从高到低筛"质量高"的 SFT 样本。 - 影响：作者原话：loss 偏向"更容易预测"的数据——会系统性偏向短、模板化、套路化样本，越筛越平庸。 - 修复：改用下游任务表现做数据验收（可先在小模型上跑微调再外推）；把 loss 只当收敛监控，不当质量信号。

  5. checkpoint 平均方法抄错导致退火收益打折 - 现象：按第三方问答里的 "vanilla uniform averaging" 实现（等权平均所有 checkpoint）。 - 影响：论文正文写的是 Polyak averaging（对更新步加权）；等权平均可能引入平均化的滞后、与退火 LR 调度不匹配，收益打折且难以察觉。 - 修复：按论文口径实现指数/步数加权的 Polyak averaging；用"退火段下游任务分"做验收，而不是"看起来更稳"。

  6. 把探索过的算法当成最终配方 - 现象：看到博客写 "SFT + RS + PPO + DPO"，就按四件套搭后训练管线。 - 影响：论文明确 PPO 被探索后放弃（DPO 更省算力且在大规模下更好）；照抄会白白增加训练成本与调参面。 - 修复：以论文 §4 的流程（RM → RS → SFT → DPO，六轮）为准；任何"探索过"的算法先查论文正文是否在最终配方里。

  7. 自蒸馏用模型自己的输出作 ground truth - 现象：让 405B 生成合成数据再拿去训练 405B。 - 影响：论文明确没有帮助，甚至可能退化；错误与偏差被自我放大。 - 修复：引入 execution feedback（代码可执行、答案可校验）作为 ground truth；无验证器的领域不要走这条路。

  8. 把硬件故障当异常而不是预算项 - 现象：训练计划按"连续可跑"排，中断当成事故处理。 - 影响：论文数据是至少每日一次意外中断、78% 归因硬件、GPU 问题占 58.7%；按无故障排期会系统性低估。 - 修复：把中断率写进排期公式；定期演练"kill 一个节点 → 从 checkpoint 恢复 → loss 曲线接续"；监控"有效训练时间"这一指标本身（Llama 3 的 >90% 可作为验收基线）。

  9. 多模态冻结主干后仍期待语言能力自动提升 - 现象：adapter 训完发现多模态问答的知识覆盖停留在旧版本。 - 影响：冻结 LLM 意味着语言侧的能力提升无法传导到多模态侧，adapter 只能在既有表示空间里映射。 - 修复：把多模态知识更新需求单列（定期更新 LLM 后重训 adapter，或明确接受知识冻结期）；不要把"语言模型升级"与"多模态模型"混为一次迭代。

证据边界（这一节最重要的限定）

  • 本轮核查基于 arXiv 官方 HTML（ar5iv 渲染版缺失 Table 2 / Table 13 的结构化表格，故改用 arxiv.org/abs/2407.21783 官方 HTML）。仅核对 405B 行与少数对照行，未逐格核对全部模型与全部 benchmark。
  • "vanilla uniform averaging"与"用训练 loss 挑数据"的作者表态来自 alphaXiv 公开问答，非论文正文；本轮已把 checkpoint 平均部分改为论文口径（Polyak averaging），loss 那条仍标为第三方。
  • "约 50 倍算力"是论文口径（FLOPs 对比），非本轮独立计算。
  • 未做 GitHub / HuggingFace fetch：Llama 3 Community License 文本、实际仓库 tag 与模型卡未核对；多模态权重是否发布也未核。