2022年，Meta 训练了一个 175B 参数的大模型，然后把训练过程的"黑匣子"也一并公开：114 页 logbook、每一次失败重启的记录、model card、数据 datasheet。这是今天几乎所有大模型团队发布训练日志的源头，比 Llama 3 早两年。
- 关联论文：2205.01068
为什么重要：2022 年初，GPT-3 有权重但没有研究权限——你只能调 API，拿不到参数，做不了 mechanistic interpretability、权重级消融或训练数据反向工程。想复现？论文原话说得很直接："these models are difficult to replicate without significant capital." OPT 想同时解决三件事：用公开数据训出 GPT-3 级别的模型、把成本压下来、并且说清楚"训练到底贵在哪"。真正被低估的是第三件——它没有只报最终成绩，而是把训练还原成一条可排期的工程事件流。
核心机制：OPT-175B 是 GPT-3 架构的微调版，不多做花活：decoder-only、pre-LayerNorm、ReLU（而非 GELU）、GPT-2 byte-level BPE、2048 上下文、约 180B English tokens。架构为 96 层 / 96 heads / d_model 12,288，峰值 LR 1.2e-4，全局 batch 2M tokens，AdamW(β₁=0.9, β₂=0.95)、weight decay 0.1、dropout 0.1（embedding 除外）。算力上是 FSDP + Megatron-LM tensor parallel 的组合，992 张 A100 80GB，最高 147 TFLOP/s/GPU。这套组合后来成了行业标配——今天的训练栈几乎都是这个骨架。
语料侧也有真功夫：RoBERTa 语料 + The Pile 的部分子集 + Pushshift Reddit（只取每个 thread 的最长评论链，语料因此少了约 66%），再用 MinHashLSH 以 Jaccard ≥ 0.95 做去重，论文还专门提醒"The Pile 重复文档特别多，建议后来者再做一遍去重"。而 2022 年那次真正留下的数字是失败率：至少 35 次人工重启、估计 70+ 次自动重启、100+ 台主机被轮换下线、整个周期约 2 个月。logbook 逐日记录值班人员、loss spike、学习率调整和每一次中断原因。
还有一个容易被忽略的设计：125M 到 175B 共 8 个档位全部开放（125M/350M/1.3B/2.7B/6.7B/13B/30B/66B/175B）。这让研究者能做缩放律拟合和数据配比消融，而不是只能对着一个大模型干瞪眼；OPT 早期甚至是在 1.3B 档上做数据子集的梯度稳定性筛选。
证据边界：常被引用的"碳足迹只有 GPT-3 的 1/7"要打折看。75 吨 CO₂e 是基础估算，论文 §5 明说把 ablation、baselines 和 downtime 计入后总成本约 2 倍（≈150 吨），与 GPT-3 的 500 吨之比因此约为 1/3.5 而非 1/7；而 GPT-3 的 500 吨本身也是外部估算，两边核算边界并不完全对等。评测上，论文测的是 16 项任务，zero-shot 平均是去掉 MultiRC 与 WIC 后的 14 项（作者主动移除，因为这两个集系统性偏袒 GPT-3 或 OPT）；few-shot 表现论文的图注明说是 lags behind GPT-3。"验证 perplexity ~7.0" 只出现在曲线图里，正文未给数值。训练语料未做人工 moderation，论文实测 OPT-175B 的 toxic generation rate 高于 PaLM 与 Davinci——这是作者自陈的坦率负面发现。175B 权重也不是真正公开：需签非商业协议向 Meta 申请，model card 明说 "not present in the code repository but available upon request"。
工程局限：① 排期若按"理论算力 ÷ 实测吞吐"算，几乎必然低估一倍以上，uptime 修正系数要显式乘进公式，并把"诊断与重启"当作一等预算项（值班人力、诊断脚本、备件）；② checkpoint 与恢复流程必须在第一次开机前就绪，并定期演练"随机 kill 一个节点 → 自动恢复 → loss 接续"，没被真实故障检验过的恢复脚本会在第一次故障时二次失败；③ 碳数字必须成对出现——基础口径 + 完整口径 + 未纳入项清单，否则半年后会被当成"已含全部开销"的硬指标引用；④ 部分 The Pile 子集在 1.3B 规模上就引发梯度范数 spike而被剔除，"The Pile 全量可用"是个危险误解，数据配比要先在小档做稳定性筛选；⑤ 梯度裁剪从 1.0 收到 0.3、以及用 gradient predivide 拆开除以 world size 这类细节常被省略，却直接决定长跑稳定性；⑥ OPT 是纯预训练模型，无 SFT/RLHF，不能直接当 chat model 上线——而且论文实测其毒性高于 PaLM 与 Davinci，直接上线等于把偏见与有害续写一起交付。
还有一点值得记住：论文自陈 "the energy cost of creating such a model is still nontrivial, and repeated efforts to replicate a model of this size will only amplify the growing compute footprint."——它在倡导开放的同时承认开放会放大总算力消耗，并把这句自相矛盾的话写进正文而不是藏起来。这种坦白本身就是被后来者继承的东西。
标题变体
- Meta 把 175B 模型的"失败日志"也公开了：35 次人工重启、100+ 台机器报废，这才是开放权重的真门槛
- 75 吨 vs 500 吨：OPT 的碳故事讲了一半，另一半在 114 页 logbook 里
- 别只抄 OPT 的模型卡：它真正改写行业的是那份"训练会失败"的公开记录
小红书卡片文案
Meta 2022 年放出 OPT-175B 时，附了一份 114 页的训练日志：至少 35 次人工重启、70+ 次自动重启、100 多台主机轮换下线、训了整整两个月。这份 logbook 比模型本身更被低估——今天大模型圈敢公开训练失败率，源头就在这儿。它还顺手拆掉一个流传很广的误读：所谓"碳足迹只有 GPT-3 的 1/7"，75 吨只是基础估算，把消融实验和故障停机算进去要翻倍；而且 175B 权重其实要签非商业协议才能拿到，谈不上"完全开放"。做训练的人最该抄的是它的失败率数字：排期按理论算力算，一定低估一倍以上。架构上它反而很朴素——ReLU 而不是 GELU，2048 上下文，纯预训练不做后训练。少即是多，这篇论文的方法论就是"减少需要重新解释的东西"。