GPT-4 技术报告：一场以「可预测扩展」为核心的方法论赌注
- 关联论文：2303.08774
- 作者：flyP
- 更新：2026-10-29
一句话结论
GPT-4 的真正贡献不是某个新模块，而是把「让训练在大规模下可预测」当作第一性工程目标——用小模型拟合的 scaling law 去外推最终 loss 与 HumanEval 能力，再据此在训练前就登记能力预测，从而把一次不可逆的万亿级训练变成一次可审计的工程决策；代价是模型规模、硬件、训练算力、数据构造与训练方法全部保密，方法论可学、配方不可复制。
它解决的真问题
上一篇同门文章（GPT-3 系列）之后，行业面临一个结构性困境：大模型训练是一次不可逆、高成本、且无法在失败后重来的决策。万亿 token 级别的一次预训练动辄消耗数百万美元，如果训练完才发现能力不达预期或安全行为失控，除了重来别无选择；而由于超大模型上做超参搜索的成本与「重训一次」同量级，传统「在小模型上扫描超参、再放大」的做法在 scaling 阶段彻底失效。
GPT-4 报告把这个问题表述得很直白："for very large training runs like GPT-4, it is not feasible to do extensive model-specific tuning"（对于 GPT-4 这样的大规模训练，做大量模型专属调优是不可行的）。因此团队的核心工程命题是：构造一套在小规模到大规模之间行为可预测的基础设施与优化方法，让「跑之前就能知道跑完会怎样」。
第二个真问题是能力与安全的前置决策。如果无法在训练前预估模型会有多强、多危险，就无法在模型上线前设计好对齐方案、防护策略与部署节奏。报告把「注册预测」（registered predictions）制度化：在训练完成前，把基于小规模 run 外推出的性能预测登记在案，训练结束后再与实测对比——这既是工程纪律，也是安全机制。
第三个真问题是评测的可信度。MMLU、GSM-8K、HumanEval 这些 benchmark 早已进入训练语料污染的射程。GPT-4 报告的做法的严格程度值得注意：污染检查中「发现 BIG-bench 的部分内容被意外混入训练集，于是从报告中剔除该 benchmark」（"we discovered that portions of BIG-bench were inadvertently mixed into the training set, and we excluded it from our reported results"）；对 GSM-8K 则明确标注「GSM-8K 训练集的一部分被纳入 GPT-4 的预训练混合数据」并在数字旁打星号。这种自我披露在技术报告中并不常见。
核心方法：三条线
3.1 Loss 预测：带不可约项的 power law
报告采用带 irreducible loss term 的 scaling law 形式：
L(C) = a · C^b + c
其中 C 为训练算力，b 为指数，c 为不可约损失下界（来自 Henighan et al. 的形式）。团队用同一套方法论、但算力最多只有 GPT-4 的 1/10,000 的小模型拟合该曲线，并且在训练刚开始不久、未使用任何部分结果 的情况下就做出了 GPT-4 最终 loss 的预测。Figure 1 显示该预测命中了 GPT-4 的最终 loss（度量对象是内部代码库数据集上的 final loss，不是公开验证集 loss）。
选 loss 而不是别的指标是有讲究的：报告原文说 "We chose to look at loss because it tends to be less noisy than other measures across different amounts of training compute"（选 loss 是因为它在不同训练算力下噪声更小）。这在方法论上是一条重要经验——要外推，就必须选方差小、单调、连续的指标。
3.2 能力预测：从 loss 走向 pass rate
更有野心的是预测可解释的能力指标。团队用算力最多为 1/1,000 的模型外推 HumanEval 的通过率（摘要原话："accurately predict some aspects of GPT-4's performance based on models trained with no more than 1/1,000th the compute of GPT-4"），关系式为：
E_P[ log( pass_rate(C) ) ] = α · C^{-k}
P 为问题子集，k、α 为正常数。这里有两个细节值得工程读者抄走：
- 对数化。用
log(pass_rate)而非pass_rate，是因为低通过率区间的pass_rate本身难以估计，方差极大；取对数后不同难度区间才可比。 - 明确的估计条件。报告说明「实践中很低的通过率难以或无法估计，因此我们把问题集
P与模型集M限制为：在给定的大样本预算下，每个问题至少被每个模型解出一次」。这是把「外推何时可信」显式写进方法，而不是事后挑数据。
团队把 HumanEval 中除最难的 15 题外的所有问题按小模型表现切成 6 个难度桶，Figure 2 展示的是第 3 容易桶的预测结果。预测在训练完成前就已登记，用的是训练前可得的信息。其余五桶表现「几乎同样准确」，主要例外是 GPT-4 在最容易的桶上低于预测。
这是一篇必须点出来的负面发现：最容易的那一桶，恰恰是外推最应该可靠的地方，GPT-4 却低于预测值。也就是说 scaling law 在能力维度上并非处处成立，p>0 且趋于饱和的区间反而是外推的盲区。
3.3 反向 scaling：Hindsight Neglect
报告同时展示了 GPT-4 逆转了「Inverse Scaling Prize」提出的部分任务趋势——在 Hindsight Neglect 任务上，模型规模增大时准确率反而不降（Figure 3，对照 ada/babbage/curie）。这与 Wei et al. 的近期结果一致。方法论含义是：scaling law 是工具不是定律，某些能力维度上「大即是好」的假设会被推翻。
3.4 多模态与后训练
架构层面披露的信息极少：GPT-4 是 Transformer 风格模型，预训练目标为文档中的下一 token 预测，输入为图像+文本交错，输出为文本。数据来源为公开数据 + 第三方授权数据。后训练使用 RLHF。参数量、层数、头数、显存、训练算力、数据配比、训练方法全部未公开。
安全侧的两个机制值得工程读者留意：
专家对抗测试：招募 50 多位来自长期 AI 对齐风险、网络安全、生物风险、国际安全等领域的专家做对抗性测试，产出直接用于改进模型（例：收集额外数据以提升 GPT-4 对「如何合成危险化学品」类请求的拒答能力）。
模型辅助安全管线（Model-Assisted Safety Pipeline）：报告指出 RLHF 之后模型仍会在不安全输入上表现脆弱，根因之一是「标注员指令在奖励模型数据采集阶段规定过粗」。为此引入 RBRM（Rule-Based Reward Models）——一组 zero-shot GPT-4 分类器，输入为 (prompt 可选, 策略模型输出, 人工撰写的 rubric)，输出把该回复分类为 (a) 期望风格的拒答、(b) 不期望风格的拒答（e.g. 闪躲或啰嗦）、(c) 含被禁内容、(d) 安全的非拒答回复。RBRM 在 RLHF 中提供额外奖励信号，从而能双向调控：在有害 prompt 上奖励拒答，在保证安全可答的 prompt 上奖励不拒答。这直接针对「过度谨慎 / 动辄拒答」这个 RLHF 的经典副作用。
关键实验与数据
能力基准（Table 2，base model，few-shot）
| Benchmark | GPT-4 | GPT-3.5 | LM SOTA | SOTA(含任务专属调优) |
|---|---|---|---|---|
| MMLU (5-shot) | 86.4% | 70.0% | 70.7% | 75.2% |
| HellaSwag (10-shot) | 95.3% | 85.5% | 84.2% | 85.6 |
| ARC (25-shot) | 96.3% | 85.2% | 85.2% | 86.5 |
| WinoGrande (5-shot) | 87.5% | 81.6% | 85.1% | 85.1 |
| HumanEval (0-shot) | 67.0% | 48.1% | 26.2% | 65.8 |
| DROP (F1, 3-shot) | 80.9 | 64.1 | 70.8 | 88.4 |
| GSM-8K (5-shot CoT) | 92.0%* | 57.1% | 58.8% | 87.3 |
* GSM-8K 训练集的一部分被纳入预训练混合数据（Appendix E）。表注原文："GPT-4 outperforms existing LMs on all benchmarks, and beats SOTA with benchmark-specific training on all datasets except DROP."
注意一个常被忽略的对比：GPT-4 在 DROP (80.9) 上低于 SOTA 的 88.4；在 GSM-8K 上 92.0% 高于 含任务专属调优的 SOTA 87.3（Chinchilla + SFT+ORM-RL + ORM reranking）4.7 个百分点（此处修正了原解读中「略低于 …… 87.3 之上」这一语义自相矛盾的表述）；而 HumanEval 67.0% 相对 SOTA 65.8% 的领先只有 1.2 个百分点，其实很薄。GPT-4 的碾压性优势集中在 MMLU（86.4% vs 75.2%，+11.2pp），其他基准多为「持平到小幅领先」。
人类考试（Table 1）
| Exam | GPT-4 | GPT-4 (no vision) | GPT-3.5 |
|---|---|---|---|
| Uniform Bar Exam | 298/400 (~90th) | 298/400 (~90th) | 213/400 (~10th) |
| LSAT | 163 (~88th) | 161 (~83rd) | 149 (~40th) |
| SAT EBR&W | 710/800 (~93rd) | 710/800 (~93rd) | 670/800 (~87th) |
| GRE Quant | 163/170 (~80th) | 157/170 (~62nd) | 147/170 (~25th) |
| GRE Verbal | 169/170 (~99th) | 165/170 (~96th) | 154/170 (~63rd) |
| USABO Semifinal 2020 | 87/150 (99th-100th) | 87/150 | 43/150 (31st-33rd) |
| Medical Knowledge Self-Assessment | 75% | 75% | 53% |
| Codeforces Rating | 392 (below 5th) | 392 (below 5th) | 260 (below 5th) |
| Leetcode hard | 3/45 | 3/45 | 0/45 |
（报告注明：这些考试用的是 post-trained RLHF 模型，未针对考试做专门训练；Table 1 用的是 post-trained 模型，而 Table 2 的学术 benchmark 用的是 base model，两者不可混读。）
三个必须点破的细节：
- Bar exam 与 Codeforces 同时出现。GPT-4 在法律考试达前 10%，却在编程竞赛上「below 5th」。这两个数字并列出现，比任何单一指标都更能说明「考试通过」与「真实难题求解」之间的鸿沟。
- AMC 10/12 2022 的人类百分位是外推的。脚注明确写着 "the human percentiles are not yet published, so the reported numbers are extrapolated and likely have wide uncertainty"（人类百分位尚未公布，报告的数字是外推的，很可能存在很大不确定性）。这类数字不应被当作实测值引用。
- RLHF 对能力几乎无贡献。报告说 "The model's capabilities on exams appear to stem primarily from the pre-training process and are not significantly affected by RLHF"，Appendix B（Table 8）给出量化对照：多选题部分全考试平均，base model 73.7% vs RLHF model 74.0%。这意味着能力来自预训练，对齐是另一条正交的轴——这个分离认知对后续所有 post-training 工作都极其重要。
污染量化（Appendix D，Table 11）
| Benchmark | GPT-4 | GPT-3.5 | 污染估计 | 非污染子集 | 衰减 |
|---|---|---|---|---|---|
| MMLU | 86.4% | 70.0% | ~0.6% | – | – |
| GSM-8K | 92.0% | 57.1% | ~1% | – | – |
| HellaSwag | 95.3% | 85.5% | –（用私有 holdout，未检） | – | – |
| AI2 / ARC | 96.3% | 85.2% | ~3.4% | – | – |
| WinoGrande | 87.5% | 81.6% | ~0.9% | – | – |
| HumanEval | 67.0% | 48.1% | 25% | 65.58% | -2.12% |
| DROP (F1) | 80.9 | 64.1 | ~21% | 82.8*（子样本） | 0 |
*HellaSwag 一栏原文用私有 secret holdout 评估，未与预训练数据比对；报告称 holdout 结果（95.6%）与训练中显式屏蔽的 validation set 接近。
这张表是全文最实用、也最容易被忽略的一张：HumanEval 是污染最严重的（25%），去掉污染后只掉 2.12 个百分点——也就是说「GPT-4 在 HumanEval 上的分数有水分」的直觉在方向上没错，但幅度远小于污染率本身。
事实性与校准（§5 Limitations）
- 内部对抗式事实性评测（九个 adversarial factuality eval）上，GPT-4 比最新 GPT-3.5 高 19 个百分点，且各主题均有显著提升。
- TruthfulQA 上，base model 只比 GPT-3.5 略好，但 RLHF 后大幅提升。脚注坦承："We did not check the RLHF post-training data for contamination with TruthfulQA"（未检查 RLHF 后训练数据与 TruthfulQA 的污染）——这是本报告最诚实也最应被记住的一句免责声明。
- 校准被 post-training 显著破坏：预训练模型的置信度（logprob）与实际正确率高度吻合；post-training 后校准度显著下降（Figure 8，图注原话 "The post-training hurts calibration significantly"）。这是一个反直觉且工程代价极高的发现——为了让模型更讨喜、更守规矩，团队牺牲了模型「知道自己什么时候会错」的能力。
其他官方承认的局限：不完全可靠、会产生 hallucination 与推理错误；上下文窗口有限；不从经验中学习；知识截止于预训练数据的绝大部分（约 2021 年 9 月）；会自信地犯错；可能过于轻信用户的明显错误陈述；会像人一样在难题上失败（如在生成的代码中引入安全漏洞）；输出仍有各类 bias。
亮点与局限
亮点
- 「可预测扩展」被提升为一等公民方法论，并配套「训练前登记预测」的制度，这是全文最有迁移价值的部分。
- 污染检查的自我披露（剔除 BIG-bench、标注 GSM-8K、Appendix D 给出逐 benchmark 污染率与非污染衰减）为整个行业树立了评测披露的标杆。
- RBRM 用模型做安全监督、且能双向调控（既奖励拒答也奖励不拒答），是对 RLHF 脆性的直接工程回应。
- 诚实的负面披露密度高：bar exam 前 10% 与 Codeforces 后 5% 并列、post-training 破坏校准、TruthfulQA 未查污染、AMC 百分位是外推、最容易桶低于预测、HumanEval 污染 25%。
局限
- 不可复现。参数量、训练算力、数据配比、训练方法、硬件配置全部保密。对绝大多数从业者而言，这份报告不可执行，只能被阅读。
- scaling law 外推存在明确盲区。最容易桶的失败说明饱和区与高通过率区不可靠外推；Hindsight Neglect 则说明部分能力维度根本不服从单调 scaling。
- 能力与安全的因果关系未被拆开。RLHF 不提升考试能力这一发现，意味着报告中的安全成绩不能被读作「post-training 同时提升了能力与安全」。
- 考试百分位 ≠ 真实生产力。Codeforces 的表现直接证伪了「考试高分即实用智能」的推断。
- 「按较低分位报告」的口径产生人为假象。报告自己承认 AP 考试上 GPT-4 拿到满分 5/5 却被标为 85th percentile，因为有 15% 的考生拿到同样分数。这类 binning 效应会系统性低估「饱和类」考试上的表现。
- 污染披露只覆盖自家评测集。论文的污染率估计方法（对每个 benchmark 随机抽 1000 个样本做匹配）对长文本任务（如 DROP 的 21%）本身误差就很大，且「未污染子集」的划分方式会直接影响「衰减」数字。
对工程落地的启发
- 建立「小规模可预测」纪律：任何要花大钱的训练前，先在 1/100 ~ 1/10000 算力上跑出 scaling curve，并用它外推最终指标。选低噪声、单调、连续的指标（loss、log(pass_rate)）而非波动大的准确率。
- 训练前登记预测：把预测写进有日期的文档，训练后主动对比。这是把「预测失败」变成可积累资产的唯一方式。
- 把 post-training 与 capability 当成两条独立轴来评测：报告用 base vs RLHF 的对照证明了二者可分离。做对齐时不要指望 RLHF 顺手涨能力；反过来，做能力时也不该假设对齐过程会自动带来。
- 不要相信 post-trained 模型的置信度：既然校准被破坏，高置信度 ≠ 正确。要获得可靠的「我可能错了」信号，需要在 base model 上取 logprob，或自建置信度校准层。
- 安全拒答要做成双目标：只优化「拒答率」会训出动辄拒答的废模型。RBRM 的做法是把「拒答风格」也纳入 rubric，同时在安全 prompt 上显式奖励非拒答。
- 自建污染检查管线：每个评测集在上线前跑一次「测试集是否出现在训练数据中」，命中就换集或剔除，并公开披露。这项工程成本低、收益高。
- 把「考试」与「实战」分开测：bar exam 类 benchmark 与 Codeforces 类 benchmark 必须同时跑。只看前者会严重高估系统可用性。
- 别指望照抄 GPT-4 的配方：能抄的是流程（预测 → 登记 → 训练 → 对比 → 披露）与评测纪律，不是配方。
与同方向工作的关系
- 与 GPT-3 系列（Brown et al.)：GPT-4 是同一技术路线的放大版。GPT-3 的「scaling laws」讨论是本文 §3.1 的直接前身；GPT-4 把 scaling law 从描述性工具变成预测性工具。
- 与 Chinchilla (Hoffmann et al.)：Chinchilla 论证「给定算力应该把预算更多分给数据而非参数」，GPT-4 的参数/数据配比完全未披露，因此无法判断 GPT-4 是否遵循 Chinchilla 结论。从 1/1,000 算力外推 loss 的实践看，其优化基础设施很可能吸收了 Chinchilla 一系的结论。
- 与 Kaplan scaling laws (Kaplan et al.)：本文的
L(C) = aC^b + c形式直接引自 Henighan et al.，而 Kaplan 的工作是 power-law 拟合的源头之一。 - 与 Inverse Scaling Prize (Wei et al.)：Hindsight Neglect 的逆转是本文对 scaling 悲观论的一个反例，也与同期「能力反向 scaling」研究形成对照。
- 与 RLHF (Christiano et al.) / InstructGPT (Ouyang et al.)：GPT-4 的后训练沿用 RLHF 路线，RBRM 是对 RLHF 在细粒度行为控制上不足的工程补丁，思路与 Glaese et al.、Perez et al. 同源。
- 与后续闭源模型（Claude / Gemini / Llama 系列）：后续各家技术报告普遍沿用「能力评测 + 安全对齐 + 有限披露」三段式，但多数未公开 scaling 预测方法；GPT-4 报告在「预测式评测」这一点上仍是行业最完整的公开样本之一。
适合谁读
- 必读：负责大规模预训练决策的工程与技术负责人；做 scaling 研究的学者；设计 eval pipeline 的评测工程师。
- 强烈建议：做 post-training / alignment 的研究者（RLHF 对能力无增益、校准被破坏这两条直接影响实验设计）；做代码生成能力评估的工程师（Codeforces 与 HumanEval 的对比值得单独一读）。
- 选择性：LLM 应用开发者只需读 §3.2、§5 Limitations、§6 中的 RBRM 段落；学生可优先读 §3 与 §5。
- 不适合：希望复现 GPT-4 的读者（不可能）；只关心「今天该用哪个模型」的读者（本篇不回答这类问题）。
待核查 / 未完全确认项
- 参数量、上下文窗口具体大小、训练算力、数据配比：原文明确不公开，本解读不做任何推测。
- AMC 10/12 2022 的百分位：原文脚注标注为外推值，uncertainty 较大，引用时须带此标注。
- TruthfulQA 上 RLHF 提升幅度的具体数值：原文以 Figure 7 图形呈现，本次未取到逐点数值，具体提升点数原文未在正文明确。
- 内部事实性评测的绝对准确率：原文只给出「比最新 GPT-3.5 高 19 个百分点」这一相对值，绝对准确率原文未明确。
- GPT-3.5 的具体版本：报告比较的是「latest GPT-3.5」，该版本号随时间漂移，跨引用时须标注取数时间。
- Figure 6/7/8 的具体数值：本解读仅依据正文与图注的定性表述，未逐点回查像素值。
- scaling law 拟合参数 a / b / c 的具体值：报告未给出 GPT-4 自身的拟合系数，只给出形式与预测命中率，具体数值原文未明确。
- 「1/10,000」与「1/1,000」的口径归属：前者对应 loss 预测（§3.1），后者对应 HumanEval 能力预测（§3.2 与摘要），两者不可混用——原解读已正确区分，本次核查确认无误。
工程落地与核查（Jay）
本节为第二读者审校 + 工程视角补强。凡本节标 ⚠️ 者，为原文自身未给出、无法二次核实的项，集中收纳于此，不散落在正文。
一、事实核查结论（已逐条回查 arXiv:2303.08774v3）
| 核查项 | 原文数值 | 结论 |
|---|---|---|
| loss 预测算力口径 | 最多小 10,000 倍 | ✅ §3.1 verbatim（"using at most 10,000x less compute than GPT-4"） |
| HumanEval 预测算力口径 | 最多小 1,000 倍 | ✅ §3.2 + 摘要 verbatim（"no more than 1/1,000th the compute"） |
| 预测时点 | 训练开始后不久、不用任何部分结果 | ✅ §3.1 verbatim |
| loss 外推形式 | L(C) = aC^b + c |
✅ §3.1 verbatim（含不可约项） |
| 能力外推形式 | E_P[log(pass_rate(C))] = α·C^{-k} |
✅ §3.2 verbatim |
| HumanEval 分桶 | 除最难 15 题外切 6 桶，Figure 2 为第 3 容易桶 | ✅ §3.2 verbatim |
| 最容易桶为唯一例外 | GPT-4 低于预测 | ✅ §3.2 verbatim |
| 专家人数 | 超过 50 位 | ✅ §5 verbatim（"we engaged over 50 experts"） |
| RBRM 输入 / 输出 | 输入 (prompt 可选, policy 输出, 人工 rubric)；输出四分类 (a)(b)(c)(d) | ✅ §5 verbatim；本解读的四分类描述与原文一一对应 |
| Table 2 全部数字 | MMLU 86.4/70.0/70.7/75.2、HellaSwag 95.3/85.5/84.2/85.6、ARC 96.3/85.2/85.2/86.5、WinoGrande 87.5/81.6/85.1/85.1、HumanEval 67.0/48.1/26.2/65.8、DROP 80.9/64.1/70.8/88.4、GSM-8K 92.0*/57.1/58.8/87.3 | ✅ 全部 verbatim |
| ⚠️ GSM-8K 结论表述 | 92.0% vs 87.3% | ⚠️ 原解读写「略低于 …… 87.3 之上」，语义自相矛盾。事实是 GPT-4 高出 4.7 个百分点，且表注明确 GPT-4 在除 DROP 外的所有数据集上超过含任务专属调优的 SOTA。已就地改写 |
| MMLU 优势幅度 | +11.2pp over SOTA | ✅ 86.4 - 75.2 = 11.2，verbatim |
| HumanEval 领先幅度 | +1.2pp over SOTA | ✅ 67.0 - 65.8 = 1.2 |
| RLHF 对能力的影响 | base 73.7% vs RLHF 74.0%（Table 8, Appendix B） | ✅ verbatim；本解读已正确区分 base/RLHF |
| 事实性 | 高出 19 个百分点（九个内部对抗式 factuality eval） | ✅ §5 verbatim |
| 污染 | BIG-bench 剔除、GSM-8K 打星号、Table 11 逐 benchmark 污染率 | ✅ verbatim；Table 11 为本次核查新增 |
| 校准 | pre-trained 高度校准 → post-training 校准下降，"hurts calibration significantly" | ✅ §5 + Figure 8 图注 verbatim |
| 知识截止 | 2021 年 9 月 | ✅ §5 verbatim |
| Table 1 考试数字 | Bar 298/400 ~90th、LSAT 163 ~88th、SAT 710/800 ~93th、GRE 163/170 ~80th 与 169/170 ~99th、USABO 87/150 (99th-100th)、Medical 75%、Codeforces 392 (below 5th)、Leetcode hard 3/45 | ✅ 全部 verbatim |
| AMC 10/12 | 百分位为外推 | ✅ 表脚注 verbatim |
| AP Biology | 满分 5/5 但记为 85th percentile | ✅ Figure 4 讨论 verbatim |
二、五个工程坑（现象—影响—修复）
坑 1：把 GPT-4 的 Table 2 分数当作「模型能力上限」，直接写进对外的能力承诺 - 现象：MMLU 86.4%、HumanEval 67.0%、GSM-8K 92.0% 这三个数字传播度最高，且常被隐去三个限定条件——(1) Table 2 是 base model 的 few-shot 结果，不是你调完 API 后拿到的产品表现；(2) GSM-8K 打了星号（训练集部分进了预训练混合）；(3) HumanEval 有 25% 污染。 - 影响：直接后果是对外承诺的 SLA 与内部评测预期错位；更隐蔽的是，污染导致的虚高会掩盖真实短板——当线上真实任务恰好落在污染最严重的分布（生成式代码补全）上时，用户看到的掉分会远超预期，而你的复盘会指向错误的归因（"模型不行"而不是"评测集脏"）。 - 修复：对外材料只引用 base model + 明确 shot 数 + 污染标注 三个要素齐全的数字；内部做能力规划时，用自己域内的干净评测集重跑一遍，不要用论文分数代替自测；对每个引用的公开 benchmark，先跑一次 n-gram 匹配污染检查，并按污染率给出置信区间。
坑 2：把 post-trained 模型的 logprob / 置信度当成"模型有多大概率答对"的信号 - 现象：报告明确说 pre-trained 模型高度校准，但 post-training 之后校准被显著破坏（Figure 8）。 - 影响：这是反直觉的，因此极容易踩：直觉上"对齐过的模型更可靠，置信度更可信"，实际正好相反。后果是——你用 post-trained 模型的 logprob 做阈值过滤/自动路由，阈值会在高置信区间失真，导致高置信错误被放行、低置信正确答案被拦掉，即恰好在最重要的区间失效；同时你在做 RLHF/DPO 时若把未校准的 logprob 当 reward 用，会引入系统性偏置。 - 修复：校准必须在 post-training 之后重新拟合——取一批 held-out 数据，用温度缩放 / isotonic regression 把 logprob 映射到真实正确率，再上线；把"校准误差（ECE）"列为每次模型更新的回归测试项，不达标不放行；RAG/agent 场景里，"我不确定"应来自独立训练的置信度估计器，而不是直接取模型 logprob。
坑 3：把「RLHF 不涨能力」误读成「post-training 不用做」或「对齐和效果二选一」 - 现象：报告说能力主要来自预训练、RLHF 对考试能力影响不大（base 73.7% vs RLHF 74.0%），同时又说 RLHF 显著改善了事实性（TruthfulQA 上大幅提升）。 - 影响：团队据此砍掉后训练预算，代价是事实性、指令遵循、拒答质量全线下滑——而这些恰恰是产品可用性的核心（考试分数不是用户价值）。更糟的是，这类误解会催生"直接用 base model 上线"的错误决策。 - 修复：把评测拆成两张表：能力轴（基准分数）与行为轴（事实性、拒答质量、指令遵循、越狱鲁棒性）；post-training 的预算按行为轴的收益排，不要用能力轴的数字做决策；特别地，事实性必须单独建内部评测集——它没有现成公开 benchmark 可抄。
坑 4：用"考试分"替代"实战分"做模型选型 - 现象：Table 1 里 bar exam ~90th percentile 与 Codeforces below 5th 并列出现在同一张表里。 - 影响：选型时被"人类考试超越 90% 考生"这类叙事带走，选了考试分高但真实任务能力弱的模型，上线后在长程代码修改、多步工具调用、模糊需求澄清上全面拉胯——这些恰好是考试不考的部分。分数与体感严重脱节时，团队往往归因为"用户不理性"。 - 修复：选型评测集必须包含至少两类：逼近目标域真实分布的自建任务（长任务、多轮、有真实噪声）+ 公开硬基准（Codeforces 类 / SWE-bench 类）；给自建集设"人类专家基线"并只报相对基线的达成率；考试类分数只能作为"知识面/基础能力"的辅助信号，不参与主要决策。
坑 5：污染检查做成一次性动作，或只用 n-gram 匹配就下结论 - 现象：报告本身给出 HumanEval 25%、DROP ~21% 的污染率——对长文本任务，短 n-gram 匹配会大量漏判语义级重复。 - 影响：一次性检查会被后续新增训练数据作废——污染是持续过程而非一次性事件，几轮数据更新后此前的结论全部失效；漏判则直接变成"模型在评测集上刷分"的隐性收益，且很难被发现（分数只涨不跌）。 - 修复：把污染检查做成数据流水线里的常驻门禁——每次语料增量入库后自动重跑，逐 benchmark 记录污染率与衰减；检查方法至少双通道（n-gram 匹配 + embedding 相似度 / LLM 判定），对长文本任务尤其如此；为每个 benchmark 维护「污染率 → 非污染子集分数」的对照表，让"分数掉了"能被正确归因。
三、给落地方案的直接建议
- 可抄的是流程不是配方。把「小规模拟合 → 训练前登记预测 → 训练 → 对比 → 披露」这条链在自己的训练项目里跑一遍，即使规模小到几千步也值得，因为最大的价值不是预测本身，而是让"预测失败"变成可积累的资产。
- 外推指标要选"低噪声、单调、连续"的。准确率、pass rate 这类离散指标在小规模上噪声大，优先用 loss、log(pass_rate)；并在拟合时带上不可约项（如
aC^b + c），否则饱和区外推会系统性高估。 - 给外推设定"可信区间"而非单点。论文给了一个可操作的判据——"每个问题至少被每个模型解出一次"才纳入统计。工程上应把这个判据显式化：低于某通过率的题目从统计里剔除，并在报告中说明剔除了多少。
- RBRM 的双目标思路可直接借用到任何"安全 vs 可用"张力场景：把"拒答"拆成风格正确性、是否含禁内容、是否是安全的非拒答等多个独立维度分别打分，而不是一个拒答率。这样才能同时压住"过度拒答"和"有害回答"两个方向的失败。
- 披露即信任。污染率、非污染子集分数、外推值的不确定性（如 AMC 百分位）——这些"不利信息"公开写出来，长期看是比多刷一个 benchmark 更有价值的资产。