不给一条人工标注的推理示范，AI 也能自己学会「思考」—— DeepSeek-R1 的实验与它的三个坑
- 关联论文：2501.12948
2024 年底一个问题困扰整个 AI 圈：推理能力能不能不用人工标注的思维链，纯粹靠强化学习「长」出来？
当时所有用 RL 训推理的工作都重度依赖人工标注的推理轨迹——而标注长 CoT 极贵：标注者得自己会解题、会写思维过程。
arXiv 2501.12948（DeepSeek-R1）用两个模型回答：
- R1-Zero（不做 SFT 冷启动，纯 RL）：AIME 2024 pass@1 从 15.6% → 71.0%，majority voting 到 86.7%，超过 o1-0912。
- R1（补上冷启动 + 多阶段流水线）：AIME 2024 79.8%、MATH-500 97.3%，与 o1-1217 持平。
真正的结论藏在两者的差距里：纯 RL 可行，纯 RL 不够用。 这篇论文最诚实的地方，是把 R1-Zero 的失败当正结果写出来。
为什么重要：它把推理能力的来源换了
R1 之前，推理路线隐含一个前提：你得先有一批人类写的优秀思维链，多数团队因此被挡在门外。R1 证明了另一条路存在，其真正价值不是某个分数，而是把「推理能力」从一份标注资产变成一种可以涌现的行为。
它同时点出一个更本质的开放问题："the challenge of effective test-time scaling remains an open question for the research community." 在此之前 process reward model、RL、MCTS 都试过，"none of these methods has achieved general reasoning performance comparable to OpenAI's o1 series models." 与闭源 o1 相比，R1 的方法细节完全公开。
核心机制：GRPO 与「组内相对」
为什么扔掉 critic：PPO 要额外训一个和 policy 同尺寸的 critic 估 baseline——671B policy 配 671B critic，显存翻倍。GRPO 放弃 critic，改用同一 prompt 下一组输出的组内统计：
A_i = ( r_i − mean({r₁,…,r_G}) ) / std({r₁,…,r_G})
advantage 从「比平均好多少」变成「比同一道题的其他尝试好多少」。这天然契合 RLVR：正确/错误是稀疏二值信号，绝对值没意义，组内相对排序才有信息量。
奖励只用规则，刻意不用神经 RM：数学题答案进 \boxed{}，LeetCode 用编译器跑 test case，再加格式奖励。原文说不用神经 RM 是因为 "the neural reward model may suffer from reward hacking in the large-scale reinforcement learning process"——大规模 RL 下会被 hacking。模板也只约束结构、不约束内容：若写「请先反思」，你就分不清反思是学出来的还是教出来的。
R1-Zero 的 "aha moment"：AIME 曲线爬升的同时，平均回答长度从数百涨到数千 reasoning token，论文强调这是 "intrinsic development within the model"。自发涌现出 reflection、自我验证——模型自己学会了反思。
R1 的四阶段：① 冷启动 SFT，只用数千条长 CoT，格式是另一套 |special_token|<reasoning_process>|special_token|<summary>（先推理再给摘要），这是「长思考 + 短答案」结构的来源；② 推理导向 RL，新增 language consistency reward；③ 拒绝采样 + SFT，约 80 万样本；④ 全场景 RL，通用域用 RM 兜底。
最实用的一条：论文 §3.1 对照显示，在 Qwen-32B-Base 上跑 10K+ 步 RL，不如直接蒸馏一次 SFT——全部 benchmark 都更好。> 推理能力的「模式」比「过程」更重要：大模型发现的模式能当数据搬给小模型。
证据边界：负面发现比正面结果更值得记
- R1-Zero 可读性差、中英混杂——纯 RL 的直接缺陷，最终靠冷启动 SFT 打补丁。
- 纯 RL 从 base 起步不稳定。原文说冷启动是为了 "prevent the early unstable cold start phase of RL training from the base model"。
- language consistency reward 轻微损害性能（"a slight degradation in the model's performance"）——一个「改进」同时是「退步」。
- R1 未全面超越 o1：MMLU / MMLU-Pro / GPQA Diamond 上 "slightly below that of OpenAI-o1-1217"。
- 安全 RL 有「拒答税」：Chinese SimpleQA 上 R1 不如 DeepSeek-V3。
引用时还要带上：86.7% 那句原文是 "exceeding"（超过） o1-0912；两套模板语义不同不可混用；通用场景靠 RM 兜底意味着 judge 本身仍是神经 RM，hacking 风险只是被挪走；「开源」是权重开源不是可复现；组内信号消失是基于公式的推断，非原文陈述。
工程局限：五个会真踩的坑
- 奖励涨了，真实正确率没动。用 hacking 过的模型蒸馏 = 把错误模式固化进所有下游小模型。修复：双曲线监控（训练 reward vs 独立评测集准确率），背离即停训。
- 组内信号消失：全对或全错的题组不产生梯度。任务越简单，组内越可能全对，越容易的任务贡献越少梯度。修复：监控「组内有对有错」占比，动态调 G。
- 通用任务 CoT 污染：写会议纪要、翻译也先输出大段推理，token 成本与延迟成倍上升。R1 的 Stage 3 专门为通用任务准备了不带 CoT 的版本。修复：非推理样本强制无 CoT/短摘要。
- 蒸馏模型的「能力来源」被误读：R1-Distill-14B 的 AIME 69.7% 建立在 R1 已有的 80 万条高质量 CoT 上；没有 CoT 数据，同样 SFT 不会自动产生推理能力。修复：把「能力迁移」与「格式迁移」分开验证。
- benchmark 数字当业务预期：AIME 79.8%、GPQA 71.5% 是竞赛型评测，与业务任务难度分布完全不同——R1 自己在 Aider 上就落后 o1-1217。
落地顺序
① 先算verifier 覆盖率，可判定比例太低就别上 RL；② 蒸馏优先（开源 1.5B/7B/8B/14B/32B/70B 六档按显存选）；③ 自建 GRPO 最小闭环 = 规则验证器 + 格式奖励 + 组内标准化 advantage，先不做神经 RM；④ 拒答率单独立指标。
三个标题变体
- 《不给一条人工标注的思维链，AI 自己学会了思考：DeepSeek-R1 的纯 RL 实验，以及它为什么最后还是加回了冷启动》
- 《AIME 15.6% → 71.0%：推理能力真的能从强化学习里自己长出来吗？》
- 《DeepSeek-R1 最反直觉的结论：把大模型的推理「蒸馏」给小模型，比让小模型自己 RL 划算得多》
📱 小红书风格卡片文案
📌 不给一条人工标注的思维链，AI 能学会「思考」吗？
2024 年底，训推理的 AI 全都依赖人工标注的思维链——但标注长 CoT 极贵：得自己会解题、会写思维过程。
🔸 DeepSeek-R1 的答案：能。 - R1-Zero（纯 RL，无 SFT 冷启动）：AIME 2024 pass@1 15.6% → 71.0%，majority voting 86.7%（超过 o1-0912） - R1（冷启动 + 四阶段）：AIME 79.8%、MATH-500 97.3%
结论在两个模型的差距里：纯 RL 可行，纯 RL 不够用。
🔸 核心机制 · GRPO：
PPO 要配一个同尺寸 critic。GRPO 扔掉 critic，改用「同一道题的一组尝试」做标准化：
A_i = (r_i − 组内均值) / 组内标准差
→ 稀疏二值信号，组内相对排序才有信息
🔸 奖励：只用规则，刻意不用神经 RM： 原文说神经 RM 在大规模 RL 下会 reward hacking。只用答案匹配 + 编译器 test case + 格式奖励。 模板只约束结构、不约束内容——写了「请先反思」，就分不清反思是学的还是教。
🔸 R1 的四阶段：冷启动 SFT（只数千条）→ 推理导向 RL → 拒绝采样 + SFT（约 80 万样本）→ 全场景 RL。
🔸 最反直觉也最实用的一条： 在 Qwen-32B-Base 上跑 10K+ 步 RL，不如直接蒸馏一次 SFT——全部 benchmark 都更好。
推理能力的「模式」比「过程」重要。
🔸 ⚠️ 5 条负面发现（比分数更值得记）： 1️⃣ R1-Zero 可读性差、中英混杂 2️⃣ 纯 RL 从 base 起步不稳定 3️⃣ 语言一致性奖励轻微损害性能 4️⃣ R1 未全面超越 o1 5️⃣ 安全 RL 有拒答税（Chinese SimpleQA 不如 V3）
🔸 5 个工程坑： - 奖励涨了准确率没动 → 双曲线监控，背离即停训 - 全对/全错的题组不产生梯度 → 越简单的题贡献越少梯度 - 通用任务被CoT 污染 → 写周报也先思考三千 token - 蒸馏的「能力来源」被误读 → 没 CoT 数据不会自动有推理能力 - benchmark ≠ 业务预期
🔸 落地顺序： 1️⃣ 先算 verifier 覆盖率，可判定比例太低别上 RL 2️⃣ 蒸馏优先（开源六档按显存选） 3️⃣ 自建 GRPO 最小闭环：规则验证器 + 格式奖励 + 组内标准化 4️⃣ 拒答率单独立指标
📎 arXiv 2501.12948 · DeepSeek-R1 📰 已发表于 Nature 645 卷
💬 评论区聊聊：你的业务问题里，有多大比例能自动判对错？