Scaling Instruction-Finetuned Language Models

  • 关联论文：2210.11416
  • 作者：Tom
  • 更新：2026-07-23

一句话结论

Flan-PaLM 通过在大规模任务集上做 Instruction Finetuning，将 LLM 的零样本/少样本泛化能力推至 SOTA 水平，540B 模型在 MMLU 上达到 75.2%（5-shot），并开源了 Flan-T5 全系列（80M~11B）供社区使用。

解决什么真问题

GPT-3 以来，LLM 已经展现出强大的 In-Context Learning 能力，但模型能力高度依赖 prompt 工程，不同任务需要不同措辞才能激发最优性能。用户在实际使用中希望"说人话"就能完成各类 NLP 任务，而不必精心构造 few-shot 示例。

核心问题是：如何让 LLM 学会理解指令本身，而不是依赖示例来隐式推断任务？

核心方法

Instruction Finetuning 的三路扩展

本文在 Google 2022 年的 FLAN 工作基础上，系统性地从三个维度扩展 Instruction Finetuning：

1. 任务规模扩展 将微调任务从 FLAN 的 62 个扩展到 1,836 个任务，涵盖 Chain-of-Thought（CoT）、代码生成、对话等类型。任务来源包括：T5 的 NLP 任务、对话数据、Chain-of-Thought 数据集等。

2. 模型规模扩展 在多种架构和尺寸的模型上实验：PaLM（8B/62B/540B）、T5（80M/250M/780M/3B/11B）、U-PaLM。发现 Instruction Finetuning 的收益在模型规模足够大时才显著（"certain size" threshold）。

3. Chain-of-Thought 数据注入 在微调数据中加入了 CoT 标注数据（含 9 个 CoT 数据集），使模型在保持标准任务性能的同时，获得 CoT 推理能力。

训练流程

Pretrained LM
  ↓  (指令格式化为 "Task: X\nInput: Y\nResponse: Z")
Instruction Finetuning on 1,836 tasks
  ↓
Flan-PaLM / Flan-T5

微调使用了 T5x/SeqIO 框架，采用 Adafactor 优化器、cosine learning rate schedule、gradient clipping 等标准大模型训练配置。

关键实验与数据

模型 Benchmark 结果
Flan-PaLM 540B MMLU (5-shot) 75.2%（提升 +9.4% vs PaLM 540B baseline）
Flan-PaLM 540B BBH (3-shot) 超越 PaLM 62B（非 CoT 版本）
Flan-T5 11B BIG-Bench Hard 超越 PaLM 62B
Flan-PaLM + CoT MGSM 显著提升多步推理

具体来说：

  • Flan-PaLM 540B 在 MMLU 上达到 75.2%，是当时（2022年10月）的 SOTA ✅（与原论文 abstract 一致）
  • CoT 注入效果：启用 CoT 微调后，Flan-PaLM 在 BIG-Bench Hard 上相比非 CoT 版本有明显提升
  • Flan-T5 开源：Google 公开了 Flan-T5 各个尺寸的 checkpoint，Flan-T5 11B 在多个 benchmark 上接近甚至超越 PaLM 62B ⚠️ 需核验原文具体数字
  • 毒性分析：Instruction Finetuning 减少了有毒 continuation 的概率（相比 base PaLM）⚠️ 需核验原文是否有量化数据

亮点与局限

亮点

  1. 规模系统性研究：首次在如此大的模型规模（540B）和任务规模（1.8K 任务）上系统研究 Instruction Finetuning
  2. CoT 联合训练：将 CoT 数据纳入微调，使模型同时获得标准推理和 Chain-of-Thought 推理能力
  3. 开源贡献：Flan-T5 checkpoint 的发布对开源社区影响深远，成为后续许多工作的 base model
  4. 涌现能力验证：间接验证了"模型规模 + 指令微调"是解锁 LLM 能力的关键路径之一

局限

  1. 规模门槛：Instruction Finetuning 对小型模型（< 10B）收益有限，存在明显的"能力涌现"门槛
  2. 任务数量 vs 任务质量的权衡：扩展到 1,836 任务时，部分任务可能质量参差不齐，文中未深入分析各任务子集的具体贡献
  3. 评估 Benchmark 有限：主要在 MMLU/BBH/TyDiQA/MGSM 等学术 benchmark 上评估，真实用户场景的泛化性未充分验证
  4. 微调数据配比未公开：1,836 个任务的采样权重、数据混合比例未完全披露，影响复现

对工程落地的启发

  1. Instruction Finetuning 是 LLM 产品化的必经之路：Flan-T5 的成功说明，经过指令微调的模型用户体验显著优于 base model，且不牺牲其他能力
  2. 小模型也能受益：虽然 Flan 收益在 10B+ 模型最明显，但 Flan-T5 11B 开源后可直接用于业务，无需训练自己的 540B 模型
  3. CoT 数据是低成本提升推理能力的手段：在微调数据中加入 CoT 格式样本，可以在不改变模型结构的情况下提升复杂推理任务的效果
  4. 任务数量扩展策略：对于垂直领域应用，可以在通用指令微调后，再做领域专属的二次指令微调（如医学、金融领域）

与同方向工作的关系

  • 承接 FLAN（2022）：本文是 FLAN 的规模化扩展版本，FLAN 只用了 62 个任务和 8B 以下模型，本文首次证明规模化效果
  • 同期 InstructGPT（2022）：OpenAI 的 Instruction Tuning + RLHF 方法（InstructGPT）与 Flan 的纯 SFT 方法是两条不同路线，后来的 GPT-4/ChatGPT 证明了 RLHF 的有效性，但 Flan 方法更简单、可复现性更强
  • 启发后续工作：Flan 方法被直接应用于 PaLM-2（Google 内部），也启发了 LLaMA-Factory、FLAN-T5 在开源社区的广泛应用，以及后来 Vicuna、Mistral 等模型的指令微调策略

适合谁读

  • LLM 应用工程师：需要理解 Instruction Finetuning 对模型可用性的影响，以及如何利用开源 Flan-T5
  • NLP 研究者：想系统了解指令微调的规模化规律，以及 CoT 数据的作用
  • AI 产品经理：理解 GPT-4/Claude 等模型背后 Instruction Tuning 的重要性，为产品能力边界提供直觉
  • 开源社区开发者：直接使用 Flan-T5 作为 base model，进行二次开发

来源

  • arxiv abstract（2210.11416）：https://arxiv.org/abs/2210.11416
  • Google Research Blog（FLAN 介绍）：https://research.google/blog/introducing-flan-more-generalizable-language-models-with-instruction-fine-tuning
  • JMLR Paper Volume 25（Flan-PaLM 正式发表版）：https://jmlr.org/papers/volume25/23-0870/23-0870.pdf
  • Hugging Face Papers page：https://huggingface.co/papers/2210.11416
  • Tavily web search（方法细节补充）

工程落地与核查（Jay）

源码与最小可跑命令

  • Hugging Face Flan-T5：直接加载，无需自行训练 ```python from transformers import AutoModelForSeq2SeqLM, AutoTokenizer model_name = "google/flan-t5-base" # 也有 xxl (11B) 但需 24GB+ GPU tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

# Zero-shot 指令调用 inputs = tokenizer("Convert to haiku: Cherry blossoms fall, petals drift across the pond, spring's gentle breath", return_tensors="pt") outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0])) ```

  • LoRA 二次指令微调（推荐，非全参数）： bash pip install peft transformers datasets # 用 LLAMA-Factory 或直接用 peft 做轻量微调

⚠️ 未核验：原文 T5x/SeqIO 分布式训练超参（Adafactor 学习率、cosine schedule 具体参数）在非开源环境中无法复现；Flan-T5 的 Hugging Face 版本与 T5x 训练超参可能存在差异，建议对比 config.json 中的 d_model/d_ff 等结构参数是否与论文一致。

典型工程坑

  1. CoT 数据格式必须与推理时一致：微调时用了 "Let's think step by step." 格式，推理时若去掉该trigger，CoT 能力显著下降。生产部署时务必在 prompt 模板中保留 trigger 短语。
  2. Flan-T5 11B 显存需求：FP16 推理约 22 GB，全参数微调约 44 GB（单卡 A100 32GB 可跑推理，微调需 DDP 或 QLoRA）；若用 QLoRA（int8），可压到单卡 16 GB。
  3. 多语言任务的 CoT 适配：论文中 9 个 CoT 数据集以英文为主，多语言任务（如 TyDiQA）接入 CoT 时存在语言漂移风险；建议非英语场景先做少量域内评估。
  4. 指令微调 vs. RLHF 的取舍：Flan 方法不含人类偏好反馈，对"帮助性 vs. 安全性"的权衡不如 RLHF 细粒度；高风险场景（医疗、法律）建议在 Flan 基础上叠加规则约束层，而非单独依赖 IFiT。
  5. Flan-T5 的 token 上限：T5 架构最大 context 为 512 tokens（Flan-T5 基于 T5），长文档任务需截断或改用 LongT5 等续作。

实际系统怎么用

  • 直接调用：Hugging Face google/flan-t5-base / flan-t5-large / flan-t5-xxl 覆盖大多数产品场景，零训练成本上线。
  • 垂直领域二次微调：在 Flan-T5 基础上用领域数据做 LoRA 微调（如客服对话、医学文献摘要），注意保持原指令格式模板。
  • Agent Tool Use：Flan-T5 本身的 tool-use 能力有限（无 RLHF 对齐），复杂 agent 场景建议换用 GPT-4 或 Claude，Flan-T5 仅作离线蒸馏或国产模型微调的 teacher。
  • 评估：MMLU / BBH / TyDiQA 是标准 benchmark；自家垂直任务建议人工评估 + 自动化指标（NLI/BLEURT）双轨，避免在学术 benchmark 上过拟合而忽视业务指标。