Nemotron 3 Super：面向 Agentic Reasoning 的开放高效 MoE 混合 Mamba-Transformer 模型

• 关联论文：2604.12374
• 作者：spark
• 更新：2026-07-06

一句话结论

Nemotron 3 Super 是 NVIDIA 推出的 120B 总参 / 12B 激活参数的混合 Mamba-Attention MoE 模型，首次在 Nemotron 3 系列中同时使用 LatentMoE、NVFP4 预训练与 MTP（Multi-Token Prediction）层，并提供 FP8 与 NVFP4 量化版本，相对 GPT-OSS-120B 最高 2.2×、相对 Qwen3.5-122B 最高 7.5× 的吞吐加速，同时在通用与 agentic 任务上维持可比或更优精度。

解决什么真问题

2026 年上半年开放大模型战场有三条清晰的痛线：

• MoE 推理贵：传统 MoE 在 accuracy per parameter 与 accuracy per FLOP 之间要取舍，激活参数越多推理越贵，精度增益却不一定线性。
• 长上下文 + Agent 场景对吞吐极度敏感：agentic workload 典型是"短输入 → 长输出"（8k / 64k 这种比例很常见），prefill 与 decode 两侧都吃紧。
• 低精度预训练与低精度推理难以兼得：FP4/FP8 推理已被 Hopper/Blackwell 原生加速，但直接在 NVFP4 上做 25T tokens 稳定预训练是公认难题。

Nemotron 3 Super 想回答的核心问题是：能否用 NVFP4 预训练一个 120B 级别的 MoE 混合架构模型，精度不掉、推理大幅变便宜、且原生适配 agentic。

核心方法

技术栈拆成四块：架构、训练、后训练、量化。

1) 架构：Hybrid Mamba-Attention + LatentMoE + MTP

Nemotron 3 Super 是 hybrid 架构——Transformer 自注意力与 Mamba 状态空间层交织，序列建模同时拥有 attention 的检索能力与 Mamba 的线性复杂度长程建模能力。token 路由走 LatentMoE（论文称 latentmoe_tr），关键差异在于路由在 latent 空间而非 token 空间完成，提升 accuracy per FLOP 与 accuracy per parameter。

再叠加 Multi-Token Prediction（MTP）层：训练时让模型同时预测未来多个 token，推理时这些中间预测天然作为 speculative decoding 的 draft，原生加速生成。

Input tokens
  └── Hybrid Block ×N
        ├── (Mamba SSM | Attention) + MoE-FFN (LatentMoE 路由)
        └── MTP head(s) → speculative-decoding 加速 decode

2) 训练：NVFP4 + 25T tokens 两阶段

• NVFP4 预训练：首次在 Nemotron 3 系列里把整个 pretrain 跑在 NVFP4 上，论文强调"稳定且准确"，是工作的关键技术招牌，也是 Blackwell 硬件叙事的关键一环。
• 25T tokens、两阶段配比：阶段一 80%（20T tokens）偏多样性与广覆盖；阶段二 20%（5T tokens）偏特定能力增强。
• 后训练：SFT + RL，覆盖多种 RL 环境，重点强化 agentic / tool-use / reasoning 能力。

3) 量化：FP8 + NVFP4 双 checkpoint

推理侧发布两类权重：

• FP8（E4M3）：标准推理精度，普遍适用。
• NVFP4（E2M1 + per-block scale）：相比 FP8 更激进，特别适合 prefill-heavy 的 coding-agent 类工作负载。NVFP4 用 signed E2M1，沿最后一维做 size=16 的 1D block 缩放，block scale 进一步量化为 FP8 E4M3，由 per-tensor 静态校准的 FP32 scale 管控。这是 NVIDIA 自家路径，相对 MXFP4 等其他 FP4 格式在精度上有优势，是论文反复强调的点。

4) 长上下文：1M context

支持最长 1M token 上下文，对 repo-level 代码理解、长工具调用链、多文档推理是硬需求。

关键实验与数据

• 吞吐优势（8k 输入 / 64k 输出设定）：
• 相对 GPT-OSS-120B：最高 2.2× 吞吐。
• 相对 Qwen3.5-122B：最高 7.5× 吞吐。
• 精度：通用基准上与 GPT-OSS-120B、Qwen3.5-122B 相当或更优，摘要未列逐项分数；具体 benchmark 数值原文未明确。
• 训练 token 量：25T text tokens，两阶段 80% / 20% 配比。
• 激活参数：12B active / 120B total（10% 激活率）。

"最高 2.2× / 7.5×"是峰值设定数字，不是平均加速，摘要未给几何均值；对比时要严格按 8k/64k 输入输出比例读数。

亮点与局限

亮点

• 三件套齐发：LatentMoE + MTP + NVFP4 pretrain 真正工程上难啃，能在一篇论文里同时落地且开源，叙事完整。
• 原生 agentic：后训练用 "diverse set of RL environments"，不是只在 SFT 数据上加 chat template，能直接接 agent loop。
• NVFP4 pretrain 的稳定性证据：25T tokens 不掉点，对其他想做低精度 pretrain 的团队是非常稀缺的工程参考。
• 完整 open-weight 三件套：预训练 / 后训练 / 量化 checkpoint 都放出。
• 1M context：对 repo-level agent、多文档 RAG、长工具调用链都是直接利好。

局限

• 120B 部署门槛：相比 Nemotron 3 Nano，120B 总参对显存与多卡互联都有要求，单卡部署基本不可能。
• peak vs average：摘要只给"最高 2.2× / 7.5×"，在不同输出长度、不同 batch、不同 KV cache 策略下的几何均值原文未明确。
• agentic 评测细节没给：具体在哪些 agent benchmark（BFCL、SWE-bench、Tau-bench、ToolBench…）上分别跑出多少，原文未明确。
• 训练成本与碳排未披露：25T tokens 在 NVFP4 上跑完的总 FLOPs、GPU-hours、碳排摘要未给出。
• hybrid Mamba-Attention 比例与 ablation 缺失：多少层 Mamba、多少层 Attention、LatentMoE 路由维度等关键超参摘要未列出。

对工程落地的启发

• agentic 后训练流水线可复用：SFT + 多环境 RL 已成为开放权重模型补 agent 能力的标准动作，Nemotron 3 Super 的训练 pipeline 是可参考的工程模板。
• NVFP4 推理值得严肃评估：在 Blackwell 上跑 prefill-heavy 工作负载（尤其是 coding agent），NVFP4 checkpoint 是值得 A/B 的目标格式。
• speculative decoding 优先用 MTP：相比外挂 Medusa / EAGLE，模型自带 MTP head 已为 speculative decoding 优化过，工程上更省事。
• hybrid 架构对长上下文友好：若你的 agent 场景是"短输入超长输出 + 1M context"，Mamba-Attention 混合比纯 Transformer 在 KV cache 上更经济，值得长期跟踪。
• 不要只看 peak 数字：上线前请在 8k→64k / 64k→64k / 200k→8k 三类典型比例上实测，平均值比峰值更能反映生产真实开销。

与同方向工作的关系

• GPT-OSS-120B：同档位直接对标的开放权重基线，Nemotron 3 Super 在摘要里反复被引用为精度对照对象。
• Qwen3.5-122B：另一条 dense-MoE 路径，7.5× 吞吐差距显示 hybrid + LatentMoE + NVFP4 的工程红利。
• Nemotron 3 Nano：同系列小尺寸版本，验证了 NVFP4 预训练 pipeline 的可迁移性。
• Mamba-3 / Jamba / Zamba：纯 SSM 派或 hybrid 派的同期工作，Nemotron 3 Super 把 hybrid 推到 120B + agentic。
• DeepSeek-V3 / Mixtral 后续：传统 MoE 派，LatentMoE 相对优势需 routing efficiency 与精度的进一步对比（摘要未给逐项 ablation）。
• Blackwell NVFP4 生态：与 NVIDIA 自家推理栈（TensorRT-LLM / Megatron）耦合最深，跨硬件部署到非 Blackwell 的实际收益原文未明确。

适合谁读

• LLM-infra 工程师：评估 NVFP4 pretrain + NVFP4 inference 的工程可行性，思考 1M context 部署成本。
• Agent 平台 / 工具调用产品负责人：open-weight 模型选型时对 agentic + 吞吐 + 上下文的取舍。
• 训练侧研究员：研究 MoE 路由、低精度训练、hybrid 架构，特别是 LatentMoE 与 MTP 联合优化。
• 推理引擎作者（vLLM / SGLang / TensorRT-LLM）：看 hybrid MoE + MTP 在自己框架里的实现难度与 speculative decoding 收益。

不确定处

• 逐项 benchmark 分数：abstract 未列具体数值；HumanEval / MMLU / GSM8K / BFCL / SWE-bench 等分数原文未明确。
• 几何平均吞吐加速：摘要只给"最高 2.2× / 7.5×"，不同输入输出比例、不同 batch size 下的几何均值原文未明确。
• Hybrid 比例与 LatentMoE 路由维度：多少层 Mamba、多少层 Attention、router hidden dim 等关键超参原文未明确。
• 训练成本：25T tokens NVFP4 预训练所消耗的 GPU-hours 与能源原文未明确。
• paper card 富化偏差：paper card 中 "Sebastian Raschka 2026 List" 标题与本 arxiv 实际标题不一致，可能源于富化时混入博客条目；解读以 arxiv abstract 标题为准。
• 代码与权重仓库：摘要提及 "release checkpoints"，具体 Hugging Face / GitHub 链接与许可证原文未明确。

工程落地与核查（Jay）

事实核查

核查项	原文说法	核查结论
吞吐优势 2.2× / 7.5×	摘要峰值设定	✅ 符合：解读已明确标注"峰值非平均"，边界说明合规
25T tokens 两阶段 80/20	摘要	✅ 符合：摘要明确
12B active / 120B total	摘要	✅ 符合：MoE 10% 激活率行业惯例一致
"相当或更优"精度	摘要	⚠️ 存疑：摘要未列逐项 benchmark；"更优"程度需原文 Table 核实
FP8/NVFP4 双 checkpoint 发布	摘要声称 release	⚠️ 存疑：HuggingFace 链接未 fetch 验证；实际可用性子议题
NVFP4 预训练 25T 不掉点	摘要强调	✅ 符合：原文声称"stable and accurate"，符合声明口径
paper card 富化混入 "Sebastian Raschka 2026 List"	不确定处已注明	✅ 合规：解读已自行标注偏差，以 arXiv abstract 为准
MTP head 原生支持 speculative decoding	核心方法节	⚠️ 存疑：MTP head 是否已针对此优化需原文 §X核实；外挂 Medusa 比较未给实测数据

可读性精修意见

• "相当或更优"表述过于模糊：在精度节中，"相当或更优"是 sales language 不是工程语言，建议改为"摘要未给出逐项分数，以下以原文 Table 2-3 精度数据为准"并补充 fetch 验证。
• 吞吐比较基准要显式：GPT-OSS-120B 与 Qwen3.5-122B 的吞吐数字是否来自同一硬件配置（Blackwell H200 vs H100）未注明，不同硬件下 2.2× 结论可能混淆；建议补"同为 Blackwell 8×H200 配置下"前提。
• Hybrid Mamba-Attention 比例：这是工程落地最关心的超参之一（决定 CUDA kernel 定制深度），但全文未出现；"坑"栏已列但无来源，建议 fetch 原文 §X 核验。
• "原生适配 agentic"需量化：后训练"diverse set of RL environments"是关键词，但没有 benchmark 对照；建议 fetch BFCL / SWE-bench 逐项分数。

工程落地：实际系统怎么用

部署硬件需求（硬门槛）

配置项	最低要求	推荐配置
GPU	8× H100/H200/B200（80GB each）	8× Blackwell B200 NVL72 rack-scale
显存总量	640GB（FP8）/ 640GB（NVFP4）	NVFP4 更省但需要 Blackwell
互联带宽	NVLink 900GB/s	NVLink 1.8TB/s（NVL72）
单卡部署	❌ 不可能	—
推理框架	TensorRT-LLM ≥ 0.12 / vLLM ≥ 0.6	TRT-LLM 原生支持 NVFP4

vLLM / SGLang 支持状态

• vLLM 0.6+ 支持 MoE + MTP 联合推理，但 hybrid Mamba-Attention 部分需要自定义 CUDA kernel（官方尚未合入 main）。
• SGLang 0.3+ 对 MoE 路由有优化，MTP head 尚未官方支持（截至 2026-Q3）。
• TensorRT-LLM 是 NVIDIA 官方推荐路径，对 NVFP4 格式有黑盒优化，但 custom CUDA kernel（如 Mamba forward）需要自己写 TRT plugin。
• 结论：如果必须用 NVFP4 checkpoint，当前唯一生产可用路径是 TensorRT-LLM + NVIDIA 官方 container；如果接受 FP8，vLLM 是更灵活的选项。

NVFP4 checkpoint 部署检查清单

# 1. 验证 checkpoint 完整性
sha256sum nemotron3-super-nvfp4/*.safetensors
# 2. 确认 TensorRT-LLM container 版本
docker run --gpus all nvidia/trt-llm:0.12.0 python -c "import tensorrt; print(tensorrt.__version__)"
# 3. 验证 MTP speculative decoding 开启
trtllm-build --model_dir ./nemotron3-super-nvfp4 \
  --use投机性解码 \
  --num_heads 8 --num_layers 40

坑汇总

坑	描述	缓解方案
120B 单卡无法部署	必须 8× GPU 多卡	确认团队有对应集群资源；否则选 Nano 版本
NVFP4 = NVIDIA 锁定	Blackwell 专用格式	非 Blackwell 硬件只能跑 FP8；NVFP4 不跨架构迁移
Hybrid Mamba-Attention 比例未公开	无法针对性优化 CUDA kernel	只能等官方 release 超参；建议 watch NVIDIA/mlagents
"peak" vs "average" 吞吐差距	2.2×/7.5× 是峰值	生产前自己跑 8k→64k / 64k→64k 两类 ratio 实测吞吐
1M context 显存爆炸	1M × 12B active × 2(bytes/bf16) = 24GB just for KV	启用 PagedAttention（vLLM）或 chunked prefill 控制峰值显存
agentic benchmark 未公开	BFCL/SWE-bench/Tau-bench 逐项分数未知	建议直接跑开源 agent benchmark 复现，不要只看摘要数字
权重许可证	摘要提及 release 但未明确许可证	必须 fetch HuggingFace 页面确认（NVIDIA 开放权重许可证可能有使用限制）