10B 体量打 100B+ 能力:多模态小巨人 STEP3-VL-10B 凭什么?
- 关联论文：2601.09668
过去两年多模态大模型几乎被「参数越大越强」的 scaling law 统治——235B、106B 模型刷榜,把开源社区压得只能跟随。StepFun 发布的 STEP3-VL-10B(arXiv 2601.09668)正面回击了这个叙事:用 10B 体量在 MMBench、MMMU、AIME2025、MathVision 等基准上达到或超过 10–20 倍体量的开源模型与 Gemini 2.5 Pro 等闭源旗舰。
为什么它重要
这件事如果成立,会改写整个多模态开源生态的基线。10B 的部署门槛和 235B 完全不在一个量级——单卡 A100 40GB 可跑,INT8 下 RTX 3090 也能跑。这意味着企业私有化、本地化部署重新可行,中小团队不再被「买不起卡」卡脖子。同时,作者愿意把训练数据规模、RL 轮次、推理策略全部披露,对学界做 ablation 是难得的开源样本。
核心机制:三板斧
1. 全参数解冻预训练(1.2T multimodal tokens) 架构是 language-aligned Perception Encoder + Qwen3-8B decoder。注意「全参数解冻」——与很多 MLLM 只微调 projector 不同,视觉编码器与语言解码器一起在 1.2T 多模态 token 上从头联合预训练,让两者在训练早期就形成「内在对齐」,下游对齐成本显著降低。
2. 1k+ 轮强化学习后训练 比行业常见的 100–300 轮推高一个数量级。更有意思的是任务异质性现象:推理类任务(AIME、数学)随 RL 增加持续提升且输出变长;确定性感知类任务(GUI grounding、目标定位)随 RL 增加输出反而变短——模型学会剪枝冗余 token。这说明 RL 的奖励信号在不同任务上「调教」出不同行为模式,做 RL 必须为不同任务族设计不同奖励函数。
3. PaCoRe:breadth scaling 替代 depth scaling 传统 test-time compute 是让模型一次生成更长推理链(depth);PaCoRe 走的是 breadth 路线——并行生成 K 个独立假设,做局部自检(置信度、证据一致性),再协同合成最终答案。优势是抗幻觉(多假设天然提供对照样本)、可解释(每个假设可独立审视)、资源可控(K 路并行可精确调度)。注意:PaCoRe ≠ self-consistency 的多数投票,而是带显式置信度评估与结构化协同合成的方法。
证据边界与工程局限
- ScreenSpot-V2 92.61%:原文 abstract 未列此数字,属二级来源转发,在完整 PDF 核验前应单独标注「待原 PDF 核验」。
- 「超越 Gemini 2.5 Pro / Seed-1.5-VL」:abstract 未给出具体数值对比与版本号、prompt 模板、采样策略,引用时须注明「具体口径以原文为准」。
- PaCoRe 的 K 值与 coordinate 策略:原文未给出最优值或默认配置,工程落地需自己扫参(建议从 K=4 起步)。
- 「全栈开源」是承诺非事实:截至发稿 arXiv 摘要区域未见明确 GitHub / HuggingFace 链接,生产依赖应等官方权重上线。
- PaCoRe 推理成本:K 路并行 + 协同等价于把单次推理算力预算放大 K 倍,「模型小」≠「推理便宜」。
工程落地要点
- 10B 部署:FP16 约 20GB 显存,但 Perception Encoder 需额外 2–4GB 预留,标 INT8/INT4 前务必实测保真度。
- GUI Agent:ScreenSpot-V2 上的高分让 10B 模型在浏览器/桌面自动化上第一次有了工业可用性,但跨 APP 泛化需额外微调。
- RL 训练避坑:PPO/GRPO 在多模态上易炸 KL 散度,建议 max_grad_norm=0.1 裁剪 + curriculum learning。
总评:STEP3-VL-10B 把「小模型也能做大事」从口号变成可复现的工程现实——但具体数字与对比口径仍需独立核验,生产决策请等权重实际发布。
三个标题变体
- 10B 体量打 100B+ 能力:多模态小巨人 STEP3-VL-10B 凭什么?
- 当大模型不再是唯一答案:PaCoRe 的并行推理实验
- 小模型撬动大能力:STEP3-VL-10B 的三板斧与开源现实
小红书卡片文案
🚀 10B 打 100B+:StepFun 的多模态小巨人
过去大模型越大越强,现在 10B 体量也能在 MMBench、MMMU、AIME2025 上追平闭源旗舰。三板斧:1.2T token 全参数解冻预训练 + 1k+ 轮 RL + PaCoRe 并行推理(breadth scaling 替代 depth scaling)。
⚠️ 但请记住:① 部分对比数字依赖二级来源;② K 值与 coordinate 策略无默认,需自己扫参;③ 「全栈开源」是承诺非事实,生产依赖请等权重上线。