GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed

  • 关联论文：2609.39600
  • 作者：Tom
  • 更新：2026-10-13

一句话结论

GroundAnything 将视觉定位（Visual Grounding）重新建模为双向扩散的「视觉证据抽取」任务，通过 Blockwise Denoising 实现并行解码，在 4B 参数量级上以 4.51× 加速追上甚至超越 GPT-6 Astra 的定位精度。

解决什么真问题

视觉定位任务要求根据语言查询在图像中精确定位目标实体，现有 AR（自回归）范式将空间预测序列化——先预测物体 A，再预测位置 B，引入顺序延迟并强加因果解码顺序。这个因果顺序并非任务本质所需：图像和查询共同约束所有物体、位置和空间关系，但这些依赖并不天然要求「从左到右」的生成序列。

核心痛点： - 顺序延迟：AR 解码必须逐 token 生成，无法并行 - 因果顺序约束：人为引入的生成顺序与任务内在依赖不符 - 精度 vs 速度二选一：传统方法在快速定位与精确定位之间必须取舍

核心方法

核心洞察：将 Grounding 重新定义为 Visual Evidence Extraction

论文的核心思想是把「Grounding」看成从图像和查询中「抽取视觉证据」的过程，而非「按序生成坐标」的过程。物体、位置和空间关系被图像和查询共同约束，但它们之间的依赖并不暗示「从左到右的生成顺序」——这使得双向扩散成为自然选择，让空间假设并行涌现，再通过迭代去噪联合精化。

Blockwise Denoising（分块去噪）

GroundAnything 引入 Blockwise Denoising：不是对一个完整的长序列去噪，而是对多个空间块并行去噪，再联合精化。空间假设在并行阶段并行产生，在去噪阶段相互交互，从而解决「高精度」与「并行速度」之间的张力。

训练管线（四阶段）

  1. Grounding Pretraining：在公开数据集上进行预训练，并配合专门构建的数据引擎
  2. AR-to-Diffusion 直接转换（Direct AR-to-Diffusion Conversion）：使用 AR 预训练权重初始化扩散模型，结合 Joint AR and Diffusion Objectives（联合 AR 与扩散目标）
  3. Supervised Fine-Tuning（SFT）：有监督微调
  4. GRPO-based Reinforcement Post-Training：基于 GRPO（Group Relative Policy Optimization）的强化学习后训练

架构：GroundAnything 与 GroundAnything-VLM

  • GroundAnything：纯扩散解码器，专为 Grounding 任务优化
  • GroundAnything-VLM：融合 VLM（视觉语言模型）的 AR 变体，在 COCO Finetune mIoU 上建立同尺寸 SOTA

解码策略

  • Entropy-guided Decoding：利用熵引导解码，降低不确定性
  • Self-speculative Mode（自推测模式）：可选模式，用自推测解码换取更高速度

关键实验与数据

COCO 总体精度

模型 COCO F1 mIoU
GroundAnything-VLM（ours） 72.42%
GPT-6 Astra 71.35%

GroundAnything-VLM 以 4B 参数在同尺寸模型中建立新的 SOTA，超越 GPT-6 Astra。

Entropy-guided Decoding 对比

模型 平均精度
GroundAnything（entropy-guided） 61.75%
MTP-based LocateAnything（fast） 53.32%

entropy-guided 解码超越此前同尺度的 fast SOTA，幅度约 8.43 个百分点。

加速实验（Self-speculative Mode）

模式 速度提升 COCO F1 mIoU 下降
Self-speculative Mode 4.51× 0.74 个百分点

自推测模式带来 4.51 倍加速，仅损失 0.74 个百分点的 mIoU。

30 个 Grounding 基准覆盖

论文在 30 个 grounding benchmarks 上全面评估，展示了方法的泛化能力。

基础设施实验

论文包含渐进式推理优化（progressive inference optimizations）的消融实验，验证并行解码实际转化为端到端速度提升，支撑低延迟真实系统的视觉定位需求。

亮点与局限

亮点

  1. 范式突破：首次将 Grounding 从 AR 序列化范式「解放」到并行扩散框架，从根本上消解了因果顺序约束
  2. 精度不妥协：72.42% 超越 GPT-6 Astra，证明了并行解码与精确定位可以兼得
  3. 四阶段训练管线：AR-to-Diffusion 转换 + GRPO 强化后训练，为扩散模型与 RL 的结合提供了新范式
  4. 自推测加速：4.51× 加速仅牺牲 0.74pp，为延迟敏感场景提供实用解法
  5. 工业级规模：4B 参数 + 30 基准 + 完整代码/模型开源，工程可复现度高

局限（⚠️ 原文未明确的部分）

  1. Blockwise Denoising 的块数/块大小如何自动确定：论文消融未明确披露超参搜索空间
  2. GRPO 强化后训练的训练成本：仅描述方法，训练时长/算力消耗未量化
  3. 与更大模型（如 7B+）的对比：仅与同尺寸（4B）对比，更大参数量的 AR 基线未作为对比项
  4. 长语境图像（如超高分辨率）下的表现：30 个基准的具体场景分布未明确
  5. 与其他扩散 Grounding 方法的系统对比：仅与 AR 方法对比，扩散路线内部比较缺失

对工程落地的启发

  1. LLM/VLM 视觉模块的加速范式可迁移：Blockwise Denoising + Self-speculative Decoding 的组合对其他多模态模型有借鉴意义，在保持精度的同时换取实际延迟下降
  2. AR-to-Diffusion 转换路径实用：提供了一种将已有 AR 预训练权重迁移到扩散框架的可行路线，降低了从零训练扩散模型的成本
  3. 强化后训练是视觉模型的下一个提升点：GRPO 等策略在 LLM 中已验证，迁移到视觉定位任务显示有效，工程团队可探索类似的后训练 Pipeline
  4. 低延迟 Grounding 有真实需求：论文明确目标为「latency-sensitive real-world systems」，适用于机器人操纵、实时 AR/VR、边缘部署等场景

与同方向工作的关系

  1. vs. LocateAnything（MTP-based）：同为快速 Grounding 方案，GroundAnything entropy-guided 版本以 61.75% 对 53.32% 显著超越，且架构更简洁（无 MTP 辅助）
  2. vs. GPT-6 Astra：同为 VLM-based Grounding，GroundAnything-VLM 以 72.42% 超越其 71.35%，参数规模相近但架构路线不同（扩散 vs AR）
  3. vs. 传统 AR Grounding 模型：根本范式差异——AR 模型受限于序列生成顺序，GroundAnything 通过扩散打破此约束
  4. 学术脉络：属于「扩散模型用于视觉定位」方向，与 DiffusionDet（检测）、Denoising MVC（多视角）等扩散视觉工作有技术继承关系

适合谁读

  • 多模态模型研究者：理解 AR 与 Diffusion 在视觉定位任务上的范式之争与融合路径
  • 机器人/具身智能工程师：需要低延迟、高精度视觉 Grounding 的真实系统开发者
  • 扩散模型应用探索者：AR-to-Diffusion 转换 + GRPO 后训练提供了可借鉴的 Pipeline 设计
  • 工业 AI 团队：评估视觉定位在边缘/实时场景中的可行性

注：所有数字均来自 arXiv:2609.39600 原文 abstract / comments / 论文页面，⚠️ 处为原文未明确或需进一步核实的内容。