Vision-aligned Latent Reasoning：视觉对齐的隐空间推理，让 MLLM 不再遗忘图像

  • 关联论文：2602.04476
  • 作者：Tom
  • 更新：2026-07-28

一句话结论

VaLR 通过在每个 Chain of Thought（CoT）推理步骤前动态生成"视觉对齐的 latent token"，从根本上解决了 MLLM 在长序列推理过程中视觉信息被逐步稀释的问题——VSI-Bench 从 33.0% 跃升至 52.9%，比 Qwen2.5-VL 高出近 20 个百分点，并首次在多模态大语言模型上观测到 test-time scaling 行为。

解决什么真问题

MLLM 在单步图文理解任务（如"这张图里有什么"）上已经取得了令人印象深刻的表现，但当任务需要多步推理（multi-step reasoning）时，性能会急剧下降。这不是因为模型"不够聪明"，而是因为一个更底层的问题：视觉信息在长序列生成过程中被逐渐稀释（progressive dilution）。

具体发生了什么？以一道需要推理的视觉问题为例："在这张连续三帧的视频中，球的轨迹是怎样的？"。模型需要生成一段链式推理（CoT），逐步分析每一帧。但随着生成的 token 序列变长，模型的 attention 逐渐被 text token 主导，深层的 hidden state 里视觉信息越来越少。最终，模型在推理"第 3 帧的球位置"时，实际上是在基于 text token 的统计模式做猜测，而非真正"看到"了图像内容。

这个问题带来了两个直接的负面后果：

  1. 长上下文理解受限：需要持续引用图像细节的多轮推理任务几乎无法完成
  2. test-time scaling 失效：增加推理时的计算量（更多 token、更长的 CoT）反而可能引入更多噪声，因为视觉锚点被稀释后，额外的推理步骤只是在累积错误

核心方法

VaLR 的设计简洁而精准，核心在于"在每次推理动作之前，主动注入与视觉输入对齐的中间表征"。以下是各组件的详细拆解。

Vision-Aligned Latent Token 生成

传统 MLLM 在每一步推理时，模型的 hidden state 只能从"已经生成的 text token"和"初始图像 embedding"两个来源汲取信息。随着 text token 增多，视觉信号在 latent space 中的占比被持续稀释。

VaLR 在每个 CoT 步骤之前，额外生成一组"vision-aligned latent token"。这些 token 不是随机初始化的，而是通过一个对齐模块（alignment module）显式约束其 embedding 空间与视觉编码器（vision encoder）输出的高层表征保持一致。

形式化地：设 $v$ 为视觉编码器对当前图像的输出表征（vision encoder 的最后一层），$h_l^{(text)}$ 为 MLLM 第 $l$ 层的中间 embedding。VaLR 引入对齐损失：

$$\mathcal{L}_{align} = | \text{MLP}(h_l^{(text)}) - v |_2^2$$

这个对齐项确保：即使在深层 text token 已经大量累积的情况下，生成出的 latent token 仍然保持与原始视觉输入的语义对齐。这些 token 随后被注入到 MLLM 的推理路径中，作为"视觉锚点"提醒模型关注相关视觉区域。

与 MLLM 的联合训练

对齐模块与 MLLM 主干网络联合训练，而非冻结视觉编码器单独训练后再融合。这保证了： - Latent token 的生成能真正影响后续推理路径（而非只是装饰性的视觉提示） - 对齐目标的定义（对齐到哪一层的视觉表征）是通过梯度反向传播自动学到的，而非手工指定

推理时的工作流程

输入：图像 I + 文本问题 Q

for each CoT step k:
    1. 当前推理状态：已生成 k-1 步 CoT text tokens
    2. 生成视觉锚点：
       aligned_tokens = vision_align_module(vision_encoder(I), h_current)
    3. 注入锚点：
       augmented_input = concat(aligned_tokens, current_CoT_tokens)
    4. 执行第 k 步推理：
       step_k_output = MLLM(augmented_input)
       生成下一段 text token

为什么这能解锁 Test-Time Scaling

此前 MLLM 没有观察到 test-time scaling 的原因在于：更长的推理序列导致更多 text token 被生成，视觉信号被进一步稀释，推理质量下降。VaLR 通过在每个步骤注入新的视觉锚点，打破了"推理越长、视觉信号越淡"这一恶性循环，使额外的推理步骤真正带来增益。

关键实验与数据

VSI-Bench 核心结果

模型 VSI-Bench 准确率
Qwen2.5-VL（基线） 33.0%
VaLR（本文） 52.9%
提升幅度 +19.9 个百分点

VSI-Bench（Video Symbolic Intelligence Benchmark）专门评估模型对视频中动态关系的理解能力，需要模型追踪多帧中的实体变化并进行逻辑推理——这正是长序列视觉推理的典型场景。

更广泛的 benchmark 验证

VaLR 在以下两类 benchmark 上都一致优于基线： - 长上下文理解任务：需要模型在数十帧视频中持续追踪视觉关系 - 精确视觉感知任务：需要细粒度识别图像中的具体实体和属性

关键新现象：Test-Time Scaling

这是本文最重要的发现之一。在 VaLR 之前，社区普遍观察到 MLLM 在推理任务上不具备 test-time scaling 特性（增加推理计算量不能可靠提升性能），这与纯语言模型的 scaling 行为形成鲜明对比。

VaLR 首次在 MLLM 上展示了可靠的 test-time scaling： - 随着推理步骤增加，性能持续提升而非趋于平稳或下降 - 这说明 VaLR 的视觉锚点机制有效打破了长序列推理中的视觉稀释问题

发表信息

论文发表于 ICML 2026（conference proceeding），说明工作经过了严格的同行评审。

亮点与局限

亮点：

  1. 问题定位精准：progressive dilution of visual information 是长序列 MLLM 推理失败的核心根因，VaLR 找准了干预点，而非治标不治本地堆叠模块。

  2. 设计简洁有效：不需要对 MLLM 架构做大改，不需要重新训练整个视觉编码器，只在 token 生成层面引入对齐机制，工程代价可接受。

  3. 揭示了新现象：首次在 MLLM 上观测到 test-time scaling，这对未来多模态推理模型的能力上限评估有重要参考价值。

  4. 跨架构潜力：对齐模块的设计是通用的，理论上可迁移到任何 encoder-decoder 架构的 MLLM。

局限：

  1. 训练复杂度增加：对齐模块与 MLLM 主干联合训练，意味着比单独训练一个分类头更复杂，对计算资源的需求更高。

  2. Latent token 数量未充分消融：每次生成多少个 vision-aligned token 对性能的影响，原文的消融实验不够充分，最优数量可能因任务而异。

  3. Decoder-only 架构迁移性未知：当前实验主要验证了 encoder-decoder 类型（如 Qwen-VL 系列）的 MLLM；GPT-4V 等纯 decoder 架构的迁移性尚未验证。

  4. 对齐层位置选择：与哪一层的视觉表征对齐（浅层保留更多位置信息，深层有更抽象的语义），原文未做系统性消融。

  5. 评测多样性：VSI-Bench 是主要评测基准，其他长视频理解数据集（如 ActivityNet、YouCook2）的泛化性需要更多验证。

对工程落地的启发

在推理链路中注入视觉锚点

VaLR 最重要的工程启示是：在多轮推理场景中，不要假设模型在第 N 步还能记住第 1 步看到的图像内容。

具体建议： - 对于需要多步视觉推理的 Agent（如视频分析 Agent、多图比对 Agent），在每次推理循环前，向 context 中显式注入"视觉摘要 token"——可以是专用视觉编码器的 embedding，也可以是类似 VaLR 的对齐 latent token - 视觉锚点应当来自原始图像的压缩表征，而非前一步推理产生的 text token

多模态 RAG 的双重信号问题

当前的 RAG 系统在处理多模态文档时，通常把图像转为描述文本（alt-text 或 OCR 结果），再进行检索。VaLR 表明：在检索到的上下文之外，还需要额外注入与当前图像输入对齐的视觉锚点，才能保证多步推理的可靠性。

这对视频 RAG 和图文交织文档 RAG 有直接指导意义：检索只能解决"相关内容是否存在"的问题，不能替代推理过程中的持续视觉锚定。

Test-Time Scaling 的工程价值

如果 test-time scaling 可靠，那么在关键推理任务上可以通过"推理时增加计算量"换取性能提升，而无需重新训练模型。这对部署阶段的能力迭代有重要意义：同一模型权重，通过调节推理时的 latent token 数量或 CoT 步数，可以在不同质量-成本档位间切换。

与同方向工作的关系

相关工作 核心差异
LLaVA / Qwen-VL 这些模型在预训练和 instruction tuning 阶段注入视觉信息，但没有在推理过程中持续维持视觉锚点
Chain-of-Visual-Thought 让模型显式输出视觉推理步骤，但 latent space 中的视觉稀释问题未被解决
InternVL（late fusion） 在特征层面做多模态融合，VaLR 在 latent token 生成层面做对齐，粒度更细
CoT / ReAct 纯语言模型的推理增强方法；VaLR 将类似思想迁移到多模态场景，并解决了视觉稀释这一多模态特有的问题

VaLR 与 MemGPT 等记忆系统有一个有趣的平行：MemGPT 通过层级记忆管理解决"上下文太长、记忆被稀释"的问题；VaLR 通过视觉对齐 latent token 解决"推理链太长、视觉信号被稀释"的问题。两者的干预哲学是一致的——在信息被稀释之前主动注入锚点。

适合谁读

✅ 强烈推荐： - 多模态模型研究者：关注 MLLM 的推理能力边界、test-time scaling 机制 - RAG / Agent 系统开发者：构建多模态检索增强系统，需要理解如何在长序列中维持视觉信号 - 工程团队负责人：需要提升视频理解、图文多步推理效果的技术决策者

⚠️ 参考阅读： - 纯 NLP 研究者：可了解多模态推理的具体挑战，但核心问题域与语言模型方向差异较大 - 高校学生：作为多模态推理方向的前沿工作值得一读，但需要一定的基础（建议先了解 CoT、MLLM architecture、vision encoder 的基本原理）

❌ 不推荐： - 对多模态完全无需求的纯语言模型团队（paper 与其工作方向差距较大） - 需要快速上手代码实现的读者（原文为学术论文，不含完整开源代码）

工程落地与核查（Jay）

存疑处与事实核查

  1. ⚠️ Qwen2.5-VL 基线版本未标注：解读提及 "Qwen2.5-VL（基线）33.0%"，但 Qwen2.5-VL 有 7B/72B 等多个规模，33.0% 对应哪个版本将显著影响结果的可信度和可复现性，应在原文中明确。

  2. ⚠️ ICML 2026 发表状态：arXiv ID 2602 对应 2026 年 2 月，"ICML 2026" 理论上成立（ICML 2026 在 2026年7-8月），但截至 2026-08-05 正式会议程序尚未公开可查，工程使用前应二次核验。

  3. ⚠️ VSI-Bench 是内部 benchmark：VSI-Bench 由本文团队自建，不是通用学术 benchmark，其难度分布和与其他公开数据集的相关性未充分论证，52.9% 的绝对值参考意义需谨慎解读。

  4. ⚠️ Test-time scaling 数据来源单一：该关键发现在原解读中引用来源不够详细，应在原文中找到具体 scaling curve 数据点再做工程化决策。

  5. ⚠️ 无公开代码：截至本审校，arXiv 2602.04476 未关联公开代码仓库，工程复现需自行实现 alignment module。

工程落地分析

当前可用性评估：中等。

VaLR 的核心思想（推理链路中持续注入视觉锚点）可以被工程社区直接借鉴，即使无法复现原论文：

# 工程版视觉锚点注入（简化版 VaLR 思路）
class VisualAnchorInjector:
    """
    在多步推理循环中，每步前注入原始图像 embedding 作为锚点
    避免依赖原文的对齐模块训练，自己实现一个轻量版
    """
    def __init__(self, vision_encoder, mlm_model):
        self.vision_encoder = vision_encoder
        self.mlm_model = mlm_model
        # 预计算图像的原始表征，只算一次
        self.image_embed = None

    def inject_anchor(self, image, current_tokens):
        if self.image_embed is None:
            self.image_embed = self.vision_encoder(image)  # 原始图像表征
        # 在每步推理前 concat 原始图像 embedding
        anchor_tokens = self.embedder(self.image_embed)  # 投影到 LM 维度
        return concat(anchor_tokens, current_tokens)

    def step(self, image, history_tokens):
        augmented = self.inject_anchor(image, history_tokens)
        return self.mlm_model(augmented)

部署注意点： - 原始图像 embedding 在第一步就预计算好，每步复用，避免重复视觉编码开销 - alignment module 原文用 MLP，工程上可用单层 linear 替代，效果可能略差但推理更快 - 如果模型支持 vLLM 或 SGLang，可用 custom stop 机制在特定步停止注入锚点（避免每步都注入带来的长度膨胀）

工程替代路径： | 需求 | 推荐替代 | |------|---------| | 视频多步推理（生产级）| 内部 RAG + 每步强制图像重编码（compute budget 允许时）| | 多图比对 Agent | 在 context 中同时放所有图像 embedding（适合图数量少时）| | 研究复现 VaLR | 等官方代码 / 参照 alignment module 自己实现 MLP 对齐 |

最大工程风险：对齐模块需要和 MLLM 联合训练，完整复现需要 ~8×A100 显存和 1-2 周训练周期，工程团队需评估投入产出比。轻量版（如上所示）可在不需要联合训练的情况下近似部分效果。