AI 看图做题为什么总是"瞎蒙"？——2026 这篇论文，给 VLM 装上"内心独白"：先在脑子里转一张图，再开口答

• 关联论文：2609.34826

一句话故事

你有没有试过让 GPT-4V、Gemini、Qwen-VL 解决一道"把这个立方体顺时针转 90°、看哪个面朝前"的题？大概率它会答错——不是因为它不认识立方体，而是它没有"在脑子里把图转一下"的能力。人类做空间题会先在脑中 mental rotation（心智旋转）一次，再读题、再判断；而 VLM 只能把图静态读进 token，然后纯靠语言推——等于"闭着眼睛做空间题"。

WM-VLM（arXiv 2609.34826）做的事，是给 VLM 挂一个轻量级"内部世界模型"分支——让模型在推理时能自己生成"中间视觉状态"，把空间问题变成"看图→想图→再判断"的双通道推理。在程序化构造的 2D / 3D 心智旋转任务上，比 SFT 基线最高提升 39.25 个百分点，且消融实验证明增益确实来自"想图"这一步——不是 prompt 工程、不是长度偏置。

为什么这件事重要（不只给工程师看）

过去两年，VLM 在多模态推理上的痛点不是"识别"——是"推理"。识别层面 VLM 已经接近人类基线，但一旦任务涉及：

• 空间推理（"这个零件装反了，能不能继续用？"）
• 几何变换（"这张图顺时针转 90° 后像哪张？"）
• 物理直觉（"杯子倾斜后液体会流出吗？"）
• 多步视觉操作（"把这堆乐高按颜色分类、然后堆成塔"）

VLM 就会从"识图"模式退化成"猜图"模式。根本原因是它只在"语言通道"做推理——把视觉信息翻译成 caption / 坐标 / 关系描述，然后纯靠 token 推。这条路在静态任务上够用，在"需要边看边想"的任务上崩。

WM-VLM 的判断很直接：既然 VLM 已有强语言能力 + 强视觉编码能力，缺的只是"在两通道间走"的能力，那就给它一个生成器，让它能"自己画一张图当 scratchpad"。这一思路与近期"图像生成作为推理步骤""visual CoT"的方向一致，但 WM-VLM 的关键是——把"想图"内化为 VLM 的内部机制，不调用外部图像生成 API、不依赖独立 diffusion model。

对普通人来说，这意味着：下一次你让 AI 看一张"组装说明书"、一张"机械图纸"、一张"医学影像"问它"下一步该怎么操作"——它不再"瞎猜"，而是"看图→在脑里转一下→再答"。对工程师来说，这意味着：多模态推理的杠杆点不在更大的 backbone，而在"内化 scratchpad"这种轻量分支范式。

它是怎么做的（人话版）

WM-VLM 整个系统只在预训练 VLM 上追加一个轻量级分支，不重训主 VLM。机制拆成三条通路：

第一通路：主干 VLM（冻结或微调）。 拿一个现成的预训练 VLM 当骨架——论文 abstract 未明确具体是 LLaVA、Qwen-VL 还是 InternVL（这是落地前必须确认的事），但范式是通用的。

第二通路：世界模型分支（World Model Branch）。 从主干 VLM 的隐状态出发，生成"下一视觉状态" v_{t+1}。这是 WM-VLM 的核心创新——v_{t+1} 不是文字、不是离散词，而是模型内部生成的一张"想象图"，作为 scratchpad 注入下一轮推理。

第三通路：两阶段训练——先生成、再使用。 - Stage A：固定 VLM 主干，只训练世界模型分支——学会"生图"； - Stage B：放开联合训练，让 VLM 学会"用图"——基于生成的视觉状态辅助推理。

这两阶段解耦是关键——避免端到端从零学 scratchpad 时"生图 + 推理互相拖累"。

推理时的伪代码（基于 abstract 推理的示意）：

def wm_vlm_solve(question, init_image, vlm, world_model):
    state_t = encode_image(init_image)        # 初始视觉状态
    tokens_t = encode_text(question)          # 题目文本
    for step in range(max_steps):
        state_t_next = world_model(state_t, tokens_t)   # 用世界模型"想"中间图
        vlm_input = interleave(tokens_t, state_t_next)  # 把生成的图注入 VLM
        answer_or_step = vlm(vlm_input)                 # 让 VLM 给出本步答案
        if is_final(answer_or_step):
            return answer_or_step
        tokens_t = append(tokens_t, answer_or_step)
        state_t = state_t_next
    return vlm(fallback_query)

⚠️ 诚实标注：伪代码为基于 abstract 推理的示意，原文未明确给出 world model 分支的输入 / 输出维度、生成 token 数量、最大 step 数等具体细节。

关键数字（来自论文）

• +39.25 pp 峰值：在 2D / 3D 心智旋转任务上比 SFT 基线最高提升 39.25 个百分点——这是 abstract verbatim 的峰值数据。
• 消融：删除生成的视觉状态 → 性能锐降——证明增益确实依赖"想图"这一步，不是 prompt 长度偏置、不是 backbone 容量提升。
• 消融：扰动生成的视觉状态 → 性能锐降——同上，证明生成内容质量与最终答案正相关。
• 跨 2D / 3D 一致提升：心智旋转是 VLM 公认弱项，跨维度稳定提升说明收益不是单任务过拟合。

⚠️ 诚实标注：abstract 仅给"+up to 39.25 pp"峰值，未列 2D / 3D 各自的均值、不报出 baseline 绝对分数、模型规模、backbone 型号（LLaVA / Qwen-VL / InternVL 哪个被用作基础 VLM）。原文未明确。本解读无法独立验证其代码版本号、Stage A / B 训练步数、超参数——无法估算实际复现成本。

⚠️ 7 条工程落地硬边界（飞轮核查清单 · Jay）

1. 把世界模型分支当成 diffusion model 部署：误以为 world model 分支就是 SD 类模型，每步推理 100ms+。修复：落地前先确认分支是 token-level latent（轻量）还是 pixel-level diffusion；若后者，方案只适用于离线场景，实时推理不可行。
2. 端到端联合训练"生图 + 用图"：跳过两阶段直接从零学 scratchpad，生图不收敛、用图不收敛、互相拖累。修复：严格两阶段——Stage A 先固定 VLM 主干只训分支；Stage B 再放开联合训练。
3. 用真人标注的"中间视觉状态"做监督：试图用人工标注"应当生成什么图"，标注成本爆炸、且不一定比程序化 ground-truth 准。修复：用程序化任务（CAD、几何变换、可微渲染）构造 ground-truth 视觉状态，自动化生成。
4. 忽略"生成的视觉状态污染 prompt"：把生成的图像无处理塞给 VLM，图像分辨率 / 通道与预训练不匹配，VLM 主干解码失效。修复：把生成结果 resize / normalize 到主干 VLM 训练时的输入分布；优先用 feature-level injection 而非 pixel-level。
5. 用 VQA 通用基线作 ablation 对照：把消融当 baseline，掉"不知是扰动产生还是 prompt 损坏"。修复：消融时同时保留 base VLM + 同长度 prompt 控制组，区分"图像增益"与"prompt 长度增益"。
6. 跨域泛化未测：只在心智旋转任务看 +39.25 pp 就想推广，物理题、机械装配、医学影像等未见支持。修复：上线前先在 MathVista、MMMU、RealWorldQA、3D 装配等任务做 5-shot 评测。
7. world model 分支与 VLM 主干训练数据分布错位：主 VLM 用网页图文训练、分支用程序化几何数据训练，生成的视觉状态"几何对、视觉风格别扭"，主干解码时被风格噪声拉偏。修复：分支训练数据应混入同分布的视觉风格 augmentation；或者用 latent token 而非 pixel 输出，避免风格漂移。

一句话总结

WM-VLM 不是"更大的 VLM"——它是"给 VLM 装上'内心独白'"。在预训练 VLM 上挂一个轻量级世界模型分支，让模型在推理时能自己生成"中间视觉状态"当 scratchpad，把空间问题从"闭眼猜"变成"看图→想图→再判断"的双通道推理。在程序化构造的 2D / 3D 心智旋转任务上比 SFT 基线最高 +39.25 pp，消融实验证明增益确由生成的视觉状态贡献——是 2026 年 VLM 推理范式跳变的标志性工作。

适合谁读

• VLM 研究员——想让 VLM 拥有"内部想象"能力的研究者，WM-VLM 是当前最直接的范式参考。
• 多模态推理工程师——在空间 / 物理 / 几何任务上 VLM 失效的痛点负责人，可以评估"内化 scratchpad"分支范式是否值得落地。
• AI 产品架构师——评估"图像生成作为推理步骤"是否值得产品化，WM-VLM 给出了"不依赖外部 API"的轻量分支路径。
• RL / World Model 方向研究者——寻找 world model 新 application 的人，WM-VLM 把 RL 路线关注的环境动力学预测迁移到了 VLM 空间推理。
• VLM 微调工程师——评估 LoRA / adapter / 分支扩展可行度的人，WM-VLM 的"轻量分支 + 冻结主干"范式可借鉴。
• 评测体系设计者——想做"可验证中间状态"型 benchmark 的人，WM-VLM 用程序化任务把"生图能力"与"用图能力"分开评估的思路值得抄。

三个标题变体

反直觉版：AI 看图做题总是"瞎猜"？——2026 这篇论文，给 VLM 装上"内心独白"，让它先在脑子里转一张图

数字钩子版：+39.25 pp、跨 2D / 3D 一致提升——WM-VLM 让 VLM 学会"看图→想图→再判断"

类比版：给 VLM 装一个"内心的小屏幕"——2026 这篇论文，让 AI 边看图、边在脑里转一张图、再开口答

📱 小红书风格卡片文案（直接可用）

🧠 AI 看图做题为什么总是瞎蒙？因为它没有"内心独白"

📌 一句话：给 VLM 装一个"内部世界模型"分支，让模型推理时能自己生成"中间视觉状态"当 scratchpad

🔍 它做了什么： - 在预训练 VLM 上追加一个轻量级世界模型分支——不调外部图像生成 API - 两阶段训练：Stage A 先生成（学"生图"）、Stage B 再使用（学"用图"） - 推理时把生成的视觉状态注入 VLM，让"看图→想图→再判断"成为闭环 - 程序化任务精确控制"中间状态该是什么"，独立评估生图质量与用图质量

📊 关键数字： - 2D / 3D 心智旋转任务上比 SFT 基线最高 +39.25 pp - 消融：删除生成的视觉状态 → 性能锐降（增益依赖生图） - 消融：扰动生成的视觉状态 → 性能锐降（生图质量与最终答案正相关） - 跨 2D / 3D 一致提升，不是单任务过拟合

⚠️ 工程落地硬约束： - 世界模型分支是 token-level latent 还是 pixel-level diffusion？落地前必确认 - 必须严格两阶段训练——跳过 Stage A 直接联合训练会"生图 + 用图互相拖累" - 不要用真人标注"中间视觉状态"，用程序化任务（CAD / 可微渲染）自动化生成 - 程序化评测结论可能无法迁移到真实场景，上线前用真实相机数据做 10-20 case 端到端测试

👥 适合谁看：VLM 研究员、多模态推理工程师、AI 产品架构师、World Model 方向研究者、评测体系设计者

🏷️ #VLM #多模态推理 #世界模型 #心智旋转 #VisualCoT #Scratchpad #WM-VLM #2026AI #AI推理范式