CoT 拖垮视觉空间推理：两篇 ACL 2026 对照精读（flyP）

精读时间： 2026-06-29 15:50 CST（flyP 第 3 轮 / 当天末班） 本次主题： 多模态推理模型（MRM）在视觉空间 / 感知任务上是否反而被 Chain-of-Thought（CoT）拖垮 精读对象（双篇对照）：

1. A： Chain-of-Thought Degrades Visual Spatial Reasoning Capabilities of Multimodal LLMs - arXiv: 2604.16060（v1：2026-04-17） - ACL Anthology：https://aclanthology.org/2026.acl-short.71.pdf（ACL 2026 Short） - 作者：Sai Srinivas Kancheti（IIT Hyderabad / MSR India）, Aditya Sanjiv Kanade, Vineeth N. Balasubramanian（MSR India）, Tanuja Ganu（MSR India） - 标签：multimodal visual-spatial-reasoning CoT MRM shortcut-learning No-Image++

2. B： Look Light, Think Heavy: What Multimodal Chain-of-Thought Reasoning Can and Cannot Do - arXiv: 2606.22565（v1：2026-06 上半月） - ACL 2026（AI Weekly 引用，https://aiweekly.co/alerts/acl-2026-chain-of-thought-hurts-multimodal-visual-grounding） - 标签：multimodal visual-grounding perception-vs-reasoning Look-Light-Think-Heavy

Substack 补充： AI Weekly（https://aiweekly.co/alerts/acl-2026-chain-of-thought-hurts-multimodal-visual-grounding）——非 Substack 平台，但承担"高质量第三方解读"角色。后续仍可在 Raschka/Cameron Wolfe 频道追踪是否有更深入展开。

一、一句话核心贡献

在视觉空间 / 视觉感知任务上，CoT（无论是 prompting 还是 RL 后训练）不是 free lunch，反而系统性拖垮模型表现；真正的瓶颈是"视觉反思"被链式文字反思挤掉。 两篇工作从不同实验规模、不同机制解释、不同任务切面，互相印证了同一现象。

二、关键论证与实验数据

2.1 论文 A（Kancheti et al., 2026, ACL short）

MRM 在 CoT 下系统跑输自己的 backbone： "7 out of 8 reasoning models failed to surpass the backbone they were distilled from"。最触目惊心的对照：

观察： 8 个 MRM 中 7 个 CoT 表现 ≈ 或 < backbone；唯一严重掉点是 GThinker（−23pp）。这意味着在空间任务上"RL 后训练让模型学会先想后答"这件事没有普遍收益，且在某些模型（GThinker）上是反噬。

对普通 MLM： 在多种 backbone（含 Qwen2.5-VL-7B-Instruct 等）上，CoT prompting 平均让准确率下降约 3%。

No-Image++ 消融（最锋利的实验）： 把图片替换为空白图，并提供 "Cannot determine" 选项：

• 推理型模型继续自信地选错，从文本先验中"幻觉"出视觉细节；
• 结论：MRM 严重依赖文本先验做"视觉推理"，而不是真正在看图——这是 shortcut learning 的典型证据。

2.2 论文 B（Look Light, Think Heavy，ACL 2026）

主要发现：

1. 感知任务上 CoT 是有害的： visual grounding 和 object counting 上 CoT 拖垮表现（论文给出 reduced performance 的定性描述，未给出统一 pp 数值，需要查正文表格）。
2. 推理任务上 CoT 仍有用： 数学、科学、多图推理上 CoT 显著提升。
3. "Look Light, Think Heavy" 机制： 长 CoT 过程中，verbal reflection 上升，visual reflection 一致下降——视觉注意被链式文字推理挤掉，而非"边想边看"。
4. 开源 MRM 的边际收益有限： "marginal overall improvements, possibly due to an overemphasis on mathematical reasoning"——直接质疑当前开源 MRM 的训练数据配方（数学偏食）。

2.3 双篇的对话关系（flyP 视角）

两篇独立工作，同一窗口、同一结论 → 现象可信度从单篇 ⭐⭐⭐ 跃升到 ⭐⭐⭐⭐。

三、批判性判断（审稿视角）

3.1 优点

1. 打在了社区最疼的点上。 当前所有 frontier MLLM（GPT-5-Vision / Gemini-2.5-Pro / Claude-Opus-4 / Qwen3-VL-Thinking）默认开启 thinking / CoT；这两篇工作直接告诉学界："thinking" 不是普适增强，而是一种领域相关代价。
2. 实验规模扎实。 论文 A 的 17 × 13、论文 B 的 22 模型 × 12 任务，比同期"我们测了 5 个模型"工作高一个数量级。
3. 机制解释互相加固。 A 的 No-Image++（依赖文本先验）和 B 的 Look-Light-Think-Heavy（视觉反思下降）从两条独立路径解释了同一现象，互相不被对方证伪。
4. 可操作的工程结论。 给了 deployer 一条清晰规则：感知类任务关掉 thinking，推理类任务保留 thinking；MRM 训练数据应去"数学偏食"。
5. 与 flyP 历史线索高度共振。 6-21 flyP 精读的 VSTAT、6-22 的 SR-ReaL、6-21 的 S-Agent、6-28 的 TVI-CoT 和 PRCO 多模态推理，都是在视觉空间 / 多模态推理方向上累积信号；这两篇工作把"CoT 在视觉上的有限性"从一个零散观察升级为有双证据的现象。

3.2 主要问题与风险

1. 论文 A 的 GThinker -23pp 单一离群点需要解释。 摘要只说"7/8 MRM 跑输 backbone"，但没有给出每个模型的标准差、prompt 敏感性、是否随机种子多次平均。GThinker 这个 -23pp 是否来自 prompt 模板不当、format penalty、或单一数据集失败？需要看论文主体表格才能确认它不是 cherry-picked 离群点拉低均值。
2. 论文 B 的具体 pp 数字缺失。 AI Weekly 摘要里没有具体百分点，给的是定性 "reduced performance"。读者无法判断 grounding / counting 上 CoT 退化幅度是 1pp 还是 10pp。待补查：arXiv 2606.22565 全文表格。
3. 两篇论文的 closed-model 覆盖度都较弱。 A 和 B 都以开源模型为主（GPT-4o / Gemini 等只在边缘位置出现），但实际部署最广的恰是闭源 frontier 模型。AI Weekly 自己就指出："whether the same degradation applies to closed frontier models not included in the study" 是公开问题。
4. "CoT 拖垮"的边界条件未被显式建模。 论文 B 给出了任务分类（perception vs reasoning），但没有给出"何时该开 CoT"的可学习判别器 / threshold——给工程团队的 actionable 工具仍然偏弱。
5. No-Image++ 的解读可能被高估。 空白图 + "Cannot determine" 选项下，模型选错也可能来自选项格式偏好（model 倾向输出非 "Cannot determine" 类的具体答案），而非纯文本先验。论文没有做 permutation 基线或随机化选项顺序来排除格式偏差。
6. Look-Light-Think-Heavy 的因果性弱。 "视觉反思下降"是描述性观察，不是因果性证据。模型可能本就不依赖 image tokens 完成 counting / grounding，但 CoT 让它更明显地"少看"——这与"CoT 主动挤掉视觉 token"是两回事。需要 attention rollout / token attribution 的对照证据，目前两篇都偏缺。

3.3 实验可信度

四、与 flyP 历史精读的对照

核心信号： flyP 过去 10 天追踪的 7-8 篇视觉空间 / 多模态推理工作几乎都在"加 CoT / 加 RL / 加 thinking"——本轮两篇是反向证据。视觉空间 / 感知类 MLLM 的下一步不是更长的 thinking，而是 (a) 看图注意力的显式约束 + (b) 任务感知的 thinking 开/关策略 + (c) 训练数据去数学偏食。

五、对工程实践的具体建议（可直接落地）

1. 任务分类 CoT 策略： 内部部署的 MLLM 路由应当按 task class（perception vs reasoning）自动决定是否打开 thinking；不要默认开。
2. vision token 利用度监控： 在生产日志里采样 attention rollout，统计 image token 的 attention mass 随 CoT 步数的变化——Look-Light-Think-Heavy 现象可以被监控而不是只能事后分析。
3. 闭源 frontier 模型自检： GPT-5-Vision、Gemini-2.5-Pro、Claude-Opus-4、Qwen3-VL-Thinking 应当内部用 BLINK / MMVP / CV-Bench 重测，看闭源模型是否同样受害。待补查：是否有第三方复现博客 / GitHub。
4. MRM 训练数据去数学偏食： 如果要做 post-training，监督 / RL 数据的 domain mix 应当限制数学占比 ≤ 30%，并显式覆盖空间 / 计数 / 定位。
5. Agent 多步 spatial tool-use： 在 Agent 场景里，每步 tool call 后强制重新编码图像（look-again 机制），而不是把 image 当成一次性 prefix——这是对 Look-Light-Think-Heavy 的工程对策。

六、是否入库 & 后续动作

• 建议入库： ✅ 是。建议归入 notes/multimodal/visual-spatial-reasoning.md 主题页，并在 reviews/ 下分别建：
• reviews/2026-06-29-cot-degrades-visual-spatial-Kancheti.md
• reviews/2026-06-29-look-light-think-heavy-multimodal-cot.md
• 后续验证（待补查）： 1. 论文 A 的 GitHub 代码库链接（论文未明示，HTML 全文也未明显给出；可能放在 ACL short appendix 或作者主页）。Tanuja Ganu LinkedIn 已发文宣传，链接应在 profile 或公司页面。 2. 论文 B 的具体 pp 数字表（视觉 grounding / counting 上 CoT 的下降幅度）。 3. 闭源 frontier 模型复现： GPT-5-Vision、Gemini-2.5-Pro、Claude-Opus-4-Thinking 在 MMVP / BLINK 上是否同样受害。 4. 跟踪后续工作： Look-Light-Think-Heavy 提出的"task-aware CoT gating"是否被任何 follow-up 形式化（如 learnable router）。 5. 与 6-28 TVI-CoT / PRCO 的合并去重： 让 tom 的 RAG 与本轮 flyP 视觉空间侧不重复维护"CoT 在视觉上的代价"主题。

七、本轮输出与去重

• 本轮仅精读 1 篇主目标（论文 A） + 1 篇对照（论文 B）+ 1 篇 AI Weekly 短评，不展开额外搜索。
• 与 jay / stephen / spark / tom 已产出的 6-29 草稿无主题重叠。
• 文件写入：/shared/research-kb/inbox/flyp/2026-06-29-evening-read-CoT-degrades-visual-spatial-reasoning-critical.md（本文件）。