看见还是知道?多模态大语言模型的视觉上下文敏感性

  • 关联论文:2607.26326
  • 作者:spark
  • 更新:2026-08-05

一句话结论

MLLM 在视觉与语言先验冲突时翻车,不是因为没"看见"视觉证据,而是看见了却压不住语言先验。作者用图像重建 + WhatIfVis 基准 + activation patching 三件套,把瓶颈从"perception"挪到"post-perceptual utilization",并给出一条可学习的视觉-先验 steering 向量,能脱离指令独立提升可控性。

解决什么真问题

MLLM(Multimodal LLM)在"图里说蓝、文字先验说红"这类冲突上频繁出错。学界此前对这类失败的归因分裂成两派:

  • 视觉派:图像编码器/投影层没把视觉信息传上来(perception 失败)。
  • 知识派:语言先验太强,把视觉证据盖住了(post-perceptual utilization 失败)。

两派都有直觉证据,但没有在同一批模型上做对照诊断。后果是工程团队修复方向跑偏——把精力堆在 vision encoder 或 projector,实际瓶颈在解码端的先验压制。

核心方法

1) 双诊断范式:reconstruction + WhatIfVis

把 MLLM 的失败拆成两个独立可测的问题:

诊断一(图像重建,感知是否到位) 冻结 MLLM,取最终层图像 token,尝试从这些 token 重建原图。如果粗粒度属性可重建——说明视觉证据真的进了 hidden state,问题不在 perception。

诊断二(WhatIfVis,先验是否能被压住) 作者构造的基准 WhatIfVis,覆盖五个粗粒度维度:空间-时间、颜色、计数、大小、重量。每条题目的答案既可以从图里读,也可以从语言先验里推——故意让两者冲突。

Q(image, prior) = ?
  - 答案 A_img:  仅从图像可读出
  - 答案 A_prior: 仅从语言先验可读出(且 A_img != A_prior)
  - 模型输出 A_model: 我们要看它跟随哪一边

metric 是 multimodal context sensitivity:模型跟随视觉证据的程度。值越高,模型越不被先验拽走。

2) 三个发现(摘要级)

(i) 粗粒度视觉证据是保留下来的。对上述五个属性,把它们从最终层图像 token 重建出来是可行的 → 失败不在 perception,而在 perception 之后的利用。

(ii) vanilla 模型不稳定,SFT 可控。即便明确指令"用图"或"忽略图",vanilla 模型(未在 WhatIfVis 上做过 SFT)的视觉上下文敏感性都抖得厉害。在 WhatIfVis 上 SFT 后,可控性显著上升,且能跨域泛化。activation patching 把"视觉-先验"权衡定位到架构特定的某些层(论文观察了 6 个模型,定位到不同深度)。

(iii) 存在可学习的视觉-先验 steering 向量。沿该向量方向干预,即便不写 intent instruction,也能比 vanilla 提升可控性。这把"控住先验"从 prompt 任务,推进到参数级可控。

3) 工程上的最小复现路径

# 伪代码:测视觉上下文敏感性
def vcs_score(model, item):
    # item 含 image, prompt, A_img, A_prior
    a = model.generate(item.image, item.prompt)
    if a == item.A_img:    return 1.0  # 跟随视觉
    if a == item.A_prior:  return 0.0  # 被先验拽走
    return 0.5                       # 其他/拒绝

# 诊断一:reconstruction
def can_recover(model, image):
    tokens = model.final_layer_image_tokens(image)  # 冻结 MLLM 取图 token
    recon = decoder(tokens)                         # 一个小解码器
    return pixel_mse(recon, image) < threshold      # 越低 = 视觉保真越高

要复现主要实验,需要:一个冻结 MLLM(论文观察 6 个,具体清单原文未完整列出)、WhatIfVis 基准(论文随发布)、可选的小解码器做 reconstruction、SFT 流水线 + activation patching 工具(TransformerLens / nnsight 之类)。单卡 A100/H100 可起步,但跨 6 个模型 + 5 维度 + patching 的全表扫一遍,显存与时间会显著;具体 batch/上下文长度原文未明确。

4) 与 activation patching 的协作

论文把视觉-先验 trade-off 定位到"架构特定深度",这给"按层 hook"提供了具体靶点:对 LLaVA 系模型,某几层注入 steering 向量效果最大;对其他 MLLM 系模型,深度不同。不要假设一层对所有模型都通用——这也是为什么 steering 向量是"模型级"而不是"层号级"通用件。

5) 双诊断范式的工程意义

reconstruction + WhatIfVis 的组合,关键在用同一组模型同时回答两个问题:能否重建 → 视觉证据是否到位;WhatIfVis 上是否可控 → 利用是否到位。这比单看"VQA 答对率"高一维度——后者只看 final answer,而 final answer 既不能区分视觉编码好坏,也不能区分先验压不压得住。

一个常见误区是用"图像存在/缺失对比"来推断视觉证据是否到位。本文明示这条路不够:图像缺失时模型也能从语言先验答对很多题。要真正区分,得做 WhatIfVis 这种故意冲突的题——只有当正确答案必须从图里读、且先验给出冲突答案时,模型选择才能反映"到底压没压住先验"。

6) steering 向量的取法

steering 向量是学出来的,不是手动设计的差异向量。典型取法:用冲突样本构造正负对,在目标层 hidden state 上拟合一个方向,使沿该方向干预时"视觉跟随率"上升而其他能力不掉。论文摘要明示这一向量无 intent instruction 也能工作——意味着它捕捉的是先验压制的"通用结构",不是某条 prompt 的表面模式。工程实现上,主流工具(TransformerLens、nnsight、RepEng)都能直接套;成本主要是扫 sweep(向量强度、注入层、注入位置 pre/post attention)。

关键实验与数据

  • 模型数:6 个冻结 MLLM(具体型号清单原文摘要未完整列出,需查正文)。
  • 维度:5 个粗粒度属性(空间-时间、颜色、计数、大小、重量)。
  • 主结果(均为论文摘要明示的质性结论):
  • (i):粗粒度视觉证据可在最终层图 token 上重建 → 失败定位在 perception 之后。
  • (ii):vanilla 模型不稳定;SFT 后可控性上升且跨域泛化;activation patching 把 trade-off 定位到"架构特定深度"。
  • (iii):沿学到的 steering 向量干预,无 intent instruction 时也能提升可控性,超过 vanilla 基线。
  • 缺失数字:6 个模型各自的 VCS 分数、SFT 数据量、训练步数、steering 向量强度 sweep、跨模型迁移率——这些原文未在摘要中给出,需读 33 页正文/附录。

亮点与局限

亮点

  1. 重新定位瓶颈:vision 派 vs 知识派之争被同一组实验判了——粗粒度属性上,MLLM 看见了;瓶颈在下游。这修正了未来工程投入方向。
  2. steering 向量脱离 prompt 工作。以往要"先验压制"就得写 intent instruction("忽略你的先验,只看图");本文给出一条参数级通道,不靠 prompt 也能控——这对不允许 prompt 注入的系统(嵌入式、自动化 agent)价值很大。
  3. 跨域泛化的 SFT。WhatIfVis 上做的 SFT,效果能外推到别的视觉问答任务,说明"可控性"是一个有结构的可学能力,不是单纯的 benchmark 过拟合。
  4. activation patching 落地:给"在哪一层插干预"提供了可重复操作位点。

局限 / 反方边界

  • 只测粗粒度:颜色/计数/大小/重量/空间-时间——细粒度属性(身份识别、关系推理、文本阅读 OCR 等)不在 WhatIfVis 覆盖范围,论文未明确这些类别下结论是否还成立。
  • 6 个模型的迁移性:摘要明示"架构特定深度",意味着 steering 向量不一定跨模型族通用——scale 到闭源 API 模型(只能 logit 级干预)的迁移率原文未量化。
  • 未量化 side effect:沿 steering 向量干预会不会降其他能力(指令遵循、推理、文本-only 任务)?摘要明示"提升可控性",但对其他轴的影响原文未明确。
  • 是否开源 WhatIfVis:原文未明确。

对工程落地的启发

  1. 修 MLLM 翻车的方向,优先怀疑 post-perceptual,而不是 vision encoder。粗粒度属性上,重建能拿回视觉证据 → vision encoder 已经够用;瓶颈在解码端如何压住语言先验。
  2. 不要把"intent instruction"当成唯一工具。在不允许/不期望用户写"忽略你的先验"的场景(自动化 agent、嵌入式应用),优先尝试 steering 向量或类似参数级干预。
  3. per-layer hook 比 per-layer random patch 靠谱。论文给的具体观察是"架构特定深度",提醒工程团队别在每一层都加 steer,选定位出来的层。
  4. 评估 MLLM 不要只评"答对率"。WhatIfVis 这种"冲突可控性"应该进 MLLM 标准评测包,否则评测会被先验掩盖问题。

与同方向工作的关系

  • 与 LLaVA / InstructBLIP / Qwen-VL 一脉的 MLLM 改进工作:这些工作聚焦在架构、训练数据、对齐策略,本文把它们共同的"翻车模式"诊断了一遍,定位统一到 post-perceptual utilization,可作为这些改进路线的评测前置基线。
  • 与 representation engineering / steering vectors(Turner et al.、Li et al. 等):本文把"steering 向量"用在视觉-先验 trade-off 上,是 representation engineering 在 MLLM 上的具体落地,验证了"存在可学习的方向性干预"这件事在视觉模态也成立。
  • 与 activation patching / 电路分析(Anthropic、Neel Nanda 一脉):本文是这套因果干预方法在 MLLM 上的应用,验证 patching 能定位 trade-off 的层。
  • 与本期 2607.23693(稀疏 Event-KV 的记忆契约)的同框互补:两篇都体现"内部表达 ≠ 表面行为"——一篇是 KV 层物化,一篇是 hidden state 层被先验覆盖;两条线索合在一起,提示 2026 年下半年模型行为的可解释性工作正从"它在想什么"转向"它在被什么偷偷拽走"。

适合谁读

  • MLLM 工程师 / 视觉-语言团队:修 MLLM 翻车的,先读这篇,再决定改 vision encoder 还是改训练流程。
  • 可解释性研究者:activation patching + steering vectors 在多模态场景的新案例,33 页正文/附录里有可挖的电路细节。
  • 评测 / 红队:任何做 MLLM benchmark 的,WhatIfVis 应该进你的评测包。
  • agent / GUI 导航 / 文档抽取团队:即便不是静态 VQA,论文"重新定位瓶颈"的逻辑在 agent 多步任务里同样适用——先验拽走视觉证据这件事在 agent 内部会以更隐蔽的形式出现。
  • 不适合:只看 OCR、文档理解、细粒度视觉问答的读者——本文明确只覆盖粗粒度属性。

工程落地与核查（Jay）

实际系统怎么用

1. 诊断自己 MLLM 的先验压制问题（不需要复现论文）

# 最小可跑:构造冲突题测 VCS score
from PIL import Image
import torch

def make_conflict_item(image_path, attr_type, img_answer, prior_answer):
    """
    attr_type: 'color' | 'count' | 'size' | 'weight' | 'space-time'
    img_answer: 图像客观答案
    prior_answer: 语言先验给出的不同答案
    """
    image = Image.open(image_path)
    # 模板 prompt，故意让语言先验有机会干扰
    prompt = f"What is the {attr_type} of the object in the image?"
    return {"image": image, "prompt": prompt,
            "A_img": img_answer, "A_prior": prior_answer}

def vcs_score(model, item):
    output = model.generate(item["image"], item["prompt"])
    if output == item["A_img"]:   return 1.0
    if output == item["A_prior"]: return 0.0
    return 0.5  # 拒绝或其他

# 若 vcs_score < 0.6，说明模型被先验拽走的比例 > 40%
# 这是判断"是否需要 steering 向量干预"的第一步

2. per-layer activation patching 定位靶点

# 用 TransformerLens 定位最有效 steering 层
import torch
from transformer_lens import HookedTransformer

model = HookedTransformer.from_pretrained("llava-1.5-7b")  # 或其他 MLLM
model.set_use_hook_mlp_inference(True)

def vcs_with_patch(layer_idx, steering_vector, image, prompt):
    def patch_hook(value, hook):
        value[:, hook.layer(), :, :] += steering_vector
        return value

    with model.hooks(fwd_hooks=[(f"blocks.{layer_idx}.hook_mlp_in", patch_hook)]):
        output = model.generate(image, prompt)
    return output

# 扫 0..n-1 层，找到 vcs_score 提升最大的层
# 该层即为 steering 向量注入点

3. 生产集成 steering 向量（无需 SFT）

# 学到的 steering 向量，直接注入 hidden state
def steer_mllm(model, image, prompt, steering_vec, target_layer):
    def inject_steering(value, hook):
        # 沿 steering_vec 方向扰动
        return value + steering_vec.to(value.device)

    with model.hooks(fwd_hooks=[(f"blocks.{target_layer}.hook_mlp_in", inject_steering)]):
        return model.generate(image, prompt)
# 无需 SFT，无需改模型权重，只在推理时注入

坑在哪

  • 粗粒度之外不保证有效:WhatIfVis 只覆盖颜色/计数/大小/重量/空间-时间。身份识别、关系推理、OCR 等细粒度任务不在本论文射程内， steering 向量在细粒度场景是否有效完全未知。
  • 闭源 API 无法用 activation patching:GPT-4V、Claude 等黑盒 API 只给 final output，不能做 hidden state patching。只能用「冲突 prompt 诱导 + 输出分布分析」做间接诊断，精度远不如原论文方法。
  • steering 向量不跨模型族通用:论文观察了 6 个模型，「架构特定深度」意味着在 LLaVA 上学到的 steering 向量/层，不能直接用到 CogVLM/Qwen-VL。每换一次模型族，需要重新做定位实验。
  • side effect 未量化:沿 steering 向量干预后，指令遵循、推理、文本质量等其他能力是否退化？论文摘要未给出任何数据。生产中若发现模型在其他维度变差，需要重新调 steering 向量强度（建议做 grid search: 0.01×~10×，按 0.5× 步长）。
  • WhatIfVis 基准本身未开源:摘要未明确说明 WhatIfVis 是否随论文开源。若不开源，则无法复现、无法扩展到其他语言/领域。需确认论文 GitHub 是否提供数据集，再决定是否投入复现。

可信度核查

声明 核查结论
粗粒度视觉证据可在最终层图 token 重建 摘要级结论，可信
vanilla 模型不稳定；SFT 后可控性上升跨域泛化 摘要级质性结论，可信但缺数字，需正文验证
activation patching 定位到「架构特定深度」 摘要级描述，可信；但具体层号需读正文
存在可学习的 steering 向量，无 intent instruction 也能工作 摘要明示，可信
6 个模型具体型号清单 原文未在摘要中完整列出，需查正文 Table 1
SFT 数据规模 / 训练步数 原文未量化，需读正文
steering 向量强度 sweep 结果 原文未量化，需读正文
干预后其他能力（指令遵循等）是否下降 原文未明确，最大风险点
WhatIfVis 数据集是否开源 原文未明确，需确认 GitHub