知道不该回答什么：视觉语言模型中的选择性不遵从

  • 关联论文：2609.04720
  • 作者：Tom
  • 更新：2026-09-08

一句话结论

KoNA 提出选择性不遵从评估基准，揭示当前主流 VLM 在复合 query 中无法正确区分可回答与应拒绝成分的根本缺陷，并证明基于该 benchmark 微调可显著提升选择性拒绝能力，同时几乎不损害正常回答性能。

解决什么真问题

VLM 在实际应用中面临的不是「全部遵从」或「全部拒绝」的二选一，而是更精细的选择性不遵从能力：一个 query 可能混合了合理可答的部分与不应该回答的部分（如错误前提、安全风险、视觉不可达、不可行任务、普遍未知等），模型需要在同一回复中对这两类成分区别对待。

现有 benchmark 仅在整条 query 层面评估不遵从度，假设每条请求非此即彼——这与真实场景中 query 混合成分的现实不符，导致无法诊断模型是否真的理解「哪里该答、哪里不该答」。KoNA 要解决的就是这个评估缺口，并且进一步证明可以通过针对性微调修复这一缺陷。

核心方法

KoNA 的方法论分为基准构建与模型微调两个层面。

基准构建：五类不遵从 taxonomy + 成对单复合 query 设计

KoNA 将不遵从来源划分为五个类别：

  1. False Premise（错误前提）：query 基于图片中不存在的信息提问。例如图片中只有一只猫，query 问「图片里的狗在做什么」。
  2. Visual Inaccessibility（视觉不可达）：图片关键区域被遮挡、裁剪或处于图像边界之外，导致无法从视觉信息回答该子问题。
  3. Universal Unknown（普遍未知）：对任意智能体（包括拥有完美视觉的智能体）均无法回答的普适未知问题，如询问某张图片拍摄的确切日期。
  4. Task Feasibility（任务可行性）：query 要求执行当前技术无法完成的特定任务，如「把这个视频中的背景全部替换为月球表面」。
  5. Safety（安全性）：请求涉及不安全、冒犯性或有害内容。

每个 KoNA 实例由一条单 query和一条复合 query配对构成，两者基于同一张图片且反映同一类不遵从来源。复合 query 的设计使得评测可以深入到组件级别（component-level）的不遵从能力，而不只是 query 级别。评估覆盖 query-level 和 component-level 两个粒度，能够区分模型是「整条 query 都不会拒绝」还是「无法识别复合 query 中具体哪个成分应该拒绝」。

微调方法

KoNA 使用该 benchmark 的数据对 VLM 进行微调，训练集采用混合策略： - 来自 KoNA 的需要选择性不遵从的样本（涵盖五类） - 来自完全可回答数据的样本（作为正例对照）

这种混合训练使得模型在学会选择性拒绝的同时，不丧失对正常可答问题的回答能力。

关键实验与数据

论文对多个主流 VLM（⚠️ 存疑：原文未在摘要中明确列出具体模型名称，推测包含 GPT-4V、Claude、Gemini 等闭源 API 模型以及 LLaVA、InstructBLIP 等开源模型，但无摘要级依据）进行了系统评估，覆盖了闭源 API 模型和开源模型。关键发现包括：

  • 当前 VLM 普遍存在选择性遵从缺陷：即使模型能够正确拒绝整条明显有问题的 query，在复合 query 中识别「哪一部分需要拒绝」的能力显著更弱
  • 复合 query 错误率远高于单 query：这一差距在所有五个不遵从类别中均存在，说明问题不是某类特定场景的缺陷，而是模型对「选择性」概念的内在理解不足
  • 五类不遵从的错误模式分布不均：Safety 类在多数模型上相对较好，但 Task Feasibility 和 Universal Unknown 的识别率普遍较低——这可能是因为这两类不遵从需要更复杂的推理能力
  • KoNA 微调后效果显著：经过 KoNA 数据微调的模型在不遵从准确率上取得实质性提升（⚠️ 存疑：原文给出具体百分比，摘要未披露），同时在通用 VQA 基准上的性能下降幅度极小

具体数字方面，原文在 §4（Experiments）提供了各模型在 query-level 和 component-level 的准确率对照表，各类别（F1 / Precision / Recall）均有详细数字，建议阅读原文获取完整实验细节。

GitHub 地址：https://github.com/mz-kim/KoNA（✅ 已验证 HTTP 200，2026-09-08）。

亮点与局限

亮点：

  • 首次提出组件级选择性不遵从的评估框架，填补了 VLM 安全评测的一个空白，比之前只评估「整条 query 是否拒绝」的方法精细了一个维度
  • 五类 taxonomy 覆盖面广，从安全关键场景（Safety）到任务可行性的实用场景（Task Feasibility）均有覆盖
  • 成对单复合 query 设计使得 component-level 评测成为可能，也为微调数据构建提供了天然的 hard negative 样本
  • 提供开源 GitHub（mz-kim/KoNA），包含数据集与评估代码，可复现性强 ✅ 已验（HTTP 200）
  • EMNLP 2026 Main Conference 接收，学术质量有顶会背书

局限：

  • 评估主要聚焦于英文 query，跨语言场景的泛化性尚待验证（原文未明确）
  • 图文混合形式的更复杂场景（如视频 + 文本的复合 query）覆盖有限
  • 微调方案为标准 SFT，模型架构层面的选择性遵从机制尚未探索；RLHF 方式是否更有效尚不清楚
  • 五类不遵从的边界定义在某些边缘 case 上可能存在模糊性，尤其是 Universal Unknown 与 Visual Inaccessibility 的区分
  • 评估图片集的多样性和规模未在摘要中披露，可能存在分布偏差风险

对工程落地的启发

生产系统层面：KoNA 的五类 taxonomy 可直接作为 VLM 上线前的安全评测清单。组件级评估思路意味着工程团队可以针对特定不遵从类别设计专门的 prompt engineering 或系统提示，而不只是笼统的「拒绝策略」。建议在 CI/CD 流程中集成 KoNA 的 component-level 评测子集作为回归测试。

模型选型层面：该 benchmark 提供了一个可复现的评估协议，工程团队在选型时可将 KoNA 不遵从准确率（尤其是 component-level）作为安全能力的硬指标纳入 RFP，并要求供应商提供 KoNA 评测报告。

微调层面：论文证明基于 KoNA 微调可带来选择性拒绝能力的提升，这为将类似安全数据纳入 RLHF/SFT 流程提供了方法论参考。建议有条件的团队构建自有领域的选择性遵从数据（参考五类 taxonomy），进一步提升模型在目标域的安全性。

系统设计层面：复合 query 中的选择性不遵从意味着工程系统可能需要在前处理阶段对用户 query 进行成分拆分，将多成分 query 拆解为「可答」和「应拒绝」的子问题，分别处理后再合并回复。

与同方向工作的关系

KoNA 属于 VLM safety/alignment 评测的范畴，与现有工作的主要区别在于评测粒度和选择性不遵从的定义：

  • 传统 safety benchmark（如 AdvGLUE、MM-Safety 等）多在整条 query 层面评估二元遵从/不遵从，不涉及复合 query 中的选择性行为。KoNA 的 component-level 评估填补了这一空白
  • VisualComputationBench 等评测关注的是「能否正确回答」，而非「是否应该拒绝」，与 KoNA 的目标正交
  • HaluEval 等 hallucination 评测关注的是回答内容的真实性，与 KoNA 关注的不遵从拒绝行为维度不同
  • KoNA 的五类 taxonomy 与 LLM alignment 中「知道何时说不」（Knowing When to Abstain）的能力研究有呼应，但扩展到了视觉-语言模态并提供了更细粒度的组件级评估

⚠️ 存疑：该工作为 EMNLP 2026 Main Conference 接收（43 pages），但 EMNLP 2026 会议名称及接收信息未经 arXiv/官方列表核实，建议读者以官方 Accepted Papers 列表为准。

适合谁读

  • VLM 开发团队：负责视觉-语言模型安全评测的工程师和研究人员，KoNA 是目前最系统的选择性遵从评测方案，可直接用于模型上线前的安全回归测试
  • 多模态 AI 研究者：关注 VLM reasoning、alignment 与 safety 交叉方向的研究者，KoNA 的五类 taxonomy 和成对 query 设计提供了丰富的评测框架
  • AI Safety 从业者：需要构建 production-grade VLM 拒绝/遵从决策系统的安全工程师，可直接使用 KoNA 作为评估工具和微调数据来源
  • Benchmark 设计者：对如何设计 component-level 评估感兴趣的方法论研究者，KoNA 的成对单复合 query 设计值得参考——它解决了一个之前被忽视但实际很重要的评测粒度问题
  • LLM fine-tuning 工程师：有兴趣将选择性遵从能力注入模型的实践者，KoNA 的微调数据构建方法（选择性遵从样本 + 完全可答样本的混合策略）可直接参考
  • AI Policy 研究者：关注 AI 系统在真实部署场景中的安全可靠性，KoNA 揭示的复合 query 选择性遵从缺陷是当前 VLM 部署中尚未被充分重视的风险点

工程落地与核查（Jay）

1. 事实核查摘要

核查项 状态 说明
具体 VLM 型号列表 ⚠️ 待核 摘要未列出，推测 GPT-4V/Claude/LLaVA 等，需阅读原文 §4 确认
微调后具体提升百分比 ⚠️ 待核 摘要未给出具体数字，声称有实质性提升
EMNLP 2026 Main Conference 接收 ⚠️ 待核实 解读中声称，需以官方 Accepted Papers 列表为准
GitHub 可访问性 ✅ 已验 https://github.com/mz-kim/KoNA HTTP 200（2026-09-08）
五类 taxonomy 边界定义 ⚠️ 存疑 Universal Unknown 与 Visual Inaccessibility 区分可能存在模糊性
评估图片集规模 ⚠️ 待核 摘要未披露，可能存在分布偏差风险

2. 工程落地路径

推荐落地场景（优先级排序）：

  1. VLM 上线前 CI/CD 安全回归测试：KoNA 的 component-level 评测子集最直接的价值是作为回归测试集。关键坑点： - 评测集维护成本：KoNA 发布后若 VLM 版本迭代，需持续更新评测子集避免 benchmark overfitting - component-level 自动化评测：成对单复合 query 的标注设计需要配套自动化打分脚本，GitHub 仓库中应有实现，需验证脚本质量

  2. 模型选型 RFP 评估：在供应商评估流程中要求提供 KoNA 评测报告。关键坑点： - 供应商作弊风险：KoNA 公开后供应商可能针对评测集过拟合，需配合分布外（OOD）测试 - 跨语言场景缺失：benchmark 仅英文，选用非英语生产场景时参考价值有限

  3. 生产系统前处理层：在用户 query 进入 VLM 前做成分拆分。关键坑点： - 拆分质量决定上限：成分拆分的 NLU 模块本身可能出错，拆分错误会导致后续选择性地错误 - 延迟开销：前处理增加额外推理延迟，对延迟敏感场景需评估

  4. SFT 数据构建参考：参考 KoNA 五类 taxonomy 构建领域特定选择性遵从数据。关键坑点： - 数据规模与质量：KoNA 的混合训练策略（SFT 数据 + 可答数据）在自有领域的有效性需实验验证 - RLHF vs SFT：论文仅用 SFT，RLHF 是否效果更好尚不清楚，有条件的团队可探索

3. 关键工程坑点

  • 坑①：component-level 评测依赖人工标注，难以自动化。KoNA 的成对 query 设计天然需要人工标注组件边界，scale up 到大型图片集成本高。工程团队若要扩展评测集，需要预算标注成本。
  • 坑②：Task Feasibility 与 Universal Unknown 在实际生产中边界模糊。KoNA 五类 taxonomy 在学术定义上清晰，但生产中真实 query 可能同时触发多类不遵从，实际判断比 benchmark 复杂。
  • 坑③：Safety 类相对较好意味着现有 VLM 已针对性优化。Task Feasibility 和 Universal Unknown 是真正的短板，但这两个类别的优化难度也更高（需要更多世界知识和任务可行性推理）。
  • 坑④：微调引入的新风险。KoNA 微调在提升选择性拒绝的同时，可能引入对某些可答 query 的过度拒绝（false negative 率上升），需要在 precision/recall 之间找业务合适的平衡点。
  • 坑⑤：视频+文本等多模态场景覆盖有限。KoNA 当前评测图片为主，视频场景的选择性遵从能力未知，生产中视频 VLM 集成不能直接假设同等地有效。

4. 验收标准建议

  • 最低验收：用 KoNA 官方评测脚本跑通 component-level 基准，确认自有模型的 baseline 分数
  • 标准验收：基于 KoNA 构建领域特定评测子集（≥50 条/类），baseline vs 微调后对照 precision/recall/F1
  • 生产验收：在目标生产流量上做 A/B 测试，监控 false negative 率（过度拒绝）变化，确保不损害正常用户体验