flyP 短审稿 · Where Hallucinations Live (VQ-VLM 幻觉机制)
- 本轮模式：轻量精读（flyP · 每天 3 次配额已接近饱和 → 本次只出短审稿，不与今日 0950/1550 主精读冲突）
- 选题理由：NeurIPS/EMNLP 2026 主会刚收、24 Sep 2026 上传、跨架构可解释性 + 单变量 swap 因果设计 + CHAIR 减 31% 的硬数据，与 flyP 主攻多模态机制高度对齐；今日其他实例（jay/tom/spark/stephen）未覆盖该题。
- 检索范围：arXiv（abs/html）、项目页
https://shamanthak-hegde.github.io/where-hallucinations-live、Substack（无直接评论，仅留作线索）
1. 元信息
- 标题：Where Hallucinations Live: A Cross-Architecture Circuit in VQ-Tokenized Vision-Language Models
- 作者：Shamanthak Hegde, Xiangrui Liu, Maitreya Patel, Yezhou Yang
- 单位线索（待核验）：ASU（Yezhou Yang 长期在 ASU，项目页 pending）
- 会议：EMNLP 2026 main
- arXiv：2609.29048v1（24 Sep 2025 上传；DOI pending）
- 项目页：https://shamanthak-hegde.github.io/where-hallucinations-live
- 代码：项目页 pending（待补查 GitHub 链接）
- 主题：cs.CV / cs.LG；机制可解释性 + 多模态幻觉
2. 核心贡献（拆解）
- 识别跨架构共享电路：在 25 个跨 8 个 LLM 家族的 VLM 中，activation patching 找到一个 early-layer (L₀) attention routing circuit 出现在 VQ-tokenized unified VLM 中。用一个 3-gate 诊断法，把 25 个模型分成 10 个阳性（含 5 个原生 unified-VQ VLM + 5 个诱发变体）和 15 个阴性。
- 单变量 swap 的因果证据：LLaVA-1.6 的视觉端从 CLIP+MLP 换成 VQ+Linear 就装上该电路；matched-compute 的 MLP 对照组在相同数据上不装 —— 把致病信号锁在 VQ 这一组件上，routing 路径本身是 backbone 自带的。
- 可干预性：在 open-ended generation（CHAIRᵢ）上，仅 L₀ ablation 让 CHAIRᵢ 相对下降 31%；tuned DoLA、VCD 等 decoding-time baseline 在 CHAIRᵢ 上不变甚至恶化 —— 论证「机制无关的解码」复刻不出这个干预。
3. 主要问题与风险
- 可推广性天花板：诊断法仅在 VQ-tokenized unified VLM 上验证；对当前主流（LLaVA-1.5/1.6、Qwen-VL、InternVL、GPT-4o 等）的 CLIP+MLP 路线没有效果；影响面受限，但定位更锐利。
- CHAIRᵢ 主导而 POPE/HallusionBench/MMHal 未见明文：abstract 只点名 CHAIRᵢ；POPE 类二分类上 tuned DoLA 仍胜出 —— 不能解读为「统一解法」。需补查正文表 1/2/3 的 baseline 矩阵。
- L₀ ablation 的副作用：早期层 attention head 全打掉，是否会塌其他任务（如 VQA accuracy、OCR、grounding）？项目页与正文需读 ablation detail；CHAIR 改善不能掩盖通用能力掉点风险。
- 数据规模与可比性：25 个模型横跨 8 个家族，听起来体量大，但每个家族样本可能不均；5 个诱发变体能否覆盖所有 VQ tokenizer 差异（不同 codebook size / commitment loss）需查证。
- DoLA/VCD 对照细节：tuned 版本是否针对 VQ-VLM 重做超参？是否做了 held-out 调优？若没有，胜出可能仅是任务-基线适配度的体现，而非机制结论。
- 去重风险：activation patching 在 LLM 已有大量电路论文（IOI、induction head）；作者把 VLM 端「电路」概念转过来，需要核验 methodology 与已有 circuit 框架（Anthropic、Neel Nanda 工具链）的对接是否充分。
- 复现难度评估：中高。需要 activation patching 工具链（TransformerLens / nnsight）、多模型加载、统一 VQ tokenizer。CHAIR 评估管线门槛不低但成熟。
4. 可信度判断
- 方向正确性：高。VQ tokenizer 在 Chameleon、Show-o、Janus 等模型上确实观察到 object hallucination 偏高，本文用电路定位锁定组件，符合领域直觉。
- 方法严谨性：中高。单变量 swap + matched-compute 对照 + 跨 25 模型的可复现性，是这类机制论文里较强的证据等级。但「共享 backbone 自带路径」这条 claim 依赖诱发变体的细致设计，最容易在审稿中被诘问。
- 结论可信度：中。CHAIRᵢ 减 31% 是硬数字，可信；但「architectural fix > decoding fix」的强弱受 baseline 选择影响，结论需限定在 VQ-VLM 子领域。
- 可入库等级：建议先入 review/notes 候选（不直接 review/）。配套补查：项目页 + GitHub + 正文 ablation table。
5. 是否建议入库
- 是。建议落点：
notes/multimodal/2026-09-vq-vlm-hallucination-circuit.md（短笔记，今日落）- 待 PDF 完整阅读 + GitHub 确认后，升级为
reviews/2026-09-where-hallucinations-live.md - 同步信号：与 2026-09-29 0950 的
VLA-Precision-ACoB、1550 的SURE-UME-R1同属于「机制可解释性 / 多模态」赛道，可形成 flyP 周内机制主题串。
6. 后续验证动作（人工/同步任务接管）
- 读 arXiv 2609.29048v1 全文，确认 baseline 矩阵、消融图、3-gate 形式化定义。
- 抓项目页 GitHub 链接、代码 release 状态、checkpoint 列表、许可证。
- 与同期 Chameleon / Show-o / Janus 复现报告做交叉对照（tom 的 inference e1prep 可能已有调用记录，可借）。
- 若代码 release，给一个 7B 量级 VLM 在 LLaVA-1.6 上的 reproduce 跑通 checklist（CHAIRᵢ、POPE、MMHal、HallusionBench）。
- 关注 NeurIPS/EMNLP 2026 后续 reviewer discussion；如有 rebuttable 漏洞，标红到
reviews/。
7. Substack / 外部线索（仅记录，不扩展）
- 未检索到 Substack 上对该篇的直接评论；本期 Substack 线索留作下次值班再扫，不在本轮扩展（避免多轮扩展违反稳定运行约束）。
- 关联 Substack 专栏候选：
ML at Scale/Interconnects/Cameron Wolfe—— 若下周出现相关解读，再补2026-09-29-substack-vq-vlm-hallucination.md短评。
本轮仅产出此短审稿；不再起 0950/1550 同等深度的精读，避免与今日 flyP 主线（VLA、SURE-UME-R1）撞档。本篇若需要升级为完整审稿，由下次值班或同步任务接力。