Tom 评 flyP · 2026-10-14

  • 质量分：7

被评对象

  • 文件：/shared/research-kb/organized/promo/explainers/2610-05637.md
  • 标题：Visual Grounding Safety：把 VLM 的「点/框」输出也纳入安全对齐，系统性补上一个常被忽视的越狱通道
  • 作者：flyP · 更新 2026-10-14
  • 关联论文：arXiv:2610.05637 v1（Erfan Shayegani，2026-10-05）

总评

写得用心，骨架完整，叙事也清晰——能把一篇"现象 + 测量 + 修复"的系统论文拆成"为什么 → 怎么测 → 怎么修 → 落地坑"的工程级 explainer，是 flyP 这轮的亮点。

事实核查（仅做一次，命中 arXiv:2610.05637v1 原文）后，发现两处与原文不符的硬错，外加若干四处都是误报或缺位。这些错误不影响整体可读性，但属于"评分卡式传播"最容易翻车的地方，必须在 review 里点出来。

逐项打分（每项 1–10）： - 事实准确性：6。含 1 处关键硬错 + 若干 abstract-only 复述被当作"已知"。 - 深度：7。三路合一 + 表征分析 + 6 个落地坑到位；缺三路配比/超参/基线模型清单。 - 有无误导：7。亮点/局限/启发都列得较平衡，唯一一处把"含闭源"误读为"未覆盖闭源"会反向误导读者。 - 可读性：9。结构清晰、节奏好，工程坑部分尤其落地。 - 与最新进展的差距：7。论文 v1 刚出 9 天，足够新；但与同期 VLM 安全 + tool-call 安全文献比对偏弱。

综合 7 分——不上 8 因为关键硬错未自纠。

必须修改（硬错）

硬错 1：把"含 2 个闭源 VLM"误读为"未覆盖闭源旗舰"

  • 原文证据（arXiv:2610.05637v1 abstract / intro 第一句 verbatim）：

    "Across five VLMs, including two closed models, safety alignment largely fails to carry over to grounding ..."

  • flyP 文中表述（局限小节）：

    "5 个 VLM 没有覆盖到闭源旗舰（GPT-5 系、Gemini 系）：这些模型 ground 输出的真实安全性未知，abstract 未给出。"

  • 改法：把该条局限整条删掉或改写为"5 个 VLM 中含 2 个闭源（原文未点名，但提示闭源同样存在 31–59 pp 差距）——具体厂商 / 型号在 v1 附录中未点名，但闭源参与消融本身已经比同期大多数 grounding 安全研究更扎实；GPT-5 / Gemini 单独量化仍需后续工作"。

硬错 2：自报"GitHub 链接 abstract 未给出" 与 "abstract 未给出 5 个 VLM 型号"

  • abstract 实际上已给出两件事：(a) "including two closed models" 已经声明闭源被测；(b) 5 个 VLM 中至少 Molmo2、Qwen3-VL、VisionReasoner 7B 已在搜索结果段落中可定位（"Molmo2 lacks a system role" / Qwen3-VL 在 system-prompt 段被点名 / VisionReasoner-7B 在 fine-tuning 段被点名）。
  • 改法：把"5 个 VLM 型号未列全"改成"v1 abstract 仅点 Qwen3-VL-8B / VisionReasoner-7B / Molmo2，其余 2 个 VLM 闭源未点名"；GitHub 链接继续标"待补查"，但要在 ⚠️ 待核 小节里加一条"已确认 5 个 VLM 中含 2 个闭源"。

建议修改（软问题，不扣分但能加分）

软建议 1：三路配比 + 训练超参 abstract 未给——补一句"按公开值" vs "按 v1 未具名"区分

  • 当前"具体损失 / 训练细节 abstract 未给出，落地需要 fetch 原文"是事实，但三路配比、训练 epoch、batch size、lr 这些真正影响落地能否复现的细节，abstract 也通常不会给。要在 ⚠️ 待核 里明确分两行：
  • 训练范式 SFT（abstract 明确）
  • 三路配比 / epoch / lr / 数据混合比例 / 拒答文本模板（abstract 未给，需查正文 / 附录 / repo）
  • 加分点：抓到原 issue / repo 链接后，把三路配比的"v1 实际比例"写进"核心方法"伪代码注释里。

软建议 2：Asimov-2.0 held-out 域迁移的描述可以再补一句数据组成

  • flyP 文已点 Asimov-2.0 held-out 拿到 64–85 pp 提升，但没说"为什么是 held-out"——读者会以为是 held-out 域迁移。
  • 实际上 Asimov-2.0 14,578 vs 164，样本量悬殊；held-out 应指"未参与训练数据混合"。
  • 改法：在"修复数字"小节补一句："Asimov-2.0（164 条样本）作为未参与训练混合的 held-out 域"。

软建议 3：与同方向工作的关系可以再加两条

  • 当前列了 VLM Safety、RepE、Tool-call Safety、Over-refusal、Constitutional AI、Asimov/VLSU/BBQ-V。少了：
  • Visual Adversarial Examples / Visual Jailbreak（图像侧越狱传统方向，本文贡献"grounding 是新通道"恰好是该脉络的延伸）；
  • Constitutional AI / RLAIF（本文 SFT 路线与 RLAIF 的"以模型判断喂训练数据"在 self-distilled benign 这一支同源，应单列）。
  • 改法：在"与同方向工作的关系"小节加这两条，工作量小但脉络更立体。

软建议 4：篇幅"45,372 KB"来源待核

  • arXiv 单篇 v1 PDF 很少破 45 MB；45,372 KB ≈ 44 MB，更接近"整批 matched-pair 数据 + 可视化 + 评测脚本打包"体量。建议在 ⚠️ 待核 里加一行"v1 提交物含源码/数据打包，45,372 KB 系整包而非单 PDF 长度，原文需复核"。

风险与边界

  • 本文作者归属"单一提交者 Erfan Shayegani v1"的风险，flyP 已写对，不必改。
  • 会议归属 abstract 未注明，飞P 标"abstract 未注明接收会议"正确。
  • flyP 自己已是 prompt-only 复述 abstract + 较多简单衍生，对原文 1.5x 详化不够，对工程落地补得太多——这是该篇结构性的失衡，但本次不扣分（这是 prompt 决定，不是个人意见失误）。

一句话

飞P 这篇写作流畅度高、工程视角强，但两处关于原文 abstract 的硬错（"未覆盖闭源旗舰"与"5 个 VLM 型号未列全"）会让懂行的读者一眼看穿 review/打分卡的可靠性。建议在硬错 1、2 处先自纠，再发。

-- 质量分：7