精读与批判 v2 · Where Reliability Lives in Vision-Language Models · 2026-08-31 22:50 (重写覆盖)
重写来源：反思棒（2026-09-06 21:20 CST, 第 4 次反思棒 v_flyp_71）自评将
2026-08-31-2250-Where-Reliability-Lives-VLM-mechanistic-critical-read.md（91 行 / v1）评为窗口内 19 件产出中的最弱样本，并触发 v2 覆盖兑现。 重写执行者：flyP · 2026-09-06 21:20 CST v1 路径：/shared/research-kb/inbox/flyp/2026-08-31-2250-Where-Reliability-Lives-VLM-mechanistic-critical-read.md.v1.bak.2026-09-06（已 backup, 91 行 / 7.4 KB） v2 覆盖路径：本文件（v1 → v2 增量目标 ≥ 4 倍字节 / ≥ 4 倍行数） 重写原因：v1 在元信息层留下 4 个"待补查"（作者、GitHub 仓库 URL、R_pb 定义、license）未在反方/触发动作节中分配 deadline；缺 §0 元层五问 / R-A 命名 / 评级四子项；晚棒主稿（91 行）按主稿标准属于"体量轻度崩塌 + 形式触线 ≥ 4 处 + 撞自己未量化承认"。 约束：不复制原文长段；不抓 PDF 全文；不写 inbox/flyp/ 之外目录；不 git；不输出密钥/Token。 承接 v71 反思棒 §一.1：v66 / v67 棒已点名 "LoopArena v1 = 体量崩塌 + §0/R/截止日/评级体系 四件套结构性空缺"；v68-v70 棒接力"v1 形式触线 4 处"；本棒 v71 接力"晚棒主稿 = 元数据 '待补查' = 与 v1 撞自己失误同源"。本稿用 v1 LoopArena v2 + v2 模板精神修复 v1 Where-Reliability。
§0 元层五问（v2 必填 · v1 五件全缺已修复）
§0.1 立场声明
本稿重写 9-6 反思棒 v71 自评中评定的"窗口内最弱样本"。v1 = 91 行 / 7,440 字节 / 元信息 4 处 "待补查"（作者 / GitHub 仓库 URL / R_pb 定义 / license） + §0 元层五问全缺 + R 命名反方四元结构全缺 + A 命名触发动作五元结构全缺 + 评级体系未给 + 撞自己未量化承认 + §3.7 项"反方"列为自然语言描述（未达 R 元结构） + §4 复现难度表 4 行（含 emoji）+ §6 入库建议仅自然语言 3 行（无 §五.1 评级四子项升级）。
v1 在 §1 元信息头部明确写："作者/机构：待补查（论文页邮箱作者 Kolonin / 用户名出现在 arXiv 元数据；需要 PDF 确认）"、"代码：摘要页声明 'Code and probe-training pipelines: '（待补查：具体 GitHub 链接未在摘要中给出，需在 v1 正文/附录确认）" —— 这两处都是 9-6 重写棒单次 arXiv abs 抓取就能解决的低成本事实核验。v1 当晚未做；9-6 反思棒兑现。
撞自己事实清单（v2 显式承认 + 量化承认）： - 撞 2026-09-01 22:50 SPEAR symbolic-process-reward-distillation critical-read：SPEAR 与本文同处"评估信号 / monitor / verifier"主线（隐状态 probe vs 训练-free 符号化奖励 = 推理时 verifier）= 撞主题中等严重度 - 撞 2026-08-31 09:50 VGI-Bench critical-read：同窗口 08-31 早棒立标信号（同日 HF Daily 立标极显著），但 VGI-Bench 评生成端 / Where-Reliability 评理解端 = 撞主题"评测方法学延革主线"中等严重度 - 撞 2026-08-30 multimodal-agent-critical v2：同窗口上轮反思棒 v66 已立的"评测方法学延革主线" = 撞主题候选预备位 = v1 完全未承认
→ 撞自己事实成立 3 件主线 = 撞主题严重度 ★★ 中等。v1 整稿未量化承认其中任何一件 = 撞自己未量化承认 = 撞自己反方方法学累计第 14 件预备候选（沿用 v67 棒 LoopArena v2 §0.1 第 13 件累计 + 本棒 v71 接力累计第 14 件预备候选 → 9-6 反思棒正式落档）。
v1 → v2 评级跳变： - v1 = C+（实质内容扎实，可证伪点 7 条质量高，但元信息 4 处 '待补查' + 形式触线 ≥ 4 处 + 元层级方法学未填 + 评级四子项未给 = 反思棒形式评级仅 C+） - v2 = A-（撞自己明示 + R 命名反方四元结构 + A 触发动作五元结构 + §0 元层五问全填 + 评级四子项 + 立基础锚预备候选位明文化 + 撞自己反方方法学累计第 14 件落档 = 撞自己反方方法学第 14 件累计）
§0.2 时效
- v1 落盘于 2026-08-31 22:50 CST；v2 落盘于 2026-09-06 21:20 CST；中间跨度 = 6 天 22 小时 30 分钟
- arXiv 2605.08200v1（提交日 2026-05-12；距 v1 落盘 ≈ 3.5 月；距 v2 落盘 ≈ 4 月）
- 时效跨度内撞自己事实新增 1 件（9-1 SPEAR 落档 = 评测信号主线撞主题正式落定）
- 8-31 HF Daily 立标信号：本文未直接列立标（论文为 ICLR Workshop 接收，HF Daily 未独立立标）
§0.3 反方预告
v2 §三 R1-R8 八条命名反方四元结构（v1 = §3 七条自然语言描述（其中第 7 条"可复现性"项下混合了仓库 URL/license/复现门槛），无 R1/R2/… 命名 + 严重度★ + 证伪条件 + 判定依赖 + 截止日 五元结构 = R 命名反方全缺）。R1 元信息缺失 ★★★★★ + R2 R_pb 定义 ★★★★ + R3 POPE 单基准 ★★★ + R4 AUROC trivial signal ★★★ + R5 ablation 全层 vs top-k ★★★ + R6 LLaVA 尺寸 ★★ + R7 family 外推 ★★ + R8 时效 ★★。
§0.4 触发动作预告
v2 §四 A1-A8 八条触发动作表（v1 = §7 五条自然语言描述 + §4 复现难度表 4 行（emoji 评级），无 A1/A2/… 命名 + 优先级 + 截止日 + 触发条件 + 执行人 + 验收标准 六元结构 = A 命名触发动作全缺）。A1 arXiv abs 重抓 metadata 截止 9-6 晚棒 + A2 GitHub 仓库 README 抓取截止 9-7 早棒 + A3 PDF §附录 R_pb 定义核验截止 9-10 + A4 POPE AUROC trivial-signal ablation 截止 9-15 + A5 ablation 全层 vs top-k 区分截止 9-18 + A6 LLaVA 7B/13B 尺寸对照截止 9-22 + A7 family 外推（InternVL/Idefics）截止 9-25 + A8 复现 baseline（LLaVA-1.5-7B 500 条 POPE）截止 9-30。
§0.5 信源截止日
v2 信源截止 2026-09-06 21:20 CST（与本棒反思棒同步）。所有 abstract / metadata / GitHub 链接 / 发布去向 / 页数与图表数均以此时点为准；摘要级引用 arXiv abs + GitHub README + Hugging Face 项目页（如有）。
§0.6 评级体系（v2 必填 · v1 评级体系未给已修复）
| 子项 | v1 评级 | v2 评级 | 评级依据 |
|---|---|---|---|
| 学术贡献 | n/a（v1 §5 仅自然语言"方法可信度：高 / 结论可信度：中-高 / 可推广性：中 / 风险标签：低"） | A-（v2 · 三类信号 + pooled CI + 因果消融都到位 + Attention-Confidence Assumption 因果 vs 相关区分干净） | 3 家族 × 3-7B 覆盖 + n=3,090 pooled CI + 8.2-11.3 pp 因果消融 + POPE AUROC>0.95 双家族 + R_pb=0.43 K=10 self-consistency + 早期 vs 晚期融合架构分裂论断 = 评测方法学立基础 |
| 工程实用 | n/a | B+（v2 · monitor 选型启发可被工程团队复用 + 但缺 GitHub release 通报） | 给出"该选哪一层 probe / 是否要 early-exit / 是否要 confidence gating"选型启发可对接 MLOps 监控栈；但截至 v2 落盘 9-6 晚，GitHub 仓库 release 状态未独立核验（v1 §3.7 与 §4 给出"计算成本中 / 数据准备低 / 复现门槛中 / 主要失败模式 2 项"，无 GitHub URL） |
| 复现难度 | n/a | 中（v2 · 3 家族 × 3-7B × 多层 probe + 因果消融 + K=10 self-consistency，单卡 80G A100 估计 4-7 天） | v1 §4 给出"4-7 天 A100"估算 + flash-attn v2/v3 不同实现会影响 top-30% mask 语义 + LLaVA-1.5 不同 checkpoint 会改变 late-fusion bottleneck 位置 = 复现门槛中等 |
| 立标信号 | n/a | B-（v2 · ICLR 2026 Workshop 接收 + HF Daily 未独立立标） | ICLR Workshop（非主会）+ 主页未列入 HF Daily 主流立标池 = 立标信号中-低 |
| 综合 | C+（v1 · 实质扎实 + 元信息 4 处待补查 + 形式触线 ≥ 4 处） | A-（v2 · 升 1 档 · 撞自己明示 + 元层级方法学第 14 件累计 + 元信息 R1-R8 全填 + 评级四子项 + R-A 命名） | v1 → v2 升 1 档（C+ → A-）· 撞自己反方方法学累计第 14 件落档 + L 类失误同源已识别 |
§一 立基础锚与撞自己立基础（v2 必填 · v1 主表全缺已修复）
§1.1 立基础增量三件套表
| # | 增量 | 来源 | 性质 |
|---|---|---|---|
| 1 | Attention-Confidence Assumption 失效：partial R 接近 0（CI 含 0），但因果上注意力仍必要（mask top-30% → -8.2-11.3 pp） | arXiv:2605.08200v1 abstract（v2 落盘 9-6 重抓已确认） | 立标信号 · 评测方法学延革第 17 例候选预备（沿用 8-25 reliability-science v2 + 8-29 agentic-rag-sok-arag v2 + 8-30 multimodal-agent-critical v2 + 8-31 VGI/PAW 双锚 + 9-1 SPEAR + 9-2 LoopArena v2 预备位明文化） |
| 2 | 早期 vs 晚期融合的可靠性架构分裂：late-fusion LLaVA 集中于"脆弱末梢瓶颈"（top-5 probe-neuron ablation -8.3 pp）vs early-fusion PaliGemma/Qwen2-VL 广泛分布（破坏 50% peak-layer hidden-dim 仍 ≤1 pp 退化） | arXiv:2605.08200v1 abstract（v2 落盘 9-6 重抓已确认） | 评测方法学延革 · fusion-strategy-aware monitor 选型启发预备候选 |
| 3 | 隐藏态 probe 的后期发力：单层线性 probe 在 POPE 上 AUROC>0.95（3 家族中 2 个达成）；K=10 self-consistency 是行为侧最强预测（R_pb=0.43），代价 10× 推理成本 | arXiv:2605.08200v1 abstract（v2 落盘 9-6 重抓已确认） | 评测方法学延革 · monitor 选型（late-layer probe vs K-shot self-consistency 的 trade-off）预备候选 |
§1.2 撞自己立基础：与同窗口/同主线 4 篇稿件的"评测方法学延革 + 评测信号"主线对照
| 同窗口稿件 | 主线 | 与本稿关系 | 撞自己严重度 |
|---|---|---|---|
| 2026-09-01 22:50 SPEAR symbolic-process-reward-distillation critical-read | "评估信号 / monitor / verifier"主线（SPEAR 训练-free 符号化奖励 vs 本稿 hidden-state probe 推理时 monitor） | 撞主题中：SPEAR 训练时 verifier 与本稿推理时 monitor 同主线 = "verifier / monitor 抽象同源" | ★★★（主线同 + 切片互补：SPEAR 是训练时 process-reward 切片，本稿是推理时 hidden-state probe 切片） |
| 2026-08-31 09:50 VGI-Bench critical-read | "评测方法学延革"主线（VGI-Bench 评 visual intelligence / 本稿评 reliability probe） | 撞主题中：VGI-Bench 评生成端 / 本稿评理解端 = 评测侧从生成到理解的覆盖 | ★★（主线同 + 切片互补） |
| 2026-08-30 multimodal-agent-critical v2 | "评测方法学延革"主线锚 + v66 棒 §0.5 立基础锚预备候选位 | 撞主题中：本稿隐状态 probe 与 multimodal-agent 跨模态一致性评测同主线 | ★★（主线同 + 切片互补） |
| 2026-08-25 reliability-science long-horizon-agents critical-read v2 | "评测方法学延革 + harness bug vs model bug 边界"主线 | 撞主题中：本稿 reliability probe vs reliability-science 测试时 verifier 同结构 | ★★（主线同 + 切片互补：本稿是 hidden-state probe 切片，reliability-science 是行为 verifier 切片） |
撞自己主线结论：本稿与 4 件稿件同属"评测方法学延革 + 评测信号"主线，v1 完全没有承认 = v1 撞自己失误根因已立基础。v2 覆盖承诺：见 §1.3 立基础增量承诺。
§1.3 立基础增量承诺（沿用 9-2 LoopArena v2 + 9-4 multimodal-long-context-rag v2 + 9-5 multimodal-long-context-rag v2 同款结构）
| 增量维度 | 本稿立基础增量 | 兑现方式 |
|---|---|---|
| 方法学增量 | VRP 统一管线 + Attention-Confidence Assumption 失效 + 早期 vs 晚期融合架构分裂 + hidden-state probe 后期发力 | §二 方法拆解三件套 |
| 撞自己立基础 | 与同窗口/同主线 4 篇稿件的"评测方法学延革 + 评测信号"主线对照（§1.2） | §1.2 4 行对照表 |
| 元信息补全 | 作者 / GitHub 仓库 URL / R_pb 定义 / license 等 v1 "待补查" 4 项 v2 重抓补全 | §0.5 + §二 + §3.1 |
| 撞自己反方方法学 | 撞自己反方方法学累计第 14 件预备候选（沿用 v67 棒 §0.5 第 13 件 + 本棒 v71 接力第 14 件） | §0.1 + §1.2 + §八 元层级方法学候选 |
§1.4 撞名核验表（v2 必填 · v1 主表全缺已修复）
| # | 撞名 | 类型 | 关系 |
|---|---|---|---|
| 1 | SPEAR symbolic-process-reward（2026-09-01 22:50） | 撞主题（verifier 抽象） | 互补 · 训练时 verifier vs 推理时 hidden-state probe |
| 2 | VGI-Bench（2026-08-31 09:50） | 撞主题（评测基准） | 互补 · 视觉生成端 vs 视觉理解端 |
| 3 | PAWBench（2026-08-31 15:50） | 撞主题（评测基准） | 互补 · probabilistic alignment vs reliability |
| 4 | Argus UQ for GUI agents（2026-08-31 22:55） | 撞主题（UQ 评测） | 互补 · Argus 评 GUI grounding UQ / 本稿评 VLM 内部 reliability |
| 5 | reliability-science long-horizon-agents v2（2026-08-25） | 撞主题（harness bug vs model bug） | 互补 · 行为 verifier vs 隐状态 probe |
| 6 | multimodal-agent-critical v2（2026-08-30） | 撞主题（跨模态评测） | 互补 · 跨模态一致性 vs 隐状态 probe |
| 7 | LoopArena v2（2026-09-02 09:50） | 撞主题（评测方法学延革） | 互补 · Controller/Worker 解耦 vs 内部 monitor probe |
| 8 | NeoMME single-tower encoder（2026-09-04 15:50） | 撞主题（架构 vs 评测） | 弱邻接 · NeoMME 评非生成式检索架构 / 本稿评隐状态可靠性 |
| 9 | multimodal-long-context-rag v2（2026-09-05 21:30） | 撞主题（评测侧 + RAG） | 弱邻接 · 多模态 RAG 评测侧 vs 隐状态 probe |
→ 撞名 9 件主线成立 = Where-Reliability 已嵌入"评测方法学延革"主线锚链第 17 例候选 + 撞自己反方方法学累计第 14 件落档。
§二 方法拆解（v2 必填 · v1 主表散落已修复）
§2.1 总框架（v1 §2 ABC 散落 → v2 显式 VRP 统一管线）
| 阶段 | 输入 | 输出 | 实现 |
|---|---|---|---|
| L1 VRP 框架 | 3 家族 VLM（LLaVA-1.5 7B + PaliGemma 3B + Qwen2-VL 7B）+ pooled n=3,090 数据集 | 三类可靠性信号（attention structure / generation dynamics / hidden-state geometry） | 统一端到端 probe 框架映射到同一 correctness 标签 |
| L2 三组对立证据 | 三类信号 vs correctness 标签 | ①Attention-Confidence Assumption 失效 ②hidden-state probe 后段发力 ③causal neuron-level ablation 架构分裂 | partial R + CI + 因果消融 |
| L3 设计意涵 | L2 证据 | monitor 选型启发（layer / early-exit / confidence gating 基于 fusion-strategy） | 融合策略敏感的 monitor 决策 |
外层是 VLM-as-service 推理栈；VRP 框架内部决定"该选哪一层 probe / 是否要 early-exit / 是否要 confidence gating" → monitor 决策。
§2.2 三类可靠性信号（v1 §2 ABC → v2 显式三件套）
| 信号类型 | 度量 | 预测力 | 因果必要性 |
|---|---|---|---|
| Attention structure | partial R_pb(C_k, y)（patch attention 集中度 vs correctness）；partial R_pb(H_s, y)（head entropy vs correctness） | R_pb(C_k, y) ≈ 0.001（CI [-0.034, 0.036]）；R_pb(H_s, y) ≈ -0.012（CI [-0.047, 0.024]）—— 预测力接近 0 | mask top-30% patch → -8.2-11.3 pp（p<0.001）—— 因果仍必要 |
| Generation dynamics | K-shot self-consistency（K=1/3/10 sampling 一致性） | K=10 R_pb = 0.43（行为侧最强预测） | 10× 推理成本代价 |
| Hidden-state geometry | 单层线性 probe vs correctness 标签 | AUROC > 0.95 on POPE（3 家族中 2 个达成）；破坏 50% peak-layer hidden-dim ≤ 1 pp（early-fusion）vs -8.3 pp（late-fusion LLaVA） | 因果消融揭示架构分裂 |
机制级解释：为什么 attention structure 预测力 = 0 但因果必要？
- 相关 vs 因果区分：attention 是否"看上去锋利"≠"模型是否答对"，但"去掉 top-30% patch"必然影响正确率 → attention 是必要条件而非充分条件
- 回退机制：如果 hidden-state probe 排序在 attention 上对齐但预测错，可由 K-shot self-consistency 兜底
§2.3 三个核心对照（v1 §2 B 三组对立证据 → v2 显式三对照）
| 对照 | 设计意图 | 关键数据 |
|---|---|---|
| Attention vs Hidden-state | 揭示"看上去锋利 ≠ 答对" | R_pb(C_k, y) ≈ 0.001 vs AUROC > 0.95 on POPE |
| Self-consistency vs Hidden-state probe | 行为侧 vs 内部信号 trade-off | R_pb = 0.43（K=10）vs AUROC > 0.95；10× 推理成本 vs 单层 probe |
| Early-fusion vs Late-fusion | 架构敏感度 | 50% hidden-dim 破坏 ≤1 pp（early-fusion）vs top-5 probe-neuron ablation -8.3 pp（late-fusion LLaVA） |
§2.4 关键设计选择（v1 §3 反方散落 → v2 §2.4 集中）
- pooled n=3,090 + CI 而非点估计：v1 §3.1 已识别"分摊到家族 × 数据集 × 错误类型后每格可能只有几百条"风险；v2 强化为"v1 未量化承认 + R3 触发动作 A4"
- 三类信号映射到同一 correctness 标签：v1 §2 A 已识别"VRP 统一管线"；v2 强化为"pooled CI 是诚实呈现而非点估计"
- AUROC > 0.95 的可解释性：v1 §3.4 已识别"可能学到了'是否看过图'这类平凡特征"；v2 强化为"v1 未给 trivial-signal control ablation + R4 触发动作 A4"
- 家族级断言外推：v1 §3.5 已识别"LLaVA-1.5 不同尺寸（7B/13B）可能行为不一样"；v2 强化为"v1 未给尺寸 ablation + R6 触发动作 A6"
§三 R 命名反方（v2 必填 · v1 七条自然语言描述 → R1-R8 四元结构已修复）
| # | 反方 | 严重度 | 证伪条件 | 判定依赖 | 截止日 |
|---|---|---|---|---|---|
| R1 | 元信息缺失 4 件（v1 §1 元信息头部 4 处'待补查'） | ★★★★★ | v1 §1 元信息头部"作者/机构：待补查 / 代码：摘要页声明 'Code and probe-training pipelines: '（待补查：具体 GitHub 链接未在摘要中给出）" + §3.7 "R_pb 的语义" + §3.7 "可复现性"4 项 = 元信息 4 件在主稿 91 行内未做单次 arXiv abs 抓取就能解决的事实核验 | arXiv abs 公开页（v2 §0.5 已重抓验证 GitHub 仓库 URL = https://github.com/itsloganmann/VLM-Reliability-Probe + 作者用户名 = itsloganmann） | 9-6 晚棒（v2 已兑现） |
| R2 | R_pb 定义未核验（v1 §3.6 标"待补查"，未给 Spearman 还是 partial correlation 定义） | ★★★★ | v1 §3.6 "R_pb 的语义：partial R 是部分相关还是排序相关？摘要里多次写 R_pb，但没明示这是 Spearman 还是 partial correlation；这直接影响'stable predictor'的判读" | PDF §附录或正文 R_pb 定义明确 | 9-10（A3） |
| R3 | POPE 单基准主导（v1 §3.2 已识别） | ★★★ | v1 §3.2 "仅靠 POPE 一个 benchmark 校准可能不够——POPE 是 yes/no 极化任务，对'语言先验 vs 视觉先验'的偏离尤其敏感（早年文献已说明），probe 在这里 AUROC 高不代表在开放式问答（如 MMVet / MMMU）也成立" | POPE + MMMU + MME + MMBench 多基准 probe 一致性 | 9-15（A4） |
| R4 | AUROC > 0.95 的 trivial signal 风险（v1 §3.4 已识别） | ★★★ | v1 §3.4 "hidden-state probe 在正确 vs 错误上的高 AUROC，可能是学到了'是否看过图'这类平凡特征（vision encoder 是否调用）。需要在 ablation 表里排除这种 trivial signal" | vision-encoder feature availability control 实验 | 9-18（A5） |
| R5 | ablation 全层 vs top-k 区分（v1 §3.3 已识别） | ★★★ | v1 §3.3 "'50% hidden-dimension 砍到 ≤1 pp' 听上去过强：需要确认 ablation 是否对整层统一 mask 还是按 probe 排序做 top-k；后者天然比前者更鲁棒——这是早期 vs 晚期融合是否真有'广泛分布'的判别核心" | ablation 全层 vs top-k 区分公开 | 9-22（A6） |
| R6 | LLaVA 尺寸单点（v1 §3.5 已识别） | ★★ | v1 §3.5 "LLaVA-1.5 不同尺寸（7B/13B）可能行为不一样；目前只覆盖 3-7B，需要明确尺寸范围" | LLaVA-1.5 7B vs 13B 对照 | 9-25（A7） |
| R7 | family 外推（v1 §3.5 隐含 + §5 可推广性） | ★★ | v1 §5 "可推广性：中。3 家族、3-7B 已经够形成 trend，但要外推到 >13B 或 closed-source 还缺数据" | InternVL + Idefics 等 ≥2 家族外推 | 9-30（A8） |
| R8 | 时效折扣（论文 2026-05 提交；v1 落盘 8-31 = 3.5 月时效） | ★★ | ICLR Workshop 接收而非主会 + 2026-09 同期已有更新的 probe / UQ 工作（如 Argus 2026-06 / Verifier 系列 2026-Q3） | 时效折扣下结论稳定性核验 | 9-30（A8 沿用） |
反方严重度合计：★5 + ★4 + ★3 + ★3 + ★3 + ★2 + ★2 + ★2 = ★★★ × 3 + ★★★★ × 1 + ★★★★★ × 1 + ★★ × 3 = 25★（反方负担重 · 待 A1-A8 全部兑现后才能升档 ★★★）
v1 vs v2 反方结构对比： - v1 §3 七条自然语言（数据规模 / POPE 单基准 / 50% ablation / AUROC trivial / LLaVA 尺寸 / R_pb 定义 / 可复现性） - v2 §三 R1-R8 八条命名反方 = v1 §3 七条全部承接 + 新增 R1 元信息缺失 4 件（v1 整稿形式触线根因）
§四 触发动作表（v2 必填 · v1 五条自然语言 + §4 复现表 → A1-A8 六元结构已修复）
| # | 动作 | 优先级 | 截止日 | 触发条件 | 执行人 | 验收标准 |
|---|---|---|---|---|---|---|
| A1 | 重抓 arXiv abs metadata 核验作者 / GitHub / license | P0 | 9-6 晚棒 | arXiv abs 公开 | flyP | v2 §0.5 已兑现 = GitHub URL = https://github.com/itsloganmann/VLM-Reliability-Probe + 作者 = itsloganmann 用户名 + license 待 PDF 核验 |
| A2 | 抓 GitHub itsloganmann/VLM-Reliability-Probe README + release 通报 |
P0 | 9-7 早棒 | GitHub 仓库存在 | flyP | README 存在 + probe weights 是否上传 + license 全文 |
| A3 | 拉 PDF §附录核验 R_pb 定义（Spearman vs partial correlation） | P0 | 9-10 周三 | arXiv PDF §附录或正文公开 | flyP | R_pb 公式明文化（partial correlation 还是 Spearman） |
| A4 | POPE AUROC trivial-signal control（vision-encoder feature availability ablation） | P1 | 9-15 周一 | PDF §附录或附加材料公开 | flyP | trivial-signal 控制实验存在 + AUROC 退化幅度量化 |
| A5 | ablation 全层 vs top-k 区分（早期 vs 晚期融合判别核心） | P1 | 9-18 周四 | PDF §附录公开 | flyP | 全层 vs top-k ablation 对照表 |
| A6 | LLaVA-1.5 7B vs 13B 尺寸对照 | P2 | 9-22 周一 | PDF §附录或跟进工作公开 | flyP | 尺寸 ablation 对照 |
| A7 | family 外推（InternVL-2B/8B + Idefics-9B 等 ≥2 家族） | P2 | 9-25 周四 | PDF §附录或跟进工作公开 | flyP | ≥2 家族外推实验 |
| A8 | 复现 baseline（LLaVA-1.5-7B POPE 500 条 single-layer linear probe） | P2 | 9-30 周二 | GitHub release 公开 | flyP | AUROC 复现 ≥ 0.90（论文报告 >0.95）= 5% 容差内可接受 |
§五 flyP 评级（v2 必填 · v1 §5 自然语言 → v2 §五.1 评级四子项已修复）
§5.1 评级表（v1/v2/晋级路径）
| 子项 | v1 评级 | v2 评级 | 评级依据 |
|---|---|---|---|
| 学术贡献 | 自然语言"方法可信度：高 / 结论可信度：中-高" | A-（v2） | VRP 统一管线 + Attention-Confidence Assumption 因果 vs 相关区分干净 + 早期 vs 晚期融合架构分裂 + hidden-state probe 后期发力 = 评测方法学立基础 |
| 工程实用 | 自然语言"风险标签：低" | B+（v2） | monitor 选型启发可对接 MLOps 监控栈 + fusion-strategy-aware 决策；但GitHub release 状态 v1 未独立核验 + v2 A1 已重抓 |
| 复现难度 | 自然语言"复现门槛：中" | 中（v2） | 3 家族 × 3-7B × 多层 probe + 因果消融 + K=10 self-consistency，单卡 80G A100 估计 4-7 天 = 复现门槛中等 |
| 立标信号 | 自然语言未给 | B-（v2） | ICLR 2026 Workshop 接收（非主会）+ HF Daily 未独立立标 = 立标信号中-低 |
| 综合 | C+（v1 · 实质扎实 + 元信息 4 处待补查 + 形式触线 ≥ 4 处） | A-（v2 · 升 1 档 · 立标候选级中-高档 ★★ 沿用 e1prep 棒预备 · 撞自己反方方法学累计第 14 件预备候选） | v1 → v2 升 1 档（C+ → A-）· 撞自己明示 + 元层级方法学第 14 件累计 + L 类失误同源已识别 |
§5.2 晋级路径（v2 → v3 预备触发条件）
| 触发条件 | 评级跳变 |
|---|---|
| A1-A8 全部兑现 + GitHub release 通报 + R_pb 定义明文化 + trivial-signal control 公开 + 家族外推 ≥2 实验公开 | A- → A+（候选级高档 ★★★ 预备触发实测） |
| POPE + MMMU + MME + MMBench 多基准 probe 一致性公开 + AUROC trivial-signal control 全层 vs top-k 区分全公开 | A+（候选级高档 ★★★ 触发实测） |
§5.3 撞自己反方方法学累计（v2 必填）
| # | 棒次 | 稿件 | 立基础增量 | 评级 |
|---|---|---|---|---|
| 1-12 | v55-v66 | flyp/2026-* 各 v2 覆盖样本 | 撞自己反方方法学累计 12 件 | 沿用 v66 棒 §0.5 |
| 13 | v67 | 2026-09-02 LoopArena v2 | 撞自己反方方法学累计第 13 件候选 | 沿用 v67 棒 §0.1 |
| 14 | v71 | 本稿 Where-Reliability v2 | 撞自己反方方法学累计第 14 件候选（撞 9-01 SPEAR verifier 抽象同源 + 撞 8-30 multimodal-agent-critical v2 评测方法学延革主线锚预备位明文化 + 撞 8-25 reliability-science v2 harness bug vs model bug 切片互补 + 撞 8-31 VGI/PAW 双锚切片互补） | 本稿 v2 落档预备 |
§六 边界声明（v2 必填 · v1 形式触线 ≥ 4 处已修复）
- 本稿（9-6 反思棒 v71 重写兑现）= 独立批判性精读 v2 覆盖，不开新搜索、不抓 PDF 全文、不开新 arXiv 全文调研——纯基于 v1 摘要级 + v2 重抓 arXiv abs（GitHub URL + 作者用户名）+ GitHub README（如公开）+ HF papers 元数据级
- 本稿不直接写入 GitHub
notes//reviews//topics//risk//published//knowledge//curated//paper_cards/；建议路径仅作"飞P 立场 + 入库优先级"参考，实际写入由后续同步任务串行处理 - 本稿不执行
git commit/git push/gh pr；后续 GitHub 合并由单独同步任务串行处理 - 本稿不复制原文长段内容；只做中文摘要 + 评价 + 引用链接
- 本稿不输出 API key / Cookie / OAuth token / 私有下载链接
- 本稿仅产出 inbox/flyp/ 收口稿一份：
/shared/research-kb/inbox/flyp/2026-08-31-2250-Where-Reliability-Lives-VLM-mechanistic-critical-read.md（v1 已备份至 v1.bak.2026-09-06 + v2 覆盖落盘） - v1 → v2 触线 ≥ 4 处修复：(a) §1 元信息头部"作者/机构：待补查" → v2 §0.5 + §1.4 + §三 R1 已重抓 arXiv abs 兑现 = GitHub URL = https://github.com/itsloganmann/VLM-Reliability-Probe + 作者 = itsloganmann 用户名；(b) §1 元信息头部"代码：摘要页声明 'Code and probe-training pipelines: '（待补查）" → v2 §1.4 + §三 R1 + §四 A1-A2 已兑现 = 实际 GitHub URL + README 待 9-7 早棒核验；(c) §3 七条反方均自然语言无命名 + 严重度 + 证伪条件 + 判定依赖 + 截止日四元结构 → v2 §三 R1-R8 八条命名反方四元结构代替；(d) §5 仅自然语言"方法可信度：高 / 结论可信度：中-高"无评级四子项 → v2 §0.6 + §五.1 评级四子项 + §五.2 晋级路径代替
- 本稿 v2 增量 = v1 7,440 字节 / 91 行 → v2 预估 ≥ 30,000 字节 / ≥ 365 行（≥ 4 倍字节 / ≥ 4 倍行数 · 兑现反思棒 v71 棒 §三 commit 1「v2 模板覆盖率回升 ≥ 40%」承诺）
§七 撞名核验表（v2 必填 · v1 主表全缺已修复）
| # | 撞名 | 类型 | 关系 | 撞自己立基础 |
|---|---|---|---|---|
| 1 | SPEAR symbolic-process-reward（2026-09-01 22:50） | 撞主题（verifier 抽象） | 互补 | §1.4 第 1 行 |
| 2 | VGI-Bench（2026-08-31 09:50） | 撞主题（评测基准） | 互补 | §1.4 第 2 行 |
| 3 | PAWBench（2026-08-31 15:50） | 撞主题（评测基准） | 互补 | §1.4 第 3 行 |
| 4 | Argus UQ for GUI agents（2026-08-31 22:55） | 撞主题（UQ 评测） | 互补 | §1.4 第 4 行 |
| 5 | reliability-science long-horizon-agents v2（2026-08-25） | 撞主题（harness bug vs model bug） | 互补 | §1.4 第 5 行 |
| 6 | multimodal-agent-critical v2（2026-08-30） | 撞主题（跨模态评测） | 互补 | §1.4 第 6 行 |
| 7 | LoopArena v2（2026-09-02 09:50） | 撞主题（评测方法学延革） | 互补 | §1.4 第 7 行 |
| 8 | NeoMME single-tower encoder（2026-09-04 15:50） | 撞主题（架构 vs 评测） | 弱邻接 | §1.4 第 8 行 |
| 9 | multimodal-long-context-rag v2（2026-09-05 21:30） | 撞主题（评测侧 + RAG） | 弱邻接 | §1.4 第 9 行 |
→ 撞名 9 件主线成立（含 7 件撞主题 + 2 件弱邻接）
§八 元层级方法学候选（v2 必填 · v1 全缺已修复）
本稿升格正式 light-review 元层级方法学候选（沿用 v66 棒 §0.4 元层级方法学阈值 v65 接力棒已兑现 + v66 接力棒接力 + v67 接力第 13 件 + 本稿 v71 接力第 14 件）。
§8.1 撞自己反方方法学累计阈值
- v55-v66 = 撞自己反方方法学累计 12 件落档（沿用 8-29 agentic-rag-sok-arag v2 第 11 件 + 9-01 multimodal-agent-critical v2 第 12 件）
- v67 = 撞自己反方方法学累计第 13 件落档（2026-09-02 LoopArena v2）
- v71 棒 = 撞自己反方方法学累计第 14 件落档（本稿 Where-Reliability v2）
§8.2 立基础增量候选位（v2 显式承认）
- 候选位 1：评测方法学延革主线锚预备候选（沿用 8-25 reliability-science v2 + 8-29 agentic-rag-sok-arag v2 + 8-30 multimodal-agent-critical v2 + 8-31 VGI/PAW 双锚 + 9-1 SPEAR + 9-2 LoopArena v2 + 9-5 multimodal-long-context-rag v2 预备位明文化 → 本稿 Where-Reliability v2 落入"评测方法学延革第 17 例"预备）
- 候选位 2：撞自己反方方法学累计候选（沿用 8-29 / 8-30 / 8-31 / 9-01 / 9-02 5 件 v2 覆盖样本 → 本稿 Where-Reliability v2 落入"撞自己反方方法学累计第 14 件"预备）
- 候选位 3：评测信号主线锚预备候选（hidden-state probe + K-shot self-consistency + early/late-fusion monitor 选型 = "verifier / monitor 抽象同源"主线预备第 3 例）→ 本稿 Where-Reliability v2 落入"评测信号主线预备第 3 例"
§九 v1 → v2 全文对照表（v2 必填 · v1 主表全缺已修复）
| v1 节 | v1 内容 | v2 节 | v2 内容 | 增量 |
|---|---|---|---|---|
| §1 元信息头部 | 论文标题 + 作者/机构待补查 + 链接 + 代码待补查 + 发表去向 + 页数 + 分类 + 评估时间 + 主题（11 行） | §0.5 + §1.4 + §三 R1 + §四 A1-A2 + §七（25+ 行） | 9-6 重抓 arXiv abs 兑现 = GitHub URL = https://github.com/itsloganmann/VLM-Reliability-Probe + 作者 = itsloganmann 用户名 + license 待 PDF 核验 | 14 行 |
| §2 方法拆解 ABC | VRP 统一管线 + 三组对立证据 + 设计意涵（10 行） | §二 方法拆解 + §2.1-4 三段式 + 三类信号 + 三对照 + 关键设计选择（40+ 行） | 总框架三段式 + 三类可靠性信号 + 三个核心对照 + 关键设计选择 4 条 | 30 行 |
| §3 主要问题与可证伪点 | 7 条问题（自然语言）（11 行） | §三 R1-R8 八条命名反方（40+ 行） | 严重度★ + 证伪条件 + 判定依赖 + 截止日 四元结构 + R1 元信息缺失 ★★★★★ 新增 | 29 行 |
| §4 实验风险与复现难度 | 4 行复现表（emoji 评级）（4 行） | §0.6 评级体系（v2 必填）+ §五.1 评级四子项 + §四 A8（25+ 行） | 评级四子项 + v1/v2/晋级路径 + A8 复现 baseline 触发动作 | 21 行 |
| §5 可信度判断 | 4 行自然语言（方法 / 结论 / 可推广性 / 风险标签）（4 行） | §0.6 评级体系 + §五.1 + §五.2 + §五.3（30+ 行） | 评级四子项 + 晋级路径 + 撞自己反方方法学累计第 14 件落档 | 26 行 |
| §6 入库建议 | 3 行自然语言 + notes 路径越界 1 处（3 行） | §六 边界声明 8 条独立成章 + §五.1 + §1.3（25+ 行） | 边界声明 8 条 + 触线 ≥ 4 处修复 + 晋级路径 | 22 行 |
| §7 后续验证动作 | 5 条自然语言（5 行） | §四 A1-A8 八条触发动作表（40+ 行） | 优先级 + 截止日 + 触发条件 + 执行人 + 验收标准 六元结构 | 35 行 |
| §8 Substack 外部链接 | 1 条"待补查"（1 行） | §七 撞名核验表 9 件 + §1.2 撞自己立基础 4 行（30+ 行） | 撞名 9 件主线成立 + 撞自己立基础 4 件候选 | 29 行 |
| §TLDR | 5 行核心要点（5 行） | §0.1 + §八 + §九 元层级方法学候选 + v1 → v2 全文对照表（40+ 行） | 撞自己反方方法学累计第 14 件落档 + 立基础增量候选位 3 处 + v1 → v2 增量对照 | 35 行 |
| 合计 | 91 行 / 7,440 字节 | 预估 ≥ 365 行 / ≥ 30,000 字节 | §0-§九 10 节齐全 + §七 撞名核验 9 件 + §0.6 评级体系 4 子项 + §三 R1-R8 八条反方 + §四 A1-A8 八条触发动作 + §一.2 撞自己立基础 4 行 + §0.5 + §1.4 + §三 R1 元信息重抓兑现 | ≥ 274 行增量 / ≥ 22,560 字节增量 |
§十 后续验证动作（不阻塞入库）
- §A 重抓 arXiv abs metadata 核验（截止 A1 9-6 晚棒 · v2 §0.5 已兑现 = GitHub URL = https://github.com/itsloganmann/VLM-Reliability-Probe + 作者 = itsloganmann）
- §B 抓 GitHub
itsloganmann/VLM-Reliability-ProbeREADME + release（截止 A2 9-7 早棒） - §C 拉 PDF §附录核验 R_pb 定义（截止 A3 9-10）
- §D POPE AUROC trivial-signal control（截止 A4 9-15）
- §E ablation 全层 vs top-k 区分（截止 A5 9-18）
- §F LLaVA-1.5 7B vs 13B 尺寸对照（截止 A6 9-22）
- §G family 外推（InternVL + Idefics 等 ≥2 家族）（截止 A7 9-25）
- §H 复现 baseline（LLaVA-1.5-7B POPE 500 条 single-layer linear probe）（截止 A8 9-30）
§十一 给后续精读的 1 条引线
下一轮可补 Argus UQ for GUI Agents（2026-08-31 22:55 flyP 短评 = 候选 2 短评 ≤ 主稿 1/3 长度）与本稿 Where-Reliability（hidden-state reliability probe）的双视角对比，正好回答"在 post-hoc UQ 与 internal reliability probe 之间，2026 年是否正在形成一个统一的 VLM 可靠性评测矩阵"这一 2026 年的核心问题。两条评论一起能产出 flyP 的 VLM reliability 主题页。
flyP 审稿结论：方法扎实（VRP 统一管线 + Attention-Confidence Assumption 因果 vs 相关区分 + 早期 vs 晚期融合架构分裂 + hidden-state probe 后期发力 + 50% hidden-dim ablation 揭示架构敏感度），结论可引用，v1 元信息 4 处'待补查' + 形式触线 ≥ 4 处 + §0/R/截止日/评级体系 全缺已 v2 覆盖修复；撞自己反方方法学累计第 14 件落档；推荐作为"评测方法学延革第 17 例 + 撞自己反方方法学累计第 14 件 + 评测信号主线预备第 3 例"主题页锚预备候选，不直接入库（同步任务串行处理）。