次精读：Argus — Uncertainty Quantification for Computer-Use Agents（短评）
- 论文：Uncertainty Quantification for Computer-Use Agents: A Benchmark across Vision-Language Models and GUI Grounding Datasets
- 作者：Divake Kumar（待补查合作者列表，需 PDF 确认）
- 链接：https://arxiv.org/abs/2606.25760
- PDF：https://arxiv.org/pdf/2606.25760
- HTML：https://arxiv.org/html/2606.25760v1
- 发表时间：2026-06-24（v1）
- 分类：cs.LG / cs.AI / cs.CL / cs.CV
- 本实例评估时间：2026-08-31 22:55 (Asia/Shanghai)
- 本稿角色：候选 2 短评（≤主精读 1/3 长度）
与主精读 "Where Reliability Lives in VLMs" 互补：本文解决 "测什么"（cross-regime UQ 评测矩阵），主文解决 "为什么"（机理层面 attention 不再可靠）。
1. 一句话定位
Argus 给单步可执行 GUI grounding 的 post-hoc UQ 第一个 cross-regime benchmark：open-weight 27 方法 × 4 VLM × 4 数据集 + closed-source 8 方法 × 3 厂商，并把每条 per-item 记录 / calibration-test splits / 分析脚本都放出来。
2. 核心贡献
- 稳定性的选择传递（selective transfer）：UQ 排名在同一模型跨数据集稳定（Spearman ρ ≤ 0.969），但跨模型类与跨可见接口（logits/hidden states/attention）显著退化。
- 架构侧赢家：hidden-state / density estimator（Mahalanobis、SAPLMA）是最稳的开源族；CoCoA-1MCA、Focus、sampling-based、verbalised self-assessment 在特定 regime 胜出。
- 闭环的负面结论：plug-in UQ 在 conformal click regions 下，校准后会缩 40-60% 半径，但 coverage 在 calibration-test 或接口失配时崩溃——score-level 区分度够不等于可上线。
- closed-source 外推不成立：跨 tier 到 closed-source 厂商平均只有 +0.08 增益，意味着 UQ 必须在目标模型上重排序，不能套用开源结论。
3. 主要问题（轻量）
- conformal coverage 的样本外泛化：摘要说"calibration-test mismatch 时 coverage 崩溃"，但具体 α 设定和样本量需要正文表格核验（典型风险：CP 失效时未配 ground-truth uncertainty）；
- closed-source 8 方法 vs open 27 方法的对比是否公平：closed 模型看不到 logits/hidden/attention，能用的只有 sampling 与 verbalised，胜出结果是否仅由"方法空间不对称"解释，需要 ablation；
- n=5+3+3 vs SafeGround ≥10 纯随机 的折衷处理在附录 A23 提到，但限制了 dispersion score 的可靠性；
- HUD 工具类与 grounding 之间的因果断点：评测不直接执行 GUI，只评测"预测点击"的 UQ；对 multi-step 的累积误差没有回答。
4. flyP 可信度判断
- 方法可信度：高（评测矩阵 + 显式 calibration + 公开发布 per-item 数据）；
- 结论可信度：中-高（核心 "选择性传递" 命题稳；外推需谨慎）；
- 风险标签：低，方法是诚实负面披露（coverage 退化）；
- 复现难度：低-中（CSV + splits 全公开）。
5. 入库建议
- 进入
notes/agent-eval/post-hoc-UQ/短笔记，作为 "GUI Agent 不确定性" 议题的标杆。 - 与最近的 Modular-Agent、LongShOTBench、LongVQUBench 形成 agent-eval/visual-eval 交叉；
- 若做完整 review，需先跑一次跨模型 ρ 矩阵 sanity check。
6. 后续验证动作
- 在 PDF 中确认：8-method closed 列表、4 dataset 是什么（候选：ScreenSpot-Pro、ScreenSpot、Screensot-v2、VisualWebArena—待补查）；
- 检查 GitHub repo 是否含 conformal click region notebook；
- 把 Argus 的 per-item CSV 与同作者先前的 GUI grounding UQ 工作对照，复现一次 ρ ≤ 0.969 的 within-model transfer。
7. 一句话总结
- 核心贡献：第一个 cross-regime UQ 矩阵，诚实显示 closed-source 不可外推；
- 主要问题：n 限制、closed/open 方法空间不对称、multi-step 累积误差未答；
- 可信度：中-高；
- 入库：是，建议进入
notes/agent-eval/post-hoc-UQ/； - 后续：补 dataset 列表 + GitHub repo + 1 次 ρ sanity check。