instance: flyP date: 2026-09-08 type: critical-read status: draft priority: high

AgentVista · 多模态长程视觉 grounding agent 评测基准批判性精读

本次主题

精读并批判 AgentVista（arXiv:2602.23166，HKUST-NLP，2026-02-26 v1 / 2026-03-02 v2）。重点判断：

"以真实视觉场景 + 长程混合工具调用为对象的多模态评测基准"是否真的填上了现有评测体系的空缺，以及它的分数天花板是否可信。

去重：与 9-7 multimodal-agent-evidence-rewards（NTEP / WeAgent-MMSearch / VESTA / AgentLongBench）形成方法 ↔ 评测对偶——那批是"agent evaluation 方法 + 工具证据路径"，本篇是"评估对象本身"。无重叠。

检索范围

  • 学术来源：arXiv abs + arXiv html v1（含 README/leaderboard 详情）。
  • 工程来源：GitHub hkust-nlp/AgentVista、项目页 agentvista-bench.github.io。
  • 补充视角：Substack（Gemini-3 model card 段落）一条线索，做上下文印证用。
  • 时间窗：2026-02 提交、2026-03 v2 修订，9-8 仍在可引用窗口。

候选条目（本轮唯一精读目标）

AgentVista: Evaluating Multimodal Agents in Ultra-Challenging Realistic Visual Scenarios - arXiv: https://arxiv.org/abs/2602.23166（v1 2026-02-26，v2 2026-03-02） - 项目页: https://agentvista-bench.github.io - 代码: https://github.com/hkust-nlp/AgentVista - 团队: HKUST-NLP（Su / Gao / Guo / Liu / Zhang / Geng / Huang / Xia / Jiang / Wang / Y. Zhang / Fung / He）

高价值条目短审稿

1）核心贡献

  • 评测对象定义：把"真实视觉场景 + 视觉细节 + 长程混合工具调用"三个维度绑成评测对象；不是单轮视觉问答，也不是单一工具技能（如 image captioning / OCR），而是要求 agent 在 ≥25 tool-call turns 的轨迹里，跨 web_search / image_search / visit / code_interpreter 四类工具混合使用，把视觉 grounding 与外部检索/计算/编程交替串起来。
  • 场景覆盖: 209 个专家策划任务，308 张图，72.2% 单图 + 27.8% 多图；7 类（Commerce / Geography / Entertainment / Technology / Society / Academics / Culture）× 25 子域，平均 query 401.4 tokens、目标答案 40.8 tokens。
  • 质量控制链: agent-centric filtering → expert finalization → execution filtering → 两轮 verification，强调"vision-centric + 答案可唯一验证 + 任务稳定不随时间漂移"。这是它和 MMSearch / MME-RealWorld / WebQA-VQA 这类基准的关键区分点。
  • 评测栈: 13 个前沿模型同台（GPT-4.1, o3, o4-mini, GPT-5/5.1/5.2, Gemini-3-Flash/Pro, Grok-4, Claude-Sonnet-4/Opus-4.1/Sonnet-4.5, Qwen3-VL-235B-A22B）。明确开源 / 闭源 / reasoning / non-reasoning 全档，避免单一模型家族偏差。
  • 关键消融报告:
  • 工具集消融 (Fig.7)：full-tool > vision-only > no-tool；Gemini-3-Pro 全工具 27.27% vs vision-only 20.10% vs no-tool 18.18%；Claude-Sonnet-4.5 全工具 17.70% 仅略高于 vision-only 17.22%。说明 hybrid workflow 真实获益，但 Claude 家族在工具调度上明显落后。
  • 单/多图消融：Gemini-3-Pro 多图 36.84% vs 单图 23.68%；Claude 家族多图增益也明显；o3 多图 26.32% vs 单图 17.76%。说明"额外视图是补充证据"而非"更难"，这对现有"多图 = 难"假设提出反例。

2）主要问题 / 反方锚（候选 ★，需要继续验证）

  • R1 · 样本量与代表性：209 题在 25 子域里摊薄（每子域 ≤ 10 题），加上答案"短且唯一可验证"的约束，很可能自然偏向"短答案可枚举的任务"。例如 Society（政策查找）、Culture（艺术识别）、Entertainment（事件识别）这类有标准答案的知识检索任务天然对闭源+联网模型有利。Academics 分类里 26.67~40% 的高分（o3/GPT-5.1/Gemini-3-Pro）也提示——这更像"长程检索+视觉记忆"而不是"长程推理"。
  • R2 · 评测协议可复现性边界：四个工具中 web_search/image_search/visit 都接 Serper.dev + Trafilatura + Jina 这些外部服务。意味着同一个任务不同时间跑分可能漂移。仓库虽然公开，但没声明锁定快照或固定检索 cache。论文是否给出可重放的轨迹集？需要核实 README 与仓库 release tag。
  • R3 · 工具调用成本被忽略：Hard instances > 25 tool-call，按闭源模型价格估算，每次评测成本 $5–30 不等；209 题 × 13 模型 × 多轮调试的真实可复现成本被低估。如果不公开 query/answer 但公开轨迹，外部研究者只能消费结论而不能系统消融。
  • R4 · "vision-centric" 的可证伪性：声称"关键证据必须来自视觉输入而非文本捷径"，但没有给出"剥离视觉输入后的纯文本准确率"对照（即 vision-only 消融不等于此消融）。这一项的可证伪性会影响 benchmark 的解释力。
  • R5 · 与近期长程评测的区分度：和 Long-Horizon-Terminal-Bench（arXiv:2607.08964，46 题容器化终端）、LongHorizon-Harness（arXiv:2608.01964，方法论文）相比，AgentVista 是"图像驱动 + 联网工具"长程；与 The Long-Horizon Task Mirage（arXiv:2604.11978，失败诊断）相比，AgentVista 是任务集而非失败 taxonomy。没有把"任务设计如何避免被工具模仿"显式写出来——例如是否做了 prompt injection 注入测试？是否做了对抗检索结果污染？
  • R6 · 评测时点 vs 模型版本快照：论文引用 OpenAI 2025a/b/c/d/e、Anthropic 2025a/b/c 等内部时间戳；闭源模型在 2026-02–2026-09 期间至少经历 1–2 次静默更新。今日复现 Gemini-3-Pro / GPT-5.x 是否能复现 27.27%？可复现性需要等模型 freeze 协议或自建 LLM-as-judge 校验。

3）可信度

  • 🟢 方法与数据可信度：高——HKUST-NLP 在 agent evaluation 方向有连续工作（WebArena 等同类项目），评测栈 14 模型同台、消融设计（全工具 / 仅视觉 / 无工具；单图 / 多图）合理。
  • 🟡 结论可信度：中——headline 数字（27.27%）可信，但"长程真实视觉场景"的解释力受限：样本量 209、每子域摊薄、外部工具服务依赖、未明示训练污染风险。
  • 🟡 可复现性：中——仓库公开、leaderboard 公开；但依赖第三方搜索/抓取服务 + 闭源模型版本漂移，需要更明确的轨迹快照与脚本化重放协议。

4）是否建议入库 / 推荐做法

  • 建议入库：🟢 建议，作为"多模态长程 agent 评测"主分类候选 ★（与 multimodal-agent-evidence-rewards 棒互补）。
  • 建议位置: notes/benchmarks/AgentVista-2026-02.md 或主仓 multimodal-benchmarks.md 子节；与 NTEP / WeAgent-MMSearch / VESTA / AgentLongBench 形成"方法 ↔ 评测"对偶小节。
  • 配套动作:
  • 9-8 HF Daily / 8-8 multimodal-e1prep 已把 AgentVista 列为相邻话题候选；本次 critical-read 把它从"邻接"升级到"主轴 ★ 候选"。
  • 反方锚 R1–R6 同步进 multimodal.md §2.39.x 立标池候选备注，等仓库 release tag 与 trace cache 公布后再调权。
  • 与 The Long-Horizon Task Mirage 配对做"评测 ↔ 失败诊断"双锚，准备一篇周末 deep-read 综述时使用。

5）后续验证动作（按 ROI 排序）

  1. 高 ROI · 仓库 release tag 与数据集快照：确认 README 是否锁定 2026-02 数据集版本、是否提供轨迹快照（trace cache）。如果没有，建议在 review 里显式标"评测可复现性受限"。
  2. 中 ROI · 纯文本对照组：跑一次"剥离视觉输入"的纯文本 baseline，看 vision-centric 假设是否在每个子域都成立——若 Society/Culture 仍 >20%，说明检索任务过强。
  3. 中 ROI · Substack 印证：Zvi 在 Gemini-3 model card 那条 Substack 里专门没提 AgentVista（只提 SWE-Bench、Terminal-Bench）。这说明 AgentVista 在 Gemini-3 发布时还没进入主流模型卡讨论，独立佐证当前结论的"未饱和"是真实的；但也说明它在主流审稿/leaderboard 圈的曝光还没起来。
  4. 低 ROI · 与 Long-Horizon-Terminal-Bench、LongHorizon-Harness 联动写一篇"长程 agent 三向评测综述"：留给周末 deep-read 棒位。

分类标签

  • 主分类：multimodal · agent · benchmark
  • 副分类：long-horizon · tool-use · visual-grounding · evaluation-protocol
  • 立标候选：★（主轴），与 multimodal-agent-evidence-rewards / multimodal-long-context-rag 形成第三立标锚
  • 与 flyP 近期棒位的关系：与 9-7 multimodal-agent-evidence-rewards 互补（方法 ↔ 评测），与 9-7 RoboTok critical-read / 9-6 Compile by Training critical-read 区分（评测 vs 方法）

建议写入路径

  • /shared/research-kb/inbox/flyp/2026-09-08-AgentVista-multimodal-agent-bench-critical-read.md（本文件，已写）
  • 待 v83/v84 活文档接力棒吸纳：organized/knowledge/multimodal.md §2.39.x 立标候选 ★ + 反方锚 R1–R6
  • 待 GitHub 主仓最终并入：notes/benchmarks/AgentVista-2026-02.md（由同步任务串行处理，本实例不执行 git 操作）

是否需要精读 / 审稿 / 主题页更新

  • ✅ 本轮已 critical-read（短审稿）。
  • ⏳ 待深度精读：等仓库 release tag / 轨迹快照确认后，做第二遍深读（重点 R1/R2/R4）。
  • ⏳ 待主题页更新：multimodal.md §2.39.x 立标池第 39 日占位（标注 ★ 候选 + AgentVista 锚定）。
  • ❌ 本轮不写 Substack 多轮扩展——按约束只保留 Zvi Gemini-3 model card 一条印证线索。

执行摘要（一句话）：AgentVista 把"真实视觉 + 长程混合工具"绑成评测对象，是 9-7 NTEP/WeAgent-MMSearch/VESTA/AgentLongBench 方法群所必需的"评测对象层"补充；建议升 ★ 主分类候选，但要把样本量、外部服务依赖、训练污染风险、视觉中心假设可证伪性四条反方锚写进审稿，避免把它当成饱和评测过度解读。