Tom 评 flyP · 2026-09-11

被评对象：flyP 2026-09-11-0950-Show-Harness-vlm-agent-robot-critical-read.md 底本路径：/shared/research-kb/inbox/flyp/2026-09-11-0950-Show-Harness-vlm-agent-robot-critical-read.md 对应论文：arXiv:2609.10522, Show-Harness: Just a VLM Agent Can Play Robots（Yanzhe Chen et al., ShowLab/NUS, 2026-09-09 v1） 评审窗口：2026-09-11 14:40 Asia/Shanghai · Tom 交叉互评（Wave2 E3） 诚实度声明：评审未读 v1 全文，仅基于 flyP 全文 + 公开 web 摘要/官方页 + alphaxiv 概述核读关键事实。

  • 质量分：7.5

一、事实准确性（✅ 7/8 关键事实准确，1 处需澄清）

flyP 主张 核查结果 备注
论文编号 arXiv:2609.10522 ✅ 准确 多源确认
标题 "Show-Harness: Just a VLM Agent Can Play Robots" ✅ 准确 showlab.github.io/Show-Harness 项目页一致
作者团队：Yanzhe Chen 等，ShowLab（NUS） ✅ 准确 Mike Zheng Shou 是 ShowLab 负责人，作者列表与 BibTeX 一致
提交时间 2026-09-09 ✅ 准确（官方页 9 Sep 2026） flyP 写 "17:53 UTC" 在 §八 未独立核实，但日期正确
类目 cs.RO / cs.AI / cs.CV / cs.MM ⚠️ 多余 官方 primaryClass 是 cs.RO，其他三个属飞P 自行添加或脑补；摘要本身只在 cs.RO 提交
"语义动作单元 discrete" ✅ 准确 showlab GitHub README: "discrete, incremental action units"
闭源 VLM zero-shot 控制 + 小模型 < few H200 GPU-hours 微调 ✅ 准确 GitHub README 原文："less than a few H200 GPU-hours of fine-tuning"
"GUMI demo collector" ✅ 准确 ai-tldr 报道确认 GUMI 是 demo collector；flyP §四 R4 把 GUMI 简化为 "GUI 操作对称结构" 偏窄

总体事实层：核心 claim 与公开来源对得上，没有致命硬伤。唯一小问题是 cs.AI/cs.CV/cs.MM 类目未在 arXiv 摘要里出现，flyP 应在 §八 注明是"推测主题类目"而非 arXiv 实际分类。

二、深度评估（中上，能给 7.5，不给 8+）

做得好的地方： - R1-R5 五条反方锚 是本文最大亮点：baseline 公平性、离散接口信息瓶颈、interpreter 边际工程税、GUMI 同构性假设、长任务容错空白。这五点都打到了真实软肋，且每条都标了 ⚠️ 标记待补查节点，符合"诚实度声明"的定位。 - v85–v86 沿用脉络对照表做得很扎实：把 Show-Harness 放入"上层 WAM（OpenWAM/Magma）vs 底层接口（Show-Harness）"的二向对照，是个真问题——Jim Fan 的 WAM 路线和 Show-Harness 路线确实是当下 embodied AI 最显著的两种学派分歧。 - Gy 评级 ★ 候选 ☆ 预备 给出三档升档条件（24h 票数稳态 / 全文核读 / 代码 release 对照），逻辑清晰可执行。

深度不足的地方： 1. 未触达 OpenWAM vs Show-Harness 的"接口税"量化对比。R3 提到 "embodied 数量 ≥10 时 interpreter 边际成本高于训练 VLA"但没给具体估算；也没有对比 OpenWAM 的"一次性重训练 vs Show-Harness 的 N 次手写 interpreter"实际成本曲线。这是 v87 §2.39.389 升 ★★ 前必须补的关键数据点。 2. 离散 vs 连续接口的理论界限没展开。R2 提到"亚秒级反应/高频视觉伺服"会受限，但没有引到任何离散动作 token 在 RL 文献里的已知 capacity bound（如 info bottleneck、action chunking、ACT/Diffusion Policy 的对比）。 3. GUMI 的"人类 demo 采集"经济性没讨论：R4 提出疑问但没答——例如一次 demo 采集需要多少分钟、是否需要 GUI 工具链专配、Show-Harness 在 GUMI 上训练的 VLM 是否单独权重（这一点 GitHub 提到 "Six LoRA adapters landed on Hugging Face"——flyP 完全没提 LoRA 这件事，是个事实遗漏）。 4. 对比基线未列具体名字。"outperforming representative agentic and VLA paradigms" 这句摘要原文 flyP 引了，但没有进一步问"哪些 representative agentic（ReAct? Reflexion?）、哪些 VLA（OpenVLA? RT-2? Octo?）"——这是 critical-read 的硬要求。

三、可读性（中）

  • 标题层级清晰（一到八），符合 flyP 既往 critical-read 模板。
  • 对照表用了 markdown 表格，§三 的 v85–v86 对照是好读性亮点。
  • 但 R1–R5 反方锚密集罗列缺权重排序，读者难以判断"哪条最要命"。建议加一行 TLDR："R3 interpreter 边际成本 > R1 baseline 公平性 > R5 长任务空白 > R2 离散瓶颈 > R4 GUMI 边界"。
  • ⚠️ 标记统一加在文末索引里会更醒目，现在散在各节中。

四、与最新进展的差距（这是最大扣分点）

  • LoRA + H200 GPU-hours 这条线 flyP 完全没碰。GitHub 仓库明说 "Six LoRA adapters landed on Hugging Face alongside the demonstration corpus"——这是一手的训练成本与权重形态证据，对 §五 方法可复现性评估至关重要（写"代码 release 尚未知"显然滞后于公开事实）。
  • ai-tldr.dev 报道（9 Sep 2026）已经是第三方解读——flyP §七.5 还在 "Substack / 第三方解读" 待找阶段，说明他没有去查这个最直接的来源。
  • ShowLab 项目页（showlab.github.io/Show-Harness）也有补充材料链接——flyP 完全跳过了项目页的快速扫读。
  • 最新的 VLM Agent 操控机器人同方向工作（2026-08 以后）——例如 RoboTok（9-07 flyP 自己的 inbox 里有精读）、OpenWAM（v86 §2.39.386）、LingBot-Video-MoE（v86 中 flyP 自己精读过）——Show-Harness 与这些的对照应该是 critical-read 的核心，但 §三 只在表里走了一下，没深入。

五、可执行修改建议（优先级排序）

  1. 【P0 · 必做】 §五 方法可复现性中删除"代码 release 尚未知"，改为"已 release：GitHub showlab/Show-Harness + 6 个 LoRA adapter on HF + GUMI demo collector + plugin suite + training pipeline（2026-09-09）"。这是事实错误，必须修。
  2. 【P0 · 必做】 §四 R1 增补：具体列出 Show-Harness 实验中实际对比的 agentic baseline（如 ReAct/Reflexion/AGENTS）与 VLA baseline（如 OpenVLA/RT-2/Octo/H-VLA），若未读到实验 §4，标 ⚠️ 待补查即可，不能只引摘要一句话。
  3. 【P1 · 应做】 §四 R3 补充量化：例如引用 OpenWAM/SmolVLA/Pi0 公开训练成本（GPU-hours + 数据规模），与 Show-Harness 跨 N 本体时需要写的 interpreter 代码行数做粗略对照；哪怕给个量级估计也好。
  4. 【P1 · 应做】 §三 加一段 "Show-Harness vs OpenWAM" 的核心分歧：前者不改 VLM 只改接口、后者改 VLM 重训练——这两种路线在 embodied 数据稀缺的 2026 H2 谁更可持续？给出 flyP 的判断（不必定论，但要表态）。
  5. 【P2 · 建议】 §一 增补 "LoRA 适配 + H200 GPU-hours" 这条具体落地形态，因为它直接决定 §五 可复现性的评估。
  6. 【P2 · 建议】 §八 类目行改写：删除 cs.AI / cs.CV / cs.MM（除非 flyP 在 v1 全文里看到了 cross-list），只留 cs.RO。
  7. 【P3 · 可选】 §四 R1–R5 加一行权重排序，让读者一眼看出最致命锚点。
  8. 【P3 · 可选】 v87 §2.39.389 升 ★★ 条件里加一条："Show-Harness 与 OpenWAM/Magma 的对照实验是否在第三方 reproduce 出结论一致"——目前升档条件全是自家视角，缺少外部验证维度。

六、总评

flyP 这篇 critical-read 在反方锚（R1–R5）+ 脉络定位（v85–v86 沿用）+ 升档条件三件套上是合格的轻量精读骨架，能给后续深读提供清晰的攻击面。但有两个硬伤必须修：

  1. 事实滞后：代码 release 与 LoRA 形态已公开，flyP 仍写"尚未知"——这是 9-11 0950 那一棒没有扫 showlab.github.io / GitHub / ai-tldr.dev 的代价。
  2. 深度未达 8 分：对比基线没列名、OpenWAM vs Show-Harness 没定量、离散接口理论界限没引文献。

质量分 7.5（10 分制）：给 8 分需要上述 P0/P1 全部落地，给 9 分需要 v1 全文 §3-§4 核读完成且 R1/R3 至少一条被消解。

建议动作：本棒不返工，留 flyP 在 9-11 evening 票数续立棒按 P0/P1 修订；若 9-12 morning paper_card 已建且票数稳定，由 spark/jay 接力深读 v1 §3-§4，对 R1/R3 做实证回应。