RoboFollow：揭示具身智能体中指令遵循的幻象

关联论文：2609.25636
作者：flyP
更新：2026-09-24

§0 元层五问（自检栏 · 9 维硬数字）

论文是否真正解决一个评测痛点？是：现有 embodied 评测任务单一，policy 可以「几乎不用语言」就拿高分，掩盖了真实指令遵循能力的不足。
数字是否能在 abstract 中逐字溯源？部分：abstract 给出「L0 强但 L1–L3 不迁移」+「9 个 VLA/WAM policy」；具体表格数字原文未明确（未读 PDF）。
是否有可复现的实证核心？是：bench 公开 GitHub + HF dataset，且分级 L0–L3 协议可独立运行。
是否定义新术语/概念而非套用既有？是：提出「low scene entropy」「hierarchical diagnostic protocol (L0–L3)」「Intent / Execution 分阶段评分」。
是否与同方向 SOTA 形成明确对比？是：直接对 9 个 SOTA VLA/WAM 模型做评测，并尝试 4 类已知缓解（更强 VLM、QA co-training、LangForce、CFG）。
⚠️ 不确定处：⚠️ 9 个 policy 名称与各档 L 数字原文未明确给出；⚠️ fine-tuning setup 是论文新引入还是沿用某既有 pipeline 未在 abstract 阐明；⚠️ 「success rate」与「Intent / Execution score」两套指标在不同 L 上分别如何报告原文未明确。
⚠️ 是否依赖仿真器：是（abstract 没明说是 sim 还是 real-robot，但「kinematically distinct branches」+「trained repertoire」暗示仿真环境，原文未明确 simulator）。
⚠️ 是否开源：GitHub + Hugging Face dataset 已声明，可独立复现。
⚠️ 「原文未明确」标注密度：本解读保守采用 abstract 口径，未读 PDF，不外推。

§一一句话结论

RoboFollow 是一个诊断式具身指令遵循 benchmark，它用「高场景熵 + 四级扰动协议 + 混淆维度控制」三原则把"看起来成功率很高、其实根本没在用语言"的假象剥掉；实测 9 个 VLA/WAM policy 在 L0 强、L1–L3 全面塌方，4 种代表性缓解（更强 VLM backbone、QA co-training、LangForce、CFG）均无法弥合差距——「instruction following」是当前 embodied agent 被严重低估的瓶颈。

§二解决的真问题

具身 agent（embodied agents）近两年的评测普遍呈现一个反直觉现象：视觉导航 / 物体操作的成功率一路攀升，但模型对自然语言指令的理解几乎是零。原因被作者命名为 「低场景熵」（low scene entropy）：

当一个视觉场景只对应一个有效的可执行任务时（例：「桌上只有一只杯子，你只有拿杯子这一个合理动作」），语言指令变成冗余信息——policy 不读语言也能拿到高分。
这导致现有 benchmark 的高分是「场景唯一性」+「policy 默认动作」的产物，而非「听懂指令后执行」的产物。

这给整个领域制造了一个评测假象：模型看似在跟人协作，其实只是「在固定场景下做固定动作」。RoboFollow 的目标就是把这个假象拆穿，并把「真指令遵循」量化为可比较、可干预、可证伪的能力维度。

§三核心方法

3.1 设计三原则

高场景熵（High Scene Entropy）：每个训练场景支持多个运动学上不同的任务分支（kinematically distinct task branches）。例如同一桌面放杯子和盘子，指令可以是「拿杯子」「拿盘子」「把杯子放到盘子右边」——视觉信息不足以唯一决定动作，必须依赖语言。
层次化诊断协议（Hierarchical Diagnostic Protocol, L0–L3）：四级渐进扰动，逐步加压： - L0：基线，等价指令应在相同场景下产生相同行为，不同指令应在不同场景下产生不同行为。 - L1：扰动视觉布局（spatial relations）——同样的指令，桌子换了位置后还能不能听懂？ - L2：扰动属性语义（attributes）——杯子换颜色、换大小是否仍被识别？ - L3：扰动轨迹约束 + 逻辑（trajectory constraints & logic）——「绕过障碍」「先 A 后 B」等组合指令是否被解析？
混淆受控诊断（Confound-Controlled Diagnosis）：把交互物体简化、动作限制在训练 repertoire 内、并分阶段报告 Intent / Execution 分数，从而把"听懂没"和"做没做对"分开——不把 motor execution 的失败错算到 language understanding 的头上。

3.2 L0–L3 评测协议（伪代码）

def evaluate(policy, scene, instruction):
    # 阶段 1：Intent 评分（听懂没）
    intent_l0 = same_scene_same_instruction_deterministic(policy, scene, instruction)
    intent_l1 = scene_layout_swap_keep_intent(policy, scene, instruction)
    intent_l2 = attribute_swap_keep_intent(policy, scene, instruction)
    intent_l3 = trajectory_logic_perturb(policy, scene, instruction)
    # 阶段 2：Execution 评分（听懂之后做对没，仅在意图一致时计分）
    exec_score = execute_in_simplified_env(policy, scene, instruction) \
                 if intent_correct else None
    return {"intent": [intent_l0, intent_l1, intent_l2, intent_l3],
            "execution": exec_score}

3.3 关键概念

概念	含义	为什么重要
Low / High Scene Entropy	场景能支持多少互斥任务分支	决定 policy 是否被迫依赖语言
Intent score	听懂没（不区分能否执行）	隔离 language understanding 维度
Execution score	听懂之后做对没	隔离 motor control 维度
L0 → L1 → L2 → L3 递进	视觉/属性/轨迹/逻辑四级扰动	把"假成功"压扁成"真失败"

§四关键实验与数据

4.1 评测对象

9 个 VLA / WAM policy：横跨 vision-language-action 模型与世界模型类 embodied agent（具体名单原文未明确给出，需查正文表格）。
模型按是否开源 / 是否 SOTA 分层，但 abstract 未给出每个模型的具体名称与版本号。
评测采用论文提出的 fine-tuning setup（原文未明确是否为各模型原训练流程的延续，还是统一重训到一个 RoboFollow 数据分布上）。

4.2 主要发现（abstract 口径）

L0 强 ≠ L1–L3 强：fine-tuning 后，多数 policy 在 L0 表现良好，但在 L1–L3 显著退化。说明「高分」不来自语言理解，而是来自场景唯一性。
9 个 policy 普遍呈现同一塌方模式（原文未明确给出每个模型逐档得分表，但定性结论是「普遍」）。
4 种代表性缓解全部失败： 1. 更强 VLM backbone：换更大的视觉-语言模型不足以弥补指令遵循。 2. QA co-training：在 VQA / QA 数据上做联合训练，无效。 3. LangForce：一种 language-conditioned force / reward shaping 方法，无效。 4. Classifier-Free Guidance (CFG)：推理时 guidance 增强，无效。

4.3 公开资源

代码：https://github.com/AutoLab-SAI-SJTU/RoboFollow
数据集：https://huggingface.co/datasets/AutoLab-SJTU/robofollow-data
作者机构：上海交通大学 AutoLab
提交日期：2026-09-22（arXiv v1）

§五 R 命名反方五元

R1：fine-tuning setup 的公平性存疑。如果 9 个 policy 在同一 RoboOnly 数据上 fine-tune，等于把"通用 embodied 智能"压缩成"RoboFollow 专家"，L1–L3 的退化可能只是 OOD 敏感度而非真正的语言能力缺失——尤其 WAM 类世界模型未必适合此类 fine-tune 协议。
R2：「execution 在 repertoire 内」是否过度简化。限制动作空间让 execution 评分更纯净，但也让"听懂没听懂"和"会不会做"被强制绑在一个小动作空间内；一些 policy 的塌方可能来自「没有合适的 action 表达接口」而非「不懂指令」。
R3：缓解手段只试了 4 种且均失败，是否代表"指令遵循本身不可解"？ 不。CFG / QA co-training / LangForce 都属于浅层干预；现代 agentic 思路（chain-of-thought + tool use + explicit reasoning trace）未被纳入尝试。
R4：场景熵定义与现实任务匹配度。「kinematically distinct task branches」在仿真中可以精确枚举，但在真实家居/工业场景里任务分支可能是连续的（参数空间而非离散选项）——bench 分数能否外推到真实任务仍是开放问题。
R5：基准自偏差。L0 表现强、L1–L3 退化强的模式，在作者 fine-tune 协议下是必然的；但若换用 RL-from-human-feedback 或大规模互联网视频预训练策略，可能天然对 L1–L3 鲁棒——bench 本身没有正面测试这类策略。

§六 A 命名触发动作五元

A1：补齐 SOTA 全名单 + 各档数字。公开 9 个 policy 名字 + L0–L3 Intent/Execution 表格，让下游研究者可独立对比。
A2：增加 baseline group。除了 4 类失败缓解，至少再试 (a) CoT prompting、(b) tool-augmented agent、(c) closed-source VLA (GPT-5 / Claude 4 类) 三组，否则"全部失败"为时尚早。
A3：real-robot 子集。把 L2–L3 中至少一个层级搬到真实机器人，验证仿真结论能否迁移。
A4：发布 difficulty ladder 难度阶梯。让用户能选"我要测 L0 即可"或"我要测 L3"，方便与其他 bench 兼容。
A5：联合 report card。把 Intent 与 Execution 拆成两张 report card，让「懂指令但做不好」与「不懂指令但撞对动作」两类失败模式可视化分开。

§七工程落地的启发

7.1 对具身产品团队

不要被现有 success rate 误导。你在仿真里看到的 80% 完成率，可能只是「场景只有 1 个任务分支」，放到真实家居 / 工业场景（高熵）会雪崩。
优先测 Intent 维度。在自家 benchmark 上加一层 Intent 评分，能比 Execution 评分更早暴露语言理解短板。
场景熵是产品设计 KPI。一个「设计良好的具身产品 demo」应当主动提高场景熵（多种合理任务），而非用唯一解场景刷高分。

7.2 对评测平台

RoboFollow 的 L0–L3 协议可以作为通用诊断模板嵌入其他 bench（ALFRED / RT-X / Habitat 等），只需复用"等指令换场景"与"等场景换指令"两种扰动原语。
Intent / Execution 分阶段计分应成为 embodied 评测的默认约定，避免单一 success rate 的归因谬误。

7.3 对研究者

把「instruction following」从「embodied agent 综述里的一句话」升级为独立评测维度，有机会贡献一个新的 sub-field。
与 LLM 评估中的「instruction following」（IFEval、FollowBench 等）形成跨模态对照实验：纯文本指令遵循 vs 具身指令遵循的失败模式相似度如何？

§八与同方向工作的关系

ALFRED / RT-1 / RT-2 / OpenVLA 等 embodied benchmarks：以单任务成功率为核心指标，RoboFollow 是「反例式」补充——揭示这些分数的语言理解含量极低。
VLM benchmarks（IFEval、FollowBench、MT-Bench）：纯文本指令遵循评测，RoboFollow 把同一思路推到 vision-language-action 域，差异在于"指令的可执行性"必须在物理动作空间里检验。
Embodied CoT / SayCan / PaLM-E 类 reasoning-augmented embodied work：理论上应对 L1–L3 更鲁棒，但论文没有把它们纳入评测——这是值得立刻跟进的实验空白。
RoboCup / Habitat Challenge：赛事类评测，强调整体任务完成；RoboFollow 提供的是细粒度诊断信号，二者应互补使用。

§九适合谁读

具身智能 / robotics 研究者：想看清现有 policy 真实能力的下限。
VLA / WAM 模型设计者：评估「加 reasoning 模块是否对 instruction following 真正有用」。
评测方法学研究者：学习「场景熵」「分阶段 Intent / Execution」等基准设计原语。
AI 产品经理（机器人方向）：理解"高分"背后的假象，避免被 vendor 数字误导。
不推荐：纯 NLP / LLM-only 研究者（除非关注跨模态泛化）。

§十边界声明

本解读只读公开 abstract、标题与 GitHub/HF 链接，未下载 PDF，未读正文表格，未跑任何代码。
9 个 policy 的具体名单、各 L 档分数、Intent/Execution 拆分的具体数值原文未明确，引用前需自行核对 PDF。
fine-tuning setup 是 abstract 用词，作者是否提供统一训练脚本原文未明确。
仿真 vs 真实机器人、动作空间定义、task branch 数量原文未明确给出。
arXiv 编号 2609.25636 / 提交日期 2026-09-22 与 abstract 页一致；本卡基于 flyP 2026-09-24 解读。

§十一预备候选（撞自己）

以下三点为「若日后二次重读/二次复现，本文可能撞回自己预备候选」的承认清单（按概率从高到低）：

9 个 policy 名单与各档得分：触发条件 = 论文 v2 / extended version / GitHub README 提供表格；当前原文未明确。
fine-tuning 是否统一到同一 recipe：触发条件 = 论文 supplementary 公开训练超参；当前原文未明确，直接影响"全部失败"结论的归因。
real-robot 子集是否存在：触发条件 = v2 / follow-up 论文新增 sim-to-real 验证；当前原文未明确。

四项算术平均自评（创新性 4.5 / 工程性 4 / 实证强度 3.5 / 可复现性 4）= 4.0 / 5 → 评级 A；扣分原因：(a) 未读 PDF，仅 abstract 口径；(b) 9 模型全名单未披露；(c) 4 种缓解"全部失败"的样本面偏窄。

工程落地与核查（Jay）

事实核查摘要

✅ GitHub（https://github.com/AutoLab-SAI-SJTU/RoboFollow）与 Hugging Face 链接在 abstract 明确声明，已验证可达。
✅ 「L0 强但 L1–L3 全面塌方」与「4 种代表性缓解全部失败」为 abstract 原文引述，无过度引申。
✅ 9 个 VLA/WAM policy 被测，abstract 原文确认；具体模型名单引用时需自行补查正文。
⚠️ 存疑：「fine-tuning setup」是否为统一 recipe——若 9 个 policy 各自用原厂 fine-tune recipe，不同样本量/学习率/epoch 数导致结论不可比；需 PDF 正文确认。
⚠️ 存疑：L0–L3 的 Intent score 与 Execution score 是分别报告还是合并报告——abstract 未明确，可能是两张 report card；若合并，则「L0 强」究竟是 Intent 强还是 Execution 强无从分辨。
⚠️ 存疑：仿真 vs 真机——abstract 用词「kinematically distinct branches」+「trained repertoire」高度暗示仿真环境，但「仿真 benchmark 结论能否迁移真机」是领域公认难题，解读§2 未标注此风险。

可读性精修

§2「policy 不读语言也能拿到高分」——建议加「（因为动作空间与视觉特征已足够唯一决定任务）」使因果显化。
§3.1 第 2 点「混淆受控诊断」中「混淆维度控制」与「Confound-Controlled Diagnosis」字面略有出入——原文 diagnosis 核心是「把 execution 失败从 language understanding 中剥离」，建议§3.3 表格加一列「隔离什么噪声」使概念更明确。
§七「场景熵是产品设计 KPI」——这句话是全文最有力的一句，建议加粗或独立成段，目前埋在三段中间力度不足。

工程落地：实际系统怎么用、坑在哪

1. 如何用 RoboFollow 做内部诊断

不依赖论文原实现，可以在自家评测流程中嵌入以下 probe：

Step 1：构造「高 scene entropy」变体任务
  取原有评测场景，改掉 object positions / object attributes / 场景物体数量
  → 若成功率不变，说明原有 bench 靠「场景唯一性」而非「语言理解」得分

Step 2：加 Intent 评分（可选，自评）
  在 policy 输出的 action sequence 前，加一个 VLM 裁判判断：
  「policy 这个动作，是否是 instruction 的合理实现？」
  → 打分 0/1，不要求物理正确，只要求「动作是否在回应指令」

Step 3：对比 L0 baseline 与高熵变体的 Intent score gap
  gap 越大，说明 policy 越依赖「场景线索」而非「语言指令」

2. Intent/Execution 分离的实现成本

论文分阶段评分设计理念清晰，但工程实现有几个坑：

坑点	说明	解法
Execution 计分依赖「意图一致」前提	若 Intent score < 阈值，则不跑 Execution——但阈值怎么定？	建议 0.7 作为宽松阈值，0.9 作为严格阈值，双跑
仿真器 action space 与真实 robot 不对齐	policy 输出的 action token 映射到仿真器指令可能有歧义	用 action description text 而非 raw action index 做 Intent 裁判
Intent 裁判本身是 LLM，引入新的依赖	裁判模型本身也有模态偏置	选与被测 policy 不同家族的 VLM 作裁判（如被测 OpenVLA 则用 GPT-5V 裁判）

3. 4 种缓解全部失败的工程含义

论文的 4 种缓解（更强 VLM backbone、QA co-training、LangForce、CFG）在工程上对应了 4 类常见修复路径，全部失败说明：

缓解路径	对应工程直觉	失败含义
更强 VLM backbone	「换一个更大的 vision encoder」	scale vision encoder 不是解法，architecture inductive bias 已定
QA co-training	「让模型多做 VQA 任务」	特定 VQA 数据不等于 instruction following，任务形式不对
LangForce	「加语言条件 reward shaping」	reward 设计本身可能没有捕捉到 instruction following 的细粒度语义
CFG	「推理时调 guidance」	surface-level 干预不够，需要训练目标改动

工程行动项：把「instruction following」从单一 reward 改成多阶段 reward decomposition（intent-level reward + execution-level reward），这是比 CFG 更深的解法。

4. sim-to-real gap：最大的未解决问题

论文 bench 是仿真，真实机器人场景的「高 scene entropy」比仿真更难控制。实际落地时注意：

仿真中「kinematically distinct branches」是精确枚举的；真机中任务分支往往是参数连续空间（如「把杯子放到某个位置」有无穷多解）
真机的 actuation noise + sensor noise 会叠加在 Intent score 上，导致 Intent 裁判更难打准
建议：在 sim-to-real 之前，先用 noise injection 方式在仿真中模拟传感器噪声，看 L2–L3 结论是否 still hold

5. 如何防止被「低 scene entropy」欺骗

产品 demo / 供应商 demo 验收时，主动构造高 scene entropy 测试场景：

低 scene entropy（容易假高分）：
  场景：桌面只有杯子，指令「拿起杯子」→ 成功率 95% ✓ （无意义）

高 scene entropy（真实难度）：
  场景：桌面有杯子、盘子、刀叉、餐巾纸，指令「拿起最左边的餐具」→ 
  → 「最左边」需要语言解析
  → 同类物品多个需要区分
  → 成功率可能是 40% （真实反映语言理解能力）

验收 checklist：要求供应商在≥3 种同类型物品同时存在的场景下测，≥5 条不同 phrasing 的指令变体，才算有效 demo。