机器人不用再训练:把通用 Agent 直接当策略,8/10 成功率背后的真话
- 关联论文:2609.12541
如果有人说"机器人以后不用采集数据训练了",你会觉得是营销话术。但 2609.12541 把这命题做成了实验:让一个通用大模型 Agent 一边看摄像头画面,一边写 Python 代码调用机器人接口,结果不对就重写——全程没为这个任务采一条演示数据,也没微调。它在真实机械臂上跑装配、积木、翻骰子三类任务,每种任务配置成功 8 次以上。
为什么值得认真看
机器人落地最贵的不是算法,是长尾任务的经济性。换一把新螺丝刀、换个摆放角度,对传统方案都是一次"从零造轮子":采数据、标数据、训模型。Agent 路线把成本结构换掉了——模型能力现成,你只需维护"接口契约"和"失败恢复经验",而不是数据飞轮。它还带来一个不一样的性质:策略是可读的程序,不是黑盒权重,事后能查"它写了什么代码、为什么失败"——对需要安全审计的场景,可解释性就是产品价值。
核心机制:策略不再是网络,是运行时循环
传统范式里,策略是训练出来的神经网络,一次前向输出关节指令。AGP(Agent as Policy)换成运行时循环:观察(摄像头加位姿/力反馈)→ 规划(结合任务描述和历史决定走哪条路)→ 写程序(产出可执行的 Python/DSL)→ 执行(接口下发动作)→ 判断(成功则结束,失败则带着新观察回到规划)。
三个设计选择值得说:
接口抽象层级决定成败。 Agent 不该直接发 7 维关节数字流,那会让 LLM 输出退化成连续数值流、语法错误率陡升;正确做法是高层语义 API——pick_up(obj)、place_at(x,y),数量控制在 10~20 个。这与 VLA 把动作放进 token 空间的做法完全相反。
"失败后重写程序"是内禀能力,不是训练出来的。 传统 RL 策略要获得纠错能力,得靠"训练时模仿人类修正"或失败回放加离线 RL;这里它天然就是 Agent 的看图反思循环。此外成功程序可缓存复用——重复试验中保存的过程会缩短执行时间,等价于把代码当程序库。
证据边界:8/10 这个数字要怎么看
原始摘要的表述是"每种被评估的任务配置中,至少 10 次里成功 8 次",是按配置而非任务整体平均,颗粒度更细也更严格。数字只给了装配、积木、翻骰子三类;定向投掷和双臂叠毛巾没有给成功率——存在"选择性展示成功任务"的可能。
更大的缺口是没有与强基线对照。摘要没有 RT-2、OpenVLA 或任务专属行为克隆的同任务对比,留下一个悬而未决的问题:同样任务上,"零训练的 Agent"和"训过的 VLA"谁更强?答不了。
摘要也没给端到端耗时。但一轮循环包含 LLM 推理(数百毫秒到数秒)、代码生成、执行,通常是秒级;神经网络策略前向只要 10~50 毫秒。生产系统必须异步解耦:Agent 规划不阻塞执行臂,等待时保持上一个稳定动作。任务覆盖也偏窄——装配、积木、骰子都算"工具可控 + 环境封闭",离家服机器人还远。
工程局限:四个必须提前埋的坑
幻觉接口调用。 Agent 可能"发明"接口描述里没有的函数。修法是白名单强约束——启动时初始化已验证 API 列表,强制注入 prompt,运行时再做签名校验,非白名单调用立即中断。
安全边界不能靠 Agent 自觉。 运行时重新规划可能生成危险动作。每个程序下发前必须过三重外置门:关节限位、碰撞检测、力上限;同时设 re-plan 次数上限(默认 3 次)。
Procedure 缓存的检索是个未定义问题。 粒度按任务、按物体还是按姿态?跨任务能否共享?阈值定高用不上、定低会误复用——场景不一致时复用旧程序很危险,建议把缓存作为高亮示例注入让 Agent 自己判断,而非自动执行。
没有对照就没有基准。 团队要自己补 RT-2/OpenVLA 的同任务对照,否则"8/10"无法定位。
验收线怎么定
- P1(6 个月):白名单 + 三重安全门 + 异步队列落地;单臂三类固定任务 ≥6/10。
- P2(12 个月):procedure 缓存上线,重复任务执行时间缩短 ≥20%。
- P3(18 个月):双臂 + 柔性物体任务上线,完成与 VLA 对照。
三个标题变体
- 不训练也能开机器人:Agent as Policy 的 8/10 成功率是真的吗
- 把通用 Agent 当机器人策略用,这条路走通了几成
- 机器人策略不再靠数据飞轮:零训练实机 Agent 的机制、盲区与四个坑
小红书卡片文案
🤖 不用采数据训练,机器人也能干活?
有篇论文把策略"扔"给了通用大模型 Agent:看摄像头 → 写代码调机器人接口 → 结果不对就重写,全程零任务训练、零环境训练。实机上装配、积木、翻骰子三类任务,每种配置成功 8/10 以上。
✨ 妙在哪 · 策略变成可读代码,不是黑盒权重,能审计能查错 · 换任务不重训,只换 prompt 和接口契约 · 失败重写是内禀能力,不用专门训练
⚠️ 别急着上车 · 只给了 3 类任务数字,2 类没给 · 没有和 RT-2/OpenVLA 对照,"8/10"定位不了 · 每轮循环秒级延迟,必须异步解耦 · 任务偏封闭,离家庭机器人还远
🛠 四个必埋的坑 1️⃣ Agent 幻觉调用不存在的 API → 白名单 + 签名校验 2️⃣ 重新规划可能出危险动作 → 关节/碰撞/力三重门外置 3️⃣ 程序缓存误复用 → 阈值调参 + 首 20 次人工审核 4️⃣ 没有基准 → 自己补 VLA 对照实验