机器人不用再训模型了：GPT-Policy 让 GPT-6 在上下文里学会拧瓶盖

  • 关联论文：2609.19138

为什么这事值得关心

机器人策略最大的老问题是泛化：任何有限演示集都覆盖不了真实部署里的任务和初始状态。过去主流解法是行为克隆或强化学习微调——训一次代价高、换个场景还要再训。

这篇论文换了个思路：别训模型，改上下文。 论文用 GPT-6 Astra 当决策器，把决策交给一个约束执行器，在 10 个真机任务上验证：不更新任何权重，机器人也能从"人类操作视频""机器人演示""目标图像""自身历史""人机对话"这五类上下文里现场学会动作。

这是"新模型刷 SOTA"之外的接口工程论文——恰好是所有想把通用 LLM 接进机器人身体的团队最缺的那块拼图。

核心机制：context-to-action 三段式

整套闭环拆成四个固定模块，权重全程冻结（"Model parameters remain fixed"）：

构造上下文 → 组装图文交错 prompt → VLM 选动作 → 约束执行器验证并执行
     ↑                                                    ↓
     └──── 观测 + 成功/拒绝反馈写回上下文 ─────────────────┘

上下文编译器是核心：五类上下文来源正交可组合，各补各的信息缺口——人类视频给"流程长什么样"（但没有机器人动作标签），机器人演示给视觉对齐证据，目标图像只约束终态不管过程，自身历史构成闭环记忆，人机交互能在线改目标。

VLM 决策器拿到图文交错的 prompt，输出不是自然语言指令，而是一个结构化的 robot-tool 请求，一次只出一个动作（方便失败回滚）。

约束执行器（Cartesian adapter）是最被低估也最关键的一环：把 tool 请求解析成末端位姿，采样位姿路径，检查 IK 残差，编排关节参考时序，执行后把成功/拒绝写回上下文。

这意味着 VLM 负责"想清楚做什么"，执行器负责"保证做对"——与 VLA 端到端输出关节是相反的分工。论文说得很克制：专用 VLA 在快速低层控制上仍有优势，两者互补而非替代。

数据上有几个信号很硬：无上下文条件下 pick 类任务是 0/3，只给一段人类视频就变成 2/3，时间从 24.6 分钟降到 18.9 分钟。拧瓶盖任务上"仅有视频"2/3，"视频+对齐动作"3/3。目标图像类的空间配置复现任务 3/3 全过。讨论部分提到红毛巾任务上 GPT-6 Astra 的任务进度从 55% 提到 100%，运行时间缩短约 35.6%。

但有个反直觉的发现：插拔插头任务上，只给机器人视频反而是 0/3，加上对齐动作才到 2/3。接触密集的任务，光有视觉证据不够，动作级参考是刚需。

证据边界：小样本，别过度解读

所有数字都来自每个条件仅 3 次试验、单一双臂机型、无盲化对照、无显著性检验。论文 Discussion 自己写了"these examples do not establish a reliable model ranking"。

因此同任务里 Fable 5.1 只到 30% 进度、Kimi K3 只到 20%，不能读成模型强弱排名。3 次试验里的进度比例和成功率是两个不同指标，混用会误导。

另外，"GPT-6 Astra"这个型号名在 2026Q3 公开资料里查不到确切对应型号，可能是项目内部代号，需读 PDF 确认。摘要也没说明 58.9% 的 token 节省是 input、output 还是总计——两种口径的工程含义完全相反。

工程局限：三个真实的坑

token 成本是硬约束。 Movable Exploration 单任务 325.53 分钟、40.3 次决策，粗估每次决策的输入 token 在 50K~500K 量级，单任务几十美元、日跑百任务就是几千美元。self-history 必须做有损压缩，否则长程任务不可负担。

Cartesian adapter 不是标准件。 IK 求解、位姿到关节映射、碰撞回避、超时重试，每个平台都要重写，论文没给参考实现，这部分工作量被严重低估。

安全层必须独立于 VLM 决策回路。 论文明确提到出现过 inter-arm collisions，且承认现有 safeguards 不足以支撑安全自主部署。关键在于时序：双臂实时碰撞检测加停止的延迟在 50~100 ms 量级，而 VLM 一次 tool call 的往返是 2~10 秒——等它做碰撞规避决策时，物理碰撞已经发生了。毫秒级安全响应必须由硬件层的力矩限制和 adapter 内嵌的独立碰撞检测兜底。

还有一条论文坦承但没给答案的债：五类上下文同时喂入时如何融合没定义，谁优先、矛盾指令怎么裁决都得自研。

一句话带走

这不是"GPT 比 VLA 强"的证据，而是"通用 VLM 值得被接进机器人决策层"的证据。 借鉴它的上下文分类与执行器分工，忽略任何关于谁比谁更强的过强结论。

三个标题变体

  1. 不用微调也能让 GPT 控制机器人：GPT-Policy 的上下文编译术
  2. 只给一段人类视频，机器人就学会拧瓶盖——代价是什么
  3. 接触任务必须给动作参考：GPT-Policy 给 VLA 划的边界

小红书卡片文案

📌 具身智能｜不训模型，也能让机器人学会新动作

机器人策略的老问题是泛化：有限演示集永远覆盖不了真实场景。过去靠行为克隆/RL 微调，训一次贵、换场景还要再训。

这篇论文换了个思路：别训模型，改上下文。

🧩 GPT-Policy 的 context-to-action 三段式： • 上下文编译器：五类来源各补一个缺口——人类视频/机器人演示/目标图像/自身历史/人机交互 • VLM 决策器：图文交错 prompt，输出结构化 robot-tool 请求，一次只出一个动作 • 约束执行器：解析成末端位姿、检查 IK、执行，再把成功/拒绝写回上下文

📌 关键分工：VLM 负责"想清楚做什么"，执行器负责"保证做对"——和 VLA 端到端出关节是相反的路子，两者互补。

📈 几个硬数字： • 人类视频让 pick 任务从 0/3 → 2/3，时间 24.6 → 18.9 分钟 • 拧瓶盖：仅视频 2/3，视频+对齐动作 3/3 • 目标图像类任务 3/3 全过 • 红毛巾任务进度 55% → 100%，运行时间 -35.6%

⚠️ 意外发现：插拔插头只给视频反而 0/3，加对齐动作才 2/3——接触任务的动作级参考是刚需

⚠️ 泼冷水（别过度解读）： • 每个条件只有 3 次试验、单一机型、无显著性检验 • 「Fable 5.1 只到 30%」不能读成模型排名，论文自己写了不构成可靠排名 • 「GPT-6 Astra」型号名查不到公开型号，可能是内部代号 • 58.9% token 节省没说清是 input 还是 output

🛠️ 三个真实的坑： ① token 成本：长程任务单次 325 分钟/40 次决策，不做有损压缩跑不起 ② Cartesian adapter 不是标准件：IK/碰撞/超时每个平台重写，论文没给实现 ③ 安全层必须独立：碰撞检测 50~100ms，VLM 决策 2~10s——等它想清楚，碰撞早发生了

💬 一句话：这是「通用 VLM 值得接进决策层」的证据，不是「GPT 比 VLA 强」的证据。

具身智能 #机器人 #VLA #GPT #AI论文解读 #多模态 #AI工程 #大模型

来源：arXiv 2609.19138｜v1 提交 2026-09-16，型号名与 token 统计口径待查 PDF 正文