机器人如果只记住「做过什么」,遇到没见过的场景就懵了——GigaBrain-0.7 换了个思路:让它先「预演」 - 关联论文:2608.15875

作者:spark|更新:2026-10-27

为什么重要

通用具身智能长期卡在三道坎上。第一,一个模型要同时兼顾看懂画面、预测接下来会发生什么、输出具体动作,传统架构很难三头兼顾。第二,真实机器人数据极其碎片化——不同厂商的机械臂、底盘、夹爪,动作空间完全不同,把它们混在一起训练,「涌现泛化」往往只是口号。第三,视觉语言理解与动作生成通常分两阶段训练:先训懂图文,再把动作头接上去,中间必有信息损失。

GigaBrain-0.7 的意义在于,它把这三件事当成同一个问题一起解,而不是逐个优化。

核心机制:三系统 + 大数据 + 单阶段

三系统架构把 VLA 拆成三个解耦但联合训练的部分:

  • 理解系统:把图像、视频、语音、指令、本体状态统一编码成语义表征;
  • 预测系统:在时间轴上前推未来状态、世界动力学与任务级子目标;
  • 动作系统:把高层意图翻译成当前本体真正能执行的动作 token。

三个系统共享底层表征、各带各自的 head,关键在于训练方式。作者采用单阶段对齐训练,在一个 batch 内同时反传视觉语言理解 loss、预测 loss 和动作生成 loss:

total_loss = λ_v * VL_understanding_loss
           + λ_p * Prediction_loss
           + λ_a * ActionGen_loss(embodiment=emb)

embodiment=emb 把「本体 ID」注入动作头,同一套权重因此能适配不同硬件——这是跨本体泛化的技术前提。

数据侧是这套架构真正的门槛:超过 37,000 小时异构具身数据,覆盖多本体、多任务、多环境。异构性比数量更关键——数据越同质,模型越容易退化成「单硬件专用策略」。

评估硬件为自研的 Maker H01 平台与主流机器人本体,场景覆盖家庭与工业两类。

证据边界

论文摘要给出的结论是:零样本基础能力、语言条件指令跟随、后训练任务成功率三项均相对 GigaBrain-0 系列与 π₀.5 有「实质性提升」,并称模型权重与训练代码将开源,项目主页在 gigaai.cc。

但必须说清楚:摘要通篇是定性表述,没有一个具体百分比或绝对数字。「实质性提升」到底是 1 个点还是 10 个点,摘要级信息无法判断。所有量化结论都需要回到 PDF 的实验主表核验后才能引用。基线评测协议(是否同源数据集、是否同一套 prompt 工程)摘要也未提及。

工程局限

「零样本」不等于零适配。 摘要同时强调零样本能力和后训练任务成功率,意味着具体任务上仍需少量微调。生产团队要准备「每个新任务 × 每个目标本体」的下游数据集,别把宣传里的「零样本」理解成上线即用。

复现门槛极高。 37,000 小时异构数据加单阶段联合训练,训练所需 GPU 时长与显存未披露,无法据此做成本估算。Maker H01 是自研硬件,外部团队根本拿不到,论文在 H01 上测出的数字无法直接迁移。

本体覆盖模糊。 摘要只写「家庭与工业」,未点名 Unitree H1、Spot、UR5e 等具体型号,也没说明是否覆盖类人双足与灵巧手这类高难度本体。若数据集里某类本体样本占绝对多数,泛化结论会被它主导,而外部读者无法识别这种偏差。

落地建议

想做差异化,别从「堆时长」切入,从本体多样性与任务多样性切入。三系统 head 分离的工程红利在于:换新本体只需替换动作 head,理解与预测系统原样保留,不必重训整模型。评估阶段建议先用公开数据集(ManiSkill、RLBench)在 2–3 个本体上验证「本体多样性 → 泛化能力」这条 Scaling 假设,再决定要不要投入大规模采集。

标题变体

  1. 机器人不只会「回忆」,还会「预演」:GigaBrain-0.7 的三系统架构
  2. 37000 小时数据喂出来的通用机器人,为什么关键在「三系统」而不是「大模型」
  3. 从看懂到预测再到动手:具身模型少走的那段弯路

小红书卡片文案

机器人遇到没见过的场景就懵,很大原因是它只会「回忆」做过什么,不会「预演」接下来会发生什么。

GigaBrain-0.7 把理解、预测、动作拆成三个系统放在一起联合训练,喂了超过 37000 小时跨不同机器人的数据,还在动作头里注入「本体 ID」,同一套权重就能适配不同硬件。论文里零样本能力、指令跟随、任务成功率都超过了前代。

但要说实话:摘要里全是「实质性提升」这种定性说法,一个具体数字都没有;Maker H01 是自研硬件你拿不到;「零样本」也仍然需要少量下游微调。

结论:方向是真的,门槛也是真的。想入场的团队,先别比数据量,先比本体多样性。