机器人缺数据怎么办？把 1.8 万小时人类第一视角视频，变成本它能练的数据

  • 关联论文：2608.02580

机器人操作策略一换场景就崩，根子不在算法，在数据。刷机采一条高质量示教动辄几百美元，真机数据永远上不了百万级；此前也有过「人类第一视角视频 → 机器人数据」的尝试，但都停在玩具规模，没人验证过这条路在 VLA 大规模预训练里到底行不行。

Ego2Robot 就是来正面回答这个问题的。它把互联网上海量的第一人称操作视频，经过三段流水线，合成出 18,561 小时机器人训练数据，覆盖 15 种机器人形态——按目前公开口径，这是规模最大的 ego-to-robot 合成数据集，比此前的同类数据多出一个数量级。

第一段是动作重定向，也是整条链路最难的地方。人的手臂是 7 个自由度以上（肩、肘、腕、指关节），机械臂通常只有 6 个（肩三、肘一、腕二），关节结构、活动范围、力控特性全都不一样，直接映射出来的动作在物理上根本不可行。所以必须走逆运动学：先从视频里提取手部轨迹，映射成末端执行器的运动，再反解出各关节角。而且这不是一套映射打天下，15 种机器人形态各有各的关节限位和 DH 参数。

第二段是机械臂视觉合成。人类视频是头戴摄像头拍的第一人称视角，机器人视觉却多来自腕部或第三人称摄像头，视角、遮挡关系、光照反射都不一样。直接把人类视频配上机器人动作，数据里的「眼睛」和「手」是错位的。这一段负责把重定向后的动作渲染成机器人视角的画面，与动作序列严格配对。

第三段是多级质量筛选，这是整个 pipeline 真正的瓶颈。原始网络视频噪声极大，不筛就是往 VLA 训练里灌垃圾。设计成三级：粗筛看运动是否完整、能否被 IK 求解、场景是否过于模糊；细筛看重定向后是否满足关节限位与碰撞约束、合成帧质量是否达标；精筛看任务语义是否明确（pick/place/push/rotate）、语言指令能不能标且有多样性。数据量与质量的平衡，全靠这三关的阈值拿捏。

评测上它把 RoboTwin2.0 扩展成了带解耦扰动轴的版本：视觉外观（蓝杯子换红杯子）、场景布局（桌面物品挪位）、具身形态（换一款手臂，长短和限位都变）、任务语义（同一动作换不同说法）——四根轴各自单独扰动，好处是能精确定位模型到底在哪一维崩了，而不是笼统说一句「泛化不好」。结论是：合成数据与真实机器人数据联合预训练，在这四类扰动上一致获得提升，并且做了真实机械臂部署验证。

边界必须标清楚。Action Retargeting 的 IK 实现细节论文没给，核心算法不可直接复用；三级筛选的阈值和各级过滤比例没披露，直接影响复现可行性；合成与真实数据的配比没写，而这个超参对最终效果影响极大；VLA 基座用的是哪个模型、各扰动轴具体提升多少、真实机器人成功率具体数值，也都缺失。更实质的一个洞是力控信息的缺失：视频只含视觉运动，不含力反馈，纯运动学重定向出来的动作，在力敏感任务上可能与真实执行存在系统性差距。另外，15 种形态一起训，形态之间的负迁移问题论文没有讨论。

所以更准确的定位是：Ego2Robot 把「视频到机器人数据」从「小规模上可行」推到了「大规模下值得用」，证明了一条低成本的数据 scaling 路线，并且给出了一套质量筛选的工程范式。但它目前仍是补充而非替代——真正的机器人数据依然是质量锚点，合理配比大概仍要留 10–20% 的真实数据兜底。后续如果 IK 与筛选参数开源，这条路线对数据稀缺的具身团队会是实打实的降本。

三个标题变体

  1. 机器人缺数据？把 1.8 万小时人类第一视角视频变成本它能练的：15 种形态、目前最大 ego-to-robot 合成数据集
  2. 人手 7 自由度、机械臂 6 自由度，中间这一步怎么补？Ego2Robot 的动作重定向 + 视觉合成 + 三级筛选全拆解
  3. 从「小规模可行」到「大规模真有用」：合成数据进 VLA 预训练，第一次被正面验证

小红书卡片文案

🤖 机器人换个杯子就抓不住，不是因为模型笨，是因为数据太少太单一。真机示教一条几百美元，永远刷不到百万级。

那用人类第一视角视频呢？Ego2Robot 把这条路推到了新高度： ✅ 18,561 小时合成数据 ✅ 覆盖 15 种机器人形态 ✅ 目前规模最大的 ego-to-robot 合成数据集

三段流水线： 1️⃣ 动作重定向（最难）——人手 7+DoF vs 机械臂 6DoF，结构都不一样，必须走逆运动学重解关节角；15 种形态各配一套映射 2️⃣ 机械臂视觉合成——头戴摄像头是第一人称，机器人多是腕部视角，视角/遮挡/光照全不同，得把动作重新渲染成机器人视角再配对 3️⃣ 三级质量筛选——粗筛能不能重定向、细筛物不违反约束、精筛任务语义和语言标不标得住。这是真瓶颈，不筛就是灌垃圾进 VLA

评测亮点：把 RoboTwin2.0 扩成四条解耦扰动轴——视觉外观 / 场景布局 / 具身形态 / 任务语义，能精确定位模型在哪一维崩。结论：合成 + 真实联合预训练，四轴一致提升，还上了真机。

⚠️ 诚实边界：IK 核心算法、三级筛选阈值、合成与真实的配比、基座模型、各轴提升幅度、真实机成功率——原文都没给。而且视频不含力反馈，力敏感任务上重定向动作可能跟真执行对不上。

一句话：合成是补充不是替代，真机数据还是质量锚点。但这条低成本数据 scaling 路线，已经被证明是真能用。