机器人换个灯光就翻车？问题可能不在模型，而在"它看世界的方式"

为什么这事值得关心

训练好的机器人抓杯子一直很稳，但把工位顶灯换成偏暖的 LED，或者桌面多一个蓝色文件夹，它开始对着空气伸手。

这失败常被归咎于"模型不够强"，于是加参数、加数据、加轮数。可如果根因是模型"看"世界的方式本身有问题呢？

具身智能近两年兴起的 World Action Model（WAM）走了一条诱人的路：让机器人靠"预测接下来会发生什么画面"来自学动作，不必标注专家轨迹。但它有个结构性脆弱点——通常用 VAE 或 diffusion 预测未来像素。像素重建是任务无关目标：模型只要画得像，不保证画得对。

论文把这现象命名为 Training-Distribution Hallucination（训练分布幻觉）：机器人在陌生场景里，预测出的"未来"其实是训练数据里的典型画面，而非眼前场景真正会发生的事。预测一偏，下游动作跟着崩。

作者最有价值的一步不是修架构，而是先把问题测出来。他们设计了 Frame-Triplet 诊断：喂给模型一个三元组——[训练分布内的帧] + [视觉漂移后的帧] + [该场景真实对应的未来帧]。若预测的未来跟着第二帧走，说明忠于当前场景；若"漂回"训练分布的内容，说明幻觉存在。

这个受控实验揭示了关键差异：DINOv3 这类自监督视觉特征在光照、纹理变化下高度稳定，而 Wan-VAE 潜在空间明显更容易漂回训练分布。

于是 ST-WAM 的做法是"双空间分工"：

DINOv3 语义分支负责未来预测与历史检索。这类任务本质语义级，不需要像素级精度，而语义表征恰恰对漂移最稳。
VAE 动态分支保留细粒度运动信息。动作执行要精确位置和速度，这是语义表征不承载的。
两路融合输出动作。历史检索模块只读不写（梯度不回传到冻结的 DINOv3），从机器人自身过往视觉经验中检索相似情境——思路接近 RAG，只是检索库是它自己的眼睛。

必须说清楚：摘要与 HTML 版正文都没有披露任何量化指标——没有成功率，没有误差曲线。现有依据主要是定性结论和 frame-triplet 对比。

同样悬而未决的还有几处：DINOv3 在融合中究竟冻结还是微调；"Dual-Space Future Experts"在架构上到底如何融合；推理时双编码器开销多大；DINOv3 对几何变化（形状改变、遮挡改变空间关系）是否同样鲁棒——论文只验证了光照与纹理类漂移。

验证核心思路不需要完整复现 WAM 训练流水线。最小路径：把现有 WAM 的视觉编码器换成 frozen DINOv3 + 可学习投影头，同数据跑一轮推理，对比两种表征在 frame-triplet 下的幻觉率。约 1 张 A100、1–2 天即可得出"值不值得换"。

部署前三个坑：

实时性。ViT 注意力是 O(n²)，DINOv3-ViT-L 延迟可达单个 VAE 编码器的 3–5 倍。若融合发生在每个控制步（10–100 Hz），嵌入式 GPU 上很可能不可接受。务实做法是拆两段：规划用单帧 DINOv3 特征做运动规划，执行用 VAE 分支细调，而非每步跑双分支。
历史检索带宽。read-only cross-attention 需持续维护历史缓冲，复杂度随历史长度线性增长；上千帧的任务级历史会明显拖慢检索。建议固定 50–100 帧环形缓冲，对历史帧降采样或做特征压缩。
联合漂移风险。现实里光照与几何常同时变化（工厂换灯 + 换零件型号），论文只验证单项扰动。上线前务必用目标场景真实扰动类型重跑一次 frame-triplet 诊断。

另外，WAM 的未来预测监督依赖视觉动态真实性——仿真渲染与真实摄像头的 domain gap 会让双空间特征失配，仿真训练需配物理引导渲染器并加相机噪声模型。

表征选择比架构堆叠更有杠杆。 模型在分布外场景翻车时，先怀疑它的视觉编码方式，而不是急着加参数。让鲁棒表征承担语义任务、保真表征承担动力学任务，是一条不必推倒重来的工程路径。

📌 具身智能避坑｜视觉分布漂移下的"训练分布幻觉"

机器人换个环境就抓不准，真相可能不是"不够聪明"，而是它预测的"未来"根本不是眼前场景的未来，而是训练数据里背下来的典型画面。

论文称之为 Training-Distribution Hallucination（训练分布幻觉）。

🔍 作者先做了一件聪明事——Frame-Triplet 诊断：把「训练场景帧 + 漂移场景帧 + 真实未来帧」三帧喂进去，看模型输出的未来跟着谁走。跟着漂移帧走 = 靠谱；漂回训练内容 = 幻觉复现。

⚙️ 诊断结论： ✅ DINOv3 特征 → 光照/纹理变了也稳 ❌ Wan-VAE 潜在空间 → 更容易"漂回"训练分布

🧩 解法是双空间分工，不硬改像素： • DINOv3 分支：管未来预测 + 历史检索（语义级任务，要抗漂移） • VAE 分支：管细粒度动态（动作执行要精确位置速度） • 融合出动作；历史检索只读不写——相当于让机器人"检索自己的过往经验"

⚠️ 泼冷水：摘要和正文一个量化数字都没有。冻结还是微调、如何融合、几何变化是否鲁棒统统未知。

🛠️ 想验证？不用复现整套训练： ① 现有 WAM 编码器换成 frozen DINOv3 + 投影头 ② 同数据跑一轮 inference ③ 对比 frame-triplet 幻觉率成本 ≈ 1 张 A100 / 1–2 天。

💡 工程避坑： • ViT 注意力 O(n²)，DINOv3 延迟是单 VAE 的 3–5 倍 → 别每控制步跑双分支，改"规划用语义、执行用动态"两段式 • 历史缓冲固定 50–100 帧并压缩 • 仿真训练要加相机噪声，否则双空间特征直接失配

💬 一句话：模型在陌生场景翻车时，先怀疑它"看"的方式，而不是急着加参数。

来源：arXiv 2607.28993｜论文为 arXiv 提交稿，实验数据待正式版补充