RoboJEPA: Scaling Robotic Latent World Models

论文解决了什么问题

潜在世界模型在预测未来状态和真实世界规划中展现出巨大潜力，但目前缺乏评估其能力如何随模型大小、数据量和计算量扩展的原则性方法。这种扩展规律的缺失使得研究者在面对昂贵的机器人数据收集时，难以科学地决定是应该投资更大的模型、更多的数据还是更多的计算资源。

核心方法

RoboJEPA 是一个基于联合嵌入预测架构的动作条件潜在世界模型，使用冻结的 V-JEPA 2.1 编码器，在跨越 12 种机器人具身的大规模混合数据集上训练。模型通过预测潜在空间中的下一帧特征来进行自回归想象，并结合交叉熵方法和单一目标图像进行动作序列搜索。为了支持真实硬件部署，系统引入了滚动 KV 缓存、预编译推理引擎以及多 GPU 并行计算来加速规划过程。

与以往通常在单一规模下训练或仅针对视频生成和策略模型进行扩展的研究不同，本文首次针对基于真实机器人数据训练的多具身动作条件潜在世界模型确立了计算最优扩展定律，并验证了 JEPA 架构在物理世界规划中的外推能力。

实验结论

• 世界模型在 DROID 和 RoboCasa 分布外数据集上的前向预测 L1 误差随训练计算量遵循二阶幂律下降。
• 在 RoboCasa 仿真中，只有训练计算量超过 10^22 FLOPs（2B、4B、8B 参数）的模型才能通过非贪婪规划解决物体交互任务。
• 在真实 Franka 机器人上，随着模型参数从 22M 增加到 8B，抓取、物体抬起和拾取放置任务的成功率呈现可预测的提升趋势。
• 较大规模的模型（如 2B 和 8B）在物体操作任务中能保持夹爪闭合以完成任务，而较小模型往往会意外打开夹爪导致物体掉落。
• 想象误差随训练计算量遵循二阶幂律扩展定律，可准确预测更大规模模型的质量。

局限性与证据边界

适合谁阅读