7月17日,极智嘉在2026世界人工智能大会(WAIC)上发布具身智能框架Gravity首个落地模块——Gravity 4D WAM(世界动作模型)。发布环节最锋利的一句话是: "看起来对,不等于物理上对。"
这句话戳中了当前VLA路线的根本痛点:主流模型在RGB像素层预测未来画面,可以生成视觉上"合理"的视频,却保证不了物理一致——画面里机械臂看似碰到物体,三维空间里可能根本没形成抓取;物体运动看似流畅,却可能违背重力与遮挡规律。在视频生成里"穿模"是瑕疵,在真实仓库里就是摔坏商品、撞损设备的事故。
Gravity 4D要解决的正是这个问题:让世界模型从"预测画面"切换到"预判三维物理演化"。 这不是参数优化,是范式切换。
问题本质:RGB latent学不到三维运动
传统WAM主要在RGB/VAE latent空间预测未来,能约束视觉外观,却学不到三维运动规律。机器人操作成败不取决于画面好看,取决于三件物理事实:物体是否被成功抓取、末端执行器是否形成有效接触、物体运动是否满足几何约束——这三件事RGB pixel都无法保证。仅靠RGB latent,模型容易学到"类似视频"的生成捷径,而不是"符合真实三维运动"的模式。
核心解法:4D latent监督,同时学三件事
Gravity 4D引入4D基础模型Gravity 4D-VAE提取的4D latent作为教师监督,让WAM同时学习三类信息:
• RGB外观:未来长什么样
• Pointmap(三维空间结构) :物体位于何处
• Scene Flow(三维运动动态) :物体如何运动
Pointmap刻画稳定的几何关系——机械臂在哪、目标在哪、空间关系如何;Scene Flow刻画由动作引起的三维状态变化——旋转、平移、抓取、搬运时的运动轨迹。二者共同构成4D表征,WAM预测未来时不仅要"生成一张好看的图",还要同时输出空间结构和运动推演。
一个关键工程选择是蒸馏而非从零学习:Gravity 4D把Gravity 4D-VAE提取的4D latent先验蒸馏至机器人WAM(4D foundation prior → robot world-action model),避免机器人数据从零学4D的冷启动困境。同时选择全程latent空间建模——无需直接监督原始点云、无需构建显式三维流水线、计算可控、天然契合Diffusion Transformer、可复用WAN Video VAE与Gravity4D-VAE表征——这是4D WAM从论文走向商用的工程基础。

Gravity 4D 总体架构示意

Gravity 4D 算法流程示意图
两阶段推理:先推演世界,再反推动作
推理采用两阶段解耦:
• WAM推演:基于历史观测+动作+指令,生成未来RGB latent与4D latent——回答"三维世界将如何演化"
• IDM决策:逆动力学模型根据未来RGB+4D latent输出动作chunk——回答"什么动作能导致这一物理变化"
IDM的输入质变是关键:传统方案只看RGB猜动作;引入4D后IDM同时看到未来外观、三维结构、三维运动趋势,推理逻辑从"画面变了→猜个动作"升级为 "三维世界变了→什么动作引起" (what changed in the 3D world → what action caused it)。训练阶段WAM与IDM联合微调(WAM学速度场,IDM从真值未来latent学映射);推理阶段两阶段解耦执行——训练时做加法,执行时做减法。

可视化:RGB、pointmap(Depth)与 scene flow
实验验证:数字+消融双重锚定
公开基准LIBERO-Plus上: 零样本情况下,Gravity 4D主版本总体成功率从RGB-only基线73.73%提升至78.62% ,最优role-embedded变体达79.25% 。增益最显著的三类扰动——相机视角、传感器噪声、光照——恰恰只改变RGB外观、不改变底层三维结构,直接证明模型学到的是物理规律而非画面规律。
消融实验给出两个关键反证:
• Pointmap-only变体表现优异——空间结构是操作任务最关键的监督信号之一
• 仅加depth预测(action2depth_only)性能下降——堆砌模态无效,架构路径才关键

LIBERO-Plus 扰动基准实验结果
范式意义
4D WAM的意义不止于benchmark提升。它在公开基准上首次验证:让世界模型预测"物理一致的未来"是可做到的,且对扰动鲁棒、对架构可扩展、对工程可落地。世界模型从"感知画面"走向"理解物理",是同一具大脑驱动移动机器人、拣选工作站、人形机器人异构协同的前提,也是具身智能从demo走向生产力的分水岭。
当世界模型开始像工程师一样思考物理后果,机器人才真正具备了走进真实世界的资格。
Gravity框架的完整双脑架构、触觉力觉、分层记忆、Robot Skill专家先验、部署自进化等模块,将在后续技术发布中持续披露。
