真实世界从来不是单机游戏:Scalabot给世界模型加了一个“多人模式”

Jack2026-09-082751机器人技术及应用



 

“世界模型赛道来了一个新玩家

2026年,机器人真正缺的,可能已经不是更强的手、更快的腿,甚至也不只是一个更大的模型,而是对世界变化本身的理解。

一个机器人看到桌上的杯子,并不难。真正困难的是,当它伸手去拿杯子之后,它能不能知道下一秒会发生什么:杯子会不会移动,机械臂会不会碰到桌沿,人的手突然伸过来会怎样,如果第一次抓取失败,下一次应该怎么调整。

换句话说,机器人需要回答的已经不只是:“我现在看到了什么?”而是:“如果我这样做,世界接下来会变成什么样?”

在这种行业对世界模型的探索逐步深入的当下,机器人大讲堂了解到,近日,Scalabot团队采用WorldArena 1.0 Track 1 的开源测试方案和测试集作为离线评估标准,既支持世界模型的快速迭代,也便于与其他模型的提交结果进行客观对比。目前,HERON-World Model 的综合得分(EWMScore_P)为 75.80 分。

Scalabot致力于构建机器人理解世界、推演未来与自主行动的核心能力,让智能从模型走向真实世界。Scalabot围绕这一目标,正在构建覆盖空间智能、世界模型与行动智能的HERON模型体系,通过真实世界数据、仿真数据与机器人反馈形成持续迭代的学习闭环,推动具身智能从单点任务能力走向可迁移、可扩展的通用智能。这个名为HERON-World Model的全新模型,正是其推出的一款面向具身智能的动作条件世界模型,也是该团队研究成果的第一项试水。

那么HERON-World Model到底有哪些突破?机器人大讲堂详细看了看模型说明,发现其从数据策略到模型架构,都有相当大的改进,并且将世界模型的能力边界从物理推演扩展到了社会推演。

01.

多源数据体系,让模型见过足够丰富的世界

世界模型的第一道门槛是数据。行业通行的做法是“有多少用多少”,互联网视频数据量大、获取成本低,先堆上去再说。在行业通行的数据金字塔策略中,底层通常是海量互联网视频数据,中层是可无限生成的合成数据,顶层是真实机器人数据。互联网视频作为根基,提供了模型训练所需的规模与多样性。

HERON-World Model的选择截然不同,其训练数据并未选择通用互联网视频数据。它建立了一个三层数据金字塔,最上层是真实机器人遥操作数据、基于真实场景重建的仿真数据、第一视角人类操作视频。三类数据各有分工。

真实机器人数据最接近最终执行,因为它记录真实机器人在真实环境中的动作、视觉观测、本体状态以及控制命令,直接提供“做了什么”和“世界发生了什么”之间最可靠的对应关系,承担的是模型的真实执行锚点。HERON-World Model的数据覆盖单臂、双臂、轮臂和人形等不同本体形态,让模型能够接触不同本体下的运动与交互模式。

但真实世界采集有天然限制,有些情况很难反复发生,有些动作成本很高,失败轨迹甚至存在安全风险。因此,HERON-World Model也采用仿真数据被用来补充真实采集中难以高频覆盖的稀有状态、危险交互、失败轨迹以及特定场景组合。让真实机器人数据负责校准可执行的动力学,仿真则进一步扩展“执行—后果”的组合空间。

第三类数据是第一视角人类操作视频。这主要让HERON-World Model看到大量机器人数据中很难低成本覆盖的场景,例如家庭物体、工具使用、双手协同,以及各种长尾的人与物交互。



 

三类数据形成了一个清晰的协作逻辑,机器人数据提供真实的行动经验,仿真数据扩展动作与后果的组合空间,人类视频以数量级增长扩大交互的丰富度,让模型能够接触到的“世界”远比单一来源丰富得多。

HERON-World Model为什么排除了通用互联网数据?在机器人大讲堂的采访中,松延动力的答案不是“数据不够”,而是因为“对的数据不够”。

世界模型有一个很朴素的前提:没有见过,就很难理解。世界模型需要的是“接触密集型”视频,包含大量人类与物体之间的物理交互。互联网视频大部分是娱乐内容,例如口播、授课、单纯跳舞,即便通过Tag筛选,大量无关内容仍需高成本过滤。这类内容在互联网视频中的占比极低,筛选成本远高于直接采集。随着第一视角(Ego)数据采集成本不断下降,互联网数据的性价比正在快速降低。

这个判断背后是一个值得行业思考的问题,即数据策略的核心竞争力,到底是“能获取多少数据”,还是“能判断什么数据值得获取”?

当大多数团队还在用互联网数据喂饱模型时,Scalabot团队选择了一条更独特的路,让机器人数据提供真实的行动经验,仿真数据扩展动作与后果,人类视频扩大交互的丰富度,以数据量成数量级的增长帮助模型不断拓宽所见的世界,最终用更少但更对的数据,换取更高的训练效率。而这一点,恰恰就建立在Scalabot对数据筛选和采集范式的深度理解之上。因为数据质量这个泛化的概念,只有收敛到哪些数据可用、能提升模型能力的判断前提下,才能真正搭建起合理的数据管线。

02.

如何把不同动作变成同一种“语言”?

数据选对了,下一个问题更难。因为这些来自不同来源的数据,各自说着不同的“语言”。机器人的动作可能是关节角,人类操作可能只有手腕轨迹;不同机器人有不同的坐标系、控制频率和本体结构;有些数据有完整动作标签,有些只有部分,有些甚至完全没有。

大多数方案的做法是补齐,也就是把缺失的补上,把不同的重定向并且统一成一个标准格式。机器人大讲堂发现,Scalabot团队的思路不同,他们没有将所有数据变得一样,而是允许数据保留不同来源的特性,同时把真正有价值的部分转换成模型可以共享的语言。

具体怎么做?这主要分三点。

第一点:物理空间对齐。HERON-World Model主要以视频帧时间戳为基准,同步不同频率的控制指令与视觉轨迹;通过正向运动学将关节轨迹转换为末端位姿;利用手眼标定将机器人基座、相机、末端及人类手腕统一到片段内的公共参考系,同时规范坐标轴方向、长度单位、旋转表示和抓取状态。

经过这些处理,来自真实机器人、仿真环境和第一视角人类视频的动作,被进一步整理为三类具有共同物理含义的信号:自身运动、操作端运动和抓取状态。每个动作都以视频片段首帧为锚点,描述从首帧到对应未来时刻的累计变化。这一步做完,异构数据在物理层面上有了统一的参照系。

第二点:Action Token投影。对于双臂、双手以及不同夹爪结构等不同末端执行器构型,它们之间仍然存在难以通过显式规则完全消除的差异。HERON-World Model并不强行要求所有动作拥有完全一致的数值形式,而是使用各数据域的轻量动作编码器,将不同动作进一步投影为固定维度的Action Token,让共享网络在统一的视频预测任务中学习不同动作与视觉结果之间的共同规律。



 

HERON-World Model真正希望学习的并不是某一种机器人特定的动作形式,而是更一般的规律,当不同动作作用于世界时,它们会带来怎样的视觉变化和后果。

这也是为什么HERON-World Model并不要求第一视角人类视频必须提供标准机器人控制命令。在数据处理过程中,视频会经历片段清洗、三维手部姿态估计、相机轨迹恢复、轨迹验证和质量过滤,再把相机运动、手部运动和抓取状态转换成统一的动作表示。即便这些动作只是伪标签,它们仍然可以作为弱监督进入统一训练体系。

第三点:让不完整数据也能用。在实际数据采集中,一个无法回避的问题在于,数据质量的参差不齐。有些视频有完整的动作标注,有些只有部分可信标注,有些因为遮挡或手部脱离画面,根本无法获得数据标签。

HERON-World Model没有把“完整动作标注”设成视频能够进入训练的门槛。完整动作、只有部分可信动作标注、甚至因遮挡或手部脱离画面而无法获得数据标签的视频,都可以进入同一套训练体系。对于缺失的动作组件,通过组件级掩码和置信度控制监督强度,而不是简单把缺失值当成“0”。这样可以使得视觉与时间即使变化,或者一段视频没有完整动作信息,本身依然能够被模型利用。

在Scalabot团队看来,数据异构不是bug,是feature。强行把所有数据压进同一个模板,反而会损失不同数据源独有的信息价值。因此,Scalabot团队选择了一条更难但更有效的路径,通过设计一套能够让异构数据各自保留特性、同时又能被统一理解的框架。这才是“数据统一”真正困难的地方,也是Scalabot在这个环节建立的核心壁垒。

03.

MoT+MoE才是数据规模扩张的最优解?

数据来源梳理清楚了,数据统一的问题也解决了,模型架构接得住吗?因为随着预训练数据的增加,模型面对的场景、对象、动作幅度、视角和接触模式都在迅速扩张。

这种扩张的挑战在于,不同动作背后对应着完全不同的运动建模方式。当人类或机器人的身体发生位移时,例如移动底盘前进或人形机器人行走,模型更多需要关注的是全局运动以及场景结构的变化。但当模型处理的是抓取、接触等瞬间动作时,它需要处理的则是局部几何、接触关系与精细交互。这两类问题对模型能力的要求截然不同。

如果在同一个模型中用一套参数同时应对这两类问题,会发生什么?答案很简单:参数竞争。这也使得单专家模型的困境在于,数据越多样,参数竞争越激烈,训练越不稳定,生成质量越下降。

HERON-World Model因此采用的解法是创新性的MoT+MoE双架构。

MoT(Mixture-of-Transformers)是一种将不同模态各配专属参数、再用共享注意力打通跨模态交互的架构设计。MoT架构配合单项注意力机制,实现参数分离以及知识隔离,达到既可以充分利用VLM大模型内化的世界知识(如“机械臂是关节约束的刚体”)约束物理可行的状态转移空间,有效避免跨帧物体变形等常见问题,还能防止随着模型训练伴随的VLM知识遗忘。同时,HERON-World Model还提出 Mixture-of-Experts(MoE)混合专家框架,采用高噪声专家与低噪声专家的分工模式。



 

高噪声阶段(对应扩散过程中噪声较大的前期),由高噪声专家负责。这个阶段的任务是建立未来的整体结构——场景布局、物体的大致位置、粗粒度的运动轨迹。可以理解为"搭骨架"。进入低噪声阶段后(对应扩散过程中噪声降低的后期),切换至低噪声专家。这个阶段的任务是恢复局部几何、接触关系的细节、以及精细的交互纹理。可以理解为"填血肉"。

两个专家的分工壁垒非常清晰,不是让它们抢着做同一件事,而是让它们在生成过程中各司其职、各管一段。一个负责把未来写出来,另一个负责把未来写细腻。

这个设计为什么重要?原因很直接,此前行业数据规模相对有限,单专家模型足以拟合单一领域的数据分布,MoE带来的架构复杂度不划算。但随着数据规模增长到某个临界点,动作形式越来越多样、越来越复杂,迫使模型必须在不同建模方式之间反复切换,而一套统一的参数很难同时满足所有需求。

MoE的价值正是在这个临界点上显现的。拆成双专家模式后,各自参数分工更清晰,高噪声专家专注全局结构,低噪声专家专注局部细节,从根本上绕开了参数竞争导致的训练失稳问题。在数据与参数规模持续扩张的同时,依然能保证世界模型的生成质量。

MoT和MoE合在一起,构成了HERON-World Model在架构层面的完整设计。MoT确保不同模态的知识各安其位、互不干扰,MoE确保不同粒度的生成任务各有专攻、互不抢参数。两个设计相互配合,共同支撑模型在大规模数据下的稳定训练和高品质生成。

这正是Scalabot在模型架构层面交出的答案:当数据规模达到某个临界点,模型架构的分工本质上比堆参数更重要。

04.

从单智能体到多智能体:能力边界的升维

数据来源、数据统一、模型架构这三个环节的解题思路,HERON-World Model已经给出了完整的答案。但如果我们把镜头拉远一点,一个问题自然浮现:这套体系能支撑的终点和现实需求到底是什么?

机器人大讲堂了解到,在这套体系的基础上,Scalabot团队增加了多智能体交互数据进行预训练,让模型学习“多个智能体共同作用时,物理世界会如何变化”,初步结果已经展现出不错的效果。

以“多人用毛巾滚动小球”为例,在视频中可以看到,两个人分别拉住毛巾的两端,通过协调各自的动作让小球在毛巾上朝特定方向滚动。这是一个典型的多智能体协同任务:每个人的动作都会通过毛巾传递影响力,小球的运动轨迹是两个人动作的叠加结果。而HERON-World Model能够准确预测小球在这一协同动作下的滚动方向,且预测结果符合物理常识。



 

另一个例子是“编花绳”,两个人分别操作绳子的两端,通过一系列协同动作编织出特定的花绳样式。这个场景的复杂度更高,因为绳子的形态变化涉及多个接触点、多种力的传递,以及两个操作者之间精细的时序配合。可以发现,HERON-World Model对花绳样式变化的预测显示,模型已经充分理解了多智能体之间行为共同作用下的物理规律。

从这两个demo可以看出,HERON-World Model不仅学会了“单个动作对应什么结果”,还学会了“多个动作叠加之后,结果会怎样变化”。后者需要模型建立对多智能体交互的隐式理解,这不是简单的数据堆叠能解决的,本质上是对交互结构本身的有效建模。



 

目前大多数世界模型只聚焦到单智能体场景。一个机械臂在桌面上抓取,一台机器人在流水线上完成固定工序,一个无人干扰的封闭空间内执行单一任务。这种场景假设环境中的变量是可控的,假设没有其他智能体同时改变环境,假设机器人是场景中唯一的不确定性来源。它的局限显而易见,因为真实世界不是单机游戏。

一个家庭场景中,机器人在客厅移动,家庭成员同时在旁边走动、交谈、使用物品。机器人路径的合理性,不仅取决于它自己对环境的理解,还取决于它能否预测家庭成员下一步的位置和行为。一个仓储场景中,多台移动底盘和机械臂需要实时配合、互不干扰。一个工厂场景中,不同工位的机器人需要协同完成装配流程。

如果世界模型只能预测单一个体的动作后果,它就永远无法真正进入这些场景。当场景中引入多个智能体,世界模型要回答的问题就变了,从“我动一下,世界会怎样”变成“我们都在动,世界会怎样”。这听起来像是一个简单的变量增加,但本质上是预测维度的质变。

在一个多智能体场景中,每个智能体的动作都会改变环境状态,而环境状态的变化又会反过来影响其他智能体的决策。这是一个动态耦合的系统,A的动作改变环境,B感知到变化后调整自己的动作,B的动作又进一步改变环境,A再做出新的响应。每个智能体不仅要预测自己的动作后果,还要预测其他智能体动作的后果,以及这些后果交织之后产生的联合效应。

因此,多智能体的引入会是世界模型演进的路径必然,却也正使世界模型的预测难度急剧上升。模型不仅要考虑智能体和环境物体之间的交互,还要考虑多个智能体之间的行为会共同触发的物理反应,两种交互叠加在一起,模型需要学习的是一套“群体—物体—环境”耦合的复杂系统,而不是一条单向的“动作→结果”通路。

而HERON-World Model在多智能体方向上的成功探索,其实就是Scalabot团队整个技术路线水到渠成的延伸。因为数据金字塔的设计天然兼容多智能体数据,Action Token的统一框架天然支持多动作输入,MoE的分工模式在多智能体场景中展现出更大的容量弹性。三个环节的判断如果有一个站不住,多智能体的扩展就不可能成立。

这也使得机器人大讲堂意识到,如今当行业还在争论“单智能体世界模型怎么做”的时候,HERON-World Model其实已经在回答一个更难的问题:当多个智能体同时改变世界,世界会变成什么样? 这个问题,可能才是具身智能真正进入现实世界所需要回答的下一个答案,也将拓展世界模型的能力边界。

05.

世界模型的终局到底会在哪?

整体而言,HERON-World Model虽然是Scalabot的第一款模型,但它从一开始就不是为“单机版”设计的。其数据层面兼容多本体、多来源;架构层面为规模扩张预留了MoE的弹性;能力层面已经验证了多智能体交互的预测,这三个环节的判断,指向的是同一个终局:具身智能的落地点从来不是单个机器人,而是多个智能体共存共作的真实世界。

而这个终局,Scalabot从第一天就开始准备了。它不是从论文和开源代码里长出来的技术品牌。从第一天起,它或许就考虑到了数据的真实采集成本、本体的物理约束、以及模型到真机的落地闭环。这种“被现实逼出来的技术判断”,可能比纯算法竞赛更贴近具身智能的本质。 因为具身智能的“具身”两个字,从来就不只是说机器人有身体,更是说智能必须从与真实世界的交互中生长出来。

从这个角度看,HERON-World Model在数据、架构和多智能体三个环节上的设计,指向的是同一个问题:如何让模型从真实世界中持续学习、持续进化。过去,卖出10万台机器人,意味着卖出10万台设备。未来,如果能让这10万台机器人在真实环境中持续产生高质量数据,而且它们彼此之间还在协同、交互、共同改变世界,收获的或许就不只是人形机器人订单,而是一个持续扩张的世界经验库。机器人也不再是“被交付的产品”,而是模型持续成长的节点。

因为可以预见,本体在往下走,规模化之后必然走向同质化。模型在往上走,开源和基础模型扩散之后也会越来越普及。因此,真正稀缺的其实是连接两者的那条管线,是从真实物理世界里持续获取数据、再把这些数据变成模型能力的那条闭环。

这个闭环一旦跑通,优势就不会是线性的——它会以飞轮的方式自我加速。