让机器人学会做家务,最大的瓶颈不是硬件,而是数据。
想象一下,你要教一个机器人如何在厨房里把杯子放进水槽、把水果摆上盘子——不是在实验室里反复试错,而是先在一个虚拟世界里让它"练习"上千次。这正是MIT计算机科学与人工智能实验室(CSAIL)与丰田研究所联合开发的SceneSmith系统要做的事。

三个AI代理,合作设计虚拟世界
SceneSmith用三个视觉语言模型(VLM)代理协作生成逼真3D场景。"设计师"生成场景元素,"评论家"审核是否真实,"编排者"来回管理,决定设计何时完成。整个过程分阶段推进:先做平面布局,再添加家具,最后放入机器人可操作的物品。
最具代表性的是,用GPT-5.2作为大脑的代理们,对日常场所应有的形象有着清晰认知——它们能生成车库、厨房、酒店大堂、甚至一个Minecraft主题的游戏室。每个场景物品数量是此前方法的六倍,非常适合训练机器人学习复杂技能。
不只是"好看",还要"好用"
SceneSmith不只是生成逼真场景,更重要的是所有物体都带有质量、摩擦和惯性等物理属性——机器人可以在里面真正"动手"操作。
研究团队在SceneSmith生成的数字世界中测试了超过100个独特空间的不同行动计划,发现机器人的计划存在缺陷,机器经常在任务中失败。人类在99%以上的情况下同意模型的结论——这有助于机器人在进入现实世界前,先在模拟中剔除缺陷。
更关键的是,团队将基于真实数据训练的机器人策略直接放进SceneSmith场景测试。这些机器人从未见过虚拟场景,但当用户告诉系统"从碗里取苹果放到砧板上",机器人成功照做了——证明这些虚拟环境的真实程度足以让"没见过世面"的机器人也能正常工作。
从实验室走向真实场景的桥梁
与"HSM"和"Holodeck"等场景生成基线相比,SceneSmith制作的虚拟环境获得了200多名测试用户的好评——超过90%认为其视觉真实度更高。唯一的代价是速度:生成一个场景可能需要数小时。
该研究已在上周的国际机器学习会议上作为焦点展示。研究者之一、MIT博士生尼古拉斯·普法夫说:"我们没有在提示里教系统这么做,它只是即兴发挥。"
当机器人可以在虚拟世界里学会端杯子、收瓶子、开关柜子,再走进真实的厨房时——"机器人做家务"这件事,可能真的不远了。
