威尔奈特是一个非常喜欢禅宗整理的人。去年，他参观了马萨诸塞州剑桥市的丰田研究实验室。在那里，他很高兴地拿起簸箕，刷刷地扫除洒在桌面上的一些豆子。这项家务活比平时更具挑战性，因为威尔奈特必须使用一对带有两根手指钳子的遥控机械臂来完成。

 　当他坐在桌子前，使用着一对控制器，如带有额外按钮和杠杆的自行车把手，他能感觉到抓住固体物品的感觉，当他抬起它们时也能感觉到它们的重量，但仍然需要一些时间来适应。

 整理了几分钟后，威尔奈特继续参观实验室，忘记了作为机器人老师的短暂经历。几天后，丰田给他发了一段视频，视频中的机器人利用从他的演示中学到的知识，结合更多的演示和几个小时的练习，在模拟世界中扫荡。

 大多数机器人，尤其是那些在仓库或工厂中从事宝贵劳动的机器人，只能遵循预先编程的例程。这些例程需要技术专长来制定计划，这使得它们非常精确和可靠，但完全不适合处理需要适应、即兴创作和灵活性的工作——比如扫地或家中的大多数其他家务。事实证明，让机器人学会自己做事具有挑战性，因为物理世界和人类环境的复杂性和可变性，以及获得足够的训练数据来教它们应对所有可能性的困难。

 有迹象表明，这种情况可能正在改变。在过去一年左右的时间里，他们在人工智能聊天机器人方面看到了巨大的进步，这促使许多机器人专家想知道在他们自己的领域是否可以实现类似的飞跃。为他们提供了令人印象深刻的聊天机器人和图像生成器的算法也已经在帮助机器人更有效地学习。

 威尔奈特训练的扫地机器人使用一种称为扩散策略的机器学习系统。这种系统类似于为某些AI图像生成器提供动力的系统。根据多种可能性和多种数据源，该系统能在几分之一秒内提出下一步采取的正确行动。该技术是由丰田与哥伦比亚大学教授Shuran Song领导的研究人员合作开发的，Shuran Song现在领导斯坦福大学的机器人实验室。

 　丰田正在探索将最新的人工智能技术，特别是类似于ChatGPT的语言模型，融入到其机器人技术中。他们希望通过观看视频，机器人可以学习并模仿人类的行为，进而完成各种任务。这种学习方式将使YouTube等平台上的内容转化为机器人的训练资源。

 然而，仅仅观看视频并不足以让机器人完全理解人类的行动。麻省理工学院教授兼丰田研究所副总裁Russ Tedrake指出，如果机器人从未接触过现实世界，仅通过YouTube视频学习是非常困难的。他希望结合对物理世界的基本理解与模拟数据，使机器人能够更好地从视频中学习物理动作。

 丰田在2015年就设立了剑桥机器人研究所，并在加利福尼亚州帕洛阿尔托设立了第二所研究所和总部。随着日本和其他富裕国家的人口迅速老龄化，丰田希望制造能帮助人们保持独立生活的机器人。

 在剑桥的实验室里，已经有几十个机器人在做家务，如剥蔬菜、搅拌、准备零食和煎饼等。语言模型已经被证明是有用的，因为它们包含了关于物理世界的信息，帮助机器人理解它们面前的物体以及如何使用它们。

 然而，尽管演示看起来很流畅，但机器人仍然会犯很多错误。就像ChatGPT背后的模型的早期版本一样，它们的表现并不稳定，有时会做出奇怪的行为。例如，一个机器人能够轻松操作手动搅拌机，而另一个机器人却挣扎着去抓住瓶盖。

 此外，谷歌DeepMind的一个团队也发布了Auto-R软件，使用大型语言模型来帮助机器人确定它们在现实世界中可以安全完成的任务。这表明大型科技公司都在寻求利用语言模型推进机器人技术的研究。