机器人大讲堂5月30日消息，英伟达（NVIDIA ）的股价本周持续攀升，本周二收盘价创下历史新高、市值达到约2.8万亿美元。在A股市场上，铜缆高速连接、玻璃基板、电磁屏蔽等多个热门概念“刷屏”，均与英伟达的新产品新技术有关。在最近举行的 IEEE 国际机器人和自动化大会（ICRA）上，卷王英伟达展示了一系列最新机器人研究，我们一起来看一看~
 

 ▍NVIDIA手术机器人研究

英伟达（NVIDIA）正在与多伦多大学、加州大学伯克利分校、苏黎世联邦理工学院和佐治亚理工学院的研究人员联手，开发名为ORBIT-Surgical的手术机器人训练模拟框架。这一创新工具旨在提高手术团队的技能，同时减轻外科医生的认知压力。

GitHub 开源代码：https://orbit-surgical.github.io/

论文地址：https://arxiv.org/abs/2404.16027

ORBIT-Surgical模拟框架受到腹腔镜手术训练的启发，支持十多种操作，如精确抓取和传递小物体，如针头。其物理基础构建于NVIDIA Isaac Sim之上，这是一个为设计、训练和测试基于AI的机器人而设计的模拟平台。    

在NVIDIA GPU的支持下，研究人员利用强化学习和模仿学习算法进行训练，同时结合NVIDIA Omniverse平台，实现逼真的3D渲染效果。Omniverse是一个用于开发和部署高级3D应用程序和管道的平台，基于通用场景描述(OpenUSD)。

ORBIT-Surgical研究团队在视频中展示了如何将模拟环境中的数字孪生机器人训练成果转移到实验室中的物理机器人上。

该框架基于Isaac Orbit，利用Isaac Sim构建，支持强化学习和模仿学习，使AI代理能够模仿专家操作。此手术框架允许开发人员训练如达芬奇研究套件（dVRK）这样的机器人，通过NVIDIA RTX GPU上运行的算法来操作刚性和软性物体。

ORBIT-Surgical引入了多种外科训练任务，包括单手和双手操作，如抓取纱布、插入分流器、传递缝合针等，并通过GPU加速和并行化将学习速度显著提升。

利用Omniverse渲染的视觉真实感，ORBIT-Surgical还生成高保真合成数据，帮助训练AI模型执行感知任务，如分割手术工具。该团队通过结合模拟和真实数据，显著提高了AI模型从视频中分割手术针的准确性，减少了对大型现实数据集的需求。

 ▍NVIDIA几何织物研究

在机器人技术的世界中，训练出的策略往往是近似的，意味着它们大多数时候能正确工作，但偶尔也可能导致机器人操作过快、与物体发生碰撞或不稳定摇晃。

因此，当部署这些经过训练的，特别是通过强化学习获得的策略到实际物理机器人上时，都会配备一个低级控制器作为“安全网”。这个控制器的作用是拦截策略发出的指令，并根据机器人的硬件限制来调整这些指令。

为了确保策略在实际应用中的有效性和安全性，研究人员建议在训练强化学习（RL）策略时就引入这些控制器。他们认为，GPU加速的RL训练工具的一大优势在于能够矢量化这些控制器，使得它们在训练和部署过程中都能得到利用。这正是当前研究的核心价值所在。

例如，在研发人形机器人的公司中，你可能会看到带有这种低级控制器的演示。这些控制器不仅帮助机器人保持平衡，还能防止其手臂与自身发生碰撞。这些矢量化控制器的设计灵感来源于一项关于几何织物的研究，该研究成果在去年国际机器人与自动化会议（ICRA）上荣获了最佳论文奖。

研究人员今年将著名的DeXtreme手部操纵任务与几何织物控制器的研究相结合，为机器人训练提供了一种新方法。他们通过将几何织物控制器矢量化，并在此基础上训练DeXtreme策略，大大提高了机器人的安全性和学习效率。

据悉，这种新方法不仅允许机器人通过模拟织物的行为来指导其学习，还实现了从仿真到现实训练和部署的系统化流程，为生产环境中使用强化学习工具铺平了道路。

研究团队所构建的基础架构使得他们能在训练过程中快速迭代，从而找到最合适的域随机化设置，成功实现了从仿真到现实的顺利部署。通过这种方法，他们可以在训练期间加入更多的随机扰动，使得机器人表现出前所未有的鲁棒性。

与之前的DeXtreme工作相比，新方法极大地减少了现实世界中实验的难度和风险。有了几何织物控制器的保护，研究人员现在可以更自由地部署和测试策略，而不必担心机器人受到损坏。这标志着在机器人技术领域中，我们离在生产环境中广泛应用强化学习工具又近了一步。

 ▍NVIDIA其他机器人研究

英伟达今年提交的其他值得关注的论文还有以下几个：

SynH2R

SynH2R的作者设计了一个创新的框架，旨在生成真实的人类抓取动作，以便更有效地训练机器人进行人机交互。要了解这一框架的详细信息和功能，请参阅“SynH2R：合成用于学习人机交接的手-对象运动”的相关资料：https://arxiv.org/abs/2311.05599

SKT-Hang

SKT-Hang的作者深入探索了一个看似简单却实则复杂的问题：如何运用机器人技术将形态各异的物体准确地挂放到不同的支撑结构上。尽管从表面上看，这似乎是一个可以轻易解决的问题，但实际上，由于物体形状和支撑结构的多样性，机器人需要克服一系列复杂而多变的挑战。

RDMemory

RDMemory的研究团队深入测试了机械臂对先前可见但随后被遮挡物体的反应能力，确保其在不同环境中都能保持可靠的反应。此项研究结合了仿真和真实世界的实验，以验证其有效性。  

想要了解更多详情，请查阅论文《看不见但记得住：利用具有视频追踪功能的记忆模型对未观测到的对象进行推理和规划》https://arxiv.org/abs/2309.15278

或者观看RDMemory的示例视频，直观感受其工作效果：

https://sites.google.com/view/rdmemory

点云世界模型

研究团队开发了一种创新的点云世界模型（PCWM）及其配套的控制策略。这些策略显著提高了机器人学习器的性能，不仅缩短了学习时间，还显著增强了其在各种环境下的鲁棒性。

若您希望深入了解这一技术，请参考论文《点云模型提高机器人学习器的视觉鲁棒性》：

https://arxiv.org/abs/2404.18926

 ▍NVIDIA合作伙伴的研究

NVIDIA的机器人技术合作伙伴在ICRA会议上精彩亮相，展示了他们的最新研发成果。

总部位于苏黎世的ANYbotics公司展示了ANYmal Research项目，该项目为ROS系统底层控制提供了全面的软件包支持。ANYmal Research是一个由全球顶尖机器人研究中心研究人员组成的庞大社区，成员包括波士顿动力AI研究所、苏黎世联邦理工学院以及牛津大学等。

慕尼黑总部的Franka Robotics则重点介绍了他们与NVIDIA Isaac Manipulator的合作成果。这一基于NVIDIA Jetson的AI平台为机器人控制提供了支持，并与适用于Matlab的Franka工具箱形成了配合。    

此外，Enchanted Tools公司也展示了其由Jetson驱动的Mirokaï机器人。