2024年3月5日，具身智能与人形机器人公司星动纪元联合清华大学、上海期智研究院开源了人形机器人强化学习训练框架Humanoid-Gym。

此举旨在降低人形机器人算法的开发门槛，助力全球学界和业界的研究者们在人形机器人领域的创新工作。

▍Humanoid-Gym框架是什么？

鉴于人形机器人结构的高度复杂性，其强化学习训练以及从模拟环境向真实世界迁移（即sim-to-real transfer）的过程，相较于四足机器人，往往更具挑战性。

Humanoid-Gym框架通过其精心设计的奖励函数以及域随机化技术，有望显著简化人形机器人的训练以及实现sim-to-real转换的难度。

Project page：

https://sites.google.com/view/humanoid-gym/
Github 代码库: 

https://github.com/roboterax/humanoid-gym

除了用sim-to-real验证以外，另一个常见的做法是用第二个更高精度的仿真环境来做初步做验证（sim-to-sim）。

本次Humanoid-Gym开源后，用户还可以通过该框架轻松运用sim-to-sim转换功能，先在更高精度的仿真环境Mujoco中进行初步验证与筛选，从而提升sim-to-real转换的效率和成功率。

除此之外，本开源项目还引入了若干评估指标，用以衡量训练策略的效果，包括但不限于速度追踪、动作丝滑程度等。

此次开源的Humanoid-Gym训练框架，标志着星动纪元在人形机器人技术推广和共享方面的积极姿态。

通过降低进入门槛，星动纪元期望激发更多的创新思维和解决方案，共同推进人形机器人技术的未来发展。

▍Humanoid-Gym训练框架落地情况

据了解，目前，该框架已在星动纪元旗下的两款机器人——小星（1.2米高）和小星max（1.65米高）上成功验证。

星动纪元于2023年8月在北京成立，由清华大学交叉信息研究院孵化，致力于具身智能以及人形通用机器人技术和产品的研发。星动纪元强大的技术团队和产品实力获得了资方认可，成立不到一年便已完成了两轮融资。最新一轮融资在今年1月份，星动纪元刚刚完成超亿元天使轮融资，由联想创投领投。

星动纪元团队已在软硬件结合、自主学习进化的人形机器人领域取得显著成就。星动纪元两款型号的人形机器人产品：小星和小星Max，分别用来适配不同应用场景的需求。其中小星体型更小巧，动态性能强，可完成室内外跑、跳、高速行走等动作。

同时，小星已经可以完成全自主任务实现和规划导航，目前小星在星动纪元公司内部开始了第一份工作，收纳整理、库房搬运、迎宾接待、取送快递,样样精通。小星也是全球第一个通过端到端强化学习在雪地行走的人形机器人，真正实现崎岖路面泛化，上下楼梯等，甚至还能负重上百公斤和跳跃,举哑铃、抬杠铃等负重项目，轻而易举。目前已进行多轮迭代，展现了公司的技术实力和市场潜力。

小星Max为全尺寸人形机器人，身型高度和成年人相当，手臂、腰部以及全身其他部位具备更高的自由度，还配有高自由度灵巧手，未来目标场景是在工厂制造场景或服务场景，替代人类完成各种各样较为精细的操作。

据悉，星动纪元人形机器人采用的本体感知驱动器(准直驱)的关节技术路线，能提升机器人的运动性能和抗冲击能力，同时，借以高强度合金、碳纤维和工程塑料等材料，共同完成机器人的本体构建。星动纪元从2023年暑假就因“小星”一炮而红。目前，星动纪元人形机器人产品化已基本完成，预计在今年中推出面向科研教育市场的首批产品。

▍结语与未来

近年来，人工智能、电子工程、运动控制等突破性进展，让人形机器人从“遥不可及”变得“触手可得”。

人形机器人迈出的每一步，都能掀起市场热潮。多年不温不火的人形机器人已经成为科技企业们瞄准的新方向。人形机器人强化学习训练框架Humanoid-Gym的开源，有望助推人形机器人产业再往前迈出一大步。