今日，国产灵巧手赛道头部企业灵巧智能重磅出击，向外界分享其在机器人灵巧操作领域的最新研究成果，正式发布灵巧智能DexCanvas数据集。该数据集规模达20TB，包含1000小时真人操作记录，是涵盖多模态人手操作数据的重磅资源，将为机器人灵巧操作领域注入强劲动力。

▍成本、规模、真实性难以兼得，具身智能数据采集困境待解

当前AI在物理世界的应用中，虽已实现理解人类语言、识别物体与场景、规划任务步骤等能力，但在物理世界中的“最后一公里”，即让机器人像人类一样灵活地抓握、理解语言、识别物体和场景、感知并调节力度、适应不同物体等方面，仍是一个待突破的难题。这一瓶颈很大程度上源于当前大规模、高质量、多模态交互数据集的缺乏。

一般来说，机器人在实际场景中的操作表现往往受到感知不确定性、动力学复杂性和环境变化敏感性的制约，也因此数据集的规模与质量直接决定了模型在真实环境中的表现。从技术实现路径来看，具身智能操作的数据采集方式目前主要为遥操作、视频学习和仿真合成。

遥操作通过专业设备记录人类专家的动作和力控信息，能获得高质量、高精度的真实数据，尤其适合精密力控任务，但存在设备昂贵、效率低以及人机“机构差异”的映射难题。视频学习利用大量现有视频，以极低成本提取视觉任务模式，易于扩展，适用于宏观规划，但缺乏机器执行所需的底层动作与感知信息，存在“视角差异”和“动作缺失”，导致执行精度不足。仿真合成依托虚拟环境生成大量多样化标注数据，成本低、效率高，适合强化学习与罕见场景，但其核心问题在于“仿真到现实”的物理偏差，需经过额外适配才能应用于真实系统。

以上三类主流数据采集方式虽然为机器人操作能力的学习提供了重要数据基础，但它们各自存在明显的局限性。如何高效、低成本地获取既物理真实又足以支持泛化策略学习的大规模操作数据集仍是实现机器人灵巧操作过程中亟待解决的问题。

▍破解机器人灵巧操作数据难题，开源DexCanvas数据集降低门槛

这一挑战在灵巧手操作任务中表现得尤为突出，其难点可归结为三个相互关联的核心层面。在数据采集层面，高质量示范数据获取困难，且常缺失力觉接触信息；在物理一致性层面，传统几何关系动作捕捉存在厘米级误差，无法获取力觉信息，易导致遮挡、穿模、虚接触等问题；在控制复杂度层面，不同构型操作设备的自由度差异显著，例如机械臂+夹爪仅有7个自由度和2种操作状态，仅能覆盖20%的操作场景，而完整类人上肢虽拥有26个自由度和超100万种操作状态，可覆盖80%场景，但高自由度也带来了高维决策难题。

面对上述问题，灵巧智能推出的DexCanvas数据集在数据获取机制、动作捕捉、语义规则提取等方面的系统性革新。

在数据获取机制上，灵巧智能摒弃了“以采集设备为中心”的传统思路，转向“以人+物体的交互为中心”的采集理念，通过“人手采集+合成”的方式，同步采集人手运动轨迹、被操作物体属性及两者之间的接触力学数据等多模态信息，实现了RGB、深度、动作捕捉及力觉信息的一体化融合。与遥操作、视频学习、仿真合成相比，这一方式避免了传统方式设备昂贵或缺乏物理真实性的问题，在成本可控的前提下显著提升了数据的规模和质量，为数据规模化积累创造了条件。

在物理一致性方面，DexCanvas数据集通过对人手操作过程的精细感知与数据处理，实现了毫米级几何精度和接触点、接触力信息的物理级复现，有效解决了传统动作捕捉中因遮挡、穿模和虚接触导致的误差问题，可为模型学习提供高度可信的交互动态信息。

在控制复杂度方面，为应对高维状态空间带来的决策挑战，灵巧智能提出了一套基于语义规则提取的系统方法。该方法在人类常见操作模式的基础上抽象出33类操作原型和6种关键语义规则参数，为复杂操作任务的表示与泛化提供了结构化、可解释的策略基础。

基于系统性的多模态采集架构、物理一致性保障机制与语义化抽象能力，灵巧智能推出了DexCanvas数据集，为学术界和工业界提供了规模庞大、质量可靠且可直接用于训练的数据资源。该数据集的建成与开源不仅大幅降低了相关领域的研究门槛，更将加速具身智能模型在真实场景中的落地应用。而从长远来看，这一解决方案不仅为灵巧操作模型的训练建立了高质量的数据基准，更探索出一条融合物理规则与语义抽象的具身智能发展路径，对推动整个机器人操作能力的发展具有重要意义。

据悉，DexCanvas数据集将于10月中旬在HuggingFace和Github进行开源，其技术报告后续也将在ArXiv发布，欢迎学术界、产业界与研究机构关注其官方发布渠道，以获取数据集开源进展、技术报告与相关成果的第一手信息，如需申请抢先体验，可扫描下方二维码填写信息与数据需求，灵巧智能将在数据集正式开源后第一时间通过邮件为您发送预览版本。