机器人双手操作里，柔性物体抓取、精密装配、持续接触清洁这类高接触任务一直是行业痛点。视觉传感器抓不住接触力、微滑移、物体形变这些关键信号，传统数据采集方案又在精度、便携性、硬件适配之间顾此失彼。

近日香港大学OpenDriveLab联合复旦大学、上海交通大学、华东理工大学，推出面向双手密集接触任务的TAMEn触觉感知操纵引擎，打通视觉-触觉闭环数据采集全流程，把高精度、高适配、高复现的多模态数据采集落到实处。

PART 01

手持采集卡在四大死穴，TAMEn一次性解决

手持操作范式（UMI）是当下机器人演示数据采集的主流方式，可放到双手密集接触场景里，短板直接暴露。

光学动捕精度够高，但必须搭外部基站，出了实验室就没法用；VR、SLAM方案便携，却撑不起精密接触操作的精度要求，精度和便携永远二选一。

现有采集设备大多绑定特定夹持器，换一种运动结构、尺寸的机械爪，整套采集头就要推翻重做，硬件迁移成本极高。

人类演示的动作看着顺畅，映射到机器人上，频繁出现逆解失效、关节超限、超出工作空间，只能事后手动筛数据、洗数据，耗时耗力。

常规采集只存成功轨迹，机器人实际跑起来碰到故障、濒临失败时，没有对应的恢复数据支撑学习，策略一落地就容易崩。

TAMEn没有小修小补，从硬件、采集流程、数据组织到策略学习全链路重构，直接把这四个行业难题全部解决。

PART 02

双模式硬件切换，亚毫米精度和野外便携性全都要

TAMEn做了可穿戴视觉-触觉硬件接口，用双模式配置绕开精度与便携的矛盾。

精度模式搭配NOKOV光学动捕，实现亚毫米级位姿追踪。采集界面用结构化标记物布局，操作中出现标记遮挡、观测噪声，也能稳定做位姿估计和修复，新手操作也能做到100%跟踪成功率，专门适配线缆安装这类高精度演示采集。

 

硬件系统。左侧：TAMEn 整体结构。右侧：两种数据采集模式，分别支持高精度示教数据采集与野外便携采集 / 复原场景数据获取。

便携模式不用拆改主体，卸下动捕标记件，换上快拆VR手柄，就能脱离基站在真实场景采集，双臂整套硬件成本仅700美元出头，还能一键切到故障恢复远程操作，低成本又实用。

 

所设计手持夹持器交互装置的结构原理。(a) 屈伸式夹持器。(b) 平行夹爪式夹持器。左侧：装置整体外观。右侧：含关键几何参数的运动学示意图。

这套硬件还能快速适配不同夹持器，针对屈伸式、平行爪式夹持器，提炼出统一机械映射模板，不用重新设计主体，只调少量几何参数就能完成适配。

硬件采用模块化主干设计，GelSight、Xense、DW-Tac、PaXini等主流视觉-触觉传感器都能直接装，只做局部小修改就能集成，给研究人员留足拓展空间。

PART 03

在线可行性校验，采完的数据机器人直接能用

人类演示轨迹没法在机器人上复现，是数据采集最影响效率的问题。草药转移、线缆安装里，人类轻微的动作波动，都可能让机器人轨迹超限。

TAMEn把机器人执行约束嵌进实时采集流程，人手操作的同时，系统会把夹持器位姿实时转成机器人目标位姿，同步校验逆运动学求解、关节软限、运动速度，检测到不可执行动作立刻反馈，操作员当场就能修正。

 

实验数据显示：不加可行性校验，草药转移演示复现率39%，线缆安装仅12%，平均26%；开启TAMEn在线校验，两项任务复现率直接拉到100%，采完的数据不用过滤清洗，直接能训策略。

PART 04

金字塔数据+AR操控，机器人能自己从故障里恢复

只靠成功演示，机器人永远应对不了真实故障。TAMEn搭了金字塔数据体系，分阶段支撑策略学习。

 

金字塔结构视觉 - 触觉学习框架。大规模单臂视觉 - 触觉数据为预训练提供广泛先验知识，特定任务双臂数据助力具备协同感知能力的微调优化，复原场景数据则针对真实失效状态进一步优化策略模型。

底层预训练用大规模单臂视觉-触觉数据，依托FreeTacMan数据集，300万+视觉-触觉图像对、覆盖50个密集接触任务的1万条演示轨迹，用来做触觉表征预训练，让模型先学会基础接触动态。

中层适配是任务专属的双手演示数据，把通用触觉先验适配到具体双手协调操作。

顶层鲁棒性补强是策略执行故障的恢复数据，专门针对滑移、夹持错位、接触失效，补强策略鲁棒性。

团队还做了tAmeR AR远程操作系统，用Pico 4 Ultra头显，实时推机器人腕部鱼眼画面和指尖触觉图像，操作员第一视角介入，在机器人快失败时精准纠正，采集的恢复数据直接回流，形成闭环迭代的数据飞轮。

 

对比很明显：多放50%常规演示数据，任务成功率到70%；加10%离线恢复数据，仅56%；只用10% TAMEn采集的在线真实恢复数据，平均成功率直接冲到75%。

PART 05

四大密集接触任务实测，性能直接跨台阶

研究团队在JAKA K1双臂平台做了完整测试，选了机器人领域最典型的四个双手密集接触任务：草药转移、线缆安装、长尾夹拆卸、洗碗，覆盖柔性操作、精密装配、多阶段协调、持续接触控制。

 

纯视觉ACT方案平均成功率34%；加触觉但不预训练，到55%；加大规模触觉预训练，到65%；结合预训练和DAgger恢复数据更新，最终平均成功率75%。

 

未见物体泛化测试里，换物体颜色、材质，纯视觉方案基本失效，TAMEn还能保持60%以上成功率；光照干扰场景，视觉观测失效，TAMEn靠触觉依然能稳住核心接触操作。

这意味着TAMEn让机器人不再依赖视觉纹理、光照、物体外观，真正靠接触感知理解物理交互。

PART 06

硬件+数据集全开源，落地门槛大幅降低

目前 TAMEn团队已开源全部硬件设计、数据集和代码，方案易复现、易部署、成本低，学术研究和工业精密装配、柔性抓取都能直接用。

从亚毫米级采集、100%演示复现，到闭环故障恢复迭代，TAMEn重新定义了密集接触操作的数据采集标准，也让机器人双手操作跨过数据、训练、落地三道关卡。

论文链接：https://arxiv.org/pdf/2604.07335

项目地址：https://opendrivelab.com/TAMEn

开源地址：https://github.com/OpenDriveLab/TAMEn