第一视角视频让数据采集从专业场地走进真实生活和工作，成为具身智能预训练的重要数据来源。但拍下操作，并不意味着就能获得具身模型预训练所需的4D数据，系统还需要准确辨认佩戴者的双手、还原手指的弯曲姿态，并测量手在空间中的移动距离。近日，觅蜂科技联合西北工业大学、西安交通大学发表论文，提出第一视角运动重建框架MEgoVista，用以将Ego视频更精准地转化为4D数据。

从看见动作到测准动作难在哪

Ego视频要在模型训练阶段派上用场，关键是将人的操作精准翻译成机器人的动作。然而，要从采集的视频中准确提炼4D数据，仍面临诸多挑战。首先，场景覆盖范围与重建精度往往难以兼顾。固定场地中的多摄像头系统能够较准确地还原手部动作，但需要提前布置设备，采集范围有限。覆盖真实生活的大规模视频数据集，则往往缺少具有真实尺度的三维手部标注。其次，姿势像不等于位置准。现有算法已能根据图像估计手指姿态，或从视频中还原手部运动轨迹。但仅靠单个摄像头，距离估计主要依赖模型从训练数据中学到的经验，缺少现场测量作为依据。真实操作中的多人互动和遮挡，也增加了识别难度。以美甲为例，美甲师和顾客的手同时入镜，系统需要持续辨认佩戴者的双手，避免跟错对象。

三步还原

针对上述问题，MEgoVista设计了一套离线重建流程：先识别佩戴者的双手，再利用多摄像头测量距离，最后对整段动作进行优化。首先，识别并持续跟踪佩戴者的双手。MEgoVista在检测手部位置、区分左右手的同时，还会辨别哪些手属于佩戴者，避免在多人互动时跟错对象。其次，通过多摄像头测量手部距离。MEgoView头戴设备配备三个鱼眼摄像头，以每秒60帧拍摄画面。中央摄像头分别与左右摄像头配对，形成两组立体视觉。系统根据同一只手在不同视角下的位置差异，结合事先标定的相机间距和相对位置，估计手与摄像头之间的实际距离。最后，优化整段动作，减少抖动和姿态异常。MEgoVista先筛选可靠的观测结果，再结合前后帧的信息调整整段动作，使运动更连贯、手指姿态更符合人体结构。

测试结果

研究团队使用一套由26台摄像头组成的独立光学动作捕捉系统，提供参考数据，检验MEgoVista的重建精度。测试中，MEgoVista的手指姿态误差为4.29毫米，HaWoR和Dyn-HaMR分别为16.30毫米和49.18毫米。需要说明的是，这一指标是在对齐位置、朝向和整体尺度后计算的，反映的是手指姿态精度，不代表整只手在空间中的绝对位置误差。在这批测试数据中，MEgoVista没有出现手部漏检或误检，动作抖动也低于两种对比方法。两组头部轨迹测试中，完整片段的平均位置误差分别为2.87毫米和0.75毫米。团队还在三类真实场景中进行了进一步对比。制作奶茶场景中，双手快速移动时，MEgoVista和Dyn-HaMR的骨架较贴合手部，HaWoR的左手骨架出现明显错位。美甲场景中，HaWoR和Dyn-HaMR都曾将顾客的手误认为佩戴者的手，MEgoVista正确区分了两人的身份。给宠物洗澡场景中，手部沾有污物且快速运动时，MEgoVista和Dyn-HaMR均检测到了手部，HaWoR的左手和手腕出现偏移。