打通具身训练“最后一公里”。
具身智能行业正在经历一场静默的“数据饥渴”。
一边是资本和人才涌入，人形机器人本体形态、关节模组、灵巧手方案快速迭代；另一边，模型训练所需的“教材”——高质量三维操作数据，却极度稀缺。
更矛盾的是，行业都在追求机器人的泛化能力，现有数据却往往采自固定实验室、标准化任务和有限数量的操作者。机器人反复看着同一张桌子、同一批物体和近似的动作，很难由此学会应对真实世界的变化。
当行业争辩“VLA（视觉-语言-动作模型）和世界模型哪个才是终局”时，一个更前置的问题被推上台前：能用模型看懂世界的规模化具身数据，究竟从哪里来，又该怎么用？
今天，蚂蚁数科联合浙江大学、香港大学、香港科技大学、香港科技大学（广州）、新加坡国立大学、北京智源人工智能研究院、中国科学院大学、西安交通大学等高校和科研机构，给出了一个开源答案：Open-AoE具身智能数据框架。
项目计划开源约2000小时由消费级智能手机采集的第一人称人类操作数据。目前，首批约100小时已经可以访问，其余数据将分批上传，计划于7月30日前完成全量开放。和数据一起交出来的，还有一套覆盖数据可视化、4D重建、Human-to-Robot动作重映射及主流模型训练格式转换的完整工具链，代码面向社区开源。
Open-AoE总体框架。2,000小时开源数据连接可下载的采集App、申请制数据加工Pipeline和完全开源的data-to-model工具链；三部分可以独立使用，也可以组成从贡献数据到训练模型的完整闭环。
项目入口：
- 技术报告：https://github.com/ant-research/Open-AoE/blob/main/Open-AoE-tech-report.pdf
- GitHub：https://github.com/ant-research/Open-AoE
- Hugging Face 数据集：https://huggingface.co/datasets/inclusionAI/OpenAoE-2000h
- 数据采集 App：各大应用市场搜索“具身智能数采助手”下载APP
- 数据加工管线申请及产业合作：kaile.zk@antgroup.com
2000小时无疑是这次发布中最醒目的数字，但数据规模之外，首先值得追问的是：普通手机记录下的人类操作，究竟能为机器人训练带来什么？
01.
手机数据，有资格成为机器人的“教材”吗？
具身数据的采集，此前主要有两条路。
一类使用专业动捕设备或头显，可以获得较精确的手部和相机运动信息，但设备、场地和组织门槛较高。另一类是真机遥操作，由受训人员控制机器人重复执行任务，数据能够直接对应机器人动作，却始终受机器人数量、采集工位和操作效率限制。
今年年初，AoE提出了一条新路径：让普通人用自己的手机，搭配一个成本低于20美元的磁吸颈挂，在真实厨房、办公室、车间里，随手记录自己干活的第一人称视频。
这个思路的卡点很明确：手机视频画质、视角、抖动都极不标准，怎么能给机器人用？行业普遍的疑虑是，这种“业余”数据，究竟只是“可观看的视频”，还是能真正提升策略模型性能的训练语料？
AoE团队给出的关键验证，来自一次真机实验。他们把用手机采集的200条人类操作数据，加入到Unitree G1人形机器人和Inspire五指手的50条遥操作数据中进行联合训练。
结果很直接：在GR00T N1.5与FLARE模型框架下，“合上笔记本电脑”的任务成功率从45%提升至95%；更复杂的“推碗并倒入种子”任务，成功率甚至从0提升至20%。
这组数据传递了一个信号：手机采集的人类操作，确实能为机器人策略提供结构、语义和动作上的先验知识。它解决了从无到有、从低成功率到可用的问题。
但证明一两百条数据有效，只是第一步。
当数据规模扩大到2000小时，采集者增加到500多人，设备覆盖数百款手机，新的问题随之出现：这些画质、视角和动作节奏都不统一的视频，怎样被稳定地加工成模型可用的训练资产？
02.
采集设备变轻，数据生产线必须变重
Open-AoE的2000小时数据来自500多位贡献者，覆盖400多种消费级智能手机、400多个真实场景和8000多项任务。不同机型使用不同的镜头、传感器、ISP和编码链路，焦距、视场角、曝光、白平衡和畸变表现各不相同；不同采集者的手型、佩戴角度、操作习惯和动作节奏也在变化。
普通手机降低了数据入口的成本，也将最复杂的工作留给了后端。要让这些高度异构的输入进入同一套训练体系，核心工作并不是拍摄，而是设备适配、质量筛选和数据加工。这恰好与蚂蚁数科此前的能力积累产生了连接。
据了解，蚂蚁数科旗下“天玑实验室”长期服务于支付宝App的生物安全检测与安卓安全认证，在数千款手机机型的端侧算法适配、成像评测和兼容性测试上已有多年积累。这种在金融级安全场景下打磨出的、对异构设备的管理和标准化能力，被直接迁移到了Ego数据生产线上。
我们把其产线逻辑拆解开看，更容易理解。
第一层是设备适配。不是简单转码，而是对不同机型的焦距、畸变、曝光进行几何校正和归一化，最终把几百种设备的输入收敛为统一的1080p、30FPS视频资产，并保留后续重建所需的相机内参。
机型适配不是简单转码。产线需要同时处理品牌型号、镜头参数、成像质量和佩戴姿态差异，再将其收敛为可进入后续重建与标注的统一视频资产。
第二层是质量筛选。用一套三层自动化漏斗来定义“什么是好数据”。从端侧实时检测手部是否出画、光线是否充足，到云端检查视频流完整性、模糊、脏污，再到最后一步判断动作是否具有语义价值。这套工序的目标，是把人工从“逐条盯人审核”中解放出来，转为“定义标准、校准模型”。
从端侧规则、云端技术检测到语义与价值检测，AoE 用三层漏斗筛选高质量可训练数据，并通过 Bad Case、人工抽检和规则/模型迭代形成质量飞轮。
第三层，资产化加工。视频只是原材料。通过筛选的数据还要完成相机轨迹估计、MANO手部重建、关键点提取和原子动作标注。最终，每个数据片段不仅包含去畸变后的第一人称RGB视频，还同步提供相机内参与6-DoF相机轨迹、3D手部重建、21点手部关键点、有效性标记，以及经人工复核的英文自然语言原子动作描述，各类信息按帧对齐。
Open-AoE 数据生产链路。端侧检测与控制、离线质检和场景标注、重建与原子动作标注、三道质量门与人工抽检共同构成从原始视频到训练语料的闭环。
截至2026年7月1日，这套采集、质检、重建、标注和交付链路，已达到月采集30000小时以上的产能。
03.
不只看时长，数据质量有了硬指标
日产600小时以上，说明这条产线已经具备持续扩大供给的能力。但对具身模型而言，真正有价值的不只有视频时长本身，而是其中有多少动作、几何和语义信息，能够被完整地保留下来并进入训练。
从随机抽取的约100小时样本看，数据包含46802个原子动作区间、193个动作动词、7346个交互物体短语和522条场景描述；场景从厨房（24.8%）、桌面及一般室内环境（23.3%）、办公室与书桌（17.8%）延伸至卧室、手工间、客厅、户外、洗衣和零售服务等空间；动作和物体同时覆盖拿取、放置、插入等高频原语，以及食材、工具、容器、衣物、手工材料等长尾类别。匿名贡献者的采集时长中位数仅为2.6分钟，贡献最多的10个ID合计只占样本时长的13.7%；采集设备覆盖 400+个消费级手机市场型号。
Open-AoE随机采样100小时的数据分布统计。语义、场景、匿名贡献者、手机品牌与市场型号、水平视场角等所有面板均采用同一抽样口径；图中面积、柱高和词语大小表示相对占比或出现频率。
这意味着，数据并未集中在少数采集者和有限任务上，而是覆盖了更分散的操作习惯、手部外观和真实环境。
在与OpenEgo、EgoDex和EgoXtreme的对比中，Open-AoE在六项视觉多样性指标上的平均值均为最高。其中，Effective Rank、Participation Ratio和kNN Domain Mixing三项，在3000次平衡抽样中每次均排名第一。设备、场景、物体和构图上的变化，并没有收敛在单一的数据域中。
3,000 次平衡随机抽样的 CLIP 高维特征分析，每次每个数据集抽取 2,000 个 embedding。图中为重复试验均值；Open-AoE 在六项指标上均排名第一。
更直接影响模型训练的，是时间连续性和模态完整性。Open-AoE的动作标注覆盖受评时间轴的99.99%，图像与标注的一致性评分达到4.583/5。在2秒历史、2秒未来、2秒步长的设置下，每小时可生成约1760个候选训练窗口，达到理论上限的97.8%。
约 100 小时分析样本中的语义宽度与时间标注特征。词汇数量来自各数据集原生动作字段，不代表共享 ontology 下的标准化类别数量。
Idefics2 序列级图像—标注一致性评分及分数段分布。Open-AoE 的原生描述通常能够得到采样画面的支持。
手部信号方面，98.93%的受评帧至少有一只手有效，98.02%的帧双手同时有效；动作标注、边界框、标注置信度、手部姿态和相机姿态五类关键监督信号，在序列级均达到100%可用。
候选历史—未来窗口产出率、手部信号有效率，以及五类关键监督信号的序列级可用性。“-”表示对应数据集未发布或不具备该字段。
这些指标把“2000小时”进一步拆成了模型真正关心的训练资产：数据分布足够丰富，动作时间轴接近完整，手部、相机和语言信息也能在同一序列中共同使用。
数据本身完成质量验证之后，接下来的问题便是，怎样把它转换成不同机器人能够执行、不同模型能够读取的训练资产。
04.
开源数据之外，把“数据到模型”的路径也交出来
具身智能领域不缺公开数据集。但一个普遍的痛点是：数据下载下来，离真正送入模型训练，还有漫长的“最后一公里”——画面和文字标注是否对齐？手部轨迹有没有漂移？人的五指运动怎样映射到二指夹爪、灵巧手或不同的人形机器人？同一批数据进入VLA和世界模型时，又该采用怎样的动作表示？
这些工作耗时、琐碎，却很难绕开。换一个机器人本体或模型框架，数据转换链路往往就要重新开发。Open-AoE此次开放的data-to-model工具链，集中处理了这段“最后一公里”。
第一步是把数据看清楚。
基于Rerun的可视化浏览器，可以在视频上叠加3D手部网格、未来运动轨迹和动作描述，让研究者直观地看到画面、几何、轨迹、语言是否同步对齐。
第二步是把人类操作变成机器人资产。
一套重建-重映射（Reconstruction-Retarget）工具链可以从单目视频中恢复手部、物体轨迹和接触关系，生成4D手物交互资产；也可以通过逆运动学、灵巧手映射和物理约束，将人类动作转换为人形机器人、五指灵巧手或平行夹爪可以使用的轨迹。
它还可以移除真实画面中的人手，将仿真器里的机器人执行结果重新合成回原场景，生成robotized video。目前，相关路线已在宇树、银河通用等机器人本体，以及Sharpa、Inspire、XHand等灵巧手和二指夹爪上完成验证。
同一段 Open-AoE 数据可以被转换为 4D 手物交互资产、机器人关节轨迹和机器人化视频，分别回答“发生了什么”“机器人如何执行”和“机器人在原场景中执行会是什么样”。
第三步才是进入模型训练。
Open-AoE没有要求所有下游方法采用同一种动作空间，而是按照不同模型的真实接口，处理坐标系、动作维度、采样频率、时间窗口和数据字段。首批适配清单覆盖GR00T、π₀.₅/OpenPI、fastWAM、SmolVLA、H-RDT、DreamZero和iVideoGPT等20余种模型及技术路线。
从高密度显式监督到潜动作表示，Open-AoE 将同一数据源适配到不同模型家族所需的动作语义。
同一段操作，可以被保留为完整的MANO手部状态，也可以转换为指尖、手腕、末端执行器或灵巧手动作，还可以和第一人称相机运动共同组织，供世界模型使用。
到这一步，Open-AoE的核心价值才变得清晰：它开放的不只是一个数据压缩包，还包括把原始视频送入机器人和模型的具体方法。当数据生产和模型使用之间的链路被一同开放，这次发布的意义也不再局限于2000小时本身。
05.
开源，一种数据生产方式的变化
把Open-AoE放在更大的产业图景中看，它把外部团队接入数据链路的位置向前推了一步。过去，研究者拿到的往往是一批已经采集、加工完成的数据。现在，Open-AoE为不同参与者开放了不同入口。
面向具身智能研究者和模型开发者，Open-AoE开放数据集及可视化、重建重映射和Training-Ready工具，可用于VLA预训练、世界动作模型、世界模型和Human-to-Robot研究。
面向高校和科研团队，AoE采集App可以直接下载并支持自主导出数据，覆盖质检、清洗、切分、重建、标注和打包的数据加工Pipeline则通过申请开放。研究团队可以围绕具体实验目标重新组织采集，不必从头搭建设备适配、数据质检和标注系统。
面向机器人本体、具身“大脑”和世界模型公司，Open-AoE提供可实际试用的数据样本和工程接口。在开源数据之外，蚂蚁数科还开放特定场景、定向任务和标签定制的数据合作，从采集方案和质量标准，一直延伸到重建、动作映射和训练格式交付。
几类入口对应着数据链路中的不同位置。这使数据生产不再只发生在单个项目内部，采集者带回新的场景和动作，高校补充新的任务与算法，机器人和模型团队再用训练结果与真机表现检验数据价值，实现采集、加工、适配和验证形成持续反馈。
简单来说，Open-AoE正在把采集、加工、适配和验证也纳入开放协作，让新的场景、算法、本体和训练结果继续进入这套体系。
当然，这条路径能否真正运转起来，仍要接受外部检验。目前首批约100小时数据已经上线，其余内容计划于7月30日前完成上传。工具链能否被不同团队稳定复用，人类演示带来的真机增益能否扩展到更多模型和复杂任务，还需要后续结果回答。
但这次开放至少把具身数据规模化的另一种路径摆到了台前：一家企业能够采集的数据终究有限，更可持续的方式，是把数据和生产数据的工具一起开放，让更多参与者进入同一条链路。
2000小时提供了第一批教材，完整工具链则让更多人能够继续编写新的教材。
