股天乐 200个任务、1700万帧！大晓开源L5级多模态具身物理智能数据集

新民晚报记者获悉，基于全球首创的具身模型信息密度定律与以人为中心的环境式数据采集方案2.0，并依托环境式采集引擎ACE，大晓机器人联合南洋理工大学S-Lab近日重磅开源L5级多模态具身物理智能数据集ACE-Data-0。

通过对真实物理交互、长程任务过程与多模态因果信号的高保真采集和高精度标注，ACE-Data-0为全球具身模型提供面向泛化、反思与进化的高质量数据底座，推动通用物理智能加速跨越实验验证，走向规模化产业落地。

具身数据的价值不在于规模堆叠，而在于能否高密度记录那些真正改变行动结果的信息；在这一定律下，L1—L2级数据仅能支撑基础预训练，L3—L4 级数据止步于已知任务的拟合；ACE-Data-0数据集已迈入L5级，深度融入接触压力、自然出现的犹豫与恢复过程，以及真实家庭场景中的开放行为变量，通过桌面尺度与房间尺度两套互补采集系统，将真实家庭环境转化为可持续记录、统一标定和精准同步的具身数据采集场景，让日常生活中的真实交互直接成为机器人学习物理世界的数据来源。

看见完整的物理过程

过去几年，视觉语言模型、VLA 和世界模型快速发展，但机器人真正进入物理世界后，仍然面对一个基础问题：应该从什么数据中学习人类的行动能力？

现有第一人称视频通常缺少精确的人体、手部和物体状态；动作捕捉数据又多来自理想化实验室，容易缺少自然遮挡、第一人称视角、音频和触觉。大量数据还停留在持续数秒的抓取、放置等单步动作，难以描述真实家庭场景任务中的长期依赖。

因此，ACE-Data-0不再把活动切割成孤立短片，而是连续记录感知、行动、接触和状态变化，让不同模态共同描述同一个物理过程。其重点可以概括为：完整感知、长时序任务、多模态同步。

把所有信号锁定在同一时空

多模态数据真正的难点，不是设备够不够多，而是不同设备产生的数据能否准确对应。摄像机、动作捕捉系统、触觉手套和音频设备通常拥有独立时钟与不同采样频率。即使只有几毫秒偏差，也可能出现画面中的手尚未接触杯子，触觉信号却已经产生的问题；如果不同摄像机、人体和物体没有统一空间基准，也无法准确建立几何关系。

通过时间同步与空间标定，ACE-Data-0把视频帧、人体动作、物体状态、触觉读数和音频统一到同一条时间线，并将外部摄像机、持续运动的第一人称设备、人体、双手和物体配准至共享世界坐标系。

因此，每次采集并不是一组互不相关的数据流，而是一份对同一物理过程的统一记录。研究者可以直接找到某个视频帧对应的人体姿态、物体位置、接触压力和声音变化，也可以比较第一人称与第三人称视角下的同一事件。

ACE-Data-0进一步提供相机参数和同步时间线、人体及手部状态、物体网格与六自由度位姿、边界框、运动轨迹、手—物接触信息，以及与物理时间线对齐的自然语言描述；其中，大量标注直接来自经过标定的采集系统，而非完全依赖模型事后估计。这使数据在遮挡、快速运动和长期任务中拥有更稳定的一致性，也让模型能够真正学习发生在同一时刻的视觉、动作、声音和接触。

目标级采集保留真实行为差异

新民晚报记者了解到，ACE-Data-0 覆盖三类互补任务——

第一类是原子级人—物交互，单次约3分钟，包括倒水、清洗、擦拭、切割、折叠和整理等单项操作，即使最短序列也以分钟计，而非传统HOI数据中常见的数秒片段；

第二类是多个原子动作组成的长时序家庭场景活动链，可持续20—30分钟，例如从打开冰箱、取出食材，到清洗、切配、烹饪、装盘和收拾；

第三类是人—场景交互约5分钟，包括移动、坐下、锻炼、开关家具、取放物品及姿态转换等。

与严格规定每一步动作的脚本式采集不同，ACE-Data-0采用目标级指令。参与者只被告知最终任务，不被要求遵循固定流程，因此可以自由选择物品、操作顺序和移动路径，也可能在过程中犹豫、改变计划、返回上一步或处理意外情况。同样是整理房间，有人先收拾桌面，有人先整理沙发；同样是准备食物，不同参与者会选择不同工具和顺序。这些差异在标准化采集中可能被视为噪声，但对于真正进入家庭场景的机器人来说，正是必须理解的现实。

据介绍，ACE-Data-0包含150小时数据、1700万帧视频、200个任务类别、50名参与者、2个真实家庭场景和7.5万个交互片段，覆盖原子级人—物交互、长时序家庭场景活动链及人与场景交互。