330103-00-05-05-11-05 NVIDIA创始人兼首席执行官黄仁勋表示:“AI的下一波浪潮是机器人,其中最令人兴奋的发展之一是人形机器人。我们正在推进整个NVIDIA机器人堆栈的发展,面向全球人形机器人开发者和公司开放访问,让他们能够使用最符合其需求的平台、加速库和AI模型。”
借助 NVIDIA NIM 和 OSMO 加速开发
NIM微服务提供了由NVIDIA推理软件提供支持的预构建容器,使开发者能够将部署时间从数周缩短到几分钟。机器人专家将能够通过两项新的 AI 微服务,在 NVIDIA Isaac Sim(基于 NVIDIA Omniverse平台构建的机器人仿真参考应用)中增强生成式物理AI仿真工作流。
MimicGen NIM微服务可根据Apple Vision Pro等空间计算设备记录的远程330103-00-05-05-11-05 操作数据,生成合成运动数据。Robocasa NIM微服务可在OpenUSD(一个用于在3D世界中进行开发和协作的通用框架)中生成机器人任务和仿真就绪环境。
现已推出的NVIDIA OSMO是一项云原生托管服务,允许用户跨分布式计算资源来协调和扩展复杂的机器人开发工作流,无论是在本地还是在云端。
OSMO大大简化了机器人训练和仿真工作流,将部署和开发周期从数月缩短到一周内。用户可以对各种任务进行可视化管理,包括合成数据生成、模型训练、强化学习以及大规模的人形机器人、自主移动机器人和工业机械臂软件在环测试。
为人形机器人开发者提供先进的数据捕获工作流
训练人形机器人的基础模型需要大量的数据。远程操作是获取人类演示数据330103-00-05-05-11-05 的方法之一,但这个过程正变得越来越昂贵和漫长。
通过在SIGGRAPH计算机图形大会上展示的NVIDIA AI和Omniverse远程操作参考工作流,研究者和 AI 开发者能够从极少量远程捕捉的人类演示中生成大量合成运动和感知数据。
首先,开发者使用Apple Vision Pro捕获少量远程操作演示,随后在 NVIDIA Isaac Sim中仿真这些录像,并使用MimicGen NIM微服务基于录像生成合成数据集。
开发者可以使用真实数据和合成数据对Project GR00T人形机器人基础模型进行训练,以节省时间和降低成本。然后,他们可以使用Isaac Lab中的 Robocasa NIM微服务(一个机器人学习框架)来生成经验并重新训练机器人模型。在整个工作流中,NVIDIA OSMO将计算任务无缝地分配给不同的资源,为开发者减少了数周的管理工作量。
通用机器人平台公司傅利叶看到了使用仿真技术综合生成训练数据的优势。傅利叶首席执行官 Alex Gu 表示:“人形机器人的开发极其复杂,这项工作需要从现实世界中繁琐地获取大量真实数据。NVIDIA 的全新仿真和生成式 AI 开发者工具将有助于引导和加速我们的模型开发工作流。”
Leave a comment
Your email address will not be published. Required fields are marked *