使用Isaac Sim加速AI机器人的开发、测试和培训

2022-06-30 19:21

NVIDIA 宣布推出 2022.1 版 NVIDIA Isaac Sim。作为一种机器人仿真和合成数据生成（SDG）工具，这个 NVIDIA Omniverse 的应用程序加速了机器人领域 AI 的开发、测试和培训。

使用 Isaac Sim，开发者可以生成生产质量数据集来训练 AI 感知模型。开发者将可以模拟机器人导航和操纵，并构建一个测试环境来不断验证机器人应用程序。

最新版本通过 NVIDIA Isaac Cortex（一种用于训练协作机器人（cobots）的决策框架）和 Isaac Gym（一种 GPU 加速强化学习框架）等新工具，推进了 AI 机器人时代的发展。NVIDIA Isaac Replicator 是一套合成数据生成工具、API 和工作流，它也已经进行了更新，具有为 SDG 按程序生成工业环境的新功能。

图1. Isaac Cortex 的堆叠块示例

NVIDIA Isaac Sim 2022.1 版本亮点

Isaac Cortex：为 cobots 任务编程就像为游戏 AI 编程一样简单。利用此决策框架，为 cobot 开发任务意识和自适应技能。类似于机器人的大脑，利用其对世界的意识形态表达，可以将真实或模拟的数据作为输入，并产生相应的动作。

Isaac Gym：用几分钟而不是几周的时间训练机器人。使用 RL 训练复杂的机器人技能。Isaac Gym 是一种 GPU 加速工具，它将整个 RL 训练工作流保持在 GPU 上，这对于减少训练时间至关重要。

Omnigraph：使用可视化编程简化应用程序开发和调试。在这个 Omniverse 可视化编程和脚本环境中，通过可视化方式将计算节点连接在一起，构建机器人应用程序。机器人应用程序往往是非常模块化的，并且非常适合可视化编程。

Isaac Sim/Gazebo连接器：根据任务需要，在两个模拟器之间移动。使用 Gazebo 的 ROS 开发者可以将仿真资产导入 Isaac Sim 卡，用于生成合成数据集或高保真渲染等任务。此外，通过连接到 Omniverse 的 nucleus 服务器，多个 Gazebo 模拟可以保持实时同步。

其他功能：

Windows 支持（有限）

新版机器人：

- Quadrupeds：A1，GO1，Anymal

- AMR：Obelix

新的模块化仓库和传送带资产

在 Omnigraph 中实现的新的 ROS Pipeline

视频 1. Isaac Gym 暗影手演示训练

使用合成数据训练 AI

Isaac Replicator 是 Isaac Sim 中的合成数据生成工具。合成数据在机器人技术中非常有用，可以引导训练，解决长尾数据集的挑战，并提供不可用的真实世界数据，如合成视频中的速度和方向。自主机器在训练中需要合成数据以确保模型的稳健性。

在最新版本中，添加了一个名为 SceneBlox 的新 SDG 功能，以程序性地生成场景。SceneBlox 可用于自动创建仓库等工业环境。新版本还添加了新的示例，演示了如何使用 Replicator 生成合成数据和训练姿态预估模型。