本文转载自VentureBeat，原文可查看：

https://venturebeat.com/2021/06/21/nvidias-isaac-robot-simulations-debut-on-omniverse/

NVIDIA在为工程师打造的元宇宙模拟平台——Omniverse上发布了最新版本Isaac机器人模拟引擎。

Omniverse是一个能让工程师开展协作的虚拟工具。其灵感来自于《雪崩》和《头号玩家》等科幻小说中的元宇宙概念——一个连接所有虚拟世界的宇宙。该项目于几年前作为NVIDIA的专属项目Holodeck（以《星际迷航》中的虚拟现实模拟环境命名）启动。

该项目逐渐演变成了一个更加宏大的全行业项目，并且以皮克斯为电影制作而开发的USD（通用场景描述）技术体系为基础。NVIDIA在该项目上花费了数年时间和数亿美元，现在NVIDIA正在为该项目更新自己的机器人模拟引擎。

Isaac机器人模拟

NVIDIA 高级产品市场经理 Gerard Andrews在接受VentureBeat采访时表示，全新Isaac模拟引擎目前已进入公测阶段，企业及设计师可以在机器人投入制造前测试其在模拟环境中的运行情况。

Andrews展示了一些在宝马数字工厂的“数字孪生”中工作的机器人的图片和视频。在工厂设计完成后，这一数字设计将被转换成物理实体在现实世界中进行复制。而使用Isaac技术模拟的机器人将凭借新的机器人传感器和更强大的模拟，进行更实际的运行。

该模拟不仅创造了更逼真的环境，而且还简化了合成数据生成和域随机化，而以此建立的真值数据集将被用于训练在物流、仓库、未来工厂等各种应用中的机器人。

Andrews表示：“Isaac Sim将进入公测阶段。NVIDIA启动了早期使用计划，覆盖数百家公司的数千名开发者。他们在试用后给予了一些积极反馈。根据这些反馈和从这些客户身上所看到的热情，NVIDIA十分自豪地将这款产品推向市场。”

他表示Isaac Sim是一个应用了精准物理、实时光线追踪、路径追踪和逼真素材等核心技术的真实模拟应用程序。

“目前我们所遇到的一大问题是模拟与现实之间的差距，即虚拟世界和现实世界之间的差距。如果这个差距达到一定的程度，那么工程师或开发者就不会使用模拟，他们会认为模拟没有用而放弃使用这项技术”，Andrews表示，在Omniverse上运行的Isaac Sim将彻底改变模拟器的效果——模拟必须足够好才值得大家花时间去学习如何使用各种模拟工具。

“围绕用于训练这些机器人AI的可操纵机器人、导航机器人、生成合成数据，已存在大量用例，NVIDIA已将这些用例集成在Isaacs中。将其加入Omniverse平台所获得的一大收益是——能够与所有其他可能被用于三维工作负载的工具实现无缝连接和互操作性。我们可以将这些资产带入我们用于开发、训练或测试机器人的模拟环境。”

Isaac Sim中的Dofbot可操纵机器人

包括Isaac平台在内，Omniverse是NVIDIA模拟器的底层基础，该平台逐渐加入了多项新功能。 

建立在NVIDIA Omniverse平台基础上的Isaac Sim是一个机器人模拟应用程序及合成数据生成工具，它能够逼真地模拟机器人与各类环境的交互，且环境扩展可超出现实世界范围，这让机器人专家能够更高效地训练和测试他们的机器人。

这一版本的Isaac Sim还增加了经过改进的多摄像头支持和传感器功能以及一个PTC OnShape CAD导入器，因此更容易导入3D素材。从物理机器人的设计和开发，到机器人的训练，再到 “数字孪生”（用于模拟和测试机器人的精确、逼真虚拟环境）中的部署，这些新功能将扩展机器人及环境的各个方面，使其能够实现建模并部署。

开发者们早已发觉在强大的模拟环境中测试和训练机器人的益处，但现存模拟器往往都有限制其应用的缺点。Andrews表示，Isaac Sim能够解决这些弊端。

宝马数字孪生工厂一角

在看到新闻中Isaac机器人的图片时，有些人会误以为是照片，但其实际上是Omniverse中机器人的三维动画图像。

为了提供逼真的机器人模拟，Isaac Sim运用了Omniverse平台的强大技术，包括使用先进GPU实现的PhysX 5物理模拟、逼真的实时光线模拟和路径追踪，以及MDL（Material Definition Language，材质定义语言）对物理渲染的支持。

Isaac Sim是为了解决众多常见机器人用例而构建的，包括操纵、自主导航和用于训练数据的合成数据生成。模块化设计让用户能够轻松自定义和扩展工具集，以适应各种应用和环境。 

Andrews表示：“这张图片展示了宝马工厂规划师为新工厂创建的数字孪生，其被导入到了Omniverse中。Omniverse最酷的是可以把模拟机器人放在这个世界中，然后采集用于AI模型的训练数据、进行测试、创建各种场景，这就是加入Omniverse平台的好处之一。”

VentureBeat认为这有点像在皮克斯的电影世界里设计产品，只是这个世界要逼真得多。

通过Omniverse，Isaac Sim可以充分利用Omniverse Nucleus和Omniverse Connectors，以皮克斯USD（通用场景描述）标准实现环境和机器人模型的协作构建、共享和导入。通过Isaac SDK和ROS/ROS2接口、功能齐全的Python脚本、用于导入机器人和环境模型的插件，工程师可以轻松将机器人的大脑与虚拟世界相连接。

获得正确标记的真实世界数据是耗时且昂贵的，在机器人技术领域，从现实世界中收集所需的训练数据可能过于困难或危险，当机器人必须在人类附近运行时尤甚。合成数据生成已成为一种重要的工具，它正越来越多地被用于训练机器人内部的感知模型。

Issac Sim内置对各类传感器的支持，这一点对感知模型的训练非常重要，其所支持的传感器包括RGB、深度、边界范围、分段传感器。

Andrews表示：“我们希望在合理的范围内缩小模拟世界与真实世界的差距。任何小错误都会在模拟中积累并且随着时间的推移而增加。比如，在物理建模中，如果没有对某一功能做出正确处理，那么在第一次模拟时，机器人可能没有问题，但这个错误会不断积累，机器人最终可能会在现实世界中完全偏离方向。”

他还表示：“越接近现实，工程师试用时就会有越好的体验。在模拟世界中，你总会觉得：既然我现在有了真正的硬件，那为什么还要使用模拟器呢。”

Isaac Sim中显示的素材工程细节

在Isaac公测版中，NVIDIA能够以 KITTI 格式输出合成数据。Andrews表示，这些数据可以直接用于NVIDIA 迁移学习工具包，以便使用特定用例数据来提高模型性能。

域随机化使得定义模拟场景的参数更加多样化，如场景中材质的照明、颜色和纹理。域随机化的主要目标之一是让神经网络在模拟中接触各种域参数以加强机器学习（ML）模型的训练，这将有助于模型更好的适应真实世界场景。事实上，这项技术有助于训练模型应该忽略哪些信息。

Isaac Sim能够将定义场景的各种不同属性进行随机化。凭借这项功能，机器学习工程师可以确保合成数据集足够丰富以实现能够驱动复杂模型的性能。

宝马集团使用NVIDIA Omniverse建造了一座“镜像”数字工厂

在现实世界中，一个项目中可能有50名工程师，但他们可能只有一个硬件原型。Andrews表示：有了像Isaac这样的技术，50名软件工程师可以同时开展工作，并远程开展自己所负责的工作，因此不再需要身处同一个物理空间。

Andrews表示，“我在设计处理器核心时，人们总是想在拿到硬件之前进行模拟，但当他们拿到芯片后，模拟器就被放在一边了。在机器人用例中，我觉得即便有硬件，模拟器也十分有价值，因为机器人本身就很昂贵”。

除此之外，如果机器人的控制方式不对，那么在现实世界中测试机器人可能会十分危险——比如它可能会撞到人。但如果在Omniverse模拟环境中测试它，那就不会伤害到任何人。

NVIDIA逐渐增加了多镜头支持、鱼眼相机镜头、多种传感器等，进一步改进了机器人的功能及其对环境的感知能力。Andrews表示，在现实世界中升级的组件越多，Omniverse中的Isaac模拟引擎就能得到越多的更新。