GTC22 | 面向Omniverse 开发者的新型云应用、SimReady 资产和工具
2022-09-30 14:21
#人工智能 #深度学习 #GTC22
分享到微信
分享到微博
世界各地的开发者、创作者和企业都在使用 NVIDIA Omniverse 构建虚拟世界，并突破元宇宙的界限。
Omniverse 是一个基于 Universal Scene Description（USD，一种用于描述虚拟世界的可扩展通用语言）的可扩展计算平台，它适用于全保真设计 3D 模拟工作流，全球各行业的开发者都在使用它构建 3D 互联网。
在 GTC 大会主题演讲中，NVIDIA 宣布推出重要版本 Omniverse，其中新增了 Omniverse Cloud 托管服务和容器部署，并提供了新的开发者工具包以及面向开发者的开放式发布渠道。
借助新版本及新增功能，开发者可以更轻松地构建、扩展 3D 工具和平台，并将其连接到 Omniverse 生态系统中。
构建并运行元宇宙应用的云服务
作为 NVIDIA 的第一款软件即服务（SaaS）产品，Omniverse Cloud 也是一款基础架构即服务（IaaS）产品，可连接在云端、本地或边缘设备上运行的 Omniverse 应用。用户可以在任意设备上使用 Omniverse App 串流功能进行创建和协作、使用 Omniverse Nucleus Cloud 访问和编辑共享虚拟世界，以及使用 Omniverse Farm 在云端扩展 3D 工作负载。
Omniverse Cloud 可在全球级规模的 Omniverse Cloud Computer 上运行。它由可实现具有丰富图形的虚拟世界模拟的 NVIDIA OVX、可实现高级 AI 工作负载的 NVIDIA HGX 以及可为边缘设备提供低延迟交互式 3D 体验的 NVIDIA Graphics Delivery Network 提供支持。
用于行业工作流的应用（例如用于测试和验证自动驾驶汽车的 DRIVE Sim 以及用于训练和测试机器人的 Isaac Sim）都被打包为容器以便于部署。对于用于行业用例的合成数据，云中的 Omniverse Replicator 可为感知网络生成 3D 合成数据。
Omniverse Kit 为开发者提供出色体验
Omniverse Kit 是一个功能强大的工具包，可用于构建原生 Omniverse 应用和微服务，它旨在成为连接 Omniverse 的工具和微服务的首要基础。
Omniverse Kit 可为开发者提供面向 Omniverse 构建应用、扩展程序和连接器所需的所有基础模组。开发者可以借助其模块化功能，根据用户的独特需求，以各种不同的方式合成工具。Kit 团队正在通过推出新工具和改善用户体验来改进工具包。
主要更新
现已默认采用 Viewport 2.0，同时对 omni.ui.scene 做出多项改进并全面推出新的 Viewport 菜单，让用户可以使用 Viewport 创建工作流并构建工具菜单
Kit Core 现在支持 C++ 中的第三方扩展程序，并新增了多项功能，包括可更轻松编写脚本和热键的 Kit Actions，以及记录负载活动完整时间轴的 Kit Activity Monitor。这样，您可以轻松地将自己的 C++ 库引入 Kit，并构建对性能起到关键作用的代码
Kit Runtime 进行了大量 RTX 性能和质量改进。动作图形全面改进了 UI/UX，包括用于创建 UI 的特定节点
快速构建：用户可利用大量现有文档进行改进，包括交互式文档构建以及 Omni.ui、Scene 和 Viewport 的新示例
Omniverse Kit 上显示采用 Viewport 2.0 的具有操纵器的用户界面
Omniverse Exchange 上的发布门户
即将推出的 Omniverse Exchange 自行发布体验，将为开发者提供一个强大的渠道来拓宽连接器、扩展程序和资产库的用户受众。这个发布门户将为合作伙伴和社区成员创建一个工作流，用以发布有机会在 Exchange 中展示的应用、连接器和扩展程序。
Omniverse 客户可以通过 Omniverse Exchange 无缝访问行业和专用的第三方解决方案，这将加速和优化其工作流。所有内容在发布前都会经过安全审查并接受质量保证。
开发者可通过抢先体验计划（可通过申请加入）将扩展程序或连接器上传到 NVIDIA Omniverse Exchange 发布门户，部分社区成员现已开始使用这些开发者工具。
USD 的最新进展
NVIDIA 认为 USD 是作为用于元宇宙的 HTML 的理想选择。USD 是一个在 3D 世界内进行描述、合成、模拟和协作的开放式可扩展生态系统，目前正广泛应用于各行各业。
为加速 USD 的发展以满足元宇宙的需求，并使其成为虚拟世界的标准语言，NVIDIA 将继续在各个领域为 USD 生态系统添砖加瓦：从教育到为特定行业用例构建自定义架构，再到向所有受众提供免费 USD 资产和资源。
NVIDIA 对 USD 的主要更新
支持 Asset Revolver (Ar) 2.0，因此 Omniverse Connector 与任何 USD 构建都具有互操作性
新增并改进了 USD 代码片段，其中包含常见工作流的文档
Omniverse Kit 的 USD C++ 扩展示例，包括开源 USD 架构示例和教程（即将推出）
支持 UTF-8 标识符，可完全交换使用国际字符集编码的内容（即将推出）
开源文本渲染代理，支持人类可读的调试并令场景代理实现的单元和 A/B 测试更加高效（即将推出）
NVIDIA 已开发出各主流行业应用所需的 Omniverse Connector。在 GTC 2022 上，我们推出了适用于 Autodesk Alias、Siemens JTTM 数据格式以及开放地理联盟 (OGC) Web 地图服务和 API 的连接器，现已推出测试版。同时，适用于 Unity、 SimScale 以及部分 Siemens Xcelerator 产品组合的连接器也已进入开发阶段。
此外，新的 Omniverse 扩展程序还扩展了 Omniverse 应用的功能，包括 Motionverse（来自北京深度科技有限责任公司）以及 in3D 和 SmartCow。同时，针对 Prevu3D 和 Move.AI 的扩展程序也将很快问世。
用于仿真工作流的 SimReady 资产
NVIDIA 还发布了一种新类别的 3D 资产—— SimReady。用于数字孪生和 AI 训练工作负载的 3D 资产，需要具有特定的、基于 USD 的属性，NVIDIA 正在开发数千种 SimReady 素材并制定构建规范，以针对特定仿真工作负载（如机械手训练和自动驾驶汽车训练）量身打造资产。
SimReady 展现出来的全保真视觉效果美轮美奂，远超 3D 艺术资产。其中包含带有附加元数据的内容，这些元数据功能强大，可插入到任何 Omniverse Simulation 中，呈现出来的效果与现实世界并无二致。开发者和技术艺术家可以将 SimReady 内容作为标准基准或起点，它会随着 Omniverse 等仿真模拟工具的不断发展，变得更加稳健。
这些资产可实现全保真可视化，达到有如照片的逼真效果。资产中会一直包含核心仿真元数据，可在导入艺术素材时轻松访问这些元数据。SimReady 资产还将 USD 的模块化属性应用其中，让技术艺术家能够灵活地生成合成数据。
Omniverse USD SimReady 资产视频示例
Omniverse 中的 USD SimReady Forklift 资产视频示例
面向开发者的 SimReady 资产属性
语义标签会以可预测的一致方式识别 3D 模型的各种组件，来帮助用户训练模拟算法。这些标签为训练中的标注数据提供了真值任意输出变量
物理材质令模拟能够更贴近现实，支持用户能够使用激光雷达和雷达等非视觉传感器，以微调计算机观察世界的方式
刚体物理学的精确质量和经定义的重心，可帮助技术艺术家创建反映真实世界行为的模拟
经过定义的分类可以位搜索和发现提供一致的标签，因此可跨多领域使用资产
强大的运动学和约束条件，可帮助用户定义复杂的多方关系和行为
高级 EM 材质可揭示整个光谱中的行为
下载 Omniverse，访问首个免费 SimReady 资产集合。
观看 GTC 大会演讲如何构建仿真就绪型 USD 3D 资产，了解详情。
利用 Omniverse Replicator 生成合成数据集
现在，可以通过 NVIDIA NGC 上托管的容器以及 Omniverse Cloud 抢先体验在云中部署 NVIDIA Omniverse Replicator。它采用新的 Replicator Insight 应用，增强了对已生成数据的查看和检测能力。
包括 Siemens SynthAI、SmartCow、Mirage 和 Lightning AI 在内的众多合作伙伴都正在将 Omniverse Replicator 集成到其现有工具中，用以扩展合成数据工作流。详细了解 Omniverse Replicator 如何通过自定义物理属性准确的合成数据生成流程来更快地加速 AI 训练。
Ada Lovelace GPU 助力提升渲染性能
借助 GTC 大会上宣布的全新 NVIDIA Ada Lovelace GPU 的实时渲染、图形和 AI 性能，技术设计师和开发人员可以构建更大规模的虚拟世界。NVIDIA Ada Lovelace 的渲染性能比上一代 NVIDIA RTX A6000 提高了 2 倍以上，可实现 4K 分辨率的实时路径追踪。同时，用户可以借助 NVIDIA Ada Lovelace GPU 以交互式方式进行编辑并运行大型虚拟世界，并对虚拟世界进行实时更新。
神经图形的新时代
神经图形可以更改内容的创建和体验方式。现在，创作者可以利用 NVIDIA AI ToyBox 上的 AI 工具在 3D 工作流中试验新的研究成果。AI Animal Explorer 现已推出，即将发布以下更新：
GANverse3D，提供基于 GAN 和基于扩散模型的实验性 AI 工具
AI Car Explorer，提供按属性（如制造和风格）构建的网状/纹理汽车模型
Canvas360，采用 360 度景观和 3D 设计背景
Omniverse 中的程序化行为
现在，Omniverse 可在 Omniverse 世界中实现行为、移动和动作的程序化。行为和物理模拟技术提高了易用性并增强了优化效果和功能性。借助基于 OmniGraph 节点的新物理系统，无需手动制作任何动画，即可完全实现任何行为、移动和动作的程序化。
PhysX 助力实现强大而灵活的仿真
NVIDIA PhysX 是 Omniverse 中的先进实时物理引擎。GTC 大会上发布了以下几项主要更新：
改进了自动化和用于创建对象的物理工具栏
支持多个场景，能够将单个资产和层放入自己的物理场景中
物理碰撞的音频
能够在 Omnigraph 中设计车辆和力场
减少了 CPU 性能瓶颈并针对柔体仿真对 GPU 进行了改进
可以模拟粒子系统的碰撞
通过 Omniverse Code 竞赛拓宽扩展程序生态系统
今年夏天，作为 NVIDIA #ExtendOmniverse 竞赛的一部分，世界各地的开发者使用 Omniverse Code 为 3D 世界构建扩展程序。参赛者提交了各种令人兴奋的新工具，有用于布局和场景创作的、有用于 Omni.ui，还有用于场景修饰器和操控工具的。
比赛获奖者名单已在 GTC 大会的 NVIDIA Omniverse 用户组活动中公布。
探索 NVIDIA GTC 的更多内容
加入 GTC 大会上面向开发者的座谈会、讲座和动手实验室，详细了解 Omniverse 以及开发者用于构建元宇宙扩展程序和应用的其他工具。
观看 NVIDIA 创始人兼首席执行官黄仁勋先生的最新 GTC 大会主题演讲，了解 AI 和元宇宙的新进展。
访问 Omniverse 资源中心，了解如何为平台构建基于 USD 的应用和扩展程序。
