开发者使用 NVIDIA Omniverse 和 Isaac Sim 构建机器人
2022-10-21 10:53
应用机器人学博士生 Antonio Serrano-Muñoz 创建了一个 Omniverse 扩展程序,以在 NVIDIA Isaac Sim 中使用机器人操作系统软件。
Antonio Serrano-Muñoz 在研究生就读期间便参与撰写多篇论文,内容涉及行星重力、类风湿性关节炎的 AI 诊断以及能够精确追踪毫米级运动(如蚂蚁的活动)的机器人。
现在,这位就读于西班牙北部蒙德拉贡大学应用机器人学的博士生正在将机器人与 AI 应用于再制造领域,以解决气候变化和污染问题。
简言之,Serrano-Muñoz 正在潜心研究将技术应用于复杂现实世界问题的独特方法。他还利用空闲时间构建了 NVIDIA Omniverse(实时 3D 设计协作和世界模拟平台)的扩展程序。
作为核心构件,Omniverse 扩展程序可以使任何人都能通过几行 Python 代码来创建和扩展 Omniverse 应用程序,以满足其具体的工作流需求。
Serrano-Muñoz 已经创建了六个可在 GitHub 上访问的开源 Omniverse 扩展程序,其中的一个扩展程序可以增强 NVIDIA Isaac Sim 的功能。NVIDIA Isaac Sim 是由 Omniverse 提供动力支持的应用框架,可用于创建逼真、物理级精确的虚拟环境,以用于 AI 机器人开发、训练和仿真。
Serrano-Muñoz 表示:“自我的博士研究开始,我就决定用 Isaac Sim 来进行机器人仿真。这个功能强大的实时仿真模拟平台具有超写实物理引擎和强大的图形处理能力,以及简洁易用的应用编程接口——可方便其与整个系统进行互动。”
使用 Omniverse 进行机器人仿真
Serrano-Muñoz 从小就在不断探索机器人技术,在古巴长大的他总是喜欢摆弄电子产品。当 Serrano-Muñoz 在大学里开始学习编程时,他对技术更加痴迷了。
Serrano-Muñoz 表示:“机器人可以协助人类完成艰苦、高精度、重复性的、甚至是一些危险的任务,从而帮助改善我们的生活。我希望我的工作能够推动机器人技术的发展,以助力建设更美好的现在和未来。”
Serrano-Muñoz 认为 Omniverse 对其应用机器人学博士研究至关重要。
“在 Omniverse 出现之前,我们无法对机器人环境进行实时、图形逼真的仿真。该平台掀起了一场机器人学、仿真和实时协作领域的新时代革命。”
他还表示,Omniverse 将工程师、设计师、内容创作者等各类专家连接到一起,共同开发仿真系统,而实现这一切的关键是作为虚拟世界通用语言的开源 3D 场景描述和可扩展文件框架——通用场景描述(USD)。
Serrano-Muñoz 表示:“在通过编写、合成和读取分层场景来创建和操纵渲染元素与对象的过程中,USD 发挥了重要作用。”
创建用于 Isaac Sim 的 Omniverse 扩展程序
这位开发者已使用 NVIDIA Omniverse 为工业用例创建机器人仿真,并为蒙德拉贡大学的机器人原型实验室创建了数字孪生。
使用 NVIDIA Omniverse 制作的蒙德拉贡大学机器人实验室的数字孪生工作台
在进行此类项目时,Serrano-Muñoz 希望将他熟悉的工具——机器人操作系统(Robot Operating System, ROS,一套用于构建机器人应用程序的软件库)与 Isaac Sim 进行集成。为此,他创建了一个 Omniverse 扩展程序。
该扩展程序使用户能够通过机器人操作系统控制界面在 Omniverse 驱动的 Isaac Sim 应用程序中操纵仿真的机器人系统。ROS MoveIt 是一个机器人运动规划框架,可与 Isaac Sim 的动态控制扩展程序和 PhysX 功能结合使用,以实现物理级精确的高保真机器人仿真。
Serrano-Muñoz 表示:“现在我在 Omniverse Kit 即可轻松开发代码。Omniverse 扩展程序带有全系统集成 API 以及安装、激活和重新加载机制,可增强 Omniverse 应用程序的功能。”
Serrano-Muñoz 还表示,这个专为 ROS 构建的扩展程序促进了机器人应用的敏捷原型开发。借助 NVIDIA RTX 3080 笔记本电脑 GPU 实现的进一步加速,该扩展程序可以加速其工作流,使工作流变得比以往更快。
加入创作者行列
全世界的创作者和开发者都可以免费下载 NVIDIA Omniverse,企业团队可以使用该平台完成其 3D 项目。
观看其他 Omniverse 用户的作品并在 Omniverse 图库中提交项目。使用 Adobe、Autodesk、Epic Games、Maxon、Reallusion 等公司的软件连接您的工作流与 Omniverse。