挖掘数据:视觉AI初创企业“深挖”矿业和建筑业的数字孪生
2022-11-29 12:21
位于旧金山的初创企业 Skycatch 近十年来一直在帮助企业开采数据和矿物。
这家软件制造商现在正致力于数字孪生的创建。该公司最初专注于使用 NVIDIA Omniverse 平台为矿业和建筑业连接和构建自定义 3D 流程。
Skycatch 视觉 AI 平台内置的 SkyVerse 是计算机视觉软件和自定义 Omniverse 扩展程序的组合。它使用户能够利用近乎实时的地理空间数据来丰富和动画化矿场等场所的虚拟世界。
Skycatch 创始人兼首席执行官 Christian Sanz 表示:“通过 Omniverse,我们可以将大量非视觉数据转换成便于理解情景和使用的动态视觉信息。我们可以真正再现物理世界。”
Sanz 表示,SkyVerse 可以帮助工业基地模拟未来五年内的天气、机器损坏等变量,同时利用过去五年发生的事情进行学习。
该平台实现了整个矿业和建筑业环境可视化流程的自动化。
首先,它可以在边缘使用 NVIDIA Jetson 平台或者在云端处理来自无人机、激光雷达和其他环境传感器的数据。
然后,它会从 2D 图像中创建 3D 网格,使用 NVIDIA 预训练模型构建的神经网络从可视化中删除不需要的物体,例如自卸式卡车等设备。
接着,SkyVerse 将其组合成一个 3D 模型并转换为通用场景描述(USD)框架,将主模型导入到 Omniverse Enterprise,创建出一个与现实世界遥测数据实时同步的数字孪生。
Sanz 表示:“其他平台都无法模拟不同天气条件、交通堵塞等环境中的机器,但所有这些模拟都可以在Omniverse中通过超现实物理学和物体质量实现,这确实是一项突破性的技术。”
Skycatch 是 NVIDIA 初创加速计划的首席合作伙伴。这项免费全球计划旨在培养以尖端技术革新行业的初创企业。首席合作伙伴可以获得额外的产品上市支持并接触到能够帮助他们更快扩大规模的风险投资公司和技术专家。
数据处理和可视化
企业在部署 Skycatch 的全自动技术后,就可以从多家领先矿业公司数万个矿场的航测数据中获得洞察。
Skycatch 团队首先使用 NVIDIA Isaac Sim 平台确定矿车数据采集传感器的最佳位置。该平台是一个用于开发、测试和训练 AI 机器人的机器人模拟和合成数据生成(SDG)工具。
Sanz 表示:“Isaac Sim为我们节省了一年的测试时间。我们只需要进入现场,放置一个传感器,然后测试它的功能并重复这一过程即可。”
该团队还计划将 Omniverse Replicator 软件开发工具包集成到 SkyVerse 中用来生成符合物理学的 3D 合成数据并构建 SDG 工具来加速机器人领域以外的感知网络训练速度。
在采集到某个地点的数据后,SkyVerse 就会使用 NVIDIA Jetson Nano 和 Jetson AGX Xavier 模块驱动的边缘设备每天自动处理多达数 TB 的数据,并将其转化为数 KB 大小的分析结果以便可以轻松传输给前线用户。
Sanz 表示,该数据处理的速度通过 NVIDIA CUDA 并行计算平台加快了 3 倍。该团队还希望通过部署新的 Jetson Orin 模块来获得更高的性能。
Sanz 表示:“靠人工根本不可能每天翻阅数万张图片并从中提取关键分析结果,因此我们正在使用神经网络帮助扩大人类的视力。”
Skycatch 还使用 NVIDIA TAO 工具套件的预训练模型建立了能够从可视化中移除不相干的物体和车辆并在 3D 网格中对这些点进行纹理处理的神经网络。
该数字地形模型的精度达到五厘米以上。它可以导入 Omniverse,以便利用易于扩展的 USD 框架、自定义 SkyVerse Omniverse 扩展程序和 NVIDIA RTX GPU 创建数字孪生。
Sanz 表示:“尽管我们扩展程序的功能很复杂,但建立这些 Omniverse 扩展程序只花了三个月左右的时间,这要归功于通过 NVIDIA 初创加速计划接触到的技术专家。”
Skycatch 正在与加拿大领先的矿业公司 Teck Resources 合作,帮助该公司使用基于 Omniverse 构建的项目现场数字孪生。
Teck Resources 技术和创新负责人 Preston Miller 表示:“Teck Resources 全球所有矿区一直使用 Skycatch 的计算引擎。现在我们正在通过 SkyVerse 和我们自己的数字孪生战略扩大可视化和模拟能力。凭借近乎实时的可视化数据,Teck Resources 能够迅速了解矿区情况,并且更快对时间紧的重大项目做出运营决策。”
Skycatch 构建的 Omniverse 扩展程序即将上线,点击链接:
https://skycatch.com/lp/skyverse-learn-more?utm_campaign=SkyVerse&utm_medium=Blog&utm_source=NVIDIA了解更多信息。
安全和可持续性
AI 驱动的数据分析和数字孪生可以使矿业和建筑公司的运营流程变得更安全、更加可持续和更高效。
Sanz 举了个例子:矿业公司需要能够快速定位“台阶”(即露天矿旁的狭窄地带)的坡底和坡顶(或底部和顶部)。自动进出矿井的机器必须被设置为始终保持离顶部 10 米的距离以避免滑动。
以前,通过勘测和分析确定精确的坡底和坡顶通常需要五天时间。Sanz 表示,在 NVIDIA AI 的帮助下,SkyVerse 现在可以在几分钟内就生成这些信息。
另外,SkyVerse 每年为客户减少 1 万次露天互动。这些人类和车辆在矿井内交错的情况具有安全方面的隐患。
Sanz 表示:“Skycatch 的核心目标是近乎实时地提供矿区或建筑工地上的情况与完整的信息。环境的改善能够更好地保障工作者的安全。”
Skycatch 的另一个目标是促进矿业的可持续发展。
Sanz 表示:“除了矿业公司之外,政府机构还希望了解矿区的运作情况,比如其周围环境是否得到适当的保护等,而我们的平台可以提供这些洞察。”
另外,像钴、镍和锂这样的矿物是电气化和能源转型所需要的。Sanz 表示,这些矿物都来自矿区。在 SkyVerse 数字孪生和视觉 AI 的帮助下,矿区可以变得更加安全、高效。