首页 > 最新资讯 > 数字文艺复兴:NVIDIA Neuralangelo 研究重构 3D 场景
数字文艺复兴:NVIDIA Neuralangelo 研究重构 3D 场景

数字文艺复兴:NVIDIA Neuralangelo 研究重构 3D 场景

2023-06-07 20:29

#人工智能 #深度学习 #CVPR


Neuralangelo 是 NVIDIA Research 开发的一个全新 AI 模型,它利用神经网络进行 3D 重建,可将 2D 视频片段转换为详细的 3D 结构,为建筑物、雕塑以及其他真实物体生成逼真的虚拟复本。

就像米开朗基罗用大理石雕刻出令人惊叹、栩栩如生的雕塑一样,Neuralangelo 能生成具有复杂细节和纹理的 3D 结构。随后,创意人士可以将这些 3D 物体导入设计软件中,对其进行进一步编辑,用于艺术、视频游戏开发、机器人和工业数字孪生。

Neuralangelo 将复杂材料——包括屋顶瓦片、玻璃板和光滑的大理石——的纹理从 2D 视频转换为 3D 物料的能力大大超过了以前的方法。高保真度让开发者和创意专业人士更容易进行 3D 重建,使用智能手机拍摄的视频快速为项目创建可用的虚拟物体。

NVIDIA Research 高级研究总监、上述论文的合著者刘洺堉表示:“Neuralangelo 的 3D 重建能力将使创作者受益匪浅,能够帮助他们在数字世界中重建现实世界。这个工具最终将使开发人员能够将详细的对象——无论是小雕像还是大型建筑——导入到虚拟环境中,用于电子游戏或工业数字孪生。”

在一次演示中,NVIDIA 研究人员展示了该模型如何重建米开朗基罗“大卫像”这样的标志性物体以及平板卡车这样的普通物体。Neuralangelo 还可以重建建筑物的内部和外部——以 NVIDIA 湾区办公园区的详细 3D 模型为例进行了演示。

 

在 6 月18-22 日举行的 CVPR 大会上

探寻 NVIDIA Research 的研究成果

 

在 6 月 18 日至 22 日于温哥华举行的 CVPR 上,NVIDIA Research 将展示近 30 个项目,其中包括 Neuralangelo。这些论文的主题涵盖姿态估计、3D 重建和视频生成。

其中一个名为 DiffCollage 的项目是一种创建大规模内容的扩散法,包括长横向、360 度全景图和循环运动图像。当输入一个具有标准长宽比的图像训练数据集时,DiffCollage 将这些较小的图像视为更大视觉片段的一部分——就像一张张拼贴画。这使得扩散模型能够生成看上去有凝聚力的大型内容,而无需使用相同比例的图像进行训练。

该技术还可以将文本提示转换为视频序列,技术演示中使用了预先训练的扩散模型来捕捉人体动作:

相关新闻