NVIDIA RTX和机器学习助力创建逼真的数字人类
2019-10-15 19:20
DigiDoug是Digital Domain软件研发高级总监Doug Roble博士的虚拟版本,它是第一个实时进行TED演讲的数字人。
作为一家屡获殊荣的视觉特效工作室,Digital Domain曾经为多部影视作品创建了大量出色的角色和视觉特效,包括《本杰明·巴顿奇事》、《沉睡魔咒》、《美女与野兽》以及《复仇者联盟:终局之战》等。
Roble和Digital Domain的Digital Human团队已经在多个活动中展示了DigiDoug,以显示他们在数字人类领域的先进技术,这些技术是由惯性运动捕捉套装和进行人脸动作捕捉的单个摄像机驱动的。
如今,为了实时捕捉并重现情绪和动作,Digital Domain转向了更强大、更先进的技术——机器学习和实时渲染。
借助NVIDIA RTX技术和Epic Games的Unreal Engine,Digital Domain能够实时创建逼真的数字人类。
数字人类背后的机器学习
在影视中创建逼真的数字人类被视为视觉效果中最为前沿的领域,创建一个包含了真实人类所有细节的虚拟人会耗费数百个艺术家的数千个小时。
而在机器学习的帮助下,这一进程将会大大加快,同时视觉效果也会变得前所未有的逼真。
为了创建DigiDoug,Digital Domain将机器学习整合到了创作过程中,但是要让这项技术发挥作用,则需要大量数据。因此,他们首先使用了不同程度的照明,从不同的角度捕捉Roble脸部的细节,以获得更多的数据。
该团队构建了一个深层神经网络,可以获得Roble面部的所有细节信息,不管是表情还是物理细节,进而计算出所有信息,使DigiDoug像真实的人一样行动。
Roble身着运动捕捉服装和摄像机。图片由Digital Domain提供。
接着该团队使用NVIDIA RTX技术和Epic Games开发的游戏引擎Unreal Engine实时渲染DigiDoug。Roble的动作和表情是使用特殊的运动捕捉套装和相机捕捉的。该数据被传输到机器学习软件,然后实时转换为渲染的数字人类。
Roble表示:“细节的完全捕捉才是数字人类实现的关键。机器学习最炫酷的一点是经过一系列的训练,它可以变得更好。借助NVIDIA和Epic Games,Digital Domain正在构建一项帮助艺术家实时创造最真实的数字人类的技术。”
作为一家屡获殊荣的视觉特效工作室,Digital Domain曾经为多部影视作品创建了大量出色的角色和视觉特效,包括《本杰明·巴顿奇事》、《沉睡魔咒》、《美女与野兽》以及《复仇者联盟:终局之战》等。
Roble和Digital Domain的Digital Human团队已经在多个活动中展示了DigiDoug,以显示他们在数字人类领域的先进技术,这些技术是由惯性运动捕捉套装和进行人脸动作捕捉的单个摄像机驱动的。
如今,为了实时捕捉并重现情绪和动作,Digital Domain转向了更强大、更先进的技术——机器学习和实时渲染。
借助NVIDIA RTX技术和Epic Games的Unreal Engine,Digital Domain能够实时创建逼真的数字人类。
数字人类背后的机器学习
在影视中创建逼真的数字人类被视为视觉效果中最为前沿的领域,创建一个包含了真实人类所有细节的虚拟人会耗费数百个艺术家的数千个小时。
而在机器学习的帮助下,这一进程将会大大加快,同时视觉效果也会变得前所未有的逼真。
为了创建DigiDoug,Digital Domain将机器学习整合到了创作过程中,但是要让这项技术发挥作用,则需要大量数据。因此,他们首先使用了不同程度的照明,从不同的角度捕捉Roble脸部的细节,以获得更多的数据。
该团队构建了一个深层神经网络,可以获得Roble面部的所有细节信息,不管是表情还是物理细节,进而计算出所有信息,使DigiDoug像真实的人一样行动。
Roble身着运动捕捉服装和摄像机。图片由Digital Domain提供。
接着该团队使用NVIDIA RTX技术和Epic Games开发的游戏引擎Unreal Engine实时渲染DigiDoug。Roble的动作和表情是使用特殊的运动捕捉套装和相机捕捉的。该数据被传输到机器学习软件,然后实时转换为渲染的数字人类。
Roble表示:“细节的完全捕捉才是数字人类实现的关键。机器学习最炫酷的一点是经过一系列的训练,它可以变得更好。借助NVIDIA和Epic Games,Digital Domain正在构建一项帮助艺术家实时创造最真实的数字人类的技术。”