首页 > 深度学习 > 现代版神笔马良:GauGAN将涂鸦点睛为逼真画作
现代版神笔马良:GauGAN将涂鸦点睛为逼真画作

现代版神笔马良:GauGAN将涂鸦点睛为逼真画作

2019-03-25 11:43

#GauGAN #深度学习


一位新手画家可能会遇到这样的尴尬:提笔之初,原本设想的本来是一幅令人为之惊叹的日落景观——玻璃般的湖面反射出白雪皑皑的蜿蜒山脉,然而最后画出的效果却只是画布上层层的墨迹。
 
但是,nvidia research开发的深度学习模型却能将这一情形逆转:它能将粗略的涂鸦转变成令人叹为观止的逼真杰作。这一工具利用生成式对抗网络(gan),能够将分割图转换为栩栩如生的图像。
 
基于该模型的交互应用程序被命名为gaugan(发音似“高更”),以致敬后印象派画家高更(gauguin)。
 
后印象派画家保罗·高更曾创作过几幅自画像,其中包括金贝尔艺术博物馆收藏的创作于1885年的作品。(照片来自wikimedia commons,获许可允许公开使用)。
gaugan为各行各业的专业人士提供了一个能够创建虚拟世界的强大工具——从建筑师、城市规划者、到景观设计师和游戏开发者。借助知晓现实世界的真实样貌的ai,这些专业人士能构思出更加出色的原型创意,并对合成的场景进行快速修改。
 
nvidia应用深度学习研究副总裁bryan catanzaro表示: “通过把简单的速写转换成高度逼真的图像,这一项技术能够将头脑风暴的设计方式变得更加容易。”
catanzaro将gaugan所采用的技术比作 “智能画笔” ,它能够填充粗略分割图(即显示场景中物体位置的大致轮廓图)中的细节。
 
借助于gaugan,用户能够绘制自己的分割图并构建场景,并用沙子、天空、海洋或雪等标签对每个部分进行标记。
 
该深度学习模型接收过一百万张图像的训练,能够对风景画进行填充,从而呈现精彩绝伦的效果:让你仿佛置身一座池塘中,附近的树木和岩石等元素都倒映在水中。如果将分割标签从“草”切换为“雪”,整个图像也会随之会变为冬季场景,之前青葱的绿树也将凋谢。
 
“这就像一本填色图册里的图画,其中描绘了树木、太阳和天空的位置,” catanzaro说道。“然后神经网络会根据其对真实图像的了解,为图片填充所需的细节和纹理,以及反射、阴影和颜色。”
 
尽管gan对真实的物理世界缺乏理解,但它却能够生产足可以假乱真的效果,这是因为它所采用的结构是一对合作式的网络:生成网络和判别网络。生成网络会创建图像并展示给判别网络;判别网络接受过基于真实图像的训练,能够逐像素地为生成网络提供反馈,并对其进行指导,教会其如何提升合成图像的真实感。
 
接受过真实图像训练的判别网络知道真实的池塘和湖泊会产生反射,通过判断网络的反馈,生成网络也将习得如何模仿这一效果,从而创建出令人信服的图像。
 
用户还能够使用这一工具添加样式过滤器,更改生成的图片的风格,模仿特定的画家画风,或将一幅白昼场景转化为日落景象。
 
“这项技术不是简单将其他图像拼接在一起,或是进行纹理切割和粘贴,”catanzaro说道。“事实上,它是在合成新的图像,这很像艺术家的绘画方式。”
 
虽然gaugan应用程序专注于陆地、海洋和天空等自然元素,但其潜在神经网络也能够填充其他景观元素,包括建筑物、道路和人。
 
去年6月,gaugan的相关研究论文从5000多篇论文中脱颖而出,在cvpr会议上做展示介绍(录取率仅为5%)。

相关新闻