首页 > 最新资讯 > 日本舞者与AI共舞
日本舞者与AI共舞

日本舞者与AI共舞

2019-02-13 09:00

#人工智能


 

近年来,从作曲到写故事、再到制作模因字幕,ai在各个方面都展现出了创作天赋。如今,ai又将步入舞池,开始ai模型在艺术表演上的全新尝试。

 

在一部名为《离散人像》(discrete figures) 的日本舞蹈表演作品中,一名 ai 舞者被投影到舞台上,与一位真人舞者一起表演。这个节目还展示了一个部分训练的神经网络,该神经网络利用观众跳舞的录像作为输入数据生成表演视频。

 

该作品由日本数字艺术团体 rhizomatiks、多媒体舞团 elevenplay 和媒体艺术家 kyle mcdonald 共同合作完成,曾于去年在加拿大、美国、日本和西班牙进行演出。

 

 

隐匿在幕后的 ai 编舞

 

 

mcdonald 是一位具有技术背景的艺术家。自 2010 年以来,他一直与舞者们合作,致力于营造全新的视觉体验。用他的话说,他是在“现实与和虚拟间的界限间舞蹈”。mcdonald曾是纽约大学帝势艺术学院的客座教授,并拥有伦斯勒理工学院电子艺术硕士学位。

 

mcdonald 为《离散人像》(discrete figures) 邀请到八名舞者,记录了每位舞者时长2.5 小时的即兴舞蹈表演的动作捕捉数据。利用 nvidia gpu,这些训练数据被输入一个名为“dance2dance”的神经网络,该网络生成的动作可被渲染成 3d 人物线条画面。

 

如图所示,投影的 ai 舞者与 maruyama 共享舞台。

 

在 ai 与舞蹈团成员 masako maruyama 的双人表演中,ai 被投影在舞台上,生成一位3d的虚拟舞者,仿佛漂浮在 maruyama 身边。它开始时是一个银色轮廓,然后逐渐具化成maruyama 的分身。

 

虚拟舞者首先表演了由神经网络预先生成的舞蹈动作,然后又表演了由舞蹈公司的编舞 mikiko 编导的舞蹈。maruyama 和 ai 舞者同步表演舞蹈动作直到她离开舞台,之后投影逐渐恢复银色轮廓,虚拟舞者重新跳起ai 生成的编舞。

 

人类创作的舞蹈动作和 ai 生成的舞蹈动作之间的互动,道出了《离散人像》(discrete figures)的主要主题。

 

mcdonald 说:“人类的意图将终结于何处,自动化又将始于何处?我认为,对于这样的问题,观众将会开始产生更多的疑问。在一个由算法主宰一切的时代,提出这样的问题似乎也很合理。”

 

 

舞力全开:观众纵情舞动

 

 

在这部作品的另一个场景中,还使用了由 nvidia 研究团队研发的算法 pix2pixhd,鼓励观众参与到舞蹈表演当中。

 

在每场表演开始前,该团队都会首先邀请 16 名观众(不考虑年龄和舞蹈经验)走上舞台,在一块黑色背景前录制一段1分钟的即兴舞蹈。观众们的舞蹈视频会被发送到云端的单个 nvidia gpu进行动作评估,并从头开始训练 pix2pixhd 算法。

 

仅需要15 分钟的训练,该算法就能将每位观众的舞蹈生成一个输出视频。表演开始前,mcdonald 将这 16 段 ai 制作的视频剪辑成蒙太奇效果的舞蹈视频,并配上音乐,在表演过程中在投影屏幕上展示。

 

这部作品以观众跳舞的录像作为输入数据,展示了由部分训练的神经网络生成的蒙太奇视频。(图片由 kyle mcdonald 提供)

 

正如 mcdonald 在一篇描述该作品的媒体文章中所提到的,利用观众的录像,参与者可以体验“动作被机器重新设计成动作数据”。“整部作品始终都遵循着一个反复出现的主题:通过机器我们可以看到我们的人性,反之亦然。”

 

该场景还包括使用 3d point cloud 对神经网络的原始数据进行可视化处理,生成舞者的骨架模型。

 

mcdonald 说:“当我们看到 pix2pixhd 在经过仅仅 15 分钟的训练后所生成的视频时,我们觉得这对舞台表演来说将会是完美的。因为这15 分钟的训练过程准确地体现了表演所要表达的一些主题,比如 ai 的出现,以及数字世界和现实世界之间界限的混淆。”

相关新闻