为了帮助人们自动创建舞蹈视频，NVIDIA 研究人员与加州大学默塞德分校（University of California, Merced）合作开发了一种基于深度学习的模型，该模型可以自动编排多样化、风格一致并与节拍匹配的新舞蹈动作。

NVIDIA 研究人员在 2019 年于加拿大温哥华召开的神经信息处理系统大会（NeurIPS 2019）上发表的论文中指出：“这是一项具有挑战性但有趣的生成任务，这项生成任务在帮助人们创作艺术和体育内容上极具潜力，例如文艺表演、艺术体操和花样滑冰。”

这项工作的核心是一个由分解到合成的框架，该框架首先学习如何做出舞蹈动作，然后学习如何组成新的舞蹈。

在自上而下的分解阶段，团队使用运动学节拍检测器对从真实舞蹈序列中分割出来的舞蹈单元进行标准化。然后他们训练 DU-VAE 来模拟舞蹈单元。在自下而上的合成阶段，给定一段对应的音乐和舞蹈，团队利用 MM-GAN 学习如何根据给定音乐组织舞蹈单元。在测试阶段，研究人员从输入音乐中提取风格和节拍，然后以循环方式合成一系列舞蹈单元，最后，将节拍整形器应用于生成的舞蹈单元序列以渲染输出舞蹈。

研究人员搜集了三大最具有影响力的舞种（芭蕾舞、尊巴、嘻哈）的 361000 个片段（或约 71 个小时的舞蹈镜头）来训练系统使用的生成对抗网络（GAN）。

该团队还应用了 OpenPose 进行舞蹈姿态处理。OpenPose 是一个由卡内基梅隆大学（Carnegie Mellon University）开发的开源实时多人系统，用于单幅图像中的身体、手、面部和足部关键点的联合检测。

在这项工作中，研究人员采用了 NVIDIA V100 GPU，并使用了 PyTorch 深度学习框架训练模型。在以后工作中，该团队计划将可编舞的舞种扩大到包括流行舞、交谊舞在内的其他舞种。

研究人员在论文中指出：“广泛的定性和定量评估表明，该方法合成的舞蹈不仅逼真多样，而且风格一致且节拍匹配。”

该研究的源代码和原型会在大会结束后于 Github 上发布。