UC伯克利超酷研究：舞痴与舞王之间，只有一个神经网络-量子位
你不会跳舞吗？不存在。
现在，只要有别人跳舞的视频，你随时都可以成为视频的主角。此外，不需要昂贵的三维和运动捕捉技术。
最近，加州大学伯克利分校的研究人员提出了一种简单的动作迁移方法。输入美丽的标准舞蹈视频，输入你不标准的模仿动作，几分钟后，流畅、标准、感人的舞蹈合成，其中主角就是你~
即使是美丽高雅的芭蕾舞：
动态、动态的现代舞：
都住在Hold，而且效果很感人。
其实，任何舞蹈种类，只要给目标视频和你自己的视频，随时都可以以c位出道。
真的这么不可思议吗？
该任务提出了如何使用端到端基于像素的pipeline在各种视频中迁移动作。
巧妇难做无米煮饭，在合成视频之前，先要拿两个视频。一个是想最终合成那个style的源对象视频，另一个是我们自己（对象人物）的模仿视频。
在大的方法框架确定之后，研究人员开始考虑实现的细节。如果是合成的卡顿录影带的话，怎么在c位出道？因此，研究人员为了实现每帧两个视频主体之间的传输，需要学习两个图像之间的映射，并在源视频集和目标视频集中找到从图像到图像的转换。
从这里开始很简单，但是要完成图像转换，首先要找到关键点的姿势。两个人的形状差异并不重要，最重要的是从动作中找到姿势图。
▲从人物的动作（右）捕捉到的姿势图）左）
因此，研究人员对每一帧图像进行姿态检测，制作源视频中人与目标视频中人之间的姿态对，通过监视学习方式学习两人之间的姿态图。这样，经过训练，模型初步具备了合成舞蹈的能力。
△从源视频向目标视频主机的动作传送
最后，研究人员增加了两个布料操作来提高视频质量。为了使合成视频具有时间平滑性，在视频的每一帧之前添加了时间步长预测。为了让生成视频的人物的面部看起来更自然，研究人员还训练了一种特殊的面部GAN模型。
现在，你想赋予舞蹈能力的人，已经翩翩起舞啦。
△想学习教练舞蹈
要将舞者（A）的舞蹈动作转移到“学习舞蹈的人（B）”身上，AI必须掌握其对应关系。从a到b，每帧翻译一次。表面上是这样的感觉。
但实际上，团队并没有使用（源+目标）对图像来训练神经网络。
因为即使对两个目标执行相同的程序，出来的效果也不一样，毕竟体型等因素因人而异。
个人差异怎么解决？
团队发现，基于关键点（keypoint-based）的姿势是麦彻尔，可以架起a、b的桥梁。
B视频（目标人物视频）的每一帧产生映射器并与该帧的原始图像相对应。
处理整个视频后，AI会获取一对数据来学习匹配者和图像之间的对应关系。这样，AI就可以按照每个目标学习不同的规则集，不受个人差异太大限制。
然后，A视频（源视频）的各帧也可以做成肌肉，按照AI学到的规则生成B的姿势。不需要运动捕捉设备和三维数据。这个方法真的很便宜。好好学习的话。
具体怎么训练？
如上所述，使用姿势检测器（p）在目标视频的各帧上制作映射器。然后，AI来学习肌肉男和视频截图的对应关系。
这里使用的是对抗学习。生成模型的是肌肉人和视频截图之间的映射；模型识别哪个对应是真的，哪个是假。
生成模型的配对能力在与判别模型的斗争过程中趋于完美。
训练后的实战
训练结束后，可以按照以下步骤学习对象人物的舞蹈。
如前所述，为源视频的所有帧创建一个匹配者。让成为见习生的AI帮助目标动画的主人公，解除新的姿势。
在中间，肌肉男的位置被调整，以适应目标视频的主角，在外景框中的位置。
脸也是GAN做的
舞蹈不仅有动作还有表情。专门负责这一部分的只有GAN，结构如下。在您查看完详细信息后，单击
腋下以上的形态被单独处理，也被用于火柴人。
△面罩
在上述田地里游泳的男性综艺效果超群，这一章不会放过他。首先看静态：
前舞者是这样的：
全身比较，动作无明显差异。
为什么游泳部看起来不像在跳舞呢？你穿的衣服肯定不对。
看一下动作，好像相当正常了，步骤很轻。但还是中间的妹妹适合跳舞。
几分钟后解锁高端舞蹈，游泳部有点想上天。也许，老师没有教他天。他的理解有点偏离。
也许老师们也觉得一起学跳舞的妹妹更优秀。
于是，单独教他几个步骤，游泳部却不知道：
目前该研究的论文已经发表，这篇名为Everybody Dance Now的论文由加州大学伯克利分校的Caroline Chan、Shiry Ginosar、Tinghui Zhou和Alexei A.Efros四人共同完成。
Alexei A.Efros是一位拥有维基百科词条的研究者。观点和言论经常被《在线》、BBC新闻、《纽约时报》、《纽约客》等知名外国媒体引用，因此也成为互联网的热门学者。
现在，Efros担任加州大学伯克利分校人工智能实验室（BAIR）的准教授，在进入这个学校之前在牛津大学和卡内基梅隆大学（Canegie Me隆大学）CMU就读。2016年还获得了ACM计算机奖。
△Alexei A. Efros
到目前为止，量子比特报道的文章《伯克利AI实验室新论文：没有配对训练数据也可以进行图像风格转换》，这个项目也出自Efros团队之手。
“这项研究看起来很酷！”Reddit网友Avoc_Ado叹息着。
“可怕，你完全可以在恐怖片中使用它，真是不可思议的工作：”一位网友对这项技术的应用感到惊讶。
“我想看唐纳德·特朗普像Mille&Vanillie一样跳舞。”这个ogs_kfp_网友，你又皮了~
总体来说，这真是一项广受好评的畅销研究。
如果你想一览研究全貌，请转到论文地址。
htps：//arxiv.org/ABS/1808.07371
酱~请享受