动画就那样漫画!GAN又有了新的玩法
GAN,又有了新的“玩法”。
最近,可以将动画直接转换成漫画的工具备受瞩目。
其效果如下:。
效果逼近漫威?目前,已经发射了Demo,并且量子比特以“复仇者联盟3”的一个片段为例测试实际效果以获得这样的图。
#8230;#8230;
这里是正确答案。
体验Demo的时候,可以自己上传视频,或者选择YouTube的视频。当然,还提供了一些示例视频,您可以直接体验。
如上图所示,生成Demo时,还有一些选项会影响生成的漫画。
这些选项可以分别控制视频中的帧选择、每帧提取方法、图像评估方法和漫画风格迁移模型。
这基本上也展示了项目团队的大致思路:采用基于强化学习的关键帧提取算法,提取出视频中有意义和代表性的帧,然后对关键帧进行评估,确认主要画面,然后使用GAN进行风格转移形成漫画风格。
在风格迁移方面,研究团队研究了目前发布的漫画风格迁移模型,最后根据CartoonGAN的方法,利用MS COCO数据集训练自己的ComixGAN模型作为Demo的默认模型。
该项目从波兰华沙理工学院着手的资料一应俱全。Demo网站提供API接口。
GitHub也有源代码。
当然,论文也出来了。
但特别吐槽的是,这个Demo网站不稳定到吐血,很快就会崩溃,甚至会直接罢工。
如果你对这个项目感兴趣并且有足够的“耐心”,请关闭下一个传送门。
论文:
https://arxiv.org/abs/1812.03473
Demo地址:
https://comixify.ii.pw.edu.pl/
GitHub:
https://GitHub.com/maciej3031/comixify