欢迎来到池州三陆五信息科技有限公司- 未来科技

微信
手机版
网站地图

梦幻慢动作AI源代码来了:有了它,普通视频也可以平滑地补足帧-量子比特

2023-04-18 09:49:40 栏目 : 移动互联 围观 : 0次

虽然手机慢动作视频拍摄越来越普及,但网上大部分视频依然是低帧率。如果我们能自己动手,把比赛的精彩瞬间变成慢动作来回放,那该多好啊。

今年6月,英伟达发布了将普通30fps视频转换为240fps慢动作的算法SuperSloMo:

它动作自然,拒绝慢播放“PPT”的出现,简直就是视频领域的“奇幻大师”。就在盼望着公布代码的时候,英伟达没有下次了。

虽然官方不这么做,但还是无法忍受民间达人的智慧。隔了半年德克萨斯Aamp,M大学的研究生用PyTorch实现了那个,马上reddit机器学习板的受欢迎。

该算法可以在两帧图像之间插入任意数量的图像,不仅可以实现从30fps到240fps,而且最高可达1000fps。

实际效果怎么样。请看如何将车辆行驶的视频播放慢8倍:

看看上面的对比,你是不是想试试。首先,您需要做好以下准备:。

模型的培训和测试在PyTorch0.4.1和CUDA9.2上完成,所以安装这两个软件的需求不小。此外,还需要NVIDIA的显卡。

模型不能直接使用视频培训,甚至需要安装ffmpeg来从视频中提取帧。

所有准备就绪后,您可以下载并培训adobe240fps数据集。

如果你是“伸出手党”,你也可以直接下载adobe240fps训练好的模型。

在官方代码迟迟不被释放的情况下,第三方程序员实现了,网友们都很兴奋。你好像很关心模型的实际性能,而不是一秒钟钟。

英伟达的研究成果,已经让玩家开始幻想未来的应用场景:我的王者荣耀是不是从30fps直接跳到60fps?

愿望是好的,但是Super SloMo的落地问题还需要进一步解答。

作者说,未来我们将继续完善项目的详细信息,视频转换的程序脚本也在加紧编写,让我们拭目以待。

项目地址:

https://github.com/avinashpaliwal/Super-SloMo/

下载培训数据集:

http://www.cs.ubc.ca/labs/imager/tr/2017/DeepVideoDeblurring/DeepVideoDeblurring_Dataset_Original_High_FPS_Videos.zip

完成模型下载培训:

https://drive.google.com/openid=1IvobLDbRiBgZr3ryCRrWL8xDbMZ-KnpF

论文地址:

https://arxiv.org/pdf/1712.00080.pdf

展开剩余内容

分享到:

猜你喜欢

热门标签