商汤入局围剿Deepfake:推出迄今为止最大的面部伪造检测数据集,包含6万个视频-量子位
反deepfake阵营今天又有了新成果,进入商汤局,献上迄今为止最大的检查数据集:
1760万帧,包括6万个视频,是现有数据集的10倍
深假不断进化,越来越真实,门槛越来越低。
不仅是明星,普通人也会发抖。
有没有什嚒东西能让你眼睛看不见,改变AI的脸。
其实,即使魔高一尺,路也不会停止修行。然后,用那条路,再施于其身。
那么,商汤与新加坡南洋理工的研究人员合作,发表了到现在为止最大的深假检查数据集,deeperforenics-1.0。
而且,更接近现实的场景,更多样,更有挑战性。
数据、代码和预先培训的模型正在开源
deeperforenics-1.0
deeperforensics-1.0的6万条视频中,有5万条是研究团队收集的原创视频,剩下的1万条是他们制作的“伪视频”。
创建数据集有三个步骤。
第一步是收集数据
实际视频中的原始人脸称为目标人脸,被置换的人脸称为源人脸。研究人员发现在建立高质量数据集的过程中,源人脸比目标人脸起到更重要的作用。
脸部表情、姿势、拍摄时的照明条件越丰富,脸部交换的可靠性越高。
于是,我们雇了100名演员,拍摄人脸。20~45岁之间有53名男性和47名女性,4种肤色(白、黑、黄、棕色)的比例为1:1:1。
录像分辨率为1920×1080。在拍摄过程中,演员们被要求有各种各样的表情。中立、愤怒、喜悦、悲伤、惊讶、轻蔑、厌恶、恐惧等。
面部朝向镜头的角度在-90°到90°之间变化。它设置了九种不同的照明
第二阶段将休假适用于休假
知己知彼百战不殆。
为了生成更真实的假视频,研究者们提出了一种新的面部交换框架。DeepFake Variational auto-encoder(df-vae)
df-vae由三个模块组成:结构提取模块、分离模块和融合模块。
在训练中,通过提取标记,以配置未配对的样本为条件,再现源和目标的面部。
重建后,最小化光的流动差异以改善时间连续性。
AdalN模块将再现的面部和原始背景融合在一起。
第三步是进一步提高难度,加入真实场景的影像。
具体来说,为视频添加7种失真:饱和度变化、局部图像块失真、颜色对比度变化、高斯模糊、颜色分量中的高斯白噪声、JPEG压缩和视频压缩率变化。
为了评估deeperforenics-1.0的质量,我们委托了100位计算机视觉专家进行评分。
结果,专家认为deeperforenics-1.0比“FaceForensics++”和“celeb-df”等热门深度假数据集更真实。
阻止深造
假视频越来越真实,人们越来越担心。
AI治疗的动向也已经开始了。
在此之前,脸书进行了“检查改变脸的视频”的挑战。
UC伯克利EECS教授哈尼法id这样评论。
美国的启动Truepic以AI捏造照片视频的对策为核心事业,于2019年7月筹集了800万美元(约5680万元)的资金。
在国内,2019年11月末公布的《网上语音/视频消息服务管理规定》被认为是AI对视频操作的取缔。
该规定于1月1日正式实施。
是传送门
项目地址为https://liming-jiang.com/projects/drf1/drf1.html
论文地址:https://arxiv.org/abs/2001.03024
VB的报道
-完成-