虚拟角色活了！海报梅西，漫画悟空，都被AI唤醒-量子位
今天介绍的新技术，可能有很多人有大胆的想法。
因为2D图像会变成3D“生物”，所以不是魔法。
你可能还记得《哈利·波特》的神奇世界，报纸上的照片是动的，墙上的名人画像是会说话的，开门进门之前要和“门神”胖夫人的暗号问答。
但是，是的，现在，AI是我们岩浆的神奇魔法。
想要“复活”的是梅西.jpg、库里.png、还是詹姆斯.jpeg、或者新垣结衣.tiff、波多野结衣.Raw想要“动”……。
新的“照片唤醒”技术可以满足您的需要。
不相信吗？首先牛刀小试亮登场~
让最喜欢的体育明星詹姆斯、梅西、库里逃离照片：
相信我，出来的库里真的是3D：
也可以给二维角色力量。
把钢铁侠带到你身边：
像抽象画一样，毕加索玛雅和玩具船的主角出来了，可以像人一样活动四肢：
由此，只需移动手指就能在身边的世界中出现的角色们AR/VR化。
无论是照片，漫画，还是抽象的角色，只要有个人的东西，照片觉醒技术就能唤醒沉睡在体内的灵魂，从二维化的世界中复苏。
有了这项技术，游戏、动漫制作行业的设计师们可能会乐此不疲。画2D的角色的话，会自动变成3D。
看到这些效果的展示，也有网友表示，与女神的距离是不是最近。
恭喜~
这些心水的动漫角色和体育明星，是如何一下子从画中走出来，而且动起来，立体起来的呢。
论文Photo Wake-Up：3D Character Animation from a Single Photo，研究人员来了一次完整的大、揭、秘。
研究人员称，要让主人公摆脱平面静止画面，最难在系统中重建“虚拟人”。虚拟人必须通过厚重的衣物精确地对应画中人物的身体轮廓。
头对头，肩并肩，手臂对手臂……如果虚拟人的骨骼结构完全匹配画中的人，也就是说你的男神/女神离得不远。
整个操作过程实际上只使用了三个步骤。
我们一步一步看，研究人员的第一步是：分割虚拟角色。
研究人员利用现成的图像分割算法，对画中人的躯干、四肢进行分割，再以人体姿势进行估计，提取画中人的二维骨骼关键点，忽略厚重的衣服，拟合出半裸可塑的三维模型，称为SMPL模型（Skinned Multi-Person Linear Model）
此时，无论是男神还是女神，现在都被简化为看不到年龄和身影的“石膏人”。重要的第二波操作立即开始。
步骤2：细化虚拟角色三维模型
虚拟角色是跑还是不跑，取决于3D模型不是很好吗。在这一步中，研究人员开始细化虚拟角色的三维模型。
虚拟角色移动时，不可避免地会在主体的各个部分之间产生轮廓重叠。完美的模型匹配虚拟角色的身体轮廓，可以识别这种自遮挡现象的出现。
△例如
如何在发生自我掩蔽时保证模型的准确性？研究人员首先将SMPL模型映射到二维世界并对准轮廓，然后再转换成三维模型以确保精度。
在映射到二维世界时，研究人员将SMPL模型转换为两种不同的映射形式。一个是肌肉隐约可见的普通图（Normal Map），一个是五光十色、区分身体不同部位的皮肤图（Skinning Map）
两者合体，转换成3D模型的话，姿势可动的3D人来了！
最后，研究人员把CMU的Mo-cap人体动作数据集给了模型，数据集的人物动作，现在可以转移到你的虚拟角色了。
△6绘画结果
这个时候，有AR眼镜，戴着，手指比心，最喜欢的“虚拟角色”被点活，从画里出来了。
随后，研究人员调查了103名志愿者，86%的受试者认为Photo Wake-Up的效果超过了前人所做的。
这项研究的三位作者来自华盛顿大学保罗艾伦计算机科学工程系。
一作翁仲毅，台湾哥哥，现任华盛顿大学保罗阿伦计算机科学工程系平面图像实验室（GRAIL）博士。他毕业于台大计算机信息工程系，读博士之前在台湾讯联科技担任技术主管，最近在Facebook实习。
二作Brian Curless，华盛顿大学保罗阿伦计算机科学工程系教授，斯坦福电工博士。
三作Ira Kemelmacher-Shlizerman的姐姐，以色列魏茨曼科学研究所计算机科学与应用数学博士，华盛顿大学保罗艾伦计算机科学与工学院副教授。
此外，由于自己成立的公司Dreambit LLC被Facebook收购，自2016年起，他一直是Facebook的AR/VR研究科学家，长期担任CVPR和SIGGRAPH的区域主席和技术委员会成员。
这个研究小组，从1作品到3作品，那个是1个1个厉害的事。
量子比特此前介绍的桌面足球是两、三部两位教授的作品。
还有假装拉小提琴的Facebook AI，也是三作姐姐参与的研究。
感谢作者们的研究，以后地球人不再害怕被《三体》中的二向箔攻击，即使被纸片压住，我们也能让自己回到3D。
项目网页
https：//grail.cs.washington.edu/projects/wakeup/
论文
https：//arxiv.org/abs/1812.02246