quot; 维之间“;目标检测模型hold生活在各种画风中,并且可以识别真实的赛博蒂拉诺梵高的画复旦出身的一部作品在线Demo可以玩-量子位,
AI的目标检查种类有20000+种,你看过吗?
不仅能准确地“捏出”每个物体所在的位置,而且分类效果也非常准确。
这项研究来自Meta AI和德克萨斯大学奥斯汀分校,一部是著名的目标检测框架CenterNet的作者,复旦出身的Xingyi Zhou。
我们一起看看吧。
在一篇可以识别“跨维”物体的论文中,我们提出了一种新的Detic方法来解决不能用于图像级标签(标记整个图像,标记里面有什么)目标检测的问题。
迄今为止的目标检测方法通常是一个检测框中的一个物体。
该方法存在这样的问题:不能利用整个图像级标签,只能用单个物体的图像进行训练。
一些研究试图进行弱监控学习,让AI自己学会将图像级标签对应于锚框中的是什嚒,其实这种方法的效果也不是很好。
Detic方法使用目标检测数据(a)和图像标签数据)b)对Detic进行混合训练。
其中,在用目标检测数据训练Detic时,同时训练图像分类模块w和目标检测模块b,但仅用标签数据训练图像分类模块w。
培训的数据集采用ImageNet,经验证,该模型在培训后无需微调,即可很好地适应LVIS等数据集,对以前的一些模型有很好的效果:
根据论文,Detic能分类的图像的类型也各种各样,从实际的照片到象赛博的插图一样的「超越了次元的」作品能识别。
这很快就吸引了很多网友来玩。
在线Demo是网友用梵高的世界名画尝试的。
放大来看,艺术加工的椅子,人和桌子也可以识别:
有些人用二维龙猫来识别。除了龙猫本身被误认为猫头鹰以外,伞和靴子也不错。
我们也随便用表壳的照片试了一下。在线Demo的检测时间稍长,大约需要6分钟左右,但很有效:
仔细一看,你会发现一些缺陷,比如把手表的一部分误认为是转速表,还有怀表和手表,还有一两个没有检测出来的手表。
但是,即使是二维和插图,这个AI能识别的物体,至少需要在真实世界中出现。
例如吐火焰的龙和皮卡丘等超过20000个分类的物体,不属于AI的监视对象,全部被识别为猴子(狗的头):
这些二维角色也放入AI训练数据集,不知道能不能得到同样的检查效果。
作者介绍
(这张照片是她拍的。)
论文为Xingyi Zhou,目前在德克萨斯大学奥斯汀分校读博学,本科就读于复旦大学计算机系,以前也是CenterNet论文的第一作者,项目在GitHub目前获得6.1k Star。
Rohit Girdhar、Armand Joulin和Ishan Misra、Meta AI的研究科学家,主要研究方向是机器学习和计算机视觉,此前Armand Joulin在李飞飞的实验室里充当博士后。
Philipp Krhenbühl,德克萨斯大学奥斯汀分校助理教授,Xingyi Zhou的指导者。研究方向是计算机视觉,机器学习,计算机图形。
有兴趣的朋友,试着尝试一下想马上玩的漫画和杂志的插图吧~
Demo礼服:https//huggingface.co/spaces/Akhaliq/detic
论文地址:https://arxiv.org/ABS/2201.02605
参考链接:[1]https://www.cs.utexas.edu/~zhouxy/[2]https://Twitter.com/AK92501/status/1480704961010101