人民大学提出了一个听力智能框架，不需要人工标记，即使在嘈杂的环境下也可以保持-量子位，
即使不进行人工写入，AI也能听到声音进行寻找。
你可以在复杂的环境中使用，包括各种各样的声音
例如，在这个演奏会的影像中，AI可以判断哪个乐器发出声音，并确定各自的位置。
听声音和识别东西对人类来说是一件小事，但在AI上却不一样。
由于无法直接关联视觉和语音的对应关系，传统的算法依赖于用手变换或用人手标记。
研究小组使用群集的手法，让AI能够简单地识别各种乐器、动物、日常生活中出现的声音。
另外，也可以将该方法转移到无监督物体检测任务，在IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI）上发表。
具体看一下这个框架，可以分为以下两个阶段。
在第一阶段，AI在单个声源场景中学习物体的视觉声学特征。把这个框架转移到多音源的场景，进行识别更多音源的训练
简单地说，就是将某个声音和该声音的原型物体的样子关联起来，在“杂煮”中让AI辨别种类。
例如，假设你听了演唱会。
研究人员给AI的是大提琴、萨克斯、吉他等乐器的独奏影像。
使用聚类的方法，将所有的样本分为AI。群集中的每个群被认为表示语义类的视觉表象集合。
这使得AI能够在无形中把握每一种乐器的外表和声音的关系，通过听声音来识别事物。
在这个过程中，研究人员对各个聚类进行了特征提取，并通过添加假标记，建立了物体视觉表征词典。
在第二阶段，我们让这个框架定位视觉位置，然后根据声音信息过滤出没有声音的物体。
其中，确定物体位置的步骤使用第一阶段出现的物体视觉表象词典。
具体来说，在某帧的多声源场景中，AI将从图像中提取的不同物体的特征与词典的各个类别进行对照，从而确定听音识别物的初步位置。
然后，将画面中物体的定位结果和发声区域作为阿达玛积，过滤出没有声音的物体，同时细化出声音的物体的定位结果。
◆各行最初的3张是实际的演奏场景，之后的4张是合成场景
具体来说，使用合成音乐、二重奏等4个数据集，测量了这个框架识别的水平。
结果发现，这次提出的新方法，特别是在乐器分布更加平衡的数据集中，表现得非常好。
那么，不听音乐只听日常的声音会怎么样呢。
作者给出成功和失败的几个例子：
（也有成功的事例。）
（有几个失败的例子。）
根据作者的说法，失败的一种情况是不能确定正确的音源位置（上图的第1行）
此外，您可能无法识别某些场景的特定声音（上图中的第二行）
您还可以转到物体检测任务。例如，图像网络子集中的无监督物体检测也值得关注。
该研究由中国人民大学高瓴人工智能学院、GeWu实验室胡迪副教授、GeWu实验室博士生卫雅珂主导。
2019年毕业于西北工业大学博士课程，师从李学龙教授。2020年获中国人工智能学会优博奖，获得中国科协青年人才托举项目支持。
主要研究领域是机械多模态的知觉和学习，作为主要作者在世界顶级国际会议和学术杂志上发表了20多篇论文。
中国人民大学文继荣教授也参加了这项研究。
他现在是[中国人民大学][高瓴人工智能学院]校长、信息系校长。
主要研究领域是信息检索、数据挖掘和机器学习、大模型神经网络模型的训练和应用。
论文地址：https：//arxiv.org/abs/2112.11749
项目主页：https：//gewu-lab.github.io/CSOL_TPAMI2021/来修改标记元素的显示属性。