声音识别物，这是AI视觉应该做的事ECCV2022-量子比特，
听到“咕嘟咕嘟”的警笛声，你可以迅速判断是从路过的救护车发出的声音。
根据AI的语音信号可以得到完整的、细化的发声器屏蔽图吗？
视听分割是用于分割发声物并生成发声物的微细化分割图。
相应地，研究人员提出了第一个具有像素级显示的视听数据集AVSBench。
新任务、新数据集、算法做的又是新坑。
准确锁定发声物的听觉和视觉是人类感知世界最重要的两个传感器。在生活中，语音信号和视觉信号常常是互补的。
视听特征学习（audiovisual learning）产生了视听通信（AVC）、视听事件定位（AVEL）、视频解析（AVP）、音源定位（SSL）等许多有趣的任务。
其中，既有判定音像是否记述了相同的事件/物体的分类任务，也有对发热体进行热力学可视化而大致定位的任务。
但是无论如何，对精致化的视听场景的理解都有危险的意义。
视听分割提出“迎难而上”，准确分割视频帧中发声物体的全貌--
即，将音频作为指示信号，决定分割哪个物体，得到其完全的像素级掩模映射。
AVSBench数据集如何研究这项新任务？
考虑到当前未被视听分割的开源数据集，研究人员提出了AVSBench数据集，并用它研究了新任务的两种设置：
1、单音源（Single-Source）的视听分割2、多音源（Multi-Sources）的视听分割
数据集中每个视频的时间为5秒。
单声源子集包含23种4932个视频，包括婴儿、猫狗、吉他、赛车、除草机等与日常生活密切相关的发声物。
△AVSBench单一源子集的数据分布
多声源子集包含424个视频。
结合困难时，单声源子集在半监督条件下进行，多声源子集在全监督条件下进行。
研究人员等间隔地对AVSBench内的各视频采样5帧，对发声体进行人工像素级显示。
对于单声源子集，仅标记采样的第一个视频帧。对于多声源子集，5帧图像都已标记。这就是所谓的半导演和全导演。
△单声源子集和多声源子集的不同人工显示
此像素级标记可避免包含大量非发声物和背景，从而提高模型验证的准确性。
简单的baseline方法有一个数据集，研究人员又抛砖引玉，文中给出了一个简单的baseline。
吸取传统语义分割模型的成功经验，研究人员提出了一种端到端的视听分割模型。
该模型根据编码器解码器的网络架构，输入视频帧，最终直接输出分割掩码。
此外，网络优化的目标有两个。
第一种是计算预测图和实际标签的损失。
针对多声源情况，研究人员提出了掩蔽视听匹配损失函数来约束发声物和语音特征在特征空间中保持相似分布。
一些实验结果只是不练习假套路，研究人员进行了广泛的实验。
首先比较了视听分割和相关任务六种方法，研究人员在音源定位（SSL）、视频物体分割（VOS）、显著性物体检测（SOD）任务上各选择了两种SOTA方法。
实验结果表明，视听分割在多个指标下取得了最佳结果。
△与相关任务方法的视听分割的比较结果
其次，研究人员进行了一系列消融实验，验证了利用TPAVI模块，在单声源和多声源的设置下采用两种backbone的视听分割模型可以得到更大的提高。
△引入音频的TPAVI模块能够更好地处理物体的形状细节（左），有助于分割正确的发声物（右）
对于新任务的视听匹配损失函数，实验还验证了其有效性。
One More Thing文中提到，AVSBench数据集不仅可以用于所提出的视听分割模型的训练、测试，还可以用于声源定位模型的验证。
研究人员在项目主页上表示，他们正在准备比AVSBench大10倍的AVSBench-v2。
部分视频的分割demo也上传到了主页上。有兴趣的话可以去看哦~
论文地址：
https：//arxiv.org/abs/2207.05042
GitHub地址：
https：//github.com/OpenNLPLab/AVSBench
项目主页：
https：//opennlplab.github.io/AVSBench/