1亿组图文对，填补开源空白中文多模态数据集！华为诺亚方舟还附带了来自实验室-量子比特的基础模型，
[华为][诺亚][方舟]实验室开源了第一个亿单位的多模态数据集[悟空]
这个数据集不仅是大规模的—而且包括一亿组图像和文章对，是高质量的
所有的图像都被筛选出来，纵横200像素以上，以1/3到3的比例显示。
与图像相对应的文本也根据语言过滤长度和频率，也考虑到隐私和敏感字。
例如，这个数据集的例子仍然是相当新的，比如注册访问代码，社区疫苗预防接种。
悟空数据集自1年前的OpenAICLIP+Dalle组合的多模态学习浪潮开始以来，加上后续的ALIGN和FILIP，在视觉语言预训练（VLP）领域发挥了出色的性能。
对全球成功而言，大型数据集的支持是必不可少的，但开源数据可能有，但大型数据不多。
2002“悟空”数据集允许下游任务支持更多的预培训模型。
除了数据集之外，还附带了参考了受欢迎的文本图像双编码器体系结构的基本模型。
有趣的是，这里的图像编码器是从“英文”数据集上训练的，该数据集预加载并锁定从外部模型训练的“英文”数据集的权重。
但是，在文本中的模态横断面预训练在下游任务中也是有效的。
此外，“华为][诺亚”还提供下游任务的各种基准测试。
例如，除了零样本图像分类、下图的wukongvit-500m之外，其他悟空模型的变体都是在这1亿个数据库上训练的。
或者，假设在图像检索和文本检索这两个任务中，有5个不同的数据集出现了以下测试结果。
另外，中文对于多模态的预训练，英语在数据集上应用预训练的图像编码器，证明了很好的效果。在未来，您可能会找到一个解决方案来使用数据集训练多语种模态模型。
现在，悟空可以从官方网站下载数据集（链接地址是文末）
数据集地址：https：//wukong-dataset.github.io/wukong-dataset/benchmark.html来修改标记元素的显示属性。
论文地址：https：//arxiv.org/abs/2202.06767