世界人工智能顶级大赛DSTC9闭幕，百度大脑获得四项冠军
近日，2020年第九届国际对话技术大赛DSTC9公布了赛道排名，百度参与了四项任务，全面覆盖了开放域聊天、知识对话、基于任务的对话等关键技术问题，并在最终榜单中名列前茅。百度在这些任务中使用的核心技术是基于PLATO—2，这是一个最近开源的开放域对话模型。
[第1001号]
PLATO—2是一个基于隐藏空间技术的大规模开放域对话模型，参数大小达到16亿，可以深入讨论开放域主题，在英语和英语的效果上完全超越了Google Meena、Facebook Blender、微软Xiaoice等先进模型。“中国模式”还开放了试用界面服务，帮助实现人机自由对话的梦想。PLATO—2从“一对一”到“一对多”，在对话领域展示了强大的通用性随着科学技术的不断进步，智能对话正成为大家讨论的热门话题，人们越来越习惯于用语言与设备进行交流。然而，在任何情况下，智能助理与现实生活中与人们就开放主题进行自然对话的能力之间仍然存在差距。针对这个问题，大型科技公司在基于预训练技术的会话生成方面取得了重大进展，使用大型类人对话语料库，使许多会话模型能够模拟类人对话。然而，由于在庞大的对话语料库之下隐藏着丰富的背景信息，即使是同一对话也会得到各种各样的响应，“一对多”问题仍然是当今对话系统软件的一个重要问题。针对这个问题，百度提出了一个带有离散隐藏变量的PLATO—2模型，可以有效地对“一对多”问题建模，并基于课程学习有效地训练大规模模型。这一过程由两个阶段组成：在第一阶段，我们将基于简化的“一对一”映射训练一个基本的响应生成模型。在第二阶段，生成和评估两个模型，引入离散的隐藏变量来训练一个更高质量的响应生成模型，然后训练一个评估模型从多个候选者中选择最合适的响应。
[第1002页]
在本次比赛中，百度展示了PLATO—2在对话领域的强大多功能性，并获得了一个模型，可以在预训练的所有阶段支持广泛的对话系统。随着参数的逐步优化和提高训练效率，PLATO—2赢得了四项任务的胜利。在Track—1上，我们从响应知识的准确性和响应与上述匹配性对训练模型进行了全面的测试。面对这一问题，百度在预训练模型的基础上进一步学习了前两个子任务的分类和排序模型，实现了准确的知识选择，并帮助PLATO—2模型生成了知识强化响应。如下面的例子所示，该系统根据对话从大型知识库中选择合适的知识，并合理利用该知识生成高质量的响应。最终，百度在第一轨道的人工评估中排名第一。
[第1003号]
与Track—1类似，Track—2是一个面向任务的对话系统，但它不使用额外的非结构化知识，并且有两个独立的子任务。百度参与了子任务1，在最终的人类评估中与其他团队并列第一。基于PLATO—2Phase1模型，百度可以在这种跨学科任务对话中进行微调，生成端到端的对话状态、对话动作和高质量的响应。
子任务1的评估还考虑了松散场景和严格场景的任务成功率，使百度在这一指标上排名第一，明显优于其他系统。最终的名单是一个松散的，严格评估的平均值，百度与其他团队并列第一。与前两个轨道相比，轨道3更接近开放域对话问题。它的特点是对聊天范围没有限制，没有明确的目标，并且可以自由和愉快地与人类交流。在子任务1的评估中，参与者从八个方面评估他们的回答：流畅性，相关性，准确性和参与度，并给出一个总分。在列表中，这三个模型的结果相对接近，最终排在首位。据悉，前两个结果都是百度提交的不同参数设置的PLATO—2模型。
在子任务2中，我们将重点放在开放域人机交互上，这是PLATO—2最擅长的领域。从最终结果来看，前两名全部被百度占据，百度的开源PLATO—2机型位居第一。
事实上，如此大规模的模型训练与百度深度学习平台强大的并行功能支持密不开。 PLATO—2包括英语和英语两种型号。中文模型在12亿个中文开放域的多轮对话样本上进行训练，英语模型在7亿个英文开放域的多轮对话样本上进行训练。PLATO—2训练还利用了Paddle Fleet库的并行能力，并使用了基于高性能GPU集群的高精度训练等策略。如今，基于PLATO—2的对话内容能力，百度有望在丰富性和一致性方面展现出新的高度，开辟智能对话的全新领域。百度PLATO—2英语模型和训练代码在GitHub上开源。