像苹果Siri有个有一个人互联网+的的助理以此当然语言命令来实现训练任务。尽管 ，它也的底层组件一般说来说来依赖于监督机器学习中算法，在内算法又可以会非常多 手工注释的训练其他数据。当然明显减少收集在内其他数据的尽管 时间和精力，苹果的深入研究人员开发了有个框架，以此发现用户参予下的互联网+信号，美女球迷动创建明显减少其他数据的标签。尽管 的报告中觉得 ，当用上它 啥的多训练任务学习中和外部知识库验证等策略时，带注释的其他数据显著明显减少了互联网+生产深度学习中管理系统的准确性。
“尽管 觉得 ，任何人的首次用上它 发现用户参予信号来帮助你大规模生成序列标记训练任务的训练其他数据，并可应用于实际设置相关中，在任何人的任何人的人工注释其他数据的现象发生发生下加快新其功能的部署，”深入研究人员有个篇待出版的论文中写道。“多达，发现用户参予信号又可以会帮助你尽管 从数字助理其次的错误中吸取教训，引发确认其又可以会改进的之地 。”
深入研究人员用上它 有个系列启发式手段来识别，又可以会表明参予参予或消极参予的行为性质。多达在内多达点击内容形式来近一步参予（参予的回应），长尽管 时间听一首歌（多达个参予的回应），又可以会打断智能助手直接提供的内容形式，手动选择选择各有不各有不同内容形式（消极的回应）。在内信号被选择选择性地以“隐私保护以此”获取，以自动生成一般说来数的兼具真实性的注释，很快它也与它也注释者直接提供的粗粒度标签相运用。
当然将粗粒度标签和推断出的细粒度标签合并到人工智能模型中，论文的合本文整体设计了有个多训练任务学习中框架，将粗粒度和细粒度实体标签被作为有个训练任务其他处理 。多达，它也还合并了有个由实体及其双方关系组成的外部知识库验证器。假设预测“something”被作为有个音乐标题，“the Beatles”被作为有个音乐艺术家，尽管 又可以会查询“Play something by the Beatles”，验证器将展开一个人的级标签的备选方案的查找，并将它也发送到有个组件，该组件将对预测彻底排序，并返回最佳备选方案。
深入研究人员以此有个独立的测试集来评估多训练任务模型所执行的训练任务，尽管 从生产管理管理系统随机抽取样本，并对原有基础 的真实标签手工标注。尽管 觉得 ，在21次模型运行中，添加的26万个训练示例，与任何人的数量尽管 工注释其他数据的基线比起，“一致地”明显减少了预测训练训练任务都粗粒度实体错误率。多达，尽管 还报告说，当有相对比非常多 尽管 工注释其他数据（5000个示例）时，添加弱监督的细粒度其他数据会引发更小的影响较大。以后，尽管 报告说，而言任何人的顶级模型假设以此知识库验证器的例子，细粒度实体错误率下降了大约50%。
在多达个实验中，核心团队试图确认发现用户意图的更细微标注，是否可以会明显减少管理系统选择选择正确小操作的又可以会性。尽管 采集了大约5000个“播放音乐”命令，多达在内对多个乐队、艺术家和歌曲的引用，并以此有个在内其框架的管理系统将其发送外面，以后，尽管 确认要求注释者将管理系统返回的响应分为“满意”或“不满意”。深入研究人员报告说，明显减少以后管理系统引发的尽管 相对比训练任务错误率明显减少了24.64%。
尽管 将下去探索是否可以以此一个人的的发现用户的参予行为性质来明显减少个性化。
“尽管 观察到，尽管 的模型改进了发现用户尽管 接收的尽管 ，十分是而言在内困难或不寻常语言三大模式的请求，”论文合本文写道。“啥的，明显减少以后管理系统又可以会正确其他处理 啥的‘你能播放Miley Cyrus新专辑中都Malibu吗’和‘播放Kendrick Lamar的Humble’啥的的查询。多达，明显减少以后模型又可以会识别出发现用户在遇到了能够的语言歧义时更有又可以会引用上它 实体。啥的，在Play one by Metallica中，one又可以会是有个非实体标记（意为播放Metallica的任何人的歌曲），也又可以会特指Metallica一首名为One的歌。当然一般说来数数发现用户在说‘Play One by Metallica’时经常会 听Metallica乐队的‘One’这首歌，尽管 尽管 的模型会依据发现用户参予注释的其他数据来预测‘One’有没有指有什么，引发更快地捕捉发现用户群体的趋势和偏好。”
此前，有个篇论文描述了苹果尽管 工智能开发工具Overton，该工具的模型其他处理 了“数十亿”个查询。多达，苹果这两天深入研究了发现用户是否可以更喜欢的与“健谈”尽管 工智能助手交谈。