不知道哪里是“；“看；不，这个AI黑，只需打开手机就能体验到-量子比特

不明白的地方，只要对着手机就可以了。

比如货架里的化妆品，到底哪个是哪个只是对着扫：

这是百度应用程序的黑技术，百度表示的AI技术的新境地。

在每年召开的“百度”AI开发者会议上，“百度”资深副总裁、移动生态事业集团总经理“沈抖”拿着智能手机，打开“百度”应用程序进行了这样的演示。

没有任何操作，只要移动智能手机，就能实时显示智能手机镜头中的多个化妆品信息。随着智能手机的动作，相机中的影像发生变化的话，“百度”应用程序中放映的内容也会实时变化。

演示结束后，沈抖介绍，该功能称为动态多目标识别，在100ms内识别物体，8ms内可更新物体的位置跟踪，已经超越人类。

围绕这个技术，百度也对应的移动的生态系统被支持。

百度应用程序这个功能，不仅可以实时识别多个目标，还可以寻找相同的商品，比较价格，查看评价。如果喜欢的话，也可以直接注文。

被识别的范围中，也有沈抖这个数字。

打开应用程序“百度”，点击搜索框右侧的相机按钮，选择“自动拍摄”。

例如，你可以看人脸来衡量运气。

用葡萄酒也能查到怀纳利的别墅。

还可以扫题搜答案，识别文字扫答案，扫菜/看食材卡路里，追逐知道功效的做法，明星，扫车型号价格等看八卦。

同时，文字/书/海报/药/钱/电影等，广泛的种类的认识力也具备。可以说是在家时的必需品。

现在，动态的多用途识别技术已经进化，可以同时识别多个物体，可以保持架子上的点心、桌子上的日用品、化妆品等。

百度是如何实现的呢

从部署到实现，需要完成五个难题

在人工智能技术发达的今天，实现多目标识别并不困难，但要在智能手机应用程序上实时实现多目标识别，需要完成五个课题。

第一个挑战是在智能手机应用程序上开展复杂的深度学习模式。

由于智能手机本身的计算资源有限，为了完成多目标识别任务，需要对模型进行压缩优化以适应设备的情况。

根据沈抖，百度应用程序为了实现这个功能，使用了桨的移动配置库。

这是百度深度学习平台的笔划子集，对移动场景进行了很多优化。比如这样。

在动态多目标识别整体功能上，沈抖将传统的云200多层视觉算法模型优化到十几层，实现了在100ms内识别物体、在8ms内进行物体位置跟踪的更新。

与此相对，用人的肉眼识别物体需要170ms~400ms，追踪物体的刷新需要40ms左右，这意味着超过了人眼的识别速度。

据他介绍，帕德尔的移动式飞机部署库在百度地图、百度网页、自动驾驶等产品上被大规模使用。在这里，像百度这样的移动产品的AI化也正式展开了。

剩下的4个课题是动态多目标识别这一技术固有的课题

动态多目标识别实时动态运算目标识别模型，在发生变化（手机/新物体）时快速反馈。

第二个挑战是在快速、连续、稳定地发现新事物的同时，建立新事物与旧事物的对应关系。

技术上，有1帧图像的物体检测性能和连续帧图像的物体检测的稳定性这2个课题。

一帧物体检测性能中包括准确度、召回率和检测速度。在当前的好模型中，推理过程需要非常长的时间，因为它使用了非常深的[CNN]来完成这项任务。例如，faster-rCNN即使使用英伟达TeslaP4GPU，估计也需要200~300ms左右。

为了应对这一挑战，百度构建了轻量级的MobileNet网络，并对基础模型进行了压缩，提高了预测速度。官方数据显示，最终在60ms内实现手机单帧多目标检测，主要物体检测精度和召回率均在95%以上。

另外，由于深度[CNN]对图像的微小变化一般化的能力低，连续帧的图像的物体检测变得不稳定，关联的模型连续发现物体的效果大大不如人眼的能力。

近年来，提出了利用多帧信息，提高后续物体检测稳定性的基于序列的模型等解决方案。但是，序列模型的计算需求很大，终端几乎不能使用。

在此基础上，百度给出了解决方案。

它不仅可以在手机上使用，而且非常有效。官方数据显示，最后一帧的错误率从16.7%降至2%。

该方案还向百度提交了专利申请。

第三个挑战是让反馈和现实世界一样稳定

也就是说，用户在使用动态多模态识别功能时无法感受到纸箱。为了实现这一点，至少需要24FPS（人眼感知的频率）以上的计算性能。

另外，为了保持相对位置恒定，需要将帧间的位置积蓄偏差抑制为3像素/60帧的跟踪算法。为了解决上述问题，我们采用了SLAM（Simultaneous Localization and Mapping）技术。

该技术的主要应用场景是观测在未知环境中移动的机器人的动作，确定自己的动作，同时构筑环境的三维地图。

转移到手机摄像头场景是为了实现物体极小偏差误差的跟踪。它的实现方式是这样的

在SLAM支持方面，百度也采用了VIO（Visual Inertial odometry），简化了后端优化过程。目的是在减少计算量的同时，在优化中过滤特征点，消除特征点不稳定等。

为了保持稳定性，我们还深入优化了智能手机的相机场景。

第四个课题是从“粗粒度的理解”和“细粒度的认知”两个层面，对视觉信号进行多层次的识别。

人认识东西的时候，“前方有车”的认识先行。接下来你要认识到这辆车是bmw320

这在机器中也一样，分为粗粒度理解和细粒度认知两个阶段。

在初步理解阶段，语义粒度较粗，要求以毫秒为单位完成。整合自己的移动深度学习预测框架，在终端进行多个深度学习模型的推理来实现。

他们表示，培训模式的数据集来自数千部手机拍摄的视频，以及一些开源的数据集（ImageNet、OpenImage等），包括办公室、家庭生活、购物中心、超市、户外公园、构建了一个覆盖主要场景（如街道）的300+标签分类标签系统，对象的部分图像达到100万级。

为了满足移动部署要求，我们选择了基于移动网络+分层丢失的多任务模型培训。最终，初始阶段的分类精度达到92%，覆盖率达到80%，在引入模型压缩后，一个图表的预测所需时间仅为40ms。

在具体的认知阶段，要求粒度精细，以秒为单位完成，整体上是一个复杂的云型系统。该系统包括一个百万级的大规模粒度分类模型，并解释说，它可以在动物、植物和汽车等类别中以90%以上的精度进行认知。

结合ANN最近邻线矢量搜索构建的视觉搜索技术，支持类似图片、该商品、名人脸等搜索功能，在相同的搜索时间，准确度和召回率将远远超过Facebook的开源Faiss系统。

第五个课题是，“发现、追踪、多层次认知”这三项要按场景和行为模式无缝进行。

一旦技术力量到位，就要判断用户的注意力，考虑到注意力集中时的帧选择算法、跟踪和检测算法的调度切换策略等实现层面上的因素，提高用户体验。

关于注意力的判断，由于智能手机侧惯性传感器（IMU）的测量单元误差较大，所以只判断剧烈的加速运动。

[百度]采用IMU和视觉特征相结合的方法，利用由连续视觉图像计算出的位移和缩放变化特征，可以捕捉小运动中的变化。

在帧选择算法中，百度通过收集模拟用户在不同场景中的注意力变化的数据，依赖于人工标准构建最佳的帧训练数据集，并在CNN模型中适合于人工标记过程选择最合适的框架，然后输入后续计算过程。

背后的原因是，确定物体发现的效果往往是触发检测时的第一帧图像质量，这往往受到光照、清晰度、物体位置等噪声的影响而变差。

为了节省计算量，调度算法实时跟踪算法状态，有注意力判断策略输出，及时调整连续帧检测模型的计算。

通过这些精细组合的调度算法，百度称按动态多目标标记的功耗控制在2%/10min以内，满足对可动端配置能耗的要求。

基于上述四种侧面技术的组合，动态多目标识别技术在百度App中实现。

百度结合智能小程序等移动生态系统中的服务，形成了百度独特的AI落地路径。

百度移动生态系统被AI区别对待

这种应用和能力一方面是移动领域技术变革的直接展示。

如何使用AI提升用户体验。这项技术提供了一个例子。

另一方面，很多人认为移动领域的竞争早已结束，AI技术也给移动生态带来了差异化竞争优势。

移动领域的竞争重新开始，比以往任何时候都有“技术含量”，谁可以拥有AI，谁可以使用AI，都有可能成为最后的赢家。

此外，DuerOS、Apollo等AI带来的新业务，更容易看到AI技术的进展。

但是，百度应用于像App这样的AI技术。例如，动态的多目标识别，很难被感知，会落在手机终端上，希望创造对用户有用的功能。难度同样高，挑战不小。

百度整合到App中，可以带来更直观的体验，可以窥见在AI领域的多年积累。

而且，这种AI技术将给用户的体验和生活带来颠覆性的变化。

百度当被问及AI变革如何开始时，答案早已开始，比如打开百度应用程序就可以体验到。