LPerf发布了首个AI芯片推理测试排行榜阿里平头哥含光800在复数部门获得了1位-量子位
今天，MLPerf基准财团公布了AI芯片的第一个推论测试结果。我们验证了从19家公司收集的594种芯片如何在各种自然语言和计算机视觉任务中运行。
来自中国、以色列、韩国、英国、美国的企业提交了阿里巴巴、戴尔EMC、谷歌、浪潮、英特尔、英伟达、米兰理工大学、高通、腾讯等。
测试内容
LPerf推理测试v0.5有五个标准，包括图像分类（ResNet50）、目标检测（ResNet34、、机器翻译（GNFT）等任务。
更值得一提的是，所有基准都是单流模式（一个客户端使用一个源）、多流模式（一个客户端使用多个源）、服务模式（实时每秒跟踪查询一次）、准备了四个脱机模式（不受实时限制的服务器）计划。
这些模式将测试分解为客户端和服务器两部分。
LPerf推论标准用于衡量经训练的神经网络在不同级别的设备（物联网、智能手机、PC、服务器）、各种应用（自动运行、NLP、计算机视觉）上处理新数据的速度。
测试结果与PC硬件性能的梯子图相似，从嵌入式设备和智能手机到大型数据中心系统，覆盖了性能差为4位、功耗差为3位的设备。
国产芯片获得了冠军
在所有测试的芯片中，英伟达在四种情境中以一加速器取得了最好的成绩。
在mobilenet-v1、resnet-50v.1.5和GNMT五项任务中，英伟达图灵架构芯片在服务器、离线两种模式下都能发挥最佳性能。
值得注意的是，前不久在阿里平头哥上发表的AI推理芯片【含光800】以多个基准获得了1芯片性能第1名。
含光800参加了适合图像分类任务的Resnet 50v1.5基准，在4个场景中取得了1芯片首位的成绩。
离线模式下测试的是芯片推理的最大吞吐量，最能考验芯片计算、存储、通信等基本技能。含光800的成绩为69306.60IPS，1芯片性能为谷歌TPU v3的8.5倍，Nvidia T4的12倍。
关于MLPerf
LPerf是获得图灵奖的DavidPatterson与谷歌和几所著名大学共同于2018年开始的，是衡量机器学习软件和硬件性能的业界第一个通用标准。
LPerf基准财团有谷歌、微软、Facebook、阿里巴巴等企业和斯坦福、哈佛、多伦多大学等大学等50多家企业加盟。
LPerf今年夏天发布了AI培训测试标准，而近日发布的MLPerf Inference v0.5是该公司发布的第一个AI推理测试标准。
mlperf推理测试结果：https：//mlperf.org/inference-results/