LCommons公司于北京时间9月9日发布了最新的MLPerf2.1基准结果。新基准得到了约5300个性能结果和2400个电力消耗量测定结果，与上次相比分别提高了1.37倍和1.09倍。LPerf的适用范围进一步扩大了。阿里巴巴，asus，Azure，墙仞科技，戴尔，富士通，技嘉，H3C，HPE，波，intel，Krai，联想，Moffett，Nettrix，Neural Magic，nvidia，OctoML，qualcommSAPEON和Supermicro是这个测试的贡献者。其中，nvidia的表现依旧，首次携H100参加MLPerf测试，在所有工作负载上刷新了世界纪录。H100刷新了世界纪录，与A100相比性能提高了4.5倍NVIDIA于今年3月发布了以新架构NVIDIA Hopper为基础的H100GPU，与2年前发布的NVIDIA Ampere架构相比，实现了惊人的性能提高。黄先生说GTC2022将使20个H100GPU能够提供与全球互联网相媲美的流量，让客户能够提供先进的评测系统和实时执行数据推理的大型语言模型。AI运营商期待的H100，预定2022年第3季度正式发货，现在正在接受预约。因为还不知道用户的实际使用情况和H100的性能，所以可以用最新一轮的MLPerf测试分数事先感受H100的性能。本次测试比较了Intel Sapphire Rapids、Qualcomm Cloud AI 100、Biren BR104、SAPEON x220-enterprise。NVIDIA H100不仅提出了数据中心的6种神经网络模型的全部测试成绩，而且在单服务器和离线两方面在吞吐量和速度上都显示了优势。H100与NVIDIA A100相比，MLPerf模型中规模最大、性能要求最高的模型之一的自然语言处理用BERT模型的性能提高了4.5倍，其他5个模型的性能也提高了1~3倍。H100在BERT机型上的出色表现得益于Transformer Engine。在其他同样提交了实绩的产品中，只有Biren BR104在离线场景下的ResNet50和BERT-Large模型中达到了NVIDIA A100的一倍以上的性能提高，其他提交了实绩的产品没有超过A100的性能。另一方面，在数据中心和边缘计算类别的场景中，A100GPU的测试分数正在奋斗，NVIDIA的AI软件的进化，与2020年7月出道的MLPerf相比，实现了6倍的性能提高。追求AI的通用性，用测试分数覆盖所有AI模型的用户，在实际应用中需要让很多不同类型的神经网络协同工作。例如，一个AI应用程序需要不同的AI模型，包括了解用户的语音请求，对图像进行分类、建议，并用语音进行响应。因此，MLPerf基准测试涵盖了计算机视觉、自然语言处理、评测系统、语音识别等热门AI工作负载和情境，让用户能够可靠、灵活地确保部署的性能。也就是说，被提交的测试成绩覆盖的模型越多，成绩越好，AI的通用性就越高。在本次测试中，nvidia AI也是唯一能够在数据中心和边缘计算中执行所有MLPerf推理工作负载和方案的平台。在数据中心，我们从A100和H100两方面提交了6个模型测试的成绩。在边缘计算方面，NVIDIA Orin执行所有MLPerf基准测试，是所有低功耗系统级芯片中测试最多的。Orin是将NVIDIA Ampere架构的GPU和Arm的CPU核心集成到一个芯片中，主要用于机器人、自主设备、医疗设备、其他边缘循环计算。Orin目前用于NVIDIA Jetson AGX Orin开发者工具包以及机器人和自主系统生成建模，支持完整的NVIDIA AI软件栈，包括自动驾驶汽车平台、医疗器械平台和机器人平台。与4月在MLPerf出道时相比，Orin的能效提高了50%，与上一代Jetson AGX Xavier模块相比，其运行速度为5倍，平均能效为2倍。追求通用性的NVIDIA AI，受到业界广泛的机器学习生态系统的支持。本次基准轮共有70多份提交结果在NVIDIA平台上执行。例如，微软Azure将提交NVIDIA AI在其云服务上运行的结果。