NVIDIA推出液冷A100GPU，“手持服务器-正式模块即将推出”

来源：智物

2022年在台北国际电脑展（Computex）上，英伟达宣布推出液冷A100PCIe GPU，以满足客户对高性能碳中和数据中心的需求。这是主流服务器GPU的第一个案例。

与此同时，NVIDIA多家大型厂商采用了全球首个基于NVIDIA自研数据中心CPU的系统设计，30多家全球技术合作伙伴在Computex发布了首款基于NVIDIA Jetson AGX Orin的边缘AI和嵌入式计算系统。

目前，NVIDIA正围绕CPU、GPU、DPU这三大数据中心芯片支柱全面发展，帮助其合作伙伴构建实现新数据中心转型，打造现代AI工厂。这里，CPU管理整个系统的操作，GPU提供核心计算能力，DPU处理安全的网络通信，提供网络内置计算能力以优化整体性能。

NVIDIA硬件工程高级副总经理Brian Kelleher表示，NVIDIA将每个芯片架构的更新节奏设定为两年，一年专注于x86平台，一年专注于Arm平台，无论客户和市场偏好如何NVIDIA架构和平台表示支持x86和Arm。

NVIDIA加速计算业务副总裁Ian Buck表示，如果全世界的AI、高性能计算和数据分析工作负载都在GPU服务器上运行，NVIDIA预计每年可以节省超过12兆瓦的电力，相当于每年减少200万辆汽车的移动。

一、液冷GPU：同等性能，较少功耗

液冷技术诞生于大型机时代，成熟于AI时代。目前，液冷技术以Direct-to-Chip冷却的形式广泛应用于世界高速超级计算机。AI推理和高性能计算中NVIDIA GPU的能效比CPU高出20倍，加速计算也将采用液冷技术。

NVIDIA估计，将运行AI和高性能计算的全球CPU服务器切换到GPU加速系统，每年可节约高达11兆WHr的能源。节省的能源可供150多万套房屋使用一年。

NVIDIA今天发布了率先采用直接芯片冷却技术的数据中心PCIe GPU。该液冷GPU可在减少能耗的同时保持性能，目前已进入试用阶段，预计将于今夏正式发布。

管理超过240个数据中心的全球服务提供商Equinix正在验证A10080GB PCIe液冷GPU在数据中心的应用，该公司是实现可持续冷却和热捕获的综合解决方案的一部分。

在个别测试中，Equinix和NVIDIA发现采用液冷技术的数据中心工作负载等同于风冷设施，耗能减少约30%。NVIDIA估计液冷数据中心的PUE可能达到1.15，远低于风冷PUE 1.6。

在空间相同的条件下，液冷数据中心可以实现双倍的计算量。这是因为A100GPU只使用一个PCIe插槽，空冷A100GPU需要使用两个PCIe插槽。

今年下半年，华硕、新华三、浪潮、宁畅、超微、超融合等至少十几家系统厂商将在其产品中使用液冷GPU。

据悉，NVIDIA计划在明年发售的A100 PCIe卡的第1版上搭载基于NVIDIA漏斗架构的H100 Tensor酷睿GPU。NVIDIA最近计划在自己的高性能数据中心GPU和NVIDIA HGX平台上应用液冷技术。

二、明年上市基于NVIDIA Grace CPU的数十款服务器

Grace是NVIDIA第一个专门用于AI工作负载的数据中心CPU。该芯片预计明年上市，将提供两种外形规格。

上图左侧的Grace-Hopper是用于加速大型AI、高性能计算、云和大规模工作负载的单一超级芯片模块，在Grace CPU和Hopper GPU之间实现芯片级直接连接，CPU和GPU通过带宽达900GB/s的互连技术NVLink-C2C进行通信。

Brian Kelleher表示，Grace将以比其他CPU快15倍的速度向Hopper传输数据，并将Hopper的工作数据大小增加到2TB。

此外，NVIDIA还提供了两个Grace CPU芯片通过NVLink-C2C互连的Grace超级芯片。Grace超级芯片拥有144个高性能Armv9CPU内核，内存带宽可达1TB/s，能效是现有服务器的两倍。在包括1TB内存的整个模块中，功耗仅为500W。

NVIDIA除NVILink-C2C外，还将于今年年初发布，支持其发展完善的chiplet标准UCIe。

今天，NVIDIA发布了针对标准数据中心工作负载的四种Grace参考设计：1、适用于云游戏CGX，2、适用于数字孪晶和OMniverse的OVX，3、适用于高性能计算和超级计算的HGX，4、适用于AI训练、推论和高性能计算的HGX。

随后，NVIDIA发布了HGX Grace和HGX Grace Hopper系统，提供Grace Hopper和Grace CPU超级芯片模块及其相应的PCB参考设计。都是为OEM2U高密度服务器机箱设计的，NVIDIA合作伙伴可以参考并修改。

华硕、富士康工业互联网、GIGABYTE、QCT、Supermicro、Wiwynn数十款服务器型号的Grace系统预计将于2023年上半年开始发货。

三、第一批Jetson AGX Orin服务器及设备发布

NVIDIA Isaac机器人平台有四个支柱。一是创建AI，二是在虚拟世界中模拟机器人操作，在现实世界中尝试，三是构建实体机器人，四是管理部署的机器人队列的整个生命周期。

在构建和部署现实世界实体机器人方面，NVIDIA Jetson成为一个适合边缘和机器人的AI平台，100多万开发人员、150多个合作伙伴、6000多家公司将Jetson用于量产。

Jetson AGX Orin采用NVIDIA Ampere Tensor Core GPU、12个Arm Cortex-A78AE CPU、新一代深度学习和视觉加速器、高速接口、更快的内存带宽、多模传感器，每秒可提供275万亿次运算性能，相当于一台“手持服务”。

在销钉兼容性与外形尺寸相同的情况下，其处理能力超过上一代产品NVIDIA AGX Xavier的8倍。

Jetson AGX Orin开发者套件从3月开始通过经销商在全球上市，生产模块从7月开始以399美元的价格上市。Orin NX模块的尺寸仅为70毫米×45毫米，将于9月上市。

面向边缘AI和嵌入式计算应用、研扬、凌华、研华等全球30多家NVIDIA合作伙伴，在Computex上发布了基于NVIDIA Jetson AGX Orin的首个生产系统、覆盖服务器、边缘设备、工业PC、载体板、AI软件等品种。

这些产品提供无风扇和风扇配置，提供各种连接和接口选项，为机器人、制造、零售、运输、智能城市、医疗等重要经济部门和增强型应用程序添加合适的规格。

为了加快AMR的发展，NVIDIA还推出了针对AMR的先进计算和传感器参考设计Isaac Nova Orin。

Nova Orin由两台Jetson AGX Orin组成，支持两台立体相机、四台广角相机、2d骑手、一台3D骑手、八台超声波传感器等各种传感器，参考架构将于今年晚些时候上市。

Jetson平台还全面支持NVIDIA软件。NVIDIA软件平台参与，以满足特定用例的需求。包括用于机器人的NVIDIA Isaac Sim on Omniverse、用于构建语音AI应用程序的GPU加速SDK Riva、AI多传感器处理、用于视频、音频和图像理解的流式分析工具包DeepStream等。并且，通过整合视觉数据和AI，提高业界运营的效率性和安全性的应用框架，开发人员工具群和合作伙伴生态系统Metropolis。

最后，是面向未来的AI时代的硬件霸主

从今天的一系列新发布可以看出，NVIDIA通过日益全面的基础软硬件平台优化和端到端解决方案，与合作伙伴一起为从边缘到数据中心的AI应用提供了多种技术和解决方案。

在高性能数据中心需求快速增长的今天，汽车等其他系统也越来越追求绿色低碳，显著节能的液冷技术成为越来越多的数据中心运营商迫切的方向。NVIDIA今天推出的液冷GPU，刚刚砍下双碳大势下的数据中心建设刚刚需要，为计划液冷技术转型的厂商们提供了诱人的硬件基础设施。

NVIDIA基于Arm开发的Grace CPU超级芯片和Grace Hopper超级芯片作为服务器产品引入数据中心，兼顾了AI加速和节能的需求，采用多项创新技术的新作不仅有助于NVIDIA收入来源的扩大。它还将对扩大Arm的数据中心市场发挥重要作用。

面向边缘AI和机器人领域，在首款Jetson AGX Orin生产系统建成后，开发商将借助NVIDIA不断打磨的工具和平台，降低AI开发部门的时间和成本，加快3D感知、多传感器融合等应用在各行各业的广泛应用和创新。