鄢贵海：DPU发展中的四个关键问题

鄢贵海中国计算机学会芯片大会的DPU主题报告

DPU概念诞生之初，人们对此进行了讨论。rdquo ;但是，后来我们发现，仅凭定义还不能解释DPU能够做什么，发挥什么作用，能够更好地与现有系统协同工作。本文讨论DPU发展中的四个重要问题：什么是DPU？DPU可以标准化吗？DPU产业化面临哪些挑战。还有没有ldquo中国方案rdquo；？有些问题还很难给出正确的答案，但我想抛砖引玉，引起大家的关注。

什么是DPU？

DPU是新发展的专用处理器的一种，但对DPU的解释并不像以前的处理器那样容易ldquo。不用说。例如，在GPU中，只要问名字就知道是什么。名称是定义。类似地，还有数字信号处理器DSP、深度学习处理器NPU等。其实，CPU也是一个意义不明的概念，ldquo；中间rdquo；这是什么意思，大约50年前也没怎么讨论过。但是，CPU必须做什么，在系统中的作用是什么，确实是比较清楚的mdash、mdash；这其实才是最重要的问题。比较而言，所谓ldquo；定义rdquo反而不那么重要。简而言之，DPU的参考结构是什么，可以处理什么类型的负载，如何集成到现有的计算系统中是开发DPU需要解决的重要问题。

DPU是用于基础架构层的数据处理单元。因此，Intel也将自己的DPU设为ldquo、IPUrdquo；。在这种情况下，除了应用层之外，基础结构层是用于提供物理或虚拟化资源以及提供基础服务的逻辑层。其实这个概念很好理解，从我们先拥有的计算系统的宏观逻辑层面来看，它本身就被人为地分为基础设施层（IaaaS）、平台层（PaaS）、软件层（SaaS），顶层就是应用层。从微观上看，更清楚。基础层主要与硬件资源交互，包括抽象硬件功能的组件、网络、存储、服务器等。从优化技术的角度来看，越是基础层的组件越倾向于性能优先，存在更多的ldquo。机器依赖性rdquo；、上层优化越以生产效率为导向，通过分层封装，屏蔽底层差异，对用户透明。

DPU是面向基础架构层的数据处理单元

因此，现有数据中心的CPU、GPU和路由器、交换机不能继续为ldquo。基础架构层数据处理单元rdquo？计算系统研究，ldquo；优化rdquo；的研究。现有的基础设施不是做不到，而是不够好。优化rdquo；。没有新技术的发明和引进，最终需求与供给之间的矛盾将越来越突出。

DPU的出现首先要解决的是网络数据包处理问题。以往，双层网络的数据帧由NIC处理，在CPU上动作的OS中的内核协议栈中处理网络分组的收发问题。如果网络带宽相对较低，则此开销不是一个很大的问题，即使是中断开销也可以接受。然而，随着核心网的发展，集成网向100G、200G发展，接入网也达到50G、100G后，CPU将无法提供足够的计算能力来处理数据包。我们发现了一种叫做ldquo的现象。降低性能带宽增长率rdquo；简而言之，CPU的性能由于摩尔定律的减速，性能增速也放缓了，但由于网络带宽增速是由于应用丰富、数据中心规模扩大和数字化进展的驱动，增速反而更为迅速这进一步加剧了服务器节点上CPU的计算负担。

另一个例子是云计算场景中的核心应用、虚拟机之间的数据传输问题，即OVS。通常，20个VM需要消耗的计算力，在Xeon的多核CPU中处理时，需要5个核的计算力mdash。mdash;这确实是一笔很大的开销。

另外，当前系统结构实际上不是为了处理网络数据而产生的，为了更有效地管理本地资源、支持多用户、并行多任务、本地安全、适当地同时执行必须分割不同特权指令的执行和访问权限，采用复杂的中断机制。这些机制对于高带宽网络、随机接入和高并发收发的场景效率不高。因此，现有技术开发了用户状态访问机制，直接绕过操作系统的内核状态，用轮询代替中断来处理IO操作。基于这些当前系统的ldquo；维修rdquo；的权宜之计，本质上古典技术不是在新场景中的适应。

为了更好地理解DPU在系统中的作用，利用经典的计算系统模型，系统可按逻辑功能分为三部分：1、数据平面（Data Plane），定义为数据分组分析和处理的数据通路代表计算和数据密集的功能部分；2、定义控制平面（Control Plane）、为输入输出数据流提供和配置数据平面的算法集合，代表资源调度、系统配置、链路构建等控制密集的功能部分。此外，该行业通常添加了第三个级别（即3、管理平面（Mgmt.Plane），它代表周期性或偶然性的部分应用程序，例如系统监控、故障安全和在线修复。其实这也是ldquo；软件定义网络SDNrdquo；方法学下的划分。如果将一个城市的路网基础设施比作SDN，则其ldquo是一条横向交叉的道路。数据平面rdquo；其路网密度和宽度决定了路网流量的上限，所有交通灯及其控制系统都是其ldquo。控制平面rdquo；、其控制算法优劣，布局位置的合理程度决定了交通流量的实际容量，各种测速点、流量监控、临时交通管制、事故拥堵诱导等就是其ldquo。管理平面rdquo；。此基础架构允许不同的用户应用不同的车辆（相当于用户的应用程序）来部署运输服务。

对于不同的平面，它们在并行性、性能、灵活性和可靠性等属性上有很大差异。对于数据平面，突出的要求是性能，通过开发数据级、线程级、任务级并行度、高度定制的专用计算单元，所有优化设计都是性能指南。对于控制平面，主要要求通用灵活，便于将使用权作为控制数据平面的把手传递给用户。管理平面功能主要安全、可靠、易于使用，便于系统状态监测、维护，便于自动运行维护等机制的实施。

为什么从这三个平面来看DPU在系统中的作用。因为这三个逻辑平面反映了DPU设计时需要关注的内容。有人单纯理解DPU给CPUldquo。负rdquo；、将DPU作为NIC的ldquo的变种rdquo；，将DPU视为用简单算法硬件化的载体，ldquo；头脑简单，四肢发达的rdquo；的形象显示人，属于单纯追求强数据平面、弱控制面的设计。比较典型的数据加密、图像转码专用卡、AI加速卡等，这是异构计算的ldquo。1.0时代rdquo；。

重新审视系统功能的运营商分布，您会发现DPU不仅仅是一个加速器，而是一个与CPU全方位匹配的关键组件。传统的经典计算系统，被称为类型I（Type-I）是主机端负责所有管理、控制和数据方面的功能，是异构计算发展首先带动的ldquo、牛鼻rdquo；由于数据密集、计算密集的算法加速，主要卸载的是数据面的计算负荷，但几乎不涉及控制、管理，被称为类型II（Type-II）典型的特征之一是只能从主机端发现该计算设备，但不便于设备的状态、启动、停止、任务分配等。随着智能网卡等形态产品的出现，设备端除了增强了数据方面的优势外，还出现了完整的控制面功能，被称为类型III（Type-III）ARM控制器，运行轻量级操作系统来管理板卡上的资源，这也是目前常见的类型。另外，在最后一类中，Type-IV由DPU承担所有数据面、控制面、管理面的功能，但HOST侧并不那么重要。这被认为是DPU的最终形式，即完全以DPU为中心的计算系统的构筑。不久前，阿里云发布的CIPU（Could Infrastrucutre Procesing Unit）宣布将取代CPU成为下一代云计算的核心硬件，可以说是把DPU推上了舞台中心，争议颇多，但这或许正是DPU发展的方向。

让我们看看DPU具体要做什么。它将DPU工作的场景分为网络、存储、计算和安全四个方向。这四个方向实际上存在依赖关系，在该图中，具有相邻关系的部分表示一定的依赖关系。与计算部分相关的PaaS内容很多，网络部分多为IaaS层，存储、安全性多为IaaS层和PaaS层。覆盖该分类图的许多场景是当前DPU各厂商努力的目标。

DPU功能场景

为了实现这一功能，我们可以通过我们开发的第二代架构的DPU产品结构来体现。该架构有若干创新功能单元，如NOE，是传统TOE的升级版。DOE是一种高效的管理芯片上高速缓存数据结构，专门用于加速数据查询和DOMS。其他创新结构包括FlashNOC芯片上互连技术、特定IO DMA单元等。

最后，说到DPU发展最大驱动力，还是来自需求方。数据中心架构的发展趋势，从20年前集群的本地部署，到10年前的云化资源，再到现在云的原生阶段。基础设施层越来越厚重，下面是硬件资源池化增强，上面是ldquo；XaaSrdquo;，即ldquo；全部都可以服务化。K8S等系统成为新的ldquo。操作系统rdquo；服务网格成为新的网络化应用开发的基础，集DevOps开发运用与维护于一体hellip、hellip；ldquo ;生产效率rdquo；在提高的同时，直接产生了计算力的需求，特别是IaaS和PaaS层的计算力需求mdash。mdash;这也是DPU的主战场。

DPU可以标准化吗？

在回答DPU是否可以标准化之前，必须明确标准化的确切含义是什么，为什么要标准化。我认为DPU的标准化有两个方面。DPU体系结构能否标准化将影响DPU的研发成本问题。DPU的应用能否标准化，将影响DPU的应用生态问题。

一般认为DPU都是专用处理器，但既然是ldquo，那么专用rdquo；，那么不可避免的采用ldquo；定制rdquo；可以实现，一旦ldquo；自定义rdquo；那么标准化rdquo；因此得出了DPU没有产业化价值的简短结论。

其实专用化、定制化、标准化这三个概念，并没有直接的因果关系。

专用化强调根据需要的刚性应用场景。定制是技术实现的路径选择，始终是创新和核心技术的ldquo。发祥地rdquo；。标准化是为了降低边际成本，通常是通过构建或融合产业生态，创造规模效益，实现创新技术的价值。

例如，GPU无疑是ldquo。专用rdquo；由于图形图像这一信息的交互方式是绝对必要的，因此在处理器、GPU中，通过定制实现光栅操作处理器（ROP）、纹理处理器（TPC）等的高度定制的功能单元、以及超大规模的数据集同步并行处理技术均通过面向像素级的海量数据处理的定制技术，最终通过OpenGL、DirectX等图形操作API、CUDA的通用编程框架进行标准化。所以，ldquo；专用rdquo；ldquo ;通用rdquo；比人低一级，ldquo；定制rdquo；此外，还可以解决应用程序所需的技术选择。

去年，我们在中国计算机学会通信上发表了“DPU：以数据为中心的专用处理器”的报道。其中有一张图反映了当前一些处理器的特征分布。从功能导则可以分为计算密集vs.IO密集，从结构设计到控制为中心和数据为中心，你会发现目前DPU所处的分布区域，确实存在一定的空白。简而言之，如果其他三个地区都有产业化框架，那么DPU所属的地区也应该没有不能产业化的道理。

我们的团队对DPU的标准化也做出了一些贡献。首先，组织了行业首个对DPU功能集和DPU应用场景进行较为全面描述的DPU技术白皮书，提供了通用的DPU设计参考模型。今年我们根据过去编写了第二份技术白皮书，作为今后细化应用设计基准测试程序的参考，我们关注从DPU参考设计转向DPU性能评估方法。

我认为DPU的标准化不是目的而是过程。标准化进程与市场化程度互动较大。因子