未来数据中心为什么需要DPU？

随着AI技术的普及，数据量越来越大，计算模型也变得越来越复杂，这对于传统数据中心来说是个挑战。

计算性能挑战与数据中心变革

众所周知，传统数据中心基于冯·诺依曼架构，在计算过程中要用到的所有数据都需要传送到GPU或CPU上，并由这个GPU或CPU来计算。在以前计算规模、数据量没有那么大的时候，冯·诺依曼架构很好地解决了提高计算性能的问题。

但如今，巨量数据在网络通信过程中，常常会受到通信模型的制约，以至于影响到整个系统性能的发展。比如，在通信过程中，要出现Allreduce、Barrier这样的多打一的通信情况时，用传统的冯·诺依曼架构的计算模型就会造成网络拥塞。这给数据中心性能提升提出了新的挑战。

从传统的冯·诺依曼架构数据中心向以数据为中心的架构转型，成为数据中心正在发生的大变革。

网络计算成为现在以数据为中心的核心计算架构的关键技术之一。“网络计算以数据为中心的新的架构，帮我们解决了这个问题。以数据为中心的新的架构意味着--数据在哪里，计算就在那里。”NVIDIA网络事业部亚太区市场开发高级总监宋庆春说，“当数据在GPU上，计算就在GPU上；当数据在CPU上，计算就在CPU上；当数据在网络中传输的时候，计算就在网络中。”通过这样的方式就可以把解决网络传输中多打一的瓶颈问题或丢包问题。典型通信延时可以从30-40微秒降低到3-4秒，性能提升10倍以上。

DPU能带来什么？

DPU的出现为以数据为中心的计算架构提供了创新思路。今年4月，NVIDIA发布了新一代数据处理器NVIDIA BlueField-3 DPU，旨在为数据中心提供强大的软件定义网络、存储和网络安全加速功能。

NVIDIA创始人兼首席执行官黄仁勋在GPU技术大会上就曾表示： “现代超大规模云技术推动数据中心从基础上走向了新的架构, 利用一种专门针对数据中心基础架构软件而设计的新型处理器, 来卸载和加速由虚拟化、网络、存储、安全和其它云原生AI服务产生的巨大计算负荷。BlueField DPU正是为此而生。”

BlueField-3 DPU可以从业务应用中将数据中心的基础设施服务卸载和隔离出来，一个BlueField-3 DPU所提供的数据中心基础设施服务可相当于多达300个CPU核才能实现的服务，从而释放宝贵的CPU资源来运行关键业务应用。

DPU能针对安全、网络、存储、AI、HPC等业务进行加速，这是DPU的第一层价值。而DPU的第二层价值在于为以数据为中心的计算架构提供了创新的思路，能够实现以前难以或无法实现的功能。

之前在以CPU为主体的系统里，所有的操作都通过CPU来实现计算性能。以OVS Open vSwitch，（分布式虚拟多层交换机的开源实现）操作为例，用CPU跑OVS的时候，它长尾延迟会非常长，而很多工作性能的好坏取决于最后一个包的到达时间，在CPU上运行OVS会消耗很多核，但包转发的效率却非常低，长尾延时成为业务性能非常大的瓶颈。如果把OVS操作放在DPU上，则可以大幅提升包转发率。此外，把OVS放到了DPU上运行，还可以实现OVS和CPU业务之间的隔离，让业务和OVS运行在两个独立的平面上，这样就可以来把业务的长尾延迟大大降低了。

离不开的DOCA

其实在去年的GTC上，NVIDIA和VMWare就宣布了共同开发Monterey项目。这是在云场景下， VMWare把它在Hypervisor里的一些功能卸载到DPU上，比如防火墙、存储、管理等，通过把业务和基础设施操作完全隔离，实现了高安全性，也实现了裸金属的业务性能。

另一个例子是英伟达与RedHat的合作。RedHat不管在数据中心运行容器还是虚拟化环境里，即便使用所有的CPU核来运行虚拟化或容器，也没有办法达到100G线速。这时，采用DPU运行Hypervisor、OVS或容器操作，可以在不消耗任何CPU的情况下以实现100G甚至200G全线速，并将CPU资源全部提供给业务。

DOCA 是专门为DPU开发的软件包，它的价值就像CUDA之于GPU一样--通过CUDA可以看到所有GPU的开发接口，可以对它做编程；DOCA通过软件定义，可以调用DPU里的硬件引擎，实现安全、网络、存储等性能的提升。

“最开始选择DPU，是因为遇到了传统服务器带宽瓶颈，我们想解决网络性能瓶颈的问题，也想降低成本。”UCloud技术专家马彦青表示。

此前，UCloud网络架构使用的是VPC网关，作为裸金属服务器之间的VPC之间划分的方法，需要很多网关服务器集群来进行管理，当跨网关的时候会有带宽瓶颈，这就意味着，集群服务器本身就带来了成本挑战。马彦青表示，DPU可以将VPC管理集成到DPU内部，包括OVS包转发以及GRE封装都可以通过DPU硬件实现，大幅提高转发效率，原来10G的网卡升级到25G后，性能也大大提升。

“当用了DPU+DOCA以后，你可以很容易在CPU消耗是零的情况下，达到400G的线速。”宋庆春说。

DPU的出现并非要替代CPU和GPU，而是更好地满足数据中心市场的需求。“3U（CPU、GPU、DPU）一体的架构将会让管理程序、调度程序都会变得非常容易。3U一体是要实现从边缘到核心数据中心，统一架构、统一管理、统一调度。”宋庆春说。