进阶挑战：eRDMA加速
王志坤解释，以前，企业在云上大多数使用的是软件定义的VPC网络，使用TCP/IP协议。VPC网络的优势在于有高兼容性、弹性灵活。然而，随着互联网数据量指数级膨胀，数据中心分布式计算的规模越来越大，而大规模集群间大量数据传输的开销也越来越大，给CPU带来的负载也随之加重，对网络延时与带宽提出了更高要求。这也是云厂商需要重点发力的方向。
那么在阿里云IaaS层，用户如何具备软件定义网络的灵活性，又获得大带宽、低延时的网络能力？
这便要提到阿里云CIPU所独有的eRDMA大规模加速能力，相较于传统TCP网络，eRDMA具有更高性能，网络延时低至8微秒。
RDMA协议栈在高性能领域里较好，它将CPU很多工作释放出来，使得CPU更加专注于业务处理，但RDMA具备较高的使用门槛，这是为什么RDMA网络主要应用在高性能计算领域。
阿里云通过自研的eRDMA的软硬件技术和协议栈，提供了TCP到eRDMA协议一键转换的用户态接口协议和内核态接口协议，让用户非常便捷地在互联网架构中使用起来。目标不仅仅是提供高性能的基础设施，并且要降低它的使用门槛，简化接口协议，最大化兼容客户已有软件，极大降低改造成本。
基于CIPU，eRDMA与云上VPC共享同一张网络，用户可以随开随用具有eRDMA能力的实例；Redis、Spark、AI、HPC等应用可通过阿里云提供的接口，即可一键适配，最大程度降低企业的使用难度。在Spark大数据场景，eRDMA能够提升10%的计算性能；在Redis KV数据库场景，eRDMA提升混合读写的100%的吞吐量。
从技术上，2021年已经自研出eRDMA，为何等到这次第八代ECS的发布才说“标志eRDMA能力的全面商业化”？
王志坤表示，在这两年时间里，阿里云在内部业务做了eRDMA大量试点，并花费很多工作帮助来打通“最后一公里”，帮助建设eRDMA生态和完善应用适配，从而更有信心让外部用户受益。
传统 RDMA 要有专用硬件设备来单独组网，不仅规模受控，而且弹性能力相对云上较差。阿里内部的云数据库有RDMA的降本诉求，于是率先试用 eRDMA，经真实业务的验证，相对不开启eRDMA，Redis单流混合读写的性能至少提升一倍，极大地提升产品的竞争力。
另外，在某大型企业的语音训练场景，由于分布在不同的地域和终端，传统 RDMA组网很难在多地域同时组建起专用网。在语音训练场景里，eRDMA帮助该企业提升整体性价比，比传统TCP、VPC技术提升了将近30%。
场景化加速器，带来高性价比
除了自研eRDMA能力，阿里云积极携手合作伙伴英特尔来打磨和丰富产品能力。第八代ECS搭乘第四代英特尔®至强®可扩展处理器，单核通用算力提升的基础上，提供多种硬件原生加速能力，其中AI领域，深度学习训练场景性能提升2倍以上，推理性能提升4倍，加解密、压缩/解压缩等场景下性能提升4倍以上，在统一技术架构下获得更好的场景化性能扩展性，为用户提供超高的性价比。
姬少晨介绍道，以内置加速器高级矩阵拓展AMX为例，可以大幅提升深度学习、训练、推理的性能。AMX集成调优功能，支持中小型深度学习训练模型，能进一步提升CPU上的深度学习与训练性能，将PyTorch实时推理和训练性能提升10 倍，将大型语言模型的处理速度提升多达 20 倍。
AMX理论上是芯片的特性，但在第八代ECS最终在云上给用户的是实例，如何将这部分的能力透传到上层的虚拟机，而不单纯是物理机上？对此，阿里云和英特尔做了很多努力，最终成功在第八代ECS融入AMX能力。例如国内某大型的社交平台，在搜推广的场景中，理论上用GPU来训练、推荐就够了，然而其推荐系统使用Wide & Deep模型权重稀疏，如果直接用GPU的话效率很差。通过第八代ECS，同时将CPU和GPU的工作放在一个实例里跑，大幅提升效率。
其次，数据保护与压缩加速技术QAT可通过卸载加密、解密和压缩释放处理器内核，降低系统资源消耗，让系统能支持更多客户端运行。如果用户有加解密、压缩解压缩的诉求，可以单独买一个QAT加速卡放到服务器，之前有用户提出能不能在实例上给“插个卡”，但是在公有云单独“插个卡”的话，难度较大。其次是如果规模不够大的话，很难提供一致性、弹性、吞吐能力。第八代ECS将QAT能力提升到芯片里，不需要额外插卡。据姬少晨介绍，在极限情况下，压缩/解压缩的性能能提升70倍。
另外，存内分析加速器（IAA）、数据流加速器（DSA）加速器，在逻辑推理推广、大数据、数据库、等多种场景里，均能大大提升第八代ECS性能。
