原创遵命全球最厉AI测试,性能飙升三倍!浪潮AI服务器如何做到?

时间:2020-10-27 04:25 点击:164

原标题:遵命全球最厉AI测试,性能飙升三倍!浪潮AI服务器如何做到?

智东西(公多号:zhidxcom)

文 | 信仪

智东西10月26日报道,在近来公布的全球“最厉格”AI基准测试MLPerf收获榜单中,浪潮倚赖自研的AI服务器NF5488A5打破了18项推理性能纪录,成为打破纪录最多的AI服务器,成功问鼎AI“机王”。 在焦点赛道ResNet50基准性能测试中,NF5488A5以54.9万/秒的推理性能问鼎,相比2019年榜单服务器全球最好收获性能升迁高达3倍。

▲浪潮NF5488A5创造18项MLPerf推理性能纪录

此前,MLPerf训练榜单于今年7月公布,NF5488A5仅用时33.37分钟就完善了ResNet50模型基于ImageNet 数据集的训练义务,单机性能高居榜首。自此,浪潮AI服务器NF5488A5在今年的MLPerf基准测试中取得了训练、推理双料冠军。

浪潮技术负责人对智东西说:“NF5488A5这样高倍的性能的升迁要取决于硬件和柔件两个层面。而对于技术的团体升级来说,倘若想要把硬件性能十足发挥出来,不是说单颗芯片好就够了,这对于整个服务器来说是一个体系优化的工程。”

▲浪潮AI服务器NF5488A5

被视为全球最权威的AI柔硬件基准测试MLPerf到底是一个怎样的存在?浪潮在MLPerf中挤进“破纪录冠军”走列有何意义?浪潮又是如何从Intel、NVIDIA、DELLEMC等大佬云集的参赛队伍中脱颖而出的?

浪潮是如何“特出重围”在MLPerf中问鼎AI“机王”的?智东西与此次浪潮参与MLPerf项现在标技术负责人进走了深入对话,解构出浪潮AI服务器飞速“成长”背后的故事。

一、打破18项推理性能纪录, 新一代AI服务器成最大焦点

在“扒开效果望过程”之前,吾们最先必要清新:MLPerf是什么?MLPerf的冠军,到底厉害在哪?

▲MLPerf官网首页

现在,AI的行使日好复杂化、多样化,一方面,AI芯片、体系厂商纷纷给出差别的标准,以证实其产品在计算性能、单位能耗力等方面处于走业领先程度;同时,用户更关心的则是如何能从厂商给出的新闻中判定出AI算力是否能实际已足其切实场景的需求。

所以,2018年5月全球AI基准测试构造MLPerf推出了MLPerf基准测试。MLPerf基准测试是业内首套衡量机器学习柔硬件性能的通用基准,即测试深层神经网络在差别量级的设备(物联网、智能手机、PC、服务器)、各栽行使(自动驾驶、NLP、计算机)上的计算性能。

MLPerf由图灵奖得主大卫·帕特森(David Patterson)于2018年说相符企业及高校成立。MLPerf基准联盟现有 50 多家成员,包括谷歌、微柔、Facebook、阿里巴巴、浪潮等企业,以及斯坦福、哈佛等高校。本次参赛团队共计 23 家,包含 Intel、NVIDIA、DELLEMC、Lenovo、QCT(广达)、Fujitsu、Gigabyte(技嘉)等。现在业内最具权威性的AI基准测试非MLPerf莫属。

MLPerf基准测试分为封闭模型分区(Closed Model Division)和盛开模型分区(Open ModelDivision):

封闭模型:请求操纵相通模型和优化器,并节制超参数的值等,衡量的是联相符深度学习模型及对答的训练/推理过程在差别柔硬件上的性能,考察的是柔硬件体系优化的能力。

盛开模型:铺开了对深度学习模型及精度的收敛,只节制操纵相通的数据解决相通的题目,模型或平台都不会节制,偏重于深度学习模型及算法优化的能力,旨在推进ML模型和优化的创新。

今年的MLPerf基准测试包括四大场景类别,别离针对:数据中央、边缘端、移动端和notebook端。其中,浪潮最新自研AI服务器NF5488A5打破了18项纪录,成为榜单中打破纪录最多的AI服务器。

▲原首测试收获外格

▲各服务器厂商的数据对比图外(蓝色为浪潮NF5488A5数据)

在数据中央场景下的16项基准测试性能指标中:对于封闭模型测试义务分区,浪潮打破了11项整机性能纪录,NVIDIA打破4项纪录(2项与浪潮并列)、QCT打破3项纪录;盛开模型分区的6项测试中,浪潮打破2项纪录,NVIDIA打破1项纪录。

在边缘端基准测试中:对弈封闭模型测试分区,NVIDIA打破14项纪录,浪潮打破3项纪录;盛开模型分区的4项测试中,浪潮打破2项纪录,DELL打破1项纪录。

▲浪潮NF5488A5在数据中央和边缘端场景基准测试打破性能纪录次数

在此次基准测试中,浪潮AI服务器NF5488A5在盛开优化(Open)和固定义务(Closed)的ResNet50基准性能测试中,均外现卓异。在焦点赛道ResNet50基准性能测试中,NF5488A5外现出了54.9万/秒的推理性能,相比2019年MLPerf推理榜单的全球最好收获性能升迁高达3倍。

▲MLPerf ResNet50推理性能2019 VS 2020对比

在短短一年的时间内,这样高倍的性能升迁令人惊叹,而更让人造之称奇的是,NF5488A5已经量产,并非仅行为高端产品参与测试。

1年时间,18项纪录,3倍性能升迁,这些数字不止赞成着浪潮新一代AI服务器在MLPerf中问鼎AI“机王”,也代外着浪潮AI服务器在技术积累上的优裕底气。

二、是单个柔硬件的性能PK,也是整机体系优化的性能考验

NF5488A5是浪潮在MLPerf中大展光彩的“功臣”。NF5488A5单机训练性能可达5 PetaOPS,相比浪潮上一代服务器计算性能升迁234%。

在最新公布的 MLPerf推理测试榜单中,浪潮NF5488A5问鼎 AI 推理基准测试 18项纪录,周详遮盖图像分类、现在标检测、自然说话理解、智能选举等场景。其中在ResNet50模型推理义务处理达到每秒处理54.9万多张图片的推理性能;Bert 自然说话理解推理义务达 26675 条/秒;DLRM 智能选举每秒推理处理能力达 210 万条。

在7月 MLPerf公布的训练测试榜单中,NF5488A5仅用时33.37分钟,就在包含 128 万张图片的 ImageNet数据集上完善ResNet50模型的训练,相等于每秒训练 23000多张图片,单机计算性能高居第一,可谓是最快人造智能训练服务器。

NF5488A5是此次MLPerf全球竞赛中唯一能够在4U空间内声援8块安培架构A100芯片实现NVLink高速互联的AI服务器。

浪潮NF5488A5在体系拓扑上采用了超矮延宕设计,声援PCIe 4.0全链路极致优化,高频通信单元采用优等拓扑近来连接,最大限度升迁处理器到AI芯片间的通信性能。

同时,始末配置NUMA节点,确保每颗处理器与其直连的GPU之间通信性能最优,最大限度降矮通信延宕。此外,NF5488A5始末深度优化体系结构设计,确保设备可在高环温下安详运走。

在用户体验方面,用户会在安详性和性能两方面体会到浪潮最新一代AI服务器的差别。即使在35摄氏度的环温下,NF5488A5也能安详高性能的运走。NF5488A5是一款通用服务器,能够声援各类通走的AI行使场景,如计算机视觉、语音识别、智能客服等。

三、体系优化是中央竞争力

早在今年4月,浪潮首席科学家王恩东挑出了“智算中央”的概念,并外明围绕智算中央打造AI算力生产、聚相符、调度、开释的四大关键作业模式。

▲浪潮首席科学家王恩东挑出“智算中央”

浪潮技术负责人对智东西说:“倘若要想把硬件性能十足发挥出来,仅考虑芯片的性能是不足的,必要考虑服务器体系优化。以A100 GPU为例,将8块A100 GPU都放在一个服务器中,倘若不解决它的散炎题目,GPU能够运走几分钟频率就降下来了,行使性能就会很糟糕。此外,GPU之间、CPU与GPU之间的互联、内存等都会对深度学习的推理和训练性能有比较大的影响。浪潮现在在服务器整机的设计优化能力是业界领先的。”

从2012年浪潮初步布局AI服务器,到2017年4月浪潮成立AI&HPC产品部并正式迈入AI产业,再到今年浪潮的AI服务器创造了全球最快性能纪录,8年的时间,这其中的每一个脚印都印刻着浪潮在硬件、柔件及整机上的技术积累。

结语:AI服务器落地两步走

浪潮NF5488A5 AI服务器一举打破 18 项 MLperf 推理性能纪录,展现出吾国自立服务器头部玩家在AI这条路上越走越宽、越走越稳。

在浪潮望来,AI算力的多元化声援将会是AI服务器发展的一个重要趋势。AI产业现在正处于落地阶段,最先要将AI算法赋能到用户的实际营业场景中,随后始末柔硬件协同优化不息升迁用户的AI行使性能。

从浪潮在 MLperf 中的外现来望,浪潮已在产业AI化中占有了有利位置,吾们也憧憬浪潮与其他玩家一首添速推进产业AI化进程。


当前网址:http://www.ahtqwp.tw/tangchaotvkanpianhezi/211239.html
tag:性能,浪潮,5488,基准,服务器,测试,纪录,推理,打破,

发表评论 (164人查看0条评论)
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
昵称: 验证码:点击我更换图片
最新评论

Powered by 唐朝tv @2014