网易首页 > 网易号 > 正文 申请入驻

征服全球最严AI测试,性能飙升三倍!浪潮AI服务器如何做到?

0
分享至

  (本文系网易新闻网易号特色内容激励计划签约账号【智东西】原创内容,未经账号授权,禁止随意转载。)

  

  智东西(公众号:zhidxcom)

  文 | 信仪

  智东西10月26日报道,在最近公布的全球“最严格”AI基准测试MLPerf成绩榜单中,浪潮凭借自研的AI服务器NF5488A5打破了18项推理性能纪录,成为打破纪录最多的AI服务器,成功问鼎AI“机王”。 在焦点赛道ResNet50基准性能测试中,NF5488A5以54.9万/秒的推理性能问鼎,相比2019年榜单服务器全球最好成绩性能提升高达3倍。

  

  浪潮NF5488A5创造18项MLPerf推理性能纪录

  此前,MLPerf训练榜单于今年7月公布,NF5488A5仅用时33.37分钟就完成了ResNet50模型基于ImageNet 数据集的训练任务,单机性能高居榜首。自此,浪潮AI服务器NF5488A5在今年的MLPerf基准测试中取得了训练、推理双料冠军

  浪潮技术负责人对智东西说:“NF5488A5如此高倍的性能的提升要取决于硬件和软件两个层面。而对于技术的整体升级来说,如果想要把硬件性能完全发挥出来,不是说单颗芯片好就够了,这对于整个服务器来说是一个系统优化的工程。”

  

  浪潮AI服务器NF5488A5

  被视为全球最权威的AI软硬件基准测试MLPerf到底是一个怎样的存在?浪潮在MLPerf中挤进“破纪录冠军”行列有何意义?浪潮又是如何从Intel、NVIDIA、DELLEMC等大佬云集的参赛队伍中脱颖而出的?

  浪潮是如何“突出重围”在MLPerf中问鼎AI“机王”的?智东西与此次浪潮参与MLPerf项目的技术负责人进行了深入对话,解构出浪潮AI服务器飞速“成长”背后的故事。

  一、打破18项推理性能纪录, 新一代AI服务器成最大焦点

  在“扒开结果看过程”之前,我们首先需要知道:MLPerf是什么?MLPerf的冠军,到底厉害在哪?

  

  MLPerf官网首页

  当前,AI的应用日益复杂化、多样化,一方面,AI芯片、系统厂商纷纷给出不同的标准,以证实其产品在计算性能、单位能耗力等方面处于行业领先水平;同时,用户更关心的则是如何能从厂商给出的信息中判断出AI算力是否能实际满足其真实场景的需求。

  因此,2018年5月全球AI基准测试组织MLPerf推出了MLPerf基准测试。MLPerf基准测试是业内首套衡量机器学习软硬件性能的通用基准,即测试深层神经网络在不同量级的设备(物联网、智能手机、PC、服务器)、各种应用(自动驾驶、NLP、计算机)上的计算性能。

  MLPerf由图灵奖得主大卫·帕特森(David Patterson)于2018年联合企业及高校成立。MLPerf基准联盟现有 50 多家成员,包括谷歌、微软、Facebook、阿里巴巴、浪潮等企业,以及斯坦福、哈佛等高校。本次参赛团队共计 23 家,包含 Intel、NVIDIA、DELLEMC、Lenovo、QCT(广达)、Fujitsu、Gigabyte(技嘉)等。目前业内最具权威性的AI基准测试非MLPerf莫属。

  MLPerf基准测试分为封闭模型分区(Closed Model Division)和开放模型分区(Open ModelDivision):

  封闭模型:要求使用相同模型和优化器,并限制超参数的值等,衡量的是同一深度学习模型及对应的训练/推理过程在不同软硬件上的性能,考察的是软硬件系统优化的能力。

  开放模型:放开了对深度学习模型及精度的约束,只限制使用相同的数据解决相同的问题,模型或平台都不会限制,侧重于深度学习模型及算法优化的能力,旨在推进ML模型和优化的创新。

  今年的MLPerf基准测试包括四大场景类别,分别针对:数据中心、边缘端、移动端和notebook端。其中,浪潮最新自研AI服务器NF5488A5打破了18项纪录,成为榜单中打破纪录最多的AI服务器。

  

  原始测试成绩表格

  

  各服务器厂商的数据对比图表(蓝色为浪潮NF5488A5数据)

  在数据中心场景下的16项基准测试性能指标中:对于封闭模型测试任务分区,浪潮打破了11项整机性能纪录,NVIDIA打破4项纪录(2项与浪潮并列)、QCT打破3项纪录;开放模型分区的6项测试中,浪潮打破2项纪录,NVIDIA打破1项纪录。

  在边缘端基准测试中:对弈封闭模型测试分区,NVIDIA打破14项纪录,浪潮打破3项纪录;开放模型分区的4项测试中,浪潮打破2项纪录,DELL打破1项纪录。

  

  浪潮NF5488A5在数据中心和边缘端场景基准测试打破性能纪录次数

  在此次基准测试中,浪潮AI服务器NF5488A5在开放优化(Open)和固定任务(Closed)的ResNet50基准性能测试中,均表现优异。在焦点赛道ResNet50基准性能测试中,NF5488A5表现出了54.9万/秒的推理性能,相比2019年MLPerf推理榜单的全球最好成绩性能提升高达3倍。

  

  MLPerf ResNet50推理性能2019 VS 2020对比

  在短短一年的时间内,如此高倍的性能提升令人惊叹,而更让人为之称奇的是,NF5488A5已经量产,并非仅作为高端产品参与测试。

  1年时间,18项纪录,3倍性能提升,这些数字不止支撑着浪潮新一代AI服务器在MLPerf中问鼎AI“机王”,也代表着浪潮AI服务器在技术积累上的充足底气。

  二、是单个软硬件的性能PK,也是整机系统优化的性能考验

  NF5488A5是浪潮在MLPerf中大展光彩的“功臣”。NF5488A5单机训练性能可达5 PetaOPS,相比浪潮上一代服务器计算性能提升234%

  在最新公布的 MLPerf推理测试榜单中,浪潮NF5488A5问鼎 AI 推理基准测试 18项纪录,全面覆盖图像分类、目标检测、自然语言理解、智能推荐等场景。其中在ResNet50模型推理任务处理达到每秒处理54.9万多张图片的推理性能;Bert 自然语言理解推理任务达 26675 条/秒;DLRM 智能推荐每秒推理处理能力达 210 万条。

  在7月 MLPerf公布的训练测试榜单中,NF5488A5仅用时33.37分钟,就在包含 128 万张图片的 ImageNet数据集上完成ResNet50模型的训练,相当于每秒训练 23000多张图片,单机计算性能高居第一,可谓是最快人工智能训练服务器。

  NF5488A5是此次MLPerf全球竞赛中唯一可以在4U空间内支持8块安培架构A100芯片实现NVLink高速互联的AI服务器。

  浪潮NF5488A5在系统拓扑上采用了超低延迟设计,支持PCIe 4.0全链路极致优化,高频通信单元采用一级拓扑最近连接,最大限度提升处理器到AI芯片间的通信性能。

  同时,通过配置NUMA节点,确保每颗处理器与其直连的GPU之间通信性能最优,最大限度降低通信延迟。此外,NF5488A5通过深度优化系统结构设计,确保设备可在高环温下稳定运行。

  在用户体验方面,用户会在稳定性和性能两方面体会到浪潮最新一代AI服务器的不同。即使在35摄氏度的环温下,NF5488A5也能稳定高性能的运行。NF5488A5是一款通用服务器,可以支持各类流行的AI应用场景,如计算机视觉、语音识别、智能客服等。

  三、系统优化是核心竞争力

  早在今年4月,浪潮首席科学家王恩东提出了“智算中心”的概念,并表明围绕智算中心打造AI算力生产、聚合、调度、释放的四大关键作业模式。

  

  浪潮首席科学家王恩东提出“智算中心”

  浪潮技术负责人对智东西说:“如果要想把硬件性能完全发挥出来,仅考虑芯片的性能是不够的,需要考虑服务器系统优化。以A100 GPU为例,将8块A100 GPU都放在一个服务器中,如果不解决它的散热问题,GPU可能运行几分钟频率就降下来了,应用性能就会很糟糕。此外,GPU之间、CPU与GPU之间的互联、内存等都会对深度学习的推理和训练性能有比较大的影响。浪潮目前在服务器整机的设计优化能力是业界领先的。”

  从2012年浪潮初步布局AI服务器,到2017年4月浪潮成立AI&HPC产品部并正式迈入AI产业,再到今年浪潮的AI服务器创造了全球最快性能纪录,8年的时间,这其中的每一个脚印都印刻着浪潮在硬件、软件及整机上的技术积累。

  结语:AI服务器落地两步走

  浪潮NF5488A5 AI服务器一举打破 18 项 MLperf 推理性能纪录,展示出我国自主服务器头部玩家在AI这条路上越走越宽、越走越稳。

  在浪潮看来,AI算力的多元化支持将会是AI服务器发展的一个主要趋势。AI产业目前正处于落地阶段,首先要将AI算法赋能到用户的实际业务场景中,随后通过软硬件协同优化持续提升用户的AI应用性能。

  从浪潮在 MLperf 中的表现来看,浪潮已在产业AI化中占据了有利位置,我们也期待浪潮与其他玩家一起加速推进产业AI化进程。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐

记者:深足无需变更俱乐部名称,本来就是中性名

直播吧
2020-12-04 21:05:32

美国女服务员收1万小费激动哭出声,经理秒泼冷水:永远别想拿到

华观海
2020-12-04 14:48:32

争议!日本球员故意禁区手球,韩国豪门2-0,联手做掉恒大?

梦与体育
2020-12-04 22:34:38

美国恐怖纪录让全球惊慌,“抗疫队长”福奇警告:有疫苗也没用了

就是这个调
2020-12-04 16:42:57

男子和美女合租,竟报警,男子:我受不了了

民生热点
2020-12-04 14:25:12

“为了刺激把风油精涂到xx上?”简直震碎三观!

也好娱乐说
2020-12-03 06:47:28

丁真走红后,藏族人的逆天颜值终于藏不住了

寻找娱乐的天空
2020-12-04 12:28:59

认输果然只是个幌子?特朗普秀出一大招,美媒:佩洛西或接任总统

海峡要闻
2020-12-04 18:51:31

人们分享自己的倒霉时刻,我们不会笑,除非忍不住

世界你好
2020-12-04 04:53:20

秦奋再晒新作,因颜值问题被指是P图,网友:可惜还是很矮!

李四爱娱乐
2020-12-04 14:58:01

拜登突然摔倒骨折,特朗普说了这三个词!

牛弹琴
2020-11-30 15:57:37

欧洲多国再度拉响警报,这次已不是新冠,中国也发现同类病毒

海峡军武
2020-12-01 15:47:50

发现没,这29个微信表情默默消失了……

躺倒鸭
2020-12-04 11:44:20

西伯利亚越来越冷,大寒潮要来了?别紧张,可能只是慢慢冻透

中国气象爱好者
2020-12-04 23:03:44

3小时内1死1伤,蔡英文想干嘛?

两岸直通车
2020-12-04 17:23:19

别乱喝!17款白酒检测结果:洋河大曲等甲醛较多,多款酒可疑致癌物含量偏高

映象联播
2020-12-04 15:25:21

媒体:美国司法部正在与华为首席财务官孟晚舟谈判

科技生活快讯
2020-12-04 12:09:12

女性下面什么味道才算健康?发出这些气味,可能是疾病的征兆

DrX说
2020-12-04 18:06:36

反差强烈!英法美德开会对付中国,中国准备给美国送温暖

玮观世界
2020-12-04 13:04:48

世界十大汽车集团排行,排名令你意外吗?

我就是爱搭配
2020-12-04 10:58:27
2020-12-05 03:16:49
智东西
智东西
聚焦智能变革,服务产业升级。
5249文章数 102743粉丝数
往期回顾 全部

科技要闻

历史性画面!五星红旗亮相月球!

头条要闻

印媒:因新冠疫情 印度登月才败给了中国的嫦娥五号

头条要闻

印媒:因新冠疫情 印度登月才败给了中国的嫦娥五号

体育要闻

恒大官方:郑智出任俱乐部总经理 高寒不再任总经理

娱乐要闻

江疏影扎高马尾清爽干练 笑眼弯弯

财经要闻

汽车要闻

男子碰瓷新招数 恶意酿车祸当街猥亵女性

态度原创

健康
亲子
教育
家居
军事航空

打玻尿酸变“僵尸脸”咋回事?

亲子要闻

9岁男童狂爱跳街舞,拿奖无数,未料5年后不能走路

教育要闻

抓领导、抓教师、抓学生 挥别“快乐的大学”

家居要闻

72岁清洁工月入8500块住蜗居 厕所厨房挤在一起

军事要闻

世界最大无人机首公开:可发射运载火箭