MLperf排名公布:谷歌、英伟达再屠榜,「国产队」表现抢眼!

贝壳号 | 发布于2021-07-02

  编辑按:本文转载至微信公众号 “新智元”,贝壳投研经授发布.

想着手建立自己的机器学习系统,面对市场上品种繁多的服务器无从下手

这里有一份专业的选购指南给你。

今天,ML Commons协会公布了基于ML Perf v1.0标准的最新测试结果。这份测试结果中基本涵盖了主流的机器学习服务器系统,并且从不同维度对系统性能给出了评价指标。大家大可以依据自己的用途和预算来选择合适的产品。

最新一轮基准测试收到了 13 个单位提交的测试报告,并发布了 650 多个经过同行评审的结果,涉及从边缘设备到数据中心服务器的机器学习系统。

相比之前基本是NIVIDIA和谷歌两家龙虎斗的场面,如今可以看到越来越多的厂家热衷于提交MLPerf的测试结果。一方面可以说是为自己产品打广告的好机会,另一方面从侧面也反映出如今市场对于AI计算需求的不断提升。

此次包括来自戴尔、富士通、技嘉、谷歌、Graphcore、Habana Labs、浪潮、英特尔、联想、宁畅、NVIDIA、PCL & PKU 和超微,都在不同领域提交了自己产品的测试结果。

什么是MLperf?

2018年,来自百度、谷歌、哈佛、斯坦福以及UCB大学的工程师和科学家们共同开会探讨推动了MLPerf测试的诞生。这项测试旨在推动机器学习领域技术的发展,也为衡量机器学习系统性能建立了一个相对权威的标准。

MLPerf是一系列测试机器学习性能表现的标准。它通过在一个标准目标下训练机器学习模型的时间,作为一套系统性能的测量标准。其中训练任务包括图像识别、物体探测、NLP自然语言处理以及强化学习等。而在最新的1.0版本中,MLCommons又增加了两项新的测试项目:语音-文字转换以及3D医学图像处理。

测试领域

测试标准

数据集

质量目标

参考模型

视觉

图像分类

ImageNet

75.90% classification

ResNet-50 v1.5

视觉

医学图像分割

KiTS19

0.908 Mean DICE score

U-Net3D

视觉

物体探测(小质量)

COCO

23.0% mAP

SSD

视觉

物体探测(大质量)

COCO

0.377 Box min AP and 0.339 Mask min AP

Mask R-CNN

语言

语音识别

LibriSpeech

0.058 Word Error Rate

RNN-T

语言

自然语言处理

Wikipedia 2020/01/01

0.72 Mask-LM accuracy

BERT-large

商业

推荐

1TB Click Logs

0.8025 AUC

DLRM

研究

强化学习

Go

50% win rate vs. checkpoint

Mini Go (based on Alpha Go paper)

MLPerf衡量的是包括机器学习的模型、软件以及硬件的综合性能,在最新一期的测试结果中,最佳测试结果性能提升达到了2.1倍,这也体现出在机器学习领域硬件、软件和系统规模的大幅度提升。

随着机器学习应用领域不断扩展,MLPerf 也在积极调整和扩展自己的测试基准。在 MLPerf Training v1.0版本中,MLCommons 新增了两个新的基准测试,来衡量语音到文本和 3D 医学成像的性能。

这些新基准利用以下参考模型

Speech-to-Text with RNN-T : RNN-T: Recurrent Neural Network Transducer 是一种自动语音识别 (ASR) 模型,在 LibriSpeech 的子集上进行训练。给定一个语音输入序列,它预测相应的文本。RNN-T 是 MLCommons 的参考模型,通常用于语音到文本系统的生产。

MLperf排名公布:谷歌、英伟达再屠榜,「国产队」表现抢眼!

使用 3D U-Net 进行 3D 医学成像:3D U-Net 架构在 KiTS 19 数据集上进行训练,以查找和分割肾脏中的癌细胞。该模型识别 CT 扫描中的每个体素是属于健康组织还是肿瘤。

MLperf排名公布:谷歌、英伟达再屠榜,「国产队」表现抢眼!

闲言少叙,我们来看看在新标准下榜单有何变化。

详细榜单在此:https://docs.google.com/spreadsheets/d/e/2PACX-1vR-LL3CUcDDv_wr1JTDJnE1npU9c5uj0YxJdvwUpC-kXbQzBNf5dLKOycUmrnJdjqzjtMP-9ILlKz9V/pubhtml?gid=0&single=false&widget=false&headers=false&chrome=true

英伟达仍然是AI计算领域霸主

这份榜单里面既有戴尔DSS8440这样的主流服务器产品,也有采用了4096个NVIDIA A100加速器的NVIDIA dgxa100性能怪兽。

从硬件配置来看,越来越多的系统趋于采用相似的解决方案,即主流的服务器CPU与专用AI计算加速器(基本都是NVIDIA A100)配合来解决不同目的的计算需求。

MLperf排名公布:谷歌、英伟达再屠榜,「国产队」表现抢眼!

NVIDIA几乎垄断了AI加速计算领域

在AI加速方面谷歌还在坚持采用自家的TPU解决方案,不过从测试成绩来看,谷歌的实力仍然不容小觑。

MLperf排名公布:谷歌、英伟达再屠榜,「国产队」表现抢眼!

在CPU的选择上,AMD可谓高歌猛进:榜单上采用AMD EPYC服务器专用CPU的系统从数量上已经超越了采用英特尔至强方案。

另外在榜单中我们还看到了采用华为鲲鹏920处理器和昇腾910 AI处理器搭配超算平台的身影,在图像分类和自然语言处理方面表现亮眼。

MLperf排名公布:谷歌、英伟达再屠榜,「国产队」表现抢眼!

鉴于AI计算领域日趋火热,未来这份榜单想必会吸引更多厂家加入。

飞鲸投研从多维度分析,整理了一份《成长50》的名单,可以关注同名公众号:"飞鲸投研":feijingtouyan,进行领取(点击复制)

该文观点仅代表作者本人,飞鲸投研系信息发布平台

/阅读下一篇/

网赚平台步多多们慌了?

热门推荐