0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA H100 Tensor Core GPU性能比上一代GPU高出4.5 倍

NVIDIA英伟达 来源:NVIDIA英伟达 作者:NVIDIA英伟达 2022-09-13 15:29 次阅读

在行业标准 AI 推理测试中,NVIDIA H100 GPU 创造多项世界纪录、A100 GPU 在主流性能方面展现领先优势、Jetson AGX Orin 在边缘计算方面处于领先地位。

在 MLPerf 行业标准 AI 基准测试中首次亮相的 NVIDIA H100 Tensor Core GPU 在所有工作负载推理中均创造了世界纪录,其性能比上一代 GPU 高出 4.5 倍。

这些测试结果表明,对于那些需要在高级 AI 模型上获得最高性能的用户来说,Hopper 是最优选择。

此外,NVIDIA A100 Tensor Core GPU 和用于 AI 机器人的 NVIDIA Jetson AGX Orin 模块在所有 MLPerf 测试中继续表现出整体领先的推理性能,包括图像和语音识别自然语言处理和推荐系统。

H100 (又名 Hopper)提高了本轮测试所有六个神经网络中的单加速器性能标杆。它在单个服务器和离线场景中展现出吞吐量和速度方面的领先优势。

18e4d860-3041-11ed-ba43-dac502259ad0.jpg

NVIDIA H100 GPU 在数据中心类别的所有工作负载上都树立了新标杆

NVIDIA Hopper 架构的性能比 NVIDIA Ampere 架构高出 4.5 倍;Ampere 架构 GPU 在 MLPerf 结果中继续保持全方位领先地位。

Hopper 在流行的用于自然语言处理的 BERT 模型上表现出色部分归功于其 Transformer Engine。BERT 是 MLPerf AI 模型中规模最大、对性能要求最高的的模型之一。

这些推理基准测试标志着 H100 GPU 的首次公开亮相,它将于今年晚些时候上市。H100 GPU 还将参加未来的 MLPerf 训练基准测试。

A100 GPU 展现领先优势

最新测试中,NVIDIA A100 GPU 继续在主流 AI 推理性能方面展现出全方位领先,目前主要的云服务商和系统制造商均提供 A100 GPU。

在数据中心和边缘计算类别与场景中,A100 GPU 赢得的测试项超过了任何其他提交的结果。A100 还在 6 月的 MLPerf 训练基准测试中取得了全方位的领先,展现了其在整个 AI 工作流中的能力。

自 2020 年 7 月在 MLPerf 上首次亮相以来由于 NVIDIA AI 软件的不断改进,A100 GPU 的性能已经提升了 6 倍。

NVIDIA AI 是唯一能够在数据中心和边缘计算中运行所有 MLPerf 推理工作负载和场景的平台。

用户需要通用性能

NVIDIA GPU 在所有主要 AI 模型上的领先性能,使用户成为真正的赢家。用户在实际应用中通常会采用许多不同类型的神经网络。

例如,一个AI 应用可能需要理解用户的语音请求、对图像进行分类、提出建议,然后以人声作为语音信息提供回应。每个步骤都需要用到不同类型的 AI 模型。

MLPerf 基准测试涵盖了所有这些和其他流行的 AI 工作负载与场景,比如计算机视觉、自然语言处理、推荐系统、语音识别等。这些测试确保用户将获得可靠且部署灵活的性能。

MLPerf 凭借其透明性和客观性使用户能够做出明智的购买决定。该基准测试得到了包括亚马逊Arm、百度、谷歌、哈佛大学、英特尔、Meta、微软、斯坦福大学和多伦多大学在内的广泛支持。

Orin 在边缘计算领域保持领先

在边缘计算方面,NVIDIA Orin 运行了所有 MLPerf 基准测试,是所有低功耗系统级芯片中赢得测试最多的芯片。并且,与 4 月在 MLPerf 上的首次亮相相比,其能效提高了50%。

在上一轮基准测试中,Orin 的运行速度和平均能效分别比上一代 Jetson AGX Xavier 模块高出 5 倍和 2 倍。

195dec3c-3041-11ed-ba43-dac502259ad0.jpg

在能效方面,Orin 边缘 AI 推理性能提升多达 50%

Orin 将 NVIDIA Ampere 架构 GPU 和强大的 Arm CPU 内核集成到一块芯片中。目前,Orin 现已被用在 NVIDIA Jetson AGX Orin 开发者套件以及机器人和自主系统生产模块,并支持完整的 NVIDIA AI 软件堆栈,,包括自动驾驶汽车平台(NVIDIA Hyperion)、医疗设备平台(Clara Holoscan)和机器人平台(Isaac)。

广泛的 NVIDIA AI 生态系统

MLPerf 结果显示,NVIDIA AI 得到了业界最广泛的机器学习生态系统的支持。

在这一轮基准测试中,有超过 70 项提交结果在 NVIDIA 平台上运行。例如,Microsoft Azure 提交了在其云服务上运行 NVIDIA AI 的结果。

此外,10 家系统制造商的 19 个 NVIDIA 认证系统参加了本轮基准测试,包括华硕、戴尔科技富士通、技嘉、慧与、联想、和超微等。

它们的结果表明,无论是在云端还是在自己数据中心运行的服务器中,用户都可以借助 NVIDIA AI 获得出色的性能。

NVIDIA 的合作伙伴参与 MLPerf 是因为他们知道这是一个为客户评估 AI 平台和厂商的重要工具。最新一轮结果表明,他们目前向用户提供的性能将随着 NVIDIA 平台的发展而增长。

用于这些测试的所有软件都可以从 MLPerf 库中获得,因此任何人都可以获得这些世界级成果。NGC( NVIDIA 的 GPU 加速软件目录)上正在源源不断地增加以容器化形式提供的优化。在这里,你还会发现 NVIDIA TensorRT,本轮测试的每此提交都使用它来优化 AI 推断。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    211

    文章

    28399

    浏览量

    207004
  • NVIDIA
    +关注

    关注

    14

    文章

    4984

    浏览量

    103017
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4735

    浏览量

    128914
  • 英伟达
    +关注

    关注

    22

    文章

    3773

    浏览量

    91021
  • H100
    +关注

    关注

    0

    文章

    31

    浏览量

    287

原文标题:NVIDIA Hopper 首次亮相 MLPerf,在 AI 推理基准测试中一骑绝尘

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    芯原发布新一代Vitality架构GPU IP系列

    芯原股份近日宣布,正式推出全新Vitality架构的图形处理器(GPU)IP系列。这一新一代GPU架构以其卓越的计算性能和广泛的应用领域,吸引了业界的广泛关注。 Vitality
    的头像 发表于 12-24 10:55 80次阅读

    芯原推出新一代性能Vitality架构GPU IP系列

    原新一代Vitality GPU架构显著提升了计算性能,并支持多核扩展,以进步提升性能。该GPU
    的头像 发表于 12-19 15:55 122次阅读

    《CST Studio Suite 2024 GPU加速计算指南》

    和不支持的NVIDIA GPU硬件,如支持的有L40S、RTX 5000 Ada Gen等,不支持的如Kepler和Maxwell部分型号被标记为弃用。同时提到GPU计算要求64位计算机架构,不同
    发表于 12-16 14:25

    英伟达H100芯片市场降温

    随着英伟达新一代AI芯片GB200需求的不断攀升,其上一代明星产品H100芯片却遭遇了市场的冷落。据业内人士透露,搭载H100的服务器通常以8卡的形式进行出售或出租,而在去年,这类服务
    的头像 发表于 10-28 15:42 529次阅读

    AMD与NVIDIA GPU优缺点

    在图形处理单元(GPU)市场,AMD和NVIDIA是两大主要的竞争者,它们各自推出的产品在性能、功耗、价格等方面都有着不同的特点和优势。 性能
    的头像 发表于 10-27 11:15 660次阅读

    暴涨预警!NVIDIA GPU供应大跳水

    gpu
    jf_02331860
    发布于 :2024年07月26日 09:41:42

    马斯克宣布,将于10万枚专用芯片中训练新一代聊天机器人与超级计算机

    此外,马斯克计划将这些芯片整合至台超大容量的超级计算机,称之为“算力超能工场”。他承诺,这个由NVIDIA H100组成的芯片组合将比现有的最大GPU集群的容量还要
    的头像 发表于 05-27 16:05 724次阅读

    步解读英伟达 Blackwell 架构、NVlink及GB200 超级芯片

    Tensor Core GPU支持多达18个NVLink连接,每个连接速度可达100 GB/秒,总带宽达到1.8 TB/秒,是上一代产品的
    发表于 05-13 17:16

    英伟达发布性能大幅提升的新款B200 AI GPU

    英伟达宣称,B200在性能上比以往最好的GPU快30不止。由它构成的服务器集群相比上一代,运算能力飞跃性提升,甚至能使大语言模型的训练速度翻番。
    的头像 发表于 03-20 09:37 794次阅读

    人工智能市场风向转变,AMD Instinct MI300X GPU更受欢迎

    半的受访者表示对AMD的Instinct MI300X GPU持乐观态度。与英伟达的H100系列相比,MI300X不仅价格与性能比值更为优越,而且供应稳定,避免了货源紧张的问题。
    的头像 发表于 03-11 15:28 971次阅读

    英伟达H200显卡价格

    英伟达H200显卡的具体价格尚未公布。根据上一代H100显卡的价格范围,预计H200的单片价格将超过40000美元。由于新芯片通常定价较高,因此可以推断
    的头像 发表于 03-07 16:09 4892次阅读

    H100 GPU供应改善,AI市场需求依旧强劲

    值得注意的是,H100 GPU的供求关系已经缓解,且维护成本高起,部分客户正在置换这类硬件以转向云服务,这种转变在过去的市场紧缩中很少见到。同时,市场上虽然有其他选择如AMD的MI300 GPU
    的头像 发表于 02-29 16:10 705次阅读

    巨头豪购35万块NVIDIA最强GPU H100

    NVIDIA AI GPU无疑是当下的硬通货,从科技巨头到小型企业都在抢。
    的头像 发表于 01-29 09:58 1092次阅读
    巨头豪购35万块<b class='flag-5'>NVIDIA</b>最强<b class='flag-5'>GPU</b> <b class='flag-5'>H100</b>

    扎克伯格的Meta斥资数十亿美元购买35万块Nvidia H100 GPU

    首席执行官马克扎克伯格表示,Meta总共将拥有相当于600,000个NvidiaH100GPU的计算能力,以帮助其开发下一代人工智能产品。JAEALOT2024年1月22日马克·扎克伯格计划购买35
    的头像 发表于 01-26 08:26 744次阅读
    扎克伯格的Meta斥资数十亿美元购买35万块<b class='flag-5'>Nvidia</b> <b class='flag-5'>H100</b> <b class='flag-5'>GPU</b>

    英伟达和华为/海思主流GPU型号性能参考

    句话总结,H100 vs. A100:3 性能,2 价格 值得注意的是,HCCS vs
    发表于 12-29 11:43 6051次阅读
    英伟达和华为/海思主流<b class='flag-5'>GPU</b>型号<b class='flag-5'>性能</b>参考