0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

首个采用NVIDIA M2050 GPU的实例 开启GPU云计算下个十年

454398 来源:人工智能学习网 作者:云水禅心 2021-02-24 12:08 次阅读

十年前,AWS(Amazon Web Services)发布了首个采用 NVIDIA M2050 GPU 的实例。当时,基于 CUDA 的应用主要专注于加速科学模拟AI深度学习还遥遥无期。

自那时起,AW 就不断扩充云端 GPU 实例阵容,包括 K80(p2)、K520(g3)、M60(g4)、V100(p3 / p3dn)和 T4(g4)。

现在,已全面上市的全新 AWS P4d 实例采用最新 NVIDIA A100 Tensor Core GPU,开启了加速计算的下一个十年。

全新的 P4d 实例,为机器学习训练和高性能计算应用提供 AWS 上性能与成本效益最高的 GPU 平台。与默认的 FP32 精度相比,全新实例将 FP16 机器学习模型的训练时间减少多达 3 倍,将 TF32 机器学习模型的训练的时间减少多达 6 倍。

这些实例还提供出色的推理性能。NVIDIA A100 GPU 在最近的 MLPerf Inference 基准测试中一骑绝尘,实现了比 CPU 快 237 倍的性能。

pIYBAF-ha8qAbYI-AACa8sem2nU309.png

每个 P4d 实例均内置八个 NVIDIA A100 GPU,通过 AWS UltraClusters,客户可以利用 AWS 的 Elastic Fabric Adapter(EFA)和 Amazon FSx 提供的可扩展高性能存储,按需、可扩展地同时访问多达 4,000 多个 GPU。P4d 提供 400Gbps 网络,通过使用 NVLink、NVSwitch、NCCL 和 GPUDirect RDMA 等 NVIDIA 技术,进一步加速深度学习训练的工作负载。EFA 上的 NVIDIA GPUDirect RDMA 在服务器之间可通过 GPU 传输数据,无需通过 CPU 和系统内存,从而确保网络的低延迟。

此外,许多 AWS 服务都支持 P4d 实例,包括 Amazon Elastic Container Services、Amazon Elastic Kubernetes Service、AWS ParallelCluster 和 Amazon SageMaker。P4d 还可使用所有 NGC 提供的经过优化的容器化软件,包括 HPC 应用、AI 框架、预训练模型、Helm 图表以及 TensorRT 和 Triton Inference Server 等推理软件。

目前,P4d 实例已在美国东部和西部上市,并将很快扩展到其他地区。用户可以通过按需实例(On-Demand)、Savings Plans、预留实例(Reserved Instances)或竞价型实例(Spot Instances)几种不同的方式进行购买。

GPU 云计算发展最初的十年,已为市场带来超过 100 exaflops 的 AI 计算。随着基于 NVIDIA A100 GPU 的 Amazon EC2 P4d 实例的问世,GPU 云计算的下一个十年将迎来一个美好的开端。

NVIDIA 和 AWS 不断帮助各种应用突破 AI 的界限,以便了解客户将如何运用 AI 强大的性能。

编辑:hfy

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4932

    浏览量

    102794
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4700

    浏览量

    128679
  • AI
    AI
    +关注

    关注

    87

    文章

    30096

    浏览量

    268366
  • 机器学习
    +关注

    关注

    66

    文章

    8375

    浏览量

    132398
  • AWS
    AWS
    +关注

    关注

    0

    文章

    427

    浏览量

    24312
收藏 人收藏

    评论

    相关推荐

    如何构建及优化GPU网络

    并从计算节点成本优化、集群网络与拓扑的选择等方面论述如何构建及优化GPU网络。
    的头像 发表于 11-06 16:03 238次阅读
    如何构建及优化<b class='flag-5'>GPU</b><b class='flag-5'>云</b>网络

    【「算力芯片 | 高性能 CPU/GPU/NPU 微架构分析」阅读体验】--了解算力芯片GPU

    本篇阅读学习第七、八章,了解GPU架构演进及CPGPU存储体系与线程管理 █从图形到计算GPU架构演进 GPU图像计算发展 ●从三角形开始
    发表于 11-03 12:55

    AMD与NVIDIA GPU优缺点

    在图形处理单元(GPU)市场,AMD和NVIDIA是两大主要的竞争者,它们各自推出的产品在性能、功耗、价格等方面都有着不同的特点和优势。 一、性能 GPU的性能是用户最关心的指标之一。在高端市场
    的头像 发表于 10-27 11:15 440次阅读

    GPU加速计算平台是什么

    GPU加速计算平台,简而言之,是利用图形处理器(GPU)的强大并行计算能力来加速科学计算、数据分析、机器学习等复杂
    的头像 发表于 10-25 09:23 211次阅读

    亚马逊科技宣布Amazon EC2 P5e实例正式可用 由英伟达H200 GPU提供支持

    北京20249月18日 /美通社/ -- 亚马逊科技宣布由英伟达H200 GPU提供支持的 Amazon Elastic Compute Cloud P5e(Amazon EC2 P5e)
    的头像 发表于 09-19 16:16 415次阅读

    GPU服务器架构解析及应用优势

    GPU服务器作为一种高性能计算资源,近年来在人工智能、大数据分析、图形渲染等领域得到了广泛应用。它结合了计算的灵活性与
    的头像 发表于 08-14 09:43 324次阅读

    暴涨预警!NVIDIA GPU供应大跳水

    gpu
    jf_02331860
    发布于 :2024年07月26日 09:41:42

    NVIDIA全面转向开源GPU内核模块

    借助 R515 驱动程序,NVIDIA 于 2022 5 月发布了一套开源的 Linux GPU 内核模块,该模块采用双许可证,即 GPL 和 MIT 许可。初始版本主要面向数据中
    的头像 发表于 07-25 09:56 371次阅读
    <b class='flag-5'>NVIDIA</b>全面转向开源<b class='flag-5'>GPU</b>内核模块

    恒讯科技的GPU解决方案有什么特点和优势?

    GPU解决方案通常指的是服务提供商提供的、基于图形处理单元(GPU)的计算服务。这些服务利用GPU
    的头像 发表于 06-12 17:24 371次阅读

    新手小白怎么学GPU服务器跑深度学习?

    新手小白想用GPU服务器跑深度学习应该怎么做? 用个人主机通常pytorch可以跑但是LexNet,AlexNet可能就直接就跑不动,如何实现更经济便捷的实现GPU服务器深度学习?
    发表于 06-11 17:09

    RTX 5880 Ada Generation GPU与RTX™ A6000 GPU对比

    NVIDIA RTX™ 5880 Ada Generation GPU 是目前国内重量级 GPU,基于全新 NVIDIA Ada Lovelace 架构构建,
    的头像 发表于 04-19 10:20 1593次阅读
    RTX 5880 Ada Generation <b class='flag-5'>GPU</b>与RTX™ A6000 <b class='flag-5'>GPU</b>对比

    GPU:量化理论计算的新引擎

    在过去的几十年里,量化理论计算一直是化学研究的关键工具。密度泛函理论(DFT)、分子力学(MM)、耦合簇(CC)等方法在预测分子结构、能量、光谱性质等方面具有重要意义。然而,这些计算通常需要大量
    的头像 发表于 04-16 08:27 414次阅读
    <b class='flag-5'>GPU</b>:量化理论<b class='flag-5'>计算</b>的新引擎

    FPGA在深度学习应用中或将取代GPU

    现场可编程门阵列 (FPGA) 解决了 GPU 在运行深度学习模型时面临的许多问题 在过去的十年里,人工智能的再一次兴起使显卡行业受益匪浅。英伟达 (Nvidia) 和 AMD 等公司的股价也大幅
    发表于 03-21 15:19

    NVIDIA 发布全新交换机,全面优化万亿参数级 GPU 计算和 AI 基础设施

    NVIDIA 软件实现了跨  Blackwell GPU、新交换机和 BlueField-3 SuperNIC 的分布式计算,大幅提升了 AI、数据处理、高性能计算
    发表于 03-19 10:05 312次阅读
    <b class='flag-5'>NVIDIA</b> 发布全新交换机,全面优化万亿参数级 <b class='flag-5'>GPU</b> <b class='flag-5'>计算</b>和 AI 基础设施

    亚马逊科技与 NVIDIA 宣布开展战略合作,为生成式 AI 提供全新超级计算基础架构、软件和服务

    亚马逊科技将提供首款搭载 NVIDIA Grace Hopper 超级芯片 和亚马逊科技可扩展性 UltraCluster 的  AI 超级
    的头像 发表于 11-29 21:00 611次阅读
    亚马逊<b class='flag-5'>云</b>科技与 <b class='flag-5'>NVIDIA</b> 宣布开展战略合作,为生成式 AI 提供全新超级<b class='flag-5'>计算</b>基础架构、软件和服务