0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

英伟达 A100 GPU 全面上市,推理性能比 CPU 快 237 倍

工程师邓生 来源:IT之家 作者:孤城 2020-11-04 15:34 次阅读

根据英伟达官方的消息,在 AWS 运行 NVIDIA GPU 十周年之际,AWS 发布了采用全新 A100 的 Amazon EC2 P4d 实例。

IT之家了解到,现在已全面上市的全新 AWS P4d 实例采用最新 NVIDIA A100 Tensor Core GPU。A100 计算卡采用了 7nm 工艺的 GA100 GPU,这款 GPU 拥有 6912 CUDA 核心和 432 张量核心。GPU 封装尺寸为 826mm2,集成了 540 亿个晶体管

英伟达表示,全新的 P4d 实例,为机器学习训练和高性能计算应用提供 AWS 上性能与成本效益最高的 GPU 平台。与默认的 FP32 精度相比,全新实例将 FP16 机器学习模型的训练时间减少多达 3 倍,将 TF32 机器学习模型的训练的时间减少多达 6 倍。

这些实例还提供出色的推理性能。NVIDIA A100 GPU 在最近的 MLPerf Inference 基准测试中一骑绝尘,实现了比 CPU 快 237 倍的性能。

每个 P4d 实例均内置八个 NVIDIA A100 GPU,通过 AWS UltraClusters,客户可以利用 AWS 的 Elastic Fabric Adapter(EFA)和 Amazon FSx 提供的可扩展高性能存储,按需、可扩展地同时访问多达 4,000 多个 GPU。P4d 提供 400Gbps 网络,通过使用 NVLink、NVSwitch、NCCL 和 GPUDirect RDMA 等 NVIDIA 技术,进一步加速深度学习训练的工作负载。EFA 上的 NVIDIA GPUDirect RDMA 在服务器之间可通过 GPU 传输数据,无需通过 CPU 和系统内存,从而确保网络的低延迟。

责任编辑:PSY

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • cpu
    cpu
    +关注

    关注

    68

    文章

    10802

    浏览量

    210765
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4672

    浏览量

    128555
  • 机器学习
    +关注

    关注

    66

    文章

    8344

    浏览量

    132288
  • 英伟达
    +关注

    关注

    22

    文章

    3719

    浏览量

    90652
  • A100
    +关注

    关注

    0

    文章

    27

    浏览量

    7777
收藏 人收藏

    评论

    相关推荐

    英伟发布新一代H200,搭载HBM3e,推理速度是H100

    和B100两款芯片。来源:英伟达官网   首款搭载HBM3e 的GPU推理速度几乎是H100 的两
    的头像 发表于 11-15 01:15 3380次阅读
    <b class='flag-5'>英伟</b><b class='flag-5'>达</b>发布新一代H200,搭载HBM3e,<b class='flag-5'>推理</b>速度是H<b class='flag-5'>100</b>两<b class='flag-5'>倍</b>!

    开箱即用,AISBench测试展示英特尔至强处理器的卓越推理性能

    近期,第五代英特尔®至强®可扩展处理器通过了中国电子技术标准化研究院组织的人工智能服务器系统性能测试(AISBench)。英特尔成为首批通过AISBench大语言模型(LLM)推理性能测试的企业
    的头像 发表于 09-06 15:33 256次阅读
    开箱即用,AISBench测试展示英特尔至强处理器的卓越<b class='flag-5'>推理性能</b>

    英伟全面转向开源GPU内核模块

    英伟公司近期宣布了一项重大决策,即全面转向开源GPU内核模块,并计划最终以此取代闭源驱动程序。这一战略转变标志着英伟
    的头像 发表于 07-19 15:26 523次阅读

    进一步解读英伟 Blackwell 架构、NVlink及GB200 超级芯片

    架构在高性能计算方面的应用有哪些? **1. **人工智能训练和推理 Blackwell 架构的 GPU 核心在训练性能上相较前代 Hopper H
    发表于 05-13 17:16

    英伟发布性能大幅提升的新款B200 AI GPU

    英伟宣称,B200在性能以往最好的GPU30
    的头像 发表于 03-20 09:37 710次阅读

    英伟H200和A100的区别

    英伟H200和A100两款芯片在性能、架构、内存以及应用场景等多个方面存在显著的区别。
    的头像 发表于 03-07 16:23 3232次阅读

    英伟H200和A100的差异

    英伟H200和A100在多个方面存在差异。
    的头像 发表于 03-07 16:18 2145次阅读

    英伟缩短AI GPU交付周期,持续推进算力产业链发展

    与此同时,随着人工智能的迅猛发展及其广泛应用,对像H100A100这类专为数据中心设计的高性能GPU的需求也大幅增长。而包括Yotta在内的多家公司因此纷纷加大向
    的头像 发表于 02-18 09:36 468次阅读

    2024年,GPU能降价吗?

    首当其冲的就是A100GPU。OpenAI使用的是3,617台HGXA100服务器,包含近3万块英伟GPU。国内云计算相关专家认为,做好A
    的头像 发表于 01-03 15:57 797次阅读
    2024年,<b class='flag-5'>GPU</b>能降价吗?

    英伟和华为/海思主流GPU型号性能参考

    一句话总结,H100 vs. A100:3 性能,2 价格 值得注意的是,HCCS vs. NVLINK的
    发表于 12-29 11:43 5147次阅读
    <b class='flag-5'>英伟</b><b class='flag-5'>达</b>和华为/海思主流<b class='flag-5'>GPU</b>型号<b class='flag-5'>性能</b>参考

    用上这个工具包,大模型推理性能加速达40

    作者: 英特尔公司 沈海豪、罗屿、孟恒宇、董波、林俊 编者按: 只需不到9行代码, 就能在CPU上实现出色的LLM推理性能。 英特尔  Extension for Transformer 创新
    的头像 发表于 12-01 20:40 1078次阅读
    用上这个工具包,大模型<b class='flag-5'>推理性能</b>加速达40<b class='flag-5'>倍</b>

    英伟A100芯片算力服务收费价格上调100%,这家企业的硬气来自哪里?

    半导体芯情了解到,A100英伟最新推出的一款高性能计算芯片,采用了全新的Ampere架构,Ampere架构是NVIDIA于 GTC 2020发布的
    的头像 发表于 11-14 16:30 1155次阅读
    对<b class='flag-5'>英伟</b><b class='flag-5'>达</b><b class='flag-5'>A100</b>芯片算力服务收费价格上调<b class='flag-5'>100</b>%,这家企业的硬气来自哪里?

    英伟特供版芯片将上市性能最高不到H100的20%

    本周四,一些媒体首次报道了英伟特供芯片的消息。报道称,这三款新产品是在 H100 GPU 的基础版本基础上进行修改的,采用的是最新架构,但性能
    的头像 发表于 11-13 16:44 905次阅读
    <b class='flag-5'>英伟</b><b class='flag-5'>达</b>特供版芯片将<b class='flag-5'>上市</b>:<b class='flag-5'>性能</b>最高不到H<b class='flag-5'>100</b>的20%

    揭秘:英伟H100最强替代者

    目前,用于高端推理GPU 主要有三种:NVIDIA A100、NVIDIA H100 和新的 NVIDIA L40S。我们将跳过NVIDIA L4 24GB,因为它更像是低端
    的头像 发表于 11-13 16:13 1514次阅读
    揭秘:<b class='flag-5'>英伟</b><b class='flag-5'>达</b>H<b class='flag-5'>100</b>最强替代者

    CPUGPU和内存知识科普

    本文内容包括CPU、内存和GPU知识,本期重点更新GPUCPU部分知识。比如:GPU更新包括架构演进,最新产品
    的头像 发表于 11-13 11:47 1791次阅读
    <b class='flag-5'>CPU</b>、<b class='flag-5'>GPU</b>和内存知识科普