0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA Grace Hopper超级芯片赋能推荐系统

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 作者:NVIDIA英伟达企业解 2022-09-23 11:32 次阅读

借助 Grace Hopper 超级芯片,有助于用户个性化互联网的大规模 AI 模型的性能更加准确。

作为互联网的经济引擎,推荐系统获得了 NVIDIA Grace Hopper 超级芯片的全新加持。

推荐系统每天向数十亿人提供数万亿的搜索结果、广告、产品、音乐和新闻报道。这些系统在帮助用户从嘈杂的信息中获取有用信息时令人难以置信地高效,因此是我们这个时代最重要的 AI 模型之一。

这些机器学习工作流使用 TB 级数据。推荐系统消耗的数据越多,结果就越准确,所提供的投资回报就越多。

为了应对这些数据海啸,各公司已经开始采用加速计算来为客户提供个性化服务。Grace Hopper 将把加速计算带来的好处提升到一个新的高度。

GPU 可将参与度提高 16%

图片共享社交媒体公司 Pinterest 通过采用 NVIDIA GPU,可以将推荐系统模型的规模提升至原来的 100 倍。直接帮助其 4 亿多用户的参与度提高了 16%。

该公司的一位软件工程师在最近的一篇博客中表示:“通常情况下,能有 2% 的增长我们就已经感到很满意了,而现在,16% 仅仅是个开始。我们看到了额外的收益,它打开了许多机会之门。”

新一代 NVIDIA AI 平台有望为使用超大规模推荐系统模型处理大规模数据集的公司带来更大的收益。

由于数据是 AI 的燃料,Grace Hopper 相比地球上任何其他处理器旨在将更多数据输送给推荐系统。

NVLink 加速 Grace Hopper

Grace Hopper 能够实现这一点,是因为它是一种超级芯片,一个单元包含两个芯片,共享高速的芯片到芯片互连。它包括一个基于 ARM 的 NVIDIA Grace CPU 和一个 Hopper GPU,它们之间通过 NVIDIA NVLink-C2C 进行通信

此外,NVLink 还将许多超级芯片连接成一个超级系统,是专为运行 TB 级推荐系统而构建的计算集群。

NVLink 以高达每秒 900 GB 的速度传输数据,是 PCIe 5.0 带宽的 7 倍,后者是即将推出的前沿系统将使用的互联带宽。

这意味着 Grace Hopper 向推荐系统提供 7 倍以上的向量表示(包含上下文),满足用户对个性化结果的需求。

内存越大,效率越高

Grace CPU 使用 LPDDR5X,这种内存在用于推荐系统和其他要求苛刻的工作负载时,能够在带宽、能效、容量和成本之间达到最佳平衡。它提供的带宽增加 50%,而每 GB 的功耗仅为传统 DDR5 内存子系统的八分之一。

集群中的任何 Hopper GPU 都可以通过 NVLink 访问 Grace 的内存。这是 Grace Hopper 的一项功能,可提供之前没有的庞大的 GPU 显存池。

此外,NVLink-C2C 每传输一位数据仅需 1.3 皮焦,其能效是 PCIe 5.0 的 5 倍以上。

总体效果上,与采用传统 CPU 的 Hopper 相比,推荐系统在使用 Grace Hopper 时的性能和效率提升高达 4 倍(请参阅下图)。

您需要的所有软件

Grace Hopper 超级芯片使用全堆栈的 NVIDIA AI 软件,这些软件被用于当今世界最大的推荐系统之中。

NVIDIA Merlin 是推荐系统的强大动力,它包含构建 AI 系统的模型、方法和库的集合,可以提供更好的预测并增加点击率。

NVIDIA Merlin HugeCTR 是一种推荐系统框架,可在 NVIDIA 集合通信库的帮助下,帮助用户在分布式 GPU 集群下快速处理大量数据集。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4729

    浏览量

    128897
  • NVIDI
    +关注

    关注

    0

    文章

    6

    浏览量

    7391
  • 推荐系统
    +关注

    关注

    1

    文章

    43

    浏览量

    10075
  • 超级芯片
    +关注

    关注

    0

    文章

    34

    浏览量

    8876

原文标题:GTC22 | 为什么新的 NVIDIA Grace Hopper 超级芯片是新一代推荐系统的理想之选

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    NVIDIA Colossus超级计算机集群突破10万颗Hopper GPU

    NVIDIA近日宣布,其位于田纳西州孟菲斯市的xAI Colossus超级计算机集群规模已壮大至10万颗NVIDIA Hopper GPU。这一里程碑式的成就,再次彰显了
    的头像 发表于 10-30 10:29 296次阅读

    NVIDIA 以太网加速 xAI 构建的全球最大 AI 超级计算机

    NVIDIA Spectrum-X 使基于 NVIDIA Hopper 十万卡 GPU 的巨型系统成为可能     2024 年 10 月 28 日 —
    发表于 10-30 09:33 142次阅读
    <b class='flag-5'>NVIDIA</b> 以太网加速 xAI 构建的全球最大 AI <b class='flag-5'>超级</b>计算机

    NVIDIA AI芯片Blackwell推迟发布引热议,公司强调Hopper需求强劲

    据8月5日最新消息,NVIDIA新款AI芯片Blackwell因被曝存在设计缺陷而推迟发布的消息,迅速在业界引发了广泛讨论与关注。面对这一市场传闻,NVIDIA官方迅速作出回应,强调其旗舰产品
    的头像 发表于 08-05 15:05 561次阅读

    NVIDIA为新工业革命打造 AI 工厂和数据中心

    领先的计算机制造商推出一系列 Blackwell 系统,搭载 Grace CPU、NVIDIA 网络和基础设施 丰富的产品组合覆盖云、
    的头像 发表于 06-03 18:14 982次阅读

    NVIDIA AI Enterprise荣获金奖

    NVIDIA AI Enterprise、GH200 Grace Hopper 超级芯片和 Spectrum-X 在 COMPUTEX 20
    的头像 发表于 05-29 09:27 445次阅读
    <b class='flag-5'>NVIDIA</b> AI Enterprise荣获金奖

    亚马逊未中断英伟达订单,等待Grace Blackwell更强性能

    英国《金融时报》昨日报道称,亚马逊AWS已暂停订购英伟达最新款“超级芯片Grace Hopper,等待性能更强的新品Grace Black
    的头像 发表于 05-22 11:00 465次阅读

    NVIDIA Grace Hopper点亮AI超级计算新时代

    瑞士 Alps、法国 EXA1-HE 等超级计算机将使用高能效的、基于 Grace系统为气候和天气、科学探索等领域提供 200 EFLOPS AI 算力,以支持突破性研究。
    的头像 发表于 05-15 09:46 363次阅读

    NVIDIA通过CUDA-Q平台为全球各地的量子计算中心提供加速

    德国、日本和波兰的超级计算机利用 Grace-Hopper 和量子-经典加速超算平台推进量子计算研究。
    的头像 发表于 05-14 09:15 347次阅读

    进一步解读英伟达 Blackwell 架构、NVlink及GB200 超级芯片

    提升至 30 倍 GB200 NVL72 集群将多个由 GB200 驱动的系统整合到一个液冷机架中。连接 36 个 GB200 超级芯片(36 个Grace中央处理器和 72 个Bla
    发表于 05-13 17:16

    NVIDIA 通过 CUDA-Q 平台为全球各地的量子计算中心提供加速

    德国、日本和波兰的超级计算机利用 Grace-Hopper 和量子-经典加速超算平台推进量子计算研究     德国汉堡 —— 国际超算大会(ISC)—— 2024 年 5 月 13 日
    发表于 05-13 15:21 195次阅读
    <b class='flag-5'>NVIDIA</b> 通过 CUDA-Q 平台为全球各地的量子计算中心提供加速

    美国首个Grace Hopper架构超算Venado落地:达10 exaFLOPS

    超级计算机是由惠普企业集团(Hewlett Packard Enterprise)打造,其运算能力高达 10 exaFLOPS,它是美国第一款采用英伟达Grace Hopper芯片
    的头像 发表于 04-18 14:37 408次阅读

    NVIDIA推出搭载GB200 Grace Blackwell超级芯片NVIDIA DGX SuperPOD™

    NVIDIA 于太平洋时间 3 月 18 日发布新一代 AI 超级计算机 —— 搭载 NVIDIA GB200 Grace Blackwell 超级
    的头像 发表于 03-21 09:49 696次阅读

    NVIDIA 推出 Blackwell 架构 DGX SuperPOD,适用于万亿参数级的生成式 AI 超级计算

    基于先进的 NVIDIA 网络、NVIDIA 全栈 AI 软件和存储技术,可将集群中 Grace Blackwell 超级芯片的数量扩展至数
    发表于 03-19 10:56 422次阅读
    <b class='flag-5'>NVIDIA</b> 推出 Blackwell 架构 DGX SuperPOD,适用于万亿参数级的生成式 AI <b class='flag-5'>超级</b>计算

    Arm架构与Neoverse技术在基础设施领域的应用与发展

    Arm的Neoverse系列已有稳定的立足点。例如,英伟达的超级芯片Grace-Hopper就是由两片独立的芯片组成,其中 Hopper负责
    的头像 发表于 02-22 15:36 576次阅读

    英伟达Grace-Hopper提供一个紧密集成的CPU + GPU解决方案

    英伟达Grace-Hopper提供了一个紧密集成的CPU + GPU解决方案,针对生成式人工智能逐渐成为主导的市场环境。
    的头像 发表于 01-02 15:52 912次阅读