0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Arm 的使命是助力应对 AI 无止尽的能源需求

半导体芯科技SiSC 来源:Arm 首席执行官 Rene Haas 作者:Arm 首席执行官 R 2024-04-26 11:28 次阅读

AI 数据中心工作负载供电的挑战(与机遇)

作者:Arm 首席执行官 Rene Haas

人工智能 (AI) 具有超越过去一个世纪所发生的所有变革性创新的潜力,它在医疗保健、生产力、教育等领域为社会带来的益处将超乎我们的想象。为了运行这些复杂的 AI 工作负载,全球数据中心所需的计算量需要以指数级规模进行扩展。然而,这种对计算无止尽的需求也揭示了一个严峻的挑战:数据中心需要庞大的电力来驱动AI这一突破性技术。

当今的数据中心已经消耗了大量的电力——全球每年需要 460 太瓦时 (TWh) 电力进行支持,这个数字等同于整个德国的用电量。而 AI 的兴起预计将在 2030 年把该数字提高三倍,意味着将超过印度这一世界上人口最多国家的总耗电量。

未来的 AI 模型将持续变得更大、更智能,在带动对更多计算能力的需求的同时,对电力的需求也会增加,从而成为良性循环的一部分。而找到降低这些大型数据中心电力需求的方法对于实现社会性突破和兑现 AI 的承诺至关重要。

换言之,没有电力就无法实现 AI,企业需要重新思考如何应对能效问题的方方面面。

重新构思 AI 的未来——一个由 Arm 平台驱动的未来

Arm 最初的产品就是为使用电池的设备而设计的,并推动了移动电话的变革。因此,深植于 Arm 的能效 DNA能使业界重新思考应如何构建芯片来满足 AI 日益增长的需求。

在典型的服务器机架中,仅计算芯片就可以消耗超过 50% 的电力预算。工程团队正在寻找各种可以降低该数字的方法,每一瓦特的减少都至关重要。

正因为此,全球最大的 AI 头部云服务提供商们转而采用 Arm 技术来降低功耗。与同行业中的其他产品相比,Arm 最新的 Arm Neoverse CPU 是面向云数据中心,性能最高、最节能的处理器。Neoverse 为头部云服务提供商提供了定制芯片的灵活性,以优化其苛刻的工作负载,同时提供领先的性能和能效。每一瓦特的节省都可以用来实现更多的计算。这也正是为什么亚马逊云服务 (AWS)、微软、Google 和甲骨文 (Oracle) 现在都通过 Neoverse 技术,处理其通用计算和基于 CPU 的 AI 推理和训练。Neoverse 平台正在成为云数据中心领域的事实标准。

从近期的行业内的发布来看:

·基于 Arm 架构的 AWS Graviton:与其他同行业产品相比,Amazon Sagemaker 的 AI 推理性能提高了 25%,Web 应用程序提高了 30%,数据库提高了 40%,效率则提升了 60%。

·基于 Arm 架构的 Google Cloud Axion:与传统架构相比,其性能和能效分别提高了 50% 和 60%,可为基于 CPU 的 AI 推理和训练、YouTube、Google 地球等服务提供支持。

·基于 Arm 架构的 Microsoft Azure Cobalt:性能高出同类产品 40%,并为 Microsoft Teams 等服务提供支持,与 Maia 加速器的耦合驱动 Azure 的端到端 AI 架构。

·Oracle Cloud 采用基于 Arm 架构的 Ampere Altra Max:与传统同类产品相比,每机架服务器的性能提高 2.5 倍,能耗降低 2.8 倍,并用于生成式 AI 推理模型,诸如摘要、大语言模型训练的数据的标记化,以及批量推理用例。

显然,Neoverse 极大地提升了云端通用计算的性能和能效。此外,合作伙伴也发现在加速计算方面,Neoverse 也能带来同样的益处。大规模 AI 训练需要独特的加速计算架构,例如,NVIDIA Grace Blackwell 平台 (GB200) 结合了 NVIDIA 的 Blackwell GPU 架构与基于 Arm 架构的 Grace CPU。这种基于 Arm 技术的计算架构可实现系统级设计优化,与面向大语言模型的 NVIDIA H100 GPU 相比,可带来 25 倍的能耗降低,并将每个 GPU 的性能提高 30 倍。这些优化能够带来颠覆性的性能和节能效果,而这一切都得益于 Neoverse 所带来的前所未有的芯片定制灵活性。

随着基于Arm 架构的部署持续扩大,这些企业将可以节省高达 15% 的数据中心总能耗。这些巨幅的节省可以用来在相同的功率范围内驱动额外的 AI 运算,而不会增加能源负担。换言之,这些节能相当于可以额外运行 20 亿次 ChatGPT 查询,驱动四分之一的日常网络搜索流量,为 20% 的美国家庭提供照明,或为与哥斯达黎加面积相仿的国家进行供电。这对改善能源消耗和环境可持续性产生了惊人的影响。

Arm CPU 正在从根本上推动 AI 变革,并造福地球。Arm 架构是未来 AI 计算的基石。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • ARM
    ARM
    +关注

    关注

    134

    文章

    9087

    浏览量

    367390
  • AI
    AI
    +关注

    关注

    87

    文章

    30734

    浏览量

    268896
  • 人工智能
    +关注

    关注

    1791

    文章

    47184

    浏览量

    238267
收藏 人收藏

    评论

    相关推荐

    Cadence如何应对AI芯片设计挑战

    生成式 AI 引领智能革命成为产业升级的核心动力并点燃了“百模大战”。多样化的大模型应用激增对高性能AI 芯片的需求,促使行业在摩尔定律放缓的背景下,加速推进 2.5D、3D 及 3.5D 异构集成技术。与此同时,
    的头像 发表于 12-14 15:27 626次阅读

    高效能440V变380V变压器:满足哥伦比亚能源需求的优选

    高效能440V变380V变压器:满足哥伦比亚能源需求的优选 在全球化的经济背景下,电力设备的跨国流通日益频繁,特别是高效能变压器,它们成为了不同国家和地区间电力传输和分配的关键。对于哥伦比亚这样
    的头像 发表于 12-02 17:27 137次阅读
    高效能440V变380V变压器:满足哥伦比亚<b class='flag-5'>能源需求</b>的优选

    Arm Neoverse如何加速实现AI数据中心

    在快速演进的云计算和人工智能 (AI) 时代,企业需要能助力其优化性能、降低成本并在市场竞争中保持领先的方法。Arm Neoverse 已成为众多前沿企业的选择,他们希望在推动创新的同时,能够显著
    的头像 发表于 11-26 09:30 321次阅读

    AI for Science:人工智能驱动科学创新》第6章人AI能源科学读后感

    幸得一好书,特此来分享。感谢平台,感谢作者。受益匪浅。 在阅读《AI for Science:人工智能驱动科学创新》的第6章后,我深刻感受到人工智能在能源科学领域中的巨大潜力和广泛应用。这一章详细
    发表于 10-14 09:27

    Arm平台助力应对AI能源需求

    需要以指数级规模进行扩展。然而,这种对计算无止尽需求也揭示了一个严峻的挑战:数据中心需要庞大的电力来驱动AI这一突破性技术。
    的头像 发表于 09-24 15:52 325次阅读

    使用AmpereOne遏制快速增长的能源需求

    在 Ampere 2024 年度战略和路线图更新视频中,CEO Renée James 和 CPO Jeff Wittich 强调 Ampere 如何通过 AmpereOne 的设计来遏制快速增长的能源需求
    的头像 发表于 07-15 09:50 318次阅读
    使用AmpereOne遏制快速增长的<b class='flag-5'>能源需求</b>

    软银斥资百亿美元押注AI能源项目

    能源需求。随着生成式人工智能技术的不断突破,数据中心的建设和运营成本急剧上升,对清洁能源和高效电力的需求也随之激增。
    的头像 发表于 07-05 16:09 449次阅读

    利用AI技术满足能源需求并推动脱碳

    近日,在举世瞩目的巴库能源周开幕式上,COP28主席Sultan Al Jaber博士发表了振奋人心的演讲。他深入探讨了人工智能、能源转型以及全球南方国家增长对于推动气候可持续发展的重要性,并为此提出了一系列前瞻性的观点和建议。
    的头像 发表于 06-06 15:33 523次阅读

    英飞凌为AI数据中心提供先进的高能效电源装置产品路线图

    英飞凌科技股份公司已翻开AI系统能源供应领域的新篇章,发布了电源装置(PSU)产品路线图。该路线图在优先考虑能源效率前提下,专为满足AI数据中心当前和未来的
    发表于 06-03 18:24 618次阅读
    英飞凌为<b class='flag-5'>AI</b>数据中心提供先进的高能效电源装置产品路线图

    英伟达引入新封装技术应对AI芯片需求

    随着人工智能(AI)技术的飞速发展,市场对高性能AI芯片的需求日益旺盛。英伟达作为全球知名的GPU制造商,其数据中心GPU销售持续火爆,导致台积电(TSMC)的CoWoS封装产能一直处于紧张状态。
    的头像 发表于 05-29 11:07 630次阅读

    分布式能源是什么意思?分布式能源有什么优势?

    分布式能源指的是在用户端或靠近用户端的小型能源供应系统,它能够直接满足用户的多种能源需求,如电力、热能和冷能。
    的头像 发表于 04-29 17:26 2247次阅读

    Arm使命助力应对 AI 无止尽能源需求

    这些复杂的 AI 工作负载,全球数据中心所需的计算量需要以指数级规模进行扩展。然而,这种对计算无止尽需求也揭示了一个严峻的挑战:数据中心需要庞大的电力来驱动AI这一突破性技术。  
    发表于 04-23 13:35 195次阅读

    什么是能源管理系统?如何理解其作用与重要性?

    能源是我们生活和经济运行的基石,但随着全球能源需求的不断增加,能源资源的有限性以及环境问题的日益严重,我们迫切需要一种高效的方法来管理和利用能源
    的头像 发表于 03-08 11:03 544次阅读
    什么是<b class='flag-5'>能源</b>管理系统?如何理解其作用与重要性?

    什么是能源管理系统?如何理解其作用与重要性?

    能源是我们生活和经济运行的基石,但随着全球能源需求的不断增加,能源资源的有限性以及环境问题的日益严重,我们迫切需要一种高效的方法来管理和利用能源
    的头像 发表于 03-08 10:46 1141次阅读
    什么是<b class='flag-5'>能源</b>管理系统?如何理解其作用与重要性?

    能源管理系统:企业能源管理的概念、目的和方法

    支持发展战略:通过对企业能源需求与供给的深入剖析,精准预测其发展趋势,进而制定出科学合理的能源规划与政策,为企业未来的稳健发展提供坚实的能源保障。
    的头像 发表于 12-27 16:51 1211次阅读