0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI芯片成为耗电大户,负载功耗接近一个小国家?

手机技术资讯 来源:半导体行业观察 2023-11-25 17:10 次阅读

如今,对人工智能的需求巨大。法国施耐德电气公司估计,2023年人工智能工作负载的功耗总计约为4.3吉瓦(GW),略低于塞浦路斯国家2021年的功耗( 4.7吉瓦)。该公司预计,人工智能工作负载的功耗将以26%至36%的复合年增长率(CAGR)增长,这意味着到2028年,人工智能工作负载的功耗将从13.5吉瓦增至20吉瓦,这比冰岛2021年消费的电力消耗还要多。

巨大的电力需求

据施耐德电气称,到 2023 年,所有数据中心的总功耗预计将达到 54 GW,其中人工智能工作负载将占到 4.3 GW。在这些人工智能工作负载中,训练和推理之间的分配特点是 20% 的功耗用于训练目的,80% 分配给推理任务。这意味着人工智能工作负载将占今年数据中心总功耗的约8%。

展望 2028 年,施耐德预计数据中心的总能耗将增至 90 吉瓦,其中人工智能工作负载的能耗将达到 13.5 吉瓦至 20 吉瓦。这表明,到 2028 年,人工智能可能消耗数据中心总用电量的 15% 至 20% 左右,这表明数据中心人工智能工作负载的功耗比例在五年内显着增加。根据施耐德电气的估计,训练和推理之间的分布预计将略有变化,训练消耗 15% 的电力,推理则占 85%。

AI GPU 变得更加“饥饿”

人工智能数据中心功耗不断上升的主要原因是人工智能工作负载的加剧、人工智能GPU和人工智能处理器的进步以及其他数据中心硬件的要求不断增加。例如,Nvidia 2020 年的 A100 功耗高达 400W,而 2022 年的 H100 功耗高达 700W。除了 GPU 之外,AI 服务器还运行耗电的 CPU 和网卡。

AI 工作负载,尤其是与训练相关的工作负载,需要大量计算资源,包括配备 AI GPU、专用 ASIC 或 CPU 的专用服务器。人工智能集群的规模受人工智能模型的复杂性和规模的影响,是功耗的主要决定因素。更大的人工智能模型需要更多数量的 GPU,从而增加总体能源需求。例如,拥有 22,000 个 H100 GPU 的集群使用大约 700 个机架。基于 H100 的机架在安装八台 HPE Cray XD670 GPU 加速服务器时,机架总密度为 80 kW。施耐德电气指出,因此,整个集群需要大约 31 兆瓦的电力,这还不包括冷却等额外基础设施需求所需的能源。

这些集群和 GPU 在整个训练过程中通常几乎满负荷运行,确保平均能耗几乎与峰值功耗相同。该文件指出,大量AI集群的机架密度在30kW到100kW之间,具体取决于GPU的数量和型号。

网络延迟在人工智能数据中心的功耗中也起着至关重要的作用。复杂的网络基础设施对于支持分布式训练过程中强大的 GPU 所需的高速数据通信至关重要。对高速网络电缆和基础设施(例如能够支持高达 800 Gb/s 速度的电缆和基础设施)的需求进一步增加了总体能耗。

鉴于人工智能工作负载需要高耗电的 ASIC、GPU、CPU、网卡和 SSD,冷却构成了重大挑战。鉴于高机架密度和计算过程中产生的巨大热量,有效的冷却解决方案对于保持最佳性能并防止硬件故障或失效至关重要。与此同时,空气和液体冷却方法在功耗方面也“昂贵”,这就是为什么它们也对用于人工智能工作负载的数据中心的功耗造成很大影响。

一些建议

施耐德电气预计AI硬件的功耗不会很快降低,公司充分预计AI机架的功耗将达到100kW或更高。因此,施耐德电气对专门处理人工智能工作负载的数据中心提出了一些建议。

施耐德电气特别建议从传统的120/208V过渡到240/415V配电,以更好地适应人工智能工作负载的高功率密度。对于冷却,建议从空气冷却转向液体冷却,以提高处理器的可靠性和能源效率,尽管沉浸式冷却可能会产生更好的效果。使用的货架应更宽敞,其规格例如宽度至少为 750 毫米,静态承重能力大于 1,800 公斤。







审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • asic
    +关注

    关注

    34

    文章

    1182

    浏览量

    120205
  • SSD
    SSD
    +关注

    关注

    20

    文章

    2828

    浏览量

    117066
  • 人工智能
    +关注

    关注

    1789

    文章

    46545

    浏览量

    236830
  • GPU芯片
    +关注

    关注

    1

    文章

    303

    浏览量

    5768
  • AI芯片
    +关注

    关注

    17

    文章

    1849

    浏览量

    34820

原文标题:AI芯片成为耗电大户,负载功耗接近一个小国家

文章出处:【微信号:Mobile-Info,微信公众号:手机技术资讯】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    AI算力芯片供电电源测试利器:费思低压大电流系列电子负载

    AI算力芯片作为驱动复杂计算任务的核心引擎,其性能与稳定性成为了决定应用成败的关键因素。而在这背后,供电电源的稳定性和高效性则是保障AI算力芯片
    的头像 发表于 10-25 11:26 151次阅读
    <b class='flag-5'>AI</b>算力<b class='flag-5'>芯片</b>供电电源测试利器:费思低压大电流系列电子<b class='flag-5'>负载</b>

    款4644芯片功耗设计思路解析

    ASP4644芯片4通道输出的DCDC转换器,它内置功率MOSFET和电感,适用于4-15V的宽输入电压范围,每通道可输出0.6~5V电压,最大可驱动5A的负载。对于更大的
    发表于 08-16 14:44

    THP210单端转差分输出异常的原因?

    THP210的测试电路如上。输入的信号是DC 1V信号,测THP210的pin4脚是接近+15V,pin5脚是接近-15V。即差分输出接近电源轨。上电后芯片
    发表于 07-30 06:15

    功耗BLE Mesh耗电量很大的原因?

    开发板电流90mA,成功连接后LED灯熄灭电流为80mA。但是这个电流距离低功耗相差的太远,比如使用power_save保活的wifi上电后电流也才20mA,为何这个低功耗BLE Mesh耗电量这么大,想请教
    发表于 06-18 08:12

    日本EdgeCortix推出省电AI芯片耗电量大幅降低

    日本半导体芯片设计领域的创新者EdgeCortix最近宣布,他们已经成功研发出款专为生成式AI运算处理设计的新型半导体芯片。这款芯片不仅采
    的头像 发表于 06-17 15:09 576次阅读

    芯片功耗提升,散热面临挑战!

    所有个人电脑出货量的60%,AI有望提振消费者需求。2023年10月,高通正式发布骁龙8Gen3处理器,该处理器将会成为2024年安卓旗舰的标配处理器,包含基于
    的头像 发表于 06-05 08:10 765次阅读
    <b class='flag-5'>芯片</b><b class='flag-5'>功耗</b>提升,散热面临挑战!

    AI芯片哪里买?

    AI芯片
    芯广场
    发布于 :2024年05月31日 16:58:19

    大模型为何成耗能大户

    除了耗电,另有研究显示,AI大语言模型GPT-3在训练期间耗水近700吨,每回答20至50问题就要消耗500毫升水。弗吉尼亚理工大学研究指出,Meta公司在2022年使用了超过26
    的头像 发表于 04-29 17:25 575次阅读

    risc-v多核芯片AI方面的应用

    RISC-V多核芯片AI方面的应用主要体现在其低功耗、低成本、灵活可扩展以及能够更好地适应AI算法的不同需求等特点上。 首先,RISC-V适合用于高效设计实现,其内核面积更小,
    发表于 04-28 09:20

    适用于电力载波通信的低功耗电力线过零检芯片CN71102

    适用于电力载波通信的低功耗电力线过零检芯片CN71102
    的头像 发表于 04-18 09:39 689次阅读
    适用于电力载波通信的低<b class='flag-5'>功耗电</b>力线过零检<b class='flag-5'>芯片</b>CN71102

    功耗 高性能M0芯片亮点(1~3): 低功耗 宽电压 PWM (无须担心耗电问题!)

    M0芯片(MG32F02V032), 极适合用在对功耗敏感的应用, 如: 户外储能/锂电池管理, 智能手环, 智能电子锁, 无线充电, 小家电(咖啡机), …等, 无须担心老是耗电问题! #笙泉科技MG32F02V032
    发表于 03-15 16:53

    功耗设计的几个误区分享

    FPGA功耗的根本方法。 误区五:这些小芯片功耗都很低,不用考虑 点 评:对于内部不太复杂的芯片功耗是很难确定的,它主要由引脚上的电
    发表于 01-09 08:04

    一个芯片不同封装的原因

    一个芯片的不同封装可能是为了满足不同的应用需求和设计要求。不同的封装可以影响芯片功耗、散热性能、引脚数量和布局等方面。
    的头像 发表于 12-18 18:15 1040次阅读

    #芯片 #AI 世界最强AI芯片H200性能大揭秘!

    芯片AI
    深圳市浮思特科技有限公司
    发布于 :2023年11月15日 15:54:37

    在物联网里GPRS模块耗电是很高的,怎么控制功耗

    在物联网里GPRS模块耗电是很高的,那般都是怎么控制功耗的。
    发表于 11-06 06:39