0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

大模型为何成耗能大户

现代电子技术 来源:经济日报 2024-04-29 17:25 次阅读

随着人工智能技术快速发展,人工智能(AI)大模型的运行消耗问题受到越来越多关注。大模型为何成了耗能大户?能耗问题会不会成为人工智能发展的“绊脚石”?如何解决能耗问题?

耗电耗水量大

人工智能大模型到底有多耗能?据斯坦福人工智能研究所发布的《2023年AI指数报告》,AI大语言模型GPT-3一次训练的耗电量为1287兆瓦时,大概相当于3000辆特斯拉电动汽车共同开跑、每辆车跑20万英里所耗电量的总和。报告同时提出,AI大语言模型GPT-3一次训练,相当于排放了552吨二氧化碳。

国外研究显示,一次标准谷歌搜索耗电0.3瓦时,AI大语言模型ChatGPT响应一次用户请求耗电约2.96瓦时,在AI大模型驱动下的一次谷歌搜索耗电8.9瓦时。

除了耗电,另有研究显示,AI大语言模型GPT-3在训练期间耗水近700吨,每回答20个至50个问题就要消耗500毫升水。弗吉尼亚理工大学研究指出,Meta公司在2022年使用了超过260万立方米的水,主要作用是为数据中心提供冷却。

据了解,人工智能大模型GPT-4的主要参数是GPT-3的20倍,计算量是GPT-3的10倍,能耗也随之大幅增加。

华泰证券研报预测,到2030年,中国与美国的数据中心总用电量将分别达到0.65万亿千瓦时至0.95万亿千瓦时、1.2万亿千瓦时至1.7万亿千瓦时,是2022年的3.5倍和6倍以上。届时,AI用电量将达到2022年全社会用电量的20%和31%。

为何如此耗能

为什么人工智能大模型如此耗能?AI技术迅速发展,对芯片的需求急剧增加,进而带动电力需求激增。同时,对AI进行大量训练,也意味着需要更强的算力中心和与之匹配的散热能力。在AI快速迭代的道路上,电力和水资源的消耗也在快速增加。因为很多数据中心全年无休,发热量巨大,大规模电耗和水耗主要来自于冷却需求。

相关统计显示,数据中心运行成本的六成是电费,而电费里的四成多来自冷却散热,相应也会带来巨量冷却水的消耗。风冷数据中心六成多的耗电量都会用在风冷上,只有不到四成电力用在实际计算上。如今,全球数据中心市场耗电量是10年前的近10倍。

能耗问题会不会成为人工智能发展的“绊脚石”?英伟达首席执行官黄仁勋曾提到,AI和算力耗能巨大,但由于计算机性能飞速增长,计算会更加高效,相当于更节省能源。当前,我国实施严格的能耗双控政策,无论是AI大模型本身还是其应用行业,对单位GDP能耗来说均有明显降低作用。

从整体能耗来看,AI大模型带来的效率提升也会抵消一部分能耗增长。随着绿电广泛应用,再加上我国逐步由能耗双控向碳排放双控政策转变,可再生能源对未来AI大模型发展的支撑能力也会越来越强。

此外,相较于其他国家而言,中美等能源消费大国和数据大国,具备更好发展AI大模型的资源条件和基础。

怎样应对挑战

据预测,到2025年,AI相关业务在全球数据中心用电量中的占比将从2%增加至10%。到2030年,智能计算年耗电量将达到5000亿千瓦时,占全球发电总量的5%。因此,在大力发展AI大模型的同时,必须提前做好相关规划布局,以提供必要的电力和水资源等技术支撑。

有专家认为,人工智能的未来发展与状态和储能紧密相连。因此,不应仅关注计算力,而是需要更全面地考虑能源消耗问题。OpenAI创始人奥尔特曼认为,未来AI技术取决于能源突破,更绿色的能源尤其是核聚变或更便宜的太阳能以及储能的可获得性,是人工智能发展快慢的重要因素。

为降低电力和水资源消耗,很多企业在尝试采用各种方法为数据中心散热。例如,微软曾尝试部署海下数据中心,脸书(Facebook)数据中心选址北极圈附近,阿里云千岛湖数据中心使用深层湖水制冷等,我国很多企业则把数据中心布局在水电资源丰富的西南地区。

目前,可通过算法优化、开发和使用更高效的AI专用硬件、调整神经网络训练过程以优化计算资源等技术方式来降低AI大模型的能耗,并更多采用自然冷却、液冷、三联供、余热回收等新兴节能技术,提高制冷效率以降低数据中心能耗。从技术未来发展方向上看,光电智能芯片也有助于解决AI大模型的电耗和水耗问题。

AI大模型的发展,不能仅符合高端化、智能化的要求,更要符合绿色化的发展要求。为此,从国家和地方层面上看,为缓解AI大模型发展所带来的电力和水资源冲击,有必要将数据中心行业纳入高耗能行业管理体系,并提前做好相关规划布局。同时,加强资源整合,充分发挥人工智能大模型和数据中心的效能,通过使用效能下限设置等方式,确保其自身的电力和水资源使用效率。还应严格落实国家能耗双控及碳排放双控政策,并将其碳足迹与水足迹纳入行业考核范围,切实推动碳足迹与水足迹逐步降低,以应对日益增长的AI大模型电力和水资源需求。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30084

    浏览量

    268348
  • 语言模型
    +关注

    关注

    0

    文章

    504

    浏览量

    10244
  • 可再生能源
    +关注

    关注

    1

    文章

    683

    浏览量

    39504
  • 大模型
    +关注

    关注

    2

    文章

    2318

    浏览量

    2459

原文标题:大模型为何成耗能大户

文章出处:【微信号:现代电子技术,微信公众号:现代电子技术】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    光电二极管输入的偏置电流为何这么大?

    用的是光电二极管模型,输入的偏置电流为何这么大,是固定的,但放大倍数如何求
    发表于 08-16 06:21

    esp32的整体平均功耗能到多少?

    deep-sleep模式,rtc定时5s唤醒一次,每次就启动ble 进行广播并维持1s的等待连接。如果没有就进入deep-sleep。 这种模式下,如果没有连接的话,esp32的整体平均功耗能到多少?没有用ulp。理论上应该是官方数据10uA,但是粗略测量会高很多。请问还需要怎么做吗?
    发表于 06-26 07:52

    储能元件和耗能元件的定义

    在电工和电子学的世界中,储能元件和耗能元件是两大基本元素,它们各自在电路中扮演着不同的角色,对电路的功能和性能产生着深远的影响。本文将对这两种元件进行详细的探讨,包括它们的定义、特性、种类以及应用。
    的头像 发表于 05-16 18:07 1852次阅读

    【大语言模型:原理与工程实践】大语言模型的应用

    ,它通过抽象思考和逻辑推理,协助我们应对复杂的决策。 相应地,我们设计了两类任务来检验大语言模型的能力。一类是感性的、无需理性能力的任务,类似于人类的系统1,如情感分析和抽取式问答等。大语言模型在这
    发表于 05-07 17:21

    【大语言模型:原理与工程实践】大语言模型的评测

    大语言模型的评测是确保模型性能和应用适应性的关键环节。从基座模型到微调模型,再到行业模型和整体能力,每个阶段都需要精确的评测来指导
    发表于 05-07 17:12

    储能元件和耗能元件怎么区分?

    储能元件和耗能元件在电子电路中起着截然不同的作用,它们的区分对于电路设计和系统性能至关重要。
    的头像 发表于 05-06 16:05 1299次阅读

    使用MotorControl Workbench 5.1.3生的软件,运行后software error,为什么?

    使用MotorControl Workbench 5.1.3生的软件,运行,第一次可以发波形,第二次报software error;后面没次清除故障都是直接software error;没有任何波形产生。请问为何会报这个 故障?
    发表于 04-25 06:17

    新火种AI|算力不足,小模型AI模型发展下个方向?

    大力出奇迹不是唯一方法,把大模型做小才是本事
    的头像 发表于 04-23 21:20 191次阅读
    新火种AI|算力不足,小<b class='flag-5'>模型</b><b class='flag-5'>成</b>AI<b class='flag-5'>模型</b>发展下个方向?

    采用STM8L152停机模式+点亮LCD的情况下的功耗能够做到多低呢?

    有没有人试验过,采用STM8L152停机模式+点亮LCD的情况下的功耗能够做到多低呢?是多少呢?
    发表于 04-15 07:16

    模型推理显卡选购指南:4090显卡为何成为不二之选

    开发者非常关注的话题。 现在市面上加速卡型号多如牛毛,但说到适用大模型推理的显卡,那4090显卡绝对是现阶段“推理王卡”般的存在。论性能不如H100,论价格不如3090,看似平平无奇的4090显卡为何能在众多竞争者中脱颖而出,成为大模型
    的头像 发表于 04-11 11:00 723次阅读
    大<b class='flag-5'>模型</b>推理显卡选购指南:4090显卡<b class='flag-5'>为何</b>成为不二之选

    AI大模型落地学习机,大模型应用学习机创新方向

    电子发烧友网报道(文/李弯弯)大模型在终端产品上的落地,除了智能手机、PC之外,还有学习机。过去一段时间,随着大模型的火热,互联网、教育公司都已经纷纷披露大模型在教育领域的最新动态,并发布搭载AI
    的头像 发表于 02-23 01:19 3784次阅读

    osi参考模型与TCP/IP参考模型的对应关系

    OSI参考模型是一种将计算机网络协议分解七个不同层次的概念模型。这七个层次分别是物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。每一层都负责不同的任务和功能,通过这种分层的方式,可以
    的头像 发表于 01-11 14:26 5660次阅读

    如何将adi的spice模型(.cir文件)添加到pspice里?

    我在用cadence的pspice仿真电路时,需要一个AD620器件,后来虽然我在cadence自带的库中找到了。但还是留了很多疑问: 1.ad620是adi公司出的,网站上有spice模型
    发表于 11-28 06:58

    什么是隔直电容,它们为何重要?(上)

    什么是隔直电容,它们为何重要?(上)
    的头像 发表于 11-23 16:39 1388次阅读
    什么是隔直电容,它们<b class='flag-5'>为何</b>重要?(上)

    什么是隔直电容,它们为何重要?(下)

    什么是隔直电容,它们为何重要?(下)
    的头像 发表于 11-23 15:58 1928次阅读
    什么是隔直电容,它们<b class='flag-5'>为何</b>重要?(下)