0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Vicor技术如何改进生成式人工智能的供电

Vicor 来源:Vicor 2024-10-16 09:54 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

专访 Maury Wood,Vicor 战略营销副总裁

生成式人工智能(genAI)带来的文化革命可能像互联网普及一样对人类产生深远影响。从您的角度来看,目前情况如何?

过去 18 个月以来,我们见证了整个生成式人工智能生态系统的飞速创新,涵盖处理器芯片、专用软件和超级计算机等多个领域,这些创新加速了特定领域人工智能应用的开发,同时,许多企业纷纷宣布战略规划,这预示着生成式人工智能将在可预见的未来对全球经济产生巨大影响。目前,生成式人工智能模型的训练已经在计算性能、存储容量和网络带宽方面达到了前所未有的高水平。一些当今性能最高的超级计算机(通常以浮点数学性能衡量)专门用于生成式人工智能模型训练。生成式人工智能正推动半导体、基础设施硬件、系统软件和网络边缘等领域的空前投资,这种投资热潮有望进一步扩展到家庭和工作场所的嵌入式人工智能设备领域。

生成式人工智能的快速普及会带来哪些负面影响?

除了人们普遍担忧的问题外,这波创新浪潮的一个主要成本是云数据中心的能耗急剧增加,这些数据中心承担着生成式人工智能的训练和推理任务,而能耗的预测数据令人担忧。例如,《纽约时报》的一项预测显示,到 2027 年,生成式人工智能的用电量将相当于阿根廷、荷兰或瑞典一年的用电量。生成式人工智能模型的训练和推理带来日益严重的能耗挑战,与社会减少能源使用和温室气体排放的目标背道而驰。

为何生成式人工智能计算如此耗电?

首先,让我们区分两个概念。当我们个人使用生成式人工智能工具时,我们是在对预训练的大型语言模型(LLM)进行查询,这种所谓的"推理"活动并不特别耗电,甚至可以在网络边缘设备上进行。然而,训练生成式人工智能大型语言模型的过程则需要在我之前提到的超级计算机上进行大量计算(目前这个过程通常需要数月)。这些超级计算机使用成千上万个基于图形处理单元(GPU)的专用处理器,每个处理器包含的晶体管都数量惊人——通常超过 1000 亿。这些训练处理器采用了最先进的半导体工艺技术,如 4 纳米 CMOS 工艺,但在运行过程中会漏电。由于这些晶体管的供电电压约为 0.7VDD,持续的电流需求可能高达 1000 安培或更高,导致持续功耗(也称为热设计功耗)达到 700 瓦特或更高。如果每台生成式人工智能超级计算机的数千个处理器和全球数百台云端生成式人工智能超级计算机都乘以 700 瓦,总体电力消耗就会急剧飙升。

举个例子,根据英伟达(Nvidia)的数据,OpenAI 的 GPT-3 模型有 1750 亿个参数,整个训练周期需要约 300 泽字节浮点运算(300 zettaFLOPS,即每秒 1021 次浮点运算),相当于 3X1023 次数学运算。而且这些模型的规模只会不断增加,目前正在开发的神经网络模型参数已达到万亿级。

229e9bd8-8b53-11ef-a511-92fbcf53809c.jpg

图 1:生成式人工智能训练处理器的峰值电流需求不断攀升,似乎没有尽头。

常规开关模式电源架构能否满足生成式人工智能的供电需求?

直到最近,数据中心机架还在使用 12V 直流配电系统。在过去十年中,Vicor 等电源系统创新公司一直倡导在数据中心机架中使用 48V 直流电源,因为根据欧姆定律,电压更高可以在具有非零电阻的导体中降低功耗。开放计算项目组织(Open Compute Project)标准化的开放机架规范大大推动了 48V 直流电源在高性能计算应用中的采用。在早期的生成式人工智能配电架构中,这种 48V 直流电源在加速模块上转换为中间母线电压,然后再通过跨电感电压稳压器(TLVR)供电,然而这种方法在可扩展性和电流密度方面存在明显的局限性。

概念性加速模块(AM),展示基于 GPU 的处理器并支持高带宽内存(HBM),是生成式人工智能的基本构建模块。

为何 TLVR 方法不足以满足生成式人工智能处理器的供电需求?

在用于生成式人工智能训练处理器的加速模块上,可用的印刷电路板(PCB)空间非常有限,这意味着这些处理器的供电子系统必须具有超高的功率密度(W/mm²)和电流密度(A/mm²)。传统电源根本无法达到所需的功率和电流密度,既无法提供足够的电流,也无法适应有限的 PCB 面积。此外,生成式人工智能训练处理器的电源组件还必须满足负载瞬变引起的动态性能需求。同样,传统的供电方法并不能很好地满足这些要求。另外,生成式人工智能供电架构中的组件必须具有出色的散热能力。无论生成式人工智能系统采用液冷还是风冷,电源组件都必须具有高热导率,其封装还要能在整个使用寿命期内承受极高水平的热循环。最新的生成式人工智能加速模块采用分级电源架构,其负载点转换器使用电流倍增技术,如 Vicor 公司的创新技术。

Vicor 的分比式电源架构(FPA)在负载点采用具有出色散热性能的模块化电流倍增器(MCM),非常适合生成式人工智能训练应用。

Vicor 技术如何改进生成式人工智能的供电?

Vicor 独特的电源模块采用模塑成型,然后使用无电镀镍浸金(ENIG)工艺进行电镀。模压结构确保机械刚性,以及在温度、湿度和振动等环境下的稳定性。电镀外表面有利于高良率的表面贴装组装,同时为使用冷板强制风冷或液冷提供了理想的热传导条件。Vicor 电源模块采用专有的正弦振幅转换器(SAC)电路拓扑,使用零电压开关(ZVS)和零电流开关(ZCS)技术来最大限度地减少开关噪声和杂散辐射,同时最大化 DC-DC 转换效率。Vicor 还使用高频 MOSFET 开关来减小高度集成模块的物理尺寸。此外,Vicor 为人工智能/高性能计算应用设计的负载点组件非常薄(≤1.7mm),并在一系列与 PCB 兼容的封装中提供可扩展的电流输出。在可预见的未来,生成式人工智能无疑将继续是现代计算世界中最耗电且散热挑战最大的应用。Vicor 将继续创新,满足这一激动人心的新业务机会不断攀升的供电需求。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    20325

    浏览量

    254708
  • 数据中心
    +关注

    关注

    18

    文章

    5754

    浏览量

    75195
  • 人工智能
    +关注

    关注

    1819

    文章

    50290

    浏览量

    266842

原文标题:随着人工智能(AI)的发展,电力挑战也随之而来

文章出处:【微信号:Vicor,微信公众号:Vicor】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    嵌入人工智能课程(华清远见)

    嵌入 AI 编译器优化:华清远见课程,解锁极致端侧性能 随着人工智能从云端全面向边缘侧和终端侧下沉,“万物智联”的时代已经悄然到来。然而,在这股浪潮背后,隐藏着一个巨大的技术鸿沟:在算力受限
    发表于 04-16 18:47

    东风太极大模型通过国家生成人工智能服务备案

    日前,从国家互联网信息办公室网站获悉,东风汽车自主研发的“东风太极大模型”体系正式通过国家互联网信息办公室生成人工智能服务备案。
    的头像 发表于 03-18 15:59 227次阅读

    开发智能体配置-内容合规

    智能体上架前,需完成“人工智能生成合成内容标识”和“大模型备案信息”填写 ,以供平台审核;可在智能体【配置】-【内容合规】中填写。 人工智能
    发表于 02-07 11:44

    生成人工智能会让自动驾驶更灵活吗?

    [首发于智驾最前沿微信公众号]每当提到“人工智能”(AI),很多人第一反应就是想到它能实现识别图片、听懂语音、做出判断、推荐内容等任务。但在AI领域,还有一个更细致的分类,那便是生成人工智能
    的头像 发表于 12-23 10:05 628次阅读
    <b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>人工智能</b>会让自动驾驶更灵活吗?

    云边云科技参与发布《生成人工智能零售业全景探索白皮书》

    一、云边云科技入选生成人工智能零售业全景探索白皮书生成人工智能在生产力和效率优化、关键风险防
    的头像 发表于 12-15 09:58 648次阅读
    云边云科技参与发布《<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>人工智能</b>零售业全景探索白皮书》

    思必驰一鸣智能客服大模型通过生成人工智能服务备案

    近日,江苏网信发布新一批生成人工智能服务备案信息,其中,由思必驰控股子公司驰必准自主研发的一鸣智能客服大模型通过《生成
    的头像 发表于 09-16 18:08 1328次阅读

    中车斫轮大模型通过国家生成人工智能服务备案

    9月14日,国家互联网信息办公室发布最新公告,“中车斫轮”大模型通过“生成人工智能服务”备案,标志着其在数据安全治理、模型机制透明度、内容生成合规性等核心维度已全面对标国家监管要求,
    的头像 发表于 09-16 09:16 919次阅读

    华盛昌DeepSense深度感测大模型通过生成人工智能服务备案

    近日,深圳市华盛昌科技实业股份有限公司(以下简称“华盛昌”)的“DeepSense深度感测大模型”在历经属地网信办初审、中央网信办终审及六大部委意见征询后,通过广东省生成人工智能服务备案(备案号
    的头像 发表于 09-08 14:49 1950次阅读

    挖到宝了!人工智能综合实验箱,高校新工科的宝藏神器

    和生态体系带到使用者身边 ,让我们在技术学习和使用上不再受制于人。 三、多模态实验,解锁AI全流程 它嵌入了2D视觉、深度视觉、机械手臂、语音识别、嵌入传感器等多种类AI模块,涵盖人工智能领域主要
    发表于 08-07 14:30

    挖到宝了!比邻星人工智能综合实验箱,高校新工科的宝藏神器!

    和生态体系带到使用者身边 ,让我们在技术学习和使用上不再受制于人。 三、多模态实验,解锁AI全流程 它嵌入了2D视觉、深度视觉、机械手臂、语音识别、嵌入传感器等多种类AI模块,涵盖人工智能领域主要
    发表于 08-07 14:23

    生成人工智能认证:解锁AI时代个人与组织的进化密码

    当人类站在智能革命的奇点回望,会发现技术迭代的速度早已超越个体认知的进化节奏。生成人工智能的爆发式发展,不仅重构了知识生产与传播的方式,更
    的头像 发表于 05-23 09:47 625次阅读

    生成人工智能认证:重构AI时代的人才培养与职业跃迁路径

    当人类站在生成人工智能(Generative AI)的技术奇点上回望,会发现这场革命早已超越了工具迭代的范畴——它正在重新定义人类与技术
    的头像 发表于 05-23 09:29 983次阅读

    生成人工智能认证:重塑AI时代职业版图的钥匙

    在科技浪潮席卷全球的今天,人工智能(AI)已从科幻概念进化为驱动社会变革的核心力量。其中,生成人工智能(Generative AI)作为技术
    的头像 发表于 05-23 09:18 782次阅读

    生成人工智能认证:重塑AI职业生态的底层逻辑

    人工智能技术渗透至社会毛细血管的今天,生成人工智能(Generative AI)的崛起正在改写人类与技术的协作范式。从ChatGPT引爆
    的头像 发表于 05-23 09:17 948次阅读

    生成人工智能认证(GAI认证)官网 - 全国统一认证中文服务平台上线

    习并掌握这一技术,成为了众多专业人士和求学者面临的难题。近日,一个令人振奋的消息传来——生成人工智能认证(GAI认证)中文官网正式上线,为这一难题提供了权威的解决方案。 ‌一、GAI
    的头像 发表于 05-14 17:30 1322次阅读