0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

智能算力规模超通用算力,大模型对智能算力提出高要求

Carol Li 来源:电子发烧友网 作者:李弯弯 2024-02-06 00:08 次阅读

电子发烧友网报道(文/李弯弯)算力是设备通过处理数据,实现特定结果输出的计算能力,常用FLOPS作为计量单位。FLOPS是Floating-point Operations Per Second的缩写,即每秒所能够进行的浮点运算数目(每秒浮点运算量)。

算力可以分为通用算力、智能算力和超算算力。早前通用算力占整体算力的比重达到90%以上,近些年随着人工智能技术的发展,智能算力规模迅速增长。从需求层面看,2022年,中国智能算力规模为268百亿亿次/秒(EFLOPS),已经超过通用算力规模。

大模型对智能算力提出更高要求

通用算力、智能算力和超算算力三者的区别在于,通用算力,由基于CPU芯片的服务器提供算力,主要用于基础通用计算。日常提到的云计算、边缘计算等都属于基础算力,它为移动计算、物联网等提供计算支持。

智能算力,由基于GPUFPGAASICAI芯片的加速计算平台提供的算力,主要用于人工智能的训练和推理计算,比如语音、图像和视频的处理。在技术架构上,人工智能的核心计算能力由训练、推理等专用计算芯片提供,注重单精度、半精度等多样化计算能力。

超算算力,由超级计算机等高性能计算集群提供算力,主要用于尖端科学领域的计算,比如行星模拟、药物分子设计、基因分析等。在技术架构上,超算的核心计算能力由高性能CPU或协处理器提供,注重双精度通用计算能力,追求精确的数值计算。

2023年以来大模型迅猛发展,更是让智算中心成为发展的重点。当然,相比于之前,大模型对智算中心也提出更高要求。首先是随着大模型规模的不断扩大,对计算资源的需求不断增加,智算中心需要提供更强大的计算能力来支持大模型的训练和推理任务。

其次是大模型需要大量的存储空间来存储参数、权重和中间结果,智算中心需要提供高效的存储系统。第三是大模型的训练和推理过程中会产生大量的数据,需要进行频繁的数据传输和通信,智算中心需要具备高速的网络连接和大规模的数据传输能力。

第四则是大模型的训练和推理过程需要大量的计算资源,导致能源消耗的增加,智算中心需要采取节能措施,如使用高效的硬件设备和优化算法,以降低能源消耗。另外还有,大模型的训练和推理过程需要进行复杂的模型管理和调度,包括模型版本控制、并行训练和推理等,智算中心需要提供相应的管理和调度工具来支持这些任务。

各地和企业建设智算中心支持大模型

对于各地方和企业来说,建设能够支持大模型的智算中心已经成为当下的重点。近日,上海电信联合徐汇区政府共同举办“算力惠模都 万兆连速城”人工智能公共算力服务产品发布会,消息称,2024年上半年,中国电信将在上海规划建设到达15000卡,总算力超4500P。其中,单池新建国产算力达万卡,是国内首个超大规模国产算力液冷集群。

据介绍,该集群采用新一代国产AI算力,实现了全栈自主创新和技术突破,通过高速RDMA(远程直接数据存取)连接各物理机节点,提供低延时、高吞吐量、无损通信网络和强大的并行计算能力,是目前规模最大的全国产液冷机房,多项技术指标领跑全国。

该集群最高可支持万亿参数大模型,便于各科研院校、大模型训练公司等机构和企业实现物理资源独享,无虚拟化损耗,满足AI计算、深度学习、图形渲染等复杂训练任务对算力的要求。

早前广州海珠区和中国电信广州分公司也携手揭牌了粤港澳大湾区首个服务大模型的智算中心。该智算中心搭载华为最新一代高端算力芯片昇腾910B,昇腾910B在大模型训练场景性能和A100持平,可提供全流程工具辅助大模型迁移。

中国电信广州分公司云技术总监时瑞表示,目前各种个性化推荐算法都需要调用智算,包括人脸识别、汽车自动驾驶等各种场景。他介绍,中心目前建成算力100P,计划两年内扩展到300P。海珠区相关负责人表示,该智算中心定位服务大模型,主要服务于广州市人工智能与数字经济试验区至粤港澳大湾区大模型研发运用。

写在最后

随着人工智能技术发展,智能算力的规模已经超过通用算力。近年来,大模型迅猛发展,使得智能算力市场需求会越来越大,同时大模型也给智能算力提出更高要求。为了抓住大模型发展带来的产业机会,各地及企业都在积极建设智算中心来支持大模型训练部署。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 算力
    +关注

    关注

    1

    文章

    925

    浏览量

    14731
  • 大模型
    +关注

    关注

    2

    文章

    2314

    浏览量

    2447
收藏 人收藏

    评论

    相关推荐

    基础篇:从零开始了解

    即计算能力(Computing Power),狭义上指对数字问题的运算能力,而广义上指对输入信息处理后实现结果输出的一种能力。虽然处理的内容不同,但处理过程的能力都可抽象为。比
    的头像 发表于 11-15 14:22 237次阅读
    <b class='flag-5'>算</b><b class='flag-5'>力</b>基础篇:从零开始了解<b class='flag-5'>算</b><b class='flag-5'>力</b>

    企业AI租赁是什么

    企业AI租赁是指企业通过互联网向专业的提供商租用所需的计算资源,以满足其AI应用的需求。以下是对企业AI
    的头像 发表于 11-14 09:30 121次阅读

    GPU开发平台是什么

    随着AI技术的广泛应用,需求呈现出爆发式增长。AI租赁作为一种新兴的服务模式,正逐渐成为企业获取
    的头像 发表于 10-31 10:31 120次阅读

    中国大会召开,业界首个高质量评估体系发布

    首次完整地构建了人工智能时代高质量的理论体系,并探索性提出业界首个 "五位一体"的高质量
    的头像 发表于 09-28 16:50 229次阅读
    中国<b class='flag-5'>算</b><b class='flag-5'>力</b>大会召开,业界首个<b class='flag-5'>算</b><b class='flag-5'>力</b>高质量评估体系发布

    浅析三大之异同

    随着一年多前ChatGPT的出现引爆人工智能(AI)浪潮,支撑大模型背后的“”概念突然闯进我们的视野,成为科技圈炙手可热的新词,引领着最新潮流。作为数字经济时代新生产
    的头像 发表于 08-30 12:56 628次阅读
    浅析三大<b class='flag-5'>算</b><b class='flag-5'>力</b>之异同

    模型时代的需求

    现在AI已进入大模型时代,各企业都争相部署大模型,但如何保证大模型,以及相关的稳定性和性能,是一个极为重要的问题,带着这个极为重要的问
    发表于 08-20 09:04

    中国中心市场持续增长,智能规模快速崛起

    7月24日,中国信息通信研究院(简称“中国信通院”)权威发布了《中国中心服务商分析报告(2024年)》,该报告深入剖析了中国中心市场的现状与未来趋势,揭示了我国在全球
    的头像 发表于 07-24 15:25 420次阅读

    力系列基础篇——与计算机性能:解锁超能力的神秘力量!

    在《力系列基础篇——101:从零开始了解》中,相信各位粉丝初步了解到人工智能的“发动机
    的头像 发表于 07-11 08:04 104次阅读
    <b class='flag-5'>算</b>力系列基础篇——<b class='flag-5'>算</b><b class='flag-5'>力</b>与计算机性能:解锁超能力的神秘力量!

    基础设施的风险与挑战

    编者按网络有一个美好的愿景,就是希望网,能像电力和电网一样:
    的头像 发表于 06-13 08:27 493次阅读
    <b class='flag-5'>算</b><b class='flag-5'>力</b>基础设施的风险与挑战

    力系列基础篇——101:从零开始了解

    相信大家已经感受到,我们正处在一个人工智能时代。如果要问在人工智能时代最重要的是什么?那必须是:
    的头像 发表于 04-24 08:05 1002次阅读
    <b class='flag-5'>算</b>力系列基础篇——<b class='flag-5'>算</b><b class='flag-5'>力</b>101:从零开始了解<b class='flag-5'>算</b><b class='flag-5'>力</b>

    广东:到2025年,规模38E,智50%,国产70%

    目标,提出了6大类22项重点任务。据了解,近年来,广东持续加快建设,电信运营商已完成粤港澳大湾区超高速400G全光运力网络建设,实现韶关到广州、深圳单向时延分
    的头像 发表于 04-23 08:25 407次阅读
    广东:到2025年,<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>规模</b>38E,智<b class='flag-5'>算</b>50%,国产<b class='flag-5'>算</b><b class='flag-5'>力</b>70%

    中心:数字经济发展的新引擎

    随着数字经济的快速发展,中心正逐渐成为推动经济发展的重要力量。中心是指能够提供大规模、高效率、低成本
    的头像 发表于 04-13 08:27 1570次阅读
    <b class='flag-5'>算</b><b class='flag-5'>力</b>中心:数字经济发展的新引擎

    上海市实施“浦江”智行动,推动智能基础设施高质量发展

    目标是使上海市智能总量超越30EFlops,占比达总计算的50%以上。同时,要求
    的头像 发表于 03-25 16:33 759次阅读

    大茉莉X16-P,5800M大称王称霸

    Rykj365
    发布于 :2024年01月25日 14:54:52

    网络面临三大挑战

    2024年,以AIGC为代表的人工智能技术将进一步激发需求,网络、智中心、
    的头像 发表于 01-12 10:39 1006次阅读