0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

浅谈算力调度

颖脉Imgtec 2024-11-08 03:00 次阅读

来源:未来网络集团


近年来,随着5G人工智能物联网等新技术的快速普及应用,全社会数据总量爆发式增长,算力总规模快速上升。但总体上看,我国算力资源分布仍呈现“东部不足、西部有余”的不平衡局面,难以匹配大规模数据存储、计算、传输、应用的现实需求。打造跨区域算力调度体系,能够破除东中西部之间、枢纽节点与非枢纽节点之间算力供需壁垒,加快实现多级算力协同,有效解决我国算力资源分布不均问题。


1、算力调度的定义

算力调度(Computational Power Scheduling 或 Computing Resource Scheduling)是指在计算机集群、数据中心云计算环境中,对计算资源进行分配和管理的过程。尤其是针对大规模计算任务,如人工智能训练、大数据分析、高性能计算等,需要将有限的算力精准地分配到对应的任务中,提高计算效率和资源利用率。算力调度类似于电力调度。电力系统调度是由许多发电厂提供电能,通过输电、变电、配电、供电网络向广大用户供电,是一个复杂的系统。其产、供、销过程在一瞬间同时完成和平衡。算力中心可以类比发电厂,通信网络类比电力网络,算力的用户是大模型、应用等厂商,算力调度就是通过对算力的调度,使得算力的需求和供给达到平衡。


二、实现算力调度的核心技术

实现算力调度的技术涉及多个方面,这些技术共同构成了算力调度系统的核心。

1.算力感知

算力感知是实现算力调度的基础,通过感知全网的算力资源信息,包括计算资源、存储资源等,确保能够按需、实时地调度不同位置的算力资源。

2.算力度量

算力度量标准的建立可以将算力资源统一表达为包含计算、网络、存储等多维度资源的综合模型,是实现灵活调度多元异构算力资源的前提。

3.算力路由

算力路由的作用是根据所感知的抽象算网资源,综合考虑计算资源及网络状态,按需将业务流量灵活路由至适当的计算节点中。

4.算力调度算法

算力调度算法是算力调度系统的核心,它根据任务特性、资源可用性、用户需求等因素,实现最优的任务分配。

5.虚拟化技术

通过虚拟化技术,可以将物理算力资源划分为多个虚拟资源,允许多个用户或任务共享同一块物理算力资源,同时保证性能和资源的隔离。

6.容器编排技术

在算力调度中,容器编排技术扮演着关键角色,尤其是在高性能计算场景下。容器编排技术可以实现对容器化应用的高效调度和管理,确保应用能够按需、实时地获得所需的算力资源。

7.确定性网络技术

确定性网络技术为数据流传输提供提供带宽、时延、抖动等质量可确定的服务,有助于保障算力网络中的数据传输质量和稳定性。

8.算网编排技术
算网编排技术能够实现对算力资源和网络资源的统一编排和部署,确保算力任务能够按照预定的路径和策略执行。

值得一提的是,通过不断优化算力调度技术,也将推动算网协同调度的深化发展,进一步实现计算资源和网络资源的统一管理和协同工作,能够结合网络优势以更高性能、更优稳定性为各类任务的高效处理提供支撑。


三、发展算力调度平台

面对日益增长的算力需求与复杂多变的算力资源环境,建设算力调度平台成为重要趋势。它能够有效整合分散的算力资源,实现跨地域、跨架构、跨异构的高效调度与优化配置,确保算力资源按需分配、高效利用,从而支撑数字经济的高质量发展,满足各行业对算力资源的多样化需求。

应用场景

AI训练与推理:在AI大模型训练和推理过程中,算力调度平台能够实现跨资源池、跨架构、跨厂商的异构算力资源调度,满足AI训练作业的高算力需求。

云计算与数据中心:在云计算和数据中心领域,算力调度平台能够整合不同来源、类型和架构的算力资源,为用户提供按需获取和调度的服务。

智慧城市与物联网:在智慧城市和物联网领域,算力调度平台能够实现对海量数据的快速处理和分析,为城市管理和物联网应用提供强大的算力支持。

算力调度平台作为推动我国数字经济发展的重要基础设施之一,具有广阔的发展前景和应用空间。随着技术的不断进步和应用场景的不断拓展,算力调度平台将在未来发挥更加重要的作用。未来,随着全国一体化算力调度平台的建设将有利于全国算力供需的精准对接,推动算力像水电煤气网一样“随时随地、即取即用”。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 计算机
    +关注

    关注

    19

    文章

    7351

    浏览量

    87625
  • 算力
    +关注

    关注

    1

    文章

    901

    浏览量

    14690
收藏 人收藏

    评论

    相关推荐

    GPU开发平台是什么

    随着AI技术的广泛应用,需求呈现出爆发式增长。AI租赁作为一种新兴的服务模式,正逐渐成为企业获取
    的头像 发表于 10-31 10:31 92次阅读

    大模型时代的需求

    现在AI已进入大模型时代,各企业都争相部署大模型,但如何保证大模型的,以及相关的稳定性和性能,是一个极为重要的问题,带着这个极为重要的问题,我需要在此书中找到答案。
    发表于 08-20 09:04

    中科曙光入选2024服务产业图谱及服务产品名录

    近日,中国信通院公布首个《服务产业图谱(2024年)》及《服务产品名录(2024年)》。曙光智构建的全国一体化
    的头像 发表于 08-06 14:23 570次阅读

    神州鲲泰亮相北京数字安全大会,以智能构筑数据安全的坚实底座

    正成为赋能各行各业数字化转型的基础技术要素,神州鲲泰面对智时代多云、异构、绿色计算等现实需求,智集群间以及集群内复杂异构兼容问题,整合异构
    的头像 发表于 07-18 16:06 382次阅读
    神州鲲泰亮相北京数字安全大会,以智能<b class='flag-5'>算</b><b class='flag-5'>力</b>构筑数据安全的坚实底座

    基础设施的风险与挑战

    编者按网络有一个美好的愿景,就是希望网,能像电力和电网一样:
    的头像 发表于 06-13 08:27 457次阅读
    <b class='flag-5'>算</b><b class='flag-5'>力</b>基础设施的风险与挑战

    力系列基础篇——101:从零开始了解

    相信大家已经感受到,我们正处在一个人工智能时代。如果要问在人工智能时代最重要的是什么?那必须是:
    的头像 发表于 04-24 08:05 1002次阅读
    <b class='flag-5'>算</b>力系列基础篇——<b class='flag-5'>算</b><b class='flag-5'>力</b>101:从零开始了解<b class='flag-5'>算</b><b class='flag-5'>力</b>

    智能规模超通用,大模型对智能提出高要求

    电子发烧友网报道(文/李弯弯)是设备通过处理数据,实现特定结果输出的计算能力,常用FLOPS作为计量单位。FLOPS是Floating-point Operations Per Second
    的头像 发表于 02-06 00:08 5926次阅读

    大茉莉X16-P,5800M大称王称霸

    Rykj365
    发布于 :2024年01月25日 14:54:52

    ChatGPT芯片如何做输出

    卡的核心当然还是计算芯片,会搭配大容量高带宽的内存、缓存,以及搭载CPU用于调度,为了帮助数据传输,便会使用高速通道,这便是PCIe(高速串行计算机扩展总线标准)在系统中的作用:提供总线通道。
    发表于 01-11 10:01 437次阅读
    ChatGPT<b class='flag-5'>算</b><b class='flag-5'>力</b>芯片如何做<b class='flag-5'>算</b><b class='flag-5'>力</b>输出

    AI服务器技术及产业链报告

    网大脑”即网络中最核心的部分,主 要进行全网资源的智能编排、弹性调度,具体而言有四个
    发表于 01-02 14:56 787次阅读
    AI<b class='flag-5'>算</b><b class='flag-5'>力</b>服务器技术及产业链报告

    一文读懂:什么是“”?

    的定义即计算能力(ComputingPower)。《中国白皮书(2022年)》将其定
    的头像 发表于 12-22 08:27 6669次阅读
    一文读懂:什么是“<b class='flag-5'>算</b><b class='flag-5'>力</b>”?

    燧原科技与青云科技达成战略合作,创新异构调度

    NEWS 燧原科技与青云科技日前达成战略合作,携手创新异构资源池的灵活调度,共建支持场景落地的AI生态,为AI应用快速落地、AI
    的头像 发表于 12-11 12:20 579次阅读

    浅谈为AI大而生的存-体芯片

    大模型爆火之后,存一体获得了更多的关注与机会,其原因之一是因为存一体芯片的裸相比传统架构的AI芯片,能带来十倍以上的提升。
    发表于 12-06 15:00 353次阅读
    <b class='flag-5'>浅谈</b>为AI大<b class='flag-5'>算</b><b class='flag-5'>力</b>而生的存<b class='flag-5'>算</b>-体芯片

    什么是可分为哪些类别?

    计算是人类解决问题的一种方式。 在漫长的历史长河中,人类遇到过很多问题,都需要通过计算来解决。这些计算任务,仅凭大脑这个“原生”工具,是无法完成的。 于是,人类发明了很多
    的头像 发表于 11-20 09:27 1.3w次阅读
    什么是<b class='flag-5'>算</b><b class='flag-5'>力</b>?<b class='flag-5'>算</b><b class='flag-5'>力</b>可分为哪些<b class='flag-5'>算</b><b class='flag-5'>力</b>类别?

    到底什么是的作用?

    的字面意思,大家都懂,就是计算能力(Computing Power)。
    的头像 发表于 11-20 09:26 1749次阅读
    到底什么是<b class='flag-5'>算</b><b class='flag-5'>力</b>?<b class='flag-5'>算</b><b class='flag-5'>力</b>的作用?