0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

算法资源波动比肩过山车?

sanyue7758 来源:速石科技 2023-02-24 11:47 次阅读

第三集:算法仿真

算法是芯片系统进行的整体战略规划,决定了芯片各个模块功能定义及实现方式,指引着整个芯片设计的目标和方向。可谓,牵一发而动全身。

不管是模拟IC还是数字IC设计,算法仿真都是一步。通常,会由算法工程师组成独立的算法团队。

df522438-b351-11ed-bfe3-dac502259ad0.png

CPU/GPU本应该是算法仿真的常客,但因为历史比较悠久,发展成熟,市场几乎被英伟达AMD垄断,很多IC设计公司选择直接采购IP的方式跳过这一步。

近几年,无线通信芯片成为了算法业务的最大甲方。因为这类芯片的信号编解码与频谱迁移时方式十分复杂,再加上种类繁多,各国的通信协议、标准、频率也在不断变化。随着我国5G通信标准的放开,算法仿真的地位与日俱进。

另一个涉及大量算法业务的场景是AI芯片,应用场景小到手机智能家电,大至汽车。

跟前两篇数字和模拟IC的设计场景相比,算法仿真有着非常不一样的表现。

所以我们单独把ta拉出来,结合一家无线通信芯片公司实际业务场景,看看算法仿真有哪四大特性,以及从动态视角出发,看我们怎么算法工程师解决问题,提高研发效率

算法仿真的本质

算法(Algorithm),是指在数学和计算机科学间,一种被定义好的、计算机可施行指示的步骤和次序。算法代表着用系统的方法描述解决问题的策略机制,解决一个问题可以有很多种算法。

举个栗子。

求解下图黄色区域图形面积,我们有三种算法。

df9b9e06-b351-11ed-bfe3-dac502259ad0.png

方法一:你可以直接用三角形的面积公式解。这种方法快速、直观,小学文化程度即可,但局限性也高、不通用,不适用于图像复杂的情况;

方法二:也可以用符号计算求不定积分。求解析解方法,适用于各类不定积分中有解析表达式的函数图像。计算门槛较高,大多手算,很少有计算工具。而且实际工程应用场景中,很多函数没有解析解;

方法三:用数值计算方式解积分,求数值解。数值计算法适用范围最广,可以求任意函数曲线的定积分,将函数一段段分解,再算出面积。不同的分解方法就代表不同的算法。这种方法只能求数值解,无法求解析解,且计算量巨大适合机器计算不适合人工计算,在工程领域应用甚广。

e07cb38c-b351-11ed-bfe3-dac502259ad0.png

在芯片设计领域,算法仿真的本质是评估不同数值计算解法的工作量、计算效率适用范围,选出最优算法,使ta不仅要满足算得最快、最准,还要能确保功能、精度、效率、吞吐量等指标

算法仿真是一个不断迭代、优化的过程,一般都要反复调整参数,进行N次回归测试。

一家算法团队的小目标

一家线通信芯片公司算法团队,开局情况如下:

算法部门共有15人,全公司有480核共享本地资源,各部门按需提前申请使用。

根据公司的业务发展目标,大致估算出未来新算法项目任务总数为1283980

假设一:全公司本地资源均归他们用,每个人的资源上限是32核;

假设二:单case运行时间为10小时;

假设三:回归测试次数为1次;

假设四:1个case只有1个job,且只用1个核。

e0948e94-b351-11ed-bfe3-dac502259ad0.png

总运行时间达到3.05年。 啊这。。可能打开方式不对,再来:增加假设五:人均资源上限逐渐提升到120核;

假设六:算法团队人数逐步扩张至46人;

e0af5fe4-b351-11ed-bfe3-dac502259ad0.png

总运行时间约96.92天。

嗯,这回挺好。

想得是挺美,小目标怎么实现?

现实一:公司共享本地资源不可能只归算法部门专用;

现实二:单case运行时间,难以估计;且1个case往往不止1个job,且1个job未必只用1个核;

现实三:回归测试只有1次,几乎不太可能,总任务数可能数倍增长;

现实四:本地机房从480核要扩张十几倍,可不止是买买买硬件,机房建设、运维人力、硬件维保、存储网络、环境部署等等,都不是小事;

现实五:算法工程师要求非常高,招聘难度极大。

真是,没一个字让人爱听的。

如果是日常模拟/数字芯片设计,想做算力规划,咱们还是有思路的,可以看看这篇:解密一颗芯片设计的全生命周期算力需求

但算法仿真这里,此路不通。

我们来看看算法仿真的特性:

算法仿真的四大特性

下图是这家无线通信芯片公司算法团队9个月实际日平均资源用量波动总览图:

e117d48e-b351-11ed-bfe3-dac502259ad0.png

01

需求不可测

从个人角度出发,算法团队每个人的算法任务都是互相独立,互不影响的。算法确定之后,每一轮的计算量基本确定(case分解成的job数,job占用的核数基本确定),每个算法任务的单次耗时与回归测试次数都是不一样的,这导致最后的资源需求完全不可测。

如果再叠加团队使用因素,资源的不可测性也会被成倍地放大。如果原先个人的资源使用区间是0到250核小时;如果团队内有20人,那不可测区间就放大至0至5000核小时。

02

短时间使用量波动巨大

除了算法任务需求的不可测性,资源使用量的波动还受实际算法任务的进度影响。

每个算法工程师的工作独立且进度不一,有时可能大量任务同时批量运行,也可能部分在调试,部分在运行,甚至可能一个在运行的任务都没有。

不同工程师的工作进度差异与所用算法不一,不仅导致了波峰、波谷间的资源使用量差距极大,而且这样的波动可能发生在极短时间

极限情况:所有工程师都在顶格跑任务,5520核的资源量瞬间拉满(100%);而下一刻只有10%的工程师在跑任务,且每人都只使用自己配额80%的资源量,那总资源仅使用了一部分。

不同公司的算法团队之间,因为团队规模与业务差异,资源用量差异也非常大。

03

资源需求类型多样

算法仿真整体来说,对资源的各方面需求并不算高。

但不同算法的需求都不一样:

有的需要单核4G内存的机型,有的要单核8G内存的机型;

有的算法对存储要求高,有的算法对存储没要求:

有的涉及图形计算,甚至还需要用到GPU机型。

04

长期可持续状态

上述三大特性,都不是突发现象,属于算法团队的日常工作状态。

这一状态的长期可持续性,我们需要对此做好足够的准备。

一种动态思路:增加时间维度

算法仿真的四大特性决定了:按这家公司原来的静态处理方式,也就是把任务量当成恒定的,通过加人加机器的方式来满足研发需求,变得很不现实。哪怕顶格准备资源,资源利用率也会长期处于较低状态。

那按动态处理方式,也就是随着时间变化,灵活根据需求匹配不同规模/类型资源的方式来动态满足研发需求,从个人及团队视角出发,看我们怎么算法工程师解决问题,提高研发效率

01

算法工程师视角

1)资源无需申请,即开即用

再也不用跟同事抢资源或者漫长的排队等待了,也不用走繁琐的资源申请流程。

2)资源选择空间变大

选择空间变大,资源类型变多,可用资源上限变高,可以灵活选择更加适配算法任务的资源类型。

给大家打个样:5000核大规模OPC上云,效率提升53倍

3)提交任务立马就能跑,告别等待

提交任务立马就能跑,一整套研发环境现成的,即开即用。灵活切换,今天跑一百,明天跑一万,无需等待环境配置。

4)以前怎么用,现在就怎么用

跟本地相比无感知,用户使用习惯没有任何改变,不需要调整任何脚本。

5)任务跑得快,效率线性增长

多case高并发执行。同一批算法任务之间互相独立,可以做到效率线性提升。

02

团队管理视角

1)动态方式解决资源不可测问题

算法任务的不可预测且波动巨大,导致了资源预测与规划基本不可能。按传统静态处理方式来解决问题:

按顶格规划,这笔账都不用算,会造成黄色区域的巨大浪费;按中间取值准备,当某个时间点算法仿真短时间内任务量激增,就会出现人机不匹配,不是有人力没机器,就是有机器没人力。这种错配导致资源利用率极低,影响研发进度。

e12ce022-b351-11ed-bfe3-dac502259ad0.png

图中3-5月,峰值算力就从200核攀升27倍达到5520核,随即又迅速从5520核下跌到500核左右,这波动幅度简直比过山车还剧烈,而且毫无规律。

我们的动态处理方式,会随着时间变化,灵活根据当前时间点任务需求匹配不同规模/类型资源的方式,动态满足研发需求。不管500核还是5000核,我们都能实时根据需要,满足整个团队的大幅波动资源需求,保障日常算力和峰值算力任务调度效率。

2)Auto-Scale自动伸缩,随用随关不浪费

Fsched调度器的Auto-Scale功能,能解决团队资源利用率与成本问题。

资源“自由”的同时不浪费

一方面随用户任务需求,设置自动伸缩上下限,自动化调用资源完成任务;Auto-Scale功能可以根据任务运算情况动态开启云端资源,需要多少开多少,并在任务完成后自动关闭,让资源的使用紧随着用户的需求自动扩张及缩小,最大程度匹配任务需求。

e1814810-b351-11ed-bfe3-dac502259ad0.png

这既节约了用户成本,不需要时刻保持开机,也最大限度保证了任务最大效率运行。中间也不需要用户干预,手动操作。

另一方面我们还能监控用户提交的任务数量和资源需求,在团队内部进行资源及时适配,解决错配问题。


如何大幅提升Virtuoso仿真效率?

3)提升团队整体运营效率

我们的运营数据dashboard能让团队管理者监控各个重要指标变化,从全局角度掌握项目的整体任务及资源情况,为未来项目合理规划、集群生命周期管理、成本优化提供支持。还能根据不同成员或小组的业务紧迫程度和业务重要性,合理分配与控制用户使用资源。

4)全球数据中心解决资源瓶颈

我们的全球数据中心,能持续稳定地提供用户所需资源类型及数量,分钟级调度开启上万核计算资源,满足业务紧迫度。用户可以选择自主选择大内存、高主频等多样化的资源类型来满足不同算法需求。

一旦发现所选资源类型与算法任务不匹配,还可随时中止任务、更换资源类型,任务进度不受影响。

e19695d0-b351-11ed-bfe3-dac502259ad0.jpg  





审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 模拟IC
    +关注

    关注

    8

    文章

    171

    浏览量

    29375
  • EDA工具
    +关注

    关注

    4

    文章

    267

    浏览量

    31778
  • 数字IC
    +关注

    关注

    1

    文章

    38

    浏览量

    12543
  • AI芯片
    +关注

    关注

    17

    文章

    1877

    浏览量

    34976

原文标题:算法资源波动比肩过山车?那一定是你的打开方式不对

文章出处:【微信号:处芯积律,微信公众号:处芯积律】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    请问关于SigmaStudio的算法资源主要有哪些?

    最近才开始接触SigmaStudio和SigmaDSP,SigmaStudio的算法资源据说是很大的优势,这个我个人觉得是很重要的,没有多少人愿意自己去开发这些算法,请问ADI的工程师大牛们,这些
    发表于 08-06 07:02

    PID算法控制的角度当角度差较大时杆子振荡波动太大

    我用的是四旋翼电机,做的平衡杆,用PID算法控制的角度可是当角度差较大时杆子振荡波动太大了,杆子根本没法平衡,已经毁了桨叶,落后别人好多了,调了一下午都不行,请问我还可以用PID算法吗,还是用最笨的方法,我很着急,时间不多了,请
    发表于 04-01 06:36

    有什么现成的滤波算法来消除ADC采集温度的波动

    图上是adc采集多组原始数据的平均值,随着温度渐变也会上下波动,有什么现成的滤波算法来消除波动呢?ADC采集温度用什么滤波算法
    发表于 07-27 10:23

    使用ST的FOC,给定3000速,速度波动在60左右速,有什么办法减少速度波动

    请问各位大佬,使用的是ST的FOC控制算法,有编码器,没有带负载时,速度波动很小,带负载运行,发现无论再怎样调PID,速度波动在60左右,但有什么办法减少速度波动
    发表于 10-20 17:45

    基于令牌的共享资源分配算法_雷鸣

    基于令牌的共享资源分配算法_雷鸣
    发表于 03-16 10:53 0次下载

    基于高斯过程回归的云计算资源调度算法

    针对现有基于强化学习的云资源调度算法收敛速度慢的问题,在详细分析云作业执行流程后,采用了一种细粒度的云计算平台模型,设计了一种基于高斯过程回归和强化学习的云计算资源调度算法
    发表于 11-02 16:50 15次下载
    基于高斯过程回归的云计算<b class='flag-5'>资源</b>调度<b class='flag-5'>算法</b>

    基于噪声功率波动的小波变换能量检测算法

    (MFD)、循环平稳特征检测法(CFD)。能量检测是最简单的一种频谱感知方法,它易于实现,算法复杂度低。 实际环境中,噪声功率波动性大,从而使能量检测算法的稳健性变差,算法出现信噪比门
    发表于 11-10 09:58 3次下载
    基于噪声功率<b class='flag-5'>波动</b>的小波变换能量检测<b class='flag-5'>算法</b>

    基于Spark的资源调度算法研究

    Spark作为流行的分布式数据处理框架,其资源的调度方式和资源的利用率直接关系到集群计算处理的效率和速度。针对Spark资源调度问题,在Spark自身考虑的资源因素内存和空余核数下,提
    发表于 11-27 15:52 0次下载
    基于Spark的<b class='flag-5'>资源</b>调度<b class='flag-5'>算法</b>研究

    Mesos多资源调度DRF增强算法

    云计算集群环境下多资源分配的公平性是考量资源调度子系统最重要的指标之一,DRF作为通用的多资源公平分配算法,在异构异质的集群环境下可能有失公平性。在研究Mesos框架中DRF多
    发表于 12-18 10:54 0次下载

    过山车立轴瞬态应力分析

    针对过山车在高速运行过程巾,其连接车架和桥壳的关键件立轴受力具有瞬时多变性特点,传统的静力学分析方法无法满足其安全性评估需求的问题。对过山车基于虚拟样机联合仿真技术进行了三维建模与ADAMS多体
    发表于 03-15 15:40 0次下载
    <b class='flag-5'>过山车</b>立轴瞬态应力分析

    VR技术用于娱乐行业,未来的过山车会怎样?

    现如今,数字时代又为过山车带来了新奇的体验:将虚拟现实(VR)叠加在过山车体验中,真实与虚拟相结合,带来更进一步的刺激感受。当体验者被固定在座位上并乘坐实际的过山车时,他们会要求佩戴一个VR头显
    发表于 08-28 10:27 1428次阅读

    OPPO Reno2的“过山车级防抖”

    这回“稳”了!彩虹合唱团挑战Reno2过山车防抖,表现喜人
    的头像 发表于 08-28 10:30 2635次阅读

    容器云中基于改进遗传算法资源分配策略综述

    容器云中基于改进遗传算法资源分配策略综述
    发表于 06-29 16:02 5次下载

    电机控制算法及模型资源下载

    电机控制算法及模型资源下载
    发表于 07-16 10:32 7次下载

    数字信号处理算法电子版资源下载

    数字信号处理算法电子版资源下载
    发表于 07-18 10:12 0次下载