0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

神经拟态计算是如何降耗的

要长高 2024-06-07 15:35 次阅读

自计算机问世以来,运算效能与能耗消耗两大议题始终困扰着计算产业。在人工智能崛起的背景下,全球各地科研机构及相关公司积极探索提高处理器算力的新方法,神经拟态处理器即是一种创新尝试。

如何模仿大脑思维?

神经拟态计算,即模拟和探索人脑神经网络及其运作规律的领域,我们将之称为类脑计算或神经形态计算。数十年来,科学家们致力于复刻生物神经元的多功能运算模式,以期研发出高效能且低功耗的机器学习系统。

历经多年探索,业界已形成三种神经拟态处理器的实现路径。一为数字CMOS型,通过逻辑门电路模拟生物单元行为;二为数模混合的CMOS型,借助亚阈值模拟电路呈现生物神经元特性;前两者均基于硅基晶体管。第三种则是研发新型器件,如忆阻器、相变存储器、铁电器件、磁隧道结、离子栅控晶体管等,并采用非硅基材料。

然而,目前大部分研究尚未实现商业化生产。英特尔作为众多研究机构中的佼佼者,选择了第一种实现方式——用晶体管模拟人类神经元功能。其中,如何让处理器达到类似人脑的节能效果,便是他们的重要研究课题。

德国海德堡大学物理学家卡尔海因茨·迈耶(Karlheinz Meier)指出,相比计算机,人脑具有三大优势:低能耗,仅需约20瓦特的能量。

今年四月,英特尔推出神经拟态系统Hala Point。据称,该系统在处理AI推理负载和优化问题方面,速度较常规CPUGPU架构快50倍,而能耗却降低了100倍。近日,英特尔中国研究院院长宋继强向中国电子报记者详解了该系统模拟人脑节能的实现原理。他首先解释了市场上常见芯片系统的频率特征:通常提及的CPU主频,如5GHz,代表同步时钟的频率,即芯片内所有逻辑门、存储均以此频率运行,或在此基础上进行降级。例如,总线频率可能低于CPU主频,I/O接口频率更低,但总体来看,同一芯片内所有组件均受同步时钟驱动,从而实现同时工作。因此,各部件能耗也同步进行。

宋继强表示,英特尔的神经拟态计算无需同步时钟,取代之的是“时间步”概念——每当任务结束,“神经元”便依据预定顺序逐步推进。每个时间步里,信号均由一个神经元传至下一个,以此方式进行传播和扩散。尽管神经拟态计算要求系统在时间步级别保持同步,但并非所有神经元需在所有工作序列中完全同步,允许有些任务快速处理,有些则缓慢处理。这与人类大脑类似,部分神经元负责处理嗅觉信息,同时另一部分则处理视觉信息。因此,在神经拟态计算系统中,有任务执行的路径会消耗电力,其余路径则处于休眠状态。即使是大规模的神经拟态集群,其运行时神经元也仅进行少量并行运算。

该计算系统另一节能策略在于其存算一体的结构。当前市场上计算系统的能源消耗主要集中于计算和数据传输两个方面,而神经拟态计算系统通过实现存算一体,成功规避了传统核内外架构在处理大量数据传输时产生的能量损失。

节能与否,取决于具体情境

低能耗被视为神经拟态处理器的天然架构优势。早在2020年,宋继强就曾公开宣称:神经拟态计算在算法及芯片设计上,可以千分之一以内的功耗完成同等效果的模型训练。浙江大学的唐华锦教授亦认同神经拟态芯片为环保型芯片,因其体积小、功耗低,符合生物进化的根本优势。

然而,根据Hala Point最新实践成果,该架构处理器的节能效果与其使用情境密切相关。宋继强指出,现阶段发现该系统在处理物流调度数据中心的大规模优化任务时能效表现最佳,相较于CPU+GPU组合方案节能高达3000倍。

“但这并非指数据中心所有工作负载,仅针对个别项目。”他补充道,“我们正努力寻找该系统适用的场景,若赋予其不适宜的任务,能耗或高于原有处理系统。”

至于HalaPoint能否解决当前大模型训练中的高能耗问题,宋继强回应称:该系统设计初衷并非专为大模型服务,故不适合大规模数据输入。

ResNet50网络(残差网络的一种)是验证Hala Point节能效果的典型场景之一。在此类应用中,经优化的Hala Point在达到相同性能前提下,能耗可降至原有方案的百分之一以下。对于某些特定深度的神经网络,如视觉识别类应用,通过在脉冲神经网络上进行适当调整,结合硬件层面的适配,同样有助于降低能耗。

总的来说,该系统在稀疏性局部并发型应用中表现更为出色。目前,市面上大部分神经拟态处理器主要应用于机器人无人机等领域。宋继强透露,HalaPoint约有一半的应用涉及机器人、操控、多模态视觉等方面。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    18616

    浏览量

    224677
  • 英特尔
    +关注

    关注

    60

    文章

    9600

    浏览量

    169895
  • 神经
    +关注

    关注

    0

    文章

    45

    浏览量

    12499
收藏 人收藏

    评论

    相关推荐

    神经形态计算器件和阵列测试解决方案

    神经形态计算是一种新型的计算范式,它模仿生物神经网络(如人脑)的结构和功能以在为人工智能、机器学习、机器人和感官处理等各种应用实现高性能、低功耗和自适应学习能力。
    的头像 发表于 07-03 10:02 94次阅读
    <b class='flag-5'>神经</b>形态<b class='flag-5'>计算</b>器件和阵列测试解决方案

    卷积神经网络计算过程和步骤

    卷积神经网络(Convolutional Neural Network, CNN)是一种深度学习模型,广泛应用于图像识别、视频分析、自然语言处理等领域。本文将详细介绍卷积神经网络的计算过程和步骤
    的头像 发表于 07-03 09:36 53次阅读

    基于FPGA的类脑计算平台 —PYNQ 集群的无监督图像识别类脑计算系统

    模拟器,可为 SNN 算法开发者和神经学家提供理想满意的类脑仿真实验平台。 (2)本设计提供的基于 NEST 仿真器的 FPGA 集群的硬件加速服务可以为实验环境不理 想,应用计算复杂周期长的用户带来
    发表于 06-25 18:35

    边缘计算是什么意思?边缘计算的应用

    边缘计算(Edge Computing)是一种分布式计算范式,它将计算任务从数据中心迁移到网络边缘设备(如智能手机、物联网传感器等)上进行处理。边缘计算的主要目标是降低延迟、提高数据安
    的头像 发表于 05-31 14:19 241次阅读

    存内计算WTM2101编译工具链 资料

    存内计算是突破物理极限的下一代算力技术- AIGC等人工智能新兴产业的快速发展离不开算力,算力的基础是人工智能芯片。 当前CPU/GPU在执行计算密集型任务时需要将海量参数(ωij)从内存中读取
    发表于 05-16 16:33

    英特尔发布新一代神经拟态系统Hala Point,11.5亿神经元,12倍性能提升

    Point改进了架构,将神经元容量提高了10倍以上,性能提高了12倍。 英特尔研究院神经拟态计算实验室总监Mike Davi
    的头像 发表于 04-19 09:43 318次阅读
    英特尔发布新一代<b class='flag-5'>神经</b><b class='flag-5'>拟态</b>系统Hala Point,11.5亿<b class='flag-5'>神经</b>元,12倍性能提升

    浅谈电能分项计量在节能降耗中的应用

    程瑜 安科瑞电气股份有限公司 上海嘉定 201801 摘要: 随着电力企业改革活动的持续推进,要想加快改革进程、优化改革效果,应该提高对节能降耗问题的关注度。在应用电力计量技术的过程中巧妙地渗透
    的头像 发表于 03-11 14:46 438次阅读
    浅谈电能分项计量在节能<b class='flag-5'>降耗</b>中的应用

    浅谈能耗系统在节能降耗的应用

    。防止相关的资源过度使用问题。而对于相关的节能降耗工作来说。通过合理的使用用电计量方式。简单来说在整依的使用过程中使用用电计量方式,能够满足其现实意义,对使用的相关电量都进行整体的计算,然后在按照具体规定来对电量资源进
    的头像 发表于 02-20 15:27 199次阅读
    浅谈能耗系统在节能<b class='flag-5'>降耗</b>的应用

    TC377波特率计算是否与帧大小有关?

    brZ 如图 471 所示, 我想知道这个波特率计算是否与帧大小有关? 例如,4 位帧、8 位帧、32 位帧?波特率是指一帧/秒吗? 对于 32 位帧,它是 32 位/秒?
    发表于 01-22 06:29

    边缘计算是一种什么运算架构

    边缘计算是一种分布式计算架构,它将数据处理和存储功能从传统的云端数据中心移至距离数据源更近的边缘设备或边缘节点上进行处理。这一架构的目标是通过减少数据传输延迟和带宽需求,提高计算资源利用率,实现更快
    的头像 发表于 12-27 15:02 460次阅读

    SOLIDWORKS仿真计算是什么意思?

    SOLIDWORKS仿真计算是指利用SOLIDWORKS软件进行工程设计和分析时所使用的计算方法和技术。SOLIDWORKS是一款流行的三维计算机辅助设计(CAD)软件,它提供了丰富的工具和功能,使工程师能够创建和模拟各种产品和
    的头像 发表于 09-06 15:42 877次阅读
    SOLIDWORKS仿真<b class='flag-5'>计算是</b>什么意思?

    AI边缘计算是什么意思?边缘ai是什么?AI边缘计算应用

    AI边缘计算是什么意思?边缘ai是什么?AI边缘计算应用  随着人工智能技术的不断发展,边缘计算作为一种新型的计算模式逐渐成为热门话题。AI边缘计算
    的头像 发表于 08-24 15:18 1664次阅读

    人工神经网络和bp神经网络的区别

    人工神经网络和bp神经网络的区别  人工神经网络(Artificial Neural Network, ANN)是一种模仿人脑神经元网络结构和功能的
    的头像 发表于 08-22 16:45 3664次阅读

    卷积神经网络计算公式

    神经网络计算公式 神经网络是一种类似于人脑的神经系统的计算模型,它是一种可以用来进行模式识别、分类、预测等任务的强大工具。在深度学习领域,
    的头像 发表于 08-21 16:49 1351次阅读

    计算是什么?为什么要叫云计算?云计算服务有什么?

    W H E R E 云计算资源在哪? 云计算的资源当然是放在云里,也就是资源池啦。 可是云计算有那么多资源,不可能都一股脑的放在资源池吧?肯定不会的,根据不同的部署模型,云计算的资
    发表于 08-10 10:13 441次阅读
    云<b class='flag-5'>计算是</b>什么?为什么要叫云<b class='flag-5'>计算</b>?云<b class='flag-5'>计算</b>服务有什么?