0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

神经拟态计算是如何降耗的

要长高 2024-06-07 15:35 次阅读

自计算机问世以来,运算效能与能耗消耗两大议题始终困扰着计算产业。在人工智能崛起的背景下,全球各地科研机构及相关公司积极探索提高处理器算力的新方法,神经拟态处理器即是一种创新尝试。

如何模仿大脑思维?

神经拟态计算,即模拟和探索人脑神经网络及其运作规律的领域,我们将之称为类脑计算或神经形态计算。数十年来,科学家们致力于复刻生物神经元的多功能运算模式,以期研发出高效能且低功耗的机器学习系统。

历经多年探索,业界已形成三种神经拟态处理器的实现路径。一为数字CMOS型,通过逻辑门电路模拟生物单元行为;二为数模混合的CMOS型,借助亚阈值模拟电路呈现生物神经元特性;前两者均基于硅基晶体管。第三种则是研发新型器件,如忆阻器、相变存储器、铁电器件、磁隧道结、离子栅控晶体管等,并采用非硅基材料。

然而,目前大部分研究尚未实现商业化生产。英特尔作为众多研究机构中的佼佼者,选择了第一种实现方式——用晶体管模拟人类神经元功能。其中,如何让处理器达到类似人脑的节能效果,便是他们的重要研究课题。

德国海德堡大学物理学家卡尔海因茨·迈耶(Karlheinz Meier)指出,相比计算机,人脑具有三大优势:低能耗,仅需约20瓦特的能量。

今年四月,英特尔推出神经拟态系统Hala Point。据称,该系统在处理AI推理负载和优化问题方面,速度较常规CPUGPU架构快50倍,而能耗却降低了100倍。近日,英特尔中国研究院院长宋继强向中国电子报记者详解了该系统模拟人脑节能的实现原理。他首先解释了市场上常见芯片系统的频率特征:通常提及的CPU主频,如5GHz,代表同步时钟的频率,即芯片内所有逻辑门、存储均以此频率运行,或在此基础上进行降级。例如,总线频率可能低于CPU主频,I/O接口频率更低,但总体来看,同一芯片内所有组件均受同步时钟驱动,从而实现同时工作。因此,各部件能耗也同步进行。

宋继强表示,英特尔的神经拟态计算无需同步时钟,取代之的是“时间步”概念——每当任务结束,“神经元”便依据预定顺序逐步推进。每个时间步里,信号均由一个神经元传至下一个,以此方式进行传播和扩散。尽管神经拟态计算要求系统在时间步级别保持同步,但并非所有神经元需在所有工作序列中完全同步,允许有些任务快速处理,有些则缓慢处理。这与人类大脑类似,部分神经元负责处理嗅觉信息,同时另一部分则处理视觉信息。因此,在神经拟态计算系统中,有任务执行的路径会消耗电力,其余路径则处于休眠状态。即使是大规模的神经拟态集群,其运行时神经元也仅进行少量并行运算。

该计算系统另一节能策略在于其存算一体的结构。当前市场上计算系统的能源消耗主要集中于计算和数据传输两个方面,而神经拟态计算系统通过实现存算一体,成功规避了传统核内外架构在处理大量数据传输时产生的能量损失。

节能与否,取决于具体情境

低能耗被视为神经拟态处理器的天然架构优势。早在2020年,宋继强就曾公开宣称:神经拟态计算在算法及芯片设计上,可以千分之一以内的功耗完成同等效果的模型训练。浙江大学的唐华锦教授亦认同神经拟态芯片为环保型芯片,因其体积小、功耗低,符合生物进化的根本优势。

然而,根据Hala Point最新实践成果,该架构处理器的节能效果与其使用情境密切相关。宋继强指出,现阶段发现该系统在处理物流调度数据中心的大规模优化任务时能效表现最佳,相较于CPU+GPU组合方案节能高达3000倍。

“但这并非指数据中心所有工作负载,仅针对个别项目。”他补充道,“我们正努力寻找该系统适用的场景,若赋予其不适宜的任务,能耗或高于原有处理系统。”

至于HalaPoint能否解决当前大模型训练中的高能耗问题,宋继强回应称:该系统设计初衷并非专为大模型服务,故不适合大规模数据输入。

ResNet50网络(残差网络的一种)是验证Hala Point节能效果的典型场景之一。在此类应用中,经优化的Hala Point在达到相同性能前提下,能耗可降至原有方案的百分之一以下。对于某些特定深度的神经网络,如视觉识别类应用,通过在脉冲神经网络上进行适当调整,结合硬件层面的适配,同样有助于降低能耗。

总的来说,该系统在稀疏性局部并发型应用中表现更为出色。目前,市面上大部分神经拟态处理器主要应用于机器人无人机等领域。宋继强透露,HalaPoint约有一半的应用涉及机器人、操控、多模态视觉等方面。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    19259

    浏览量

    229657
  • 英特尔
    +关注

    关注

    61

    文章

    9950

    浏览量

    171695
  • 神经
    +关注

    关注

    0

    文章

    46

    浏览量

    12518
收藏 人收藏

    评论

    相关推荐

    融合计算是如何提出来的

    融合计算是微观和宏观视角算力提升策略的总结,是三个维度融合(异构融合x软硬件融合x云边端融合)的统称,那么融合计算是如何提出来的?为什么融合计算有且仅有三个维度的融合?   性能和算力 1.1 性能
    的头像 发表于 12-10 09:51 74次阅读
    融合<b class='flag-5'>计算是</b>如何提出来的

    卷积神经网络的基本原理与算法

    ),是深度学习的代表算法之一。 一、基本原理 卷积运算 卷积运算是卷积神经网络的核心,用于提取图像中的局部特征。 定义卷积核:卷积核是一个小的矩阵,用于在输入图像上滑动,提取局部特征。 滑动窗口:将卷积核在输入图像上滑动,每次滑动一个像素点。
    的头像 发表于 11-15 14:47 443次阅读

    浅析医院节能降耗的意义和应采取的措施

    摘要:能源是每一个国家发展过程中的必然需求,也是提高人们生活质量的一个主要的资本,如果能源大量的消耗,就会影响国家的发展以及社会的进步。所以本次文章的研究,也是以医院内部的节能降耗工作开展情况进行
    的头像 发表于 11-13 13:23 135次阅读
    浅析医院节能<b class='flag-5'>降耗</b>的意义和应采取的措施

    医院节能降耗的意义和应采取的对策措施

    ,也是以医院内部的节能降耗工作开展情况进行深入的分析,力求能够找到恰当有效的实施策略,解决其中存在问题的基础上,提高医院内部能源降耗的有效性,以此实现医院节能工作开展,为我国医疗机构的发展进步做出贡献。 关键词:医院;节能降耗
    的头像 发表于 11-11 14:53 175次阅读
    医院节能<b class='flag-5'>降耗</b>的意义和应采取的对策措施

    医院节能降耗意义浅析与对策措施探索

    安科瑞鲁一扬15821697760 摘要:能源是国家发展与人民生活质量提升的关键要素,过度消耗会阻碍国家与社会进步。本文围绕医院节能降耗工作展开深入剖析,旨在探寻有效实施策略,解决现存问题,增强医院
    的头像 发表于 11-06 13:24 109次阅读
    医院节能<b class='flag-5'>降耗</b>意义浅析与对策措施探索

    LMV7219电特性表里面的失调电压和内部滞环的计算是带符号计算吗?

    您好,LMV7219电特性表里面的失调电压和内部滞环的计算是带符号计算吗?按照下图电特性表(4)的定义:内部滞环的典型值为3.5mV-(-4mV)=7.5mV,而失调电压等于(3.5mV+(-4mV))/ 2=0.25mV ?
    发表于 07-31 06:41

    简述递归神经网络的计算过程

    、时间序列预测等领域有着广泛的应用。本文将详细介绍RNN的计算过程。 基本概念 1.1 神经网络 神经网络是一种受人脑神经元结构启发的计算
    的头像 发表于 07-05 09:30 440次阅读

    神经形态计算器件和阵列测试解决方案

    神经形态计算是一种新型的计算范式,它模仿生物神经网络(如人脑)的结构和功能以在为人工智能、机器学习、机器人和感官处理等各种应用实现高性能、低功耗和自适应学习能力。
    的头像 发表于 07-03 10:02 372次阅读
    <b class='flag-5'>神经</b>形态<b class='flag-5'>计算</b>器件和阵列测试解决方案

    卷积神经网络计算过程和步骤

    卷积神经网络(Convolutional Neural Network, CNN)是一种深度学习模型,广泛应用于图像识别、视频分析、自然语言处理等领域。本文将详细介绍卷积神经网络的计算过程和步骤
    的头像 发表于 07-03 09:36 557次阅读

    边缘计算是什么意思?边缘计算的应用

    边缘计算(Edge Computing)是一种分布式计算范式,它将计算任务从数据中心迁移到网络边缘设备(如智能手机、物联网传感器等)上进行处理。边缘计算的主要目标是降低延迟、提高数据安
    的头像 发表于 05-31 14:19 756次阅读

    存内计算WTM2101编译工具链 资料

    存内计算是突破物理极限的下一代算力技术- AIGC等人工智能新兴产业的快速发展离不开算力,算力的基础是人工智能芯片。 当前CPU/GPU在执行计算密集型任务时需要将海量参数(ωij)从内存中读取
    发表于 05-16 16:33

    英特尔发布新一代神经拟态系统Hala Point,11.5亿神经元,12倍性能提升

    Point改进了架构,将神经元容量提高了10倍以上,性能提高了12倍。 英特尔研究院神经拟态计算实验室总监Mike Davi
    的头像 发表于 04-19 09:43 488次阅读
    英特尔发布新一代<b class='flag-5'>神经</b><b class='flag-5'>拟态</b>系统Hala Point,11.5亿<b class='flag-5'>神经</b>元,12倍性能提升

    浅谈能耗系统在节能降耗的应用

    。防止相关的资源过度使用问题。而对于相关的节能降耗工作来说。通过合理的使用用电计量方式。简单来说在整依的使用过程中使用用电计量方式,能够满足其现实意义,对使用的相关电量都进行整体的计算,然后在按照具体规定来对电量资源进
    的头像 发表于 02-20 15:27 375次阅读
    浅谈能耗系统在节能<b class='flag-5'>降耗</b>的应用

    TC377波特率计算是否与帧大小有关?

    brZ 如图 471 所示, 我想知道这个波特率计算是否与帧大小有关? 例如,4 位帧、8 位帧、32 位帧?波特率是指一帧/秒吗? 对于 32 位帧,它是 32 位/秒?
    发表于 01-22 06:29

    边缘计算是一种什么运算架构

    边缘计算是一种分布式计算架构,它将数据处理和存储功能从传统的云端数据中心移至距离数据源更近的边缘设备或边缘节点上进行处理。这一架构的目标是通过减少数据传输延迟和带宽需求,提高计算资源利用率,实现更快
    的头像 发表于 12-27 15:02 773次阅读