0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

存内计算之路——道阻且长,行则将至

Carol Li 来源:电子发烧友网 作者:李弯弯 2022-05-24 00:02 次阅读

电子发烧友网报道(文/李弯弯)如今随着技术发展,计算任务越来越复杂,而在冯诺依曼架构中,数据需要在存储、内存、缓存、计算单元中不断搬运,造成大部分时间、带宽、缓存、功耗都消耗在数据搬运上,而不是计算上,因此存储墙成了一个越来越严重的问题。

存内计算,故名思义就是把计算单元嵌入到内存当中,理想中是可以完美解决存储墙的问题,近几年,三星、SK海力士、台积电、英特尔、美光、阿里等半导体领域巨头都在积极研发,许多新兴企业也陆续加入进来,并取得了不错进展。

面对打得火热的存内计算,也有人认为,存内计算可能行不通,有几个方面的原因:一是AI算法模型的容量比较大,而这个在存储器里面做计算,成本会非常高;二是受限于存储芯片的工艺,比如说密度要做到很高,良品率要比较高,工艺就比较难以做到。

那么存内计算到底可不可行?存内计算未来的市场机会点在哪里?苹芯科技CEO杨越在接受电子发烧友采访时,针对在存储器内做计算成本不会太高,存储芯片工艺能不能行,存内计算的主要的应用场景方向,做了详细的分享和解答。

存内计算到底可不可行


针对“AI算法模型的容量比较大,而这个在存储器里面做计算,成本会非常高”的疑问,杨越解释道,有人认为在存储器里面做计算,成本会高,是因为他们认为要容下非常多网络参数,就需要把存储器做得非常大,存储器做大就意味着成本高。

针对这个问题,杨越表示目前已经有很多方法可以解决。

第一,在算法模型上进行解决,即将网络模型轻量化,比如知识蒸馏,简单来说就是减少算法模型中的参数的存储需求,目前已经有很多非常成熟的方法,比如CNN压缩,就是属于这一类。

苹芯科技以S200为基础搭建的功能演示平台,在这个演示系统里,就采用了其中一种基于神经网络架构搜索NAS的方法来得到轻量化的模型,而且能完成非常高的识别率,可以达到99%的关键字识别功能。S200是苹芯首款可商用的存内计算芯片,以S200为基础搭建功能演示平台,目的是演示在28nm工艺节点上的存内计算可以跑通端对端的神经网络。

第二,从可扩展的架构设计上着手。杨越表示我们可以试图打破将整个算法模型必须同时全部加载到内存中之后,才可以开始计算的固化假设。相应地,一个好的存算架构是可以支持以计算负载为主或以存储负载为主的不同任务,从而形成一个基于存内计算的向上适配能力强的算力平台。

第三,可以通过使用新型存储器解决这个问题,包括磁性存储器MRAM和忆阻器RRAM,相比于SRAM来说,MRAM和RRAM都有更高的存储密度,所以从存储单元介质本身就可以做到更大,这样可以达到存储更多计算参数的目的。

可以看到,从这三个方面着手,都可以达到解决AI算法模型太大,存储器要放下这么多数据,需要把存储器做得很大,从而带来成本高的问题。

针对存储芯片的工艺可能带来限制的问题,杨越谈到,苹芯科技主要是基于SRAM的存内计算,目前SRAM的工艺已经非常成熟,就存储器器件本身来说,市面上已经有7nm、5nm的产品,成熟工艺的良率很有保证。

“另外,对于新型存储器MRAM和RRAM,头部代工厂也已经有22nm甚至更高制程的量产线。”杨越说,所以在他看来,存内计算技术可以跟随新型存储器器件本身的技术逐步共同走向成熟。

另外需要提到的一点是,新型存储器MRAM和RRAM虽然可以解决容量不大这个问题,但是作为一个新的产品类型,还存在一些挑战,比如在可靠性,耐用性上存在一些挑战。不过杨越预计在近期未来新型存储就会达到商业成熟化的程度。

苹芯科技虽然成立时间不长,但是团队在创业前期就已经有很长时间的积累,存内计算是一项技术壁垒非常高的工程,而苹芯科技在包括从底层内存器件的物理特性的理解,到上层芯片架构的设计,再到最后产品落地成本的控制上都有足够的积累,在各个技术栈都有自己的IP,苹芯科技也是第一个拥有工业级28nm SRAM存内计算加速单元DEMO的团队,并首次利用RRAM存内计算完成基于LeNet的CIFAR10的识别任务。

苹芯科技下一代芯片S300已从代工厂回片,据杨越介绍,目前工程团队,正在进行相应的测试和展示工作,相较于S200,S300具有更强大的计算能力,可以兼容更多网络模型,从而支持更丰富的边缘端应用场景。

存内计算的机会点在哪里


我们知道,存内计算有多种不同的技术路线,每个技术路线各有特点,比如Flash的优点是密度比较高,DRAM成本会比较低,磁性存储器MRAM、忆阻器RRAM除了存储密度比较高之外,功耗也比较低,杨越说:“这两类新型存储器MRAM和RRAM代表着存内计算的未来。”不过因为是新技术,就如上文所言,在工艺成熟度和商业化上还需要一些耐心。

苹芯科技采用的是SRAM+MRAM和RRAM混合技术路线。杨越解释说:“之所以选择这样的技术路线,背后的原因是,SRAM作为读写速度最快的内存介质,具备很多优势,比如,它可以向更先进的制程节点兼容,具备高能效比的计算优势,同时它又不存在其他非易失性存储所具备的耐久性问题,更重要的是,基于SRAM的设计方案,可以支持纯数字化设计,从而能够解决很多应用场景所关心的精度问题。”

苹芯选择新型存储器,一是因为它具有高性能天花板,二是这也有利于团队核心成员更好地发挥过往的技术积累和工程经验。

存内计算未来的应用个机会点在哪里呢?现在很多具有AI计算功能的芯片,包括GPUFPGA以及NPU、SOC等,都是基于传统的冯诺伊曼架构设计的,会受到存储墙、功耗墙的约束,这就导致他们在绝对计算上很强,但在整个计算效率上存在天花板。

而存内计算就可以弥补这些问题,短期来看,存内计算的主要市场机会主要会出现在端侧的产品上,因为存内计算的技术优势,能够提供比较高的计算效率和比较低的功耗,比如可穿戴设备、智能家居等是非常适合存内计算的应用方向。

长期来看,随着新型存储器工艺的成熟,它不但会给低功耗的市场带来机会,同时会把计算能力提升2-3个量级,让存内计算的应用扩展到更多场景中,比如在一些用电量受限,但对绝对算力仍然有要求的场景层面,存内计算就可以给客户带来差异化的选择机会。

小结

如Gardner曲线的解读,任何新兴技术在发展初期都会经历一些起伏,尤其像存内计算这种在底层上有巨大突破的技术,从最初的热捧,到发展期的理性,到成长期的企稳上升,再到最后产品商业化。扎实的技术背景和可靠的工程化能力,是存内计算企业立足市场并获得客户认可的重要基础。我们期待着更多更好的技术与产品,为智能化场景描绘出更美好的未来。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    6867

    浏览量

    88799
  • 计算
    +关注

    关注

    2

    文章

    444

    浏览量

    38725
  • AI算法
    +关注

    关注

    0

    文章

    247

    浏览量

    12230
收藏 人收藏

    评论

    相关推荐

    科技启动首届计算创新大赛

    计算作为一项打破“内存墙”“功耗墙”的颠覆性技术,消除了与算的界限,相比CPU或GPU能够实现更高计算并行度、更大专用算力,达成数量级
    的头像 发表于 11-21 10:44 83次阅读

    科技推动新一代计算芯片产品产业化进程

      6月3日,知科技总部启航仪式在杭州临平算力小镇正式举行,标志着公司在计算芯片领域开启技术研发、人才战略、产业升级的新征程。临平区委书记陈如根,区委常委、组织部长杨霞,区委常委
    的头像 发表于 06-05 17:16 1107次阅读

    计算原理分类——数字计算与模拟计算

    数字计算与模拟计算各有优劣,都是算一体发展
    的头像 发表于 05-21 16:26 2190次阅读
    <b class='flag-5'>存</b><b class='flag-5'>内</b><b class='flag-5'>计算</b>原理分类——数字<b class='flag-5'>存</b><b class='flag-5'>内</b><b class='flag-5'>计算</b>与模拟<b class='flag-5'>存</b><b class='flag-5'>内</b><b class='flag-5'>计算</b>

    计算——助力实现28nm等效7nm功效

    当的性能。算一体尝试通过集成存储和计算在一个芯片甚至一个容器,来突破访限制,发挥芯片的最大算力。下面我们将重点介绍算一体技术。
    的头像 发表于 05-17 15:03 1726次阅读
    <b class='flag-5'>存</b><b class='flag-5'>内</b><b class='flag-5'>计算</b>——助力实现28nm等效7nm功效

    论基于电压域的SRAM计算技术的崭新前景

    这篇文章总结了冯·诺伊曼架构及其在处理数据密集型应用中所面临的性能和能耗问题。为了应对这一挑战,文章介绍了计算技术,其中重点讨论了基于电压域的SRAM
    的头像 发表于 05-17 14:38 897次阅读
    论基于电压域的SRAM<b class='flag-5'>存</b><b class='flag-5'>内</b><b class='flag-5'>计算</b>技术的崭新前景

    从MRAM的演进看计算的发展

    我国的计算产业也开始迅猛发展,知科技、九天睿芯、智芯科、后摩智能、苹芯科技等国内专注
    的头像 发表于 05-17 14:25 1174次阅读
    从MRAM的演进看<b class='flag-5'>存</b><b class='flag-5'>内</b><b class='flag-5'>计算</b>的发展

    浅谈计算生态环境搭建以及软件开发

    改进。 未来展望中,计算技术预计将继续发展,尤其在与软件开发的协同方面。预计这一领域将见证更高效、灵活可扩展的
    发表于 05-16 16:40

    计算WTM2101编译工具链 资料

    计算是突破物理极限的下一代算力技术- AIGC等人工智能新兴产业的快速发展离不开算力,算力的基础是人工智能芯片。 当前CPU/GPU在执行计算密集型任务时需要将海量参数(ωij)
    发表于 05-16 16:33

    探索计算—基于 SRAM 的计算与基于 MRAM 的算一体的探究

    本文深入探讨了基于SRAM和MRAM的算一体技术在计算领域的应用和发展。首先,介绍了基于SRAM的逻辑计算技术,包括其原理、优势以及在
    的头像 发表于 05-16 16:10 2487次阅读
    探索<b class='flag-5'>存</b><b class='flag-5'>内</b><b class='flag-5'>计算</b>—基于 SRAM 的<b class='flag-5'>存</b><b class='flag-5'>内</b><b class='flag-5'>计算</b>与基于 MRAM 的<b class='flag-5'>存</b>算一体的探究

    计算芯片的基石-存储介质汇总

    作为新的计算架构,计算(Computing In Memory,CIM)被认为是具有潜力的革命性技术。重点是将存储与计算融合,有效克服冯
    的头像 发表于 05-16 15:41 1690次阅读
    <b class='flag-5'>存</b><b class='flag-5'>内</b><b class='flag-5'>计算</b>芯片的基石-存储介质汇总

    计算芯片研究进展及应用

    器件的状态,称为干扰。作为计算应用, NOR Flash编程需要逐个器件进行单独操作,每个器件存储8 bit(256个量化状态)以上的信息,微小的干扰就将导致状态的变化。
    的头像 发表于 05-16 15:30 1189次阅读
    <b class='flag-5'>存</b><b class='flag-5'>内</b><b class='flag-5'>计算</b>芯片研究进展及应用

    生态构建重要一环- 计算工具链

    本篇文章重点讲述计算相关工具链,我们将从工具链定义出发,依次讲述工具链研究背景及现有工具链、计算
    的头像 发表于 05-16 14:37 1036次阅读
    <b class='flag-5'>存</b><b class='flag-5'>内</b>生态构建重要一环- <b class='flag-5'>存</b><b class='flag-5'>内</b><b class='flag-5'>计算</b>工具链

    计算技术工具链——量化篇

    本篇文章将重点讲述计算技术工具链之“量化”,我们将从面向计算芯片的深度学习编译工具链、神
    的头像 发表于 05-16 12:35 1118次阅读
    <b class='flag-5'>存</b><b class='flag-5'>内</b><b class='flag-5'>计算</b>技术工具链——量化篇

    浅谈计算生态环境搭建以及软件开发

    在当今数据驱动的商业世界中,能够快速处理和分析大量数据的能力变得越来越重要。而计算开发环境在此领域发挥其关键作用。
    的头像 发表于 05-15 17:10 436次阅读
    浅谈<b class='flag-5'>存</b><b class='flag-5'>内</b><b class='flag-5'>计算</b>生态环境搭建以及软件开发

    器通向计算新未来,自旋忆器进一步降低能耗

    的全称是记忆电阻器,是一种表示磁通和电荷关系的电路元件。通过测定忆的阻值,可知道流经它的电荷量,从而有记忆电荷的作用。忆器可以组成类似矩阵的结构,既可以数据,也可以做计算,数据不
    的头像 发表于 04-30 00:53 3690次阅读