(电子发烧友网报道 文/章鹰)11月5日,在深圳会展中心7号馆内,炬芯科技董事长兼CEO周正宇博士带来了《端侧AI芯片的未来》演讲,他对端侧AI趋势进行精彩的分析,并且宣布炬芯科技推出第一代MMSCIM端侧AI音频芯片。
2028年中小型模型端侧AI市场迅速增长,技术上有三大挑战
“近年来,端侧AI在技术和应用方面取得显著进步。相比较云端AI,端侧AI具备低延迟、低功耗、不占网络带宽、隐私保护和个性化五大优势。” 炬芯科技董事长兼CEO周正宇表示。
在AI时代,我们特别关注中小型模型在侧ML机器学习的应用。根据市场调研公司ABI Research预测,2028年,全球中小型模型端侧ML设备销量将达到40亿台,年复合增长率达到32%。2030年,全球75%的中小模型端侧机器学习基于专用硬件。今天,更大的挑战是在每毫瓦的功耗下打造算力。
中小型模型端侧机器学习的应用,主要集中在音频、语音、视觉和运动健康监测和预测性维护。这种电池驱动的AI装置,好像是AI系统的耳朵和眼睛,云计算是AI的大脑。我们主要关注的1瓦功耗以下的AI装置,或者100毫瓦以下的AI装置。中小型模型端侧机器学习的覆盖范围,包括存储空间小于10MB Flash/ROM/RAM,功耗小于10mW为目标,模型大小覆盖0.01MB到10MB模型参数,算力在0.01到3TOPS之间。
电池供电中小型模型端侧机器学习的应用挑战有哪些?周正宇分享说三大挑战:一是电池驱动IoT装置的超低功耗需求;二、低成本预期,需要使用尽量小存储空间;三、端侧AI装置多样化,快速变化的技术、新算法,新模型的不断涌现。当下很多厂商在端侧采用CPU+GPU方案,优点是具备很好的弹性,问题是它来自软件驱动,无论在功耗、能效比以及算力上都无法达到现在端侧算力的需求。
他以TWS耳机和手表为例,一个TWS耳机产品需要在4.3V锂电池下,需要功耗平均为10mW左右,0.1TOPS到10TOPS之间需要能效比是10TOPS/W到100TOPS/W。大多数CPU、DSP在22nm制程芯片都在0.1TOPS/W左右。周正宇表示,如何在每个毫瓦上打造TOPS算力是最大的挑战。
为了寻求大算力,英伟达采用了HBM和3D封装的AI芯片—近存计算,成本极高,英伟达芯片达到百美元,端侧AI芯片适合在几美元或1美元以下。端侧AI芯片采用存内计算的架构,采用高性价比的路径,适合采用单芯片的方式来实现。
炬芯科技推出新一代MMSCIM端侧AI音频芯片,能效比和算力大幅度提升
周正宇博士指出,端侧AI不需要超大算力,只需要0.1TOPS到3TOPS之间的算力,所以短期SRAM成为低功耗端侧AI的最佳技术路径。长期来讲SRAM和RRAM混合技术架构可能为最佳端侧AI技术路径和架构。
在低功耗下打造音频产品算力的应用里,基于SRAM的CIM具有非常显著的技术优势包括:1、能效比高;2、读写次数没有限制;3、工艺成熟,可以大规模量产。
周正宇宣布,炬芯科技推出新一代MMSCIM端侧AI音频芯片,基于CPU+DSP+NPU三核异构的核心架构,包括ATS323X、ATS286X和ATS362X。AI算力达到0.1TOPS,同时有6.4TOPS/W的能效比。
基于该架构,高端蓝牙音箱SoC芯片ATS286X和低延迟高音质无线音频SoC芯片ATS323X已流片,向客户送样。周正宇总结说,通过导入存内计算以及NPU和DSP、CPU三核异构的架构,让端侧音频AI芯片提供了几十倍的能效比提升和十几倍的算力提升。
本文由电子发烧友原创,转载请注明以上来源。微信号zy1052625525。需入群交流,请添加微信elecfans999,投稿爆料采访需求,请发邮箱zhangying@huaqiu.com。
-
AI
+关注
关注
87文章
29672浏览量
268010
发布评论请先 登录
相关推荐
评论