0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

端侧AI浪潮已来!炬芯科技发布新一代端侧AI音频芯片,能效比和AI算力大幅度提升

章鹰观察 来源:电子发烧友 作者:章鹰 2024-11-06 09:11 次阅读

电子发烧友网报道 文/章鹰)11月5日,在深圳会展中心7号馆内,炬芯科技董事长兼CEO周正宇博士带来了《端侧AI芯片的未来》演讲,他对端侧AI趋势进行精彩的分析,并且宣布炬芯科技推出第一代MMSCIM端侧AI音频芯片。

wKgaoWcqwnWAQAImAAErkDpxfGI759.jpg

2028年中小型模型端侧AI市场迅速增长,技术上有三大挑战


“近年来,端侧AI在技术和应用方面取得显著进步。相比较云端AI,端侧AI具备低延迟、低功耗、不占网络带宽、隐私保护和个性化五大优势。” 炬芯科技董事长兼CEO周正宇表示。

wKgaoWcqwn-AWxIEAAHbVGarFQI277.jpg


在AI时代,我们特别关注中小型模型在侧ML机器学习的应用。根据市场调研公司ABI Research预测,2028年,全球中小型模型端侧ML设备销量将达到40亿台,年复合增长率达到32%。2030年,全球75%的中小模型端侧机器学习基于专用硬件。今天,更大的挑战是在每毫瓦的功耗下打造算力。

中小型模型端侧机器学习的应用,主要集中在音频、语音、视觉和运动健康监测和预测性维护。这种电池驱动的AI装置,好像是AI系统的耳朵和眼睛,云计算是AI的大脑。我们主要关注的1瓦功耗以下的AI装置,或者100毫瓦以下的AI装置。中小型模型端侧机器学习的覆盖范围,包括存储空间小于10MB Flash/ROM/RAM,功耗小于10mW为目标,模型大小覆盖0.01MB到10MB模型参数,算力在0.01到3TOPS之间。

电池供电中小型模型端侧机器学习的应用挑战有哪些?周正宇分享说三大挑战:一是电池驱动IoT装置的超低功耗需求;二、低成本预期,需要使用尽量小存储空间;三、端侧AI装置多样化,快速变化的技术、新算法,新模型的不断涌现。当下很多厂商在端侧采用CPU+GPU方案,优点是具备很好的弹性,问题是它来自软件驱动,无论在功耗、能效比以及算力上都无法达到现在端侧算力的需求。

他以TWS耳机和手表为例,一个TWS耳机产品需要在4.3V锂电池下,需要功耗平均为10mW左右,0.1TOPS到10TOPS之间需要能效比是10TOPS/W到100TOPS/W。大多数CPU、DSP在22nm制程芯片都在0.1TOPS/W左右。周正宇表示,如何在每个毫瓦上打造TOPS算力是最大的挑战。

为了寻求大算力,英伟达采用了HBM和3D封装的AI芯片—近存计算,成本极高,英伟达芯片达到百美元,端侧AI芯片适合在几美元或1美元以下。端侧AI芯片采用存内计算的架构,采用高性价比的路径,适合采用单芯片的方式来实现。

炬芯科技推出新一代MMSCIM端侧AI音频芯片,能效比和算力大幅度提升


周正宇博士指出,端侧AI不需要超大算力,只需要0.1TOPS到3TOPS之间的算力,所以短期SRAM成为低功耗端侧AI的最佳技术路径。长期来讲SRAM和RRAM混合技术架构可能为最佳端侧AI技术路径和架构。

wKgaoWcqwomASQe4AAFvhQWSyic618.jpg

在低功耗下打造音频产品算力的应用里,基于SRAM的CIM具有非常显著的技术优势包括:1、能效比高;2、读写次数没有限制;3、工艺成熟,可以大规模量产。

wKgaoWcqwpWARYNWAAK4Lwgw-kY344.jpg

周正宇宣布,炬芯科技推出新一代MMSCIM端侧AI音频芯片,基于CPU+DSP+NPU三核异构的核心架构,包括ATS323X、ATS286X和ATS362X。AI算力达到0.1TOPS,同时有6.4TOPS/W的能效比。

基于该架构,高端蓝牙音箱SoC芯片ATS286X和低延迟高音质无线音频SoC芯片ATS323X已流片,向客户送样。周正宇总结说,通过导入存内计算以及NPU和DSP、CPU三核异构的架构,让端侧音频AI芯片提供了几十倍的能效比提升和十几倍的算力提升。

本文由电子发烧友原创,转载请注明以上来源。微信号zy1052625525。需入群交流,请添加微信elecfans999,投稿爆料采访需求,请发邮箱zhangying@huaqiu.com。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30071

    浏览量

    268331
收藏 人收藏

    评论

    相关推荐

    四大厂商业绩大涨背后,积极探索AI SoC芯片创新迭代

    电子产品的各个形态,这也为AI SoC芯片带来机会。   近日,多家布局端AI的SoC厂商
    的头像 发表于 08-27 01:28 4218次阅读
    四大厂商业绩大涨背后,积极探索<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b> SoC<b class='flag-5'>芯片</b>创新迭代

    科技发布全新AI音频芯片

    近日,搭载科技蓝牙音频SoC芯片新一代AI智能蓝牙耳机全新上市!
    的头像 发表于 11-21 14:41 69次阅读

    科技周正宇:Actions Intelligence AI音频未来

    ChatGPT激发了人们的好奇心也打开了人们的想象,伴随着生成式AI(Generative AI)以史无前例的速度被广泛采用,AI
    的头像 发表于 11-08 10:22 184次阅读

    广和通AI解决方案驱动性能密集型场景商用型场景商用

    2024世界机器人大会期间,广和通宣布:基于高通QCS8550平台的广和通AI解决方案高效使性能密集型场景。该
    的头像 发表于 08-23 16:06 261次阅读

    广和通AI解决方案驱动性能密集型场景商用型场景商用

    2024世界机器人大会期间,广和通宣布:基于高通QCS8550平台的广和通AI解决方案高效使性能密集型场景。该
    的头像 发表于 08-23 16:05 620次阅读
    广和通<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>解决方案驱动性能密集型场景商用型场景商用

    安谋科技异构组合,破局生成式AI挑战

    近日,此科技集团有限公司(以下简称“此科技”)AI PC战略暨首款芯片发布会在上海举行,正式推出了其首款专为
    的头像 发表于 08-13 09:12 513次阅读

    安谋科技异构AI计算,此科技首款AI PC芯片发布

    7月30日,此科技集团有限公司(以下简称“此科技”)AI PC战略暨首款芯片发布会在上海举行,正式推出了其首款专为
    发表于 07-31 14:36 999次阅读
    安谋科技异构<b class='flag-5'>算</b><b class='flag-5'>力</b>赋<b class='flag-5'>能</b><b class='flag-5'>AI</b>计算,此<b class='flag-5'>芯</b>科技首款<b class='flag-5'>AI</b> PC<b class='flag-5'>芯片</b><b class='flag-5'>发布</b>

    “从此出发” 此科技发布AI PC战略暨首款芯片

    领域,打造新一代AI PC底座,并发布首款异构高能SoC此
    的头像 发表于 07-31 10:17 759次阅读
    “从此<b class='flag-5'>芯</b>出发” 此<b class='flag-5'>芯</b>科技<b class='flag-5'>发布</b><b class='flag-5'>AI</b> PC战略暨首款<b class='flag-5'>芯片</b>

    比较GPGPU高个数量级,国产AI芯片AI大模型高质量落地

    的方案越来越多。也就是说,AI大模型不仅完成了从“能用”到“好用”的蜕变,也从高高在上的云端,走到更靠近应用场景的边,这给作为方案核心的推理
    的头像 发表于 07-10 16:28 1778次阅读
    <b class='flag-5'>能</b><b class='flag-5'>效</b>比较GPGPU高<b class='flag-5'>一</b>个数量级,国产<b class='flag-5'>AI</b><b class='flag-5'>芯片</b>让<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>大模型高质量落地

    MediaTek天玑9300凭借强大性能与,赋AI语音游戏教学

    指导和指令反馈,加速玩家对游戏机制的理解,从而进提升战术运用能力。目前,AI Coaching 率先在天玑 9300 旗舰
    的头像 发表于 06-27 09:54 957次阅读

    广和通发布基于高通 QCM6490和QCS8550处理器的AI解决方案

    、高力推动移动机器人、工业机器视觉、智慧零售、自动驾驶等领域智能化。   相较于云AIAI
    的头像 发表于 06-07 16:44 902次阅读

    广和通发布基于高通QCM6490和QCS8550的AI解决方案,使AI“更接地气”

    6月7日,COMPUTEX 2024期间,为拓展物联网生态系统并满足AI应用需求,广和通发布基于高通® QCM6490和QCS8550处理器的
    的头像 发表于 06-07 16:36 364次阅读

    广和通发布基于高通QCM6490和QCS8550的AI解决方案,使AI“更接地气”

    6月7日,COMPUTEX 2024期间,为拓展物联网生态系统并满足AI应用需求,广和通发布基于高通® QCM6490和QCS8550处理器的
    的头像 发表于 06-07 16:30 762次阅读
    广和通<b class='flag-5'>发布</b>基于高通QCM6490和QCS8550的<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>解决方案,使<b class='flag-5'>AI</b>“更接地气”

    荣耀引领AI新时代

    在今年的MWC盛会上,荣耀宣布与高通、Meta携手,将70亿参数大模型引入,这创新举措预示着A
    的头像 发表于 03-01 10:28 580次阅读

    智能影像跃升,由终端AI助力

    已经悄然到来,生成式AI正不断展现出蓬勃的创造和想象。第三骁龙8作为高通首个专为生成式AI打造的移动平台,集终端
    的头像 发表于 12-20 20:15 449次阅读
    智能影像跃升,由终端<b class='flag-5'>侧</b><b class='flag-5'>AI</b><b class='flag-5'>来</b>助力