0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NPU是什么?为何它是开启终端侧生成式AI的关键?

高通中国 来源:高通 2024-03-07 11:25 次阅读

生成式AI变革已经到来。随着生成式AI用例需求在有着多样化要求和计算需求的垂直领域不断增加,我们显然需要专为AI定制设计的全新计算架构。这首先需要一个面向生成式AI全新设计的神经网络处理器(NPU),同时要利用异构处理器组合,比如中央处理器(CPU)和图形处理器(GPU)。通过结合NPU使用合适的处理器,异构计算能够实现最佳应用性能、能效和电池续航,赋能全新增强的生成式AI体验。

正如在工具箱中选择合适的工具一样,选择合适的处理器取决于诸多因素,将增强生成式AI体验。

异构计算的重要性

生成式AI的多样化要求和计算需求需要不同的处理器来满足。支持处理多样性的异构计算架构能够发挥每个处理器的优势,例如以AI为中心定制设计的NPU,以及CPU和GPU。每个处理器擅长不同的任务:CPU擅长顺序控制和即时性,GPU适合并行数据流处理,NPU擅长标量、向量和张量数学运算,可用于核心AI工作负载。

异构计算能够实现最佳应用性能、能效和电池续航,以最大化发挥生成式AI终端用户体验。

NPU随着不断变化的AI用例和模型持续演进,实现高性能低功耗。

什么是神经网络处理器NPU(Neural Processing Unit)?

NPU专为实现以低功耗加速AI推理而全新打造,其架构随着新AI算法、模型和用例的发展不断演进。Al工作负载主要包括由标量、向量和张量数学组成的神经网络层计算以及非线性激活函数。优秀的NPU设计能够为处理这些AI工作负载做出正确的设计选择,与AI行业方向保持高度一致。

3d7919a2-db5d-11ee-a297-92fbcf53809c.png

高通AI引擎包括高通Hexagon NPU、高通Adreno GPU、高通Kryo或高通Oryon CPU、高通传感器中枢和内存子系统。

高通领先的NPU和异构计算解决方案

高通正在助力让智能计算无处不在。业界领先的高通Hexagon NPU面向以低功耗实现持续稳定的高性能AI推理而设计。高通NPU的差异化优势在于系统级解决方案、定制设计和快速创新。通过定制设计NPU并控制指令集架构(ISA),高通能够快速进行设计演进和扩展,以解决瓶颈问题并优化性能。

Hexagon NPU是高通业界领先的异构计算架构——高通AI引擎中的关键处理器,高通AI引擎还包括高通Adreno GPU、高通Kryo或高通Oryon CPU、高通传感器中枢和内存子系统。这些处理器为实现协同工作而设计,能够在终端侧快速且高效地运行AI应用。

我们在AI基准测试和实际生成式AI应用方面的行业领先性能表现就是例证。深入了解高通NPU、我们的其他异构处理器,以及在第三代骁龙8和骁龙X Elite上业界领先的Al性能。 可以登录高通网站。

3d904e7e-db5d-11ee-a297-92fbcf53809c.png

高通AI软件栈旨在帮助开发者一次编写,即可实现随时随地运行和规模化扩展。

赋能开发者加速生成式Al应用

我们专注于在全球搭载高通和骁龙平台的数十亿终端设备上实现便捷开发和部署,赋能开发者。利用高通AI软件栈(Qualcomm AI Stack),开发者可在高通硬件上创建、优化和部署AI应用,一次编写即可实现在不同产品和细分领域采用高通芯片组解决方案进行部署。

通过将技术领导力、定制芯片设计、全栈AI优化和生态系统赋能充分结合,高通技术公司在推动终端侧生成式AI开发和应用方面独树一帜。高通技术公司正在赋能终端侧生成式AI的规模化扩展。

本文内容来自高通技术公司高级副总裁兼技术规划和边缘解决方案业务总经理马德嘉、高通技术公司技术市场总监Pat Lawlor的署名博客。

*骁龙和高通品牌产品是高通技术公司和/或其子公司的产品。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 高通
    +关注

    关注

    77

    文章

    7519

    浏览量

    191427
  • AI
    AI
    +关注

    关注

    87

    文章

    32013

    浏览量

    270878
  • 骁龙
    +关注

    关注

    2

    文章

    1020

    浏览量

    37030
  • NPU
    NPU
    +关注

    关注

    2

    文章

    298

    浏览量

    18857
  • 生成式AI
    +关注

    关注

    0

    文章

    519

    浏览量

    574

原文标题:NPU是什么?为何它是开启终端侧生成式AI的关键?

文章出处:【微信号:Qualcomm_China,微信公众号:高通中国】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    相关推荐

    生成AI加速向终端演进,NPU、异构计算提供强大算力支持

    的400亿美元,增长至2032年的1.3万亿美元,年复合增速达到42%。   生成AI终端快速演进   当前大部分生成
    的头像 发表于 03-16 00:16 2985次阅读

    关于生成AI关键技术

    生成AI关键技术是生成对抗网络(GANs, Generative Adversarial
    的头像 发表于 10-17 09:27 2468次阅读

    高通WAIC展示两大终端生成AI技术 AI引擎获奖

    赋能等多个角度,描绘了混合AI赋能的智能未来。同期,第二代骁龙8的高通AI引擎获得大会最高奖项——SAIL奖(卓越人工智能引领者奖);高通还在现场带来了其强大终端
    的头像 发表于 07-07 19:58 853次阅读
    高通WAIC展示两大<b class='flag-5'>终端</b><b class='flag-5'>侧</b><b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>技术 <b class='flag-5'>AI</b>引擎获奖

    高通在2023骁龙峰会上推动突破性的生成AI落地多品类终端

    要点 — •  全新骁龙平台展现了面向众多生成AI终端和应用的绝佳终端
    的头像 发表于 10-25 10:30 361次阅读
    高通在2023骁龙峰会上推动突破性的<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>落地多品类<b class='flag-5'>终端</b>

    高通在2023骁龙峰会上推动突破性的生成AI落地多品类终端

    要点 • 全新骁龙平台展现了面向众多生成AI终端和应用的绝佳终端
    发表于 10-25 11:46 147次阅读
    高通在2023骁龙峰会上推动突破性的<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>落地多品类<b class='flag-5'>终端</b>

    高通通过终端AI领先技术 增强骁龙本、手机和耳机体验

    在2023骁龙峰会期间,高通技术公司发布了面向Windows 11 PC和移动终端的下一代旗舰平台,迎接终端AI时代的到来。两款全新平台在设计中均充分考虑
    的头像 发表于 10-27 13:56 676次阅读

    智能影像跃升,由终端AI来助力

    已经悄然到来,生成AI正不断展现出蓬勃的创造力和想象力。第三代骁龙8作为高通首个专为生成AI
    的头像 发表于 12-20 20:15 528次阅读
    智能影像跃升,由<b class='flag-5'>终端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>来助力

    高通NPU和异构计算提升生成AI性能 

    异构计算的重要性不可忽视。根据生成AI的独特需求和计算负担,需要配备不同的处理器,如专注于AI工作负载的定制设计的NPU、CPU和GPU。
    的头像 发表于 03-06 14:15 948次阅读

    天玑9400生成AI技术太牛了!打造最强AI体验

    的天玑9400不仅在AI性能上全面升级,还进一步推动了手机端生成AI的应用与创新。   NPU性能称霸,以最强端
    的头像 发表于 10-14 14:06 379次阅读
    天玑9400<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>技术太牛了!打造最强<b class='flag-5'>AI</b>体验

    AI应用趋热:NPU如何解决其关键痛点

    智库举办的第12届中国硬科技产业链创新趋势峰会暨百家媒体论坛上,安谋科技的产品总监鲍敏祺深入剖析了端AI应用的广阔前景,并强调了神经处理单元(NPU)在这一领域中的关键作用。
    的头像 发表于 10-31 15:00 785次阅读

    高通与智谱推动多模态生成AI体验的终端侧部署

    此前,骁龙峰会首日,智谱与高通技术公司宣布合作将GLM-4V端侧视觉大模型,面向骁龙8至尊版进行深度适配和推理优化,支持丰富的多模态交互方式,进一步推动多模态生成AI终端
    的头像 发表于 11-08 09:55 277次阅读

    智能无处不在:安谋科技“周易”NPU开启AI新时代

    的需求,将AI的触角延伸至世界的每一个角落。 近日,在EEVIA主办的第12届中国硬科技产业链创新趋势峰会暨百家媒体论坛上,安谋科技产品总监鲍敏祺发表了精彩的主题演讲《端AI应用芯机遇,NP
    发表于 11-15 11:42 269次阅读
    智能无处不在:安谋科技“周易”<b class='flag-5'>NPU</b><b class='flag-5'>开启</b>端<b class='flag-5'>侧</b><b class='flag-5'>AI</b>新时代

    广和通开启AI新时代

    AI发展正酣,随着终端芯片算力越来越高、端模型能力越来越强、实时响应及隐私保护的端应用需求增加,端
    的头像 发表于 12-12 10:35 388次阅读

    联发科技携手Cocos共建端生成AI游戏开发生态,推动行业升级

    捷更高效的应用开发体验,助力全球亿万用户享受全新的智能互动体验。 随着智能终端性能的不断提升,端生成AI技术正成为推动游戏和应用体验变革
    的头像 发表于 01-10 09:24 183次阅读

    OpenAI计划开发可替代手机的生成AI专用终端

    近日,据日经报道,人工智能研究公司 OpenAI 的 CEO Sam Altman 在接受采访时透露,OpenAI 计划开发一款可替代手机的生成 AI 专用终端。 据了解,OpenA
    的头像 发表于 02-05 14:50 141次阅读