0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

实测NPU“空转”,AI PC首个落地应用只调用GPU?

Hobby观察 来源:电子发烧友 作者:梁浩斌 2024-05-22 00:16 次阅读

电子发烧友网报道(文/梁浩斌)去年开始,整个PC产业链,自上而下地都在为AI PC造势。从处理器端的英特尔AMD高通等开始,到下游终端厂商,宣传上清一色的AI PC概念。

从概念上看,硬件上AI PC的一大特征是在传统PC的CPU+GPU基础上,增加NPU加强AI 算力。不过有意思的是,最近某品牌PC机型上的AI助手率先落地,支持云端和本地运算两种模式,确实能够完成宣传上的很多功能。然而在实测本地大模型时,却没有调用NPU算力,完全是使用GPU进行运算。

所以实际上,NPU目前为止依然是“空转”的状态,过去的“传统”PC,理论上似乎也能够使用“AI PC”上的最新功能。那么AI PC中NPU还是一个必要存在吗?

AI PC发展的三个阶段

确实,GPU在AI大模型上有很强的适配性,一直以来,很多开源大模型都能够在家用电脑上部署,利用GPU的算力进行推理。在AI PC的大模型刚刚落地时,使用GPU算力是最为稳妥以及最快的方式。

此前联想集团副总裁张华在发布会上提到,成熟的AI PC需要包括五大条件。其中包括标配CPU+GPU+NPU的本地混合AI算力;内嵌由本地大模型和个性化本地知识库构成的个人大模型;配备本地化个人数据和隐私保护方案;开放的AI 应用生态;内嵌个人Agent(模拟人类行为或指挥的AI程序),多模态自然语言成为主要的交互方式。

他还认为AI PC会有三个发展阶段,第一阶段是从2023年12月到2024年4月,这个阶段被称为“AI Ready”阶段,这个阶段特点是硬件平台的支持CPU+GPU+NPU的混合AI算力,满足终端厂商和第三方应用开发者进行终端AI体验创新。说白了,就是硬件要满足AI需求,软件先画饼。

第二阶段是2024年4月到2024年9月的AI Explore阶段。在这个阶段中,AI Ready的硬件,能够用上个人Agent、个人大模型嵌入AIPC、首批第三方AI应用接入AI小程序平台等,并能够运用CPU+GPU+NPU的混合AI算力,提供基于自然语言交互的个人AI助理服务。

第三阶段是24年9月之后的AI Master/AI Advanced阶段。在这个阶段,首先硬件的混合AI算力持续提升,同时个人大模型的能力进一步提升,AI应用生态大为丰富、商业模式进一步多样化,个人Agent的场景服务范围进一步扩大、服务体验进一步升级,个人AI助理进入随用户使用和体验反馈而快速进阶之路。

所以,AI PC新增的NPU,只是混合算力中的一部分。从算力来看,NPU可以算得上是“战未来”的硬件,而实际AI能够带来哪些颠覆性的体验,才是AI PC的关键。

AI PC有哪些应用了?

目前的AI大模型,普遍是采用云端推理,这很大程度上是由于大模型数据体量巨大,无法部署在本地。而AI PC的概念中,本地大模型就是与目前常见的云端大模型有很大差异的地方。

从个人隐私的角度来看,本地大模型由于数据不上云,所以数据安全性更高,对于一些有保密需求的工作来说可以说是提高工作效率的刚需。

比如用户可以通过本地大模型,读取本地文档,并使用自然语言交互来快速找到文档中所需的信息。还可以通过自然语言交互,来完成修改电脑设置等操作,降低Windows操作系统使用门槛,毕竟很多选项都藏得比较深。

另外,还可以通过上传足够多的文档,构建一个自己的数据库,需要搜索资料或数据时,就可以通过本地的AI助手快速搜索到目标。

最近微软的发布会上,又推出了一个“Copilot+ PC”概念,核心是AI算力+AI Agent( Copilot )。

在微软的展示中,任何东西都能够往Copilot上拖动,并让其分析、总结。当然,AI图片编辑、生成等功能已经是AI大模型的标配了,而微软为windows加入的AI赋能功能中,还有可以称之为“杀手锏”的。

比如AI能够实时读取屏幕显示的所有信息,比如在玩游戏时,可以直接询问AI来获得攻略,AI甚至能理解游戏中的参数、物品等,从而给出相应的策略。

Recall则是令电脑拥有了类似于“时光机”的能力,AI能力的帮助下,Copilot+ PC可以访问电脑上任何看过或者运行过的操作,甚至可以凭借记忆,描述在某个网站上见过图片,AI就能够帮助找出相应的页面截图。而这是基于本地算力以及存储所实现的,能够保障用户隐私。

小结:

AI PC的概念虽然值得考究,但AI的应用要落地在PC上,硬件和软件都无法单独拿出来讨论,AI应用与硬件的结合随着需求提高只会越来越紧密。这样的情况下,NPU的存在形式,发展方向,以及应用的适配,未来将会有更多的可能性。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4700

    浏览量

    128672
  • NPU
    NPU
    +关注

    关注

    2

    文章

    269

    浏览量

    18536
  • AI大模型
    +关注

    关注

    0

    文章

    307

    浏览量

    287
  • AI PC
    +关注

    关注

    0

    文章

    123

    浏览量

    197
收藏 人收藏

    评论

    相关推荐

    CPU\GPU引领,国产AI PC进阶

    电子发烧友网报道(文/黄晶晶)当前AI PC已经成为PC产业的下一个浪潮,国产CPU、GPU厂商在PC市场一直处于追赶态势,
    的头像 发表于 09-01 02:15 4982次阅读
    CPU\<b class='flag-5'>GPU</b>引领,国产<b class='flag-5'>AI</b> <b class='flag-5'>PC</b>进阶

    40+TOPS NPUAI PC处理器开卷算力

    的人工智能任务。同时,微软还提出,这款全新电脑搭配拥有全新神经处理单元NPU的芯片,可实现每秒超过40万亿次即40+TOPS的运算。那么也就是说,若要符合微软给出的AI PC的定义,NPU
    的头像 发表于 07-14 01:11 4329次阅读
    40+TOPS <b class='flag-5'>NPU</b>,<b class='flag-5'>AI</b> <b class='flag-5'>PC</b>处理器开卷算力

    NPU技术如何提升AI性能

    设计的处理器,与传统的CPU和GPU相比,它在执行深度学习任务时具有更高的效率和更低的能耗。NPU通过专门优化的硬件结构和指令集,能够更快地处理神经网络中的大量并行计算任务。 1. 优化硬件架构 NPU技术通过优化硬件架构来提升
    的头像 发表于 11-15 09:11 222次阅读

    NPUGPU的性能对比

    它们在不同应用场景下的表现。 一、设计初衷与优化方向 NPU : 专为加速AI任务而设计,包括深度学习和推理。 针对神经网络的计算模式进行了优化,能够高效地执行矩阵乘法、卷积等操作。 拥有众多小型处理单元,配备专门的内存体系结构和数据流优化策略,对深度学习任务的处理特别高
    的头像 发表于 11-14 15:19 335次阅读

    【「算力芯片 | 高性能 CPU/GPU/NPU 微架构分析」阅读体验】--全书概览

    GPUNPU,给我们剖析了算力芯片的微架构。书中有对芯片方案商处理器的讲解,理论联系实际,使读者能更好理解算力芯片。 全书共11章,由浅入深,较系统全面进行讲解。下面目录对全书内容有一个整体了解
    发表于 10-15 22:08

    什么是NPU?什么场景需要配置NPU

    在人工智能(AI)技术如火如荼的今天,NPU神经处理单元(Neural Processing Unit)作为一种新兴的硬件加速器,正在成为ARM主板配置中的新宠。与传统的CPU和GPU相比,N
    的头像 发表于 10-11 10:13 954次阅读
    什么是<b class='flag-5'>NPU</b>?什么场景需要配置<b class='flag-5'>NPU</b>?

    名单公布!【书籍评测活动NO.43】 算力芯片 | 高性能 CPU/GPU/NPU 微架构分析

    和像素统一的G80到现在重金难求的H100;AMD的Zen系列CPU和RDNA系列GPU两线作战;中国的高性能计算芯片逐步获得更多TOP500排名;华为Ascend 910 NPU芯片也成为AI时代
    发表于 09-02 10:09

    刷新AI PC NPU算力,AMD锐龙AI 9 HX 375领衔55 TOPS

    电子发烧友网报道(文/黄晶晶)最近AMD官网上线了锐龙AI 300系列中的最新成员锐龙AI 9 HX 375处理器。原本Ryzen AI 9 HX 370的NPU达到了50 TOPS,
    的头像 发表于 08-07 00:28 3204次阅读
    刷新<b class='flag-5'>AI</b> <b class='flag-5'>PC</b> <b class='flag-5'>NPU</b>算力,AMD锐龙<b class='flag-5'>AI</b> 9 HX 375领衔55 TOPS

    AI PC引发的NPU大战?英特尔:仅30%开发者选择NPU

    随着COMPUTEX 2024的日益临近,关于人工智能(AI)个人计算机(PC)的话题开始变得愈发热门和受关注。据微软公司近期发布的相关技术规范要求,所有运行Windows操作系统的AI PC
    的头像 发表于 06-03 17:24 831次阅读

    英特尔发布AI PC加速计划,确立AI PC新标准

    同时,英特尔也自定了更为简化的AI PC定义,即CPU、GPUNPU均应具备专属AI加速能力,这恰恰反映了其最新力作Meteor Lake
    的头像 发表于 03-27 10:10 427次阅读

    高通NPU和异构计算提升生成式AI性能 

    异构计算的重要性不可忽视。根据生成式AI的独特需求和计算负担,需要配备不同的处理器,如专注于AI工作负载的定制设计的NPU、CPU和GPU
    的头像 发表于 03-06 14:15 727次阅读

    简单三步在Windows上调用低功耗NPU部署AI模型

    相信很多小伙伴都已经知道,在最新一代的英特尔 酷睿 Ultra 移动端处理中已经集成了被称为 NPU 的神经网络加速处理器,以提供低功耗的 AI 算力,特别适合于 PC 端需要长时间稳定运行的
    的头像 发表于 02-22 17:17 3520次阅读
    简单三步在Windows上<b class='flag-5'>调用</b>低功耗<b class='flag-5'>NPU</b>部署<b class='flag-5'>AI</b>模型

    什么是AI PCAI手机?AI PCAI手机出现的来龙去脉

    相信大家现在每天经常可以在报章媒体上看到“AI PC”、“AI 手机” 这两个词吧?特别是财经新闻,这几个月时不时就可以看见哪一股票又因是AI
    的头像 发表于 01-18 10:43 1695次阅读

    预计2024年全球AI服务器将达160万台,AI PC逐步普及

    TSRC分析认为,AI PC商业化主要受到两大因素驱动。首先,终端应用的需求起着重要作用。微软将AI功能融入Windows和Office等知名软件中,促使AI
    的头像 发表于 01-18 10:29 808次阅读

    2024年将开启AI PC规模出货元年,全球PC迈入AI新时代!

    电子发烧友网报道(文/李弯弯)AI PC是一种集成了AI技术的个人电脑。它通过集成NPU、CPU、GPU等硬件,在实现高能、低耗的同时从根本
    的头像 发表于 12-02 01:14 2472次阅读