0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

端侧AI研究:2024 AI“下凡”

智能计算芯世界 来源:智能计算芯世界 2023-11-15 17:17 次阅读

f3eed30a-838a-11ee-939d-92fbcf53809c.png

ChatGPT是由OpenAI于2022年12月推出的对话AI模型,一经面世便受到广泛关注。获得千亿、万亿级别参数的大语言模型需要超大规模AI服务器集群进行训练,且随着模型不断迭代,对云端算力的需求增加。2023年以来,以英伟达为代表的AI芯片通信网络和服务器产业链相关企业股价涨幅明显。

(1)云侧AI:数据云端汇集训练,模型通用性强。从终端采集和感知到的声音、视频等数据都通过网络传输到云中心侧进行后续处理,云侧的资源高度集中,存储和计算能力强,并且具有很高的通用性;

(2)端侧AI:终端设备上进行的轻型模型运用。越来越多的 AI计算和推理工作负载在手机、笔记本电脑、XR 头显、汽车和其他边缘终端上运行,端侧硬件具备一定的计算能力,以及低延迟、个性化、隐私安全的特征。

端侧AI的四大优势:隐私和安全、低延时、可靠性、低成本。

✓ 隐私和安全:端侧AI从本质上有助于保护用户隐私,因为查询和个人信息完全保留在终端上。数据的存储计算等都在本地,避免了传到云端可能带来的数据安全问题。对于企业和工作场所等场景中使用端侧AI,这有助于解决保护公司保密信息的难题。例如,用于代码生成的编程助手应用可以在终端上运行,不向云端暴露保密信息。

✓ 低延时:当生成式AI查询对于云的需求达到高峰期时,会产生大量排队等待和高时延,甚至可能出现拒绝服务的情况数据的存储计算在本地处理、本地响应方面时间更短速度更快。

✓ 可靠性:与云端互联的网络可能不稳定、甚至断线。决策在本地大幅降低了数据经过更长的通路产生错误的几率。终端侧AI处理能够在云服务器和网络连接拥堵时,提供媲美云端甚至更佳的性能。如果所有的推理案例都在云服务器上进行,准确率是79.31%;如果49.88%的推理案例在移动端进行,其余在云端进行,仍可达到79.31%的云级准确率。

✓ 低成本:随着生成式AI模型使用量和复杂性的不断增长,仅在云端进行推理并不划算。将一些处理从云端转移到边缘终端可减轻云基础设施的压力并减少开支。此外与云端相比,端侧AI能够以很低的能耗运行生成式AI模型。

f41a85b8-838a-11ee-939d-92fbcf53809c.png

f41f59b2-838a-11ee-939d-92fbcf53809c.png

f42a3b3e-838a-11ee-939d-92fbcf53809c.png

f445679c-838a-11ee-939d-92fbcf53809c.png

f471e9a2-838a-11ee-939d-92fbcf53809c.png

f484d6b6-838a-11ee-939d-92fbcf53809c.png

f4943f84-838a-11ee-939d-92fbcf53809c.png

f4a0cdb2-838a-11ee-939d-92fbcf53809c.png

f4ae49a6-838a-11ee-939d-92fbcf53809c.png

f4ca1992-838a-11ee-939d-92fbcf53809c.png

f4f7853a-838a-11ee-939d-92fbcf53809c.png

f514abba-838a-11ee-939d-92fbcf53809c.png

f536f1e8-838a-11ee-939d-92fbcf53809c.png

f53b57e2-838a-11ee-939d-92fbcf53809c.png

f5474228-838a-11ee-939d-92fbcf53809c.png

f5610140-838a-11ee-939d-92fbcf53809c.png

f5968b3a-838a-11ee-939d-92fbcf53809c.png

f5abfc90-838a-11ee-939d-92fbcf53809c.png

f5bafdda-838a-11ee-939d-92fbcf53809c.png

f5c43fd0-838a-11ee-939d-92fbcf53809c.png

f5cc265a-838a-11ee-939d-92fbcf53809c.png

f5e9d6dc-838a-11ee-939d-92fbcf53809c.png

f6483218-838a-11ee-939d-92fbcf53809c.png

f6652328-838a-11ee-939d-92fbcf53809c.png

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    29635

    浏览量

    267971
  • 语言模型
    +关注

    关注

    0

    文章

    497

    浏览量

    10236
  • 数据云
    +关注

    关注

    0

    文章

    8

    浏览量

    2573

原文标题:端侧AI研究:2024 AI“下凡”

文章出处:【微信号:AI_Architect,微信公众号:智能计算芯世界】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    四大厂商业绩大涨背后,积极探索AI SoC芯片创新迭代

    电子产品的各个形态,这也为AI SoC芯片带来机会。   近日,多家布局端AI的SoC厂商发布20
    的头像 发表于 08-27 01:28 4064次阅读
    四大厂商业绩大涨背后,积极探索<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b> SoC芯片创新迭代

    飞凌微CEO邵科:车载视觉处理新品助力智驾视觉系统升级,AI应用加速落地

    2024年,算力仍然是大模型持续迭代的根本动力,AI走向是大势所趋。咨询机构IDC在今年7月发布最新预测,2024年全球
    的头像 发表于 10-31 01:17 2356次阅读
    飞凌微CEO邵科:车载视觉处理新品助力智驾视觉系统升级,<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>应用加速落地

    定义AI Agent四大核心能力,荣耀IFA剧透AI创新进展

    ,荣耀CEO赵明在2024德国柏林消费电子展(Internationale Funkausstellung Berlin,以下简称IFA)再度带来AI创新最新进展,首次向外界透露荣
    的头像 发表于 09-10 11:42 203次阅读
    定义<b class='flag-5'>AI</b> Agent四大核心能力,荣耀IFA剧透<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>创新进展

    广和通AI解决方案驱动性能密集型场景商用型场景商用

    2024世界机器人大会期间,广和通宣布:基于高通QCS8550平台的广和通AI解决方案高效使能性能密集型场景。该
    的头像 发表于 08-23 16:06 227次阅读

    广和通AI解决方案驱动性能密集型场景商用型场景商用

    2024世界机器人大会期间,广和通宣布:基于高通QCS8550平台的广和通AI解决方案高效使能性能密集型场景。该
    的头像 发表于 08-23 16:05 587次阅读
    广和通<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>解决方案驱动性能密集型场景商用型场景商用

    能效比较GPGPU高一个数量级,国产AI芯片让AI大模型高质量落地

    电子发烧友网报道(文/吴子鹏)2024年世界人工智能大会(以下简称:WAIC 2024)依然是一场“百模大战”,不过有一些很明显的变化是:新推出的AI大模型更加注重用户体验;边
    的头像 发表于 07-10 16:28 1730次阅读
    能效比较GPGPU高一个数量级,国产<b class='flag-5'>AI</b>芯片让<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>大模型高质量落地

    MWCS 2024 | 广和通荣获边缘AI计算最佳创新方案

    2024世界移动通信大会·上海(MWCS 2024)期间,广和通AI解决方案凭借卓越特性与极具潜力的商业价值斩获
    的头像 发表于 06-28 18:22 256次阅读
    MWCS <b class='flag-5'>2024</b> | 广和通荣获边缘<b class='flag-5'>AI</b>计算最佳创新方案

    MWCS 2024 广和通荣获边缘AI计算最佳创新方案

    2024世界移动通信大会·上海(MWCS 2024)期间,广和通AI解决方案凭借卓越特性与极具潜力的商业价值斩获
    的头像 发表于 06-28 18:21 783次阅读
    MWCS <b class='flag-5'>2024</b>  广和通荣获边缘<b class='flag-5'>AI</b>计算最佳创新方案

    广和通AI解决方案荣膺MWCS 2024边缘AI计算最佳创新奖

    在近日举行的2024世界移动通信大会·上海(MWCS 2024)上,广和通凭借其卓越的AI解决方案荣获
    的头像 发表于 06-28 15:44 672次阅读

    广和通发布基于高通 QCM6490和QCS8550处理器的AI解决方案

    6月7日,COMPUTEX 2024(台北国际电脑展2024)期间,为拓展物联网生态系统并满足AI应用需求,广和通发布基于高通 QCM6
    的头像 发表于 06-07 16:44 849次阅读

    广和通发布基于高通QCM6490和QCS8550的AI解决方案,使AI“更接地气”

    6月7日,COMPUTEX 2024期间,为拓展物联网生态系统并满足AI应用需求,广和通发布基于高通® QCM6490和QCS8550处理器的
    的头像 发表于 06-07 16:36 329次阅读

    广和通发布基于高通QCM6490和QCS8550的AI解决方案,使AI“更接地气”

    6月7日,COMPUTEX 2024期间,为拓展物联网生态系统并满足AI应用需求,广和通发布基于高通® QCM6490和QCS8550处理器的
    的头像 发表于 06-07 16:30 749次阅读
    广和通发布基于高通QCM6490和QCS8550的<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>解决方案,使<b class='flag-5'>AI</b>“更接地气”

    广和通发布高性能AI解决方案,赋能物联网生态系统

    在近日盛大开幕的COMPUTEX 2024(台北国际电脑展2024)上,广和通凭借其前瞻性的技术视野,发布了一款基于高通® QCM6490和QCS8550处理器的
    的头像 发表于 06-07 16:15 562次阅读

    荣耀引领AI新时代

    在今年的MWC盛会上,荣耀宣布与高通、Meta携手,将70亿参数大模型引入,这一创新举措预示着AI新时代的到来。荣耀终端CEO赵明在
    的头像 发表于 03-01 10:28 545次阅读

    [AI原生应用]2024年到来?

    AI大模型
    电子发烧友网官方
    发布于 :2024年01月02日 16:43:46