0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

把握关键节点,美格智能持续推动端侧AI规模化拓展

美格智能 来源:美格智能 作者:美格智能 2024-11-25 16:45 次阅读

当前,AI大模型走向端侧已经是大势所趋,端侧AI的发展将推动人工智能成为影响世界的第四次工业革命。与传统的云端大模型相比,端侧大模型拥有更小的参数体量和更垂直的训练数据。对于终端产品而言,端侧AI将成为和系统同样重要的存在,如果说电路是连接身体的“血管”,那么AI就将成为终端的智慧“大脑”。

▶加速演进,大模型加速走向端侧

手机移动端开始,端侧AI正逐步在车载、PC以及各类可穿戴设备等终端落地,端云协作的混合AI模式成为未来人工智能发展的主要方向。AI Agent、具身智能、人机协同、生成式智能体等LLM(大语言模型)的主要研究方向均对模型的性能和运行条件提出了新的要求。

为推动AI与各行业的深度融合,AI大模型正通过模型剪枝、知识蒸馏和量化技术进行不断精简和提升数据质量,端侧硬件也在不断提升端侧算力和优化结构。如面向AI设计的神经网络处理器(NPU)、提高性能和降低功耗的异构计算技术,软件与硬件的协同发展正在加速端侧AI部署,赋能全新增强的AI体验。

wKgZomdEOTOALsTWAAJXDGoprAQ653.jpg

▲图片来源:高通中国官方公众号

从行业趋势来看,今年10月,高通公司发布全新旗舰芯片产品骁龙8至尊版,搭载第二代定制的Oryon CPU、全新切片架构的Adreno GPU和增强的Hexagon NPU。Oryon CPU拥有2个主频高达4.32GHz的超级内核和6个主频3.53GHz的性能内核,支持面向端侧AI计算的高达10.7Gbps速率的LPDDR5X内存;全新的Hexagon NPU,AI性能提升45%,每瓦特性能提升45%,支持70+ tokens/sec的输入,首次支持终端侧个性化多模态AI助手,能够赋能规模更大且更加复杂的多模态生成式AI用例在终端侧高效运行。骁龙8至尊系列新产品的发布,也在一定程度上表明了未来数字化发展的方向,即垂直的硬件适配、不断提升的端侧算力和更强悍的综合性能。

AI与千行百业的融合发展,被行业称为“AI+”时代。作为全球领先的无线通信模组及解决方案提供商,美格智能围绕AI+时代的算力、算法、数据、用例四大重要因素,以丰厚研发经验和创新实力助力端侧AI落地,为全球数字化发展贡献重要力量。

▶智算领先,以澎湃算力承接大模型落地

从开创到引领,美格智能以端侧算力为切入点,行业率先打造高算力AI模组矩阵,凭借优质的产品品质和定制化服务能力受到行业客户的一致好评。算力是端侧AI运行的基座,针对不同客户对算力、功耗、尺寸的要求,美格智能打造包含SNM973、SNM932、SNM950、SNM960、SNM970、SNM952、SNM962、SNM972等系列模组,AI算力覆盖12Tops~48Tops,涵盖入门级、中端、旗舰级多层次算力水平,能够适应不同行业和应用场景的需求。同时在高算力AI模组的基础上,美格智能团队正不断与行业领先的SoC阵列式服务器客户密切合作,相关产品成为各类端侧通用AI、边缘计算AI服务器的优质选择,凭借高性能和高性价比助力边缘侧AI部署,推动边缘侧算力发展。

wKgaoWdEOTWANYv8AALkMf_yhWs897.jpg

随着以智能座舱和“端到端”的自动驾驶为代表的车载大模型应用需求逐步提升,美格智能也在不断加强技术创新研发,正逐步打造综合AI算力超过100Tops的尖端AI模组,为更强力的端侧AI落地和更广阔的应用场景提供澎湃算力。

▶加速部署,以技术实力打通模型部署通路

AI技术的引进为产业终端提质增效起到重要作用,而如何快速地将算法与终端进行适配和部署是每一个终端厂商无法避免的课题。为此,美格智能以自身研发实力为基础搭建试验平台,自主进行大语言模型运行验证,行业内首家在端侧算力模组上运行文生图大语言模型Stable Diffusion,并先后验证运行LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2等众多中英文大语言模型,以实际用例为客户打通模型部署通路。

wKgZoWdEOTaAX_VBAAKSwKn3cAA322.jpg

此外,为帮助客户更快速地打造更加垂直的模型应用,在模型算法优化方面,美格智能为行业客户打造AI算法部署服务APP——MEIG AI,内置多个模型和算法,客户在APP上即可完成AI算法在不同美格智能模组平台的应用验证,并为客户和开发者提供开发文档和算法转换、集成的相关视频教程,帮助理解App结构、代码和模型,提高开发效率。在模型部署方面,美格智能携手行业合作伙伴打造AIMO(AI模型优化器),实现一站式模型转写,仅使用Python即可开发部署AI应用,有效降低开发门槛,大幅缩短模型落地周期,节约开发投入。

值得一提的是,为推动全行业各领域端侧AI技术的应用和开发落地,美格智能基于高算力AI模组,打造SNM970、SNM932等高算力AI模组面向开发者套件。丰富的硬件接口和软件的开发套件,能够广泛适配各类应用场景,为客户产品原型开发,性能验证提供助力,完整的操作指引能够显著降低开发难度,加速终端开发周期,有效节省客户产品迭代的二次开发投入。

wKgaoWdEOTiAH9zcAAIQAGbYzxg619.jpg

▶应用先行,以广泛用例助力端侧AI生态发展

当前美格智能高算力AI模组、智能模组已在海量应用终端广泛落地,成为推动端侧AI高速发展和布局的重要推动。如在具身智能领域,基于美格智能高算力AI模组的解决方案为行业领先的人形机器人提供充足算力,为打造“端到端”的AI机器人提供支持;在AR/AI眼镜领域,美格智能与国际知名AR/AI眼镜品牌客户合作,基于高算力AI模组开发的新一代AR眼镜产品,在系统能力、AI性能方面较上一代产品显著提升;在无人机智控领域,美格智能与国内领先的高端无人机品牌携手,以高算力AI模组赋能无人机智控、图像追踪技术、实时3D渲染、高速图传等领域,共同打造行业领先的智能无人机产品;在AI+医疗领域,基于高算力AI模组为行业头部客户及海外客户研发AI掌上超声终端、手持式血液快速检测终端等,以AI助力移动医疗快速发展。

端侧AI能力是实现AI全球规模化扩展的关键,在全产业链的推动下,用户对AI功能的接受程度和期待也进一步提升,端侧大模型的发展不仅带动了消费市场的升级,也让产业链上下游的合作更加紧密。美格智能凭借行业领先的产品研发和创新实力,以及丰厚的解决方案用例,成为全球端侧AI产业链中的重要一环。面向未来的广阔市场,美格智能也将携手行业合作伙伴,为客户提供更高算力、高性能、高性价比的模组产品和解决方案,助力端侧AI生态高速、健康发展。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30241

    浏览量

    268484
  • 美格智能
    +关注

    关注

    2

    文章

    243

    浏览量

    11102
收藏 人收藏

    评论

    相关推荐

    把握关键节点美格智能持续推动AI规模化拓展

    当前,AI大模型走向已经是大势所趋,AI的发展将推动
    的头像 发表于 11-26 01:00 81次阅读
    <b class='flag-5'>把握</b><b class='flag-5'>关键</b><b class='flag-5'>节点</b>,<b class='flag-5'>美格</b><b class='flag-5'>智能</b><b class='flag-5'>持续</b><b class='flag-5'>推动</b><b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b><b class='flag-5'>规模化</b><b class='flag-5'>拓展</b>

    AI,风起移动智能计算

    新一代骁龙旗舰芯片,AI的繁荣肇始
    的头像 发表于 11-22 09:55 1603次阅读
    <b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>,风起移动<b class='flag-5'>智能</b>计算

    AI风向标|算力与通信的完美融合,SRM6690解锁AI智能密码

    当前,5G技术已经成为推动数字经济和实体经济深度融合的关键驱动力,进入5G发展的下半场,5G与AI的融合正推动诸多行业的数字转型和创新发展
    的头像 发表于 11-15 01:01 156次阅读
    <b class='flag-5'>AI</b>风向标|算力与通信的完美融合,SRM6690解锁<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>的<b class='flag-5'>智能</b>密码

    AI风向标 算力与通信的完美融合,SRM6690解锁AI智能密码

    当前,5G技术已经成为推动数字经济和实体经济深度融合的关键驱动力,进入5G发展的下半场,5G与AI的融合正推动诸多行业的数字转型和创新发展
    的头像 发表于 11-14 17:19 183次阅读

    AI浪潮已来!炬芯科技发布新一代AI音频芯片,能效比和AI算力大幅度提升

    AI音频芯片。   2028 年中小型模型AI市场迅速增长,技术上有三大挑战   “近年
    的头像 发表于 11-06 09:11 2231次阅读
    <b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>浪潮已来!炬芯科技发布新一代<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>音频芯片,能效比和<b class='flag-5'>AI</b>算力大幅度提升

    AI应用趋热:NPU如何解决其关键痛点

    当前,AI大模型正逐步从云端迁移至边缘,甚至深入至日常生活中的手机、个人电脑(PC)、汽车等终端。在这场变革中,智能正逐渐崭露头角,预示着未来的
    的头像 发表于 10-31 15:00 426次阅读

    AI for Science:人工智能驱动科学创新》第一章人工智能驱动的科学创新学习心得

    的同时,确保其公正性、透明度和可持续性,是当前和未来科学研究必须面对的重要课题。此外,培养具备AI技能的科研人才,也是推动这一领域发展的关键。 4. 激发创新思维 阅读这一章,我被深深
    发表于 10-14 09:12

    IBM陈旭东:携手IBM加速 AI 规模化应用,解锁企业新质生产力

    、总经理陈旭东应邀参会,并以"加速 AI 规模化应用,解锁企业新质生产力"为题作主旨演讲。 他认为,在企业规模化应用AI的路径中,最关键的是
    的头像 发表于 07-15 16:13 303次阅读
    IBM陈旭东:携手IBM加速 <b class='flag-5'>AI</b> <b class='flag-5'>规模化</b>应用,解锁企业新质生产力

    广和通发布基于高通 QCM6490和QCS8550处理器的AI解决方案

    、高算力推动移动机器人、工业机器视觉、智慧零售、自动驾驶等领域智能化。   相较于云AI
    的头像 发表于 06-07 16:44 913次阅读

    广和通发布基于高通QCM6490和QCS8550的AI解决方案,使AI“更接地气”

    6月7日,COMPUTEX 2024期间,为拓展物联网生态系统并满足AI应用需求,广和通发布基于高通® QCM6490和QCS8550处理器的
    的头像 发表于 06-07 16:36 372次阅读

    广和通发布基于高通QCM6490和QCS8550的AI解决方案,使AI“更接地气”

    6月7日,COMPUTEX 2024期间,为拓展物联网生态系统并满足AI应用需求,广和通发布基于高通® QCM6490和QCS8550处理器的
    的头像 发表于 06-07 16:30 779次阅读
    广和通发布基于高通QCM6490和QCS8550的<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>解决方案,使<b class='flag-5'>AI</b>“更接地气”

    MWC2024世界移动通信大会圆满结束,美格智能5G-A、AI解决方案掀热潮

    作为全球领先的无线通信模组及解决方案提供商,美格智能亮相2024世界移动通信大会,发布了5G-A、5G RedCap系列FWA、AI等创
    的头像 发表于 03-02 11:17 1922次阅读
    MWC2024世界移动通信大会圆满结束,<b class='flag-5'>美格</b><b class='flag-5'>智能</b>5G-A、<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>解决方案掀热潮

    美格智能联合罗德与施瓦茨完成5G RedCap模组SRM813Q验证,推动5G轻量化全面商用

    了坚实的基础。凭借轻量化的5G RedCap模组,我们将为物联网中高速业务场景提供支持,赋能应用创新,推动5G技术在更多行业落地。” 作为5G RedCap技术应用的开路先锋,未来,美格智能将依靠自身技术优势,矢志创新,和产业合
    发表于 02-27 11:31

    高通持续推动终端生成式AI变革,推出高通AI Hub赋能开发者

    高通现赋能终端AI在下一代PC、智能手机、软件定义汽车、XR设备和物联网等领域规模化商用,让智能计算无处不在。
    的头像 发表于 02-26 16:46 596次阅读

    智能影像跃升,由终端AI来助力

    已经悄然到来,生成式AI正不断展现出蓬勃的创造力和想象力。第三代骁龙8作为高通首个专为生成式AI打造的移动平台,集终端智能、强悍性能和能效于一体,能够以超高速度处理生成式
    的头像 发表于 12-20 20:15 457次阅读
    <b class='flag-5'>智能</b>影像跃升,由终端<b class='flag-5'>侧</b><b class='flag-5'>AI</b>来助力