当前,AI大模型走向端侧已经是大势所趋,端侧AI的发展将推动人工智能成为影响世界的第四次工业革命。与传统的云端大模型相比,端侧大模型拥有更小的参数体量和更垂直的训练数据。对于终端产品而言,端侧AI将成为和系统同样重要的存在,如果说电路是连接身体的“血管”,那么AI就将成为终端的智慧“大脑”。
▶加速演进,大模型加速走向端侧
从手机移动端开始,端侧AI正逐步在车载、PC以及各类可穿戴设备等终端落地,端云协作的混合AI模式成为未来人工智能发展的主要方向。AI Agent、具身智能、人机协同、生成式智能体等LLM(大语言模型)的主要研究方向均对模型的性能和运行条件提出了新的要求。
为推动AI与各行业的深度融合,AI大模型正通过模型剪枝、知识蒸馏和量化技术进行不断精简和提升数据质量,端侧硬件也在不断提升端侧算力和优化结构。如面向AI设计的神经网络处理器(NPU)、提高性能和降低功耗的异构计算技术,软件与硬件的协同发展正在加速端侧AI部署,赋能全新增强的AI体验。
▲图片来源:高通中国官方公众号
从行业趋势来看,今年10月,高通公司发布全新旗舰芯片产品骁龙8至尊版,搭载第二代定制的Oryon CPU、全新切片架构的Adreno GPU和增强的Hexagon NPU。Oryon CPU拥有2个主频高达4.32GHz的超级内核和6个主频3.53GHz的性能内核,支持面向端侧AI计算的高达10.7Gbps速率的LPDDR5X内存;全新的Hexagon NPU,AI性能提升45%,每瓦特性能提升45%,支持70+ tokens/sec的输入,首次支持终端侧个性化多模态AI助手,能够赋能规模更大且更加复杂的多模态生成式AI用例在终端侧高效运行。骁龙8至尊系列新产品的发布,也在一定程度上表明了未来数字化发展的方向,即垂直的硬件适配、不断提升的端侧算力和更强悍的综合性能。
AI与千行百业的融合发展,被行业称为“AI+”时代。作为全球领先的无线通信模组及解决方案提供商,美格智能围绕AI+时代的算力、算法、数据、用例四大重要因素,以丰厚研发经验和创新实力助力端侧AI落地,为全球数字化发展贡献重要力量。
▶智算领先,以澎湃算力承接大模型落地
从开创到引领,美格智能以端侧算力为切入点,行业率先打造高算力AI模组矩阵,凭借优质的产品品质和定制化服务能力受到行业客户的一致好评。算力是端侧AI运行的基座,针对不同客户对算力、功耗、尺寸的要求,美格智能打造包含SNM973、SNM932、SNM950、SNM960、SNM970、SNM952、SNM962、SNM972等系列模组,AI算力覆盖12Tops~48Tops,涵盖入门级、中端、旗舰级多层次算力水平,能够适应不同行业和应用场景的需求。同时在高算力AI模组的基础上,美格智能团队正不断与行业领先的SoC阵列式服务器客户密切合作,相关产品成为各类端侧通用AI、边缘计算AI服务器的优质选择,凭借高性能和高性价比助力边缘侧AI部署,推动边缘侧算力发展。
随着以智能座舱和“端到端”的自动驾驶为代表的车载大模型应用需求逐步提升,美格智能也在不断加强技术创新研发,正逐步打造综合AI算力超过100Tops的尖端AI模组,为更强力的端侧AI落地和更广阔的应用场景提供澎湃算力。
▶加速部署,以技术实力打通模型部署通路
AI技术的引进为产业终端提质增效起到重要作用,而如何快速地将算法与终端进行适配和部署是每一个终端厂商无法避免的课题。为此,美格智能以自身研发实力为基础搭建试验平台,自主进行大语言模型运行验证,行业内首家在端侧算力模组上运行文生图大语言模型Stable Diffusion,并先后验证运行LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2等众多中英文大语言模型,以实际用例为客户打通模型部署通路。
此外,为帮助客户更快速地打造更加垂直的模型应用,在模型算法优化方面,美格智能为行业客户打造AI算法部署服务APP——MEIG AI,内置多个模型和算法,客户在APP上即可完成AI算法在不同美格智能模组平台的应用验证,并为客户和开发者提供开发文档和算法转换、集成的相关视频教程,帮助理解App结构、代码和模型,提高开发效率。在模型部署方面,美格智能携手行业合作伙伴打造AIMO(AI模型优化器),实现一站式模型转写,仅使用Python即可开发部署AI应用,有效降低开发门槛,大幅缩短模型落地周期,节约开发投入。
值得一提的是,为推动全行业各领域端侧AI技术的应用和开发落地,美格智能基于高算力AI模组,打造SNM970、SNM932等高算力AI模组面向开发者套件。丰富的硬件接口和软件的开发套件,能够广泛适配各类应用场景,为客户产品原型开发,性能验证提供助力,完整的操作指引能够显著降低开发难度,加速终端开发周期,有效节省客户产品迭代的二次开发投入。
▶应用先行,以广泛用例助力端侧AI生态发展
当前美格智能高算力AI模组、智能模组已在海量应用终端广泛落地,成为推动端侧AI高速发展和布局的重要推动。如在具身智能领域,基于美格智能高算力AI模组的解决方案为行业领先的人形机器人提供充足算力,为打造“端到端”的AI机器人提供支持;在AR/AI眼镜领域,美格智能与国际知名AR/AI眼镜品牌客户合作,基于高算力AI模组开发的新一代AR眼镜产品,在系统能力、AI性能方面较上一代产品显著提升;在无人机智控领域,美格智能与国内领先的高端无人机品牌携手,以高算力AI模组赋能无人机智控、图像追踪技术、实时3D渲染、高速图传等领域,共同打造行业领先的智能无人机产品;在AI+医疗领域,基于高算力AI模组为行业头部客户及海外客户研发AI掌上超声终端、手持式血液快速检测终端等,以AI助力移动医疗快速发展。
端侧AI能力是实现AI全球规模化扩展的关键,在全产业链的推动下,用户对AI功能的接受程度和期待也进一步提升,端侧大模型的发展不仅带动了消费市场的升级,也让产业链上下游的合作更加紧密。美格智能凭借行业领先的产品研发和创新实力,以及丰厚的解决方案用例,成为全球端侧AI产业链中的重要一环。面向未来的广阔市场,美格智能也将携手行业合作伙伴,为客户提供更高算力、高性能、高性价比的模组产品和解决方案,助力端侧AI生态高速、健康发展。
审核编辑 黄宇
-
AI
+关注
关注
87文章
30241浏览量
268484 -
美格智能
+关注
关注
2文章
243浏览量
11102
发布评论请先 登录
相关推荐
评论