0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

美格智能高算力AI模组成功运行Stable Diffusion大模型

g5il_meigsmart 来源:美格智能 2023-07-21 11:17 次阅读

我们在上一篇文章的导语中提到:”AI人工智能这个已经存在了数十年的概念,已然成为未来几十年人类社会发展的核心变量。面对变革,每个人、每个企业都需要思索,如何与时代的潮流,一同跃进“。近日,美格智能研发团队成功在自研高算力模组上运行文生图大模型Stable Diffusion,而这仅仅是我们将思索变为实际行动的第一步,AIGC的大时代,才刚刚开始!

不局限云端

边缘计算+终端侧AI的技术路径已经成熟

2022年以来,AIGC作为一项变革性的技术,正在逐步颠覆人类原有的工作、生活、创作及娱乐方式。以ChatGPT、Midjourney、Stable Diffusion、文心一言等为代表的各类生成式大模型,能在数秒之内完成包括搜索、绘画、创作、表格编辑、代码编写等各项任务,并且各项能力正在不断进化中。数据显示,目前至少已有上千个可用的生成式 AI 应用,这一切都表明,AIGC正迎来史无前例的爆发期。

拥有数十亿参数的众多生成式 AI 模型对计算架构及算力强度提出了极高的需求。之前的情况是,无论是优化参数的AI训练,还是执行模型的AI推理,都一直受限于大型复杂模型及端侧算力部署不足,而与云端绑定。

初步估计显示,生成式AI市场规模潜力巨大,将广泛覆盖生态链上的各个参与方。这一巨大市场机遇,势必驱动不同类型的计算架构及算力基础来源同时演进,从而满足大规模生成式 AI 日益增长的算力需求。

全球头部玩家的近期动作也表明,算力建设和算力竞争的趋势才刚刚开始,所有人都在起跑。高通于不久前宣布完成了全球首个运行在Android手机上的Stable Diffusion终端侧演示,这是首次由第二代骁龙8移动平台支持的大型语言生成式AI模型在端侧运行的实例,充分说明了随着端侧算力加强及模型优化技术结合,各类高算力终端支持大模型运行只是时间问题。

其后,高通官方关于转型边缘计算公司的表态,以及大力推动混合式AI的举措,都表明边缘计算+终端侧AI的技术和产品路径正在迅速变为现实。

高算力AI模组能力再进化

成功运行Stable Diffusion大模型

美格智能作为业界最早提出智能模组概念的企业,持续关注算力发展对模组产业带来的深刻变革,也最早提出:随着各行各业对于算力需求及应用的爆发式增长,高算力AI模组将成为智能模组发展的一个子集,“无算力不智能”正在成为模组3.0时代的重要发展趋势,并将高算力AI模组产品独立组建产品团队,聚集资源不断投入。

近日,美格智能高算力AI模组产品团队,充分发挥软硬件一体协同开发的能力,在基于高通骁龙800平台的自研算力模组上成功运行文生图大模型Stable Diffusion,或许是行业内首个在算力模组上运行推理大模型的实例。

Stable Diffusion是一个非常出色的从文本到图像的生成式AI大模型,能够基于任何文本输入,在数十秒内创作出逼真图像。Stable Diffusion的参数超过10亿,迄今为止主要限于在云端运行。

美格高算力AI模组团队很早就前瞻性地开展了大模型在算力模组端侧运行的相关研究工作。运行Stable Diffusion大模型的高算力模组,在硬件上选用了高通骁龙800系列的高算力SoC处理器,在软件上使用了高通AI模型增效工具包(AIMET)实现模型转换,在无需重新训练的情况下,克服了模型参数从FP32压缩到INT8所产生的精度损失,从而让大模型在算力模组上始终保持高效运行。

美格智能研发团队在硬件和软件层面的进一步优化,保证大模型运行精度的同时,有效降低了内存带宽消耗,充分发挥了高算力模组AI硬件的最大效能,最终顺利在算力模组端侧跑通了Stable Diffusion大模型。

创领高算力AI模组发展

以产品力驱动生成式AI在端侧部署

美格智能持续深耕高算力AI模组产品线,至今已经历经三代产品演进。依靠强大的软硬件一体研发能力,美格智能持续推进高算力AI模组的AI硬件不断升级。美格研发团队在AI应用场景开发、AI性能优化和AI低功耗程序研发等领域的设计研发能力处于行业领先水平,相关算力产品在各类核心场景大规模应用。

云计算服务器领域,美格智能推出的高算力AI模组基于强算力、低功耗芯片及美格智能特有的定制化解决方案,完美应用于领先型的arm架构阵列服务器集群,在完成同等计算任务下,性耗提升2倍以上。

在智能机器人领域,高算力AI模组能轻松匹配智能机器人及下一代具身智能机器人在算力方面的高要求,同时配备丰富的外围接口,以AI模组的形式将语音识别机器视觉、导航、定位、避障和多模态技术通过各种传感器植入到终端侧,真正实现机器人的AI觉醒。

工业视觉、AI零售等领域,美格智能推出的标准化AI套件,在AI加速方面,可支持变革性INT4 Al精度格式,在持续AI推理方面实现与前代相比60%的能效提升。同时可对多路摄像头进行视频结构化分析,快捷实现人、事、物等智能感知、数据分析、安全管理等性能,快速实现对众多传统产业的AI嵌入。

作为在行业内最早布局算力模组产品的企业,美格智能高算力AI模组产品实现了从1.2T到近48T产品全覆盖,充分满足不同行业算力需求。研发团队在大算力平台与不同行业算法对接、AI运行低功耗控制、5G+AI融合开发等领域有众多积累。

随着AI大模型首次在自研算力模组产品上成功运行,极大拓展了算力模组的能力边界,积累了大模型在端侧部署和应用的前瞻经验,将真正驱动生成式AI在端侧和边缘侧的大规模部署,也让边缘计算+终端侧AI的技术图景越来越清晰!

物联网连接数量在过去的十年间呈指数级增长的发展态势,曾经写在书上的“万物互联”已然成为现实。无处不在的连接为人类社会的数字化和智能化已经筑下了坚实基础,而当连接与算力融合的时候,亿万个IoT节点的算力汇聚,将构建最为庞大的算力网络,与云端算力互联互通,共同构建AIGC等跨时代技术的算力底座。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30734

    浏览量

    268895
  • 模组
    +关注

    关注

    6

    文章

    1487

    浏览量

    30364
  • 算力
    +关注

    关注

    1

    文章

    964

    浏览量

    14794
  • 美格智能
    +关注

    关注

    2

    文章

    246

    浏览量

    11112

原文标题:美格智能团队成功在高算力AI模组上运行大模型Stable Diffusion

文章出处:【微信号:meigsmart,微信公众号:美格智能】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    如何开启Stable Diffusion WebUI模型推理部署

    如何开启Stable Diffusion WebUI模型推理部署
    的头像 发表于 12-11 20:13 97次阅读
    如何开启<b class='flag-5'>Stable</b> <b class='flag-5'>Diffusion</b> WebUI<b class='flag-5'>模型</b>推理部署

    企业AI租赁是什么

    企业AI租赁是指企业通过互联网向专业的提供商租用所需的计算资源,以满足其AI应用的需求。
    的头像 发表于 11-14 09:30 503次阅读

    聚焦全球5G|美格智能亮相NETWORK X 2024,引领数智未来

    口和出色能耗比的AI模组为不断增长的需求提
    的头像 发表于 10-11 11:09 443次阅读
    聚焦全球5G|<b class='flag-5'>美格</b><b class='flag-5'>智能</b>亮相NETWORK X 2024,引领数智未来

    聚焦全球5G|美格智能亮相NETWORK X 2024,引领数智未来

    口和出色能耗比的AI模组为不断增长的需求提
    的头像 发表于 10-11 08:00 470次阅读
    聚焦全球5G|<b class='flag-5'>美格</b><b class='flag-5'>智能</b>亮相NETWORK X 2024,引领数智未来

    模型时代的需求

    现在AI已进入大模型时代,各企业都争相部署大模型,但如何保证大模型,以及相关的稳定性和性能
    发表于 08-20 09:04

    捷报 | 美格智能成功中标中国电信云芯AI模组招标项目

    近期,中国电信天翼物联科技有限公司采购公开比选项目招标结果正式出炉,美格智能成功中标云芯AI模组CTL03-RV项目,在众多参标厂商中脱颖而出,充分彰显
    的头像 发表于 08-14 17:11 340次阅读
    捷报 | <b class='flag-5'>美格</b><b class='flag-5'>智能成功</b>中标中国电信云芯<b class='flag-5'>AI</b><b class='flag-5'>模组</b>招标项目

    美格智能5G智能模组SRM930成功运行Windows 11系统

    在科技日新月异的今天,美格智能研发团队再次突破技术壁垒,成功在旗舰级5G智能模组SRM930上实现了Windows 11系统的流畅
    的头像 发表于 08-14 10:02 597次阅读

    “5G+Windows”推动全场景数字化升级:美格智能5G智能模组SRM930成功运行Windows 11系统

    美格智能研发团队在5G智能模组SRM930上成功运行Windows 11系统,实现Android
    的头像 发表于 08-05 17:35 388次阅读
    “5G+Windows”推动全场景数字化升级:<b class='flag-5'>美格</b><b class='flag-5'>智能</b>5G<b class='flag-5'>智能</b><b class='flag-5'>模组</b>SRM930<b class='flag-5'>成功</b><b class='flag-5'>运行</b>Windows 11系统

    美格智能亮相2024 ChinaJoy骁龙主题馆,展现数字娱乐的无限可能

    7月26日,2024中国国际数码互动娱乐展览会(ChinaJoy)在上海新国际博览中心正式拉开帷幕。美格智能携手通公司亮相骁龙主题馆,以5G-A毫米波MiFi解决方案及
    的头像 发表于 07-30 08:03 400次阅读
    <b class='flag-5'>美格</b><b class='flag-5'>智能</b>亮相2024 ChinaJoy骁龙主题馆,展现数字娱乐的无限可能

    构建智能汽车新质生产美格智能亮相2024通汽车技术与合作峰会

    隆重展示了多款基于通平台研发的4G/5G蜂窝通信模组、车载智能模组、5GC-V2X车规级模组智能
    的头像 发表于 06-05 08:03 551次阅读
    构建<b class='flag-5'>智能</b>汽车新质生产<b class='flag-5'>力</b>丨<b class='flag-5'>美格</b><b class='flag-5'>智能</b>亮相2024<b class='flag-5'>高</b>通汽车技术与合作峰会

    AI触手可及丨2024通&amp;amp;美格智能边缘智能技术进化日隆重举行

    通公司一直是美格智能重要的战略合作伙伴,面向边缘智能与各行业深度融合的发展新趋势,双方将继续精诚合作,共同推动边缘智能技术进化。未来,
    的头像 发表于 05-10 18:04 423次阅读
    让<b class='flag-5'>AI</b>触手可及丨2024<b class='flag-5'>高</b>通&amp;amp;<b class='flag-5'>美格</b><b class='flag-5'>智能</b>边缘<b class='flag-5'>智能</b>技术进化日隆重举行

    数据语料库、算法框架和芯片在AI模型中的作用和影响

    数据语料库、算法框架和芯片的确是影响AI模型发展的三大重要因素。
    的头像 发表于 03-01 09:42 1074次阅读

    美格智能携手阿加犀推出多感知融合VSLAM解决方案

    2024年的世界移动通信大会(MWC)无疑成为了全球科技创新的焦点,其中AI技术更是大放异彩。在这一盛会上,美格智能与阿加犀强强联手,将AI技术推向了新的高度。他们
    的头像 发表于 02-29 10:44 704次阅读

    Stability AI试图通过新的图像生成人工智能模型保持领先地位

    Stability AI的最新图像生成模型Stable Cascade承诺比其业界领先的前身Stable Diffusion更快、更强大,而
    的头像 发表于 02-19 16:03 934次阅读
    Stability <b class='flag-5'>AI</b>试图通过新的图像生成人工<b class='flag-5'>智能</b><b class='flag-5'>模型</b>保持领先地位

    智能规模超通用,大模型智能提出高要求

    的缩写,即每秒所能够进行的浮点运算数目(每秒浮点运算量)。   可以分为通用智能
    的头像 发表于 02-06 00:08 6317次阅读