0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

支持大模型部署和运行的边缘计算SoC芯片

Carol Li 来源:电子发烧友网 作者:李弯弯 2024-05-27 08:00 次阅读
电子发烧友网报道(文/李弯弯)如今,AI在边缘侧的应用越来越广泛,这其中少不了AI SoC芯片的支持,边缘计算AI SoC是一种集成了人工智能(AI)和边缘计算能力的系统级芯片。这种芯片结合了高性能的处理器核心、AI加速器、内存控制器、外设接口以及通信接口等关键组件,旨在在数据产生的源头附近(即边缘)实现实时的数据处理、分析和决策。

边缘计算SoC的发展历程

SoC的发展经历了多个阶段,早期阶段(1970年代至1980年代),微处理器技术开始兴起,英特尔Intel)推出了第一款微处理器Intel 4004,这通常被认为是SoC技术的起点。随着制造工艺的改进,设计师开始将更复杂的元素(如中央处理器CPU、内存和输入/输出I/O电路)集成到单个芯片上,创建更先进的应用特定集成电路ASIC)。

进一步发展阶段(1990年代至2000年代):随着半导体工艺技术的进一步发展,将整个系统(包括模拟和数字功能)集成到单个芯片上成为可能。这为边缘计算提供了更强大的硬件支持,因为边缘设备需要具备一定的数据处理和计算能力。在这个时期,SoC的设计变得更加复杂,集成了更多的功能和组件,如图形处理器(GPU)、数字信号处理器(DSP)等。

定制化SoC的发展(2010年代):随着物联网IoT)应用、可穿戴设备以及边缘计算设备的需求不断增加,制造商开始针对特定用例调整SoC设计,整合人工智能(AI)和机器学习(ML)功能。这推动了定制化SoC的发展,使其能够更好地满足特定应用的需求,提高性能和效率。

AI与SoC的深度融合(2020年代及以后):随着进入AI、5G连接和边缘计算时代,SoC继续演变以适应不断增长的复杂性和处理要求。AI技术成为SoC架构的重要组成部分,为边缘设备提供了更强大的智能处理能力。例如,通过集成AI加速器、神经网络处理器(NPU)等专用硬件,SoC可以加速AI算法的执行,提高处理速度和效率。

如今,边缘计算AI SoC的应用涵盖多个领域和行业。如智能制造,在通过安装集成了AI SoC的边缘计算设备,可以实时监测生产设备的运行状态、产品质量等信息。这些设备能够实时分析数据,预测设备故障,优化生产流程,提高生产效率和产品质量。

再如智慧城市,在智能交通系统中,边缘计算AI SoC可以实时分析交通流量、车辆行驶轨迹等数据,优化交通信号灯的控制策略,缓解交通拥堵。在智能安防领域,通过在城市各个角落部署边缘计算设备,可以实时监测城市的安全状况,进行人脸识别、行为分析等操作,提高城市的公共安全水平。

还有医疗领域,在医院中,边缘计算AI SoC可以实时监测患者的生理数据,如心率、血压、血糖等。通过对这些数据的实时分析,医生可以及时了解患者的健康状况,为患者提供更加准确的诊断和治疗方案。在远程医疗领域,边缘计算AI SoC可以实现远程会诊、远程手术等功能。医生可以通过远程访问患者的医疗数据,进行远程诊断和治疗,提高医疗服务的效率和可及性。

边缘AI SoC支持大模型

随着大模型的发展,其在边端侧的部署应用成为趋势,如今也有不少企业推出边缘SoC芯片支持大模型的运行。如边缘AI半导体公司安霸(Ambarella),日前在美国 AutoSens 展会宣布推出两款用于车载车队远程信息处理系统的最新一代 AI 系统集成芯片(SoC)。

新款 CV75AX 非常适合集成前置 ADAS 和驾驶员监控系统(DMS)的 AI 行车记录仪,与安霸上一代SoC相比,其 AI 性能提高了 2 倍,使最新的Transformer神经网络能够提高准确性并减少误报,而无需针对每个对象进行训练。

新款CV72AX 非常适合下一代车载网关,支持多达10个摄像头,其AI性能比其前代产品高出6倍,支持视觉Transformer和多模态视觉语言模型(VLM ) ,可提供实时监测预警,以及多通道视频预分类和自然语言搜索,以实现更高效的视频分析。

安霸此前就宣布推出了基于 CV72 芯片的多模态大模型推理解决方案——Cooper Mini。这一解决方案是为边缘计算环境量身定制的,特别适用于需要在设备上直接进行高级数据处理的应用。安霸在2024年CES期间推出了基于N1的多模态大模型解决方案 Cooper Max,通过单颗N1芯片支持高达340亿参数的多模态大模型推理。新推出的基于CV72 的Cooper Mini,则可实现低功耗系统单芯片高达30亿参数的多模态大模型推理。

还有AMD此前推出的第二代Versal自适应SoC,其中的Versal AI Edge系列特别针对AI驱动型嵌入式系统进行了设计。这款SOC每瓦TOPS(每秒万亿次操作/瓦特)最多提升3倍,标量算力最多提升10倍,使其能够更有效地支持大模型的部署和运行。

国内的云天励飞也有一款边缘计算芯片DeepEdge10,这是一款国产Chiplet大模型推理芯片,内置自研新一代神经网络处理器NNP400T,通过D2D高速互联Chiplet技术、C2CMesh互联架构实现算力扩展,能够支持千亿级参数大模型,落地于边缘设备和边缘服务器。

还有北京奕斯伟推出的一款边缘计算SoC芯片EIC7700X,采用64位RISC-V高性能处理器,并搭配自主研发的高效神经网络计算单元,支持全栈浮点计算,全面加速生成式大模型。它拥有丰富的外围扩展接口,并具备强大的音视频处理能力,在计算机视觉应用领域具有超高的适应能力。

写在最后

总之,边缘计算AI SOC在当前的计算领域具有显著的优势,包括效率高、功耗低、安全性高、实时分析、分布式处理等,凭借着诸多优势,边缘计算SOC已经在各个领域得到应用。同时,也有不少边缘SOC能够支持大模型的运行。不过边缘计算SOC也仍然尤其局限性,如定制化成本高、技术更新迅速、数据隐私和安全挑战等,需要持续去突破。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • soc
    soc
    +关注

    关注

    38

    文章

    4220

    浏览量

    219318
  • 边缘计算
    +关注

    关注

    22

    文章

    3132

    浏览量

    49657
  • 大模型
    +关注

    关注

    2

    文章

    2677

    浏览量

    3292
收藏 人收藏

    相关推荐

    移远通信边缘计算模组成功运行DeepSeek模型

    近日,国产大模型DeepSeek凭借其“开源开放、高效推理、端侧友好”的核心竞争力,在全球范围内赢得了广泛关注。移远通信,作为通信模组领域的佼佼者,宣布其基于边缘计算模组SG885G已成功实现
    的头像 发表于 02-17 09:56 171次阅读

    添越智创基于 RK3588 开发板部署测试 DeepSeek 模型全攻略

    应用领域展现出无可比拟的性能优势。 八核处理器 :具备强大的并行计算能力,无论是复杂的数据处理、高强度的模型运算,还是系统资源的合理调度,都能轻松应对,确保开发板在运行各类 AI 程序时流畅稳定,毫无卡
    发表于 02-14 17:42

    研华边缘AI Box MIC-ATL3S部署Deepseek R1模型

    随着深度求索(DeepSeek)大模型的发布引发行业热议,研华科技基于昇腾Atlas平台边缘AI Box MIC-ATL3S正式发布与Deepseek R1模型部署流程。该平台依托昇
    的头像 发表于 02-14 16:08 329次阅读
    研华<b class='flag-5'>边缘</b>AI Box MIC-ATL3S<b class='flag-5'>部署</b>Deepseek R1<b class='flag-5'>模型</b>

    移远通信边缘计算模组成功运行DeepSeek模型,以领先的工程能力加速端侧AI落地

    近日,国产大模型DeepSeek凭借其“开源开放、高效推理、端侧友好”的核心优势,迅速风靡全球。移远通信基于边缘计算模组SG885G,已成功实现DeepSeek模型的稳定
    发表于 02-13 11:32 64次阅读
    移远通信<b class='flag-5'>边缘</b><b class='flag-5'>计算</b>模组成功<b class='flag-5'>运行</b>DeepSeek<b class='flag-5'>模型</b>,以领先的工程能力加速端侧AI落地

    AI模型部署边缘设备的奇妙之旅:目标检测模型

    以及边缘计算能力的增强,越来越多的目标检测应用开始直接在靠近数据源的边缘设备上运行。这不仅减少了数据传输延迟,保护了用户隐私,同时也减轻了云端服务器的压力。然而,在
    发表于 12-19 14:33

    AI模型部署边缘设备的奇妙之旅:如何在边缘部署OpenCV

    图像的质量,使得图像更适合人类观察或者为后续的分析做准备。 方法:通常涉及像素级别的操作,比如调整亮度、对比度、颜色校正、滤波(如高斯模糊、中值滤波去噪)、边缘检测、形态学变换(膨胀、腐蚀)等。 计算机视觉
    发表于 12-14 09:31

    AI模型部署边缘设备的奇妙之旅:如何实现手写数字识别

    处理,而不必传输到外部服务器,这有助于更好地保护用户隐私和数据安全。 然而,边缘计算也带来了独特的挑战,特别是在资源受限的嵌入式系统中部署复杂的AI模型时。为了确保神经网络
    发表于 12-06 17:20

    Orin芯片边缘计算结合

    Orin芯片,作为英伟达推出的一款高性能AI处理器,与边缘计算的结合,无疑将为智能计算领域带来革命性的变化。 一、Orin芯片的创新特点 O
    的头像 发表于 10-27 16:51 903次阅读

    快速部署Tensorflow和TFLITE模型在Jacinto7 Soc

    电子发烧友网站提供《快速部署Tensorflow和TFLITE模型在Jacinto7 Soc.pdf》资料免费下载
    发表于 09-27 11:41 0次下载
    快速<b class='flag-5'>部署</b>Tensorflow和TFLITE<b class='flag-5'>模型</b>在Jacinto7 <b class='flag-5'>Soc</b>

    利用恩智浦云实验室部署AI模型

    如今,人工智能(AI)非常火爆,这个风口该如何把握?作为一个电子工程师,和AI最主要的交集应该就是边缘计算了,具体来讲,就是在一些性能、功耗以及价格相对较低的嵌入式平台上部署运行AI
    的头像 发表于 08-02 11:46 2915次阅读
    利用恩智浦云实验室<b class='flag-5'>部署</b>AI<b class='flag-5'>模型</b>

    模型端侧部署加速,都有哪些芯片支持

    电子发烧友网报道(文/李弯弯)大模型在端侧部署是指将大型神经网络模型部署在移动终端设备上,使这些设备能够直接运行这些
    的头像 发表于 05-24 00:14 4508次阅读

    部署边缘设备上的轻量级模型

    电子发烧友网报道(文/李弯弯)边缘AI算法是一种将人工智能(AI)算法和计算能力放置在接近数据源的终端设备中的策略。这种算法通常被部署边缘设备上,如传感器、智能手机、摄像头等,以便在
    的头像 发表于 05-11 00:17 2737次阅读

    Edge Impulse发布新工具,助 NVIDIA 模型大规模部署

    借助 Edge Impulse 和 NVIDIA TAO 工具包的协同效应,工程师得以快速构建并部署边缘优化硬件(如上述型号)的计算机视觉模型。该平台还
    的头像 发表于 03-25 16:00 839次阅读

    使用CUBEAI部署tflite模型到STM32F0中,模型创建失败怎么解决?

    看到CUBE_AI已经支持到STM32F0系列芯片,就想拿来入门嵌入式AI。 生成的模型很小,是可以部署到F0上的,但是一直无法创建成功。 查阅CUBE AI文档说在调用create
    发表于 03-15 08:10

    为什么需要边缘计算

    边缘计算是指在网络边缘执行计算的一种新型计算模型边缘
    发表于 02-28 14:20 565次阅读
    为什么需要<b class='flag-5'>边缘</b><b class='flag-5'>计算</b>