0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

部署在边缘设备上的轻量级模型

Carol Li 来源:电子发烧友 作者:李弯弯 2024-05-11 00:17 次阅读

电子发烧友网报道(文/李弯弯)边缘AI算法是一种将人工智能(AI)算法和计算能力放置在接近数据源的终端设备中的策略。这种算法通常被部署在边缘设备上,如传感器智能手机、摄像头等,以便在靠近数据源的地方进行智能决策和数据处理。

边缘AI算法通常是经过优化和压缩的轻量级模型

边缘AI算法的工作原理涉及三个关键要素:终端设备、边缘计算和人工智能算法。终端设备收集到的数据被认为是边缘数据,需要进行实时处理和分析。边缘计算是指在距离数据源较近的地方进行计算和处理,而边缘设备通常配备有一定的计算资源,能够执行一部分轻量级的AI算法和数据处理。在边缘设备上运行的AI算法通常是经过优化和压缩的轻量级模型,这些模型能够在设备端进行实时的数据处理和分析,从而实现即时响应。

边缘AI算法涵盖了多种类型,如决策树算法,这是一种常用的分类算法,能够根据特征属性将数据进行划分,从而实现对数据的分类和预测。支持向量机(SVM)算法,这是一种针对分类和回归分析问题的算法,它通过寻找最大间隔超平面来实现数据的分类和预测。

神经网络算法,它模拟了人脑神经元的工作原理,能够处理复杂的非线性关系,因此在图像识别、语音识别等领域有着广泛的应用。贝叶斯算法,这是一种基于贝叶斯定理的分类算法,它能够根据先验概率和样本数据来计算后验概率,从而实现对数据的分类和预测。

聚类算法,用于将数据集中的对象分成不同的组,常见的算法包括K均值算法、层次聚类算法等。回归分析算法,用于建立变量之间的关系模型,从而进行预测和分析。

此外,还有监督学习算法、无监督学习算法、强化学习算法和深度学习算法等。监督学习算法使用有标记数据集进行训练,并通过这些数据中的输入和输出之间的关联来构建模型;无监督学习算法则是使用无标记数据集进行训练,通过发现数据之间的模式或结构来构建模型;强化学习算法则是通过在环境中执行一系列操作来学习最优策略的算法;深度学习算法则是一种基于神经网络模型的机器学习算法,通过多层次的神经网络结构来模拟人脑的工作方式。
这些算法在边缘AI中可以根据具体的应用场景进行选择和组合,以实现对数据的分析、预测和决策支持。

边缘AI算法适合应用于对实时性要求高、网络连接有限的场景

边缘AI算法的使用场景包括,实时性要求高的场景,例如自动驾驶汽车和无人驾驶系统,这些系统需要实时处理大量的传感器数据以进行道路分析和响应。边缘AI算法能够在设备端进行实时的数据处理和分析,实现即时响应,满足自动驾驶系统对实时性的高要求。

网络连接有限的场景,在一些偏远地区或网络覆盖不足的地方,将数据全部传输到云端进行处理可能不太现实。在这些场景中,边缘AI算法可以在本地设备上进行数据处理和分析,减少了对网络连接的依赖,保证了系统的稳定性和可靠性。

隐私保护要求强的场景,对于一些涉及个人隐私的数据,如医疗数据、金融数据等,将数据全部传输到云端可能存在泄露风险。在这些场景中,将AI算法部署在边缘设备上可以在本地对数据进行处理和分析,保护数据的隐私性。

在实际的应用落地方面,如智慧安防领域,云天励飞通过部署在摄像头等边缘设备上的AI算法,实现了实时的人脸识别、行为分析等功能,为公安部门提供了有效的技术支持。在智能园区、智能楼宇等领域,云天励飞也通过边缘AI算法的应用,实现了能源管理、环境监测等智能化功能。

旷视科技针对边缘设备推出多种AI解决方案,包括边缘计算智能分析盒、AIoT操作系统等。来支持在边缘设备上实时运行复杂的AI算法,实现数据的快速处理和分析。同时,旷视科技还提供了全方位的服务,帮助用户将算法应用于实际场景,并推广到市场。

还有商汤科技,通过云智能边缘盒龙腾边缘计算的产品,为智能相机提供接入和解析能力,支持车、物、非机动车、行为等多种算法融合解析,算法自由调度,具备数据边缘汇聚、边缘解析、边缘自治、云边协同的能力。此外,商汤科技还通过标准化的大模型生产流程,支持了超过七成的行业业务,为市场提供了丰富的边缘AI解决方案。

写在最后

总的来说,边缘AI算法部署在边缘设备上,通常是经过经过优化和压缩的轻量级模型,这些模型能够在设备端进行实时的数据处理和分析。边缘AI算法适用于需要实时处理数据、网络连接有限、隐私保护要求高的场景中,在工业制造、智能家居、城市管理、能源管理等方面都已经得到应用。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    31494

    浏览量

    270257
  • 边缘AI
    +关注

    关注

    0

    文章

    99

    浏览量

    5052
收藏 人收藏

    评论

    相关推荐

    边缘设备设计和部署深度神经网络的实用框架

    ,以及由强大而高效的软件工具链补充的低成本边缘设备的可用性。此外,需要避免通过网络传输数据——无论是出于安全原因还是仅仅为了尽量减少通信成本。 边缘人工智能涵盖广泛的设备、传感器、微控
    的头像 发表于 12-20 11:28 274次阅读

    AI模型部署边缘设备的奇妙之旅:目标检测模型

    网络(DenseNet)等创新设计都是为了克服深层网络训练中的挑战而提出的。 3 边缘设备部署 边缘
    发表于 12-19 14:33

    AI模型部署边缘设备的奇妙之旅:如何在边缘部署OpenCV

    的能力。 本文章主要讲述如何在边缘设备使用OpenCV。本次使用的边缘设备是凌智电子开发的凌智视觉模块,具体如下: 如对该
    发表于 12-14 09:31

    AI模型部署边缘设备的奇妙之旅:如何实现手写数字识别

    处理,而不必传输到外部服务器,这有助于更好地保护用户隐私和数据安全。 然而,边缘计算也带来了独特的挑战,特别是资源受限的嵌入式系统中部署复杂的AI模型时。为了确保神经网络
    发表于 12-06 17:20

    恩智浦如何在边缘设备部署LLM

    开放式聊天机器人到任务型助手。虽然LLM主要聚焦基于云和服务器端的应用,但人们对嵌入式系统和边缘设备部署这些模型的兴趣也
    的头像 发表于 11-29 09:39 466次阅读

    设备利用AI Edge Torch生成式API部署自定义大语言模型

    ,从而无缝地将新的设备端生成式 AI 模型部署边缘设备。本文是 Google AI Edge
    的头像 发表于 11-14 10:23 532次阅读
    <b class='flag-5'>在</b><b class='flag-5'>设备</b><b class='flag-5'>上</b>利用AI Edge Torch生成式API<b class='flag-5'>部署</b>自定义大语言<b class='flag-5'>模型</b>

    边缘计算 聚智创芯|edge BMC轻量级带外管理解决方案重磅发布

    8月28日,英特尔、芯海科技、极达科技携手深圳英特尔大湾区科技创新中心,共同举办了“轻量级带外管理edgeBMC解决方案新品发布会”。本次活动以“边缘计算聚智创芯”为主题,吸引了工业、教育、医疗
    的头像 发表于 08-30 12:28 377次阅读
    <b class='flag-5'>边缘</b>计算 聚智创芯|edge BMC<b class='flag-5'>轻量级</b>带外管理解决方案重磅发布

    边缘计算 聚智创芯|edge BMC轻量级带外管理解决方案重磅发布

    8月28日,英特尔、芯海科技、极达科技携手深圳英特尔大湾区科技创新中心,共同举办了“轻量级带外管理edge BMC解决方案新品发布会”。本次活动以“边缘计算 聚智创芯”为主题,吸引了工业、教育
    发表于 08-29 14:55 955次阅读
    <b class='flag-5'>边缘</b>计算 聚智创芯|edge BMC<b class='flag-5'>轻量级</b>带外管理解决方案重磅发布

    国产芯运行TinyMaxi轻量级的神经网络推理库-米尔基于芯驰D9国产商显板

    是面向单片机的超轻量级的神经网络推理库,即 TinyML 推理库,可以让你在任意单片机上运行轻量级深度学习模型~ 开源地址:https://github.com/sipeed/TinyMaix搭建
    发表于 08-09 18:26

    国产芯运行TinyMaxi轻量级的神经网络推理库-米尔基于芯驰D9国产商显板

    D9360国产开发板)的TinyMaxi轻量级的神经网络推理库方案测试。 算力测试 TinyMaix 是面向单片机的超轻量级的神经网络推理库,即 TinyML 推理库,可以让你在任意单片机上运行轻量级深度
    发表于 08-07 18:06

    国产芯运行TinyMaxi轻量级的神经网络推理库-米尔基于芯驰D9国产商显板

    TinyMaix是面向单片机的超轻量级的神经网络推理库,即TinyML推理库,可以让你在任意单片机上运行轻量级深度学习模型~开源地址:https://github.com/s
    的头像 发表于 07-05 08:02 1940次阅读
    国产芯<b class='flag-5'>上</b>运行TinyMaxi<b class='flag-5'>轻量级</b>的神经网络推理库-米尔基于芯驰D9国产商显板

    未来轻量级深度学习技术探索

    除了轻量级架构设计外,作者提到了可以应用于压缩给定架构的各种高效算法。例如,量化方法 旨在减少数据所需的存储空间,通常是通过用8位或16位数字代替32位浮点数,甚至使用二进制值表示数据。
    发表于 04-23 15:54 448次阅读
    未来<b class='flag-5'>轻量级</b>深度学习技术探索

    NVIDIA与恩智浦联手,边缘设备部署AI模型

    恩智浦工业及IoT边缘高级副总裁Charles Dachs表示,人工智能的创新将塑造智能互联世界的未来,融入Nvidia先进的AI培训技术以及恩智浦工业及物联网边缘科研实力,将产生协同效益,让用户能更迅速地将自家AI
    的头像 发表于 03-25 16:05 953次阅读

    百度智能云推出全新轻量级模型

    近日举办的百度智能云千帆产品发布会上,三款全新的轻量级模型——ERNIE Speed、ERNIE Lite以及ERNIE Tiny,引起了业界的广泛关注。相较于传统的千亿级别参数大模型
    的头像 发表于 03-22 10:28 711次阅读

    百度智能云发布三款轻量级模型和两款特定场景大模型

    百度智能云千帆产品发布会上震撼推出了一系列创新产品,其中包括三款轻量级模型:ERNIE Speed、ERNIE Lite和ERNIE Tiny,以及两款专为特定场景打造的ERNIE
    的头像 发表于 03-22 10:28 766次阅读