如今各行各业似乎都傍上了AI,物联网也不例外。但AIoT的进程也已经开启了好几年,除了智能音箱、智能机器人这样的产品以外,似乎也没有冒出任何爆款,反倒是手机凭借着庞大的应用生态,Killer App频出。可无论是芯片原厂,还是下游厂商仍在不遗余力地宣传AI功能,这让人百思不得其解了,物联网真的抱稳了AI这条大腿吗?我们不妨从物联网上实现AI的几种方式来分析一下。
AIoT芯片
随着边缘端对AI需求的增加,其实不少厂商在不改变芯片架构的情况下,也为边缘AI开发提供了一系列工具。就拿意法半导体为例,他们旗下的STM32产品就全部兼容NanoEdge生态,支持生成异常检测、异常值检测、分类和回归四种ML库,可以完成常见的能源管理和寿命预测等工作。
至于对性能要求更高的深度学习应用,就得用到他们的STM32Cube.AI了,对MCU的要求也提升至Cortex-M33以上的内核。这种方式对于芯片原厂来说,无需对设计做出大改,也有助于建立起自己的AI开发工具链生态,还可以针对不同芯片的性能进行调整。
EFR32MG24无线SoC / Silicon Labs
也有的厂商开始在芯片上添加AI加速单元,比如Silicon Labs的BG24和MG24两个SoC,就加入了AI/ML硬件加速器,为Cortex-M33卸载处理机器学习算法的工作。从其规格书上来看,该加速器是一个矩阵矢量处理器,所以更适合用于密集的矩阵浮点乘加运算,比如BG24这种蓝牙无线SoC,就可以更轻松地完成蓝牙AoA的室内定位工作。
这种方案与当下数据中心、HPC市场的做法并无二致,对于AI/ML这种专用性极强的负载来说,确实不该拿来拖累通用计算的性能,而且这一思路也考虑到了对不同AI框架的兼容性。未来很有可能会出现更多的异构方案,比如在集成Arm NPU的同时,加入各种硬件加速器内核。
但无论是在原有芯片基础上加入AI算法,还是集成AI加速器,除了存在建立生态系统的挑战外,也都会带来不可忽视的功耗增加,这对于一些持续供电的IoT产品的影响可以忽略,但对于可穿戴产品来说无疑意味着续航的降低。像苹果的一系列产品就秉承着类似的设计,诸如Airpods、Apple Watch都是在以功能性作为最高优先级,续航普遍不高。
当然了,这里提到的引入AI降低续航都是以IoT产品的功能性和高品质服务作为优先,毕竟如果你从功耗上发力AI功能的话,还是能大大改善续航的。就拿华为的智能音箱Sound Joy为例,在蓝牙模式下播放音乐就更加省电,但若是切换成支持语音控制的智能模式后,续航就会变短,所以华为也利用了动态调压节能的算法进一步提升续航。因此对于这类功能繁多的IoT产品来说,如何利用AI来完成功能的开关和功耗调整,才是未来增加续航的大方向。
轻量级AI框架
不仅是芯片厂商,AI框架的开发者们也注意到了IoT庞大的边缘AI市场,纷纷在推出轻量化或可扩展性强的框架,比如TensorFlow Lite、Caffe2等。这类框架可以在内存极小的设备上运行ML模型,也不需要任何操作系统、库的支持。由于走了轻量化的路线,所以与工作站或数据中心这种场景跑的AI框架还是存在差异的,但也足以完成常见的对象检测、手势识别、超分辨率等工作,TinyML已经成了每个物联网公司研究的方向。
而且这些框架的开发者也会预先给到优化后的模型,同时还能根据部署场景,完成不同模型之间的转换,比如将Tensorflow转换成TensorFlow Lite、TensorFlow Lite Micro部署在移动端或边缘端等等。虽然这类轻量级模型已经解决了运行的问题,但后续的重新训练、优化还是需要厂商自己去完成的。至于性能上的差异,不同的芯片之间势必会存在偏差,比如手机上运行这些AI模型肯定会比寻常的嵌入式设备要快得多。
好在大部分这些轻量化AI框架都是开源的,所以厂商也得以对其做出专门的优化,并对现有的一些流行的AI模型进行移植,同时也能在这个过程中打造其专有框架和工具链,做好差异化。这些轻量化AI框架面临的挑战也不是没有,比如支持数据类型少、不支持模型训练等,也都是限制了它们产出爆款应用的因素。
传感器AI
大家都知道,一旦将数据处理尽可能放在靠前的流程中,不仅能降低功耗和延迟,也能极大地提升AI运算的效率,省去交给云端处理这一繁琐的步骤。在大部分IoT场景中,数据传输流程的头部往往都是传感器,所以无论是何种传感器,制造商们都开始探讨集成AI的方案。
ISPU传感器 / 意法半导体
比如,意法半导体就推出内嵌智能传感器处理单元(ISPU)的MEMS传感器,直接将AI处理单元集成在传感器上,打造一个智能传感器。这样的传感器本身定制化程度也高,可直接对ISPU进行C语言编程,也支持运行多个AI算法。
更重要的是,这类将AI集成在传感器方案显著降低了功耗,在计算完成后才将有效的数据传给待机状态的MCU处理,真正实现了在MCU之前的数据智能处理。而且这种传感器的设计也可以用上哈佛架构,甚至可以直接进行模拟运算,再转换成数字信号,实现更高的效率,最后再让冯诺依曼架构的CPU来完成工作。
写在最后
我们自然也不能忽视掉在云端进行AI处理的方案,固然这是一种将性能放大到极致的路线。可如果将未经处理的数据一股脑交给云端处理的话,徒增上云成本不说,延迟也会大大增加;全部交给端测来完成AI计算的话,功耗续航都得做出让步,甚至还是难以跑出可观的性能。
这也就是为何亚马逊、阿里巴巴等厂商纷纷部署IoT的边缘计算的原因,即便边缘端接手了主要的AI计算工作,却依然可以将数据交给云端进行管理、存储和分析,而且这不一定是一个实时连接的过程,只需间歇性的同步也能完成任务。
更何况功能、固件升级这样的任务主要还是交给云端来实现的,在有效的分析和训练下,云端可以将优化过后的模型传给边缘端。所以由此看来,物联网要想真正跨入AI时代,端云协同才是最佳方案。
AIoT芯片
随着边缘端对AI需求的增加,其实不少厂商在不改变芯片架构的情况下,也为边缘AI开发提供了一系列工具。就拿意法半导体为例,他们旗下的STM32产品就全部兼容NanoEdge生态,支持生成异常检测、异常值检测、分类和回归四种ML库,可以完成常见的能源管理和寿命预测等工作。
至于对性能要求更高的深度学习应用,就得用到他们的STM32Cube.AI了,对MCU的要求也提升至Cortex-M33以上的内核。这种方式对于芯片原厂来说,无需对设计做出大改,也有助于建立起自己的AI开发工具链生态,还可以针对不同芯片的性能进行调整。
EFR32MG24无线SoC / Silicon Labs
也有的厂商开始在芯片上添加AI加速单元,比如Silicon Labs的BG24和MG24两个SoC,就加入了AI/ML硬件加速器,为Cortex-M33卸载处理机器学习算法的工作。从其规格书上来看,该加速器是一个矩阵矢量处理器,所以更适合用于密集的矩阵浮点乘加运算,比如BG24这种蓝牙无线SoC,就可以更轻松地完成蓝牙AoA的室内定位工作。
这种方案与当下数据中心、HPC市场的做法并无二致,对于AI/ML这种专用性极强的负载来说,确实不该拿来拖累通用计算的性能,而且这一思路也考虑到了对不同AI框架的兼容性。未来很有可能会出现更多的异构方案,比如在集成Arm NPU的同时,加入各种硬件加速器内核。
但无论是在原有芯片基础上加入AI算法,还是集成AI加速器,除了存在建立生态系统的挑战外,也都会带来不可忽视的功耗增加,这对于一些持续供电的IoT产品的影响可以忽略,但对于可穿戴产品来说无疑意味着续航的降低。像苹果的一系列产品就秉承着类似的设计,诸如Airpods、Apple Watch都是在以功能性作为最高优先级,续航普遍不高。
当然了,这里提到的引入AI降低续航都是以IoT产品的功能性和高品质服务作为优先,毕竟如果你从功耗上发力AI功能的话,还是能大大改善续航的。就拿华为的智能音箱Sound Joy为例,在蓝牙模式下播放音乐就更加省电,但若是切换成支持语音控制的智能模式后,续航就会变短,所以华为也利用了动态调压节能的算法进一步提升续航。因此对于这类功能繁多的IoT产品来说,如何利用AI来完成功能的开关和功耗调整,才是未来增加续航的大方向。
轻量级AI框架
不仅是芯片厂商,AI框架的开发者们也注意到了IoT庞大的边缘AI市场,纷纷在推出轻量化或可扩展性强的框架,比如TensorFlow Lite、Caffe2等。这类框架可以在内存极小的设备上运行ML模型,也不需要任何操作系统、库的支持。由于走了轻量化的路线,所以与工作站或数据中心这种场景跑的AI框架还是存在差异的,但也足以完成常见的对象检测、手势识别、超分辨率等工作,TinyML已经成了每个物联网公司研究的方向。
而且这些框架的开发者也会预先给到优化后的模型,同时还能根据部署场景,完成不同模型之间的转换,比如将Tensorflow转换成TensorFlow Lite、TensorFlow Lite Micro部署在移动端或边缘端等等。虽然这类轻量级模型已经解决了运行的问题,但后续的重新训练、优化还是需要厂商自己去完成的。至于性能上的差异,不同的芯片之间势必会存在偏差,比如手机上运行这些AI模型肯定会比寻常的嵌入式设备要快得多。
好在大部分这些轻量化AI框架都是开源的,所以厂商也得以对其做出专门的优化,并对现有的一些流行的AI模型进行移植,同时也能在这个过程中打造其专有框架和工具链,做好差异化。这些轻量化AI框架面临的挑战也不是没有,比如支持数据类型少、不支持模型训练等,也都是限制了它们产出爆款应用的因素。
传感器AI
大家都知道,一旦将数据处理尽可能放在靠前的流程中,不仅能降低功耗和延迟,也能极大地提升AI运算的效率,省去交给云端处理这一繁琐的步骤。在大部分IoT场景中,数据传输流程的头部往往都是传感器,所以无论是何种传感器,制造商们都开始探讨集成AI的方案。
ISPU传感器 / 意法半导体
比如,意法半导体就推出内嵌智能传感器处理单元(ISPU)的MEMS传感器,直接将AI处理单元集成在传感器上,打造一个智能传感器。这样的传感器本身定制化程度也高,可直接对ISPU进行C语言编程,也支持运行多个AI算法。
更重要的是,这类将AI集成在传感器方案显著降低了功耗,在计算完成后才将有效的数据传给待机状态的MCU处理,真正实现了在MCU之前的数据智能处理。而且这种传感器的设计也可以用上哈佛架构,甚至可以直接进行模拟运算,再转换成数字信号,实现更高的效率,最后再让冯诺依曼架构的CPU来完成工作。
写在最后
我们自然也不能忽视掉在云端进行AI处理的方案,固然这是一种将性能放大到极致的路线。可如果将未经处理的数据一股脑交给云端处理的话,徒增上云成本不说,延迟也会大大增加;全部交给端测来完成AI计算的话,功耗续航都得做出让步,甚至还是难以跑出可观的性能。
这也就是为何亚马逊、阿里巴巴等厂商纷纷部署IoT的边缘计算的原因,即便边缘端接手了主要的AI计算工作,却依然可以将数据交给云端进行管理、存储和分析,而且这不一定是一个实时连接的过程,只需间歇性的同步也能完成任务。
更何况功能、固件升级这样的任务主要还是交给云端来实现的,在有效的分析和训练下,云端可以将优化过后的模型传给边缘端。所以由此看来,物联网要想真正跨入AI时代,端云协同才是最佳方案。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
物联网
+关注
关注
2900文章
44031浏览量
370045 -
AI
+关注
关注
87文章
29742浏览量
268043
发布评论请先 登录
相关推荐
AI嵌入式蜂窝模块将主导物联网市场
据知名市场调查机构Counterpoint Research最新发布的报告,AI嵌入式蜂窝模块在物联网领域的应用正迎来爆发式增长。该报告预测,到2030年,AI嵌入式蜂窝模块将占据
什么是物联网技术?
什么是物联网技术?
物联网技术(Internet of Things, IoT)是一种通过信息传感设备,按约定的协议,将任何物体与网络相连接,实现智能化识别、定位、跟踪、监管等功能的
发表于 08-19 14:08
梯云物联|AI提高物联网感知能力:让电梯更智能、安全!
在当今日新月异的科技浪潮中,人工智能(AI)与物联网(IoT)的深度融合正在为各行各业带来革命性的变化。特别是在电梯行业中,AI技术的引入不仅极大地提升了
4G物联网开关求助
阿里云物联网平台 合宙模块780E 724 或者移远4G模块开发一款物联网开关,有的APP ,可以直接做固件或者固件带硬件。有可以做的大师可以联系我有样品参考
发表于 05-19 15:28
梯云物联:电梯物联网如何又快稳的发展?这5关键要素不可忽视!
随着物联网技术的飞速发展,电梯物联网作为智能化时代的产物,正逐渐展现出其巨大的潜力和价值。电梯物联网
电梯物联网AI摄像头:物联网时代下的智能安全新篇章与技术发展|梯云物联
在物联网技术如日方升的今天,电梯物联网AI摄像头正成为智能安全领域的一颗璀璨明珠。随着技术的不断发展,它以其独特的智能化、高效化特点,为电梯
NanoEdge AI的技术原理、应用场景及优势
NanoEdge AI 是一种基于边缘计算的人工智能技术,旨在将人工智能算法应用于物联网(IoT)设备和传感器。这种技术的核心思想是将数据处理和分析从云端转移到设备本身,从而减少数据传输延迟、降低
发表于 03-12 08:09
生成式AI在物联网的行业应用及机遇
“生成式AI将给物联网带来极大的机遇。”Yasser Alsaied表示,“客户要想构建一个物联网解决方案,需要涉及网关、摄像头、传感器、软
发表于 12-19 14:27
•393次阅读
MCU在线技术讲座-EFM和EFR: 面向物联网开发的通用MCU平台
开发人员了解专门针对物联网开发而优化的EFM和EFR系列MCU平台,我们将针对亚洲地区于2023年12月12日上午10点(北京时间)在线举办全新MCU专题的Tech Talk技术讲座-“EFM和EFR
发表于 11-23 13:45
评论