0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

内置智能传感器处理单元的传感器ISM330IS 为边缘设备带来更强的人工智能

半导体芯科技SiSC 来源:半导体芯科技SiSC 作者:半导体芯科技SiS 2022-12-09 15:57 次阅读

来源:意法半导体博客

在今年的德国纽伦堡SENSOR + TEST 2022大会上,与会者有幸见到了ISM330IS ——第一个内置智能传感器处理单元(ISPU)的传感器。意法半导体于 2022 年初发布这一技术。简单地说,ISPU是一种支持C语言的可编程嵌入式数字信号处理器 (DSP),能够运行机器学习深度学习算法。因此,它是边缘人工智能的下一个发展方向,或者 ST 所说的“Onlife Era”时代。ISM330IS有一个单精度计算浮点单元,开运动传感器先河。

从一个想法到新一代传感器,ST克服了哪些挑战?

在这项研究启动期,ST发表了一篇研究在惯性传感器内集成机器学习核心的可行性论文。过去,传感器的作用就是收集数据,所有计算任务都必须在微控制器上完成,这种架构背后的原因比较简单,惯性传感器是小尺寸的低功耗设备。增加性能强大的处理器不仅会违反这些设计限制,还会带来巨大的系统集成和制造挑战。虽然在一个模块内整合了DSP 和加速度计与陀螺仪,但是ST 并未降低处理性能、内存容量和传感器的精准度。

首款配备机器学习核心的传感器有哪些非凡之处?

ST在2018 年发表的这篇论文具有开创性,因为它为首个包含八个并行决策树、运行机器学习算法的惯性传感器LSM6DSOX解决了市场推广的难题。本地运行应用同时功耗非常低,从不可能变成了可能。产品推出后,尤其是在将模块集成到 SensorTile.box 之后,新应用开始涌现。例如,用它开发的婴儿哭声检测器,当有婴儿被遗忘在车内时可以提示驾驶员。同样,伦敦大学学院两个项目基于此开发出了自动化站/坐监测和更便捷的数字听诊器,获得市场好评。

还有哪些传感器配备机器学习核心?

LSM6DSOX还标志着一个新开发者社区出现。ST在 GitHub网站提供了机器学习核心库,并提高Unico GUI 软件工具的可及性,帮助更多的希望利用 LSM6DSOX 的机器学习核心的程序员。此外,我们还发布了性能更强大的传感器。LSM6DSRX 有更好的性能,适用于虚拟现实耳机等要求更高的应用。ST还推出了 LSM6DSV16X,它具有增强的机器学习内核和更好的性能功率比,适用于功耗限制更严格的系统。因而,有机器学习核心的ST传感器在一定程度上加快了下一个自动化时代的到来,而 ISM330IS 在这一传奇中翻开了一个重要的新篇章。

28b821d21edb4ff88dfc2c8321857fc3~tplv-tt-shrink:640:0.image

从新处理核心到新应用

ISPU是用什么做的?

ISM330IS 的 ISPU提供 8 KB的数据RAM和32 KB的应用RAM,运行频率10 MHz,具有32 位 RISC哈佛架构、四级流水线、浮点单元和针对神经网络处理优化的16位长度指令集。此外,虽然处理器发出中断请求仅需四个时钟周期(Arm Cortex 内核通常需要15 个时钟周期),但也可以在一个时钟周期内处理 16 位乘法运算。它使用 SPI 或 I2C 与主控 MCU 通信,开发人员只需在主处理器启动时将 C 代码加载到 ISPU 的易失性存储器内即可。

d1ab30e3964748d6b5abfdd4d2257f7d~tplv-tt-shrink:640:0.image

FPU 让应用程序能够在边缘设备上更灵活地运行推理算法。一旦满足条件,程序就会向微控制器发出中断请求。同样,与上一代核心相比,该架构使 ISPU 提高性能的同时,功耗仍维持在微瓦级别。因此,与之前机器学习核心的决策树相比,新产品是一个重大的飞跃,是一个更高效的系统。此外,尽管具有强大的算力,但 ISM330IS 仍然适合市场标准的 3 mm x 2.5 mm x 0.83 mm LGA 封装。因此,采用新传感器,设计人员无需大幅修改 PCB布局。

ISM330IS是如何做到脱颖而出的?

机器学习应用越来越普及,很多人一想到机器学习,就会想到高存储容量、云计算服务器或高度并行的GPU 架构,有许多程序对运算性能要求确实很高,这使得它们与边缘处理不相容。然而,有些企业也知道,并非所有深度学习系统都需要这个级别的算力。因此,在手机等移动产品或工业设备本机上运行推理算法的应用越来越受欢迎。图像识别、异常检测和预测性维护都要求在低功率条件下有可靠的 AI 性能。同样,家庭无线安保系统摄像头可以用人工智能识别人脸或宠物,ISPU核心可以为移动系统常亮显示屏提供智能。

针对性能与功耗这一挑战,ISM330IS 是一个新的解决方案,因为它的高性能模式功耗仅为0.59 mA,在同等条件下,ISM330DHCX高达1.5 mA。ISM330DHCX功耗较高的部分原因是模块集成了性能更强大的陀螺仪等功能。然而,这些数字也显示了新产品的优化之处和处理器核心的能效。事实上,低功耗微控制器很少有 FPU,因为它们通常需要大量的电能,然而,ISM330IS却将功耗成功地控制在电池供电系统适用的水平。

163fc0a0d3a6475d9411892ab5f47f9d~tplv-tt-shrink:640:0.image

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2548

    文章

    50664

    浏览量

    751946
  • 处理单元
    +关注

    关注

    0

    文章

    9

    浏览量

    6914
  • 意法半导件
    +关注

    关注

    0

    文章

    18

    浏览量

    5237
收藏 人收藏

    评论

    相关推荐

    Microchip PolarFire® FPGA以太网传感器桥与NVIDIA Holoscan传感器处理平台兼容的人工智能(AI)驱动的传感器处理系统

    Microchip Technology推出了PolarFire® FPGA以太网传感器桥,以帮助开发人员创建与NVIDIA Holoscan传感器处理平台兼容的人工智能(AI)驱动的
    的头像 发表于 11-19 09:29 332次阅读

    嵌入式和人工智能究竟是什么关系?

    人工智能应用的实时响应。与此同时,嵌入式系统在边缘计算和物联网领域,也为人工智能的应用提供了广阔的空间。 在边缘计算中,嵌入式系统能够将人工智能
    发表于 11-14 16:39

    Meta正努力推进人工智能触觉传感器的市场化进程

    11月1日,据TechCrunch报道,Meta近期宣布与传感器专家GelSight及韩国机器人企业Wonik Robotics携手,共同推进人工智能(AI)触觉传感器的市场化进程。   Meta强调,此次合作的核心在于利
    的头像 发表于 11-01 15:57 503次阅读

    实现MCU与传感器的通信方式

    在现代电子系统中,微控制单元(MCU)与传感器的通信是实现智能控制和数据采集的基础。随着技术的发展,MCU与传感器之间的通信方式也在不断进
    的头像 发表于 11-01 13:43 177次阅读

    risc-v在人工智能图像处理应用前景分析

    长时间运行或电池供电的设备尤为重要。 高性能 : 尽管RISC-V架构以低功耗著称,但其高性能也不容忽视。通过优化指令集和处理器设计,RISC-V可以在处理复杂的人工智能图像
    发表于 09-28 11:00

    传感器+AI,融了7个亿,华为基恩士博世……都在搞AI传感器

      随着以ChatGPT代表的AI大模型技术的迅猛发展,人工智能正在颠覆各行各业,并带来巨大的技术提升,对传感器技术来说,也是如此。   目前,从华为、博世、基恩士等巨头到初创
    的头像 发表于 07-26 17:59 604次阅读
    <b class='flag-5'>传感器</b>+AI,融了7个亿,华为基恩士博世……都在搞AI<b class='flag-5'>传感器</b>

    意法半导体推出高性能ISM330BX 6轴惯性测量单元

    2024年6月20日,中国——在全球工业传感器和动作追踪技术的舞台上,意法半导体(STMicroelectronics)凭借其最新的ISM330BX 6轴惯性测量单元(IMU)再次证明了其行业
    的头像 发表于 06-21 15:56 524次阅读

    意法半导体发布高能效智能惯性测量单元

    意法半导体6轴惯性测量单元(IMU)ISM330BX集成边缘AI处理器传感器扩展模拟集线器和Qvar电荷变化检测
    的头像 发表于 06-20 09:47 416次阅读

    传感器人工智能领域:潜藏的市场机遇与发展趋势

      一、引言 在科技日新月异的今天,传感器技术已成为推动科技进步的重要力量。传感器作为连接物理世界和数字世界的桥梁,其应用范围越来越广泛。尤其在人工智能领域,传感器技术发挥着至关重要的
    的头像 发表于 06-13 19:28 2789次阅读
    <b class='flag-5'>传感器</b>在<b class='flag-5'>人工智能</b>领域:潜藏的市场机遇与发展趋势

    基于压电陶瓷传感器智能枕头非侵入式生命体征监测

    通过将智能系统(由传感单元即压电陶瓷传感器、数据处理单元和GPRS通信模块组成)放置在形状记忆泡
    发表于 06-12 15:20

    智能传感器结构及应用

    智能传感器是当今国际科技界研究的热点,尚无统一的、确切的定义。本文不讨论(Intelligentsensor或Smartsensor)两个术语的区别,统称为智能传感器
    发表于 04-18 10:40 654次阅读
    <b class='flag-5'>智能</b><b class='flag-5'>传感器</b>结构及应用

    创龙教仪基于瑞芯微3568的ARM Cortex A-55教学实验箱 适用于人工智能 传感器 物联网等领域

    采用ARM架构的通用型SoC,主要应用于智能硬件和工业应用。CPU采用四核A55架构处理器,集成Mali G52图形处理器和独立的人工智能NPU处理
    发表于 03-22 14:29

    鼠害监测设备传感器技术)

    用于监测鼠类的活动轨迹、数量和位置信息,数据采集设备采集传感器获取的数据并传输至中心数据库;数据处理与分析平台对数据进行处理、分析和展示,
    的头像 发表于 03-21 16:54 458次阅读

    中国智能传感器产业链全景图及重点企业名录

          01 基本概况 智能传感器是一种创新型传感器,它内置处理器,具备出色的信息采集、处理
    的头像 发表于 03-08 18:13 719次阅读
    中国<b class='flag-5'>智能</b><b class='flag-5'>传感器</b>产业链全景图及重点企业名录

    无线传感器如何联网?无线传感器如何通信?

    解析,内容涵盖基本概念、技术原理、标准和协议、应用场景等方面的内容。 一、无线传感器联网的基本概念: 无线传感器是能够感知特定环境信息并将其转化为电信号的智能设备,通常包括感测
    的头像 发表于 12-15 10:10 2152次阅读