0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

内置智能传感器处理单元的传感器ISM330IS 为边缘设备带来更强的人工智能

半导体芯科技SiSC 来源:半导体芯科技SiSC 作者:半导体芯科技SiS 2022-12-09 15:57 次阅读

来源:意法半导体博客

在今年的德国纽伦堡SENSOR + TEST 2022大会上,与会者有幸见到了ISM330IS ——第一个内置智能传感器处理单元(ISPU)的传感器。意法半导体于 2022 年初发布这一技术。简单地说,ISPU是一种支持C语言的可编程嵌入式数字信号处理器 (DSP),能够运行机器学习深度学习算法。因此,它是边缘人工智能的下一个发展方向,或者 ST 所说的“Onlife Era”时代。ISM330IS有一个单精度计算浮点单元,开运动传感器先河。

从一个想法到新一代传感器,ST克服了哪些挑战?

在这项研究启动期,ST发表了一篇研究在惯性传感器内集成机器学习核心的可行性论文。过去,传感器的作用就是收集数据,所有计算任务都必须在微控制器上完成,这种架构背后的原因比较简单,惯性传感器是小尺寸的低功耗设备。增加性能强大的处理器不仅会违反这些设计限制,还会带来巨大的系统集成和制造挑战。虽然在一个模块内整合了DSP 和加速度计与陀螺仪,但是ST 并未降低处理性能、内存容量和传感器的精准度。

首款配备机器学习核心的传感器有哪些非凡之处?

ST在2018 年发表的这篇论文具有开创性,因为它为首个包含八个并行决策树、运行机器学习算法的惯性传感器LSM6DSOX解决了市场推广的难题。本地运行应用同时功耗非常低,从不可能变成了可能。产品推出后,尤其是在将模块集成到 SensorTile.box 之后,新应用开始涌现。例如,用它开发的婴儿哭声检测器,当有婴儿被遗忘在车内时可以提示驾驶员。同样,伦敦大学学院两个项目基于此开发出了自动化站/坐监测和更便捷的数字听诊器,获得市场好评。

还有哪些传感器配备机器学习核心?

LSM6DSOX还标志着一个新开发者社区出现。ST在 GitHub网站提供了机器学习核心库,并提高Unico GUI 软件工具的可及性,帮助更多的希望利用 LSM6DSOX 的机器学习核心的程序员。此外,我们还发布了性能更强大的传感器。LSM6DSRX 有更好的性能,适用于虚拟现实耳机等要求更高的应用。ST还推出了 LSM6DSV16X,它具有增强的机器学习内核和更好的性能功率比,适用于功耗限制更严格的系统。因而,有机器学习核心的ST传感器在一定程度上加快了下一个自动化时代的到来,而 ISM330IS 在这一传奇中翻开了一个重要的新篇章。

28b821d21edb4ff88dfc2c8321857fc3~tplv-tt-shrink:640:0.image

从新处理核心到新应用

ISPU是用什么做的?

ISM330IS 的 ISPU提供 8 KB的数据RAM和32 KB的应用RAM,运行频率10 MHz,具有32 位 RISC哈佛架构、四级流水线、浮点单元和针对神经网络处理优化的16位长度指令集。此外,虽然处理器发出中断请求仅需四个时钟周期(Arm Cortex 内核通常需要15 个时钟周期),但也可以在一个时钟周期内处理 16 位乘法运算。它使用 SPI 或 I2C 与主控 MCU 通信,开发人员只需在主处理器启动时将 C 代码加载到 ISPU 的易失性存储器内即可。

d1ab30e3964748d6b5abfdd4d2257f7d~tplv-tt-shrink:640:0.image

FPU 让应用程序能够在边缘设备上更灵活地运行推理算法。一旦满足条件,程序就会向微控制器发出中断请求。同样,与上一代核心相比,该架构使 ISPU 提高性能的同时,功耗仍维持在微瓦级别。因此,与之前机器学习核心的决策树相比,新产品是一个重大的飞跃,是一个更高效的系统。此外,尽管具有强大的算力,但 ISM330IS 仍然适合市场标准的 3 mm x 2.5 mm x 0.83 mm LGA 封装。因此,采用新传感器,设计人员无需大幅修改 PCB布局。

ISM330IS是如何做到脱颖而出的?

机器学习应用越来越普及,很多人一想到机器学习,就会想到高存储容量、云计算服务器或高度并行的GPU 架构,有许多程序对运算性能要求确实很高,这使得它们与边缘处理不相容。然而,有些企业也知道,并非所有深度学习系统都需要这个级别的算力。因此,在手机等移动产品或工业设备本机上运行推理算法的应用越来越受欢迎。图像识别、异常检测和预测性维护都要求在低功率条件下有可靠的 AI 性能。同样,家庭无线安保系统摄像头可以用人工智能识别人脸或宠物,ISPU核心可以为移动系统常亮显示屏提供智能。

针对性能与功耗这一挑战,ISM330IS 是一个新的解决方案,因为它的高性能模式功耗仅为0.59 mA,在同等条件下,ISM330DHCX高达1.5 mA。ISM330DHCX功耗较高的部分原因是模块集成了性能更强大的陀螺仪等功能。然而,这些数字也显示了新产品的优化之处和处理器核心的能效。事实上,低功耗微控制器很少有 FPU,因为它们通常需要大量的电能,然而,ISM330IS却将功耗成功地控制在电池供电系统适用的水平。

163fc0a0d3a6475d9411892ab5f47f9d~tplv-tt-shrink:640:0.image

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2554

    文章

    51670

    浏览量

    758341
  • 处理单元
    +关注

    关注

    0

    文章

    9

    浏览量

    6955
  • 意法半导件
    +关注

    关注

    0

    文章

    21

    浏览量

    5281
收藏 人收藏

    相关推荐

    有问必答 | 深视智能对射型边缘测量传感器常见问答

    有问必答 | 深视智能对射型边缘测量传感器常见问答
    的头像 发表于 02-17 08:18 88次阅读
    有问必答 | 深视<b class='flag-5'>智能</b>对射型<b class='flag-5'>边缘</b>测量<b class='flag-5'>传感器</b>常见问答

    智能眼镜要应用到什么传感器

    用的传感器及其带来的技术革新。 一、智能眼镜的基本构成与传感器类型 智能眼镜的基本构成包括显示屏、摄像头、光学模块、
    的头像 发表于 02-06 14:14 200次阅读

    传感器人工智能感知这个世界

    温度、压力、光线、声音、加速度等,而人工智能则用来分析和处理这些数据,从而做出智能决策或自动反应。 此外,Edge AI结合传感器的应用技术正快速发展,推动多个领域的创新与进步。像是
    的头像 发表于 01-25 15:46 325次阅读

    智能传感器如何推动边缘人工智能普及化

              智能传感器推动 边缘AI普及化         前言 英伟达公司(Nvidia)于日前发布了全新的50系显卡,在提高游戏性能的同时,着重优化了人工智能(AI)表现,
    的头像 发表于 01-15 14:26 456次阅读
    看<b class='flag-5'>智能</b><b class='flag-5'>传感器</b>如何推动<b class='flag-5'>边缘人工智能</b>普及化

    博世人工智能传感器如何改变生活

    传感器技术正在重塑我们的生活。例如,它们可以追踪健身数据,简化设备操作,或监测空气质量。为了向消费者提供这些复杂的功能,Bosch Sensortec的传感器正在不断进化,集成了微机电系统(MEMS)技术、嵌入式微控制
    的头像 发表于 01-08 14:49 318次阅读

    智能马桶水温NTC温度传感器

    随着科技不断进步,智能家居产品逐渐走进我们生活。其中,智能马桶作为一款高科技产品,受到越来越多人青睐。水温控制系统作为智能马桶重要组成部分,其需安装NTC温度传感器来实现精准水温控制
    发表于 12-20 11:55

    智能厨房应用什么传感器

    的工作原理、应用场景以及用户带来的便利。 智能厨房中的传感器技术 智能厨房通过集成多种传感器
    的头像 发表于 12-11 09:10 398次阅读

    Microchip PolarFire® FPGA以太网传感器桥与NVIDIA Holoscan传感器处理平台兼容的人工智能(AI)驱动的传感器处理系统

    Microchip Technology推出了PolarFire® FPGA以太网传感器桥,以帮助开发人员创建与NVIDIA Holoscan传感器处理平台兼容的人工智能(AI)驱动的
    的头像 发表于 11-19 09:29 846次阅读

    嵌入式和人工智能究竟是什么关系?

    人工智能应用的实时响应。与此同时,嵌入式系统在边缘计算和物联网领域,也为人工智能的应用提供了广阔的空间。 在边缘计算中,嵌入式系统能够将人工智能
    发表于 11-14 16:39

    Meta正努力推进人工智能触觉传感器的市场化进程

    11月1日,据TechCrunch报道,Meta近期宣布与传感器专家GelSight及韩国机器人企业Wonik Robotics携手,共同推进人工智能(AI)触觉传感器的市场化进程。   Meta强调,此次合作的核心在于利
    的头像 发表于 11-01 15:57 697次阅读

    risc-v在人工智能图像处理应用前景分析

    长时间运行或电池供电的设备尤为重要。 高性能 : 尽管RISC-V架构以低功耗著称,但其高性能也不容忽视。通过优化指令集和处理器设计,RISC-V可以在处理复杂的人工智能图像
    发表于 09-28 11:00

    意法半导体推出高性能ISM330BX 6轴惯性测量单元

    2024年6月20日,中国——在全球工业传感器和动作追踪技术的舞台上,意法半导体(STMicroelectronics)凭借其最新的ISM330BX 6轴惯性测量单元(IMU)再次证明了其行业
    的头像 发表于 06-21 15:56 720次阅读

    传感器人工智能领域:潜藏的市场机遇与发展趋势

      一、引言 在科技日新月异的今天,传感器技术已成为推动科技进步的重要力量。传感器作为连接物理世界和数字世界的桥梁,其应用范围越来越广泛。尤其在人工智能领域,传感器技术发挥着至关重要的
    的头像 发表于 06-13 19:28 3143次阅读
    <b class='flag-5'>传感器</b>在<b class='flag-5'>人工智能</b>领域:潜藏的市场机遇与发展趋势

    基于压电陶瓷传感器智能枕头非侵入式生命体征监测

    通过将智能系统(由传感单元即压电陶瓷传感器、数据处理单元和GPRS通信模块组成)放置在形状记忆泡
    发表于 06-12 15:20

    鼠害监测设备传感器技术)

    用于监测鼠类的活动轨迹、数量和位置信息,数据采集设备采集传感器获取的数据并传输至中心数据库;数据处理与分析平台对数据进行处理、分析和展示,
    的头像 发表于 03-21 16:54 587次阅读