0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

恩智浦Maivin AI Vision工具包加快基于视觉的工业设计

NXP客栈 来源:NXP客栈 作者:NXP客栈 2022-08-26 09:09 次阅读

恩智浦敢为人先,敢于引领和创新。恩智浦一直致力于为i.MX应用处理器的摄像头模块接口提供支持。恩智浦也在许多SoC上实现了CPUGPU等共享资源的机器学习。这一功能仍然运行良好 (根据应用的需求而异),这篇文章将阐述恩智浦为何决定对其进行升级,并在i.MX 8M Plus中添加图像信号处理器 (ISP) 和机器学习 (ML) 加速器。

机器学习的重要性与日俱增

在云端进行机器学习是支持人们使用智能手机语音助手或智能扬声器语音助手的关键技术,它还支持社交媒体甚至手机对包含特定人员的照片进行分组。但这些用例都依赖在云端服务器上运行的机器学习。

恩智浦解决的真正挑战是边缘机器学习。所有机器学习推理在i.MX 8M Plus等边缘处理器进行本地运行。在边缘运行ML推理意味着,即使网络访问中断,应用也能够继续运行——这对于监控或异常检测等应用至关重要,对在没有网络接入的偏远地区运行也非常重要。与必须将数据发送到服务器进行处理并将结果发回的情况相比,在边缘运行ML推理还降低了决策延迟。例如,当执行工业工厂现场目视检查时,或需要决定是接受还是拒绝一掠而过的产品时,低延迟至关重要。

边缘机器学习的另一个关键优势是保护数据安全。收集的专有数据(如边缘设备捕获的员工、生产和物流数据)将在边缘进行处理并保存在本地。系统不会把信息发送到云端进行处理,仅在云端进行记录和跟踪。企业的隐私不会受到损害,企业可自行决定是否在云端共享信息。

需要什么程度的边缘机器学习?

现在,考虑到对边缘机器学习的需求较大,问题变成了需要什么程度的机器学习。衡量机器学习加速器的一种方法是每秒的运算次数 (通常是8位整数相乘或累加),通常称为TOPS(即每秒万亿次运算)。这是基本基准,因为整体系统性能也受许多其他因素影响,但TOPS是使用最多的机器学习测量方法之一。

事实证明,在边缘进行完整的语音识别 (不只是关键字识别) 需要大约1-2个TOPS (具体取决于算法,如果希望了解用户想表达的意思,而不仅仅是将语音转换为文本,则需要更多运算次数)。以60fps执行目标检测 (使用Yolov3等算法) 也需要大约2-3个TOPS。因此,机器学习加速 (如i.MX 8M Plus的2.3 TOPS) 是这类应用的最佳选择。

下一步:图像信号处理器 (ISP)

所有基于摄像头的系统中都具有ISP功能,尽管有时可以集成到摄像头模块或嵌入到应用处理器中,并且可能对用户隐藏。ISP通常会进行多种类型的图像增强,其主要目的是将原始图像传感器的每像素输出的单色分量转换为系统中其他部分更常用的RGB或YUV图像。

当摄像头输入来自网络或网络摄像头 (一般通过以太网USB连接到应用处理器) 时,没有ISP的应用处理器在基于视觉的系统中运行良好。对于这些应用,摄像头可以与处理器保持一定距离,甚至可以达到100米左右。摄像头本身内置了ISP和处理器,可转换图像传感器信息并对视频流进行编码,然后再通过网络发送。

没有ISP的应用处理器也适用于分辨率相对较低的摄像头。在100万像素或更低的分辨率下,图像传感器通常内置了ISP,可将RGB或YUV图像输出到应用处理器,处理器内不需要ISP。

但在约200万像素 (1080p) 或更高的分辨率下,大多数图像传感器没有内置ISP,而是依赖系统中其他部件的ISP。可能依赖独立的ISP芯片 (可以运行,但会增加系统的功率和成本),也可能依赖集成在应用处理器中的ISP。正因如此,恩智浦选择采用i.MX 8M Plus的解决方案——提供高质量的成像,同时也是优化的成像解决方案,特别是在200万像素和更高分辨率的情况下。

借助基于智能视觉的系统,智能工厂可以提高生产率、质量和安全性。

推动智能边缘设备的发展

综上所述,i.MX 8M Plus应用处理器集2.3 TOPS机器学习加速器和ISP于一身,无论是用于智能楼宇、智慧城市还是工业物联网应用,都将成为边缘嵌入式视觉系统的关键元件。

借助嵌入式ISP,它可以打造直连到本地图像传感器的高质量图像优化系统,甚至可以将这些图像数据提供给较新的机器学习算法,所有这些都可以减轻本地机器学习加速器的负担。

采用为机器学习和视觉系统而优化的i.MX 8M Plus架构,边缘设备设计人员能够像恩智浦一样敢为人先,敢于引领和创新。他们拥有强大的机器学习能力,配合高清摄像头系统,能够让设备看得更清晰、更远。嵌入式领域不断涌现新的创新机遇。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    19485

    浏览量

    231516
  • 恩智浦
    +关注

    关注

    14

    文章

    5898

    浏览量

    108560
  • 机器学习
    +关注

    关注

    66

    文章

    8458

    浏览量

    133222
  • 工具包
    +关注

    关注

    0

    文章

    47

    浏览量

    9585

原文标题:硬核解读:i.MX 8M应用处理器为何要添加ISP和机器学习加速器?

文章出处:【微信号:NXP客栈,微信公众号:NXP客栈】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    相关推荐

    拟收购边缘AI企业Kinara

    半导体宣布已达成最终协议收购Kinara, Inc.——高性能、低功耗且可编程的分立神经处理单元(NPU)行业的领先企业。该公司产品支持广泛的边缘AI应用,包括多模态生成式AI
    的头像 发表于 02-21 14:15 180次阅读

    云计算开发工具包的功能

    随着云计算技术的不断成熟,越来越多的企业开始将应用和服务迁移到云端,以享受弹性计算资源、高可用性和成本效益等优势。为了加速这一进程,云计算服务提供商推出了各种开发工具包。下面,AI部落小编带您了解云计算开发工具包的主要功能。
    的头像 发表于 02-21 11:02 56次阅读

    宣布收购NPU厂商Kinara

    半导体公司近日宣布,已正式签署最终协议,将收购高性能、低功耗且可编程离散神经处理单元(NPU)供应商Kinara。此次收购将显著增强在边缘人工智能(
    的头像 发表于 02-18 14:29 117次阅读

    3.07亿美元收购Kinara,强化边缘AI布局

    近日,半导体公司(NXP Semiconductors)宣布了一项重大收购计划,将以3.07亿美元(约合22.44亿元人民币)现金收购边缘AI NPU(神经处理单元)公司Kinara。这一战略收购旨在进一步加强
    的头像 发表于 02-12 17:02 338次阅读

    携手RT-Thread全力赋能智能工业与物联网新时代

    今天,边缘AI的发展正在推动工业与物联网应用进入一个新时代。如何整合各方面的技术资源,营造一个完善的开发生态,打造创新而多样化的解决方案,是嵌入式开发社区面对的新课题。 在这方面,
    的头像 发表于 01-10 11:55 631次阅读
    <b class='flag-5'>恩</b>智<b class='flag-5'>浦</b>携手RT-Thread全力赋能智能<b class='flag-5'>工业</b>与物联网新时代

    Labview声音和振动工具包示例文件Sound Level

    Labview 声音和振动工具包示例文件,声压测试,有模拟和DAQ两个文件。
    发表于 01-05 09:15 0次下载

    最新Simplicity SDK软件开发工具包发布

    最新的SimplicitySDK软件开发工具包已经发布!此次更新针对SiliconLabs(芯科科技)第二代无线开发平台带来了包括蓝牙6.0的信道探测(Channel Sounding
    的头像 发表于 12-24 09:47 322次阅读

    eIQ Time Series Studio 工具使用全攻略

      基本介绍 eIQ Time Series Studio(简称eIQ TSS)是半导体推出的一款专为嵌入式微控制器设计的基于时间序列的AI和机器学习开发套件。它集成了自动机器学习功能,旨在
    的头像 发表于 12-12 09:37 1037次阅读
    <b class='flag-5'>恩</b>智<b class='flag-5'>浦</b>eIQ Time Series Studio <b class='flag-5'>工具</b>使用全攻略

    基于EasyGo Vs工具包和Nl veristand软件进行的永磁同步电机实时仿真

    EasyGo Vs Addon是一款领先的FPGA仿真工具包软件,它强大地连接了VeriStand软件与Matlab/Simulink,为实时测试和验证领域带来了前所未有的便利和效率,特别适用于汽车
    的头像 发表于 11-27 11:28 467次阅读
    基于EasyGo Vs<b class='flag-5'>工具包</b>和Nl veristand软件进行的永磁同步电机实时仿真

    eIQ AI和机器学习开发软件增加两款新工具

    在eIQ AI和机器学习开发软件中增加了带有检索增强生成(RAG)与微调的生成式人工智能(GenAI)流程和eIQ Time Series Studio,以便在小型微控制器(MCU)、功能更强大的大型应用处理器(MPU)等
    的头像 发表于 11-01 11:39 634次阅读

    FPGA仿真工具包软件EasyGo Vs Addon介绍

    EasyGo Vs Addon是一款领先的FPGA仿真工具包软件,它强大地连接了VeriStand软件与Matlab/Simulink,为实时测试和验证领域带来了前所未有的便利和效率,特别适用于汽车、航空航天和能源电力等实时测试和验证至关重要的行业。
    的头像 发表于 10-24 15:55 566次阅读
    FPGA仿真<b class='flag-5'>工具包</b>软件EasyGo Vs Addon介绍

    采用德州仪器 (TI) 工具包进行模拟前端设计应用说明

    电子发烧友网站提供《采用德州仪器 (TI) 工具包进行模拟前端设计应用说明.pdf》资料免费下载
    发表于 09-09 11:21 0次下载
    采用德州仪器 (TI) <b class='flag-5'>工具包</b>进行模拟前端设计应用说明

    NVIDIA与联手,在边缘设备上部署AI模型

    工业及IoT边缘高级副总裁Charles Dachs表示,人工智能的创新将塑造智能互联世界的未来,融入Nvidia先进的AI培训技术以及
    的头像 发表于 03-25 16:05 979次阅读

    NVIDIA TAO工具套件功能与eIQ机器学习开发环境的集成

    半导体宣布与NVIDIA合作,将NVIDIA经过训练的人工智能模型通过eIQ机器学习开发环境部署到广泛的边缘处理产品组合中。
    的头像 发表于 03-22 09:11 1036次阅读

    推出全新面向工业与物联网应用的MCX微控制器产品组合

    推出全新面向工业与物联网应用的MCX微控制器产品组合,赋能安全边缘计算,其中MCX N系列为用户带来高能效多任务处理、AI加速、智能外设与灵活的开发体验。
    的头像 发表于 03-21 13:33 1981次阅读
    <b class='flag-5'>恩</b>智<b class='flag-5'>浦</b>推出全新面向<b class='flag-5'>工业</b>与物联网应用的MCX微控制器产品组合