机器学习的本质是让计算机能够更有效率的模仿人类的行为,特别在图像分类、图像识别、语音识别等领域,机器学习能够在分秒之间,集中处理数以百万计的计算。过去在合理的成本下,这样的处理能力是无法想象的,直到最近几年才能够实现。这主要是因为,如若这些处理不在边缘实现,就要放到云端来进行。数据要被上传到云端,这样的话,我们就会担心谁会看到这些数据。我们相信云端服务期的运营商和负责人吗?显然答案是否定的,因此在本地进行边缘计算,用户隐私就能够更好的被保护,响应速度也会更快,可靠性也会更强,因为即便服务器断电,本地设备依然可以稳定工作,甚至设备可以在没有网络的偏远地区正常工作。
i.MX8M Plus 应用处理器
通过i.MX8M Plus ,NXP将机器学习带到了边缘设备中,这款产品不仅仅是达到了2万亿次每秒这样的强大计算能力。只是做到这样的计算性能并不困难,但NXP所实现的是带来了模型压缩的优化以及针对稀疏性的优化,稀疏指的是机器学习算法参数或者数据中有大量权重为0,进而能够避免在推理时支付这些模型系数的存储费用,计算效率将会大大增加。模型压缩同样也很重要,鉴于计算过程中存在大量的数据交换,如果足够压缩,那么对于系统内存的占用就会降到最低。另外同样牵涉到系统内存的一点是i.MX8M Plus 搭载 DRAM 控制器能够进行每秒4G 处理,是 NXP有史以来 DRAM 速度之最。
i.MX8M Plus 与机器学习、机器视觉
机器学习是基于图像数据的,数据的来源通常是一个系统中的摄像头模块,而摄像头模块需要一个图像处理单元,也就是ISP。谈到 i.MX8M Plus 的ISP 单元,在很多系统中,摄像头可能距离目标非常远,为了得到你需要的细节,其分辨率必须足够高,比如4K分辨率,也就是800万像素。
处理如此高清的影像数据,就需要ISP 的协助。可能对于低分辨率的视频,ISP 并非必需,在很多系统中,用户可能并没有意识到,摄像模块是否集成ISP。但在高分辨率下,就需要 ISP 被集成在处理器中,就像i.MX8M Plus 这样。有趣的是,NXPi.MX8MPlus 中实际上集成了两个 ISP,两路摄像头输入。因而在大多数的应用场景下,将会获得更立体的图像,就像人的两只眼睛一样,可以感知图像的深度。另外一个应用是两路摄像头,其一作为广角或者鱼眼视角,另一路则聚焦某一场景的特写。除此之外,还有其它的应用需要用到这样的功能。
图像处理需要很强的计算能力,ISP的功能理论上也可以由 CPU 或 GPU 来实现,但要将这样的计算量,将这些数据转化为系统可识别的形式和参数再进行计算和处理,涉及到的工作量太大了。因此在这样的系统下,必须使用一个专门处理图像任务的单元,也就是 ISP,就像 i.MX8M Plus所做的那样。
i.MX8M Plus 高动态范围(HDR)支持
i.MX8MPlus还有一个重点是HDR,也就是高动态范围,你可能在很多手机上看到过这个词,但在嵌入式应用以及消费类产品甚至工业应用中HDR 都非常重要。HDR 主要是融合多重曝光的图像,具体表现为拍摄亮度不同的两张图像,一张是长曝光,一张是短曝光,其中一张能够帮助获得更好的高光部分的细节,另一张则获得更好的低亮度区域的细节。甚至可以拍三张或者更多,来融合成为一张图像。这样高光和暗部的细节都可以保留,这在某些特定场景中非常重要,比如在家里,窗户边很亮,有的地方却很暗,有了 HDR,所有的细节你都可以看清楚。
扭曲矫正带来更好的图像
在摄像头相关应用中,扭曲矫正是一个非常重要的功能。摄像头接收到的图像可能是扭曲的,类似观看鱼缸的场景。你可以看到很多的东西,但它们都是扭曲的。扭曲矫正,可以将图像恢复为人类、机器学习可以识别的正常形状,直线曲线区别分明,也没有倒置的现象,这就是扭曲矫正引擎所负责的。但引擎能做的不仅仅是这些,除了能够矫正这些意外的干扰,同时它也可以矫正由于摄像头问题导致的图像不清晰、变形等。
引擎同样可以对像素进行处理,获得更好的图像质量。针对i.MX8MPlus 的 ISP 架构我们的设计保证了所有的处理都以流的形式进行,也就是说ISP直接从摄像头接收图像进行处理,将它们输出到系统内存。ISP 几乎不需要从系统重新构建图像再进行处理输出,这样就可以带来非常低的延迟表现,以及非常高效的针对图像的处理表现。iSP 针对图像增强,进行了非常多的处理,比如降噪处理,这在暗光环境中非常重要。在这样的环境下,很多像素都会被进行涂抹,但你不能对太多区域都进行涂抹,否则你的图像将会变得非常模糊。所以你必须使用 ISP 来分辨,哪里是可以进行涂抹处理的,哪里则是需要清晰呈现的内容。其它的处理任务包括,检测图像传感器的坏点,确保正常工作,以及白平衡的调节,分辨出不同的光照环境,例如日光、灯光等等。还有提供信息,帮助自动曝光以及对焦,所有的这些都是由ISP 来完成的。
H.265视频编码
在许多应用中,摄像头接入系统,数据被送入机器学习算法或是直接被存储在网络中。不管图像被送入何处,它们还是需要被存储在某些地方,比如服务器或者是本地设备。你不可能直接保存原始文件,因为原始的文件实在是太大了,因此必须对数据进行编码,i.MX8M plus 的视频编码是非常高效的。我们支持 h.265编码算法,比起业内广泛使用的 h.264更加先进和高效。
iMX8M Plus在工业应用中的特色
i.MX8M Plus有一些针对工业应用的特色,其一就是 ECC,也就是错误纠正代码。用来在用户无需感知的情况下,检测出内存的错误,甚至进行修复。
这异常的重要,因为在某些应用中内存的错误会带来严重的后果,虽然不会导致硬件的永久损坏,但当读取内存的软件和程序时有可能会崩溃。
为了避免这些情况的发生,你就需要ECC 来进行检测和修复,这样软件的错误率,也就是我们常说的 SER将会大大降低。i.MX8M Plus在缓存和片上RAM 中都带有ECC,而DRAM 总线还支持在线 ECC,它不需要存储任何额外的位,就能够将ECC 算法与主数据同时发送出去。
TSN也是 i.MX8M plus 中的亮点,tsn 指的是时间敏感网络。在工业应用中你希望可以确保能够在对的时间点将数据发送出去,而通常以太网中任何人在任何时间都有可能正在发送数据。可能会造成拥堵,可能你需要晚一些再发一次,在工业应用中,这无疑是会带来问题的。而 TSN 则能够很好的解决这样的困扰。i.MX8M Plus同样也支持一些工业级的外设,我们甚至集成了800MHz的 Cortex-M7协处理器来协助组合。组合运行操作系统,M7内核同时可以进行一些实时性的控制,来确保低延迟。我们还有两路 CANFD用于本地与系统或是与网络低延迟的通信。
i.MX8M Plus所提供的所有的这些特性和外设,能够助力工业及应用的设计为工业应用带来无限的可能。
如何测评i.MX8MPlus
作为NXP官方金牌合作伙伴,飞凌嵌入式与NXP深入合作,推出了基于i.MX 8M Plus处理器的开发套件OKMX8MP-C开发板与FETMX8MP-C核心板,除了继承了上述CPU能力外,飞凌嵌入式在iMX8MPlus核心板上还集成了LPDDR4、eMMC、PMIC等关键元器件,形成了可以独立运行的最小系统;同时,考虑低成本基础应用以及高端NPU应用的不同需求,DDR可选择2GB、4GB、6GB、8GB多种版本;这款核心板的优势不仅仅在于性能上,其功能也是十分的丰富,双千兆以太网、双CAN-FD、2个USB3.0、PCIe3.0、LVDS、HDMI、MIPI-DSI、MIPI-CSI等接口面面俱到。
在《重磅发布| FETMX8MP-C核心板,高性能、高集成,闪耀上市》一文中,飞凌嵌入式也对这款核心板的特点进行了一一剖析,相信您会对其有更深入的了解,发现她的美,为您的产品增添一份色彩。点击查看原文
-
imx8
+关注
关注
3文章
41浏览量
50100
发布评论请先 登录
相关推荐
i.MX 8M Plus中的ISP图像信号处理模块特性概述
德国康佳特携手恩智浦,推出基于i.MX 95处理器的计算模块
康佳特推出基于恩智浦i.MX 95系列处理器的新款SMARC模块
![康佳特推出基于<b class='flag-5'>恩</b>智<b class='flag-5'>浦</b>i.MX 95系列<b class='flag-5'>处理器</b>的新款SMARC模块](https://file1.elecfans.com/web2/M00/FC/CA/wKgZomaWGaeAB9k7AAJn1VL0ouU987.jpg)
恩智浦发布S32 CoreRide平台,展示5nm处理器方案,赋能软件定义汽车发展
![<b class='flag-5'>恩</b>智<b class='flag-5'>浦</b>发布S32 CoreRide平台,展示5nm<b class='flag-5'>处理器</b>方案,赋能软件定义汽车发展](https://file1.elecfans.com/web2/M00/EA/E7/wKgZomZbOt-AeY9KAAx_V8rsGQU699.png)
罗彻斯特电子与恩智浦(NXP)携手探索NXP加速度传感器解决方案
启扬智能受邀参加2024恩智浦技术巡回研讨会
![启扬智能受邀参加2024<b class='flag-5'>恩</b>智<b class='flag-5'>浦</b>技术巡回研讨会](https://file.elecfans.com/web2/M00/43/4A/poYBAGJ9sjaAPEhHAAAvI_7i-HA907.jpg)
恩智浦半导体发布S32N55处理器,赋能汽车中央实时控制!
恩智浦宣布推出全新的S32N系列车辆超级集成处理器
![<b class='flag-5'>恩</b>智<b class='flag-5'>浦</b>宣布推出全新的S32N系列车辆超级集成<b class='flag-5'>处理器</b>](https://file1.elecfans.com/web2/M00/C6/A4/wKgZomYLckeAHd38AAAoXdFUWZE843.png)
恩智浦推出首次搭载专属神经处理单元(NPU)的MCX N系列!
恩智浦车载毫米波雷达解决方案介绍
![<b class='flag-5'>恩</b>智<b class='flag-5'>浦</b>车载毫米波雷达解决方案<b class='flag-5'>介绍</b>](https://file1.elecfans.com/web2/M00/C3/56/wKgZomXqrqaAVIsEAAAXcp8Ltcg158.jpg)
IMX8M启动或电源期间的GPIO故障怎么解决?
蜂板8PEdge AI SBC将恩智浦 i.MX 8M Plus SoC与Hailo-8 AI加速器相结合
![蜂板<b class='flag-5'>8</b>PEdge AI SBC将<b class='flag-5'>恩</b>智<b class='flag-5'>浦</b> i.MX <b class='flag-5'>8M</b> <b class='flag-5'>Plus</b> SoC与Hailo-<b class='flag-5'>8</b> AI加速<b class='flag-5'>器</b>相结合](https://file1.elecfans.com/web2/M00/AA/4C/wKgZomUuA_2ATjahAAB12o8hFm8163.jpg)
NXP开发板有哪些?基于NXP i.MX 6UL、i.MX 8M Mini、i.MX 8M Plus、LS1028A的开发板概述
![<b class='flag-5'>NXP</b>开发板有哪些?基于<b class='flag-5'>NXP</b> i.MX 6UL、i.MX <b class='flag-5'>8M</b> Mini、i.MX <b class='flag-5'>8M</b> <b class='flag-5'>Plus</b>、LS1028A的开发板概述](https://file1.elecfans.com//web2/M00/A3/10/wKgZomUDsUWAInmPAAEFkAAcnI4856.jpg)
评论