嵌入式视觉和网络边缘智能应用市场前景愈加明朗

嵌入式视觉技术不再局限于高度专业化的应用，它在各类市场上拥有广阔的用武之地

十年前，嵌入式视觉技术主要用于比较少见、高度专业化的应用。今天，设计工程师们在越来越多新兴的工业、汽车和消费电子应用中为视觉应用找到了用武之地。制造商一直以来都依赖于工业应用中的机器视觉系统，但随着先进机器人技术和机器学习技术的涌现以及向工业4.0制造模式的转变，嵌入式视觉应用的疆土在逐步扩大。现代汽车采用的电子产品，尤其是高级驾驶辅助系统（ADAS）和车载信息娱乐系统的快速发展也为嵌入式视频应用带来了契机。无人机、游戏系统、监控和安防等消费电子解决方案的开发工程师看到了嵌入式视觉技术的优势。随着网络边缘应用领域对智能功能的需求不断上升，新兴的AI解决方案将越来越依赖于嵌入式视觉技术。

我们已经可以看到许多改变。首先，对于快速部署低成本嵌入式视觉解决方案而言至关重要的许多关键组件和工具终于面世了。如今，设计工程师可以从各种成本较低的处理器中进行选择，这些处理器具备小尺寸、高性能、低功耗的特性。同时，得益于快速增长的移动市场，设计工程师得以从摄像头和传感器的普及中受益。与此同时，软件和硬件工具的改进有助于简化开发并加速上市进程。本文将探讨如何使用嵌入式视觉技术、采用嵌入式视觉技术的理由以及近期哪些应用最有希望采用嵌入式视觉技术。

更强处理能力

根据定义，嵌入式视觉系统实际上涵盖了执行图像信号处理算法或视觉系统控制软件的任何设备或系统。智能视觉系统中的关键部分是进行实时高清数字视频流处理的高性能计算引擎、大容量固态存储、智能摄像头或传感器以及高级分析算法。这些系统中的处理器可以执行图像采集、镜头校正、图像预处理和分割、目标分析以及各种启发式（heuristics）功能。嵌入式视觉系统设计工程师采用各种处理器，包括专为视觉应用设计的通用CPU、图象处理单元（GPU）、数字信号处理器（DSP）、现场可编程门阵列（FPGA）和专用标准产品（ASSP）。上述处理器架构具备明显的优势和短板。在许多情况下，设计工程师将多种处理器整合到一个异构计算环境中。有时候，处理器则被集成到一个组件中。此外，一些处理器使用专用硬件来尽可能实现最高的视觉算法性能。诸如FPGA之类的可编程平台为设计工程师提供了高度并行的计算密集型应用架构以及用于I/O扩展等其他应用的资源。

在摄像头方面，嵌入式视觉系统设计工程师使用模拟摄像头和数字图像传感器。数字图像传感器通常是需要可见光环境的CCD或CMOS传感器阵列。嵌入式视觉系统也可用于感测其他数据，如红外、超声波、雷达和激光雷达。

越来越多的设计工程师开始转向采用摄像头或各种传感器的“智能摄像头”作为视觉系统中所有边缘电子设备的核心。其他系统将传感器数据传输到云端以减少系统处理器的负载，在这个过程中系统功耗、占用空间和成本降至最低。但是，当需要基于图像传感器数据进行低延迟的关键决策时，这种方法将面临问题。

利用移动优势

尽管嵌入式视觉解决方案早已面市多年，但该技术的发展速度受到了很多因素的限制。首先也是最重要的是，这项技术的关键要素仍没有能够以低成本的方式实现。特别是能够实时处理高清数字视频流的计算引擎尚未普及。高容量固态存储和高级分析算法的限制也带来了挑战。

最近市场上的三种发展趋势有望彻底改变嵌入式视觉系统的面貌。首先，移动市场的高速发展为嵌入式视觉设计工程师提供了海量的处理器可选方案，能够以低功耗提供相对较高的性能。其次，MIPI联盟推出的移动行业处理器接口（MIPI）能够为设计工程师提供替代方案，使用符合标准的硬件和软件组件来构建创新且具有成本效益的嵌入式视觉解决方案。最后，针对移动应用的低成本传感器和摄像头的激增，帮助嵌入式视觉系统设计工程师实现更好的解决方案并降低成本。

工业应用

工业应用领域中的机器视觉系统一直以来都是嵌入式视觉领域最有前景的应用方向之一。机器视觉技术是其中最成熟和数量最多的应用。它被广泛用于制造过程和质量管理应用。通常，这些应用领域中的制造商采用由一个或多个智能摄像头与处理器模块组成的紧凑型视觉系统。Transparency Market Research的分析师预测，机器视觉市场将从2014年的157亿美元增长至285亿美元（2021年）。

今天，设计工程师为这项技术找到很多潜力无限的全新应用领域。例如，图1中的机器视觉智能摄像头非常适合用于监控生产线上的制造设备。设计工程师可以使用FPGA实现图像传感器桥接，用作一个完整的摄像头图像信号处理流水线（ISP），以及提供GeVision或USB Vision等互连解决方案。

图1：机器视觉智能摄像头中的FPGA

另一个例子是基于FPGA的视频采集卡（图2），它聚合了来自多个摄像头的数据，并进行图像预处理，然后通过PCIe接口将数据发送到主处理器。

图2：视频采集卡

随着越来越多的制造商采用工业4.0模式，工业市场对视觉系统的需求也将越来越大。在这个新时代，制造商将把先进的机器人、机器学习、3D深度测绘和工业物联网（IIoT）整合到一起以提高组织和生产能力。在2011年发布的一篇题为“工业4.0--未来智能制造”的文章中首次提出，工业4.0代表了工业革命历史上的第四个阶段。2012年，工业4.0工作组向德国联邦政府提出了一套实施建议。

工业革命的第一阶段工业1.0在制造业中引入了水和蒸汽动力机械。劳动分工环境下首次出现的电力驱动批量生产技术奠定了工业2.0的基础。工业的第三个时代从采用计算机开始，初次涉足自动化领域，在装配线上用自动化机器逐渐取代人类。

今天，制造商期望工业4.0能够帮助他们实现又一次的飞跃，进一步提高生产力。在“智慧工厂”这个概念的驱动下，工业4.0将引入物理网络系统来监控智能工厂的生产过程并实现分权决策。这种模式将通过整合大数据与分析、IT与物联网融合、机器人技术的最新进展以及数字供应链的迭代发展等理念推动行业向着数字化转型。最后，通过互联网，这些物理系统将实现系统交互和人机交互，成为工业物联网（IIoT）的一部分。

一个工业4.0智慧工厂将会是什么样子？首先，它将为机器、设备、传感器和人员提供广泛的互操作性和高水平的通信能力。其次，它将具有很高的信息透明度，系统通过传感器数据创建物理世界的虚拟映射，使得信息情境化。第三，智能工厂的决策行为将高度分散，物理网络系统尽可能自主运行。第四，这些工厂将提供高水平的技术援助，系统可以帮助彼此解决问题、做出决策并帮助人类完成太难或危险的任务。几乎在所有情况下，制造商都将比以往更依赖嵌入式视觉系统。

当然，采用这种新模式的制造商也将面临诸多挑战。他们必须要开发可靠性极高和延迟极低的嵌入式视觉系统以确保物理网络通信的正常工作。工业4.0将迫使制造商保持生产过程的完整性，同时减少人为监管。当他们在部署这些新系统时会面临资深人员不足的问题。但好处远远超过了挑战。工业4.0将会大幅提升危险工作环境中工作人员的健康和安全保障。来自制造过程中各个层面的数据可帮助制造商能够更简单有效地控制其供应链。

汽车应用

鉴于汽车领域中电子应用的迅速增长，汽车市场无疑是嵌入式视觉应用最有潜力的发展领域。高级驾驶辅助系统和信息娱乐功能的推出有望快速推动相关市场的增长。Research and Markets.com的分析师预测，2016年至2021年间，ADAS市场将以10.44％的复合年增长率增长。这些应用中最常用的嵌入式视觉产品是摄像头模块。供应商要么自己开发分析工具和算法，要么采用来自外部开发工程师的第三方IP。新兴的汽车应用领域之一是驾驶员监控系统，该系统使用视觉应用追踪驾驶员头部和身体动作以进行疲劳状态识别。另一个是视觉系统，通过监测看短信或饮食等潜在的驾驶员分心因素提高车辆操作安全。

但是汽车中的视觉系统可以做的远不止是监控车内发生的事情。从2018年起，有一些国家的法规将要求新车必须配备后视摄像头，以帮助司机看到车辆后方的情况。像车道偏离预警系统这样的新应用将视频和车道检测算法结合起来，以评估汽车的位置。此外，市场需求也推动了阅读警示标志、撞击缓冲、盲点检测、自动泊车、倒车辅助等功能的发展。所有这些功能都有助于让驾驶变得更安全。

汽车视觉和传感系统的发展为实现真正的自动驾驶奠定了基础。例如，凯迪拉克将在2018年将其嵌入式视觉子系统集成到CT6轿车中，以实现业界首款解放双手的驾驶技术SuperCruise。通过不断分析驾驶员和道路情况，精确的LIDAR数据库提供道路情况，而先进的摄像头、传感器和GPS实时反应道路的动态状况细节，这项新技术将使驾驶变得更加安全。总体而言，汽车制造商已经形成了一致的想法，即现代车辆中的ADAS系统将需要前置摄像头进行车道检测、行人检测、交通标志识别和紧急制动功能。同时还需要侧面和后面的摄像头来支持停车辅助、盲点检测和交叉车流警报功能。

汽车制造商面临的一个挑战是现有电子设备中的I/O数量有限。目前主流处理器仅具备两个摄像头接口。然而，许多ADAS系统需要多达8台摄像头才能满足图像质量要求。设计工程师需要的解决方案要能够为他们提供协同处理资源，将来自多个摄像头的视频流拼接在一起，或基于摄像头输入执行图像处理功能，如白平衡、鱼眼校正和除雾等，并通过单个数据流将数据发送到应用处理器（AP）。例如，许多汽车制造商提供的ADAS系统中都具备鸟瞰视图功能，驾驶员可以看到车辆上方20英尺处向下的现场视频。ADAS系统通过将来自4个或更多摄像头的数据拼接为宽视野图像实现这一功能。

以前，设计工程师在驱动每个显示屏时都要使用一个处理器。而现在，设计工程师可以使用单个FPGA替代多个处理器，聚合所有摄像头数据，将图像拼接在一起，执行预处理和后处理功能，并将图像发送到系统处理器。图3展示了360度鸟瞰汽车摄像系统的简化架构，该系统从位于汽车周围的4个摄像头（前方、后方和两侧）收集数据。系统使用单个FPGA进行各种预处理和后处理功能以及视频数据拼接，提供显示车辆周围环境的360度视图。在这种情况下，单个FPGA将取代多个处理器。

图3：车辆360度鸟瞰摄像系统

消费电子应用

无人机、增强现实/虚拟现实（AR / VR）和其他消费电子应用为嵌入式视觉解决方案开发者提供了巨大的机遇。今天，无人机设计工程师已经知道同步无人机上的6个或更多摄像头以创建全景视图比构建采用2个摄像头并将其移动180度的机械解决方案更便宜。同样，AR / VR设计工程师将单个视频流进行快速转化并将内容分割为双视频流输出。他们充分利用低成本移动相关技术的优势，使用两个MIPI DSI显示屏，每个显示屏对准用户的一只眼睛，实现低延迟、低功耗，增强深度感，为用户提供更加身临其境的体验（图4）。

图4：基于FPGA的虚拟现实系统

随着游戏机行业的不断发展，传统的游戏控制器将被图像传感器和视频分析器所取代，通过检测身体动作和面部表情来控制游戏。预计这些智能控制器将逐渐引入到其他消费电子产品中，如电视机、个人电脑、智能手机和平板电脑。此外，智能家居应用（如照明、加热和空调设备）可能会采用类似的功能并添加图像传感器。最终这些摄像头将取代传统物理控制器。

总结

不久之前，嵌入式视觉技术还在很大程度上受到组件性能的限制。智能视觉解决方案中的许多关键组件，特别是实时处理高清数字视频所需的计算引擎，价格高昂超出可接受的范围。那些日子已经一去不复返了！随着移动处理器的发展，低功耗FPGA和ASSP的出现，MIPI接口标准的推广以及低成本摄像头和传感器的普及，设计工程师可将曾经高度专业化的技术应用到智能工厂自动化、汽车电子和消费电子领域。显然嵌入式视觉技术将在这里发挥十分重要的作用。

题外话：

如何加速产品的上市进程

对于快速发展的嵌入式视觉市场而言，有一点勿庸置疑：竞争将会源源不断。对于那些希望快速进行开发的设计工程师来说，莱迪思半导体为嵌入式视觉解决方案提供了一个易于使用的快速原型设计开发平台。该嵌入式视觉开发工具套件包括一个由三块开发板组成的模块化平台，其中包括CrossLink VIP输入桥接板、ECP5 VIP处理器板以及HDMI VIP输出桥接板 。

CrossLink VIP输入桥接板提供2个用于连接索尼IMX高清摄像头传感器的MIPI CSI-2接口。ECP5 VIP处理器板包含一片ECP5 FPGA，专为预处理和后处理进行了优化。该处理器板还通过NanoVestor连接器与Helion Vision的高清（HD）图像信号处理（ISP）IP支持外部图像传感器视频输入。凭借Sil1136 IC，HDMI VIP输出板可连接标准HDMI显示器。

上述由三块开发板组成的开发平台提供了开发机器人、无人机、ADAS、智能监控和AV / VR系统等应用所需的设计灵活性和低功耗特性。该套件已预先内置双CSI-2至HDMI演示。CrossLink桥接器件接收两路摄像头输入信号，并将它们合并成单个数据流，然后通过并行接口将数据发送到ECP5 FPGA。ECP5-85 FPGA接收输入图像数据，并在将数据发送到HDMI输出板之前执行基本的图像处理功能。然后输出板将数据转换为HDMI格式并将图像呈现到标准显示屏上。