现成架构有助算法加速开发 - 嵌入式视觉需求增 影像传感器设计考虑更复杂

对于绝大多数选项而言，在完成图像处理链后，皆须确定影像格式化方式。此时，使用者须要决定是否使用如MPEG-4 Part 10高阶视讯编码(H.264)或高效率视讯编码(H.265)等产业标准影像/视频压缩算法，以便对影像进行编码，而这些执行方案通常被称为编译码器。编译码器能提高通讯和网络带宽的使用效率，或降低实现影像高保真度所需的储存空间，因为编码通常会导致影像失真。若因使用编译码器促使影像失真且无法被接受，还可按原始格式传送和储存影像，或以无损格式进行编码。

嵌入式视觉常用之色彩格式
大多数编译码器所使用的色彩空间都与影像传感器输出的色彩空间(前提是系统使用彩色组件)不同。嵌入式视觉中主要使用的色彩空间为：
．红、绿、蓝：
包含RGB信息作为影像传感器的输出，通常用于VGA等简单接口的输出。

．YUV：
包含亮度(Y)和色度(U和V)，该色彩空间用于大多数编译码器和一些显示标准。

常用的YUV格式为YUV4:4:4和YUV4:2:2。两种格式的区别在于4:4:4 格式下，每像素由8位表示，可得到24位像素；而在4:2:2格式下，U值和V值在像素之间共享，可得到16位像素，同时可节省储存空间。

图像处理链于何处执行将影响系统效能
另一个对图像处理链和SWAP-C具有巨大影响的决策是，大部分图像处理链应在哪里执行。

首先是在边缘端执行，亦即在嵌入式视觉系统内执行。在边缘端的执行可提高系统的功耗和处理/储存要求，但能够实现更快的响应速度。在边缘端的处理将成为大部分嵌入式应用中的主导应用，例如自动驾驶辅助系统、机器视觉等。

其次是在云端执行则需要嵌入式视觉系统捕捉影像，并且利用网络技术将影像传送到云端。可在云端处理的典型应用，包括医疗影像或科学应用。这类应用的信息处理非常密集，且毋需实时结果。

为实现图像处理链，嵌入式视觉系统的核心需要一个处理核心，不仅须控制所选的影像传感器，还要能接收和执行图像处理管线，并通过指定网络基础设施传送影像，或发送到选定的显示器。诸多严苛的要求导致经常必须选择FPGA，或者使用如Zynq组件的All Programmable SoC。
Zynq组件将两个高效能ARM A9处理器与FPGA架构结合，让处理系统(PS)能够用来透过GigE、PCIe或CAN等接口与主机系统连接，同时执行系统的一般管理和日常事务。组件的另一半，即可编程逻辑(PL)，可用来接收和处理影像，并充分利用FPGA架构的平行处理特性。若影像被要求通过网络基础设施传送，便能使用Zynq中的直接内存访问(DMA)控制器有效地将影像数据从PL移动到PS DDR内存。当影像移到PS DDR内存内，便可进一步被所选传输媒介的DMA控制器使用。

当然，一旦影像位于PS DDR内，高效能A9处理器亦可提供进一步的处理操作。Zynq架构的特点在于将处理后的影像从PS DDR移回PL中的影像管线。

传感器融合为嵌入式视觉发展最终目标
许多嵌入式视觉系统还要求能整合更多传感器数据，以便更佳地感测环境。包括使用许多同类型传感器扩大视野，例如自动驾驶辅助系统的全景功能，或者整合多个不同类型的传感器，提供可见光谱下无法看到的视觉内容，如在一般影像传感器数据上覆盖红外线信息。

在很多应用情境下，需要将嵌入式视觉应用的输出与其他传感器数据进行融合，让产生的影像包含多个不同传感器信息。最简单的传感器融合应用是将不同频谱的影像结合，例如将可见光与红外线融合以实现更好的夜视效果。

传感器融合另一项更加复杂的应用是，将影像系统、全球定位卫星系统(GNSS)、数字地图信息，以及不同波长下运行的其他传感器(例如雷达)进行融合，以确定另一辆汽车的相对位置，避免汽车互相碰撞。

由于要将不同系统融合在一起并撷取信息，因此传感器融合对处理器的条件要求非常高。All Programmable SoC解决方案能够与多个传感器建立接口连接，以及平行处理信息，提升数据传输量，因而在许多方面具备显著优势。

在传感器和系统层面，必须考虑诸多因素，并有许多技术、架构和组件可用来实现嵌入式视觉系统。