依据应用考虑选择单色/彩色传感器 - 嵌入式视觉需求增 影像传感器设计考虑更复杂

．彩色传感器：
需在每个像素上使用贝尔图形，在一条在线交替变换红和绿色，并在下一条在线交替蓝和绿色(绿色用得较多是因为人眼对绿色波长较为敏感)。这意味着要对接收到的光子进行滤波处理，使每个像素只接收所需波长的光子。用户可以针对影像进行后续处理，以决定像素颜色，并用不同颜色围绕像素来重建每个像素上的色彩，且不会降低影像分辨率。

彩色传感器使重建和输出影像所需的图像处理链变得复杂。此外，贝尔图形确实会导致分辨率降低，但没有想象中差，通常降幅为20%。

．单色传感器：
由于影像数组上没有贝尔图形，因此每个像素能接收所有光子。如此可提升影像的灵敏度，使影像的读取更简易，因为不会产生颜色重建所需的去马赛克效应。

经选择我们决定使用CIS组件，属于复杂的系统单芯片。因此，还必须考虑以下与读取模式和整合时间相关的问题。

．整合时间：
意指读取前像素的曝光时间。在较简单的CCD系统上，须要接近电子装置在组件外执行该时序。然而对于CIS组件而言，整合时间可透过指令接口由缓存器来配置，然后CIS组件可针对常用的两种读取模式精确地执行整合时间。

．全局快门模式：
此种模式下，所有像素同时接受光照，然后读取。由于所有像素同时读取，因此会增加读取噪声。此模式是用于若针对快速移动物体进行拍摄快照。

．滚动快门模式：
此种模式下，进行逐行曝光和读取。此模式的读取噪声较小，然而在捕获快速移动物体较不如全局快门模式。

选择合适的传感器之后，在进行系统开发的过程中还须考虑和解决诸多挑战。除了技术挑战之外，开发系统还会面临时间压力，确保产品在既定时程上市。

尺寸/重量/功耗　系统开发挑战多
使用者必须根据时间限制，了解开发过程中哪部分活动能带来附加价值，接着做出正确的选择，并厘清哪部分应该自行开发(以能创造附加价值的增值作业)，哪部分可以购买商用现成产品(COTS)或委外代工。聚焦于附加作业及运用硬件、软件和FPGA 层级的IP模块，是满足上市时程的重要促成因素之一。

除了上市时程的限制，嵌入式视觉系统开发过程中还必须考虑尺寸、重量、功耗和成本(SWAP-C)要求。什么主导并支配系统内的SWAP-C，取决于具体应用领域，例如手持设备在功耗方面的必备条件，相较于自动驾驶辅助系统更为严格。然而，就自动驾驶辅助系统而言，由于必须生产几百万台，因此解决方案的成本便成为主要考虑因素。

倘若想在尺寸、重量、功耗和成本方面获得良好的成效，必须设法让传感器和处理系统更紧密的结合，成为使用数量更少但功能更强的整合型组件。

每种应用领域都具有不同附加价值及不同的尺寸、重量、功耗和成本考虑，因此几乎所有嵌入式视觉系统都须要执行图像处理序列。此序列可与所选的传感器建立接口连接，并执行所需的操作，以便产生适合进一步加工或直接透过网络传输的影像。基本的图像处理序列包含：
．照相机界面：接收来自传感器的原始影像
．颜色滤波数组：重建像素颜色
．色彩空间转换：转换成针对编解碼的正确色彩空间
．输出格式化：与输出媒介进行接口连接

序列在图像处理管线中针对接收的影像执行和应用算法。算法会根据应用的不同而变化，不过，有一些常用的图像处理算法可用来提高对比度、检测影像中的特性、目标或运动，或校正模糊影像。

现成架构有助算法加速开发
这些算法应该在一个架构内被开发，以在最短时间内将产品推向市场，并鼓励重复使用，以降低非重复性和重复性之工程成本。以下为几种应考虑的现成架构：
．OpenVX：
用于开发图像处理应用的开放原始码应用程序。

．OpenCV2：
计算机视觉开放原始码，为一款以C/C++为基础的实时计算机视觉函式库。

．OpenCL：
以C++为基础的计算机语言开放原始码，用于开发GPU、FPGA等常见平行处理应用。

．SDSoC：
赛灵思的一款设计环境，开发人员借助该环境可在Zynq或 UltraScale+ MPSoC组件的ARM处理系统中执行编写的C/C++算法，分析基准程序代码特性以找出效能瓶颈，接着利用赛灵思高阶合成技术，将瓶颈转换至硬件支持的IP，并在组件的可编程逻辑(PL)部分中运行。

若采用FPGA或All Programmable SoC方案时，将这些架构与HLS结合使用，能够高效开发出嵌入式视觉应用，并藉由硬件回路快速演示。
影像经过处理管线序列之后，数据从系统输出的方式也很重要，以下有三种选择：
1.利用视讯图形数组(VGA)、高画质多媒体接口(HDMI)、串行数字接口(SDI)或DisplayPort等标准将影像输出到显示器。许多电动车采用触控式显示屏幕，以便对系统进行控制和配置。

2.将影像或从影像中撷取的信息传送到另一个系统，如同云端处理应用般使用影像或撷取出的信息。

3.将影像储存在非挥发性媒介中，供未来使用。