关于成像核心——ISP的分析介绍

成像系统

——光学镜片：把光聚焦到传感器上

——传感器：将光信号转换成电信号

——ISP：将传感器得到的信号进行处理得到可视图像

——其他影响图像质量的部件

成像过程

使用相机和手机等设备拍照时

ISP芯片是拍照过程中的运算处理单元，其地位相当于相机的“大脑”

ISP

ISP(Image Signal Processor)，即图像信号处理器，用于处理图像信号传感器输出的图像信号。它在相机系统中占有核心主导的地位，是构成相机的重要设备。

内部结构

•CPU

CPU 即中央处理器，可以运行AF、LSC 等各种图像处理算法，控制外围设备

•SUBIP

SUBIP 是各种功能模块的通称，对图像进行各自专业的处理。常见的SUBIP 如DIS、CSC、VRA 等。

•图像传输接口

图像传输接口主要分两种，并口ITU和串口 CSI。

•通用外围设备

通用外围设备指I2C、SPI、PWM、UART、WATCHDOG等。ISP 中包含 I2C 控制器，用于读取OTP信息，控制VCM等。

ISP工作流程

ISP处理图像数据基本流程图

ISP主要功能

•DEMOSAIC（去马赛克）

SENSOR 的像素点上覆盖着 CFA，光线通过 CFA 后照射到像素上。CFA 由 R、G、B 三种颜色的遮光罩组成，每种遮光罩只允许一种颜色通过，因此每个像素输出的信号只包含R、G、B 三者中的一种颜色信息。SENSOR 输出的这种数据就是 BAYER 数据，即通常所说的 RAW 数据。显而易见，RAW 数据所反映的颜色信息不是真实的颜色信息。DEMOSAIC 就是通过插值算法将每个像素所代表的真实颜色计算出来。Demosaic的目的就是有bayer数据恢复出完整的RGB数据。

•AF（Automatic focus）自动对焦

根据光学知识，景物在传感器上成像最清晰时处于合焦平面上。通过更改LENS 的位置，使得景物在传感器上清晰的成像，是 ISP FOCUS 功能所需完成的任务。FOCUS分为手动和自动两种模式。

•AWB (Automatic white balance)自动白平衡

白平衡与色温相关，用于衡量图像的色彩真实性和准确性。简单的说，就是通过图像调整，使在各种光学条件下拍摄出的照片色彩和人眼所看到的景物色彩完全相同。

•AE（Automatic exposure）自动曝光

ISP 需要实现 AE 功能，通过控制曝光程度，使得图像亮度适宜。

•Gamma Correction伽马校正

传感器对光线的响应和人眼对光线的响应是不同的。伽玛校正就是使得图像看起来符合人眼的特性。

•LSC(Lens shading correction)

用于消除图像周边和图片中心的不一致性，包含亮度和色度两方面。

•Noise Reduction噪声去除

除去图像中的噪点，使图像更加清晰。

•Crop/Resize

图像剪裁，即改变图像的尺寸，用于输出不同分辨率的图像。

•MCT-CMX多色温颜色矩阵矫正

让色彩贴近现实、饱满、细节突出、清晰度更好。

•VRA

视觉识别。用于识别特定的景物，例如人脸识别，车牌识别。

•DRC

动态范围校正。动态范围即图像的明暗区间。

•CSC

颜色空间转换。例如，ISP 会将 RGB 信号转化为 YUV 信号输出。

•IS

图像稳定。IS 的主要作用是使得图像不要因为手持时轻微的抖动而模糊不清。

控制方式

这里所说的控制方式是 AP 对 ISP 的操控方式。

I2C/SPI

这一般是外置 ISP 的做法。SPI 一般用于下载固件、I2C 一般用于寄存器控制。在内核的 ISP 驱动中，外置 ISP 一般是实现为 I2C 设备，然后封装成 V4L2-SUBDEV。

MEM MAP

这一般是内置 ISP 的做法。将 ISP 内部的寄存器地址空间映射到内核地址空间。

MEM SHARE

这也是内置 ISP 的做法。AP 这边分配内存，然后将内存地址传给 ISP，二者实际上共享同一块内存。因此 AP 对这段共享内存的操作会实时反馈到 ISP 端。

ISP 架构方案

上文多次提到外置 ISP 和内置 ISP，这实际上是 ISP 的架构方案。

外置 ISP 架构

外置 ISP 架构是指在 AP 外部单独布置 ISP 芯片用于图像信号处理。外置 ISP 的架构图一般如下所示：

外置 ISP 架构图

外置 ISP 架构的优点主要有：

能够提供更优秀的图像质量

在激烈的市场竞争下，能够存活到现在的外置 ISP 生产厂商在此领域一般都有很深的造诣，积累了丰富的影像质量调试经验，能够提供比内置 ISP 更优秀的性能和效果。因此，选用优质的外置 ISP 能提供专业而且优秀的图像质量。

能够支援更丰富的设计规划

外置 ISP 的选型基本不受 AP 的影响，因此魅族可以从各个优秀 ISP 芯片供应商的众多产品中甄选最合适的器件，从而设计出更多优秀的产品。

能够实现产品的差异化

内置 ISP 是封装在 AP 内部的，是和 AP 紧密的联系在一起，如果 AP 相同，那么 ISP 也就是一样的。因此基于同样 AP 生产出来的手机，其 ISP 的性能也是一样的，可供调教的条件也是固定的，这样就不利于实现产品的差异化。而如果选择外置 ISP，那么同一颗 AP，可以搭配不同型号的 ISP，这样可以实现产品的差异化，为给用户提供更丰富和优质的产品。

外置 ISP 架构的缺点主要有：

成本价格高

外置 ISP 需要单独购买，其售价往往不菲，而且某些特殊功能还需要额外支付费用。使用外置 ISP，需要进行额外的原理图设计和 LAYOUT，需要使用额外的元器件。

开发周期长

外置 ISP 驱动的设计需要多费精力和时间。使用外置 ISP 时，AP 供应商提供的 ISP 驱动就无法使用，需要额外设计编写外置 ISP 驱动。另外，为了和 AP 进行完美的搭配，将效果最大化，也往往需要付出更多的调试精力。上文也提到，使用外置 ISP，需要进行额外的原理图设计和 LAYOUT，需要使用额外的元器件，这也是需要花费时间进行处理的。

内置 ISP 架构

内置 ISP 架构是指在 AP 内部嵌入了 ISP IP，直接使用 AP 内部的 ISP 进行图像信号处理。 内置 ISP 的架构图一般如下所示：

内置 ISP 架构图

内置 ISP 架构的优点主要有：

能降低成本价格

内置 ISP 内嵌在 AP 内部，因此无需像外置 ISP 一样需要额外购买，且不占 PCB 空间，无需单独为其设计外围电路，这样就能节省 BOM，降低成本。鉴于大多数用户在选购手机时会将价格因素放在重要的位置，因此降低成本能有效的降低终端成品价格，有利于占领市场。

能提高产品的上市速度

内置 ISP 和 AP 紧密结合，无需进行原理图设计和 LAYOUT 设计，因此可以减小开发周期，加快产品上市的速度。

能降低开发难度

如果使用内置 ISP，那么 AP 供应商能在前期提供相关资料，驱动开发人员可以有充足的时间熟悉相关资料，而且不会存在软件版本适配问题，也不存在平台架构兼容性问题。但是，如果使用外置 ISP，那么 ISP 供应商往往都不能提供针对某个平台的代码/资料，而且一般都存在软件版本兼容问题，这就需要驱动开发人员付出额的经历和时间。