揭开图形信号处理的面纱，看背后的大学问

　这篇文章是我从事ISP研究数年来的一些经验总结，没有用到深奥的理论知识，有的只是根据实际状况来处理的一些常规方法，以及曾经犯过的错误总结。我想把ISP function的原理用简单浅显的语言描述出来，希望对初学者有所帮助。这里的ISP主要是指从CMOS sensor输出的bayer pattern，到转换成通用的YUV或者YCbCr格式的过程，通常用于USB摄像头/监控摄像头/手机/平板等芯片设计中。
　　在IC设计中，受限于处理速度，像素级的ISP算法都相对简单，只会用到加/减/乘/比较等基本运算，通常不会用到除法、指数、对数、平方根、三角函数等复杂运算。以1080p 30fps的视频为例，像素处理速度为1080*1920*30=62M pixel/s，每个pixel都需要非常多的基本运算，用pipeline的方式实现连续高速计算。像除法，指数运算或者三角函数，则较多的时钟周期才能完成一次计算，因此不适用于ISP的像素级处理，在算法设计中要尽量避免这些复杂运算。ISP中也有针对整幅图像处理的运算（非像素级），例如白平衡AWB，自动曝光AE和自动对焦AF，这些算法比较灵活，处理速度要求不高，通常由CPU来处理的，任何复杂运算都可以用，只要CPU性能足够。
　　研究ISP算法是一件充满乐趣的事情，原因在于ISP算法没有标准答案，任何ISP算法都没有一个标准协议，每个人都可以自由发挥自己的想象力，目的只有一个，让人眼看得舒服，大家看着好，才是真的好。每个人的想象力各不相同，算法复杂度也是无穷尽，评价ISP算法的优劣，主要就是一个性价比：在一定复杂度要求的条件下，达到最好的图像质量。在学习ISP相关的paper的时候，要关注的重点是算法的原理，或者说出发点，而不是计算公式，因为公式中通常都是复杂运算，难以实际用起来，在理解了原理之后，可以找近似的替代算法来达到相近的效果。
　　从视觉感受来分，我把ISP大致分成亮度，色彩和细节三个部分。亮度是指对图像整体的亮度调整，涉及到的算法有自动曝光Auto Exposure，黑电平校正Black Level Correction，镜头阴影校正Lens Shading Correction，Gamma，High Dynamic Ranger等。涉及到色彩的有白平衡Auto White Balance，色彩校正Color Correction Matrix，饱和度Saturation，色相Hue等。细节的算法主要的去噪Denoise，插值interpolation，缩放zoom，边缘增强edge enhance等。还有一些其他相对特殊的算法，例如自动对焦Auto Focus，防闪烁anti-flick等。一个简化的ISP算法框架如下图。
　　
　　Figure 0.1 ISP简单框架
　　ISP各个基本算法是相对独立的，但是在整体效果呈现上，又是相互关联的。举例来说，Lens Shading Correction这个算法把要图像四周的拉亮，这就导致图像四周的Noise比较大， 而Noise较大的话，edge enhance就要对四周的像素做特殊处理，使得Noise不会被放大，这会导致图像中心相对清晰，四周相对模糊。经常调校ISP的人，对此可能深有体会。诸多ISP算法模块，内在是有一些确定的逻辑关系的，上图中的框架结构，有些顺序是可以改变，有些则不可以改变， 有些改变会导致算法复杂度提升。ISP算法中有不少特性是相互对立矛盾的，例如清晰度和噪声，AWB中的稳定度和精确度，AE中的收敛稳定性和收敛速度等，这些对立的特性，就像天平的两端，需要根据客户需求或者实际应用场景去做平衡。
　　对ISP的研究学习过程，既有符合构想预期的情况，也有充满意外的时候，同时感叹一下人眼或者说人脑的高复杂度和高灵敏度。ISP的各种数学运算，最终是要让CMOS sensor感应到的图像，转化模拟成人眼/人脑感受到的图像，通过不断的学习和尝试，让各种ISP模块中的数学计算，能够得出期望的图像效果，或者从图像效果反推出算法中的原因所在。一个有经验的ISP算法研究工程师，就是建立起数学计算和图像效果之间的映射关系。
　　接下来，我将从图像format开始，然后再从图像亮度，色彩和细节三个方面来一一介绍ISP中各个function。