使用图像传感器如何能获取清晰图片

不久前，成像领域最热门的争论是系统设计师是否应该从传统的CCD图像传感器转变为基于CMOS的胚胎继承者（如果是这样的话）。快进短短几年，技术转型即将完成。在分辨率，帧速率，低光灵敏度等方面，除了最苛刻的应用之外，所有应用都热情地接受了CMOS新贵。

CMOS传感器的优势只是摩尔定律不可避免的最新案例研究。 CCD传感器的重模拟电路依赖性意味着它们只能在一小部分代工厂和自保晶圆厂IC供应商支持的专业工艺上制造。随着时间的推移，这些专业工艺也越来越无法跟上其商品CMOS对应物的光刻技术发展步伐，从而导致相当高的每像素成本。最后，CMOS传感器的传统工艺基础使得存储器和逻辑处理模块与像素电路可选地集成在一起。

传感器缺点

正如工程领域中很少有黑白一样，向CMOS过渡传感器已被证明是一种混合的祝福。 CMOS传感器显示出比CCD更高的“暗电流”，导致较差的低光性能和更受限制的动态范围。此外，CCD直接输出每像素累积电荷，片外处理转换为相应的电压测量值，并从模拟域转换到数字域。

相反，CMOS传感器嵌入了电荷 - 电压功能模块，以及放大，A/D转换和其他电路，从而对每像素填充因子产生负面影响 - 每个像素用于光子捕获的总硅片面积的百分比其他函数（参见图1）。

图1：CMOS传感器增加的片上外围电路导致较低的填充因子（裸片的百分比用于光子捕获与其他功能相比）与CCD前体相比。 （由Eastman Kodak提供）。

微透镜和位于像素上方的其他类似功能结构，以及先进的像素设计和互连技术，可以在一定程度上抵消填充因子的缺点（见图2）。然而，它们并不是一个完美的解决方案，并且与例如微透镜的替代方案相比，它们的包含会对传感器制造成本产生负面影响。背面照明是一种设计技术，可重置有源矩阵晶体管及其在像素光敏层下方的互连迹线，也可改善低环境光照效果。

图2：位于图像传感器像素（a）阵列（b）上方的微透镜减少但不消除与填充因子相关的低光性能缺点（c），随着像素尺寸减小，变得更加尖锐。 （由Eastman Kodak提供）。

前面提到的摩尔定律趋势 - 在给定尺寸的硅片上随时间推移实现更高水平的电路集成的趋势 - 通常对半导体制造的器件友好。然而，这一消息对于图像传感器来说并不那么令人鼓舞。缩小像素尺寸以寻找更高的像素数，并且除了填充因子缺点之外，您还固有地减少了每个像素的传感器在给定时间段内可以捕获和累积的光子数量。例如，看看Aptina在Digi-Key产品目录中的产品，你会注意到虽然VGA分辨率传感器的像素尺寸约为6 x6μm，但Aptina的5 MP传感器将每像素尺寸减小到~2.2 x2.2μm，更高分辨率的产品缩小到更小的1.67 x1.67μm像素度量。

其他图像传感器供应商的产品在爬上分辨率阶梯时也实现了类似的像素尺寸缩减。如果您试图通过放大来自像素的信号来抵消减少的光子数量趋势，您也会放大噪声。结果，作为在线消费者反馈数据库的粗略细读将很快揭示，与较新的和所谓的“更好”的相机相比，丰富的用户感到沮丧，这些相机比较低分辨率的前辈提供更差的整体图像。

记忆，处理负担

噪声和其他令人震惊的神器填充快照并不是您在Amazon.com的反馈页面和其他志同道合的网站上遇到的唯一主题。另一个常见的抱怨涉及慢速快门按钮按下图像捕获速度，以及相关的长按快照 - 延迟 - 相当于视频捕获中低帧速率的静止图像。这两个因素基本上与增加的每图像分辨率有关，因此导致每图像处理负担增加。简单的数学突出了根本原因 - 5 MP（~259 x 1944有源像素）传感器的VGA（640 x 480有源像素）兄弟像素的像素是其16倍以上，需要更多的处理能力来抑制高分辨率的感应噪声。点击摩尔定律趋势也会影响图像处理器的能力。逻辑集成和时钟速度的改进在某种程度上具有抵消传感器分辨率驱动的增加的处理需求。幸运的是，图像压缩和其他处理任务特别适合并行处理技术。尽管如此，在所有其他因素相同的情况下，基于更高分辨率的静止图像（或视频中的帧）的设计需要比更小分辨率的替代设计方法更大，更昂贵且更耗电的图像处理器。 。另请注意，高价处理器不会是唯一会对总物料清单成本产生负面影响的IC。在初始捕获，最终归档和最终传输之间的处理功能序列期间，更多像素需要更多RAM来保存它们（以及它们的中间副本）。更多和更大的存储器设备意味着更多的成本，更多的功率消耗（包括DRAM的定期刷新），需要更多的接口引脚，以及更多的电路板空间消耗。相反，使用低分辨率传感器的输出，您甚至可以在SoC中利用嵌入式RAM阵列，而不需要依赖独立的存储设备。

存储和传输需求

处理完成后，在移动到HDD，光盘，磁带或闪存之前，所得到的静止图像或视频帧序列经常在驻留的非易失性存储器中存储一段时间。未压缩的图像存档不仅需要非常快的存储写入速度 - 尤其是涉及高分辨率时 - 还需要令人畏惧的存储容量，以实现合理的静态图像计数和视频捕获时间。因此，有损压缩常常用于缩小每帧有效载荷，同时保留原始无损图像的可接受的近似值。

尽管如此，即使考虑到有损压缩后通常会显着减少字节数，源内容的分辨率也会越大，该内容的压缩版本越大。有损压缩算法中的世代演进，例如从用于视频的MPEG-2到MPEG-4或VC-1，或用于从JPEG到JPEG XR或用于静止图像的WebP，在概念上允许更高的像素数，几乎没有显着增加的结果文件大小。但是，一代算法增量通常需要近乎指数级地增加所需的处理能力和临时内存占用。为了追求特定的文件大小的愿望，对图像进行压缩的越积极，得到的材料的观看者就越有可能辨别出令人分心的伪像错误。

更新的压缩算法本质上也不如他们的更多支持成熟的前辈，即使在所谓的“支持”系统中，它们的复杂性往往也会导致不兼容。例如，MPEG-4包含各种各样的零件和级别。例如，通常称为“MPEG-4”的变体 - 或者也称为H.264，AVC和JVT - 用于休闲术语，严格来说是MPEG-4 Part 10，它仍然包含17种不同的Profile版本。相反，通过使用较低分辨率的图像传感器，您可以捕获与以前相同数量的图片（或相同的视频运行时），但您可以使用较不复杂且更广泛支持的算法，例如MJPEG。点击考虑到非无限存储容量，本地存档的内容必须迟早在其他地方重新定位，在这种情况下，必须从存储的字节到传输的位的视角转换。在“实时”流应用程序（例如视频会议）的情况下，不存在临时非易失性存储使用。现代有线协议，例如USB 2.0，FireWire 400和100 Mbps以太网，幸运地为许多静态图像和视频传输应用提供了足够的带宽。诸如USB 3.0，FireWire®800，GbE和英特尔支持的Thunderbolt™（以前的LightPeak）等技术后继者将这一成功扩展到高清时代，在某些情况下，通过从铜缆迁移到光纤作为物理互连介质。

带宽情况并不像无线本地网络技术那样乐观，当传输的数据超出局域网扩展到有线或无线广域网时，也不会乐观。这些情况下的峰值带宽是一个数量级或更低，可靠的持续速度仍然较低。

经济驱动因素也值得考虑。宽带和蜂窝服务提供商希望不会淹没其网络的用户导致带宽上限和昂贵的超额费用，以及在繁重的网络负载时间范围内使用时触发的中间带宽“限制”，特别是如果它超过了最差记录的阈值。 br》典型的用户不会理解 - 并且就此而言不应该理解 - 这些挫折的根本原因。例如，所有用户都知道，图片需要很长时间才能上传，视频口吃，并且每月服务费用大大高于应有的水平。所有这些都是令人信服的理由，为什么你应该认真考虑在你的设计中包含一个分辨率低得多的图像传感器，而不是“更多像素更好”的简单透视可能会建议。

应用要求诚实地问自己和你的营销对手只需要什么图像分辨率来满足用户的视觉质量期望。市场已经证明，与静止图像相比，视频的“动态图像”特性放松了每帧的分辨率要求，而静止图像本质上可以接受更严格的观众审查。

毕竟，即使是入门级VGA传感器也能够支持DVD视频格式的480线分辨率要求。

技术老手也可能还记得AppleQuickTime®，Intel的初始迭代提供的邮票大小的视频Indeo™和其他早期视频播放标准。即使是美国ATSC数字电视标准的最高分辨率变体，只需要1920 x 1080像素，每帧2 MP - 或换句话说，每1080i隔行扫描1 MP。即使有静止图像，您的用户可能需要的像素比他们想象的要少，特别是如果它们还需要其他属性，例如出色的低光质量，快速快速拍摄和快速捕捉速度以及快速图像卸载速率。即使您假设用户以相对高质量的300 dpi设置打印出图像，5 MP传感器也会生成无插值的6“x 8”输出镜头。

更常见的低dpi打印将实现更高的效果来自5 MP源的原始分辨率图片。即使您积极裁剪原始图像，仍然可以生成高质量的快照照片。现在，推断并考虑来自现代14 MP傻瓜相机的高质量照片的大小。现代像素插值技术可以进一步扩展这些功能。难怪越来越多的技术分析师和记者，更不用说知识渊博的用户，现在声称百万像素‘竞赛’结束了吗？

Apple的方法

Apple的iPad®2平板电脑，以及公司的之前推出的iPod®touch和iPhone®4兄弟姐妹，提供了一个有趣的案例研究，说明设计团队如何在定义和开发成像子系统时平衡竞争和经常相互矛盾的权衡（见图3）。 iPhone 4于2010年6月上市销售，是第一款包含用于视频会议应用的前置图像传感器的iPhone系列，如Apple的FaceTime®。

iPhone 4前置传感器的VGA分辨率能够捕获标准清晰度静止图像以及高达30 fps的480p视频。配套的后置式图像传感器，用于传统的图像捕捉应用，支持5 MP静态照片和720p，30 fps高清视频，均代表上一代Apple手机的升级，但低于独立相机的功能（见表1） 。然而，当iPhone 4成为Flickr®照片共享网站上最受欢迎的图像来源时，它最近取得了显着的指标。

图3： iPad®2和第四代iPod®touch®首次为平台系列引入了图像捕捉功能。 （由Apple提供）。

ProductFront camera前置摄像头（视频）后置摄像头（静态）后置摄像头（视频）iPhoneN/AN/A1600 x 1200N/AiPhone 3N/AN/A1600 x 1200N/AiPhone 3SN/AN/A2048 x 1536480p 30 fps（受Apple约束;传感器支持720p）iPhone 4640 x 480480p 30 fps2592 x 1936720p 30 fps

2010年9月推出的第四代iPodtouch®是该特定产品系列的第一个版本，其中包括一个图像传感器 - 实际上是两个。前置传感器规格模仿了iPhone 4，再次考虑到FaceTime及其视频会议。然而，与之前三个月的iPhone 4相比，背部安装的传感器基本上具有分辨率上限，“仅”支持0.7 MP（960 x 720像素）静止图像，以及720p 30 fps视频。同样的iPod touch传感器套件也在2011年3月推出iPad 2，其第一代iPad前身没有提供图像捕捉功能。可以说，iPad 2的背部安装图像传感器可能主要用于竞争定位原因。替代平板电脑，例如基于Android™的平板电脑，摩托罗拉Xoom™提供的静态图像分辨率高达5 MP的后置摄像头，即使没有最佳证据表明任何用户都使用任何平板电脑作为静态和摄像机替代品