白皮书：IP Camera的视频性能及动态分析

白皮书：IP Camera的视频性能及动态分析

现代人对人身及财产安全越来越关注，这促使视频安全监控市场迅速走红。基于对这一市场的关注，以及数字信号处理技术（DSP）和网络技术的发展，视频监控已经由模拟监控（VCR ，Video Cassette Recorder）发展到数字和模拟混合的DVR（Digital Video Recorder），进而向IP视频监控系统这种数字视频监控发展。目前，DVR系统占据了全球视频监控市场的50%，可谓如日中天。但业界对IP视频监控的发展趋势一致看好，视频监控系统向数字化发展成为发展趋势。

　　

IP Camera的优势

IP视频监控系统在布控距离、扩展能力和布控成本上与传统的模拟监控和DVR相比有所不同。从布控距离上讲，IP视频监控系统中的网络服务器直接连入网络，没有线缆长度和信号衰减的限制，没有地域概念；从扩展能力上讲，这种系统对于设备数量没有限制，增加设备只意味着IP地址的扩充。在成本上，IP视频监控系统占用带宽较少，可以利用企业现有的局域网，在安装时节省布线建网的成本。相比之下，对于其他的视频监控系统，如要增加新的监控点需要重新建网，新的设备很难添加到原有的系统中，并要受到线缆长度和信号衰减的限制。

　　

IP Camera监控系统常见开发平台分析

IP视频监控系统包括网络视频服务器监控系统和IP Camera监控系统，其中IP Camera是系统的前端处理部分。CCD/CMOS图像传感器把场景的光信号转变为电信号，这些电信号转换为数字信号后通过数据接口传输到DSP存储器。DSP作为IP Camera的数字图像处理和压缩以及操作系统运行的主处理器芯片,完成图像压缩、编码的同时把数据流送到硬盘或其他存储设备中保存。可以想见，前端设备对视频图像质量好坏有极大影响。因此，处理器的选择在开发人员如何能够成功地满足数字视频监控产品的设计需求上扮演了重要角色。

目前市场上，ASIC、FPGA与传统的DSP是常见的几种方案，每种都有自己的特点。其中，ASIC比较适合没有算法基础的研发队伍采用，因为ASIC芯片本身的压缩算法可以帮助加快产品研发进度。但是，随着音/视频格式和标准的不断演进，这种方案的灵活性对它在视频监控领域的广泛应用又成为一种限制。相比之下，传统的DSP处理具有更加灵活的处理能力，在数据处理方面也更加强大。然而，DSP传统的处理架构的重点还是集中在数据运算能力上面，对于视频监控应用来说不够优化。对于那些具有复杂的控制能力和更高速媒体流需求的系统级应用来说，传统的DSP并不理想——DSP中更多的系统资源被浪费掉了。由于具有强大的并行处理能力，在要求复杂和密集的视频信号处理的高端视频监控领域，理论上FPGA应该具有很大优势。遗憾的是，FPGA的产业生态环境、较大的功耗以及高昂的成本拖了它的后腿，使它很难成为这个应用领域的竞争者。

还有一种方案是采用MCU（ARM核）＋DSP。由于ARM采用RISC指令集，适合处理控制代码，对视频编解码则力不从心。DSP则能弥补ARM的不足，其运算能力能够满足人们对视频流畅程度的需求。这种方案的思路是发挥ARM核的控制作用和DSP处理器的处理能力。但是，研发人员需要对MCU和DSP这两套代码进行掌握和维护，研发成本和对研发人员的要求都比较高。

显而易见，如果能够有一种处理平台，将MCU和DSP的性能融合起来，不但能克服ARM核＋DSP所存在的瑕疵，同时能保留两则的优势特性。Blackfin处理器平台正是这样的汇聚平台，它给视频监控产品开发带来了新的力量。汇聚处理器将MCU和DSP的性能融合在一起，在单核上对uCLinux、协议栈和媒体流进行处理，将实时多媒体数据流及以控制为导向的任务进行优化。Blackfin家族使用了MSA（Micro Signal Architecture）架构，在一个单核架构中提供可编程的16/32位MCU和DSP功能，能够对控制、网络、多媒体以及信号处理区域进行划分。同样的开发环境适用于所有的Blackfin产品线，使IP视频监控产品的上市时间加快，成本大大降低。

IP Camera的视频性能和动态范围

通过强大的视频处理算法、丰富的外围接口等，Blackfin系列产品能够显著改善IP Camera系统的视频性能和动态范围。

目前市场上的宽动态IP Camera主要有两种技术实现方式，一种是以图像传感器配合数字信号处理器的方式实现宽动态效果，主要实现形式为双倍速CCD+DSP、普通CCD+双快门等。该技术方案采取双曝光或者多次曝光的方式，并通过DSP将采集到的模拟信号转换成数字信号输出，最后将两次曝光或者多次曝光形成的画面进行合成，从而得到一幅在光线明、暗处物体都能被清晰表现的画面，一般称此类摄像机为CCD宽动态摄像机。另一种是采用DPS（数字图像传感器与处理系统）的方案，该方案中DPS可以对拍摄区域进行多次单独无损失采样，并直接输出数字信号，因此无需经过DSP对信号进行转换，一般称为DPS宽动态摄像机。在CCD宽动态摄像机中采用Blackfin平台，因为Blackfin具有专门的底层视频指令集支持和更高的主频，在图像处理方面更高效和灵活。在DPS宽动态摄像机中，Blackfin和其他DSP处理器一样对宽动态范围没有贡献，主要用于视频压缩。

实际上，Blackfin系列DSP专门针对高速并行数据特别是视频数据集成了并行外围接口（PPI），在传统的数据总线的基础上增加了一条专用数据吞吐通道。PPI接口可以按照BT.601视频流的“硬件同步”模式工作，还能自动解码BT.656视频流前同步码，从而能够无缝连接到多种视频源和图像传感器，与直接存储器存取（DMA）控制器配合使用。PPI可以在完整的视频帧信息中只读入有效的视频信息，或只有消隐区域。当不需要完整的视频帧时，就可以显著节省带宽。从这个性能上讲，Blackfin平台对IP Camera应用提供了强大支持。另外，PPI可以忽略隔行BT.656视频流的所有第二场图像信息，从而提供了用于快速抽取输入信号的方法。PPI还可以直接连接到类似ADV7183A的视频解码器，简化电路设计。

Blackfin处理器适合于实现灵活的多媒体智能分析算法，具有专用的视频处理指令。同时，Image Tool Box智能监控软件包针对智能监控算法中的一些常用和基本函数做了专门优化，可以加速上层算法的实现和优化。在Blackfin平台上目前有多种智能处理模块，如鱼眼矫正、运动物体检测及基于运动检测的上层算法如入侵检测和定位等。

在高清和标清IP Camera应用中，MPEG 4、H.264压缩格式成为主流。拿H.264压缩格式来说，与传统的视频编解码格式H.263和MJPEG相比，使用H.264视频压缩格式能减少所需带宽，还可为有效的数据块传输提供卓有成效的网络提取层。单核架构的Blackfin汇聚平台提供核心频率性能高达600MHz（1200MMACs），支持多通道音频、VGA/D1视频应用和MPEG-4、H.264以及Windows Media压缩格式，能以较高分辨率对高级视频编解码进行处理。支持Blackfin平台的软件当中应用到了这些性能。对不同的媒体格式和功能，只需要简单地对高级软件进行更改就可以了。

通过将MCU和DSP汇聚到一个单内核的平台上，Blackfin处理器加速了视频监控系统的开发过程，大量集成的外围设备节省了大量重新组建这些设备的时间和成本。

另外，在视频监控应用中，被监控物体图像曝光过度或曝光不足的情况让人们非常烦恼。宽动态范围的产品很好地适应同一场景中不同部分光线强弱差别较大的情况，并能够在最终的视频中淡化这种光线亮度差异，使整个画面每一个部分都能清晰可辨，避免图像质量下降。

随着中国国内安防监控市场的发展，人们对这种宽动态范围IP Camera产品的需求越来越大。目前主流的宽动态摄像技术，是通过摄像机对每帧画面采集高速快门和低速快门两张图像，并通过后台的DSP处理合成为一帧图像而成。这样的技术体系对于整个摄像机从快门到影像传感器（如CCD或CMOS）再到后台处理程序和处理器都有更高的要求。

　　

处理器的选择

根据应用的具体情形和场合，处理器的正确选择可以有效提高图像质量、检测能力。性能显然是一个关键因素。由于处理器所有的工作量几乎都集中在图像处理方面，这要求处理器能够优化处理大量不同的视频任务。按照具体应用的不同，Blackfin平台包含多款产品可供选择。

例如BF51x系列，它包括BF512、BF514、BF516和BF518等多款产品，适合各种仪器仪表、便携式医疗诊断与VoIP电话等应用。这些单核汇聚处理器和MCU+DSP方案相比能够减少器件数量，降低功耗。BF51x处理器都具有高达400 MHz (800 MMACS)的时钟速率，集成了Lockbox安全技术。每个处理器包括两个双通道同步串行通信端口(SPORT)、一个高速并行外设接口、一个I2C兼容的TWI、两个PC兼容的UART，以及两个SPI兼容的串行外设接口端口。

在BF52x系列中，处理器在250MHz时核心功耗低至0.16mW/MHz。该系列处理器工作频率600MHz，其低功耗系列产品执行频率可达400MHz。在知识产权安全和网络安全能力上，其Lockbox安全技术可以提供有效保护。作为媒体协同处理器，ADI对系统外围电路较少的处理器进行了优化，使得设计时可以增加额外功能。此外，由于具备高功效信号处理能力和丰富外围接口，与以太网以及Wi-Fi 802.11 a/b/g模块的无缝连接可以轻松实现，对IP相机非常适合。

BF534处理器的系统外围包含一个集成了CAN 2.0B控制器、两组UART端口、一个SPI端口、两组串行端口、两条外部DMA请求信号线、48条通用I/O脚以及一个并行外围接口等。ADSP-BF536/537则进一步扩充了功能，包括集成IEEE 802.3 10/100 Ethernet MAC以及强化DMA系统，以提供高网络频宽能力。

BF561是双内核600MHz处理器，在信号处理和控制功能的集成与分割方面能够提供最高的性能和最大的设计灵活性。

总体看，Blackfin是适合视频监控应用，并有效帮助加速IP Camera系统设计和构建的平台，对提高IP Camera的视频性能和宽动态范围颇有成效。