探讨人脸识别中的光照与姿态问题

人脸识别关键问题研究

a) 人脸识别中的光照问题

光照变化是影响人脸识别性能的最关键因素，对该问题的解决程度关系着人脸识别实用化进程的成败。研究思路是将在对其进行系统分析的基础上，考虑对其进行量化研究的可能性，其中包括对光照强度和方向的量化、对人脸反射属性的量化、面部阴影和照度分析等等。在此基础上，考虑建立描述这些因素的数学模型，以便利用这些光照模型，在人脸图像预处理或者归一化阶段尽可能的补偿乃至消除其对识别性能的影响。重点研究如何在从人脸图像中将固有的人脸属性（反射率属性、3D表面形状属性）和光源、遮挡及高光等非人脸固有属性分离开来。基于统计视觉模型的反射率属性估计、3D表面形状估计、光照模式估计，以及任意光照图像生成算法是目前的主要研究内容。

具体考虑两种不同的解决思路：

利用光照模式参数空间估计光照模式，然后进行针对性的光照补偿，以便消除非均匀正面光照造成的阴影、高光等影响；

基于光照子空间模型的任意光照图像生成算法，用于生成多个不同光照条件的训练样本，然后利用具有良好的学习能力的人脸识别算法，如子空间法，SVM等方法进行识别，

b) 人脸识别中的姿态问题研究

姿态问题涉及头部在三维垂直坐标系中绕三个轴的旋转造成的面部变化，其中垂直于图像平面的两个方向的深度旋转会造成面部信息的部分缺失。使得姿态问题成为人脸识别的一个技术难题。

解决姿态问题有三种思路：

学习并记忆多种姿态特征，这对于多姿态人脸数据可以容易获取的情况比较实用，其优点是算法与正面人脸识别统一，不需要额外的技术支持，其缺点是存储需求大，姿态泛化能力不能确定，不能用于基于单张照片的人脸识别算法中等。

基于单张视图生成多角度视图，可以在只能获取用户单张照片的情况下合成该用户的多个学习样本，可以解决训练样本较少的情况下的多姿态人脸识别问题，从而改善识别性能。

基于姿态不变特征的方法，即寻求那些不随姿态的变化而变化的特征。中科院计算所的思路是采用基于统计的视觉模型，将输入姿态图像校正为正面图像，从而可以在统一的姿态空间内作特征的提取和匹配。

最后，基于单姿态视图的多姿态视图生成算法将是接下来要研究的核心算法，目前的基本思路是采用机器学习算法学习姿态的2D变化模式，并将一般人脸的3D模型作为先验知识，补偿2D姿态变换中不可见的部分，并将其应用到新的输入图像上去。

补充几点：

摄像机的图像问题

摄像机很多技术参数影响视频图像的质量，这些因素有感光器(CCD、CMOS)、感光器的大小、DSP的处理速度、内置图像处理芯片和镜头等，同时摄像机内置的一些设置参数也将影响视频质量，如曝光时间、光圈、动态白平衡等参数。

丢帧和丢脸问题

需要的网络识别和系统的计算识别可能会造成视频的丢帧和丢脸现象，特别是监控人流量大的区域，由于网络传输的带宽问题和计算能力问题，常常引起丢帧和丢脸。

视频人脸识别监控的最优方案

使用更先进的高清摄像头(3-5百万)。

室内均匀光线，或室外白天，无侧光和直射光

人群面向同样的方向，朝向相机的方向。

恰当的监控点，如走廊、巷子或安检门/闸机口等(不要一群人同时出现)。

相机与人脸的角度小于20°。

决定监控系统性能的几个主要因素

模板库的人数：不宜大，包含关键人物即可。

经过摄像头的人数：同时出现在摄像头的人数决定了单位时间里的比对次数。

报警反馈时间：实时性越强，对系统性能要求越高。

摄像头采集帧数：帧数越高，人员经过摄像头前采集的次数越多，比对的次数也越多。