商汤科技人脸识别技术专利揭秘

商汤的优势还是在于AI人才的储备和算法优势。目前在城市级万路规模的视频监控项目，AI尚未普及，一旦达到一定规模，对平台端算法和算力的需求将会极高。

集微网消息，近年来，随着安防体系的日渐壮大、监控点的不断扩张和高清监控设备的普及，监控获得的图像视频信息呈现爆炸式的增长。传统视频监控系统的存储和检索等面临着巨大的挑战，如何快速、高效地从海量图像视频中提取出有用的信息至关重要。

为此，人们把人脸识别技术引入了视频监控系统中，人脸识别技术很大程度上依赖于卷积神经网络的支持，而卷积神经网络需要庞大的计算量。

同时，现有的视频监控系统中，人脸检测识别都是在后端服务器实现的，前端只负责图像数据的采集编码及传输。这种前后端结合操作的模式，需要较大网络带宽；同时，由于传输的视频流数据中大部分都是无用的信息，大大降低了后端服务器对有效数据提取的效率。因此一种能够直接应用在前端拍摄装置上的人脸识别方法显得尤为重要。

基于这些问题，商汤科技在17年8月31日申请了一项名为“人脸图像检索方法和系统、拍摄装置、计算机存储介质”的发明专利（申请号：201710774389.9），申请人为深圳市商汤科技有限公司。

根据目前公开的专利资料，让我们一起来了解一下这项人脸识别技术吧。

如上图所示为人脸图像检索方法的流程示意图，这样的方法将直接应用于拍摄装置上。首先通过卷积神经网络获得待检索图像对应的待检索人脸信息。卷积神经网络经过处理器配置对应的卷积计算配置信息，卷积神经网络包括至少一个卷积层，我们知道卷积层的层数越多，一般检测效果也会越好，并且这个卷积神经网络是可以预先训练好的。同时，这个步骤通过卷积神经网络处理获得对应的待检索人脸信息，将后续检索中的图像检索转换为人脸信息检索，使检索更快捷，无需后续转换。

其次，基于待检索人脸信息从数据库中查找匹配的预设人脸图像信息，数据库中保存有预设人脸图像信息。通过设置数据库在拍摄装置中实现了人脸的检测与识别工作，大大降低了网络带宽的要求，提高了数据传输效率。

最后，输出待检索人脸信息匹配的预设人脸图像信息。通过这样的方案，卷积神经网络获得待检索图像对应的待检索人脸信息，卷积神经网络经过处理器配置对应的卷积计算配置信息。由于卷积神经网络设置了卷积计算配置信息，输入到卷积神经网络中各卷积层中的图像的位宽都与卷积层相对应，提高了卷积层的处理效率，并输入的待检索图像可以快速准确的得到待检索人脸信息，既解决了定点运算计算精度低及影响计算结果准确度的问题，同时也提高了卷积神经网络的运算精度。

在了解了系统的整体方案之后，接下来我们再来看看该方法的硬件实施方案吧。

如上图所示为该拍摄装置中的组成硬件结构示意图，其中包括图像采集模块、ISP处理模块、存储模块、FPGA SoC模块、中央处理器、通信模块以及供电系统。

图像采集模块，用于采集视频流，并基于每个出现在视频流中的人脸图像在采集的视频流中筛选得到至少一个图像；ISP处理模块，用于对所有图像进行质量筛选，得到至少一个人脸图像质量达到设定阈值的第一图像；存储模块，用于存储对应第一图像的预设人脸图像信息。

FPGA SoC模块包括硬件监测和中央处理，硬件监测实现通过卷积神经网络获得待检索图像对应的待检索人脸信息；中央处理用于为卷积神经网络配置对应的卷积计算配置信息；通信模块，通过通信模块可将得到的匹配的预设人脸图像信息发送出去，同时还可以根据该预设人脸图像信息属于白名单或黑名单发出相应的信息到预设的客户端中。

以上就是商汤基于神经网络进行人脸识别的方案，通过在拍摄装置设置的数据库中检索匹配的预设人脸图像信息，实现了实时人脸检索的效果，提高了检索效率，不仅解决了现有方法中都在后端进行处理的某些局限弊端，同时也实现了将检测装置布置在前端时代价高昂的问题。人脸识别技术在我们的生活中也非常的常见，而商汤的这项技术无疑会使得我们的生活得到更多的便利。