社区智能卫士-智能安全系统

社区的智能守护者：利用识别技术的智能安全系统

智能社区安全

在讨论人类社会的未来时，智慧社区的话题不容忽视。2020年5月，中国2020年国务院政府工作报告提出，重点支持“两新一大”类型的智慧社区。

智慧社区可以包括新型基础设施建设、新城建设和交通、水利等重大项目。前两个——新基建和新城建设——以智慧社区为重点。

智能社区利用一系列新技术来改善和促进日常生活。除了无人社区超市，典型应用还包括智能家居系统和自动泊车。在这些无数的应用中，社区安全系统是最关键的。从邻里和住宅楼门禁系统到整个社区的摄像头网络，智能系统可以代替保安人员执行身份识别、邻里监视、危险警报等。

在美国，CBS 电视剧“疑犯嫌疑人”描绘了一个由配备强大功能的先进人工智能支持的安全系统。安装在特定城市各处的摄像头网络可能能够记录全方位的信息，包括身份、行为甚至人际关系，而中央大脑会分析这些信息以确定威胁，甚至对潜在威胁做出预测。当然，该剧近乎神明的人工智能系统目前还牢牢停留在科幻领域。但它所描绘的智能安防系统现在正在慢慢变成现实。在智慧社区和智慧城市中，智能安防系统可以作为结合人脸识别、行为识别和人类身份识别的人工智能系统。

人脸识别技术

基于计算机的面部识别技术的研究始于 20 世纪中叶。最早的努力是在模式识别上看到的，之后逐渐发展和完善了用于人脸检测、人脸对齐、人脸属性识别、人脸验证和识别的各种算法。这些技术现在已经广泛应用于日常生活中，包括手机和相机上的人脸抓拍软件、上下班打卡的自动人脸识别，以及新建社区增加的配备人脸识别技术的门禁系统。

人脸检测

开发面部识别算法的第一步是确定给定图像或视频中是否存在面部，并识别与所述面部相对应的像素范围。2001年，保罗·维奥拉和迈克尔·琼斯共同发明了现在著名的维奥拉·琼斯目标检测方法，该方法为后来的人脸检测算法提供了基础。

Viola-Jones 算法包括两个部分：特征和分类器。该算法利用人脸的 Haar 特征，对应于由模拟目标不同部分之间的明暗关系的黑白矩形形成的特征。这些特征可用于寻找对象面部存在的明暗对比区域，例如比眼睛亮的鼻梁和通常比其他区域暗的嘴巴. 这些特征可用于匹配目标图像中的某些候选框，然后通过 AdaBoost 分类器输出人脸或非人脸标签。值得注意的是，在 Viola-Jones 算法中，多个分类器被链接在一起形成一个集成分类器。

其他后续研究也基于特征和分类器解决了这个问题。在特征方面，今天的安全系统使用其他相对复杂的特征来代替Haar特征。这样一方面可以提高系统的检测率，另一方面。可以更好的解决被摄人脸没有正对摄像头导致检测失败的问题。在分类器方面，可以使用非最大抑制（NMS）方法将位置和大小相似的候选框组合起来，从而大量减少候选框的数量。相比之下，深度神经网络可以使用显卡来执行大部分所需的计算，大大提高了计算速度。

面部对齐

因为标准化人脸的使用使得包括人脸识别在内的算法的结果更加稳定，所以关键步骤是在称为人脸对齐的过程中，通过算法将具有不同角度和分辨率的人脸匹配到标准位置。从这个角度来看，所有人脸都可以看作是标准人脸仿射变换（缩放、旋转和平移）的结果，而人脸对齐算法的目标是基于目标人脸的特征点来反转该变换过程。

计算机科学家最初定义了 68 个特征点，可以大致捕捉人脸的主要特征。开发此类算法的典型方法是让计算机学习如何使用这些特征点将标准人脸图像逐步转换为真实图像。标准人脸图像到真实人脸图像的映射是通过训练一系列回归器实现的，这样每个回归器都能学习一部分转换后的信息。

人脸属性识别

人脸属性包括性别、种族、年龄、表情等，准确区分这些属性可以更好地判断主体的偏好和心理状态。一旦进行了人脸检测和对齐，人脸属性识别就相对简单了。它本质上是借助大数据进行图像分类和回归。

2015年，微软开发了一款年龄预测应用程序（how-old.net），可以根据用户的图像对照片中的人进行年龄预测。在这个系统中，人脸首先被圈起来。然后提取的特征向量通过分类器分配性别标签，之后使用年龄回归分析器获得相应的年龄数据。当利用深度神经网络时，可以将特征提取和分类回归集成到一个算法中，同时实现多个属性的实时预测。同样，面部表情可以分类并进行回归。然后它们可以用于智能家居控制系统和安全系统，以便在发生危险时，可以在眨眼间发出警报。

面部验证和识别

使用上述算法，可以在称为面部验证的过程中确定两张图片是否为同一个人。推而广之，对于任何面部图像输入，计算机都可以在数据库中匹配相关人员的数据，并在称为面部识别的过程中输出他或她的身份信息和属性信息（图 1）。

该算法的速度对于确保流畅的用户体验至关重要，因为需要将输入图像与数据库中包含的大量图像进行比较。一种解决方案是从每个目标图像中提取特征。一种这样的方法是主成分分析 (PCA)，这是一种从检测到的面部选择框中获得面部特定特征的过程，之后使用相关性分析来获得最接近的信息匹配。另一个重要特征是尺度不变特征变换 (SIFT)，它可以高精度地匹配图像中的特征点，即使图像已经过旋转、缩放，甚至在使用不同相机时分辨率发生变化。

在不同的光照条件下或通过不同的媒体呈现时，人脸看起来会有所不同。直接特征提取可能无法满足所有面部识别场景的需求，因此将目标面部特征与光照数据等信息解耦至关重要。完善的局部二进制模式 (LBP) 算法可用于删除光照信息。在 LBP 中，每个像素与其相邻像素进行比较，然后保留整个图像中像素之间的大小关系，但删除它们的特定值。这样，面部特征仍然保留，同时消除了由光照或纹理引起的像素偏移。Disentangled representation是近年来发展起来的一种新技术，

行为识别与识别技术

除了人脸识别技术，行为识别与识别也是智能安防系统的重要组成部分。具体而言，行为识别是指对视频中的人所执行的行为进行分类。相比之下，身份识别是指基于摄像头网络识别同一个人，之后确定他们的移动轨迹，并评估他们的意图是否可疑。结合身份识别和行为识别，我们可以更好地确定给定视频中主体的动作状态。

行为识别

最初，行为识别被视为图像分类的一个特例。分类目标从图像变为视频，并且动作受分类而不是对象和面部。视频作为智能安防系统的主要存储介质，可以看作是多幅图像的组合，因此图像分类方法（如深度学习算法）可以直接用于行为识别（图2 ）). 然而，由于主体行为固有的时间特性，相关的时间特征也可以提高准确性。光流是一种应用于视频的特征，它标记图像的两个连续帧之间对应点的变化路径。当属于多个连续帧的对应点及其周围的像素信息被编码成单个特征时，就形成了视频轨迹。多个轨迹的组合提供了行为信息的良好表示。

近年来，深度学习算法在行为识别领域取得了长足的进步。香港中文大学计算机科学家提出的时间段网络（TSN）算法提高了行为识别的准确性。在 TSN 算法中，同时使用原始视频和相应的光流图来训练深度神经网络，从而允许单个模型对外观信息和动态信息进行编码。此外，同一视频被随机采样以构建多个组合，以便也可以识别同一动作的不同速度。除了以TSN为例的一类算法，新加坡南洋理工大学还发布了一个大型标签行为识别数据库（NTU RGB+D），其中包含医院和疗养院常见的几种动作（例如坐下、躺下和跌倒）。使用这些算法和数据训练的行为识别系统非常适合对关键人物和区域进行监控。

身份识别

用于识别的特征可以是包罗万象的，包括面部特征、身体特征、姿势特征、运动特征、服装特征等。由于相机分辨率的限制，面部特征只能作为身份识别的辅助手段。相比之下，姿势、动作、服装等较大的特征被用作主要特征，服装特征占据较大份额，作为类似于人眼的识别过程的一部分。因此，构建身份识别算法的关键在于如何最好地利用多个特征。

深度学习算法仍然发挥着重要作用。它们允许深度神经网络通过大量数据的输入自动提取特征并为不同的特征分配不同的权重。同时，他们还训练了多个分类器来沿着不同的维度做出判断。具体来说，身份识别算法结合了几个组合目标，包括外观分类（服装、背包、吊坠等）、体型分类（男性/女性、身高等）和成分分类（手臂、腿、躯干、等），最终结果是多个分类器的加权组合。近年来，为了同时放大不同个体之间的区别并减少同一个体不同场景之间的区别，

技术挑战与展望

人脸识别和身份行为识别在安防系统应用中都具有很大的优势。最重要的是，计算机可以完成人类无法实现的 24 小时全天候监控，并且覆盖范围的扩大提高了整个系统的安全性。其次，强大的计算机可以快速处理大量数据，大大提高识别安全隐患的速度。此外，所使用的信息是外部信息（例如面孔、动作和衣服），不仅易于访问，而且还允许在主体不知情的情况下进行全面的监控和分析。然而，虽然具有上述功能的智能摄像头开始在一些公共场所和社区中使用，但在实现大规模部署之前，仍需要解决一些技术挑战。

系统健壮性

在人脸识别中，人脸经常被眼镜、墨镜、口罩等遮挡，在行为和身份识别中，有时会遮挡四肢。这些问题对算法提出了重大挑战。虽然某些照明问题可以通过解耦算法部分解决，但某些条件（例如黑暗环境或具有不同分辨率的相机）仍然会影响算法的准确性。此外，看起来相似的面孔、着装和动作相似的人以及面部和动作特征随时间的变化都会导致识别不准确。

数据范围及反馈速度

从理论上讲，数据量越大，可以对计算机进行更全面的训练。然而在现实中，人脸、行为和身份识别数据集可能非常庞大，只有经过人工标记后才能用于训练机器学习算法。因此，仅标记一项就需要大量的人力投资。另一方面，一旦部署了安全系统，计算机每秒需要处理大量新数据，这会减慢反馈速度。在安全系统中，计算机还需要从数据中提取关键特征和信息并进行综合，以获得更复杂的结果（图3 ）). 目前，算法仍然只负责特定的功能，例如人脸检测和行为识别。未来，当数据集规模和计算能力达到一定水平时，需要新的算法从多角度综合信息，快速反馈给安全管理者。

图 3：安全系统需要从数据中提取关键特征和信息并对其进行综合以获得更复杂的结果。（来源：MONOPOLY919/Shutterstock.com）

数据和算法安全

安全系统本身的安全性能是评价此类系统的重要标准。然而，在互联网时代，数据安全仍然是一个巨大的挑战。由于社交媒体的流行，几乎每个人的面部数据和身份信息都可以在线获取。一旦这些信息与成像技术甚至 3D 打印相结合，面部识别系统可能会受到损害。例如，一些研究人员现在专注于如何将真假面部识别纳入面部识别系统，以防范此类潜在的安全威胁。

其他算法也在不断升级，对现有的识别技术提出了新的挑战。例如，近年来，生成对抗网络已经生成了真实人脸的图像，甚至带有自动换脸功能的视频也变得司空见惯。这些生成的人脸甚至可以骗过现有的人脸识别系统。此外，最近的一篇论文表明，如果对身份识别系统进行干扰，则可以修改算法的身份匹配结果，使其不反映现实。犯罪分子甚至可以干扰算法以逃避系统的跟踪。

结论

上面我们已经表明，新算法的开发仍然是实现智能社区智能安全系统的先决条件。除了提高现有算法对大规模数据处理的鲁棒性外，还需要逐步引入新型数据和算法保护机制，以应对新的挑战和需求。计算机科学家仍在不断努力克服这些困难。基于稀疏表情构建的人脸识别系统可以识别不同遮盖条件下的人脸，提高了人脸识别算法处理特殊环境数据的能力。在训练识别算法时，可以引入生成对抗网络和迁移学习等学习机制，以在部署时利用容器技术和联邦学习。这不仅可以让算法执行识别任务，还可以让算法区分不同的数据源和恶意攻击，从而更好地保护系统的数据和算法。未来，随着算法在这些领域不断迭代改进，更先进的自动识别技术将成为智慧社区和智慧城市不可或缺的组成部分。数据和算法。未来，随着算法在这些领域不断迭代改进，更先进的自动识别技术将成为智慧社区和智慧城市不可或缺的组成部分。数据和算法。未来，随着算法在这些领域不断迭代改进，更先进的自动识别技术将成为智慧社区和智慧城市不可或缺的组成部分。

王东刚是悉尼大学的在读博士。他的研究涉及医学影像、人工智能、神经科学和视频分析，一直致力于将机器学习技术应用到日常生活中。曾在CVPR、ECCV等国际顶级会议发表论文，担任IEEE Transactions on Circuits and Systems for Video Technology、IEEE Transactions on Multimedia等期刊和AAAI、ICML等会议的审稿人。他在开发机器学习和计算机视觉算法方面经验丰富。与中国、美国、澳大利亚的公司和机构合作项目包括多视角动作识别、基于监控视频的道路管理、脑CT自动分诊系统等。

审核编辑hhy