基于差分卷积神经网络的低照度车牌图像增强网络

摘要:车牌识别作为现代化智能交通系统中重要的环节，对提升路网效率以及缓解城市交通压力等问题具有重要的社会意义，然而弱光照车牌图像识别仍然具有重大的挑战。构建了一个基于差分卷积神经网络的弱光照车牌图像增强网络，将车牌的纹理信息解耦为水平垂直和对角线两个方向，对不同尺度空间的低照度图像进行纹理增强。为了避免增强结果局部过曝或低曝，该方法使用YCbCr颜色空间的损失函数来优化模型。

图像增强实验结果表明，所提出的方法较传统的低照度图像增强方法相比，图像客观质量结果峰值信噪比提升了0.47 dB。同时，在仿真车牌和真实场景的车牌识别实验结果也证明了所提算法对于低照度图像感知质量提升的有效性。

引言

随着现代化进程的推进，中国的汽车数量大幅增加，相关的社会问题也日益突出，如交通阻塞、交通安全事故、能源消耗以及尾气造成的环境污染等，因此面向城市公共交通规划和管理的现代化智能交通系统应运而生。通过基于人工智能的算法对摄像头等采集设备获取的车辆图像进行拍照，并进行车牌和型号等信息识别，应用于车辆监控和电子警察等场景，实现对车辆的智能化管理，有效提升路网的效率，减少车辆尾气排放，实现对行人、车辆、道路和外部环境等四大交通因素进行合理规划。

车牌识别技术是智能交通系统中最基础也是最关键的技术之一，通过对车辆的车牌进行监管进而实现对汽车的监管，该技术也是近年来的研究热点之一。然而中国的车牌主要由代表省份缩写的中文、字母和数字组成，同时存在双车牌和三车牌，相较于只由图像和数字组成的车牌识别难度更高。且实际的车辆图像采集场景较为复杂，如夜间或恶劣天气下光线不足，图像无法正常曝光，导致图像中字符模糊难以精准识别，即低照度/弱光照图像场景，真实成像场景下的弱光照车牌图像如图1所示，人眼亦无法准确识别车牌中的字符。

图1弱光照车牌图像

图像增强技术能通过一种或者多种数据增强的方式来调整图像的整体或局部特征[1]，进而实现图像的颜色、亮度、对比度和饱和度等增强，提升图像的视觉质量。早期的低照度图像增强方法主要分为基于直方图均衡化的方法和基于Retinex理论的方法两大类[2]。前者通过使用不同的先验约束信息来提升图像的对比度，如上下文信息[3]、差分信息[4]，但无法有效去除图像噪声。后者模拟了人眼成像原理，提出图像由不受光照影像的反射分量和代表像素动态范围的照明分量组成假设，在保持反射分量不变的前提下增强照明分量，反推重建图像，实现低照度图像的增强，包括单一尺度Retinex[5]和多尺度Retinex[6-7]等框架。

近年来，随着硬件设备以及深度学习理论的发展，卷积神经网络凭借其强大的特征提取能力，在诸如动作检测[8-9]、图像融合[10]和目标检测[11]等图像视觉任务中取得了卓越的性能。考虑到高性能的深度学习模型依赖于大量训练样本，Lore等[12]提出了低照度图像成像模型生成模拟数据，即低照度图像由伽马变换和图像噪声两部分组成，并首次将卷积神经网络引入到低照度图像增强任务中，通过构建堆叠稀疏自编码网络，对低照度图像进行增强和去噪，算法性能较传统算法提升显著。Wei等[13]基于Retinex理论构建了分解-修正卷积神经网络，通过分解网络将图像分解为光照分量和反射分量，并使用修正网络对光照分量进行修正，再与反射分量重建得到增强后的图像。Lü等[14]提出了多分支网络结构，分别从图像的背景、结构和区域信息层面进行优化，进而提升重建图像质量。Ren等[15]构建了内容和边缘两个分支，分别学习低光照图像的内容和显著性结构，使用感知损失优化生成令人愉悦的细节。Jiang等[16]首次将生成对抗网络引入到非成对的低照度图像增强任务中，通过构建全局-局部判决网络，确保生成网络生成更加真实的自然光，避免结果中出现局部过曝或低曝现象。

不同于通用的低照度图像，车牌图像由深色背景和字符组成，为了服务于后续车牌识别的感知应用，低照度车牌图像增强任务应在光照恢复的基础上增强字符的边缘信息。本文以低照度的车牌图像为研究对象，提出了一种基于差分卷积神经网络的车牌图像增强算法。与主流的图像增强方法进行比较，在合成数据试验中的主客观结果均证明了所提方法的有效性，同时在真实的低照度增强车牌识别实验中也证明了该算法的鲁棒性和泛化性。

差分卷积神经网络

局部二值模式是一种传统的手工特征提取算子，其原理为以局部某一像素为阈值，将邻域像素与该像素进行差分比较，进而反映出细腻度的区域纹理信息，且该特征具有一定的鲁棒性。Yu等[17]基于此思想提出了中心差分卷积应用于人脸活体检测应用中，通过图像的梯度来反映目标本质的细节信息。相较于普通的卷积模块，差分特征具有更强的光照不变性以及细粒度。对于3×3的邻域空间,差分卷积公式如下：

式中，y为输出特征；x为输入特征；表示当前的空间位置；表示邻域空间中其他的位置。

车牌图像中的纹理信息相对简单，而中心差分卷积的计算涉及了所有领域，因此存在较大的信息冗余。为了更好地优化网络结构与效率，本文使用交叉的差分卷积模块，将差分信息解耦为水平垂直方向和对角线方向，结构如图2所示。其中，水平垂直方向的算子由中心像素点的相邻点组成，对角线方向的算子则由邻域空间中与中心像素点不相邻的点组成。随后，不同方向的差分信息以连接的形式进行特征融合。

图2差分卷积

基于差分卷积的增强网络

本文提出的基于差分卷积的增强网络结构如图3所示，该模型网络由编码网络和解码组成。对于训练车牌图像对{},网络目标生成增强车牌图像，其中为低照度图像，为原始真值图像。低照度图像经由半实例归一化模块（half instance normalization，HIN）进行浅层特征提取，随后输入由两个具有下采样功能的差分卷积模块组成的编码网络中，且所有的卷积核大小均为3×3×64。经过上述操作，输出的特征分辨率降低了4倍。为进一步提取深度特征，下采样后的特征被输入至残差通道注意力机制模块（residual channel attention block,RCAB）中，网络结构如图4所示。

图3基于差分卷积的图像增强网络

图4通道注意力机制模块

不同于传统的残差模块[18]，半实例归一化模块使用3×3的卷积对输入特征进行中间特征提取，随后将中间特征划分为均等的两个部分。一部分使用实例归一化方法进行归一化处理，此操作不仅可以加速模型的收敛，还能保证不同特征之间的独立性以及更多的尺度信息，而另一部分则不进行任何操作以保持内容信息，直接与归一化的特征沿通道维度进行连接。然后使用3×3的卷积提取残差特征与输入特征的跳跃特征（经由1×1的卷积处理）相加得到最终输出图像特征。

普通卷积操作对于所有的特征通道和像素点赋予相同的权重，为了让特征集中于感兴趣的区域，本文使用了通道注意力机制模块，通过全局池化层对图像特征压缩，并使用Sigmoid函数对注意力机制权重归一化到0~1，并将特征图与输入特征相乘，实现通道层的特征缩放。

解码网络则由具有上采样功能的卷积组成，且所有的卷积核大小均为3×3×64。为了避免网络中信息的传输损失，编码网络和解码网络的多尺度特征直接进行跳跃连接，实现多尺度浅层特征和多尺度语义特征融合，从而尽可能恢复出车牌中的特征细节信息。

为了优化提出的深度学习模型，本文使用像素域、亮度域和结构域联合损失函数，总体的损失函数公式如下：

式中，为结构相似性（structural similarity,SSIM）损失函数；、和为不同损失函数项之间的平衡参数，且==1，=0.001。不同于RGB颜色空间,表示将图像从RGB颜色空间转换到YCbCr颜色空间，并在亮度分量进行监督学习，促进亮度增强结果亮度更加自然。

实验

4.1数据集

在本文中，数据集的训练样本包括高质量蓝底和黄底的合成车牌图像各10 000张,数量共计20 000张，合成车牌分辨率为800×280像素。同时为了提升算法的数据鲁棒性，合成数据并非完全对齐。本文使用的验证车牌数据集来自于真实场景监控视频低照度图像，主要包括双行7字符的车牌和单行车牌两类数据，其中单行车牌由7字符组成的蓝色普通机动车车牌和8字符组成的绿色新能源汽车车牌。

真实数据集由于拍摄角度和距离的问题，图像质量较合成数据差，主要由分辨率分别为96×32、96×48和96×64像素的图像组成。考虑到真实场景图像缺乏原始图像，为了定量评估图像增强算法的客观性能，使用200张合成车牌图像作为测试数据集，其中蓝底和黄底各100张，测试图像均被归一化到96×48像素大小以模拟真实的拍摄场景。本文使用峰值信噪比（peak signal-to-noise ratio,PSNR）、SSIM和特征相似性（feature similarity，FSIM）来定量评估重建图像的客观结果。

为了增加低照度数据样本数量，本文使用合成的车牌图像作为真值，将图像从RGB颜色空间转换到YCbCr颜色空间，通过伽马变换对Y颜色通道的像素进行非线性变化得到，随后还原至RGB颜色空间，上述过程可以表示为：

式中,A为常数；指数为随机图像对比度控制参数，本文中取值范围为[2,5]。生成的弱光照图像如图5所示。

图5生成的弱光照图像效果图

4.2实现细节

本文的低照度增强方法均基于PyTorch框架，同时采用自适应矩估计（adaptive moment estimation,Adam）对模型进行优化，超参数设置为=0.9，=0.999，训练的批尺寸为16，初始学习率设置为1×10－4。模型的总迭代数设置为1 000个周期，学习率在第500个周期衰减为1×10－5。所有算法均运行于两张显存为12 GB的NVIDIA 2080ti，Intel（R）Core（TM）i7-7820X CPU@3.60 GHz，软件配置为CUDA 10.2，CUDNN 7.5的Ubuntu 18.04服务器。图像随机裁剪41×41大小的图像块用于模型训练。

4.3图像增强实验结果

为了直观地评估图像增强结果，使用PSNR、SSIM和FSIM分别从像素、结构和特征三个层面进行定量分析，并与几种具有代表性的基于深度学习图像增强和图像修复方法进行对比，包括LLCNN[19]、RDN[20]和SCI[21]，结果如表1所示。可以看出，本文方法取得了最优的PSNR、SSIM和FSIM结果，相较于SCI[21]方法,客观结果分别提升0.47 dB、0.000 1、0.000 8，表明了本文方法的有效性。

表1低照度图像增强网络的实验结果对比

为了进一步验证算法的性能，图6展示了不同算法的低照度图像增强主观结果图。从图6可以看出，所有方法都能较好地恢复出车牌图像的背景颜色，但本文方法能重建出更令人愉悦的视觉效果以及更清晰的字符纹理信息，如第一行车牌中的“渝A”和第二行车牌中的“8”，这也说明本文使用的差分卷积对于图像纹理信息恢复的有效性。

图6低照度增强结果图

车牌处理应用任务对于模型和运行时间要求较高，本文方法在输入96×48像素大小的车牌图像时，使用NVIDIA 2080ti，算法的测试时间为0.009 4 s，满足实时视频处理对于帧数的要求。

4.4车牌识别实验结果

§3.3从定量和定性两个角度验证了本文方法在图像照度增强任务的有效性，本节使用由卷积递归神经网络组成的飞桨PaddleHub中文字符识别网络，通过车牌识别任务进一步验证低照度增强对于车牌感知质量的提升。

表2为图像增强前后测试数据集下的车牌识别率结果，其中准确率为正确识别车牌数量与总车牌数量（共200张）之比。由表2中可知,增强后的车牌图像相较于低照度车牌图像的文字识别率提升了6%，这进一步证明本文方法对于图像感知质量的提升。

表2图像增强对车牌识别准确率的影响

为进一步对识别进行定性分析并探究数据的鲁棒性，表3展示了PaddleHub对于车牌识别结果，其中图片结果为合成车牌数据，预测结果为真实场景的车牌数据。代表省份缩写的汉字相较于数字和英文字母更为复杂，如鄂、粤和藏等,这也导致低照度图像中的汉字更容易错分为其他字符，如“川”被错识别为“H”,“鄂”被错识别为“U”。置信度越大，表示预测的结果更可信，从表3中结果可以发现,低照度图像的预测结果均获得较大的置信度，这也说明低照度字符中具有判决性的特征被污染，导致错分时置信度仍然较大。而增强后的图像亮度显著提升，无论是合成数据还是真实数据集，识别结果都更为准确，这也意味着图像感知质量显著提升，证明了本文提出的低照度增强网络的有效性。

表3车牌识别结果

结语

车牌识别是智慧交通系统中的一个关键技术点，本文针对低照度环境下车牌识别难度较大的问题，提出了一种基于差分卷积神经网络的低照度车牌图像增强网络。采用差分卷积将图像中的差分信息解耦为水平垂直和对角线两个方向，实现高效的边缘信息提取。同时在通道注意力机制模块和多尺度框架中引入半实例归一化模块，提升模块的特征表达能力。

实验从主观、客观和感知质量3个层面证明了本文方法在低照度车牌图像增强任务中的有效性。未来希望面向更复杂的低照度交通场景，如运动模糊和噪声，提出更具鲁棒性和泛化能力的图像修复模型。