电子发烧友App
廖金，董国芳，刘畅
（云南民族大学 电气信息工程学院，云南 昆明 650504）
摘 要：针对无人机巡检拍摄的架空线路绝缘子设备的照片进行处理，旨在建立一个基于Faster R⁃CNN目标检测算法的架空线路绝缘子设备识别与掉串诊断的模型。首先通过TensorFlow建立训练框架，将收集到的绝缘子数据集训练FasterR⁃CNN网络识别绝缘子，其次利用小波变换去噪增强图像特征信息，再对经过二值化处理的图像进行霍夫变换直线检测以及垂直投影确定有无缺陷。该模型绝缘子识别率为 85.6%，掉串检测正确率为 96%，有较强的鲁棒性。通过这样一个检测模型可以及时发现绝缘子设备存在的绝缘隐患，降低出现绝缘故障的风险，并且可以配合无人机巡检，大大减少人力劳动，更有效地分配人力资源及减少运维的成本。
中图分类号：TN957.52⁃34；TP391 文献标识码：A
文章编号：1004⁃373X（2022）02⁃0167⁃05
0 引 言
近年来，电力行业发展得极为迅速，电力的需求量增长率也不断提高，架空线路也不断的增多，上面的绝缘子设备也相应增加。在架空线路中，绝缘子是一种极其关键的绝缘设备，对架空线路的安全运行各个方面都担负着极其重要的保障作用。架空线路上的绝缘子设备一直都在各种复杂的自然环境中工作，会受到大风、雷雨、灰尘等的影响，致使绝缘子逐渐被劣化，甚至直接被击穿，并且出现掉串。为了使电力领域快速稳步的发展，架空线路的绝缘技术也需要不断地寻求突破和创新。同时，对架空线路绝缘设备的完整性检测也是一个极其重要的环节[1]。在该文中，将人工智能中的图像识别技术应用到架空线路绝缘子日常巡检的工作上，为电力系统传输工作的智能化发展提供一定的积极作用[2]。
图像识别技术是通过计算机对获取的图像进行处理和分析，最终能识别出所要研究的对象的技术。识别的步骤有图像预处理、图像分割、特征提取和分类器设计[3]。传统的图像识别算法，如ORB(Oriented Fast andRotated BRIEF)[4]、加速稳健特征(Speeded Up RobustFeatures，SURF)[5]、尺度不变特征变换(Scale⁃InvariantFeature Transform，SIFT)[6]等都已经取得了一定的成果，但其都需要人工提取图片的特征信息，导致工作量大以及特征提取不准确和不完善，并且室外架空线路环境复杂多变，设备数量众多，传统方法难以适用于架空线路绝缘子识别与掉串检测。基于神经网络的目标检测算法，如R⁃CNN、Fast R⁃CNN等，虽然解决了传统目标检测算法中计算量大、耗时长、泛化能力弱等问题，但也存在模型检测耗时长、检测精度不高，对架空线路实时巡检存在一定的难度。 针对架空线路绝缘子自动识别与掉串检测，目前已经有一定的研究成果。基于形态学特征检测是通过面积筛选、圆形度筛选、长宽比筛选来提取缺陷信息，其图像角度、方向等会影响到图像分割的质量，存在一定的检测误差[7]。绝缘子的掉串检测在缺陷检测方面是一个重点，采用分块图像颜色特征和滑动窗口直方图统计及直方图匹配判决识别绝缘子掉串位置，但该方法检测位置不准确[8]。 本文提出一种基于Faster R⁃CNN目标检测算法的输电线路绝缘子识别与掉串诊断模型。首先，用制作的输电线路巡检图像数据集在Faster R⁃CNN目标检测网络中学习各种绝缘子特征，并完成对绝缘子的识别；接着通过小波去噪处理，增强将识别的绝缘子图片特征；再经过霍夫变换直线检测根据需要旋转为水平或垂直的绝缘子旋转为水平或垂直状态；最后再对旋转后的绝缘子进行水平投影或垂直投影，从而找出待测图片是否有掉串缺陷。本文提出的模型对于传统检测方法在复杂环境下有更好的识别准确性及识别速率，且该模型对于绝缘子的掉串检测有更好的鲁棒性。
1 卷积神经网络模型
卷 积 神 经 网 络(Convolutional Neural Networks，CNN)的作用是研究对象经过一定的训练可以让机器自动识别分类。CNN主要包括卷积层、池化层、全连接层，将图像送入CNN，通过逐层的卷积和池化以及激活操作，提取图片的特征信息。然后对提取的大量特征信息不断学习，进而形成一个可以分类识别的神经网络模型。
1.1 TensorFlow 框架结构
TensorFlow是一个基于数据流编程的机器学习框架，深度学习和机器学习可以在其上面搭建不同应用的训练框架，其构架灵活性和较强的可移植性使其被广泛应用[9]。
本文以在网络上爬取的绝缘子图片建立的数据集为研究对象，在TensorFlow上搭建绝缘子识别模型的训练框架[10]。通过Faster R⁃CNN目标检测算法构建深度卷积神经网络模型，使用绝缘子图片建立的数据集对模型进行训练，使模型具有识别架空线路绝缘子的能力。整个训练过程是：首先把制作的VOC数据集输入到该模型，通过卷积层提取图像的特征信息；然后用激活函数执行激活操作将提取的特征信息形成卷积特征图；最后对卷积特征图进行池化操作，降低特征维数，增强泛化能力，形成池化特征图。通过数次卷积池化操作后，将提取出来的特征传入全连接层进行识别分类，以达到对架空线路绝缘子设备的识别。整体结构如图1所示。
1.2 Faster R⁃CNN 网络模型
Faster R⁃CNN是Girshick等人在2016年提出的目标检测算法[11]。目前基于候选区域的目标检测算法主要有R⁃CNN[12]、Fast R⁃CNN[13]、Faster R⁃CNN等，其中Faster R⁃CNN算法采用区域候选网络（Region ProposalNetwork，RPN）替换掉了选择性搜索算法产生候选区域，极大地减少了检测时间，有效地平衡了检测精度和检测速度[14]。其网络结构如图2所示。上述网络的实现过程大致如下：首先，将一张张待识别的图片传入预训练卷积神经网络模型中进行卷积，得到卷积特征图（Conv Feature Map）。接着，RPN层对得到的卷积特征图进行处理。RPN的作用是生成区域建议框，在传入的卷积特征图上生成一定数量大小不等的anchor box，接着在其中的分类环节判断 anchor属于前景（Foreground）还是后景（Background），即判断其中有目标还是没目标,并通过另一分支进行边界框回归(Bounding BoxRegression)，修正anchor box，从而形成有一定拟合度的建议框。ROI池化层的作用是利用RPN层生成的建议框和CNN卷积得到的卷积特征图生成大小一致的建议特征图（Proposal Feature Map），然后通过全连接层再输入到后面的分类回归网络中，利用分类层判断建议框具体的类别，同时利用边界框回归层再次对边界框进行修正，最后得到拟合度相当高的检测框。
2 掉串检测
2.1 掉串检测模型构建
通过Faster R⁃CNN网络识别后的绝缘子，相对来说没有除绝缘子外的背景的干扰。因为绝缘子的结构都具有明显的规律性，每个绝缘子串大小几乎相同，且绝缘子的排列间隔距离几乎相等，因此绝缘子图片都呈现出很强的条带状分布形状，当一串绝缘子中出现掉串或盘片出现大的缺损，绝缘子串的整体均匀规律就会被破坏。可利用这一特征，通过提取这种规律判断绝缘子是否出现掉串，就可以完成绝缘子的缺陷识别。所以，只要确定从图像中提取的规律性特征信息是否被破坏就可以判别绝缘子所处的状态，但要有效地提取出这些规律性的特征信息，还需要进一步对图像进行处理。 本文提出的基于Faster R⁃CNN目标检测的绝缘子掉串检测模型，首先将巡检的架空线路图像输入到事先训练好的神经网络模型中对绝缘子进行识别；然后对识别到的绝缘子图像进行小波去噪、二值化操作，增强图像的特征信息；接着对图像作霍夫变换直线检测，将需要旋转的图像旋转至水平或垂直角度；最后对图像作水平投影或垂直投影。步骤如图3所示。 2.2 小波去噪处理
待检测的原始图片都会含有一定的噪声，对检测结果会产生不利的影响。本文通过小波变换对原始图片中的噪声进行过滤[15]，利用小波变换的阈值去噪方法对已经识别出绝缘子的图像进行去噪处理。信号经过小波分解后，信号和噪声的小波系数明显不同，信号的小波系数较大，噪声的小波系数较小，通过选取一个合理的阈值可以将噪声过滤掉，实现信号和噪声的分割。实现步骤如下：
1）利用小波变换将灰度图原始信号分解到不同的基准中；
2）剔除噪声对应的小波系数，保留信号的小波系数；
3）再对处理后的小波系数进行小波逆变换；
4）将各个基准下的信号整合起来，以此达到去除图像噪声的目的。
小波变换去噪比传统的傅里叶变换去噪更具有优势，原因在于小波变换在时频域对信号的局部特征都很敏感，而傅里叶变换在时域上对信号的特征不敏感，因此对图像边缘等局部的突变信号难以捕捉，在去除噪声的同时也会丢失图像的边缘信息；而小波变换就能很好地将图像的边缘信息保留下来，使图像的后续处理更加准确。
2.3 二值化处理
图像二值化就是将灰度图像素点上的连续灰度值变为两个固定的离散值，分别为灰度极大值和灰度极小值，将图像变成黑白两极分化的效果[16]。二值化处理方法如固定二值化、大律算法（OTSU）、自适应二值化等都是将图像上的灰度值与对应的阈值作比较，将图像中灰度值大于或等于对应阈值的灰度值（设置为255），设为目标区域，将其他灰度值（设置为0），设为非目标区域。图像处理依托二值化能大大压缩图像数据的处理量，提高了图像处理速度，但依旧可以体现图像的整体和局部特征信息，从而能让目标的轮廓特征更加清楚直观，以便于对图像作进一步的处理。
2.4 霍夫变换直线检测
由于无人机拍摄的绝缘子角度不同，识别的绝缘子图像不一定都是垂直水平的，所以需要将识别图像旋转为水平或者垂直位置以便之后的操作。绝缘子都具有极强的条带状分布规律，且绝缘子盘片分布均匀，对绝缘子进行霍夫变换直线检测，得到多条直线[17]，将这些直线的平均斜率作为绝缘子质心连线的斜率，从而得出绝缘子需要转换的角度。在笛卡尔空间中，y=kx+b表示一条直线，将方程变形为b=-kx+y，这就表示霍夫空间中的一条直线。笛卡尔坐标系中的一条直线映射到霍夫空间中就变成了一个点。直线检测就是找到一定数量的点而形成的直线，在霍夫空间中表现为最多线的公共交点。为了避免直线垂直 x 轴的特殊情况，故用极坐标表示直线：ρ=xcosθ+ysinθ。如图 4所示，ρ为原点到所在直线的距离，θ是原点到直线的垂线段与横轴的夹角。遍历极坐标系下的每个点，将其映射到霍夫空间，极坐标系中一条直线上的点在霍夫空间中对应的曲线会相交于一点，设定相交于一点曲线数量的阈值，可以判定是否构成直线。极坐标系下的点变换到霍夫空间的结果如图5所示。
3 仿真结果 3.1 绝缘子识别
本实验从网络上爬取的图片采用LabelImg标注工具对图片就行标注，进而制作出VOC 数据集。用FasterR⁃CNN深度学习网络模型对数据集进行训练，迭代次数达到12000 次后趋于稳定，网络识别准确率达到85.6%，优于Fast R⁃CNN网络算法，具有更高的识别性。绝缘子识别效果图如图6所示。
3.2绝缘子掉串检测
3.2.1图像小波去噪
小波去噪前后的结果如图7所示。
3.2.2 图像二值化
识别的绝缘子原始图像二值化结果如图8所示。
3.2.3 霍夫变换直线检测
在霍夫变换直线检测前需要经 Canny 算子作边缘检测，结果如图9所示。再经霍夫变换直线检测后，结果如图10所示。然后计算斜率旋转一定角度使绝缘子水平，如图11所示。再对水平后的绝缘子图像做垂直投影，投影结果如图12所示。由图中的垂直投影曲线可以看到，从左起第6个波峰和第7 个波峰之间有明显的曲线波动异常，由此判定此处有绝缘子掉串的情况，对比绝缘子的原图片发现确实是在第6个绝缘子后有一个绝缘子掉串。在对50个绝缘子检测完整性中，有48个检测正确，有2个检测错误，检测准确率为96%。其中2个检测错误的原因是掉串发生在绝缘子的边缘，使其检测为是完好的绝缘子。
4 结 语
随着人工智能的快速发展，将人工智能应用到电力领域也越来越多。本文提出了一种基于深度学习的绝缘子掉串检测模型。以Faster R⁃CNN神经网络算法为基础对巡检的绝缘子进行识别和定位，其添加的 RPN网络有效地提高了检测精度和检测效率。通过对识别的绝缘子预处理、小波去噪、霍夫变换及垂直投影，能对有掉串的绝缘子有较高的检测准确率，并且能确定掉串位置，对无人机巡检检测工作有一定的积极作用。
注：本文通讯作者为董国芳。
参 考 文 献
[1] 毛鹏飞 . 初探输电线路无人机巡检实时通信技术[J]. 通讯世界，2020，27（1）：214⁃215.
[2] 麦俊佳，郭圣，徐振磊，等 .输电线路多旋翼无人机自动驾驶智能巡检系统[J].计算机系统应用，2019，28（4）：105⁃110.
[3] 张骥，余娟，汪金礼，等 .基于深度学习的输电线路外破图像识别技术[J].计算机系统应用，2018，27（8）：176⁃179.
[4] 曾军英，冯武林，谌瑶，等 . 一种基于 ORB 特征和运动一致性的图像校正算法[J].现代电子技术，2019，42（18）：171⁃176.
[5] 熊凯龙，范方亮，汪保玉，等 .基于一种新的级联分类器的目标检测系统[J].现代电子技术，2020，43（1）：48⁃52.[6] 吴应永 . 基于 SIFT 的火车车底螺栓图像识别技术研究[D]. 成都：西南交通大学，2016.
[7] 单成，吴洪潭，石成龙，等 .图像处理中的绝缘子缺陷检测方法[J].中国计量学院学报，2010，21（4）：297⁃300.
[8] 林聚财，韩军，陈舫明，等 .基于彩色图像的玻璃绝缘子缺陷诊断[J].电网技术，2011，35（1）：127⁃133.
[9] 齐照辉 . 基于 TensorFlow 的卷积神经网络应用[D]. 武汉：武汉大学，2018.
[10] 龚钢军，张帅，吴秋新，等 . 基于 TensorFlow 的高压输电线路异物识别[J].电力自动化设备，2019，39（4）：204⁃209.
[11] REN S Q，HE K M，GIRSHICK R，et al. Faster R ⁃ CNN：towards real ⁃ time object detection with region proposalnetworks [J]. IEEE transactions on pattern analysis andmachine intelligence，2017，39（6）：1137⁃1149.
[12] GIRSHICK R， DONAHUE J， DARRELL T， et al. Richfeature hierarchies for accurate object detection and semanticsegmentation [C]// Proceedings of IEEE Conference onComputer Vision and Pattern Recognition. Los Alamitos：IEEE，2014：580⁃587.
[13] GIRSHICK T R. Fast R ⁃ CNN [C]// Proceedings of IEEEInternational Conference on Computer Vision. Los Alamitos：IEEE，2015：1440⁃1448.
[14] 陈怡佳 .基于 Faster RCNN 的目标检测系统[D].哈尔滨：哈尔滨理工大学，2019.
[15] 姜 波 . 基 于 MATLAB 的 小 波 降 噪 研 究 [J]. 电 子 制 作 ，2019（13）：87⁃88.
[16] 李治江，丛林. 基于朴素贝叶斯理论的彩色图像二值化方法研究[J].数字印刷，2020（1）：17⁃21.
[17] 张丽艳，韩熠，赵艺璇，等 . 霍夫变换和 Faster⁃RCNN 铁轨上行人检测方法[J].大连交通大学学报，2020，41（2）：100⁃103.
作者简介： 廖 金（1995—），男，四川自贡人，硕士研究生，主要研究领域为人工智能应用。 董国芳（1979—），女，云南德宏人，博士，副教授，硕士生导师，主要研究领域为人工智能应用、智能电网等。 刘畅（1985—），女，白族，云南楚雄人，硕士研究生，云南民族大学国际合作交流处副处长，助理研究员，主要研究方向为智能电网。
编辑：黄飞
工商网监
评论