基于迁移学习的小样本输电线路巡检图像处理方法

陆继翔1,2,李昊1,徐康1,徐弘升1,杨志宏1,2  

(1.南瑞集团公司,江苏省 南京市 211106;2.智能电网保护与运行控制国家重点实验室,江苏省 南京市 211106)

摘要

电力巡检无人机提供大量的巡检图像,但由于电力设备故障稀少,其中只有少量的设备缺陷故障图像可供使用。为了提高设备缺陷故障识别精度并减少训练过拟合问题,首先介绍了基于迁移学习的小样本电力巡检图像处理方法,通过图像裁剪、翻转、旋转等数据增强技术对小样本图像进行扩充,同时采用生成对抗网络(GAN)来扩充基础样本;并使用迁移学习技术,将基于大规模图像数据的预训练深度卷积模型进行定制,调整该神经网络模型的输入层和最后两层参数,并对超参进行调优。实验结果表明,巡检设备故障(如导线断股和绝缘子串脱落等)准确匹配度近95%,证明了小样本学习和迁移学习在输电线路巡检图像处理中具有可行性。

关键词 : 小样本;迁移学习;输电线路;数据扩充;生成对抗网络;图像识别

基金项目:国家重点研发计划(2017YFB0902605)。

0 引言

“十二五”期间,中国电网建设经历了高速发展的阶段,截至2017年底,全国20%输电线路约240 000 km建设于无人区、山区等自然条件恶劣的地方。无人机具备小巧灵便、容易操控、成本低廉等优势,且无人机巡检成本仅为人工巡检的30%,因此无人机越来越多地被使用在电力巡检工作中。无人机提供了大量设备巡检图像,仅依靠人工难以满足图像的物体识别与处理及时性,需要使用基于人工智能深度学习的图像物体自动识别与处理技术[1]。目前由于卷积神经网络(convolutional neural networks,CNN)在图像识别上效果明显,在数据充足情况下已经超出人类的识别准确率[2]。但是由于电力设备本身故障少,实际设备缺陷样本少,且与正常设备图像样本数量严重不平衡,训练出来的模型容易出现过拟合(overfitting)和陷入局部最优解等现象,导致设备故障状态容易被误判。目前,大多数机器学习算法都是建立在训练数据充足、能够刻画问题领域全貌的基础之上。但实际生活中,小样本数据却较为常见,因而在含小样本的数据集上训练出的模型只能刻画局部问题,且学习得到的信息的可靠性不高。为了提高小样本类识别率,本文引入基于迁移学习的小样本处理作为研究课题。

在计算机视觉领域,图像的类别识别需要通过大量标注图片进行学习。为了从少量的图片中识别出物体类别,Lake等人提出小样本数据集的标准测试集(omniglot数据集)[3-4],同时发表了HBPL(hierarchical bayesian program learning,分层贝叶斯小样本学习)方法,在Omniglot数据集上取得了非常好的效果,但存在联合参数空间过大而无法获得推理过程的局限。在此基础上,许多学者开展了相关工作,研究了小样本学习甚至零样本学习问题[5-6],但由于目标类别数受限且精度较低,难以在实际工程中应用。为提高小样本学习精度,迁移学习越来越多地被应用于小样本学习[7-8]。迁移学习具有一定的泛化性,能够从与训练数据不同但相似的源领域数据中挖掘有用知识并迁移到目标领域数据学习中,已被应用于多个领域,如文本情感分析[9]、目标图像识别[10]、软件缺陷预测[11]和电网调度风险分析[12]等。

针对上述问题和分析,本文提出了基于迁移学习的小样本输电线路巡检故障缺陷图像的扩充方法。首先,对故障缺陷图像进行了数据扩充,包括使用常规方法扩充样本、使用CycleGAN[14]算法将正常设备图像学习并转化故障缺陷图像;然后利用预训练的MobileNet网络模型进行迁移学习并重新构建了相应的深度学习网络模型;最后以国网四川省电力公司实际图像数据为例,证明了该方法的有效性。

1 小样本扩充

经典机器学习算法的主要研究内容是样本数目趋于无穷大时的渐进理论,样本数量是影响模型算法能力主要因素之一。然而,在现实生活中,实际问题的数据量往往不多,这种情况使得经典机器学习算法难以发挥作用。目前有许多工作致力于解决小样本问题,即在数据量非常有限的条件下利用有限且稀少的数据进行机器学习的训练与预测。本文将使用常规方法及先进的生成对抗网络(generative adversarial networks,GAN)等方式来扩展训练数据。

1.1 常规方法扩充

常规的图像数据扩充方式主要分为2种:几何变换和像素变换。对于几何变换,常用的方法有翻转、平移、剪切、旋转和缩放等;对于像素变换,通过增加高斯模糊、高斯噪声和滤波、变换通道、调节图像的亮度、图像锐化、图像对比度等方式实现数据扩充。

经过处理后,本文通过翻转、旋转、局部放大、扭曲等数据扩充方法将一张输电线路设备缺陷图像扩充成若干张,图1给出了数据扩充的部分图像。

图1 图像数据扩充对比
Fig.1 Comparison of defect image and corresponding data augmentation images

1.2 生成对抗网络(GAN)

为增强图像数据扩充,本文研究并使用了生成对抗网络[13]进行数据增广,成功将部分正常的设备图像转化成缺陷设备图像。

生成对抗网络(GAN)是一种深度学习模型,GAN由生成网络G(Generator)和判别网络D(Discriminator)组成,对抗网络的结构如图2所示。迭代训练过程中,生成网络G以判别网络D无法判断其生成图片真实性为目标,而判别网络D以能够区分输入图片真实性为目标,以此构成了G和D的动态博弈。通过对抗训练,G和D最终达到纳什均衡点,此时训练好的生成网络G能把任意一个服从某种分布的随机向量转化成和训练集类似的样本。

图2 GAN结构图
Fig.2 GAN structure chart

GAN是一种生成式模型,并已出现了多种实用的改进,在图片样本扩充、超分辨率、图像补全、去噪等方面取得丰硕成果。本文将重点介绍一种能够有效应用于样本增强的改进的GAN方法—CycleGAN[14]

CycleGAN的原理可以概述为:有两个样本空间X和Y,把X空间中的样本转换成Y空间中的样本。CycleGAN的目标就是学习从X到Y的映射。CycleGAN本质是两个镜像对称的GAN,构成了一个环形网络,如图3所示。在电力系统巡检过程中,X代表正常设备图片样本,Y代表故障设备图片样本,通过CycleGAN可以实现正常样本和故障样本之间相互转化,从而可以用大量正常的绝缘子串样本生成故障绝缘子串样本来弥补其数量不足的缺陷。

图3 CycleGAN结构图
Fig.3 CycleGAN structure chart

图3中从X到Y的映射为F,它可以将X空间中的图片x转换为Y空间中的图片F(x);从Y到X的映射为G,它可以将Y空间中的图片y转换为X空间中的图片G(y)。CycleGAN同时学习F和G两个映射,并要求G(F(x))≈x,以及F(G(y))≈y,即将X空间的图片转换到Y空间的图片后,还能转换回来。根据G(F(x))≈x和F(G(y))≈y,可定义循环一致性损失 Lcycle-consistency(F,G,X,Y)。从X到Y的映射F可定义GAN损失LGAN(F,DY,X,Y),Y到X的映射G可定义GAN损失LGAN(G,DX,X,Y)。最终定义CycleGAN损失 LCycleGAN(G,DX,X,Y),如式(1)所示:

图4所示是通过CycleGAN将绝缘子完整类型与绝缘子缺陷类型相互转换的示例,图片的转换取得了良好效果,(a) 组是将绝缘子完整类样本转换成绝缘子缺陷类样本,(b) 组是将绝缘子缺陷类样本转换成绝缘子完整类样本。需要指出,CycleGAN生成图片数量具有局限性,因为由CycleGAN训练出的生成模型的输入和输出是1∶1 的映射关系,所以CycleGAN的输入原图数量与CycleGAN生成数量保持 1∶1。同时,CycleGAN作为一种新兴的图片生成技术,将其应用于电力样本扩充时需要比较多的人工干预,比如调整GAN模型、手动筛选图片等,才能获取满意的生成图片(即生成图片视觉上判断为真实图片)。因此,本文中将CycleGAN用于生成诸如绝缘子、导线等输电线路物体图片以增加基础样本。

图4 CycleGAN样本扩充示例
Fig.4 Data augmentation with CycleGAN

2 迁移学习

2.1 迁移学习与深度学习

最近各国在深度学习与小样本数据问题的结合方面研究很多。基于深度学习的小样本数据领域的研究目前分为3个方向:①基于已知的深度学习网络架构进行微调(fine-tuning)[4]的迁移学习(transfer learning)方法;②将深度学习与度量学习结合[15-16]的方法;③将深度学习与元学习结合的方法。其中,迁移学习因为在解决小数据问题(有两个领域,一个领域已经有很多的数据,能成功地建一个模型,另一个领域数据不多,但是和前面那个领域是关联的,就可以把那个模型给迁移过来)和个性化问题(通过迁移学习把一个通用的模型迁移到个性化的数据上面)方面具有优势,所以本文选用主流的迁移学习方法。

以人工智能算法为核心的电力巡检无人机等已成为电力系统巡检重要的发展方向,在实际电力系统巡检过程中,存在故障样本量有限的问题,且要求模型迭代学习快、应用速度高等。虽然更深和更复杂的神经网络可以得到更高的精度,但这种网络在模型大小和运行速度上没有优势,并不适用于硬件资源有限的嵌入式平台,因而各种轻量级、低延迟、精度较高的网络模型应运而生,如MobileNet、VGG16、GoogleNet等。MobileNet相比网络模型VGG16和GoogleNet具有更少的加乘操作和参数个数,并且在准确率指标上也具有优势。因此,为满足基于小样本的电力巡检移动和嵌入式视觉应用场景,本文采用高效的神经网络模型MobileNet并结合能够根据小样本数据集进行微调的迁移学习方法。

2.2 模型迁移流程

由文献[17]可知模型迁移流程分为3个阶段:①下载基于ImageNet超大图像数据集预训练好的MobileNet网络模型;②将标注过的巡检图像数据集作为输入,获取MobileNet网络中的卷积部分输出,利用这个输出训练一个全连接网络,然后将MobileNet网络中卷积模型和参数迁移过来,并固化模型中间各层参数,使用之前预训练的全连接网络替换MobileNet原有的全连接层,得到一个基于MobileNet深度迁移学习模型,并进行模型训练和微调参数;③使用模型进行预测。

3 实验分析

3.1 实验环境及设备

本文选用工作站作为实验平台。处理器为Intel Xeon E5,内存64 GB,4块GPU显卡GTX1080TI 11 G。软件框架结构为基于TensorFlow 1.8深度学习框架。实验数据来自国网四川省电力公司。

3.2 评价指标

准确匹配度(以下简称匹配度),即预测结果和真实类别完全一致时的样本数与总的样本数的比值。

3.3 超参设置

经过多次试验,将本模型训练的超参设置如下:学习率(learning rate)设置为0.005,既保障模型结果的匹配度,又使模型具有一定的收敛速度,从而使得训练深层网络模型更加容易和稳定;为了充分训练学习,训练轮数(epoch)设为4000,批处理尺寸(batch size)设为100。

MobileNet模型本身有2个超参数:一个是模型每一层输入通道数和输出通道数的宽度乘数α,α通常取值为1、0.75、0.5、0.25,α取值越小,模型越小,运行速度明显越快,但会牺牲准确性;另一个超参数是MobileNet模型中分辨率乘数ρ,ρ常用的图像分辨率为:224、192、160、128,图像分辨率越高,处理时间就越多,但分类匹配度也更高。为了在保证识别匹配度最好,本文对超参数α和ρ分别取1和224。

3.4 实验结果

原设备图像分为4类,其中2个缺陷样本类别数量约为30张/类,2个正常样本类别数量约为近500张/类。缺陷样本类别存在数量小且缺陷数据和正常设备数据严重不平衡。使用CycleGAN手段扩充原始样本的2个缺陷样本类别,手动筛选后小样本数据扩展到近100张/类,并与2个正常样本类别组成基础数据集。本文为了说明迁移学习和数据扩充对小样本学习的重要性,分别做了对比实验。

3.4.1 迁移学习对比实验

将基础数据集分割为训练集和数据集,训练集由20张/类的2类缺陷样本类别、320张/类的2类正常样本组成,测试集由剩余4类图片随机抽取400张组成。此实验基于同样超参设置的MobileNet深度神经网络,使用相同训练集和测试集,训练4000轮,训练过程使用交叉验证(cross-validation)。控制神经网络初始权重不同,实验A是基于ImageNet预训练权重的迁移学习,实验B是基于无预训练权重的学习。

图5展示了不同训练方式训练过程图像识别的匹配度和交叉熵(cross entropy)的对比,由图中可见,实验A迁移学习的训练过程中匹配度能够很快提升且可以很快收敛,交叉熵逐步下降并收敛,而实验B非迁移学习的匹配度和交叉熵都震荡严重且很难收敛。将训练后的模型用于测试集测试,实验A模型的匹配度达到74%,而实验B模型的匹配度只有22%。

由此可见,预训练权重的模型在训练数据不平衡条件下训练收敛速度、匹配度等性能明显优于无预训练权重的模型,因此本文选择能够加速训练并改善深度学习模型的迁移学习方法。虽然预训练权重的模型在小样本训练中具有一定效果,但是效果不理想,仍需要做进一步处理。

3.4.2 数据扩充方法对比实验

此实验采用基于含ImageNet预训练权重的MobileNet深度神经网络的迁移学习。MobileNet神经网络网络模型的超参设置相同,实验训练集由基础数据集2类缺陷样本随机抽取40张/类组成,测试集由剩余2类缺陷样本组成的,通过不同的数据扩充方法将各缺陷类每张图片扩充4倍,样本数量为160张/类,以比较不同数据扩充方法对图像识别性能的影响。

图5 交叉熵和图像匹配度训练过程对比
Fig.5 Comparison of training process in cross entropy and image recognition matching degree

实验中,将训练集中每一缺陷类样本分别通过镜像对称(此方法所限,图片最多扩充4倍)、剪切(以包含特征目标为条件,随机裁剪原图的75%~95%部分)、旋转(以0~90°为旋转区间,随机旋转原图)、加高斯噪声(以原图加上噪声仍可辨识物体为噪声强度上限,随机设置噪声强度)、扭曲(以原图扭曲后视觉上仍可辨识物体为扭曲程度上限,随机扭曲图片)等方法将原始数据扩充4倍,并比较了原始训练集与运用不同扩充方法后的扩充训练集对MobileNet模型识别输电线路物体匹配度的影响,实验结果见图6。

通过图6可知,剪切、旋转、镜像对称、扭曲等数据增强方法对识别效果有正影响,而加噪声方法对识别效果影响不大。所以本文又采用了综合方法(对样本图片随机剪切、旋转、镜像对称、扭曲)增强样本并比较了识别效果,可见采用综合方法增强样本数据的方法最好,对识别效果最有益处,后面的实验将采用综合方法扩充。

3.4.3 数据扩充数量影响对比实验

图6 数据扩充方法对匹配度的影响
Fig.6 Impact of data augmentation methods on recognition matching degree

将基础数据集分割为训练集和数据集,训练集由20张/类的2类缺陷样本类别、320张/类的2类正常样本组成,测试集由剩余4类图片随机抽取400张组成。此实验采用基于含ImageNet预训练权重的MobileNet深度神经网络的迁移学习。MobileNet神经网络网络模型的超参设置相同,测试集相同,本实验将探索数据递增扩充对于图像识别的匹配度的影响趋势。如图7所示,实验中2类正常样本数量不变,结果展示了匹配度随缺陷样本数量递增产生的变化。

图7 数据扩充对比实验匹配度
Fig.7 Matching degree in data augmentation contrast experiment

图8 基于数据扩充的迁移学习模型匹配度和交叉熵
Fig.8 Matching degree and cross entropy of transfer learning model with data augmentation

由图7可见,样本数量过少匹配度很低,随着样本数量的增加,图像识别的匹配度也会逐渐提高,直至递增趋势变缓,最终几乎无变化。如实验所示,数据集中存在缺陷样本类数量过少的情况,对小样本类进行数据扩充,提高了匹配度,且各类样本数量达到均衡时,匹配度趋近于峰值,而继续扩充小样本类,匹配度却无明显变化。所以,当数据集中存在某些类样本数量过少的情况时必须对小样本类进行数据扩充至样本均衡,以提高识别的匹配度。

由实验结果可知,对小样本图像使用迁移学习且运用合适的扩充方法对数据进行扩充能较好地提高物体识别的匹配度,并能防止过拟合问题。

3.5 应用

输电线路缺陷图像识别测试选择基于MobileNet的迁移学习,用于识别输电线路上故障物体,因样本中缺陷绝缘子和断股导线的样本量很少,需要对这两类小样本进行数据扩充至500张左右,使各类样本的数量均衡。实验的训练过程如图8所示,训练的匹配度很高、交叉熵很小且收敛,实验结果的整体识别匹配度达到近95%,可见基于迁移学习的小样本扩充方法应用于使用缺陷样本较少的数据集训练的深度学习中具有不错的效果。

4 结论

通过对基于迁移学习的小样本扩充输电线路巡检图像方法的研究与实现,提高了小样本条件下输电线路巡检缺陷图像识别的匹配度。下一步工作将进一步提升巡检图片识别的匹配度,在实际工作中积累缺陷样本图像并研究其他数据增强方法;研究在数据量增多情况下的迁移学习方法,将深度卷积模型最后几层参数前置并评估效果;跟踪并评估带残差的MobileNet网络模型,以提高迁移学习基础网络模型的性能;针对不同缺陷类特点,优化调整计算策略,形成工程方法,推广电力设备故障识别范围(如室内电力设备状态识别等)。斯坦福大学教授吴恩达曾说过:“迁移学习将会是继监督学习之后的下一个机器学习商业成功的驱动力”[18]。随着研究的不断深入,基于迁移学习的小样本处理方法将会在电力行业领域得到更多的应用和推广。

参考文献

[1]鞠平,周孝信,陈维江,等.“智能电网+”研究综述[J].电力自动化设备,2018,38(5):2-11.Ju Ping, Zhou Xiaoxin, Chen Weijiang, et al.“Smart grid plus” research overview[J].Electric Power Automation Equipment, 2018, 38(5): 2-11(in Chinese).

[2]He K, Zhang X, Ren S, et al.Delving deep into rectifiers: surpassing human-level performance on imagenet classification[J].International conference on computer vision, 2015: 1026-1034.

[3]Lake, Brenden M, Salakhutdinov, et al.One-shot learning by inverting a compositional causal process[C]// In Advances in neural information processing systems, 2013: 2526-2534.

[4]Yosinski J, Clune J, Bengio Y, et al.How transferable are features in deep neural networks[J].Eprint Arxiv, 2014.27: 3320-3328.

[5]Jimmy Ba, Kevin Swersky, SanjaFidler, et al.Predicting deep zero-Shot convolutional neural networks using textual descriptions[C]// International Conference on Computer Vision, 2015.

[6]W.L.Chao, S.Changpinyo, B.Gong, et al.An empirical study and analysis of generalized zero-shot learning for object recognition in the wild[C]// European Conference on Computer Vision, 2016: 52-68.

[7]Lu J, VahidBehbood, PengHao, et al.Transfer learning using computational intelligence: a survey[J].Knowledge-Based Systems, 2015 (80): 14-23.

[8]Shao L, Zhu F, Li X L.Transfer learning for visual categorization: a survey[J].IEEE Transactions on Neu-ral Networks and Learning Systems, 2015, 26( 5): 1019-1034.

[9]吴斌,吉佳,孟琳,等.基于迁移学习的唐诗宋词情感分析[J].电子学报,2016,44(11):2780-2787.Wu Bin, Ji Jia, Meng Lin, et al.Transfer learning based senti ment analysis for poetry of the Tang Dynasty and Song Dynasty[J].Acta Electronica Sinica, 2016, 44(11):2780-2787(in Chinese).

[10]李松,魏中浩,张冰尘,等.深度卷积神经网络在迁移学习模式下的SAR目标识别[J].中国科学院大学学报,2018,35(1):75-83.Li Song, Wei Zhonghao, Zhang Bingchen, et al.Target recognition using the transfer learning-based deep convolutional neural networks for SAR images [J].Journal of University of Chinese Academy of Sciences, 2018, 35(1):75-83(in Chinese).

[11]程铭,毋国庆,袁梦霆.基于迁移学习的软件缺陷预测[J].电子学报,2016,44 (1):115-122.Cheng Ming, Wu Guoqing, Yuan Mengting.Transfer learning for software defect prediction[J].Acta Electronica Sinica, 2016, 44 (1): 115-122(in Chinese).

[12]韩传家,张孝顺,余涛,等.风险调度中引入知识迁移的细菌觅食强化学习优化算法[J].电力系统自动化,2017,41(8):69-77,97.Han Chuanjia, Zhang Xiaoshun, Yu Tao, et al.Optimization algorithm of reinforcement learning based knowledge transfer bacteria foraging for risk dispatch[J].Automation of Electric Power Systems, 2017, 41(8): 69-77, 97(in Chinese).

[13]Goodfellow I J, Pouget-Abadie J, Mirza M, et al.Generative adversarial networks[J].Advances in Neural Information Processing Systems, 2014(3): 2672-2680.

[14]Zhu J Y, Park T, Isola P, et al.Unpaired image-to-image translation using cycle-consistent adversarial networks[J].2017: 2242-2251.

[15]R.Hadsell, S.Chopra, and Y.LeCun.Dimensionality reduction by learning an invariant mapping[C]// In CVPR, 2006.

[16]G.Koch, R.Zemel, and R.Salakhutdinov.Siamese neural networks for one-shot image recognition [C]// ICML Deep Learning Workshop, 2015.

[17]Yosinski J, Clune J, Bengio Y, et al.How transferable are features in deep neural networks[J].Neural Information Processing Systems, 2014: 3320-3328.

[18]王慧.迁移学习研究综述[J].电脑知识与技术,2017,3(32):203-205.Wang Hui.Summarization of Transfer Learning Research[J].Computer Knowledge and Technology, 2017, 3(32): 203-205(in Chinese).

Defect Recognition Using Few-shot Learning and Transfer Learning for Transmission Line Inspection Images

LU Jixiang1,2, LI Hao1, XU Kang1, XU Hongsheng1, YANG Zhihong1, 2
(1.NARI Group Corporation, Nanjing 211106, Jiangsu Province, China; 2.State Key Laboratory of Intelligent Power Grid Protection and Operation Control, Nanjing 211106, Jiangsu Province, China)

Abstract: A large number of images are provided with utilization of unmanned aerial vehicle (UAV) in grid inspection while few images of defected devices are available due to the nature of possibility of defects.To increase the defect recognition accuracy and alleviate the problem of overfitting, we introduce few-shot learning technology by applying data augmentation such as image crop, flip and rotation, etc.The generative adversarial network (GAN) is also used to generate samples for image data augmentation.We subsequently developed classification model for grid inspection defect recognition with transfer learning technology.We change neural network parameters on input layer and last two output layers, and leverage state-of-the-art pre-trained deep convolution neural networks models on large-scale data.Fine-tuned technology is applied as well.The experimental result shows the recognition accuracy of defects such as line broken and insulator broken is closed to 95%.It proves that few-shot learning and transfer learning can be effective approach for defect target recognition in transmission line inspection image processing.

Keywords: few-shot; transfer learning; transmission line; data augmentation; GAN; image recognition

National Key Research and Development Program of China (2017YFB0902605).


陆继翔

作者简介:

陆继翔(1973),男,高级工程师,博士,主要研究方向为人工智能与电网调度,E-mail:lujixiang@sgepri.sgcc.com.cn。

李昊(1990),男,工程师,硕士,主要研究方向为大数据和深度学习,E-mail:lihao5@sgepri.sgcc.com.cn。

徐康(1989),男,工程师,硕士,主要研究方向为人工智能和经济电力调度,E-mail:xukang@sgepri.sgcc.com.cn。

徐弘升(1987),男,工程师,博士,主要研究方向为机器学习和计算电磁,E-mail:xuhongsheng@sgepri.sgcc.com.cn。

杨志宏(1968),男,教授级高级工程师,博士,主要研究方向为电网调控自动化,E-mail:yangzhihong@sgepri.sgcc.com.cn。

(责任编辑 张鹏)

  • 目录

    图1