基于特征信息融合的输电线路红外和可见光图像融合方法与流程
本发明涉及信息融合的，尤其是指一种基于特征信息融合的输电线路红外和可见光图像融合方法。
背景技术：
1、电网输电线路是电力系统的重要组成部分，其稳定运行对于维持供电网络的安全和可靠至关重要。传统上通过监测输电线路的红外或可见光图像，电网运营商可以评估线路的状态。红外图像能够反映出线路的温度分布和热量变化，而可见光图像则提供了线路结构和表面细节等方面的信息。
2、然而，单独使用红外或可见光图像存在一定局限性，往往无法提供整个场景的全面描述。红外图像对于高温、腐蚀以及光线不足等异常情况的检测具有优势，但对于某些结构问题或物体细节的识别能力相对较弱。可见光图像虽然能够提供丰富的结构信息，但在夜间或恶劣天气条件下可能受到限制，且无法直接反映线路的温度变化。目前已存在一些图像融合方法，试图将红外和可见光图像相结合以弥补各自的不足。红外和可见光图像融合旨在利用红外图像和可见光图像的不同成像特性，挖掘多模态数据之间的互补信息，合成能够完整、准确地描述实际场景的新图像。两类图像的有效融合能够包含更丰富的信息，提高后续输电线路目标识别、图像配准、视觉跟踪、三维重建等技术的效率。
3、然而，现有的融合方法仍然存在一些缺陷。一些方法仅仅简单地叠加两种图像，未能充分利用它们的特征信息，导致融合图像的质量和分辨率不高。还有一些传统方法使用相关的数学变换和手动设计的融合规则来获得融合图像，这种方法往往只适用于特定的融合任务，不具有复杂情况的适应性。目前基于深度学习的方法已经成为图像融合的主流方法，由于神经网络具有较强的拟合能力，这类方法通常可以通过设计目标函数实现有效信息的提取和重构来获得更好的融合结果。尽管现有的基于深度学习的方法与传统方法相比已经取得能够获得较好的融合性能，但在处理过程中常常忽略了红外和可见光图像本身的关键线路特征，导致融合过程中引入了很多无效的信息，融合图像质量仍然有进一步的提升空间。
技术实现思路
1、本发明的目的在于克服现有技术的不足，提供了一种基于特征信息融合的输电线路红外和可见光图像融合方法，可通过提取并预先融合红外和可见光图像的特征信息，并使用不同的池化层来捕获多尺度深层特征来增强融合效果，获得质量更高的融合图像。
2、为实现上述目的，本发明所提供的技术方案为：基于特征信息融合的输电线路红外和可见光图像融合方法，该方法是基于改进卷积网络实现电网输电线路的红外和可见光图像的有效融合，该改进卷积网络的具体改进包括：①在编码器的两个分支的编码单元之间添加了特征信息增强融合模块，用于在两个分支的特征图融合前进行预融合，同时增强红外和可见光特征图，使得融合图像拥有更加丰富和全面的数据；②将原来的融合模块改进为多尺度特征信息融合模块，该模块使用不同的池化层获取特征上下文信息，用于获得质量更高的融合图像；
3、所述输电线路红外和可见光图像融合方法的具体实施，包括：
4、将获取的电网输电线路的红外和可见光图像输入已训练好的改进卷积网络进行以下操作：
5、红外和可见光图像分别输入编码器，由编码器中的两个编码单元分别对红外和可见光图像进行处理，即红外图像由其中一个编码单元处理，可见光图像由另一个编码单元处理，每个编码单元由一个卷积层和三个残差卷积模块组成，两个编码单元之间还增设两个特征信息增强融合模块；首先，利用两个编码单元的卷积层分别对输入的红外和可见光图像进行初步卷积，随后分别输入各自相应的第一个残差卷积模块进行特征提取，获得第一红外和可见光特征图，该第一红外和可见光特征图分别输入第一个特征信息增强融合模块，该模块分别输出第一红外和可见光增强特征表示，该第一红外和可见光增强特征表示分别与各自相应的第一红外和可见光特征图拼接生成增强后的第一红外和可见光特征强化图，该第一红外和可见光特征强化图分别输入各自相应的第二个残差卷积模块进行特征提取，获得第二红外和可见光特征图，该第二红外和可见光特征图分别输入第二个特征信息增强融合模块，该模块分别输出第二红外和可见光增强特征表示，该第二红外和可见光增强特征表示分别与各自相应的第二红外和可见光特征图拼接生成增强后的第二红外和可见光特征强化图，该第二红外和可见光特征强化图分别输入各自相应的第三个残差卷积模块进行特征提取，获得第三红外和可见光特征图，将完成特征提取后获得的第三红外和可见光特征图直接输入到多尺度特征信息融合模块，该模块使用多个最大池化层对第三红外和可见光特征图进行池化，随后通过拼接卷积扩大网络感受野，完成第三红外和可见光特征图的融合，得到混合特征图；
6、将混合特征图输入到解码器中进行特征降维，解码器中同样使用三个残差卷积模块进行解码，获得重构后的电网输电线路的红外和可见光融合图像。
7、进一步，所述特征信息增强融合模块对输入的红外和可见光特征图进行增强，具体情况如下：
8、由于红外图像目标信息突出，使用frequency-tuned算法对红外特征图进行显著性处理，输出红外显著性特征图；由于可见光图像纹理信息丰富，使用sobel算子对可见光特征图进行梯度图提取，输出可见光梯度特征图；将红外特征图、可见光特征图、红外显著性特征图和可见光梯度特征图进行拼接，拼接后获得的特征图输入两个分支，每个分支先通过1×1卷积调整通道数，再经通道注意力机制处理后输出红外和可见光增强特征表示；
9、所述特征信息增强模块的处理过程表示为：
10、fm＝concat(concat(fi,sobel(fi)),concat(fv,ft(fv)))
11、fi'＝se(conv(fm))
12、fv'＝se(conv(fm))
13、式中，fi、fv分别表示输入的红外和可见光特征图，fm表示拼接后的特征图，fi'、fv'分别表示两个分支经通道注意力机制处理后输出的红外和可见光增强特征表示，sobel表示使用sobel算子提取图像的梯度图，ft表示使用frequency-tuned算法提取图像的显著性图，se表示使用se通道注意力机制增强特征图。
14、进一步，所述多尺度特征信息融合模块对于输入的红外和可见光特征图先分别通过两个分支进行最大池化处理，每个分支串联两个3×3的最大池化层，通过对池化过程中中间特征图的拼接实现多尺度特征信息融合，最后再将两个分支的特征图通过拼接卷积进行最终拼接融合，得到混合特征图；
15、所述多尺度特征信息融合模块的处理过程表示为：
16、
17、fm'＝conv(concat(fmi,fmv))
18、式中，分别表示输入多尺度特征信息融合模块的红外和可见光特征图，maxpool3×3表示对特征图进行3×3最大池化处理，fmi、fmv分别表示经多个最大池化层池化和拼接后的红外和可见光特征图，fm'表示多尺度特征信息融合模块最后输出的混合特征图。
19、进一步，所述改进卷积网络利用重构后的红外和可见光融合图像与原红外和可见光图像之间的像素损失和梯度损失构成总损失函数，其中像素损失用于保留原图信息，梯度损失用于保留原图最大纹理细节，该总损失函数公式如下所示：
20、l＝lpixel+λlgrad
21、
22、式中，l表示总损失函数，lpixel、lgrad分别表示像素损失和梯度损失，ii、iv分别表示原红外和可见光图像，if表示重构后的红外和可见光融合图像，h、w分别表示图像的高度和宽度，和分别表示原红外图像、原可见光图像和重构后的红外和可见光融合图像的梯度图，λ是一个超参数。
23、进一步，所述残差卷积模块由三个卷积层以及一个跳跃连接的同等映射组成。
24、本发明与现有技术相比，具有如下优点与有益效果：
25、1、提升信息丰富度。本发明通过特征信息增强融合模块对红外和可见光特征图进行预融合，用于获得更加丰富和全面的数据。红外图像能够提供温度等热信息，而可见光图像则提供更丰富的结构和细节信息。融合后的图像可以同时反映出温度分布和物体结构，提升输电线路信息丰富度。
26、2、保留重要信息。特征信息增强融合模块在预融合后添加了通道注意力机制，能够根据图像的特点和需要，自适应地增强和保留对输电线路状态评估有关键作用的信息，避免不必要的干扰和噪音。
27、3、优化图像质量。除了使用特征信息增强融合模块提升图像融合质量外，本发明使用了多尺度特征信息融合模块，它能有效地整合特征上下文信息，提供更全面、丰富的视觉上下文，用于后期图像解码，提高融合图像的质量。
技术特征：
1.基于特征信息融合的输电线路红外和可见光图像融合方法，其特征在于，该方法是基于改进卷积网络实现电网输电线路的红外和可见光图像的有效融合，该改进卷积网络的具体改进包括：①在编码器的两个分支的编码单元之间添加了特征信息增强融合模块，用于在两个分支的特征图融合前进行预融合，同时增强红外和可见光特征图，使得融合图像拥有更加丰富和全面的数据；②将原来的融合模块改进为多尺度特征信息融合模块，该模块使用不同的池化层获取特征上下文信息，用于获得质量更高的融合图像；
2.根据权利要求1所述的基于特征信息融合的输电线路红外和可见光图像融合方法，其特征在于，所述特征信息增强融合模块对输入的红外和可见光特征图进行增强，具体情况如下：
3.根据权利要求1所述的基于特征信息融合的输电线路红外和可见光图像融合方法，其特征在于，所述多尺度特征信息融合模块对于输入的红外和可见光特征图先分别通过两个分支进行最大池化处理，每个分支串联两个3×3的最大池化层，通过对池化过程中中间特征图的拼接实现多尺度特征信息融合，最后再将两个分支的特征图通过拼接卷积进行最终拼接融合，得到混合特征图；
4.根据权利要求1所述的基于特征信息融合的输电线路红外和可见光图像融合方法，其特征在于，所述改进卷积网络利用重构后的红外和可见光融合图像与原红外和可见光图像之间的像素损失和梯度损失构成总损失函数，其中像素损失用于保留原图信息，梯度损失用于保留原图最大纹理细节，该总损失函数公式如下所示：
5.根据权利要求1所述的基于特征信息融合的输电线路红外和可见光图像融合方法，其特征在于，所述残差卷积模块由三个卷积层以及一个跳跃连接的同等映射组成。
技术总结
本发明公开了一种基于特征信息融合的输电线路红外和可见光图像融合方法，该方法是基于改进卷积网络实现电网输电线路的红外和可见光图像的有效融合，该改进卷积网络的具体改进包括：①在编码器的两个分支的编码单元之间添加了特征信息增强融合模块，用于在两个分支的特征图融合前进行预融合，同时增强红外和可见光特征图，使得融合图像拥有更加丰富和全面的数据；②将原来的融合模块改进为多尺度特征信息融合模块，该模块使用不同的池化层获取特征上下文信息，用于获得质量更高的融合图像。本发明可通过提取并预先融合红外和可见光图像的特征信息，并使用不同的池化层来捕获多尺度深层特征来增强融合效果，获得质量更高的融合图像。
技术研发人员：郑日平,张俊,李晓斌,钟国思,刘宝军,肖琪,黄智明,叶智杰,陈亦,张晓光,辛浩淼,梁铸威,姚攀,谢子轶,许玉格
受保护的技术使用者：广东电网有限责任公司江门供电局
技术研发日：
技术公布日：2024/9/23