一种基于频率特征解耦的红外与可见光图像融合方法
本发明属于计算机视觉领域，涉及一种频率特征解耦的红外与可见光图像融合方法。
背景技术：
：：1、红外传感器可捕获目标的热辐射信息，但红外图像缺少场景目标的纹理结构信息。可见光图像可清晰描述场景目标的结构信息，受环境影响其成像效果具有局限性。红外与可见光图像融合技术，可以融合红外图像的热辐射信息以及可见光图像的光谱信息，从而更全面的感知或识别周围环境、目标，提高系统感知能力。目前，红外与可见光图像融合技术，在自动驾驶、军事、安防等领域发挥了重要作用。2、基于深度学习的红外与可见光图像融合效果在很大程度上依赖于网络的特征提取能力。目前，红外与可见光图像融合网络包括基于对抗性网络和基于非对抗性网络的方法。前者通过巧妙设计损失函数来融合两种图像的关键特征，后者则通过无监督学习的方式提取特征，旨在保留源图像的重要信息。然而，这些方法也存在一些缺陷。基于对抗性网络的方法，比如2022年苏伟坚等人发表在期刊《ieee transactions on instrumentationand measurement》中的文章《infrared and visible image fusion basedonadversarial feature extraction andstable image reconstruction》，他们设计了提出了一种基于自编码器的网络——提取与重建网络(ernet)来融合红外和可见光图像。为了稳定地训练编码器，我们在红外和可见光图像的特征域进行对抗学习，使得训练好的编码器能够有效地从中提取重要特征，但是网络优化仍然存在挑战，同时设计能够全面捕捉源图像所有重要信息的损失函数也是一个难题。而基于非对抗性网络的融合方法，比如李华峰等人2023年11月发表在顶会《international journal of computer vision》中的文章《a deep learning framework for infrared and visible image fusion withoutstrict registration》，他们设计了一个分层交互嵌入(cthie)模块，该模块可以结合cnn和transformer各自的优势，从源图像中提取特征。但由于缺乏真值监督，难以确保特征提取的全面性和准确性，导致关键的细节信息缺失。针对上述问题，需要探索如何更有效地提取源图像纹理细节，以提升最终融合性能。3、综上，在红外与可见光图像融合中网络的特征提取能力至关重要。因此，为了提升网络特征提取能力，本发明提出了基于频率特征解耦的红外与可见光图像融合网络，缓解现有融合网络中频率特征融合不全面的难题，从而得到信息更加丰富且准确的融合图像，以推动红外与可见光图像融合技术在下游高级视觉任务中的应用。技术实现思路1、本发明的目的是为了提升网络特征提取能力，提出了频率特征解耦的红外与可见光图像融合方法。2、本发明的技术方案：3、一种基于频率特征解耦的红外与可见光图像融合方法，步骤如下：4、步骤一：制作红外与可见光图像融合数据集5、1)获取红外图像以及可见光图像作为原始图像；6、2)调整红外图像与可见光图像的尺寸，获得大小一致的红外源图像与可见光源图像7、3)将大小一致的红外源图像与可见光源图像使用固定大小的窗口、步长从上到下，从左到右滑动获取图像块，得到图像对；8、4)将获取的图像对进行翻转和镜像操作，以增加数据集的多样性和样本数量，获得红外与可见光图像融合数据集；9、步骤二：设计频率特征解耦的红外与可见光图像融合网络，实现图像融合10、1)频率特征生成模块：首先对红外源图像进行拉普拉斯分解，分为以下两步：构建高斯金字塔，高斯金字塔的第零层图像即为红外源图像对红外源图像进行下采样，生成高斯金字塔的第一层图像对第一层图像进行下采样得到第二层图像以此类推得到高斯金字塔的第m层图像计算拉普拉斯金字塔，用高斯金字塔第m层图像与其上一层图像经上采样后的图像做差得到拉普拉斯金字塔的第m层图像rm，m表示第m层，范围为{1,2，……，m}；拉普拉斯金字塔的第零层图像r0是由红外源图像与拉普拉斯金字塔第一层图像r1做差得到，获得图像rm、r0的这个过程表达为：11、12、其中，up表示将图像进行上采样操作；通过上式提取出图像的不同频率的成分，拉普拉斯金字塔的每一层都能反映原始图像在不同尺度下的边缘和细节信息，其中r0为红外图像基础图，r1到rm为红外图像频率特征图；13、接着对可见光源图像进行拉普拉斯分解，同理得vm、v0获取的过程表达式为：14、15、其中m表示为第m层，范围为{1,2，……，m}，其中v0为可见光图像基础图，v1到vm为可见光图像频率特征图；16、2)频率特征解耦模块：由两个相同的分支组成：即红外图像频率特征解耦分支和可见光图像频率特征解耦分支；每个分支均包含3个卷积层，每层的卷积核参数为3*3*f，其中f为卷积核个数，第一层卷积核个数为64，第二层为128，第三层为256；卷积层所提取的分别为红外图像层级特征f′m、可见光图像层级特征f″m，m表示为第m层，范围为{1,2，……，m}；红外图像频率特征解耦分支和可见光图像频率特征解耦分支的输入分别为红外源图像与可见光源图像图像宽度为w、高度为h；将上一层的红外图像层级特征f′m-1、可见光图像层级特征f″m-1拼接并进行三次卷积运算，输出结果为该层级预测的红外图像频率特征图i′m和可见光图像频率特征图i″m，过程表示为：17、i′m,i″m＝c3(cat(f′m-1,f″m-1)) (5)18、其中，c3表示三次卷积运算，cat表示拼接操作；19、然后让频率特征rm、vm分别监督各个层级预测输出的频率特征图i′m、i″m，以此来保证相应的中间层有能力提取源图像的频率特征；该模块的loss函数lv以及lr表示为：20、lv＝mse(i″m,vm) (6)21、lr＝mse(i′m,rm) (7)22、其中，mse表示均方误差；23、为了将红外图像与可见光图像的频率特征耦合到融合结果中，第二层至m层的层级特征fm由频率特征解耦模块提取的红外图像层级特征f′m、可见光图像层级特征f″m经过拼接并卷积的操作得到，该过程表达为：24、25、其中，c2为两次卷积操作，cat表示拼接操作；26、红外图像层级特征f′m、可见光图像层级特征f″m也来自于层级特征fm，由fm经卷积操作后得到，表达为：27、f′m,f″m＝c(fm),m≥m≥1 (9)28、由于特征f′m、f″m来自于fm，从而确保了fm包含源图像主要特征，因此有更好的融合效果；29、3)基础特征提取模块，红外源图像与可见光源图像作为输入图像，将其拼接并经过卷积操作后得到特征fbase；其次，使用红外图像基础图r0与可见光图像基础图v0相加后的图像对fbase进行监督，该分支的loss函数li表示为：30、li＝mse((r0+v0),fbase) (10)31、其中，mse表示均方误差；32、4)融合结果输出；由源图像与频率特征生成模块、频率特征解耦模块以及基础特征提33、取模块最终输出结果权重w相乘得到融合结果if，过程表示为：34、35、其中，w为权重图，由fm和fbase相加并卷积获得：36、w＝c4(fm+fbase) (12)37、其中c4表示四次卷积操作；38、步骤三：网络训练的核心在于优化损失函数；本方法提出的频率特征解耦的红外与可见光图像融合网络，其损失函数由监督训练损失、融合损失两部分组成：监督训练损失，即li、lv和lr；融合损失，即lf；通过最小化loss函数l，网络训练得以进行，损失函数l表达式为39、l＝li+lv+lr+lf (13)40、其中lf为基于ssim的损失函数；41、步骤四：测试阶段；输入宽度w，高度h的一幅红外图像和一副可见光图像输出其最终融合结果if。42、本发明的有益效果：本发明提出了一种频率特征解耦的红外与可见光图像融合方法，首先设计了频率特征生成模块，通过拉普拉斯分解，得到红外与可见光图像的图像基础图以及图像边缘图，用于后续的监督工作；其次，设计了频率特征解耦模块，该模块分别对红外和可见光图像进行特征提取，保证提取特征中包含源图像的主要特征；最后是基础特征提取模块，着重提取源图像中的细节特征，从而有效提升网络特征提取能力并且有更好的融合效果。当前第1页12当前第1页12
技术特征：
技术总结
本发明属于计算机视觉领域，提出一种基于频率特征解耦的红外与可见光图像融合方法，包括以下步骤：收集红外与可见光图像，对图像进行尺寸调整以及滑动窗口取图像对等处理，构建具有多样性的红外与可见光图像融合数据集；设计基于频率特征解耦的红外与可见光图像融合网络；设计损失函数，用于监督网络模型的训练过程；在测试阶段，输入红外与可见光源图像，网络将输出最终的图像融合结果。本发明结合了拉普拉斯分解的监督方法，有效提升网络特征提取能力。
技术研发人员：赵凡,刘浚滔,韩鸿阳
受保护的技术使用者：辽宁师范大学
技术研发日：
技术公布日：2024/9/23
背景技术：
：：1、红外传感器可捕获目标的热辐射信息，但红外图像缺少场景目标的纹理结构信息。可见光图像可清晰描述场景目标的结构信息，受环境影响其成像效果具有局限性。红外与可见光图像融合技术，可以融合红外图像的热辐射信息以及可见光图像的光谱信息，从而更全面的感知或识别周围环境、目标，提高系统感知能力。目前，红外与可见光图像融合技术，在自动驾驶、军事、安防等领域发挥了重要作用。2、基于深度学习的红外与可见光图像融合效果在很大程度上依赖于网络的特征提取能力。目前，红外与可见光图像融合网络包括基于对抗性网络和基于非对抗性网络的方法。前者通过巧妙设计损失函数来融合两种图像的关键特征，后者则通过无监督学习的方式提取特征，旨在保留源图像的重要信息。然而，这些方法也存在一些缺陷。基于对抗性网络的方法，比如2022年苏伟坚等人发表在期刊《ieee transactions on instrumentationand measurement》中的文章《infrared and visible image fusion basedonadversarial feature extraction andstable image reconstruction》，他们设计了提出了一种基于自编码器的网络——提取与重建网络(ernet)来融合红外和可见光图像。为了稳定地训练编码器，我们在红外和可见光图像的特征域进行对抗学习，使得训练好的编码器能够有效地从中提取重要特征，但是网络优化仍然存在挑战，同时设计能够全面捕捉源图像所有重要信息的损失函数也是一个难题。而基于非对抗性网络的融合方法，比如李华峰等人2023年11月发表在顶会《international journal of computer vision》中的文章《a deep learning framework for infrared and visible image fusion withoutstrict registration》，他们设计了一个分层交互嵌入(cthie)模块，该模块可以结合cnn和transformer各自的优势，从源图像中提取特征。但由于缺乏真值监督，难以确保特征提取的全面性和准确性，导致关键的细节信息缺失。针对上述问题，需要探索如何更有效地提取源图像纹理细节，以提升最终融合性能。3、综上，在红外与可见光图像融合中网络的特征提取能力至关重要。因此，为了提升网络特征提取能力，本发明提出了基于频率特征解耦的红外与可见光图像融合网络，缓解现有融合网络中频率特征融合不全面的难题，从而得到信息更加丰富且准确的融合图像，以推动红外与可见光图像融合技术在下游高级视觉任务中的应用。技术实现思路1、本发明的目的是为了提升网络特征提取能力，提出了频率特征解耦的红外与可见光图像融合方法。2、本发明的技术方案：3、一种基于频率特征解耦的红外与可见光图像融合方法，步骤如下：4、步骤一：制作红外与可见光图像融合数据集5、1)获取红外图像以及可见光图像作为原始图像；6、2)调整红外图像与可见光图像的尺寸，获得大小一致的红外源图像与可见光源图像7、3)将大小一致的红外源图像与可见光源图像使用固定大小的窗口、步长从上到下，从左到右滑动获取图像块，得到图像对；8、4)将获取的图像对进行翻转和镜像操作，以增加数据集的多样性和样本数量，获得红外与可见光图像融合数据集；9、步骤二：设计频率特征解耦的红外与可见光图像融合网络，实现图像融合10、1)频率特征生成模块：首先对红外源图像进行拉普拉斯分解，分为以下两步：构建高斯金字塔，高斯金字塔的第零层图像即为红外源图像对红外源图像进行下采样，生成高斯金字塔的第一层图像对第一层图像进行下采样得到第二层图像以此类推得到高斯金字塔的第m层图像计算拉普拉斯金字塔，用高斯金字塔第m层图像与其上一层图像经上采样后的图像做差得到拉普拉斯金字塔的第m层图像rm，m表示第m层，范围为{1,2，……，m}；拉普拉斯金字塔的第零层图像r0是由红外源图像与拉普拉斯金字塔第一层图像r1做差得到，获得图像rm、r0的这个过程表达为：11、12、其中，up表示将图像进行上采样操作；通过上式提取出图像的不同频率的成分，拉普拉斯金字塔的每一层都能反映原始图像在不同尺度下的边缘和细节信息，其中r0为红外图像基础图，r1到rm为红外图像频率特征图；13、接着对可见光源图像进行拉普拉斯分解，同理得vm、v0获取的过程表达式为：14、15、其中m表示为第m层，范围为{1,2，……，m}，其中v0为可见光图像基础图，v1到vm为可见光图像频率特征图；16、2)频率特征解耦模块：由两个相同的分支组成：即红外图像频率特征解耦分支和可见光图像频率特征解耦分支；每个分支均包含3个卷积层，每层的卷积核参数为3*3*f，其中f为卷积核个数，第一层卷积核个数为64，第二层为128，第三层为256；卷积层所提取的分别为红外图像层级特征f′m、可见光图像层级特征f″m，m表示为第m层，范围为{1,2，……，m}；红外图像频率特征解耦分支和可见光图像频率特征解耦分支的输入分别为红外源图像与可见光源图像图像宽度为w、高度为h；将上一层的红外图像层级特征f′m-1、可见光图像层级特征f″m-1拼接并进行三次卷积运算，输出结果为该层级预测的红外图像频率特征图i′m和可见光图像频率特征图i″m，过程表示为：17、i′m,i″m＝c3(cat(f′m-1,f″m-1)) (5)18、其中，c3表示三次卷积运算，cat表示拼接操作；19、然后让频率特征rm、vm分别监督各个层级预测输出的频率特征图i′m、i″m，以此来保证相应的中间层有能力提取源图像的频率特征；该模块的loss函数lv以及lr表示为：20、lv＝mse(i″m,vm) (6)21、lr＝mse(i′m,rm) (7)22、其中，mse表示均方误差；23、为了将红外图像与可见光图像的频率特征耦合到融合结果中，第二层至m层的层级特征fm由频率特征解耦模块提取的红外图像层级特征f′m、可见光图像层级特征f″m经过拼接并卷积的操作得到，该过程表达为：24、25、其中，c2为两次卷积操作，cat表示拼接操作；26、红外图像层级特征f′m、可见光图像层级特征f″m也来自于层级特征fm，由fm经卷积操作后得到，表达为：27、f′m,f″m＝c(fm),m≥m≥1 (9)28、由于特征f′m、f″m来自于fm，从而确保了fm包含源图像主要特征，因此有更好的融合效果；29、3)基础特征提取模块，红外源图像与可见光源图像作为输入图像，将其拼接并经过卷积操作后得到特征fbase；其次，使用红外图像基础图r0与可见光图像基础图v0相加后的图像对fbase进行监督，该分支的loss函数li表示为：30、li＝mse((r0+v0),fbase) (10)31、其中，mse表示均方误差；32、4)融合结果输出；由源图像与频率特征生成模块、频率特征解耦模块以及基础特征提33、取模块最终输出结果权重w相乘得到融合结果if，过程表示为：34、35、其中，w为权重图，由fm和fbase相加并卷积获得：36、w＝c4(fm+fbase) (12)37、其中c4表示四次卷积操作；38、步骤三：网络训练的核心在于优化损失函数；本方法提出的频率特征解耦的红外与可见光图像融合网络，其损失函数由监督训练损失、融合损失两部分组成：监督训练损失，即li、lv和lr；融合损失，即lf；通过最小化loss函数l，网络训练得以进行，损失函数l表达式为39、l＝li+lv+lr+lf (13)40、其中lf为基于ssim的损失函数；41、步骤四：测试阶段；输入宽度w，高度h的一幅红外图像和一副可见光图像输出其最终融合结果if。42、本发明的有益效果：本发明提出了一种频率特征解耦的红外与可见光图像融合方法，首先设计了频率特征生成模块，通过拉普拉斯分解，得到红外与可见光图像的图像基础图以及图像边缘图，用于后续的监督工作；其次，设计了频率特征解耦模块，该模块分别对红外和可见光图像进行特征提取，保证提取特征中包含源图像的主要特征；最后是基础特征提取模块，着重提取源图像中的细节特征，从而有效提升网络特征提取能力并且有更好的融合效果。当前第1页12当前第1页12
技术特征：
1.一种基于频率特征解耦的红外与可见光图像融合方法，其特征在于，步骤如下：
技术总结
本发明属于计算机视觉领域，提出一种基于频率特征解耦的红外与可见光图像融合方法，包括以下步骤：收集红外与可见光图像，对图像进行尺寸调整以及滑动窗口取图像对等处理，构建具有多样性的红外与可见光图像融合数据集；设计基于频率特征解耦的红外与可见光图像融合网络；设计损失函数，用于监督网络模型的训练过程；在测试阶段，输入红外与可见光源图像，网络将输出最终的图像融合结果。本发明结合了拉普拉斯分解的监督方法，有效提升网络特征提取能力。
技术研发人员：赵凡,刘浚滔,韩鸿阳
受保护的技术使用者：辽宁师范大学
技术研发日：
技术公布日：2024/9/23
最新回复(0)