基于多源图像的融合目标检测方法

本发明属于图像处理，尤其涉及基于多源图像的融合目标检测方法。

背景技术：

1、随着传感器技术的发展，信息源越来越多，如何充分利用多源数据进行目标检测，提升目标检测的成功率，是多模态领域要突破的一个关键问题。多源数据进行目标检测的方法通常包括图像融合技术和使用特定的检测算法。图像融合是将多源遥感图像按照一定的算法，在规定的地理坐标系下生成新的图像的过程。这个过程需要最大限度地提取各自信道中的有利信息，最后综合成高质量的图像。通过图像融合，可以提高图像信息的利用率、改善计算机解译精度和可靠性，提升原始图像的空间分辨率和光谱分辨率，有利于监测。多源遥感数据具有冗余性、互补性和合作性，融合的目的是充分利用这些特性，消除多传感器之间可能存在的冗余和矛盾，加以互补，改善遥感信息提取的及时性和可靠性，提高数据的使用效率。

2、特定的检测算法如恒虚警率(cfar)检测算法是利用统计规律进行目标检测的一种经典算法，它设定一定的虚警率并给出杂波分布模型，然后使用一定的计算方式将目标与背景杂波区分开来。对于多源传感器而言，如可见光传感器和红外热成像传感器，通过融合它们的图像可以大幅度提高在持续监控、灾情搜救等应用领域的作用。

3、然而，现有技术中，为了解决为目标检测任务而不断提升图像的质量和与源图像的均方差，只追求图像质量的好坏往往通常忽略了融合图像的目的是为了更好的检测。

技术实现思路

1、有鉴于此，本发明的目标是将融合网络和目标检测网络进行端到端输入输出，提升检测精度的同时节省中间繁琐过程；将融合网络的grdb模块优化得到更加细致的融合图像；检测网络块加入bifpn提升小目标的检测精度。

2、具体的，本技术公开的基于多源图像的融合目标检测方法，包括以下步骤：

3、输入配准的红外图像iir和可见光图像ivis；

4、所述红外图像和可见光图像经过融合网络进行特征提取部分，包括：首先经过一层卷积层进行图像的初步特征提取，采用改进的残差密集流模块grdb提取图像细节信息；

5、对得到的可见光和红外图像的高层特征层进行图像拼接操作；

6、采用四层卷积解码器进行数据的解码，经过一个1x1卷积核的映射得到融合图像flast；

7、构造检测网络yolov5s的检测损失修正融合网络，融合网络和检测网络相互监督，使得融合特征区域更加具有融合特征，并赋予高置信度；

8、训练结束后，输出最终融合的图像。

9、优选地，所述检测网络yolov5s网络架构包括骨干提取网络、颈部网络和输出头检测网络；对于检测网络结构的检测目标位置及其置信度，首先将图片分为80×80、40×40、20×20个检测区片，对于每个大小的区域对应3个输出特征层，分别代表该区域块的置信度输出、边界框输出、分类输出；整体的检测网络框架卷积层包含切片、残差连接组件、拼接操作；

10、融合框架输出的融合图像输入，在所述骨干提取网络提取特征，骨干提取网络采用csp模块先将基础层的特征映射划分为两部分，通过跨阶段层次结构将它们合并；在颈部网络中，采用bifpn结构进行融合，所述bifpn在特征金字塔相邻级别之间引入双向连接，即信息自顶向下路径的传递，或自底向上路径的传递；

11、检测网络体系遵循如下流程：首先，检测网络接收由融合网络生成的融合多模态图像作为输入，运用检测网络中骨干网络对融合图像进行细颗粒度特征的特征提取，旨在提取目标物的潜在特征信息；通过骨干网络和颈部网络后生成三个不同尺度的头部特征层，其规格分别为80×80×3、40×40×3以及20×20×3；在这些多尺度特征层中，依据标签对每个分块内的每一个像素点目标存在的可能性进行输出比对反馈预测与实际之间的损失，并将上述检测损失反馈至检测网络和融合网络。

12、优选地，融合网络训练时的损失函数包括内容损失lcontent和检测损失lde，内容损失lcontent只负责修正融合网络，而检测损失lde同时修正检测网络和融合网络；

13、融合网络的内容损失lcontent包含图片整体强度损失和纹理损失，其中，图片整体强度损失约束图像的整体表现强度，而纹理损失使得融合图像包含更细颗粒度的纹理信息，这两者共同约束融合网络与红外和可见光图像的差异最小化，其中图片整体强度损失定义如下：

14、

15、其中，h和w分别为图像的高度和宽度，l1norm代表l1范数，ifusion是融合网络框架输出的像素点数据，max(iir,ivis)表示在可见光和红外图像中的最大像素选择；

16、图片整体强度损失通过选择可见光和红外图像中最大元素的策略来整合红外图像和可见光图像的像素强度分布；最后，利用积分分布来约束融合图像的像素强度分布；

17、所述纹理损失函数如下；

18、

19、表示梯度操作；

20、为保证内容损失最小为主，纹理损失的损失值通过权重值对内容损失进行辅助修正；

21、所述内容损失函数如下：

22、lcontent＝lint+α*ltex

23、目标检测网络对每个图像分割成80×80、40×40、20×20的网格，对每个网格做出3×80×80个预测框，根据标签给的mask掩码对原始图像是否存在目标进行赋值并与检测网络输出的特征层求得损失进行反向传播；

24、检测网络的损失函数包括置信度损失、目标框损失、分类损失三类；

25、

26、z,x,y分别为3个特征层和分类框数量；

27、对于目标框损失lossrec采用ciou算法进行求得目标框与标签框的损失，其中，ciou的数学公式如下：

28、

29、iou是目标框交并比，即检测网络输出的目标框与真实标签的交集与并集之比，其中p2(b,bgt)是指检测网络输出的边界框b与真实框bgt之间的欧斯距离，c是一个常数，用于收缩放大欧式距离的大小，a是权重参数，对于欧斯距离进行权重放大，v是一个辅助变量；

30、对于一张图像分割成的80×80的网格，神经网络对其中每个格子都预测三个位于该格子附近的矩形框，每个预测框的预测信息包括中心坐标、宽、高、置信度、分类概率，因此神经网络总共输出3×80×80个0～1的预测置信度，与3×80×80个预测框一一对应；每个预测框的置信度表征这个预测框的靠谱程度；而置信框的标签选择计算对应预测框和目标框的ciou作为其预测框的置信度标签，对于mask掩码为false的位置直接赋0；

31、对于置信度的置信度损失，采用bce loss的算法设计，其数学公式如下：

32、lossbce(z,x,y)＝-l(z,x,y)*logp(z,x,y)-(1-l(z,x,y)*log(1-p(z,x,y)))

33、其中z,x,y分别为3个特征层和分类框数量，对于存在目标的网格和不存在目标的网格都计算置信度值，并求权重之和得到总的置信度损失，其数学公式如下：

34、

35、lossobj＝β*lobj+(1-β)*lno-obj

36、其中,lobj是存在目标的网格置信度，lno-obj是不存在目标的网格置信度，lossobj是总的置信度损失；

37、对于总的目标检测损失，将每个特征头输出的损失进行加权求和：

38、lossrec＝α1*lossrec-80+α2*lossrec-40+α3*lossrec-20

39、lossobj＝α1*lossobj-80+α2*lossobj-40+α3*lossobj-20

40、lossclass＝α1*lossclass-80+α2*lossclass-40+α3*lossclass-20

41、lossrec―80、lossrec―40、lossrec―20分别是三个不同尺度输出层对应的置信度损失，lossobj―80、lossobj―40、lossobj―20分别是三个不同尺度输出层对应的目标框损失，lossclass―80、lossclass―40、lossclass―20分别是三个不同尺度输出层对应的分类损失；α1，α2，α3分别是预设的权重值；

42、目标检测的总的损失值由三者共同构成并与上述融合的内容损失构造为整体网络的损失函数，其数学公式如下：

43、lde＝lossrec+lossobj+lossclass

44、对于检测损失对于融合网络的修正，采取权重求和法；在训练前期，检测损失在融合网络的权重值较小，在网络修正中后期，融合和检测损失逐渐收敛，权重加大，迫使检测损失对融合网络向检测模型改进，同时约束检测网络向既定融合图像的融合特征进行特征采集，使得两个网络不断互相适应以达到提高检测效率的目的；总的损失函数的构造如下：

45、lall＝lcontent+α*lde

46、α是预设的权重值。

47、优选地，在构建融合网络以实现高效特征抽取的过程中，使用改进的梯度密集流grdb模块进行特征抽取，通过引入dense block层级，增强模块的深度感知能力和对复杂特征的萃取强度；为了避免高维特征抽取过程中伴随的原始重要信息稀释现象，采取联合残差连接策略以维系信息的完整性；

48、具体而言，针对输入数据，首先应用拉普拉斯算子对其进行精细的局部特征描述，所述拉普拉斯算子利用二阶微分特性捕获图像的边缘和纹理细节；随后，为适应后续网络结构并消除通道维度的不一致性，通过一个1×1的卷积层对拉普拉斯算子的输出进行适配性重塑；最后，将经过上述预处理的拉普拉斯特征与深度强化的密集流网络输出进行多模态融合，即在特征空间维度上进行拼接，从而生成最终的综合特征表示；

49、在构建的多源图像融合框架中，在前置特征提取阶段运用一个3×3大小的标准卷积层对输入图像进行初步的特征映射；继而，该映射结果被递送至两个连续的、基于改进的梯度密集流模块，以实现对原始图像内容的深度挖掘与精细化特征抽取；

50、完成特征提取流程后，所得多源特征在融合器组件内通过维度拼接操作进行协同集成，形成统一的高维特征向量；接着，该融合特征被馈送至精心设计的图像重构器进行解码及恢复过程；所述图像重构器的核心机制包括四级卷积运算步骤：首先通过三层连续的3×3卷积层逐层细化特征表达；采用一个1×1的卷积层进行跨通道信息压缩与调整，以适应最终的色彩空间表示；最后重构器将处理后的特征精确地映射回三通道rgb彩色图像空间，完成从抽象特征到实际图像的高保真重建；

51、在融合网络体系中，针对所有卷积层均采取等步长为一的配置，并且填充策略保持一致，旨在最大程度地遏制融合过程中可能发生的像素级信息损耗现象；具体而言，网络架构中不引入任何形式的下采样操作，确保了融合输出图像的空间分辨率与输入源图像严格对齐，即二者在尺寸上完全一致，以强化网络在融合任务中的保真能力，避免因非必要降采样导致的细节模糊或结构失真问题，从而提升了融合图像的整体视觉质量和信息完备性。

52、优选地，残差密集块对可见光或者红外图像的计算具体表现为：

53、

54、其中，grdb(·)表示将数据输入到模块中进行特征提取，输入的iir/vis表示输入图像为可见光或者红外图像，两者分别各自提取特征信息，表示使用3x3的卷积核对图像数据进行3次密集流计算，同理表示使用1x1的卷积核对图像进行一次通道压缩和增加数据的非线性性，lap(·)代表对可见光或者红外图像进行拉普拉斯算子计算梯度大小，表示维度上连接。

55、优选地，对得到的可见光和红外图像的高层特征层进行图像拼接操作，拼接方法为：

56、

57、其中，grdb2(·)是指可见光图像ivis或者红外图像iir经过两次grdb模块进行特征提取后的结果，表示图像的拼接结构，表示在维度为一的方向上进行拼接。

58、优选地，四层卷积解码器进行数据的解码，解码的过程是对图像的还原过程，因此，特征层随解码进行逐层变少，经过三层卷积层层后使用一个1x1卷积核映射出融合图像；在解码过程中均使用lrelu激活函数，只有最后一层的映射过程采用tanh激活函数；其具体表示为：

59、

60、其中，fi+1代表着每经过一层解码卷积层后的特征层，flast代表经过四层解码后最后经过一个1x1卷积核的映射得到的图像。

61、本发明的有益技术效果如下：

62、将融合网络和目标检测网络进行端到端输入输出，提升了检测精度的同时节省中间繁琐过程；将融合网络的grdb模块优化得到了更加细致的融合图像；检测网络块加入bifpn提升了小目标的检测精度。

技术特征：

1.基于多源图像的融合目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多源图像的融合目标检测方法，其特征在于，所述检测网络yolov5s网络架构包括骨干提取网络、颈部网络和输出头检测网络；对于检测网络结构的检测目标位置及其置信度，首先将图片分为80×80、40×40、20×20个检测区片，对于每个大小的区域对应3个输出特征层，分别代表该区域块的置信度输出、边界框输出、分类输出；整体的检测网络框架卷积层包含切片、残差连接组件、拼接操作；

3.根据权利要求1所述的基于多源图像的融合目标检测方法，其特征在于，融合网络训练时的损失函数包括内容损失lcontent和检测损失lde，内容损失lcontent只负责修正融合网络，而检测损失lde同时修正检测网络和融合网络；

4.根据权利要求3所述的基于多源图像的融合目标检测方法，其特征在于，在构建融合网络以实现高效特征抽取的过程中，使用改进的梯度密集流grdb模块进行特征抽取，通过引入dense block层级，增强模块的深度感知能力和对复杂特征的萃取强度；为了避免高维特征抽取过程中伴随的原始重要信息稀释现象，采取联合残差连接策略以维系信息的完整性；

5.根据权利要求4所述的基于多源图像的融合目标检测方法，其特征在于，残差密集块对可见光或者红外图像的计算具体表现为：

6.根据权利要求5所述的基于多源图像的融合目标检测方法，其特征在于，对得到的可见光和红外图像的高层特征层进行图像拼接操作，拼接方法为：

7.根据权利要求6所述的基于多源图像的融合目标检测方法，其特征在于，四层卷积解码器进行数据的解码，解码的过程是对图像的还原过程，因此，特征层随解码进行逐层变少，经过三层卷积层层后使用一个1x1卷积核映射出融合图像；在解码过程中均使用lrelu激活函数，只有最后一层的映射过程采用tanh激活函数；其具体表示为：

技术总结
本发明属于图像处理技术领域，公开了基于多源图像的融合目标检测方法，包括以下步骤：输入配准的红外图像和可见光图像；经过融合网络进行特征提取部分，包括：经过一层卷积层进行图像的初步特征提取，采用改进的残差密集流模块提取图像细节信息；对得到的可见光和红外图像的高层特征层进行图像拼接操作；采用四层卷积解码器进行数据的解码，经过一个1x1卷积核的映射得到融合图像；构造检测网络的检测损失修正融合网络，融合网络和检测网络相互监督，使得融合特征区域更加具有融合特征，并赋予高置信度；训练结束后，输出最终融合的图像。本发明提升检测精度，节省中间繁琐过程；得到更细致的融合图像；提升小目标的检测精度。

技术研发人员：白双豪,余意,冷洪泽,李少鹏,赵延来,罗藤灵,曹小群,王喆,王尊
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：
技术公布日：2024/9/23