本发明涉及目标检测，尤其涉及一种基于多光谱图像融合的小目标检测方法和系统。
背景技术：
1、在现代计算机视觉和遥感技术的发展中，多光谱图像由于其能够捕捉不同波段的光谱信息，已经被广泛应用于目标检测、分类和识别等任务中。然而，如何有效地利用多光谱图像中的信息，特别是对于小目标的检测，仍然是一个具有挑战性的研究课题。传统的目标检测方法大多基于单一光谱的图像，这在一定程度上限制了检测的准确性和鲁棒性。单一光谱图像通常无法充分反映目标的光谱特性，特别是在复杂环境下，容易受到光照变化、遮挡等因素的影响。考虑到多光谱图像可以通过在不同波段上采集图像，提供更丰富的光谱信息，有助于提高目标检测的精度和稳定性，因此，在小目标检测领域提出行之有效的多源数据光谱图像处理方法十分迫切。
技术实现思路
1、有鉴于此，本发明提供一种基于多光谱图像融合的小目标检测方法和系统，目的在于利用多光谱图像的丰富信息，结合深度特征和注意力机制，有效提高小目标检测的精度和鲁棒性。
2、为了实现上述目的，本发明提供了一种基于多光谱图像融合的小目标检测方法，包括以下步骤：
3、s1、使用多光谱相机在不同波段上采集目标区域的图像以获得多光谱图像，并对多光谱图像中的各波段图像进行预处理；
4、s2、将预处理后的多光谱图像进行像素级别融合，获得最终融合图像；
5、s21、加权平均
6、根据预处理后的每个波段的图像的对比度和清晰度计算加权系数，所述对比度通过预处理后的每个波段的图像的标准差进行衡量，所述清晰度通过预处理后的每个波段的图像的梯度强度进行衡量；
7、集合对比度和清晰度计算预处理后的每个波段的图像的加权系数，具体为：
8、；
9、其中，为多光谱图像的波段数目，记每个波段的图像为且表示波段编号，为预处理后的第个波段的图像的加权系数；；
10、s22、构建拉普拉斯金字塔
11、对预处理后的每个波段的图像构建拉普拉斯金字塔，首先构建高斯金字塔，具体为：
12、；
13、其中，表示图像的像素位置，为第个波段在高斯金字塔第层的图像位于处的值，，，为第个波段在第层高斯金字塔处于位置处的值；
14、通过高斯金字塔进一步构建拉普拉斯金字塔：
15、；
16、其中，为第个波段在拉普拉斯金字塔第层的图像，为上采样操作，和分别为第个波段在高斯金字塔第层和第层的图像；
17、s23、图像融合
18、对每个波段的拉普拉斯金字塔层进行加权平均融合：
19、；
20、其中，为融合后的拉普拉斯金字塔第层的图像，为第个波段在拉普拉斯金字塔第层的图像；
21、基于融合后的拉普拉斯金字塔重构最终融合图像，具体为：
22、；
23、其中，、和 分别为融合后的拉普拉斯金字塔第层、第层和第层的图像；
24、s3、使用预训练的深度卷积神经网络提取最终融合图像的深度特征；
25、s4、基于深度特征以及提取预处理后的多光谱图像的特征构建注意力机制的目标检测网络；
26、s5、设定目标检测网络的损失函数并使用带有标注结果的多光谱图像进行训练，使用训练完成的目标检测网络对没有标注结果的多光谱图像进行小目标检测。
27、作为本发明的进一步改进方法：
28、可选地，所述步骤s1中使用多光谱相机在不同波段上采集目标区域的图像以获得多光谱图像，并对多光谱图像中的各波段图像进行预处理，包括以下过程：
29、对多光谱图像中的各波段图像进行预处理，所述预处理包括图像去噪和图像增强，具体为：
30、s11、图像去噪
31、使用改进的可变步长中值滤波算法对每个波段的图像进行去噪处理，所述可变步长中值滤波算法首先估计图像的局部标准差，定义局部窗口，表示图像的像素位置，局部窗口大小为，为局部窗口半径，图像的局部标准差为：
32、；
33、其中，为第个波段在位置处的局部标准差，为内的像素位置，为在位置处的值，为第个波段在位置处的均值，具体为：
34、；
35、根据动态调整步长和，设步长的最大值为，最小值为1，并定义噪声水平阈值，具体为：
36、；
37、使用动态调整后的步长对图像进行中值滤波，滤波窗口大小为，获得滤波后的每个波段的图像，滤波过程为：
38、；
39、其中，和为滤波窗口内的相对位移，为在位置处的值，表示取中值函数，为在位置处的值；
40、s12、图像增强
41、对每个局部窗口计算局部直方图，具体为：
42、；
43、其中，表示灰度级，为第个波段在窗口中灰度级为的值，为脉冲函数，当时为1，否则为0；
44、对局部直方图进行对比度限制，设置对比度限制阈值为，则：
45、；
46、其中，为对比度限制后的第个波段在窗口中灰度级为的值，为最小值函数；
47、将超过对比度限制阈值的部分均匀分配到其他灰度级，具体为：
48、；
49、其中，为分配后的第个波段在窗口中灰度级为的值，，为最大图像灰度级，为最大值函数；
50、计算局部窗口内的累积分布函数并进行归一化：
51、；
52、；
53、其中，为第个波段在窗口中灰度级为的累积值，为第个波段在窗口中灰度级为0的累积值，为归一化后的；
54、对每个像素值进行映射，得到预处理后的每个波段的图像：
55、；
56、其中，为在位置处的值,函数用于四舍五入，为第个波段在窗口中灰度级为的归一化后的累积值；
57、预处理后的每个波段的图像共同构成预处理后的多光谱图像。
58、可选地，所述步骤s3中使用预训练的深度卷积神经网络提取最终融合图像的深度特征，包括以下过程：
59、使用预训练的resnet50模型来提取最终融合图像的深度特征，resnet50模型由若干残差块组成，每个残差块均包含卷积层、归一化层、激活层和池化层，具体为：
60、；
61、其中，和分别为resnet50模型第层和第层的输出特征图，，为残差块数目，，为第层的操作，包括卷积、归一化、激活和池化；
62、经过个残差块后，特征图输入至全局平均池化中，生成深度特征。
63、可选地，所述步骤s4中基于深度特征以及提取预处理后的多光谱图像的特征构建注意力机制的目标检测网络，包括以下过程：
64、s41、特征提取与融合
65、提取预处理后的多光谱图像的特征，具体为：
66、；
67、其中，为yolov5的卷积层，为预处理后的多光谱图像，为提取出的预处理后的多光谱图像的特征；
68、对深度特征进行重映射，具体为：
69、；
70、其中，为全连接层，为重映射后的深度特征；
71、将提取出的预处理后的多光谱图像的特征和重映射后的深度特征进行融合，具体为：
72、；
73、其中，为融合后的特征；
74、s42、添加注意力机制
75、使用注意力机制处理融合后的特征，所述注意力机制包括空间注意力与通道注意力，具体为：
76、；
77、其中，为注意力权重图，为乙型函数，为二维卷积操作，为线性整流函数，为全局池化函数，和为注意力机制中包含的可训练参数；
78、将注意力权重图应用于，获得增强后的特征，具体为：
79、；
80、s43、设定检测头
81、将增强后的特征输入到yolov5的检测头，生成预测结果，具体为：
82、；
83、其中，为目标检测网络的预测结果，，为预测的第个检测到的目标的边界框，包含边界框的中心坐标和边界框的宽高，为预测的第个检测到的目标的类别概率，为目标检测网络的预测结果中包含的目标数量，为yolov5的检测头。
84、可选地，所述步骤s5中设定目标检测网络的损失函数并使用带有标注结果的多光谱图像进行训练，使用训练完成的目标检测网络对没有标注结果的多光谱图像进行小目标检测，包括以下过程：
85、s51、设定损失函数
86、损失函数由边界框回归损失、类别分类损失和引入注意力机制的特征增强损失组成，具体为：
87、采用交并比损失和中心点损失构成边界框回归损失：
88、；
89、其中，为预测的第个检测到的目标的边界框坐标，为标注的第个检测到的目标的边界框坐标，和分别为预测和标注边界框的中心坐标，；
90、采用交叉熵损失作为类别分类损失：
91、；
92、其中，为标注的第个检测到的目标的类别为的概率，为预测的第个检测到的目标的类别为的概率，为类别总数；
93、引入注意力机制的特征增强损失：
94、；
95、其中，为标注目标的注意力权重图；
96、完整的损失函数为：
97、；
98、其中，、和为权重因子；
99、s52、训练网络
100、使用反向传播算法计算梯度，并更新目标检测网络权重：
101、；
102、其中，为目标检测网络权重，为学习率，为关于的偏导；
103、s53、应用网络
104、对没有标注结果的多光谱图像进行步骤s1-s3的处理，然后使用训练完成的目标检测网络进行小目标检测。
105、本发明还提供了一种基于多光谱图像融合的小目标检测系统，包括：
106、预处理模块：使用多光谱相机在不同波段上采集目标区域的图像以获得多光谱图像，并对多光谱图像中的各波段图像进行预处理；
107、融合模块：将预处理后的多光谱图像进行像素级别融合，获得最终融合图像；
108、深度特征提取模块：使用预训练的深度卷积神经网络提取最终融合图像的深度特征；
109、网络构建模块：基于深度特征以及提取预处理后的多光谱图像的特征构建注意力机制的目标检测网络；
110、网络训练与应用模块：设定目标检测网络的损失函数并使用带有标注结果的多光谱图像进行训练，使用训练完成的目标检测网络对没有标注结果的多光谱图像进行小目标检测；
111、以实现上述基于多光谱图像融合的小目标检测方法。
112、本发明技术方案具备至少如下有益效果：
113、本发明通过多光谱相机在不同波段上采集图像，可以获取目标区域的丰富光谱信息，通过多光谱图像融合方法在像素级别结合各波段图像的优势，提高了对目标细节和光谱特征的保留，使得小目标在复杂背景下能够被更准确地检测出来。
114、本发明在图像预处理阶段引入了改进的可变步长中值滤波算法和对比度限制直方图均衡化方法，分别进行图像去噪和增强处理，这不仅有效去除了图像中的噪声，提高了图像的清晰度和对比度，还增强了图像的边缘信息和细节，使得后续的特征提取更加精确。
115、本发明使用预训练的深度卷积神经网络来提取融合图像的深度特征，利用深度卷积神经网络具备的强大特征提取能力，从融合图像中提取出高层次的图像特征，为小目标检测提供了更具判别力的特征表示。
116、本发明在目标检测网络中引入了通道注意力和空间注意力机制，通过注意力机制动态调整不同通道和空间位置的特征权重，突出关键信息，抑制无关背景，进一步提升了小目标检测的效果。
117、本发明采用加权平均与拉普拉斯金字塔相结合的方法进行图像融合，通过多尺度融合保留了图像的细节信息和结构特征，使得在不同尺度下的小目标都能被有效检测，其中拉普拉斯金字塔在多尺度特征表示方面具有显著优势，有助于提升检测的鲁棒性和准确性。
118、本发明在损失函数的设计上结合了交并比损失和中心点距离损失，进一步引入了注意力特征增强损失来处理正负样本不均衡问题，并增强了对小目标的检测能力，利用综合损失函数更好地指导网络优化，提高了检测的精度和稳定性。
1.一种基于多光谱图像融合的小目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多光谱图像融合的小目标检测方法，其特征在于，所述步骤s1包括以下过程：
3.根据权利要求2所述的基于多光谱图像融合的小目标检测方法，其特征在于，所述步骤s3包括以下过程：
4. 根据权利要求3所述的基于多光谱图像融合的小目标检测方法，其特征在于，所述步骤s4包括以下过程：
5. 根据权利要求4所述的基于多光谱图像融合的小目标检测方法，其特征在于，所述步骤s5包括以下过程：
6.一种基于多光谱图像融合的小目标检测系统，其特征在于，包括：
