一种基于时空特征增强网络的红外暗弱目标检测方法
本发明涉及图像处理及目标检测，具体涉及一种基于时空特征增强网络的红外暗弱目标检测方法。
背景技术：
1、红外探测系统具有隐蔽性强，视场范围广，远距离探测等优点，被广泛应用于航天航空，反侦察，目标检测等领域。由于距离探测目标较远，背景杂波以及大气辐射干扰等因素，目标在成像像面上仅占据几个像素，而且灰度响应低，缺乏形态纹理特征，目标容易被杂波淹没，现有的检测方法中单帧算法虽然实施简单，但是单帧图像中信息有限，面对背景复杂的情况时，很容易产生大量虚警和漏警。多帧检测算法虽然能够利用图像中的时序信息来提高目标的检测率，但是多帧检测算法实现复杂，计算量大，且传统的多帧检测算法仍然无法适应目标背景和形状变化，带来大量虚警。深度学习的算法虽然能够适应背景变化和目标尺寸变化，对复杂环境下目标的检测能力大大提高，但是目前的深度学习算法都是针对信噪比较高的目标，对于低信噪比的目标检测能力则会大大下降。因此，如何准确高效的实现对极低信噪比的红外暗弱目标检测，仍然是一个难点。
技术实现思路
1、天基场景下空间红外目标占据像素少且淹没在背景杂波中，仅凭单帧图像信息很难检测出红外暗弱目标，为了克服现有的算法对于低信噪比目标的检测能力不足的问题，本发明充分利用图像序列中的时空特性，利用目标的运动特性对红外暗弱目标进行增强。本发明旨在一种基于时空特征增强网络的红外暗弱目标检测方法，能够利用多帧数据中的时域信息有效的对红外暗弱目标进行增强，充分利用时空特征提升网络对低信噪比目标的检测性能。
2、为了达到上述目的，本发明的技术方案如下：一种基于时空特征增强网络的红外暗弱目标检测方法，包括以下步骤：
3、s1：获取红外图像序列数据集；
4、s2：构建针对低信噪比的时空特征增强的红外弱小目标检测网tsf-net；tsf-net网络由输入端，时域目标增强模块(tem)，时空特征提取模块，特征融合模块和检测头组成；
5、s3：利用步骤s1构建的训练数据集训练tsf-net模型；
6、s4：将步骤s1构建测试数据集输入经过步骤s3训练以后的tsf-net，测试tsf-net的检测性能；
7、s5：评估tsf-net网络对低信噪比红外暗弱目标检测效果。
8、优选的，步骤s1中，所述获取红外图像序列数据集包括以下步骤：
9、s101：获取训练样本和测试样本；利用公开数据集和实拍数据集构建m个红外暗弱目标图像序列，每个图像分辨率为r×r，通道数为3，并对每帧图像上红外暗弱目标进行标注，然后将h个红外暗弱目标图像序列和其相对应的标签作为训练集x，将m-h个红外暗弱目标图像序列和相对应的标签作为验证集v；
10、s102：以滑动窗口破采样的方法对红外图像序列进行采样，选取图像当前n帧和前后n帧，保证输入的tsf-net图像具有时间连续性。
11、优选的，步骤s2中，所述构建的时空特征增强的红外弱小目标检测网络tsf-net包括以下步骤：
12、s201：输入端对红外图像序列进行时序读取，读入当前帧和其相邻前后n帧，保证输入图像的时序性；设置针对暗弱目标的检测锚框，和输入图片的预处理；
13、s202：所述的时域目标增强模块tem由三维卷积层和三维最大池化以及三位平均池化层构成，利用输入的图像序列对目标进行增强；
14、s203：所述时空特征提取模块由全局上下文模块gcblock和残差单元组成，分为五个阶段，对时域增强后的特征层充分提取时空特征，输出尺寸不同的特征层；
15、s204：所述的特征融模块由多尺度浅层特征增强模块和通道注意力机制构成，对浅层特征利用不同尺度的膨胀卷积进行感受野增强，对深层特征增减一个简单的通道注意力机制限制空间细节，然后将得到的深层特征图和浅层特征图相加融合；
16、s205：所述检测头有四个分支，分别对不同尺度的红外暗弱目标进行检测，每个分支由一个1×1的卷积构成，将步骤s204得到的不同尺度的特征层通过1×1的卷积层预测目标的回归参数，预测的目标框以及目标的置信度；
17、s206：根据步骤s201设置的预设锚框，对预测框位置进行调整，得到更接近真实框的目标候选区域，计算公式如下：
18、px＝2*σ(px)-0.5+cx
19、py＝2*σ(py)-0.5+cy
20、pw＝aw(2σ(pw))2
21、ph＝ah(2σ(ph))2
22、式中px，py,pw,ph,为预测的偏移量，aw，ah为预设的锚框的长和宽，cx，cy为特征层中网格的左上角坐标；
23、s207：将步骤s206得到的目标候选区域映射到步骤s205的检测头的不同尺度的特征层，计算候选目标框和预测结果之间的损失；损失由目标框损失和置信度损失两部分构成，目标框损失由ciou损失计算，置信度损失由二元交叉熵损失计算，损失计算如下：
24、lloss＝a*lciou+b*lconf
25、
26、其中ρ表示预测框的质心与真实值框之间的距离，c是最小边界矩形的对角线距离，v用作进一步调整损失函数的校正因子；此外，wt,ht,wp,hp分别表示真值框和预测框的宽度和长度，iou为预测框和真值框的交并比，a为真值框面积，b为预测框面积；使用权重因子a，b对置信度损失和定位损失进行加权，以避免训练期间损失的两部分之间的不平衡。
27、优选的，步骤s3中，所述训练tsf-net模型包括以下步骤：
28、s301：对步骤s2构建的tsf-net模型进行训练，训练环境为nvidia geforce rtx3090gpu，网络训练为epoch＝300，初始学习率lr＝0.0001，学习率优化器为adamw，batchsize＝16，从0开始训练；
29、s302：保留步骤s301中训练得到的最佳权重，用于模型的检测和评估。
30、优选的，步骤s4中，所述测试tsf-net的检测性能包括以下步骤：
31、s401：将步骤s1构建的测试数据集输入步骤s3训练后得到的最佳权重，对数据进行预测，得到目标预测结果的目标框和置信度；
32、s402：在预测结果中，将置信度大于设定阈值t1的结果判定为正确结果，对应的检测框为预测目标位置；
33、s403：对根据nms阈值t2预测结果进行nms抑制，去除掉重复的预测框，得到最终的预测结果。
34、优选的，步骤s5中，所述评估tsf-net网络对低信噪比红外暗弱目标检测效果包括以下步骤：
35、s501：使用准确率来评估网络的查准能力，计算公式如下：
36、
37、s502：使用召回率来评估网络的是否能将目标全部检测出的能力，计算公式如下：
38、
39、s503：使用f1来评估网络的整体检测能力，计算公式如下:
40、
41、其中，tp表示正类目标预测为正的数量，fp表示负类目标错误的判断为正类的目标数量，fn表示将正类目标错误的判断为负类目标的数量。
42、与现有技术相比，本方案的有益效果：
43、1.本发明针对低信噪比目标在静态图像中难以检测的情况，单帧图像时域信息不足的问题，提出时域目标增强模块tem，该模块利用多帧数据提取时域上下文，扩大模型时域感受野，利用多帧数据中目标的运动信息沿着目标运动轨迹积累能量，利用目标的运动特性来增强目标和抑制背景。
44、2.本发明构建全局上下文残差网络作为骨干网络来提取经过时域增强后的目标特征，利用残差网络不仅增强了对红外弱小目标特征提取能力，还避免了网络过深导致目标特征被杂波淹没的问题，解决了强杂波干扰问题，利用全局上下文模块提高模型捕捉背景特征的能力，抑制杂波和提高检测率。
45、3.本发明用多尺度特征融合模块来多不同尺度的特征层进行特征融合，增加小目标检测层，通过对浅层特征层进行多尺度增强，整合不同尺度目标上下文信息，解决浅层特征语义不足的问题。对于深层特征层，我们增加一个简单的通道注意力机制，利用浅层特征图的空间细节对深层特征进行约束，丰富深层特征图。
技术特征：
1.一种基于时空特征增强网络的红外暗弱目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于时空特征增强网络的红外暗弱目标检测方法，其特征在于，步骤s1中，所述获取红外暗弱目标图像序列数据集包括以下步骤：
3.根据权利要求1所述的一种基于时空特征增强网络的红外暗弱目标检测方法，其特征在于，步骤s2中，所述构建的时空特征增强的红外暗弱目标检测网tsf-net包括以下步骤：
4.根据权利要求1所述的一种基于时空特征增强网络的暗弱目标检测方法，其特征在于，步骤s3中，所述训练tsf-net模型包括以下步骤：
5.根据权利要求1所述的一种基于时空特征增强网络的红外暗弱目标检测方法，其特征在于，步骤s4中，所述测试tsf-net的检测性能包括以下步骤：
6.根据权利要求1所述的一种基于时空特征增强网络的红外暗弱目标检测方法，其特征在于，步骤s5中，所述评估tsf-net网络对低信噪比暗弱目标检测效果包括以下步骤：
技术总结
本发明公开了一种基于时空特征增强网络的红外暗弱目标检测方法，涉及图像处理及目标检测技术领域，其技术要点为：首先构建红外暗弱目标图像序列数据集，定义适合红外暗弱目标的锚框和对图像进行预处理，统一图像输入模型的维度，接着构建时空特征增强网络模型TSF‑Net，该模型具体包括输入端，时域目标增强模块，时空特征提取模块，特征融合模块和检测头。然后对TSF‑Net网络进行训练和测试，最后对TSF‑Net网络对暗弱目标检测能力进行评估。本发明对于单帧图像难以检测低信噪比目标的情况，提出利用多帧图像中的时域信息增强目标，利用时空特征增强目标检测的端到端的时空特征增强网络，能够有效的抑制背景和提升检测率，具有较强的鲁棒性和可行性。
技术研发人员：饶鹏,李凤红,陈忻,孙纹
受保护的技术使用者：中国科学院上海技术物理研究所
技术研发日：
技术公布日：2024/9/23