差异特征融合检测方法、装置、存储介质以及电子装置

本发明涉及图像处理，尤其涉及一种差异特征融合检测方法、装置、存储介质以及电子装置。

背景技术：

1、随着worldview、sentinel、gf、zy3等国内外传感器的快速发展，海量遥感数据不断累积，呈现出多模态、多角度、多分辨率等特点，如何有效挖掘多源异构遥感数据蕴含的知识具有重要意义。变化检测技术可根据覆盖同一地区的多时相影像提取地表变化信息，广泛应用于自然资源调查、城市扩张监测、生态环境监测等领域。传统变化检测方法往往依赖专家经验知识，需要手工设计特征，存在费时费力、效率低下以及检测精度低等问题，并容易受到季节变化、照明条件、卫星传感器和太阳高度角等因素影响，无法满足大数据背景下变化检测任务的需求。因此，如何有效挖掘遥感大数据潜能对遥感影像变化检测任务具有重要的现实意义。

2、根据上述背景技术的应用改进需求，近年来，深度学习凭借其卓越的特征表达能力和非线性建模能力，在变化检测领域中表现出巨大潜力，取得了传统方法无法比拟的优势。daudt等人首次将unet结构应用于变化检测任务并提出了三种不同的全卷积变化检测网络，包括fc-ef、fc-siam-conc和fc-siam-diff。然而，卷积网络受到感受野的限制，无法顾及全局上下文信息，导致在复杂场景中的检测效果较差；chen等提出stanet，通过引入金字塔时空注意力模块捕捉长程上下文关联；dong等设计了一种多尺度上下文聚合网络mcanet，通过尺度感知特征金字塔模块和通道-空间注意力模块实现多尺度上下文信息的聚合。然而，随着对长距离依赖关系和全局上下文信息需求的增加，引入注意力机制的变化检测方法开始显现出信息传递不足或过度模糊的问题。为进一步提升变化检测网络性能，chen等提出了一种结合cnn和transformer的变化检测网络bit，通过cnn网络提取多时相影像深度特征，进而构建语义token以利用transformer编码器学习语义token间上下文关系，最后通过transformer解码器将语义token重新映射到原始特征空间以增强原始特征表示。bandara等提出了一种基于transformer的孪生网络changeformer，通过在孪生网络结构中将层次结构化的transformer编码器与多层感知机解码器相结合，可高效地提取多尺度全局上下文信息，从而提高变化检测精度和可靠性。

3、然而，上述现有技术均忽略了不同层次特征间的交互，无法充分利用多层次特征的互补信息和上下文关联，从而存在着对变化目标整体特征和语义理解的缺失。

4、因此，亟需通过一种新的图像检测方法，以进一步解决现有技术存在问题。

技术实现思路

1、本申请各示例性实施例提供一种差异特征融合检测方法、装置、存储介质以及电子装置，以至少实现提高变化检测精度和可靠性的技术效果。

2、本申请各示例性实施例提出一种差异特征融合检测方法，所述方法包括以下步骤：

3、s1、构建变化检测数据集，将大幅面遥感影像以及对应的变化标签图按照统一尺度进行裁剪，然后将裁剪好的t1时相图像，t2时相图像以及对应的变化标签图按照预设比例分为训练集、验证集和测试集；其中，训练集用于网络训练，验证集用于在训练过程中检验模型的收敛情况且不参与网络训练，测试集用于在训练结束后对模型进行测试并评估其泛化能力；

4、s2、读取所述变化检测数据集，进行数据增强的预处理；

5、s3、构建变化检测网络，包括特征提取，融合多级特征的全局上下文信息，动态调整通道权重，捕捉不同子解码器输出的特征信息，抑制语义差异和定位差异并输出；

6、s4、将s2经过预处理的数据输入到所述变化检测网络中，计算网络预测与真实变化标签的损失函数，经过反向传播的不断迭代，逐步优化网络参数，直至网络收敛；

7、s5、读取s1构建的测试集，经过归一化处理和张量转换，将经过预处理的数据输入到训练好的变化检测网络中，得到预测概率图，最后转换为变化检测结果。

8、在本申请的另一个方面，还提出一种差异特征融合检测装置，所述装置包括：

9、所述变化检测数据集构建模块，配置为构建变化检测数据集，将大幅面遥感影像以及对应的变化标签图按照统一尺度进行裁剪，然后将裁剪好的t1时相图像，t2时相图像以及对应的变化标签图按照预设比例分为训练集、验证集和测试集；其中，训练集用于网络训练，验证集用于在训练过程中检验模型的收敛情况且不参与网络训练，测试集用于在训练结束后对模型进行测试并评估其泛化能力；

10、所述数据预处理模块，配置为读取所述变化检测数据集，进行数据增强的预处理；

11、所述变化检测网络构建模块，配置为构建变化检测网络，包括特征提取，融合多级特征的全局上下文信息，动态调整通道权重，捕捉不同子解码器输出的特征信息，抑制语义差异和定位差异并输出；

12、所述网络优化模块，配置为将经过预处理的数据输入到所述变化检测网络中，计算网络预测与真实变化标签的损失函数，经过反向传播的不断迭代，逐步优化网络参数，直至网络收敛；

13、所述结果预测模块，配置为读取构建的测试集，经过归一化处理和张量转换，将经过预处理的数据输入到训练好的变化检测网络中，得到预测概率图，最后转换为变化检测结果。

14、在本申请的另一个方面，还提出了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

15、在本申请的另一个方面，还提出了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

16、有益效果：

17、1、在编码部分，采用多级特征融合策略，将resnet18提取出的细粒度局部特征输入至cross-transformer模块，用于学习遥感影像中的差异特征表示，并进行全局建模和多层次特征交互，提升网络对复杂场景中变化区域的感知能力。

18、2、在解码部分，引入密集连接机制，进一步增强了特征传递能力，通过一系列上采样操作将深层与浅层的输出进行连接，实现了特征的多路径传播和信息的充分利用。

19、3、通过acem模块自适应调整通道权重，实现关键信息的特征表达。该方法通过cross-transformer模块增强跨时相特征之间的交互和信息传递能力，改善了多层次特征之间交互受限以及长距离依赖关系处理能力弱的问题，提高了变化检测方法的准确性和鲁棒性。

技术特征：

1.一种差异特征融合检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的差异特征融合检测方法，其特征在于，所述步骤s1的构建变化检测数据集，，进行数据增强的预处理的步骤具体包括：

3.根据权利要求2所述的差异特征融合检测方法，其特征在于，所述步骤s3的构建变化检测网络的特征提取具体包括：

4.根据权利要求3所述的差异特征融合检测方法，其特征在于，所述步骤s3的构建变化检测网络的融合多级特征的全局上下文信息具体包括：

5.根据权利要求4所述的差异特征融合检测方法，其特征在于，所述步骤s3的构建变化检测网络的动态调整通道权重，捕捉不同子解码器输出的特征信息，抑制语义差异和定位差异并输出的具体步骤如下：

6.根据权利要求5所述的差异特征融合检测方法，其特征在于，步骤s4中逐步优化网络参数，具体采用二元交叉熵损失函数对网络参数进行优化。

7.一种差异特征融合检测装置，其特征在于，所述装置包括：

8.根据权利要求7所述的差异特征融合检测装置，其特征在于，所述变化检测网络构建模块具体包括：

9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。

技术总结
本发明公开一种差异特征融合检测方法、装置、存储介质以及电子装置，其技术要点是构建变化检测数据集，按照预设比例分为训练集、验证集和测试集；读取所述变化检测数据集，进行数据增强的预处理；构建变化检测网络，包括特征提取，融合多级特征的全局上下文信息，动态调整通道权重，捕捉不同子解码器输出的特征信息，抑制语义差异和定位差异并输出；将经过预处理的数据输入到所述变化检测网络中，计算网络预测与真实变化标签的损失函数，经过反向传播的不断迭代，逐步优化网络参数，直至网络收敛；读取构建的测试集，经过归一化处理和张量转换，将经过预处理的数据输入到训练好的变化检测网络中，得到预测概率图，最后转换为变化检测结果。

技术研发人员：彭代锋,周顶蔚
受保护的技术使用者：南京信息工程大学
技术研发日：
技术公布日：2024/9/23