变化语义信息增强的多时相遥感图像描述生成方法及系统

本发明涉及遥感图像处理，具体涉及一种变化语义信息增强的多时相遥感图像描述生成方法及系统。

背景技术：

1、随着遥感领域的不断发展，研究人员从传统的遥感图像描述任务，逐步转向针对遥感图像变化描述技术的钻研。多时相遥感图像变化描述致力于分析跨越不同时间的遥感图像中视觉信息，并针对图像视觉变化特征生成详细的自然语言描述。由于多时相遥感图像的变化描述可以用自然语言直观地反映特定场景经过一段时间后的地表变化，充分发挥遥感图像的信息优势，该技术在灾害监测、城市规划，以及军事决策等领域具有重要的应用价值。

2、近年来，深度学习的快速发展促进了遥感图像解译工作的进步。目前，先进的遥感图像变化描述技术都倾向于采用编码器-解码器架构。具体地，该方法利用卷积神经网络提取多时相遥感图像特征，随后将特征直接连接起来，并输入到循环神经网络生成变化描述。为了通过更好地捕捉图像中显著的变化来提升模型性能，基于注意力机制的编码器-解码器模型应运而生。然而，目前已有的方法在模型训练过程均依赖真实的描述，这种依赖会导致注意机制捕捉到不可靠的视觉信息，严重影响所生成描述的质量，很难产生准确的描述。由于遥感变化检测技术在识别与分析跨越一段时间的地表变化方面具有独特优势，如何将该技术与编码器-解码器模型结合以充分利用显著的视觉变化信息增强变化描述能力，已成为一项亟待解决的关键技术问题。

技术实现思路

1、本发明要解决的技术问题：针对现有技术的上述问题，提供一种变化语义信息增强的多时相遥感图像描述生成方法及系统，本发明旨在利用遥感变化检测技术定位多时相图像的视觉变化区域，通过图像增强与特征融合激励模型更好地捕捉视觉变化特征以提升捕捉视觉变化信息的能力、提升多时相遥感图像变化描述语句的质量，生成更为准确的文本描述。

2、为了解决上述技术问题，本发明采用的技术方案为：

3、一种变化语义信息增强的多时相遥感图像描述生成方法，包括下述步骤：

4、s101，针对待处理的多时相遥感图像进行变化检测获取其变化图像；

5、s102，利用变化图像针对待处理的多时相遥感图像进行增强；

6、s103，将增强后的多时相遥感图像与变化图像进行特征融合得到视觉变化特征；

7、s104，将视觉变化特征利用解码器解码得到多时相遥感图像的变化描述。

8、可选地，所述待处理的多时相遥感图像包括前期遥感图像b和后期遥感图像a。

9、可选地，步骤s101包括：将待处理的多时相遥感图像中的前期遥感图像b和后期遥感图像a利用预设计的遥感变化检测模型生成包含变化信息的二进制掩码，然后将二进制掩码和前期遥感图像和后期遥感图像进行元素级点积，从而得到前期遥感图像b的变化图像bc和后期遥感图像a的变化图像ac。

10、可选地，步骤s102中利用变化图像针对待处理的多时相遥感图像进行增强的函数表达式为：

11、，

12、上式中，为增强后的前期遥感图像或增强后的后期遥感图像， relu代表修正的线性单元激活函数， conv1和 conv2代表卷积操作，为前期遥感图像b的变化图像或者后期遥感图像a的变化图像， i为前期遥感图像b或者后期遥感图像a。

13、可选地，步骤s103包括：

14、s201，将前期遥感图像b的变化图像、后期遥感图像a的变化图像、增强后的前期遥感图像和增强后的后期遥感图像分别利用特征提取器提取特征，得到前期遥感图像b的变化图像特征、后期遥感图像a的变化图像特征、增强后的前期遥感图像特征和增强后的后期遥感图像特征；

15、s202，将前期遥感图像b的变化图像特征、增强后的前期遥感图像特征沿通道维度连接得到前期遥感图像组合特征，将后期遥感图像a的变化图像特征、增强后的后期遥感图像特征沿通道维度连接得到后期遥感图像组合特征；

16、s203，将前期遥感图像组合特征、后期遥感图像组合特征通过视觉特征融合获得视觉变化特征。

17、可选地，步骤s203包括：

18、s301，将前期遥感图像组合特征、后期遥感图像组合特征