对遥感影像进行兴趣点匹配的方法、装置、设备及介质

本公开涉及计算机视觉的卫星遥感影像特征匹配，尤其涉及一种对遥感影像进行兴趣点匹配的方法、装置、电子设备、非暂态计算机可读存储介质以及计算机程序产品。

背景技术：

1、随着遥感技术的快速发展，遥感影像获取技术也越来越先进，目前可获取到更高空间、更高光谱分辨率的遥感影像；并且当前关于多平台、多层面、多传感器、多时相、多光谱、多角度以及多空间分辨率的融合与复合应用，成为遥感技术的重要发展方向。

2、在所述融合与复合应用场景下的遥感影响处理中，影像匹配是一个重要环节。所述影像匹配是指通过对两幅或多幅影像进行比较和分析，找到图像之间兴趣点(例如，共同点或特征点)的过程，其目的是为了建立两幅或多幅影像之间的对应关系，并以此为基础执行进一步的测量与分析。由于匹配的影像多来源于不同的传感器，存在视角、光照、尺度等多方面的差异，因此对准确、高效、鲁棒性强的特征匹配技术的研究仍是遥感领域研究的重点，可以作为图像配准、图像拼接、图像融合、变化检测、目标识别与目标跟踪、三维重建等应用的基础研究，推动相关技术的进步和发展。

3、目前，现有技术关于对遥感影像的兴趣点匹配的方案，主要包括基于稀疏特征点匹配的方案以及基于稠密特征点匹配的方案。但是，基于稀疏特征点匹配的方案存在鲁棒性较差的问题；而基于稠密特征点匹配的方案，至少存在匹配困难、误匹配、匹配效率较低以及计算复杂度较高的问题。

技术实现思路

1、本公开提供一种对遥感影像进行兴趣点匹配的方法、装置、电子设备、非暂态计算机可读存储介质以及计算机程序产品，用以解决现有技术缺陷中的至少一者。

2、本公开提供一种对遥感影像进行兴趣点匹配的方法，包括：

3、获取待处理的目标遥感影像对；其中，所述目标遥感影像对包括参考遥感影像和待匹配遥感影像；

4、将所述目标遥感影像对输入预训练遥感影像兴趣点匹配模型，经所述预训练遥感影像兴趣点匹配模型输出至少一组匹配兴趣点；

5、其中，所述预训练遥感影像兴趣点匹配模型基于至少一组训练数据对训练得到，所述至少一组训练数据对中的每组训练数据对包括一张参考遥感样本影像和一张待匹配遥感样本影像。

6、本公开还提供一种对遥感影像进行兴趣点匹配的装置，包括：

7、数据获取模块，被配置为：获取待处理的目标遥感影像对；其中，所述目标遥感影像对包括参考遥感影像和待匹配遥感影像；

8、匹配推理模块，被配置为：将所述目标遥感影像对输入预训练遥感影像兴趣点匹配模型，经所述预训练遥感影像兴趣点匹配模型输出至少一组匹配兴趣点；

9、其中，所述预训练遥感影像兴趣点匹配模型基于至少一组训练数据对训练得到，所述至少一组训练数据对中的每组训练数据对包括一张参考遥感样本影像和一张待匹配遥感样本影像。

10、本公开还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述对遥感影像进行兴趣点匹配的方法。

11、本公开还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述对遥感影像进行兴趣点匹配的方法。

12、本公开还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述对遥感影像进行兴趣点匹配的方法。

13、如上所述，本公开实施例提供的对遥感影像进行兴趣点匹配的方法，作为第一方面，首先通过多尺度特征提取，不仅可捕获到遥感影像中的局部细节特征，还能获取到全局的上下文信息，这种多层次的特征表达为后续的匹配提供了更丰富的选择；其次采用逐层下采样的方式，使得在处理高分辨率的遥感影像时能够显著降低数据的维度，从而减少计算量；另外通过高尺度约束的匹配策略，使得每一层级的匹配都能在前一层的基础上进行，也极大降低计算量，进而提高匹配效率。作为第二方面，通过引入位置编码机制，可在面对具有相似纹理的场景(如外形相似的不同建筑物)时基于位置信息对特征进行区分，从而避免重匹配和误匹配的发生；并且通过引入位置信息，还能在特征匹配时考虑更多的上下文信息，从而使匹配结果加准确。作为第三方面，通过引入空间注意力机制，可在面对稀疏纹理场景(如沙漠、海洋等)时能够聚焦于关键区域提取更深层次的特征，从而显著提升低纹理点和/或无纹理点的匹配准确率，进而在稀疏纹理场景下也能获得良好的匹配效果。作为第四方面，通过引入自注意力机制，可确保所述预训练遥感影像兴趣点匹配模型在处理特征时能够考虑到特征之间的依赖关系，从而生成更加丰富的特征表示。通过引入互注意力机制，可优化特征相似度计算，从而进一步提升匹配精度。另外，针对遥感影像中密集纹理区域(特征点众多且纹理复杂)，通过如上所述自注意力以及互注意力机制，能够增加预训练遥感影像兴趣点匹配模型在这种复杂场景下的鲁棒性。

14、综上所述，本公开通过多尺度特征提取、位置编码机制、空间注意力机制以及自注意力和互注意力机制的引入，不仅能够有效地处理遥感影像兴趣点匹配任务，而且在各种复杂场景下都能表现出优异的性能。

技术特征：

1.一种对遥感影像进行兴趣点匹配的方法，包括：

2.根据权利要求1所述的方法，其特征在于，预训练遥感影像兴趣点匹配模型包括编码器和解码器；

3.根据权利要求2所述的方法，其特征在于，

4.根据权利要求3所述的方法，其特征在于，

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述预训练遥感影像兴趣点匹配模型的训练过程，包括：

6.根据权利要求5所述的方法，其特征在于，所述利用预设损失函数，基于所述至少一组预测匹配兴趣点，获取所述损失函数的函数值，包括：

7.根据权利要求5所述的方法，其特征在于，所述基于所述损失函数的函数值，对所述待训练遥感影像兴趣点匹配模型进行训练，直至满足预设训练完成条件，包括：

8.一种对遥感影像进行兴趣点匹配的装置，包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述对遥感影像进行兴趣点匹配的方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述对遥感影像进行兴趣点匹配的方法。

技术总结
本公开提供一种对遥感影像进行兴趣点匹配的方法、装置、设备及介质；其中，方法包括：获取待处理的目标遥感影像对；其中，目标遥感影像对包括参考遥感影像和待匹配遥感影像；将目标遥感影像对输入预训练遥感影像兴趣点匹配模型，经预训练遥感影像兴趣点匹配模型输出至少一组匹配兴趣点；其中，预训练遥感影像兴趣点匹配模型基于至少一组训练数据对训练得到，至少一组训练数据对中的每组训练数据对包括一张参考遥感样本影像和一张待匹配遥感样本影像。利用本公开实施例提供的方法，可以有效地处理遥感影像兴趣点匹配任务，而且在各种复杂场景下都能表现出优异的性能。

技术研发人员：孔宪雯,赵焱,皮英冬,佟寒冬,王欣怡,李清华
受保护的技术使用者：武汉大学
技术研发日：
技术公布日：2024/9/23