复杂地表变化场景下的多源遥感时-空高保真融合方法

xiaoxiao2026-08-26  5


本发明涉及遥感影像处理领域,更确切地说,它涉及复杂地表变化场景下的多源遥感时-空高保真融合方法。


背景技术:

1、高时-空分辨率遥感影像广泛应用于多种场景,如环境监测、灾害管理和土地覆盖变化检测等。然而,由于卫星传感器成像系统硬件限制,从单个卫星传感器中同时获取高时间和高空间分辨率的影像仍然是一个较大挑战,这在一定程度上阻碍了遥感影像的应用潜力。时-空融合旨在集成多源遥感影像的时间和空间分辨率互补优势,得到高时-空分辨率的融合影像。例如,landsat卫星的空间分辨率为30米,重访周期为15天,而modis卫星的空间分辨率为250/500/1000米,重访周期仅为1天,通过时-空融合技术可得到同时具有高空间分辨率(30m)和高时间分辨率(1天)的影像。

2、目前,已提出大量时-空融合方法,主要包括传统方法和基于深度学习的方法。传统方法包括基于权重函数、基于光谱解混以及基于模型优化的方法,虽然这些方法取得了一定的效果,但通常在变化显著的区域效果不佳。深度学习的方法通过训练大量的样本数据,以数据驱动不断学习其中的映射关系,最终得到融合影像,相较于传统方法具有一定优势。总体而言,大多数时-空融合方法在应对物候变化方面表现出了令人满意的效果,但难以有效用于土地覆盖类型变化场景下多源遥感影像的时-空融合。尽管一些基于深度学习的时-空融合方法已经注意到这个问题并做出了一些改进,但它们往往主要在较小或不明显的土地覆盖变化方面表现出色,而在洪水或泥石流等土地覆盖变化较大的地区,其性能受到限制。一方面,这可能是由于传感器硬件和成像系统的差异造成的固有复杂关系,特别是在土地覆盖变化方面,光谱和空间信息发生剧烈变化,使得他们关系更加复杂。另一方面,大多数时-空融合方法在融合模型的设计中对土地覆盖变化的考虑有限。


技术实现思路

1、本发明的目的是针对现有技术的不足,提出了复杂地表变化场景下的多源遥感时-空高保真融合方法。

2、第一方面,提供了复杂地表变化场景下的多源遥感时-空高保真融合方法,包括:

3、步骤1、建立带有地物变化标签的时-空融合数据集,所述时-空融合数据集包括具有高空间/低时间分辨率的精细影像和具有高时间/低空间分辨率的粗糙影像;

4、步骤2、对所述粗糙影像和精细影像进行不同尺度的特征提取;

5、步骤3、挖掘时空变化信息特征,得到由变化特征引导增强的初步融合结果;

6、步骤4、进行多层级融合得到目标融合影像和差异图。

7、作为优选,还包括:

8、步骤5、通过动态衰减权重的混合损失函数进行优化。

9、作为优选,步骤2的表达式为:

10、

11、其中,f1和c2分别表示为精细影像和粗糙影像,block是卷积核为3和leaky relu激活函数的组合;block1,block2和block3分别代表卷积核为3,膨胀率为1、2、3和leaky relu激活函数的组合;concat表示输入特征在通道维度上的拼接操作,avg表示平均池化操作,和分别表示经过多尺度特征提取之后第i层的输出特征。

12、作为优选,步骤3包括:

13、步骤3.1、根据步骤2提取的特征,利用空间注意力和通道注意力分解生成初步融合结果;

14、步骤3.2、将两组特征拼接和相减得到双时相融合特征和差异特征,提取融合特征中的全局变化信息和局部变化信息,再整合差异特征,得到综合的差异变化特征图;

15、步骤3.3、利用差异变化特征图,对初步融合结果中的变化区域精确定位,并且引导增强该结果中的变化区域,抑制不变区域,得到最终的目标时刻融合结果。

16、作为优选,步骤3.1的表达式为:

17、

18、其中,sam和cam分别表示空间注意力和通道注意力;和分别表示逐个像素相乘和相加;代表以的空间位置信息和的光谱信息为主体特征,代表以的空间位置信息和的光谱信息为主体的特征,表示初步融合结果的特征。

19、作为优选,步骤3.2的表达式为:

20、

21、其中,表示双时相融合特征,表示差异特征,gap和gmp分别表示全局平均池化操作和全局最大池化操作,sig表示激活函数;σ1和σ2表示融合特征中提取的全局和局部的特征图;表示提取到的差异变化特征图。

22、作为优选,步骤3.3的表达式为:

23、

24、其中,表示最终的目标时刻融合结果。

25、作为优选,步骤3中,将每一层特征经过降采样之后加到下一层的融合结果之上,最后得到包含上一级特征的综合特征,表达式为:

26、

27、其中,↓表示降采样操作。

28、作为优选,步骤5中,所述动态衰减权重的混合损失函数的表达式为:

29、

30、ltotal=α·lfeature+β·lstructure+γ·lce

31、其中,lfeature表示均方误差损失函数,n表示图像总数,表示预测图像,gt表示地面真值;lstructure表示多尺度结构相似度损失函数,i表示单位矩阵,k表示尺度数,lj、cj、sj分别为图像在第j尺度下的亮度、对比度和结构对比度,vk、pj、μj为相应的权重系数;lce表示交叉熵损失;γ表示衰减参数,e表示当前训练的时代,e表示训练总的时代,a表示幅值;ltotal表示总的损失函数。

32、第二方面,提供了复杂地表变化场景下的多源遥感时-空高保真融合系统,用于执行第一方面任一所述的复杂地表变化场景下的多源遥感时-空高保真融合方法,包括:

33、建立模块,用于建立带有地物变化标签的时-空融合数据集,所述时-空融合数据集包括具有高空间/低时间分辨率的精细影像和具有高时间/低空间分辨率的粗糙影像;

34、多尺度扩张特征提取模块,用于对所述粗糙影像和精细影像进行不同尺度的特征提取;

35、时-空融合与变化检测一体化模块,用于挖掘时空变化信息特征,得到由变化特征引导增强的初步融合结果;

36、重建模块,用于进行多层级融合得到目标融合影像和差异图。

37、本发明的有益效果是:

38、1.本发明构建了时-空融合与变化检测协同学习框架,提出了一种由变化信息引导的时-空融合高保真融合模型。该模型可克服现有方法难以在地面覆盖突变等复杂场景下的时空高保真融合技术瓶颈,满足复杂场景下多源遥感时-空高保真融合需求,生产高保真的高空间、高时间分辨率影像数据。

39、2.本发明构建的时-空融合与变化检测一体化学习框架,可以充分挖掘时空变化信息特征,该变化特征通过增强初步融合结果中的变化区域,抑制不变区域,得到最终的高保真融合图像。此外,为了保证网络生成融合结果的可信度,引入了动态衰减权重的混合损失函数对网络进行优化,在前期着重对变化特征进行约束,随着网络的深入学习,逐渐将重心转移至融合影像的生成。


技术特征:

1.复杂地表变化场景下的多源遥感时-空高保真融合方法,其特征在于,包括:

2.根据权利要求1所述的复杂地表变化场景下的多源遥感时-空高保真融合方法,其特征在于,还包括:

3.根据权利要求1或2所述的复杂地表变化场景下的多源遥感时-空高保真融合方法,其特征在于,步骤2的表达式为:

4.根据权利要求3所述的复杂地表变化场景下的多源遥感时-空高保真融合方法,其特征在于,步骤3包括:

5.根据权利要求4所述的复杂地表变化场景下的多源遥感时-空高保真融合方法,其特征在于,步骤3.1的表达式为:

6.根据权利要求5所述的复杂地表变化场景下的多源遥感时-空高保真融合方法,其特征在于,步骤3.2的表达式为:

7.根据权利要求6所述的复杂地表变化场景下的多源遥感时-空高保真融合方法,其特征在于,步骤3.3的表达式为:

8.根据权利要求7所述的复杂地表变化场景下的多源遥感时-空高保真融合方法,其特征在于,步骤3中,将每一层特征经过降采样之后加到下一层的融合结果之上,最后得到包含上一级特征的综合特征,表达式为:

9.根据权利要求8所述的复杂地表变化场景下的多源遥感时-空高保真融合方法,其特征在于,步骤5中,所述动态衰减权重的混合损失函数的表达式为:

10.复杂地表变化场景下的多源遥感时-空高保真融合系统,其特征在于,用于执行权利要求1至9任一所述的复杂地表变化场景下的多源遥感时-空高保真融合方法,包括:


技术总结
本发明涉及复杂地表变化场景下的多源遥感时‑空高保真融合方法,包括:建立带有地物变化标签的时‑空融合数据集;对影像数据进行不同尺度的特征提取;挖掘时空变化信息特征,得到由变化特征引导增强的初步融合结果;进行多层级融合得到目标融合影像和差异图。本发明的有益效果是:本发明构建了时‑空融合与变化检测协同学习框架,提出了一种由变化信息引导的时‑空融合高保真融合模型。该模型可克服现有方法难以在地面覆盖突变等复杂场景下的时空高保真融合技术瓶颈,满足复杂场景下多源遥感时‑空高保真融合需求,生产高保真的高空间、高时间分辨率影像数据。

技术研发人员:孟祥超,尤明珠,刘强,邵枫,杨刚,孙伟伟
受保护的技术使用者:宁波大学
技术研发日:
技术公布日:2024/9/23
转载请注明原文地址:https://www.famiwei.com/read-9026623.html

最新回复(0)