超像素双邻域对比图自编码器的构建方法和聚类方法

本发明涉及图像处理，具体而言，涉及一种超像素双邻域对比图自编码器的构建方法和聚类方法。

背景技术：

1、高光谱图像是一种拥有多个波段的遥感图像，凭借其细致且丰富的光谱信息，已被广泛应用。由于在传统的监督式分类中，需要大量已标注样本，进而需要耗费大量的人力，于是无监督聚类逐渐成为一个广为关注的研究方向，其将像素根据本身的光谱特性分为不同的群组或类别，且整个过程并不需要任何标签样本，因此，在无标签的情况下实现聚类，对高光谱图像聚类的发展非常重要。

2、然而，现有的聚类方式虽然通过降维的方式，有效降低了高光谱图像高维数据的复杂性，但在处理空间信息方面存在一定不足。此外，虽然部分方法能够捕捉高光谱图像中像素间的邻域关系，但计算量较大，且只能捕捉单一邻域特征，由此，造成了聚类结果的准确性较差。

技术实现思路

1、本发明解决的问题是如何构建能够捕捉邻域特征且计算量低的图像处理模型，进而学习大规模高光谱图像的鲁棒特征并进行精确的聚类。

2、为解决上述问题，本发明提供一种超像素双邻域对比图自编码器的构建方法和聚类方法。

3、第一方面，本发明提供了一种超像素双邻域对比图自编码器的构建方法，包括：

4、获取高光谱图像，对所述高光谱图像进行预处理，得到多个超像素块；

5、根据所述高光谱图像和所有所述超像素块，构建超像素特征图；

6、基于预设邻域值，根据所述超像素特征图和所有所述超像素块构建第一超像素结构图和第二超像素结构图；

7、将所述超像素特征图分别与所述第一超像素结构图和所述第二超像素结构图输入到图卷积编码器进行训练及调优，得到超像素双邻域对比图自编码器。

8、可选地，其特征在于，所述获取高光谱图像，对所述高光谱图像进行预处理，得到多个超像素块，包括：

9、对所述高光谱图像进行波段降维，得到初始像素块；

10、通过熵率超像素对所述初始像素块进行分割和标签处理，得到多个所述超像素块。

11、可选地，所述根据所述高光谱图像和所有所述超像素块，构建超像素特征图，包括：

12、将所述高光谱图像进行降维处理，得到原始像素矩阵；

13、根据所有所述超像素块的标签信息得到关联矩阵；

14、将所述原始像素矩阵与所述关联矩阵通过超像素特征公式处理，得到所述超像素特征图；

15、其中，所述超像素特征公式如下：

16、xs＝qxp，

17、其中，xs为所述超像素特征图，xp为所述原始像素矩阵，q为所述关联矩阵。

18、可选地，所述基于预设邻域值，根据所述超像素特征图和所有所述超像素块构建第一超像素结构图和第二超像素结构图，包括：

19、在所述超像素特征图中选取多个邻域超像素；

20、将每个所述超像素块与所有所述邻域超像素相连，得到特征图结构矩阵；

21、根据所述预设邻域值和所述特征图结构矩阵，得到所述第一超像素结构图和所述第二超像素结构图；

22、其中，所述预设邻域值包括不同的两个数值，用于分别构建所述第一超像素结构图和所述第二超像素结构图。

23、可选地，所述图卷积编码器包括双邻域图构造模块、对比学习模块和自表达模块，所述将所述超像素特征图分别与所述第一超像素结构图和所述第二超像素结构图输入到图卷积编码器进行训练及调优，得到超像素双邻域对比图自编码器，包括：

24、将所述超像素特征图分别与所述第一超像素结构图和所述第二超像素结构图输入所述双邻域图构造模块得到第一光谱空间特征和第二光谱空间特征；

25、将所述第一光谱空间特征和所述第二光谱空间特征输入所述对比学习模块进行分支内部对比学习和分支间对比学习，得到对应的第一临时特征数据和第二临时特征数据；

26、将所述第一光谱空间特征和所述第二光谱空间特征嵌入所述自表达模块，得到学习后的所述自表达模块；

27、将所述第一临时特征数据和所述第二临时特征数据输入学习后的所述自表达模块，得到对应的第一自表达系数矩阵和第二自表达系数矩阵；

28、根据所述第一光谱空间特征、所述第一临时特征数据和所述第一自表达系数矩阵，得到第一重构损失；

29、根据所述第二光谱空间特征、所述第二临时特征数据和所述第二自表达系数矩阵，得到第二重构损失；

30、根据所述第一重构损失和所述第二重构损失对所述图卷积编码器进行调优，得到所述超像素双邻域对比图自编码器。

31、可选地，所述将所述第一光谱空间特征和所述第二光谱空间特征输入所述对比学习模块进行分支内部对比学习和分支间对比学习，得到对应的第一临时特征数据和第二临时特征数据，包括：

32、将所述第一光谱空间特征进行所述分支内部对比学习，并通过分支内部对比损失公式得到第一对比损失；

33、将所述第二光谱空间特征进行所述分支内部对比学习，并通过所述分支内部对比损失公式得到第二对比损失；

34、其中，所述分支内部对比损失公式如下：

35、

36、其中，m是所述超像素块的总个数，i是遍历所述超像素块的索引，j是遍历所述邻域超像素的索引，t也是遍历所述超像素块的索引，cij是所述第一自表达系数矩阵或所述第二自表达系数矩阵中第i行第j列元素的值，cit是所述第一自表达系数矩阵或所述第二自表达系数矩阵中第i行第t列元素的值，lci代表所述第一对比损失或所述第二对比损失，是指标函数，g代表编号，代表所述第一光谱空间特征或所述第二光谱空间特征中节点的邻居节点，τ为温度系数；

37、将所述第一光谱空间特征和所述第二光谱空间特征进行所述分支间对比学习，并通过分支间对比损失公式得到分支间对比损失；

38、其中，所述分支间对比损失公式如下：

39、

40、其中，lce表示所述分支间对比损失，zi和zi'均表示样本表征，d(zi，z′i)表示将zi视作锚点，计算的对比损失，此时zi'作为正样本，其他点看作负样本，d(z′i，zi)表示将zi'视作锚点，计算的对比损失，此时zi作为正样本，其他点看作负样本；

41、

42、其中，τ表示调节的温度系数，sim(·)表示余弦相似度，zk是与zi在同一尺度特征图下的负样本的表征，而zk表示与zi在不同尺度的特征图下的负样本的表征；

43、根据所述第一对比损失、所述第二对比损失和所述分支间对比损失，对所述第一光谱空间特征和所述第二光谱空间特征进行调优，得到所述第一临时特征数据和所述第二临时特征数据。

44、可选地，所述根据所述第一光谱空间特征、所述第一临时特征数据和所述第一自表达系数矩阵，得到第一重构损失；根据所述第二光谱空间特征、所述第二临时特征数据和所述第二自表达系数矩阵，得到第二重构损失，包括：

45、通过自表达损失函数将所述第一临时特征数据和所述第一自表达系数矩阵进行处理，得到第一自表达损失；

46、通过所述自表达损失函数将所述第二临时特征数据和所述第二自表达系数矩阵进行处理，得到第二自表达损失；

47、其中，所述自表达损失函数如下：

48、

49、其中，lse代表所述第一自表达损失或所述第二自表达损失，g代表编号，z(g)代表第g个图经过编码后的特征，代表所述第一自表达系数矩阵或所述第二自表达系数矩阵，f代表范数；

50、根据所述第一自表达损失和所述第一临时特征数据，得到第一目标特征数据，将所述第一目标特征数据进行解码，并与所述第一光谱空间特征进行数据处理，得到所述第一重构损失；

51、将所述第二自表达损失和所述第二临时特征数据，得到第二目标特征数据，将所述第二目标特征数据进行解码，并与所述第二光谱空间特征进行数据处理，得到所述第二重构损失。

52、第二方面，本发明提供了一种超像素双邻域对比图自编码器的构建装置，包括：

53、获取单元，用于获取高光谱图像，对所述高光谱图像进行预处理，得到多个超像素块；

54、处理单元，用于根据所述高光谱图像和所有所述超像素块，构建超像素特征图；

55、还用于基于预设邻域值，根据所述超像素特征图和所有所述超像素块构建第一超像素结构图和第二超像素结构图；

56、训练单元，用于将所述超像素特征图分别与所述第一超像素结构图和所述第二超像素结构图输入到图卷积编码器进行训练及调优，得到超像素双邻域对比图自编码器。

57、本发明所述的一种超像素双邻域对比图自编码器的构建装置与所述的超像素双邻域对比图自编码器的构建方法相对于现有技术的优势相同，在此不再赘述。

58、第三方面，本发明提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的超像素双邻域对比图自编码器的构建方法。

59、本发明所述的一种计算机设备与所述的一种超像素双邻域对比图自编码器的构建方法相对于现有技术的优势相同，在此不再赘述。

60、第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的超像素双邻域对比图自编码器的构建方法。

61、本发明所述的一种计算机可读存储介质与所述的一种超像素双邻域对比图自编码器的构建方法相对于现有技术的优势相同，在此不再赘述。

62、第五方面，本发明提供了一种高光谱图像的深度子空间聚类方法，其特征在于，包括：

63、获取高光谱图像；

64、将所述高光谱图像输入到超像素双邻域对比图自编码器中，得到第一自表达系数矩阵和第二自表达系数矩阵，其中，所述超像素双邻域对比图自编码器采用如第一方面所述的超像素双邻域对比图自编码器的构建方法构建得到；

65、将所述第一自表达系数矩阵和所述第二自表达系数矩阵进行融合处理，得到亲和矩阵；

66、根据所述亲和矩阵得到聚类结果。

67、可选地，所述将所述第一自表达系数矩阵和所述第二自表达系数矩阵进行融合处理，得到亲和矩阵，包括：

68、通过亲和矩阵函数，将所述第一自表达系数矩阵和所述第二自表达系数矩阵进行融合处理，得到所述亲和矩阵；

69、其中，所述亲和矩阵函数如下：

70、

71、其中，w表示所述亲和矩阵，c表示由所述第一自表达系数矩阵和所述第二自表达系数矩阵进行平均组合得到的总系数矩阵，t表示转置。

72、本发明的超像素双邻域对比图自编码器的构建方法的有益效果是：本发明构建的超像素双邻域对比图自编码器，从输入数据出发，将现有采用的像素块，通过预处理，将其分割成多个超像素块，进而减少对像素块的需求，从而有效降低了超像素双邻域对比图自编码器在进行计算和分析时的数据量，减轻了计算压力，同时，本发明考虑图像固有的多邻域尺度信息，构建了两个具有不同邻域尺度的第一超像素结构图和第二超像素结构图，进而实现充分利用不同尺度的空间信息，减少单一邻域尺度图中噪声邻居的影响，相较于现有的仅使用一张固定图的模型，多邻域尺度的设计使超像素双邻域对比图自编码器能够提取具有不同感受野的特征，从而可以结合来自不同层次的信息数据，并且利用超像素及其双邻域构建第一超像素结构图和第二超像素结构图，有助于学习局部空间信息，因此，本发明实现了构建能够捕捉领域特征且计算量低的图像处理模型。

73、本发明的高光谱图像的深度子空间聚类方法的有益效果是：本发明基于能够捕捉领域特征且计算量低的超像素双邻域对比图自编码器，使得高光谱图像的鲁棒特征被较好的提取，利于后续的聚类处理，再结合双支处理与融合，通过亲和矩阵进行聚类处理，由此得出的聚类结果具有高准确性的优点。

技术特征：

1.一种超像素双邻域对比图自编码器的构建方法，其特征在于，包括：

2.根据权利要求1所述的超像素双邻域对比图自编码器的构建方法，其特征在于，所述获取高光谱图像，对所述高光谱图像进行预处理，得到多个超像素块，包括：

3.根据权利要求1所述的超像素双邻域对比图自编码器的构建方法，其特征在于，所述根据所述高光谱图像和所有所述超像素块，构建超像素特征图，包括：

4.根据权利要求1所述的超像素双邻域对比图自编码器的构建方法，其特征在于，所述基于预设邻域值，根据所述超像素特征图和所有所述超像素块构建第一超像素结构图和第二超像素结构图，包括：

5.根据权利要求4所述的超像素双邻域对比图自编码器的构建方法，其特征在于，所述图卷积编码器包括双邻域图构造模块、对比学习模块和自表达模块，所述将所述超像素特征图分别与所述第一超像素结构图和所述第二超像素结构图输入到图卷积编码器进行训练及调优，得到超像素双邻域对比图自编码器，包括：

6.根据权利要求5所述的超像素双邻域对比图自编码器的构建方法，其特征在于，所述将所述第一光谱空间特征和所述第二光谱空间特征输入所述对比学习模块进行分支内部对比学习和分支间对比学习，得到对应的第一临时特征数据和第二临时特征数据，包括：

7.根据权利要求5所述的超像素双邻域对比图自编码器的构建方法，其特征在于，所述根据所述第一光谱空间特征、所述第一临时特征数据和所述第一自表达系数矩阵，得到第一重构损失；根据所述第二光谱空间特征、所述第二临时特征数据和所述第二自表达系数矩阵，得到第二重构损失，包括：

8.一种超像素双邻域对比图自编码器的构建装置，其特征在于，包括：

9.一种高光谱图像的深度子空间聚类方法，其特征在于，包括：

10.根据权利要求9所述的高光谱图像的深度子空间聚类方法，其特征在于，所述将所述第一自表达系数矩阵和所述第二自表达系数矩阵进行融合处理，得到亲和矩阵，包括：

技术总结
本发明提供了一种超像素双邻域对比图自编码器的构建方法和聚类方法，涉及图像处理技术领域，构建方法包括：获取高光谱图像，对所述高光谱图像进行预处理，得到多个超像素块；根据所述高光谱图像和所有所述超像素块，构建超像素特征图；基于预设邻域值，根据所述超像素特征图和所有所述超像素块构建第一超像素结构图和第二超像素结构图；将所述超像素特征图分别与所述第一超像素结构图和所述第二超像素结构图输入到图卷积编码器进行训练及调优，得到超像素双邻域对比图自编码器。本发明构建了能够捕捉领域特征且计算量低的超像素双邻域对比图自编码器，通过本发明能够学习大规模高光谱图像的鲁棒特征。

技术研发人员：李显巨,李俊宏,管仁祥,常屹冉,丁慧君,冯健,韩旭,张潇恺
受保护的技术使用者：中国地质大学（武汉）
技术研发日：
技术公布日：2024/9/23