结合频谱以及空间图结构的图对比学习方法及系统

本发明属于图学习和数据分析，涉及一种图对比学习方法及系统，具体涉及一种结合频谱以及空间图结构的高效图对比学习方法及系统。

背景技术：

1、图神经网络是当前机器学习领域的一项先进技术，专为分析和处理图结构数据设计。图神经网络通过利用节点间的复杂关系和丰富的特征信息，已在社交网络分析、蛋白质结构预测、知识图谱增强等多个应用领域取得了显著成就。这些网络依靠强大的消息传递机制，能够理解和利用图中节点的拓扑结构，从而学习到能够准确描述图属性的深层表示。

2、现有的图神经网络方法大多是基于标记过的图数据进行的监督训练，但是真实世界中的数据标注既昂贵又耗时，为了克服这个困难，图对比学习作为一种自监督技术出现了。图对比学习的工作原理是最大化同一示例不同增强视图间的一致性，并最小化不同示例间增强视图的一致性来工作。

3、尽管图对比学习在任务特定标签稀缺时特别有效，但该领域中仍存在两个关键问题尚未解决：

4、1.大多数现有的图对比学习方法基于同质性假设，主要依赖于低通滤波器的图神经网络来学习表示，限制了模型在处理不同同质性水平的图时的泛化能力。

5、2.图神经网络的消息传递机制导致其在延迟敏感应用中可能导致效率低下，现有的利用知识蒸馏将图神经网络知识传递到多层感知机中并利用其高效推理的方法大多仅适用于有监督场景。

6、对于常规的图对比学习和知识蒸馏，基本的训练和测试步骤可以按照以下流程进行:

7、1.数据预处理：收集图数据，并进行预处理。

8、2.模型设计：构建图神经网络，明确对比学习和蒸馏结构。

9、3.样本对生成：创建正负样本对以供对比学习。

10、4.对比学习训练：训练图神经网络，优化正负样本间的一致性。

11、5.知识蒸馏实施：用图神经网络指导多层感知机，简化结构。

12、6.模型调优：用标签数据微调提高性能。

13、7.推理速度提升：部署多层感知机以加快延迟敏感任务的推理。

14、8.性能测试：在测试集上评价模型表现。

15、9.模型迭代改进：根据评估结果调整并优化。

16、为了克服传统图神经网络对标签依赖的问题，图对比学习作为一种自监督学习技术，显著降低了对标签的依赖。然而，许多图对比学习方法，如[文献1]仍旧基于节点间的同质性假设，并且依赖低通滤波器来提取节点表征，这在一定程度上限制了模型在处理具有不同同质性水平的图时的泛化能力。先前的研究：如[文献2]通常集中于自适应增强和参数化采样策略，但往往忽略了对图信号滤波器的考虑，导致性能提升受限。

17、另外，图神经网络固有的消息传递机制会导致图模型在延迟敏感应用中的效率低下问题，一些研究如[文献3][文献4]探索了从预训练的图神经网络教师模型到学生多层感知机的知识蒸馏方法，以加速推理过程。然而这些方法通常只适用于监督学习场景，依赖于特定任务的标签来训练高效的教师图神经网络，这限制了它们在无标签环境下的适用性。

18、综上所述，如何在无标签环境下提升图对比学习的泛化能力，以及如何实现图神经网络到多层感知机的知识蒸馏，以优化延迟敏感应用中的推理效率成为了一个亟需解决的问题。

19、[文献1]he，d.，liang，c.，liu，h.，wen，m.，jiao，p.，and feng，z.blockmodeling-guided graph convolutional neural networks.in aaai，volume 36，pp.4022–4029，2022a.

20、[文献2]liu，y.，zheng，y.，zhang，d.，lee，v.，and pan，s.beyond smoothing:unsupervised graph representation learning with edge heterophilydiscriminating.in aaai，2023b.

21、[文献3]tian，y.，zhang，c.，guo，z.，zhang，x.，and chawla，n.learning mlps ongraphs:a unified view of effectiveness，robustness，and efficiency.in iclr，2023.

22、[文献4]zhang，s.，liu，y.，sun，y.，and shah，n.graph-less neural networks:teaching old mlps new tricks via distillation.in iclr，2022。

技术实现思路

1、本发明的目的在于解决现有技术中在缺乏标注数据的情况下，如何有效地学习和泛化不同同质性水平图数据的表示的挑战问题，提供了一种结合频谱以及空间图结构的高效图对比学习方法及系统。

2、本发明的方法所采用的技术方案是：一种结合频谱以及空间图结构的图对比学习方法，包括以下步骤：

3、步骤1：收集图数据，利用k最近邻近算法准备好语义正样本和邻居正样本；

4、步骤2：构建图神经网络模型，明确对比学习和蒸馏结构；

5、步骤3：训练图神经网络模型，优化正负样本间的一致性；

6、步骤4：用图神经网络模型指导多层感知机，简化图神经网络模型结构；

7、步骤5：在测试集上评价图神经网络模型表现，根据评估结果调整并优化图神经网络模型。

8、作为优选，步骤1的具体实现包括以下子步骤：

9、步骤1.1：计算高通滤波器参数wk和γj；

10、

11、其中，γj是第j个高通滤波器参数，用于控制高通滤波器对不同频率成分的重视程度；wk是高通滤波器的第k个参数，用于调整图信号的频率分量；k是切比雪夫多项数阶数；xj是节点特征中的第j个分量，π结合j和k来控制余弦函数的周期，进而控制滤波器的频率特性；和是图神经网络模型参数，在训练过程中学习得到，用于控制中relu函数和余弦调制部分的影响程度，调整高通滤波器的频率响应，其中a，b用于区分两种β，h代表这是高通滤波器部分；tk(xj)是切比雪夫多项式的第k阶在xj处的值；σ是relu函数，用于确保γj的非负性，保持高通滤波器系数的稳定性，并保证

12、步骤1.2：计算低通滤波器参数和

13、

14、

15、其中，和是图神经网络模型参数，其中a，b用于区分两种β，l代表这是低通滤波器部分；是第j个低通滤波器参数，用于控制低通滤波器对不同频率成分的重视程度；是低通滤波器的第k个参数，用于调整图信号的频率分量；σ是relu函数，保证

16、步骤1.3：利用得到的高通滤波器和低通滤波器参数将图解耦为两个有偏视图z和zl；

17、

18、其中，fθ是多层感知机mlp的参数化形式，用于将节点特征转换为更高级的表示形式，用于下一步的学习任务，和分别表示应用于高通滤波器和低通滤波器之后的特征转换，表示多层感知机mlp处理后的特征再通过不同的频率滤波器进行进一步的处理，以便更好地捕捉图中的高频或低频信息；

19、表示在标准化图拉普拉斯矩阵上应用的第k阶切比雪夫多项式。

20、作为优选，步骤2中，利用原始节点特征和多层感知机mlp得到初步的节点表征，利用全通滤波器和有偏滤波器得到的节点表征之间的优化目标进行图神经网络建模以形成优化目标；

21、具体实现包括以下子步骤：

22、步骤2.1：初始化多层感知机mlp，将原始节点特征矩阵x输入到一个l层多层感知机fθ，得到节点的表征zf＝fθ(x)；

23、步骤2.2：根据定义的跨通道对比学习目标lcp优化mlp编码器以提炼出能过捕捉图的高级别和表达性节点表征的编码器；通过对全通滤波器和有偏滤波器得到的表征之间的优化目标进行建模，利用信息噪声对比估计损失的启发，

24、形成优化目标；

25、

26、其中，表示图中所有节点的集合；zp，分别表示当前节点p经过全通滤波器，高通滤波器，低通滤波器后的特征表示；q表示除了p以外的其他节点；s(*，*是一个相似度函数，用于计算两个节点特征之间的相似度；r(*，*为相似度函数s在求和中的应用，用于计算p的特征表示与所有其他节点q的特征表示之间的相似度总和；ω(*，*是余弦相似度，τ表示对比温度，用于调节指数函数灵敏度的参数，||*||表示向量的欧几里得范数。

27、作为优选，步骤4中，结合全低通目标函数lfl和全高通目标函数lf，构成最终的跨通道对比学习目标函数l＝αlfl+(1-α)lf，其中，通过调整权衡系数α来平衡这两个损失函数，确保图神经网络模型在推理效率和图结构复杂性管理方面的优势；

28、

29、其中，ni′表示节点集中vi的局部邻居正样本集；ni″表示节点vi语义正样本集合，ni″＝nn(vi，k)，其中k是一个参数，表示选择vi的k个最相似的节点，knn()是一种算法，根据定义的相似性度量来选择最近的k个邻居，

30、vp，vq是节点索引，用于迭代不同的节点对。

31、本发明的系统所采用的技术方案是：一种结合频谱以及空间图结构的图对比学习系统，包括以下模块：

32、训练数据集构建模块，用于收集图数据，利用k最近邻近算法准备好语义正样本和邻居正样本；

33、图神经网络模型构建模块，用于构建图神经网络模型，明确对比学习和蒸馏结构；

34、图神经网络模型训练模块，用户训练图神经网络模型，优化正负样本间的一致性；

35、图神经网络模型结构简化模块，用于用图神经网络模型指导多层感知机，简化图神经网络模型结构；

36、图神经网络模型优化模块，用于在测试集上评价图神经网络模型表现，根据评估结果调整并优化图神经网络模型。

37、本发明还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现所述结合频谱以及空间图结构的图对比学习方法。

38、本发明还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述结合频谱以及空间图结构的图对比学习方法。

39、本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现所述结合频谱以及空间图结构的图对比学习方法。

40、本发明具有以下的优点：

41、(1)本发明通过引入创新的余弦参数化切比雪夫多项式方法和mlp编码器，本发明可以在无需标签的情况下处理不同同质性水平的图数据，提升模型在各种图结构数据上的泛化能力和表征质量。

42、(2)本发明通过独特的跨通道对比学习目标，优化了结构和语义上相似的邻居节点之间的互信息，有效提高了无监督环境中图表征的区分性和准确性。

43、(3)本发明利用高通和低通滤波器强化了图数据的空间结构特征，增强了模型对局部和全局图结构的认知，提高了在复杂图数据上的学习效率和性能。

技术特征：

1.一种结合频谱以及空间图结构的图对比学习方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的结合频谱以及空间图结构的图对比学习方法，其特征在于，步骤1的具体实现包括以下子步骤：

3.根据权利要求2所述的结合频谱以及空间图结构的图对比学习方法，其特征在于：步骤2中，利用原始节点特征和多层感知机mlp得到初步的节点表征，利用全通滤波器和有偏滤波器得到的节点表征之间的优化目标进行图神经网络建模以形成优化目标；

4.根据权利要求3所述的结合频谱以及空间图结构的图对比学习方法，其特征在于：步骤4中，结合全低通目标函数lfl和全高通目标函数lf，构成最终的跨通道对比学习目标函数l＝αlfl+(1-α)lf，其中，通过调整权衡系数α来平衡这两个损失函数，确保图神经网络模型在推理效率和图结构复杂性管理方面的优势；

5.一种结合频谱以及空间图结构的图对比学习系统，其特征在于，包括以下模块：

6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述结合频谱以及空间图结构的图对比学习方法。

7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述结合频谱以及空间图结构的图对比学习方法。

8.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述结合频谱以及空间图结构的图对比学习方法。

技术总结
本发明公开了一种结合频谱以及空间图结构的图对比学习方法及系统，通过余弦参数化的切比雪夫多项式，S3GCL算法可以在不依赖标签的情况下，调整滤波器以分别强化图数据中的高频和低频特征，从而更精确地适应和泛化不同同质性图的结构信息。多层感知机编码器的引入提供了一种全通道处理方式，加速了特征提取过程，并能直接部署于实时应用中。此外，通过空间领域的邻域正样本对策略，进一步优化了模型的学习过程，使其能够基于节点的局部邻域结构生成更有区分度的特征表示。这种方法不仅提升了模型在无监督设置下对异质性图数据的处理能力，而且增强了模型在复杂图结构分析任务中的泛化性和鲁棒性。

技术研发人员：叶茫,万冠呈,史梓桐
受保护的技术使用者：武汉大学
技术研发日：
技术公布日：2024/9/23