基于细粒度多源知识增强的多模态事实核查方法及系统

本发明涉及信息检测，具体涉及一种基于细粒度多源知识增强的多模态事实核查方法及系统。

背景技术：

1、随着虚假信息与虚假新闻的广泛传播，事实核查成为了一大热点研究内容。它旨在通过相应的证据信息判断新闻、推文等内容的真实性。近年来，多媒体信息和平台的快速发展，使多模态虚假信息的传播更加方便快捷，针对多模态的事实核查是事实核查领域的一大新研究热点。

2、最近的多模态事实核查方法利用文本和图片信息，分别提取模态独有特征表示，并利用不同融合方法，如拼接、注意力网络等，将模态独有特征表示进行融合，得到多模态信息特征表示，利用分类器预测推文或新闻内容的事实性标签。

3、然而，这类方法仅仅考虑了粗粒度的全局信息，进而忽略了包含更复杂、更重要的语义信息的细粒度知识信息，在一定程度上影响了多模态事实核查方法的性能。同时，这些方法仅仅考虑了单一来源的证据信息作为预测标准，而没有将多源知识信息进行综合考虑，易产生偏见或将不实信息当作证据信息对推文或新闻进行预测。

技术实现思路

1、针对上述问题，本发明公开一种基于细粒度多源知识增强的多模态事实核查方法及系统，利用细粒度、多来源的知识信息辅助包含多模态信息的事实核查任务，即在数据处理阶段利用多知识来源获取相关的细粒度的知识信息，并综合这些知识信息对推文的真实性进行更准确地预测。这些细粒度、多来源的知识信息在一定程度上增加了证据信息的可靠性，同时能够补充粗粒度信息中缺失的部分语义信息，提升模型的性能。

2、为实现上述目的，本发明提供的技术方案如下：

3、一种基于细粒度多源知识增强的多模态事实核查方法，所述方法包括：

4、获取推文信息和证据信息；其中，所述推文信息包括：推文文本信息和推文图片信息，所述证据信息包括：证据文本信息和证据图片信息；

5、从推文信息和证据信息中抽取细粒度的知识信息；

6、提取推文信息、证据信息和知识信息的文本信息语义隐表示和图片信息语义隐表示；

7、基于文本信息语义隐表示和图片信息语义隐表示，构建包含所述推文信息、所述证据信息和所述知识信息的异质图；

8、基于图注意力网络计算所述异质图的新结点表示；

9、对所述异质图的新结点表示进行分类，得到所述推文信息的多模态事实核查结果。

10、进一步地，所述知识信息包括：文本实体知识、图片实体知识和文本关键内容。

11、进一步地，所述提取推文信息、证据信息和知识信息的文本信息语义隐表示和图片信息语义隐表示，包括：

12、基于预训练语言模型对文本数据进行特征编码，获取文本数据的文本信息语义隐表示；其中，所述文本数据包括：推文文本信息、证据文本信息、文本实体知识和文本关键内容；

13、基于预训练视觉模型对图片数据进行特征编码，获取图片数据的图片信息语义隐表示；其中，所述图片数据包括：推文图片信息、证据图片信息和图片实体知识。

14、进一步地，所述异质图g＝(v,e)；其中，结点集合v包括：文本信息语义隐表示所对应的结点和图片信息语义隐表示所对应的结点，边集合e包括邻接矩阵和边特征矩阵。

15、进一步地，基于图注意力网络计算所述异质图的新结点表示，包括：

16、基于文本信息语义隐表示和图片信息语义隐表示对异质图中的结点进行初始化，得到结点表示其中，i∈(1,||v||)；

17、基于图注意力网络第l-1层输出的结点表示得到第l层的权重其中，j∈(1,||v||)；

18、对于结点i，结合所述权重对邻居结点j的结点表示进行聚合，并基于聚合结果和结点i的结点表示得到结点i更新后的结点表示

19、基于图注意力网络最后一层输出的结点表示得到该异质图的新结点表示

20、进一步地，所述对所述异质图的新结点表示进行分类，得到所述推文信息的多模态事实核查结果，包括：

21、对所述异质图的新结点表示进行平均池化处理；

22、对平均池化处理结果进行分类，得到所述推文信息的多模态事实核查结果。

23、一种基于细粒度多源知识增强的多模态事实核查系统，所述系统包括：

24、数据采集与处理模块，用于获取推文信息和证据信息；其中，所述推文信息包括：推文文本信息和推文图片信息，所述证据信息包括：证据文本信息和证据图片信息；

25、知识抽取模块，用于从推文信息和证据信息中抽取细粒度的知识信息；

26、特征编码模块，用于提取推文信息、证据信息和知识信息的文本信息语义隐表示和图片信息语义隐表示；

27、异质图构建模块，用于基于文本信息语义隐表示和图片信息语义隐表示，构建包含所述推文信息、所述证据信息和所述知识信息的异质图；

28、知识导向图融合模块，用于基于图注意力网络计算所述异质图的新结点表示；

29、多模态事实核查分类模块，用于对所述异质图的新结点表示进行分类，得到所述推文信息的多模态事实核查结果。

30、进一步地，基于交叉熵损失对特征编码模块、异质图构建模块、知识导向图融合模块和多模态事实核查分类模块进行联合训练。

31、一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现上述任一项所述的基于细粒度多源知识增强的多模态事实核查方法。

32、一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述任一项所述的基于细粒度多源知识增强的多模态事实核查方法。

33、与现有技术相比，本发明的技术方案具有以下优点：

34、本发明在实际事实核查系统方面，与一般的多模态事实核查系统相比，更加注重细粒度、多来源知识信息与原推文和证据信息之间的融合与交互，避免因只关注粗粒度信息而忽略细粒度语义信息进而影响系统性能。与传统多模态事实核查系统相比，本发明侧重于结合多来源知识信息和证据信息综合预测判断推文的真实性标签，更符合实际多模态事实核查场景，同时能够有效避免单一来源证据信息的不实性对系统的负面影响。

35、在技术层面，本发明所设计的基于细粒度多源知识增强的多模态事实核查方法，引入了图片实体和文本实体信息，同时利用具有较强生成能力的大语言模型提取文本关键信息，进一步获取多来源、细粒度的知识，并利用知识导向的图融合方法将推文、证据信息和知识信息充分地交互融合，得到包含语义更丰富的多模态信息隐表示。在公开数据集的实验表明，相较于其他现有的多模态事实核查方法，本发明在factify和mocheg数据集上的检测性能上分别有2.64％和1.69％的绝对提升。

技术特征：

1.一种基于细粒度多源知识增强的多模态事实核查方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述知识信息包括：文本实体知识、图片实体知识和文本关键内容。

3.根据权利要求2所述的方法，其特征在于，所述提取推文信息、证据信息和知识信息的文本信息语义隐表示和图片信息语义隐表示，包括：

4.根据权利要求1所述的方法，其特征在于，所述异质图g＝(v,e)；其中，结点集合v包括：文本信息语义隐表示所对应的结点和图片信息语义隐表示所对应的结点，边集合e包括邻接矩阵和边特征矩阵。

5.根据权利要求4所述的方法，其特征在于，基于图注意力网络计算所述异质图的新结点表示，包括：

6.根据权利要求1所述的方法，其特征在于，所述对所述异质图的新结点表示进行分类，得到所述推文信息的多模态事实核查结果，包括：

7.一种基于细粒度多源知识增强的多模态事实核查系统，其特征在于，所述系统包括：

8.根据权利要求7所述的系统，其特征在于，基于交叉熵损失对特征编码模块、异质图构建模块、知识导向图融合模块和多模态事实核查分类模块进行联合训练。

9.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如权利要求1-6任一项所述的基于细粒度多源知识增强的多模态事实核查方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6任一项所述的基于细粒度多源知识增强的多模态事实核查方法。

技术总结
本发明公开一种基于细粒度多源知识增强的多模态事实核查方法及系统，属于信息检测技术领域。所述方法包括：获取推文信息和证据信息；从推文信息和证据信息中抽取细粒度的知识信息；提取推文信息、证据信息和知识信息的文本信息语义隐表示和图片信息语义隐表示；基于文本信息语义隐表示和图片信息语义隐表示，构建包含所述推文信息、所述证据信息和所述知识信息的异质图；基于图注意力网络计算所述异质图的新结点表示；对所述异质图的新结点表示进行分类，得到所述推文信息的多模态事实核查结果。本发明可以对推文的真实性进行更准确地预测。

技术研发人员：卫玲蔚,曹晗,周薇,虎嵩林
受保护的技术使用者：中国科学院信息工程研究所
技术研发日：
技术公布日：2024/9/23