数据检索方法、装置、电子设备及存储介质与流程

xiaoxiao2026-07-20  18


本发明涉及电数字数据处理,尤其涉及一种数据检索方法、装置、电子设备及存储介质。


背景技术:

1、随着数字时代的深入发展,数据量正在爆炸式增长和数据结构也日益复杂。传统的数据检索方法在处理大规模、多字段的数据库时显得力不从心。尽管检索增强生成(retrieval-augmented generation,rag)系统通过结合检索和生成技术取得了一定进展,但在处理复杂查询和多维度数据时仍存在明显的局限性。

2、目前,主流的rag系统通常只对数据库的主文本进行向量化处理,而将其他属性简单地作为元数据进行全字匹配。这种方法导致了一系列问题:检索灵活性受限,用户常常需要明确指定匹配内容。此外,现有系统在查询理解能力方面也存在不足,难以准确捕捉用户的真实意图,特别是在处理复杂、多方面的查询时表现欠佳。最后,大多数数据检索系统缺乏有效的结果评估和优化机制。

3、上述问题导致现有的数据检索效率低。


技术实现思路

1、本发明提供一种数据检索方法、装置、电子设备及存储介质,用以解决现有技术中数据检索效率低的缺陷,实现提高数据检索的效率。

2、本发明提供一种数据检索方法,包括如下步骤:基于语言模型对用户的查询语句的语义分析结果获取查询语句的特征信息,特征信息包括查询意图、关键信息和上下文信息;基于特征信息在数据库的字段-主题映射表中获取查询语句的多个匹配字段组;字段-主题映射表包括多个数据库的预设主题和数据库的字段的映射关系;匹配字段组与预设主题一一对应;对每个匹配字段组中的匹配字段进行扩展,得到查询语句的多个扩展匹配字段组;基于多个扩展匹配字段组在数据库中进行多维度检索,得到每个扩展匹配字段组的检索结果;基于扩展匹配字段组的权重对检索结果进行加权融合,得到查询语句的检索数据。

3、根据本发明提供的数据检索方法,基于特征信息在数据库的字段-主题映射表中获取查询语句的多个匹配字段组,包括:基于特征信息在字段-主题映射表中获取查询语句的多个匹配字段序列;获取每个匹配字段序列中匹配字段与查询语句的相关性,将匹配字段按照相关性从大到小的顺序进行排序,得到排序后的匹配字段序列;在每个排序后的匹配字段序列中,将排在最前面的至少一个匹配字段作为匹配字段组。

4、根据本发明提供的数据检索方法,基于扩展匹配字段组的权重对检索结果进行加权融合,得到查询语句的检索数据之后,还包括:当检索数据的检索评分低于设定分数时,基于每个排序后的匹配字段序列对匹配字段组进行更新;基于更新后的匹配字段组进行迭代检索,直至检索评分大于或者等于设定分数,或者迭代检索的次数达到设定次数;将检索评分最高的检索数据作为最终的检索数据。

5、根据本发明提供的数据检索方法,对每个匹配字段组中的匹配字段进行扩展,得到查询语句的多个扩展匹配字段组,包括:对匹配字段组的每个匹配字段进行命名实体识别分析,得到匹配字段的关联字段;基于每个匹配字段组中的所有匹配字段和匹配字段的关联字段得到每个扩展匹配字段组。

6、根据本发明提供的数据检索方法,扩展匹配字段组的权重是基于以下步骤确定的:基于预设主题获取每个扩展匹配字段组的基础权重;基于特征信息确定每个扩展匹配字段组的重要等级;基于重要等级对基础权重进行调整,得到扩展匹配字段组的权重。

7、根据本发明提供的数据检索方法,数据库是基于以下步骤确定的:对初始数据库中参与检索的初始文本进行数据清洗,以统一初始文本的格式;将清洗后的初始文本转换为文本向量;若文本向量在初始数据库中的重复次数低于设定重复次数,构建文本向量的索引结构;基于索引结构和文本向量得到数据库。

8、根据本发明提供的数据检索方法,基于多个扩展匹配字段组在数据库中进行多维度检索,得到每个扩展匹配字段组的检索结果,包括:基于一个扩展匹配字段组在数据库中进行一个维度检索;基于多个扩展匹配字段组在数据库中进行多维度检索;其中,若数据库中存在与扩展匹配字段匹配的索引结构,则基于索引结构的文本向量与扩展匹配字段的相似度确定检索结果;若数据库中存在与扩展匹配字段匹配的非结构化文本向量,对非结构化文本向量进行模糊匹配,得到检索结果。

9、本发明还提供一种数据检索装置,包括:特征信息确定模块,用于基于语言模型对用户的查询语句的语义分析结果获取查询语句的特征信息,特征信息包括查询意图、关键信息和上下文信息;匹配模块,用于基于特征信息在数据库的字段-主题映射表中获取查询语句的多个匹配字段组;字段-主题映射表包括多个数据库的预设主题和数据库的字段的映射关系;匹配字段组与预设主题一一对应;扩展模块,用于对每个匹配字段组中的匹配字段进行扩展,得到查询语句的多个扩展匹配字段组;检索模块,用于基于多个扩展匹配字段组在数据库中进行多维度检索,得到每个扩展匹配字段组的检索结果;融合模块,用于基于扩展匹配字段组的权重对检索结果进行加权融合,得到查询语句的检索数据。

10、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上述任一种数据检索方法。

11、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种数据检索方法。

12、本发明提供的数据检索方法、装置、电子设备及存储介质,通过特征信息获取查询语句的匹配字段,实现了根据查询意图、关键信息和上下文信息进行精准匹配,提高了匹配字段组的准确性。根据字段-主题映射表获取匹配字段组,实现了对查询语句的快速定位,有利于提高数据检索的效率和准确性。根据扩展匹配字段组进行多维度检索,实现了根据匹配字段组的实体进行检索,有利于提高数据检索的精度和效率。根据扩展匹配字段组的权重对检索结果进行加权融合,能够准确的获取每个检索结果的权重情况,便于用户快速的找到与查询语句最相关的检索数据。



技术特征:

1.一种数据检索方法,其特征在于,包括:

2.根据权利要求1所述的数据检索方法,其特征在于,所述基于所述特征信息在数据库的字段-主题映射表中获取所述查询语句的多个匹配字段组,包括:

3.根据权利要求2所述的数据检索方法,其特征在于,所述基于扩展匹配字段组的权重对所述检索结果进行加权融合,得到所述查询语句的检索数据之后,还包括:

4.根据权利要求1所述的数据检索方法,其特征在于,所述对每个所述匹配字段组中的匹配字段进行扩展,得到所述查询语句的多个扩展匹配字段组,包括:

5.根据权利要求1所述的数据检索方法,其特征在于,所述扩展匹配字段组的权重是基于以下步骤确定的:

6.根据权利要求1所述的数据检索方法,其特征在于,所述数据库是基于以下步骤确定的:

7.根据权利要求1所述的数据检索方法,其特征在于,所述基于多个所述扩展匹配字段组在所述数据库中进行多维度检索,得到每个所述扩展匹配字段组的检索结果,包括:

8.一种数据检索装置,其特征在于,包括:

9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述数据检索方法。

10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据检索方法。


技术总结
本发明提供的数据检索方法、装置、电子设备及存储介质,涉及电数字数据处理技术领域,通过特征信息获取查询语句的匹配字段,实现了根据查询意图、关键信息和上下文信息进行精准匹配,提高了匹配字段组的准确性。根据字段‑主题映射表获取匹配字段组,实现了对查询语句的快速定位,有利于提高数据检索的效率和准确性。根据扩展匹配字段组进行多维度检索,实现了根据匹配字段组的实体进行检索,有利于提高数据检索的精度和效率。根据扩展匹配字段组的权重对检索结果进行加权融合,能够准确的获取每个检索结果的权重情况,便于用户快速的找到与查询语句最相关的检索数据。

技术研发人员:邵嘉豪,段强,姜凯
受保护的技术使用者:山东浪潮科学研究院有限公司
技术研发日:
技术公布日:2024/9/23
转载请注明原文地址:https://www.famiwei.com/read-9024951.html

最新回复(0)