问答系统的样本生成方法、装置、电子设备及存储介质与流程

xiaoxiao6天前  25


本技术涉及知识图谱,尤其涉及一种问答系统的样本生成方法、装置、电子设备及存储介质。


背景技术:

1、随着互联网技术的发展,问答系统的应用越来越广泛,能够自动应答各种各样的问题,与通过人工应答相比,高效快捷,且准确率也很高。然而,实际应用中,涉及知识图谱的问答系统往往是高度定制化的,该问答系统的模型训练所需的样本数据量需求非常大,若通过人工配置训练样本,效率低下,难以满足模型训练需求。


技术实现思路

1、本技术实施例提供了一种问答系统的样本生成方法、装置、电子设备及存储介质,以提高样本生成效率。

2、第一方面,本技术实施例提供了一种问答系统的样本生成方法,所述方法包括:

3、获取预先配置的同义词集合、相似问集合、比较词集合、问题域集合以及标准实体库;所述同义词集合包括多个标准词以及每个所述标准词对应的至少一个同义词;所述相似问集合包括多个第一属性以及每个所述第一属性对应的至少一个相似问句;所述比较词集合包括比较词信息;所述问题域集合包括域内问题文本和域外问题文本;所述标准实体库包括多个标准实体;

4、根据所述同义词集合、所述相似问集合以及所述比较词集合中的至少一者,生成问题解析样本;

5、根据所述问题解析样本和所述问题域集合,生成问题分类样本;以及,根据所述问题解析样本和所述标准实体库,生成所述实体链接样本;

6、根据所述问题分类样本、所述问题解析样本以及所述实体链接样本,构建所述问答系统的训练数据集。

7、第二方面,本技术实施例提供了一种问答系统的模型训练方法,包括:

8、通过如第一方面所述的问答系统的样本生成方法生成训练数据集;所述训练数据集包括所述问题分类样本、所述问题解析样本以及所述实体链接样本;

9、将所述问题分类样本输入所述问答系统中的初始问题分类模型进行迭代训练,得到问题分类模型;将所述问题解析样本输入所述问答系统中的初始问题解析模型进行迭代训练,得到问题解析模型;将所述实体链接样本输入所述问答系统中的初始实体链接模型进行迭代训练,得到实体链接模型。

10、第三方面,本技术实施例提供了一种应答方法,包括:

11、获取待应答的目标问题;

12、将所述目标问题输入问题分类模型进行分类处理,得到分类结果;所述问题分类模型是通过将训练数据集中的问题分类样本输入初始问题分类模型进行训练所得到的;所述训练数据集是通过如第一方面所述的问答系统的样本生成方法所生成的;

13、在所述分类结果用于表征所述目标问题属于第一预设分类的情况下,将所述目标问题输入问题解析模型进行解析处理,得到对应的目标片段;所述问题解析模型是通过将所述训练数据集中的问题解析样本输入初始问题解析模型进行训练所得到的;

14、将所述目标片段输入实体链接模型进行预测处理,得到对应的目标实体;所述实体链接模型是通过将所述训练数据集中的实体链接样本输入初始实体链接模型进行训练所得到的;

15、根据所述目标实体,确定所述目标问题的答案。

16、第四方面,本技术实施例提供了一种问答系统的样本生成装置,所述装置包括:

17、第一获取单元,用于获取预先配置的同义词集合、相似问集合、比较词集合、问题域集合以及标准实体库;所述同义词集合包括多个标准词以及每个所述标准词对应的至少一个同义词;所述相似问集合包括多个第一属性以及每个所述第一属性对应的至少一个相似问句;所述比较词集合包括比较词信息;所述问题域集合包括域内问题文本和域外问题文本;所述标准实体库包括多个标准实体;

18、第一生成单元,用于根据所述同义词集合、相似问集合以及比较词集合中的至少一者,生成问题解析样本;

19、第二生成单元,用于根据所述问题解析样本和所述问题域集合,生成问题分类样本;以及,根据所述问题解析样本和所述标准实体库,生成所述实体链接样本;

20、构建单元,用于根据所述问题分类样本、所述问题解析样本以及所述实体链接样本,构建所述问答系统的训练数据集。

21、第五方面,本技术实施例提供了一种问答系统的模型训练装置,包括:

22、第三生成单元,用于通过如第一方面所述的问答系统的样本生成方法生成训练数据集;所述训练数据集包括所述问题分类样本、所述问题解析样本以及所述实体链接样本;

23、训练单元,用于将所述问题分类样本输入所述问答系统中的初始问题分类模型进行迭代训练,得到问题分类模型;将所述问题解析样本输入所述问答系统中的初始问题解析模型进行迭代训练,得到问题解析模型;将所述实体链接样本输入所述问答系统中的初始实体链接模型进行迭代训练,得到实体链接模型。

24、第六方面,本技术实施例提供了一种应答装置,包括:

25、第二获取单元,用于获取待应答的目标问题;

26、分类单元,用于将所述目标问题输入问题分类模型进行分类处理,得到分类结果;所述问题分类模型是通过将训练数据集中的问题分类样本输入初始问题分类模型进行训练所得到的;所述训练数据集是通过如权利要求1-7任一项所述的问答系统的样本生成方法所生成的;

27、解析单元,用于在所述分类结果用于表征所述目标问题属于第一预设分类的情况下,将所述目标问题输入问题解析模型进行解析处理,得到对应的目标片段;所述问题解析模型是通过将所述训练数据集中的问题解析样本输入初始问题解析模型进行训练所得到的;

28、预测单元,用于将所述目标片段输入实体链接模型进行预测处理,得到对应的目标实体;所述实体链接模型是通过将所述训练数据集中的实体链接样本输入初始实体链接模型进行训练所得到的;

29、确定单元,用于根据所述目标实体,确定所述目标问题的答案。

30、第七方面,本技术实施例提供了一种电子设备,包括:处理器;以及,被配置为存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器执行如第一方面所述的问答系统的样本生成方法,或者,如第二方面所述的问答系统的模型训练方法,或者,如第三方面所述的应答方法。

31、第八方面,本技术实施例提供了一种计算机可读存储介质,用于存储计算机可执行指令,所述计算机可执行指令在被处理器执行时实现如第一方面所述的问答系统的样本生成方法,或者,如第二方面所述的问答系统的模型训练方法,或者,如第三方面所述的应答方法。

32、可以看出,在本技术实施例中,首先,获取预先配置的同义词集合、相似问集合、比较词集合、问题域集合以及标准实体库;同义词集合包括多个标准词以及每个标准词对应的至少一个同义词;相似问集合包括多个第一属性以及每个第一属性对应的至少一个相似问句;比较词集合包括比较词信息;问题域集合包括域内问题文本和域外问题文本;标准实体库包括多个标准实体;接着,根据同义词集合、相似问集合以及比较词集合中的至少一者,生成问题解析样本;然后,根据问题解析样本和问题域集合,生成问题分类样本;以及,根据问题解析样本和标准实体库,生成实体链接样本;最后,根据问题分类样本、问题解析样本以及实体链接样本,构建问答系统的训练数据集。以此,一方面,根据预先配置的同义词集合、相似问集合、比较词集合、问题域集合以及标准实体库生成问题解析样本、问题分类样本以及实体链接样本,能够利用少量预先配置的数据生成大量的训练样本,提高样本生成效率,减少人工工作量;另一方面,问题解析样本不仅可以用于初始问题解析模型的训练,还可以用于生成问题分类样本以及实体链接样本,提高了数据利用率。


技术特征:

1.一种问答系统的样本生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述同义词集合、所述相似问集合以及所述比较词集合中的至少一者,生成问题解析样本,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述同义词集合、所述相似问集合以及所述比较词集合中的至少一者,生成问题解析样本,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述问题解析样本和所述问题域集合,生成问题分类样本,包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述问题解析样本和所述标准实体库,生成所述实体链接样本,包括:

6.一种问答系统的模型训练方法,其特征在于,包括:

7.一种应答方法,其特征在于,包括:

8.根据权利要求7所述的方法,其特征在于,所述根据所述目标实体,确定所述目标问题的答案,包括:

9.根据权利要求8所述的方法,其特征在于,所述根据所述槽位填充结果,在预先配置的知识图谱中查询对应的答案,包括:

10.一种问答系统的样本生成装置,其特征在于,所述装置包括:

11.一种应答装置,其特征在于,包括:

12.一种电子设备,其特征在于,所述设备包括:

13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机可执行指令,所述计算机可执行指令在被处理器执行时实现如权利要求1-5任一项所述的问答系统的样本生成方法,或者,如权利要求6所述的问答系统的模型训练方法,或者,如权利要求7-9任一项所述的应答方法。


技术总结
本公开实施例提供了问答系统的样本生成方法、装置、电子设备以及存储介质,其中,问答系统的样本生成方法包括:获取预先配置的同义词集合、相似问集合、比较词集合、问题域集合以及标准实体库;根据同义词集合、相似问集合以及比较词集合中的至少一者,生成问题解析样本;根据问题解析样本和问题域集合,生成问题分类样本;以及,根据问题解析样本和标准实体库,生成实体链接样本;根据问题分类样本、问题解析样本以及实体链接样本,构建问答系统的训练数据集,以此,提高了样本生成效率。

技术研发人员:夏志超,马超,肖冰,夏粉,蒋宁,吴海英
受保护的技术使用者:马上消费金融股份有限公司
技术研发日:
技术公布日:2024/9/23

最新回复(0)