命名实体识别方法、装置、电子设备及存储介质与流程

本发明涉及自然语言处理，具体地涉及一种命名实体识别方法、装置、电子设备及存储介质。

背景技术：

1、命名实体识别(named entity recognition，ner)是指识别文本中具有特定意义的实体。所述实体主要包括：人名、地名、机构名、专有名词等，以及时间、数量、货币、比例数值等文字。

2、目前命名实体识别的主流方法有三种：词典/规则、统计机器学习模型、深度学习模型。

3、词典/规则即使用收集的词典或者人工先验制定的规则去文本中搜索匹配。该方法明显依赖于词典或规则的数量和质量，然而搜集大规模词典以及制定大量可靠的规则都是极其耗费人力和时间的。并且，该方法泛化能力差，不具备在新的领域迁移的能力。

4、随着统计机器学习模型的发展，隐马尔可夫模型(hidden markov model，hmm)和条件随机场(conditional random field,crf)模型在命名实体识别领域兴起。这类模型通过对序列建模，构建观察序列的条件概率来预测命名实体。与词典/规则比，泛化能力加强，但需要较多的标注数据，且依旧不具备专业领域上的迁移能力。

5、深度学习模型虽然进一步加强了模型的学习能力和表达能力，ner效果更优，至今都是ner领域的首选方法，但该方法需要更多的标注数据且不具备专业领域上的迁移能力。

技术实现思路

1、本发明实施例的目的是提供一种命名实体识别方法、装置、电子设备及存储介质，该命名实体识别方法至少解决了现有技术中存在的以下技术问题：需要大量人工参与标注筛选数据，浪费时间和人工成本，同时也不利于在不同的专业领域内迁移。

2、为了实现上述目的，本发明实施例提供一种命名实体识别方法，所述命名实体识别方法包括：获取第一文本中的候选实体集合，其中，所述候选实体集合包括多种实体类型的候选实体和所述多种类型候选实体所对应的第一得分；对所述候选实体集合中的候选实体进行验证，以得到多个候选实体所对应的第二得分；基于所述多种实体类型的候选实体所对应的所述第一得分与所述第二得分，从所述候选实体集合中筛选特定候选实体以作为标注数据；利用所述标注数据对ner模型进行训练；以及利用训练后的ner模型对第二文本进行命名实体识别。

3、可选地，所述获取第一文本中的候选实体集合包括：构建多种实体类型的候选实体生成模块，其中，所述候选实体生成模块包括编码器与解码器；以及将多种实体类型中的每个实体类型和所述第一文本拼接输入相应的实体类型候选实体生成模块，以输出所述候选实体集合。

4、可选地，所述将多种实体类型中的每个实体类型和所述第一文本拼接输入相应的实体类型候选实体生成模块，以输出所述候选实体集合包括：将所述多种实体类型中的每个实体类型和所述第一文本拼接输入所述编码器中，以输出每个实体类型所对应的特征向量；以及将所述每个实体类型所对应的特征向量输入解码器中，以输出所述候选实体集合。

5、可选地，所述对所述候选实体集合中的多种实体类型的候选实体进行验证包括：将所述多种实体类型的候选实体中的每个候选实体类型放入与每个候选实体类型相匹配的候选实体检验模块中，以得到与所述每个候选实体类型所对应的多个检验语句；以及对所述多个检验语句分别进行打分，得到所述多个检验语句所对应的第二得分。

6、可选地，所述对所述多个检验语句分别进行打分包括：利用语言困惑度计算公式对所述多个检验语句中的每个检验语句分别进行打分。

7、可选地，所述从所述候选实体集合中筛选特定候选实体以作为标注数据包括：将所述第一得分和所述第二得分加权相加，以得到所述多种实体类型的候选实体所对应的置信度；以及将所述候选实体集合中的置信度大于预设置信度的候选实体确定为所述特定候选实体。

8、可选地，所述ner模型包括bilstm模型与crf模型；相应地，所述利用训练后的ner模型对第二文本进行命名实体识别包括：获取所述第二文本所对应的字向量；利用所述bilstm模型对所述字向量组成的序列进行双向编码，以获取新的特征向量；以及将所述新的特征向量输入所述crf模型，以输出得分最大的命名实体。

9、另一方面，本发明还提供一种命名实体识别装置，所述装置包括：候选实体生成模块，用于获取第一文本中的候选实体集合，其中，所述候选实体集合包括多种实体类型的候选实体和所述多种类型候选实体所对应的第一得分；以及候选实体检验模块，用于对所述候选实体集合中的实体进行验证，以得到多个候选实体所对应的第二得分；基于所述多种实体类型的候选实体所对应的所述第一得分与所述第二得分，从所述候选实体集合中筛选特定候选实体以作为标注数据，其中，所述特定候选实体的置信度大于预设置信度；模型训练模块，用于利用所述标注数据对ner模型进行训练；以及命名实体识别模块，用于利用训练后的ner模型对第二文本进行命名实体识别。

10、另一方面，一种电子设备，包括：处理器、存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如上述所述的命名实体识别方法。

11、再一方面，一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述所述的命名实体识别方法。

12、通过上述技术方案，自动对第一文本进行筛选，筛选出想了解的实体类型作为候选实体集合，其中，所述候选实体集合包括多种实体类型的候选实体和所述多种实体类型的候选实体所对应的第一得分；由于自动筛选出的候选实体集合中有部分属于伪实体，因此还需要进一步对候选实体集合进行验证和筛选，进一步地对所述候选实体集合中的候选实体进行验证，以得到多个候选实体对应的第二得分；为了进一步保证筛选出的候选实体的准确性，基于所述多种实体类型的候选实体所对应的第一得分与所述第二得分从所述候选实体集合中筛选特定候选实体以作为标注数据，以进一步作为标注数据对ner模型进行训练；最终，利用训练好的ner模型实现对某领域的文本的命名实体的识别。该方案不需要大量人工参与标注数据的筛选，节省时间和人工成本，同时也利于在不同的专业领域内迁移。

13、本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

技术特征：

1.一种命名实体识别方法，其特征在于，所述命名实体识别方法包括：

2.根据权利要求1所述的命名实体识别方法，其特征在于，所述获取第一文本中的候选实体集合包括：

3.根据权利要求2所述的命名实体识别方法，其特征在于，所述将多种实体类型中的每个实体类型和所述第一文本拼接输入相应的实体类型的候选实体生成模块，以输出所述候选实体集合包括：

4.根据权利要求1所述的命名实体识别方法，其特征在于，所述对所述候选实体集合中的多种实体类型的候选实体进行验证包括：

5.根据权利要求4所述的命名实体识别方法，其特征在于，所述对所述多个检验语句分别进行打分包括：

6.根据权利要求1所述的命名实体识别方法，其特征在于，所述从所述候选实体集合中筛选特定候选实体以作为标注数据包括：

7.根据权利要求1所述的命名实体识别方法，其特征在于，所述ner模型包括bilstm模型与crf模型；

8.一种命名实体识别装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：处理器、存储器、总线；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的命名实体识别方法。

技术总结
本发明实施例提供一种命名实体识别方法、装置、电子设备及存储介质，属于自然语言处理领域。所述命名实体识别方法包括：获取第一文本中的候选实体集合，其中，候选实体集合包括多种实体类型的候选实体和所述多种实体类型的候选实体所对应的第一得分；对候选实体集合中的候选实体进行验证，以得到多个候选实体所对应的第二得分；基于所述多种实体类型的候选实体所对应的第一得分与第二得分，从所述候选实体集合中筛选特定候选实体以作为标注数据；利用所述标注数据对NER模型进行训练；以及利用训练后的NER模型对第二文本进行命名实体识别。本发明技术方案不需要大量人工参与标注数据的筛选，节约了时间和人工成本，同时利于在不同的专业领域内迁移。

技术研发人员：张广鹏
受保护的技术使用者：北京国双科技有限公司
技术研发日：
技术公布日：2024/9/23