一种基于自适应奖励机制的文本分类方法、系统、终端及介质与流程
本发明涉及文本分类领域，具体涉及一种基于自适应奖励机制的文本分类方法、系统、终端及介质。
背景技术：
1、文本数据通常具有丰富的信息内容和复杂的层次结构，涵盖了从简单的单句信息到复杂的多层次意见信息等多种形式。因此，如何高效、准确地对这些文本数据进行分类，成为分类处理的一大挑战。
2、传统的文本分类方法主要依赖于平面分类模型，这些模型将文本视为独立分类任务，忽略了文本之间的层次关系。在处理简单、平面结构的文本数据时，这些方法可能具有一定的有效性。然而，当面对具有复杂层次结构的文本数据时，传统方法显得力不从心，主要表现在以下方面：标签依赖性不足：传统的平面分类方法通常将每个文本标签视为独立的，没有充分考虑标签之间的层次关系；模型鲁棒性差：由于传统方法在处理层次结构数据时缺乏系统的设计，当面对数据的多样性和复杂性时，模型的鲁棒性和适应性较差，难以保证分类结果的稳定性和一致性。
技术实现思路
1、为解决上述问题，本发明提供一种基于自适应奖励机制的文本分类方法、系统、终端及介质，通过设计层次损失函数，并引入自适应奖励机制，有效解决传统方法在处理复杂层次结构文本数据时存在的局限性，显著提升分类的准确性和效率。
2、第一方面，本发明的技术方案提供一种基于自适应奖励机制的文本分类方法，包括以下步骤：
3、获取文本数据并预处理，构建训练样本；预处理过程中使用独热编码对层级标签进行处理；
4、基于标签之间的层次关系，并引入基于余弦相似度的自适应奖励机制构建层次损失函数；
5、构建层次文本分类模型，使用训练样本对层次文本分类模型进行训练，训练过程中基于层级损失函数使用反向传播算法调整模型参数；
6、使用训练完成的层次文本分类模型对目标文本进行分类。
7、在一个可选的实施方式中，基于标签之间的层次关系，并引入基于余弦相似度的自适应奖励机制构建层次损失函数，具体包括：
8、步骤1，对于每个标签层级，构建基本的交叉熵损失函数，表达式为：
9、
10、式中，表示第标签层级的交叉熵损失，表示第标签层级的真实标签分布，表示第标签层级的预测标签概率分布，表示标签层级数量；
11、步骤2，考虑到层次依赖关系，当计算超过顶层的损失时，对交叉熵应用了一个惩罚因子，表达式为：
12、
13、式中，表示第标签层级的惩罚因子，；表示一个指示函数，如果为真，等于0，否则等于1；
14、步骤3，基于惩罚因子调整除第1层之外的标签层级的交叉熵损失，调整后的交叉熵损失表达为：
15、
16、式中，表示第标签层级的加权因子；；
17、步骤4，计算每个标签层级的余弦相似度，表达式为：
18、
19、式中，；
20、步骤5，引入自适应奖励机制，计算平滑奖励，表达式为：
21、
22、式中，；
23、步骤6，构建总损失，表达式为：
24、
25、式中，表示奖励因子，表示取平均值。
26、在一个可选的实施方式中，该方法还包括以下步骤：
27、预先为每个标签层级配置初始加权因子和调整步长；
28、在训练过程中，若前一标签层级预测错误，则对于后一标签层级，在初始加权因子基础上根据调整步长增大加权因子。
29、在一个可选的实施方式中，获取文本数据具体包括：
30、配置爬虫工具以模拟用户的浏览器行为，包括添加目标请求头；
31、运行爬虫工具，解析网页并设置等待策略；
32、根据爬虫工具的正则表达式提取html元素的内容；
33、对于需要通过api接口获取的数据，使用http请求库调用这些api接口；
34、利用redis的集合数据结构过滤和存储不重复的数据集；
35、将处理后的数据存储到excel表格中。
36、在一个可选的实施方式中，对文本数据进行预处理，具体包括：
37、对文本数据进行清洗，去除无关字符，包括依次对excel表格中的每一行内容使用爬虫工具去除html标签，用正则表达式去除无用字符和多余空格；
38、对清洗后的文本数据使用分词工具进行分词处理；
39、基于预先定义的停用词表，去除分词处理后的文本数据中的停用词；
40、对分词处理后的文本数据，使用word2vector模型进行向量编码处理；
41、对已经标注好的层级标签进行独热编码处理。
42、在一个可选的实施方式中，层次文本分类模型包括输入层、隐藏层和输出层；
43、隐藏层首先通过两层使用三种不同大小卷积核的卷积神经网络提取合并特征，随后将合并特征输入双向长短时记忆网络，再在双向长短时记忆网络后衔接自注意力机制进行处理；
44、输出层采用softmax激活函数。
45、第二方面，本发明的技术方案提供一种基于自适应奖励机制的文本分类系统，包括，
46、样本构建模块：获取文本数据并预处理，构建训练样本；预处理过程中使用独热编码对层级标签进行处理；
47、层次损失函数构建模块：基于标签之间的层次关系，并引入基于余弦相似度的自适应奖励机制构建层次损失函数；
48、层次文本分类模型训练模块：构建层次文本分类模型，使用训练样本对层次文本分类模型进行训练，训练过程中基于层级损失函数使用反向传播算法调整模型参数；
49、文本分类执行模块：使用训练完成的层次文本分类模型对目标文本进行分类。
50、第三方面，本发明的技术方案提供一种终端，包括：
51、存储器，用于存储基于自适应奖励机制的文本分类程序；
52、处理器，用于执行所述基于自适应奖励机制的文本分类程序时实现如上述任一项所述基于自适应奖励机制的文本分类方法的步骤。
53、第四方面，本发明的技术方案提供一种计算机可读存储介质，所述可读存储介质上存储有基于自适应奖励机制的文本分类程序，所述基于自适应奖励机制的文本分类程序被处理器执行时实现如上述任一项所述基于自适应奖励机制的文本分类方法的步骤。
54、本发明提供的一种基于自适应奖励机制的文本分类方法、系统、终端及介质，相对于现有技术，具有以下有益效果：使用简单的one-hot编码策略处理标签的层次关系，并引入了层次损失函数和余弦相似性平滑奖励机制，显著提高了分类的精度和鲁棒性，增强了模型对层次关系的学习能力，提供更加准确的层次预测，适用于处理大量复杂文本分类任务，尤其是需要考虑标签层次关系的领域，也使得该方法提供了广泛的应用前景。
技术特征：
1.一种基于自适应奖励机制的文本分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于自适应奖励机制的文本分类方法，其特征在于，基于标签之间的层次关系，并引入基于余弦相似度的自适应奖励机制构建层次损失函数，具体包括：
3.根据权利要求2所述的基于自适应奖励机制的文本分类方法，其特征在于，该方法还包括以下步骤：
4.根据权利要求1-3任一项所述的基于自适应奖励机制的文本分类方法，其特征在于，获取文本数据具体包括：
5.根据权利要求4所述的基于自适应奖励机制的文本分类方法，其特征在于，对文本数据进行预处理，具体包括：
6.根据权利要求1-3任一项所述的基于自适应奖励机制的文本分类方法，其特征在于，层次文本分类模型包括输入层、隐藏层和输出层；
7.一种基于自适应奖励机制的文本分类系统，其特征在于，包括，
8.一种终端，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述可读存储介质上存储有基于自适应奖励机制的文本分类程序，所述基于自适应奖励机制的文本分类程序被处理器执行时实现如权利要求1-6任一项所述基于自适应奖励机制的文本分类方法的步骤。
技术总结
本发明涉及文本分类领域，具体公开一种基于自适应奖励机制的文本分类方法、系统、终端及介质，获取文本数据并预处理，构建训练样本；预处理过程中使用独热编码对层级标签进行处理；基于标签之间的层次关系，并引入基于余弦相似度的自适应奖励机制构建层次损失函数；构建层次文本分类模型，使用训练样本对层次文本分类模型进行训练，训练过程中基于层级损失函数使用反向传播算法调整模型参数；使用训练完成的层次文本分类模型对目标文本进行分类。本发明通过设计层次损失函数，并引入自适应奖励机制，有效解决传统方法在处理复杂层次结构文本数据时存在的局限性，显著提升分类的准确性和效率。
技术研发人员：孔旭,朱效民,王茂励,王新明,邹敏,张凯强
受保护的技术使用者：山东省齐鲁大数据研究院
技术研发日：
技术公布日：2024/9/23