一种基于PMKT知识追踪模型的预测方法与流程

本发明属于知识追踪，尤其涉及一种基于pmkt知识追踪模型的预测方法。

背景技术：

1、在线教育，作为现代信息技术在教育领域应用的重要部分，已经取得了显著成效。借助人工智能技术，在线教育能够提供个性化学习推荐、智能评估等，从而为学生带来高效且支持性强的学习体验。研究在线教育的发展和应用，对于构建优质的在线学习环境、提升教育资源共享与利用效率、促进教育的开放性和包容性至关重要，有助于打造一个网络化、数字化、个性化、终身化的新型教育体系。

2、知识追踪(knowledge tracing)是人工智能辅助教育中一项关键技术。学生阅读习题文本并应用知识来解决问题，提取相应的知识序列和练习的交互序列，通常可以表示为一个有序对，该有序对中表示学生在时刻回答的问题，以及学生在该问题上的回答情况，一般而言以0值和1值分别代表回答错误与回答正确，通过对习题、技能或知识组成部分掌握程度的建模，预测未来学生的知识状态。即利用学生历史作答表现来预测学生在下一个时间点正确回答问题的概率，简言之，在给定学生历史学习表现序列和在某时刻会做的题目的情况下，学生做对题目的概率大小。该预测结果可以用于对学生个性化习题推荐和个性化学习路径设计。

3、然而，学生的学习过程和学习状态是复杂的，研究发现，尽管现有知识追踪模型已经从不同角度探索得到了一些有效策略，但依然在有些知识任务上并未达到精准的预测，例如，对于一个仅有少量数据的教育系统而言，有限的数据量会影响对学生知识状态的预测性能，建模过程中可能会带来过拟合、异常值问题和数据不平衡问题，从而很难达到较为精确的预测结果。此外，学习任务也存在多样性，对于不同的学习任务也需要个性化的建模方法。

4、智能化教学系统通过采用知识状态追踪技术，识别并记录学习者的认知状况，进而提供个性化的教育资源及反馈。然而，新用户或新内容的加入以及新系统的部署常常导致系统面临“冷启动”问题，即缺乏足够的用户交互数据来训练和优化模型，导致在智能化教学系统中，对于学生的答题正确率预测不准确的问题。

技术实现思路

1、为解决上述技术问题，本发明提出了一种基于pmkt知识追踪模型的预测方法，以解决上述现有技术存在的问题。

2、为实现上述目的，本发明提供了一种基于pmkt知识追踪模型的预测方法，包括：

3、构建知识追踪模型，所述知识追踪预训练模型为基于预训练及微调架构的初始知识追踪模型，其中所述知识追踪模型包括依次连接的交互映射层、模型处理层及输出层；

4、获取学生的交互序列，并通过知识追踪模型对所述回答问题序列进行识别预测，生成回答问题信息的正确性结果，其中所述交互序列包括题目标签、时间戳、知识点标签、学生的答案正确与否。

5、可选的，所述知识追踪模型的构建过程包括：

6、构建初始知识追踪模型，获取在线教育数据及小样本数据集，通过在线教育对所述知识追踪模型进行预训练，并通过对预训练后的模型进行微调，以进行对小样本数据对应的学生知识状态即回答问题信息的正确性结果的预测，以解决知识追踪中冷启动问题；其中所述在线教育数据集包括问题数据及对应的答题数据，其中所述在线教育数据集与小样本数据集分属与不同的在线教育系统的数据集，所述小样本数据集的规模小于在线教育数据集的1/1000。

7、可选的，所述微调步骤包括：

8、继承所述预训练后的模型的权重参数；

9、设置学习率，根据学习率对所述预训练后的模型进行参数微调；在参数微调过程中，对预训练后的模型的部分层进行冻结，对冻结后的模型进行参数微调。

10、可选的，在参数微调过程中，不再进行冻结，直接对所述预训练后的模型进行参数微调以提升微调的精度。

11、可选的，所述知识追踪模型基于编码器+解码器架构、编码器架构或解码器架构进行构建。

12、可选的，基于编码器+解码器架构的知识追踪模型：

13、在所述编码器中，编码器端输入学生的交互序列经过交互映射层，生成高维的静态交互表征，静态交互表征和互动时间通过遮蔽注意力层、前馈网络层及归一化层生成第一表征序列，并获取嵌入问题序列；

14、在所述解码器中，将来自编码器的第一表征序列、嵌入问题序列，作为解码器交叉注意力层的输入，通过交叉注意力层的处理后，再经过前馈网络层及归一化层处理，生成解码器的隐藏表征；解码器的隐藏表征经过线性层生成预测的回答问题信息的正确性序列，并与观测的目标正确性值比较，以计算损失值。

15、可选的，基于编码器架构的知识追踪模型：

16、包括依次连接的输入层、dropout层、多头注意力层、前馈网络层及输出层；

17、输入层中，对于每个学生的交互序列，利用双向上下文信息来预测交互序列的答案，训练和测试阶段采用不同的序列嵌入；对测试集进行末位置掩码，并在掩码之前，添加训练集及测试的掩码位置，训练过程中，仅通过训练集及测试中被掩码的位置预测知识追踪预训练模型的损失；基于此掩码策略下的交互嵌入，在交互序列中新增位置信息；

18、通过dropout层对回答问题信息进行信息筛选，生成静态交互表征，通过多头注意力层对筛选后的交互序列数据聚合上下文信息，通过输出层对上述聚合信息进行识别，生成对应的回答问题信息的正确性结果。

19、可选的，基于解码器架构的知识追踪模型：

20、包括依次连接的输入层、多头注意力层、前馈网络层及输出层；

21、输入层输入序列包括学生的答题记录，每个答题记录包括题目标签、时间戳、知识点标签、学生的答案正确与否；通过对输入层输入交互序列生成嵌入向量，嵌入向量依次经过多头注意力层和前馈网络层，并通过输出层输出预测值。与现有技术相比，本发明具有如下优点和技术效果：

22、将“预训练+微调”策略与知识追踪任务结合，模拟bert预训练过程，将大规模在线教育数据对基于transformer和bert架构的知识追踪模型进行预训练，并保存预训练得到的参数。在少量数据集上进行微调，通过在八个公开教育数据集上进行的八组实验验证了该模型对不同智能教育系统数据的泛化能力，并在小样本知识状态追踪任务中有效提高了对学习者认知状态的预测准确度。

技术特征：

1.一种基于pmkt知识追踪模型的预测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，

3.根据权利要求1所述的方法，其特征在于，

4.根据权利要求1所述的方法，其特征在于，

5.根据权利要求1所述的方法，其特征在于，

6.根据权利要求5所述的方法，其特征在于，

7.根据权利要求5所述的方法，其特征在于，

8.根据权利要求5所述的方法，其特征在于，

技术总结
本发明公开了一种基于PMKT知识追踪模型的预测方法，包括：基于编码器+解码器架构、编码器架构或解码器架构构建知识追踪预训练模型，所述知识追踪预训练模型为基于预训练及参数微调的知识追踪模型，其中所述知识追踪模型包括依次连接的交互映射层、多头注意力层、前馈网络层及输出层；获取学生的交互序列，并通过知识追踪模型对所述回答问题序列进行识别预测，生成回答问题信息的正确性结果。

技术研发人员：史春燕,刘磊,安早红,苏伟,岳文利
受保护的技术使用者：甘肃亿恩科技有限公司
技术研发日：
技术公布日：2024/9/23