非玩家角色模型的确定方法、装置、电子设备及存储介质与流程

本申请涉及神经网络，具体而言，涉及一种非玩家角色模型的确定方法、装置、电子设备及存储介质。

背景技术：

1、npc(non-player character，非玩家角色)是游戏中一种角色类型，指的是电子游戏中不受真人玩家操纵的游戏角色，由于npc在游戏场景中需要与玩家角色进行互动以推动游戏的执行，那么，训练npc的拟人化尤为重要。

2、现有技术中，大多采用模仿学习进行npc的拟人化策略生成，通过从玩家的历史游戏数据筛选出所需的样本数据，根据样本数据进行npc的状态动作建模后，模仿学习会通过监督学习的方式进行状态到动作的映射学习，实现npc拟人化策略学习。

3、但是，现有的模仿学习对于玩家数据具有极强的数据依赖性，而由于玩家数据分布不均匀，将导致训练生成的npc的性能不够全面，且拟人化效果不佳。

技术实现思路

1、本申请的目的在于，针对上述现有技术中的不足，提供一种非玩家角色模型的确定方法、装置、电子设备及存储介质，以便于解决现有技术中存在的npc模型拟人化效果较差的问题。

2、为实现上述目的，本申请实施例采用的技术方案如下：

3、第一方面，本申请实施例提供了一种非玩家角色模型的确定方法，包括：

4、采集游戏环境状态数据集；

5、将所述游戏环境状态数据集输入初始的非玩家角色模型中，由初始的非玩家角色模型根据所述游戏环境状态数据集中各时刻的游戏环境状态信息生成各时刻的游戏环境状态信息下对应的执行动作；

6、根据所述各时刻的游戏环境状态信息下对应的执行动作，获取输出的所述初始的非玩家角色模型的性能评估结果及拟人化评估结果；

7、根据所述初始的非玩家角色模型的性能评估结果及拟人化评估结果，对所述初始的非玩家角色模型进行优化，得到目标非玩家角色模型。

8、第二方面，本申请实施例还提供了一种非玩家角色模型的确定装置，包括：采集模块、生成模块、获取模块、训练模块；

9、所述采集模块，用于采集游戏环境状态数据集；

10、所述生成模块，用于将所述游戏环境状态数据集输入初始的非玩家角色模型中，由初始的非玩家角色模型根据所述游戏环境状态数据集中各时刻的游戏环境状态信息生成各时刻的游戏环境状态信息下对应的执行动作；

11、所述获取模块，用于根据所述各时刻的游戏环境状态信息下对应的执行动作，获取输出的所述初始的非玩家角色模型的性能评估结果及拟人化评估结果；

12、所述训练模块，用于根据所述初始的非玩家角色模型的性能评估结果及拟人化评估结果，对所述初始的非玩家角色模型进行优化，得到目标非玩家角色模型。

13、第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行时执行如第一方面中提供的非玩家角色模型的确定方法的步骤。

14、第四方面，本申请实施例提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面提供的非玩家角色模型的确定方法的步骤。

15、本申请的有益效果是：

16、本申请提供一种非玩家角色模型的确定方法、装置、电子设备及存储介质，通过初始的非玩家角色模型生成的在各时刻的游戏环境状态信息下对应的执行动作以及各时刻的游戏环境状态信息，可以对执行动作进行性能和拟人化的评估，分别得到各时刻的游戏环境状态信息下对应的执行动作的性能评估结果和拟人化评估结果，从而结合性能评估结果和拟人化评估结果对初始的非玩家角色模型进行优化，得到目标非玩家角色模型。由于是通过采集的游戏环境状态信息实时的生成执行动作，而游戏环境状态信息并不依赖于历史玩家数据，可以是实时构建的，从而摆脱了非角色玩家模型的训练对历史玩家数据的依赖，避免了历史玩家数据分布不均所导致的模型训练结果泛化性较低的问题。另外，通过性能评估结果和拟人化评估结果共同监督模型的训练，使得得到的目标非玩家模型在保证竞技性能的同时还可具备拟人化效果，从而提高了非玩家角色模型的真实性。

17、其次，拟人化训练样本集的生成仅仅需要部分人员对npc模型生成的轨迹序列进行标注即可获得，而基于生成的拟人化训练样本集即可实现npc模型的拟人化行为学习，相比于基于采集的历史玩家数据获取训练样本集的方式，本方法不仅可以极大提升训练样本集的生成的效率，而且无需事先收集大量的玩家数据，避免了对于玩家数据的过分依赖。

18、另外，基于课程迭代的拟人化策略改进方案对拟人化训练样本集进行迭代更新，从而实现对拟人化奖励网络的迭代优化，从而可引导训练生成具有高质量的拟人化行为的npc模型。

技术特征：

1.一种非玩家角色模型的确定方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述由初始的非玩家角色模型根据所述游戏环境状态数据集中各时刻的游戏环境状态信息生成执行动作之前，包括：

3.根据权利要求1所述的方法，其特征在于，所述获取输出的所述初始的非玩家角色模型的性能评估结果及拟人化评估结果，包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述初始的非玩家角色模型的性能评估结果及拟人化评估结果，对所述初始的非玩家角色模型进行优化，得到目标非玩家角色模型，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述初始的非玩家角色模型的性能评估结果及拟人化评估结果、以及采用拟人化训练样本集训练生成的拟人化奖励网络所输出的拟人化奖励，对所述初始的非玩家角色模型进行优化，得到目标非玩家角色模型，包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述性能损失值、以及所述拟人化损失值分别对所述初始的非角色玩家模型的网络参数进行迭代优化、以及对所述性能评判器及拟人化评判器的网络参数进行迭代优化，得到所述目标非玩家角色模型，包括：

7.根据权利要求4所述的方法，其特征在于，所述根据所述初始的非玩家角色模型的性能评估结果及拟人化评估结果、以及采用拟人化训练样本集训练生成的拟人化奖励网络所输出的拟人化奖励，对所述初始的非玩家角色模型进行优化，得到目标非玩家角色模型之前，包括：

8.根据权利要求4所述的方法，其特征在于，所述得到目标非玩家角色模型之后，还包括：

9.一种非玩家角色模型的确定装置，其特征在于，包括：采集模块、生成模块、获取模块、训练模块；

10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行时执行如权利要求1至8任一所述的非玩家角色模型的确定方法。

11.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至8任一所述的非玩家角色模型的确定方法。

技术总结
本申请提供一种非玩家角色模型的确定方法、装置、电子设备及存储介质，涉及神经网络技术领域。该方法通过性能评估结果和拟人化评估结果共同监督模型的训练，使得得到的目标非玩家模型在保证竞技性能的同时还可具备拟人化效果，从而提高了非玩家角色模型的真实性。拟人化训练样本集的生成仅仅需要部分人员对NPC模型生成的轨迹序列进行标注即可获得，而基于生成的拟人化训练样本集即可实现NPC模型的拟人化行为学习，相比于基于采集的历史玩家数据获取训练样本集的方式，本方法不仅可以极大提升训练样本集的生成的效率，而且无需事先收集大量的玩家数据，避免了对于玩家数据的过分依赖。

技术研发人员：周天泽,胡志鹏,胡裕靖,吕唐杰,范长杰
受保护的技术使用者：网易(杭州)网络有限公司
技术研发日：
技术公布日：2024/9/23