模型生成、获取方法、视频生成方法、设备和介质与流程
本公开涉及信息，具体地，涉及一种虚拟角色互动模型的获取方法、一种虚拟角色互动模型的生成方法、一种视频生成方法、一种电子设备和一种计算机可读介质。
背景技术：
1、随着人工智能技术的发展，很多智能终端上设置了语音助手。通过语音助手，可以实现人机交互。目前的语音助手只是停留在听觉维度的语音模式上，较为单一，无法进一步提高用户体验。
技术实现思路
1、本公开实施例提供一种虚拟角色互动模型的获取方法、一种虚拟角色互动模型的生成方法、一种虚拟角色互动模型的获取方法、一种视频生成方法、一种电子设备和一种计算机可读介质。
2、作为本公开的第一个方面，提供一种虚拟角色互动模型的获取方法，用于模型管理服务器，所述获取方法包括：
3、将至少一种用于模型训练的数据发送至模型训练服务器，所述用于模型训练的数据与预定角色的面部表情、以及预定角色的音频数据相关，且基于所述用于模型训练的数据能够得到训练样本，所述训练样本包括由预定角色的面部表情与音频数据之间的对应关系；
4、接收与各种用于模型训练的数据相对应的虚拟角色互动模型；
5、响应于下载请求，将与所述下载请求相对应的虚拟角色互动模型发送至所述下载请求相对应的终端。
6、作为本公开的第二个方面，提供一种虚拟角色互动模型的生成方法，用于模型训练服务器，所述生成方法包括：
7、接收至少一种用于模型训练的数据，所述用于模型训练的数据与预定角色的面部表情、以及预定角色的音频数据相关，且基于所述用于模型训练的数据能够得到训练样本，所述训练样本包括由预定角色的面部表情与音频数据之间的对应关系；
8、将各个所述训练样本分别输入初始模型，对所述初始模型训练，以得到与各个所述训练样本一一对应的各个虚拟角色互动模型；
9、将各个所述虚拟角色互动模型发送至模型管理服务器
10、作为本公开的第三个方面，提供一种虚拟角色互动模型的获取方法，用于终端，所述获取方法包括：
11、向模型管理服务器发送下载请求；
12、接收虚拟角色互动模型，其中，所述虚拟角色互动模型为模型训练服务器通过训练样本对初始模型进行训练得到的模型，所述训练样本包括预定角色的面部表情与音频数据之间的对应关系。
13、作为本公开的第四个方面，提供一种视频生成方法，用于终端，所述视频生成方法包括：
14、确定虚拟角色互动模型，所述虚拟角色互动模型为模型训练服务器通过训练样本对初始模型进行训练得到的模型，所述训练样本包括由预定角色的面部表情与音频数据之间的对应关系；
15、向确定的所述虚拟角色互动模型输入驱动信息，以获得针对所述驱动信息的输出视频，所述输出视频中的角色为所述预定角色。
16、作为本公开的第五个方面，提供一种电子设备，包括：
17、一个或多个处理器；
18、存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现以下方法中的至少一者：
19、第一个方面所述的获取方法；
20、第二个方面所述的生成方法；
21、第三个方面所述的获取方法；
22、第四个方面所述的视频生成方法。
23、作为本公开的第六个方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现以下方法中的至少一者：
24、第一个方面所述的获取方法；
25、第二个方面所述的生成方法；
26、第三个方面所述的获取方法；
27、第四个方面所述的视频生成方法。
28、所述获取方法可以由模型管理服务器所执行。该模型管理服务器将训练样本发送至模型训练服务器，由模型训练服务器利用训练样本对初始模型进行训练，并得到虚拟角色互动模型。当前的模型管理服务器接收到虚拟角色互动模型后，可以存储在本地。在接收到终端发送的下载请求后，再根据下载请求将相应的虚拟角色互动模型发送给相应的终端。
29、在本公开中，训练样本包括预定角色的面部表情与音频数据之间的对应关系。例如，说表达高兴的词语所对应的面部表情、说表达惊讶的词语所对应的面部表情、说表达疑问的词语所对应的面部表情。因此，在将终端侧接收到的驱动语音输入到所述虚拟角色互动模型后，可以获得角色面部表情生动的视频信息，提升用户体验。
30、终端在接收到所述虚拟角色互动模型后，可以将驱动信息(例如，语音信息、文本信息和视频信息中的任意一者)输入至所述虚拟角色互动模型中，得到相应的输出视频。该输出视频中的角色，即为所述预定角色。因此，通过本公开所提供的方法，人机互动不再局限于语音互动，而是升级到了视频互动，提升了用户体验。
31、通过模型管理服务器、以及模型训练服务器，可以使得终端获取到虚拟角色互动模型，降低了对终端设备的硬件要求，从而有利于虚拟角色互动模型的普及应用。
技术特征：
1.一种虚拟角色互动模型的获取方法，用于模型管理服务器，所述获取方法包括：
2.根据权利要求1所述的获取方法，其中，所述用于模型训练的数据包括预定角色的最终视频文件，所述最终视频文件满足训练模型的参数要求。
3.根据权利要求1所述的获取方法，其中，所述用于模型训练的数据包括训练样本，所述训练样本包括由预定角色的最终视频文件所获得的所述预定角色的面部表情与音频数据之间的对应关系；在所述将至少一种用于模型训练的数据发送至模型训练服务器之前，所述获取方法包括：
4.根据权利要求2或3所述的获取方法，其中，在所述对所述预定角色的最终视频文件进行处理之前，所述获取方法还包括：
5.根据权利要求1至3中任意一项所述的获取方法，其中，所述获取方法还包括：
6.根据权利要求5所述的获取方法，其中，所述虚拟角色互动模型的标识参数信息包括以下参数信息中的至少一者：
7.一种虚拟角色互动模型的生成方法，用于模型训练服务器，所述生成方法包括：
8.一种虚拟角色互动模型的获取方法，用于终端，所述获取方法包括：
9.根据权利要求8所述的获取方法，其中，在所述向模型管理服务器发送下载请求之前，所述获取方法还包括：
10.一种视频生成方法，用于终端，所述视频生成方法包括：
11.根据权利要求10所述的视频生成方法，其中，在所述确定虚拟角色互动模型的步骤中，确定的所述虚拟角色互动模型与目标应用场景相匹配。
12.一种电子设备，包括：
13.一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现以下方法中的至少一者：
技术总结
本公开提供一种虚拟角色互动模型的获取方法，用于模型管理服务器，所述获取方法包括：将至少一种用于模型训练的数据发送至模型训练服务器，所述用于模型训练的数据与预定角色的面部表情、以及预定角色的音频数据相关，且基于所述用于模型训练的数据能够得到训练样本，所述训练样本包括预定角色的面部表情与音频数据之间的对应关系；接收与各种用于模型训练的数据相对应的虚拟角色互动模型；响应于下载请求，将与所述下载请求相对应的虚拟角色互动模型发送至所述下载请求相对应的终端。本公开还提供一种虚拟角色互动模型的生成方法、一种视频生成方法、一种电子设备和一种计算机可读介质。
技术研发人员：党松,袁金凤
受保护的技术使用者：中兴通讯股份有限公司
技术研发日：
技术公布日：2024/9/23