数字人短视频文案生成方法、装置、设备及存储介质与流程

本申请涉及人工智能领域，尤其涉及一种数字人短视频文案生成方法、装置、设备及存储介质。

背景技术：

1、数字人的合成需要短视频文案的输入，用户通过搜索关键字得到一系列候选短视频文案，再通过用户的特征如领域、年龄、性别等，还有短视频的特征如点赞数、评论数、领域标签等，以及评论用户的正向行为数据等构建训练数据，最终通过模型推理，得到这一系列候选文案的分数，最后把视频按分数从高到低的顺序推荐给用户。

2、核心思想是利用用户特征、候选视频特征以及不等长的用户行为特征输入到构建神经网络模型，因此和用户历史兴趣相关的视频就能得到更高的分数，能更好地捕捉到用户兴趣的多样性特征。

3、现有技术虽然加入了用户的历史行为特征，但是对于数字人合成这个场景下，需要用户输入搜索的关键字，但是现有技术在构建训练数据的过程中缺失了这个语义特征，以及用户的历史搜索关键词也含有用户过去的感兴趣的信息，现有技术没有加入这两个特征相关的语义信息，则无法提高与此次搜索高度相关的视频排序分数，从而降低用户的使用感受。因此，如何提高数字人合成的短视频文案生成的准确度成为目前亟待解决的技术问题。

技术实现思路

1、本申请提供了一种数字人短视频文案生成方法、装置、设备及存储介质，以提高数字人合成的短视频文案生成的准确度。

2、第一方面，本申请提供了一种数字人短视频文案生成方法，所述方法包括：

3、根据用户画像特征向量和用户搜索词特征向量，生成多维用户特征向量；

4、根据历史行为特征向量、历史搜索词特征向量和商品特征向量，生成多维用户行为特征向量；

5、将所述多维用户特征向量与所述多维用户行为特征向量进行预处理，生成一维预测特征向量；

6、基于预设神经网络模型的内置函数与所述一维预测特征向量，输出各所述一维预测特征向量的概率分布，并基于所述概率分布确定短视频文案。

7、进一步地，根据用户画像特征向量和用户搜索词特征向量，生成多维用户特征向量之前，包括：

8、获取初始特征，并对所述初始特征进行向量化处理，生成与各所述初始特征对应的多维特征向量；

9、其中，所述初始特征包括所述用户画像特征、所述用户搜索词特征、所述历史行为特征、所述历史搜索词特征和所述商品特征；

10、所述多维特征向量包括所述用户画像特征向量、所述用户搜索词特征向量、所述历史行为特征向量、所述历史搜索词特征向量和所述商品特征向量。

11、进一步地，根据历史行为特征向量、历史搜索词特征向量和商品特征向量，生成多维用户行为特征向量，包括：

12、将历史行为特征向量和所述历史搜索词特征向量进行特征融合，生成初始用户行为特征向量；

13、基于注意力机制，将所述初始用户行为特征向量与所述商品特征向量进行向量融合，生成所述多维用户行为特征向量。

14、进一步地，对所述初始特征进行向量化处理，生成与各所述初始特征对应的多维特征向量，包括：

15、在所述初始特征为所述文本类初始特征时，通过预先训练的词嵌入模型将所述初始特征进行编码，生成64维的所述特征向量；

16、在所述初始特征为所述非文本类初始特征时，对所述初始特征进行embedding编码，生成64维的所述特征向量。

17、进一步地，将所述多维用户特征向量与所述多维用户行为特征向量进行预处理，生成一维预测特征向量，包括：

18、确定所述多维用户特征向量与所述多维用户行为特征向量的预设权重，并基于所述预设权重，对所述多维用户特征向量与所述多维用户行为特征向量进行加权求和，生成加权求和向量；

19、将所述加权求和向量的各维度数据进行排列，生成一维数组，并将所述一维数组确定为所述一维预测特征向量。

20、进一步地，基于预设神经网络模型的内置函数与所述一维预测特征向量，输出各所述一维预测特征向量的概率分布，并基于所述概率分布确定短视频文案，包括：

21、通过所述softmax函数将所述一维预测特征向量转换为对应的概率值，其中，所述概率值用于表征用户对商品的关注程度；

22、基于各所述概率值，确定所述概率分布，并从预设文案库中确定所述短视频文案。

23、进一步地，softmax函数为，其中，zi是第i个所述一维预测特征向量的原始预测分数，i的取值范围是1到k，k是所述一维预测特征向量的总数，zj为遍历每一个zi。

24、第二方面，本申请还提供了一种数字人短视频文案生成装置，所述装置包括：

25、用户特征向量生成模块，用于根据用户画像特征向量和用户搜索词特征向量，生成多维用户特征向量；

26、用户行为特征向量生成模块，用于根据历史行为特征向量、历史搜索词特征向量和商品特征向量，生成多维用户行为特征向量；

27、一维预测特征向量生成模块，用于将所述多维用户特征向量与所述多维用户行为特征向量进行预处理，生成一维预测特征向量；

28、短视频文案生成模块，用于基于预设神经网络模型的内置函数与所述一维预测特征向量，输出各所述一维预测特征向量的概率分布，并基于所述概率分布确定短视频文案。

29、第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的数字人短视频文案生成方法。

30、第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的数字人短视频文案生成方法。

31、本申请公开了一种数字人短视频文案生成方法、装置、设备及存储介质，所述数字人短视频文案生成方法包括根据用户画像特征向量和用户搜索词特征向量，生成多维用户特征向量；根据历史行为特征向量、历史搜索词特征向量和商品特征向量，生成多维用户行为特征向量；将所述多维用户特征向量与所述多维用户行为特征向量进行预处理，生成一维预测特征向量；基于预设神经网络模型的内置函数与所述一维预测特征向量，输出各所述一维预测特征向量的概率分布，并基于所述概率分布确定短视频文案。通过上述方式，本申请结合用户画像特征向量和用户搜索词特征向量，有助于更准确地捕捉用户的兴趣和偏好，从而提供更为个性化的短视频文案推荐，多维用户行为特征向量能够更细致地反映用户与商品之间的交互关系，输出概率分布，体现了不同短视频文案对用户的吸引力，从而帮助确定最能引起用户兴趣的文案，提高了数字人合成的短视频文案生成的准确度。

技术特征：

1.一种数字人短视频文案生成方法，其特征在于，包括：

2.根据权利要求1所述的数字人短视频文案生成方法，其特征在于，所述根据用户画像特征向量和用户搜索词特征向量，生成多维用户特征向量之前，包括：

3.根据权利要求2所述的数字人短视频文案生成方法，其特征在于，所述根据历史行为特征向量、历史搜索词特征向量和商品特征向量，生成多维用户行为特征向量，包括：

4.根据权利要求2所述的数字人短视频文案生成方法，其特征在于，所述初始特征包括文本类初始特征和非文本类初始特征，所述对所述初始特征进行向量化处理，生成与各所述初始特征对应的多维特征向量，包括：

5.根据权利要求1所述的数字人短视频文案生成方法，其特征在于，所述将所述多维用户特征向量与所述多维用户行为特征向量进行预处理，生成一维预测特征向量，包括：

6.根据权利要求1所述的数字人短视频文案生成方法，其特征在于，所述内置函数为softmax函数，所述基于预设神经网络模型的内置函数与所述一维预测特征向量，输出各所述一维预测特征向量的概率分布，并基于所述概率分布确定短视频文案，包括：

7.根据权利要求6所述的数字人短视频文案生成方法，其特征在于，所述softmax函数为，其中，zi是第i个所述一维预测特征向量的原始预测分数，i的取值范围是1到k，k是所述一维预测特征向量的总数，zj为遍历每一个zi。

8.一种数字人短视频文案生成装置，其特征在于，包括：

9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的数字人短视频文案生成方法。

技术总结
本申请涉及人工智能领域，公开了一种数字人短视频文案生成方法、装置、设备及存储介质，包括将多维用户特征向量与多维用户行为特征向量进行预处理，生成一维预测特征向量；基于内置函数与一维预测特征向量，输出一维预测特征向量的概率分布，并确定短视频文案。通过上述方式，本申请结合用户画像特征向量和用户搜索词特征向量，有助于更准确地捕捉用户的兴趣和偏好，从而提供更为个性化的短视频文案推荐，多维用户行为特征向量能够更细致地反映用户与商品之间的交互关系，输出概率分布，体现了不同短视频文案对用户的吸引力，从而帮助确定最能引起用户兴趣的文案，提高了数字人合成的短视频文案生成的准确度。

技术研发人员：谢诗季,杨洪进,杨思敏
受保护的技术使用者：厦门蝉镜科技有限公司
技术研发日：
技术公布日：2024/9/23