图像处理方法、智能终端及存储介质与流程
本申请涉及图像处理，具体涉及一种图像处理方法、智能终端及存储介质。
背景技术：
1、stylegan是一种gan(generative adversarial networks，生成式对抗网络)的变体，可应用于人脸图像和其他类型图像的处理，实现如人脸逆映射、人脸姿态编辑等任务。
2、在构思及实现本申请过程中，发明人发现至少存在如下问题：现有技术在使用stylegan处理人脸逆映射任务时，难以保持足够的身份特征与细节，如肌肉纹理、牙齿、胡须、疤痕等。并且，在处理人脸姿态编辑任务中易产生伪影，影响面部自然度和身份辨识度。
3、前面的叙述在于提供一般的背景信息，并不一定构成现有技术。
技术实现思路
1、针对上述技术问题，本申请提供一种图像处理方法、智能终端及存储介质，先提取并融合第一图像编码过程的第一特征和第二图像生成过程的第二特征，再根据融合后的特征结合第二特征生成第二图像，使得第二图像能较多地保留第一图像的原始特征，有助于提升第一图像和第二图像之间的相似度。
2、本申请提供一种图像处理方法，包括步骤：
3、s1：对第一图像编码，得到映射至潜空间的隐向量，并提取编码过程中的第一特征；
4、s2：在根据所述隐向量生成图像的过程中提取第二特征；
5、s3：融合所述第一特征和所述第二特征，得到第三特征；
6、s4：根据所述第三特征和所述第二特征生成第二图像。
7、可选地，步骤s4，包括：
8、沿通道维度拼接所述第一特征和所述第二特征，对拼接结果执行预设操作，得到第三特征。
9、可选地，步骤s2之前，所述方法，还包括以下至少一项：
10、根据目标姿态变换所述第一特征；
11、根据目标姿态编辑所述隐向量。
12、可选地，所述根据目标姿态变换所述第一特征，包括：
13、通过光流网络计算所述第一图像的原始姿态与目标姿态的光流信息，根据光流信息引导所述第一特征变换。
14、可选地，所述根据目标姿态变换所述第一特征之前，所述方法，还包括：
15、获取基于所述第一图像生成的逆映射图像和第一姿态编辑图像；
16、将所述逆映射图像和所述姿态编辑图像输入光流网络，得到光流信息；
17、根据光流信息变换所述逆映射图像，得到第二姿态编辑图像；
18、根据所述第一姿态编辑图像和所述第二姿态编辑图像训练所述光流网络。
19、可选地，步骤s3，包括以下至少一项：
20、根据预设参数融合所述第一特征和所述第二特征，得到第三特征；
21、根据注意力机制融合所述第一特征和所述第二特征，得到第三特征。
22、可选地，所述方法还包括以下至少一项：
23、构建第一损失函数，所述第一损失函数包括所述第一图像和所述第二图像的像素损失项、所述第一图像和所述第二图像的lpips损失项、所述第一图像和所述第二图像的身份一致性损失项，以及所述第三特征与0向量的损失项中的至少一项；根据所述第一损失函数的计算结果优化所述预设参数；
24、根据所述第一图像的姿态信息对所述第二图像进行姿态编辑，得到第三图像；构建第二损失函数，所述第二损失函数包括所述第一图像和所述第三图像的像素损失项、所述第一图像和所述第三图像的lpips损失项、所述第一图像和所述第三图像的身份一致性损失项中的至少一项；根据所述第二损失函数的计算结果优化所述预设参数。
25、可选地，所述方法还包括：
26、所述第一特征和所述第二特征的尺寸一致。
27、本申请还提供一种智能终端，包括：存储器、处理器，所述存储器上存储有图像处理程序，所述图像处理程序被所述处理器执行时实现如上任一所述的图像处理方法的步骤。
28、本申请还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述的图像处理方法的步骤。
29、如上所述，本申请的图像处理方法包括：对第一图像编码，得到映射至潜空间的隐向量，并提取编码过程中的第一特征。在根据隐向量生成图像的过程中提取第二特征。融合第一特征和第二特征，得到第三特征。根据第三特征和第二特征生成第二图像。本申请的技术方案，先提取并融合第一图像编码过程的第一特征和第二图像生成过程的第二特征，再根据融合后的特征结合第二特征生成第二图像，使得第二图像能较多地保留第一图像的原始特征，有助于提升第一图像和第二图像之间的相似度。
技术特征：
1.一种图像处理方法，其特征在于，包括步骤：
2.根据权利要求1所述的方法，其特征在于，步骤s4，包括：
3.根据权利要求1所述的方法，其特征在于，步骤s2之前，所述方法，还包括以下至少一项：
4.根据权利要求3所述的方法，其特征在于，所述根据目标姿态变换所述第一特征，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据目标姿态变换所述第一特征之前，所述方法，还包括：
6.根据权利要求1至5任一项所述的方法，其特征在于，步骤s3，包括以下至少一项：
7.根据权利要求6所述的方法，其特征在于，所述方法还包括以下至少一项：
8.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
9.一种智能终端，其特征在于，包括：存储器、处理器，其中，所述存储器上存储有图像处理程序，所述图像处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的图像处理方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的图像处理方法的步骤。
技术总结
本申请涉及一种图像处理方法、智能终端及存储介质，图像处理方法包括：对第一图像编码，得到映射至潜空间的隐向量，并提取编码过程中的第一特征。在根据隐向量生成图像的过程中提取第二特征。融合第一特征和第二特征，得到第三特征。根据第三特征和第二特征生成第二图像。本申请的技术方案，先提取并融合第一图像编码过程的第一特征和第二图像生成过程的第二特征，再根据融合后的特征结合第二特征生成第二图像，使得第二图像能较多地保留第一图像的原始特征，有助于提升第一图像和第二图像之间的相似度。
技术研发人员：王海滨,李江涛,肖龙安,王根,邱文龙,周超
受保护的技术使用者：上海传英信息技术有限公司
技术研发日：
技术公布日：2024/9/23