一种基于手绘灰度图的图像生成方法

本发明属于图像处理，涉及一种基于手绘灰度图的图像生成方法。

背景技术：

1、基于手绘草图的彩色图像生成研究不仅能为设计师省去上色的步骤，还能在原图的基础上生成不同的彩色图像，在降低工作量的同时，也为设计师提供了一定的灵感，使他们能够专注于快速探索不同的想法和概念，提升设计效率，减少重复工作。

2、目前的彩色图像生成方法采用的手绘草图通常为线条图或素描图。

3、专利申请cn115984400a公开了一种基于手绘草图的图像自动生成方法及系统，该专利先获取手绘草图和草图对应的彩色图像，构建训练集与测试集；再构建图像自动生成模型，使用训练集数据对图像自动生成模型进行对抗训练；再将测试集输入至训练好的图像自动生成模型中，生成了对应的彩色图像。该专利的方法在一定程度上提升了彩色图像的生成质量。

4、然而，基于线条图或素描图生成彩色图像的方法由于算法比较复杂，对设备的配置要求较高，导致其资源消耗较高。此外，该方法需要依赖特定的数据集，不能应用于各种类型的图像生成任务，适用性较低。

技术实现思路

1、本发明的目的是解决现有技术存在的问题，提供一种基于手绘灰度图的图像生成方法。

2、为达到上述目的，本发明采用的技术方案如下：

3、一种基于手绘灰度图的图像生成方法，将手绘灰度图输入至手绘彩色图像生成模型中，由其输出手绘彩色图像；

4、手绘彩色图像生成模型为训练好的生成对抗网络；

5、生成对抗网络由生成器和判别器组成；

6、生成器中，下采样模块中设有用于提取手绘灰度图的图案特征和纹理特征的卷积层，上采样模块中设有用于将手绘灰度图转换为手绘彩色图像的转置卷积层；

7、判别器中，鉴别器模块中含有用于处理灰度图的额外通道的卷积层。

8、作为优选的技术方案：

9、如上所述的一种基于手绘灰度图的图像生成方法，手绘灰度图为手绘服装灰度图。

10、如上所述的一种基于手绘灰度图的图像生成方法，生成器中，相邻两个残差块模块之间均设有一个混合注意力机制模块，残差块模块与上采样模块之间设有一个混合注意力机制模块，混合注意力机制模块在通道注意力机制的基础上加入了空间注意力机制。

11、本发明在生成器中添加了混合注意力机制模块，这是因为：

12、灰度图仅包含亮度信息，缺乏色彩信息。这使得从灰度图中提取有意义的特征更具挑战性。混合注意力机制可以通过关注灰度图中重要的区域和特征来弥补这一不足。

13、灰度图容易受到噪声和伪影的影响，这会降低生成图像的质量。混合注意力机制可以抑制噪声和伪影，从而生成更干净、更清晰的图像。

14、混合注意力机制模块结合了空间注意力机制以及通道注意力机制的优点，在提高生成器性能的同时，也增强了对不同类型信息的建模能力以及生成器的鲁棒性，使得生成器具有更好的生成能力。

15、传统基于卷积神经网络的注意力机制更多的是关注对通道域的分析，局限于考虑特征图通道之间的作用关系。混合注意力机制模块在通道注意力机制的基础上加入了空间注意力机制，从通道和空间两个作用域出发，通过空间注意力和通道注意力两个分析维度，从通道到空间的顺序注意力结构得以实现。

16、如上所述的一种基于手绘灰度图的图像生成方法，生成器主要由特征提取模块、下采样模块、残差块模块、混合注意力机制模块、上采样模块、特征还原模块组成。

17、生成器的工作过程如下：

18、首先由生成器中的特征提取模块对灰度图进行初步的特征提取，并对灰度图进行下采样操作，随即重复上述操作直到灰度图大小变为16×16。再将灰度图输入残差块模块中，每个残差块包含batch normalization层以及relu激活函数。relu激活函数梯度计算成本非常低，简单且恒定，有助于加快深度神经网络的训练速度。此外，relu激活函数还能够将负输入置零，从而产生稀疏激活，这种稀疏激活有助于防止过拟合，并促进深度神经网络的泛化能力。而batch normalization层可以使深度神经网络对不同的输入数据具有更强的鲁棒性。残差块可以学习恒等映射，这意味着输入和输出相同，这对于保持深度神经网络中某些特征的恒定性非常有用。同时，残差块还可以学习残差，即输入和输出之间的差异。这允许深度神经网络专注于学习新特征，而不是重新学习恒等映射。此外，残差块允许特征从深度神经网络的早期层传递到后续层，这有助于促进特征重用，并使深度神经网络能够学习更复杂的表示。具体来说，残差块对特征的影响包括：保留有用的特征，捷径连接允许有用的特征从深度神经网络的早期层传递到后续层，这有助于防止有价值的信息丢失；抑制梯度消失，捷径连接还允许梯度直接从输入跳到输出，这有助于缓解深度神经网络中可能发生的梯度消失问题。并且残差块已被证明可以提高深度神经网络对噪声和扰动的鲁棒性。同时每个残差块后结合混合注意力机制模块，加强重要特征权重，抑制不必要的特征，进一步完善特征图。残差块输出的特征图会被混合注意力模块中的通道注意力模块分别同时做全局平均池化和全局最大池化，再输入全连接层进行相加，随后输入激活函数层（sigmoid），生成权重，最后将权重与特征图相乘。输入的特征图会被空间注意力模块分别从通道维度进行求平均和求最大，合并得到一个通道数为2的卷积层，然后通过一个卷积层，输入激活函数层（sigmoid），得到了一个通道数为1的spatial attention，随后将特征图和spatial attention相乘。最后将结果输入到残差块中进行迭代处理以得到最终的特征图。接下来通过上采样模块对特征图进行处理，逐步还原图像，最终生成手绘彩色图像。

19、如上所述的一种基于手绘灰度图的图像生成方法，判别器中，鉴别器模块为多尺度鉴别器模块，由三个子鉴别器模块组成，每个子鉴别器模块中均包含批标准化层（batchnormalization层）、leakyrelu激活函数、用于处理灰度图的额外通道的卷积层。

20、本发明的判别器中采用多尺度鉴别器模块，多尺度鉴别器模块由三个子鉴别器模块组成，每个子鉴别器模块中包含批标准化层以及leakyrelu激活函数。leakyrelu激活函数可以防止梯度消失，并使网络更容易训练，而批标准化层可以使网络对不同的输入数据具有更强的鲁棒性。真实图像和合成图像通过三个子鉴别器模块来进行区分，真实图像以及合成图像被分别下采样2倍和4倍，从而得到三个不同尺度的图像。图像被每个鉴别器模块在不同的图像尺度上进行判别，这使得图像的精细细节以及全局结构能够被捕获。图像被三个子鉴别器模块在不同的尺度上分别进行判别后，将子鉴别器模块输出的结果进行融合，得到最终的判别结果。融合后的判别结果包含图像的全局特征以及局部细节，使得多尺度鉴别器模块可以同时根据图像的全局和局部特征得出结果。因此，在多尺度鉴别器模块的帮助下，生成器网络能够生成更逼真、更清晰、更符合目标训练图像风格的图像。

21、判别器的工作过程如下：

22、真实图像和合成图像通过三个子鉴别器模块来进行区分，真实图像以及合成图像被分别下采样2倍和4倍，从而得到三个不同尺度的图像。图像被每个子鉴别器模块在不同的图像尺度上进行判别，这使得图像的精细细节以及全局结构能够被捕获。虽然三个子鉴别器模块的结构相同，但是在不同尺度上对图像进行判别的子鉴别器模块具有不同的感受野。不同的感受野会使得子鉴别器模块对图像的关注点也不一样，全局特征在最粗糙的尺度上被子鉴别器模块获取，而图像的细节特征则在精细尺度上被子鉴别器模块捕获。图像被三个子鉴别器模块分别进行判别后，将子鉴别器模块输出的结果进行融合，得到最终的判别结果。融合后的判别结果包含图像的全局特征以及局部细节，使得多尺度鉴别器模块可以同时根据图像的全局和局部特征得出结果。

23、如上所述的一种基于手绘灰度图的图像生成方法，生成对抗网络的损失函数如下：

24、；

25、其中，表示感知损失函数（perceptual损失函数），表示感知相似性损失函数（lpips损失函数），是生成对抗网络中判别器的损失函数，是一个自适应权重参数，用于平衡感知损失和感知相似性损失的重要性（取值范围为0-1）；

26、公式如下：

27、；

28、式中，表示输入图像，r表示目标图像，n表示特征层数，表示预训练的vgg网络，、分别为和r在预训练的vgg网络中的第层的特征表示，生成器通过输入图像得到生成图像，而生成图像则应尽可能接近目标图像，表示生成图像特征图与目标图像特征图之间的欧几里得距离；

29、公式如下：

30、；

31、式中，、分别表示图像特征图在第层中的高度和宽度，表示预训练的vgg网络的层数，和分别表示是生成图像和目标图像在第层的激活值，表示第层的权重，表示逐元素乘积。

32、本发明在生成对抗网络中判别器的损失函数的基础上添加了感知相似性损失函数以及感知损失函数。感知相似性损失函数可以减少图像中噪声和光照变化影响的池化操作来聚合图像特征，其对图像的噪声、光照变化和几何变换具有鲁棒性。感知损失函数能够考虑图像的整体结构和内容，而不是仅关注像素级差异。

33、如上所述的一种基于手绘灰度图的图像生成方法，手绘彩色图像生成模型的构建步骤如下：

34、（a）采集手绘灰度图，构建训练集和验证集；

35、（b）采用训练集训练生成对抗网络，至对于90%以上的训练样本而言，生成器均无法生成更逼真的手绘彩色图像，训练过程中即通过反向传播算法迭代优化生成器的参数的过程；

36、（c）利用验证集对生成对抗网络进行验证，根据验证结果优化生成器的参数，目的是提高生成器在未见过的样本上的泛化能力，最终得到的生成对抗网络即为手绘彩色图像生成模型。

37、如上所述的一种基于手绘灰度图的图像生成方法，步骤（a）具体如下：

38、（a1）采集不同设计师的彩色草图，进行人工筛选；

39、（a2）将筛选后的图像背景统一处理成白色，并裁剪为单张图像；

40、（a3）将裁剪后的图像进行处理得到对应手绘灰度图；

41、（a4）采用数据增强技术对手绘灰度图进行扩充；

42、（a5）将扩充后的手绘灰度图划分为训练集和验证集。

43、有益效果：

44、本发明通过在生成对抗网络的下采样模块中设置用于提取手绘灰度图的图案特征和纹理特征的卷积层、在上采样模块中设置用于将手绘灰度图转换为手绘彩色图像的转置卷积层、在鉴别器模块中设置含有用于处理灰度图的额外通道的卷积层，可以在生成对抗网络训练好后将手绘灰度图输出为手绘彩色图像；

45、线条图通常不包含纹理和细节信息，这使得基于线条图生成具有逼真外观的彩色图像变得困难；素描图中含有大量线条，如果线条过于粗糙或不完整，会导致生成的图像模糊或不准确；此外，线条中如果存在杂乱的细微线条，可能会导致生成的图像中存在额外的细节或者是与图像主体不符的部分；

46、而相较于素描图和线条图，灰度图的算法简单，从灰度图中提取灰度或色块生成手绘彩色图像所需的计算资源较少，可以在较低配置的设备上运行，因此资源消耗相对较低；同时，从灰度图中提取灰度或色块生成手绘彩色图像不依赖于特定的数据集，可以应用于各种类型的图像生成任务，如艺术创作、图像增强等，因此适用性更为广泛；此外，灰度图中不包含杂乱线条，同时包含纹理和细节信息，能够提供更为完整清晰的特征信息，使得生成器不会受到图像中无关特征信息的影响，能够生成更加逼真清晰并且准确的图像。

技术特征：

1.一种基于手绘灰度图的图像生成方法，其特征在于，将手绘灰度图输入至手绘彩色图像生成模型中，由其输出手绘彩色图像；

2.根据权利要求1所述的一种基于手绘灰度图的图像生成方法，其特征在于，手绘灰度图为手绘服装灰度图。

3.根据权利要求1所述的一种基于手绘灰度图的图像生成方法，其特征在于，生成器中，相邻两个残差块模块之间均设有一个混合注意力机制模块，残差块模块与上采样模块之间设有一个混合注意力机制模块，混合注意力机制模块在通道注意力机制的基础上加入了空间注意力机制。

4.根据权利要求3所述的一种基于手绘灰度图的图像生成方法，其特征在于，生成器主要由特征提取模块、下采样模块、残差块模块、混合注意力机制模块、上采样模块、特征还原模块组成。

5.根据权利要求1所述的一种基于手绘灰度图的图像生成方法，其特征在于，判别器中，鉴别器模块为多尺度鉴别器模块，由三个子鉴别器模块组成，每个子鉴别器模块中均包含批标准化层、leakyrelu激活函数、用于处理灰度图的额外通道的卷积层。

6.根据权利要求1所述的一种基于手绘灰度图的图像生成方法，其特征在于，生成对抗网络的损失函数如下：

7.根据权利要求1所述的一种基于手绘灰度图的图像生成方法，其特征在于，手绘彩色图像生成模型的构建步骤如下：

8.根据权利要求7所述的一种基于手绘灰度图的图像生成方法，其特征在于，步骤（a）具体如下：

技术总结
本发明属于图像处理技术领域，涉及一种基于手绘灰度图的图像生成方法。图像生成方法：将手绘灰度图输入至手绘彩色图像生成模型中，由其输出手绘彩色图像；手绘彩色图像生成模型为训练好的生成对抗网络；生成对抗网络由生成器和判别器组成；生成器中，下采样模块中设有用于提取手绘灰度图的图案特征和纹理特征的卷积层，上采样模块中设有用于将手绘灰度图转换为手绘彩色图像的转置卷积层；判别器中，鉴别器模块中含有用于处理灰度图的额外通道的卷积层。本发明的方法简单，可以基于手绘灰度图生成手绘彩色图像。

技术研发人员：胡新荣,黄纪伟,梁金星,王帮超,刘军平,彭涛,古怡,王兆静,李敏,陈佳
受保护的技术使用者：武汉纺织大学
技术研发日：
技术公布日：2024/9/23