一种一体式任务的宽度自适应动态图像恢复方法

本发明涉及图像处理，尤其是涉及一种一体式任务的宽度自适应动态图像恢复方法。

背景技术：

1、近年来，深度卷积神经网络(cnn)在广泛的视觉问题中日益流行，并已经在计算机视觉、自然语言处理等领域取得了广泛的成功，但它们对于可靠的训练数据集要求极高。cnn的训练过程对于无噪声输入样本和准确标签的依赖性很强，即使是训练样本中的微小扰动也可能导致网络产生错误的预测，因此，在训练cnn时，需要确保输入数据集的质量，以避免输入数据的不准确性对网络学习过程的负面影响。而图像恢复是计算机视觉中的一项基础工作，其重点是改善受到一系列不同类型退化影响的图像质量。图像恢复任务之所以备受强调，是因为它在推动后续各种其他任务中发挥着关键作用，尤其是在图像分类、对象检测和语义图像分割等领域。简而言之，图像恢复任务通过有效地还原或修复图像，为其他任务提供了清晰、准确的输入，可以提高后续的准确性和性能，从而为计算机视觉系统的整体表现打下坚实基础。

2、针对一体式任务的图像恢复方法由于具备利用单个模型解决多个退化问题的能力，在业界受到广泛的关注。但是目前一体式任务的图像恢复方法一般是使用统一的网络结构来处理各种具有不同退化类型的特征样本，忽视了不同图像恢复任务之间的任务复杂性，从而导致计算资源被低效分配，使得在整个图像恢复过程中既浪费了计算资源，又不能最大程度地优化每个任务的执行效率，使得处理不同图像退化问题上的效果不尽相同。

技术实现思路

1、本发明要解决的技术问题，在于提供一种一体式任务的宽度自适应动态图像恢复方法，能够同时处理多种退化类型的同时保持较高的计算效率。

2、本发明是这样实现的一体式任务的宽度自适应动态图像恢复方法，设定图像恢复任务为将退化的图像恢复成干净的图像，所述图像恢复方法包括：

3、步骤s10、通过宽度自适应骨干网络对样本图像进行特征提取；

4、步骤s20、利用宽度选择器对每一个任务的复杂性进行评估，动态调整网络的宽度；

5、步骤s30、通过重建模块对样本图像执行恢复任务；

6、步骤s40、循环执行步骤s10至步骤s30，直至达到预定的训练轮数；

7、步骤s50、训练结束保留网络权重，得到训练后的动态图像恢复网络模型；

8、步骤s60、获取恢复任务和输入的图像，输入到训练后的动态图像恢复网络模型得到恢复后的图像。

9、进一步的，将所述退化的图像的退化过程定义为：

10、y＝φ(x，a)+n

11、其中，y表示退化的图像，x表示潜在的干净图像，n表示噪声，φ(·,a)表示退化函数，a表示相关的退化参数；

12、对于具体的退化类型，将退化函数φ(,a)具象化为具体图层，包括噪声、雨水和雾气；

13、在噪声退化类型中，噪声图像ynoise表示为干净的图像加上噪声：

14、ynoise＝x+n

15、在雨水退化类型中，雨水图像yrain表示为干净的图像和雨水图层arain的像素级叠加：

16、yrain＝x+arain+n

17、＝ynoise+arain

18、在雾气退化类型中，雾气图像yhaze表示为干净的图像和雾气退化图层ahaze的逐元素相乘：

19、yhaze＝x·ahaze+n

20、＝x+(ahaze-1)·x+n

21、＝ynoise+a′

22、将更为稀疏的雨水图像视为生成雾气图像的中间结果，则得到雾气退化函数展开式如下：

23、

24、上述噪声、雨水和雾气按照难度等级或任务复杂度进行划分为：雾气>雨水>噪声。

25、进一步的，所述步骤s10进一步包括：

26、s11、设计包含n个子网络的宽度自适应骨干网络；假设宽度自适应骨干网络中每个卷积的最大宽度(即通道数量)表示为ω，则每个宽度自适应卷积的权重表示为w∈rω×ω×k×k，k表示卷积运算的核大小，ω表示输入通道和输出通道的数量，宽度自适应骨干网络的子网络由只考虑初始的ρ个输入和输出通道的宽度自适应卷积导出，其中表示n个宽度选项中的一个，子网络内的宽度自适应卷积的权重表示为w’∈rρ×ρ×k×k，在成功训练宽度自适应骨干网络之后，总共获得了n个子网络，宽度从ω1到ωn；

27、s12、使用残差块封装单个样本的退化特征(记为fde∈rc×h×w)并加入宽度自适应骨干网络，以一个权重为wtrans∈rc×ρ×1×1变换卷积来获得f’de∈rρ×h×w，从而使退化编码的维度与宽度自适应卷积的维度完整性保持一致；

28、s13、对宽度自适应骨干网络设置多种损失进行训练，对于每次迭代，随机选择宽度为ρ∈[ω1,ω2,…,ωn-1]的子网络和宽度为ωn的完整网络来平衡每个子网络的训练，计算所选子网络的恢复图像和真实干净图像之间的l1损失；

29、具体的，构建重建损失为

30、lrecon＝l1(s(i；θ：ρ)，x)+l1(s(i；θ)，x)

31、其中，s(·,θ)是由θ参数化的子网络，x是真实的干净的图像，θ：ρ表示不同宽度ρ的子网络对应的参数；

32、构建蒸馏损失为：

33、ldistill＝l1(s(i；θ：ρ)，s(i；θ))

34、构建分类损失为：

35、lde＝ce(n(fde；ζ)，t)

36、其中，lde表示宽度自适应骨干网络的分类损失，t为任务类型，ce表示交叉熵损失；

37、构建总损失对宽度自适应骨干网络进行训练，所述总损失为：

38、lwab＝lrecon+ldistall+lde。

39、进一步的，所述步骤s20具体包括：

40、步骤s21、对于输入图像iin∈r3×h×w，首先利用一个残差块获得退化编码fde∈rc×h×w；

41、步骤s22、利用宽度选择器对每个任务的复杂性进行评估，所述宽度选择器由两个分支组成，上分支的任务是提取特定任务的困难程度，对于这一分支，fde经过一个残差块和一个平均池化层来获得特定任务的预测分数，如下：

42、ftask＝avgpool(r(fde；φ))

43、其中，r(·；φ)是用φ参数化的残差块，avgpool表示平均池化层；

44、宽度选择器的下分支专注于提取特定样本的输入特征，对于这一分支，它的预测分数如下:

45、fsample＝l(l(avgpool(fde)；γ1)；γ2)

46、其中，l(·；γ)是权重为γ的线性投影；

47、特定任务和特定样本的预测分数通过参数为ξ的对应分类器c(·；ξ1)和c(·；ξ2)得到：

48、fdecision＝c(ftask；ξ1)+c(fsample；ξ2)

49、步骤s23、将fdecision通过一个softmax激活函数来获得选择每个候选宽度的可能性，即pi∈[p0，p1，…，pn]，pi代表不同的候选宽度，离散决策dω是宽度候选项pi中的最大值；

50、步骤s24、采用多种损失训练宽度选择器，所述宽度选择器的总损失函数lws如下：

51、lws＝lcls+lspars+lselect

52、lcls＝ce(c(ftask；ξ1)，t)

53、

54、

55、其中，lcls为宽度选择器的分类损失，lspars为宽度选择器的稀疏损失，lselect为宽度选择器的选择损失。t∈[0，1]是目标宽度比，m是每个批次的样本数量，n表示累加的系数，pi表示不同的候选宽度，ωi表示不同候选宽度对应的网络权重，ξ1表示对应训练的网络参数，t表示正确的任务类型。

56、本发明具有如下优点：通过对噪声、雨以及雾气的场景进行复杂性重定义，在输入图片时，同时对任务复杂性进行评估，通过共享神经网络相似的部分并将更多的计算资源分配给更复杂的任务，解决图像恢复任务中的复杂性和计算效率之间的平衡问题，确保本发明可处理多种退化类型的同时保持较高的计算效率，提高本发明在各种图像恢复任务中的优越性能。

技术特征：

1.一体式任务的宽度自适应动态图像恢复方法，其特征在于：设定图像恢复任务为将退化的图像恢复成干净的图像，所述图像恢复方法包括：

2.根据权利要求1所述的一体式任务的宽度自适应动态图像恢复方法，其特征在于：将所述退化的图像的退化过程定义为：

3.根据权利要求1所述的一体式任务的宽度自适应动态图像恢复方法，其特征在于：所述步骤s10进一步包括：

4.根据权利要求1所述的一体式任务的宽度自适应动态图像恢复方法，其特征在于：所述步骤s20具体包括：

技术总结
本发明提供一体式任务的宽度自适应动态图像恢复方法，该方法包括以下步骤：首先，通过宽度自适应骨干网络对输入图像进行特征提取，其包括多个嵌套子网络，能够根据任务选择最合适的计算，从而在运行时实现精度和计算效率的平衡，然后，使用宽度选择器对每个任务的复杂性进行评估，并根据任务的复杂性动态调整网络的宽度，以适应不同的输入图像，最后，使用重建模块对图像进行恢复。该方法能够在保证恢复精度的同时，实现更高的计算效率，且能够针对不同的任务动态调整网络宽度，达到更好的恢复效果，适用于各种图像恢复应用场景。

技术研发人员：纪荣嵘,高楠希,徐一民,晁飞
受保护的技术使用者：厦门大学
技术研发日：
技术公布日：2024/9/23