一种基于语义感知迁移学习的图像超分辨率方法

本发明提出了一种基于语义感知迁移学习的图像超分辨率方法，通过在自然语言处理中调用图像描述生成网络的特征来使超分辨率模型能够感知高级语义，适用于图像处理领域，有效地提高图像超分辨率重建的质量。

背景技术：

1、近年来，随着深度学习技术的发展，基于深度学习的图像超分辨率方法逐渐成为研究热点。这些方法通过训练深度神经网络学习高分辨率图像与低分辨率图像之间的映射关系，从而生成高质量的超分辨率图像。然而，传统的基于深度学习的图像超分辨率方法需要大量的高分辨率图像作为训练数据，这在某些场景下是难以实现的。为了解决这个问题，提出了基于迁移学习的图像超分辨率方法。

2、传统的基于迁移学习的图像超分辨率方法往往只关注像素级别的重建精度，忽略了语义级别的信息。在实际应用中，人们往往更关注图像中物体的形状、纹理等语义信息，而不仅仅是像素级别的重建精度。因此，如何结合语义感知信息进行图像超分辨率是当前研究的热点问题之一。

技术实现思路

1、本发明为解决传统的基于迁移学习的图像超分辨率方法往往只关注像素级别的重建精度，忽略了语义级别的信息的技术问题，提供一种基于语义感知迁移学习的图像超分辨率方法。

2、本发明是采用如下方案实现的：一种基于语义感知迁移学习的图像超分辨率方法，包括如下步骤：

3、①. 网络架构设计：

4、设计一个图像超分辨率的深度学习网络模型，该模型包括一个预训练的迁移学习网络，用于提取语义特征，以及一个图像超分辨率重建网络；迁移学习网络在语义特征提取中，先将所提取的特征进行线性变化后传入至前向transformer解码器和反向transformer解码器，从而产生图像特征描述信息；将迁移学习网络的输出与图像超分辨率重建网络结合，以实现图像从低分辨率到高分辨率的映射；

5、②. 数据准备：

6、收集图像数据集，包括低分辨率和高分辨率的对应图像对，并通过深度学习网络模型对上述图像进行预处理；

7、③.损失函数设计：

8、选择或设计一个合适的损失函数来优化深度学习网络模型；对于超分辨率任务，用到的损失函数包括均方误差（mse）、平均绝对误差（mae）和结构相似性指数（ssim）；

9、④.训练过程：

10、使用收集的图像数据集对深度学习网络模型进行训练，将低分辨率图像输入模型，通过前向传播得到预测的高分辨率图像；

11、计算预测图像与真实高分辨率图像之间的损失，通过反向传播更新模型的参数；

12、重复训练过程，直到模型在验证集上的性能达到预设的阈值或达到最大训练轮数。

13、进一步的，所述迁移学习网络包括包括顺次连接的输入层、卷积层、语义特征提取网络，语义特征提取网络的输出还分别连接有以及卷积层和dpsab层；所述图像超分辨率重建网络依次包括上采样层、卷积层和输出层；步骤①中，通过语义特征提取网络进行语义特征提取，所述语义特征提取网络包括10个残差组rg，每个残差组rg包含10个残差通道注意力块rcab；残差组rg经过线性投射，将数据投射至前向transformer解码器和反向transformer解码器，完成语义特征提取；提取到的语义特征信息后分为两部分，其中一部分通过dpsab进行数据处理及特征增强；另一部分语义特征信息通过进行卷积；两部分语义特征信息经过上述处理后均传递给后续的上采样层（upsample）和卷积层（conv），最后输出超分辨率图像。

14、本发明的有益效果：1.提出了一种基于语义感知迁移学习的图像超分辨率方法。该方法旨在通过转移自然语言处理中的图像描述生成网络的特征，赋予超分辨率模型感知高级语义的能力。这一步骤主要包括构建语义特征提取网络和图像超分辨率重建网络，综合利用图像和文本模态数据学习可转移的高级语义特征。

15、2.设计了一种新颖的语义感知超分辨率方法，将自然语言处理方法创新地应用于超分辨率重建过程中。通过语义特征提取网络和图像超分辨率重建网络学习图像-文本配对数据的联合语义表示，使超分辨率网络能够理解图像并重建具有语义级别理解的超分辨率图像。

16、3.训练了一个端到端的语义感知超分辨率模型，通过融合动态感知卷积、语义提取网络和蒸馏极化自注意力，指导模型基于语义感知转移学习进行超分辨率重建。实验证明，基于语义感知转移学习的图像理解可以提高超分辨率网络重建的质量，同时超分辨率网络也可以提高语义表示的质量。

技术特征：

1.一种基于语义感知迁移学习的图像超分辨率方法，其特征在于，包括如下步骤：

2.如权利要求1所述的一种基于语义感知迁移学习的图像超分辨率方法，其特征在于，还包括步骤⑤.模型评估：

3.如权利要求1或2所述的一种基于语义感知迁移学习的图像超分辨率方法，其特征在于，步骤①中对数据进行预处理的方法包括裁剪或归一化或增强，以改善模型训练的效率和效果。

4.如权利要求3所述的一种基于语义感知迁移学习的图像超分辨率方法，其特征在于，所述迁移学习网络包括顺次连接的输入层、卷积层、语义特征提取网络，语义特征提取网络的输出还分别连接有卷积层和dpsab层；所述图像超分辨率重建网络依次包括上采样层、卷积层和输出层；步骤①中，通过语义特征提取网络进行语义特征提取，所述语义特征提取网络包括10个残差组rg，每个残差组rg包含10个残差通道注意力块rcab；残差组rg经过线性投射，将数据投射至前向解码器和反向解码器，完成语义特征提取；提取到的语义特征信息后分为两部分，其中一部分通过dpsab进行数据处理及特征增强；；另一部分语义特征信息通过进行卷积；两部分语义特征信息经过上述处理后均传递给后续的上采样层层和卷积层，最后输出超分辨率图像。

5.如权利要求1或2所述的一种基于语义感知迁移学习的图像超分辨率方法，其特征在于，步骤③中考虑加入感知损失，以捕捉图像的高级语义特征，提高超分辨率图像的视觉效果。

6.如权利要求4所述的一种基于语义感知迁移学习的图像超分辨率方法，其特征在于，所述语义特征提取网络包括zero pad、卷积conv、batch norm、relu、最大池化层max pool；

技术总结
本发明提供一种基于语义感知迁移学习的图像超分辨率方法，属于图像处理以及深度学习领域，解决了传统的基于迁移学习的图像超分辨率方法往往只关注像素级别的重建精度，忽略了语义级别的信息的技术问题。本发明所述网络结构主要包括构建迁移学习网络和图像超分辨率重建网络，综合利用图像和文本模态数据学习可转移的高级语义特征；同时本发明设计了一种新颖的语义感知超分辨率方法，将自然语言处理方法创新地应用于超分辨率重建过程中。通过语义特征提取网络和图像超分辨率重建网络学习图像‑文本配对数据的联合语义表示，使超分辨率网络能够理解图像并重建具有语义级别理解的超分辨率图像。

技术研发人员：赵菊敏,李灯熬,穆泽慧
受保护的技术使用者：太原理工大学
技术研发日：
技术公布日：2024/9/23