基于多尺度小波变换的低剂量CT图像超分辨率方法及系统

本发明涉及医学图像处理，尤其涉及一种基于多尺度小波变换的低剂量ct图像超分辨率方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、公开号为cn112489156a的中国专利文献公开了一种基于插值卷积神经网络的低剂量ct重建方法，利用插值卷积神经网络预测并补全ct投影正弦图上缺失的数据，结合已有的投影数据，生成完整的正弦图，再经滤波反投影得到优化后的ct图像。然而，卷积神经网络的固有特征，如局部接受域和输入内容独立性，阻碍了模型捕捉远程依赖关系的能力。为了解决这些限制，transformer已被用于各种图像处理领域。

3、公开号为cn116797541a的中国专利文献公开了一种基于transformer的肺部ct超分辨率重建方法，该方法提出了一种结合transformer和u-net网络模型的编解码结构，通过空洞卷积提取多感受野深层特征，在编解码结构使用局部增强窗口模块的作用下减少计算量，以实现肺部ct图像的超分辨率重建。尽管transformer在捕获远距离像素相互作用方面非常有效，但其复杂性随着空间分辨率呈二次增长，计算复杂度极高。并且它们忽略了一个事实，即在当前的图像处理技术中，高频与低频信息往往被不加区分地混合处理，神经网络从低到高优先拟合频率信号。因此，该模型倾向于生成优先级更高、表面复杂性更大的频率，即只生成低频信号。这种做法在图像重建过程中显著阻碍了图像细微特征的精准恢复和增强；尤其在医学诊断领域，对图像质量的要求极高，需要准确捕捉并呈现图像的每一个细节；然而，现有方法忽视了频率信息在整个重建过程中的重要影响，导致生成的重建图像难以达到临床诊断所需的高标准图像质量。

技术实现思路

1、为了解决上述背景技术中存在的技术问题，本发明提供一种基于多尺度小波变换的低剂量ct图像超分辨率方法及系统，本发明设计了一种类似编码器-解码器架构的多尺度网络模型，摒弃了传统u-net的维度拼接跳跃连接方法，而是通过小波变换将编码特征从空间域转换为频域信息，在编码器内通过低频跳跃连接传递低频分量，在解码器内则利用跳跃连接为解码器提供高频和低频分量，提高重建的准确性和细节保留能力。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明的第一个方面提供一种基于多尺度小波变换的低剂量ct图像超分辨率方法。

4、基于多尺度小波变换的低剂量ct图像超分辨率方法，包括：

5、获取低剂量ct图像，采用多尺度网络模型，得到复原后的ct图像；

6、所述多尺度网络模型包括浅层特征提取模块、编码器模块、图像转化模块以及解码器模块；浅层特征提取模块提取低剂量ct图像的浅层特征图；编码器模块包括三个编码器，每个编码器将浅层特征图依次经过改进的transformer模块、下采样模块和小波变换模块的处理，得到编码器输出的特征图和频域子带；其中，频域子带包括低频分量和高频分量，上一编码器将低频分量输入到下一编码器中，且每个编码器将频域子带输入到对应的解码器中；图像转化模块将编码器模块输出的特征图和池化后的低剂量ct图像进行拼接卷积和转化，得到全局特征图；解码器模块包括三个解码器，每个解码器采用改进的transformer模块和哈尔小波融合上采样模块对上一个解码器输出的特征图或者全局特征图、对应编码器输出的特征图以及频域子带进行融合后，分阶段重建高分辨率图像，得到解码器模块输出的特征图。

7、更进一步地，采用所述编码器模块的过程具体包括：

8、在第一编码器中，基于浅层特征图，采用第一transformer模块，提取第一浅层特征图；将第一浅层特征图进行下采样得到第二浅层特征图；采用第一小波变换模块，将第一浅层特征图分解为第一频域子带；

9、在第二编码器中，将第二浅层特征图和池化后的低剂量ct图像在通道维度上进行拼接再卷积，接着与第一频域子带的低频分量相加得到第一特征图；基于第一特征图，采用第二transformer模块，学习丰富的层次特征表示，得到第三浅层特征图，对第三浅层特征图进行下采样，得到第四浅层特征图；采用第二小波变换模块，将第三浅层特征图分解为第二频域子带；

10、在第三编码器中，将第四浅层特征图和池化后的低剂量ct图像在通道维度上进行拼接再卷积，接着与第二频域子带的低频分量相加得到第二特征图；基于第二特征图，采用第三transformer模块，学习丰富的层次特征表示，得到第五浅层特征图，对第五浅层特征图进行下采样，得到第六浅层特征图；采用第三小波变换模块，将第五浅层特征图分解为第三频域子带；

11、其中，所述第一频域子带、第二频域子带和第三频域子带均包括：低频分量、垂直方向的高频分量、水平方向的高频分量及对角方向的高频分量。

12、更进一步地，采用所述图像转化模块的过程包括：将第三编码器输出的第六浅层特征图和池化后的低剂量ct图像在通道维度上进行拼接再卷积，接着与第三频域子带的低频分量相加得到第三特征图；基于第三特征图，采用第四transformer模块，得到全局特征图。

13、更进一步地，采用所述解码器模块的过程包括：

14、在第一解码器中，基于全局特征图、第三频域子带和第六浅层特征图，采用第一哈尔小波融合上采样模块，得到第五特征图；基于第五特征图，采用第五transformer模块，得到第六特征图；

15、在第二解码器中，基于第六特征图、第二频域子带和第四浅层特征图，采用第二哈尔小波融合上采样模块，得到第七特征图；基于第七特征图，采用第六transformer模块，得到第八特征图；

16、在第三解码器中，基于第八特征图、第一频域子带和第二浅层特征图，采用第三哈尔小波融合上采样模块，得到第九特征图；基于第九特征图，采用第七transformer模块，得到第十特征图；

17、基于第十特征图与低剂量ct图像，采用超分辨率处理，得到复原后的ct图像。

18、更进一步地，每个所述transformer模块由第一归一化层、注意力模块，第二归一化层和前馈神经网络模块依次而成，所述transformer模块的处理过程包括：基于输入transformer模块的特征图，采用第一归一化层进行归一化处理后输入注意力模块，得到注意力特征图，将注意力特征图与输入transformer模块的特征图进行融合，得到融合特征图；将融合特征图输入第二归一化层进行归一化处理后再输入前馈神经网络中，得到前馈特征图；将前馈特征图与融合特征图进行融合，得到transformer模块的输出特征图。

19、更进一步地，采用所述哈尔小波融合上采样模块的过程包括：将解码器提取的特征与编码器提取的特征进行拼接，并采用深度可分离卷积将解码器提取的特征与编码器提取的特征进行整合和交互，得到初步特征图；在通道维度上将初步特征图分成第一特征分图和第二特征分图，将第一特征分图与小波变换模块提取的对角方向的高频分量在通道维度上进行拼接，再使用1×1卷积处理，得到第三特征分图；基于第三特征分图与小波变换模块提取的低频分量、垂直方向的高频分量、水平方向的高频分量，采用哈尔小波上采样模块，分别进行卷积操作，得到第四特征分图；基于第一特征分图，采用上采样模块，得到第五特征分图；将第四特征分图和第五特征分图进行拼接，再经过1×1卷积处理，得到小波融合上采样模块输出的特征图。

20、更进一步地，采用所述注意力模块的过程包括：基于第一归一化层输出的特征图，采用1x1的卷积核进行通道内的线性变换和特征融合，接着采用3x3的深度可分离卷积对局部空间结构进行建模，提取空间信息，得到查询特征、键特征和值特征；分别对查询特征、键特征和值特征的形状进行调整转换为多头注意力的形式；接着计算注意力分布，计算查询特征与键特征的点积，对得到的点积进行softmax操作，得到注意力分布，将得到的注意力分布与值特征相乘，得到输出张量，对输出张量进行形状调整和映射处理，得到注意力特征图。

21、更进一步地，采用所述前馈神经网络的过程包括：在通道维度上将第二归一化层输出的特征图分成两部分特征图，一部分特征图通过采用1×1卷积扩展通道维度，接着采用3×3卷积进行空间特征提取，形成具有空间感知能力的门控信号，采用gelu非线性激活函数，对门控信号进行激活处理；再将激活后的门控信号与另一部分特征图进行元素乘法操作，最后进行归一化处理，得到前馈特征图。

22、本发明的第二个方面提供一种基于多尺度小波变换的低剂量ct图像超分辨率系统。

23、基于多尺度小波变换的低剂量ct图像超分辨率系统，包括：

24、图像恢复模块，其被配置为：获取低剂量ct图像，采用多尺度网络模型，得到复原后的ct图像；

25、多尺度网络模型模块，其被配置为：所述多尺度网络模型包括浅层特征提取模块、编码器模块、图像转化模块以及解码器模块；浅层特征提取模块提取低剂量ct图像的浅层特征图；编码器模块包括三个编码器，每个编码器将浅层特征图依次经过改进的transformer模块、下采样模块和小波变换模块的处理，得到编码器输出的特征图和频域子带；其中，频域子带包括低频分量和高频分量，上一编码器将低频分量输入到下一编码器中，且每个编码器将频域子带输入到对应的解码器中；图像转化模块将编码器模块输出的特征图和池化后的低剂量ct图像进行拼接卷积和转化，得到全局特征图；解码器模块包括三个解码器，每个解码器采用改进的transformer模块和哈尔小波融合上采样模块对上一个解码器输出的特征图或者全局特征图、对应编码器输出的特征图以及频域子带进行融合后，分阶段重建高分辨率图像，得到解码器模块输出的特征图。

26、本发明的第三个方面提供一种计算机可读存储介质。

27、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于多尺度小波变换的低剂量ct图像超分辨率方法中的步骤。

28、本发明的第四个方面提供一种计算机设备。

29、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于多尺度小波变换的低剂量ct图像超分辨率方法中的步骤。

30、与现有技术相比，本发明的有益效果是：

31、transformer模型中的计算复杂度主要来源于其核心的attention机制。attention机制是transformer中用于捕捉输入序列中不同位置之间依赖关系的关键部分，但它也带来了较高的计算复杂度。考虑到这一点，本发明使用更高效的自注意力机制，以有效利用transformer。总的来说，将自注意力机制应用于通道维度，通过计算跨通道的交叉协方差，隐式地编码全局上下文信息，从而生成高效的注意力图，可以有效降低计算开销。

32、本发明设计了一种类似编码器-解码器架构的多尺度网络模型，摒弃了传统u-net的维度拼接跳跃连接方法，而是通过小波变换将编码特征从空间域转换为频域信息，在编码器内通过低频跳跃连接传递低频分量，在解码器内则利用跳跃连接为解码器提供高频和低频分量，提高重建的准确性和细节保留能力。在解码器中引用小波融合上采样，将编码器提取的一般特征与解码器相应的频率特征进行融合再进行上采样，分阶段重建出高分辨率的图像。通过这种网络架构的设计，成功地保持了结构一致性并准确重建了病灶区域，使得图像处理过程更加高效和准确，增强了复杂生物结构的可视化效果。

33、本发明提出了一种新的深度可分离门控前馈神经网络dwfn，能够智能地抑制无用的特征，确保网络中流通的仅为那些富有价值的关键信息，展现出对细微特征恢复的强大能力，在医学图像处理中，细微特征往往携带着重要的诊断信息，如病变区域的微小变化或特定结构的细微纹理。dwfn能够有效地捕捉并恢复这些细微特征，从而进一步提升了其在各种医学图像处理任务中的表现。

技术特征：

1.基于多尺度小波变换的低剂量ct图像超分辨率方法，其特征在于，包括：

2.根据权利要求1所述的基于多尺度小波变换的低剂量ct图像超分辨率方法，其特征在于，采用所述编码器模块的过程具体包括：

3.根据权利要求2所述的基于多尺度小波变换的低剂量ct图像超分辨率方法，其特征在于，采用所述图像转化模块的过程包括：将第三编码器输出的第六浅层特征图和池化后的低剂量ct图像在通道维度上进行拼接再卷积，接着与第三频域子带的低频分量相加得到第三特征图；基于第三特征图，采用第四transformer模块，得到全局特征图。

4.根据权利要求2所述的基于多尺度小波变换的低剂量ct图像超分辨率方法，其特征在于，采用所述解码器模块的过程包括：

5.根据权利要求1-4任一项所述的基于多尺度小波变换的低剂量ct图像超分辨率方法，其特征在于，每个所述transformer模块由第一归一化层、注意力模块，第二归一化层和前馈神经网络模块依次而成，所述transformer模块的处理过程包括：基于输入transformer模块的特征图，采用第一归一化层进行归一化处理后输入注意力模块，得到注意力特征图，将注意力特征图与输入transformer模块的特征图进行融合，得到融合特征图；将融合特征图输入第二归一化层进行归一化处理后再输入前馈神经网络中，得到前馈特征图；将前馈特征图与融合特征图进行融合，得到transformer模块的输出特征图；

6.根据权利要求5所述的基于多尺度小波变换的低剂量ct图像超分辨率方法，其特征在于，采用所述注意力模块的过程包括：基于第一归一化层输出的特征图，采用1x1的卷积核进行通道内的线性变换和特征融合，接着采用3x3的深度可分离卷积对局部空间结构进行建模，提取空间信息，得到查询特征、键特征和值特征；分别对查询特征、键特征和值特征的形状进行调整转换为多头注意力的形式；接着计算注意力分布，计算查询特征与键特征的点积，对得到的点积进行softmax操作，得到注意力分布，将得到的注意力分布与值特征相乘，得到输出张量，对输出张量进行形状调整和映射处理，得到注意力特征图。

7.根据权利要求5所述的基于多尺度小波变换的低剂量ct图像超分辨率方法，其特征在于，采用所述前馈神经网络的过程包括：在通道维度上将第二归一化层输出的特征图分成两部分特征图，一部分特征图通过采用1×1卷积扩展通道维度，接着采用3×3卷积进行空间特征提取，形成具有空间感知能力的门控信号，采用gelu非线性激活函数，对门控信号进行激活处理；再将激活后的门控信号与另一部分特征图进行元素乘法操作，最后进行归一化处理，得到前馈特征图。

8.基于多尺度小波变换的低剂量ct图像超分辨率系统，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于多尺度小波变换的低剂量ct图像超分辨率方法中的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于多尺度小波变换的低剂量ct图像超分辨率方法中的步骤。

技术总结
本发明涉及医学图像处理技术领域，提供了一种基于多尺度小波变换的低剂量CT图像超分辨率方法及系统。该方法包括，获取低剂量CT图像，采用多尺度网络模型，得到复原后的CT图像；多尺度网络模型包括浅层特征提取模块、编码器模块、图像转化模块以及解码器模块；浅层特征提取模块提取低剂量CT图像的浅层特征图；编码器模块包括三个编码器，每个编码器将浅层特征图依次经过改进的Transformer模块、下采样模块和小波变换模块的处理，得到编码器输出的特征图和频域子带；解码器模块包括三个解码器，每个解码器对上一个解码器输出的特征图或者全局特征图、对应编码器输出的特征图以及频域子带进行融合后，得到解码器模块输出的特征图。

技术研发人员：高梦蕾,陈月辉,吴鹏
受保护的技术使用者：济南大学
技术研发日：
技术公布日：2024/9/23