一种用于医学图像分割的深度卷积水平集网络

本发明属于医学图像处理，具体是涉及一种用于医学图像分割的深度卷积水平集网络。

背景技术：

1、图像分割在图像处理的重要步骤，是将图像中具有特别意义的感兴趣区域划分开的一个过程，这些区域内具有一定的相似性或者某些特定的共同属性。从数学角度分析，图像分割就是将图像划分成互不相交区域的过程，目标是改变图像的表示形式。在医学领域，医学图像分割一直是图像处理领域研究的热点问题，准确分割出病灶区域是一项重要的任务，具有重要的意义，被广泛应用于大脑或心脏等方面。在患者病情诊断阶段，医学图像分割更容易被分析理解，帮助医护人员做出诊断分析。

2、近年来，越来越多的方法深入医学图像分割领域，比如深度学习方法由于其优秀的特征学习和表示能力，在医学图像分割领域上表现出了良好的效果。目前常见的基于深度学习的图像分割方法有全卷积网络fcn和u-net，已经成为医疗图像分割的通用模型，在各种应用上证实了其分割的有效性，例如在肺结节，血管，脑部ct，肿瘤等医学图像分割方面前，虽然这些算法能有效的处理医学图像分割问题，它仍然是一个庞大且并未有完美解决方案的一个研究方向。在处理边缘模糊的医学图像时，这些分割网络存在一些弊端，例如可能会错过细微的边缘特征，将模糊区域与背景混淆，使得分割不完整，有缺陷等情形。

3、在传统分割网络中，例如阈值分割，可以根据图像灰度值的阈值将图像划分成不同的区域，根据图像灰度信息确定阈值大小，以判别每一个像素点属于背景或者目标。区域增长法是一种根据物体局部区域内像素相似性，来聚集像素点的方法，它从初始区域开始，将相邻的像素归并到一起。图像边缘检测通常的做法是使用边缘检测算子扫描全图得到边缘图像。这些传统分割网络都是基于像素间的相似性和不连续性，来划分各个不同的区域。

4、随着许多数学工具的引入到图像处理领域，水平集方法也成为解决分割任务的一种流行方法，该方法是通过高维函数曲面来表达低维的演化曲线，并将演化的曲线用高维水平集函数的对应零水平集来表示曲线，演化曲线的演化方程进一步转化为高维水平集函数的演化偏微分方程(pde)，最终通过求解关于水平集函数的方程来捕捉目标运动边界的方法。水平集转变为求解能量泛函的最小值的过程，水平集能量泛函一般通过求解函数对应的欧拉方程来实现，能量达到最小时的曲线位置就是目标的轮廓所在。水平集方法在图像分割任务中得到了广泛应用，但是在分割复杂图像时，尤其是边缘模糊不清晰的情况下，暴露出以下缺点。首先，不恰当的参数设置和初始轮廓的选择会导致陷入“局部最优解”，从而影响分割结果的准确性。其次，由于传统水平集方法只利用了图像的灰度信息，对于具有模糊边界或复杂纹理的目标，其分割效果常常不尽如人意。最后，由于水平集是针对整个图像进行全局计算的，计算效率不高，所以在水平集迭代时间和迭代次数上有很大的优化空间。

5、通过结合深度学习与水平集方法，以克服各自的局限性。主要有两种方式，第一种是将水平集模型辅助深度学习网络，作为损失函数指导网络训练。例如，水平集能量函数作为网络训练的损失函数中的一部分，并使用cnn直接预测用于显著对象检测的水平集函数。第二种是将水平集作为后处理步骤，作进一步的精细分割任务。例如，cnn的输出被作为用于演化活动轮廓模型的能量项，构建以端到端方式学习的网络模型。将水平集作为后处理方式，网络将学习预测演化参数，并对预测的初始轮廓进行演化，以产生最终的结果。

技术实现思路

1、本发明旨在解决在分割边缘模糊的医学图像任务中，针对传统水平集的参数设置较为敏感和计算效率较低的问题，以及单纯的深度学习网络由于缺少大量医学图像数据进行训练，而无法获取更细微的边缘特征的问题，提出了一种用于医学图像分割的深度卷积水平集网络，用于更精准的获取目标轮廓，同时具有较强的网络鲁棒性和稳定性。

2、为实现上述目的，本发明所采用的技术方案为：

3、一种用于医学图像分割的深度卷积水平集网络(lsu-net)，在u-net模型预分割部分，编码器的每一层在原有普通的卷积操作序列基础上，构建了新的并行空洞卷积序列模块pdcs，可以同时捕获局部和全局的特征信息，用于加强特征提取，最小化下采样过程图像信息的损失；在解码器端，构建了混合注意力模块mam，可以自动学习选择最重要的特征并加权，减少冗余信息的影响，帮助网络上采样恢复信息重建图像；将u-net的输出作为水平集方法中能量函数的一个牵引项，水平集方法作为后处理步骤，接受来自u-net的先验信息；同时，构建基于对数函数和多项式函数的距离正则项和边缘停止函数，通过预测图像感兴趣区域，牵引项中包含目标的边缘信息，通过最小化能量函数，水平集方法将更准确的演化曲线，来进一步优化分割图像边界。

4、作为本发明的优选技术方案，该深度卷积水平集网络(lsu-net)中：

5、所述并行空洞卷积序列pdcs对输入特征图进一步提取多尺度上下文信息，进行更高阶的特征提取操作，第一层为空洞率为1的空洞卷积，第二层为空洞率为3的空洞卷积，第三层为空洞率为1，3的空洞卷积串联序列，第四层为空洞率为1，3，5的空洞卷积串联序列，每个分支的感受野大小分别为3，7，9，19，每一层卷积序列操作最后均使用核大小为1的卷积操作来修正线性激活能力；通过四个分支操作序列，得到四个特征图f1、f2、f3和f4，并分别与各自的系数{α1，α2，α3，α4}做元素级别的相乘，最后与输入特征图相加得到该模块的最终输出f，如公式(1)所示：

6、f＝α1*f1+α2*f2+α3*f3+α4*f4  (1)

7、通过并联不同空洞率大小的空洞卷积，并将它们的输出进行融合，可以提取丰富的上下文信息和特征表示。

8、所述混合注意力模块mam使网络关注目标的边缘区域，诱导网络正确地聚焦于目标对象，而非目标区域外的噪声信息；其作为附加层与unet网络结合，分别放置在unet网络的解码器的四层卷积序列之前；mam模块可以对输入特征的通道信息和空间信息做到同时关注，自适应的学习特征通道和空间中的比较重要的特征信息，来调整对应的权重大小，从而得到加权后的新特征图。

9、为了使得在水平集演化过程中保持水平集函数为符号距离特性，构建了基于对数函数和多项式函数的正则化项，使用分阶段的边缘停止函数，并将预分割图作为先验信息转化为牵引项，以此来构建新的能量函数来驱动曲线演化。

10、基于对数函数和多项式函数的正则化项具体为：

11、水平集是一种基于能量函数的图像分割方法，它将分割图像的问题，利用数学方法转换成求解能量泛函最小化的问题；首先根据目标位置手动给出一条封闭的初始轮廓曲线，并定义水平集函数，如公式(2)定义：

12、

13、其中，(i,j)是图像坐标，d是一个大于0的常数，r0属于域ω，图像中的每一个像素点都会计算与曲线的最短距离，如果该像素点位于曲线内部，则有向距离取值-d，否则有向距离取值d，如果位于曲线上，则有向距离取值为0，这样即获得了水平集函数取值为0的像素点，由隐式距离场转换成显示曲线表达，最终驱动曲线进行演化至目标轮廓的边界处，分割轮廓s就是水平集函数对应的零水平集，参照公式(3)定义：

14、s＝{x∣φ(x)＝0}  (3)

15、根据图像梯度等信息，水平集函数会沿着能量最小化的方向演化，由于图像目标轮廓最终是由水平集方法的对应零水平集隐式表达的，所以水平集的稳定演化和数值计算显得尤为重要；在水平集演化过程中，曲面或者曲线要求尽可能平滑，所以通常使用符号距离函数来代替水平集函数，公式(2)就是一个符号距离函数；根据构成各距离正则项的函数类型，将距离正则势函数分为多项式函数、多项式和三角函数、对数和多项式函数、基于对数与多项式和三角函数的混合函数以及其它函数五类；基于距离正则化的水平集公式，是在能量函数中加入距离正则项，它是由一个三角函数构成的势函数定义；对应的能量函数为公式(4)所示：

16、

17、第一项是水平集正则化项，p是双阱势函数，如公式(5)所示：

18、

19、用来纠正水平集函数与符号距离函数的误差，尽可能使演化曲线保持在有符号距离函数附近；对应的扩散比函数如公式(6)所示：

20、

21、从扩散比函数dp(s)可以看出，在扩散比将近为0时，演化速度dp(s)接近为1，这会导致急剧向前演化至0，从而可能会导致零水平集过分割或者无法对弱边缘图像准确分割；因此基于三角函数的距离正则项不能满足水平集演化的稳定性；

22、在水平集迭代演化的过程中，尤其是在演化曲线接近图像目标时，应当要求演化曲线能够完美的贴合在目标轮廓位置上；

23、基于对数函数和多项式函数的距离正则项势函数pnew(s)，如公式(7)所示：

24、

25、对应的扩散比函数如公式(8)：

26、

27、改进边缘停止函数具体为：

28、drlse模型给出了边缘停止条件，其函数如公式(9)所示；其中g的取值范围在[0,1]之间，当g＝0时，曲线应当停止运动，而当g＝1时，曲线运动的速度达到最快的一种状态；然而事实上g只能无限接近于0，不可能取到0值，也就是说曲线靠自己本身是无法停止运动的，只有当水平集迭代演化次数达到事先设置的次数时，曲线才会停止演化；

29、

30、通过结合图像的区域信息和梯度信息共同驱动曲线演化，使用新的边缘停止函数作为曲线演化的外部约束力；将曲线演化分为两个阶段，第一阶段在规定的迭代次数内，结合区域信息设置新的边缘停止函数为gl1：如公式(10)所示：

31、

32、其中，σ是控制图像对噪声的敏感度，作为分母中的一部分它在一定程度上影响着曲线的收敛速度，在边界停止函数趋于0值的时候，演化曲线可以更好的贴近目标边界；l如公式(11)所示：

33、

34、其中，β是控制噪声的敏感度，γ为控制曲线的收敛速率；即使初始轮廓位于目标内部时，由于l值远大于γ，所以gl1约等于1，此时水平集分割不会陷入局部最小值，曲线演化也不会陷入一种虚假分割状态；i是待分割图像，c1和c2分别是图像在曲线内和曲线外的平均灰度值，在活动轮廓曲线c内外区域的平均灰度c1和c2表达式分别如下：

35、

36、考虑到仅仅靠前一阶段的曲线演化，无法保证活动轮廓就能完美的停止在图像目标的边界上；所以第二阶段是在演化曲线贴近目标时，重新设置了一个边缘停止函数为gl2：

37、

38、边缘停止函数gl2会随着梯度阈值l下降而迅速收敛为0，这也成功使得演化曲线停止在图像目标边缘，在l值较大时，对应的边缘停止函数也会趋近于1，曲线演化速度较快，极大的减少边缘泄露和过度分割的现象；这种负指数函数对于目标边界处的高梯度值可以迅速作出反应，对于分割医学图像来说，能够有效快速的找到目标边界，提高了对低对比度，弱边界图像的分割效果。

39、预分割结果作为牵引项具体为：

40、在gl1和gl2这两个阶段内，结合了来自语义分割得到的图像形状先验知识，并将其作为水平集方法中的能量函数的牵引项，它能够有效指导曲线进一步演化；能量函数如下(15)所示：

41、

42、在水平集函数演化过程中，φ(x)是水平集演化函数，牵引项φu-net(x)接受来自u-net网络的粗分割，表示为lsu-net粗略预分割结果的水平集函数，成功衔接了两个模型的结合来完成分割任务，并且有效驱动曲线演化，针对水平集模型对于初始轮廓的敏感程度也得到有效的改善；最终能量函数为：

43、

44、本发明以u-net预分割的结果为中间介质，将u-net模型与水平集方法相结合，使用曲线拟合目标边界。首先，在u-net编码器引入了并行空洞卷积序列模块pdcs(paralleldilated convolutional sequence)，保证下采样过程中信息损失的最小化，以保留更多的边缘信息。其次，在解码器中引入混合注意力模块mam(mixed attention mechanism)，帮助网络在重建图像过程中恢复重要信息，生成更准确的输出序列。最后，基于drlse模型的水平集方法构建新的能量函数，将预分割得到的标签映射转换为水平集表示，作为水平集方法的先验信息，充当牵引项的角色指导曲线演化。在isic2017，isic2018和cvc-clinicdb数据集上评估了所提出的模型的性能。lsu-net在平均交并比(miou)和f1-socre方面显示出比其他先进方法(sota)更好的性能，结果表明本发明是所提出的这种深度卷积水平集网络(lsu-net)在医学图像分割任务中具有较强的竞争力。与现有方案相比，本发明的有益效果是：

45、1.本发明设计了更加紧凑的“u”形网络，提出了lsu-net模型。为了最小化边缘信息的丢失，提出了并行空洞卷积序列pdcs，保证捕捉更细微的图像信息。提出的混合注意力模块mam，以更好的帮助网络关注重要信息，融合低层特征和高层特征。

46、2.在水平集模型中，本发明引入了新的正则项，以及利用预分割输出作为水平集方法中能量函数的一个牵引项，并且采用新的边缘停止函数，构建一个新的能量函数，适用于边缘模糊的医学图像分割。

47、3.通过联合深度学习方法，将传统无监督的水平集模型升级为有监督方法，利用先验知识进一步指导曲线的演化，在处理复杂的医学图像时表现更优异。

48、4.在三个医学数据集上进行了综合实验，结果表明本发明提出的lsu-net模型具有相当的竞争力。

技术特征：

1.一种用于医学图像分割的深度卷积水平集网络(lsu-net)，其特征在于，在u-net模型预分割部分，编码器的每一层在原有普通的卷积操作序列基础上，构建了新的并行空洞卷积序列模块pdcs，可以同时捕获局部和全局的特征信息，用于加强特征提取，最小化下采样过程图像信息的损失；在解码器端，构建了混合注意力模块mam，可以自动学习选择最重要的特征并加权，减少冗余信息的影响，帮助网络上采样恢复信息重建图像；将u-net的输出作为水平集方法中能量函数的一个牵引项，水平集方法作为后处理步骤，接受来自u-net的先验信息；同时，构建基于对数函数和多项式函数的距离正则项和边缘停止函数，通过预测图像感兴趣区域，牵引项中包含目标的边缘信息，通过最小化能量函数，水平集方法将更准确的演化曲线，来进一步优化分割图像边界。

2.如权利要求1所述的深度卷积水平集网络(lsu-net)，其特征在于，所述并行空洞卷积序列pdcs对输入特征图进一步提取多尺度上下文信息，进行更高阶的特征提取操作，第一层为空洞率为1的空洞卷积，第二层为空洞率为3的空洞卷积，第三层为空洞率为1，3的空洞卷积串联序列，第四层为空洞率为1，3，5的空洞卷积串联序列，每个分支的感受野大小分别为3，7，9，19，每一层卷积序列操作最后均使用核大小为1的卷积操作来修正线性激活能力；通过四个分支操作序列，得到四个特征图f1、f2、f3和f4，并分别与各自的系数{α1，α2，α3，α4}做元素级别的相乘，最后与输入特征图相加得到该模块的最终输出f，如公式(1)所示：

3.如权利要求2所述的深度卷积水平集网络(lsu-net)，其特征在于，所述混合注意力模块mam使网络关注目标的边缘区域，诱导网络正确地聚焦于目标对象，而非目标区域外的噪声信息；其作为附加层与unet网络结合，分别放置在unet网络的解码器的四层卷积序列之前；mam模块可以对输入特征的通道信息和空间信息做到同时关注，自适应的学习特征通道和空间中的比较重要的特征信息，来调整对应的权重大小，从而得到加权后的新特征图。

4.如权利要求3所述的深度卷积水平集网络(lsu-net)，其特征在于，为了使得在水平集演化过程中保持水平集函数为符号距离特性，构建了基于对数函数和多项式函数的正则化项，使用分阶段的边缘停止函数，并将预分割图作为先验信息转化为牵引项，以此来构建新的能量函数来驱动曲线演化。

5.如权利要求4所述的深度卷积水平集网络(lsu-net)，其特征在于，基于对数函数和多项式函数的正则化项具体为：

6.如权利要求5所述的深度卷积水平集网络(lsu-net)，其特征在于，改进边缘停止函数具体为：

7.如权利要求6所述的深度卷积水平集网络(lsu-net)，其特征在于，预分割结果作为牵引项具体为：

技术总结
一种用于医学图像分割的深度卷积水平集网络，在U‑Net模型预分割部分，构建了新的并行空洞卷积序列模块，同时捕获局部和全局的特征信息，加强特征提取，最小化下采样过程图像信息的损失；在解码器端构建了混合注意力模块，可以自动学习选择最重要的特征并加权，减少冗余信息的影响，帮助网络上采样恢复信息重建图像；将U‑Net的输出作为水平集方法中能量函数的一个牵引项，水平集方法作为后处理步骤，接受来自U‑Net的先验信息；构建基于对数函数和多项式函数的距离正则项和边缘停止函数，通过预测图像感兴趣区域，牵引项中包含目标的边缘信息，通过最小化能量函数，水平集方法将更准确的演化曲线，来进一步优化分割图像边界。

技术研发人员：王晓峰,刘嘉山,杨仁涛,吴志泽,邹乐
受保护的技术使用者：合肥大学
技术研发日：
技术公布日：2024/9/23