一种基于证据学习的不确定性感知半监督胰腺分割方法

本发明涉及图像分割，具体涉及一种基于证据学习的不确定性感知半监督胰腺分割方法。

背景技术：

1、近年来，基于深度学习的图像分割方法由于其优异的性能在医学影像分析领域中得到了广泛的应用，并在多个医学图像任务中取得了良好的表现。然而，这类基于全监督的方法依赖于大量的有标记数据，而在临床实际中，高质量的标注数据往往难以获取，对像素以及体素级别的医学影像数据进行手动标注费时且成本昂贵，需要医生具有丰富的专业知识和经验。在实际应用中由于可用的医学图像分割数据集规模较小，会导致模型训练不足而产生过拟合现象。这限制了深度学习方法在医学影像分析中的进一步发展。且对于胰腺器官来说，由于其解剖结构复杂，形状变异性大，在ct图像中胰腺所处位置背景复杂，与周围组织对比度弱，导致胰腺的边缘模糊难以界定。

2、面对现实临床应用场景中可利用的标记数据稀缺的问题，半监督学习是一种有效的解决方式，其可以通过少量标记数据对模型进行训练和优化,并结合大量无标记数据的信息进行学习以捕捉数据的分布，缓解对标记数据的需求。目前已有的比较流行的半监督学习方法大致可分为伪标签自训练方法和一致性正则化。

3、其中，伪标签自训练方法通过使用标记数据上训练好的模型在未标记数据上进行预测，并将置信度超过某个设置阈值的预测作为伪标签，然后将伪标签与标记数据相结合对模型进行再训练，如此反复，例如fixmatch，交叉为监督(cross pseudo supervision，cps)。一致性正则化方法强制模型对相同的未标记数据上在不同的扰动下,例如输入扰动，特征扰动和网络扰动下产生稳定和一致的预测，例如均值教师(mean teacher，mt)，交叉一致性训练(cross consistency-training，cct)等。

4、但这些方法没有考虑到伪标签的质量，由于神经网络的校准误差较差，模型通常会过于自信，例如对错误的预测仍然有较高的置信度，而错误的预测会产生确认偏差，严重影响模型性能。

5、为了提高伪标签的质量，已经提出了一些不确定性感知方法，如基于蒙特卡洛dropout的不确定性感知均值教师方法(uncertainty aware mean teacher,ua-mt)，基于信息熵的方法和基于预测方差的方法，但这些方法仍然存在一些问题，如基于mc-dropout的不确定性评估方法虽然在数学上可由贝叶斯理论保证，但需要经过多次采样操作，训练成本很大。基于信息熵的方法通过强制网络的预测更加自信减少不确定性，基于预测方差的方法通过计算多次预测的方法来估计不确定性，虽然这两类方法计算成本较低，但由于缺乏理论支持，不确定性估计精度低，导致生成的伪标签质量不稳定。

6、面对胰腺器官由于背景复杂，形状变异性大，与其他器官由于对比度低而导致边缘模糊难以界定的挑战，目前基于深度学习的方法大多为通过融合多尺度特征，结合上下文信息或加入注意力机制等方式来实现更强的特征表达。但受限于常规卷积神经网络中的构建模块如卷积单元和池化单元具有固定的几何结构，只能在固定的位置上进行采样，限制了它们适应高度形变目标特征的能力，且常用于分割任务中的以mask iou为基础的ap指标如dice损失，miou只关注待分割目标整体分割效果，而对目标分割边界区域的精确度不敏感，导致目前的分割网络预测不够保真，边缘粗造，分割效果仍不理想。

7、综上所述，现有的半监督学习方法由于伪标签的选择，难以平衡伪标签的质量，不确定性估计精度与计算成本。而对于胰腺分割任务来说，常用的网络受限于其固定的卷积结构，以及不关注边界分割效果的损失函数，导致对于胰腺这类具有高度尺度与形状变化的目标分割效果仍不理想。

技术实现思路

1、为了克服现有技术的缺陷，本发明公开了一种基于证据学习的不确定性感知半监督胰腺分割方法。首先，引入可变形卷积，构建具有可自适应不同尺度和形变大小感受野的可变形u-net，以更好的提取胰腺多变的几何特征；其次，基于mt框架，引入证据深度学习对模型的预测不确定性进行建模，将模型的输出视为证据，并形式化为狄利克雷分布，通过主观逻辑计算预测类别概率以及不确定性，根据不确定性信息生成未标记数据上可靠的伪标签指导模型学习；最后，引入对目标边界分割质量更敏感的边界损失，使模型更关注胰腺目标边界的分割效果，提升目标分割边界的质量。

2、为了实现上述技术目的，本发明的具体技术方案如下：

3、一种基于证据学习的不确定性感知半监督胰腺分割方法，所述方法包括如下步骤：

4、步骤1，获取胰腺ct数据集并预处理。

5、步骤2，将步骤1预处理后的数据集划分为训练集和测试集，其中训练集为d＝dl∪du，其中，表示n个有标记的ct切片的标记数据集，为具有m个未标记切片的无标记数据集，和分别表示有标签的ct图像和无标记的ct图像，yi表示对应的真实标签。

6、步骤3，基于u-net模型，将编码器部分所有卷积层中常规卷积替换为可变形卷积，构建可自适应不同形变目标特征的可变形u-net。

7、步骤4，以步骤3得到的可变形u-net作为骨干模型。基于mt框架，引入证据学习，设计一种基于证据学习的不确定性感知半监督学习框架。使用证据深度学习对模型的预测不确定性进行建模，使教师模型可以在单次前向推理中给出预测分割结果和相应的不确定性估计，教师模型对未标记数据的预测作为学生模型学习的目标，学生模型根据不确定性信息通过不确定性感知的一致性损失从可靠的伪标签进行学习，并加入boundary损失进行约束，使模型更加关注目标边界区域的分割效果。

8、步骤5，在训练集d上进行训练，其中对于标记数据dl，学生模型通过最小化dl上的监督损失进行优化，对于未标记数据du，学生模型通过不确定性感知的一致性损失进行优化。教师模型不参与训练，权重通过学生模型权重的指数移动平均(exponential movingaverage,ema)进行更新，直至收敛。

9、步骤6，将最终训练好的教师模型用于胰腺器官分割。

10、进一步的，所述步骤1中的预处理具体为：采集三维胰腺ct数据并进行切片处理，剔除不包含待分割目标区域的无关背景图像，得到二维切片图像；根据胰腺组织密度，将窗宽调整至340hu，窗位调整至10hu，通过hu约束将原始图像ct值截取到[-100,240]，对低于-100的ct值设为-100，将高于240的ct值设为240。并将图像进行灰度标准化和中心裁剪，使胰腺目标处于图像中心位置，减少无关背景的干扰，最终对图像进行归一化处理，得到预处理好的图像。

11、进一步的，所述步骤3的具体过程为：首先，u-net模型由编码器，解码器以及跳跃连接三部分组成。其中编码器包含四个下采样模块，每个下采样模块包含两个大小为3×3的卷积层和2×2的最大池化层。解码器包括四个上采样模块，每个上采样模块由两个大小为3×3的卷积层以及之后的反卷积操作进行上采样，在进行上采样的同时融合跳跃连接传递过来的对应下采样模块输出的特征图。将u-net编码器中所有卷积层中的3x3卷积全替换为3x3的可变形卷积。与常规卷积不同，可变形卷积加入了可学习的偏移量，让卷积核根据输入特征图产生偏移，集中于感兴趣的目标区域，从而实现不同形状物体的自适应定位。

12、具体来说，常规的卷积包含两个步骤，首先在输入特征图x上使用规则网格r进行采样，然后计算采样值加权w的总和作为当前位置的输出，对于输出特征图y上的每一个位置y0，有:

13、

14、上式中，pn为卷积核采样区域的枚举，w为卷积核的权重。在可变形卷积中，网格r中增加了偏移量{δpn|n＝1，n}，其中n＝|r|，于是上式变成如下形式：

15、

16、经过偏移后，卷积操作的采样区域就变成了不规则的形状。由于δpn通常为小数，导致p0+pn+δpn的取值位置不是整数而在特征图上找不到真实存在的点与之对应，因此需要通过双线性插值，计算为：

17、

18、其中q代表特征图x中的实点，q代表偏移后经过双线性插值在整数位置上的点，g(·，·)为双线性插值核函数。由于特征图是二维的，因此该核函数可被分解为两个一维核函数的乘积：

19、g(q，p)＝g(qx，px)·g(qy，py)

20、通过将u-net编码器部分的常规卷积替换为具有可学习偏移量的可变形卷积，以构建可以自适应尺度和形状变化的感受野可变形u-net。

21、进一步的，所述步骤4中，基于证据学习的不确定性感知半监督学习框架流程具体为：

22、该框架基于mt架构，包含一个教师模型和一个学生模型，其中教师模型和学生模型均采用步骤3得到的可变形u-net。首先，对模型的分割不确定性进行建模，传统的卷积神经网络通过在最后一层使用使用softmax激活函数以产生类别概率分布，但没有考虑模型的不确定性，模型的输出可能会过于自信，例如对错误预测的样本也可能有很高的置信度。因此，使用证据深度学习对分割不确定性进行建模，将模型的输出视为证据，证据表示模型从数据中收集到的支撑给定样本被分类为某一特定类别的信息量的大小，并参数化为狄利克雷分布，采用主观逻辑理论在单次前向推断中用狄利克雷分布量化分割类别的预测概率和不确定性，以生成值得信赖的预测，具体来说：

23、对于k分类任务，给定一个输入xi，将网络最后一层softmax替换为指数激活函数g，证据向量e＝[e1，...ek]通过变换函数g获得。

24、

25、其中，fout(xi)为原始网络对于输入xi在softmax层前的输出，0＜τ＜1为缩放参数，设为通过主观逻辑计算类别k的信念质量,不确定性和预测概率为：

26、

27、其中可以看作狄利克雷分布的参数，它模拟了分割概率和不确定性的密度。

28、狄利克雷密度函数定义为：

29、

30、其中pi为分割概率，b(ai)为参数ai的k维多项式beta函数，sk为k维单纯形。

31、经过不确定性建模后，可以通过损失函数对模型进行优化，以使模型学习不同类别的正样本的证据，具体来说，该框架损失函数由在标记数据上的监督损失和未标记数据上的不确定性感知的无监督一致性损失组成，定义为：

32、

33、其中，ls表示监督损失，用于评估标记数据上网络输出质量，lc表示用于测量教师模型和学生模型在相同输入与不同的扰动下的未标记数据间的一致性的无监督一致性损失。f(·)表示分割神经网络，(θ′，η′)和(θ，η)分别表示教师和学生模型的权重和不同的扰动操作(例如向输入添加噪声和网络dropout)。λ1是控制无监督损失占比的权重。为高斯预热函数，用于调整无监督损失大小，随着训练的进行不断增加,t为当前迭代次数，tmax为迭代总次数

34、监督损失ls由基于证据的交叉熵损失(证据损失)levi、dice损失ldice和基于边界分割质量度量的boundary损失lboundary组成。定义为：

35、ls＝λ2levi+λ3ldice+λ4lboundary其中，λ2、λ3和λ4为控制证据损失、dice损失与boundary损失占比的权重。证据损失定义如下：

36、levi＝lθ+βlkl

37、其中β为退火系数，设置为使用基于证据的交叉熵损失lθ使分割概率pi接近标签yi，pi的密度遵循用ai参数化的狄利克雷分布。lθ定义为：

38、

39、其中ψ(·)是逆伽马函数。通过优化lθ，生成不同类别的正样本的证据。然而，lθ不能保证负样本产生接近于零的证据。因此，将kullback-leibler(kl)散度加入损失函数中，以惩罚与负样本的散度，定义为：

40、

41、其中γ(·)为伽马函数，d(pi，1)是均匀狄利克雷分布，

42、主观逻辑模型有两个部分，分别为信念质量bi和不确定部分ui。证据损失产生证据来减少不确定性。然而，证据损失会对每个像素进行平等评估，忽略了任务之中像素之间的关系，在胰腺分割这类类别不平衡(胰腺像素占比<5％)的情况下难以对胰腺目标(前景)进行训练拟合，导致网络模型的预测结果更趋向于背景，因此，该框架结合dice损失一起训练，通过优化levi，模型为正样本生成证据，同时减少负样本的证据。利用ldice约束不同像素之间的关系。dice损失如下式：

43、

44、其中，n表示像素总数，yi表示像素的真实标签值，pi表示像素预测值。

45、同时，为了使模型更关注目标区域边界的分割效果，使用基于边界分割质量度量的boundary损失进行约束，与dice损失不同boundary损失不考虑所有像素，而仅评估直接位于掩码边界上或其附近的像素。具体来说，给定两个分割掩码g和p，boundary损失首先计算距离每个掩码边界d内的原始像素集，然后计算这两个集合的交并比，定义如下式所示：

46、

47、其中，gd为距离真实标签边界d以内的像素点集合，pd为距离预测区域边界d以内的像素点集合，yi与pi为像素的类别标签与预测值。

48、在估计的不确定性指导下，对教师模型的输出进行评估，过滤掉相对不可靠(高不确定性)的预测，只选择可靠的预测作为学生模型学习的目标。不确定性感知的无监督一致性损失lc设计为教师模型和学生模型预测的均方误差(mse)，仅用于经过不确定性信息筛选过的可靠的预测，定义如下式所示：

49、

50、其中n为像素总数，fi′和fi分别是教师模型和学生模型对第i个像素的预测，ui是第i个像素的估计不确定性，h是选择可信目标的阈值，是指示函数。通过在训练过程中的不确定性感知一致性损失，学生和教师都可以学习更可靠的知识，从而减少模型的整体不确定性。

51、相对于现有技术，本发明的优势和有益效果在于：

52、1.本发明通过将常规卷积替换为带有可学习偏移量的可变形卷积，可以使卷积核根据输入特征图产生偏移，集中于感兴趣的目标区域，能够适应胰腺器官多变的几何形状。

53、2.本发明基于mt半监督学习框架，使用证据深度学习对模型的预测不确定性进行建模，使教师模型可以在一次前向推理中给出预测分割结果和相应的不确定性估计，根据不确定性信息可以指导学生模型从更加可靠的伪标签中进行学习。设计的基于证据学习的不确定性感知半监督学习框架与现有技术相比，能提升伪标签的质量，减少确认偏差，同时能保证不确定性估计精度和计算成本。

54、3.本发明通过使用对边界分割质量更敏感的boundary损失函数，使模型更关注目标分割边界的效果，充分学习胰腺边界特征信息。

技术特征：

1.一种基于证据学习的不确定性感知半监督胰腺分割方法，其特征在于，所述方法包括以下步骤：

2.如权利要求1所述的一种基于证据的不确定性感知半监督胰腺分割方法，其特征在于，所述步骤1具体为：采集三维胰腺ct数据并进行切片处理，剔除不包含待分割目标区域的无关背景图像，得到二维切片图像；根据胰腺组织密度，将窗宽调整至340hu，窗位调整至10hu，通过hu约束将原始图像ct值截取到[-100，240]，对低于-100的ct值设为-100，将高于240的ct值设为240；并将图像进行灰度标准化和中心裁剪，使胰腺目标处于图像中心位置，减少无关背景的干扰，最终对图像进行归一化处理，得到预处理好的图像。

3.如权利要求1所述的一种基于证据学习的不确定性感知半监督胰腺分割方法，其特征在于，所述步骤3具体为：

4.如权利要求1所述的一种基于证据学习的不确定性感知半监督胰腺分割方法，其特征在于，所述步骤4中基于证据学习的不确定性感知半监督学习框架流程具体为：

技术总结
本发明公开了一种基于证据学习的不确定性感知半监督胰腺分割方法。首先，引入可变形卷积，构建具有可自适应不同尺度和形变大小感受野的可变形U‑Net，以更好的提取胰腺多变的几何特征；其次，基于MT框架，引入证据深度学习对模型的预测不确定性进行建模，将模型的输出视为证据，并形式化为狄利克雷分布，通过主观逻辑计算预测类别概率以及不确定性，根据不确定性信息生成未标记数据上可靠的伪标签指导模型学习；最后，引入对目标边界分割质量更敏感的边界损失，使模型更关注目标边界的分割效果。本发明克服了现有半监督学习方法难以保证伪标签质量、平衡估计精度及计算成本的问题，并针对胰腺分割任务提供了更具有针对性的解决方案。

技术研发人员：陈蕾,肖文韬,郭威,毛泽勇,张锋,李平
受保护的技术使用者：南京邮电大学
技术研发日：
技术公布日：2024/9/23