基于超声内镜图像病变切除风险评估方法、系统及装置与流程

本发明涉及eus图像处理，具体涉及基于超声内镜图像病变切除风险评估方法、系统、装置及存储介质。

背景技术：

1、目前，超声内镜（eus）已成为诊断消化道病变的重要工具，特别是在评估消化道肿瘤的起源层次和侵袭深度方面具有重要作用。现有的技术已经在利用人工智能，特别是卷积神经网络（cnn），来辅助医生进行病变区域的识别和分级。

2、例如，公开号为cn115240019a 的专利中公开了一种基于卷积神经网络的消化道肿瘤起源层识别方法，通过设定分类指标，识别消化道肿瘤的起源层次；公开号为cn117218127a 的专利中公开了一种超声内镜辅助监测系统，能够自动识别和分割病变区域，并生成病变标记超声图像，以帮助医生更精确地进行诊断；公开号为cn116823695a 的专利中提出了基于多模态图像数据与深度学习方法的胃粘膜下隆起分类系统，通过构建多种ai模型，实现对胃粘膜下隆起的分类与筛查。

3、尽管现有的这些技术在一定程度上能够辅助医生进行病变的分级和定位，但在实际治疗中，特别是病变的切除过程中，仍然面临着一个关键挑战——如何准确评估切除过程中可能发生的穿孔风险。目前的技术手段主要集中在病变的诊断与分级上，而缺乏针对切除穿孔风险的客观评价标准，这在临床上形成了一个亟待解决的问题，因此，需要研发基于超声内镜图像病变切除风险评估方法。

技术实现思路

1、鉴于上述问题，本发明提供基于超声内镜图像病变切除风险评估方法、系统及装置，旨在提供一种针对切除穿孔风险的准确评估方法，填补医学空白的同时，为临床提供可靠的穿孔风险评估，帮助医生制定更安全的手术方案，降低手术风险。

2、本发明为解决技术问题所采用的技术方案如下：

3、第一方面，本发明提供基于超声内镜图像病变切除风险评估方法，包括：

4、利用目标检测模型对超声内镜图像进行目标检测得到第一检测结果和第二检测结果；

5、根据第一检测结果对超声内镜图像进行裁剪得到第一目标图像，根据第二检测结果对超声内镜图像进行裁剪得到第二目标图像；

6、采用语义分割模型分割第二目标图像中的标志性区域得到第三目标图像；

7、检测第一目标图像中的刻度线段并据此计算每个像素对应的物理长度；

8、提取超声内镜图像的特征参数，所述特征参数包括物理长度特征参数；

9、根据所述特征参数评估穿孔概率。

10、在一个优选的实施例中，所述第一检测结果为超声内镜图像有效区域的坐标信息，所述第一目标图像为超声内镜图像中有效区域的图像；所述第二检测结果为超声内镜下肿瘤区域坐标；所述第二目标图像为超声内镜图像中肿瘤及其周边区域的图像。

11、在一个优选的实施例中，所述第一目标图像包括超声内镜图像中的刻度线段；所述检测第一目标图像中的刻度线段并据此计算每个像素对应的物理长度具体包括：对第一目标图像进行裁剪得到具有刻度线段的子图像，使用图像平滑处理算法和边缘提取图像处理算法处理子图像，然后检测处理后的子图像中的直线段，确定直线段的像素位置信息，计算相邻直线段的像素距离，根据刻度线间距的实际物理距离计算每个像素对应的物理长度。

12、在一个优选的实施例中，所述检测第一目标图像中的刻度线段并据此计算每个像素对应的物理长度具体包括：

13、对第一目标图像进行裁剪得到第一子图像和第二子图像，所述第一子图像具有横坐标轴的刻度线，第二子图像具有纵坐标轴的刻度线；

14、对第一子图像和第二子图像分别进行如下处理一一对应的得到第一处理后子图像和第二处理后子图像：将图像均转换为灰度图像，对灰度图像进行平滑处理，再进行边缘检测处理，得到二值图像；

15、检测第一处理后子图像和第二处理后子图像边缘图像中的直线段；

16、通过对直线段进行线段聚类分析得到各直线段的像素位置信息；

17、计算线段聚类分析同一类中相邻直线段的像素距离；

18、利用已知的刻度线间距的实际物理距离，计算每个像素对应的物理长度，即得到第一物理标志参数。

19、在一个优选的实施例中，采用语义分割模型分割第二目标图像中的标志性区域具体为：分割第二目标图像中的标志性区域并进行区别标记，所述标志性区域包括背景、粘膜下肿瘤区域、粘膜层区域、粘膜肌层区域、粘膜下层区域、固有肌层区域、浆膜层区域。

20、在一个优选的实施例中，所述特征参数包括第一特征参数、第二特征参数、第三特征参数、第四特征参数、第五特征参数、第六特征参数、第七特征参数、第八特征参数、第九特征参数和第十特征参数中的部分或全部；

21、所述第一特征参数为粘膜层区域和粘膜下肿瘤区域的物理距离，第二特征参数为粘膜下肿瘤区域和浆膜层区域的物理距离，第二特征参数含浆膜层区域的物理距离，第三特征参数为第一特征参数与第二特征参数之比；第四特征参数为粘膜下肿瘤区域的物理长度，第五特征参数为粘膜下肿瘤区域短轴的物理长度；第六特征参数为穿孔置信度，第七特征参数为不穿孔置信度；第八特征参数为患者肿瘤发生部位，第九特征参数为患者年龄，第十特征参数为患者性别。

22、在一个优选的实施例中，所述第一特征参数、第二特征参数、第三特征参数的提取过程为：

23、计算粘膜层区域和粘膜下肿瘤区域的主轴方向，并根据所述主轴方向对第三目标图像进行旋转，得到旋正后的第三目标图像；沿垂直方向确定粘膜层区域和粘膜下肿瘤区域的距离，沿垂直方向确定粘膜下肿瘤区域和浆膜层区域底端电的距离，根据第一物理标志参数计算第一特征参数和第二特征参数，计算第三特征参数；

24、所述第四特征参数和第五特征参数的提取过程为：

25、对旋正后的第三目标图像使用最小外接矩形算法来确定粘膜下肿瘤区域的长轴和短轴，短轴垂直于长轴，根据第一物理标志参数计算长轴的物理长度作为第四特征参数，根据第一物理标志参数计算短轴的物理长度作为第五特征参数；

26、所述第六特征参数和第七特征参数的提取过程为：通过预测模型预测第二目标图像的穿孔风险并生成穿孔置信度和不穿孔置信度；

27、所述第八特征参数、第九特征参数和第十特征参数的提取过程为：获得患者肿瘤发生部位患者年龄和患者性别，对患者肿瘤发生部位和患者性别进行数字化处理，数字化的患者肿瘤发生部位作为第八特征参数，患者年龄的阿拉伯数字作为第九特征参数，数字化的患者性别作为第十特征参数。

28、第二方面，本发明提供一种定位丢失检测模型快速迭代系统，包括：

29、目标检测模块，用于利用目标检测模型对超声内镜图像进行目标检测得到第一检测结果和第二检测结果；

30、裁剪模块，用于根据第一检测结果对超声内镜图像进行裁剪得到第一目标图像，根据第二检测结果对超声内镜图像进行裁剪得到第二目标图像；

31、语义分割模块，用于采用语义分割模型分割第二目标图像中的标志性区域得到第三目标图像；

32、物理标志计算模块，用于检测第一目标图像中的刻度线段并据此计算每个像素对应的物理长度；

33、特征提取模块，用于提取超声内镜图像的特征参数，所述特征参数包括物理长度特征参数；

34、评估决策模块，用于根据所述特征参数评估穿孔概率。

35、第三方面，本发明提供基于超声内镜图像病变切除风险评估装置，包括图像获得装置和如第二方面所述的基于超声内镜图像病变切除风险评估系统，所述图像获得装置连接超声内镜检测仪和所述基于超声内镜图像病变切除风险评估系统，所述图像获得装置用于获得超声内镜检测视频并获得超声内镜检测视频中的超声内镜图像。

36、第四方面，本发明提供基于超声内镜图像病变切除风险评估装置，包括存储介质和一个或多个处理器，所述存储介质上存储有一个或多个计算机程序，当所述一个或多个计算机程序被一个或多个处理器执行时，实现第一方面所述基于超声内镜图像病变切除风险评估方法。

37、第五方面，本发明提供一种存储介质，存储有计算机程序，计算机程序被处理器执行时，实现第一方面所述基于超声内镜图像病变切除风险评估方法的步骤。

38、本发明基于超声内镜图像病变切除风险评估方法、系统及装置通过结合目标检测、语义分割和特征提取技术，实现对手术切除过程中穿孔风险的精确预测。本发明还通过结合了多种特征参数进行综合分析，进一步的提高了穿孔风险评估的准确性和可靠性。本发明通过确定每个像素对应的物理长度，实现了从像素到物理长度的精确转换，为后续的定量分析提供了坚实的基础。

39、通过本发明提高了消化道肿瘤手术的安全性，通过精确评估穿孔风险，减少了术中并发症的发生概率。本发明实现了超声图像的高效处理与分析，自动化程度高，能够为医生提供客观的、量化的风险评估依据。本发明提供了一个全新的、系统化的评估方法，弥补了现有技术在穿孔风险预测方面的不足。

技术特征：

1.基于超声内镜图像病变切除风险评估方法，其特征在于，包括：

2.如权利要求1所述的基于超声内镜图像病变切除风险评估方法，其特征在于，所述第一检测结果为超声内镜图像有效区域的坐标信息，所述第一目标图像为超声内镜图像中有效区域的图像；所述第二检测结果为超声内镜下肿瘤区域坐标；所述第二目标图像为超声内镜图像中肿瘤及其周边区域的图像。

3.如权利要求1所述的基于超声内镜图像病变切除风险评估方法，其特征在于，所述第一目标图像包括超声内镜图像中的刻度线段；所述检测第一目标图像中的刻度线段并据此计算每个像素对应的物理长度具体包括：对第一目标图像进行裁剪得到具有刻度线段的子图像，使用图像平滑处理算法和边缘提取图像处理算法处理子图像，然后检测处理后的子图像中的直线段，确定直线段的像素位置信息，计算相邻直线段的像素距离，根据刻度线间距的实际物理距离计算每个像素对应的物理长度。

4.如权利要求3所述的基于超声内镜图像病变切除风险评估方法，其特征在于，所述检测第一目标图像中的刻度线段并据此计算每个像素对应的物理长度具体包括：

5.如权利要求1所述的基于超声内镜图像病变切除风险评估方法，其特征在于，采用语义分割模型分割第二目标图像中的标志性区域具体为：分割第二目标图像中的标志性区域并进行区别标记，所述标志性区域包括背景、粘膜下肿瘤区域、粘膜层区域、粘膜肌层区域、粘膜下层区域、固有肌层区域、浆膜层区域。

6.如权利要求5所述的基于超声内镜图像病变切除风险评估方法，其特征在于，所述特征参数包括第一特征参数、第二特征参数、第三特征参数、第四特征参数、第五特征参数、第六特征参数、第七特征参数、第八特征参数、第九特征参数和第十特征参数中的部分或全部；

7.如权利要求6所述的基于超声内镜图像病变切除风险评估方法，其特征在于，所述第一特征参数、第二特征参数、第三特征参数的提取过程为：

8.基于超声内镜图像病变切除风险评估系统，其特征在于，包括：

9.基于超声内镜图像病变切除风险评估装置，其特征在于，包括图像获得装置和如权利要求8所述的基于超声内镜图像病变切除风险评估系统，所述图像获得装置连接超声内镜检测仪和所述基于超声内镜图像病变切除风险评估系统，所述图像获得装置用于获得超声内镜检测视频并获得超声内镜检测视频中的超声内镜图像。

10.一种存储介质，存储有计算机程序，其特征在于，计算机程序被处理器执行时，实现权利要求1-7任一项所述基于超声内镜图像病变切除风险评估方法的步骤。

技术总结
本发明公开了基于超声内镜图像病变切除风险评估方法、系统及装置，所述方法包括：利用目标检测模型对超声内镜图像进行目标检测得到第一检测结果和第二检测结果；根据第一检测结果对超声内镜图像进行裁剪得到第一目标图像，根据第二检测结果对超声内镜图像进行裁剪得到第二目标图像；采用语义分割模型分割第二目标图像中的标志性区域得到第三目标图像；检测第一目标图像中的刻度线段并据此计算每个像素对应的物理长度；提取超声内镜图像的特征参数，所述特征参数包括物理长度特征参数；根据所述特征参数评估穿孔概率。本发明实现对手术切除过程中穿孔风险的精确预测，为后续的定量分析提供了坚实的基础，提高了消化道肿瘤手术的安全性。

技术研发人员：王玉峰,卢袆,孙家琛
受保护的技术使用者：天津御锦智能医学装备技术有限公司
技术研发日：
技术公布日：2024/9/23