一种胃癌图像识别模型的构建方法及其应用

本发明属于医学领域，更具体的涉及利用图像识别模型实现病变图像自动识别的。

背景技术：

1、虽然胃癌的发病率从1975年起逐渐下降，但2012年仍有将近100万的新发病例，使之成为世界第五大最常见的恶性肿瘤。在死亡率方面，胃癌是世界第三大癌症死因。

2、胃癌的预后极大程度上取决于它的分歧。有研究表明胃早癌的5年生存率几乎超过90％，而进展期胃癌的生存率却低于20％。所以，在高风险患癌人群中早期发现和规律随诊是降低胃癌发病率、提高患者生存率的最有效的手段。

3、由于普通白光内镜诊断胃癌(尤其是浅表平坦型病变)的误诊、漏诊率相当高，各种内镜诊断技术应运而生。但是应用这些内镜设备不仅需要的高超的操作技巧，还需要可观的经济支持。因此，急需研发一种发现、诊断胃早癌及癌前病变的简单易得、经济实用并且安全可靠的诊断技术。

技术实现思路

1、发明人在长期的医学实践中，为了减少人为内镜诊断所带来的各种问题，利用机器学习技术，经过多次开发、反复优化和训练获得了可用于胃癌图像中病变部位识别的神经网络，即一种基于人工智能的胃癌图像识别模型。特别是，发明人在训练时创新性的改进了训练图像集的预处理方法，从而使得经过训练的神经网络可精准的判定图像中是否存在病变以及病变存在位置和/或概率，使得基于神经网络的图像识别模型的应用从病理学的分类提升至病变的精准识别，大大提高了临床应用价值。本发明构建的图像识别模型能够非常精准的识别病理图像(如胃镜图片和实时图像)中的癌症病变部位，其识别率甚至已经超过了内科专家医师。

2、本发明的第一个方面提供了一种能够自动识别图像中病变和/或其位置的图像识别模型的构建方法，所述病变为胃癌，其包括下列步骤：

3、s1.获取病变数据

4、获得m张被确诊患有胃癌患者的包含病变部位的图像，所述图像优选为内镜图像，从而构建训练集，其中m为1至100000之间的自然数，例如50-50000、100-10000、500-7000、1000-5000或3000-4000之间的自然数；

5、s2.图像预处理

6、针对步骤s1得到的训练集，精确框选胃癌的病灶部位，其中框选内的部分定义为阳性样本，而框选外的部分定义为阴性样本，同时记录和/或输出病灶的位置坐标信息和病灶类型信息；

7、s3.训练图像识别模型

8、利用经过s2步骤的训练集对基于神经网络(优选为卷积神经网络，更优选为基于faster-rcnn构架的神经网络)的图像识别模型进行训练(优选为有监督训练)，通过预设的算法调整可训练参数，从而获得能够识别胃癌的图像识别模型；

9、在一个实施方案中，其中所述框选能够生成一个包含病灶部位的矩形框或正方形框；所述坐标信息优选为所述矩形框或正方形框的左上角和右下角的点的坐标信息；优选的，所述框选利用计算机软件进行。

10、在另一个实施方案中，其中框选部位通过下述步骤确定：2n位内镜医师以“背对背”方式进行框选，即将2n人随机分成n组，2人/组，同时将所有图像随机分成n份，并随机分配给各组医师进行框选；当框选完成后，对比每组两位医师的框选结果，并对两位医师之间框选结果的一致性进行评估，最终确定框选部位，其中n为1-100之间的自然数，例如1、2、3、4、5、6、7、8、9、10、20、30、40、50、60、70、80、90或100；

11、在一个具体实施方案中，所述对两位医师之间框选结果的一致性进行评估的标准如下：

12、针对每一张病变图像，对比每组2位医师的框选结果的重叠面积，如果每组两位医师分别框选的部位重叠部分的面积(即交集)大于该两者的并集所覆盖的面积的50％，则认为2位医师的框选判断结果一致性好，并且将上述交集对应的对角线坐标保存为目标病变最终的定位；

13、若重叠部分的面积(即交集)小于该两者的并集所覆盖的面积的50％，则认为2位医师的框选判断结果相差较大，此类病变图像被单独挑选出来，由所有参与框选工作的2n位医师共同讨论确定目标病变的最终位置；

14、在另一个实施方案中，其中步骤s2中还预先对图像进行脱敏处理。

15、在另一个实施方案中，其中所述图像识别模型包括：

16、a)特征提取器

17、所述特征提取器由x个卷积层和y个采样层组成，其中第i个(i在1-x之间)卷积层包含个qi个尺寸为m*m*pi的卷积核，其中m*m表示卷积核的长和宽的像素值，pi等于上一个卷积层的卷积核数量qi-1，在第i个卷积层中，卷积核以步长l对来自上一级的数据(包括原图、第i-1个卷积层、或者采样层)进行卷积操作；每个采样层包含1个以步长2l移动的，大小为2l*2l的卷积核，对卷积层输入的图像进行卷积操作；其中，经过特征提取器进行特征提取后，最终获得qx维的特征图；

18、其中x在1-20之间，例如，1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19或20；y在1-10之间，例如1、2、3、4、5、6、7、8、9或10；m在2-10之间，例如2、3、4、5、6、7、8、9或10；p在1-1024之间，q在1-1024之间，p或q的数值分别例如1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、32、64、128、256、512或1024；

19、b)候选区域选定器

20、在由原图特征提取层所提取的特征图中设置滑动窗口，滑动窗口的大小为n×n，例如3×3；使滑动窗口沿特征图滑动，同时对于滑动窗口所在的每一个位置，其中心点与原图中的相应位置存在对应关系，并以所述相应位置为中心在原图中生成k个具有不同的尺度和长宽比的候选区域；其中，如果k个候选区域具有x种(例如3种)不同的尺度和长宽比，则k＝x2(例如k＝9)；

21、c)目标识别器

22、其又包括中间层，分类层和边框回归层，其中中间层，用于映射滑窗操作所形成的候选区域的数据，是一个多维(例如256维或512维)的向量；

23、分类层和边框回归层分别与中间层连接，用于判定该目标候选区域是前景(即阳性样本)还是背景(即阴性样本)，以及用于生成候选区域中心点的x坐标和y坐标、以及候选区域的宽w和高h。

24、在另一个实施方案中，其中在步骤s3中，采用基于mini-batch的梯度下降法进行所述训练，即对每一张训练图片产生一个包含多个阳性和阴性候选区域的mini-batch；随后从每张图片中随机抽样256个候选区域直到阳性候选区域样本和阴性候选区域的比例接近1:1，随后计算对应的mini-batch的损失函数(loss function)；若一张图片中阳性候选区域的数量少于128个，则用阴性候选区域去填补这个mini-batch；优选的，将前50000个mini-batch的学习率设置为0.001，将后50000个mini-batch的学习率设置为0.0001；动量项优选设置为0.9，权值衰减优选设置为0.0005。

25、本发明的第二个方面提供了一种由第一个方面的方法所得到的图像识别模型。

26、本发明的第三个方面提供了一种图像中病变和/或其位置的识别方法，其包括：

27、i)利用本发明第一个方面所述的方法训练图像识别模型；

28、ii)识别病变图像

29、利用步骤i)得到的图像识别模型，对待检图像进行识别，确定所述待检图像中是否存在病变以及病变位置和/或概率；所述待检图像可以是内镜照片或者是实时影像。

30、在一个实施方案中，其中在步骤ii)中，分类评分被设定为0.85，即图像识别模型确认病变概率超过85％的病灶才会被标示出来，从而该待检图像被判定为阳性，即包含病变部位；相反，如果图像识别模型并未在待检图像中检测到病变概率超过85％的病灶，则该图像被判定为阴性，即不包含病变部位。

31、本发明的第四个方面提供了一种病变图像的处理方法，其包括权利要求8或9中任一项所述的步骤。

32、经过发明人长期的摸索发现，由于胃癌病变特别是早期病变部位存在着自身特点，即病变部位不够显著以及与周边组织界限不够清晰，因此图像识别模型训练的难度比起来常规的任务(如识别生活中物体)的难度更大，稍加不慎即会导致训练难以收敛从而导致失败。而在本发明中，发明人通过利用严格的方法框选目标病变位置，使得神经网络能够在学习时能够更精准的学习目标病变的特征，再经过有监督训练最终获得了一种用于胃癌图像处理的神经网络模型，即本发明的图像识别模型，从而实现对内镜图片中的胃癌病灶的智能高效识别，其识别率高于普通的内镜医师。使用机器学习加强后的实时诊断系统，还能够对消化道病变及其位置和概率进行实时监控和识别，从而能够极大提升普通医生对胃癌的检出率，降低误诊率，为胃癌诊断提供了安全可靠的技术。

技术特征：

1.一种能够识别图像中病变和/或其位置的图像识别模型的构建方法，所述病变为胃癌，其包括下列步骤：

2.根据权利要求1所述的方法，其中所述框选能够生成一个包含病灶部位的矩形框或正方形框；所述坐标信息为所述矩形框或正方形框的左上角和右下角的点的坐标信息。

3.根据权利要求1所述的方法，其中框选部位通过下述步骤确定：2n位内镜医师以“背对背”方式进行框选，即将2n人随机分成n组，2人/组，同时将所有图像随机分成n份，并随机分配给各组医师进行框选；当框选完成后，对比每组两位医师的框选结果，并对两位医师之间框选结果的一致性进行评估，最终确定框选部位，其中n为1-100之间的自然数；

4.根据权利要求1所述的方法，其中步骤s2中还预先对图像进行脱敏处理。

5.根据权利要求1所述的方法，其中所述图像识别模型包括：

6.根据权利要求1所述的方法，其中在步骤s3中，采用基于mini-batch的梯度下降法进行所述训练，即对每一张训练图片产生一个包含多个阳性和阴性候选区域的mini-batch；随后从每张图片中随机抽样256个候选区域直到阳性候选区域样本和阴性候选区域的比例接近1:1，随后计算对应的mini-batch的损失函数；若一张图片中阳性候选区域的数量少于128个，则用阴性候选区域去填补这个mini-batch。

7.一种由权利要求1至6中任一项所述方法得到的图像识别模型。

8.一种图像中病变和/或其位置的识别方法，所述病变为胃癌，其包括：

9.根据权利要求8所述的方法，其中在步骤ii)中，分类评分被设定为0.85，即图像识别模型确认病变概率超过85％的病灶才会被标示出来，从而该待检图像被判定为阳性，即包含病变部位；相反，如果图像识别模型并未在待检图像中检测到病变概率超过85％的病灶，则该图像被判定为阴性，即不包含病变部位。

10.一种病变图像的处理方法，其包括权利要求8或9中任一项所述的步骤。

技术总结
本发明涉及一种基于人工智能的胃癌图像识别模型的构建方法，该图像识别模型能够准确的识别胃癌图像中的病变部位。

技术研发人员：张澍田,曹立宏,陈雯婕,陈蕾,杜凤桐,闵力,朱圣韬
受保护的技术使用者：首都医科大学附属北京友谊医院
技术研发日：
技术公布日：2024/9/23