本发明涉及人工智能和图像识别，特别涉及一种基于多模态融合的头颈部鳞状细胞癌复发率预测方法、系统、设备及介质。
背景技术：
1、头颈部鳞状细胞癌(head and neck squamous cell carcinoma，hnscc)是一种在全球范围内报告数量巨大的头颈部恶性肿瘤，每年超过65万例。它是全球第六大最常见的恶性肿瘤之一，具有高发病率、高病死率、预后较差以及表现复杂等特点。该类型肿瘤主要发生于口腔、口咽部和下咽部等位置。在治疗hnscc时，常规的方法之一是放射治疗。然而，hnscc的局部复发率(lr)因原发部位和分期而异，大约在15％至50％之间。此外，经过治疗的lr患者通常预后较差，5年生存率约为50％。
2、为了提前发现可能发生lr的高危患者，并对其进行更加精准的治疗，医学界需要深入研究并开发准确的预测模型。这些模型可以利用临床数据、影像学数据和分子生物学数据等多方面信息，结合先进的计算机技术和人工智能算法，实现对hnscc复发率的准确预测。
3、在现有技术方案中，放射组学和剂量组学是常见的方法之一。这些方法通过分析患者的临床和治疗数据，如放疗剂量、肿瘤形态学特征等，来预测复发率。然而，这些方法的局限性在于它们依赖于专业知识和经验来选择合适的特征提取算法、数据处理技术和统计分析方法，更多地依赖于人类专家的知识和经验，存在主观性和局限性。
4、1.现有放射组学技术更多地依赖于人类专家的知识和经验，存在主观性和局限性的问题。这种依赖性可能导致诊断和预测结果的不一致性，同时也限制了其在复杂医学影像中准确提取特征的能力。
5、2.现有的深度学习技术往往局限于单一模态的数据输入，无法充分利用多模态数据的信息。然而，不同模态的医学影像数据包含着互补的信息，单一模态处理难以全面理解和分析肿瘤的特征。
6、另外，diamant a等人提出了一种基于卷积神经网络(cnn)处理ct图像的方法(文献名：deep learning in head neck cancer outcome prediction[j].刊号：scientificreports,2019,9(1):1-10.)，用于预测hnscc的远转移率、总生存期等。虽然这种方法在图像处理方面取得了一定的成果，但它仅限于单一模态数据的处理，未能充分利用多模态数据的优势。
技术实现思路
1、为了克服上述现有技术存在的问题，本发明提出了一种基于多模态融合的头颈部鳞状细胞癌复发率预测方法、系统、设备及介质，通过将ct和pet两种图像的特征进行融合，充分结合了pet图像的高对比度和ct图像的高空间分辨率结构信息，从而有效地弥补了单模态影像存在的问题；通过构建双输入的3d卷积神经网络，能够同时接受经过预处理后的ct和pet图像作为输入，并通过卷积操作自主提取图像中的特征；相较于传统的单模态输入网络，双输入网络可以更全面地分析肿瘤的特征，充分利用了多模态数据的信息，从而提高了复发率的预测准确性。
2、为了实现上述目的，本发明采用的技术方案为：
3、一种基于多模态融合的头颈部鳞状细胞癌复发率预测方法，具体包括以下步骤：
4、步骤1、获取hnscc患者的ct和pet图像数据以及对应的标签信息，对获取到的ct和pet图像进行预处理操作，保持数据的一致性和准确性并减少非病灶区域的影响；
5、步骤2、构建双输入的3d卷积神经网络模块，实现多模态特征信息的有效融合，以便更好地提取ct和pet图像的时空特征；
6、步骤3、对步骤2处理后的深度学习模型进行训练，针对数据集正负样本不平衡问题，选取合适的参数优化方法和评价指标，优化并确定模型参数；
7、步骤4、使用步骤3训练好的模型对这些数据进行分类，从而实现对患者是否存在复发的预测。
8、所述步骤1具体方法为：
9、1.1获取若干hnscc患者的pet/ct图像数据以及临床数据标签；其中ct图像是以dicom格式存储的切片序列，pet图像同样以dicom格式存储且包含了完整的三维体积数据；使用影像组学软件导入ct和pet图像，并进行可视化和筛选工作，以确保使用的图像数据是完整的和可用的；对于完整的图像数据，读取dicom格式的图像数据；针对ct图像，合并切片序列以构建出完整的三维ct图像，并将最终的图像数据进行存储；
10、1.2在模型训练之前进行预处理操作，以确保模型的输入数据中包含肿瘤部分，并且保持数据的一致性和准确性：
11、1.2.1重采样：使用双线性插值对ct和pet图像进行重采样，使它们的体素尺寸统一，以便进一步的处理；
12、1.2.2设置ct图像窗位窗宽：先将ct图像的像素值转换成hu值；再将ct图像的阈值调整为-140≤hu≤260，改善ct图像的对比度与亮度，减少非病灶区域组织的影响，以更好地观察肿瘤区域；
13、1.2.3裁剪：将ct和pet图像以病灶中心为中点裁剪成自定义尺寸的三维图像；
14、1.2.4归一化：将像素值映射到[-1，1]区间内，确保它们具有相似的尺度和范围；
15、1.2.5数据增强：将归一化后的ct和pet图像在左右、前后、上下方向进行翻转，并将所有翻转方向的组合应用于训练数据集。
16、所述步骤2的具体方法为：
17、将预处理后的ct和pet图像作为深度学习模型的输入部分，首先，通过一个3d卷积层，接着，通过一个批规范化层(batchnorm，bn)和一个激活函数层(relu)以增强模型的非线性拟合能力；然后，经过一个最大池化层以减少特征图的空间维度；之后，将提取得到的ct和pet图像特征向量的对应位置特征值进行相加，从而实现多模态特征信息的有效融合；接着，融合后的特征被输入至后续的网络进行特征提取和复发率预测，后续特征提取部分包含四个卷积模块，模型卷积结构全部采用3d卷积，前三个模块分别包含一个卷积层、一个bn层、一个relu激活函数层和一个最大池化层；最后一个模块包含一个卷积层、一个bn层和一个relu激活函数层；经过所有卷积和池化层之后，将提取到的特征层转化为一维的特征向量输入至全连接层进行分类，最后深度学习模型输出一个类别概率。
18、所述步骤3的具体方法为：
19、通过二分类任务，优先选择bcewithlogitsloss作为损失函数，将sigmoid函数和二元交叉熵损失(bceloss)结合在一起，对步骤2深度学习模型参数进行训练，其表达式如式(1)；采用加权损失函数作为深度学习模型训练过程中的损失函数，其中加权系数设置为2.0；损失函数表达式如式(2)所示：
20、
21、其中，σ(x)为sigmoid函数，pi表示样本xi被预测为正例的概率，yi表示样本xi的真实标签，pc为正样本类别权重，n为batchsize大小，c为类别数。
22、所述步骤3中，深度学习模型训练采用五折交叉验证方法，对每一折训练集和测试集进行p值(p-value)校验，确保p-value＞0.01，即训练集和测试集无显著相关性。
23、所述二分类任务中，实际的数据集中具有正负样本不平衡现象，因此选用roc曲线和auc作为模型的评价指标，auc为roc曲线的下曲线面积；roc曲线上的每一个点代表在某个特定阈值下所计算得到的真阳性率(tpr)和假阳性率(fpr)；tpr和fpr的表达式分别如式(3)和式(4)所示：
24、
25、其中，tp为被正确地划分为正例的个数，fn为被错误地划分为负例的个数，fp为被错误地划分为正例的个数，tn为被错误地划分为正例的个数；auc≥0.5认为该模型有效。
26、所述步骤4具体方法为：
27、首先将预处理后的ct和pet图像输入到步骤3训练好的深度学习模型中；然后，通过深度学习模型的前向传播，将图像数据经过一系列的卷积、池化、批规范化和激活函数等操作，最终输出一个概率值，根据输出的概率值进行阈值处理；最后，将预测结果输出给医生或者系统用户，供其参考和决策；这个结果以文字形式呈现，或以图形化形式展示。
28、基于上述预测方法的一种基于多模态融合的头颈部鳞状细胞癌复发率预测系统，包括：
29、预处理模块：用于步骤1中获取hnscc患者的ct和pet图像数据以及对应的标签信息，对获取到的ct和pet图像进行预处理操作，保持数据的一致性和准确性并减少非病灶区域的影响；
30、模型结构确定模块：用于步骤2中构建双输入的3d卷积神经网络模块，实现多模态特征信息的有效融合，以更好地提取ct和pet图像的时空特征；
31、模型参数优化模块：用于步骤3中针对数据集正负样本不平衡问题，选取合适的参数优化方法和评价指标，优化并确定模型参数；
32、预测模块：用于步骤4中对于采集到的ct和pet图像经过预处理模块，再使用训练好的模型对这些数据进行分类，从而实现对患者是否存在复发的预测。
33、基于上述预测方法的一种基于多模态融合的头颈部鳞状细胞癌复发率预测设备，包括：
34、存储器，用于存储计算机程序；
35、处理器，用于执行所述计算机程序时实现步骤1至4所述基于多模态融合的头颈部鳞状细胞癌复发率预测方法。
36、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够基于步骤1至4所述方法实现基于多模态融合的头颈部鳞状细胞癌复发率预测。
37、相对于现有技术，本发明具有如下有益效果：
38、1.在多模态数据融合方面，相较于传统的单一模态数据分析，本发明将ct和pet图像的特征进行融合，通过综合利用多种数据信息，提高了对肿瘤的识别准确性和复发率的预测能力。若单独使用ct或pet图像进行分析时，可能会受到某一种影像模态的局限性，而本发明的多模态数据融合充分结合了pet图像的高对比度和ct图像的高空间分辨率结构信息，从而有效地弥补了单模态影像存在的问题，提供更全面、准确的信息，从而提高了诊断的精度和可靠性。
39、2.在网络模型结构方面，本发明采用双输入的3d卷积神经网络结构。3d卷积能够同时考虑图像的空间信息和深度信息，从而能够更好地捕捉到体积数据中的三维空间结构。这对于医学影像等体积数据来说尤其重要，因为其中的关键信息可能分布在整个体积中，而不仅仅是在单个切片上。因此能够提取更全面和丰富的特征表示。这有助于识别更复杂的模式和结构，从而提高模型的表现和泛化能力。相对于单一模态的神经网络模型，本发明的双输入3d卷积神经网络模型能够同时接收ct和pet图像作为输入，通过并行处理多个输入数据，从而缩短了模型的训练和推理时间。这种模型结构也使得网络能够充分利用不同模态的信息，提高了对肿瘤特征的准确捕捉和分析能力，实现了全自动化的hnscc复发率预测系统，进一步提升了诊断的准确性和可靠性。
40、3.在数据预处理方面：针对hnscc患者ct和pet图像的特点，本发明优化了预处理流程，包括重采样、窗位窗宽调整、裁剪、归一化和数据增强等步骤。这些优化步骤有助于提取更准确的特征，并改善了模型的稳定性和泛化能力。例如，数据增强可以有效扩充训练数据集，降低过拟合的风险；窗位窗宽调整能够增强影像的对比度，使得关键特征更加突出。因此，优化的预处理流程使得模型更适应实际医学影像数据的特点，提高了模型的鲁棒性和适用性。
41、综上，本发明针对hnscc复发率预测的挑战，通过先进的深度学习技术，系统能够全自动地、更精准地预测hnscc患者的复发率，实现hnscc复发率预测的全自动化；为临床医生提供更准确、更可靠的hnscc复发率预测，从而帮助优化患者的治疗方案和改善预后效果。
1.一种基于多模态融合的头颈部鳞状细胞癌复发率预测方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的一种基于多模态融合的头颈部鳞状细胞癌复发率预测方法，其特征在于，所述步骤1具体方法为：
3.根据权利要求1所述的一种基于多模态融合的头颈部鳞状细胞癌复发率预测方法，其特征在于，所述步骤2的具体方法为：
4.根据权利要求1所述的一种基于多模态融合的头颈部鳞状细胞癌复发率预测方法，其特征在于，所述步骤3的具体方法为：
5.根据权利要求4所述的一种基于多模态融合的头颈部鳞状细胞癌复发率预测方法，其特征在于，所述步骤3中，深度学习模型训练采用五折交叉验证方法，对每一折训练集和测试集进行p值(p-value)校验，确保p-value＞0.01，即训练集和测试集无显著相关性。
6.根据权利要求4所述的一种基于多模态融合的头颈部鳞状细胞癌复发率预测方法，其特征在于，所述二分类任务中，实际的数据集中具有正负样本不平衡现象，因此选用roc曲线和auc作为模型的评价指标，auc为roc曲线的下曲线面积；roc曲线上的每一个点代表在某个特定阈值下所计算得到的真阳性率(tpr)和假阳性率(fpr)；tpr和fpr的表达式分别如式(3)和式(4)所示：
7.根据权利要求1所述的一种基于多模态融合的头颈部鳞状细胞癌复发率预测方法，其特征在于，所述步骤4具体方法为：
8.基于权利要求1至7任一项所述预测方法的一种基于多模态融合的头颈部鳞状细胞癌复发率预测系统，其特征在于，包括：
9.基于权利要求1至7任一项所述预测方法的一种基于多模态融合的头颈部鳞状细胞癌复发率预测设备，其特征在于，包括：
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时能够基于步骤1至4所述方法实现基于多模态融合的头颈部鳞状细胞癌复发率预测。
