本发明涉及图像分类，尤其涉及基于联合流形对齐重构的组织病理图像分类方法及系统。
背景技术：
1、近年来，由病理学家主导的组织病理图像分析逐渐成为癌症诊断和预后的重要组成部分。病理学图像不仅能提供诊断信息，其丰富的表征能力也对病患临床诊断干预和预测十分重要。在常规临床条件下，由于病理图像人工收集工作量繁重、病理分析主观性较强的特点，基于病理图像分析的癌症诊断方式实施性较差。随着数字病理切片扫描仪的普及，利用计算机进行辅助诊断分析(computer aided diagnosis,cad)成为可以帮助病理学家降低误诊率、缩短诊断时间的有效方式。利用计算机辅助对病理图像进行诊断的步骤通常分为：图像预处理、特征提取和图像分类。早期的工作主要是基于组织病理图像经验知识提取图像特征；利用传统机器学习算法，如支持向量机、随机森林等，来检测或分割组织学图像中的感兴趣区域(regions of interest,roi)，如细胞核和腺体。
2、随着大数据分析和数字切片病理图像的不断发展，深度学习成为计算机辅助病理图像分析的主流选择方法。卷积神经网络(convolutional neural networks,cnn)因其能从原始图像提取有用高阶信息的优势，被广泛应用到自然图像乃至病理学图像分类的研究中。虽然卷积神经网络能够实现图像的准确和高效分类，但这需要大量的带标签图像用于训练，以提升网络的泛化能力和防止过度拟合。由于数据来源隐私性和高成本性等问题，组织病理图像数据量较少，直接使用经典深度神经网络会出现过拟合和泛化能力差的问题。
3、迁移学习(transfer learning,tl)能够通过数量有限的有标签源域样本来学习目标域样本信息，因此在医学图像处理领域受到广泛关注。由于自然图像与医学图像之间差异较大，因此针对组织病理学图像分类任务，应该采用考虑了两域之间相似性的领域自适应(domain adaptation,da)算法。根据目标域数据是否有标签，da算法又可划分为半监督域适应(semi-supervised domain adaptation,ssda)和无监督域适应(unsuperviseddomain adaptation,uda)。ssda基于少数有标签目标域样本，与ssda相比，uda算法由于目标域数据没有任何标签需求而更适用于病理图像分类任务，受到更广泛的关注。
4、uda通常基于cnn提取的高阶特征进行处理，而对于病理图像分类任务，富含纹理和空间信息的低阶特征是表征细胞特征、影响分类精度的不可或缺的一部分。因此，融合数据实例的低阶和高阶特征，提取包含全局和局部信息的融合特征，能使不同领域内相同类别样本间的相似性增强。同时，以往的da方法通常提取全局域偏移，即提取源域和目标域间的不变性表示以最小化两域间的分布差异，但这也同时会对分类器产生混淆，影响最终的分类精度。
技术实现思路
1、本发明提供一种基于联合流形对齐重构的组织病理图像分类方法及系统，解决的技术问题在于：如何对源域和目标域内的子领域提取局部域偏移信息进行分布对齐，实现两域间不同类别的分布差异最小化。
2、为解决以上技术问题，本发明提供基于联合流形对齐重构的组织病理图像分类方法，包括步骤：
3、s1、构建源域数据集和目标域数据集，其中源域数据集包括多个具有标签的源域组织病理学图像样本即源域样本，目标域数据集包括多个不具有标签的目标域组织病理学图像样本即目标域样本；
4、s2、为不具有标签的目标域样本生成伪标签得到具有标签的目标域样本，并将源域和目标域的样本按照标签划分为多个源域子领域数据集和多个目标域子领域数据集；
5、s3、构建图像分类模型，所述图像分类模型包括特征提取融合模块、联合流形对齐重构模块和分类器；
6、所述特征提取融合模块用于提取输入样本的多层次融合特征；所述联合流形对齐重构模块的操作为，首先将多层次融合特征映射到流形公共子空间，然后在该流形公共子空间内，联合源域和目标域相似子领域分布对齐和子领域聚类中心的域间对齐，在最小化相同类别分布差异的同时完成全局分布的匹配，从而将有标签的源域数据信息有效地迁移到无标签的目标域数据，并消除多阶特征之间的信息冗余，最终得到用于跨域分类预测的低维重构特征；所述分类器用于根据每个样本的低维重构特征输出对应的分类预测结果；
7、s4、将多个源域子领域数据集和多个目标域子领域数据集划分出训练集和测试集，并采用所述训练集对所述图像分类模型进行训练，采用所述测试集对训练后的所述图像分类模型进行测试；
8、s5、使用训练后的图像分类模型对输入的待分类目标域组织病理学图像进行分类，输出分类结果。
9、进一步地，在训练过程中，采用的总损失函数包括根据带标签的源域样本及其分类预测概率计算的交叉熵分类损失对所述特征提取融合模块输出的各子领域样本融合特征计算分布差异的融合特征子领域对齐损失以及所述联合流形对齐重构模块的流形对齐重构损失
10、进一步地，流形对齐重构损失构建为：
11、
12、其中，表示根据所述联合流形对齐重构模块的输入和输出计算的流形重构损失，表示根据源域和目标域子领域聚类中心计算的分布损失，表示根据源域子领域中相邻的融合特征、目标域子领域中相邻的融合特征以及源域子领域、目标域子领域中相邻的融合特征计算的域间局部对齐损失，β1和β2为和的权重系数。
13、进一步地，流形重构损失由下式计算：
14、
15、其中，ns和表示nt分别表示训练集中源域样本和目标域样本的数量，分别表示经所述联合流形对齐重构模块得到的第i个源域样本和第j个源域样本的低维重构特征，i≠j，分别表示经所述联合流形对齐重构模块得到的第a个目标域样本和第j个目标域样本的低维重构特征，a≠b，wij表示原始特征空间中第i个源域样本和第j个源域样本的多层次融合特征中fi和fj之间的固有近邻矩阵，wab表示原始特征空间中第a个目标域样本和第b个目标域样本的多层次融合特征中fa和fb之间的固有近邻矩阵，||·||2表示计算欧式距离；
16、任一个源域样本或目标域样本的低维重构特征fr由下式计算：
17、
18、其中，wp为特征投影矩阵，表示任一个源域样本或目标域样本的多层次融合特征。
19、进一步地，域间局部对齐损失由下式计算：
20、
21、其中，c代表分类的数量也即源域或目标域的子领域数量，其中c∈{0,1,2,...,c-1}表示c分类任务的类别标签，nsc、ntc分别表示训练集中类别c的源域样本和目标域样本的数量，分别表示训练集中类别c的第ic个源域样本和第jc个源域样本的多层次融合特征，ic≠jc，分别表示训练集中类别c的第ac个目标域样本和第bc个目标域样本的多层次融合特征，ac≠bc，κ(·)表示高斯核函数。
22、进一步地，分布损失由下式计算：
23、
24、其中，和分别代表源域和目标域内子领域c的聚类中心；
25、源域或目标域的初始聚类中心由下式计算：
26、
27、其中，n表示源域或目标域在类别c上的样本数量，表示源域或目标域在类别c上的第n个样本；
28、在训练过程中，mc由下式更新：
29、
30、其中，分别表示第p轮、第p-1轮更新的标签为c的源域或目标域子领域的聚类中心，α∈[0,1]表示平均移动系数。
31、进一步地，在训练过程中采用的总损失函数设计为：
32、
33、其中，λ1和λ2分别为融合特征子领域对齐损失和流形对齐重构损失的权重；
34、交叉熵分类损失由下式计算：
35、
36、其中，表示所述图像分类模型的输出zs的预测概率。
37、进一步地，训练及测试所述图像分类模型的步骤包括：
38、1)使用imagenet数据集对brenet网络进行预训练；
39、2)迁移brenet网络的特征提取层及其相应参数，加入特征融合层构建特征提取融合模块，建立分类器与所述特征提取融合模块构建为图像分类模型，随即初始化所述分类器的全连接层；
40、3)对源域数据集和目标域数据集按照标签类别分别划分训练集和测试集；
41、4)初始化训练集各个标签的源域及目标域子领域样本的聚类中心；
42、5)进入迭代；在每次迭代中，执行：
43、①采用特征提取融合模块对输入的样本提取各个子领域的多层次融合特征；
44、②根据计算的多层次融合特征计算融合特征子领域对齐损失
45、③将源域和目标域的融合特征映射到流形公共子空间；
46、④计算并更新各个子领域的聚类中心；
47、⑤对更新后的各个子领域类中心对齐，并基于局部最大均值差异机制对各个子领域分布进行对齐；
48、⑥基于特征投影矩阵wp和步骤①计算的多层次融合特征计算各个源域样本和目标域样本的低维重构特征；
49、⑦基于计算的多层次融合特征、低维重构特征和各个子领域的聚类中心计算流形对齐重构损失
50、⑧将各个源域样本和目标域样本的低维重构特征送入分类器；基于分类器的输出计算交叉熵分类损失
51、⑨根据权重λ1、λ2以及计算的融合特征子领域对齐损失流形对齐重构损失交叉熵分类损失计算总损失
52、⑩根据计算的总损失反向传播，更新网络参数；
53、6)采用测试集输入训练完成的图像分类模型进行分类测试。
54、进一步地，所述特征提取融合模块的操作表示为：
55、
56、其中，sk(xi)表示样本xi输入神经网络第k层的特征提取操作；表示样本xi的第k层提取特征的通道数量；gap(·)表示全局平均池化操作，ω表示被选中用于特征融合的高、中和低阶特征的网络层级集合，表示对k∈ω阶特征进行级联操作。
57、本发明还提供一种基于语义相关性聚类的组织病理图像分类系统，其关键在于：搭载有采用上述基于联合流形对齐重构的组织病理图像分类方法生成的图像分类模型。
58、本发明提供的基于联合流形对齐重构的组织病理图像分类方法及系统，其基于imagenet自然数据集预训练的深度迁移模型brenet的多层特征提取融合，其融合特征子领域的流形空间映射分布和聚类中心联合对齐，其基于流形重构特征的图像分类。该系统及方法通过特征提取融合模块抽取多阶特征并进行全局池化融合，获得深度融合特征。然后将该特征输入联合流形对齐重构模块，将特征投影到流形公共子空间，并通过子领域分布对齐和聚类中心对齐以最小化跨域的子领域分布差异，达到域适应的目的；同时特征被投射到了低维空间以消除信息冗余，保留对分类有效的关键信息，进一步提高分类准确率。
1.基于联合流形对齐重构的组织病理图像分类方法，其特征在于，包括步骤：
2.根据权利要求1所述的基于联合流形对齐重构的组织病理图像分类方法，其特征在于：在训练过程中，采用的总损失函数包括根据带标签的源域样本及其分类预测概率计算的交叉熵分类损失对所述特征提取融合模块输出的各子领域样本融合特征计算分布差异的融合特征子领域对齐损失以及所述联合流形对齐重构模块的流形对齐重构损失
3.根据权利要求2所述的基于联合流形对齐重构的组织病理图像分类方法，其特征在于，流形对齐重构损失构建为：
4.根据权利要求3所述的基于联合流形对齐重构的组织病理图像分类方法，其特征在于，流形重构损失由下式计算：
5.根据权利要求4所述的基于联合流形对齐重构的组织病理图像分类方法，其特征在于，域间局部对齐损失由下式计算：
6.根据权利要求5所述的基于联合流形对齐重构的组织病理图像分类方法，其特征在于，分布损失由下式计算：
7.根据权利要求6所述的基于联合流形对齐重构的组织病理图像分类方法，其特征在于，在训练过程中采用的总损失函数设计为：
8.根据权利要求7所述的基于联合流形对齐重构的组织病理图像分类方法，其特征在于，训练及测试所述图像分类模型的步骤包括：
9.根据权利要求1～8任一项所述的基于联合流形对齐重构的组织病理图像分类方法，其特征在于，所述特征提取融合模块的操作表示为：
10.基于语义相关性聚类的组织病理图像分类系统，其特征在于：搭载有采用权利要求1～9任一项所述基于联合流形对齐重构的组织病理图像分类方法生成的图像分类模型。
