一种脑疾病分类方法及装置

本技术涉及深度学习，尤其涉及一种脑疾病分类方法及装置。

背景技术：

1、现有技术中，仅将病人的平面影像数据(2d影像数据)输入至深度学习模型来进行脑疾病分类。而平面影像数据的信息量较少，导致对脑疾病进行分类的效果较差。或者，仅将病人的三维影像数据(3d影像数据)输入至深度学习模型来进行脑疾病分类，但是由于三维影像数据具有较高的信息维度，并且医学中的三维影像数据相对较为缺乏，模型训练通常无法达到令人满意的效果。并且，现有的脑疾病分类没有充分探索脑影像的特点，仍然以常规的方式处理医学脑影像，导致设计的模型在脑疾病分类上的效果不佳。

技术实现思路

1、有鉴于此，本技术的目的在于至少提供一种脑疾病分类方法及装置，通过待分类脑部在多个影像模态下分别对应的多个切片图像及影像报告作为多模态特征，通过深度学习模型来实现多模态特征的融合并对待分类脑部的脑疾病进行分类，能够解决现有技术中三维脑影像数据冗余程度高、脑疾病分类精度低的技术问题，达到提高分类精度的技术效果。

2、本技术主要包括以下几个方面：

3、第一方面，本技术实施例拟提供一种脑疾病分类方法，所述方法包括：获取待分类脑部的影像信息及所述影像信息对应的影像报告，所述影像信息包括所述待分类脑部在多个影像模态下分别对应的多个切片图像，所述影像报告信息用于对所述影像信息进行描述；通过预先训练好的特征提取模型，对所述影像信息进行特征提取得到影像特征，对所述影像报告进行特征提取得到文本特征；引入脑结构模板，设计基于影像特征的特征筛选模型，以通过所述文本特征对影像特征进行特征处理，得到降低维度的聚合图像特征；通过多模态融合模型，将所述聚合图像特征与所述文本特征进行特征融合，得到所述待分类脑部的多模态融合特征；将所述多模态融合特征输入分类模型，确定出所述待分类脑部的疾病类型。

4、可选地，所述影像报告包括多个文本描述，每个文本描述匹配所述脑结构模板中的至少一个脑结构名称，所述特征提取模型包括影像编码器和文本编码器，其中，所述影像编码器用于针对每个切片图像进行特征提取而得到该切片图像对应的影像特征，所述文本编码器用于对所述影像报告进行特征提取而得到影像报告特征，以按照所述脑结构模板中的脑结构名称对所述影像报告特征进行划分而得到每个文本描述的文本特征。

5、可选地，所述多个切片图像包括多个原始切片图像或多个目标切片图像，其中，所述多个原始切片图像包括：针对每个影像模态，按照所述脑结构模板的脑结构名称在该影像模态下的三维图像进行切片而得到的多个原始切片图像；所述多个目标切片数据包括：按照所述脑结构模板，确定每个原始切片图像中的脑结构名称是否匹配至少一个文字描述；针对每个原始切片图像，在该原始切片图像中的脑结构名称匹配至少一个文字描述时，在该原始切片图像中筛选出与至少一个文字描述相匹配的脑结构名称的像素区域作为该原始切片图像对应的目标切片图像，在该原始切片图像中的脑结构名称不匹配文字描述时，将该原始切片图像作为目标切片图像。

6、可选地，通过以下方式得到所述聚合图像特征：确定对多个切片图像分别对应的所述影像特征进行特征拼接的第一融合特征，所述第一融合特征指的是将多个原始切片图像分别对应的所述影像特征进行特征拼接而得到的融合特征，或者，所述第一融合特征指的是将每个文本描述匹配的目标切片图像分别对应的所述影像特征进行特征拼接而得到的融合特征；针对每个文本描述，将该文本描述与所述第一融合特征输入所述特征筛选模型进行特征融合，以得到通过该文本描述对所述第一融合特征进行加权后的第二融合特征；将多个文本描述分别对应的所述第二融合特征进行特征拼接，得到所述待分类脑部对应的所述聚合图像特征。

7、可选地，所述特征筛选模型是基于多头注意力机制而设计的模型，所述特征筛选模型包括多个注意力头，通过以下方式得到每个文本描述的第二融合特征：针对每个注意力头，将该文本描述的文本特征作为查询向量，将所述第一融合特征作为键向量和值向量，来进行特征融合，得到通过该文本描述对所述第一融合特征进行加权后的单头影像融合特征；将该文本描述在多个注意力头分别对应的所述单头影像融合特征进行特征拼接，得到该文本描述的第二融合特征。

8、可选地，所述单头影像融合特征包括：基于所述多个文本描述，对多个切片图像分别对应的所述影像特征进行注意力权重增强后进行特征拼接，通过以下方式对每个切片图像对应的所述影像特征进行注意力权重增强：确定该切片图像中的脑结构是否匹配至少一个文本描述；在该切片图像中的脑结构匹配至少一个文本描述时，增加该切片图像对应的所述影像特征的注意力权重；在该切片图像中的脑结构不匹配文本描述时，保持该切片图像对应的所述影像特征的注意力权重不变。

9、可选地，所述多模态融合模型是基于自注意力机制而设计的模型，通过以下方式得到所述待分类脑部的多模态融合特征：采用自注意力机制对所述聚合图像特征进行特征融合，得到加权图像特征；在对多个文本描述分别对应的所述文本特征进行特征拼接之后，再与所述加权图像特征进行特征融合得到所述多模态融合特征。

10、第二方面，本技术实施例还提供一种脑疾病分类装置，所述装置包括：获取模块，用于获取待分类脑部的影像信息及所述影像信息对应的影像报告，所述影像信息包括所述待分类脑部在多个影像模态下分别对应的多个切片图像，所述影像报告用于对所述影像信息进行描述；特征提取模块，用于通过预先训练好的特征提取模型，对所述影像信息进行特征提取得到影像特征，对所述影像报告进行特征提取得到文本特征；第一融合模块，用于引入脑结构模板，设计基于影像特征的特征筛选模型，以通过所述文本特征对影像特征进行特征处理，得到降低维度的聚合图像特征；第二融合模块，用于通过多模态融合模型，将所述聚合图像特征与所述文本特征进行特征融合，得到所述待分类脑部的多模态融合特征；分类模块，用于将所述多模态融合特征输入分类模型，确定出所述待分类脑部的疾病类型。

11、第三方面，本技术实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的脑疾病分类方法的步骤。

12、第四方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的脑疾病分类方法的步骤。

13、本技术实施例提供的一种脑疾病分类方法及装置，方法包括：获取待分类脑部的影像信息及所述影像信息对应的影像报告，所述影像信息包括所述待分类脑部在多个影像模态下分别对应的三维图像的多个切片图像，所述影像报告用于对所述影像信息进行描述；通过预先训练好的特征提取模型，对所述影像信息进行特征提取得到影像特征，对所述影像报告进行特征提取得到文本特征；引入脑结构模板，设计基于影像特征的特征筛选模型，以通过所述文本特征对影像特征进行特征处理，得到降低维度的聚合图像特征；通过多模态融合模型，将所述聚合图像特征与所述文本特征进行特征融合，得到所述待分类脑部的多模态融合特征；将所述多模态融合特征输入分类模型，确定出所述待分类脑部的疾病类型。通过待分类脑部在多个影像模态下分别对应的多个切片图像及影像报告作为多模态特征，通过深度学习模型来实现多模态特征的融合并对待分类脑部的脑疾病进行分类，能够解决现有技术中三维脑影像数据冗余程度高、脑疾病分类精度低的技术问题，达到提高分类精度的技术效果。

14、为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种脑疾病分类方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述影像报告包括多个文本描述，每个文本描述匹配所述脑结构模板中的至少一个脑结构名称，所述特征提取模型包括影像编码器和文本编码器，

3.根据权利要求2所述的方法，其特征在于，所述多个切片图像包括多个原始切片图像或多个目标切片图像，

4.根据权利要求3所述的方法，其特征在于，通过以下方式得到所述聚合图像特征：

5.根据权利要求4所述的方法，其特征在于，所述特征筛选模型是基于多头注意力机制而设计的模型，所述特征筛选模型包括多个注意力头，

6.根据权利要求5所述的方法，其特征在于，所述单头影像融合特征包括：基于所述多个文本描述，对多个切片图像分别对应的所述影像特征进行注意力权重增强后进行特征拼接，

7.根据权利要求1所述的方法，其特征在于，所述多模态融合模型是基于自注意力机制而设计的模型，通过以下方式得到所述待分类脑部的多模态融合特征：

8.一种脑疾病分类装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行如权利要求1至7任一所述的脑疾病分类方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一所述的脑疾病分类方法的步骤。

技术总结
本申请提供了一种脑疾病分类方法及装置，其中，方法包括：获取待分类脑部在三维多模态下的影像信息及其对应的影像报告；通过预先训练好的特征提取模型，对影像信息进行特征提取得到影像特征，对影像报告进行特征提取得到文本特征；引入脑结构模板，设计基于影像特征的特征筛选模型，以通过文本特征对影像特征进行特征筛选、过滤与融合，得到降低维度的聚合图像特征；通过多模态融合模型，将聚合图像特征与文本特征进行特征融合，得到待分类脑部的多模态融合特征；将多模态融合特征输入分类模型，确定出待分类脑部的疾病类型。本申请解决了现有技术中三维脑影像数据冗余程度高、脑疾病分类精度低的技术问题，达到提高分类精度的技术效果。

技术研发人员：刘亚欧,张美慧,叶初阳,高鑫,卓芝政,赵山博,陈龙飞,李俊杰
受保护的技术使用者：首都医科大学附属北京天坛医院
技术研发日：
技术公布日：2024/9/23