一种影像报告生成方法、装置、电子设备及存储介质与流程

本申请涉及计算机辅助医疗，尤其涉及一种影像报告生成方法、装置、电子设备及存储介质。

背景技术：

1、现有的影像报告生成方法一般包括以下两种：第一种，医生观察医学图像，根据医生的从医经验和医学图像确定病人的检查结果，并根据检查结果生成影像报告；第二种，从采集的多张医学图像中选取一张输入到深度学习模型中，基于深度学习模型对选取的医学图像进行特征提取，得到检查结果，并根据检查结果生成影像报告。

2、现有技术存在的问题是，医生观察医学图像生成影像报告的方法对经验具有严重的依赖性，在经验不足的情况下容易造成影像报告的准确性较差。一次检查通常需要从不同的视角拍摄多张医学图像。目前基于单一医学图像通过深度学习模型生成影像报告的方法，未能全面考虑各个视角下医学图像的特征信息，同样容易造成影像报告的准确性较差。

技术实现思路

1、本申请实施例提供了一种影像报告生成方法、装置、电子设备及存储介质，用以解决现有方法生成的影像报告的准确性较差的问题。

2、第一方面，本申请提供了一种影像报告生成方法，所述方法包括：

3、获取不同视角拍摄的医学图像，将各个医学图像输入预先训练完成的图像特征提取模型中，基于所述图像特征提取模型，对所述各个医学图像进行特征提取，将提取到的各个特征进行融合，并基于融合后的特征确定各个病症特征的类别信息以及第一检查结果；

4、根据所述各个病症特征的类别信息，确定文字描述信息；将所述文字描述信息输入预先训练完成的文本分类模型，基于所述文本分类模型对所述文字描述信息进行特征提取，得到第二检查结果；

5、对所述第一检查结果和所述第二检查结果进行联合决策，确定目标检查结果；根据所述目标检查结果生成影像报告。

6、第二方面，本申请提供了一种影像报告生成装置，所述装置包括：

7、图像处理模块，用于获取不同视角拍摄的医学图像，将各个医学图像输入预先训练完成的图像特征提取模型中，基于所述图像特征提取模型，对所述各个医学图像进行特征提取，将提取到的各个特征进行融合，并基于融合后的特征确定各个病症特征的类别信息以及第一检查结果；

8、文字处理模块，用于根据所述各个病症特征的类别信息，确定文字描述信息；将所述文字描述信息输入预先训练完成的文本分类模型，基于所述文本分类模型对所述文字描述信息进行特征提取，得到第二检查结果；

9、联合处理模块，用于对所述第一检查结果和所述第二检查结果进行联合决策，确定目标检查结果；根据所述目标检查结果生成影像报告。

10、第三方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

11、存储器，用于存放计算机程序；

12、处理器，用于执行存储器上所存放的程序时，实现上述方法步骤。

13、第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述方法步骤。

14、本申请提供了一种影像报告生成方法、装置、电子设备及存储介质，所述方法包括：获取不同视角拍摄的医学图像，将各个医学图像输入预先训练完成的图像特征提取模型中，基于所述图像特征提取模型，对所述各个医学图像进行特征提取，将提取到的各个特征进行融合，并基于融合后的特征确定各个病症特征的类别信息以及第一检查结果；根据所述各个病症特征的类别信息，确定文字描述信息；将所述文字描述信息输入预先训练完成的文本分类模型，基于所述文本分类模型对所述文字描述信息进行特征提取，得到第二检查结果；对所述第一检查结果和所述第二检查结果进行联合决策，确定目标检查结果；根据所述目标检查结果生成影像报告。

15、上述的技术方案具有如下优点或有益效果：

16、本申请中，图像特征提取模型对各个医学图像进行特征提取，将提取到的各个特征进行融合，进而得到第一检查结果。融合不同视角下医学图像的特征信息，提高了第一检查结果的准确性。并且将根据图像特征提取模型得到的各个病症特征的类别信息确定的文字描述信息输入文本分类模型，基于文本分类模型确定第二检查结果，结合第一检查结果和第二检查结果进行联合决策，确定目标检查结果。目标检查结果融合了医学图像特征和文字描述特征，使得根据目标检查结果生成的影像报告准确性更好。

技术特征：

1.一种影像报告生成方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述图像特征提取模型包括各个子网络模型；

3.如权利要求2所述的方法，其特征在于，所述图像特征提取模型的训练过程包括：

4.如权利要求1所述的方法，其特征在于，所述根据所述各个病症特征的类别信息，确定文字描述信息包括：

5.如权利要求1或4所述的方法，其特征在于，所述将所述文字描述信息输入预先训练完成的文本分类模型，基于所述文本分类模型对所述文字描述信息进行特征提取，得到第二检查结果包括：

6.如权利要求5所述的方法，其特征在于，所述将所述各个字的输出词向量输入所述文本分类模型，基于所述文本分类模型对所述文字描述信息进行特征提取，得到第二检查结果包括：

7.如权利要求1所述的方法，其特征在于，所述对所述第一检查结果和所述第二检查结果进行联合决策，确定目标检查结果包括：

8.一种影像报告生成装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。

技术总结
本申请公开了一种影像报告生成方法、装置、电子设备及存储介质，本申请中，图像特征提取模型对各个医学图像进行特征提取，将提取到的各个特征进行融合，进而得到第一检查结果。融合不同视角下医学图像的特征信息，提高了第一检查结果的准确性。并且将根据图像特征提取模型得到的各个病症特征的类别信息确定的文字描述信息输入文本分类模型，基于文本分类模型确定第二检查结果，结合第一检查结果和第二检查结果进行联合决策，确定目标检查结果。目标检查结果融合了医学图像特征和文字描述特征，使得根据目标检查结果生成的影像报告准确性更好。

技术研发人员：张宁,葛赛赛,袁岩,鞠全永,林志鹏,赵欣
受保护的技术使用者：海信集团控股股份有限公司
技术研发日：
技术公布日：2024/9/23