医疗报告信息提取方法、系统、电子设备和可读存储介质与流程

本申请涉及数据处理，特别是涉及一种医疗报告信息提取方法、系统、电子设备和可读存储介质。

背景技术：

1、医疗报告的解读是医学领域的重要技术之一，其可以帮助用户对医疗报告内容进行理解，以及帮助医生更准确地诊断疾病和制定治疗方案。如今，随着智能分析模型的发展，利用智能分析模型对医疗报告进行内容解读成为了热门趋势，而从医疗报告中提取信息是利用智能分析模型的前置步骤，该步骤的准确率直接影响了分析的准确性。有鉴于此，如何提高信息提取的准确率成为了亟待解决的问题。

技术实现思路

1、本申请主要解决的技术问题是提供一种医疗报告信息提取方法、系统、电子设备和可读存储介质，能够提高信息提取的准确率。

2、为解决上述技术问题，本申请采用的第一方面提供一种医疗报告信息提取方法，该方法包括：响应于得到医疗报告对应的待处理图像，对所述待处理图像进行编码，得到所述待处理图像对应的图像特征向量；获取与所述待处理图像中的要素类别相匹配的提示信息，基于所述提示信息对所述图像特征向量进行全局解码，得到所述待处理图像中所述要素类别及其对应的位置信息；其中，多种所述要素类别是基于所述待处理图像中的信息项预先定义的；基于所述要素类别及其对应的位置信息对所述图像特征向量进行要素解码，得到所述待处理图像中所述要素类别对应的要素提取信息。

3、为解决上述技术问题，本申请第二方面提供一种医疗报告信息提取系统，该系统包括图像编码模块、全局解码模块和要素解码模块，其中，图像编码模块，用于响应于得到医疗报告对应的待处理图像，对所述待处理图像进行编码，得到所述待处理图像对应的图像特征向量；全局解码模块，用于获取与所述待处理图像中的要素类别相匹配的提示信息，基于所述提示信息对所述图像特征向量进行全局解码，得到所述待处理图像中所述要素类别及其对应的位置信息；其中，多种所述要素类别是基于所述待处理图像中的信息项预先定义的；要素解码模块，用于基于所述要素类别及其对应的位置信息对所述图像特征向量进行要素解码，得到所述待处理图像中所述要素类别对应的要素提取信息。

4、为解决上述技术问题，本申请第三方面提供一种电子设备，所述电子设备包括相互耦接的存储器和处理器，所述存储器中存储有程序指令，所述处理器用于执行所述程序指令以实现上述第一方面所述的方法。

5、为解决上述技术问题，本申请第四方面提供一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现上述第一方面所述的方法。

6、上述方案，当得到医疗报告对应的待处理图像时，对待处理图像进行编码，使待处理图像转换为向量，得到待处理图像对应的图像特征向量，获取与待处理图像中的要素类别相匹配的提示信息，基于提示信息所指示的内容对图像特征向量进行全局解码，得到待处理图像中要素类别及其对应的位置信息，从而能够先对与待处理图像中的信息项关联的要素类别进行识别，基于要素类别及其对应的位置信息所指示的内容对图像特征向量进行要素解码，得到待处理图像中相应位置处要素类别对应的要素提取信息。故此，医疗报告上信息的提取在编码和解码过程中，利用提示信息先对要素类别的位置信息进行识别，并将识别后的要素类别及其对应的位置信息作为新的提示二次解码，从而将对待处理图像进行信息提取的过程，拆解为对不同位置处的多种要素类别对应的信息进行解码，以使信息提取过程更加精细化且能够识别多种要素类别，提高了信息提取的准确率。

技术特征：

1.一种医疗报告信息提取方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像进行编码，得到所述待处理图像对应的图像特征向量，包括：

3.根据权利要求1所述的方法，其特征在于，所述获取与所述待处理图像中的要素类别相匹配的提示信息，基于所述提示信息对所述图像特征向量进行全局解码，得到所述待处理图像中所述要素类别及其对应的位置信息，包括：

4.根据权利要求3所述的方法，其特征在于，所述获取与所述待处理图像中的要素类别相匹配的提示信息，基于所述提示信息对所述图像特征向量进行全局解码，得到所述待处理图像中所述要素类别及其对应的位置信息之后，还包括：

5.根据权利要求1所述的方法，其特征在于，所述基于所述要素类别及其对应的位置信息对所述图像特征向量进行要素解码，得到所述待处理图像中所述要素类别对应的要素提取信息，包括：

6.根据权利要求5所述的方法，其特征在于，当所述信息项为常规文本时，所述基于所述要素类别及其对应的所述位置信息，按所述要素类别匹配的解码方式对所述图像特征向量进行要素解码，得到所述待处理图像中所述要素类别对应的要素提取信息，包括：

7.根据权利要求5所述的方法，其特征在于，当所述信息项为表格时，所述基于所述要素类别及其对应的所述位置信息，按所述要素类别匹配的解码方式对所述图像特征向量进行要素解码，得到所述待处理图像中所述要素类别对应的要素提取信息，包括：

8.根据权利要求7所述的方法，其特征在于，所述基于所述要素类别及其对应的所述位置信息，按所述要素类别匹配的解码方式对所述图像特征向量进行要素解码，得到所述位置信息处所述表格的预估行数以及每行对应的行预估位置之后，还包括：

9.根据权利要求1-8任一项所述的方法，其特征在于，所述方法是利用包括图像编码器和文本解码器的多模态大模型实现的，所述多模态大模型对应有预训练阶段和微调阶段，所述预训练阶段对应有第一训练数据，所述第一训练数据中包括待识别信息及其对应的标识位置，所述微调阶段对应有第二训练数据，所述第二训练数据中包括所述要素类别及其对应的待提取信息。

10.一种医疗报告信息提取系统，其特征在于，包括：

11.一种电子设备，其特征在于，包括：相互耦接的存储器和处理器，所述存储器中存储有程序指令，所述处理器用于执行所述程序指令以实现如权利要求1-9中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现如权利要求1-9中任一项所述的方法。

技术总结
本申请公开了一种医疗报告信息提取方法、系统、电子设备和可读存储介质，该方法包括：响应于得到医疗报告对应的待处理图像，对待处理图像进行编码，得到待处理图像对应的图像特征向量；获取与待处理图像中的要素类别相匹配的提示信息，基于提示信息对图像特征向量进行全局解码，得到待处理图像中要素类别及其对应的位置信息；其中，多种要素类别是基于待处理图像中的信息项预先定义的；基于要素类别及其对应的位置信息对图像特征向量进行要素解码，得到待处理图像中要素类别对应的要素提取信息。通过上述方式，本申请能够提高信息提取的准确率。

技术研发人员：殷保才,蒋磊,张建树,胡金水,殷兵
受保护的技术使用者：科大讯飞股份有限公司
技术研发日：
技术公布日：2024/9/23