一种多类别发票识别方法、系统、电子设备和存储介质与流程

所属的技术人员知道，本发明可以实现为系统、方法或计算机程序产品，因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)，只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

背景技术：

1、发票识别任务是一种kie(key information extraction)任务，主要目的在于准确抽取发票图片中关键字段的键值信息。传统发票识别关键信息抽取方案是使用相关图像预处理手段提高图像的清晰度，使用固定发票版面的位置信息实现对图像的区域分割，通过光学字符识别ocr(optical character recognition)算法识别分割后的图片，将识别后的文本信息传入规则引擎进行关键信息的抽取。通过对ocr算法的迭代，最终实现发票识别任务。然而，传统发票识别方案刚性不通用无法适应多类别发票的问题。

2、因此，亟需提供一种技术方案解决上述技术问题。

技术实现思路

1、为解决上述技术问题，本发明提供了一种多类别发票识别方法、系统、电子设备和存储介质。

2、第一方面，本发明提供一种多类别发票识别方法，该方法的技术方案如下：

3、对待识别发票图像进行方向矫正与边缘角点提取，得到优化发票图像，并对所述优化发票图像进行ocr识别优化，得到初始文本识别信息；

4、基于所述初始文本识别信息进行发票版面分析，得到发票文本分类信息，并对所述发票文本分类信息进行过滤矫正，得到目标发票识别结果。

5、本发明的一种多类别发票识别方法的有益效果如下：

6、本发明的方法能够灵活自适应地实现多类别发票识别，并提高了发票识别准确率和鲁棒性。

7、在上述方案的基础上，本发明的一种多类别发票识别方法还可以做如下改进。

8、在一种可选的方式中，对待识别发票图像进行方向矫正与边缘角点提取，得到优化发票图像的步骤，包括：

9、利用paddleclas，对所述待识别发票图像进行方向矫正，得到矫正发票图像，并利用关键点提取算法，对所述矫正发票图像进行边缘角点提取，得到所述优化发票图像。

10、在一种可选的方式中，对所述优化发票图像进行ocr识别优化，得到初始文本识别信息的步骤，包括：

11、利用训练好的paddleocr模型，对所述优化发票图像进行ocr识别优化，得到所述初始文本识别信息。

12、在一种可选的方式中，所述paddleocr模型包括：文本检测模块、文本方向分类器模块和文本识别模块；

13、其中，所述文本检测模块用于识别图像中的文本区域，生成图像的文本边界框；所述文本方向分类器模块用于识别文本区域相对于水平方向的角度，以使文本识别在水平方向上进行；所述文本识别模块用于利用crnn网络对文本区域中的每个字符进行识别，以得到文本识别信息。

14、在一种可选的方式中，基于所述初始文本识别信息进行发票版面分析，得到发票文本分类信息的步骤，包括：

15、基于注意力机制，获取所述初始文本识别信息中与解码器相关的信息，并利用编码器获取所述初始文本识别信息进行编码，得到编码向量；

16、利用rnn网络，并基于所述编码向量和所述初始文本识别信息中与解码器相关的信息，生成所述发票文本分类信息。

17、在一种可选的方式中，对所述发票文本分类信息进行过滤矫正，得到目标发票识别结果的步骤，包括：

18、对所述发票文本分类信息中的无效字符进行过滤，并对所述发票文本分类信息中的中文大写金额信息进行转换矫正，得到所述目标发票识别结果。

19、第二方面，本发明提供一种多类别发票识别系统，该系统的技术方案如下：

20、一种多类别发票识别系统包括：第一识别单元和第二识别单元；

21、所述第一识别单元用于：对待识别发票图像进行方向矫正与边缘角点提取，得到优化发票图像，并对所述优化发票图像进行ocr识别优化，得到初始文本识别信息；

22、所述第二识别单元用于：基于所述初始文本识别信息进行发票版面分析，得到发票文本分类信息，并对所述发票文本分类信息进行过滤矫正，得到目标发票识别结果。

23、本发明的一种多类别发票识别系统的有益效果如下：

24、本发明的系统能够灵活自适应地实现多类别发票识别，并提高了发票识别准确率和鲁棒性。

25、在上述方案的基础上，本发明的一种多类别发票识别系统还可以做如下改进。

26、在一种可选的方式中，所述第一识别单元中的对待识别发票图像进行方向矫正与边缘角点提取，得到优化发票图像的步骤，包括：

27、利用paddleclas，对所述待识别发票图像进行方向矫正，得到矫正发票图像，并利用关键点提取算法，对所述矫正发票图像进行边缘角点提取，得到所述优化发票图像。

28、第三方面，本发明的一种电子设备的技术方案如下：

29、包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，所述处理器执行所述程序时实现如本发明的多类别发票识别方法的步骤。

30、第四方面，本发明提供的一种计算机可读存储介质的技术方案如下：

31、计算机可读存储介质中存储有指令，当计算机可读存储介质读取所述指令时，使所述计算机可读存储介质执行如本发明的多类别发票识别方法的步骤。

32、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.一种多类别发票识别方法，其特征在于，包括：

2.根据权利要求1所述的多类别发票识别方法，其特征在于，对待识别发票图像进行方向矫正与边缘角点提取，得到优化发票图像的步骤，包括：

3.根据权利要求1所述的多类别发票识别方法，其特征在于，对所述优化发票图像进行ocr识别优化，得到初始文本识别信息的步骤，包括：

4.根据权利要求3所述的多类别发票识别方法，其特征在于，所述paddleocr模型包括：文本检测模块、文本方向分类器模块和文本识别模块；

5.根据权利要求1所述的多类别发票识别方法，其特征在于，基于所述初始文本识别信息进行发票版面分析，得到发票文本分类信息的步骤，包括：

6.根据权利要求1所述的多类别发票识别方法，其特征在于，对所述发票文本分类信息进行过滤矫正，得到目标发票识别结果的步骤，包括：

7.一种多类别发票识别系统，其特征在于，包括：第一识别单元和第二识别单元；

8.根据权利要求7所述的多类别发票识别系统，其特征在于，所述第一识别单元中的对待识别发票图像进行方向矫正与边缘角点提取，得到优化发票图像的步骤，包括：

9.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器与存储器耦合，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述电子设备实现如权利要求1至6任一项所述的多类别发票识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机可读存储介质实现如权利要求1至6任一项所述的多类别发票识别方法。

技术总结
本发明涉及图像处理技术领域，具体公开一种多类别发票识别方法、系统、电子设备和存储介质，该方法包括：对待识别发票图像进行方向矫正与边缘角点提取，得到优化发票图像，并对所述优化发票图像进行OCR识别优化，得到初始文本识别信息；基于所述初始文本识别信息进行发票版面分析，得到发票文本分类信息，并对所述发票文本分类信息进行过滤矫正，得到目标发票识别结果。本发明能够灵活自适应地实现多类别发票识别，并提高了发票识别准确率和鲁棒性。

技术研发人员：牛晓亮
受保护的技术使用者：北京思特奇信息技术股份有限公司
技术研发日：
技术公布日：2024/9/23