一种车牌筛选方法及装置的制造方法
一种车牌筛选方法及装置的制造方法
【技术领域】
[0001]本发明涉及车牌检测技术领域，更具体地说，涉及一种车牌筛选方法及装置。
【背景技术】
[0002]时至今日，车牌识别设备已经越来越广泛地应用在公安局、军区、武警大队等单位，在这些单位的出入口往往需要识别的不只是其对应的一种车牌，而是需要同时实现对于民用牌和其他类型车牌的识别。
[0003]通常车牌识别设备包括车牌检测模块及字符识别模块等，由车牌检测模块对不同的车牌进行检测，并将检测得到的车牌发送至字符识别模块，由字符识别模块对车牌的字符进行识别。由于军牌、武警牌、警牌及民用牌的外观尺寸和字符间隔等相似但并不完全相同，因此，如果简单累加或套用民用牌的车牌检测方法，容易出现耗时过长或检测性能较低的情况，即现有技术对多类型车牌进行检测时难以同时兼顾较高的检测率、较短的耗时和较少的虚警。
[0004]综上所述，现有技术中缺少一种在对多类型车牌进行检测时能够同时兼顾较高的检测率、较短的耗时和较少的虚警的技术方案。
【发明内容】
[0005]本发明的目的是提供一种车牌筛选方法及装置，以在对多类型车牌进行检测时能够同时保证较高的检测率、较短的耗时及较少的虚警。为了实现上述目的，本发明提供如下技术方案:
[0006]—种车牌筛选方法，包括:
[0007]提取待测小图的LBP特征，所述待测小图为将包含有车牌的待测图像进行粗检后得到的任一小图；
[0008]基于所述待测小图的LBP特征，利用预先训练的N个第一级分类器分别对所述待测小图进行分类，得到N个第一级分类结果;其中，所述第一级分类器与车牌类型一一对应，N为大于1的整数；
[0009]如果所述N个第一级分类结果中存在判定所述待测小图为车牌的分类结果，则提取该待测小图的颜色特征和H0G特征；
[0010]基于所述待测小图的LBP特征、颜色特征及H0G特征，利用预先训练的第二级分类器对所述待测小图进行分类，得到该待测小图是否为车牌的第二级分类结果;其中，所述第二级分类器与所述N个第一级分类器对应的全部车牌类型相对应。
[0011 ]优选的，任一第一级分类器的预先训练过程包括:
[0012]获取第一预设数量的训练图像，并对所述训练图像进行粗检得到训练小图，其中，每个所述训练图像中包含的车牌类型相同；
[0013]将其图像为车牌的训练小图加入训练正样本，其图像为背景的训练小图加入训练负样本，并提取每个所述训练小图的LBP特征；
[0014]基于所述训练正样本、所述训练负样本及每个所述训练小图的LBP特征训练得到与所述训练图像中包含的车牌类型相对应的SVM分类器，并确定该SVM分类器为第一级分类器。
[0015]优选的，所述第二级分类器的预先训练过程包括:
[0016]确定用于训练所述N个第一级分类器的全部训练图像为总训练图像，并对所述总训练图像进行粗检得到总训练小图；
[0017]将其图像为车牌的总训练小图加入总正样本中，其图像为背景的总训练小图加入总负样本中，并提取每个所述总训练小图的LBP特征、H0G特征及颜色特征；
[0018]基于所述总正样本、所述总负样本及每个所述总训练小图的LBP特征、H0G特征及颜色特征训练得到与所述总训练图像中包含的全部车牌类型相对应的SVM分类器，并确定该SVM分类器为第二级分类器。
[0019]优选的，所述第二级分类器的预先训练过程还包括:
[0020]获取第二预设量的指定待测图像，并对所述指定待测图像进行粗检得到指定待测小图；
[0021]获取所述指定待测小图的LBP特征，并基于所述指定待测小图的LBP特征，利用所述N个第一级分类器对所述指定待测小图进行分类，得到分类结果；
[0022]基于所述分类结果获知所述指定待测小图中其图像为背景但被任一第一级分类器判定为车牌的指定待测小图，并将该指定待测小图加入总负样本中。
[0023]优选的，还包括:
[0024]将所述待测小图、所述指定待测小图、所述训练小图及所述总训练小图缩放到48*16之后，再对其进行相应的处理。
[0025]优选的，提取所述待测小图、所述指定待测小图、所述训练小图及所述总训练小图的LBP特征及H0G特征，包括:
[0026]将所述待测小图、所述指定待测小图、所述训练小图及所述总训练小图转换为灰度图像，进而提取其LBP特征及H0G特征。
[0027]优选的，提取所述待测小图及所述总训练小图的颜色特征包括:
[0028]选取所述待测小图及所述总训练小图的中心区域为目标区域，统计所述目标区域中每个像素的R值、G值及B值，得到与之对应的第一分布直方图；
[0029]将所述待测小图及所述总训练小图转换至ijYCrCb空间，统计所述目标区域中每个像素的Cr值和Cb值，得到与之对应的第二分布直方图；
[0030]对所述第一分布直方图和所述第二分布直方图进行归一化，得到所述待测小图及所述总训练小图的颜色特征。
[0031]优选的，用于训练任一所述第一级分类器的训练正样本与训练负样本的比值为2:1;用于训练第二级分类器的总正样本与总负样本的比值为1: 1。
[0032]一种车牌筛选装置，包括:
[0033]第一提取模块，用于提取待测小图的LBP特征，所述待测小图为将包含有车牌的待测图像进行粗检后得到的任一小图；
[0034]第一级分类模块，用于基于所述待测小图的LBP特征，利用预先训练的N个第一级分类器分别对所述待测小图进行分类，得到N个第一级分类结果;其中，所述第一级分类器与车牌类型一一对应，N为大于1的整数；
[0035]第二提取模块，用于如果所述N个第一级分类结果中存在判定所述待测小图为车牌的分类结果，则提取该待测小图的颜色特征和H0G特征；
[0036]第二级分类模块，用于基于所述待测小图的LBP特征、颜色特征及H0G特征，利用预先训练的第二级分类器对所述待测小图进行分类，得到该待测小图是否为车牌的第二级分类结果;其中，所述第二级分类器与所述N个第一级分类器对应的全部车牌类型相对应。
[0037]优选的，还包括:
[0038]第一获取模块，用于获取第一预设数量的训练图像，并对所述训练图像进行粗检得到训练小图，其中，每个所述训练图像中包含的车牌类型相同；
[0039]第一样本获取模块，用于将其图像为车牌的训练小图加入训练正样本，其图像为背景的训练小图加入训练负样本，并提取每个所述训练小图的LBP特征；
[0040]第一训练模块，用于基于所述训练正样本、所述训练负样本及每个所述训练小图的LBP特征训练得到与所述训练图像中包含的车牌类型相对应的SVM分类器，并确定该SVM分类器为第一级分类器；
[0041]第二获取模块，用于确定用于训练所述N个第一级分类器的全部训练图像为总训练图像，并对所述总训练图像进行粗检得到总训练小图；
[0042]第二样本获取模块，用于将其图像为车牌的总训练小图加入总正样本中，其图像为背景的总训练小图加入总负样本中，并提取每个所述总训练小图的LBP特征、H0G特征及颜色特征；
[0043]第二训练模块，用于基于所述总正样本、所述总负样本及每个所述总训练小图的LBP特征、H0G特征及颜色特征训练得到与所述总训练图像中包含的全部车牌类型相对应的SVM分类器，并确定该SVM分类器为第二级分类器。
[0044]本发明提供的一种车牌筛选方法及装置，该方法包括:提取待测小图的LBP特征，所述待测小图为将包含有车牌的待测图像进行粗检后得到的任一小图；基于所述待测小图的LBP特征，利用预先训练的N个第一级分类器分别对所述待测小图进行分类，得到N个第一级分类结果;其中，所述第一级分类器与车牌类型一一对应，N为大于1的整数;如果所述N个第一级分类结果中存在判定所述待测小图为车牌的分类结果，则提取该待测小图的颜色特征和H0G特征;基于所述待测小图的LBP特征、颜色特征及H0G特征，利用预先训练的第二级分类器对所述待测小图进行分类，得到该待测小图是否为车牌的第二级分类结果;其中，所述第二级分类器与所述N个第一级分类器对应的全部车牌类型相对应。本申请公开上述技术特征中，基于待测小图的LBP特征，利用N个第一级分类器对待测小图进行分类，确定待测小图是否为任一第一级分类器对应的车牌类型，通过第一级分类器能够快速判断出待测小图是否可能为车牌，且当利用第一级分类器对多个待测小图进行分类时，能够快速减少其图像为背景的待测小图，且保证其图像确实为车牌的待测小图不被过滤掉;基于第一级分类器判定其图像为车牌的待测小图的LBP特征、颜色特征及H0G特征，利用第二级分类器对其进行分类，确定其是否为车牌，第二级分类器所依据的特征维度较 高，能够准确判断出待测小图是否为车牌，且当利用第二级分类器对多个待测小图进行分类时，能够准确分类出车牌和与之类似的复杂字符，保证最终分类结果的准确性。即，本申请公开的技术特征在对多类型车牌的背景进行过滤以检测到车牌时，通过级联分类的多个分类器，保证了较高的检测率、较短的耗时及较少的虚警。
【附图说明】
[0045]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0046]图1为本发明实施例提供的一种车牌筛选方法的流程图；
[0047]图2为本发明实施例提供的一种车牌筛选方法中任一第一级分类器的预先训练过程的流程图；
[0048]图3为本发明实施例提供的一种车牌筛选方法中第二级分类器的预先训练过程的流程图；
[0049]图4为本发明实施例提供的一种车牌筛选方法中提取待测小图及总训练小图的颜色特征的流程图；
[0050]图5为本发明实施例提供的一种车牌筛选装置的结构示意图。
【具体实施方式】
[0051]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0052]请参阅图1，其示出了本发明实施例提供的一种车牌筛选方法的流程图，可以包括以下步骤:
[0053]S11:提取待测小图的LBP特征，待测小图为将包含有车牌的待测图像进行粗检后得到的任一小图。
[0054]需要说明的是，在车牌检测时，一帧图像可以通过计算其边缘密度等粗检方法得到若干个可能含有车牌的区域，如果把这些区域从图像中提取出来，也就可以理解成一帧完整的图像通过粗检得到若干个小图，这些小图中可能有一个是真正的车牌。本发明实施例中，可以默认一帧待测图像在粗检后得到一个含有车牌的待测小图和若干个仅含有背景的待测小图。另外，LBP特征是机器视觉领域一种常用的用来描述图像局部纹理特征的算子。本发明实施例中对于待测图像得到的任一小图均采用图1所示的步骤对其进行处理。[°°55] S12:基于待测小图的LBP(Local Binary Patterns，局部二值模式)特征，利用预先训练的N个第一级分类器分别对待测小图进行分类，得到N个第一级分类结果;其中，第一级分类器与车牌类型一一对应，N为大于1的整数。
[0056]需要说明的是，第一级分类器与车牌类型一一对应，即每个第一级分类器对应一种车牌类型，因此，N是根据车牌类型的数量决定的，优选的，N的取值为2或3。举例说明，由于警牌与民用牌的宽高比一致，将其作为第一类车牌类型，由于武警牌和军牌的宽高比一致，将其作为第二类车牌类型，此时，N为2，与之对应的，第一级分类器包括用于判断待测小图是否为警牌和民用牌的第一类分类器和用于判断待测小图是都为武警牌和军牌的第二类分类器。
[0057]S13:如果N个第一级分类结果中存在判定待测小图为车牌的分类结果，则提取该待测小图的颜色特征和H0G((Histogram of Oriented Gradient，方向梯度直方图)特征。
[0058]如果N个第一级分类结果均表明待测小图为背景，则直接确定待测小图为背景，但是，只要任一第一级分类结果表明待测小图为车牌，则说明待测小图很有可能为该第一级分类结果对应的车牌类型的车牌，则利用第二级分类器对其进行进一步的判断。
[0059]另外，需要说明的是，N个第一级分类器对于待测小图的分类可以依次进行，以避免不同第一级分类器同时工作时的互相干扰。还以步骤S12的说明中举出的例子进行说明，可先利用第一类分类器对待测小图进行分类，如果分类结果表明待测小图为车牌，则直接利用第二级分类器对其进行判断，如果分类结果表明待测小图为背景，则利用第二类分类器对其进行判断，如果分类结果表明待测小图为车牌，则利用第二级分类器对其进行判断，如果分类结果表明待测小图为背景，则判定待测小图为背景。
[0060]S14:基于待测小图的LBP特征、颜色特征及H0G特征，利用预先训练的第二级分类器对待测小图进行分类，得到该待测小图是否为车牌的第二级分类结果;其中，第二级分类器与N个第一级分类器对应的全部车牌类型相对应。
[0061]第二级分类器与全部车牌类型对应，即第二级分类器为混合分类器，能够基于待测小图的LBP特征、颜色特征及H0G特征，确定待测小图是否为全部车牌类型中任一车牌类型对应的车牌。
[0062]通过本申请公开的上述技术特征，利用级联分类的多个分类器对待测小图进行识另IJ。具体来说，基于待测小图的LBP特征，利用N个第一级分类器对待测小图进行分类，确定待测小图是否为任一第一级分类器对应的车牌类型，通过第一级分类器能够快速判断出待测小图是否可能为车牌，且当利用第一级分类器对多个待测小图进行分类时，能够快速减少其图像为背景的待测小图，且保证其图像确实为车牌的待测小图不被过滤掉;基于第一级分类器判定其图像为车牌的待测小图的LBP特征、颜色特征及H0G特征，利用第二级分类器对其进行分类，确定其是否为车牌，第二级分类器所依据的特征维度较高，能够准确判断出待测小图是否为车牌，且当利用第二级分类器对多个待测小图进行分类时，能够准确分类出车牌和与之类似的复杂字符等复杂背景，保证最终分类结果的准确性。即，本申请公开的技术特征在对多类型车牌的背景进行过滤以检测到车牌时，通过级联分类的多个分类器，保证了较高的检测率、较短的耗时及较少的虚警。或者说，本申请公开的技术特征能够快速且高效的实现对于真正的车牌的检测和对于车牌背景的过滤。
[0063]另外，利用第一级分类器对待测小图进行分类和利用第二级分类器对待测小图进行分类时所使用的待测小图的LBP特征是相同的，因此，只需计算一次即可，从而减少了冗余计算，进一步降低了识别出牌所需的时间。
[0064]如图2所示，上述实施例提供的一种车牌筛选方法中，任一第一级分类器的预先训练过程可以包括以下步骤:
[0065]S21:获取第一预设数量的训练图像，并对训练图像进行粗检得到训练小图，其中，每个训练图像中包含的车牌类型相同。
[0066]第一预设量可以根据实际需要进行确定，而对训练图像的粗检的具体说明请参见上文中对于待测图像的粗检，二者原理是一致的。为了减小耗时，将本发明实施例中所涉及的所有小图，包括训练小图，上文中的待测小图，以及下文中的指定待测小图、及总训练小图均缩放到48*16之后，再对其进行相应的处理。
[0067]S22:将其图像为车牌的训练小图加入训练正样本，其图像为背景的训练小图加入训练负样本，并提取每个训练小图的LBP特征。
[0068]LBP的cell大小为8*8，每个cell有58维特征，因此一个训练小图可提取出696维LBP特征。
[0069]依然以上述实施例中的例子进行说明，由于警牌与民用牌的宽高比一致，将其作为第一类车牌类型，对应第一类分类器，由于武警牌和军牌的宽高比一致，将其作为第二类车牌类型，对应第二类分类器，则第一类分类器对应的训练正样本中均为包括武警牌和军牌的训练小图，而第二类分类器对应的训练正样本中均为包括警牌或民用牌的训练小图。
[0070]需要说明的是，训练正样本中训练小图的数量一般大于训练负样本中训练小图的数量，具体来说，训练正样本和训练负样本的比值可以为2:1。由此，调整训练样本的偏移量，使得第一级分类器偏向于训练正样本，由此得到的分类器recall会比较高，precis1n稍低，即保证车牌小图基本不会被分类为背景小图，而可以容忍一些复杂背景(如广告牌字符等)分类为车牌。
[0071]S23:基于训练正样本、训练负样本及每个训练小图的LBP特征训练得到与训练图像中包含的车牌类型相对应的SVM(Support Vector Machine，支持向量机)分类器，并确定该SVM分类器为第一级分类器。
[0072]其中，SVM是机器学习领域中常用的监督训练模型，常用来进行模式识别、分类和回归分析，在此不再赘述。
[0073]具体来说，基于训练小图的LBP特征，确定训练正样本及训练负样本组成的特征矩阵，进一步利用该特征矩阵训练得到第一级分类器。
[0074]通过上述步骤，利用计算速度较快的LBP特征训练分类能力较弱但分类速度较快的第一级分类器，当利用第一级分类器对待测小图进行分类时，如果全部第一级分类器均判定其为背景，则该待测小图为背景，如果任一第一级分类器判定其为车牌，则再利用第二级分类器对待测小图进行分类。可见，在第一级分类器中 只使用计算速度较快的LBP特征对待测小图进行分类，且N个第一级分类器为并联的形式，因此，可以在在短耗时下过滤掉大量纹理简单的背景小图，减少输入到第二级分类器的图片数，同时保证真正的车牌小图不会被过滤掉。
[0075]如图3所示，上述实施例提供的一种车牌筛选方法中，第二级分类器的预先训练过程可以包括以下步骤:
[0076]S31:确定用于训练N个第一级分类器的全部训练图像为总训练图像，并对总训练图像进行粗检得到总训练小图。
[0077]S32:将其图像为车牌的总训练小图加入总正样本中，其图像为背景的总训练小图加入总负样本中，并提取每个总训练小图的LBP特征、H0G特征及颜色特征。
[0078]训练第二级分类器使用LBP特征、H0G特征及颜色特征，H0G特征是机器视觉领域常用的表征物体的特征描述子，颜色特征是统计R、G、B、Cr、Cb等颜色分量的直方图，这些特征相对于第一级分类器所使用的特征更复杂，维数更高，因此，也能表达出更多的特征信息。当然，根据实际需要也可以选用其他的特征，均在本发明的保护范围之内。
[0079]另外，为了保证相对平衡的recall和precis1n，总正样本中总训练小图的数量与总负样本的总训练小图的数量可以基本相等，即，总样本与总负样本的比值可以为1: 1。由此，可以在利用第二级分类器对待测小图进行分类时，保证去除大部分背景小图(仅包含背景的小图)，而保留车牌小图(仅包含车牌的小图)。
[0080]S33:基于总正样本、总负样本及每个总训练小图的LBP特征、H0G特征及颜色特征训练得到与总训练图像中包含的全部车牌类型相对应的SVM分类器，并确定该SVM分类器为第二级分类器。
[0081]通过上述步骤训练出的第二级分类器，能够基于维度更高更复杂的特征，S卩LBP特征、H0G特征及颜色特征对待测图片进行分类，以得到准确的分类结果。
[0082]另外，上述实施例提供的一种车牌筛选方法中，第二级分类器的预先训练过程还可以包括:
[0083]获取第二预设量的指定待测图像，并对指定待测图像进行粗检得到指定待测小图；
[0084]获取指定待测小图的LBP特征，并基于指定待测小图的LBP特征，利用N个第一级分类器对指定待测小图进行分类，得到分类结果；
[0085]基于分类结果获知指定待测小图中其图像为背景但被任一第一级分类器判定为车牌的指定待测小图，并将该指定待测小图加入总负样本中。
[0086]其中，第二预设量可以根据实际需要进行确定。简单来说，上述步骤即为:训练好第一级分类器后，利用第一级分类器对指定待测小图进行分类，并将第一级分类器判定其为车牌小图，而其实际上不是车牌小图的指定待测小图加入训练第二级分类器时的总负样本中，保证较少的虚警。
[0087]具体来说，上述实施例中提取待测小图、指定待测小图、训练小图及总训练小图的LBP特征及H0G特征，可以包括:
[0088]将待测小图、指定待测小图、训练小图及总训练小图转换为灰度图像，进而提取其LBP特征及H0G特征。
[0089]其中，H0G的cell大小为8*8，每个cell有31维特征，因此一个小图可提取出372维H0G特征。
[0090]如图4所示，提取待测小图及总训练小图的颜色特征可以包括以下步骤:
[0091]S41:选取待测小图及总训练小图的中心区域为目标区域，统计目标区域中每个像素的R值、G值及B值，得到与之对应的第一分布直方图。
[0092]其中待测区域可以是待测小图或者总训练小图横向的16-32列或中间的三分之一，纵坐标的4-12行或中间的二分之一，当然，也可以根据实际需要进行其他设定，均在本发明的保护范围之内。另外，需要说明的是，RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。本申请中的R值、G值、B值及分别对应RGB色彩模式下的红绿蓝三个颜色通道的值。
[0093]S42:将待测小图及总训练小图转换到YCrCb空间，统计目标区域中每个像素的Cr值和Cb值，得到与之对应的第二分布直方图。
[0094]YCrCb空间即YUV，主要用于优化彩色视频信号的传输，使其向后相容老式黑白电视。其中，Cr反映了 RGB输入信号红色部分与RGB信号亮度值之间的差异，而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的差异。
[0095]S43:对第一分布直方图和第二分布直方图进行归一化，得到待测小图及总训练小图的颜色特征。
[0096]需要说明的是，分布直方图可以为10个bin，对其进行归一化，则可得到对应小图的50维颜色特征。此时，对应小图的LBP特征、H0G特征及颜色特征组合起来，共1118维。
[0097]与上述方法实施例相对应，本发明实施例还提供了一种车牌筛选装置，如图5所示，可以包括:
[0098]第一提取模块51，用于提取待测小图的LBP特征，待测小图为将包含有车牌的待测图像进行粗检后得到的；
[0099]第一级分类模块52，用于基于待测小图的LBP特征，利用预先训练的N个第一级分类器分别对待测小图进行分类，得到N个第一级分类结果;其中，第一级分类器与车牌类型——对应，N为大于1的整数；
[0100]第二提取模块53，用于如果N个第一级分类结果中存在判定待测小图为车牌的分类结果，则提取该待测小图的颜色特征和H0G特征；
[0101]第二级分类模块54，用于基于待测小图的LBP特征、颜色特征及H0G特征，利用预先训练的第二级分类器对待测小图进行分类，得到该待测小图是否为车牌的第二级分类结果;其中，第二级分类器与N个第一级分类器对应的全部车牌类型相对应。
[0102]通过本申请公开的上述技术特征，利用级联分类的多个分类器对待测小图进行识另IJ。具体来说，基于待测小图的LBP特征，利用N个第一级分类器对待测小图进行分类，确定待测小图是否为任一第一级分类器对应的车牌类型，通过第一级分类器能够快速判断出待测小图是否可能为车牌，且当利用第一级分类器对多个待测小图进行分类时，能够快速减少其图像为背景的待测小图，且保证其图像确实为车牌的待测小图不被过滤掉;基于第一级分类器判定其图像为车牌的待测小图的LBP特征、颜色特征及H0G特征，利用第二级分类器对其进行分类，确定其是否为车牌，第二级分类器所依据的特征维度较高，能够准确判断出待测小图是否为车牌，且当利用第二级分类器对多个待测小图进行分类时，能够准确分类出车牌和与之类似的复杂字符等复杂背景，保证最终分类结果的准确性。即，本申请公开的技术特征在对多类型车牌的背景进行过滤以检测到车牌时，通过级联分类的多个分类器，保证了较高的检测率、较短的耗时及较少的虚警。或者说，本申请公开的技术特征能够快速且高效的实现对于真正的车牌的检测和对于车牌背景的过滤。
[0103]上述实施例提供的一种车牌筛选装置，还可以包括:
[0104]第一获取模块，用于获取第一预设数量的训练图像，并对训练图像进行粗检得到训练小图，其中，每个训练图像中包含的车牌类型相同；
[0105]第一样本获取模块，用于将其图像为车牌的训练小图加入训练正样本，其图像为背景的训练小图加入训练负样本，并提取每个训练小图的LBP特征；
[0106]第一训练模块，用于基于训练正样本、训练负样本及每个训练小图的LBP特征训练得到与训练图像中包含的车牌类型相对应的SVM分类器，并确定该SVM分类器为第一级分类器；
[0107]第二获取模块，用于确定用于训练N个第一级分类器的全部训练图像为总训练图像，并对总训练图像进行粗检得到总训练小图；
[0108]第二样本获取模块，用于将其图像为车牌的总训练小图加入总正样本中，其图像为背景的总训练小图加入总负样本中，并提取每个总训练小图的LBP特征、H0G特征及颜色特征；
[0109]第二训练模块，用于基于总正样本、总负样本及每个总训练小图的LBP特征、H0G特征及颜色特征训练得到与总训练图像中包含的全部车牌类型相对应的SVM分类器，并确定该SVM分类器为第二级分类器。
[0110]上述实施例提供的一种车牌筛选装置，第二训练模块可以包括:
[0111]第一获取单元，用于获取第二预设量的指定待测图像，并对指定待测图像进行粗检得到指定待测小图；
[0112]第二获取单元，用于获取指定待测小图的LBP特征，并基于指定待测小图的LBP特征，利用N个第一级分类器对指定待测小图进行分类，得到分类结果；
[0113]第三获取单元，用于基于分类结果获知指定待测小图中其图像为背景但被任一第一级分类 器判定为车牌的指定待测小图，并将该指定待测小图加入总负样本中。
[0114]上述实施例提供的一种车牌筛选装置，还可以包括:
[0115]小图处理模块，用于将待测小图、指定待测小图、训练小图及总训练小图缩放到48*16之后，再对其进行相应的处理。
[0116]上述实施例提供的一种车牌筛选装置，上述用于提取待测小图、指定待测小图、训练小图及总训练小图的LBP特征及H0G特征的模块或单元，可以包括:
[0117]提取单元，用于将待测小图、指定待测小图、训练小图及总训练小图转换为灰度图像，进而提取其LBP特征及H0G特征。
[0118]上述实施例提供的一种车牌筛选装置，上述用于提取待测小图及总训练小图的颜色特征的模块或单元可以包括:
[0119]选取单元，用于选取待测小图及总训练小图的中心区域为目标区域，统计目标区域中每个像素的R值、G值及B值，得到与之对应的第一分布直方图；
[0120]将待测小图及总训练小图转换到YCrCb空间，统计目标区域中每个像素的Cr值和Cb值，得到与之对应的第二分布直方图；
[0121]对第一分布直方图和第二分布直方图进行归一化，得到待测小图及总训练小图的颜色特征。
[0122]另外，用于训练任一第一级分类器的训练正样本与训练负样本的比值可以为2:1;用于训练第二级分类器的总正样本与总负样本的比值可以为1:1。
[0123]由于本发明实施例提供的一种车牌筛选装置与本发明实施例提供的一种车牌筛选方法是相对应的，因此，上述装置实施例中相关部分的具体说明可参见上述方法实施例中对应部分的说明。
[0124]对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的 VI
ο (ττ? tn U
【主权项】
1.一种车牌筛选方法，其特征在于，包括: 提取待测小图的LBP特征，所述待测小图为将包含有车牌的待测图像进行粗检后得到的任一小图； 基于所述待测小图的LBP特征，利用预先训练的N个第一级分类器分别对所述待测小图进行分类，得到N个第一级分类结果;其中，所述第一级分类器与车牌类型一一对应，N为大于1的整数； 如果所述N个第一级分类结果中存在判定所述待测小图为车牌的分类结果，则提取该待测小图的颜色特征和HOG特征； 基于所述待测小图的LBP特征、颜色特征及HOG特征，利用预先训练的第二级分类器对所述待测小图进行分类，得到该待测小图是否为车牌的第二级分类结果;其中，所述第二级分类器与所述N个第一级分类器对应的全部车牌类型相对应。2.根据权利要求1所述的方法，其特征在于，任一第一级分类器的预先训练过程包括: 获取第一预设数量的训练图像，并对所述训练图像进行粗检得到训练小图，其中，每个所述训练图像中包含的车牌类型相同； 将其图像为车牌的训练小图加入训练正样本，其图像为背景的训练小图加入训练负样本，并提取每个所述训练小图的LBP特征； 基于所述训练正样本、所述训练负样本及每个所述训练小图的LBP特征训练得到与所述训练图像中包含的车牌类型相对应的SVM分类器，并确定该SVM分类器为第一级分类器。3.根据权利要求2所述的方法，其特征在于，所述第二级分类器的预先训练过程包括: 确定用于训练所述N个第一级分类器的全部训练图像为总训练图像，并对所述总训练图像进行粗检得到总训练小图； 将其图像为车牌的总训练小图加入总正样本中，其图像为背景的总训练小图加入总负样本中，并提取每个所述总训练小图的LBP特征、HOG特征及颜色特征； 基于所述总正样本、所述总负样本及每个所述总训练小图的LBP特征、HOG特征及颜色特征训练得到与所述总训练图像中包含的全部车牌类型相对应的SVM分类器，并确定该SVM分类器为第二级分类器。4.根据权利要求3所述的方法，其特征在于，所述第二级分类器的预先训练过程还包括: 获取第二预设量的指定待测图像，并对所述指定待测图像进行粗检得到指定待测小图； 获取所述指定待测小图的LBP特征，并基于所述指定待测小图的LBP特征，利用所述N个第一级分类器对所述指定待测小图进行分类，得到分类结果； 基于所述分类结果获知所述指定待测小图中其图像为背景但被任一第一级分类器判定为车牌的指定待测小图，并将该指定待测小图加入总负样本中。5.根据权利要求4所述的方法，其特征在于，还包括: 将所述待测小图、所述指定待测小图、所述训练小图及所述总训练小图缩放到48*16之后，再对其进行相应的处理。6.根据权利要求4所述的方法，其特征在于，提取所述待测小图、所述指定待测小图、所述训练小图及所述总训练小图的LBP特征及HOG特征，包括: 将所述待测小图、所述指定待测小图、所述训练小图及所述总训练小图转换为灰度图像，进而提取其LBP特征及HOG特征。7.根据权利要求4所述的方法，其特征在于，提取所述待测小图及所述总训练小图的颜色特征包括: 选取所述待测小图及所述总训练小图的中心区域为目标区域，统计所述目标区域中每个像素的R值、G值及B值，得到与之对应的第一分布直方图； 将所述待测小图及所述总训练小图转换到YCrCb空间，统计所述目标区域中每个像素的Cr值和Cb值，得到与之对应的第二分布直方图； 对所述第一分布直方图和所述第二分布直方图进行归一化，得到所述待测小图及所述总训练小图的颜色特征。8.根据权利要求4所述的方法，其特征在于，用于训练任一所述第一级分类器的训练正样本与训练负样本的比值为2:1;用于训练第二级分类器的总正样本与总负样本的比值为1:1。9.一种车牌筛选装置，其特征在于，包括: 第一提取模块，用于提取待测小图的LBP特征，所述待测小图为将包含有车牌的待测图像进行粗检后得到的任一小图； 第一级分类模块，用于基于所述待测小图的LBP特征，利用预先训练的N个第一级分类器分别对所述待测小图进行分类，得到N个第一级分类结果;其中，所述第一级分类器与车牌类型一一对应，N为大于1的整数； 第二提取模块，用于如果所述N个第一级分类结果中存在判定所述待测小图为车牌的分类结果，则提取该待测小图的颜色特征和HOG特征； 第二级分类模块，用于基于所述待测小图的LBP特征、颜色特征及HOG特征，利用预先训练的第二级分类器对所述待测小图进行分类，得到该待测小图是否为车牌的第二级分类结果;其中，所述第二级分类器与所述N个第一级分类器对应的全部车牌类型相对应。10.根据权利要求9所述的装置，其特征在于，还包括: 第一获取模块，用于获取第一预设数量的训练图像，并对所述训练图像进行粗检得到训练小图，其中，每个所述训练图像中包含的车牌类型相同； 第一样本获取模块，用于将其图像为车牌的训练小图加入训练正样本，其图像为背景的训练小图加入训练负样本，并提取每个所述训练小图的LBP特征； 第一训练模块，用于基于所述训练正样本、所述训练负样本及每个所述训练小图的LBP特征训练得到与所述训练图像中包含的车牌类型相对应的SVM分类器，并确定该SVM分类器为第一级分类器； 第二获取模块，用于确定用于训练所述N个第一级分类器的全部训练图像为总训练图像，并对所述总训练图像进行粗检得到总训练小图； 第二样本获取模块，用于将其图像为车牌的总训练小图加入总正样本中，其图像为背景的总训练小图加入总负样本中，并提取每个所述总训练小图的LBP特征、HOG特征及颜色特征； 第二训练模块，用于基于所述总正样本、所述总负样本及每个所述总训练小图的LBP特征、HOG特征及颜色特征训练得到与所述总训练图像中包含的全部车牌类型相对应的SVM分类器，并确定该SVM分类器为第二级分类器。
【专利摘要】本发明公开了一种车牌筛选方法及装置，该方法包括：提取待测小图的LBP特征，待测小图为将包含有车牌的待测图像进行粗检后得到的任一小图；基于待测小图的LBP特征，利用N个第一级分类器分别对待测小图进行分类，得到N个第一级分类结果；第一级分类器与车牌类型一一对应，N为大于1的整数；如果任一第一级分类结果判定待测小图为车牌，则提取该待测小图的颜色特征和HOG特征；基于待测小图的LBP特征、颜色特征及HOG特征，利用第二级分类器对待测小图进行分类，得到该待测小图是否为车牌的第二级分类结果；其中，第二级分类器与N个第一级分类器对应的全部车牌类型相对应。从而能够保证快速且高效的检测出不同类型的车牌。
【IPC分类】G06K9/62
【公开号】CN105488532
【申请号】CN201510880900
【发明人】唐健, 关国雄, 徐鹏飞, 王浩, 黎明, 李锐, 杨利华, 徐文丽
【申请人】深圳市捷顺科技实业股份有限公司
【公开日】2016年4月13日
【申请日】2015年12月3日
【技术领域】
[0001]本发明涉及车牌检测技术领域，更具体地说，涉及一种车牌筛选方法及装置。
【背景技术】
[0002]时至今日，车牌识别设备已经越来越广泛地应用在公安局、军区、武警大队等单位，在这些单位的出入口往往需要识别的不只是其对应的一种车牌，而是需要同时实现对于民用牌和其他类型车牌的识别。
[0003]通常车牌识别设备包括车牌检测模块及字符识别模块等，由车牌检测模块对不同的车牌进行检测，并将检测得到的车牌发送至字符识别模块，由字符识别模块对车牌的字符进行识别。由于军牌、武警牌、警牌及民用牌的外观尺寸和字符间隔等相似但并不完全相同，因此，如果简单累加或套用民用牌的车牌检测方法，容易出现耗时过长或检测性能较低的情况，即现有技术对多类型车牌进行检测时难以同时兼顾较高的检测率、较短的耗时和较少的虚警。
[0004]综上所述，现有技术中缺少一种在对多类型车牌进行检测时能够同时兼顾较高的检测率、较短的耗时和较少的虚警的技术方案。
【发明内容】
[0005]本发明的目的是提供一种车牌筛选方法及装置，以在对多类型车牌进行检测时能够同时保证较高的检测率、较短的耗时及较少的虚警。为了实现上述目的，本发明提供如下技术方案:
[0006]—种车牌筛选方法，包括:
[0007]提取待测小图的LBP特征，所述待测小图为将包含有车牌的待测图像进行粗检后得到的任一小图；
[0008]基于所述待测小图的LBP特征，利用预先训练的N个第一级分类器分别对所述待测小图进行分类，得到N个第一级分类结果;其中，所述第一级分类器与车牌类型一一对应，N为大于1的整数；
[0009]如果所述N个第一级分类结果中存在判定所述待测小图为车牌的分类结果，则提取该待测小图的颜色特征和H0G特征；
[0010]基于所述待测小图的LBP特征、颜色特征及H0G特征，利用预先训练的第二级分类器对所述待测小图进行分类，得到该待测小图是否为车牌的第二级分类结果;其中，所述第二级分类器与所述N个第一级分类器对应的全部车牌类型相对应。
[0011 ]优选的，任一第一级分类器的预先训练过程包括:
[0012]获取第一预设数量的训练图像，并对所述训练图像进行粗检得到训练小图，其中，每个所述训练图像中包含的车牌类型相同；
[0013]将其图像为车牌的训练小图加入训练正样本，其图像为背景的训练小图加入训练负样本，并提取每个所述训练小图的LBP特征；
[0014]基于所述训练正样本、所述训练负样本及每个所述训练小图的LBP特征训练得到与所述训练图像中包含的车牌类型相对应的SVM分类器，并确定该SVM分类器为第一级分类器。
[0015]优选的，所述第二级分类器的预先训练过程包括:
[0016]确定用于训练所述N个第一级分类器的全部训练图像为总训练图像，并对所述总训练图像进行粗检得到总训练小图；
[0017]将其图像为车牌的总训练小图加入总正样本中，其图像为背景的总训练小图加入总负样本中，并提取每个所述总训练小图的LBP特征、H0G特征及颜色特征；
[0018]基于所述总正样本、所述总负样本及每个所述总训练小图的LBP特征、H0G特征及颜色特征训练得到与所述总训练图像中包含的全部车牌类型相对应的SVM分类器，并确定该SVM分类器为第二级分类器。
[0019]优选的，所述第二级分类器的预先训练过程还包括:
[0020]获取第二预设量的指定待测图像，并对所述指定待测图像进行粗检得到指定待测小图；
[0021]获取所述指定待测小图的LBP特征，并基于所述指定待测小图的LBP特征，利用所述N个第一级分类器对所述指定待测小图进行分类，得到分类结果；
[0022]基于所述分类结果获知所述指定待测小图中其图像为背景但被任一第一级分类器判定为车牌的指定待测小图，并将该指定待测小图加入总负样本中。
[0023]优选的，还包括:
[0024]将所述待测小图、所述指定待测小图、所述训练小图及所述总训练小图缩放到48*16之后，再对其进行相应的处理。
[0025]优选的，提取所述待测小图、所述指定待测小图、所述训练小图及所述总训练小图的LBP特征及H0G特征，包括:
[0026]将所述待测小图、所述指定待测小图、所述训练小图及所述总训练小图转换为灰度图像，进而提取其LBP特征及H0G特征。
[0027]优选的，提取所述待测小图及所述总训练小图的颜色特征包括:
[0028]选取所述待测小图及所述总训练小图的中心区域为目标区域，统计所述目标区域中每个像素的R值、G值及B值，得到与之对应的第一分布直方图；
[0029]将所述待测小图及所述总训练小图转换至ijYCrCb空间，统计所述目标区域中每个像素的Cr值和Cb值，得到与之对应的第二分布直方图；
[0030]对所述第一分布直方图和所述第二分布直方图进行归一化，得到所述待测小图及所述总训练小图的颜色特征。
[0031]优选的，用于训练任一所述第一级分类器的训练正样本与训练负样本的比值为2:1;用于训练第二级分类器的总正样本与总负样本的比值为1: 1。
[0032]一种车牌筛选装置，包括:
[0033]第一提取模块，用于提取待测小图的LBP特征，所述待测小图为将包含有车牌的待测图像进行粗检后得到的任一小图；
[0034]第一级分类模块，用于基于所述待测小图的LBP特征，利用预先训练的N个第一级分类器分别对所述待测小图进行分类，得到N个第一级分类结果;其中，所述第一级分类器与车牌类型一一对应，N为大于1的整数；
[0035]第二提取模块，用于如果所述N个第一级分类结果中存在判定所述待测小图为车牌的分类结果，则提取该待测小图的颜色特征和H0G特征；
[0036]第二级分类模块，用于基于所述待测小图的LBP特征、颜色特征及H0G特征，利用预先训练的第二级分类器对所述待测小图进行分类，得到该待测小图是否为车牌的第二级分类结果;其中，所述第二级分类器与所述N个第一级分类器对应的全部车牌类型相对应。
[0037]优选的，还包括:
[0038]第一获取模块，用于获取第一预设数量的训练图像，并对所述训练图像进行粗检得到训练小图，其中，每个所述训练图像中包含的车牌类型相同；
[0039]第一样本获取模块，用于将其图像为车牌的训练小图加入训练正样本，其图像为背景的训练小图加入训练负样本，并提取每个所述训练小图的LBP特征；
[0040]第一训练模块，用于基于所述训练正样本、所述训练负样本及每个所述训练小图的LBP特征训练得到与所述训练图像中包含的车牌类型相对应的SVM分类器，并确定该SVM分类器为第一级分类器；
[0041]第二获取模块，用于确定用于训练所述N个第一级分类器的全部训练图像为总训练图像，并对所述总训练图像进行粗检得到总训练小图；
[0042]第二样本获取模块，用于将其图像为车牌的总训练小图加入总正样本中，其图像为背景的总训练小图加入总负样本中，并提取每个所述总训练小图的LBP特征、H0G特征及颜色特征；
[0043]第二训练模块，用于基于所述总正样本、所述总负样本及每个所述总训练小图的LBP特征、H0G特征及颜色特征训练得到与所述总训练图像中包含的全部车牌类型相对应的SVM分类器，并确定该SVM分类器为第二级分类器。
[0044]本发明提供的一种车牌筛选方法及装置，该方法包括:提取待测小图的LBP特征，所述待测小图为将包含有车牌的待测图像进行粗检后得到的任一小图；基于所述待测小图的LBP特征，利用预先训练的N个第一级分类器分别对所述待测小图进行分类，得到N个第一级分类结果;其中，所述第一级分类器与车牌类型一一对应，N为大于1的整数;如果所述N个第一级分类结果中存在判定所述待测小图为车牌的分类结果，则提取该待测小图的颜色特征和H0G特征;基于所述待测小图的LBP特征、颜色特征及H0G特征，利用预先训练的第二级分类器对所述待测小图进行分类，得到该待测小图是否为车牌的第二级分类结果;其中，所述第二级分类器与所述N个第一级分类器对应的全部车牌类型相对应。本申请公开上述技术特征中，基于待测小图的LBP特征，利用N个第一级分类器对待测小图进行分类，确定待测小图是否为任一第一级分类器对应的车牌类型，通过第一级分类器能够快速判断出待测小图是否可能为车牌，且当利用第一级分类器对多个待测小图进行分类时，能够快速减少其图像为背景的待测小图，且保证其图像确实为车牌的待测小图不被过滤掉;基于第一级分类器判定其图像为车牌的待测小图的LBP特征、颜色特征及H0G特征，利用第二级分类器对其进行分类，确定其是否为车牌，第二级分类器所依据的特征维度较 高，能够准确判断出待测小图是否为车牌，且当利用第二级分类器对多个待测小图进行分类时，能够准确分类出车牌和与之类似的复杂字符，保证最终分类结果的准确性。即，本申请公开的技术特征在对多类型车牌的背景进行过滤以检测到车牌时，通过级联分类的多个分类器，保证了较高的检测率、较短的耗时及较少的虚警。
【附图说明】
[0045]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0046]图1为本发明实施例提供的一种车牌筛选方法的流程图；
[0047]图2为本发明实施例提供的一种车牌筛选方法中任一第一级分类器的预先训练过程的流程图；
[0048]图3为本发明实施例提供的一种车牌筛选方法中第二级分类器的预先训练过程的流程图；
[0049]图4为本发明实施例提供的一种车牌筛选方法中提取待测小图及总训练小图的颜色特征的流程图；
[0050]图5为本发明实施例提供的一种车牌筛选装置的结构示意图。
【具体实施方式】
[0051]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0052]请参阅图1，其示出了本发明实施例提供的一种车牌筛选方法的流程图，可以包括以下步骤:
[0053]S11:提取待测小图的LBP特征，待测小图为将包含有车牌的待测图像进行粗检后得到的任一小图。
[0054]需要说明的是，在车牌检测时，一帧图像可以通过计算其边缘密度等粗检方法得到若干个可能含有车牌的区域，如果把这些区域从图像中提取出来，也就可以理解成一帧完整的图像通过粗检得到若干个小图，这些小图中可能有一个是真正的车牌。本发明实施例中，可以默认一帧待测图像在粗检后得到一个含有车牌的待测小图和若干个仅含有背景的待测小图。另外，LBP特征是机器视觉领域一种常用的用来描述图像局部纹理特征的算子。本发明实施例中对于待测图像得到的任一小图均采用图1所示的步骤对其进行处理。[°°55] S12:基于待测小图的LBP(Local Binary Patterns，局部二值模式)特征，利用预先训练的N个第一级分类器分别对待测小图进行分类，得到N个第一级分类结果;其中，第一级分类器与车牌类型一一对应，N为大于1的整数。
[0056]需要说明的是，第一级分类器与车牌类型一一对应，即每个第一级分类器对应一种车牌类型，因此，N是根据车牌类型的数量决定的，优选的，N的取值为2或3。举例说明，由于警牌与民用牌的宽高比一致，将其作为第一类车牌类型，由于武警牌和军牌的宽高比一致，将其作为第二类车牌类型，此时，N为2，与之对应的，第一级分类器包括用于判断待测小图是否为警牌和民用牌的第一类分类器和用于判断待测小图是都为武警牌和军牌的第二类分类器。
[0057]S13:如果N个第一级分类结果中存在判定待测小图为车牌的分类结果，则提取该待测小图的颜色特征和H0G((Histogram of Oriented Gradient，方向梯度直方图)特征。
[0058]如果N个第一级分类结果均表明待测小图为背景，则直接确定待测小图为背景，但是，只要任一第一级分类结果表明待测小图为车牌，则说明待测小图很有可能为该第一级分类结果对应的车牌类型的车牌，则利用第二级分类器对其进行进一步的判断。
[0059]另外，需要说明的是，N个第一级分类器对于待测小图的分类可以依次进行，以避免不同第一级分类器同时工作时的互相干扰。还以步骤S12的说明中举出的例子进行说明，可先利用第一类分类器对待测小图进行分类，如果分类结果表明待测小图为车牌，则直接利用第二级分类器对其进行判断，如果分类结果表明待测小图为背景，则利用第二类分类器对其进行判断，如果分类结果表明待测小图为车牌，则利用第二级分类器对其进行判断，如果分类结果表明待测小图为背景，则判定待测小图为背景。
[0060]S14:基于待测小图的LBP特征、颜色特征及H0G特征，利用预先训练的第二级分类器对待测小图进行分类，得到该待测小图是否为车牌的第二级分类结果;其中，第二级分类器与N个第一级分类器对应的全部车牌类型相对应。
[0061]第二级分类器与全部车牌类型对应，即第二级分类器为混合分类器，能够基于待测小图的LBP特征、颜色特征及H0G特征，确定待测小图是否为全部车牌类型中任一车牌类型对应的车牌。
[0062]通过本申请公开的上述技术特征，利用级联分类的多个分类器对待测小图进行识另IJ。具体来说，基于待测小图的LBP特征，利用N个第一级分类器对待测小图进行分类，确定待测小图是否为任一第一级分类器对应的车牌类型，通过第一级分类器能够快速判断出待测小图是否可能为车牌，且当利用第一级分类器对多个待测小图进行分类时，能够快速减少其图像为背景的待测小图，且保证其图像确实为车牌的待测小图不被过滤掉;基于第一级分类器判定其图像为车牌的待测小图的LBP特征、颜色特征及H0G特征，利用第二级分类器对其进行分类，确定其是否为车牌，第二级分类器所依据的特征维度较高，能够准确判断出待测小图是否为车牌，且当利用第二级分类器对多个待测小图进行分类时，能够准确分类出车牌和与之类似的复杂字符等复杂背景，保证最终分类结果的准确性。即，本申请公开的技术特征在对多类型车牌的背景进行过滤以检测到车牌时，通过级联分类的多个分类器，保证了较高的检测率、较短的耗时及较少的虚警。或者说，本申请公开的技术特征能够快速且高效的实现对于真正的车牌的检测和对于车牌背景的过滤。
[0063]另外，利用第一级分类器对待测小图进行分类和利用第二级分类器对待测小图进行分类时所使用的待测小图的LBP特征是相同的，因此，只需计算一次即可，从而减少了冗余计算，进一步降低了识别出牌所需的时间。
[0064]如图2所示，上述实施例提供的一种车牌筛选方法中，任一第一级分类器的预先训练过程可以包括以下步骤:
[0065]S21:获取第一预设数量的训练图像，并对训练图像进行粗检得到训练小图，其中，每个训练图像中包含的车牌类型相同。
[0066]第一预设量可以根据实际需要进行确定，而对训练图像的粗检的具体说明请参见上文中对于待测图像的粗检，二者原理是一致的。为了减小耗时，将本发明实施例中所涉及的所有小图，包括训练小图，上文中的待测小图，以及下文中的指定待测小图、及总训练小图均缩放到48*16之后，再对其进行相应的处理。
[0067]S22:将其图像为车牌的训练小图加入训练正样本，其图像为背景的训练小图加入训练负样本，并提取每个训练小图的LBP特征。
[0068]LBP的cell大小为8*8，每个cell有58维特征，因此一个训练小图可提取出696维LBP特征。
[0069]依然以上述实施例中的例子进行说明，由于警牌与民用牌的宽高比一致，将其作为第一类车牌类型，对应第一类分类器，由于武警牌和军牌的宽高比一致，将其作为第二类车牌类型，对应第二类分类器，则第一类分类器对应的训练正样本中均为包括武警牌和军牌的训练小图，而第二类分类器对应的训练正样本中均为包括警牌或民用牌的训练小图。
[0070]需要说明的是，训练正样本中训练小图的数量一般大于训练负样本中训练小图的数量，具体来说，训练正样本和训练负样本的比值可以为2:1。由此，调整训练样本的偏移量，使得第一级分类器偏向于训练正样本，由此得到的分类器recall会比较高，precis1n稍低，即保证车牌小图基本不会被分类为背景小图，而可以容忍一些复杂背景(如广告牌字符等)分类为车牌。
[0071]S23:基于训练正样本、训练负样本及每个训练小图的LBP特征训练得到与训练图像中包含的车牌类型相对应的SVM(Support Vector Machine，支持向量机)分类器，并确定该SVM分类器为第一级分类器。
[0072]其中，SVM是机器学习领域中常用的监督训练模型，常用来进行模式识别、分类和回归分析，在此不再赘述。
[0073]具体来说，基于训练小图的LBP特征，确定训练正样本及训练负样本组成的特征矩阵，进一步利用该特征矩阵训练得到第一级分类器。
[0074]通过上述步骤，利用计算速度较快的LBP特征训练分类能力较弱但分类速度较快的第一级分类器，当利用第一级分类器对待测小图进行分类时，如果全部第一级分类器均判定其为背景，则该待测小图为背景，如果任一第一级分类器判定其为车牌，则再利用第二级分类器对待测小图进行分类。可见，在第一级分类器中 只使用计算速度较快的LBP特征对待测小图进行分类，且N个第一级分类器为并联的形式，因此，可以在在短耗时下过滤掉大量纹理简单的背景小图，减少输入到第二级分类器的图片数，同时保证真正的车牌小图不会被过滤掉。
[0075]如图3所示，上述实施例提供的一种车牌筛选方法中，第二级分类器的预先训练过程可以包括以下步骤:
[0076]S31:确定用于训练N个第一级分类器的全部训练图像为总训练图像，并对总训练图像进行粗检得到总训练小图。
[0077]S32:将其图像为车牌的总训练小图加入总正样本中，其图像为背景的总训练小图加入总负样本中，并提取每个总训练小图的LBP特征、H0G特征及颜色特征。
[0078]训练第二级分类器使用LBP特征、H0G特征及颜色特征，H0G特征是机器视觉领域常用的表征物体的特征描述子，颜色特征是统计R、G、B、Cr、Cb等颜色分量的直方图，这些特征相对于第一级分类器所使用的特征更复杂，维数更高，因此，也能表达出更多的特征信息。当然，根据实际需要也可以选用其他的特征，均在本发明的保护范围之内。
[0079]另外，为了保证相对平衡的recall和precis1n，总正样本中总训练小图的数量与总负样本的总训练小图的数量可以基本相等，即，总样本与总负样本的比值可以为1: 1。由此，可以在利用第二级分类器对待测小图进行分类时，保证去除大部分背景小图(仅包含背景的小图)，而保留车牌小图(仅包含车牌的小图)。
[0080]S33:基于总正样本、总负样本及每个总训练小图的LBP特征、H0G特征及颜色特征训练得到与总训练图像中包含的全部车牌类型相对应的SVM分类器，并确定该SVM分类器为第二级分类器。
[0081]通过上述步骤训练出的第二级分类器，能够基于维度更高更复杂的特征，S卩LBP特征、H0G特征及颜色特征对待测图片进行分类，以得到准确的分类结果。
[0082]另外，上述实施例提供的一种车牌筛选方法中，第二级分类器的预先训练过程还可以包括:
[0083]获取第二预设量的指定待测图像，并对指定待测图像进行粗检得到指定待测小图；
[0084]获取指定待测小图的LBP特征，并基于指定待测小图的LBP特征，利用N个第一级分类器对指定待测小图进行分类，得到分类结果；
[0085]基于分类结果获知指定待测小图中其图像为背景但被任一第一级分类器判定为车牌的指定待测小图，并将该指定待测小图加入总负样本中。
[0086]其中，第二预设量可以根据实际需要进行确定。简单来说，上述步骤即为:训练好第一级分类器后，利用第一级分类器对指定待测小图进行分类，并将第一级分类器判定其为车牌小图，而其实际上不是车牌小图的指定待测小图加入训练第二级分类器时的总负样本中，保证较少的虚警。
[0087]具体来说，上述实施例中提取待测小图、指定待测小图、训练小图及总训练小图的LBP特征及H0G特征，可以包括:
[0088]将待测小图、指定待测小图、训练小图及总训练小图转换为灰度图像，进而提取其LBP特征及H0G特征。
[0089]其中，H0G的cell大小为8*8，每个cell有31维特征，因此一个小图可提取出372维H0G特征。
[0090]如图4所示，提取待测小图及总训练小图的颜色特征可以包括以下步骤:
[0091]S41:选取待测小图及总训练小图的中心区域为目标区域，统计目标区域中每个像素的R值、G值及B值，得到与之对应的第一分布直方图。
[0092]其中待测区域可以是待测小图或者总训练小图横向的16-32列或中间的三分之一，纵坐标的4-12行或中间的二分之一，当然，也可以根据实际需要进行其他设定，均在本发明的保护范围之内。另外，需要说明的是，RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。本申请中的R值、G值、B值及分别对应RGB色彩模式下的红绿蓝三个颜色通道的值。
[0093]S42:将待测小图及总训练小图转换到YCrCb空间，统计目标区域中每个像素的Cr值和Cb值，得到与之对应的第二分布直方图。
[0094]YCrCb空间即YUV，主要用于优化彩色视频信号的传输，使其向后相容老式黑白电视。其中，Cr反映了 RGB输入信号红色部分与RGB信号亮度值之间的差异，而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的差异。
[0095]S43:对第一分布直方图和第二分布直方图进行归一化，得到待测小图及总训练小图的颜色特征。
[0096]需要说明的是，分布直方图可以为10个bin，对其进行归一化，则可得到对应小图的50维颜色特征。此时，对应小图的LBP特征、H0G特征及颜色特征组合起来，共1118维。
[0097]与上述方法实施例相对应，本发明实施例还提供了一种车牌筛选装置，如图5所示，可以包括:
[0098]第一提取模块51，用于提取待测小图的LBP特征，待测小图为将包含有车牌的待测图像进行粗检后得到的；
[0099]第一级分类模块52，用于基于待测小图的LBP特征，利用预先训练的N个第一级分类器分别对待测小图进行分类，得到N个第一级分类结果;其中，第一级分类器与车牌类型——对应，N为大于1的整数；
[0100]第二提取模块53，用于如果N个第一级分类结果中存在判定待测小图为车牌的分类结果，则提取该待测小图的颜色特征和H0G特征；
[0101]第二级分类模块54，用于基于待测小图的LBP特征、颜色特征及H0G特征，利用预先训练的第二级分类器对待测小图进行分类，得到该待测小图是否为车牌的第二级分类结果;其中，第二级分类器与N个第一级分类器对应的全部车牌类型相对应。
[0102]通过本申请公开的上述技术特征，利用级联分类的多个分类器对待测小图进行识另IJ。具体来说，基于待测小图的LBP特征，利用N个第一级分类器对待测小图进行分类，确定待测小图是否为任一第一级分类器对应的车牌类型，通过第一级分类器能够快速判断出待测小图是否可能为车牌，且当利用第一级分类器对多个待测小图进行分类时，能够快速减少其图像为背景的待测小图，且保证其图像确实为车牌的待测小图不被过滤掉;基于第一级分类器判定其图像为车牌的待测小图的LBP特征、颜色特征及H0G特征，利用第二级分类器对其进行分类，确定其是否为车牌，第二级分类器所依据的特征维度较高，能够准确判断出待测小图是否为车牌，且当利用第二级分类器对多个待测小图进行分类时，能够准确分类出车牌和与之类似的复杂字符等复杂背景，保证最终分类结果的准确性。即，本申请公开的技术特征在对多类型车牌的背景进行过滤以检测到车牌时，通过级联分类的多个分类器，保证了较高的检测率、较短的耗时及较少的虚警。或者说，本申请公开的技术特征能够快速且高效的实现对于真正的车牌的检测和对于车牌背景的过滤。
[0103]上述实施例提供的一种车牌筛选装置，还可以包括:
[0104]第一获取模块，用于获取第一预设数量的训练图像，并对训练图像进行粗检得到训练小图，其中，每个训练图像中包含的车牌类型相同；
[0105]第一样本获取模块，用于将其图像为车牌的训练小图加入训练正样本，其图像为背景的训练小图加入训练负样本，并提取每个训练小图的LBP特征；
[0106]第一训练模块，用于基于训练正样本、训练负样本及每个训练小图的LBP特征训练得到与训练图像中包含的车牌类型相对应的SVM分类器，并确定该SVM分类器为第一级分类器；
[0107]第二获取模块，用于确定用于训练N个第一级分类器的全部训练图像为总训练图像，并对总训练图像进行粗检得到总训练小图；
[0108]第二样本获取模块，用于将其图像为车牌的总训练小图加入总正样本中，其图像为背景的总训练小图加入总负样本中，并提取每个总训练小图的LBP特征、H0G特征及颜色特征；
[0109]第二训练模块，用于基于总正样本、总负样本及每个总训练小图的LBP特征、H0G特征及颜色特征训练得到与总训练图像中包含的全部车牌类型相对应的SVM分类器，并确定该SVM分类器为第二级分类器。
[0110]上述实施例提供的一种车牌筛选装置，第二训练模块可以包括:
[0111]第一获取单元，用于获取第二预设量的指定待测图像，并对指定待测图像进行粗检得到指定待测小图；
[0112]第二获取单元，用于获取指定待测小图的LBP特征，并基于指定待测小图的LBP特征，利用N个第一级分类器对指定待测小图进行分类，得到分类结果；
[0113]第三获取单元，用于基于分类结果获知指定待测小图中其图像为背景但被任一第一级分类 器判定为车牌的指定待测小图，并将该指定待测小图加入总负样本中。
[0114]上述实施例提供的一种车牌筛选装置，还可以包括:
[0115]小图处理模块，用于将待测小图、指定待测小图、训练小图及总训练小图缩放到48*16之后，再对其进行相应的处理。
[0116]上述实施例提供的一种车牌筛选装置，上述用于提取待测小图、指定待测小图、训练小图及总训练小图的LBP特征及H0G特征的模块或单元，可以包括:
[0117]提取单元，用于将待测小图、指定待测小图、训练小图及总训练小图转换为灰度图像，进而提取其LBP特征及H0G特征。
[0118]上述实施例提供的一种车牌筛选装置，上述用于提取待测小图及总训练小图的颜色特征的模块或单元可以包括:
[0119]选取单元，用于选取待测小图及总训练小图的中心区域为目标区域，统计目标区域中每个像素的R值、G值及B值，得到与之对应的第一分布直方图；
[0120]将待测小图及总训练小图转换到YCrCb空间，统计目标区域中每个像素的Cr值和Cb值，得到与之对应的第二分布直方图；
[0121]对第一分布直方图和第二分布直方图进行归一化，得到待测小图及总训练小图的颜色特征。
[0122]另外，用于训练任一第一级分类器的训练正样本与训练负样本的比值可以为2:1;用于训练第二级分类器的总正样本与总负样本的比值可以为1:1。
[0123]由于本发明实施例提供的一种车牌筛选装置与本发明实施例提供的一种车牌筛选方法是相对应的，因此，上述装置实施例中相关部分的具体说明可参见上述方法实施例中对应部分的说明。
[0124]对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的 VI
ο (ττ? tn U
【主权项】
1.一种车牌筛选方法，其特征在于，包括: 提取待测小图的LBP特征，所述待测小图为将包含有车牌的待测图像进行粗检后得到的任一小图； 基于所述待测小图的LBP特征，利用预先训练的N个第一级分类器分别对所述待测小图进行分类，得到N个第一级分类结果;其中，所述第一级分类器与车牌类型一一对应，N为大于1的整数； 如果所述N个第一级分类结果中存在判定所述待测小图为车牌的分类结果，则提取该待测小图的颜色特征和HOG特征； 基于所述待测小图的LBP特征、颜色特征及HOG特征，利用预先训练的第二级分类器对所述待测小图进行分类，得到该待测小图是否为车牌的第二级分类结果;其中，所述第二级分类器与所述N个第一级分类器对应的全部车牌类型相对应。2.根据权利要求1所述的方法，其特征在于，任一第一级分类器的预先训练过程包括: 获取第一预设数量的训练图像，并对所述训练图像进行粗检得到训练小图，其中，每个所述训练图像中包含的车牌类型相同； 将其图像为车牌的训练小图加入训练正样本，其图像为背景的训练小图加入训练负样本，并提取每个所述训练小图的LBP特征； 基于所述训练正样本、所述训练负样本及每个所述训练小图的LBP特征训练得到与所述训练图像中包含的车牌类型相对应的SVM分类器，并确定该SVM分类器为第一级分类器。3.根据权利要求2所述的方法，其特征在于，所述第二级分类器的预先训练过程包括: 确定用于训练所述N个第一级分类器的全部训练图像为总训练图像，并对所述总训练图像进行粗检得到总训练小图； 将其图像为车牌的总训练小图加入总正样本中，其图像为背景的总训练小图加入总负样本中，并提取每个所述总训练小图的LBP特征、HOG特征及颜色特征； 基于所述总正样本、所述总负样本及每个所述总训练小图的LBP特征、HOG特征及颜色特征训练得到与所述总训练图像中包含的全部车牌类型相对应的SVM分类器，并确定该SVM分类器为第二级分类器。4.根据权利要求3所述的方法，其特征在于，所述第二级分类器的预先训练过程还包括: 获取第二预设量的指定待测图像，并对所述指定待测图像进行粗检得到指定待测小图； 获取所述指定待测小图的LBP特征，并基于所述指定待测小图的LBP特征，利用所述N个第一级分类器对所述指定待测小图进行分类，得到分类结果； 基于所述分类结果获知所述指定待测小图中其图像为背景但被任一第一级分类器判定为车牌的指定待测小图，并将该指定待测小图加入总负样本中。5.根据权利要求4所述的方法，其特征在于，还包括: 将所述待测小图、所述指定待测小图、所述训练小图及所述总训练小图缩放到48*16之后，再对其进行相应的处理。6.根据权利要求4所述的方法，其特征在于，提取所述待测小图、所述指定待测小图、所述训练小图及所述总训练小图的LBP特征及HOG特征，包括: 将所述待测小图、所述指定待测小图、所述训练小图及所述总训练小图转换为灰度图像，进而提取其LBP特征及HOG特征。7.根据权利要求4所述的方法，其特征在于，提取所述待测小图及所述总训练小图的颜色特征包括: 选取所述待测小图及所述总训练小图的中心区域为目标区域，统计所述目标区域中每个像素的R值、G值及B值，得到与之对应的第一分布直方图； 将所述待测小图及所述总训练小图转换到YCrCb空间，统计所述目标区域中每个像素的Cr值和Cb值，得到与之对应的第二分布直方图； 对所述第一分布直方图和所述第二分布直方图进行归一化，得到所述待测小图及所述总训练小图的颜色特征。8.根据权利要求4所述的方法，其特征在于，用于训练任一所述第一级分类器的训练正样本与训练负样本的比值为2:1;用于训练第二级分类器的总正样本与总负样本的比值为1:1。9.一种车牌筛选装置，其特征在于，包括: 第一提取模块，用于提取待测小图的LBP特征，所述待测小图为将包含有车牌的待测图像进行粗检后得到的任一小图； 第一级分类模块，用于基于所述待测小图的LBP特征，利用预先训练的N个第一级分类器分别对所述待测小图进行分类，得到N个第一级分类结果;其中，所述第一级分类器与车牌类型一一对应，N为大于1的整数； 第二提取模块，用于如果所述N个第一级分类结果中存在判定所述待测小图为车牌的分类结果，则提取该待测小图的颜色特征和HOG特征； 第二级分类模块，用于基于所述待测小图的LBP特征、颜色特征及HOG特征，利用预先训练的第二级分类器对所述待测小图进行分类，得到该待测小图是否为车牌的第二级分类结果;其中，所述第二级分类器与所述N个第一级分类器对应的全部车牌类型相对应。10.根据权利要求9所述的装置，其特征在于，还包括: 第一获取模块，用于获取第一预设数量的训练图像，并对所述训练图像进行粗检得到训练小图，其中，每个所述训练图像中包含的车牌类型相同； 第一样本获取模块，用于将其图像为车牌的训练小图加入训练正样本，其图像为背景的训练小图加入训练负样本，并提取每个所述训练小图的LBP特征； 第一训练模块，用于基于所述训练正样本、所述训练负样本及每个所述训练小图的LBP特征训练得到与所述训练图像中包含的车牌类型相对应的SVM分类器，并确定该SVM分类器为第一级分类器； 第二获取模块，用于确定用于训练所述N个第一级分类器的全部训练图像为总训练图像，并对所述总训练图像进行粗检得到总训练小图； 第二样本获取模块，用于将其图像为车牌的总训练小图加入总正样本中，其图像为背景的总训练小图加入总负样本中，并提取每个所述总训练小图的LBP特征、HOG特征及颜色特征； 第二训练模块，用于基于所述总正样本、所述总负样本及每个所述总训练小图的LBP特征、HOG特征及颜色特征训练得到与所述总训练图像中包含的全部车牌类型相对应的SVM分类器，并确定该SVM分类器为第二级分类器。
【专利摘要】本发明公开了一种车牌筛选方法及装置，该方法包括：提取待测小图的LBP特征，待测小图为将包含有车牌的待测图像进行粗检后得到的任一小图；基于待测小图的LBP特征，利用N个第一级分类器分别对待测小图进行分类，得到N个第一级分类结果；第一级分类器与车牌类型一一对应，N为大于1的整数；如果任一第一级分类结果判定待测小图为车牌，则提取该待测小图的颜色特征和HOG特征；基于待测小图的LBP特征、颜色特征及HOG特征，利用第二级分类器对待测小图进行分类，得到该待测小图是否为车牌的第二级分类结果；其中，第二级分类器与N个第一级分类器对应的全部车牌类型相对应。从而能够保证快速且高效的检测出不同类型的车牌。
【IPC分类】G06K9/62
【公开号】CN105488532
【申请号】CN201510880900
【发明人】唐健, 关国雄, 徐鹏飞, 王浩, 黎明, 李锐, 杨利华, 徐文丽
【申请人】深圳市捷顺科技实业股份有限公司
【公开日】2016年4月13日
【申请日】2015年12月3日
最新回复(0)