基于车窗分割与fuzzy特征的车辆识别方法

基于车窗分割与fuzzy特征的车辆识别方法
【技术领域】
[0001] 本发明属于交通管理技术领域，特别是设及一种基于车窗分割与化zzy特征的车 辆识别方法。
【背景技术】
[0002] 当前在城市交通、市政和公安等领域，电子眼等监控系统的应用日益普及。该些系 统采集持续采集车辆图像和视频等数据，从采集得到的庞大数据库中提取有用信息来辅助 相关管理部口进一步开展科学管理和决策。比如在城市主干道路口和高速路关键位置，通 过采用车牌识别技术来帮助进行车辆跟踪、流量分析等智能处理，已经取得了很大成功。
[0003] 但在对社会公共安全要求越来越高的当下，因嫌疑车辆经常故意遮挡或者更换车 牌，仅仅识别车牌已经无法满足针对特定犯罪嫌疑车辆的检索需求，必须通过图像中其他 难W更换的特征信息来在庞大数据库中检索特定目标车辆。而车辆的前窗挡风玻璃上，一 般粘贴有年检、交强险和环保检测等标记，还可能摆放有吉祥物等一些位置相对固定的物 件，该些标记和物件的颜色特征和相对位置关系就构成了车前窗的图像特征，有助于在大 量车前脸图像数据库中对目标车辆的快速可靠检索。

【发明内容】

[0004] 本发明的目的在于解决现有该领域的上述的问题，提供一种可靠的目标车辆图像 检索方法，该方法通过识别车辆前部的挡风玻璃轮廓，并根据轮廓内图像HSV直方图特征 的区域化zzy差异度来实现检索，包括W下步骤：
[0005] 获取待检测图像的边缘图；对边缘图的接近水平的横线条和接近垂直的竖线条进 行直线拟合，不同的直线组合成不同的四边形；W与目标车辆车窗样本的形状相似度和边 缘吻合度最高的四边形作为待检测图像车窗的基本轮廓；确定待检测图像车窗的HSV直方 图；与目标车辆车窗样本的HSV直方图进行区域化zzy差异度值计算；按同样的方法，逐 一将车辆数据库中图像与目标车辆的HSV直方图进行区域化zzy差异度值计算；根据区域 化zzy差异度量得出检索结果。
[0006] 作为优选，所述的边缘图可W通过区域自适应阔值的Canny算子求出。
[0007] 作为优选，在所述边缘图中捜索接近水平的横线条和接近垂直的竖线条，并对线 条进行聚合和筛选；对横线进行直线拟合，筛选出拟合度高的横线，并计算主要水平倾斜角 度；对竖线进行筛选和直线拟合；根据直线拟合参数，从水平线集合选择两条横线，与从左 右竖线集中各选一条线组合为一个四边形，不同的组合构成四边形集。
[000引进一步，所述横线直线拟合，筛选出拟合度高的横线，并计算主要水平倾斜角度的 过程中，采用投票的方式确定主水平倾斜角度化rz_Angle，投票过程如下：
[0009] 1)使用最小二乘法，根据各条横线的点序列拟合直线y=kx+b，并计算拟合度为 sigma如下，其中x,，y为横线点序列中的点，len为横线长度；
[0010] y二k?X曰+b
[0011] sigma二E (y-ys)2/len
[0012] 2)根据拟合直线的参数k(直线斜率），求出水平角度在正负1(T范围内的所有拟 合直线，并确定角度范围[Ang_Min，Ang_Max];
[001引 3)将[Ang_Min，Ang_Max]等分为20个bin,每个bin角度跨度为Angbi。由于筛选 出的横线在±10。之间，故Angbi。小于等于1° ;
[0014] 4)对每一条横线，根据其k值求出其角度Ang，根据该角度与距离最近的第i个 bin中屯、角度Angi的距离，对第i个bin和与i相邻的两个bin进行投票，投票值vote计 算如下：
[0017] 5)对每个bin,将所有横线的投票值累加后，确定化rz_Angle为；
[001引
[0019] 进一步，所述两条横线设为为horzt和horzb，两者倾斜度均小于10。，其中至少一 条的角度与主水平角度化rz_Angle之差小于5% ;且horzt和horzb在水平的X方向上重 叠度不能小于其中较短横线长度的一半，即；
[0020] Overlap化orz"horzb)〉0. 5*min(lenhorzt，lerihorzb)
[0021] 再从所述左右竖线集中选出一条左竖线left和右竖线ri曲t，二者在y方向上的 重叠度必须大于较短竖线长度的一半；继而计算left、ri曲t分别与horZt和horzb的四个 交点pti(X，y)，i= 1，2, 3, 4 ;即求下列方程组的解；
[0022] y = kh ? x+bh, h = horz" horZb
[002引 X = kv ? y+bv, V = left:, ri曲t
[0024] 将四个交点从左上角开始，按逆时针顺序命名为pti，pt2, pt3, pt4,形成一个四边 形Q;重复W上步骤，产生不同组合的四边形集。
[0025] 作为优选，计算四边形集中每一个四边形与车挡风玻璃样本参数的形状相似度和 边缘吻合度，据此计算该四边形的权重；选择权重最高的四边形，W拟合四边形的四条边为 挡风玻璃基本轮廓形状相似度：
[0026] Similarity计算过程如下；
[0027] 1)选择不同类型的车辆样本，人工选择车挡风玻璃处的四个点pti，pt2, pt3, pt4， 据此算出平均上下边之比t化与标准差〇t2b;高与底边之比h化和标准差0h2b;底角均值 0和标准差00 ;
[002引 2)对四边形集中的每一个四边形化，计算其图2所示的参数，并计算四个特征值 fl，f2,fs，f4:
[0029] fi= (len t/lerib-t2b) V 0 t2b^
[0030] f2= ((hi+h2)/lerib/2-h2b)V〇h2b'
[0031] f3=(a-0)V〇e^+(0-0)V〇
[003引 f4= (a-e) 2/0g2
[003引扣根据四个特征值fi，fg，fs，计算Similarity;
[0034]
[0035] 缘吻合度Fitness计算过程如下；
[0036] 1)对横线horzt上所有满足条件pt1. x< = x< = pt4. X的点集{p(x。y;) I i = 1，2,. . .Nt}，根据horzt的直线拟合参数k t和b t，计算参数f itt:
[0039] 2)对左竖线left上所有满足条件pti.y< = ;y< =pt2.y的点集{p(x。y;)Ii= 1，2, . . .Ni}，根据left的直线拟合参数ki和b1，计算参数fiti;
[0040]
[0041]3)按类似方法计算出horzb和ri曲t的参数fitb和fitt;
[0042] 4)根据fit*、fiti、fitb和fitr计算Fitness;
[004引Fitness= (fitt+fiti+fitb+fitr)/4
[0044]最后，根据Similarity和Fitness计算出Priority;
[0045]Priority= 口i*Similarity+口g^Fitness
[0046] 选择权重最高的四边形作为待检测图像车窗基本轮廓。
[0047] 作为优选，将权重最高的四边形作为待检测图像车窗基本轮廓，将轮廓内的图像 进行仿射变换为规则矩形，将该特征区域均匀分割为M*N的子区域，并计算每个子区域的 HSV颜色直方图，步骤如下：
[0048] 1)将代表待检测图像车窗基本轮廓的四边形内的图像经过仿射变换到统一尺寸 的规则矩形；
[0049]。将该特征区域划分为M*N的均匀子区域Rm，n(m<=M，n<=脚；
[0050] 3)将图像从RGB颜色空间变换到HSV颜色空间；
[0051] 4)计算各子区域Rm，n中H、S、V通道的直方图Histm，nH,Histm，nS,Histm，/，直方图中 所有bin归一化到[0，1]区间。
[0052] 作为优选，逐一将车辆数据库中的待检图像与目标车辆的前脸图像特征进行区域 化zzy差异度值计算，根据区域化zzy差异度量检索出最相似的若干图像作为检索结果，计 算方法如下：
[0化3] 1)对待检车辆特征区域中的每一个子区域计算其与目标车辆特征区域的对 应子区域的化zzy差异度，各对应子区域的通道差异度值为：
[0054]
[0化5]其中C表示Histm，"S，Histm，JS个通道直方图，b表示该直方图下的最 大bin数，Ab,k表示b，k两个bin的差，公式保证了当两个直方图在同一个bin或者相邻 bin的差值较小时，各通道差异度值也较小；
[0化6] 根据各通道差异度，计算该对应子区域的化zzy差异度值为：
[0057]Fm，n=aH冲aS冲aV冲m，/
[0化引其中a。为各通道的常量系数；
[0059] 2)根据对应子区域的差异度Fm,。计算区域差异度F;
[0060]
[0061] 待测车辆中与目标车辆的区域化zzy差异度值较小的若干图像被识别为目标车 辆。
[0062] 作为优选，选择一张目标车辆的前部图像，从中手工选择四个点确定其前窗基本 位置；将范围内的图像经仿射变换到指定尺寸的矩形特征区域，并将该特征区域内的图像 划分为M*N的子区域，同时计算各子区域的HSV直方图。
[0063] 本发明具有W下有益效果；该车辆图像检索方法利用车辆挡风玻璃范围内图像 HSV直方图特征的区域化zzy差异度值来识别相似图像，摆脱了单一依靠车牌检索的不可 靠性，提高了车辆图像检索的效果。
【附图说明】
[0064] 图1是基于车窗分割与化zzy特征的车辆识别方法的流程图；
[0065] 图2四边形Q的参数示意图；
[0066] 图3计算车窗区域HSV直方图。
【具体实施方式】
[0067] 下面结合具体实施例，并结合附图，对本发明的技术方案作进一步的说明：
[0068] 实施例1 ;在步骤SOI中，使用区域自适应阔值的Canny算子求取边缘图时，Canny 算子需要设定高低两个阔值。一般方法采用人工设定或者全局自适应确定，本方法采用区 域自适应方法确定阔值并运行Canny算子，步骤如下：
[0069] 1)将图像划分为4*4共16块子区域；
[0070] 2)在每一个子区域，计算该区域内的累积灰度直方图；
[0071]
[0072] 其中i为第i个灰度级，范围0~255, 1 (g)为图像中灰度为g的像素个数，根据 累积灰度直方图选取高阔值Thh和低阔值化1。
[0073]
[0074]化1=0. 4*Ilih
[0075] 3)根据区域阔值运行Canny算子。Canny算子处理到某子区域时，采用该区域内 的高低阔值进行处理，跨区域的边界邻域内采用相邻子区域的阔值均值处理。
[0076] 实施例2 ;对四边形集中的每一个四边形Q，计算四边形与车挡风玻璃样本参数的 形状相似度Similarity和边缘吻合度Fitness,据此计算该四边形的权重Priority ;
[0077] 形状相似度Similarity反映了所找到的四边形Q与样本中挡风玻璃形状的相似 程度。具体计算过程如下：
[007引 1)选择100辆包括小汽车、面包车、货车、SUV等不同类型的车辆样本，人工选择车 挡风玻璃处的四个点口1：1，口12,口13，口14，据此算出平 均上下边之比1：化=0.7716，标准差0126 =0.0245 ;高与底边之比h2b = 0.3570,标准差0h2b= 0.0346 ;底角均值0 = 72. 12,标 准差00= 2. 5373。
[0079] 2)对四边形集中的每一个四边形化，计算其如图2所示的参数，并计算四个特征 值fi，fa，fs，f4:
[0080] fi= (lent/lerib-t2b)V0t2b^
[0081] f2= ((hi+h2)/lerib/2-h2b)V〇h2b'
[00間fs= (a-日）2/。e2+(0_0)2/。g2
[0083] f4= ( a - 0 ) 2/0
[0084] 3)根据四个特征值fi，fg，fs，f4计算Similarity ;
[0085]
[0086]边缘吻合度Fitness反映了Q的四条边与参与拟合Q的四条线horZt，horZb，left和ri曲t在图像空间位置上的贴合程度，计算过程如下：
[0087] 1)对横线horzt上所有满足条件pt1. x< = x< = pt4. X的点集{p(x。y;) I i = 1，2,. . .Nt}，根据horzt的直线拟合参数k t和b t，计算参数f itt:
[0090] 2);对左竖线left上所有满足条件pti.;y< = ;y< = pt2. y的点集{p(x。y;) Ii = 1，2,. . . Ni}，根据left的直线拟合参数ki和b1，计算参数f iti;
[0091]
[0092]3)按类似方法计算出horZb和ri曲t的参数fitb和fitt;
[009引4)根据fitt、fiti、fitb和fitr计算Fitness ;
[0094] Fitness = (fitt+fiti+fitb+fitr)/4
[0095]根据Similarity和Fitness计算出Priority ;
[0096] Priority =口i*Similarity+口2*Fitness
[0097] 其中a1取0.7, a2取0.3,因据统计，形状相似度对车窗边缘拟合的贡献更大。 [009引选择权值Priority最高的四边形Q作为挡风玻璃基本轮廓，将该车辆前部图像在 基本轮廓内的部分经仿射变换到统一尺寸的特征区域，并分割为M*N(12*8)的子区域。然 后将图像由RGB空间转换到HSV空间，按照H通道分为36个bin, S通道分为10个bin, V 通道分为16个bin,并将所有bin归一化到[0，1]区间的方式计算每个子区域的服V颜色 直方图，作为该车辆的前脸图像特征。如图3所示。
[0099] 上述【具体实施方式】用来解释说明本发明，而不是对本发明进行限制，在本发明的 精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范 围。
【主权项】
1. 基于车窗分割与fuzzy特征的车辆识别方法，其特征在于，包括以下步骤： SOl获取待检测图像的边缘图； S02对边缘图的接近水平的横线条和接近垂直的竖线条进行直线拟合，不同的直线组 合成不同的四边形； S03以与目标车辆车窗样本的形状相似度和边缘吻合度最高的四边形作为待检测图像 车窗的基本轮廓； S04确定待检测图像车窗的HSV直方图； S05与目标车辆车窗样本的HSV直方图进行区域Fuzzy差异度值计算； S06按同样的方法，逐一将车辆数据库中图像与目标车辆的HSV直方图进行区域Fuzzy 差异度值计算； S07根据区域Fuzzy差异度量得出检索结果。2. 据权利要求1所述的基于车窗分割与fuzzy特征的车辆识别方法，其特征在于：步 骤SOl中所述的边缘图是使用区域自适应阈值的Canny算子求出。3. 据权利要求1所述的基于车窗分割与fuzzy特征的车辆识别方法，其特征在于，步 骤S02具体包括：在边缘图中搜索接近水平的横线条和接近垂直的竖线条，并对线条进行 聚合和筛选；对横线进行直线拟合，筛选出拟合度高的横线，并计算主要水平倾斜角度；对 竖线进行筛选和直线拟合；根据直线拟合参数，从水平线集合选择两条横线，与从左右竖线 集中各选一条线组合为一个四边形，不同的组合构成四边形集。4. 据权利要求3所述的基于车窗分割与fuzzy特征的车辆识别方法，其特征在于：对 横线直线拟合，筛选出拟合度高的横线，并计算主要水平倾斜角度的过程中，采用投票的方 式确定主水平倾斜角度Horz_Angle，投票过程如下： 1) 使用最小二乘法，根据各条横线的点序列拟合直线y = kx+b，并计算拟合度为sigma 如下，其中xs, ysS横线点序列中的点，Ien为横线长度； y = k · xs+b Sigma=E (y-ys)2/len 2) 根据拟合直线的参数k(直线斜率），求出水平角度在正负10°范围内的所有拟合直 线，并确定角度范围[Ang_Min，Ang_Max]; 3) 将[Ang_Min, Ang_Max]等分为20个bin，每个bin角度跨度为Angbin由于筛选出的 横线在±10°之间，故Ang bin小于等于Γ ; 4) 对每一条横线，根据其k值求出其角度Ang，根据该角度与距离最近的第i个bin中 心角度Angi的距离，对第i个bin和与i相邻的两个bin进行投票，投票值vote计算如下：5) 对每个bin，将所有横线的投票值累加后，确定Horz_Angle为：5. 据权利要求3所述的基于车窗分割与fuzzy特征的车辆识别方法，其特征在于：所 述两条横线为horzt和horzb,倾斜度均小于10°，其中至少一条的角度与主水平角度Horz_ Angle之差小于5% ;且horzt和horz b在水平的X方向上重叠度不能小于其中较短横线长 度的一半，即： Overlap (horzt, horzb) >0. 5*min (Ienhorzt, Ienhorzb) 再从所述左右竖线集中选出一条左竖线left和右竖线right，二者在y方向上的重叠 度必须大于较短竖线长度的一半；继而计算left、right分别与horzt和horz b的四个交点 PtiU, y)，i = 1，2, 3, 4 ;即求下列方程组的解： y = kh · x+bhJ h = horztJ horzb x = kv · y+bvJ v = left, right 将四个交点从左上角开始，按逆时针顺序命名为Pt1, Pt2, pt3, Pt4，形成一个四边形Q ; 重复以上步骤，产生不同组合的四边形集。6. 据权利要求1所述的基于车窗分割与fuzzy特征的车辆识别方法，其特征在于，步骤 S03具体包括： 形状相似度Similarity计算过程如下： 1) 选择不同类型的车辆样本，人工选择车挡风玻璃处的四个点Pt1, pt2, pt3, pt4，据此 算出平均上下边之比t2b与标准差〇t2b;高与底边之比h2b和标准差 〇 h2b;底角均值Θ和 标准差σ 0; 2) 对四边形集中的每一个四边形Qi，计算其图2所示的参数，并计算四个特征值f\，f2， f3, f4: ?\= (len t/lenb_t2b)2/ 〇 t2b2 f2= ((h 1+h2)/lenb/2-h2b)2/〇 h2b2 f3= (α-θ)2/σ θ2+(β-θ)2/σ θ2 f4= (α-β) 2/σ e2 3) 根据四个特征值?\，f2, f3, &计算Similarity : similarity = e'(fl+-fj+fi+f4) 缘吻合度Fitness计算过程如下： 1) 对横线horzt上所有满足条件pt p x〈 = x〈 = pt4. X的点集{p (Xi, yj I i = 1，2,. . . Nj，根据horzt的直线拟合参数k JR b t，计算参数f itt:2) 对左竖线left上所有满足条件Pt1. y〈 = y〈 = pt2. y的点集{p (Xi, yj I i = 1，2,. . . NJ，根据left的直线拟合参数匕和b i，计算参数fit1:3) 按类似方法计算出horzb和right的参数fit b和fit ^ 4) 根据 fitt、fitp fitb和 fit r计算 Fitness : Fitness = (f itt+f itx+f itb+f itr) /4 最后，根据 Similarity 和 Fitness 计算出 Priority : Priority = a ^Similarity+a 2*Fitness 选择权重最高的四边形作为待检测图像车窗基本轮廓。7. 据权利要求1所述的基于车窗分割与fuzzy特征的车辆识别方法，其特征在于，步 骤S04具体包括：将权重最高的四边形作为待检测图像车窗基本轮廓，将轮廓内的图像进 行仿射变换为规则矩形，将该特征区域均匀分割为M*N的子区域，并计算每个子区域的HSV 颜色直方图，步骤如下： 1) 将代表待检测图像车窗基本轮廓的四边形内的图像经过仿射变换到统一尺寸的规 则矩形； 2) 将该特征区域划分为M*N的均匀子区域Rm，n(m〈 = M，n〈 = N); 3) 将图像从RGB颜色空间变换到HSV颜色空间； 4) 计算各子区域Rm，n中H、S、V通道的直方图Hist m，nH，Histm，n s，Histm，nv，直方图中所有 bin归一化到[0，1]区间。8. 据权利要求1所述的基于车窗分割与fuzzy特征的车辆识别方法，其特征在于：所 述方法逐一将车辆数据库中的待检图像与目标车辆的前脸图像特征进行区域Fuzzy差异 度值计算，根据区域Fuzzy差异度量检索出最相似的若干图像作为检索结果，计算方法如 下： 1) 对待检车辆特征区域中的每一个子区域Rm，nT，计算其与目标车辆特征区域的对应子 区域&^的Fuzzy差异度，各对应子区域的通道差异度值为：兵屮C衣不Histni,n'，mStni,PHist111,"二7丨、旭迫且力囹，b ΜΧ衣不该且力'图下的最大bin 数，Ab，k表示b，k两个bin的差，公式保证了当两个直方图在同一个bin或者相邻bin的 差值较小时，各通道差异度值FmJ也较小； 根据各通道差异度，计算该对应子区域的Fuzzy差异度值为： Fm, n= a H*Fm,nH+as*Fm,nS+av*Fm,nV 其中a。为各通道的常量系数； 2) 根据对应子区域的差异度Fniin计算区域差异度F ;待测车辆中与目标车辆的区域Fuzzy差异度值较小的若干图像被识别为目标车辆。9.据权利要求1所述的基于车窗分割与fuzzy特征的车辆识别方法，其特征在于，步骤 S06所述目标车辆的HSV直方图通过以下方法确定：选择一张目标车辆的前部图像，从中手 工选择四个点确定其前窗基本位置；将范围内的图像经仿射变换到指定尺寸的矩形特征区 域，并将该特征区域内的图像划分为M*N的子区域，同时计算各子区域的HSV直方图。
【专利摘要】本发明公开了基于车窗分割与fuzzy特征的车辆识别方法，通过提取辆前脸图像的边缘；然后根据边缘进行四边形拟合，从而快速分割出车辆前窗挡风玻璃轮廓；接着提取挡风玻璃范围内的HSV图像直方图特征；最后通过HSV直方图的区域Fuzzy差异度量对比来检索车辆。本发明摆脱了单一依靠车牌检索的不可靠性，提高了车辆图像检索的效果。
【IPC分类】G06K9/00, G06K9/64
【公开号】CN104881630
【申请号】CN201510148453
【发明人】彭浩宇, 王勋, 刘春晓, 刘长东
【申请人】浙江工商大学
【公开日】2015年9月2日
【申请日】2015年3月31日