一种视频图像中运动车辆阴影检测方法
一种视频图像中运动车辆阴影检测方法
【技术领域】
[0001] 本发明属于数字图像处理领域，特别涉及一种视频图像中运动车辆的阴影检测方 法。
【背景技术】
[0002] 阴影主要是物体遮挡光源而在形成的暗区域，根据阴影的特征可分为自阴影和投 射阴影。自阴影是物体本身未被光线照射的部分，视频分析中运动目标的自阴影应属于目 标物体的一部分。而投射阴影是物体遮挡光源后投射在场景中的阴影，例如树木、车辆、行 人等物体投射在路面上的阴影，这是视频场景的一部分而非运动目标。在视频中的投射阴 影可分为静态阴影和运动阴影。静态阴影在背景建模中被逐渐融入到背景中。运动阴影是 由场景中移动的前景目标遮挡光线而投射在场景中的暗区域，随着目标一起运动。
[0003] 由于车辆投射在路面的运动阴影与车辆具有很相似的运动特征，因而运动阴影常 常被误判为前景运动目标的一部分。若不消除此类运动阴影，会导致前景目标形状畸变、多 个运动目标粘连等缺陷，对后续的车辆检测、车辆跟踪、车型检测等图像处理操作产生很大 的影响，所以检测运动车辆阴影是非常必要的环节，一直是研宄的热点课题之一。
[0004] 目前，阴影检测的算法可以分为基于阴影模型的方法、基于阴影属性特征的方法 和基于机器学习的方法等类型。
[0005] (1)基于阴影模型的方法：主要是对视频场景进行建模，包括对光源建模和投射 方向建模等类型。在光源建模中，一是假设纯白光为唯一光源，阴影是由于光线被线性衰减 造成的，另一种是假设光源是直射光（如太阳光）和漫反射光共同作用，光线被非线性地衰 减而形成阴影。例如Nadimi和Bhanu提出了一种双色模型，综合考虑两种光源对阴影区域 的影响。在投射方向建模方面，刘直芳等提出了一种投射阴影方向模型，袁基炜和史忠科在 此基础上进一步提出了八种车辆/阴影模型。基于模型的方法需要预先获得光照条件、运 动目标、场景等先验信息，在背景复杂、光照突变等众多场景下，所建立的模型存在适应性 方面的缺陷。
[0006] (2)基于阴影属性特征的方法：主要是利用阴影的亮度、梯度、色彩、纹理等信息 来识别阴影区域。通常认为阴影区域（特别是半影区）的亮度变低，而梯度、色度、纹理等 变化较小或忽略不计。基于特征的方法对不同的场景以及光照条件具有较强的鲁棒性，但 算法的普适性尚有待提高。
[0007] (3)基于机器学习的方法：通过构造支持向量机、神经网络等分类器模型，建立纹 理、灰度等特征的学习库，并对分类器模型进行训练学习，再由训练好的分类器来判别暗区 域是否为阴影。这类方法解决了自动学习、模式识别等方面难题，但分类器的泛化能力、普 适性等方面尚待提尚。
[0008] 综上所述，各类方法在处理阴影问题上尚具有一定的局限性，有必要对阴影检测 方法进行改进。
【发明内容】
[0009] 鉴于此，本发明提供一种视频图像中运动车辆阴影的检测方法，以克服现有方法 中存在的缺陷和不足。
[0010] 为实现上述目的，本发明提供了一种运动车辆阴影消除方法，包括：
[0011] (1)提取运动车辆目标的图像IF和背景图像IB后，分别转换为YCbCr色彩空间， 获得图像IF和背景的亮度分量Y、色度Cb和Cr分量，然后构建融合亮度、色度特征信息的 图像Ifea，图像Ifta中各点的其像素值为
[0013] 其中，BW为基于背景相减的运动目标检测方法所获得的二值化前景目标图像，D为像素P(x，y)的邻域，然后将图像Ifta经最大类间方差法求得阈值T，再将图像Ifea中小 于阈值Tfea的像素值变为零，从而得到图像Hfea;
[0014] (2)对图像IF进行区域分割，并计算图像IF的各区域与其背景图像之间色度Cb与 Cr之间差值的绝对值总和，将其最大值的区域Dseg(i)作为车辆车体的搜索起始区域，即
[0016] (3)采用边缘算子对图像IfJi行边缘检测，获得边缘图像E，依最大类间方差法 求得边缘图像E的二值化阈值Tedge，将小于阈值的边缘值变为零，得到含边缘特征的图 像并将图像HfM与图像I 行叠加，形成含有边缘、亮度和色度信息的特征图像M， 即
[0017] M(x,y) =Iedge+Hfea(x,y)
[0018] 其中：
[0019] (4)构造抑制阴影区与背景边缘的掩膜图像，先求得二值化前景目标图像BW的边 界B，沿边界B历遍边界的每一点P(x，y)，再将P(x，y)点对应邻域L内的像素M(x，y)设置 为零，邻域L的宽度计算公式为
[0020] L=入?arccot[a? (dc_dz)]
[0021] 其中，A为幅度调整因子，a为变化率调整因子，d。为P(x，y)点到特征图像M形 心C的距离，4为P(x，y)点到特征图像M质心Z距离，当L〈0时，将L设置为零；
[0022] (5)获取搜索起始区域Dseg(i)的边界b，沿边界b找出所有与Dseg⑴相连接的r 个区域，构成集合[Dseg (1)，Dseg (2)…Dseg (r)]，取该集合中特征图像M的像素平均值最大的 区域DS6g(j)，再将DS6g(j)和DS6g⑴区域合并形成更大的区域DS6g(i)，即
[0024] 其中，
，nSDseg(m)区域内像素的个数，k为当 前迭代计数，反复迭代直至得到的区域DS6g(i)满足式（7)时止，即区域DS6g(i)的周边子区 域中不再存在区域像素平均值大于阈值I的子区域，阈值I取边界B上邻域L宽度大于 零的区间段所触及的区域Dseg(j)的特征图像M像素平均值；
[0026] 区域Dseg(i)未触及的其它子区域组成2个集合％= [Dseg(r+l)，Dseg(r+2)… Dseg(r+k)]和％= 〇)%〇^+1)，0卿〇^+2卜.0卿洲]，〇1是0^1)的相邻子区域集合，〇2 为不与Dseg(i)相邻的区域集合，若％和92均为空集，说明运动目标不存在阴影，即完成整个 阴影候选区域的检测过程；否则，判断集合Q2中区域的区域像素平均值是否大于阈值I， 若不大于则集合％和92的所有元素组成的区域为阴影的候选区，若大于则说明有两个运动 目标发生了粘连，再将集合Q2按式（6)对另一个目标进行阴影分析，直到满足（7)式时将 集合％和Q2的所有元素组成的区域为阴影的候选区；
[0027] (6)以阴影候选区为起点，采用区域生长法搜寻阴影候选区及其周边的阴影区域， 区域生长搜寻的准则为
[0028] S(j) = {P(x,y) :M(x,y) <Tedge&|Ifea(x,y)-Ifea(x+d,y+d) | < ^ 〇&Bff(x,y) = 1}
[0029] 历遍集合％和Q2每一个元素所代表的子区域，搜索子区域内及其周边区域，获得 阴影子区域S(r+1)，S(r+2)…S(N)，所有阴影子区域通过逻辑"或"运算得到运动车辆的全 部阴影区域S，即
[0030]S=Dseg (r+1)IDseg (r+2)卜.Dseg (N)IS(r+1)IS(r+2)卜.S(N)〇
[0031] 所述的一种视频图像中运动车辆阴影检测方法，所述的步骤（1)中，当背景图像IB 的亮度分量Y、色度Cb和Cr分量中任何通道分量偏小导致分母为零时，采用该通道分量的 平均值替代
[0032] 本发明同时考虑亮度、色度和边缘梯度等多特征信息，利用阴影区亮度是其背景 的比例衰减且色度变化微小等特点，采用运动目标图像与其背景图像的亮度、色度分量之 间的衰减比例值，构造出阴影特征图像。该特征图像有效地衰减了阴影区域的纹理，并进一 步增强非阴影区的纹理。在图像区域分割后，以色度差最大的区域为起点搜索车辆本体区 ±或，而未触及的剩余区域视为阴影候选区。再从各阴影候选区出发搜索其周边区域，最终整 合所有阴影子区域，获得车辆的整个阴影区域。与现有阴影检测方法相比，实验结果表明： 所提出的方法能自主判别是否存在阴影，具有良好的阴影检测性能和普适性，减弱了阴影 对后续视频分析的影响，适用于交通视频分析的目标跟踪、车型、车流量检测等应用领域。
【附图说明】
[0033] 图1为本发明在实施例中视频序列的一帧图像；
[0034] 图2为本发明在实施例中视频场景的背景图像IB;
[0035] 图3为本发明在实施例中含阴影区域的运动车辆图像IF;
[0036] 图4为本发明在实施例中融合亮度和色度信息的运动车辆图像Ifta;
[0037] 图5为本发明在实施例中运动车辆车体的搜索起点区域以及阴影候选区；
[0038] 图6为本发明在实施例中融合灰度、边缘和色度的运动车辆特征图像M;
[0039] 图7为本发明在实施例中抑制阴影区边缘信息的掩膜图像；
[0040] 图8为本发明在实施例中消除了阴影区边缘信息的特征图像M;
[0041] 图9为本发明在实施例中运动车辆阴影的检测结果。
【具体实施方式】
[0042] 下面结合附图和【具体实施方式】，对本发明的视频图像中运动车辆阴影检测的方法 作进一步地阐述。
[0043] 本发明在实施例中的视频图像中运动车辆阴影检测方法包括以下步骤。
[0044] 步骤A.针对如图1所示的交通监控场景建立背景模型。对背景实时更新获得运 动车辆的背景，如图2所示。采用运动目标检测方法中的PBAS方法获得运动车辆目标，如 图3所示。
[0045] 步骤B.将运动目标图像IF和背景图像I，人RGB色彩空间转换至YCbCr色彩空 间，分别获得亮度Y、色度Cb和Cr三个分量的值，转换公式如下
[0046] Y= 16+65.481*R+128. 553*G+24. 966*B
[0047] Cb= 128-37. 797*R-74. 203*G+112*B
[0048] Cr= 128+112*R-93. 785*G-18. 214*B
[0049] 步骤C.构建图像Ifea，达到消减阴影区纹理并增强车体纹理的目的，如图4所示。 图像Ifea中各像素值计算公式如式（1)所示
[0051] 其中，BW为前景目标的二值化图像，D为像素P(x，y)的邻域，本实施例中邻域大小 D值取3,即8邻域。当分母为0时，分别采用背景图像IB的亮度Y、色度Cb和Cr平均值代 替相应的分母。
[0052] 依最大类间方差法求得图像Ifea的二值化阈值Tfea，鉴于小于阈值Tfea的像素通常 是阴影或黑色车体引起的，为减少这类像素对车体搜 索的影响，因此，将小于阈值Tfea的值 变为〇,得到图像Hfta，即
[0054] 步骤D.采用Meanshift算法进行图像IF分割若干子区域形成集合Dseg(N)，依式 (2)取图像IF的色度Cb、Cr分量与背景图像相差最大的区域Dseg(i)，作为车辆车体的搜索 起点区域，如图5所示，其中颜色最深的区域即为搜索起点区域，即
[0056] 步骤E.采用边缘算子对图像IfJi行边缘检测，本实施例中采用Sobel边缘算子 获得边缘图像E，其计算公式为
[0057]
[0058] 其中，Gx=Ifea (x-1，y-1) +2Ifea (x，y-1) +Ifea (x+1，y-1) _Ifea(x-1，y+1) _2Ifea(x，y+1 )_Ifea(x+l，y+i)，
[0059] Gy=Ifea(x-1，y-1) +2Ifea (x-1，y) +Ifea (x-1，y+1) _Ifea (x+1，y-1) _2Ifea(x+1，y) _Ifea (x+l,y+l)
[0060] 采用最大类间方差法求得边缘图像E的二值化阈值Tedge，将小于阈值的边缘 值变为〇,以减少轻微边缘引起的干扰，即
[0062] 然后，将图像UP边缘图像I6_进行叠加，获得融合了边缘梯度、亮度和色度的 特征图像M，各像素的值为
[0063] M(x,y) =Iedge+Hfea (x,y) (4)
[0064] 本实施例中得到的特征图像M如图6所示。
[0065] 步骤F.获取二值化前景目标图像BW，计算二值化BW的形心C(X。，y。)，形心计算公 式为
[0068] 由于特征图像M的边缘信息分布不均匀，表现为车体区域边缘信息丰富而阴影区 的边缘信息非常稀少，因此特征图像M质心更靠近车体，其质心Z(xz，yz)的计算公式为
[0071] 为了消减阴影区与背景区的边缘，构建抑制阴影区域边缘信息的掩膜图像，如图7 所示。为了保留车体边缘信息，邻域L的宽度是可变的，在阴影区内时L值较大，而在非阴 影区时L值较小。设二值化前景图像BW的边界B上的任一点为P(x，y)到形心C的距离为 d。，P(x，y)点到质心Z距离为dz，则邻域L的宽度为
[0072] L=入?arccot[a? (dc_dz) ] (5)
[0073] 本实施例中，当L〈0时，置L为0 ;A为幅度调整因子，本实施例中A值为1 ;a为 变化率调整因子，本实施例中a值为1。该掩膜图像的作用是将P(x，y)点邻域L内的像素 M(x，y)设置为0。对特征图像M经过掩膜图像的操作后，有效地抑制了阴影区的边缘信息， 如图8所示。
[0074] 步骤G.获取搜索起点区域Dseg(i)的边界b，沿边界b找出所有与Dseg(i)相连接 的区域，假设区域数量为r个，构成集合[Dseg (1)，Dseg (1) ???Dseg (r)]，计算特征图像M每个区 域的像素平均值，取平均值最大的Dseg(j)区域与原来的Dseg(i)合并，即
[0076]其中
，nSDseg(m)区域内像素的个数，k为 当前迭代计数。
[0077] 然后循环迭代求得区域Dseg(i)，直到满足式（7)时终止迭代，即特征图像M中与 Dseg(i)相邻的其它子区域中不再存在区域像素特征平均值均小于阈值I的子区域，阈值 I是近似等于零的小数，根据视频场景的不同而整定阈值I的值。
[0079] 区域Dseg(i)未触及的其它子区域组成2个集合％= [Dseg(r+l)，Dseg(r+2)… Dseg(r+k)]和％= 〇)%〇^+1)，0卿〇^+2卜.0卿洲]，〇1是0^1)的周边子区域集合，〇2 是不与Dseg(i)相邻的区域集合。
[0080] 本实施例中％和Q2集合均为非空，说明运动目标存在阴影。又由于集合Q2中区 域像素平均值均小于阈值I，说明只有一个运动目标的阴影。然后，将集合％和92的所有 元素视为阴影的候选区。边界B上邻域L宽度值大于零的区间段所涉及的区域主要是阴影 区，如图6和图7所示，因此，阈值|取邻域L宽度值大于零的区间段所涉及的区域的特征 图像M像素平均值，本实施例中阈值|为0. 1。迭代终止后的Dseg(i)如图5中的灰色区 域，即车辆车体部分，而未被着色的空白区域则为阴影候选区域。
[0081] 步骤扎从％和〇2集合的每一个元素〇)^〇'+1)，0^〇'+2)-0^洲]所代表的子 区域出发，采用区域生长法在特征图像IfM(x，y)中搜寻阴影区域S(j)，区域生长的准则依 式⑶计算。
[0082] S(j) = {P(x,y) :M(x,y) <Tedge&|Ifea(x,y)-Ifea(x+d,y+d) | < ^ 〇&Bff(x,y) = 1} (8)
[0083]获得阴影子区域S(r+1)，S(r+2)…S(N)后，将所有子区域通过逻辑"或"运算得到 运动车辆的全部阴影子区域S，即
[0084] S=Dseg (r+1) |Dseg (r+2)卜.Dseg (N) |S(r+1) |S(r+2)卜.S(N)
[0085]本实施例中全部阴影子区域S如图9所示，其中灰色区域为检测出的阴影，白色区 域为车辆的车体。从图9可以看出，本发明从运动目标中检测阴影的效果好。
【主权项】
1. 一种视频图像中运动车辆阴影检测方法，其特征在于，包含以下步骤： (1) 提取运动车辆目标的图像If和背景图像I B后，分别转换为YCbCr色彩空间，获得 图像If和背景的亮度分量Y、色度Cb和Cr分量，然后构建融合亮度、色度特征信息的图像 Ifta，图像Ua中各点的其像素值为其中，BW为基于背景相减的运动目标检测方法所获得的二值化前景目标图像，D为像 素 P (X，y)的邻域，然后将图像Ifta经最大类间方差法求得阈值T ，再将图像Ifea中小于阈 值Tfea的像素值变为零，从而得到图像H fea; (2) 对图像If进行区域分割，并计算图像IF的各区域与其背景图像之间色度Cb与Cr 之间差值的绝对值总和，将其最大值的区域D^(i)作为车辆车体的搜索起始区域，即(3) 采用边缘算子对图像IfM进行边缘检测，获得边缘图像E，依最大类间方差法求得 边缘图像E的二值化阈值，将小于阈值1；_的边缘值变为零，得到含边缘特征的图像 并将图像Hfta与图像I ?^进行叠加，形成含有边缘、亮度和色度信息的特征图像Μ，即(4) 构造抑制阴影区与背景边缘的掩膜图像，先求得二值化前景目标图像BW的边界B， 沿边界B历遍边界的每一点P (X，y)，再将P (X，y)点对应邻域L内的像素 M (X，y)设置为零， 邻域L的宽度计算公式为 L = λ · arccot [ α · (dc_dz)] 其中，λ为幅度调整因子，α为变化率调整因子，d。为P(x，y)点到特征图像M形心C 的距离，4为P (X，y)点到特征图像M质心Z距离，当L〈0时，将L设置为零； (5) 获取搜索起始区域Dseg(i)的边界b，沿边界b找出所有与Dseg(i)相连接的r个区 域，构成集合[Dseg (I)，Dseg (2)…Dseg (r)]，取该集合中特征图像M的像素平均值最大的区域 Dseg(j)，再将Dseg(j)和Dseg⑴区域合并形成更大的区域D seg(i)，即 Dkseg{i) = Dk^(i) + Dk^(j) (6) 其中，，n SDseg(Hi)区域内像素的个数，k为当前 迭代计数，反复迭代直至得到的区域Dseg(i)满足式（7)时止，即区域Dseg(i)的周边子区域 中不再存在区域像素平均值大于阈值ξ的子区域，阈值ξ取边界B上邻域L宽度大于零 的区间段所触及的区域Dseg(j)的特征图像M像素平均值；(7) 区域Dseg (i)未触及的其它子区域组成2个集合Q1 = [D seg (r+1)，Dseg (r+2) -Dseg (r+k)] 和％= [Dseg(r+k+1)，Dseg(r+k+2)-Dseg(N)]，Q# Dseg(i)的相邻子区域集合，Q2为不与 Dseg(i)相邻的区域集合，若％和02均为空集，说明运动目标不存在阴影，即完成整个阴影候 选区域的检测过程；否则，判断集合Q2中区域的区域像素平均值是否大于阈值ξ，若不大 于则集合％和92的所有元素组成的区域为阴影的候选区，若大于则说明有两个运动目标发 生了粘连，再将集合Q2按式（6)对另一个目标进行阴影分析，直到满足（7)式时将集合Q1和Q2的所有元素组成的区域为阴影的候选区； (6)以阴影候选区为起点，采用区域生长法搜寻阴影候选区及其周边的阴影区域，区域 生长搜寻的准则为 S(j) = {P(x, y) :M(x, y) < Tedge&| Ifea(x, y)-Ifea(x+d, y+d) | < ζ 〇&Bff(x, y) = 1} 历遍集合％和Q 2每一个元素所代表的子区域，搜索子区域内及其周边区域，获得阴影 子区域S (r+1)，S (r+2)…S (N)，所有阴影子区域通过逻辑"或"运算得到运动车辆的全部阴 影区域S，即 S = Dseg (r+1) I Dseg (r+2)卜.Dseg (N) I S (r+1) I S (r+2)卜.S (N)。2.根据权利要求1所述的一种视频图像中运动车辆阴影检测方法，其特征在于，所述 的步骤（1)中，当背景图像Ib的亮度分量Y、色度Cb和Cr分量中任何通道分量偏小导致分 母为零时，采用该通道分量的平均值替代。
【专利摘要】本发明公开了一种视频图像中运动车辆阴影检测方法，用以消除前景图像中运动目标的阴影，提高目标检测与跟踪的准确性。本发明提供的运动阴影检测方法，包括：构建融合亮度、色度和边缘梯度等信息的特征图像，经图像分割后取色度差最大的区域为车体搜索起始区域，迭代搜寻并吸收周边相邻区域中特征值最大的区域，直到满足迭代终止条件后，剩余的子区域集若为空集则表明运动目标阴影可以忽略，若为非空则将剩余子区域作为阴影候选区域，再从每一个阴影候选子区域出发搜索其阴影子区域，最后将所有搜索到的阴影子区域组合成整个阴影区域。该方法能够自动判别是否存在阴影，能够更合理地融合多种特征，减少了人工干预，阴影检测率高，普适性好。
【IPC分类】G06T7/00
【公开号】CN104899881
【申请号】CN201510282190
【发明人】贺科学, 李树涛
【申请人】湖南大学, 长沙理工大学
【公开日】2015年9月9日
【申请日】2015年5月28日
【技术领域】
[0001] 本发明属于数字图像处理领域，特别涉及一种视频图像中运动车辆的阴影检测方 法。
【背景技术】
[0002] 阴影主要是物体遮挡光源而在形成的暗区域，根据阴影的特征可分为自阴影和投 射阴影。自阴影是物体本身未被光线照射的部分，视频分析中运动目标的自阴影应属于目 标物体的一部分。而投射阴影是物体遮挡光源后投射在场景中的阴影，例如树木、车辆、行 人等物体投射在路面上的阴影，这是视频场景的一部分而非运动目标。在视频中的投射阴 影可分为静态阴影和运动阴影。静态阴影在背景建模中被逐渐融入到背景中。运动阴影是 由场景中移动的前景目标遮挡光线而投射在场景中的暗区域，随着目标一起运动。
[0003] 由于车辆投射在路面的运动阴影与车辆具有很相似的运动特征，因而运动阴影常 常被误判为前景运动目标的一部分。若不消除此类运动阴影，会导致前景目标形状畸变、多 个运动目标粘连等缺陷，对后续的车辆检测、车辆跟踪、车型检测等图像处理操作产生很大 的影响，所以检测运动车辆阴影是非常必要的环节，一直是研宄的热点课题之一。
[0004] 目前，阴影检测的算法可以分为基于阴影模型的方法、基于阴影属性特征的方法 和基于机器学习的方法等类型。
[0005] (1)基于阴影模型的方法：主要是对视频场景进行建模，包括对光源建模和投射 方向建模等类型。在光源建模中，一是假设纯白光为唯一光源，阴影是由于光线被线性衰减 造成的，另一种是假设光源是直射光（如太阳光）和漫反射光共同作用，光线被非线性地衰 减而形成阴影。例如Nadimi和Bhanu提出了一种双色模型，综合考虑两种光源对阴影区域 的影响。在投射方向建模方面，刘直芳等提出了一种投射阴影方向模型，袁基炜和史忠科在 此基础上进一步提出了八种车辆/阴影模型。基于模型的方法需要预先获得光照条件、运 动目标、场景等先验信息，在背景复杂、光照突变等众多场景下，所建立的模型存在适应性 方面的缺陷。
[0006] (2)基于阴影属性特征的方法：主要是利用阴影的亮度、梯度、色彩、纹理等信息 来识别阴影区域。通常认为阴影区域（特别是半影区）的亮度变低，而梯度、色度、纹理等 变化较小或忽略不计。基于特征的方法对不同的场景以及光照条件具有较强的鲁棒性，但 算法的普适性尚有待提高。
[0007] (3)基于机器学习的方法：通过构造支持向量机、神经网络等分类器模型，建立纹 理、灰度等特征的学习库，并对分类器模型进行训练学习，再由训练好的分类器来判别暗区 域是否为阴影。这类方法解决了自动学习、模式识别等方面难题，但分类器的泛化能力、普 适性等方面尚待提尚。
[0008] 综上所述，各类方法在处理阴影问题上尚具有一定的局限性，有必要对阴影检测 方法进行改进。
【发明内容】
[0009] 鉴于此，本发明提供一种视频图像中运动车辆阴影的检测方法，以克服现有方法 中存在的缺陷和不足。
[0010] 为实现上述目的，本发明提供了一种运动车辆阴影消除方法，包括：
[0011] (1)提取运动车辆目标的图像IF和背景图像IB后，分别转换为YCbCr色彩空间， 获得图像IF和背景的亮度分量Y、色度Cb和Cr分量，然后构建融合亮度、色度特征信息的 图像Ifea，图像Ifta中各点的其像素值为
[0013] 其中，BW为基于背景相减的运动目标检测方法所获得的二值化前景目标图像，D为像素P(x，y)的邻域，然后将图像Ifta经最大类间方差法求得阈值T，再将图像Ifea中小 于阈值Tfea的像素值变为零，从而得到图像Hfea;
[0014] (2)对图像IF进行区域分割，并计算图像IF的各区域与其背景图像之间色度Cb与 Cr之间差值的绝对值总和，将其最大值的区域Dseg(i)作为车辆车体的搜索起始区域，即
[0016] (3)采用边缘算子对图像IfJi行边缘检测，获得边缘图像E，依最大类间方差法 求得边缘图像E的二值化阈值Tedge，将小于阈值的边缘值变为零，得到含边缘特征的图 像并将图像HfM与图像I 行叠加，形成含有边缘、亮度和色度信息的特征图像M， 即
[0017] M(x,y) =Iedge+Hfea(x,y)
[0018] 其中：
[0019] (4)构造抑制阴影区与背景边缘的掩膜图像，先求得二值化前景目标图像BW的边 界B，沿边界B历遍边界的每一点P(x，y)，再将P(x，y)点对应邻域L内的像素M(x，y)设置 为零，邻域L的宽度计算公式为
[0020] L=入?arccot[a? (dc_dz)]
[0021] 其中，A为幅度调整因子，a为变化率调整因子，d。为P(x，y)点到特征图像M形 心C的距离，4为P(x，y)点到特征图像M质心Z距离，当L〈0时，将L设置为零；
[0022] (5)获取搜索起始区域Dseg(i)的边界b，沿边界b找出所有与Dseg⑴相连接的r 个区域，构成集合[Dseg (1)，Dseg (2)…Dseg (r)]，取该集合中特征图像M的像素平均值最大的 区域DS6g(j)，再将DS6g(j)和DS6g⑴区域合并形成更大的区域DS6g(i)，即
[0024] 其中，
，nSDseg(m)区域内像素的个数，k为当 前迭代计数，反复迭代直至得到的区域DS6g(i)满足式（7)时止，即区域DS6g(i)的周边子区 域中不再存在区域像素平均值大于阈值I的子区域，阈值I取边界B上邻域L宽度大于 零的区间段所触及的区域Dseg(j)的特征图像M像素平均值；
[0026] 区域Dseg(i)未触及的其它子区域组成2个集合％= [Dseg(r+l)，Dseg(r+2)… Dseg(r+k)]和％= 〇)%〇^+1)，0卿〇^+2卜.0卿洲]，〇1是0^1)的相邻子区域集合，〇2 为不与Dseg(i)相邻的区域集合，若％和92均为空集，说明运动目标不存在阴影，即完成整个 阴影候选区域的检测过程；否则，判断集合Q2中区域的区域像素平均值是否大于阈值I， 若不大于则集合％和92的所有元素组成的区域为阴影的候选区，若大于则说明有两个运动 目标发生了粘连，再将集合Q2按式（6)对另一个目标进行阴影分析，直到满足（7)式时将 集合％和Q2的所有元素组成的区域为阴影的候选区；
[0027] (6)以阴影候选区为起点，采用区域生长法搜寻阴影候选区及其周边的阴影区域， 区域生长搜寻的准则为
[0028] S(j) = {P(x,y) :M(x,y) <Tedge&|Ifea(x,y)-Ifea(x+d,y+d) | < ^ 〇&Bff(x,y) = 1}
[0029] 历遍集合％和Q2每一个元素所代表的子区域，搜索子区域内及其周边区域，获得 阴影子区域S(r+1)，S(r+2)…S(N)，所有阴影子区域通过逻辑"或"运算得到运动车辆的全 部阴影区域S，即
[0030]S=Dseg (r+1)IDseg (r+2)卜.Dseg (N)IS(r+1)IS(r+2)卜.S(N)〇
[0031] 所述的一种视频图像中运动车辆阴影检测方法，所述的步骤（1)中，当背景图像IB 的亮度分量Y、色度Cb和Cr分量中任何通道分量偏小导致分母为零时，采用该通道分量的 平均值替代
[0032] 本发明同时考虑亮度、色度和边缘梯度等多特征信息，利用阴影区亮度是其背景 的比例衰减且色度变化微小等特点，采用运动目标图像与其背景图像的亮度、色度分量之 间的衰减比例值，构造出阴影特征图像。该特征图像有效地衰减了阴影区域的纹理，并进一 步增强非阴影区的纹理。在图像区域分割后，以色度差最大的区域为起点搜索车辆本体区 ±或，而未触及的剩余区域视为阴影候选区。再从各阴影候选区出发搜索其周边区域，最终整 合所有阴影子区域，获得车辆的整个阴影区域。与现有阴影检测方法相比，实验结果表明： 所提出的方法能自主判别是否存在阴影，具有良好的阴影检测性能和普适性，减弱了阴影 对后续视频分析的影响，适用于交通视频分析的目标跟踪、车型、车流量检测等应用领域。
【附图说明】
[0033] 图1为本发明在实施例中视频序列的一帧图像；
[0034] 图2为本发明在实施例中视频场景的背景图像IB;
[0035] 图3为本发明在实施例中含阴影区域的运动车辆图像IF;
[0036] 图4为本发明在实施例中融合亮度和色度信息的运动车辆图像Ifta;
[0037] 图5为本发明在实施例中运动车辆车体的搜索起点区域以及阴影候选区；
[0038] 图6为本发明在实施例中融合灰度、边缘和色度的运动车辆特征图像M;
[0039] 图7为本发明在实施例中抑制阴影区边缘信息的掩膜图像；
[0040] 图8为本发明在实施例中消除了阴影区边缘信息的特征图像M;
[0041] 图9为本发明在实施例中运动车辆阴影的检测结果。
【具体实施方式】
[0042] 下面结合附图和【具体实施方式】，对本发明的视频图像中运动车辆阴影检测的方法 作进一步地阐述。
[0043] 本发明在实施例中的视频图像中运动车辆阴影检测方法包括以下步骤。
[0044] 步骤A.针对如图1所示的交通监控场景建立背景模型。对背景实时更新获得运 动车辆的背景，如图2所示。采用运动目标检测方法中的PBAS方法获得运动车辆目标，如 图3所示。
[0045] 步骤B.将运动目标图像IF和背景图像I，人RGB色彩空间转换至YCbCr色彩空 间，分别获得亮度Y、色度Cb和Cr三个分量的值，转换公式如下
[0046] Y= 16+65.481*R+128. 553*G+24. 966*B
[0047] Cb= 128-37. 797*R-74. 203*G+112*B
[0048] Cr= 128+112*R-93. 785*G-18. 214*B
[0049] 步骤C.构建图像Ifea，达到消减阴影区纹理并增强车体纹理的目的，如图4所示。 图像Ifea中各像素值计算公式如式（1)所示
[0051] 其中，BW为前景目标的二值化图像，D为像素P(x，y)的邻域，本实施例中邻域大小 D值取3,即8邻域。当分母为0时，分别采用背景图像IB的亮度Y、色度Cb和Cr平均值代 替相应的分母。
[0052] 依最大类间方差法求得图像Ifea的二值化阈值Tfea，鉴于小于阈值Tfea的像素通常 是阴影或黑色车体引起的，为减少这类像素对车体搜 索的影响，因此，将小于阈值Tfea的值 变为〇,得到图像Hfta，即
[0054] 步骤D.采用Meanshift算法进行图像IF分割若干子区域形成集合Dseg(N)，依式 (2)取图像IF的色度Cb、Cr分量与背景图像相差最大的区域Dseg(i)，作为车辆车体的搜索 起点区域，如图5所示，其中颜色最深的区域即为搜索起点区域，即
[0056] 步骤E.采用边缘算子对图像IfJi行边缘检测，本实施例中采用Sobel边缘算子 获得边缘图像E，其计算公式为
[0057]
[0058] 其中，Gx=Ifea (x-1，y-1) +2Ifea (x，y-1) +Ifea (x+1，y-1) _Ifea(x-1，y+1) _2Ifea(x，y+1 )_Ifea(x+l，y+i)，
[0059] Gy=Ifea(x-1，y-1) +2Ifea (x-1，y) +Ifea (x-1，y+1) _Ifea (x+1，y-1) _2Ifea(x+1，y) _Ifea (x+l,y+l)
[0060] 采用最大类间方差法求得边缘图像E的二值化阈值Tedge，将小于阈值的边缘 值变为〇,以减少轻微边缘引起的干扰，即
[0062] 然后，将图像UP边缘图像I6_进行叠加，获得融合了边缘梯度、亮度和色度的 特征图像M，各像素的值为
[0063] M(x,y) =Iedge+Hfea (x,y) (4)
[0064] 本实施例中得到的特征图像M如图6所示。
[0065] 步骤F.获取二值化前景目标图像BW，计算二值化BW的形心C(X。，y。)，形心计算公 式为
[0068] 由于特征图像M的边缘信息分布不均匀，表现为车体区域边缘信息丰富而阴影区 的边缘信息非常稀少，因此特征图像M质心更靠近车体，其质心Z(xz，yz)的计算公式为
[0071] 为了消减阴影区与背景区的边缘，构建抑制阴影区域边缘信息的掩膜图像，如图7 所示。为了保留车体边缘信息，邻域L的宽度是可变的，在阴影区内时L值较大，而在非阴 影区时L值较小。设二值化前景图像BW的边界B上的任一点为P(x，y)到形心C的距离为 d。，P(x，y)点到质心Z距离为dz，则邻域L的宽度为
[0072] L=入?arccot[a? (dc_dz) ] (5)
[0073] 本实施例中，当L〈0时，置L为0 ;A为幅度调整因子，本实施例中A值为1 ;a为 变化率调整因子，本实施例中a值为1。该掩膜图像的作用是将P(x，y)点邻域L内的像素 M(x，y)设置为0。对特征图像M经过掩膜图像的操作后，有效地抑制了阴影区的边缘信息， 如图8所示。
[0074] 步骤G.获取搜索起点区域Dseg(i)的边界b，沿边界b找出所有与Dseg(i)相连接 的区域，假设区域数量为r个，构成集合[Dseg (1)，Dseg (1) ???Dseg (r)]，计算特征图像M每个区 域的像素平均值，取平均值最大的Dseg(j)区域与原来的Dseg(i)合并，即
[0076]其中
，nSDseg(m)区域内像素的个数，k为 当前迭代计数。
[0077] 然后循环迭代求得区域Dseg(i)，直到满足式（7)时终止迭代，即特征图像M中与 Dseg(i)相邻的其它子区域中不再存在区域像素特征平均值均小于阈值I的子区域，阈值 I是近似等于零的小数，根据视频场景的不同而整定阈值I的值。
[0079] 区域Dseg(i)未触及的其它子区域组成2个集合％= [Dseg(r+l)，Dseg(r+2)… Dseg(r+k)]和％= 〇)%〇^+1)，0卿〇^+2卜.0卿洲]，〇1是0^1)的周边子区域集合，〇2 是不与Dseg(i)相邻的区域集合。
[0080] 本实施例中％和Q2集合均为非空，说明运动目标存在阴影。又由于集合Q2中区 域像素平均值均小于阈值I，说明只有一个运动目标的阴影。然后，将集合％和92的所有 元素视为阴影的候选区。边界B上邻域L宽度值大于零的区间段所涉及的区域主要是阴影 区，如图6和图7所示，因此，阈值|取邻域L宽度值大于零的区间段所涉及的区域的特征 图像M像素平均值，本实施例中阈值|为0. 1。迭代终止后的Dseg(i)如图5中的灰色区 域，即车辆车体部分，而未被着色的空白区域则为阴影候选区域。
[0081] 步骤扎从％和〇2集合的每一个元素〇)^〇'+1)，0^〇'+2)-0^洲]所代表的子 区域出发，采用区域生长法在特征图像IfM(x，y)中搜寻阴影区域S(j)，区域生长的准则依 式⑶计算。
[0082] S(j) = {P(x,y) :M(x,y) <Tedge&|Ifea(x,y)-Ifea(x+d,y+d) | < ^ 〇&Bff(x,y) = 1} (8)
[0083]获得阴影子区域S(r+1)，S(r+2)…S(N)后，将所有子区域通过逻辑"或"运算得到 运动车辆的全部阴影子区域S，即
[0084] S=Dseg (r+1) |Dseg (r+2)卜.Dseg (N) |S(r+1) |S(r+2)卜.S(N)
[0085]本实施例中全部阴影子区域S如图9所示，其中灰色区域为检测出的阴影，白色区 域为车辆的车体。从图9可以看出，本发明从运动目标中检测阴影的效果好。
【主权项】
1. 一种视频图像中运动车辆阴影检测方法，其特征在于，包含以下步骤： (1) 提取运动车辆目标的图像If和背景图像I B后，分别转换为YCbCr色彩空间，获得 图像If和背景的亮度分量Y、色度Cb和Cr分量，然后构建融合亮度、色度特征信息的图像 Ifta，图像Ua中各点的其像素值为其中，BW为基于背景相减的运动目标检测方法所获得的二值化前景目标图像，D为像 素 P (X，y)的邻域，然后将图像Ifta经最大类间方差法求得阈值T ，再将图像Ifea中小于阈 值Tfea的像素值变为零，从而得到图像H fea; (2) 对图像If进行区域分割，并计算图像IF的各区域与其背景图像之间色度Cb与Cr 之间差值的绝对值总和，将其最大值的区域D^(i)作为车辆车体的搜索起始区域，即(3) 采用边缘算子对图像IfM进行边缘检测，获得边缘图像E，依最大类间方差法求得 边缘图像E的二值化阈值，将小于阈值1；_的边缘值变为零，得到含边缘特征的图像 并将图像Hfta与图像I ?^进行叠加，形成含有边缘、亮度和色度信息的特征图像Μ，即(4) 构造抑制阴影区与背景边缘的掩膜图像，先求得二值化前景目标图像BW的边界B， 沿边界B历遍边界的每一点P (X，y)，再将P (X，y)点对应邻域L内的像素 M (X，y)设置为零， 邻域L的宽度计算公式为 L = λ · arccot [ α · (dc_dz)] 其中，λ为幅度调整因子，α为变化率调整因子，d。为P(x，y)点到特征图像M形心C 的距离，4为P (X，y)点到特征图像M质心Z距离，当L〈0时，将L设置为零； (5) 获取搜索起始区域Dseg(i)的边界b，沿边界b找出所有与Dseg(i)相连接的r个区 域，构成集合[Dseg (I)，Dseg (2)…Dseg (r)]，取该集合中特征图像M的像素平均值最大的区域 Dseg(j)，再将Dseg(j)和Dseg⑴区域合并形成更大的区域D seg(i)，即 Dkseg{i) = Dk^(i) + Dk^(j) (6) 其中，，n SDseg(Hi)区域内像素的个数，k为当前 迭代计数，反复迭代直至得到的区域Dseg(i)满足式（7)时止，即区域Dseg(i)的周边子区域 中不再存在区域像素平均值大于阈值ξ的子区域，阈值ξ取边界B上邻域L宽度大于零 的区间段所触及的区域Dseg(j)的特征图像M像素平均值；(7) 区域Dseg (i)未触及的其它子区域组成2个集合Q1 = [D seg (r+1)，Dseg (r+2) -Dseg (r+k)] 和％= [Dseg(r+k+1)，Dseg(r+k+2)-Dseg(N)]，Q# Dseg(i)的相邻子区域集合，Q2为不与 Dseg(i)相邻的区域集合，若％和02均为空集，说明运动目标不存在阴影，即完成整个阴影候 选区域的检测过程；否则，判断集合Q2中区域的区域像素平均值是否大于阈值ξ，若不大 于则集合％和92的所有元素组成的区域为阴影的候选区，若大于则说明有两个运动目标发 生了粘连，再将集合Q2按式（6)对另一个目标进行阴影分析，直到满足（7)式时将集合Q1和Q2的所有元素组成的区域为阴影的候选区； (6)以阴影候选区为起点，采用区域生长法搜寻阴影候选区及其周边的阴影区域，区域 生长搜寻的准则为 S(j) = {P(x, y) :M(x, y) < Tedge&| Ifea(x, y)-Ifea(x+d, y+d) | < ζ 〇&Bff(x, y) = 1} 历遍集合％和Q 2每一个元素所代表的子区域，搜索子区域内及其周边区域，获得阴影 子区域S (r+1)，S (r+2)…S (N)，所有阴影子区域通过逻辑"或"运算得到运动车辆的全部阴 影区域S，即 S = Dseg (r+1) I Dseg (r+2)卜.Dseg (N) I S (r+1) I S (r+2)卜.S (N)。2.根据权利要求1所述的一种视频图像中运动车辆阴影检测方法，其特征在于，所述 的步骤（1)中，当背景图像Ib的亮度分量Y、色度Cb和Cr分量中任何通道分量偏小导致分 母为零时，采用该通道分量的平均值替代。
【专利摘要】本发明公开了一种视频图像中运动车辆阴影检测方法，用以消除前景图像中运动目标的阴影，提高目标检测与跟踪的准确性。本发明提供的运动阴影检测方法，包括：构建融合亮度、色度和边缘梯度等信息的特征图像，经图像分割后取色度差最大的区域为车体搜索起始区域，迭代搜寻并吸收周边相邻区域中特征值最大的区域，直到满足迭代终止条件后，剩余的子区域集若为空集则表明运动目标阴影可以忽略，若为非空则将剩余子区域作为阴影候选区域，再从每一个阴影候选子区域出发搜索其阴影子区域，最后将所有搜索到的阴影子区域组合成整个阴影区域。该方法能够自动判别是否存在阴影，能够更合理地融合多种特征，减少了人工干预，阴影检测率高，普适性好。
【IPC分类】G06T7/00
【公开号】CN104899881
【申请号】CN201510282190
【发明人】贺科学, 李树涛
【申请人】湖南大学, 长沙理工大学
【公开日】2015年9月9日
【申请日】2015年5月28日
最新回复(0)