一种基于视频的交叉路口背景图像提取方法

xiaoxiao2020-10-23  17

一种基于视频的交叉路口背景图像提取方法
【技术领域】
[0001] 本发明涉及智能交通领域,具体是一种通过监控视频提取交叉路口背景图像的方 法。
【背景技术】
[0002] 随着计算机视觉技术的发展,监控视频在智能交通领域的巨大潜力得到了广泛的 关注。交叉路口的背景图像提取是后续车道位置检测与标定的一个关键,其对于利用背景 差分方式进行的运动目标检测、车辆跟踪也有非常重要的意义。
[0003] 近年通过混合高斯模型提取背景图像的方法较为常见,例如发明专利(【申请号】 200810236281. 5,名称:视频流背景图像建模方法)等。该类方法能克服多数传统背景提取 方法的局限性,是建模最为成功的方法之一。但这类方法容易将一段时间内静止的对象作 为背景,特别是对于交叉路口遇到红灯或者拥堵等车辆长时间静止的情况不能有效区分前 景车辆与背景道路,直接用于交叉路口场景效果欠佳。
[0004] 发明专利(【申请号】201210389658. 7,名称:一种视频监控中的背景建模方法)在 单高斯模型的基础上引入可变的学习速率,改善了前景融入背景的问题,但要求算法的复 杂度进一步增加,很难满足监控视频实时处理的要求。
[0005] 韩超(视频交通中的背景提取及阴影检测方法的研宄与实现[D].昆明理工大学, 2011)首先根据视频前n帧的平均值与差值建立初始背景,然后再根据当前帧与前一帧的 图像对比设置加权系数以更新背景。其方法较依赖视频前n帧的质量,对于交叉路口容易 出现车辆排队等待的情况较难得到好的初始背景,影响最终背景质量。
[0006] 发明专利(【申请号】201410757811. 6,名称:一种视频背景图片的提取算法)对所 有视频帧进行统计,在一定范围内找出每个像素点频率最高的灰度值,最后由这些像素一 起组成背景。该方法仅适用于线下的视频文件,而无法处理线上实时的视频流。
[0007] 发明专利(【申请号】201110036071. 3,名称:背景建模的方法和装置及检测视频中 背景的方法和装置)通过产生每个像素的LBP(局部二元模式)序列,然后根据帧间LBP序 列的频率与相似性,从而得出背景像素的LBP序列。但其技术方案中没有给出LBP序列相 似性的评价方式。一般LBP序列具有光照不变性、旋转不变性,这需要LBP序列按位旋转取 二进制码最小的值,这导致相似像素的序列可能截然不同。
[0008] 发明专利(【申请号】200910218005. 0,名称:动态视频中背景图像的实时提取与更 新方法)利用背景图像与运动目标图像在时域中不同的变化特性,构造图像的稳定矩阵函 数,从而区分前背景。其效果完全取决与稳定矩阵的上、下饱和值设定,但其技术方案中并 未给出饱和值的估算方式,如果设置静态的饱和值则同样无法解决车辆短时停留误识别为 背景的问题。
[0009] 发明专利(【申请号】201210023760. 5,名称:一种基于多帧统计的视频车道背景建 模方法)统计多帧中每个像素灰度值,加权平均得到全背景图像后,将背景图与视频帧作 差比较得出车辆位置,根据车辆位置的统计获得车道位置。从而截取车道背景。其技术方案 中使用加权平均的方式获取全背景,易导致背景中残留车辆虚影,并使结果图像较为模糊。
[0010] 发明专利(【申请号】201210080263. 9,名称:一种基于视频的背景检测方法)在多 帧平均值的基础之上,结合单像素直方图峰值,从而确定背景像素。与其类似的方法一一刘 延(基于视频图像的交通路口背景提取方法研宄[D].西安电子科技大学,2014)采用多模 态统计直方图进行背景初始化,根据像素的空间相关性与时间相关性设计分类器对背景进 行更新。这两种技术方案与本发明利用帧差法区分前背景,利用均值加速收敛的方式不同。
[0011] 曾艳等(一种新的道路交通背景提取算法及研宄[J].中国图象图形学报,2008) 对像素点的灰度直方图统计进行改进,不是选取分布值最大的点即mode值点为背景点,而 是选取mode值所在区间内所有点的平均值作为背景值。
[0012] 彭强等(基于块直方图分析的视频背景提取方法[J].西南交通大学学报,2006) 将单像素直方图统计进行改进,实现了基于块的直方图分析方法,提高了背景提取的速度。 由于其目的是提取高速公路视频的背景,在交叉路口车辆部分停留静止的情况下无法正确 区分前背景。
[0013] 发明专利(【申请号】201110388110. 6,名称:交通视频监控中的背景更新方法和车 辆目标提取方法)利用背景与当前帧的Canny轮廓差异,得到当前帧的前景轮廓,根据此前 景轮廓与当前帧轮廓相与结果的数量判断是否更新。其技术方案仅涉及背景更新部分,而 提取背景则使用现有的任一种方式。

【发明内容】

[0014] 本发明为克服现有技术中的上述问题,发明了一种基于视频的交叉路口背景图像 提取方法。
[0015] 本发明的技术方案包括下述步骤:
[0016] 步骤1 :每隔fps/3帧(若为小数则取整)对交叉路口的原始监控视频进行归一 化采样,获得新的视频序列Fp表示视频序列中第i帧图像,i= 1,2,. . .,n,其中fps为原 始视频的每秒帧数,n为新的视频序列的总帧数。
[0017] 步骤2 :建立height行width列的统计矩阵Q,并对视频序列Fi逐帧进行处理,其 中height、width分别为单帧图像的高度与宽度,单位为像素,采用如下步骤迭代计算:
[0018] 步骤2. 1 :对于当前彩色视频帧匕采用加权平均值法进行灰度化处理获得灰度图 Gi〇
[0019] 步骤2. 2 :当i= 1时,利用灰度图GJ#平均图Avgi与背景Bi进行初始化,使得 Avgi(X,y) =Bi(X,y) =Gi(X,y),并初始化矩阵Q,使得Ci=[C:(X,y)]heightXwidthJiC:(X,y) =w,x= 1,2,…,height,y= 1,2, ???,width,其中C别表示到第i帧为止且 包括第i帧所得到的平均图、背景与统计矩阵,系数w用于控制初始背景的权值,Gi(X,y)表 示对应像素坐标(x,y)处的像素灰度值,Avgi(x,y)表示到第i帧为止且包括第i帧的平均 图在(x,y)处的像素灰度值,Bi(x,y)表示到第i帧为止且包括第i帧的背景在(x,y)处的 像素灰度值,Q(x,y)表示到第i帧为止且包括第i帧的统计矩阵第x行第y列的值。
[0020] 步骤2. 3:当i>l时,对视频帧Fi逐像素判断,若Ci(X,y)彡upper,则跳过该像素; 若Q(x,y)〈upper,按式(1)、(2)、(3)、(4)、(5)、(6)和(7)依次更新Avgi、Q、BJPCi:
[0021]Avgjx,y) = (i-1) ?AvgH(x,y)+G"x,y) (1)
[0023]Aj=|Gi(x,y)-Avgi(x,y) (3)
[0024] A2=|Gi(x, (x,y) (4)
[0028] 其中upper为稳定阈值用于控制像素收敛,dif为像素间差距控制系数,power为 加速倍数,~和A2为中间变量。
[0029] 步骤2. 4 :统计当前帧中满足|Gi(X,y) -Gh(X,y) |〈dif的像素个数Count,若
且i〈n则迭代收敛并结束,此时的&即为最终提取出的背景;若
且i〈n,则i=i+1,并返回到步骤2. 1开始下一轮迭代;一旦满足i= n,即已迭代到视频最后一帧,则停止迭代,同样将此时的&作为最终背景,其中rate用于 评价背景识别程度,rate参考范围0. 6~0. 9。
[0030] 本发明的优点是:本发明能基于视频准确提取出交叉路口的背景图像,并利用像 素收敛的稳定阈值,有效解决了交叉路口车辆拥堵或遇到红灯停止等待的情况下无法正确 区分前景车辆与背景道路的问题,并同时适用于在线视频流实时背景提取与线下视频文件 的背景提取。
【附图说明】
[0031] 图1为本发明的实施例选取的四帧图像。
[0032] 图2为本发明的实施例的背景提取结果。
【具体实施方式】
[0033] 下面结合实施例来详细阐述本发明的基于视频的交叉路口背景图像提取方法的
【具体实施方式】。
[0034] 步骤1 :每隔fps/3帧(若为小数则取整)对交叉路口的原始监控视频进行归一 化采样,获得新的视频序列Fp表示视频序列中第i帧图像,i= 1,2,. . .,n,其中fps为原 始视频的每秒帧数,n为新的视频序列的总帧数。图1为本实施例中选取的四帧图像。
[0035] 步骤2 :建立height行width列的统计矩阵Q,并对视频序列Fi逐帧进行处理,其 中height、width分别为单帧图像的高度与宽度,单位为像素,采用如下步骤迭代计算:
[0036] 步骤2. 1 :对于当前彩色视频帧匕采用加权平均值法进行灰度化处理获得灰度图 Gi〇
[0037] 步骤2. 2 :当i= 1时,利用灰度图G#平均图Avgi与背景Bi进行初始化,使得 Avgi(X,y)=Bi(X,y)=Gi(X,y),并初始化矩阵Q,使得Ci=[C:(X,y)]heightXwidthJiC:(X,y)=w,x= 1,2,…,height,y= 1,2, ???,width,其中C 别表示到第i帧为止且 包括第i帧所得到的平均图、背景与统计矩阵,系数w用于控制初始背景的权值,Gi(X,y)表 示对应像素坐标(x,y)处的像素灰度值,Avgi(x,y)表示到第i帧为止且包括第i帧的平均 图在(x,y)处的像素灰度值,Bi(x,y)表示到第i帧为止且包括第i帧的背景在(x,y)处的 像素灰度值,Q(x,y)表示到第i帧为止且包括第i帧的统计矩阵第x行第y列的值。
[0038] 步骤2.3:当i>l时,对视频帧Fi逐像素判断,若Ci(X,y)彡upper,则跳过该像素; 若Q(x,y)〈upper,按式(1)、(2)、(3)、(4)、(5)、(6)和(7)依次更新Avgi、Q、BJPCi:
[0039] Avgjx,y) = (i-1) ?AvgH(x,y)+G"x,y) (1)
[0041] A1= |Gi(x,y)-Avgi(x,y) (3)
[0042]A2=|Gi(x, (x,y) (4)
[0046] 其中upper为稳定阈值用于控制像素收敛,dif为像素间差距控制系数,power为 加速倍数,A丨和A2为中间变量。这里取upper= 540,dif= 5,power= 3〇
[0047] 步骤2. 4:统计当前帧中满足|Gi(x,y) -Gh(x,y)|〈dif的像素个数Count,若
且i〈n则迭代收敛并结束,此时的&即为最终提取出的背景;若
且i〈n,则i=i+1,并返回到步骤2. 1开始下一轮迭代;一旦满足i= n,即已迭代到视频最后一帧,则停止迭代,同样将此时的&作为最终背景,其中rate用于 评价背景识别程度,rate参考范围0. 6~0. 9。rate越大提取背景的效果越好但相应的时 间也越长。这里取rate= 0.7便能在效果较好的情况下快速提取出背景。图2为本实施 例的背景提取结果。
[0048] 本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护 范围的不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技 术人员根据本发明构思所能够想到的等同技术手段。
【主权项】
1. 一种基于视频的交叉路口背景图像提取方法,包括如下步骤: 步骤1 :每隔fpS/3帧(若为小数则取整)对交叉路口的原始监控视频进行归一化采 样,获得新的视频序列Fi,表示视频序列中第i帧图像,i = 1,2,. . .,n,其中fps为原始视 频的每秒帧数,η为新的视频序列的总帧数; 步骤2 :建立height行width列的统计矩阵Ci,并对视频序列Fi逐帧进行处理,其中 height、width分别为单帧图像的高度与宽度,单位为像素,采用如下步骤迭代计算: 步骤2. 1 :对于当前彩色视频帧Fi采用加权平均值法进行灰度化处理获得灰度图G i;步骤2. 2 :当i = 1时,利用灰度图&对平均图Avg i与背景B i进行初始化,使得 Avgi (X,y) = Bi (X,y) = Gi (X,y),并初始化矩阵 Ci,使得 C1= [C i (X,y) ]heightXwidthJi C i (X,y) =w, X = 1,2,…,height, y = 1,2,…,width,其中C 别表示到第i帧为止且 包括第i帧所得到的平均图、背景与统计矩阵,系数w用于控制初始背景的权值,GiOc, y)表 示对应像素坐标(X,y)处的像素灰度值,Avgi(X,y)表示到第i帧为止且包括第i帧的平均 图在(X,y)处的像素灰度值,BiOc, y)表示到第i帧为止且包括第i帧的背景在(X,y)处的 像素灰度值,Ci (X,y)表示到第i帧为止且包括第i帧的统计矩阵第X行第y列的值; 步骤2. 3 :当i>l时,对视频帧Fi逐像素判断,若C i (X,y)彡upper,则跳过该像素;若 Ci (X,y)〈upper,按式⑴、⑵、(3)、(4)、(5)、(6)和(7)依次更新 Avgp Cp B, C i:其中upper为稳定阈值用于控制像素收敛,dif为像素间差距控制系数,power为加速 倍数,AjP Δ 2为中间变量;步骤2. 4 :统计当前帧中满足I Gi (X,y) -G^1 (X,y) I〈dif的像素个数Count,若 且i〈n则迭代收敛并结束,此时的Bi即为最终提取出的背景;若 且i〈n,则i = i+Ι,并返回到步骤2. 1开始下一轮迭代;一旦满足i = n,即已迭代到视频最后一帧,则停止迭代,同样将此时的Bi作为最终背景,其中rate用于 评价背景识别程度,rate参考范围0. 6~0. 9。
【专利摘要】一种基于视频的交叉路口背景图像提取方法,包括如下步骤:步骤1:每隔fps/3帧对交叉路口的原始监控视频进行归一化采样,获得新的视频序列Fi,表示视频序列中第i帧图像,i=1,2,...,n,其中fps为原始视频的每秒帧数,n为新的视频序列的总帧数;步骤2:建立height行width列的统计矩阵Ci,并对视频序列Fi逐帧进行处理。
【IPC分类】G06K9/00
【公开号】CN104899557
【申请号】CN201510270836
【发明人】高飞, 梅凯城, 高炎, 李定谢尔, 丰敏强, 胡伟江, 卢书芳, 肖刚
【申请人】浙江工业大学
【公开日】2015年9月9日
【申请日】2015年5月25日

最新回复(0)