一种公交车辆车门开闭状态自动检测方法
一种公交车辆车门开闭状态自动检测方法
【技术领域】：
[0001] 本发明涉及一种公交车摄像头监控系统的扩展应用，尤其涉及一种基于图像处理 技术的公交车辆车门开闭状态自动检测方法。
【背景技术】：
[0002] 由于视频采集设备采集的信息具有丰富的颜色、结构、纹理和时间等信息，常常被 广泛应用于交通运输领域，如公交车内监控系统。目前多数公交车已经安装上了监控摄像 头，并有相应的储存设备以及传输接口。公交车内监控系统是通过在公交车内安装多个摄 像头，在车辆运行过程中，随时记录车内、外的异常情况，为公交的运营、管理和优化提供调 研数据，规范公交车辆的行车与运营。但是目前还没有针对公交车辆车门开闭状态自动检 测方法。
【发明内容】
：
[0003] 本发明的目的在于提供一种基于图像处理技术的公交车辆车门开闭状态自动检 测方法。
[0004] 为达到上述目的，本发明采用如下的技术方案予以实现：
[0005] 一种公交车辆车门开闭状态自动检测方法，包括如下步骤：
[0006] 步骤0 :采集公交车发车前车门的视频背景图像帧Ft;
[0007] 步骤1 :将采集的公交车发车前视频背景图像帧Ft灰度化，得到背景灰度图像帧 ft；
[0008] 步骤2 :通过均值法在背景灰度图像帧中获得背景图Bg ;
[0009] 步骤3 :对步骤2得到的背景图Bg进行二值化，得到背景二值图MG;
[0010] 步骤4:对步骤3得到的背景二值图MG进行形态学闭运算，得到梯度连接图OG;
[0011] 步骤5 :对步骤4得到的梯度连接图OG进行形态学开运算，得到梯度图CG;
[0012] 步骤6 :对步骤5得到的梯度图CG进行取反和去零星处理，统计各连通区的像素 数，提取像素数最多的连通区域作为车门模板图MB;
[0013] 步骤7 :将步骤6得到的车门模板图MB与步骤2得到的背景图Bg进行点乘，得到 背景检测图ej，计算公式如下：
[0014] ej=MB?XBg(6)
[0015] 其中，?X表示点乘运算符；
[0016] 步骤8 :计算背景检测图ej的平均灰度值eb;
[0017] 步骤9 :实时采集车辆发出后的车门图像帧Ek;
[0018] 步骤10 :对步骤9中采集的车门图像帧Ek按照步骤1的方法对其进行灰度化处 理，得到第k帧的车门灰度图，记为Ehk;
[0019] 步骤11 :将步骤6得到的车门模板图MB与步骤10得到的车门灰度图Ehk进行点 乘，得到第k帧车门检测图ek，计算公式如下：
[0020] ek=MB?XEhk (8)
[0021] 步骤12 :计算步骤11中得到的第k帧车门检测图ek的平均灰度值ehk;
[0022] 步骤13 :计算车门检测图ek和背景检测图ej的灰度差异度edk，其计算式如下所 示：
[0023] edk= |ehk_eb| (10)
[0024] 步骤14 :计算车门检测图ek和背景检测图ej的对比差异度rk;
[0025] 步骤15 :车门开闭状态判定；车门开闭状态通过式（12)来判定；
[0027] 其中，flk为车门开闭状态的标记，flk= 0表示车门为关闭状态，flk= 1表示车 门为开启状态为灰度差异度阈值，的取值范围为：3~10 ;T2为对比差异度阈值，其取 值范围为-0.5~0。
[0028] 本发明进一步的改进在于，还包括如下步骤：
[0029] 步骤16 :存储第k帧车门图像帧的车门开闭状态；
[0030] 步骤17 :公交车辆是否已经到达终点；否，转入步骤18 ;是，则转入步骤19 ;
[0031] 步骤18 :采集下一帧，转入步骤9。
[0032] 本发明进一步的改进在于，步骤0中：采集公交车出发前5s的视频背景图像帧，其 中，采样频率为〇.5s/帧，共采集10帧图像，记为Ft，其中，t为帧号，t= 1，2,......, 10 ； 采集到的图像大小为M行和N列，设定某像素点的坐标为（x，y)，x和y表示像素（x，y)的 行和列，满足：x和y均为整数，且1 <x<M，1 <y<N，则第t帧背景图像帧Ft中像素 (X，y)的RGB颜色值用符号表示为（Rt (X，y)，Gt (X，y)，Bt (X，y))。
[0033] 本发明进一步的改进在于，步骤1中：将步骤0处理得到的第t帧背景图像帧匕进 行灰度化处理，得到背景灰度图像帧记为ft，其计算式如下所示：
[0034] ft (x,y) = 0. 3XRt (x,y) +0. 59XGt (x,y) +0. 11XBt (x,y) (1)
[0035] 其中，Rt(x，y)表示背景图像帧Ft中像素（x，y)的R分量值；Gt(x，y)表示背景图 像帧Ft中像素（x，y)的G分量值；Bt(x，y)表示背景图像帧Ft中像素（x，y)的B分量值； ft(x，y)表示背景灰度图像帧ft中像素（x，y)的灰度值。
[0036] 本发明进一步的改进在于，步骤2中：背景图Bg的计算公式如下式所示：
[0038] 其中，Bg(x,y)表示背景图Bg中像素（X，y)的灰度值；
[0039] 步骤3中：对背景图Bg进行二值化得到背景二值图MG，其计算式如下所示：
[0041]其中，T为二值化阈值，其取值为：110~140 ;MG(x，y)表示背景二值图MG中像素 (X，y)的值，MG(x,y) = 0表示像素（X，y)为可能的车门区域，MG(x,y) = 1表示像素（X，y) 为非车门区域。
[0042] 本发明进一步的改进在于，步骤4中：对背景二值图MG进行数学形态学的闭运算， 得到梯度连接图OG，其计算式如下所示：
[0044] 其中，Se为结构元素，取3X3~10X10的正方形结构元素；MG〇Se表示背景二值 图MG被结构算子Se进行闭运算操作；。表示形态学闭运算；?表示膨胀运算；0表示腐蚀 运算。
[0045] 本发明进一步的改进在于，步骤5中：对梯度连接图OG进行数学形态学开运算，得 到梯度图CG，以消除梯度连接图OG中的毛刺，其计算式如下所示：
[0047] 其中，?表示形态学开运算，OG?Se表示梯度连接图OG被结构算子Se进行开运 算操作。
[0048] 本发明进一步的改进在于，步骤8中：平均灰度值eb的计算式如下所示：
[0050] 其中，ej(X，y)表示背景检测图ej中像素（X，y)的灰度值。
[0051] 本发明进一步的改进在于，步骤12中：平均灰度值ehk的计算式如下所示：
[0053] 其中，ek(x,y)表示第k帧车门检测图ek中像素（X，y)的灰度值。
[0054] 本发明进一步的改进在于，步骤14中：对比差异度rk的计算式如下所示：
[0056] 其中，rk为对比差异度，其值越大则说明车门检测图ek和背景检测图ej的差异度 越大，反之亦反。
[0057] 相对于现有技术，本发明具有如下的优点：
[0058] 本发明利用视频采集设备采集的车门图像数据，将车辆在发车前的图像帧保存为 背景图，并标定检测区域，在标定区域内将采集的实时图像帧和背景图进行对比分析，当图 像帧和背景图的灰度差异度和对比差异度均较大时，认为车门处于开启状态；否则判断车 门为关闭状态。将摄像头安装于驾驶员上方车顶位置，调节摄像头的拍摄角度和焦距：使车 门处于拍摄画面的中央，并尽可能占满整个拍摄画面。
[0059] 进一步的，本发明自动检测公交车辆车门的开闭状态具有重要的现实意义：一是 触发数据采集。在车辆行驶和停站时，公交车内关注的区域不同，对应的传感器所采集的数 据也不尽相同，可通过检测车门的开闭状态来触发数据采集传感器的开启和关闭；二是监 控车门的异常情况。将公交车门的开闭状态和驾驶员对车门的操作进行对比，可以监控车 门工作状态是否正常，及时发现车门开闭的异常状态，保障人、车、物的安全。三是未来的无 人驾驶公交车辆的实现，首先需要实时检测车门的开闭状态，随后才能对车辆进行行驶、停 靠等操控。鉴于此，本发明提出了一种公交车辆车门开闭状态的检测方法。该方法具有简 单、经济，结果真实可靠等优点。
【附图说明】：
[0060] 图1为背景图Bg。
[0061] 图2为背景二值图MG。
[0062] 图3为梯度连接图OG。
[0063] 图4为梯度图CG。
[0064] 图5为车门模板图MB。
[0065] 图6为背景检测图ej。
[0066] 图7为车门图像帧Ek。
[0067] 图8为车门灰度图Ehk。
[0068] 图9为车门检测图ek。
【具体实施方式】：
[0069] 以下结合附图和实施例对本发明作进一步的详细说明。
[0070] 本发明一种公交车辆车门开闭状态自动检测方法，包括如下步骤：
[0071] 步骤S0:公交车发车前视频背景图像帧采集。采集公交车出发前5s的视频背景图 像帧，采样频率为〇. 5s/帧，共采集10帧图像，记为Ft，其中，t为帧号，t= 1，2,......，10。 采集到的图像大小为180X250,即M= 180,N= 250,假定某像素点的坐标为（x，y)，x和y表示像素（x，y)的行和列，满足和y均为整数，且1彡x彡180，1彡y彡250。第t帧背 景图像帧Ft中像素（X，y)的RGB颜色值用符号表示为（Rt (X，y)，Gt (X，y)，Bt (X，y))。
[0072] 转入步骤SI。
[0073] 步骤SI:视频背景图像帧灰度化。将步骤SO处理得到的背景图像帧Ft进行灰度 化处理，得到背景灰度图像帧记为ft，其计算式如下所示：
[0074] ft (x,y) = 0. 3XRt (x,y) +0. 59XGt (x,y) +0. 11XBt (x,y),t= 1, 2,......10 (1)
[0075] 其中，Rt(x,y)表示背景图像帧Ft中像素（x,y)的R分量值；Gt(x,y)表示背景图 像帧Ft中像素（x，y)的G分量值；Bt(x，y)表示背景图像帧Ft中像素（x，y)的B分量值； ft(x，y)表示背景灰度图像帧ft中像素（x，y)的灰度值。
[0076] 转入步骤S2。
[0077] 步骤S2 :通过均值法获得背景图。背景图用Bg表示（如图1所示），其计算公式 如下式所示：
[0079] 其中，Bg(x,y)表示背景图Bg中像素（X，y)的灰度值。
[0080] 转入步骤S3。
[0081] 步骤S3 :对步骤S2得到的背景图Bg进行二值化。对背景图Bg进行二值化处理， 得到背景二值图MG(如图2所示），其计算式如下所示：
[0083] 其中，T为二值化阈值，本实施例中，T取值为128 ;MG(x，y)表示背景二值图MG中 像素（x，y)的值，MG(x，y) =0表示像素（x，y)为可能的车门区域，MG(x，y) = 1表示像素 (X，y)为非车门区域。
[0084] 转入步骤S4。
[0085] 步骤S4 :对步骤S3得到的背景二值图MG进行形态学闭运算。对背景二值图MG进 行数学形态学的闭运算，得到梯度连接图OG(如图3所示），其计算式如下所示：
[0087] 其中，Se为结构元素，本实施例中取8X8的正方形结构元素；MG〇Se表示背景二 值图MG被结构算子Se进行闭运算操作；。表示形态学闭运算；?表示膨胀运算；?表示腐 蚀运算。
[0088] 转入步骤S5。
[0089] 步骤S5 :对步骤S4得到的梯度连接图OG进行形态学开运算。对梯度连接图OG进 行数学形态学开运算，得到梯度图CG(如图4所示），以消除梯度连接图OG中 的毛刺，其计 算式如下所示：
[0091] 其中，?表示形态学开运算，OG?Se表示梯度连接图OG被结构算子Se进行开运 算操作。
[0092] 转入步骤S6。
[0093] 步骤S6 :对步骤S5得到的梯度图CG进行取反和去零星处理，统计各连通区的像 素数，提取像素数最多的连通区域作为车门模板图MB(如图5所示）。
[0094] 转入步骤S7。
[0095] 步骤S7 :将步骤S6得到的车门模板图MB与步骤S2得到的背景图Bg进行点乘， 得到背景检测图ej(如图6所示），计算公式如下：
[0096] ej=MB?XBg(6)
[0097] 其中，?X表示点乘运算符；MB?XBg表示车门模板图MB与背景图Bg进行点乘 运算。
[0098] 转入步骤S8。
[0099] 步骤S8 :计算背景检测图ej的平均灰度值eb，其计算式如下所示：
[0101] 其中，ej(x，y)表示背景检测图ej中像素（x，y)的灰度值。
[0102] 本实施例中，计算得到的背景检测图ej的平均灰度值eb= 17. 710。
[0103] 转入步骤S9。
[0104] 步骤S9 :实时采集车辆发出后的车门图像，采样频率为0. 5S/帧，采集的第k帧的 RBG图像帧（如图7所示），用Ek表示。实施例中，取k= 1。
[0105] 转入步骤S10。
[0106] 步骤S10 :对步骤S9中采集的车门图像帧Ek按照步骤S1的方法对其进行灰度化 处理，得到第k帧的车门灰度图（如图8所示），记为Ehk。
[0107] 转入步骤S11。
[0108] 步骤S11 :将步骤S6得到的车门模板图MB与步骤S10得到的车门灰度图Ehk进行 点乘，得到车门检测图ek(如图9所示），计算公式如下：
[0109] ek=MB?XEhk (8)
[0110] 其中，MB?XEhk表示车门模板图MB与车门灰度图Ehk进行点乘运算。
[0111] 转入步骤S12。
[0112] 步骤S12 :计算步骤S11得到的第k帧车门检测图ek的平均灰度值ehk，其计算式 如下所示：
[0114] 其中，ek(x，y)表示车门检测图ek中像素（x，y)的灰度值。
[0115] 在本实施例中，计算得到第k帧车门检测图ek的平均灰度值ehk= 31.284。
[0116] 转入步骤S13。
[0117] 步骤S13 :计算车门检测图ek和背景检测图ej的灰度差异度edk，其计算式如下所 示：
[0118] edk= |ehk_eb| (10)
[0119] 在本实施例中，计算得到车门检测图ek和背景检测图ej的灰度差异度edk = 13. 574〇
[0120] 转入步骤S14。
[0121] 步骤S14 :计算车门检测图ek和背景检测图ej的对比差异度rk，其计算式如下所 示：
[0123] 其中，rk为对比差异度，其值越大则说明车门检测图ek和背景检测图ej的差异度 越大，反之亦反。
[0124] 在本实施例中，计算得车门检测图ek和背景检测图ej的对比差异度rk= 0.4179。
[0125] 转入步骤S15。
[0126] 步骤S15 :通过式12来判定车门开闭状态。
[0127]
[0128] 其中，flk为车门开闭状态的标记，flk=0表示车门为关闭状态，flk= 1表示车门 为开启状态。本实施例中，灰度差异度阈值取值为5 ;对比差异度阈值T2取值为-0. 25。
[0129] 在本实施例中，由于6(11;= 13.574彡5，且1'1;=0.4179彡-0.25，可得打1;=1，因 而判定此时的车门为开启状态。
[0130] 转入步骤S16。
[0131] 步骤S16 :存储第k帧的车门图像帧的车门开闭状态。
[0132] 转入步骤S17。
[0133] 步骤S17 :判断公交车辆是否已经到达终点。否，转入步骤S18 ;是，则转入步骤 S19〇
[0134] 步骤S18 :采集下一帧，此时k=k+1，转入步骤S9。
[0135] 按照以上本发明的技术方案，从运行时间和成本分析两方面，对比本发明方案和 传统的人工测量法的优缺点。
[0136] (1)运行时间。以一个时长为十五分钟，总帧数为21076的视频文件为例，普通人 工检测大致需要大约为15分钟。本发明的仿真处理平台为：IntelI3M350处理器，2GB内 存的计算机，利用MATLAB软件进行仿真，对采集到的281MB视频文件进行测定，所用的时间 为3分25秒。可见，本发明中提出的方法的处理速度具有明显的优势。
[0137] (2)成本分析。人工测量法需要长时间持续观察视频中的车门开闭情况，需要耗费 大量的人工作业成本，且易造成人员的视觉疲劳。而本发明提出的方法，可以实现多通道同 时检测，降低人工成本的同时提升了工作效率。此外，由于目前大部分的公交车均已经安装 了视频采集设备，本发明提出的方法可以加装视频采集设备，亦可以直接利用现有的视频 监控设备采集图像数据，可节省发明的成本。
【主权项】
1. 一种公交车辆车门开闭状态自动检测方法，其特征在于，包括如下步骤： 步骤O :采集公交车发车前车门的视频背景图像帧Ft; 步骤1 :将采集的公交车发车前视频背景图像帧Ft灰度化，得到背景灰度图像帧f t; 步骤2 :通过均值法在背景灰度图像帧中获得背景图Bg ; 步骤3 :对步骤2得到的背景图Bg进行二值化，得到背景二值图MG ; 步骤4 :对步骤3得到的背景二值图MG进行形态学闭运算，得到梯度连接图OG ; 步骤5 :对步骤4得到的梯度连接图OG进行形态学开运算，得到梯度图CG ; 步骤6 :对步骤5得到的梯度图CG进行取反和去零星处理，统计各连通区的像素数，提 取像素数最多的连通区域作为车门模板图MB ; 步骤7 :将步骤6得到的车门模板图MB与步骤2得到的背景图Bg进行点乘，得到背景 检测图ej，计算公式如下： ej = MB · XBg (6) 其中，· X表示点乘运算符； 步骤8 :计算背景检测图ej的平均灰度值eb ; 步骤9 :实时采集车辆发出后的车门图像帧Ek; 步骤10 :对步骤9中采集的车门图像帧Ek按照步骤1的方法对其进行灰度化处理，得 到第k帧的车门灰度图，记为Ehk; 步骤11 :将步骤6得到的车门模板图MB与步骤10得到的车门灰度图Hlk进行点乘，得 到第k帧车门检测图ek，计算公式如下： ek= MB · XEhk (8) 步骤12 :计算步骤11中得到的第k帧车门检测图ek的平均灰度值eh k; 步骤13 :计算车门检测图ek和背景检测图ej的灰度差异度edk，其计算式如下所示： edk= |ehk-eb (10) 步骤14 :计算车门检测图ek和背景检测图ej的对比差异度rk; 步骤15 :车门开闭状态判定；车门开闭状态通过式（12)来判定；其中，flk为车门开闭状态的标记，fl k= 0表示车门为关闭状态，fl k= 1表示车门为 开启状态；T1为灰度差异度阈值，T1的取值范围为：3~10 ;T2为对比差异度阈值，其取值范 围为-0.5~0。2. 根据权利要求1所述的一种公交车辆车门开闭状态自动检测方法，其特征在于，还 包括如下步骤： 步骤16 :存储第k帧车门图像帧的车门开闭状态； 步骤17 :公交车辆是否已经到达终点；否，转入步骤18 ;是，则转入步骤19 ; 步骤18 :采集下一帧，转入步骤9。3. 根据权利要求1或2所述的一种公交车辆车门开闭状态自动检测方法，其特征在 于，步骤0中：采集公交车出发前5s的视频背景图像帧，其中，采样频率为0. 5s/帧，共采集 10帧图像，记为Ft，其中，t为帧号，t = 1，2,......，10 ;采集到的图像大小为M行和N列， 设定某像素点的坐标为（x，y)，X和y表示像素（x，y)的行和列，满足：χ和y均为整数，且 1彡X彡M，1彡y彡N，则第t帧背景图像帧Ft中像素（X，y)的RGB颜色值用符号表示为 (Rt (x, y), Gt (x, y), Bt (x, y)) 〇4. 根据权利要求3所述的一种公交车辆车门开闭状态自动检测方法，其特征在于，步 骤1中：将步骤〇处理得到的第t帧背景图像帧Ft进行灰度化处理，得到背景灰度图像帧 记为ft，其计算式如下所示： ft (x, y) = ο. 3 X Rt (x, y) +0. 59 X Gt (x, y) +0.1 lX Bt (x, y) (I) 其中，Rt(x，y)表示背景图像帧Ft中像素（x，y)的R分量值；Gt(x，y)表示背景图像帧 Ft中像素（X，y)的G分量值；B t (X，y)表示背景图像帧Ft中像素（X，y)的B分量值；f t (X，y) 表示背景灰度图像帧ft中像素（x，y)的灰度值。5. 根据权利要求4所述的一种公交车辆车门开闭状态自动检测方法，其特征在于，步 骤2中：背景图Bg的计算公式如下式所示：(2) 其中，Bg(X，y)表示背景图Bg中像素（X，y)的灰度值； 步骤3中：对背景图Bg进行二值化得到背景二值图MG，其计算式如下所示：(3) 其中，T为二值化阈值，其取值为：110~140 ;MG(x，y)表示背景二值图MG中像素 （x，y) 的值，MG (X，y) = 0表示像素（X，y)为可能的车门区域，MG (X，y) = 1表示像素（X，y)为非 车门区域。6. 根据权利要求5所述的一种公交车辆车门开闭状态自动检测方法，其特征在于，步 骤4中：对背景二值图MG进行数学形态学的闭运算，得到梯度连接图OG，其计算式如下所 示： (4) 其中，Se为结构元素，取3X3~IOX 10的正方形结构元素 ；MG 〇 Se表示背景二值图 MG被结构算子Se进行闭运算操作；〇表示形态学闭运算；0表示膨胀运算；?表示腐蚀运 算。7. 根据权利要求6所述的一种公交车辆车门开闭状态自动检测方法，其特征在于，步 骤5中：对梯度连接图OG进行数学形态学开运算，得到梯度图CG，以消除梯度连接图OG中 的毛刺，其计算式如下所示： CG = OG · 5V = (0(7 ? &)十 & (5) 其中，?表示形态学开运算，OG · Se表示梯度连接图OG被结构算子Se进行开运算操 作。8. 根据权利要求3所述的一种公交车辆车门开闭状态自动检测方法，其特征在于，步 骤8中：平均灰度值eb的计算式如下所示：(7) 其中，ej (x，y)表示背景检测图ej中像素（x，y)的灰度值。9. 根据权利要求3所述的一种公交车辆车门开闭状态自动检测方法，其特征在于，步 骤12中：平均灰度值ehk的计算式如下所示：(9) 其中，ek(x，y)表示第k帧车门检测图ek中像素（X，y)的灰度值。10. 根据权利要求3所述的一种公交车辆车门开闭状态自动检测方法，其特征在于，步 骤14中：对比差异度rk的计算式如下所示：其中，rk为对比差异度，其值越大则说明车门检测图ek和背景检测图ej的差异度越大， 反之亦反。
【专利摘要】本发明公开了一种公交车辆车门开闭状态自动检测方法，该方法利用视频采集设备采集的车门图像数据，将车辆在发车前的图像帧保存为背景图，并标定检测区域，在标定区域内将采集的实时图像帧和背景图进行对比分析，当图像帧和背景图的灰度差异度和对比差异度均较大时，认为车门处于开启状态；否则判断车门为关闭状态。具体操作时，将摄像头安装于驾驶员上方车顶位置，调节摄像头的拍摄角度和焦距：使车门处于拍摄画面的中央，并尽可能占满整个拍摄画面。
【IPC分类】G06T7/00
【公开号】CN104899880
【申请号】CN201510271385
【发明人】肖梅, 黄颖, 张雷, 刘龙, 王杏
【申请人】长安大学
【公开日】2015年9月9日
【申请日】2015年5月25日
【技术领域】：
[0001] 本发明涉及一种公交车摄像头监控系统的扩展应用，尤其涉及一种基于图像处理 技术的公交车辆车门开闭状态自动检测方法。
【背景技术】：
[0002] 由于视频采集设备采集的信息具有丰富的颜色、结构、纹理和时间等信息，常常被 广泛应用于交通运输领域，如公交车内监控系统。目前多数公交车已经安装上了监控摄像 头，并有相应的储存设备以及传输接口。公交车内监控系统是通过在公交车内安装多个摄 像头，在车辆运行过程中，随时记录车内、外的异常情况，为公交的运营、管理和优化提供调 研数据，规范公交车辆的行车与运营。但是目前还没有针对公交车辆车门开闭状态自动检 测方法。
【发明内容】
：
[0003] 本发明的目的在于提供一种基于图像处理技术的公交车辆车门开闭状态自动检 测方法。
[0004] 为达到上述目的，本发明采用如下的技术方案予以实现：
[0005] 一种公交车辆车门开闭状态自动检测方法，包括如下步骤：
[0006] 步骤0 :采集公交车发车前车门的视频背景图像帧Ft;
[0007] 步骤1 :将采集的公交车发车前视频背景图像帧Ft灰度化，得到背景灰度图像帧 ft；
[0008] 步骤2 :通过均值法在背景灰度图像帧中获得背景图Bg ;
[0009] 步骤3 :对步骤2得到的背景图Bg进行二值化，得到背景二值图MG;
[0010] 步骤4:对步骤3得到的背景二值图MG进行形态学闭运算，得到梯度连接图OG;
[0011] 步骤5 :对步骤4得到的梯度连接图OG进行形态学开运算，得到梯度图CG;
[0012] 步骤6 :对步骤5得到的梯度图CG进行取反和去零星处理，统计各连通区的像素 数，提取像素数最多的连通区域作为车门模板图MB;
[0013] 步骤7 :将步骤6得到的车门模板图MB与步骤2得到的背景图Bg进行点乘，得到 背景检测图ej，计算公式如下：
[0014] ej=MB?XBg(6)
[0015] 其中，?X表示点乘运算符；
[0016] 步骤8 :计算背景检测图ej的平均灰度值eb;
[0017] 步骤9 :实时采集车辆发出后的车门图像帧Ek;
[0018] 步骤10 :对步骤9中采集的车门图像帧Ek按照步骤1的方法对其进行灰度化处 理，得到第k帧的车门灰度图，记为Ehk;
[0019] 步骤11 :将步骤6得到的车门模板图MB与步骤10得到的车门灰度图Ehk进行点 乘，得到第k帧车门检测图ek，计算公式如下：
[0020] ek=MB?XEhk (8)
[0021] 步骤12 :计算步骤11中得到的第k帧车门检测图ek的平均灰度值ehk;
[0022] 步骤13 :计算车门检测图ek和背景检测图ej的灰度差异度edk，其计算式如下所 示：
[0023] edk= |ehk_eb| (10)
[0024] 步骤14 :计算车门检测图ek和背景检测图ej的对比差异度rk;
[0025] 步骤15 :车门开闭状态判定；车门开闭状态通过式（12)来判定；
[0027] 其中，flk为车门开闭状态的标记，flk= 0表示车门为关闭状态，flk= 1表示车 门为开启状态为灰度差异度阈值，的取值范围为：3~10 ;T2为对比差异度阈值，其取 值范围为-0.5~0。
[0028] 本发明进一步的改进在于，还包括如下步骤：
[0029] 步骤16 :存储第k帧车门图像帧的车门开闭状态；
[0030] 步骤17 :公交车辆是否已经到达终点；否，转入步骤18 ;是，则转入步骤19 ;
[0031] 步骤18 :采集下一帧，转入步骤9。
[0032] 本发明进一步的改进在于，步骤0中：采集公交车出发前5s的视频背景图像帧，其 中，采样频率为〇.5s/帧，共采集10帧图像，记为Ft，其中，t为帧号，t= 1，2,......, 10 ； 采集到的图像大小为M行和N列，设定某像素点的坐标为（x，y)，x和y表示像素（x，y)的 行和列，满足：x和y均为整数，且1 <x<M，1 <y<N，则第t帧背景图像帧Ft中像素 (X，y)的RGB颜色值用符号表示为（Rt (X，y)，Gt (X，y)，Bt (X，y))。
[0033] 本发明进一步的改进在于，步骤1中：将步骤0处理得到的第t帧背景图像帧匕进 行灰度化处理，得到背景灰度图像帧记为ft，其计算式如下所示：
[0034] ft (x,y) = 0. 3XRt (x,y) +0. 59XGt (x,y) +0. 11XBt (x,y) (1)
[0035] 其中，Rt(x，y)表示背景图像帧Ft中像素（x，y)的R分量值；Gt(x，y)表示背景图 像帧Ft中像素（x，y)的G分量值；Bt(x，y)表示背景图像帧Ft中像素（x，y)的B分量值； ft(x，y)表示背景灰度图像帧ft中像素（x，y)的灰度值。
[0036] 本发明进一步的改进在于，步骤2中：背景图Bg的计算公式如下式所示：
[0038] 其中，Bg(x,y)表示背景图Bg中像素（X，y)的灰度值；
[0039] 步骤3中：对背景图Bg进行二值化得到背景二值图MG，其计算式如下所示：
[0041]其中，T为二值化阈值，其取值为：110~140 ;MG(x，y)表示背景二值图MG中像素 (X，y)的值，MG(x,y) = 0表示像素（X，y)为可能的车门区域，MG(x,y) = 1表示像素（X，y) 为非车门区域。
[0042] 本发明进一步的改进在于，步骤4中：对背景二值图MG进行数学形态学的闭运算， 得到梯度连接图OG，其计算式如下所示：
[0044] 其中，Se为结构元素，取3X3~10X10的正方形结构元素；MG〇Se表示背景二值 图MG被结构算子Se进行闭运算操作；。表示形态学闭运算；?表示膨胀运算；0表示腐蚀 运算。
[0045] 本发明进一步的改进在于，步骤5中：对梯度连接图OG进行数学形态学开运算，得 到梯度图CG，以消除梯度连接图OG中的毛刺，其计算式如下所示：
[0047] 其中，?表示形态学开运算，OG?Se表示梯度连接图OG被结构算子Se进行开运 算操作。
[0048] 本发明进一步的改进在于，步骤8中：平均灰度值eb的计算式如下所示：
[0050] 其中，ej(X，y)表示背景检测图ej中像素（X，y)的灰度值。
[0051] 本发明进一步的改进在于，步骤12中：平均灰度值ehk的计算式如下所示：
[0053] 其中，ek(x,y)表示第k帧车门检测图ek中像素（X，y)的灰度值。
[0054] 本发明进一步的改进在于，步骤14中：对比差异度rk的计算式如下所示：
[0056] 其中，rk为对比差异度，其值越大则说明车门检测图ek和背景检测图ej的差异度 越大，反之亦反。
[0057] 相对于现有技术，本发明具有如下的优点：
[0058] 本发明利用视频采集设备采集的车门图像数据，将车辆在发车前的图像帧保存为 背景图，并标定检测区域，在标定区域内将采集的实时图像帧和背景图进行对比分析，当图 像帧和背景图的灰度差异度和对比差异度均较大时，认为车门处于开启状态；否则判断车 门为关闭状态。将摄像头安装于驾驶员上方车顶位置，调节摄像头的拍摄角度和焦距：使车 门处于拍摄画面的中央，并尽可能占满整个拍摄画面。
[0059] 进一步的，本发明自动检测公交车辆车门的开闭状态具有重要的现实意义：一是 触发数据采集。在车辆行驶和停站时，公交车内关注的区域不同，对应的传感器所采集的数 据也不尽相同，可通过检测车门的开闭状态来触发数据采集传感器的开启和关闭；二是监 控车门的异常情况。将公交车门的开闭状态和驾驶员对车门的操作进行对比，可以监控车 门工作状态是否正常，及时发现车门开闭的异常状态，保障人、车、物的安全。三是未来的无 人驾驶公交车辆的实现，首先需要实时检测车门的开闭状态，随后才能对车辆进行行驶、停 靠等操控。鉴于此，本发明提出了一种公交车辆车门开闭状态的检测方法。该方法具有简 单、经济，结果真实可靠等优点。
【附图说明】：
[0060] 图1为背景图Bg。
[0061] 图2为背景二值图MG。
[0062] 图3为梯度连接图OG。
[0063] 图4为梯度图CG。
[0064] 图5为车门模板图MB。
[0065] 图6为背景检测图ej。
[0066] 图7为车门图像帧Ek。
[0067] 图8为车门灰度图Ehk。
[0068] 图9为车门检测图ek。
【具体实施方式】：
[0069] 以下结合附图和实施例对本发明作进一步的详细说明。
[0070] 本发明一种公交车辆车门开闭状态自动检测方法，包括如下步骤：
[0071] 步骤S0:公交车发车前视频背景图像帧采集。采集公交车出发前5s的视频背景图 像帧，采样频率为〇. 5s/帧，共采集10帧图像，记为Ft，其中，t为帧号，t= 1，2,......，10。 采集到的图像大小为180X250,即M= 180,N= 250,假定某像素点的坐标为（x，y)，x和y表示像素（x，y)的行和列，满足和y均为整数，且1彡x彡180，1彡y彡250。第t帧背 景图像帧Ft中像素（X，y)的RGB颜色值用符号表示为（Rt (X，y)，Gt (X，y)，Bt (X，y))。
[0072] 转入步骤SI。
[0073] 步骤SI:视频背景图像帧灰度化。将步骤SO处理得到的背景图像帧Ft进行灰度 化处理，得到背景灰度图像帧记为ft，其计算式如下所示：
[0074] ft (x,y) = 0. 3XRt (x,y) +0. 59XGt (x,y) +0. 11XBt (x,y),t= 1, 2,......10 (1)
[0075] 其中，Rt(x,y)表示背景图像帧Ft中像素（x,y)的R分量值；Gt(x,y)表示背景图 像帧Ft中像素（x，y)的G分量值；Bt(x，y)表示背景图像帧Ft中像素（x，y)的B分量值； ft(x，y)表示背景灰度图像帧ft中像素（x，y)的灰度值。
[0076] 转入步骤S2。
[0077] 步骤S2 :通过均值法获得背景图。背景图用Bg表示（如图1所示），其计算公式 如下式所示：
[0079] 其中，Bg(x,y)表示背景图Bg中像素（X，y)的灰度值。
[0080] 转入步骤S3。
[0081] 步骤S3 :对步骤S2得到的背景图Bg进行二值化。对背景图Bg进行二值化处理， 得到背景二值图MG(如图2所示），其计算式如下所示：
[0083] 其中，T为二值化阈值，本实施例中，T取值为128 ;MG(x，y)表示背景二值图MG中 像素（x，y)的值，MG(x，y) =0表示像素（x，y)为可能的车门区域，MG(x，y) = 1表示像素 (X，y)为非车门区域。
[0084] 转入步骤S4。
[0085] 步骤S4 :对步骤S3得到的背景二值图MG进行形态学闭运算。对背景二值图MG进 行数学形态学的闭运算，得到梯度连接图OG(如图3所示），其计算式如下所示：
[0087] 其中，Se为结构元素，本实施例中取8X8的正方形结构元素；MG〇Se表示背景二 值图MG被结构算子Se进行闭运算操作；。表示形态学闭运算；?表示膨胀运算；?表示腐 蚀运算。
[0088] 转入步骤S5。
[0089] 步骤S5 :对步骤S4得到的梯度连接图OG进行形态学开运算。对梯度连接图OG进 行数学形态学开运算，得到梯度图CG(如图4所示），以消除梯度连接图OG中 的毛刺，其计 算式如下所示：
[0091] 其中，?表示形态学开运算，OG?Se表示梯度连接图OG被结构算子Se进行开运 算操作。
[0092] 转入步骤S6。
[0093] 步骤S6 :对步骤S5得到的梯度图CG进行取反和去零星处理，统计各连通区的像 素数，提取像素数最多的连通区域作为车门模板图MB(如图5所示）。
[0094] 转入步骤S7。
[0095] 步骤S7 :将步骤S6得到的车门模板图MB与步骤S2得到的背景图Bg进行点乘， 得到背景检测图ej(如图6所示），计算公式如下：
[0096] ej=MB?XBg(6)
[0097] 其中，?X表示点乘运算符；MB?XBg表示车门模板图MB与背景图Bg进行点乘 运算。
[0098] 转入步骤S8。
[0099] 步骤S8 :计算背景检测图ej的平均灰度值eb，其计算式如下所示：
[0101] 其中，ej(x，y)表示背景检测图ej中像素（x，y)的灰度值。
[0102] 本实施例中，计算得到的背景检测图ej的平均灰度值eb= 17. 710。
[0103] 转入步骤S9。
[0104] 步骤S9 :实时采集车辆发出后的车门图像，采样频率为0. 5S/帧，采集的第k帧的 RBG图像帧（如图7所示），用Ek表示。实施例中，取k= 1。
[0105] 转入步骤S10。
[0106] 步骤S10 :对步骤S9中采集的车门图像帧Ek按照步骤S1的方法对其进行灰度化 处理，得到第k帧的车门灰度图（如图8所示），记为Ehk。
[0107] 转入步骤S11。
[0108] 步骤S11 :将步骤S6得到的车门模板图MB与步骤S10得到的车门灰度图Ehk进行 点乘，得到车门检测图ek(如图9所示），计算公式如下：
[0109] ek=MB?XEhk (8)
[0110] 其中，MB?XEhk表示车门模板图MB与车门灰度图Ehk进行点乘运算。
[0111] 转入步骤S12。
[0112] 步骤S12 :计算步骤S11得到的第k帧车门检测图ek的平均灰度值ehk，其计算式 如下所示：
[0114] 其中，ek(x，y)表示车门检测图ek中像素（x，y)的灰度值。
[0115] 在本实施例中，计算得到第k帧车门检测图ek的平均灰度值ehk= 31.284。
[0116] 转入步骤S13。
[0117] 步骤S13 :计算车门检测图ek和背景检测图ej的灰度差异度edk，其计算式如下所 示：
[0118] edk= |ehk_eb| (10)
[0119] 在本实施例中，计算得到车门检测图ek和背景检测图ej的灰度差异度edk = 13. 574〇
[0120] 转入步骤S14。
[0121] 步骤S14 :计算车门检测图ek和背景检测图ej的对比差异度rk，其计算式如下所 示：
[0123] 其中，rk为对比差异度，其值越大则说明车门检测图ek和背景检测图ej的差异度 越大，反之亦反。
[0124] 在本实施例中，计算得车门检测图ek和背景检测图ej的对比差异度rk= 0.4179。
[0125] 转入步骤S15。
[0126] 步骤S15 :通过式12来判定车门开闭状态。
[0127]
[0128] 其中，flk为车门开闭状态的标记，flk=0表示车门为关闭状态，flk= 1表示车门 为开启状态。本实施例中，灰度差异度阈值取值为5 ;对比差异度阈值T2取值为-0. 25。
[0129] 在本实施例中，由于6(11;= 13.574彡5，且1'1;=0.4179彡-0.25，可得打1;=1，因 而判定此时的车门为开启状态。
[0130] 转入步骤S16。
[0131] 步骤S16 :存储第k帧的车门图像帧的车门开闭状态。
[0132] 转入步骤S17。
[0133] 步骤S17 :判断公交车辆是否已经到达终点。否，转入步骤S18 ;是，则转入步骤 S19〇
[0134] 步骤S18 :采集下一帧，此时k=k+1，转入步骤S9。
[0135] 按照以上本发明的技术方案，从运行时间和成本分析两方面，对比本发明方案和 传统的人工测量法的优缺点。
[0136] (1)运行时间。以一个时长为十五分钟，总帧数为21076的视频文件为例，普通人 工检测大致需要大约为15分钟。本发明的仿真处理平台为：IntelI3M350处理器，2GB内 存的计算机，利用MATLAB软件进行仿真，对采集到的281MB视频文件进行测定，所用的时间 为3分25秒。可见，本发明中提出的方法的处理速度具有明显的优势。
[0137] (2)成本分析。人工测量法需要长时间持续观察视频中的车门开闭情况，需要耗费 大量的人工作业成本，且易造成人员的视觉疲劳。而本发明提出的方法，可以实现多通道同 时检测，降低人工成本的同时提升了工作效率。此外，由于目前大部分的公交车均已经安装 了视频采集设备，本发明提出的方法可以加装视频采集设备，亦可以直接利用现有的视频 监控设备采集图像数据，可节省发明的成本。
【主权项】
1. 一种公交车辆车门开闭状态自动检测方法，其特征在于，包括如下步骤： 步骤O :采集公交车发车前车门的视频背景图像帧Ft; 步骤1 :将采集的公交车发车前视频背景图像帧Ft灰度化，得到背景灰度图像帧f t; 步骤2 :通过均值法在背景灰度图像帧中获得背景图Bg ; 步骤3 :对步骤2得到的背景图Bg进行二值化，得到背景二值图MG ; 步骤4 :对步骤3得到的背景二值图MG进行形态学闭运算，得到梯度连接图OG ; 步骤5 :对步骤4得到的梯度连接图OG进行形态学开运算，得到梯度图CG ; 步骤6 :对步骤5得到的梯度图CG进行取反和去零星处理，统计各连通区的像素数，提 取像素数最多的连通区域作为车门模板图MB ; 步骤7 :将步骤6得到的车门模板图MB与步骤2得到的背景图Bg进行点乘，得到背景 检测图ej，计算公式如下： ej = MB · XBg (6) 其中，· X表示点乘运算符； 步骤8 :计算背景检测图ej的平均灰度值eb ; 步骤9 :实时采集车辆发出后的车门图像帧Ek; 步骤10 :对步骤9中采集的车门图像帧Ek按照步骤1的方法对其进行灰度化处理，得 到第k帧的车门灰度图，记为Ehk; 步骤11 :将步骤6得到的车门模板图MB与步骤10得到的车门灰度图Hlk进行点乘，得 到第k帧车门检测图ek，计算公式如下： ek= MB · XEhk (8) 步骤12 :计算步骤11中得到的第k帧车门检测图ek的平均灰度值eh k; 步骤13 :计算车门检测图ek和背景检测图ej的灰度差异度edk，其计算式如下所示： edk= |ehk-eb (10) 步骤14 :计算车门检测图ek和背景检测图ej的对比差异度rk; 步骤15 :车门开闭状态判定；车门开闭状态通过式（12)来判定；其中，flk为车门开闭状态的标记，fl k= 0表示车门为关闭状态，fl k= 1表示车门为 开启状态；T1为灰度差异度阈值，T1的取值范围为：3~10 ;T2为对比差异度阈值，其取值范 围为-0.5~0。2. 根据权利要求1所述的一种公交车辆车门开闭状态自动检测方法，其特征在于，还 包括如下步骤： 步骤16 :存储第k帧车门图像帧的车门开闭状态； 步骤17 :公交车辆是否已经到达终点；否，转入步骤18 ;是，则转入步骤19 ; 步骤18 :采集下一帧，转入步骤9。3. 根据权利要求1或2所述的一种公交车辆车门开闭状态自动检测方法，其特征在 于，步骤0中：采集公交车出发前5s的视频背景图像帧，其中，采样频率为0. 5s/帧，共采集 10帧图像，记为Ft，其中，t为帧号，t = 1，2,......，10 ;采集到的图像大小为M行和N列， 设定某像素点的坐标为（x，y)，X和y表示像素（x，y)的行和列，满足：χ和y均为整数，且 1彡X彡M，1彡y彡N，则第t帧背景图像帧Ft中像素（X，y)的RGB颜色值用符号表示为 (Rt (x, y), Gt (x, y), Bt (x, y)) 〇4. 根据权利要求3所述的一种公交车辆车门开闭状态自动检测方法，其特征在于，步 骤1中：将步骤〇处理得到的第t帧背景图像帧Ft进行灰度化处理，得到背景灰度图像帧 记为ft，其计算式如下所示： ft (x, y) = ο. 3 X Rt (x, y) +0. 59 X Gt (x, y) +0.1 lX Bt (x, y) (I) 其中，Rt(x，y)表示背景图像帧Ft中像素（x，y)的R分量值；Gt(x，y)表示背景图像帧 Ft中像素（X，y)的G分量值；B t (X，y)表示背景图像帧Ft中像素（X，y)的B分量值；f t (X，y) 表示背景灰度图像帧ft中像素（x，y)的灰度值。5. 根据权利要求4所述的一种公交车辆车门开闭状态自动检测方法，其特征在于，步 骤2中：背景图Bg的计算公式如下式所示：(2) 其中，Bg(X，y)表示背景图Bg中像素（X，y)的灰度值； 步骤3中：对背景图Bg进行二值化得到背景二值图MG，其计算式如下所示：(3) 其中，T为二值化阈值，其取值为：110~140 ;MG(x，y)表示背景二值图MG中像素 （x，y) 的值，MG (X，y) = 0表示像素（X，y)为可能的车门区域，MG (X，y) = 1表示像素（X，y)为非 车门区域。6. 根据权利要求5所述的一种公交车辆车门开闭状态自动检测方法，其特征在于，步 骤4中：对背景二值图MG进行数学形态学的闭运算，得到梯度连接图OG，其计算式如下所 示： (4) 其中，Se为结构元素，取3X3~IOX 10的正方形结构元素 ；MG 〇 Se表示背景二值图 MG被结构算子Se进行闭运算操作；〇表示形态学闭运算；0表示膨胀运算；?表示腐蚀运 算。7. 根据权利要求6所述的一种公交车辆车门开闭状态自动检测方法，其特征在于，步 骤5中：对梯度连接图OG进行数学形态学开运算，得到梯度图CG，以消除梯度连接图OG中 的毛刺，其计算式如下所示： CG = OG · 5V = (0(7 ? &)十 & (5) 其中，?表示形态学开运算，OG · Se表示梯度连接图OG被结构算子Se进行开运算操 作。8. 根据权利要求3所述的一种公交车辆车门开闭状态自动检测方法，其特征在于，步 骤8中：平均灰度值eb的计算式如下所示：(7) 其中，ej (x，y)表示背景检测图ej中像素（x，y)的灰度值。9. 根据权利要求3所述的一种公交车辆车门开闭状态自动检测方法，其特征在于，步 骤12中：平均灰度值ehk的计算式如下所示：(9) 其中，ek(x，y)表示第k帧车门检测图ek中像素（X，y)的灰度值。10. 根据权利要求3所述的一种公交车辆车门开闭状态自动检测方法，其特征在于，步 骤14中：对比差异度rk的计算式如下所示：其中，rk为对比差异度，其值越大则说明车门检测图ek和背景检测图ej的差异度越大， 反之亦反。
【专利摘要】本发明公开了一种公交车辆车门开闭状态自动检测方法，该方法利用视频采集设备采集的车门图像数据，将车辆在发车前的图像帧保存为背景图，并标定检测区域，在标定区域内将采集的实时图像帧和背景图进行对比分析，当图像帧和背景图的灰度差异度和对比差异度均较大时，认为车门处于开启状态；否则判断车门为关闭状态。具体操作时，将摄像头安装于驾驶员上方车顶位置，调节摄像头的拍摄角度和焦距：使车门处于拍摄画面的中央，并尽可能占满整个拍摄画面。
【IPC分类】G06T7/00
【公开号】CN104899880
【申请号】CN201510271385
【发明人】肖梅, 黄颖, 张雷, 刘龙, 王杏
【申请人】长安大学
【公开日】2015年9月9日
【申请日】2015年5月25日
最新回复(0)