一种方向盘上操作手数目视频检测方法
【技术领域】
[0001] 本发明属于视频检测方法技术领域,涉及一种方向盘上操作手数目视频检测方 法。
【背景技术】
[0002] 交通事故的发生与驾驶员不正确的驾驶操作有密切关系,驾驶员双手离开方向 盘、打手机或与他人聊天等行为,均有可能因为分心而忽视道路上潜在的危险,这些驾驶行 为极易被驾驶员轻视,但却容易造成非常严重的后果。尤其是在遇到紧急情况时,如突发的 车辆爆胎、道路情况发生变化或前方突然出现车辆等,极易造成驾驶员无法对车辆进行快 速有效的控制,从而造成极其严重的后果。
[0003] 采用有效的技术手段,对驾驶员的驾驶行为和驾驶状态进行实时监测和智能评 估,有利于及时发现驾驶员的违法驾驶操作,避免交通事故的发生,提高交通效率。驾驶员 手离方向盘行为检测是驾驶员行为检测技术的重要组成部分,本课题的研宄有利于及时发 现驾驶员在驾驶过程中违规操作方向盘的行为,提醒驾驶员及时修正其违规驾驶行为,督 促驾驶员养成良好的操作方向盘习惯,对减少交通事故的发生具有重要意义。基于生理信 号测量的方法受检测设备复杂程度和价格因素影响的同时,还需要驾驶员佩戴仪器,对驾 驶员的驾驶操作有一定的影响,因此难以实现推广应用。
[0004] 基于传感器监测车辆状态的方法测量结果易受驾驶操作存在个体差异因素的影 响,同时还存在测量数据不够精确和硬件成本较高等问题的限制,导致误报警率较高,因 此也未能取得较好的应用效果。
[0005] 基于计算机视觉的检测方法具有非接触式检测的优点,对驾驶员的干扰最小,因 此本文采用该方法,但是现有的技术存在检测效果易受驾驶员相貌差异、光照条件和物体 遮挡等因素的影响以及检测算法的实时性很难达到要求等问题。为解决此问题,本文从算 法的角度进行改善,使得检测的效果不受此影响。
【发明内容】
[0006] 本发明的目的在于提供一种方向盘上操作手数目视频检测方法,解决了目前针对 客车驾驶员安全驾驶的检测仪器较为复杂,且对操作有影响的问题。
[0007] 本发明所采用的技术方案是按照以下步骤进行:
[0008] 步骤1 :图像中方向盘位置确定;将摄像头安装在驾驶员前上方,方向盘与摄像头 二者的相对位置保持不变,保证摄像头采集的图像完整包含驾驶员头部和方向盘,标定方 向盘椭圆的中心和代表方向盘的椭圆环;
[0009] 步骤2 :感兴趣区域的截取;在椭圆上选取一点M,以点M为中心用窗口作为感兴 趣区域截取图像;
[0010] 步骤3 :方向盘上操作手检测;将感兴趣区域按顺时针方向旋转p角度,进行归 一化处理;
[0011] 步骤4 :预处理;将归一化处理后的彩色图像转换为灰度图像,然后对感兴趣区域 进行图像预处理,得到黑白图案;
[0012] 步骤5 :单一感兴趣区域操作手检测;将二值化后的图像表示在二维坐标系中, 将图像向X轴方向投影,得到其n(X)-X曲线;n表示每一列中灰度值为1的像素点数,设定 阈值16,当X轴方向上,连续X轴坐标点上的每一列的n(x) 时,令L为这些连续 长度中的最大值,设定阈值T2= 20,当L>T2时,即认为图像中有类似手形存在;
[0013] 步骤6 :全方向盘搜索操作手;当一个感兴趣区域检测完成后,按照逆时针方向, 以一度为步长搜索整个方向盘区域,提取到360个大小相同的感兴趣区域,对360个感兴趣 区域逐一进行检测,得到每个感兴趣区域是否有类似手形存在。
[0014] 进一步,所述步骤2中窗口大小为30X60,窗口方向是感兴趣区域长边的对称中 心线与X轴正方向的夹角,即供角。
[0015] 进一步,所述所述步骤3中归一化处理以M点为中心将小窗口进行旋转的,使旋转 后的感兴趣区域中的方向盘处于竖直方向。
[0016] 进一步,所述步骤4中预处理步骤为首先进行超限邻域平均,在进行直方图均衡 化,最后进行二值化,得到黑白图案。
[0017] 本发明的有益效果是通过视频方法检测车辆驾驶中司机的双手是否离开方向盘, 方法简单可靠。
【附图说明】
[0018]图1是本发明9 = 90。、0 = 270°和0 = 280°时的二值化灰度图及其n-X 曲线不意图;
[0019] 图2为全方向盘搜索图形。
【具体实施方式】
[0020] 下面结合【具体实施方式】对本发明进行详细说明。
[0021] 本发明的技术方案如下:
[0022] 步骤1 :图像中方向盘位置确定;将摄像头安装在驾驶员前上方,方向盘与摄像头 二者的相对位置保持不变,保证摄像头采集的图像完整包含驾驶员头部和方向盘,方向盘 的实物形状为圆形,但由于摄像头的畸变效应,方向盘在图像中的形状畸变成椭圆形,所以 需将方向盘视为椭圆来处理。标定方向盘椭圆的中心和代表方向盘的椭圆环。
[0023] 客车在行驶过程中车身会略有震动,导致摄像头与方向盘之间的相对位置会有小 幅变动。根据实验测试,在摄像头正常安装的前提下,车辆颠簸导致的图像中方向盘实际中 心点与标定中心点的不重合度误差基本小于二十个像素,本算法试验结果表明,该误差对 计算结果的准确性没有影响。
[0024] 步骤2 :感兴趣区域的截取;在椭圆上选取一点M,以点M为中心,以30X60大小的 窗口作为感兴趣区域截取图像,这个窗口以M为中心,方向是感兴趣区域长边的对称中心 线与X轴正方向的夹角,即供角。
[0025] 步骤3 :方向盘上操作手检测;感兴趣区域角度归一化处理,即将感兴趣区域按顺 时针方向旋转P角度,归一化处理是以M点为中心将小窗口进行旋转的,目的是使旋转后的 感兴趣区域中的方向盘处于竖直方向。
[0026] 这样,截取的方向盘部分图像在感兴趣区域图像中的朝向和相对位置基本一致。
[0027] 步骤4 :预处理;将归一化处理后的彩色图像转换为灰度图像,然后对感兴趣区域 进行图像预处理,预处理步骤为:首先进行超限邻域平均,在进行直方图均衡化,最后进行 二值化,得到黑白图案。
[0028] 步骤5:单一感兴趣区域操作手检测;当手握住方向盘时,方向盘的局部或全部会 被手覆盖,手的宽度明显大于方向盘的宽度。将二值化后的图像表示在二维坐标系中,将 图像向X轴方向投影,得到其n(x)-X曲线;如图1所示为0 =90°、0 = 270°和0 = 2
80°时的二值化灰度图及其n-X曲线。设定阈值1\= 16,当X轴方向上,连续X轴坐标点 上的每一列的n(x) > (如图中的X轴上的(B-A)列和(D-C)列)时,令L为这些连续长 度中的最大值(图中L=B-A),设定阈值T2= 20,当L>T2时,即认为图像中有类似手形 存在。
[0029] 步骤6 :全方向盘搜索操作手;当一个感兴趣区域检测完成后,按照逆时针方 向,以一度为步长搜索整个方向盘区域,可以提取到360个大小相同的感兴趣区域,对 360个感兴趣区域逐一进行检测,可以得到每个感兴趣区域是否有类似手形存在,如果 用1表示感兴趣区域有类似手形存在,〇表示感兴趣区域无类似手形存在。则当全方向 盘搜索完成后,每个感兴趣区域都对应一个〇或1的结果,将每个感兴趣区域对应的值绘 制在二维坐标空间中,得到图像的F-p曲线,其中横坐标表示感兴趣区域中心线与X轴 正方向的夹角P,纵坐标表示感兴趣区域对应的值,如图2所示为某幅图像及其供曲 线。从图2中可以看出,有两段V=1的连续区域。采用中值滤波器的方法消除曲线中 的断点。最大程度保持区域信息的完整,从而获得符合实际情况的AB段总长度。其中, 灼=71,%= 97,怜=268,%= 292,因此,AB段的长度为尤仙=灼-%= 26,⑶段 的长度为1-Pc= 24。
[0030] 通过试验,本发明设定阈值T3= 18,当F-供曲线中连续段的长度l>T3时,认为 方向盘在该处有操作手存在。图2中LAB>T3,Lm>T3,表明AB段和⑶段对应的方向盘区 域均有操作手存在,此时方向盘上有两只操作手。
[0031] 静车实验:本课题进行静车实验所选用的车型为桂林佳利安中型客车。试验硬 件条件为IntelCore(TM)2DuoE45002.2GHzCPU,2G内存的PC机;软件环境为Visual Studio2008, 0penCV2. 3.1。采集视频的分辨率为720X480,程序处理一帧图像的平均时 间约为30ms,可以达到实时检测要求。第一到四行分别为一天之中10:44、17:50、08:25和 10:55四个时刻采集视频部分帧的检测结果。本文分别对采集的四段视频进行检测,检测结 果如表1所示。
[0032]表1不同时间段视频检测结果比较
[0034] 试验结果表明算法在不同时刻的检测精度均在90%以上,但在光照较强的条件下 (如10:55)漏报率和错报率会有所增加。在进行算法验证的过程中,还需要考虑算法对不 同驾驶员(驾驶员性别、身高、年龄差异)、驾驶员不同衣着、不同光照条件(白天、夜晚) 的适用性。在选择实验环境时,需要综合考虑以上因素。实验结果可以看出,程序可以准确 检测出方向盘上操作手数目和位置,针对不同光照、不同衣着下操作手的各种姿态都有较 好的检测精度。通过安装在客车或公交车上的摄像头监控驾驶员操纵方向盘行为,通过图 像处理方法检测方向盘上的操作手数目,在驾驶员违规操作方向盘时,及时提醒,以预防潜 在交通事故。本研宄克服了现有的技术存在检测效果易受驾驶员相貌差异、光照条件和物 体遮挡等环境因素影响的缺点,使检测算法能够满足实时性和准确性的要求。
[0035] 以上所述仅是对本发明的较佳实施方式而已,并非对本发明作任何形式上的限 制,凡是依据本发明的技术实质对以上实施方式所做的任何简单修改,等同变化与修饰,均 属于本发明技术方案的范围内。
【主权项】
1. 一种方向盘上操作手数目视频检测方法,其特征在于:按照以下步骤进行: 步骤1 :图像中方向盘位置确定;将摄像头安装在驾驶员前上方,方向盘与摄像头二者 的相对位置保持不变,保证摄像头采集的图像完整包含驾驶员头部和方向盘,标定方向盘 椭圆的中心和代表方向盘的椭圆环; 步骤2 :感兴趣区域的截取;在椭圆上选取一点M,以点M为中心用窗口作为感兴趣区 域截取图像; 步骤3 :方向盘上操作手检测;将感兴趣区域按顺时针方向旋转炉角度,进行归一化处 理; 步骤4 :预处理;将归一化处理后的彩色图像转换为灰度图像,然后对感兴趣区域进行 图像预处理,得到黑白图案; 步骤5 :单一感兴趣区域操作手检测;将二值化后的图像表示在二维坐标系中,将图像 向X轴方向投影,得到其η (X)-X曲线;η表示每一列中灰度值为1的像素点数,设定阈值T1=16,当X轴方向上,连续X轴坐标点上的每一列的η (X) >1\时,令L为这些连续长度中的 最大值,设定阈值T2= 20,当L>T 2时,即认为图像中有类似手形存在; 步骤6 :全方向盘搜索操作手;当一个感兴趣区域检测完成后,按照逆时针方向,以一 度为步长搜索整个方向盘区域,提取到360个大小相同的感兴趣区域,对360个感兴趣区域 逐一进行检测,得到每个感兴趣区域是否有类似手形存在。2. 按照权利要求1所述一种方向盘上操作手数目视频检测方法,其特征在于:所述步 骤2中窗口大小为30 X 60,窗口方向是感兴趣区域长边的对称中心线与X轴正方向的夹角, 即沪角。3. 按照权利要求1所述一种方向盘上操作手数目视频检测方法,其特征在于:所述步 骤3中归一化处理以M点为中心将小窗口进行旋转的,使旋转后的感兴趣区域中的方向盘 处于竖直方向。4. 按照权利要求1所述一种方向盘上操作手数目视频检测方法,其特征在于:所述步 骤4中预处理步骤为首先进行超限邻域平均,在进行直方图均衡化,最后进行二值化,得到 黑白图案。
【专利摘要】本发明公开了一种方向盘上操作手数目视频检测方法,图像中方向盘位置确定;在椭圆上选取一点M,以点M为中心用窗口作为感兴趣区域截取图像;将感兴趣区域按顺时针方向旋转角度,进行归一化处理;将归一化处理后的彩色图像转换为灰度图像,然后对感兴趣区域进行图像预处理,得到黑白图案;将二值化后的图像表示在二维坐标系中,得到其n(x)-X曲线;设定阈值T1=16,当X轴方向上,连续X轴坐标点上的每一列的n(x)>T1时,令L为这些连续长度中的最大值,设定阈值T2=20,当L>T2时,即认为图像中有类似手形存在;本发明的有益效果是通过视频方法检测车辆驾驶中司机的双手是否离开方向盘,方法简单可靠。
【IPC分类】G06K9/00
【公开号】CN104899548
【申请号】CN201510166859
【发明人】郭克友
【申请人】北京工商大学
【公开日】2015年9月9日
【申请日】2015年4月9日