一种基于单目视觉的车辆测距方法
一种基于单目视觉的车辆测距方法
【专利说明】一种基于单目视觉的车辆测距方法 所属技术领域
[0001] 本发明属于目标检测与测距领域，尤其涉及一种基于单目视觉的车辆测距方法.
【背景技术】
[0002] 随着公路交通特别是高速公路系统的发展，交通事故率也呈现上升趋势，交通安 全越来越成为人们关注的焦点。因此，研宄车辆安全辅助驾驶技术，为车辆提供安全辅助驾 驶功能，从而为减少因驾驶者主观因素造成的交通事故提供智能技术服务。计算机视觉因 其提供的信息量大、稳定性好等因素，逐渐成为车辆安全辅助驾驶技术的研宄重点，随着计 算机视觉技术的不断发展，它在智能车辆系统中的作用不断的完善，把计算机视觉技术应 用在车辆检测中，对汽车安全性的提高产生了重大的作用。
[0003] 利用单目摄像头进行运动目标（例如车辆）的检测，其发展大致经历了三个阶段： 被动学习阶段一一主动学习阶段一一自适应学习阶段。在被动学习阶段，主要是根据图像 的特点，对所有存在的对象进行拟合，比较前后帧图像的不同点之后区分所要检测的目标， 其主要算法有混合高斯模型、背景差分法、卡尔曼滤波器等。在主动学习阶段，主要是针对 特定的运动目标，研宄其固有特征，通过对特征的学习，对运动目标进行检测。目前针对运 动的车辆，常用的固有特征包括车辆底部产生的阴影、阴影的熵值、车辆边缘的对称性、车 辆像素的亮度、车辆的纹理等。在自适应学习中，运动目标的检测大致分为三个步骤：第一 步是特征提取，这里的特征主要是数学特征，现今常用的特征提取算法有HOG、Haar、SIFT、 LBT等，这一步是后面两步的基础；第二部是分类器的训练，通过输入大量正负样本，经过 训练获得识别目标数学特征的分类器，现今常用的分类器算法包括SVM、Adab〇〇st等；第三 步是运动目标检测，这一步主要是运用经过训练得到的分类器，对输入的视频图像进行运 动目标检测。
[0004] 单目视觉测距是利用一个摄像机获得的图片得出深度信息，按照测量的原理主要 分为基于几何关系的测量方法和基于数据信息的测量方法。基于几何关系的测量方法是指 利用摄像机的结构和摄像机得到的图片测得深度距离。利用计算机视觉理论与方法，在对 行车道内的前方车辆进行快速探测以及对摄像机进行预先标定的基础上，利用摄像机参数 和道路几何模型，获得前方车辆距离。上述测量的缺点是要对一幅或几幅图片进行特征点 的匹配，匹配误差对测量结果有明显的影响，同时处理时间长，对于多幅图像而言则必然需 要更多的计算时间。
[0005] 基于数据信息的测量方法是指在已知物体信息的条件下利用摄像机获得的目标 图片得到深度距离。该类方法的缺点是需要利用图像的准确信息进行测量，容易因为图像 信息的不准确而导致测量的不准确。
【发明内容】
[0006] 针对现有方法存在的不足，本发明提出一种基于单目视觉的车辆测距方法。
[0007] 本发明的技术方案是这样实现的：
[0008] -种基于单目视觉的车辆测距方法，车辆测距对象为同向行驶的前方车辆，包括 如下步骤：
[0009] 步骤1 :在车辆上安装单目摄像头，测取摄像头高度及其俯仰角，并确定摄像头焦 距参数；
[0010] 首先把单目摄像头固定在车辆前方，确定该摄像头距离地面的高度及其轴线与水 平方向的夹角，即该单目摄像头的垂直高度和俯仰角；
[0011] 步骤2 :利用所述单目摄像头采集高速公路环境下的视频图像；
[0012] 步骤3:目标车辆检测前的视频图像预处理过程；
[0013] 步骤3. 1:采用高斯滤波对视频图像进行初步去噪、滤波处理；
[0014] 步骤3. 2:对步骤3. 1初步处理后的视频图像进行目标车辆检测前的兴趣区域分 割预处理；
[0015] 步骤4:目标车辆检测过程；
[0016] 在分割后的视频图像区域内进行车辆检测，并将检测出的目标车辆实时标注于画 面上；
[0017] 步骤5:目标车辆测距过程；
[0018] 测量目标车辆距离并在视频画面上实时显示该目标车辆距离。
[0019] 所述的步骤3. 2包括如下具体步骤：
[0020] 步骤3. 2. 1:对采集的视频图像进行天空区域分割；
[0021] 对采集的视频图像采用基于颜色空间进行天空区域分割，方法具体如下：首先获 取视频图像在HIS(色调、色饱和度、亮度）、RGB(红、绿、蓝三色）、HQ(亮度、色调、饱和度） 和YCbCr(颜色亮度、蓝色和红色颜色偏移量）四种颜色空间中的直方图；然后分别在该四 种颜色空间中确定天空区域的各个颜色分量的分布范围，计算和比较所确定的四组分布范 围数据的方差和极值，选取其中方差和极值最小也即各个分量分布最集中的YCbCr色彩空 间作为天空域分割的色彩空间；最后对视频图像进行二值化处理，确定天空的联通区域并 计算其面积，并采用Otsu自适应阈值法，自动调整分割阈值，将天空部分从图像中去除；
[0022] 步骤3. 2. 2 :对天空区域分割后的视频图像，采用最小误差阈值分割法检测车道 线，即最靠近图像边缘的道路边沿线，并对检测出的车道线建立二维直线方程，并以此方程 为基础去除边缘线之外的区域，进一步减小车辆检测区域面积；
[0023] 所述的步骤4包括如下具体步骤：
[0024] 步骤4. 1:采集正负样本图像（正样本是指车辆后部图片，负样本是指其它任意图 片，但不能包含车辆后部），对所有的正负样本图片进行归一化处理为同样大小；
[0025] 步骤4. 2:在Haar特征中增加车尾特征和车后轮特征，并根据该Haar特征，采用 Adaboost算法训练正负样本集，获得级联分类器；
[0026] 步骤4.3:利用获得的级联分类器，对单目摄像头采集的视频图像进行目标车辆 检测，并将检测出的目标车辆实时标注于画面上；
[0027] 所述的步骤4. 3中的目标车辆检测过程中，利用多尺度窗口方法（multiscale approach)对单目摄像头采集的视频图像进行扫描检测；
[0028] 所述的步骤5中测量目标车辆距离的方法如下：
[0029] 若目标车辆距离在30米以内，则根据小孔成像原理建立摄像机投影模型，把世界 坐标系投影到图像坐标系中，通过两坐标系之间对应的关系来建立车辆测距几何关系模 型，求取前方目标车辆距离；若目标车辆距离大于30米，则先通过数据拟合方法获取实际 道路样本点与像平面之间的映射关系，并根据该映射关系求取前方目标车辆距离。
[0030] 本发明的优点是：本发明的基于单目视觉的车辆测距方法的适用环境为高速公 路，该方法首先对安装在车辆上的单目摄像头进行必要参数的获取，然后采用高斯滤波对 该摄像机采集的视频图像进行初步处理后，再对视频图像进行预处理：首先是采用基于色 彩空间的天空区域分割方法，通过自适应的调整阈值的方法找到合理的分割阈值，分辨出 天空区域，减少了图像的扫描面积；接下来对车道域进行分割，进一步减少了图像的扫描面 积；在目标车辆检测的过程中采用的是增加了车轮特征和车尾特征的Haar特征，有效提高 了目标车辆识别的准确度；在目标车辆检测（识别）的过程中，采用多尺度窗口方法对单目 摄像头采集的视频图像进行扫描检测，也会显著提高目标车辆检测速度。在目标车辆距离 测量中，在近距离范围内（30米以内）采用基于小孔成像的测距方法；在长距离的范围上 (大于30米），采用数据拟合（线性差值）的测距方法，降低了误差率，可以达到实时测距 的效果。而且，本发明的方法只采用一个摄像头采集视频，设备简单。因此，本发明的方法 具有检测速度快，准确率高，实时性较强且成本低的优点。
【附图说明】
[0031]图1为本发明一种实施方式的基于单目视觉的车辆测距方法流程图；
[0032] 图2为本发明一种实施方式的Haar特征集合图；
[0033] 图3为本发明一种实施方式的Adaboost训练流程图；
[0034] 图4 为本发明一种实施方式的多尺度窗口方法扫描过程示意图；
[0035] 图5为本发明一种实施方式的小孔成像原理示意图；
[0036] 图6为本发明一种实施方式的小孔成像中待测点偏离中心时的示意图。
【具体实施方式】
[0037] 下面结合附图和【具体实施方式】对本发明作进一步详细说明。
[0038] 图1为本实施方式的基于单目视觉的车辆测距方法流程图，该方法包括如下具体 步骤：
[0039] 步骤1 :在车辆上安装单目摄像头，测取摄像头高度，获知摄像头焦距参数；
[0040] 首先把单目摄像头固定在车辆前方，确定该摄像头距离地面的高度及其其轴线与 水平方向的夹角，即该单目摄像头的垂直高度和俯仰角；
[0041] 步骤2:利用所述单目摄像头采集高速公路环境下的视频图像；
[0042] 步骤3:目标车辆检测前的视频图像预处理过程；
[0043] 步骤3. 1:采用高斯滤波对视频图像进行初步去噪、滤波处理；
[0044] 步骤3. 2:对步骤3. 1初步处理后的视频图像进行目标车辆检测前的兴趣区域分 割预处理，以减少需处理区域，提高目标车辆检测速度；
[0045] 步骤3. 2. 1 :对采集的视频图像进行天空区域分割；
[0046] 采用基于颜色空间进行天空区域分割的方法，具体如下：首先获取视频图像在 HIS(色调、色饱和度、亮度）、RGB(红、绿、蓝三色）、HQ(亮度、色调、饱和度）和YCbCr(颜色 亮度、蓝色和红色颜色偏移量）四种颜色空间中的直方图；然后分别在该四种颜色空间中 确定天空区域的各个颜色分量的分布范围，计算和比较所确定的四组分布范围数据的方差 和极值，选取其中方差和极值最小也即各个分量分布最集中的YCbCr色彩空间作为天空域 分割的色彩空间，实验发现，对于YCbCr色彩空间，Y和Cr分布较集中，能够较好的辨认出天 空的分布区域，且对整幅图像的影响较小，因此采用YCbCr颜色空间作为去除天空的色彩 空间；最后对视频图像进行二值化处理，确定天空的联通区域并计算其面积，并采用Otsu 自适应阈值法，自动调整分割阈值，将天空部分从图像中去除；本实施方式是为了去除光照 等不良因素对天空域分割过程中色彩分布区域的不良影响，采用Otsu自适应阈值法自动 适当调整阈值从而提高天空分割的准确性；
[0047] 公式（1)为实验中对天空区域的处理函数，F(x，y)为图像的灰度值。当天空区域 满足公式（1)中的色彩元素范围时，把天空区域的灰度值设置为255,去除天空区域。
[0049] 为了排除图片中可能存在的与天空颜色一致的干扰项（如车的颜色、建筑等），只 有当联通区域的面积大于图像的1/10时，碎丁才会被去除掉，这样在很大程度上排除了干 扰因素。当天空区域的图像检测出来之后，会进行相应的裁剪处理，用于后续的车辆检测处 理。
[0050] 由于天空的像素范围易受到光照等不良因素的影响，通过图像的直方图分布可以 发现，天空的颜色范围是是服从高斯正态分布的，如果能够找到合适的阈值，将图像分为天 空和非天空部分的话，那么就可以很好的解决光线等问题的影响了.
[0051] 根据otsu自适应阈值法，用阈值It作为二值化的分界点，大于It的归为一类，小 于步的归为另一类，设两类的均值分别SvJPv2，两类的分布概率分别为uJPu2。
[0052] a2=u#2(VfvJ2 (2)
[0053] 通过调整阈值！D的大小，让方差a2取得最大值，这时候的！D可以作为天空区域 分割的阈值。
[0054] 本实施方式采用自适应分割算法，对于处理光照不理想的天空来说，效果较为理 想。
[0055] 步骤3. 2. 2 :对天空区域分割后的视频图像，采用最小误差阈值分割法检测车道 线，即最靠近图像边缘的道路边沿线，并对检测出的车道线建立二维直线方程，并以此方程 为基础去除边缘线之外的区域，进一步减小车辆检测区域面积；经过天空区域分割和车道 域分割过程这两次分割可以去除大部分无关区域、缩小车辆检测中所要处理的图像区域， 从而提高车辆检测的速度。
[0056] 本实施方式是采用最小误差阈值分割法检测车道线，并以此来确定道路区域和非 道路区域。将每帧图片中的无关区域去除掉，只保留道路部分。最小误差阈值分割算法具 有良好的抗噪性，检测效果理想。相比于二维最小误差阈值分割算法，一维最小误差算法的 计算量更小，可以大大缩短处理时间，并且可以满足针对目标车辆识别（检测）的图像前期 处理的要求。
[0057] 具体过程如下：
[0058] 对于一幅大小为MXN的图像，设坐标为（x，y)的像素点的灰度值为h(x，y)GG =[0，1，…，255]。用函数f(g)表示图像的一维直方图，它代表了图像中每个灰度值出现 的频数，对于灰度阈值mGG= [0, 1，…，255]，最小分类误差的函数为
[0059]Z(m) = 1+2 [P0 (m)In0 0 (m) +P: (m)In0 : (m) ] -2 [P0 (m)lnP0 (m) +P: (m)lnPi(m)] (3)
[0060] 其中，
为两个子分布的先验概率；
为两个子分布的均值
1为两个 子分布的方差；最佳灰度阈值f为使Z(m)取最小值的阈值，这时有^二arg(minZ(m)) (0 <m< 255);因此可以得到最小误差阈值分割之后的像元的归类方式为：
[0062] 其中，只x,_y)为最小误差阈值分割之后的像元；h(x，y)为最小误差阈值分割之前 的像元。
[0063] 实验证明，最小误差阈值分割法能够很好的将车道线检测出来。通过建立二维平 面内的车道线方程可以将车道与非车道分离开来，可以去掉大量的无关区域，从而可以降 低车辆检测过程的工作量。
[0064] 步骤4:目标车辆检测过程；
[0065] 在分割后的视频图像区域内进行车辆检测，并将检测出的目标车辆实时标注于画 面上；
[0066] 步骤4. 1 :采集正负样本图像；其中正样本是指车辆后部图片，负样本是指其它任 意图片，但不能包含车辆后部，对所有的正负样本图片都进行归一化处理，本实施方式是将 所有图片都归一化为20*20。
[0067]步骤4. 2:在Haar特征中增加车尾特征和车轮特征，并根据修改后的Haar特征， 采用Adaboost算法训练正负样本集，获得级联分类器。
[0068] 根据特征模板的特征值定义，白色矩形像素和减去黑色矩形像素和，由于积分图 具有计算速度快且计算值只与边缘有关的特点，所以，本文采用积分图计算Haar特征值。
[0069] 本实施方式在原有Haar特征的基础上，增加了车轮特征和车尾特征如图2所示。 可以提高目标车辆检测的准确率。Haar特征的计算方法是白色矩形像素和减去黑色矩形像 素和，由于积分图具有计算速度快且计算值只与边缘有关的特点，所以，本文采用积分图计 算Haar特征值以提高计算速度。
[0070] 本实施方式进一步根据Haar特征，利用Adaboost算法对正负样本进行训练，得到 级联分类器。训练流程图如图3所示，级联分类器由多个弱分类器组成，每一级都比前一级 复杂。每个分类器可以让几乎所有的正例通过，同时滤除大部分负例。这样每一级的待检 测正例就比前一级少，排除了大量的非检测目标，可大大提高检测速度。
[0071] 步骤4.3 :利用获得的级联分类器，对单目摄像头采集的视频图像进行检测，并且 在检测过程中，利用多尺度窗口方法（multiscaleapproach)进行扫描；
[0072] 为了减少在计算矩形特征时花费的时间，本实施方式采用了多尺度窗口方法进行 扫描，即用不同大小的子窗口分别对图像进行分区检测，并同时计算不同区域的Haar特 征，扫描示意图如图4所示，根据车辆检测的特点，利用车辆在不同距离时车尾大小不同的 特点，将图像分为四个区域， 并用四个不同大小的子窗口对图像进行分区检测，且同时计算 四个子窗口的Haar特征。
[0073] 步骤5:测量目标车辆距离并在视频画面上实时显示该目标车辆距离。
[0074] 若目标车辆距离在30米以内，则根据小孔成像原理建立摄像机投影模型，把世界 坐标系投影到图像坐标系中，通过两坐标系之间对应的关系来建立车辆测距几何关系模 型，求取前方目标车辆距离；根据小孔成像原理，将世界坐标系中的物体经过小孔投影到图 像坐标系中，如图5所示，平面bchq为世界坐标系所对应的现实影像，平面BCHQ为图像坐 标系所对应的投影影像，在平面bchq中hq边与be边延伸交点为s，同时s点也为道路延长 线的交点，路面实际被观察到的为梯形bchq。M点所代表的是凸透镜所形成的小孔。
[0075] 如果不考虑摄像头畸变的影响，光轴Ii在两个对应平面的交点都是两个平面的 中心位置，如图5所示的I，i两点。
[0076] 如图5所示，在世界坐标系里取点t，经过点M的投影，得到在图像坐标系里的点 T。可以发现AMIT的ZTMI与Z%是相等的，而线段MI为摄像机中透镜的焦距f，所以 有tana2=TI/f，图5中丽为水平线，Za1为光轴与水平线所成的俯仰角，摄像头安装 的高度为S=丽，所观察的点t到光心的距离为S=Wi，有：
[0078] 从而可以求得距离公式：
[0080] 如图6所示，当待测点偏离中心位置的时候，需要计算一个偏离中心的横向距离 名，那么所测得的实际距离为
[0081]为了求取(12点，选取bi点为测试点，bi点在图像坐标系的投影点为B1;与边缘平 行且与中心线相交的另外一个测试点为％，相应的投影到图像坐标系的交点为A1;由投影 原理和垂直平面的存在，可以知道Z嫩化和^Ma^均为90°，由于还存在一对对顶角，所 以AMA&和AMa^是相似的。根据相似三角形对应边成比例的准则，得到下式：
[0083]对于APi，在图像坐标系里，设横坐标像素与纵坐标像素间的距离分别为4和dy， 贝1JA&间的实际距离则为，其中$代表AA的像素差值。
[0084] 同理对于MAi，根据像素与实际距离之间的关系可以推得到其表达式为：
[0086] 其中:i7表示的是41的像素差值。
[0087] 对于Mai，由于通过图5已经求得了屯，即图中的Wai，由图中的几何关系可知：
[0089] 即为要求的参量d2。综上所述，计算距离的公式为：
[0091] 公式（9)中，摄像机的焦距f和TI可从摄像头的规格参数中查得，安装高度h可 以测量得到，a:可以用式（5)求得。
[0092] 若目标车辆距离大于30米，则先通过数据拟合方法获取实际道路样本点与像平 面之间的映射关系，并根据该映射关系求取前方目标车辆距离。对于一架规格确定的垂直 于地面安放的摄像机，当其俯仰角确定时它所能探测到的前方道路的距离范围是一定的， 图像域上各点对应的世界坐标系中的位置坐标也是一定的，所以只要找到图像坐标系和世 界坐标系之间的位置对应关系便可以在实际测距中通过这一关系求取前方车辆距离。这种 方法有效克服了实际成像中存在的透镜畸变等光路误差造成的不良影响，以及摄像机放置 方式、路面情况、道路类型（直道或结构化道路）等问题。
[0093] 两坐标系的关系拟合需要通过实验获取数据来实现。实验中获得的数据构成的是 离散的点，本实施方式是采用三次样条插值的方法构造两坐标系的关系。
【主权项】
1. 一种基于单目视觉的车辆测距方法，车辆测距对象为同向行驶的前方车辆，其特征 在于：包括如下步骤： 步骤1:在车辆上安装单目摄像头，测取摄像头高度及其俯仰角，并确定摄像头焦距参 数； 首先把单目摄像头固定在车辆前方，确定该摄像头距离地面的高度及其轴线与水平方 向的夹角，即该单目摄像头的垂直高度和俯仰角； 步骤2 :利用所述单目摄像头采集高速公路环境下的视频图像； 步骤3 :目标车辆检测前的视频图像预处理过程； 步骤3. 1 :采用高斯滤波对视频图像进行初步去噪、滤波处理； 步骤3. 2 :对步骤3. 1初步处理后的视频图像进行目标车辆检测前的兴趣区域分割预 处理； 步骤4:目标车辆检测过程； 在分割后的视频图像区域内进行车辆检测，并将检测出的目标车辆实时标注于画面 上； 步骤5:目标车辆测距过程； 测量目标车辆距离并在视频画面上实时显示该目标车辆距离。2. 根据权利要求1所述的基于单目视觉的车辆测距方法，其特征在于：所述的步骤3. 2 包括如下具体步骤： 步骤3. 2. 1 :对采集的视频图像进行天空区域分割； 步骤3. 2. 2 :对天空区域分割后的视频图像，采用最小误差阈值分割法检测车道线，即 最靠近图像边缘的道路边沿线，并对检测出的车道线建立二维直线方程，并以此方程为基 础去除边缘线之外的区域，进一步减小车辆检测区域面积。3. 根据权利要求1所述的基于单目视觉的车辆测距方法，其特征在于：所述的步骤4 包括如下具体步骤： 步骤4. 1 :采集正负样本图像，对所有的正负样本图片进行归一化处理为同样大小；其 中正样本是指车辆后部图片，负样本是指其它任意图片，但不能包含车辆后部； 步骤4. 2 :在Haar特征中增加车尾特征和车后轮特征，并根据该Haar特征，采用Adaboost算法训练正负样本集，获得级联分类器； 步骤4. 3 :利用获得的级联分类器，对单目摄像头采集的视频图像进行目标车辆检测， 并将检测出的目标车辆实时标注于画面上。4. 根据权利要求2所述的基于单目视觉的车辆测距方法，其特征在于：所述的步骤 3. 2. 1中对采集的视频图像采用基于颜色空间进行天空区域分割，方法具体如下：首先获 取视频图像在HIS、RGB、YIQ和YCbCr四种颜色空间中的直方图；然后分别在该四种颜色空 间中确定天空区域的各个颜色分量的分布范围，计算和比较所确定的四组分布范围数据的 方差和极值，选取其中方差和极值最小也即各个分量分布最集中的YCbCr色彩空间作为天 空域分割的色彩空间；最后对视频图像进行二值化处理，确定天空的联通区域并计算其面 积，并采用Otsu自适应阈值法，自动调整分割阈值，将天空部分从图像中去除。5. 根据权利要求3所述的基于单目视觉的车辆测距方法，其特征在于：所述的步骤4. 3 中的目标车辆检测过程中，利用多尺度窗口方法对单目摄像头采集的视频图像进行扫描检 测。6.根据权利要求1所述的基于单目视觉的车辆测距方法，其特征在于：所述的步骤5 中测量目标车辆距离的方法如下： 若目标车辆距离在30米以内，则根据小孔成像原理建立摄像机投影模型，把世界坐标 系投影到图像坐标系中，通过两坐标系之间对应的关系来建立车辆测距几何关系模型，求 取前方目标车辆距离；若目标车辆距离大于30米，则先通过数据拟合方法获取实际道路样 本点与像平面之间的映射关系，并根据该映射关系求取前方目标车辆距离。
【专利摘要】本发明公开了一种基于单目视觉的车辆测距方法，属于目标检测与测距领域。在车辆上安装单目摄像头，测取摄像头高度及其俯仰角，并确定摄像头焦距参数；采集高速公路环境下的视频图像；采用高斯滤波对视频图像进行初步去噪、滤波处理；对视频图像进行目标车辆检测前的兴趣区域分割预处理；在分割后的视频图像区域内进行车辆检测，目标车辆检测的过程中采用的是增加了车轮特征和车尾特征的Haar特征，有效提高了目标车辆识别的准确度；测量目标车辆距离，在近距离范围内采用基于小孔成像的测距方法；在长距离的范围上，采用数据拟合的测距方法，降低了误差率，可以达到实时测距的效果。本发明具有检测速度快，准确率高，实时性较强且成本低的优点。
【IPC分类】G06K9/00, G01C3/00, G06K9/62, G06T7/20
【公开号】CN104899554
【申请号】CN201510229988
【发明人】张云洲, 孙鹏飞, 李继凡, 孟蕾
【申请人】东北大学
【公开日】2015年9月9日
【申请日】2015年5月7日
【专利说明】一种基于单目视觉的车辆测距方法 所属技术领域
[0001] 本发明属于目标检测与测距领域，尤其涉及一种基于单目视觉的车辆测距方法.
【背景技术】
[0002] 随着公路交通特别是高速公路系统的发展，交通事故率也呈现上升趋势，交通安 全越来越成为人们关注的焦点。因此，研宄车辆安全辅助驾驶技术，为车辆提供安全辅助驾 驶功能，从而为减少因驾驶者主观因素造成的交通事故提供智能技术服务。计算机视觉因 其提供的信息量大、稳定性好等因素，逐渐成为车辆安全辅助驾驶技术的研宄重点，随着计 算机视觉技术的不断发展，它在智能车辆系统中的作用不断的完善，把计算机视觉技术应 用在车辆检测中，对汽车安全性的提高产生了重大的作用。
[0003] 利用单目摄像头进行运动目标（例如车辆）的检测，其发展大致经历了三个阶段： 被动学习阶段一一主动学习阶段一一自适应学习阶段。在被动学习阶段，主要是根据图像 的特点，对所有存在的对象进行拟合，比较前后帧图像的不同点之后区分所要检测的目标， 其主要算法有混合高斯模型、背景差分法、卡尔曼滤波器等。在主动学习阶段，主要是针对 特定的运动目标，研宄其固有特征，通过对特征的学习，对运动目标进行检测。目前针对运 动的车辆，常用的固有特征包括车辆底部产生的阴影、阴影的熵值、车辆边缘的对称性、车 辆像素的亮度、车辆的纹理等。在自适应学习中，运动目标的检测大致分为三个步骤：第一 步是特征提取，这里的特征主要是数学特征，现今常用的特征提取算法有HOG、Haar、SIFT、 LBT等，这一步是后面两步的基础；第二部是分类器的训练，通过输入大量正负样本，经过 训练获得识别目标数学特征的分类器，现今常用的分类器算法包括SVM、Adab〇〇st等；第三 步是运动目标检测，这一步主要是运用经过训练得到的分类器，对输入的视频图像进行运 动目标检测。
[0004] 单目视觉测距是利用一个摄像机获得的图片得出深度信息，按照测量的原理主要 分为基于几何关系的测量方法和基于数据信息的测量方法。基于几何关系的测量方法是指 利用摄像机的结构和摄像机得到的图片测得深度距离。利用计算机视觉理论与方法，在对 行车道内的前方车辆进行快速探测以及对摄像机进行预先标定的基础上，利用摄像机参数 和道路几何模型，获得前方车辆距离。上述测量的缺点是要对一幅或几幅图片进行特征点 的匹配，匹配误差对测量结果有明显的影响，同时处理时间长，对于多幅图像而言则必然需 要更多的计算时间。
[0005] 基于数据信息的测量方法是指在已知物体信息的条件下利用摄像机获得的目标 图片得到深度距离。该类方法的缺点是需要利用图像的准确信息进行测量，容易因为图像 信息的不准确而导致测量的不准确。
【发明内容】
[0006] 针对现有方法存在的不足，本发明提出一种基于单目视觉的车辆测距方法。
[0007] 本发明的技术方案是这样实现的：
[0008] -种基于单目视觉的车辆测距方法，车辆测距对象为同向行驶的前方车辆，包括 如下步骤：
[0009] 步骤1 :在车辆上安装单目摄像头，测取摄像头高度及其俯仰角，并确定摄像头焦 距参数；
[0010] 首先把单目摄像头固定在车辆前方，确定该摄像头距离地面的高度及其轴线与水 平方向的夹角，即该单目摄像头的垂直高度和俯仰角；
[0011] 步骤2 :利用所述单目摄像头采集高速公路环境下的视频图像；
[0012] 步骤3:目标车辆检测前的视频图像预处理过程；
[0013] 步骤3. 1:采用高斯滤波对视频图像进行初步去噪、滤波处理；
[0014] 步骤3. 2:对步骤3. 1初步处理后的视频图像进行目标车辆检测前的兴趣区域分 割预处理；
[0015] 步骤4:目标车辆检测过程；
[0016] 在分割后的视频图像区域内进行车辆检测，并将检测出的目标车辆实时标注于画 面上；
[0017] 步骤5:目标车辆测距过程；
[0018] 测量目标车辆距离并在视频画面上实时显示该目标车辆距离。
[0019] 所述的步骤3. 2包括如下具体步骤：
[0020] 步骤3. 2. 1:对采集的视频图像进行天空区域分割；
[0021] 对采集的视频图像采用基于颜色空间进行天空区域分割，方法具体如下：首先获 取视频图像在HIS(色调、色饱和度、亮度）、RGB(红、绿、蓝三色）、HQ(亮度、色调、饱和度） 和YCbCr(颜色亮度、蓝色和红色颜色偏移量）四种颜色空间中的直方图；然后分别在该四 种颜色空间中确定天空区域的各个颜色分量的分布范围，计算和比较所确定的四组分布范 围数据的方差和极值，选取其中方差和极值最小也即各个分量分布最集中的YCbCr色彩空 间作为天空域分割的色彩空间；最后对视频图像进行二值化处理，确定天空的联通区域并 计算其面积，并采用Otsu自适应阈值法，自动调整分割阈值，将天空部分从图像中去除；
[0022] 步骤3. 2. 2 :对天空区域分割后的视频图像，采用最小误差阈值分割法检测车道 线，即最靠近图像边缘的道路边沿线，并对检测出的车道线建立二维直线方程，并以此方程 为基础去除边缘线之外的区域，进一步减小车辆检测区域面积；
[0023] 所述的步骤4包括如下具体步骤：
[0024] 步骤4. 1:采集正负样本图像（正样本是指车辆后部图片，负样本是指其它任意图 片，但不能包含车辆后部），对所有的正负样本图片进行归一化处理为同样大小；
[0025] 步骤4. 2:在Haar特征中增加车尾特征和车后轮特征，并根据该Haar特征，采用 Adaboost算法训练正负样本集，获得级联分类器；
[0026] 步骤4.3:利用获得的级联分类器，对单目摄像头采集的视频图像进行目标车辆 检测，并将检测出的目标车辆实时标注于画面上；
[0027] 所述的步骤4. 3中的目标车辆检测过程中，利用多尺度窗口方法（multiscale approach)对单目摄像头采集的视频图像进行扫描检测；
[0028] 所述的步骤5中测量目标车辆距离的方法如下：
[0029] 若目标车辆距离在30米以内，则根据小孔成像原理建立摄像机投影模型，把世界 坐标系投影到图像坐标系中，通过两坐标系之间对应的关系来建立车辆测距几何关系模 型，求取前方目标车辆距离；若目标车辆距离大于30米，则先通过数据拟合方法获取实际 道路样本点与像平面之间的映射关系，并根据该映射关系求取前方目标车辆距离。
[0030] 本发明的优点是：本发明的基于单目视觉的车辆测距方法的适用环境为高速公 路，该方法首先对安装在车辆上的单目摄像头进行必要参数的获取，然后采用高斯滤波对 该摄像机采集的视频图像进行初步处理后，再对视频图像进行预处理：首先是采用基于色 彩空间的天空区域分割方法，通过自适应的调整阈值的方法找到合理的分割阈值，分辨出 天空区域，减少了图像的扫描面积；接下来对车道域进行分割，进一步减少了图像的扫描面 积；在目标车辆检测的过程中采用的是增加了车轮特征和车尾特征的Haar特征，有效提高 了目标车辆识别的准确度；在目标车辆检测（识别）的过程中，采用多尺度窗口方法对单目 摄像头采集的视频图像进行扫描检测，也会显著提高目标车辆检测速度。在目标车辆距离 测量中，在近距离范围内（30米以内）采用基于小孔成像的测距方法；在长距离的范围上 (大于30米），采用数据拟合（线性差值）的测距方法，降低了误差率，可以达到实时测距 的效果。而且，本发明的方法只采用一个摄像头采集视频，设备简单。因此，本发明的方法 具有检测速度快，准确率高，实时性较强且成本低的优点。
【附图说明】
[0031]图1为本发明一种实施方式的基于单目视觉的车辆测距方法流程图；
[0032] 图2为本发明一种实施方式的Haar特征集合图；
[0033] 图3为本发明一种实施方式的Adaboost训练流程图；
[0034] 图4 为本发明一种实施方式的多尺度窗口方法扫描过程示意图；
[0035] 图5为本发明一种实施方式的小孔成像原理示意图；
[0036] 图6为本发明一种实施方式的小孔成像中待测点偏离中心时的示意图。
【具体实施方式】
[0037] 下面结合附图和【具体实施方式】对本发明作进一步详细说明。
[0038] 图1为本实施方式的基于单目视觉的车辆测距方法流程图，该方法包括如下具体 步骤：
[0039] 步骤1 :在车辆上安装单目摄像头，测取摄像头高度，获知摄像头焦距参数；
[0040] 首先把单目摄像头固定在车辆前方，确定该摄像头距离地面的高度及其其轴线与 水平方向的夹角，即该单目摄像头的垂直高度和俯仰角；
[0041] 步骤2:利用所述单目摄像头采集高速公路环境下的视频图像；
[0042] 步骤3:目标车辆检测前的视频图像预处理过程；
[0043] 步骤3. 1:采用高斯滤波对视频图像进行初步去噪、滤波处理；
[0044] 步骤3. 2:对步骤3. 1初步处理后的视频图像进行目标车辆检测前的兴趣区域分 割预处理，以减少需处理区域，提高目标车辆检测速度；
[0045] 步骤3. 2. 1 :对采集的视频图像进行天空区域分割；
[0046] 采用基于颜色空间进行天空区域分割的方法，具体如下：首先获取视频图像在 HIS(色调、色饱和度、亮度）、RGB(红、绿、蓝三色）、HQ(亮度、色调、饱和度）和YCbCr(颜色 亮度、蓝色和红色颜色偏移量）四种颜色空间中的直方图；然后分别在该四种颜色空间中 确定天空区域的各个颜色分量的分布范围，计算和比较所确定的四组分布范围数据的方差 和极值，选取其中方差和极值最小也即各个分量分布最集中的YCbCr色彩空间作为天空域 分割的色彩空间，实验发现，对于YCbCr色彩空间，Y和Cr分布较集中，能够较好的辨认出天 空的分布区域，且对整幅图像的影响较小，因此采用YCbCr颜色空间作为去除天空的色彩 空间；最后对视频图像进行二值化处理，确定天空的联通区域并计算其面积，并采用Otsu 自适应阈值法，自动调整分割阈值，将天空部分从图像中去除；本实施方式是为了去除光照 等不良因素对天空域分割过程中色彩分布区域的不良影响，采用Otsu自适应阈值法自动 适当调整阈值从而提高天空分割的准确性；
[0047] 公式（1)为实验中对天空区域的处理函数，F(x，y)为图像的灰度值。当天空区域 满足公式（1)中的色彩元素范围时，把天空区域的灰度值设置为255,去除天空区域。
[0049] 为了排除图片中可能存在的与天空颜色一致的干扰项（如车的颜色、建筑等），只 有当联通区域的面积大于图像的1/10时，碎丁才会被去除掉，这样在很大程度上排除了干 扰因素。当天空区域的图像检测出来之后，会进行相应的裁剪处理，用于后续的车辆检测处 理。
[0050] 由于天空的像素范围易受到光照等不良因素的影响，通过图像的直方图分布可以 发现，天空的颜色范围是是服从高斯正态分布的，如果能够找到合适的阈值，将图像分为天 空和非天空部分的话，那么就可以很好的解决光线等问题的影响了.
[0051] 根据otsu自适应阈值法，用阈值It作为二值化的分界点，大于It的归为一类，小 于步的归为另一类，设两类的均值分别SvJPv2，两类的分布概率分别为uJPu2。
[0052] a2=u#2(VfvJ2 (2)
[0053] 通过调整阈值！D的大小，让方差a2取得最大值，这时候的！D可以作为天空区域 分割的阈值。
[0054] 本实施方式采用自适应分割算法，对于处理光照不理想的天空来说，效果较为理 想。
[0055] 步骤3. 2. 2 :对天空区域分割后的视频图像，采用最小误差阈值分割法检测车道 线，即最靠近图像边缘的道路边沿线，并对检测出的车道线建立二维直线方程，并以此方程 为基础去除边缘线之外的区域，进一步减小车辆检测区域面积；经过天空区域分割和车道 域分割过程这两次分割可以去除大部分无关区域、缩小车辆检测中所要处理的图像区域， 从而提高车辆检测的速度。
[0056] 本实施方式是采用最小误差阈值分割法检测车道线，并以此来确定道路区域和非 道路区域。将每帧图片中的无关区域去除掉，只保留道路部分。最小误差阈值分割算法具 有良好的抗噪性，检测效果理想。相比于二维最小误差阈值分割算法，一维最小误差算法的 计算量更小，可以大大缩短处理时间，并且可以满足针对目标车辆识别（检测）的图像前期 处理的要求。
[0057] 具体过程如下：
[0058] 对于一幅大小为MXN的图像，设坐标为（x，y)的像素点的灰度值为h(x，y)GG =[0，1，…，255]。用函数f(g)表示图像的一维直方图，它代表了图像中每个灰度值出现 的频数，对于灰度阈值mGG= [0, 1，…，255]，最小分类误差的函数为
[0059]Z(m) = 1+2 [P0 (m)In0 0 (m) +P: (m)In0 : (m) ] -2 [P0 (m)lnP0 (m) +P: (m)lnPi(m)] (3)
[0060] 其中，
为两个子分布的先验概率；
为两个子分布的均值
1为两个 子分布的方差；最佳灰度阈值f为使Z(m)取最小值的阈值，这时有^二arg(minZ(m)) (0 <m< 255);因此可以得到最小误差阈值分割之后的像元的归类方式为：
[0062] 其中，只x,_y)为最小误差阈值分割之后的像元；h(x，y)为最小误差阈值分割之前 的像元。
[0063] 实验证明，最小误差阈值分割法能够很好的将车道线检测出来。通过建立二维平 面内的车道线方程可以将车道与非车道分离开来，可以去掉大量的无关区域，从而可以降 低车辆检测过程的工作量。
[0064] 步骤4:目标车辆检测过程；
[0065] 在分割后的视频图像区域内进行车辆检测，并将检测出的目标车辆实时标注于画 面上；
[0066] 步骤4. 1 :采集正负样本图像；其中正样本是指车辆后部图片，负样本是指其它任 意图片，但不能包含车辆后部，对所有的正负样本图片都进行归一化处理，本实施方式是将 所有图片都归一化为20*20。
[0067]步骤4. 2:在Haar特征中增加车尾特征和车轮特征，并根据修改后的Haar特征， 采用Adaboost算法训练正负样本集，获得级联分类器。
[0068] 根据特征模板的特征值定义，白色矩形像素和减去黑色矩形像素和，由于积分图 具有计算速度快且计算值只与边缘有关的特点，所以，本文采用积分图计算Haar特征值。
[0069] 本实施方式在原有Haar特征的基础上，增加了车轮特征和车尾特征如图2所示。 可以提高目标车辆检测的准确率。Haar特征的计算方法是白色矩形像素和减去黑色矩形像 素和，由于积分图具有计算速度快且计算值只与边缘有关的特点，所以，本文采用积分图计 算Haar特征值以提高计算速度。
[0070] 本实施方式进一步根据Haar特征，利用Adaboost算法对正负样本进行训练，得到 级联分类器。训练流程图如图3所示，级联分类器由多个弱分类器组成，每一级都比前一级 复杂。每个分类器可以让几乎所有的正例通过，同时滤除大部分负例。这样每一级的待检 测正例就比前一级少，排除了大量的非检测目标，可大大提高检测速度。
[0071] 步骤4.3 :利用获得的级联分类器，对单目摄像头采集的视频图像进行检测，并且 在检测过程中，利用多尺度窗口方法（multiscaleapproach)进行扫描；
[0072] 为了减少在计算矩形特征时花费的时间，本实施方式采用了多尺度窗口方法进行 扫描，即用不同大小的子窗口分别对图像进行分区检测，并同时计算不同区域的Haar特 征，扫描示意图如图4所示，根据车辆检测的特点，利用车辆在不同距离时车尾大小不同的 特点，将图像分为四个区域， 并用四个不同大小的子窗口对图像进行分区检测，且同时计算 四个子窗口的Haar特征。
[0073] 步骤5:测量目标车辆距离并在视频画面上实时显示该目标车辆距离。
[0074] 若目标车辆距离在30米以内，则根据小孔成像原理建立摄像机投影模型，把世界 坐标系投影到图像坐标系中，通过两坐标系之间对应的关系来建立车辆测距几何关系模 型，求取前方目标车辆距离；根据小孔成像原理，将世界坐标系中的物体经过小孔投影到图 像坐标系中，如图5所示，平面bchq为世界坐标系所对应的现实影像，平面BCHQ为图像坐 标系所对应的投影影像，在平面bchq中hq边与be边延伸交点为s，同时s点也为道路延长 线的交点，路面实际被观察到的为梯形bchq。M点所代表的是凸透镜所形成的小孔。
[0075] 如果不考虑摄像头畸变的影响，光轴Ii在两个对应平面的交点都是两个平面的 中心位置，如图5所示的I，i两点。
[0076] 如图5所示，在世界坐标系里取点t，经过点M的投影，得到在图像坐标系里的点 T。可以发现AMIT的ZTMI与Z%是相等的，而线段MI为摄像机中透镜的焦距f，所以 有tana2=TI/f，图5中丽为水平线，Za1为光轴与水平线所成的俯仰角，摄像头安装 的高度为S=丽，所观察的点t到光心的距离为S=Wi，有：
[0078] 从而可以求得距离公式：
[0080] 如图6所示，当待测点偏离中心位置的时候，需要计算一个偏离中心的横向距离 名，那么所测得的实际距离为
[0081]为了求取(12点，选取bi点为测试点，bi点在图像坐标系的投影点为B1;与边缘平 行且与中心线相交的另外一个测试点为％，相应的投影到图像坐标系的交点为A1;由投影 原理和垂直平面的存在，可以知道Z嫩化和^Ma^均为90°，由于还存在一对对顶角，所 以AMA&和AMa^是相似的。根据相似三角形对应边成比例的准则，得到下式：
[0083]对于APi，在图像坐标系里，设横坐标像素与纵坐标像素间的距离分别为4和dy， 贝1JA&间的实际距离则为，其中$代表AA的像素差值。
[0084] 同理对于MAi，根据像素与实际距离之间的关系可以推得到其表达式为：
[0086] 其中:i7表示的是41的像素差值。
[0087] 对于Mai，由于通过图5已经求得了屯，即图中的Wai，由图中的几何关系可知：
[0089] 即为要求的参量d2。综上所述，计算距离的公式为：
[0091] 公式（9)中，摄像机的焦距f和TI可从摄像头的规格参数中查得，安装高度h可 以测量得到，a:可以用式（5)求得。
[0092] 若目标车辆距离大于30米，则先通过数据拟合方法获取实际道路样本点与像平 面之间的映射关系，并根据该映射关系求取前方目标车辆距离。对于一架规格确定的垂直 于地面安放的摄像机，当其俯仰角确定时它所能探测到的前方道路的距离范围是一定的， 图像域上各点对应的世界坐标系中的位置坐标也是一定的，所以只要找到图像坐标系和世 界坐标系之间的位置对应关系便可以在实际测距中通过这一关系求取前方车辆距离。这种 方法有效克服了实际成像中存在的透镜畸变等光路误差造成的不良影响，以及摄像机放置 方式、路面情况、道路类型（直道或结构化道路）等问题。
[0093] 两坐标系的关系拟合需要通过实验获取数据来实现。实验中获得的数据构成的是 离散的点，本实施方式是采用三次样条插值的方法构造两坐标系的关系。
【主权项】
1. 一种基于单目视觉的车辆测距方法，车辆测距对象为同向行驶的前方车辆，其特征 在于：包括如下步骤： 步骤1:在车辆上安装单目摄像头，测取摄像头高度及其俯仰角，并确定摄像头焦距参 数； 首先把单目摄像头固定在车辆前方，确定该摄像头距离地面的高度及其轴线与水平方 向的夹角，即该单目摄像头的垂直高度和俯仰角； 步骤2 :利用所述单目摄像头采集高速公路环境下的视频图像； 步骤3 :目标车辆检测前的视频图像预处理过程； 步骤3. 1 :采用高斯滤波对视频图像进行初步去噪、滤波处理； 步骤3. 2 :对步骤3. 1初步处理后的视频图像进行目标车辆检测前的兴趣区域分割预 处理； 步骤4:目标车辆检测过程； 在分割后的视频图像区域内进行车辆检测，并将检测出的目标车辆实时标注于画面 上； 步骤5:目标车辆测距过程； 测量目标车辆距离并在视频画面上实时显示该目标车辆距离。2. 根据权利要求1所述的基于单目视觉的车辆测距方法，其特征在于：所述的步骤3. 2 包括如下具体步骤： 步骤3. 2. 1 :对采集的视频图像进行天空区域分割； 步骤3. 2. 2 :对天空区域分割后的视频图像，采用最小误差阈值分割法检测车道线，即 最靠近图像边缘的道路边沿线，并对检测出的车道线建立二维直线方程，并以此方程为基 础去除边缘线之外的区域，进一步减小车辆检测区域面积。3. 根据权利要求1所述的基于单目视觉的车辆测距方法，其特征在于：所述的步骤4 包括如下具体步骤： 步骤4. 1 :采集正负样本图像，对所有的正负样本图片进行归一化处理为同样大小；其 中正样本是指车辆后部图片，负样本是指其它任意图片，但不能包含车辆后部； 步骤4. 2 :在Haar特征中增加车尾特征和车后轮特征，并根据该Haar特征，采用Adaboost算法训练正负样本集，获得级联分类器； 步骤4. 3 :利用获得的级联分类器，对单目摄像头采集的视频图像进行目标车辆检测， 并将检测出的目标车辆实时标注于画面上。4. 根据权利要求2所述的基于单目视觉的车辆测距方法，其特征在于：所述的步骤 3. 2. 1中对采集的视频图像采用基于颜色空间进行天空区域分割，方法具体如下：首先获 取视频图像在HIS、RGB、YIQ和YCbCr四种颜色空间中的直方图；然后分别在该四种颜色空 间中确定天空区域的各个颜色分量的分布范围，计算和比较所确定的四组分布范围数据的 方差和极值，选取其中方差和极值最小也即各个分量分布最集中的YCbCr色彩空间作为天 空域分割的色彩空间；最后对视频图像进行二值化处理，确定天空的联通区域并计算其面 积，并采用Otsu自适应阈值法，自动调整分割阈值，将天空部分从图像中去除。5. 根据权利要求3所述的基于单目视觉的车辆测距方法，其特征在于：所述的步骤4. 3 中的目标车辆检测过程中，利用多尺度窗口方法对单目摄像头采集的视频图像进行扫描检 测。6.根据权利要求1所述的基于单目视觉的车辆测距方法，其特征在于：所述的步骤5 中测量目标车辆距离的方法如下： 若目标车辆距离在30米以内，则根据小孔成像原理建立摄像机投影模型，把世界坐标 系投影到图像坐标系中，通过两坐标系之间对应的关系来建立车辆测距几何关系模型，求 取前方目标车辆距离；若目标车辆距离大于30米，则先通过数据拟合方法获取实际道路样 本点与像平面之间的映射关系，并根据该映射关系求取前方目标车辆距离。
【专利摘要】本发明公开了一种基于单目视觉的车辆测距方法，属于目标检测与测距领域。在车辆上安装单目摄像头，测取摄像头高度及其俯仰角，并确定摄像头焦距参数；采集高速公路环境下的视频图像；采用高斯滤波对视频图像进行初步去噪、滤波处理；对视频图像进行目标车辆检测前的兴趣区域分割预处理；在分割后的视频图像区域内进行车辆检测，目标车辆检测的过程中采用的是增加了车轮特征和车尾特征的Haar特征，有效提高了目标车辆识别的准确度；测量目标车辆距离，在近距离范围内采用基于小孔成像的测距方法；在长距离的范围上，采用数据拟合的测距方法，降低了误差率，可以达到实时测距的效果。本发明具有检测速度快，准确率高，实时性较强且成本低的优点。
【IPC分类】G06K9/00, G01C3/00, G06K9/62, G06T7/20
【公开号】CN104899554
【申请号】CN201510229988
【发明人】张云洲, 孙鹏飞, 李继凡, 孟蕾
【申请人】东北大学
【公开日】2015年9月9日
【申请日】2015年5月7日
最新回复(0)