用于低清晰度视频流中的路面识别的装置和方法
用于低清晰度视频流中的路面识别的装置和方法
【技术领域】
[0001] 本发明涉及一种用于低清晰度视频流中的路面识别的装置和方法，可W用于低清 晰度视频流特别是野外环境下的路面识别，并且改进了V/U视差图线段拟合的精确度。
【背景技术】
[0002] 无人汽车通常具有认知行驶环境和自动驾驶功能。其中可行路面区域检测是认知 行驶环境功能中的一个重要组成部分。路面信息采集仪器中摄像设备采集的数据信息远比 测距传感器采集的数据信息更为准确可靠，其图像信息覆盖范围更大。
[0003] 基于摄像头信息的路面检测通常利用简单二维图像数据（包括颜色、轮廓等信 息）进行路面检测，此类方法对于有明显路标等特征的结构化路面的检测比较有效，此时 该问题被直接转化为车道线和道路边界的识别。而对于非结构化的路面，例如野外环境，很 难单纯从颜色或者轮廓分割出路面。
[0004] 在立体视觉系统中除了可W运用到上述的方法进行路面检测，特别是对于野外 路面的检测，更多的是利用H维数据（视差图、点云图等），目前的方法大体可分为主平 面分析法、区域生长法W及直方图分析法。主平面分析法只适用于行驶环境为单一平坦 路面的情况。区域生长法需要整体H维重建，不适合实时检测。直方图分析法即V视差 (Vertica^disparity)法，常被用为检测路面并可检测出路面上的障碍物。
[0005]在 2002 年由Ra地aelL油ayrade发表的题为《RealTimeObstacleDetectionin Stereovisiononnon-flatRoadGeometrythroughV-disparityRepresentation》论 文中提出了V视差算法；根据该理论，随后2005年化encheng化等人发表的《AComplete U-V-DisparityStudyforStereoVisionBasedSDDrivingEnvironmentAnalysis》提 到了U视差算法。该两种算法结合可W用于检测周边环境识别上存在的障碍物W及路面情 况。算法的应用实现需要生成一副V视差图和一副U视差图。V视差图生成准则如下：世界 坐标系中的点P(x，y，z)T在双目摄像头系统中的左图像坐标系中的投影坐标为（ui，Cl)，在 右图像坐标系中的投影坐标为（Uf，Vt)。计算左图所有像素相对右图关联点的水平视差AP =Ui-Uf，并W每个像素点的视差作为该点对应的新灰度值，可得到视差图像（Ui，Vi，A巧。 然后累加视差图像每一行上具有相同水平视差的像素个数count。，并W(AP，Ci)为新的像 素坐标，Wcount。为对应于该像素的灰度值，该样就形成了一幅宽度是最大视差值、高度和 原图像一致的新图像叫V视差图。而U视差生成准则为；累加视差图像每一列上具有相同 水平视差的像素个数count。，并W(Ui，A巧
[0006] 为新的像素坐标，Wcount。为对应于该像素的灰度值，该样就形成了一幅高度是 最大视差值、宽度和原图像一致的新图像。该算法的原理是把四周环境分割成水平平面、垂 直平面和其他平面。垂直地面障碍物，例如行人、车辆、树木等，可W近似表示为垂直平面； 倾斜平面，如斜坡、凹地等，可W近似为倾斜平面；车体所在大地平面被近似为水平平面。如 果世界坐标系中大地平面是平坦的，则在V视差图中表现为单独的一条线段，如果是分段 平坦，则表现为折线。在得到路面映射线段（或折线）后，就知道了视差图中每一行属于路 面的视差值。而在u视差图中障碍物在图中表现为线段，当障碍物倾斜角足够小时，线段的 长短代表障碍物的横向尺寸，线段越靠下方表明障碍物距离越近，线段的纵坐标位置表明 障碍物在视场范围中的左右位置。
[0007] 但是传统V/U视差算法在实际应用时存在一定的局限性。首先当车行驶于较差路 况特别是野外环境时，车体颠簾造成摄像头本身有不容忽视的转动角度，该就造成了合成 的视差图存在大量错误点，并且V/U视差图比平稳路况时的备选映射线段要粗。如果此时 选择的车载摄像头性能较差采集的视频流像素较低，该更会导致无法获得较精细的V/U视 差图，导致无法准确检测路面范围。而且驾驶辅助系统需要实时处理，一般因为系统性能无 法在实时的前提下得到稠密视差图。另一方面在传统V/U视差算法中采用哈夫Otou曲）变 换等直线拟合方法来拟合路面映射线段和障碍物映射线段，但是该些方法本身就对噪音非 常敏感，不能很好的处理备选映射线段较粗的U/V视差图。第H，在V视差图中一些形状较 小或纹理较少的障碍物很有可能被误认为路面映射线段或者噪音。
【发明内容】
[0008] 为了克服现有技术的问题，提出了本发明。本发明的目的是提出一种用于低清晰 度视频流中的路面识别的装置和方法，可W用于低清晰度视频流特别是野外环境下的路而 识别，并且改进了V/U视差图线段拟合的精确度。
[0009] 根据本发明，提出了一种用于低清晰度视频流中的路面识别的装置，包括；具有双 目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍摄W采 集前方路面视频信息；W及路面或障碍物区域检测装置，将路面信息采集装置所采集的前 方路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图和U视差图，对各个 子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，在各子V视差图拟合出 路面加障碍物映射线段，并根据拟合出的路面加障碍物映射线段得到路面加障碍物区域的 范围，在U视差图拟合出障碍物映射线段，并根据拟合出的障碍物映射线段得到障碍物区 域的范围。
[0010] 优选地，所述自适应哈夫变换通过预处理方式去除噪声，并采用哈夫空间拟合得 到拟合线段参数，然后根据拟合线段参数对含有相同参数的线段进行特征聚类，并输出聚 类后的线段群数据，从而消除低清晰度视频流产生的中间数据子V视差图或U视差图噪音。
[0011] 优选地，利用所得到的路面加障碍物区域的范围和障碍物区域的范围，得到纯路 面区域的范围。
[0012] 优选地，根据所得到的纯路面区域的范围，结合采集的所述双目摄像头系统的摄 像头相关参数、W及车体数据采集装置采集的车体数据，对当前路面是否为坑型路面或者 坡型路面、W及当前路面是否为可行路面进行判断。
[0013] 优选地，所述车体数据包括车辆宽度、车辆的底盘高度、W及车辆的最大可爬行坡 度。
[0014] 优选地，利用小于或等于与所述车体数据采集装置所采集的所述车辆宽度在最远 端路面位置处的图像中相对应的尺寸的窗长的移动窗口，将所述视差图重新分割为一系列 子V视差图，对各个子V视差图采用自适应哈夫变换进行自适应线段拟合，拟合出路面映射 线段，根据各子V视差图中的所述路面映射线段的端点参数信息、W及所述摄像头信息采 集装置所采集的摄像头相关参数，来确定与该子V视差图中的所述路面映射线段相对应的 路面是否为坑型路面或者坡型路面，如果为坑型路面，则计算该坑型路面的可视坑深，如果 为坡型路面，则计算该坡型路面的可视坡度，通过将计算出的坑型路面 的可视坑深与所述 车体数据采集装置采集的车辆的底盘高度进行比较，或者将计算出的坡型路面的可视坡度 与所述车体数据采集装置所采集的车辆的最大可爬行坡度或进行比较，来确定该坑型路面 或坡型路面是否为车辆无法安全通过的危险路面。
[0015] 根据本发明，提出了一种用于低清晰度视频流中的路面识别的方法，包括；利用双 目摄像头系统对车辆的前方路面进行拍摄W采集前方路面视频信息；W及将所采集的前方 路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图和U视差图，对各个子 V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，在各子V视差图拟合出路 面加障碍物映射线段，并根据拟合出的路面加障碍物映射线段得到路面加障碍物区域的范 围，在U视差图拟合出障碍物映射线段，并根据拟合出的障碍物映射线段得到障碍物区域 的范围。
[0016] 本发明可W应用于野外环境实时处理低像素视频流的周边环境识别驾驶辅助设 备和用于周边环境识别驾驶辅助的方法，能够利用安装在车辆上的两个摄像头拍摄的影 像，进行前方周边环境识别的判断检测，自动判断是否存在安全隐患。
[0017] 根据本发明，提出了一种针对野外环境低像素视频流信息的驾驶辅助设备，包括： 具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍 摄W采集前方路面视频信息；W及采用自适应线段拟合方法的路面区域检测装置，将路面 信息采集装置所采集的前方路面视频信息转化为一系列各子V视差图和U视差图，对各个 子V视差图和U视差图采用自适应哈夫变换进行线段拟合，在各子V视差图拟合出路面+ 障碍物映射线段，在U视差图拟合出障碍物映射线段。然后利用各子V视差图中的所述路 面+障碍物区域和U视差图中所述障碍物区域得到路面范围W及路面参数，并根据车体自 身情况进行可行路面判定。其中自适应哈夫变换通过预处理方式去除噪声，并采用哈夫空 间拟合得到拟合线段参数，然后根据线段参数特征聚类含有相同参数的线段，并输出聚类 后的线段群数据，W此解决野外环境下低像素视频流产生的中间数据V/U视差图噪音点较 多的问题。
[0018] 本发明针对现有技术的问题提供了一种自适应方法，应用于错误较多的U/V视差 图W此提取路面映射线段和障碍物映射线段。其优点在于：1)可W用于低清晰度视频流特 别是野外环境下的路面识别；W及2)改进了V/U视差图线段拟合的精确度。
【附图说明】
[0019] 通过参考W下组合附图对所采用的优选实施方式的详细描述，本发明的上述目 的、优点和特征将变得更显而易见，其中：
[0020] 图1是示出了根据本发明的实施例的针对低清晰度视频信息环境识别驾驶辅助 设备的结构的方框图。
[0021] 图2是示出了根据本发明的实施例的由周边环境识别判断装置执行的路面+障碍 物区域检测过程的流程图。
[0022] 图3是示出了根据本发明的实施例的由周边环境识别判断装置执行的障碍物区 域检测过程的流程图。
[0023] 图4是示出了根据本发明的实施例的由周边环境识别判断装置执行的路面参数 计算过程的流程图。
[0024] 图5是示出了根据本发明的实施例的针对低清晰度视频信息环境识别判断装置 中线段拟合的自适应哈夫变换的流程图。
[0025] 图6是示出了根据本发明的实施例的抬头显示器所显示的界面示例的示意图。
[0026] 图7是用于说明根据本发明的实施例的子V视差图中的路面映射线段的可视坡度 计算的示意图。
[0027] 图8是用于说明对子V视差图的每行设定的阔值的选取标准的图。
【具体实施方式】
[0028] 下面将结合附图对本发明进行详细说明。
[0029]图1是示出了根据本发明的实施例的针对低清晰度视频信息环境识别驾驶辅助 设备的结构的方框图。
[0030] 如图1所示，根据本发明的周边环境识别驾驶辅助设备可W包括；路面信息采集 装置110、摄像头信息采集装置120、路面+障碍物区域检测装置130、车体数据采集装置 140、障碍物区域检测装置150、路面参数计算装置160、W及路面状况显示装置170。根据本 发明，可W将该周边环境识别驾驶辅助设备安装在车辆等上，W对车辆等在针对低清晰度 视频流中的周边环境识别上的驾驶进行辅助。
[0031] 路面信息采集装置110具有安装在车体的适当位置的双目摄像头系统，即两部相 同的摄像头系统，采集并存储来自车体前方的视频信息。摄像头系统通常由光学系统与摄 像头组成，光学系统可W具有变倍功能、自动调焦功能等。摄像头可W采用彩色CCD(电荷 禪合元件）摄像机。
[0032] 摄像头信息采集装置120采集并存储双目摄像头系统的摄像头相关的内部参数 W及外部参数。该里，摄像头相关的内部参数包括左右摄像头的焦距、尺度因子、径向、左摄 像头内参数矩阵、左摄像头崎变参数向量、右摄像头内参数矩阵、W及右摄像头崎变参数向 量。摄像头相关的外部参数包括左右摄像头正交相对旋转参数矩阵、左摄像头相对世界坐 标旋转参数矩阵、右摄像头相对世界坐标旋转参数矩阵、左摄像头射影变换矩阵、右摄像头 射影变换矩阵。
[0033] 车体数据采集装置140通过车载传感器（未图示）采集并存储车辆当前的底盘高 度、车辆的最大爬行坡度、W及当前车辆宽度。
[0034] 路面状况显示装置170的一个实施例如图6所示。在该实施例中，路面状况显示 装置170为抬头显示器。抬头显示器上左侧显示的图标表示当前路面为存在危险隐患的路 面。另外，在该抬头显示器中，可W由区域1部分表示前方路面中的可行区域，并且可W由 区域2部分表示前方路面中的危险区域。当然，本发明并不限于该实施例的显示形式，还可 W通过语音提示设备、方向盘震动设备对前方路况进行危险预警。
[00巧]下面，将参考图2,来说明根据本发明的实施例的由周边环境识别检测装置130执 行的路面+障碍物检测过程。
[0036]在步骤S210,输入由路面信息采集装置110采集的前方路面视频信息，并将其分 峽转化为立体图像对。
[0037] 在步骤S220,对立体图像对进行立体匹配，寻找立体图像对的两个图像之间的相 对关联点，计算每个相对关联点的视差，由此，将立体图像对转化为视差图。
[0038] 在步骤S230,利用移动窗口对视差图进行划分生成子视差图，其中移动窗口的窗 长为Umay/N，位移为An。此时Um"为视差图的横向宽度，N为大于1的自然数，An为属于 [0Um"/2闲的任意数。该窗长的宽度选择能够确保经过V视差处理可W实时检测到障碍物 和路面细节。由此，可W利用移动窗口将上述视差图分割成一系列子视差图。
[0039] 在步骤S240,根据V视差图生成准则将各子视差图转化为各子V视差图。
[0040] 接下来，在步骤S250,对各子V视差图通过自适应哈夫变换进行线段拟合，拟合出 路面+障碍物映射线段。
[0041] 在步骤S260,根据路面+障碍物映 射线段得到路面+障碍物区域的范围。
[0042] 根据本发明，在路面+障碍物检测装置130通过上述过程得到路面+障碍物区域 的范围的同时，进行障碍物区域检测装置150执行障碍物区域计算过程。
[0043] 下面，将参考图3,对障碍物区域检测装置150执行的障碍物区域计算过程进行说 明。
[0044] 在步骤S310,输入由路面信息采集装置110采集的前方路面视频信息，并将其分 峽转化为立体图像对。
[0045] 在步骤S320,对立体图像对进行立体匹配，寻找立体图像对的两个图像之间的相 对关联点，计算每个相对关联点的视差，由此，将立体图像对转化为视差图。
[0046] 在步骤S330,根据U视差图生成准则将视差图转化为U视差图。
[0047] 接下来，在步骤S340,对U视差图通过自适应哈夫变换进行线段拟合，拟合出障碍 物映射线段。
[0048] 在步骤S350,根据障碍物映射线段得到障碍物区域的范围。
[0049] 结合图4,根据本发明，在路面+障碍物区域检测装置130和障碍物区域检测装置 150通过上述过程判断出纯路面的区域范围的情况下，可W由来路面参数计算装置160执 行路面参数计算过程。
[0050] 在步骤S410,在路面+障碍物区域检测装置130和障碍物区域检测装置150判断 出当前路面的范围的前提下，得到最远端路面的端点位置信息，即此时该端点在视差图中 坐标信息，再利用摄像头信息采集装置120所采集的摄像头相关的内部参数（例如，左右摄 像头的焦距、径向、左摄像头内参数矩阵、右摄像头内参数矩阵）和摄像头相关的外部参数 (例如，左摄像头相对世界坐标旋转参数矩阵、右摄像头相对世界坐标旋转参数矩阵、左摄 像头射影变换矩阵、右摄像头射影变换矩阵），计算出最远端路面在车体世界坐标系中的实 际空间坐标，并且得到此处离车体的水平距离d。然后，利用车体数据采集装置140所采集 的车辆宽度（车宽）W，根据数学式1，来求得该车宽下在最远端路面位置处的图像中车宽对 应的尺寸W。。
[0051] = (数学式 1)
[005引其中，f为摄像头焦距。
[0053] 在步骤S420,利用移动窗口对只剩路面区域的视差图再次进行划分生成一系列子 视差图，此时的移动窗口的窗长小于或等于尺寸W。。
[0054] 在步骤S430，根据V视差图生成准则将各子视差图转化为相对应的各子V视差图。
[00巧]在步骤S440,对各个子V视差图根据自适应哈夫变换进行线段拟合，拟合出路面 映射线段和障碍物映射线段，确定并记录各个子视差图中的路面映射线段的端点参数信 息，该端点参数信息包括；路面映射线段的各端点的坐标信息和对应的视差值。
[0056] 在步骤S450,利用摄像头信息采集装置120所采集的摄像头相关的内部参数（例 女口，左右摄像头的焦距、径向、左摄像头内参数矩阵、右摄像头内参数矩阵）和外部参数（例 女口，左摄像头相对世界坐标旋转参数矩阵、右摄像头相对世界坐标旋转参数矩阵、左摄像头 射影变换矩阵、右摄像头射影变换矩阵），并结合路面映射线段的端点参数信息，计算路面 映射线段端点在世界坐标系中对应的实际景深和实际高度。
[0057] 例如，对于某路面映射线段的某一端点A，它在世界坐标系中所对应的实际景深可 W表示为dep(A)，实际高度为hig(A)。
[0058] 在步骤S460,如果路面映射线段的相邻两个端点A、B的实际高度差h= hig炬)-hig(A)大于0,则可W判断该路面映射线段所对应的路面为坡型路面。如果路面映 射线段的相邻两个端点A、B的实际高度差h=hig炬)-hig(A)小于0,则可W判断该路面 映射线段所对应的路面为坑型路面，并记录此时的高度差，作为可视坑深。
[0059] 在步骤S470,如果此时判断为该路面为坡型路面，贝村Ij用路面映射线段的两个端 点的实际景深和实际高度，根据数学式2,来求得该处路面相对于前一个路面的可视坡度。
[0060] 例如，在图7中，AB段路面对于车体所在路面的可视坡度为：
[006。
（数学式扣。
[0062] 根据每个路面对于前一个路面的可视坡度0 1，根据数学式3,可W得到该处路面 相对于车体所在路面的可视坡度^a当i二1时，表示离车体所在路面最近的平面，依次类 推。
[0063]
[0064] 其中，hi表示第i个路面相对于前一个路面的高度差，具体可参见W上关于符号h 的定义。
[0065] 需要注意的是，即使对于同一处路面，因为车体的运动位置不同，相对于车体所在 路面的可视坡度是不停变化的。在图7中，相对于当前车体位置，CD段路面的可视坡度为 正值。但是，如果车体行驶到AB段路面或BC段路面，CD段的可视坡度变为负值。
[0066] 然后，在步骤S480,将计算出的坑型路面的可视坑深/坡型路面的可视坡度与车 体数据采集装置140采集的车体数据（即，车辆的底盘高度或车辆的最大可爬行坡度）进 行比较。如果可视坑深大于车辆的底盘高度或者可视坡度大于车辆的最大爬行坡度（步骤 S480的是），判断该坑型/坡型路面为危险路面，并由路面状况显示装置170对在实际路 面图像中坑型路面或者坡型路面的位置、W及该坑型路面或坡型路面为危险路面进行显示 (步骤S490)。否则（步骤S480的否），判断该坑深/坡型路面为可行路面，并对坑型路面 或者坡型路面的位置、W及该坑型路面或坡型路面为可行路面进行显示（步骤S4100)。
[0067] 在路面+障碍物区域检测装置130、障碍物区域检测装置150和路面参数计算装置 160中均使用到了自适应哈夫变换，该变换适用于野外环境低清晰度视频流中针对V/U视 差图中的线段拟合。下面，将参考图5,来说明根据本发明的实施例的针对低清晰度视频流 路面识别中V视差图线段拟合过程。
[006引在步骤510,输入由步骤240输出的各子V视差图信息。
[0069] 在步骤520,对各子V视差图进行两步预处理，过程目的是为了消除原始图像中的 噪音点。第一步，对子V视差图的每行设定一个阔值，阔值选取标准见图8,其中N化表示第 n行当视差值取D1到最大视差值时像素点总个数，D1表示色阶数（比方说0到255)，化为 该行总像素点个数，巧为期望比例，化为阔值。通过该过程W此保证只有高密度的像素点 才能留下。第二步，在剩下的像素点中随机选取两个点进行直线拟合，设定一个像素点个数 阔值To,拟合后的直线必须满足至少包含To个像素，如果未符合要求，取消该次拟合结果， 继续随即挑选两个点。最终删除不能和其他店拟合的孤立像素点，剩下来的像素点就是局 内点。
[0070] 在步骤530,将平面坐标空间转化为哈夫空间，将图像空间内具有一定关系的像素 点进行聚类，寻找能把该些像素用直线形式联系起来的参数空间累积对应点，运用投票机 制，对经过预处理后的像素点进行线段拟合，得到可能构成直线的像素点集合，并输出每 个 像素点集合的线段参数（ai，bi)。
[0071] 在步骤540,对含有同一斜度ai的像素点集合进行线段群参数（widthP1P2)计算， 具体计算按照如下所示，其中（VidmJ, (Pgdmax)，（Vmhdi(, ("axd2)均属于像素点集合中的像 素点。
[0072]
[0073] 如上所述，根据本发明，在路面信息采集装置110中，可W由车载双目摄像头采集 前方信息，从而感知路面信息、路面上的动态或静态的障碍物W及结构化道路上的危险路 标。在车体数据采集装置140中，利用车体感应器采集当前车体数据，包括车辆的当前底盘 高度，最大爬行坡度等。在摄像头信息采集装置120中，采集当前摄像头的内部参数和外部 参数。
[0074] 根据本发明，在路面+障碍物检测区域装置130中，通过移动窗口细化V视差图得 到子V视差图，对各个子V视差图采用自适应哈夫变换进行线段拟合，拟合出路面+障碍物 映射线段，得到路面+障碍物区域。在障碍物检测区域装置150中，将双目视频对转化为U 视差图，对U视差图采用自适应哈夫变换进行线段拟合，拟合出障碍物映射线段，得到障碍 物区域。在路面参数计算装置160中，贝時Ij用车宽信息再次细划分V视差图，再次采用自适 应哈夫变换进行路面映射线段拟合，记录此时子V视差图中的路面映射线段的端点位置， 并计算每个端点在世界坐标系中所对应的实际高度和实际景深，分析前方路面是否存在有 坑或坡，即前方路面是否为坑型路面或者坡型路面，并计算前方路面中坑型路面的形状位 置和可视坑深、坡型路面的形状位置和可视坡度，通过当前车体数据（例如车辆的底盘高 度或最大可爬行坡度）来判断该车辆是否能够安全通过该段路面。其中在装置130、150、 160均采用自适应哈夫变换进行线段拟合，该拟合方式通过预处理方式去除噪声，采用哈夫 空间拟合得到线段参数，然后根据相同线段参数特征聚类，输出聚类后的线段群数据，W此 解决野外环境下低像素视频流产生的中间数据v/u视差图噪音点较多的问题。
[00巧]在路面状况显示装置160中，可W根据周边环境识别判断装置130的判断结果，对 当前路面是否为周边环境识别进行显示。另外，在路面状况显示装置160中，可W根据所述 坡/坑参数计算装置的确定结果，对坑型路面或者坡型路面的位置、W及该坑型路面或坡 型路面是否为危险路面进行显示。
[0076] 本发明特别适合于为车辆识别野外道路中低清晰度视频流中可行路面和周边环 境识别，并对周边环境识别进行提示。根据本发明，如果当前车体行驶状况不适合前方某些 坡/坑型路面时，自动预警并显示危险区域（危险路面）。
[0077] 尽管W上已经结合本发明的优选实施例示出了本发明，但是本领域的技术人员将 会理解，在不脱离本发明的精神和范围的情况下，可W对本发明进行各种修改、替换和改 变。因此，本发明不应由上述实施来限定，而应由所附权利要求及其等价物来限定。
【主权项】
1. 一种用于低清晰度视频流中的路面识别的装置，包括： 具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进 行拍摄以采集前方路面视频信息；以及 路面或障碍物区域检测装置，将路面信息采集装置所采集的前方路面视频信息转化为 视差图，将所述视差图转化为一系列子V视差图和U视差图，对各个子V视差图和U视差 图采用自适应哈夫变换进行自适应线段拟合，在各子V视差图拟合出路面加障碍物映射线 段，并根据拟合出的路面加障碍物映射线段得到路面加障碍物区域的范围，在U视差图拟 合出障碍物映射线段，并根据拟合出的障碍物映射线段得到障碍物区域的范围。2. 根据权利要求1所述的装置，其中， 所述自适应哈夫变换通过预处理方式去除噪声，并采用哈夫空间拟合得到拟合线段参 数，然后根据拟合线段参数对含有相同参数的线段进行特征聚类，并输出聚类后的线段群 数据，从而消除低清晰度视频流产生的中间数据子V视差图或U视差图噪音。3. 根据权利要求1所述的装置，其中， 利用所得到的路面加障碍物区域的范围和障碍物区域的范围，得到纯路面区域的范 围。4. 根据权利要求1所述的装置，其中， 根据所得到的纯路面区域的范围，结合采集的所述双目摄像头系统的摄像头相关参 数、以及车体数据采集装置采集的车体数据，对当前路面是否为坑型路面或者坡型路面、以 及当前路面是否为可行路面进行判断。5. 根据权利要求4所述的装置，其中， 所述车体数据包括车辆宽度、车辆的底盘高度、以及车辆的最大可爬行坡度。6. 根据权利要求5所述的装置，其中， 利用小于或等于与所述车体数据采集装置所采集的所述车辆宽度在最远端路面位置 处的图像中相对应的尺寸的窗长的移动窗口，将所述视差图重新分割为一系列子V视差 图，对各个子V视差图采用自适应哈夫变换进行自适应线段拟合，拟合出路面映射线段，根 据各子V视差图中的所述路面映射线段的端点参数信息、以及所述摄像头信息采集装置所 采集的摄像头相关参数，来确定与该子V视差图中的所述路面映射线段相对应的路面是否 为坑型路面或者坡型路面，如果为坑型路面，则计算该坑型路面的可视坑深，如果为坡型路 面，则计算该坡型路面的可视坡度，通过将计算出的坑型路面的可视坑深与所述车体数据 采集装置采集的车辆的底盘高度进行比较，或者将计算出的坡型路面的可视坡度与所述车 体数据采集装置所采集的车辆的最大可爬行坡度或进行比较，来确定该坑型路面或坡型路 面是否为车辆无法安全通过的危险路面。7.-种用于低清晰度视频流中的路面识别的方法，包括： 利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及 将所采集的前方路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图 和U视差图，对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，在各 子V视差图拟合出路面加障碍物映射线段，并根据拟合出的路面加障碍物映射线段得到路 面加障碍物区域的范围，在U视差图拟合出障碍物映射线段，并根据拟合出的障碍物映射 线段得到障碍物区域的范围。
【专利摘要】根据本发明，提出了一种用于低清晰度视频流中的路面识别的装置，包括：具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及路面或障碍物区域检测装置，将路面信息采集装置所采集的前方路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图和U视差图，对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，在各子V视差图拟合出路面加障碍物映射线段，并根据拟合出的路面加障碍物映射线段得到路面加障碍物区域的范围，在U视差图拟合出障碍物映射线段，并根据拟合出的障碍物映射线段得到障碍物区域的范围。
【IPC分类】H04N13/00, H04N13/02
【公开号】CN104902261
【申请号】CN201410080739
【发明人】戴依若, 王文佳, 川股幸博
【申请人】株式会社日立制作所
【公开日】2015年9月9日
【申请日】2014年3月6日
【技术领域】
[0001] 本发明涉及一种用于低清晰度视频流中的路面识别的装置和方法，可W用于低清 晰度视频流特别是野外环境下的路面识别，并且改进了V/U视差图线段拟合的精确度。
【背景技术】
[0002] 无人汽车通常具有认知行驶环境和自动驾驶功能。其中可行路面区域检测是认知 行驶环境功能中的一个重要组成部分。路面信息采集仪器中摄像设备采集的数据信息远比 测距传感器采集的数据信息更为准确可靠，其图像信息覆盖范围更大。
[0003] 基于摄像头信息的路面检测通常利用简单二维图像数据（包括颜色、轮廓等信 息）进行路面检测，此类方法对于有明显路标等特征的结构化路面的检测比较有效，此时 该问题被直接转化为车道线和道路边界的识别。而对于非结构化的路面，例如野外环境，很 难单纯从颜色或者轮廓分割出路面。
[0004] 在立体视觉系统中除了可W运用到上述的方法进行路面检测，特别是对于野外 路面的检测，更多的是利用H维数据（视差图、点云图等），目前的方法大体可分为主平 面分析法、区域生长法W及直方图分析法。主平面分析法只适用于行驶环境为单一平坦 路面的情况。区域生长法需要整体H维重建，不适合实时检测。直方图分析法即V视差 (Vertica^disparity)法，常被用为检测路面并可检测出路面上的障碍物。
[0005]在 2002 年由Ra地aelL油ayrade发表的题为《RealTimeObstacleDetectionin Stereovisiononnon-flatRoadGeometrythroughV-disparityRepresentation》论 文中提出了V视差算法；根据该理论，随后2005年化encheng化等人发表的《AComplete U-V-DisparityStudyforStereoVisionBasedSDDrivingEnvironmentAnalysis》提 到了U视差算法。该两种算法结合可W用于检测周边环境识别上存在的障碍物W及路面情 况。算法的应用实现需要生成一副V视差图和一副U视差图。V视差图生成准则如下：世界 坐标系中的点P(x，y，z)T在双目摄像头系统中的左图像坐标系中的投影坐标为（ui，Cl)，在 右图像坐标系中的投影坐标为（Uf，Vt)。计算左图所有像素相对右图关联点的水平视差AP =Ui-Uf，并W每个像素点的视差作为该点对应的新灰度值，可得到视差图像（Ui，Vi，A巧。 然后累加视差图像每一行上具有相同水平视差的像素个数count。，并W(AP，Ci)为新的像 素坐标，Wcount。为对应于该像素的灰度值，该样就形成了一幅宽度是最大视差值、高度和 原图像一致的新图像叫V视差图。而U视差生成准则为；累加视差图像每一列上具有相同 水平视差的像素个数count。，并W(Ui，A巧
[0006] 为新的像素坐标，Wcount。为对应于该像素的灰度值，该样就形成了一幅高度是 最大视差值、宽度和原图像一致的新图像。该算法的原理是把四周环境分割成水平平面、垂 直平面和其他平面。垂直地面障碍物，例如行人、车辆、树木等，可W近似表示为垂直平面； 倾斜平面，如斜坡、凹地等，可W近似为倾斜平面；车体所在大地平面被近似为水平平面。如 果世界坐标系中大地平面是平坦的，则在V视差图中表现为单独的一条线段，如果是分段 平坦，则表现为折线。在得到路面映射线段（或折线）后，就知道了视差图中每一行属于路 面的视差值。而在u视差图中障碍物在图中表现为线段，当障碍物倾斜角足够小时，线段的 长短代表障碍物的横向尺寸，线段越靠下方表明障碍物距离越近，线段的纵坐标位置表明 障碍物在视场范围中的左右位置。
[0007] 但是传统V/U视差算法在实际应用时存在一定的局限性。首先当车行驶于较差路 况特别是野外环境时，车体颠簾造成摄像头本身有不容忽视的转动角度，该就造成了合成 的视差图存在大量错误点，并且V/U视差图比平稳路况时的备选映射线段要粗。如果此时 选择的车载摄像头性能较差采集的视频流像素较低，该更会导致无法获得较精细的V/U视 差图，导致无法准确检测路面范围。而且驾驶辅助系统需要实时处理，一般因为系统性能无 法在实时的前提下得到稠密视差图。另一方面在传统V/U视差算法中采用哈夫Otou曲）变 换等直线拟合方法来拟合路面映射线段和障碍物映射线段，但是该些方法本身就对噪音非 常敏感，不能很好的处理备选映射线段较粗的U/V视差图。第H，在V视差图中一些形状较 小或纹理较少的障碍物很有可能被误认为路面映射线段或者噪音。
【发明内容】
[0008] 为了克服现有技术的问题，提出了本发明。本发明的目的是提出一种用于低清晰 度视频流中的路面识别的装置和方法，可W用于低清晰度视频流特别是野外环境下的路而 识别，并且改进了V/U视差图线段拟合的精确度。
[0009] 根据本发明，提出了一种用于低清晰度视频流中的路面识别的装置，包括；具有双 目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍摄W采 集前方路面视频信息；W及路面或障碍物区域检测装置，将路面信息采集装置所采集的前 方路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图和U视差图，对各个 子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，在各子V视差图拟合出 路面加障碍物映射线段，并根据拟合出的路面加障碍物映射线段得到路面加障碍物区域的 范围，在U视差图拟合出障碍物映射线段，并根据拟合出的障碍物映射线段得到障碍物区 域的范围。
[0010] 优选地，所述自适应哈夫变换通过预处理方式去除噪声，并采用哈夫空间拟合得 到拟合线段参数，然后根据拟合线段参数对含有相同参数的线段进行特征聚类，并输出聚 类后的线段群数据，从而消除低清晰度视频流产生的中间数据子V视差图或U视差图噪音。
[0011] 优选地，利用所得到的路面加障碍物区域的范围和障碍物区域的范围，得到纯路 面区域的范围。
[0012] 优选地，根据所得到的纯路面区域的范围，结合采集的所述双目摄像头系统的摄 像头相关参数、W及车体数据采集装置采集的车体数据，对当前路面是否为坑型路面或者 坡型路面、W及当前路面是否为可行路面进行判断。
[0013] 优选地，所述车体数据包括车辆宽度、车辆的底盘高度、W及车辆的最大可爬行坡 度。
[0014] 优选地，利用小于或等于与所述车体数据采集装置所采集的所述车辆宽度在最远 端路面位置处的图像中相对应的尺寸的窗长的移动窗口，将所述视差图重新分割为一系列 子V视差图，对各个子V视差图采用自适应哈夫变换进行自适应线段拟合，拟合出路面映射 线段，根据各子V视差图中的所述路面映射线段的端点参数信息、W及所述摄像头信息采 集装置所采集的摄像头相关参数，来确定与该子V视差图中的所述路面映射线段相对应的 路面是否为坑型路面或者坡型路面，如果为坑型路面，则计算该坑型路面的可视坑深，如果 为坡型路面，则计算该坡型路面的可视坡度，通过将计算出的坑型路面 的可视坑深与所述 车体数据采集装置采集的车辆的底盘高度进行比较，或者将计算出的坡型路面的可视坡度 与所述车体数据采集装置所采集的车辆的最大可爬行坡度或进行比较，来确定该坑型路面 或坡型路面是否为车辆无法安全通过的危险路面。
[0015] 根据本发明，提出了一种用于低清晰度视频流中的路面识别的方法，包括；利用双 目摄像头系统对车辆的前方路面进行拍摄W采集前方路面视频信息；W及将所采集的前方 路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图和U视差图，对各个子 V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，在各子V视差图拟合出路 面加障碍物映射线段，并根据拟合出的路面加障碍物映射线段得到路面加障碍物区域的范 围，在U视差图拟合出障碍物映射线段，并根据拟合出的障碍物映射线段得到障碍物区域 的范围。
[0016] 本发明可W应用于野外环境实时处理低像素视频流的周边环境识别驾驶辅助设 备和用于周边环境识别驾驶辅助的方法，能够利用安装在车辆上的两个摄像头拍摄的影 像，进行前方周边环境识别的判断检测，自动判断是否存在安全隐患。
[0017] 根据本发明，提出了一种针对野外环境低像素视频流信息的驾驶辅助设备，包括： 具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍 摄W采集前方路面视频信息；W及采用自适应线段拟合方法的路面区域检测装置，将路面 信息采集装置所采集的前方路面视频信息转化为一系列各子V视差图和U视差图，对各个 子V视差图和U视差图采用自适应哈夫变换进行线段拟合，在各子V视差图拟合出路面+ 障碍物映射线段，在U视差图拟合出障碍物映射线段。然后利用各子V视差图中的所述路 面+障碍物区域和U视差图中所述障碍物区域得到路面范围W及路面参数，并根据车体自 身情况进行可行路面判定。其中自适应哈夫变换通过预处理方式去除噪声，并采用哈夫空 间拟合得到拟合线段参数，然后根据线段参数特征聚类含有相同参数的线段，并输出聚类 后的线段群数据，W此解决野外环境下低像素视频流产生的中间数据V/U视差图噪音点较 多的问题。
[0018] 本发明针对现有技术的问题提供了一种自适应方法，应用于错误较多的U/V视差 图W此提取路面映射线段和障碍物映射线段。其优点在于：1)可W用于低清晰度视频流特 别是野外环境下的路面识别；W及2)改进了V/U视差图线段拟合的精确度。
【附图说明】
[0019] 通过参考W下组合附图对所采用的优选实施方式的详细描述，本发明的上述目 的、优点和特征将变得更显而易见，其中：
[0020] 图1是示出了根据本发明的实施例的针对低清晰度视频信息环境识别驾驶辅助 设备的结构的方框图。
[0021] 图2是示出了根据本发明的实施例的由周边环境识别判断装置执行的路面+障碍 物区域检测过程的流程图。
[0022] 图3是示出了根据本发明的实施例的由周边环境识别判断装置执行的障碍物区 域检测过程的流程图。
[0023] 图4是示出了根据本发明的实施例的由周边环境识别判断装置执行的路面参数 计算过程的流程图。
[0024] 图5是示出了根据本发明的实施例的针对低清晰度视频信息环境识别判断装置 中线段拟合的自适应哈夫变换的流程图。
[0025] 图6是示出了根据本发明的实施例的抬头显示器所显示的界面示例的示意图。
[0026] 图7是用于说明根据本发明的实施例的子V视差图中的路面映射线段的可视坡度 计算的示意图。
[0027] 图8是用于说明对子V视差图的每行设定的阔值的选取标准的图。
【具体实施方式】
[0028] 下面将结合附图对本发明进行详细说明。
[0029]图1是示出了根据本发明的实施例的针对低清晰度视频信息环境识别驾驶辅助 设备的结构的方框图。
[0030] 如图1所示，根据本发明的周边环境识别驾驶辅助设备可W包括；路面信息采集 装置110、摄像头信息采集装置120、路面+障碍物区域检测装置130、车体数据采集装置 140、障碍物区域检测装置150、路面参数计算装置160、W及路面状况显示装置170。根据本 发明，可W将该周边环境识别驾驶辅助设备安装在车辆等上，W对车辆等在针对低清晰度 视频流中的周边环境识别上的驾驶进行辅助。
[0031] 路面信息采集装置110具有安装在车体的适当位置的双目摄像头系统，即两部相 同的摄像头系统，采集并存储来自车体前方的视频信息。摄像头系统通常由光学系统与摄 像头组成，光学系统可W具有变倍功能、自动调焦功能等。摄像头可W采用彩色CCD(电荷 禪合元件）摄像机。
[0032] 摄像头信息采集装置120采集并存储双目摄像头系统的摄像头相关的内部参数 W及外部参数。该里，摄像头相关的内部参数包括左右摄像头的焦距、尺度因子、径向、左摄 像头内参数矩阵、左摄像头崎变参数向量、右摄像头内参数矩阵、W及右摄像头崎变参数向 量。摄像头相关的外部参数包括左右摄像头正交相对旋转参数矩阵、左摄像头相对世界坐 标旋转参数矩阵、右摄像头相对世界坐标旋转参数矩阵、左摄像头射影变换矩阵、右摄像头 射影变换矩阵。
[0033] 车体数据采集装置140通过车载传感器（未图示）采集并存储车辆当前的底盘高 度、车辆的最大爬行坡度、W及当前车辆宽度。
[0034] 路面状况显示装置170的一个实施例如图6所示。在该实施例中，路面状况显示 装置170为抬头显示器。抬头显示器上左侧显示的图标表示当前路面为存在危险隐患的路 面。另外，在该抬头显示器中，可W由区域1部分表示前方路面中的可行区域，并且可W由 区域2部分表示前方路面中的危险区域。当然，本发明并不限于该实施例的显示形式，还可 W通过语音提示设备、方向盘震动设备对前方路况进行危险预警。
[00巧]下面，将参考图2,来说明根据本发明的实施例的由周边环境识别检测装置130执 行的路面+障碍物检测过程。
[0036]在步骤S210,输入由路面信息采集装置110采集的前方路面视频信息，并将其分 峽转化为立体图像对。
[0037] 在步骤S220,对立体图像对进行立体匹配，寻找立体图像对的两个图像之间的相 对关联点，计算每个相对关联点的视差，由此，将立体图像对转化为视差图。
[0038] 在步骤S230,利用移动窗口对视差图进行划分生成子视差图，其中移动窗口的窗 长为Umay/N，位移为An。此时Um"为视差图的横向宽度，N为大于1的自然数，An为属于 [0Um"/2闲的任意数。该窗长的宽度选择能够确保经过V视差处理可W实时检测到障碍物 和路面细节。由此，可W利用移动窗口将上述视差图分割成一系列子视差图。
[0039] 在步骤S240,根据V视差图生成准则将各子视差图转化为各子V视差图。
[0040] 接下来，在步骤S250,对各子V视差图通过自适应哈夫变换进行线段拟合，拟合出 路面+障碍物映射线段。
[0041] 在步骤S260,根据路面+障碍物映 射线段得到路面+障碍物区域的范围。
[0042] 根据本发明，在路面+障碍物检测装置130通过上述过程得到路面+障碍物区域 的范围的同时，进行障碍物区域检测装置150执行障碍物区域计算过程。
[0043] 下面，将参考图3,对障碍物区域检测装置150执行的障碍物区域计算过程进行说 明。
[0044] 在步骤S310,输入由路面信息采集装置110采集的前方路面视频信息，并将其分 峽转化为立体图像对。
[0045] 在步骤S320,对立体图像对进行立体匹配，寻找立体图像对的两个图像之间的相 对关联点，计算每个相对关联点的视差，由此，将立体图像对转化为视差图。
[0046] 在步骤S330,根据U视差图生成准则将视差图转化为U视差图。
[0047] 接下来，在步骤S340,对U视差图通过自适应哈夫变换进行线段拟合，拟合出障碍 物映射线段。
[0048] 在步骤S350,根据障碍物映射线段得到障碍物区域的范围。
[0049] 结合图4,根据本发明，在路面+障碍物区域检测装置130和障碍物区域检测装置 150通过上述过程判断出纯路面的区域范围的情况下，可W由来路面参数计算装置160执 行路面参数计算过程。
[0050] 在步骤S410,在路面+障碍物区域检测装置130和障碍物区域检测装置150判断 出当前路面的范围的前提下，得到最远端路面的端点位置信息，即此时该端点在视差图中 坐标信息，再利用摄像头信息采集装置120所采集的摄像头相关的内部参数（例如，左右摄 像头的焦距、径向、左摄像头内参数矩阵、右摄像头内参数矩阵）和摄像头相关的外部参数 (例如，左摄像头相对世界坐标旋转参数矩阵、右摄像头相对世界坐标旋转参数矩阵、左摄 像头射影变换矩阵、右摄像头射影变换矩阵），计算出最远端路面在车体世界坐标系中的实 际空间坐标，并且得到此处离车体的水平距离d。然后，利用车体数据采集装置140所采集 的车辆宽度（车宽）W，根据数学式1，来求得该车宽下在最远端路面位置处的图像中车宽对 应的尺寸W。。
[0051] = (数学式 1)
[005引其中，f为摄像头焦距。
[0053] 在步骤S420,利用移动窗口对只剩路面区域的视差图再次进行划分生成一系列子 视差图，此时的移动窗口的窗长小于或等于尺寸W。。
[0054] 在步骤S430，根据V视差图生成准则将各子视差图转化为相对应的各子V视差图。
[00巧]在步骤S440,对各个子V视差图根据自适应哈夫变换进行线段拟合，拟合出路面 映射线段和障碍物映射线段，确定并记录各个子视差图中的路面映射线段的端点参数信 息，该端点参数信息包括；路面映射线段的各端点的坐标信息和对应的视差值。
[0056] 在步骤S450,利用摄像头信息采集装置120所采集的摄像头相关的内部参数（例 女口，左右摄像头的焦距、径向、左摄像头内参数矩阵、右摄像头内参数矩阵）和外部参数（例 女口，左摄像头相对世界坐标旋转参数矩阵、右摄像头相对世界坐标旋转参数矩阵、左摄像头 射影变换矩阵、右摄像头射影变换矩阵），并结合路面映射线段的端点参数信息，计算路面 映射线段端点在世界坐标系中对应的实际景深和实际高度。
[0057] 例如，对于某路面映射线段的某一端点A，它在世界坐标系中所对应的实际景深可 W表示为dep(A)，实际高度为hig(A)。
[0058] 在步骤S460,如果路面映射线段的相邻两个端点A、B的实际高度差h= hig炬)-hig(A)大于0,则可W判断该路面映射线段所对应的路面为坡型路面。如果路面映 射线段的相邻两个端点A、B的实际高度差h=hig炬)-hig(A)小于0,则可W判断该路面 映射线段所对应的路面为坑型路面，并记录此时的高度差，作为可视坑深。
[0059] 在步骤S470,如果此时判断为该路面为坡型路面，贝村Ij用路面映射线段的两个端 点的实际景深和实际高度，根据数学式2,来求得该处路面相对于前一个路面的可视坡度。
[0060] 例如，在图7中，AB段路面对于车体所在路面的可视坡度为：
[006。
（数学式扣。
[0062] 根据每个路面对于前一个路面的可视坡度0 1，根据数学式3,可W得到该处路面 相对于车体所在路面的可视坡度^a当i二1时，表示离车体所在路面最近的平面，依次类 推。
[0063]
[0064] 其中，hi表示第i个路面相对于前一个路面的高度差，具体可参见W上关于符号h 的定义。
[0065] 需要注意的是，即使对于同一处路面，因为车体的运动位置不同，相对于车体所在 路面的可视坡度是不停变化的。在图7中，相对于当前车体位置，CD段路面的可视坡度为 正值。但是，如果车体行驶到AB段路面或BC段路面，CD段的可视坡度变为负值。
[0066] 然后，在步骤S480,将计算出的坑型路面的可视坑深/坡型路面的可视坡度与车 体数据采集装置140采集的车体数据（即，车辆的底盘高度或车辆的最大可爬行坡度）进 行比较。如果可视坑深大于车辆的底盘高度或者可视坡度大于车辆的最大爬行坡度（步骤 S480的是），判断该坑型/坡型路面为危险路面，并由路面状况显示装置170对在实际路 面图像中坑型路面或者坡型路面的位置、W及该坑型路面或坡型路面为危险路面进行显示 (步骤S490)。否则（步骤S480的否），判断该坑深/坡型路面为可行路面，并对坑型路面 或者坡型路面的位置、W及该坑型路面或坡型路面为可行路面进行显示（步骤S4100)。
[0067] 在路面+障碍物区域检测装置130、障碍物区域检测装置150和路面参数计算装置 160中均使用到了自适应哈夫变换，该变换适用于野外环境低清晰度视频流中针对V/U视 差图中的线段拟合。下面，将参考图5,来说明根据本发明的实施例的针对低清晰度视频流 路面识别中V视差图线段拟合过程。
[006引在步骤510,输入由步骤240输出的各子V视差图信息。
[0069] 在步骤520,对各子V视差图进行两步预处理，过程目的是为了消除原始图像中的 噪音点。第一步，对子V视差图的每行设定一个阔值，阔值选取标准见图8,其中N化表示第 n行当视差值取D1到最大视差值时像素点总个数，D1表示色阶数（比方说0到255)，化为 该行总像素点个数，巧为期望比例，化为阔值。通过该过程W此保证只有高密度的像素点 才能留下。第二步，在剩下的像素点中随机选取两个点进行直线拟合，设定一个像素点个数 阔值To,拟合后的直线必须满足至少包含To个像素，如果未符合要求，取消该次拟合结果， 继续随即挑选两个点。最终删除不能和其他店拟合的孤立像素点，剩下来的像素点就是局 内点。
[0070] 在步骤530,将平面坐标空间转化为哈夫空间，将图像空间内具有一定关系的像素 点进行聚类，寻找能把该些像素用直线形式联系起来的参数空间累积对应点，运用投票机 制，对经过预处理后的像素点进行线段拟合，得到可能构成直线的像素点集合，并输出每 个 像素点集合的线段参数（ai，bi)。
[0071] 在步骤540,对含有同一斜度ai的像素点集合进行线段群参数（widthP1P2)计算， 具体计算按照如下所示，其中（VidmJ, (Pgdmax)，（Vmhdi(, ("axd2)均属于像素点集合中的像 素点。
[0072]
[0073] 如上所述，根据本发明，在路面信息采集装置110中，可W由车载双目摄像头采集 前方信息，从而感知路面信息、路面上的动态或静态的障碍物W及结构化道路上的危险路 标。在车体数据采集装置140中，利用车体感应器采集当前车体数据，包括车辆的当前底盘 高度，最大爬行坡度等。在摄像头信息采集装置120中，采集当前摄像头的内部参数和外部 参数。
[0074] 根据本发明，在路面+障碍物检测区域装置130中，通过移动窗口细化V视差图得 到子V视差图，对各个子V视差图采用自适应哈夫变换进行线段拟合，拟合出路面+障碍物 映射线段，得到路面+障碍物区域。在障碍物检测区域装置150中，将双目视频对转化为U 视差图，对U视差图采用自适应哈夫变换进行线段拟合，拟合出障碍物映射线段，得到障碍 物区域。在路面参数计算装置160中，贝時Ij用车宽信息再次细划分V视差图，再次采用自适 应哈夫变换进行路面映射线段拟合，记录此时子V视差图中的路面映射线段的端点位置， 并计算每个端点在世界坐标系中所对应的实际高度和实际景深，分析前方路面是否存在有 坑或坡，即前方路面是否为坑型路面或者坡型路面，并计算前方路面中坑型路面的形状位 置和可视坑深、坡型路面的形状位置和可视坡度，通过当前车体数据（例如车辆的底盘高 度或最大可爬行坡度）来判断该车辆是否能够安全通过该段路面。其中在装置130、150、 160均采用自适应哈夫变换进行线段拟合，该拟合方式通过预处理方式去除噪声，采用哈夫 空间拟合得到线段参数，然后根据相同线段参数特征聚类，输出聚类后的线段群数据，W此 解决野外环境下低像素视频流产生的中间数据v/u视差图噪音点较多的问题。
[00巧]在路面状况显示装置160中，可W根据周边环境识别判断装置130的判断结果，对 当前路面是否为周边环境识别进行显示。另外，在路面状况显示装置160中，可W根据所述 坡/坑参数计算装置的确定结果，对坑型路面或者坡型路面的位置、W及该坑型路面或坡 型路面是否为危险路面进行显示。
[0076] 本发明特别适合于为车辆识别野外道路中低清晰度视频流中可行路面和周边环 境识别，并对周边环境识别进行提示。根据本发明，如果当前车体行驶状况不适合前方某些 坡/坑型路面时，自动预警并显示危险区域（危险路面）。
[0077] 尽管W上已经结合本发明的优选实施例示出了本发明，但是本领域的技术人员将 会理解，在不脱离本发明的精神和范围的情况下，可W对本发明进行各种修改、替换和改 变。因此，本发明不应由上述实施来限定，而应由所附权利要求及其等价物来限定。
【主权项】
1. 一种用于低清晰度视频流中的路面识别的装置，包括： 具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进 行拍摄以采集前方路面视频信息；以及 路面或障碍物区域检测装置，将路面信息采集装置所采集的前方路面视频信息转化为 视差图，将所述视差图转化为一系列子V视差图和U视差图，对各个子V视差图和U视差 图采用自适应哈夫变换进行自适应线段拟合，在各子V视差图拟合出路面加障碍物映射线 段，并根据拟合出的路面加障碍物映射线段得到路面加障碍物区域的范围，在U视差图拟 合出障碍物映射线段，并根据拟合出的障碍物映射线段得到障碍物区域的范围。2. 根据权利要求1所述的装置，其中， 所述自适应哈夫变换通过预处理方式去除噪声，并采用哈夫空间拟合得到拟合线段参 数，然后根据拟合线段参数对含有相同参数的线段进行特征聚类，并输出聚类后的线段群 数据，从而消除低清晰度视频流产生的中间数据子V视差图或U视差图噪音。3. 根据权利要求1所述的装置，其中， 利用所得到的路面加障碍物区域的范围和障碍物区域的范围，得到纯路面区域的范 围。4. 根据权利要求1所述的装置，其中， 根据所得到的纯路面区域的范围，结合采集的所述双目摄像头系统的摄像头相关参 数、以及车体数据采集装置采集的车体数据，对当前路面是否为坑型路面或者坡型路面、以 及当前路面是否为可行路面进行判断。5. 根据权利要求4所述的装置，其中， 所述车体数据包括车辆宽度、车辆的底盘高度、以及车辆的最大可爬行坡度。6. 根据权利要求5所述的装置，其中， 利用小于或等于与所述车体数据采集装置所采集的所述车辆宽度在最远端路面位置 处的图像中相对应的尺寸的窗长的移动窗口，将所述视差图重新分割为一系列子V视差 图，对各个子V视差图采用自适应哈夫变换进行自适应线段拟合，拟合出路面映射线段，根 据各子V视差图中的所述路面映射线段的端点参数信息、以及所述摄像头信息采集装置所 采集的摄像头相关参数，来确定与该子V视差图中的所述路面映射线段相对应的路面是否 为坑型路面或者坡型路面，如果为坑型路面，则计算该坑型路面的可视坑深，如果为坡型路 面，则计算该坡型路面的可视坡度，通过将计算出的坑型路面的可视坑深与所述车体数据 采集装置采集的车辆的底盘高度进行比较，或者将计算出的坡型路面的可视坡度与所述车 体数据采集装置所采集的车辆的最大可爬行坡度或进行比较，来确定该坑型路面或坡型路 面是否为车辆无法安全通过的危险路面。7.-种用于低清晰度视频流中的路面识别的方法，包括： 利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及 将所采集的前方路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图 和U视差图，对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，在各 子V视差图拟合出路面加障碍物映射线段，并根据拟合出的路面加障碍物映射线段得到路 面加障碍物区域的范围，在U视差图拟合出障碍物映射线段，并根据拟合出的障碍物映射 线段得到障碍物区域的范围。
【专利摘要】根据本发明，提出了一种用于低清晰度视频流中的路面识别的装置，包括：具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及路面或障碍物区域检测装置，将路面信息采集装置所采集的前方路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图和U视差图，对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，在各子V视差图拟合出路面加障碍物映射线段，并根据拟合出的路面加障碍物映射线段得到路面加障碍物区域的范围，在U视差图拟合出障碍物映射线段，并根据拟合出的障碍物映射线段得到障碍物区域的范围。
【IPC分类】H04N13/00, H04N13/02
【公开号】CN104902261
【申请号】CN201410080739
【发明人】戴依若, 王文佳, 川股幸博
【申请人】株式会社日立制作所
【公开日】2015年9月9日
【申请日】2014年3月6日
最新回复(0)