三维障碍物检测方法和装置的制造方法
三维障碍物检测方法和装置的制造方法
【技术领域】
[0001] 本发明涉及一种基于双目摄像头系统和三维激光雷达的三维障碍物检测方法，能 够利用安装在车辆上的两个摄像头拍摄的影像进行前方路面识别的判断检测，并与三维激 光雷达数据融合，进行障碍物的三维数据重建。
【背景技术】
[0002] 随着汽车时代的全面来临，汽车安全技术受到越来越多的重视。其中基于传感器 的障碍物检测和识别算法在汽车安全领域中起着至关重要的作用。
[0003] 各种功能各异的传感器设备可以被用于获取各种实时路况信息。目前常用的车载 传感器主要可以分为视觉类（红外线、单目摄像机、立体摄像机等）、测距类（超声波、毫米 波雷达、激光雷达等）。每一种传感器探测技术都有其适用的场合以及受限制的方面。传 统的障碍物检测基于单一的传感器单个检测模型来获取周边环境的障碍物信息，在复杂气 候、复杂交通场景下单源信息局限性大，误差大，可靠性差具，存在着许多不足，导致无法精 确识别出障碍物，为行车安全带来了很大的隐患。以激光雷达和立体摄像机为例。三维激 光雷达传感器快速扫描整个360度视界，通常采用77GHZ或者24GHz激光脉冲，探测距离可 达150米。通过测量发射光和从物体表面反射光之间的时间差来进行探测，根据光脉冲所 需的传播时间确定物体被测距离，获取空间物体三维数据，提供激光碰到目标的点云数据。 一般来说三维激光雷达距离测量精度较高，能准确的得到车辆周边环境的三维信息，对于 目标的轮廓识别性能很高，能够为主车辆提供最直接反映客观事物的真实形态特征。并且 该传感器对天气的鲁棒性较好。但是该传感器存在一定的缺陷，一方面不能获取环境的颜 色信息，另一方面比较难区分出目标的类型，特别是在复杂环境下无法将路面和障碍物情 况区别开。立体摄像机采集环境信息丰富，能提供环境的颜色信息，可以快速获取物体的外 形、纹理信息，根据前方障碍物的轮廓有效分辨物体类型，捕捉前方目标。但是该传感器对 光照环境要求较高，具有受恶劣天气及环境因素的外界环境影响较大的天生缺陷，存在目 标缺失、模糊等问题。并且摄像机可视范围有限，会有监视盲区。
[0005] 鉴于单一类型传感器都存在一定的缺陷和不足，多传感器融合能很好的补充上述 缺陷，两者实现功能互补。目前在车辆前方障碍物检测方面广泛采用传感器融合的方法，主 要有视觉传感器和测距传感器的融合，测距传感器和惯性传感器的融合等。例如在《使用 3-D激光测距仪的目标和车辆检测及跟踪》中（中国专利申请号201110120951. 9,公开日 2011年11月23日，通用汽车环球科技运作有限责任公司申请）公开了一种基于三维激光 雷达的障碍物检测方法及其装置，采用来自底盘动态惯性传感器的仰俯角和倾侧角数据确 定先前路面状态，然后应用于激光雷达点云数据来估计地平面位置。基于点云数据结合地 平面计算障碍物的空间位置，检测和跟踪动态障碍物。但是该专利只能通过已行驶过的路 面状态来推断前方路面的状态，如果处于复杂路面情况，根据当前路面无法准确估计前方 路面时，该方法就会失去效力。
[0006] 将摄像机与激光雷达进行融合是障碍物检测领域的热门。激光雷达扫描数据和摄 像头图像信息对环境的描述具有很强的互补性，如三维激光雷达扫描数据可以快速准确地 获取物体表面密集的三维坐标，而摄像机图像包含了丰富的信息可以对目标进行分类。中 国专利申请号201310124199. 4,公开日2013年7月10日，由浙江大学申请的《一种基于双 模态数据融合的道路检测》公开了一种基于三维激光雷达和摄像机的道路检测方法，其中 根据非路区域和道路区域的颜色混合高斯模型的区别对三维点云信息中路面区域进行判 断。该专利只能通过摄像机采集的颜色特征来区分三维激光雷达扫描范围里的路面区域和 非路面区域，但是对于路面和周边环境颜色很接近的情况下该方法就很难利用颜色信息来 区分路面范围区域，检测障碍物。
[0007] 但是上述两种公开技术对于复杂的路面环境，特别是在路面区域和周边环境颜色 相近或者路面结构很复杂的情况下，这些方法无法实施用于检测路面上的障碍物。因而能 够在不同路面场景条件下实时有效地进行障碍物检测的方法及系统有很大的需求。
【发明内容】
[0008] 为了解决现有技术的上述问题提出了本发明。因此，本发明的目的是提出一种基 于双目摄像头系统和三维激光雷达的三维障碍物检测方法，能够利用安装在车辆上的两个 摄像头拍摄的影像进行前方路面识别的判断检测，并与三维激光雷达数据融合，进行障碍 物的三维数据重建。
[0009] 为了实现上述目的，根据本发明，提出了一种基于双目摄像头系统和三维激光雷 达的三维障碍物检测方法，包括：通过三维激光雷达采集周边环境信息，建立由周边信息点 构成的周边信息点云图；通过双目摄像头采集前方路面视频信息，确定最远端可检测路面 边界信息；根据所确定的最远端可检测路面边界信息确定双目摄像头系统可检测区域和双 目摄像头系统非检测区域；以及针对双目摄像头系统可检测区域内的每一个周边信息点， 根据双目摄像头系统可检测区域内的路面信息，确定该周边信息点属于障碍物还是属于路 面，以及针对双目摄像头系统非检测区域内的每一个周边信息点，根据所述最远端可检测 路面边界信息，确定该周边信息点属于障碍物还是属于路面，由此，从周边信息点云图中提 取出障碍物的正面、侧面和/或背面信息区域范围。
[0010] 优选地，所述方法还包括：将所述前方路面视频信息转化为视差图，将所述视差图 转化为一系列子V视差图和U视差图，分别对各个子V视差图和U视差图采用自适应哈夫 变换进行自适应线段拟合，从而分别拟合出障碍物映射线段，并根据分别拟合出的障碍物 映射线段，得出障碍物正面信息区域范围。
[0011] 优选地，所述方法还包括：将提取出的所述障碍物的正面、侧面和/或背面信息区 域范围与拟合后得出的所述障碍物正面信息区域范围执行区域融合，以针对障碍物形成具 有颜色特征的三维点云信息。
[0012] 优选地，所述确定最远端可检测路面边界信息的步骤包括：利用移动窗口，将所述 视差图分割为一系列子V视差图，对各个子V视差图采用自适应哈夫变换进行自适应线段 拟合，拟合出路面映射线段，确定并记录各个子视差图中的最远端路面映射线段的端点的 参数信息；根据摄像头参数信息计算出最远端路面映射线段的每个端点在世界坐标系中所 对应的实际高度和实际景深；以及根据摄像头参数信息计算出最远端路面边界在主车体坐 标系中的实际空间坐标。
[0013] 优选地，所述最远端路面映射线段的端点的参数信息包括：该端点的坐标信息和 对应的视差值。
[0014] 优选地，所述方法应用于自动挖掘车的检测。
[0015] 另外，根据本发明，提出了一种基于双目摄像头系统和三维激光雷达的三维障碍 物检测装置，包括：通过三维激光雷达采集周边环境信息，建立由周边信息点构成的周边信 息点云图的单元；通过双目摄像头采集前方路面视频信息，确定最远端可检测路面边界信 息的单元；根据所确定的最远端可检测路面边界信息确定双目摄像头系统可检测区域和双 目摄像头系统非检测区域的单元；针对双目摄像头系统可检测区域内的每一个周边信息 点，根据双目摄像头系统可检测区域内的路面信息，确定该周边信息点属于障碍物还是属 于路面，以及针对双目摄像头系统非检测区域内的每一个周边信息点，根据所述最远端可 检测路面边界信息，确定该周边信息点属于障碍物还是属于路面，由此，从周边信息点云图 中提取出障碍物的正面、侧面和/或背面信息区域范围的单元。
[0016] 本发明建立了基于包括立体摄像头装置、三维激光雷达装置在内的多种传感器用 来感知外界环境，共同捕捉主车辆前方信息，目标识别和对比，准确定位车前环境；建立多 个障碍物检测模型，并且对所属多个数据模型进行互补检测，从而有效地提取和分割复杂 环境中障碍物的有效点云，判定候选前方障碍物的存在，提取候选障碍物的物体形状参数 并且可以指示障碍物类型信息。
[0017] 本发明采用立体摄像机图像的采集与三维激光雷达数据的接收同步进行。立体摄 像机装置用于获取前方区域中的视频图像信息；三维激光雷达装置用于获取周边环境点云 图。当三维激光雷达和立体摄像机都探测到候选障碍物时，对已由立体摄像机探测到的路 面信息以及已由三维激光雷达探测到的全局点云信息相结合，通过立体摄像头所采集的路 面信息点，在三维激光雷达点云数据上获取障碍物激光雷达三维点的子集，建立障碍物的 感兴趣区域，得到不带颜色的障碍物正/侧/背面点 云区域。再将立体视觉正面彩色数据 点投影到三维激光雷达坐标系上，以非常精确方式探测到的参数执行融合，且将这些信息 作为前方障碍物的物体形状参数。
[0018] 本发明提出了一种基于立体摄像头和三维激光雷达数据融合的三维障碍物检测 方法及系统。包括：利用立体摄像头系统的障碍物正面信息和路面信息采集装置，利用立体 摄像头系统前方环境进行拍摄以区分障碍物和路面区域；利用三维激光雷达和立体摄像头 的障碍物正/侧/背面信息检测装置，基于立体摄像头所分析的路面情况，从三维激光数 据中区分出障碍物区域；障碍物信息融合装置，利用双模态数据融合出更精确的具有颜色 特征的三维点云信息。本发明实现利用传感器感知环境中障碍物，对复杂环境的鲁棒性不 受路面结构影响；能有效地提取和分割复杂环境中障碍物的有效点云；并且输出的结果可 以应用于自动驾驶挖掘车，用以判断是否对前方矿车进行机械臂操作判断。
[0019] 本发明优势在于能够在不同路面结构场景下进行有效的障碍物检测，并且克服单 源传感器获取信息可靠性差，误差大以及存在信息盲区的缺点。融合了激光雷达扫描数据 和摄像头图像信息可以获得无人驾驶车辆行驶环境更加全面的信息，提高了障碍物检测的 快速性和对复杂环境的适应能力。本装置有广泛的应用前景，可以应用于自动驾驶领域、辅 助驾驶领域或其他一些特定的场合。
【附图说明】
[0020] 通过参考以下组合附图对所采用的优选实施方式的详细描述，本发明的上述目 的、优点和特征将变得更显而易见，其中：
[0021] 图1是示出了根据本发明的实施例的用于障碍物检测的装置的构成的方框图。
[0022] 图2是示出了根据本发明的实施例产生的基于立体摄像机障碍物正面信息检测 的流程图。
[0023] 图3是示出了根据本发明的实施例产生的基于立体摄像机路面区域检测的流程 图。
[0024] 图4是示出了根据本发明的实施例产生的基于立体摄像机和三维激光雷达的障 碍物正/侧/背面信息检测的流程图。
[0025] 图5是示出了根据本发明的实施例产生的基于立体摄像机和三维激光雷达的双 模态数据融合形成的障碍物检测流程图。
[0026] 图6是示出了根据本发明的实施例产生的三维障碍物检测结果，进行的挖掘车机 械臂工作判断过程的流程图。
【具体实施方式】
[0027] 为使本发明的上述目的、特征和优点更加明显易懂，以下结合附图和具体实施例 进一步详细描述本发明。需要说明的是，附图中的各结构只是示意性的而不是限定性的，以 使本领域普通技术人员最佳地理解本发明的原理，其不一定按比例绘制。下面将结合附图 对本发明的实施例进行详细说明。
[0028] 图1是示出了根据本发明的实施例的周边环境识别驾驶辅助设备的结构的方框 图。如图1所示，根据本发明的障碍物检测装置可以包括：立体摄像头（双目摄像头）采 集装置110、三维激光雷达采集装置120、障碍物正面信息采集装置130、路面信息采集装置 140、障碍物正/侧/背面信息检测装置150、障碍物信息融合装置160以及障碍物检测输 出装置170。根据本发明，可以将该周边环境识别驾驶辅助设备安装在车辆等上，以对车辆 等在周边环境识别上的驾驶进行辅助。
[0029] 在本发明的实施例中，立体摄像头采集装置110为安装在车体的适当位置（可以 布置在汽车前挡风玻璃的上端）的立体摄像头系统，即两部（或多部）相同的摄像头系统， 采集并存储来自车体前方的视频信息。摄像头系统通常由光学系统与摄像头组成，光学系 统可以具有变倍功能、自动调焦功能等。摄像头可以采用彩色CCD(电荷耦合元件）摄像机。
[0030] 三维激光雷达采集装置120可以布置在汽车车头前部大体上正中的位置。该三维 激光雷达可以是工作在从红外到紫外光谱段的雷达系统，所使用的激光雷达可以采用脉冲 或连续波工作方式，探测方法按照探测的原理可以包括瑞利散射、拉曼散射、多普勒等。
[0031] 由此三维激光雷达所获取的障碍物的三维点云信息与立体摄像机装置所获取的 视频图像信息可以形成良好的互补和融合，从而使得可以同时感测汽车正前方60米区域 范围内路面上的障碍物，以更准确全面地获取障碍物的轮廓范围。
[0032] 下面，将参考图2,来说明根据本发明的实施例的障碍物正面信息采集装置130执 行过程。
[0033] 在步骤S310,输入立体摄像头采集装置110采集的前方路况视频信息，并将其分 帧转化为立体图像对。
[0034] 在步骤S320,对立体图像对进行立体匹配，寻找立体图像对的两个图像之间的相 对关联点，计算每个相对关联点的视差，由此，将立体图像对转化为视差图。
[0035] 在步骤S330,根据U视差生成原则，累加视差图像每一列上具有相同水平视差的 像素个数，以该个数作为对应于该像素的灰度值，将视差图转化成一幅高度是最大视差值、 宽度和原图像一致的U视差图
[0036] 接下来，在步骤S340,对U视差图通过自适应Hough变换进行线段拟合，拟合出障 碍物映射线段。
[0037] 在步骤S350,利用移动窗口对视差图进行划分生成子视差图，该窗长的宽度选择 能够确保经过V视差处理可以实时检测到障碍物和路面细节。由此，可以利用移动窗口将 上述视差图分割成一系列子视差图。
[0038] 在步骤S360,根据V视差图生成准则，将各子视差图转化为各子V视差图。
[0039] 接下来，在步骤S370,对各子V视差图进行线段拟合，拟合出障碍物映射线段。
[0040] 在步骤380,根据U视差图和各个V视差图中的障碍物映射线段信息，从图像中分 割出障碍物范围区域。并根据摄像头参数信息（相关的内部参数：左右摄像头的焦距、径 向、左摄像头内参数矩阵、右摄像头内参数矩阵；相关的外部参数：左摄像头相对世界坐标 旋转参数矩阵、右摄像头相对世界坐标旋转参数矩阵、左摄像头射影变换矩阵、右摄像头射 影变换矩阵），计算出障碍物感兴趣区域在主车体坐标系中的实际空间坐标（V，I，R， G，B)。
[0041] 需要说明的是该系统所有输出结果均统一为主车体坐标系，其中原点0位于车体 的某个定点，可以设置为三维激光雷达光源在与地面重合的平面上的投影，X轴指向车体正 右方，Y轴指向车体正上方，Z轴指向车体正前方，但是本发明并不局限于这样的坐标系定 义。上述实际空间坐标中为障碍物空间坐标信息，属于障碍物的某一点（xQ1， y〇i，zQ1，rq1，gq1，bq1)，其中该点颜色信息为（rq1，gq1，bq1)。
[0042] 这里，作为示例，利用U视差图拟合出的障碍物映射线段主要采集的是障碍物宽 度横向信息，而利用V视差图拟合出的障碍物映射线段主要采集的是障碍物高度纵向信 肩、。
[0043] 下面，将参考图3,来说明根据本发明的实施例的路面信息采集装置140执行过 程。其中大部分细节跟障碍物正面信息采集装置130部份步骤雷同。
[0044] 在步骤S410,输入立体摄像头采集装置110采集的前方路况视频信息，并将其分 帧转化为立体图像对。
[0045] 在步骤S420,对立体图像对进行立体匹配，寻找立体图像对的两个图像之间的相 对关联点，计算每个相对关联点的视差，由此，将立体图像对转化为视差图。
[0046] 在步骤S430,利用移动窗口将上述视差图分割成一系列子视差图。
[0047] 在步骤S440,根据V视差生成原则，将子视差图转化成一系列高度和原子视差图 像一致的子V视差图。
[0048] 在步骤S450,对各子V视差图进行线段拟合，拟合出路面映射线段，确定并记录各 个子视差图中的最远端路面映射线段的端点的参数信息包括：路面映射线段的端点的坐标 息和对应的视差值。
[0049] 在步骤S460,根据摄像头参数信息计算最远端路面映射线段每个端点在世界坐标 系中所对应的实际高度和实际景深。利用路面映射线段的两个端点的实际景深和实际高 度，根据数学式1，来求得该处路面相对于前一个路面的可视坡度。其中A、B表示某路面 映射线段的两个端点，在世界坐标系中所对应的实际景深可以表示为dep(A)，实际高度为 hig(A) 〇
[0051] 在步骤S470,根据摄像头参数信息计算出最远端路面边界在主车体坐标系中的实 际空间坐标（Xgf，Ygf，Zgf，0 )，此时输出结果依旧统一为主车体坐标系，该定义参考S380。 (Xgf，Yg f，Zgf)为最远端路面边界空间坐标信息，针对最远端路面边界上的某一点（Xgf，ygf， zgf，0)，其中0表示根据数学式1计算的坡度值。
[0052] 下面，将参考图4,来说明根据本发明的实施例的障碍物正/侧/背面信息检测装 置150执行过程。
[0053] 在步骤S510,输入三维激光雷达采集装置120采集的周边环境信息。在步骤S520， 建立由周边信息点构成的周边信息点云图，周边信息点的坐标由（X2,Y2,Z2)来表示。
[0054] 在步骤S530,输入立体摄像头采集装置110采集的最远端可检测路面边界信息 (Xgf，Ygf，Zgf，0)，据此确定双目摄像头系统可检测区域和双目摄像头系统非检测区域。其 中双目摄像头系统可检测区域指的是图片中可以显示的区域信息；非检测区域是指因为障 碍物的遮挡，以障碍物为车为例，车体相对于双目摄像头背面的不可视区域以及被车体遮 挡的后方区域均为双目摄像头非检测区域。
[0055] 在步骤S540和S550,对于立体摄像机可检测区域的每一个周边信息点（X2，Y2)，如 果Y2>Yg，其中Yg为立体摄像头检测的路面信息的高度，（X2，Y2，Z2)判定为障碍物，其他判定 为路面。即，根据双目摄像头系统可检测区域内的所述路面信息（现行基于双目摄像头检 测路面信息方法有平面拟合、V视差、区域生长、投影变换等），确定该周边信息点属于障碍 物还是属于路面。对于立体摄像机非检测区域的每一个周边信息点（X2，Y2)，如果Y2>Ygf+H， (X2，Y2，Z2)，则判定为障碍物，其他判定为路面。其中H=tan0X(Z2-Zgf)。即，针对双目摄像 头系统非检测区域内的每一个周边信息点，根据所述最远端可检测路面边界信息，确定该 周边信息点属于障碍物还是属于路面。
[0056] 在步骤S560,从周边信息点云图中提取并输出障碍物正/侧/背面信息区域范围 (X01,Y01,Z01)〇
[0057] 下面，将参考图5,来说明根据本发明的实施例的障碍物信息融合装置160执行过 程。
[0058] 在步骤S610和步骤S620,分别输入以上提到的障碍物正面信息区域范围 ZQ1，R，G，B)和障碍物正/侧/背面信息区域范围（\2,I，ZQ2)。
[0059]在步骤S630,对于立体摄像机可检测区域的每一个（X。，Y。)，如果ZQ1=ZQ2，（X。，Y。， Z0,R，G，B) = (X01，Y01，Z01，R，G，B)。其他（X。，Y。，Z。，R，G，B) = (X02,Y02,Z02,Null,Null,Null)。 对于立体摄像机非检测区域的每一个（XyYQ)，
[0060] (X。，Y。，ZQ，R，G，B) = (XQ2,YQ2,ZQ2,Null,Null，Null)。根据上述步骤，通过双目摄像 头系统可检测区域内的信息，来确定激光雷达信息点属于障碍物还是属于路面；针对双目 摄像头系统非检测区域内的每一个周边信息点，根据所述最远端可检测路面边界信息，确 定激光雷达信息点属于障碍物还是属于路面。
[0061] 该发明的障碍物检测输出装置170可以应用于自动驾驶挖掘车的对于向矿车放 置砂土进行实时对准，通过挖掘车上安装的立体摄像机和激光雷达，用以获取前方矿车的 图像信息，经过计算机计算分析当前矿车承载土的位置高度，自动控制挖掘车机械臂动作。 从而能有效保证挖掘臂对准质量，提高挖掘效率。
[0062] 下面，将参考图6,来简单说明根据本发明的实施例的障碍物检测输出装置170在 自动挖掘车上的延展应用。
[0063] 在步骤S810,输入基于立体摄像机和三维激光雷达双模数据的障碍物检测结果。
[0064] 在步骤S820,与已存矿车模板相匹配，判断该障碍物是否为矿车。如果不是矿车， 机械臂无动作指示。
[0065] 在步骤S830,判断当前障碍物是矿车后，通过正面信息与已存车头信息比对，判断 是否当车挖掘车正对矿车车头。如果是真，此时机械臂施工必将产生危险，所以机械臂在此 状态下接受工作指示。
[0066] 在步骤S840,与已存矿车模板作比对，根据当前检测到的矿车体积，计算当前矿车 的承载量。并识别是否已经达到承载量。如果已达到，挖掘车不进行机械臂施工。如果没 有达到，机械臂接受施工命令，进行挖土装车施工。
[0067] 以上列举了若干具体实施例来详细阐明本发明，这些个例仅说明本发明的原理及 其实施方法之用，而非对本发明的限制，在不脱离本发明的精神和范围的情况下，本领域的 技术人员还可以做出各种变形和改进。因此，本发明不应由上述实施例来限定，而应由所附 权利要求及其等价物来限定。
【主权项】
1. 一种基于双目摄像头系统和三维激光雷达的三维障碍物检测方法，包括： 通过三维激光雷达采集周边环境信息，建立由周边信息点构成的周边信息点云图； 通过双目摄像头采集前方路面视频信息，确定最远端可检测路面边界信息； 根据所确定的最远端可检测路面边界信息确定双目摄像头系统可检测区域和双目摄 像头系统非检测区域；以及 针对双目摄像头系统可检测区域内的每一个周边信息点，根据双目摄像头系统可检 测区域内的路面信息，确定该周边信息点属于障碍物还是属于路面，以及针对双目摄像头 系统非检测区域内的每一个周边信息点，根据所述最远端可检测路面边界信息，确定该周 边信息点属于障碍物还是属于路面，由此，从周边信息点云图中提取出障碍物的正面、侧面 和/或背面信息区域范围。2. 根据权利要求1所述的方法，还包括： 将所述前方路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图和U视差图，分别对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，从而 分别拟合出障碍物映射线段，并根据分别拟合出的障碍物映射线段，得出障碍物正面信息 区域范围。3. 根据权利要求2所述的方法，还包括： 将提取出的所述障碍物的正面、侧面和/或背面信息区域范围与拟合后得出的所述障 碍物正面信息区域范围执行区域融合，以针对障碍物形成具有颜色特征的三维点云信息。4. 根据权利要求1所述的方法，其中，所述确定最远端可检测路面边界信息的步骤包 括： 利用移动窗口，将所述视差图分割为一系列子V视差图，对各个子V视差图采用自适应 哈夫变换进行自适应线段拟合，拟合出路面映射线段，确定并记录各个子视差图中的最远 端路面映射线段的端点的参数信息； 根据摄像头参数信息计算出最远端路面映射线段的每个端点在世界坐标系中所对应 的实际高度和实际景深；以及 根据摄像头参数信息计算出最远端路面边界在主车体坐标系中的实际空间坐标。5. 根据权利要求1所述的方法，其中， 所述最远端路面映射线段的端点的参数信息包括：该端点的坐标信息和对应的视差 值。6. 根据权利要求1所述的方法，其中， 所述方法应用于自动挖掘车的检测。7. -种基于双目摄像头系统和三维激光雷达的三维障碍物检测装置，包括： 通过三维激光雷达采集周边环境信息，建立由周边信息点构成的周边信息点云图的单 元； 通过双目摄像头采集前方路面视频信息，确定最远端可检测路面边界信息的单元； 根据所确定的最远端可检测路面边界信息确定双目摄像头系统可检测区域和双目摄 像头系统非检测区域的单元； 针对双目摄像头系统可检测区域内的每一个周边信息点，根据双目摄像头系统可检 测区域内的路面信息，确定该周边信息点属于障碍物还是属于路面，以及针对双目摄像头
【专利摘要】本发明提出了一种基于双目摄像头系统和三维激光雷达的三维障碍物检测方法，包括：通过三维激光雷达采集周边环境信息，建立由周边信息点构成的周边信息点云图；通过双目摄像头采集前方路面视频信息，确定最远端可检测路面边界信息；根据所确定的最远端可检测路面边界信息确定双目摄像头系统可检测区域和双目摄像头系统非检测区域；以及针对可检测区域内的每一个周边信息点，根据可检测区域内的路面信息，确定该周边信息点属于障碍物还是属于路面，以及针对非检测区域内的每一个周边信息点，根据最远端可检测路面边界信息，确定该周边信息点属于障碍物还是属于路面，由此，从周边信息点云图中提取出障碍物的正面、侧面和／或背面信息区域范围。
【IPC分类】G06T7/00
【公开号】CN104899855
【申请号】CN201410080028
【发明人】戴依若, 王文佳
【申请人】株式会社日立制作所
【公开日】2015年9月9日
【申请日】2014年3月6日
【技术领域】
[0001] 本发明涉及一种基于双目摄像头系统和三维激光雷达的三维障碍物检测方法，能 够利用安装在车辆上的两个摄像头拍摄的影像进行前方路面识别的判断检测，并与三维激 光雷达数据融合，进行障碍物的三维数据重建。
【背景技术】
[0002] 随着汽车时代的全面来临，汽车安全技术受到越来越多的重视。其中基于传感器 的障碍物检测和识别算法在汽车安全领域中起着至关重要的作用。
[0003] 各种功能各异的传感器设备可以被用于获取各种实时路况信息。目前常用的车载 传感器主要可以分为视觉类（红外线、单目摄像机、立体摄像机等）、测距类（超声波、毫米 波雷达、激光雷达等）。每一种传感器探测技术都有其适用的场合以及受限制的方面。传 统的障碍物检测基于单一的传感器单个检测模型来获取周边环境的障碍物信息，在复杂气 候、复杂交通场景下单源信息局限性大，误差大，可靠性差具，存在着许多不足，导致无法精 确识别出障碍物，为行车安全带来了很大的隐患。以激光雷达和立体摄像机为例。三维激 光雷达传感器快速扫描整个360度视界，通常采用77GHZ或者24GHz激光脉冲，探测距离可 达150米。通过测量发射光和从物体表面反射光之间的时间差来进行探测，根据光脉冲所 需的传播时间确定物体被测距离，获取空间物体三维数据，提供激光碰到目标的点云数据。 一般来说三维激光雷达距离测量精度较高，能准确的得到车辆周边环境的三维信息，对于 目标的轮廓识别性能很高，能够为主车辆提供最直接反映客观事物的真实形态特征。并且 该传感器对天气的鲁棒性较好。但是该传感器存在一定的缺陷，一方面不能获取环境的颜 色信息，另一方面比较难区分出目标的类型，特别是在复杂环境下无法将路面和障碍物情 况区别开。立体摄像机采集环境信息丰富，能提供环境的颜色信息，可以快速获取物体的外 形、纹理信息，根据前方障碍物的轮廓有效分辨物体类型，捕捉前方目标。但是该传感器对 光照环境要求较高，具有受恶劣天气及环境因素的外界环境影响较大的天生缺陷，存在目 标缺失、模糊等问题。并且摄像机可视范围有限，会有监视盲区。
[0005] 鉴于单一类型传感器都存在一定的缺陷和不足，多传感器融合能很好的补充上述 缺陷，两者实现功能互补。目前在车辆前方障碍物检测方面广泛采用传感器融合的方法，主 要有视觉传感器和测距传感器的融合，测距传感器和惯性传感器的融合等。例如在《使用 3-D激光测距仪的目标和车辆检测及跟踪》中（中国专利申请号201110120951. 9,公开日 2011年11月23日，通用汽车环球科技运作有限责任公司申请）公开了一种基于三维激光 雷达的障碍物检测方法及其装置，采用来自底盘动态惯性传感器的仰俯角和倾侧角数据确 定先前路面状态，然后应用于激光雷达点云数据来估计地平面位置。基于点云数据结合地 平面计算障碍物的空间位置，检测和跟踪动态障碍物。但是该专利只能通过已行驶过的路 面状态来推断前方路面的状态，如果处于复杂路面情况，根据当前路面无法准确估计前方 路面时，该方法就会失去效力。
[0006] 将摄像机与激光雷达进行融合是障碍物检测领域的热门。激光雷达扫描数据和摄 像头图像信息对环境的描述具有很强的互补性，如三维激光雷达扫描数据可以快速准确地 获取物体表面密集的三维坐标，而摄像机图像包含了丰富的信息可以对目标进行分类。中 国专利申请号201310124199. 4,公开日2013年7月10日，由浙江大学申请的《一种基于双 模态数据融合的道路检测》公开了一种基于三维激光雷达和摄像机的道路检测方法，其中 根据非路区域和道路区域的颜色混合高斯模型的区别对三维点云信息中路面区域进行判 断。该专利只能通过摄像机采集的颜色特征来区分三维激光雷达扫描范围里的路面区域和 非路面区域，但是对于路面和周边环境颜色很接近的情况下该方法就很难利用颜色信息来 区分路面范围区域，检测障碍物。
[0007] 但是上述两种公开技术对于复杂的路面环境，特别是在路面区域和周边环境颜色 相近或者路面结构很复杂的情况下，这些方法无法实施用于检测路面上的障碍物。因而能 够在不同路面场景条件下实时有效地进行障碍物检测的方法及系统有很大的需求。
【发明内容】
[0008] 为了解决现有技术的上述问题提出了本发明。因此，本发明的目的是提出一种基 于双目摄像头系统和三维激光雷达的三维障碍物检测方法，能够利用安装在车辆上的两个 摄像头拍摄的影像进行前方路面识别的判断检测，并与三维激光雷达数据融合，进行障碍 物的三维数据重建。
[0009] 为了实现上述目的，根据本发明，提出了一种基于双目摄像头系统和三维激光雷 达的三维障碍物检测方法，包括：通过三维激光雷达采集周边环境信息，建立由周边信息点 构成的周边信息点云图；通过双目摄像头采集前方路面视频信息，确定最远端可检测路面 边界信息；根据所确定的最远端可检测路面边界信息确定双目摄像头系统可检测区域和双 目摄像头系统非检测区域；以及针对双目摄像头系统可检测区域内的每一个周边信息点， 根据双目摄像头系统可检测区域内的路面信息，确定该周边信息点属于障碍物还是属于路 面，以及针对双目摄像头系统非检测区域内的每一个周边信息点，根据所述最远端可检测 路面边界信息，确定该周边信息点属于障碍物还是属于路面，由此，从周边信息点云图中提 取出障碍物的正面、侧面和/或背面信息区域范围。
[0010] 优选地，所述方法还包括：将所述前方路面视频信息转化为视差图，将所述视差图 转化为一系列子V视差图和U视差图，分别对各个子V视差图和U视差图采用自适应哈夫 变换进行自适应线段拟合，从而分别拟合出障碍物映射线段，并根据分别拟合出的障碍物 映射线段，得出障碍物正面信息区域范围。
[0011] 优选地，所述方法还包括：将提取出的所述障碍物的正面、侧面和/或背面信息区 域范围与拟合后得出的所述障碍物正面信息区域范围执行区域融合，以针对障碍物形成具 有颜色特征的三维点云信息。
[0012] 优选地，所述确定最远端可检测路面边界信息的步骤包括：利用移动窗口，将所述 视差图分割为一系列子V视差图，对各个子V视差图采用自适应哈夫变换进行自适应线段 拟合，拟合出路面映射线段，确定并记录各个子视差图中的最远端路面映射线段的端点的 参数信息；根据摄像头参数信息计算出最远端路面映射线段的每个端点在世界坐标系中所 对应的实际高度和实际景深；以及根据摄像头参数信息计算出最远端路面边界在主车体坐 标系中的实际空间坐标。
[0013] 优选地，所述最远端路面映射线段的端点的参数信息包括：该端点的坐标信息和 对应的视差值。
[0014] 优选地，所述方法应用于自动挖掘车的检测。
[0015] 另外，根据本发明，提出了一种基于双目摄像头系统和三维激光雷达的三维障碍 物检测装置，包括：通过三维激光雷达采集周边环境信息，建立由周边信息点构成的周边信 息点云图的单元；通过双目摄像头采集前方路面视频信息，确定最远端可检测路面边界信 息的单元；根据所确定的最远端可检测路面边界信息确定双目摄像头系统可检测区域和双 目摄像头系统非检测区域的单元；针对双目摄像头系统可检测区域内的每一个周边信息 点，根据双目摄像头系统可检测区域内的路面信息，确定该周边信息点属于障碍物还是属 于路面，以及针对双目摄像头系统非检测区域内的每一个周边信息点，根据所述最远端可 检测路面边界信息，确定该周边信息点属于障碍物还是属于路面，由此，从周边信息点云图 中提取出障碍物的正面、侧面和/或背面信息区域范围的单元。
[0016] 本发明建立了基于包括立体摄像头装置、三维激光雷达装置在内的多种传感器用 来感知外界环境，共同捕捉主车辆前方信息，目标识别和对比，准确定位车前环境；建立多 个障碍物检测模型，并且对所属多个数据模型进行互补检测，从而有效地提取和分割复杂 环境中障碍物的有效点云，判定候选前方障碍物的存在，提取候选障碍物的物体形状参数 并且可以指示障碍物类型信息。
[0017] 本发明采用立体摄像机图像的采集与三维激光雷达数据的接收同步进行。立体摄 像机装置用于获取前方区域中的视频图像信息；三维激光雷达装置用于获取周边环境点云 图。当三维激光雷达和立体摄像机都探测到候选障碍物时，对已由立体摄像机探测到的路 面信息以及已由三维激光雷达探测到的全局点云信息相结合，通过立体摄像头所采集的路 面信息点，在三维激光雷达点云数据上获取障碍物激光雷达三维点的子集，建立障碍物的 感兴趣区域，得到不带颜色的障碍物正/侧/背面点 云区域。再将立体视觉正面彩色数据 点投影到三维激光雷达坐标系上，以非常精确方式探测到的参数执行融合，且将这些信息 作为前方障碍物的物体形状参数。
[0018] 本发明提出了一种基于立体摄像头和三维激光雷达数据融合的三维障碍物检测 方法及系统。包括：利用立体摄像头系统的障碍物正面信息和路面信息采集装置，利用立体 摄像头系统前方环境进行拍摄以区分障碍物和路面区域；利用三维激光雷达和立体摄像头 的障碍物正/侧/背面信息检测装置，基于立体摄像头所分析的路面情况，从三维激光数 据中区分出障碍物区域；障碍物信息融合装置，利用双模态数据融合出更精确的具有颜色 特征的三维点云信息。本发明实现利用传感器感知环境中障碍物，对复杂环境的鲁棒性不 受路面结构影响；能有效地提取和分割复杂环境中障碍物的有效点云；并且输出的结果可 以应用于自动驾驶挖掘车，用以判断是否对前方矿车进行机械臂操作判断。
[0019] 本发明优势在于能够在不同路面结构场景下进行有效的障碍物检测，并且克服单 源传感器获取信息可靠性差，误差大以及存在信息盲区的缺点。融合了激光雷达扫描数据 和摄像头图像信息可以获得无人驾驶车辆行驶环境更加全面的信息，提高了障碍物检测的 快速性和对复杂环境的适应能力。本装置有广泛的应用前景，可以应用于自动驾驶领域、辅 助驾驶领域或其他一些特定的场合。
【附图说明】
[0020] 通过参考以下组合附图对所采用的优选实施方式的详细描述，本发明的上述目 的、优点和特征将变得更显而易见，其中：
[0021] 图1是示出了根据本发明的实施例的用于障碍物检测的装置的构成的方框图。
[0022] 图2是示出了根据本发明的实施例产生的基于立体摄像机障碍物正面信息检测 的流程图。
[0023] 图3是示出了根据本发明的实施例产生的基于立体摄像机路面区域检测的流程 图。
[0024] 图4是示出了根据本发明的实施例产生的基于立体摄像机和三维激光雷达的障 碍物正/侧/背面信息检测的流程图。
[0025] 图5是示出了根据本发明的实施例产生的基于立体摄像机和三维激光雷达的双 模态数据融合形成的障碍物检测流程图。
[0026] 图6是示出了根据本发明的实施例产生的三维障碍物检测结果，进行的挖掘车机 械臂工作判断过程的流程图。
【具体实施方式】
[0027] 为使本发明的上述目的、特征和优点更加明显易懂，以下结合附图和具体实施例 进一步详细描述本发明。需要说明的是，附图中的各结构只是示意性的而不是限定性的，以 使本领域普通技术人员最佳地理解本发明的原理，其不一定按比例绘制。下面将结合附图 对本发明的实施例进行详细说明。
[0028] 图1是示出了根据本发明的实施例的周边环境识别驾驶辅助设备的结构的方框 图。如图1所示，根据本发明的障碍物检测装置可以包括：立体摄像头（双目摄像头）采 集装置110、三维激光雷达采集装置120、障碍物正面信息采集装置130、路面信息采集装置 140、障碍物正/侧/背面信息检测装置150、障碍物信息融合装置160以及障碍物检测输 出装置170。根据本发明，可以将该周边环境识别驾驶辅助设备安装在车辆等上，以对车辆 等在周边环境识别上的驾驶进行辅助。
[0029] 在本发明的实施例中，立体摄像头采集装置110为安装在车体的适当位置（可以 布置在汽车前挡风玻璃的上端）的立体摄像头系统，即两部（或多部）相同的摄像头系统， 采集并存储来自车体前方的视频信息。摄像头系统通常由光学系统与摄像头组成，光学系 统可以具有变倍功能、自动调焦功能等。摄像头可以采用彩色CCD(电荷耦合元件）摄像机。
[0030] 三维激光雷达采集装置120可以布置在汽车车头前部大体上正中的位置。该三维 激光雷达可以是工作在从红外到紫外光谱段的雷达系统，所使用的激光雷达可以采用脉冲 或连续波工作方式，探测方法按照探测的原理可以包括瑞利散射、拉曼散射、多普勒等。
[0031] 由此三维激光雷达所获取的障碍物的三维点云信息与立体摄像机装置所获取的 视频图像信息可以形成良好的互补和融合，从而使得可以同时感测汽车正前方60米区域 范围内路面上的障碍物，以更准确全面地获取障碍物的轮廓范围。
[0032] 下面，将参考图2,来说明根据本发明的实施例的障碍物正面信息采集装置130执 行过程。
[0033] 在步骤S310,输入立体摄像头采集装置110采集的前方路况视频信息，并将其分 帧转化为立体图像对。
[0034] 在步骤S320,对立体图像对进行立体匹配，寻找立体图像对的两个图像之间的相 对关联点，计算每个相对关联点的视差，由此，将立体图像对转化为视差图。
[0035] 在步骤S330,根据U视差生成原则，累加视差图像每一列上具有相同水平视差的 像素个数，以该个数作为对应于该像素的灰度值，将视差图转化成一幅高度是最大视差值、 宽度和原图像一致的U视差图
[0036] 接下来，在步骤S340,对U视差图通过自适应Hough变换进行线段拟合，拟合出障 碍物映射线段。
[0037] 在步骤S350,利用移动窗口对视差图进行划分生成子视差图，该窗长的宽度选择 能够确保经过V视差处理可以实时检测到障碍物和路面细节。由此，可以利用移动窗口将 上述视差图分割成一系列子视差图。
[0038] 在步骤S360,根据V视差图生成准则，将各子视差图转化为各子V视差图。
[0039] 接下来，在步骤S370,对各子V视差图进行线段拟合，拟合出障碍物映射线段。
[0040] 在步骤380,根据U视差图和各个V视差图中的障碍物映射线段信息，从图像中分 割出障碍物范围区域。并根据摄像头参数信息（相关的内部参数：左右摄像头的焦距、径 向、左摄像头内参数矩阵、右摄像头内参数矩阵；相关的外部参数：左摄像头相对世界坐标 旋转参数矩阵、右摄像头相对世界坐标旋转参数矩阵、左摄像头射影变换矩阵、右摄像头射 影变换矩阵），计算出障碍物感兴趣区域在主车体坐标系中的实际空间坐标（V，I，R， G，B)。
[0041] 需要说明的是该系统所有输出结果均统一为主车体坐标系，其中原点0位于车体 的某个定点，可以设置为三维激光雷达光源在与地面重合的平面上的投影，X轴指向车体正 右方，Y轴指向车体正上方，Z轴指向车体正前方，但是本发明并不局限于这样的坐标系定 义。上述实际空间坐标中为障碍物空间坐标信息，属于障碍物的某一点（xQ1， y〇i，zQ1，rq1，gq1，bq1)，其中该点颜色信息为（rq1，gq1，bq1)。
[0042] 这里，作为示例，利用U视差图拟合出的障碍物映射线段主要采集的是障碍物宽 度横向信息，而利用V视差图拟合出的障碍物映射线段主要采集的是障碍物高度纵向信 肩、。
[0043] 下面，将参考图3,来说明根据本发明的实施例的路面信息采集装置140执行过 程。其中大部分细节跟障碍物正面信息采集装置130部份步骤雷同。
[0044] 在步骤S410,输入立体摄像头采集装置110采集的前方路况视频信息，并将其分 帧转化为立体图像对。
[0045] 在步骤S420,对立体图像对进行立体匹配，寻找立体图像对的两个图像之间的相 对关联点，计算每个相对关联点的视差，由此，将立体图像对转化为视差图。
[0046] 在步骤S430,利用移动窗口将上述视差图分割成一系列子视差图。
[0047] 在步骤S440,根据V视差生成原则，将子视差图转化成一系列高度和原子视差图 像一致的子V视差图。
[0048] 在步骤S450,对各子V视差图进行线段拟合，拟合出路面映射线段，确定并记录各 个子视差图中的最远端路面映射线段的端点的参数信息包括：路面映射线段的端点的坐标 息和对应的视差值。
[0049] 在步骤S460,根据摄像头参数信息计算最远端路面映射线段每个端点在世界坐标 系中所对应的实际高度和实际景深。利用路面映射线段的两个端点的实际景深和实际高 度，根据数学式1，来求得该处路面相对于前一个路面的可视坡度。其中A、B表示某路面 映射线段的两个端点，在世界坐标系中所对应的实际景深可以表示为dep(A)，实际高度为 hig(A) 〇
[0051] 在步骤S470,根据摄像头参数信息计算出最远端路面边界在主车体坐标系中的实 际空间坐标（Xgf，Ygf，Zgf，0 )，此时输出结果依旧统一为主车体坐标系，该定义参考S380。 (Xgf，Yg f，Zgf)为最远端路面边界空间坐标信息，针对最远端路面边界上的某一点（Xgf，ygf， zgf，0)，其中0表示根据数学式1计算的坡度值。
[0052] 下面，将参考图4,来说明根据本发明的实施例的障碍物正/侧/背面信息检测装 置150执行过程。
[0053] 在步骤S510,输入三维激光雷达采集装置120采集的周边环境信息。在步骤S520， 建立由周边信息点构成的周边信息点云图，周边信息点的坐标由（X2,Y2,Z2)来表示。
[0054] 在步骤S530,输入立体摄像头采集装置110采集的最远端可检测路面边界信息 (Xgf，Ygf，Zgf，0)，据此确定双目摄像头系统可检测区域和双目摄像头系统非检测区域。其 中双目摄像头系统可检测区域指的是图片中可以显示的区域信息；非检测区域是指因为障 碍物的遮挡，以障碍物为车为例，车体相对于双目摄像头背面的不可视区域以及被车体遮 挡的后方区域均为双目摄像头非检测区域。
[0055] 在步骤S540和S550,对于立体摄像机可检测区域的每一个周边信息点（X2，Y2)，如 果Y2>Yg，其中Yg为立体摄像头检测的路面信息的高度，（X2，Y2，Z2)判定为障碍物，其他判定 为路面。即，根据双目摄像头系统可检测区域内的所述路面信息（现行基于双目摄像头检 测路面信息方法有平面拟合、V视差、区域生长、投影变换等），确定该周边信息点属于障碍 物还是属于路面。对于立体摄像机非检测区域的每一个周边信息点（X2，Y2)，如果Y2>Ygf+H， (X2，Y2，Z2)，则判定为障碍物，其他判定为路面。其中H=tan0X(Z2-Zgf)。即，针对双目摄像 头系统非检测区域内的每一个周边信息点，根据所述最远端可检测路面边界信息，确定该 周边信息点属于障碍物还是属于路面。
[0056] 在步骤S560,从周边信息点云图中提取并输出障碍物正/侧/背面信息区域范围 (X01,Y01,Z01)〇
[0057] 下面，将参考图5,来说明根据本发明的实施例的障碍物信息融合装置160执行过 程。
[0058] 在步骤S610和步骤S620,分别输入以上提到的障碍物正面信息区域范围 ZQ1，R，G，B)和障碍物正/侧/背面信息区域范围（\2,I，ZQ2)。
[0059]在步骤S630,对于立体摄像机可检测区域的每一个（X。，Y。)，如果ZQ1=ZQ2，（X。，Y。， Z0,R，G，B) = (X01，Y01，Z01，R，G，B)。其他（X。，Y。，Z。，R，G，B) = (X02,Y02,Z02,Null,Null,Null)。 对于立体摄像机非检测区域的每一个（XyYQ)，
[0060] (X。，Y。，ZQ，R，G，B) = (XQ2,YQ2,ZQ2,Null,Null，Null)。根据上述步骤，通过双目摄像 头系统可检测区域内的信息，来确定激光雷达信息点属于障碍物还是属于路面；针对双目 摄像头系统非检测区域内的每一个周边信息点，根据所述最远端可检测路面边界信息，确 定激光雷达信息点属于障碍物还是属于路面。
[0061] 该发明的障碍物检测输出装置170可以应用于自动驾驶挖掘车的对于向矿车放 置砂土进行实时对准，通过挖掘车上安装的立体摄像机和激光雷达，用以获取前方矿车的 图像信息，经过计算机计算分析当前矿车承载土的位置高度，自动控制挖掘车机械臂动作。 从而能有效保证挖掘臂对准质量，提高挖掘效率。
[0062] 下面，将参考图6,来简单说明根据本发明的实施例的障碍物检测输出装置170在 自动挖掘车上的延展应用。
[0063] 在步骤S810,输入基于立体摄像机和三维激光雷达双模数据的障碍物检测结果。
[0064] 在步骤S820,与已存矿车模板相匹配，判断该障碍物是否为矿车。如果不是矿车， 机械臂无动作指示。
[0065] 在步骤S830,判断当前障碍物是矿车后，通过正面信息与已存车头信息比对，判断 是否当车挖掘车正对矿车车头。如果是真，此时机械臂施工必将产生危险，所以机械臂在此 状态下接受工作指示。
[0066] 在步骤S840,与已存矿车模板作比对，根据当前检测到的矿车体积，计算当前矿车 的承载量。并识别是否已经达到承载量。如果已达到，挖掘车不进行机械臂施工。如果没 有达到，机械臂接受施工命令，进行挖土装车施工。
[0067] 以上列举了若干具体实施例来详细阐明本发明，这些个例仅说明本发明的原理及 其实施方法之用，而非对本发明的限制，在不脱离本发明的精神和范围的情况下，本领域的 技术人员还可以做出各种变形和改进。因此，本发明不应由上述实施例来限定，而应由所附 权利要求及其等价物来限定。
【主权项】
1. 一种基于双目摄像头系统和三维激光雷达的三维障碍物检测方法，包括： 通过三维激光雷达采集周边环境信息，建立由周边信息点构成的周边信息点云图； 通过双目摄像头采集前方路面视频信息，确定最远端可检测路面边界信息； 根据所确定的最远端可检测路面边界信息确定双目摄像头系统可检测区域和双目摄 像头系统非检测区域；以及 针对双目摄像头系统可检测区域内的每一个周边信息点，根据双目摄像头系统可检 测区域内的路面信息，确定该周边信息点属于障碍物还是属于路面，以及针对双目摄像头 系统非检测区域内的每一个周边信息点，根据所述最远端可检测路面边界信息，确定该周 边信息点属于障碍物还是属于路面，由此，从周边信息点云图中提取出障碍物的正面、侧面 和/或背面信息区域范围。2. 根据权利要求1所述的方法，还包括： 将所述前方路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图和U视差图，分别对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，从而 分别拟合出障碍物映射线段，并根据分别拟合出的障碍物映射线段，得出障碍物正面信息 区域范围。3. 根据权利要求2所述的方法，还包括： 将提取出的所述障碍物的正面、侧面和/或背面信息区域范围与拟合后得出的所述障 碍物正面信息区域范围执行区域融合，以针对障碍物形成具有颜色特征的三维点云信息。4. 根据权利要求1所述的方法，其中，所述确定最远端可检测路面边界信息的步骤包 括： 利用移动窗口，将所述视差图分割为一系列子V视差图，对各个子V视差图采用自适应 哈夫变换进行自适应线段拟合，拟合出路面映射线段，确定并记录各个子视差图中的最远 端路面映射线段的端点的参数信息； 根据摄像头参数信息计算出最远端路面映射线段的每个端点在世界坐标系中所对应 的实际高度和实际景深；以及 根据摄像头参数信息计算出最远端路面边界在主车体坐标系中的实际空间坐标。5. 根据权利要求1所述的方法，其中， 所述最远端路面映射线段的端点的参数信息包括：该端点的坐标信息和对应的视差 值。6. 根据权利要求1所述的方法，其中， 所述方法应用于自动挖掘车的检测。7. -种基于双目摄像头系统和三维激光雷达的三维障碍物检测装置，包括： 通过三维激光雷达采集周边环境信息，建立由周边信息点构成的周边信息点云图的单 元； 通过双目摄像头采集前方路面视频信息，确定最远端可检测路面边界信息的单元； 根据所确定的最远端可检测路面边界信息确定双目摄像头系统可检测区域和双目摄 像头系统非检测区域的单元； 针对双目摄像头系统可检测区域内的每一个周边信息点，根据双目摄像头系统可检 测区域内的路面信息，确定该周边信息点属于障碍物还是属于路面，以及针对双目摄像头
【专利摘要】本发明提出了一种基于双目摄像头系统和三维激光雷达的三维障碍物检测方法，包括：通过三维激光雷达采集周边环境信息，建立由周边信息点构成的周边信息点云图；通过双目摄像头采集前方路面视频信息，确定最远端可检测路面边界信息；根据所确定的最远端可检测路面边界信息确定双目摄像头系统可检测区域和双目摄像头系统非检测区域；以及针对可检测区域内的每一个周边信息点，根据可检测区域内的路面信息，确定该周边信息点属于障碍物还是属于路面，以及针对非检测区域内的每一个周边信息点，根据最远端可检测路面边界信息，确定该周边信息点属于障碍物还是属于路面，由此，从周边信息点云图中提取出障碍物的正面、侧面和／或背面信息区域范围。
【IPC分类】G06T7/00
【公开号】CN104899855
【申请号】CN201410080028
【发明人】戴依若, 王文佳
【申请人】株式会社日立制作所
【公开日】2015年9月9日
【申请日】2014年3月6日
最新回复(0)