车辆周围监测装置的制造方法
车辆周围监测装置的制造方法
【技术领域】
[0001]本发明涉及一种根据由车载的拍摄部得到的拍摄图像来检测车辆周围存在的对象物的车辆周围监测装置。
【背景技术】
[0002]在现有技术中，人们公知如下一种技术，即，该技术以对车辆进行行驶辅助等为目的，检测车辆外存在的物体，或者检测物体和自车辆的相对位置关系等。尤其是，在现有技术中，人们提出了各种利用安装在车辆前方的车载摄像头(拍摄部)进行拍摄、并根据拍摄得到的拍摄图像来对物体进行检测等的方法。
[0003]例如，在“夜间行人检测”，ViEW2008，视觉技术的实际利用研讨会报告论文集，p.224-p.228中记载了如下方法，即，该方法为，对整个拍摄图像进行运算时间较短且简单的I次识别处理(例如，推进法(Boosting))，提取出多个区域候选项，之后，对各区域候选项依次进行运算时间较长且详细的2次识别处理{例如，SVM (Support Vector machine)}。
[0004]虽然通过执行简单的I次识别处理，能够捕捉到(识别出)对象物的形态，但是却不能够正确地检测出对象物的位置。即，即使对于同一对象物，有时也会提取出位置等稍微不同的多个区域候选项。因此，存在如下问题:在进行2次识别处理时，不得不对同一对象物执行实质上无用的运算，从而不能够充分地减少运算量。
【发明内容】
[0005]鉴于上述情况，提出了本发明，本发明的目的在于，提供一种在进行对象物的识别处理时既能够提高识别精度又能够减少运算量的车辆周围监测装置。
[0006]本发明所涉及的车辆周围监测装置具有拍摄部、识别对象区域确定部以及对象物识别部，其中，所述拍摄部安装在车辆上，在所述车辆行驶的过程中进行拍摄，得到所述车辆周围的拍摄图像；
[0007]所述识别对象区域确定部从由所述拍摄部得到的所述拍摄图像的图像区域中确定识别对象区域；所述对象物识别部对由所述识别对象区域确定部确定的所述识别对象区域内是否存在对象物进行识别，所述对象物识别部具有第I识别器和第2识别器，其中，所述第I识别器对所述对象物进行识别处理所需的运算量相对较少，所述第2识别器对所述对象物进行识别处理所需的运算量相对较多，所述识别对象区域确定部通过对由所述第I识别器识别为有所述对象物存在而提取出的多个区域候选项进行有关位置以及/或者尺度的聚类处理，来确定至少I个用于所述第2识别器的识别处理的所述识别对象区域。
[0008]这样，对象物识别部具有对象物的识别处理所需的运算量相对较少的第I识别器和对象物的识别处理所需的运算量相对较多的第2识别器，识别对象区域确定部通过对由所述第I识别器识别为有所述对象物存在而提取出的多个的区域候选项进行有关位置以及/或者尺度的聚类处理，来确定至少I个用于所述第2识别器的识别处理的识别对象区域。从而，能够由运算量相对较多的第2识别器对被适当分类的识别对象区域进行识别处理，在进行对象物的识别处理时，既能够提高识别精度，又能够减少运算量。
[0009]另外，优选所述识别对象区域确定部将所述图像区域划分为多个子区域，并且对针对每个该子区域算出的所述区域候选项的各代表位置进行有关位置的所述聚类处理，从而确定所述识别对象区域。从而能够减少用于聚类处理的数据量(不同位置的总数)，进一步提高运算处理的速度。
[0010]再者，优选所述识别对象区域确定部根据尺度将所述多个区域候选项分为2个以上的组，并且对每个该组进行所述聚类处理，从而分别确定所述识别对象区域。这样，通过由第2识别器对根据尺度被适当分组的识别对象区域进行识别处理，从而能够减少因尺度差异而引起的误差因素，进一步提高识别精度。
[0011]还有，优选所述识别对象区域确定部通过进行至少有关位置的前期的聚类处理，将所述多个区域候选项分为至少I个位置组，之后，根据尺度，分别将属于所述至少I个位置组的各区域候选项分为所述2个以上的组，分别确定所述识别对象区域。通过使用运算量相对较少的第I识别器，能够在大致相同位置提取出尺度相近的区域候选项。因此，通过将多个区域候选项分为至少I个位置组，能够预先将尺度相近而位置相离的区域候选项除外(即，不作为识别处理对象)，从而能够进一步提高识别精度。
[0012]采用本发明所涉及的车辆周围监测装置时，对象物识别部具有对象物的识别处理所需的运算量相对较少的第I识别器和对象物的识别处理所需的运算量相对较多的第2识别器，识别对象区域确定部通过对由所述第I识别器识别为有所述对象物存在而提取出的多个区域候选项进行有关位置以及/或者尺度的聚类处理，来确定至少I个用于所述第2识别器的识别处理的识别对象区域。从而，能够由运算量相对较多的第2识别器对被适当分类的识别对象区域进行识别处理，在进行对象物的识别处理时，既能够提高识别精度，又能够减少运算量。
【附图说明】
[0013]图1是表示本发明的实施方式所涉及的车辆周围监测装置的结构的框图。
[0014]图2是安装有图1所示的车辆周围监测装置的车辆的大致立体图。
[0015]图3是用于说明图1所示的E⑶的动作的流程图。
[0016]图4A是表示通过摄像头拍摄得到的拍摄图像的一个例子的示意图。图4B是表示通过第I识别处理提取区域候选项的提取结果的示意图。
[0017]图5A-图5C是表示关于位置的聚类处理的具体方法的大致说明图。
[0018]图6A是表示通过第2识别处理确定识别对象区域的确定结果的示意图。图6B是表示监测对象物的检测结果的示意图。
[0019]图7A和图7B是表示聚类处理的结果的一个例子的大致说明图。
[0020]图8是用于说明第I改良例的聚类处理的流程图。
[0021]图9是表示图8的步骤S74中的尺度划分的具体方法的大致说明图。
[0022]图10是表示第2改良例的聚类处理的具体方法的大致说明图。
【具体实施方式】
[0023]下面，参照附图对本发明所涉及的车辆周围监测装置的【具体实施方式】进行说明。
[0024][车辆周围监测装置10的结构]
[0025]图1是表示本实施方式所涉及的车辆周围监测装置10的结构的框图。图2是安装有图1所示的车辆周围监测装置10的车辆12的大致立体图。
[0026]如图1和图2所示，车辆周围监测装置10具有:彩色摄像头(下面，仅称为“摄像头14”)，其拍摄由多个颜色通道构成的彩色图像(下面称为拍摄图像Im);车速传感器16，其检测出车辆12的车速Vs ;偏航角速度传感器18，其检测出车辆12的偏航角速度Yr ;制动传感器20，其检测出驾驶员对制动踏板的操作量Br ;电子控制装置(下面称为“ECU22”)，其控制该车辆周围监测装置10 ;扬声器24，其用于通过声音发出警报等；显示装置26，其显示由摄像头14输出的拍摄图像等。
[0027]摄像头14是主要利用波长处于可见光波长范围的光的摄像头，其作为拍摄车辆12周围的拍摄机构(拍摄部)发挥功能。摄像头14具有如下特性:由被摄物体的表面反射的光量越多，该摄像头14的输出信号水平越高，图像的亮度(例如，RGB值)也随之增加。如图2所示，摄像头14固定配置(安装)在车辆12的前保险杠部的大致中心部。
[0028]另外，对车辆12的周围 进行拍摄的拍摄机构并不局限于上述结构例(即，单眼摄像头)，例如，也可以为复眼摄像头(立体摄像头)。另外，代替彩色摄像头，可以使用黑白摄像头或者红外线摄像头，或者也可以组合使用这些摄像头。还有，在采用单眼摄像头时，可以组合使用其他的测距机构(雷达装置)。
[0029]参照图1，扬声器24根据来自E⑶22的指令，输出警报音等。扬声器24设置在车辆12的未图示的仪表板上。或者，代替扬声器24，也可以使用其他装置(例如，音频装置或者导航装置)所具有的声音输出功能。
[0030]显示装置26(参照图1和图2)为在车辆12的前挡风玻璃上、配置于不妨碍驾驶员的前方视野的位置上的HUD (平视显示器)。显示装置26并不局限于HUD，也可以利用安装在车辆12上的用于显示导航系统的地图等的显示器，或者利用设置在仪表单元内等的用于显示油耗等的显示器(MID ;多功能信息显示器)。
[0031 ] E⑶22基本上具有输入输出部28、运算部30、显示控制部32及存储部34。
[0032]来自摄像头14、车速传感器16、偏航角速度传感器18及制动传感器20的各信号通过输入输出部28被输入到ECU22。另外，来自ECU22的各信号通过输入输出部28被输出到扬声器24和显不装置26。输入输出部28具有将所输入的模拟信号转换为数字信号的未图示的A/D转换电路。
[0033]运算部30执行基于来自摄像头14、车速传感器16、偏航角速度传感器18及制动传感器20的各信号的运算，并根据运算结果，生成输出给扬声器24和显示装置26的信号。运算部30具有识别对象区域确定部40 (识别对象区域确定机构)、对象物识别部42 (对象物识别机构)及对象物检测部44的功能。
[0034]运算部30的各部的功能是通过读取并执行存储部34内存储的程序来实现的。或者，也可以通过未图示的无线通信装置(移动电话、智能手机等)从外部提供所述程序。
[0035]显示控制部32是驱动控制显示装置26的控制电路。显示控制部32通过输入输出部28将用于显示控制的信号输出给显示装置26，以驱动显示装置26。从而使显示装置26能够显示各种图像(拍摄图像Im、标识等)。
[0036]存储部34 由 RAM (Random Access Memory)和 ROM (Read Only Memory)等构成，其中，RAM存储被转换为数字信号的拍摄信号和用于各种运算处理的临时数据等；ROM存储执行程序、表格或者地图等。
[0037]本实施方式所涉及的车辆周围监测装置10基本上如上述那样构成。下面，对该车辆周围监测装置10的动作进行大致说明。
[0038]ECU22每隔规定的帧时间间隔或者周期(例如，每秒30帧)，将由摄像头14输出的模拟的影像信号转换为数字信号，并将其临时存储在存储部34内。
[0039]并且，E⑶22对从存储部34中读取出的拍摄图像Im(车辆12的前方图像)进行各种运算处理。ECU22考虑拍摄图像Im的处理结果、根据需要综合考虑表示车辆12的行驶状态的各信号(车速Vs、偏航角速度Yr及操作量Br)，检测出车辆12前方存在的人体、动物等，将这些作为要成为监测对象的物体(下面，称为“监测对象物”或者仅称为“对象物”)。
[0040]当运算部30判断为车辆12接触监测对象物的可能性较高时，E⑶22控制车辆周围监测装置10的各输出部，以唤起驾驶员的注意。ECU22例如通过扬声器24输出警报音(例如，哔哔…等声音)，并且，在显示装置26上突出显示可视化后的拍摄图像Im中的该监测对象物的部位。
[0041][车辆周围监测装置10的具体动作]
[0042]接下来，参照图3所示的流程图，对车辆周围监测装置10的具体动作进行说明。另夕卜，在车辆12正在行驶时，每拍摄一帧图像，就执行一次本处理的流程。
[0043]在步骤SI中，ECU22获取每帧的由摄像头14拍摄到的拍摄图像Im，该拍摄图像Im是关于车辆12前方(规定视角范围)的输出信号。
[0044]如图4A所示，通过在任意时刻的拍摄，得到了一帧拍摄图像Im。拍摄图像Im所示的图像区域60呈横向长度较长的矩形(例如，横向1200像素、纵向600像素)。在该图像区域60内，从左侧按顺序分别存在有邮政信箱的图像区域(下面，仅称为“信箱62”)、电线杆的图像区域(下面，仅称为“电线杆64”)、路面的图像区域(下面，仅称为“路面65”)、第I行人的图像区域(下面，仅称为“第I行人66”)及第2行人的图像区域(下面，仅称为“第2行人68”)。
[0045]在步骤S2中，运算部30开始对拍摄图像Im进行光栅扫描。这里，光栅扫描是指使拍摄图像Im内的扫描区域70沿规定的扫描方向移动的同时，对拍摄图像Im中是否存在对象物进行依次识别的方法。这里，扫描区域70相当于要对是否存在包括第I行人66在内的对象物或者该对象物的种类进行识别的感兴趣区域。
[0046]之后，识别对象区域确定部40依次对当前指定的扫描区域70的位置和尺度(大小)进行确定。在图4A所示的例子中，矩形的扫描区域70(由虚线所示图框内的区域)被设定为包括大致整个第I行人66的区域。并且，扫描区域70的位置能够根据与实际存在的路面和第I行人的接触点相对应的位置(下面，称为接触位置72)来确定。
[0047]在步骤S3中，对象物识别部42(第I识别器50)对所确定的扫描区域70内是否存在至少I种对象物进行识别。另外，“第I识别处理”意思是指对象物的识别处理所需的运算量相对较少的识别处理，后面会对该第I识别处理进行详细说明。然后，当识别结果为存在对象物时，区域候选项提取部46提取出该对象物所存在的扫描区域70，将其作为区域候选项74(参照图4B)。
[0048]在步骤S4中，识别对象区域确定部40对规定区域内的扫描是否已经全部完成进行判别。当判别结果为规定区域内的扫描还未全部完成时(步骤S4:否)，进入下一个步骤(S5)。另外，作为扫描对象的规定区域可以是整个图像区域60，也可以是该图像区域60的一部分区域。
[0049]在步骤S5中，识别对象区域确定部40对扫描区域70的位置或者尺度进行变更。具体为，识别对象区域确定部40使当前的扫描区域70向尚未进行扫描的位置移动，具体为沿规定的扫描方向(例如，右方)移动规定量(例如，I像素的量)。
[0050]之后，返回步骤S3，运算部30依次反复进行步骤S3-S5，直到规定区域内的扫描全部完成为止。当判别结果为规定区域内的扫描全部完成时(步骤S4:是)，运算部30结束对拍摄图像Im的光栅扫描(步骤S6)。
[0051]如图4B所示，在图像区域60上提取出了多个区域候选项74。这里，区域候选项群75是至少包括信箱62的部位的区域候选项74的集合体。另外，区域候选项群76是至少包括电线杆64的部位的区域候选项74的集合体。再者，区域候选项群77是至少包括第I行人66的部位的区域候选项74的集合体。还有，区域候选项群78是至少包括第2行人68的部位的区域候选项74的集合体。
[0052]这里，可识别的对象物的种类除人体(图4A中的第I行人66)夕卜，还可以为各种动物(具体为，鹿、马、羊、犬、猫等哺乳动物、鸟类等)、人工构造物(具体为，车辆、标识、电线杆、护栏、墙壁等)。在本实 施方式中，对象物识别部42要对生物体(人体或者动物)进行检测。这种情况下，通过第I识别处理，能够对第I行人66和第2行人68进行正确地识另IJ，而不能够对作为人工构造物的信箱62和电线杆64进行正确地识别。
[0053]另外，对象物识别部42通过进行简单的第I识别处理，能够捕捉到(识别出)对象物的形态，然而却不能够正确地检测出对象物的位置。即，即使对于同一对象物，有时也会提取出位置等稍微不同的多个区域候选项74。具体为，如图4B所示，在I个信箱62附近提取出了位置或者尺度不同的多个区域候选项74，形成区域候选项群75。
[0054]在步骤S7中，区域分类部48通过对在步骤S3中提取出的各区域候选项74进行聚类处理，确定至少I个识别对象区域95-98 (参照图6A)。这里，聚类处理意思是指将数据集分成或者划分为(多个)子集(类)的处理，其大致分为分层法和非分层法，其中，分层法是以分层方式对数据进行分类的方法；非分层法是按照特定的评价函数对数据进行分类的方法。
[0055]区域分类部48例如采用均值漂移法(mean shift算法)和K平均法等，对多个区域候选项74进行有关位置以及/或者尺度的聚类处理，其中，均值漂移法和K平均法等为非分层法。但是，如果采用这种方法的话，运算量与数据数量的平方大致成正比，运算量会增加，因而导致区域候选项74的总数增加时，本处理的运算时间也相应增加。因此，识别对象区域确定部40 (区域分类部48)将图像区域60划分为多个子区域80，对针对各子区域80算出(提取出)的区域候选项74的各代表位置进行有关位置的聚类处理。
[0056]如图5A所示，通过将图像区域60分割成格子状，以分别定义多个子区域80。在本图所示的例子中，矩形的图像区域60在平面上(二维空间)被平均分割，其行数为5，列数为10。在本图中，确定多个区域候选项74的位置的各候选项位置82在图像区域60上分别被标注出来。由圆圈所示的候选项位置82例如相当于区域候选项74中与路面和对象物之间的接触点相对应的接触位置72。
[0057]如图5B所示，预先划分的各子区域80的代表位置被确定。当I个子区域80内存在3个候选项位置82时，计算出这些候选项位置82的统计值(平均值)，将其作为该子区域80的代表位置，与候选项位置82的数量(3个)一起存储起来。并且，利用均值漂移法将子区域80中的最多50个代表位置划分为至少I个组。在进行该运算(分类)时，根据候选项位置82的个数，具体而言，根据图5B的矩形方格内标注的数字，分别对评价值进行加权处理。从而能够降低用于聚类处理的数据量(不同位置的总数)，进一步提高运算处理的速度。
[0058]如图5C所示，聚类处理的结果为，与4个区域候选项群75-78 (参照图4B)相对应的候选项位置群85、86、87、88分别被提取出来。并且，确定分别与各候选项位置群85-88相对应的基准位置90、91、92、93。
[0059]这样，如图6A所示，识别对象区域确定部40 (区域分类部48)根据基准位置90_93在图像区域60上确定4个识别对象区域95、96、97、98。另外，在图5A-图5C中，主要对多个区域候选项74的有关位置(横向和纵向)的聚类处理进行了说明，然而，也可以单独进行有关尺度的聚类处理，或者将两者组合起来使用。另外，适用于聚类处理的空间坐标系可以为三维空间(真实空间)坐标系，也可以为二维空间(例如，拍摄面)坐标系。
[0060]在步骤S8中，对象物识别部42 (第2识别器52)对由步骤S7确定的识别对象区域95-98内是否存在至少I种对象物进行识别。这里，“第2识别处理”意思是指对象物的识别处理所需的运算量相对较多的识别处理。下面，对第I识别处理和第2识别处理的差异进行说明。
[0061]第I识别处理(步骤S3)是运算时间相对较短的简单处理，其能够检测出对象物的形态。另外，第2识别处理(步骤S8)是运算时间相对较长的详细处理，其能够检测出对象物的形态和位置。例如，由于如下情况等而导致运算量相对增多(运算时间变长):[1]运算对象区域大；[2]图像分辨率高；[3]图像特征量的计算方法复杂；[4]图像特征量的种类多；[5]包括对象物的类别在内进行识别；[6]包括第I识别处理的所有内容；或者[7]所使用的内存量多。
[0062]第I识别器50 (或者第2识别器52)例如输入扫描区域70 (或者识别对象区域95-98)的图像特征量，输出对象物的存在与否的信息，其是利用机器学习而构成的。作为机器学习的方法，可以采用监督学习、无监督学习、强化学习中的任意一种算法。学习结构例如有包括AdaBost 的推进法(Boosting) >SVM(Support Vector machine)、神经网络(NeuralNetwork)、EM (Expectat1n Maximizat1n)算法等。
[0063]如图6B所示，对象物识别部42 (第2识别器52)分别将作为人工构造物的信箱62和电线杆64排除在识别处理对象之外，并且，分别对第I行人66和第2行人68进行识别。这样，对象物识别部42只要对被适当分类的识别对象区域95-98进行第2识别处理即可，与将所有的区域候选项74(参照图4B)作为识别处理对象的情况相比，能够大幅度地削减运算量。
[0064]在步骤S9中，对象物检测部44对拍摄图像Im内存在的对象物、在步骤S8中识别出的第I行人66和第2行人68进行检测。可以使用一帧的识别结果，或者综合考虑多帧的识别结果，计算出同一对象物的动作矢量。
[0065]在步骤SlO中，E⑶22将下次运算处理所需的数据存储在存储部34内。例如，该数据为在步骤S9中所得到的对象物(图4A中的第I行人66、第2行人68)的属性以及识别对象区域97-98的位置等。
[0066]通过依次进行该动作，车辆周围监测装置10能够间隔规定时间对车辆12前方存在的对象物进行监测。
[0067]如上所述，对象物识别部42具有对象物的识别处理所需的运算量相对较少的第I识别器50和对象物的识别处理所需的运算量相对较多的第2识别器52，识别对象区域确定部40通过对由第I识别器50识别为有对象物存在而提取出的多个的区域候选项74进行有关位置以及/或者尺度的聚类处理，来确定至少I个用于第2识别器52的识别处理的识别对象区域95-98。从而，能够由运算量相对较多的第2识别器52对被适当分类的识别对象区域95-98进行识别处理，在进行对象物的识别处理时，既能够提高识别精度，又能够减少运算量。
[0068][聚类处理的改良例]
[0069]接下来，对本实施方式所涉及的聚类处理(参照图3中的步骤S7)的改良例进行说明。
[0070]如图7A的例子所示，针对同一对象物(第2行人68)，提取出了有多个水平(级另Ij)的尺度混在一起(包含多个不同尺度的区域候选项74)的区域候选项群78。这种情况下，对横向、纵向、尺度方向同时进行聚类处理，其结果为，有时可设定具有处于上述多个水平之间的中间水平的尺度的识别对象区域99(参照图7B)。换言之，不区分多个水平的尺度进行处理的话，有时不能够设定适当尺度的识别对象区域。因此，区域分类部48可以根据尺度，将多个区域候选项74分为2个以上的组，并对各组进行聚类处理。从而，通过对根据尺度被适当分组的 识别对象区域105等(参照图9)进行第2识别处理，能够减少因尺度差异而引起的误差因素，进一步提高识别精度。
[0071]〈第I改良例〉
[0072]首先，参照图8和图9对第I改良例的聚类处理(图3中的步骤S7A)进行说明。图8是用于说明第I改良例的聚类处理的流程图。
[0073]在步骤S71中，区域分类部48通过进行至少有关位置的聚类处理(下面，称为I次聚类处理)，将各区域候选项74分为至少I个位置组。结果，各区域候选项74被分为I个位置组，即，I个区域候选项群78 (图7A)。
[0074]在步骤S72中，区域分类部48根据步骤S71的分类结果，开始进行2次聚类处理。下面，对2次聚类处理进行说明。
[0075]区域分类部48在选择了 I个尚未被选择的位置组、即区域候选项群78后(步骤S73)，对属于该位置组的各区域候选项74进行尺度划分(步骤S74)。
[0076]如图9所示，区域分类部48根据尺度将以横轴为尺度、纵轴为坐标(位置)的多维坐标上的各标记划分为2个以上的级别。从而，各区域候选项74被分为3个组101、102、103。
[0077]之后，区域分类部48对在步骤S73中被划分的各组进行有关位置以及/或者尺度的聚类处理(步骤S75)。该聚类处理与在步骤S7中进行的处理相同，因而省略对其的说明。
[0078]之后，区域分类部48返回至步骤S73(步骤S76:否)，反复进行之后的步骤S73-S75的处理。然后，当所有的位置组(区域候选项群78)被选择，聚类处理结束时(步骤S76:是)，2次聚类处理结束(步骤S77)。
[0079]从而，区域分类部48分别确定通过聚类处理被划分的各组101-103的识别对象区域105、106、107。区域分类部48能够针对同一第2行人68分别确定小尺度的识别对象区域105、中间尺度的识别对象区域106以及大尺度的识别对象区域107。
[0080]这样，识别对象区域确定部40可以通过进行至少有关位置的前期的聚类处理，将多个区域候选项74分为至少I个位置组，之后，根据尺度，分别将属于至少I个位置组的各区域候选项74分为2个以上的组，以分别确定识别对象区域105-107。
[0081]通过使用运算量相对较少的第I识别器50，能够在大致相同位置提取出尺度相近的区域候选项74。因此，通过将多个区域候选项74分为至少I个位置组，能够预先将尺度相近而位置相离的区域候选项74除外(即，不作为识别处理对象)，从而能够进一步提高识别精度。
[0082]〈第2改良例〉
[0083]接下来，参照图10对第2改良例进行说明。
[0084]如图10所示，区域分类部48根据尺度将多个区域候选项74分为2个以上的组。在本图所示的例子中，将多个区域候选项74分为区域候选项群110和区域候选项群111，其中，该区域候选项群110是尺度大于规定阈值的区域候选项74的集合体，区域候选项群111是尺度在规定阈值以下的区域候选项74的集合体。之后，区域分类部48通过对各组进行聚类处理，来确定多个识别对象区域112、113。S卩，区域分类部48能够针对同一第2行人68，分别确定较小尺度的识别对象区域112和较大尺度的识别对象区域113。
[0085]这样，在第2改良例中，只要进行与被划分的组的数量相对应的聚类处理，不仅能够提尚识别精度，还能够减少运算量。
[0086][补充]
[0087]另外，本发明并不局限于上述实施方式，当然能够在不脱离本发明的主旨的范围内，自由进行变更。
[0088]例如，在本实施方式中，对由单眼摄像头(摄像头14)得到的拍摄图像Im进行上述图像处理，然而，不言而喻，使用复眼摄像头(立体摄像头)也能够得到相同的作用效果。
【主权项】
1.一种车辆周围监测装置(10)，其特征在于，具有拍摄部(14)、识别对象区域确定部(40)以及对象物识别部(42)，其中， 所述拍摄部(14)安装在车辆(12)上，在所述车辆(12)行驶的过程中进行拍摄，得到所述车辆(12)周围的拍摄图像(Im); 所述识别对象区域确定部(40)从由所述拍摄部(14)得到的所述拍摄图像(Im)的图像区域(60)中确定识别对象区域(95-99、105-107、112、113)； 所述对象物识别部(42)对由所述识别对象区域确定部(40)确定的所述识别对象区域(95-99、105-107、112、113)内是否存在对象物(66,68)进行识别， 所述对象物识别部(42)具有第I识别器(50)和第2识别器(52)，其中，所述第I识别器(50)对所述对象物(66、68)进行识别处理所需的运算量相对较少，所述第2识别器(52)对所述对象物(66、68)进行识别处理所需的运算量相对较多， 所述识别对象区域确定部(40)通过对由所述第I识别器(50)识别为有所述对象物(66,68)存在而提取出的多个区域候选项(74)进行有关位置以及/或者尺度的聚类处理，来确定至少I个用于所述第2识别器(52)的识别处理的所述识别对象区域(95-99、105-107、112、113)。2.根据权利要求1所述的车辆周围监测装置(10)，其特征在于， 所述识别对象区域确定部(40)将所述图像区域￠0)划分为多个子区域(80)，对针对每个该子区域(80)算出的所述区域候选项(74)的各代表位置进行有关位置的所述聚类处理，从而确定所述识别对象区域(95-98)。3.根据权利要求1或2所述的车辆周围监测装置(10)，其特征在于， 所述识别对象区域确定部(40)根据尺度将所述多个区域候选项(74)分为2个以上的组(101-103)，对每个该组(101-103)进行所述聚类处理，从而分别确定所述识别对象区域(95-98)。4.根据权利要求3所述的车辆周围监测装置(10)，其特征在于， 所述识别对象区域确定部(40)通过进行至少有关位置的前期的聚类处理，将所述多个区域候选项(74)分为至少I个位置组，之后，根据尺度，分别将属于所述至少I个位置组的各区域候选项(74)分为所述2个以上的组(110、111)，以分别确定所述识别对象区域(112,113)。
【专利摘要】本发明提供一种车辆周围监测装置。对象物识别部(42)具有对象物的识别处理所需的运算量相对较少的第1识别器(50)和对象物的识别处理所需的运算量相对较多的第2识别器(52)。识别对象区域确定部(40)通过对由第1识别器(50)识别为有对象物(66、68)存在而提取出的多个的区域候选项(74)进行有关位置以及/或者尺度的聚类处理，来确定至少1个用于第2识别器(52)的识别处理的识别对象区域(95-99、105-107、112、113)。
【IPC分类】G08G1/16, H04N7/18, G06T1/00, G06T7/00, B60R1/00
【公开号】CN104885122
【申请号】CN201380067434
【发明人】宫川惠介
【申请人】本田技研工业株式会社
【公开日】2015年9月2日
【申请日】2013年9月4日
【公告号】CA2896291A1, EP2940656A1, US20150343948, WO2014103433A1
【技术领域】
[0001]本发明涉及一种根据由车载的拍摄部得到的拍摄图像来检测车辆周围存在的对象物的车辆周围监测装置。
【背景技术】
[0002]在现有技术中，人们公知如下一种技术，即，该技术以对车辆进行行驶辅助等为目的，检测车辆外存在的物体，或者检测物体和自车辆的相对位置关系等。尤其是，在现有技术中，人们提出了各种利用安装在车辆前方的车载摄像头(拍摄部)进行拍摄、并根据拍摄得到的拍摄图像来对物体进行检测等的方法。
[0003]例如，在“夜间行人检测”，ViEW2008，视觉技术的实际利用研讨会报告论文集，p.224-p.228中记载了如下方法，即，该方法为，对整个拍摄图像进行运算时间较短且简单的I次识别处理(例如，推进法(Boosting))，提取出多个区域候选项，之后，对各区域候选项依次进行运算时间较长且详细的2次识别处理{例如，SVM (Support Vector machine)}。
[0004]虽然通过执行简单的I次识别处理，能够捕捉到(识别出)对象物的形态，但是却不能够正确地检测出对象物的位置。即，即使对于同一对象物，有时也会提取出位置等稍微不同的多个区域候选项。因此，存在如下问题:在进行2次识别处理时，不得不对同一对象物执行实质上无用的运算，从而不能够充分地减少运算量。
【发明内容】
[0005]鉴于上述情况，提出了本发明，本发明的目的在于，提供一种在进行对象物的识别处理时既能够提高识别精度又能够减少运算量的车辆周围监测装置。
[0006]本发明所涉及的车辆周围监测装置具有拍摄部、识别对象区域确定部以及对象物识别部，其中，所述拍摄部安装在车辆上，在所述车辆行驶的过程中进行拍摄，得到所述车辆周围的拍摄图像；
[0007]所述识别对象区域确定部从由所述拍摄部得到的所述拍摄图像的图像区域中确定识别对象区域；所述对象物识别部对由所述识别对象区域确定部确定的所述识别对象区域内是否存在对象物进行识别，所述对象物识别部具有第I识别器和第2识别器，其中，所述第I识别器对所述对象物进行识别处理所需的运算量相对较少，所述第2识别器对所述对象物进行识别处理所需的运算量相对较多，所述识别对象区域确定部通过对由所述第I识别器识别为有所述对象物存在而提取出的多个区域候选项进行有关位置以及/或者尺度的聚类处理，来确定至少I个用于所述第2识别器的识别处理的所述识别对象区域。
[0008]这样，对象物识别部具有对象物的识别处理所需的运算量相对较少的第I识别器和对象物的识别处理所需的运算量相对较多的第2识别器，识别对象区域确定部通过对由所述第I识别器识别为有所述对象物存在而提取出的多个的区域候选项进行有关位置以及/或者尺度的聚类处理，来确定至少I个用于所述第2识别器的识别处理的识别对象区域。从而，能够由运算量相对较多的第2识别器对被适当分类的识别对象区域进行识别处理，在进行对象物的识别处理时，既能够提高识别精度，又能够减少运算量。
[0009]另外，优选所述识别对象区域确定部将所述图像区域划分为多个子区域，并且对针对每个该子区域算出的所述区域候选项的各代表位置进行有关位置的所述聚类处理，从而确定所述识别对象区域。从而能够减少用于聚类处理的数据量(不同位置的总数)，进一步提高运算处理的速度。
[0010]再者，优选所述识别对象区域确定部根据尺度将所述多个区域候选项分为2个以上的组，并且对每个该组进行所述聚类处理，从而分别确定所述识别对象区域。这样，通过由第2识别器对根据尺度被适当分组的识别对象区域进行识别处理，从而能够减少因尺度差异而引起的误差因素，进一步提高识别精度。
[0011]还有，优选所述识别对象区域确定部通过进行至少有关位置的前期的聚类处理，将所述多个区域候选项分为至少I个位置组，之后，根据尺度，分别将属于所述至少I个位置组的各区域候选项分为所述2个以上的组，分别确定所述识别对象区域。通过使用运算量相对较少的第I识别器，能够在大致相同位置提取出尺度相近的区域候选项。因此，通过将多个区域候选项分为至少I个位置组，能够预先将尺度相近而位置相离的区域候选项除外(即，不作为识别处理对象)，从而能够进一步提高识别精度。
[0012]采用本发明所涉及的车辆周围监测装置时，对象物识别部具有对象物的识别处理所需的运算量相对较少的第I识别器和对象物的识别处理所需的运算量相对较多的第2识别器，识别对象区域确定部通过对由所述第I识别器识别为有所述对象物存在而提取出的多个区域候选项进行有关位置以及/或者尺度的聚类处理，来确定至少I个用于所述第2识别器的识别处理的识别对象区域。从而，能够由运算量相对较多的第2识别器对被适当分类的识别对象区域进行识别处理，在进行对象物的识别处理时，既能够提高识别精度，又能够减少运算量。
【附图说明】
[0013]图1是表示本发明的实施方式所涉及的车辆周围监测装置的结构的框图。
[0014]图2是安装有图1所示的车辆周围监测装置的车辆的大致立体图。
[0015]图3是用于说明图1所示的E⑶的动作的流程图。
[0016]图4A是表示通过摄像头拍摄得到的拍摄图像的一个例子的示意图。图4B是表示通过第I识别处理提取区域候选项的提取结果的示意图。
[0017]图5A-图5C是表示关于位置的聚类处理的具体方法的大致说明图。
[0018]图6A是表示通过第2识别处理确定识别对象区域的确定结果的示意图。图6B是表示监测对象物的检测结果的示意图。
[0019]图7A和图7B是表示聚类处理的结果的一个例子的大致说明图。
[0020]图8是用于说明第I改良例的聚类处理的流程图。
[0021]图9是表示图8的步骤S74中的尺度划分的具体方法的大致说明图。
[0022]图10是表示第2改良例的聚类处理的具体方法的大致说明图。
【具体实施方式】
[0023]下面，参照附图对本发明所涉及的车辆周围监测装置的【具体实施方式】进行说明。
[0024][车辆周围监测装置10的结构]
[0025]图1是表示本实施方式所涉及的车辆周围监测装置10的结构的框图。图2是安装有图1所示的车辆周围监测装置10的车辆12的大致立体图。
[0026]如图1和图2所示，车辆周围监测装置10具有:彩色摄像头(下面，仅称为“摄像头14”)，其拍摄由多个颜色通道构成的彩色图像(下面称为拍摄图像Im);车速传感器16，其检测出车辆12的车速Vs ;偏航角速度传感器18，其检测出车辆12的偏航角速度Yr ;制动传感器20，其检测出驾驶员对制动踏板的操作量Br ;电子控制装置(下面称为“ECU22”)，其控制该车辆周围监测装置10 ;扬声器24，其用于通过声音发出警报等；显示装置26，其显示由摄像头14输出的拍摄图像等。
[0027]摄像头14是主要利用波长处于可见光波长范围的光的摄像头，其作为拍摄车辆12周围的拍摄机构(拍摄部)发挥功能。摄像头14具有如下特性:由被摄物体的表面反射的光量越多，该摄像头14的输出信号水平越高，图像的亮度(例如，RGB值)也随之增加。如图2所示，摄像头14固定配置(安装)在车辆12的前保险杠部的大致中心部。
[0028]另外，对车辆12的周围 进行拍摄的拍摄机构并不局限于上述结构例(即，单眼摄像头)，例如，也可以为复眼摄像头(立体摄像头)。另外，代替彩色摄像头，可以使用黑白摄像头或者红外线摄像头，或者也可以组合使用这些摄像头。还有，在采用单眼摄像头时，可以组合使用其他的测距机构(雷达装置)。
[0029]参照图1，扬声器24根据来自E⑶22的指令，输出警报音等。扬声器24设置在车辆12的未图示的仪表板上。或者，代替扬声器24，也可以使用其他装置(例如，音频装置或者导航装置)所具有的声音输出功能。
[0030]显示装置26(参照图1和图2)为在车辆12的前挡风玻璃上、配置于不妨碍驾驶员的前方视野的位置上的HUD (平视显示器)。显示装置26并不局限于HUD，也可以利用安装在车辆12上的用于显示导航系统的地图等的显示器，或者利用设置在仪表单元内等的用于显示油耗等的显示器(MID ;多功能信息显示器)。
[0031 ] E⑶22基本上具有输入输出部28、运算部30、显示控制部32及存储部34。
[0032]来自摄像头14、车速传感器16、偏航角速度传感器18及制动传感器20的各信号通过输入输出部28被输入到ECU22。另外，来自ECU22的各信号通过输入输出部28被输出到扬声器24和显不装置26。输入输出部28具有将所输入的模拟信号转换为数字信号的未图示的A/D转换电路。
[0033]运算部30执行基于来自摄像头14、车速传感器16、偏航角速度传感器18及制动传感器20的各信号的运算，并根据运算结果，生成输出给扬声器24和显示装置26的信号。运算部30具有识别对象区域确定部40 (识别对象区域确定机构)、对象物识别部42 (对象物识别机构)及对象物检测部44的功能。
[0034]运算部30的各部的功能是通过读取并执行存储部34内存储的程序来实现的。或者，也可以通过未图示的无线通信装置(移动电话、智能手机等)从外部提供所述程序。
[0035]显示控制部32是驱动控制显示装置26的控制电路。显示控制部32通过输入输出部28将用于显示控制的信号输出给显示装置26，以驱动显示装置26。从而使显示装置26能够显示各种图像(拍摄图像Im、标识等)。
[0036]存储部34 由 RAM (Random Access Memory)和 ROM (Read Only Memory)等构成，其中，RAM存储被转换为数字信号的拍摄信号和用于各种运算处理的临时数据等；ROM存储执行程序、表格或者地图等。
[0037]本实施方式所涉及的车辆周围监测装置10基本上如上述那样构成。下面，对该车辆周围监测装置10的动作进行大致说明。
[0038]ECU22每隔规定的帧时间间隔或者周期(例如，每秒30帧)，将由摄像头14输出的模拟的影像信号转换为数字信号，并将其临时存储在存储部34内。
[0039]并且，E⑶22对从存储部34中读取出的拍摄图像Im(车辆12的前方图像)进行各种运算处理。ECU22考虑拍摄图像Im的处理结果、根据需要综合考虑表示车辆12的行驶状态的各信号(车速Vs、偏航角速度Yr及操作量Br)，检测出车辆12前方存在的人体、动物等，将这些作为要成为监测对象的物体(下面，称为“监测对象物”或者仅称为“对象物”)。
[0040]当运算部30判断为车辆12接触监测对象物的可能性较高时，E⑶22控制车辆周围监测装置10的各输出部，以唤起驾驶员的注意。ECU22例如通过扬声器24输出警报音(例如，哔哔…等声音)，并且，在显示装置26上突出显示可视化后的拍摄图像Im中的该监测对象物的部位。
[0041][车辆周围监测装置10的具体动作]
[0042]接下来，参照图3所示的流程图，对车辆周围监测装置10的具体动作进行说明。另夕卜，在车辆12正在行驶时，每拍摄一帧图像，就执行一次本处理的流程。
[0043]在步骤SI中，ECU22获取每帧的由摄像头14拍摄到的拍摄图像Im，该拍摄图像Im是关于车辆12前方(规定视角范围)的输出信号。
[0044]如图4A所示，通过在任意时刻的拍摄，得到了一帧拍摄图像Im。拍摄图像Im所示的图像区域60呈横向长度较长的矩形(例如，横向1200像素、纵向600像素)。在该图像区域60内，从左侧按顺序分别存在有邮政信箱的图像区域(下面，仅称为“信箱62”)、电线杆的图像区域(下面，仅称为“电线杆64”)、路面的图像区域(下面，仅称为“路面65”)、第I行人的图像区域(下面，仅称为“第I行人66”)及第2行人的图像区域(下面，仅称为“第2行人68”)。
[0045]在步骤S2中，运算部30开始对拍摄图像Im进行光栅扫描。这里，光栅扫描是指使拍摄图像Im内的扫描区域70沿规定的扫描方向移动的同时，对拍摄图像Im中是否存在对象物进行依次识别的方法。这里，扫描区域70相当于要对是否存在包括第I行人66在内的对象物或者该对象物的种类进行识别的感兴趣区域。
[0046]之后，识别对象区域确定部40依次对当前指定的扫描区域70的位置和尺度(大小)进行确定。在图4A所示的例子中，矩形的扫描区域70(由虚线所示图框内的区域)被设定为包括大致整个第I行人66的区域。并且，扫描区域70的位置能够根据与实际存在的路面和第I行人的接触点相对应的位置(下面，称为接触位置72)来确定。
[0047]在步骤S3中，对象物识别部42(第I识别器50)对所确定的扫描区域70内是否存在至少I种对象物进行识别。另外，“第I识别处理”意思是指对象物的识别处理所需的运算量相对较少的识别处理，后面会对该第I识别处理进行详细说明。然后，当识别结果为存在对象物时，区域候选项提取部46提取出该对象物所存在的扫描区域70，将其作为区域候选项74(参照图4B)。
[0048]在步骤S4中，识别对象区域确定部40对规定区域内的扫描是否已经全部完成进行判别。当判别结果为规定区域内的扫描还未全部完成时(步骤S4:否)，进入下一个步骤(S5)。另外，作为扫描对象的规定区域可以是整个图像区域60，也可以是该图像区域60的一部分区域。
[0049]在步骤S5中，识别对象区域确定部40对扫描区域70的位置或者尺度进行变更。具体为，识别对象区域确定部40使当前的扫描区域70向尚未进行扫描的位置移动，具体为沿规定的扫描方向(例如，右方)移动规定量(例如，I像素的量)。
[0050]之后，返回步骤S3，运算部30依次反复进行步骤S3-S5，直到规定区域内的扫描全部完成为止。当判别结果为规定区域内的扫描全部完成时(步骤S4:是)，运算部30结束对拍摄图像Im的光栅扫描(步骤S6)。
[0051]如图4B所示，在图像区域60上提取出了多个区域候选项74。这里，区域候选项群75是至少包括信箱62的部位的区域候选项74的集合体。另外，区域候选项群76是至少包括电线杆64的部位的区域候选项74的集合体。再者，区域候选项群77是至少包括第I行人66的部位的区域候选项74的集合体。还有，区域候选项群78是至少包括第2行人68的部位的区域候选项74的集合体。
[0052]这里，可识别的对象物的种类除人体(图4A中的第I行人66)夕卜，还可以为各种动物(具体为，鹿、马、羊、犬、猫等哺乳动物、鸟类等)、人工构造物(具体为，车辆、标识、电线杆、护栏、墙壁等)。在本实 施方式中，对象物识别部42要对生物体(人体或者动物)进行检测。这种情况下，通过第I识别处理，能够对第I行人66和第2行人68进行正确地识另IJ，而不能够对作为人工构造物的信箱62和电线杆64进行正确地识别。
[0053]另外，对象物识别部42通过进行简单的第I识别处理，能够捕捉到(识别出)对象物的形态，然而却不能够正确地检测出对象物的位置。即，即使对于同一对象物，有时也会提取出位置等稍微不同的多个区域候选项74。具体为，如图4B所示，在I个信箱62附近提取出了位置或者尺度不同的多个区域候选项74，形成区域候选项群75。
[0054]在步骤S7中，区域分类部48通过对在步骤S3中提取出的各区域候选项74进行聚类处理，确定至少I个识别对象区域95-98 (参照图6A)。这里，聚类处理意思是指将数据集分成或者划分为(多个)子集(类)的处理，其大致分为分层法和非分层法，其中，分层法是以分层方式对数据进行分类的方法；非分层法是按照特定的评价函数对数据进行分类的方法。
[0055]区域分类部48例如采用均值漂移法(mean shift算法)和K平均法等，对多个区域候选项74进行有关位置以及/或者尺度的聚类处理，其中，均值漂移法和K平均法等为非分层法。但是，如果采用这种方法的话，运算量与数据数量的平方大致成正比，运算量会增加，因而导致区域候选项74的总数增加时，本处理的运算时间也相应增加。因此，识别对象区域确定部40 (区域分类部48)将图像区域60划分为多个子区域80，对针对各子区域80算出(提取出)的区域候选项74的各代表位置进行有关位置的聚类处理。
[0056]如图5A所示，通过将图像区域60分割成格子状，以分别定义多个子区域80。在本图所示的例子中，矩形的图像区域60在平面上(二维空间)被平均分割，其行数为5，列数为10。在本图中，确定多个区域候选项74的位置的各候选项位置82在图像区域60上分别被标注出来。由圆圈所示的候选项位置82例如相当于区域候选项74中与路面和对象物之间的接触点相对应的接触位置72。
[0057]如图5B所示，预先划分的各子区域80的代表位置被确定。当I个子区域80内存在3个候选项位置82时，计算出这些候选项位置82的统计值(平均值)，将其作为该子区域80的代表位置，与候选项位置82的数量(3个)一起存储起来。并且，利用均值漂移法将子区域80中的最多50个代表位置划分为至少I个组。在进行该运算(分类)时，根据候选项位置82的个数，具体而言，根据图5B的矩形方格内标注的数字，分别对评价值进行加权处理。从而能够降低用于聚类处理的数据量(不同位置的总数)，进一步提高运算处理的速度。
[0058]如图5C所示，聚类处理的结果为，与4个区域候选项群75-78 (参照图4B)相对应的候选项位置群85、86、87、88分别被提取出来。并且，确定分别与各候选项位置群85-88相对应的基准位置90、91、92、93。
[0059]这样，如图6A所示，识别对象区域确定部40 (区域分类部48)根据基准位置90_93在图像区域60上确定4个识别对象区域95、96、97、98。另外，在图5A-图5C中，主要对多个区域候选项74的有关位置(横向和纵向)的聚类处理进行了说明，然而，也可以单独进行有关尺度的聚类处理，或者将两者组合起来使用。另外，适用于聚类处理的空间坐标系可以为三维空间(真实空间)坐标系，也可以为二维空间(例如，拍摄面)坐标系。
[0060]在步骤S8中，对象物识别部42 (第2识别器52)对由步骤S7确定的识别对象区域95-98内是否存在至少I种对象物进行识别。这里，“第2识别处理”意思是指对象物的识别处理所需的运算量相对较多的识别处理。下面，对第I识别处理和第2识别处理的差异进行说明。
[0061]第I识别处理(步骤S3)是运算时间相对较短的简单处理，其能够检测出对象物的形态。另外，第2识别处理(步骤S8)是运算时间相对较长的详细处理，其能够检测出对象物的形态和位置。例如，由于如下情况等而导致运算量相对增多(运算时间变长):[1]运算对象区域大；[2]图像分辨率高；[3]图像特征量的计算方法复杂；[4]图像特征量的种类多；[5]包括对象物的类别在内进行识别；[6]包括第I识别处理的所有内容；或者[7]所使用的内存量多。
[0062]第I识别器50 (或者第2识别器52)例如输入扫描区域70 (或者识别对象区域95-98)的图像特征量，输出对象物的存在与否的信息，其是利用机器学习而构成的。作为机器学习的方法，可以采用监督学习、无监督学习、强化学习中的任意一种算法。学习结构例如有包括AdaBost 的推进法(Boosting) >SVM(Support Vector machine)、神经网络(NeuralNetwork)、EM (Expectat1n Maximizat1n)算法等。
[0063]如图6B所示，对象物识别部42 (第2识别器52)分别将作为人工构造物的信箱62和电线杆64排除在识别处理对象之外，并且，分别对第I行人66和第2行人68进行识别。这样，对象物识别部42只要对被适当分类的识别对象区域95-98进行第2识别处理即可，与将所有的区域候选项74(参照图4B)作为识别处理对象的情况相比，能够大幅度地削减运算量。
[0064]在步骤S9中，对象物检测部44对拍摄图像Im内存在的对象物、在步骤S8中识别出的第I行人66和第2行人68进行检测。可以使用一帧的识别结果，或者综合考虑多帧的识别结果，计算出同一对象物的动作矢量。
[0065]在步骤SlO中，E⑶22将下次运算处理所需的数据存储在存储部34内。例如，该数据为在步骤S9中所得到的对象物(图4A中的第I行人66、第2行人68)的属性以及识别对象区域97-98的位置等。
[0066]通过依次进行该动作，车辆周围监测装置10能够间隔规定时间对车辆12前方存在的对象物进行监测。
[0067]如上所述，对象物识别部42具有对象物的识别处理所需的运算量相对较少的第I识别器50和对象物的识别处理所需的运算量相对较多的第2识别器52，识别对象区域确定部40通过对由第I识别器50识别为有对象物存在而提取出的多个的区域候选项74进行有关位置以及/或者尺度的聚类处理，来确定至少I个用于第2识别器52的识别处理的识别对象区域95-98。从而，能够由运算量相对较多的第2识别器52对被适当分类的识别对象区域95-98进行识别处理，在进行对象物的识别处理时，既能够提高识别精度，又能够减少运算量。
[0068][聚类处理的改良例]
[0069]接下来，对本实施方式所涉及的聚类处理(参照图3中的步骤S7)的改良例进行说明。
[0070]如图7A的例子所示，针对同一对象物(第2行人68)，提取出了有多个水平(级另Ij)的尺度混在一起(包含多个不同尺度的区域候选项74)的区域候选项群78。这种情况下，对横向、纵向、尺度方向同时进行聚类处理，其结果为，有时可设定具有处于上述多个水平之间的中间水平的尺度的识别对象区域99(参照图7B)。换言之，不区分多个水平的尺度进行处理的话，有时不能够设定适当尺度的识别对象区域。因此，区域分类部48可以根据尺度，将多个区域候选项74分为2个以上的组，并对各组进行聚类处理。从而，通过对根据尺度被适当分组的 识别对象区域105等(参照图9)进行第2识别处理，能够减少因尺度差异而引起的误差因素，进一步提高识别精度。
[0071]〈第I改良例〉
[0072]首先，参照图8和图9对第I改良例的聚类处理(图3中的步骤S7A)进行说明。图8是用于说明第I改良例的聚类处理的流程图。
[0073]在步骤S71中，区域分类部48通过进行至少有关位置的聚类处理(下面，称为I次聚类处理)，将各区域候选项74分为至少I个位置组。结果，各区域候选项74被分为I个位置组，即，I个区域候选项群78 (图7A)。
[0074]在步骤S72中，区域分类部48根据步骤S71的分类结果，开始进行2次聚类处理。下面，对2次聚类处理进行说明。
[0075]区域分类部48在选择了 I个尚未被选择的位置组、即区域候选项群78后(步骤S73)，对属于该位置组的各区域候选项74进行尺度划分(步骤S74)。
[0076]如图9所示，区域分类部48根据尺度将以横轴为尺度、纵轴为坐标(位置)的多维坐标上的各标记划分为2个以上的级别。从而，各区域候选项74被分为3个组101、102、103。
[0077]之后，区域分类部48对在步骤S73中被划分的各组进行有关位置以及/或者尺度的聚类处理(步骤S75)。该聚类处理与在步骤S7中进行的处理相同，因而省略对其的说明。
[0078]之后，区域分类部48返回至步骤S73(步骤S76:否)，反复进行之后的步骤S73-S75的处理。然后，当所有的位置组(区域候选项群78)被选择，聚类处理结束时(步骤S76:是)，2次聚类处理结束(步骤S77)。
[0079]从而，区域分类部48分别确定通过聚类处理被划分的各组101-103的识别对象区域105、106、107。区域分类部48能够针对同一第2行人68分别确定小尺度的识别对象区域105、中间尺度的识别对象区域106以及大尺度的识别对象区域107。
[0080]这样，识别对象区域确定部40可以通过进行至少有关位置的前期的聚类处理，将多个区域候选项74分为至少I个位置组，之后，根据尺度，分别将属于至少I个位置组的各区域候选项74分为2个以上的组，以分别确定识别对象区域105-107。
[0081]通过使用运算量相对较少的第I识别器50，能够在大致相同位置提取出尺度相近的区域候选项74。因此，通过将多个区域候选项74分为至少I个位置组，能够预先将尺度相近而位置相离的区域候选项74除外(即，不作为识别处理对象)，从而能够进一步提高识别精度。
[0082]〈第2改良例〉
[0083]接下来，参照图10对第2改良例进行说明。
[0084]如图10所示，区域分类部48根据尺度将多个区域候选项74分为2个以上的组。在本图所示的例子中，将多个区域候选项74分为区域候选项群110和区域候选项群111，其中，该区域候选项群110是尺度大于规定阈值的区域候选项74的集合体，区域候选项群111是尺度在规定阈值以下的区域候选项74的集合体。之后，区域分类部48通过对各组进行聚类处理，来确定多个识别对象区域112、113。S卩，区域分类部48能够针对同一第2行人68，分别确定较小尺度的识别对象区域112和较大尺度的识别对象区域113。
[0085]这样，在第2改良例中，只要进行与被划分的组的数量相对应的聚类处理，不仅能够提尚识别精度，还能够减少运算量。
[0086][补充]
[0087]另外，本发明并不局限于上述实施方式，当然能够在不脱离本发明的主旨的范围内，自由进行变更。
[0088]例如，在本实施方式中，对由单眼摄像头(摄像头14)得到的拍摄图像Im进行上述图像处理，然而，不言而喻，使用复眼摄像头(立体摄像头)也能够得到相同的作用效果。
【主权项】
1.一种车辆周围监测装置(10)，其特征在于，具有拍摄部(14)、识别对象区域确定部(40)以及对象物识别部(42)，其中， 所述拍摄部(14)安装在车辆(12)上，在所述车辆(12)行驶的过程中进行拍摄，得到所述车辆(12)周围的拍摄图像(Im); 所述识别对象区域确定部(40)从由所述拍摄部(14)得到的所述拍摄图像(Im)的图像区域(60)中确定识别对象区域(95-99、105-107、112、113)； 所述对象物识别部(42)对由所述识别对象区域确定部(40)确定的所述识别对象区域(95-99、105-107、112、113)内是否存在对象物(66,68)进行识别， 所述对象物识别部(42)具有第I识别器(50)和第2识别器(52)，其中，所述第I识别器(50)对所述对象物(66、68)进行识别处理所需的运算量相对较少，所述第2识别器(52)对所述对象物(66、68)进行识别处理所需的运算量相对较多， 所述识别对象区域确定部(40)通过对由所述第I识别器(50)识别为有所述对象物(66,68)存在而提取出的多个区域候选项(74)进行有关位置以及/或者尺度的聚类处理，来确定至少I个用于所述第2识别器(52)的识别处理的所述识别对象区域(95-99、105-107、112、113)。2.根据权利要求1所述的车辆周围监测装置(10)，其特征在于， 所述识别对象区域确定部(40)将所述图像区域￠0)划分为多个子区域(80)，对针对每个该子区域(80)算出的所述区域候选项(74)的各代表位置进行有关位置的所述聚类处理，从而确定所述识别对象区域(95-98)。3.根据权利要求1或2所述的车辆周围监测装置(10)，其特征在于， 所述识别对象区域确定部(40)根据尺度将所述多个区域候选项(74)分为2个以上的组(101-103)，对每个该组(101-103)进行所述聚类处理，从而分别确定所述识别对象区域(95-98)。4.根据权利要求3所述的车辆周围监测装置(10)，其特征在于， 所述识别对象区域确定部(40)通过进行至少有关位置的前期的聚类处理，将所述多个区域候选项(74)分为至少I个位置组，之后，根据尺度，分别将属于所述至少I个位置组的各区域候选项(74)分为所述2个以上的组(110、111)，以分别确定所述识别对象区域(112,113)。
【专利摘要】本发明提供一种车辆周围监测装置。对象物识别部(42)具有对象物的识别处理所需的运算量相对较少的第1识别器(50)和对象物的识别处理所需的运算量相对较多的第2识别器(52)。识别对象区域确定部(40)通过对由第1识别器(50)识别为有对象物(66、68)存在而提取出的多个的区域候选项(74)进行有关位置以及/或者尺度的聚类处理，来确定至少1个用于第2识别器(52)的识别处理的识别对象区域(95-99、105-107、112、113)。
【IPC分类】G08G1/16, H04N7/18, G06T1/00, G06T7/00, B60R1/00
【公开号】CN104885122
【申请号】CN201380067434
【发明人】宫川惠介
【申请人】本田技研工业株式会社
【公开日】2015年9月2日
【申请日】2013年9月4日
【公告号】CA2896291A1, EP2940656A1, US20150343948, WO2014103433A1
最新回复(0)