车辆周围监测装置的制作方法
专利名称：车辆周围监测装置的制作方法
技术领域：
本发明涉及一种车辆周围监测装置，其利用红外线摄像头拍到的图像监测车辆的周围情况。更具体地讲，本发明涉及一种对上述图像进行二值图像处理而抽出被监测对象的车辆周围监测装置。
背景技术：
在现有技术中，有人提出以下一种装置将红外线摄像头搭载在车辆上，对由上述红外线摄像头拍到的图像进行二值图像处理而抽出行人或其他动物等温度较高的被监测对象。在日本发明专利公报特开2003-216949号(专利文献1)中提出如下一种方法制作由红外线摄像头拍到的图像的灰度值直方图，再根据该灰度值直方图确定用来划分成背景图像和被监测对象图像的阈值。用所述阈值进行二值图像处理时可区分出温度较高的被监测对象和背景并抽出该被监测对象。
专利文献1 日本发明专利公报特开2003-216949号 在车辆的周围除行人或其他动物等生物之外还可能存在电线杆或墙壁等人工构筑物。为了将行人或其他动物等生物作为温度较高的被监测对象而使其与背景分离并抽出时，在二值图像处理中须将上述人工构筑物分类为背景。但是，人工构筑物根据其种类或设置情况和周围温度等车辆周围环境的不同而有所差异，因此，有时人工构筑物的温度比除它以外的背景部分的温度高，这样即使采用上述现有技术中的方法，也有可能出现将人工构筑物分类为温度较高的被监测对象的问题。因此，人们希望提供一种被监测对象抽出方法，所述方法与车辆周围环境无关，能在二值图像处理时从背景中精准地分离并抽出该被监测对象。
发明内容
为实现上述目的，本发明的一个技术方案中所述的车辆周围监测装置，其用搭载在车辆上的红外线摄像头拍到的图像监测车辆的周围情况，由该车辆周围监测装置测出车外气温，再求出根据该车外气温推测到的被监测对象表面温度和该车外气温的温差，然后根据图像中背景灰度值和对应于上述温差的灰度差求出该图像中该被监测对象的灰度值， 最后以该被监测对象的灰度值为阈值对由红外线摄像头拍到的图像进行二值图像处理而抽出该被监测对象。
被监测对象表面温度以及车外气温之间的关系是预先确定好的，因此可以根据车外气温推测该表面温度。本发明基于该构思而完成。求出根据测出的车外气温推测到的被监测对象表面温度和该车外气温的温差。由于考虑到背景灰度值应与车外气温对应，所以可根据该背景灰度值和对应于该温差的灰度值求出对应于被监测对象的灰度值。以求出的被监测对象的灰度值为阈值对图像进行二值图像处理时，可从除被监测对象之外的背景部分中精准地分离并抽出该被监测对象。因此，若以行人为被监测对象时，由于行人的表面温度和车外气温之间的关系是预先确定好的，所以本发明能够防止错误地将人工构筑物作为被监测对象而抽出的情况出现。
关于本发明的其他技术特征和优点，可以通过以下的详细说明来了解。
图1是根据本发明的一个实施例表示车辆周围监测装置的结构的框图。
图2是根据本发明的一个实施例说明摄像头安装位置的示意图。
图3是根据本发明的一个实施例表示图像处理单元中的图像处理过程的流程图。
图4是根据本发明的一个实施例确定车外气温以及被监测对象的表面温度之间的关系的图(表)的示意图。
图5是根据本发明的一个实施例说明二值图像处理中的阈值设定方法的示意图。
图6是表示比较现有技术中的二值图像和由本发明的一个实施例所得的二值图像的示意图。
图7是根据本发明的一个实施例说明对图像中被监测对象的大小进行推测的示意图。
图8是根据本发明的一个实施例说明被监测对象区域设定和被监测对象判定的示意图。
图9是根据本发明的一个实施例说明被监测对象区域设定的其他方法的示意图。
图10是根据本发明的一个实施例说明根据路面温度来设定二值图像处理时阈值的设定方法的示意图。
具体实施例方式下面，参照
本发明的实施方式。
图1是根据本发明的一个实施例表示车辆周围监测装置的结构的框图。该装置具有2个红外线摄像头IR和1L，它们均搭载在车辆上，可测出远红外线；传感器5，由其测出车辆周围车外气体的温度(车外气温)；图像处理单元2，由其根据摄像头IR以及IL拍到的图像数据测出车辆前方的被监测对象；扬声器3，根据上述测出结果，由该扬声器3发出声音警报。平视显示装置(以下称为HUD)4，其既显示由摄像头IR或IL拍到的图像又进行可以使驾驶员察觉到在车辆前方存在被监测对象的显示。
如图2所示，摄像头IR和IL设置车辆10的前部，并且位于以通过车辆10的车辆宽度中心的中心轴呈轴对称的位置上。摄像头IR和IL的光轴呈互相平行状态且距离路面的高度相等，它们以此方式固定在车辆上。红外线摄像头IR和IL具有如下特性相比背景温度，被监测对象的温度越高，其输出信号的强度越高(即，拍到的图像中的灰度值越大)。
图像处理单元2具有A/D变换电路，由其将被输入的模拟信号变换为数字信号； 图像存储器，由其存储经数字处理过的图像信号；中央处理器(CPU)，由其进行各种运算处理；RAM(随机存储器)，当CPU进行各种运算处理时，由该RAM(随机存储器)存储各种数据；ROM(只读存储器)，由其存储运行CPU时用到的程序和数据(包括表格、图(表))；输出电路，由其向扬声器3输出驱动信号以及向HUD4输出显示信号等。由摄像头IR和IL输出的信号以及传感器5输出的信号变换为数字信号而传送给CPU。如图2所示，HUD4设置在车辆10的前挡风玻璃上，其用来在驾驶员的前方位置显示画面如。这样，驾驶员就可查看显示在HUD 4上的画面内容 图3是表示由图像处理单元2进行处理的流程图。所述处理每隔规定的时间间隔进行一次。
在步骤Sll S13中，接收由摄像头IR和IL输出的输出信号(即，拍到的图像数据)，并对其进行A/D变换且将其存储在图像存储器中。被存储的图像数据为包含灰度信息的灰度图像。
在以下步骤S14 S19中进行可在二值图像处理中从背景中分离并抽出所需要的被监测对象的处理。在本实施例中以行人作为所需要的被监测对象进行说明。
在步骤S14中，获取由车外气温传感器5测出的车外气温i(°C )。在步骤S15中确定背景灰度值Tb。可采用任何所需的合适的方法确定背景灰度值。在本实施例中根据灰度图像制作灰度值直方图，用最高度数的灰度值作为背景灰度值Tb。其原因在于图像中通常背景所占的面积最大。
在步骤S16中，根据测出的车外气温i对照如图4中所示的图(表)。这里对该图 (表)进行说明。由于行人头部、主要是脸部皮肤暴露在空气中，所以该部位是阻碍热源较少的部位。因此，着眼于暴露在空气中的头部表面。通过实验或模拟实验等方法调查头部表面的温度(以下称为表面温度)fa(°C)和车外气温i(°C)之间的关系时，了解到两者之间具有图4所示的关系。在该图中，横轴表示车外气温i (°C )，纵轴表示表面温度fa(°C )。 如该图(表)所示，可由车外气温i推测表面温度fa。
表面温度fa与车外气温i如曲线101般相关，车外气温i越高表面温度fa也越高。对于车辆所处的车外气温i，用曲线101和线103 (其为表示fa= i的直线)的差表示表面温度fa(i)与车外气温i的差，该差被称为表面温差并用F(i)表示。即，F(i)=表面温度fa (i)_车外气温i。如图(表)所示，表面温差F(i)具有车外气温i的增高而减小的趋势。
为提高被监测对象的抽出精度，在本实施例中，以F(i)为中心设定规定的余量范围(界限)T(°c)。该余量范围的上限用虚线IOlU表示，该上限与车外气温i的差表示为 F(i)max0该余量范围的下限用虚线IOlL表示，该下限与车外气温i的差表示为F(i)min。
图4所示的图(表)预先存储在图像处理单元2的存储器中，图像处理单元2根据测出的车外气温i(°C)对照图4中所示的图(表)求出与车外气温i对应的表面温度 fa，再求出该表面温度fa和车外气温i之间的表面温差F(i)，最后用规定的余量范围T求出相对于该表面温差F(i)的上限值F(i)max和下限值F(i)min。这里，余量范围T可随车外气温i的不同而改变，也可以是恒定的。
也可用以下计算方法代替上述计算方法将相对于各车外气温i的表面温差F (i) 的上限值F (i) max以及下限值F (i) min存储在存储器中，跳过由车外气温i计算表面温度 fa的步骤而直接由车外气温i计算上限值F⑴max以及下限值F(i)min。
返回图3，在步骤S17中，求出对应于表面温差F(i)的上限值F(i)max以及下限值F(i)min的灰度差。根据远红外线摄像头的规格的不同，其灰度值变化程度相对于温度变化程度的比值是确定的，用参数SiTF表示所述比值。这样，如下式(1)所示，可对应于表面温差F(i)的上限值F⑴max以及下限值F(i)min分别求出灰度差的上限值dTmax以及下限值dTmin。
dTmax = S i TF X F (i) max dTmin = SiTFXF(i)min (1) 在步骤S18中，求出用来进行二值图像处理的阈值。在此参照图5时，表示在步骤 S13中获取的灰度图像的灰度值直方图的一个例子。如上所述，在步骤S15中，最高度数的灰度值(峰值灰度值)被设定为背景灰度值Tb。由于可考虑背景灰度值Tb应与车外气温 i对应，所以如下式(2)所示，相对于车外气温i而具有表面温差F(i)的上限值F(i)max的表面温度，其灰度值Tcmax相对于背景灰度值Tb具有灰度差的上限值dTmax。同样，相对于车外气温i具有表面温差F (i)的上限值F(i)min的表面温度，其灰度值Tcmin相对于背景灰度值1 具有灰度差的下限值dTmin。
Tcmax = Tb+dTmax Tcmin = Tb+dTmin (2) 上限灰度值Tcmax和下限灰度值Tcmin被设定为二值图像处理时的阈值。图5中表示有由这两个阈值划定的区域111，该区域111是用来抽出被监测对象的灰度区域。
在步骤S19中，用在步骤S18中设定的阈值对从步骤S13中获取的灰度图像(本实施例中用由摄像头IR拍到的图像，但也可以用由摄像头IL拍到的图像)进行二值图像处理。对于拍到的图像中的各像素，该像素的灰度值在灰度区域111内时判定为是应被抽出的被监测对象，并将该像素作为数值1的白色区域，该像素的灰度值在灰度区域111外时则判定为是背景，并将该像素作为数值0的黑色区域。
这里，参照图6时，其为模拟表示图像的示意图。图6中(a)表示灰度图像(由摄像头拍到的图像)，在该图中用所涂阴影种类的不同表示其灰度不同。图6中(b)表示采用现有技术中的方法进行二值图像处理后的图像。图6中(c)表示采用上述步骤S14 S19 中的方法进行二值图像处理后的图像。图中的黑色区域表示涂过阴影的区域。
在灰度图像中，除拍到了行人121以外，还拍到了电线杆125或汽车127等人工构筑物。在现有技术中，如图6中(b)所示，出现过以下情况根据用于二值图像处理的阈值， 将这些人工构筑物125、127也作为与行人一样的被监测对象而抽出。即，将其作为白色区域而抽出。
相对于此，采用本发明中的上述方法时，其推测对应于车外气温的被监测对象 (本实施例中是行人)的表面温度，并根据该推测到的表面温度与车外气温的差设定被监测对象的灰度区域。因此如图6中(c)白色区域131所示，可只抽出行人121的头部部分 (以下将该区域称为头部区域)。因此，即使如图6中(a)所示人工构筑物125和行人121 重叠时，也可像图6中(c)所示般容易地只抽出行人121。像这样，采用本发明时可从除被监测对象之外的背景部分中精准地分离并抽出该被监测对象。
返回图3，在步骤S20中，根据所抽出的头部区域的大小推测与图像中对应的行人的全身大小。该推测过程可采用任何所需的合适的方法来实现，在此具体说明其中的一个例子。
参照图7时，在图7中(a)中，用黑色区域表示二值图像中被抽出的头部区域，其宽度用由像素数表示)表示。例如可在头部区域设定外接四边形以求出该宽度W。用虚线表示行人的除头部以外的部分，该部分为尚未被抽出的部分。在步骤S20中，以推测行人在图像中的高度h(由像素数表示)为目的。
6 为完成上述推测工作，如图7中(b)所示，预先设定实际空间中的行人的一般尺寸、即设定头部宽度Wa和身高Ha。Wa和Ha例如可基于成年人的平均值数值来设定(例如 Wa为20 (cm)、Ha为160 170 (cm)以内的数值)。
另外，图7中(c)是在平面TL内表示摄像头IR和被监测对象的设置关系的示意图，图7中(d)是在平面TL内表示摄像头IR和被监测对象的设置关系的示意图。这里，X 表示车辆10的车宽方向，Y表示车辆10的车高方向，Z表示从车辆10朝向被监测对象的距离方向。摄像头IR具有摄像元件IlR和镜头12R。符号f表示镜头12R的焦距。
参照图7中(c)，当到被监测对象的距离为Z(cm)时，可根据下式(3)求出距离Z。 这里，式中的pew为X方向上的像素间隔、即一个像素的长度(cm)。
Z = Wa Xf/(w X pew)(3) 如图7中(d)所示，可根据下式(4)并利用距离Z求出行人在图像中的高度h(cm)。 这里，式中的pch为Y方向上的像素间隔、即一个像素的长度(cm)。
h = (Ha/pch) X f/Z (4) 这样就可推测出与图像中对应的行人的大小，S卩，其具有宽度w和高度h。另外，考虑到与头部宽度相比，由于一般情况下人们广泛使用身体宽度，所以可用头部区域的宽度w 加上规定的余量数值而得的数值来代替上述宽度ι 返回图3，在步骤S21中，根据在步骤S20中推测到的行人大小数值，在图像(可以是灰度图像，也可以是二值图像)中设定被监测对象区域。这里，参照图8中(a)时，显示有如上所述的被抽出的头部区域131。如粗框部分所示，被监测对象区域141设定方法如下其宽度为该头部区域131的宽度w，高度为从头部区域131的顶点(图中的y坐标值为 yu)起的高度h。这样，可确定图像中与被监测对象对应的位置。
返回图3，在本实施方式中，通过运行步骤S22而完成对被设定的被监测对象区域 141的被监测对象判定处理，以判定该被监测对象区域141中被拍到的被监测对象是否是行人。例如，可以采用公知的形状匹配法等任何所需的合适的被监测对象判定方法判定行人(例如日本专利公开公报特开2007-264778号)。用灰度图像进行上述处理。图8中(b) 表示有根据上述形状判定法判定的行人151。
若在步骤S22中判定被监测对象为行人时进入步骤S23进行警报判定处理。在该处理中判定实际上是否要向驾驶员发出警报，如果该判断结果为是时则发出警报。
例如根据制动传感器(未图示)的输出信号来判别车辆的驾驶员是否操作了制动器。当未操作制动器时可发出警报。所发出的警报既包括由扬声器3发出的声音警报，又包括由HUD4的画面显示的如由摄像头IR拍到的图像，其中突出显示有行人。突出显示的方法可以采用任何所需的合适的方法，例如可由带颜色的框包围而突出显示。这样就能可靠地让驾驶员察觉到存在于车辆前方的行人。另外，也可采用警报或图像显示的其中任何一种方法来发出警报。
作为上述步骤S20的其他方法，也可用头部区域131的高度(可用外接于头部区域131的四边形的高度，用像素数表示)和头部与身高的比值求出与图像中对应的行人的高度。例如，头部区域131的高度为tib，成年人头部与身高的平均比值为1/7时，可推测为行人的高度为h = 7Χ1Λ。
另外，作为步骤S20和S21的其他方法，由头部区域131的下部区域的灰度值判定路面以确定被监测对象区域141。参照图9简单说明该方法，图9中(a)是灰度图像(图中省略了头部区域131以外的部分)，在被抽出的头部区域131的下面设定具有规定尺寸的遮掩部161，求出被该遮掩部覆盖的区域内的灰度值的方差(也可用作为方差的平方根的标准偏差来代替它)。因考虑到被拍到的路面为灰度值基本相同的图像区域，所以方差大于规定数值时可判定为由该遮掩部设定的区域不是路面。此时，如图9中(b)所示，使遮掩部 161向下移动并再次计算方差。一边向下移动遮掩部161 —边反复进行该处理。当由该遮掩部覆盖的区域中只有路面时显示较小的方差。如图9中(c)所示，若可求出方差低于规定数值时的遮掩部161的位置，将该遮掩部161位置和该遮掩部161的上次位置(用虚线表示)之间的分界线(y坐标值为yb)判断为被监测对象区域141的底边。这样就可抽出被监测对象区域141，其宽度为w，高度为从头部区域顶部(y坐标为yu)到该分界线之间的距离。
在上述实施例的灰度值直方图中，将最高度数的灰度值设定为背景灰度值Tb并使之与车外气温对应。也可用以下方法代替上述方法区分车外气温和路面温度以确定背景灰度值Tb，即，摄像头如图2所示般设置在车辆前方时，由于拍到的图像中路面所占的面积较大，所以在一般情况下，可使最高度数的灰度值与路面温度对应。因此，预先以图(表) 形式(未图示)确定路面温度和车外气温之间的关系并且将其存储在存储器中。该关系可通过实验或模拟实验等方法来获得。
根据测出的车外气温i并参照该图(表)而求出与之对应的路面温度R。再求出路面温度R与车外气温i的温差。用上述参数SiFT将该温差变换为灰度差dTi。在此，参照图10时其表示有同图5 —样的灰度值直方图。最高度数的较高灰度值Tr与路面温度R 对应。一般情况下由于路面温度R比车外气温i高，所以只需从路面灰度值Tr中减去求出的灰度差dTi部分就可求出对应于车外气温i的灰度值，并且将其作为图3的步骤S15中的背景灰度值Tb。另外，当车外气温i高于路面温度R时，只需将路面灰度值Tr加上灰度差 dTi而求出对应于车外气温的灰度值Ti即可。对于背景灰度值Tb，可由具有灰度差dTmax 和dTmin的灰度值Tcmax和Tcmin确定被监测对象的灰度区域。这样经区分车外气温和路面温度可更准确地求出背景灰度值。因此，可以更加适当地设定二值图像处理时所使用的阈值，从而能够提高被监测对象的抽出精度。
由于路面温度和车外气温之间的温差有可能出现以下问题其随天气状况(是否是晴天、风速、降雨量等)或从日落开始随所经过的时间等外部环境参数值的变动而变化， 所以也可优选根据预先设定的外部环境参数值分别制作成图(表)并存储起来，进而使用对应于出车日的外部环境参数值的图(表)。
同样，图4中的图(表)也可根据每个天气状况等外部环境参数值设定并存储在存储器中。例如分别制作对应于风速在规定数值以上的日子或不是该情况的日子的图 (表)并存储起来，进而使用对应于出车日的风速的图(表)。
另外，如参照图4所说明的那样，对表面温差F(i)设定了用来确定余量范围T的上限值F(i)maX以及下限值F(i)min。像这样设定余量范围时就可设定二值图像处理时的阈值，从而能可靠且精准地抽出被监测对象。但也可用以下方法代替上述方法无需设定上述余量范围T，而是求出对应于表面温差F (i)的灰度差dT，并且用它加上背景灰度值Tb而求出被监测对象的灰度值Tc。可将灰度值Tc作为阈值进行二值图像处理。例如将具有与灰度值"Tc 一致的灰度值的像素判定为被监测对象并设定为白色区域，将具有与灰度值"Tc 不同的灰度值的像素判定为不是被监测对象并设定为黑色区域。另外，也可将以灰度值Tc 为中心的规定范围设定为被监测对象的灰度区域。
还有，在上述实施例中，以经二值图像处理而应被抽出的被监测对象是行人为例进行了说明。但是被监测对象也可以是动物等其他生物。例如对规定的其他动物而言，通过实验或模拟实验等而预先制作成图3所示的图(表)，再利用该图(表)设定如上所述的二值图像处理时的阈值。当被监测对象是其他动物时，由于它们几乎整个身体暴露在空气中的情况较多，所以在图3的步骤S19中所进行的二值图像处理中它们的整个身体将会被抽出。因此也可进行如下处理跳过步骤S20和S21，在步骤S22中在被抽出的区域中进行形状判定等处理，进而判定被监测对象是否是其他动物，如果判定为是其他动物则在步骤S23 中进行警报判定处理。
另外，如图3所示，由于本发明可适用于具有表面温度的被监测对象，因此，本发明中的被监测对象并不局限于一定是人或其他动物等生物。其中，所述表面温度与车外气温之间的关系可预先经实验或模拟实验确定下来。 附图标记说明
1R、1L 红外线摄像头(摄像机构)；2:图像处理单元；3:扬声器；4:平视显示装置。
权利要求
1.一种车辆周围监测装置，其用搭载在车辆上的红外线摄像头拍到的图像监测车辆的周围情况，其特征在于，具有车外气温检测机构，由其测出所述车辆的车外气温；温差求出机构，由其求出根据所述车外气温推测到的被监测对象的表面温度和该车外气温之间的温差；被监测对象灰度值求出机构，由其根据所述图像中的背景灰度值和对应于所述温差的灰度值求出该图像中的该被监测对象的灰度值；被监测对象抽出机构，其以所述被监测对象的灰度值为阈值对由所述红外线摄像头拍到的图像进行二值图像处理，进而抽出所述被监测对象。
2.根据权利要求1所述的车辆周围监测装置，其特征在于，作为所述推测到的被监测对象的表面温度，具有上限表面温度和下限表面温度，由所述温差求出机构既求出所述推测到的上限表面温度和所述车外气温之间的第一温差又求出所述推测到的下限表面温度和所述车外气温之间的第二温差，由所述被监测对象灰度值求出机构既根据所述背景灰度值以及与所述求出的第一温差对应的灰度差求出所述图像中该被监测对象的上限灰度值，又根据所述背景灰度值以及与所述求出的第二温差对应的灰度差求出该图像中该被监测对象的下限灰度值，由所述被监测对象抽出机构用作为所述阈值的所述上限灰度值和所述下限灰度值，再根据所述图像中的各个灰度值是否处于该下限灰度值和该上限灰度值之间的判定结果对该图像进行二值图像处理。
3.根据权利要求1或2所述的车辆周围监测装置，其特征在于，具有路面温度推测机构，由其根据所述车外气温推测路面温度；灰度值求出机构，由其根据对应于所述路面温度和所述车外气温的温差的灰度差，对所述图像中的灰度值直方图中最高度数的灰度值进行修正，从而求出与该车外气温对应的灰度值，将与所述车外气温对应的灰度值设定为所述背景灰度值。
全文摘要
本发明提供一种车辆周围监测装置，其能从背景中精准地分离并抽出车辆周围的被监测对象。由车辆周围监测装置测出车外气温，再求出根据该车外气温推测到的被监测对象的表面温度和该车外气温的温差，然后根据图像中背景灰度值和对应于该温差的灰度差求出该被监测对象的灰度值，最后以该被监测对象的灰度值作为阈值对图像进行二值图像处理而抽出该被监测对象。由于根据车外气温和被监测对象的表面温度之间的关系设定二值图像处理时的阈值，所以能够从背景中精准地分离并抽出被监测对象。
文档编号G06T1/00GK102197418SQ20098014218
公开日2011年9月21日 申请日期2009年10月8日 优先权日2008年10月24日
发明者松田幸大, 长冈伸治, 高津户泉 申请人:本田技研工业株式会社
技术领域：
本发明涉及一种车辆周围监测装置，其利用红外线摄像头拍到的图像监测车辆的周围情况。更具体地讲，本发明涉及一种对上述图像进行二值图像处理而抽出被监测对象的车辆周围监测装置。
背景技术：
在现有技术中，有人提出以下一种装置将红外线摄像头搭载在车辆上，对由上述红外线摄像头拍到的图像进行二值图像处理而抽出行人或其他动物等温度较高的被监测对象。在日本发明专利公报特开2003-216949号(专利文献1)中提出如下一种方法制作由红外线摄像头拍到的图像的灰度值直方图，再根据该灰度值直方图确定用来划分成背景图像和被监测对象图像的阈值。用所述阈值进行二值图像处理时可区分出温度较高的被监测对象和背景并抽出该被监测对象。
专利文献1 日本发明专利公报特开2003-216949号 在车辆的周围除行人或其他动物等生物之外还可能存在电线杆或墙壁等人工构筑物。为了将行人或其他动物等生物作为温度较高的被监测对象而使其与背景分离并抽出时，在二值图像处理中须将上述人工构筑物分类为背景。但是，人工构筑物根据其种类或设置情况和周围温度等车辆周围环境的不同而有所差异，因此，有时人工构筑物的温度比除它以外的背景部分的温度高，这样即使采用上述现有技术中的方法，也有可能出现将人工构筑物分类为温度较高的被监测对象的问题。因此，人们希望提供一种被监测对象抽出方法，所述方法与车辆周围环境无关，能在二值图像处理时从背景中精准地分离并抽出该被监测对象。
发明内容
为实现上述目的，本发明的一个技术方案中所述的车辆周围监测装置，其用搭载在车辆上的红外线摄像头拍到的图像监测车辆的周围情况，由该车辆周围监测装置测出车外气温，再求出根据该车外气温推测到的被监测对象表面温度和该车外气温的温差，然后根据图像中背景灰度值和对应于上述温差的灰度差求出该图像中该被监测对象的灰度值， 最后以该被监测对象的灰度值为阈值对由红外线摄像头拍到的图像进行二值图像处理而抽出该被监测对象。
被监测对象表面温度以及车外气温之间的关系是预先确定好的，因此可以根据车外气温推测该表面温度。本发明基于该构思而完成。求出根据测出的车外气温推测到的被监测对象表面温度和该车外气温的温差。由于考虑到背景灰度值应与车外气温对应，所以可根据该背景灰度值和对应于该温差的灰度值求出对应于被监测对象的灰度值。以求出的被监测对象的灰度值为阈值对图像进行二值图像处理时，可从除被监测对象之外的背景部分中精准地分离并抽出该被监测对象。因此，若以行人为被监测对象时，由于行人的表面温度和车外气温之间的关系是预先确定好的，所以本发明能够防止错误地将人工构筑物作为被监测对象而抽出的情况出现。
关于本发明的其他技术特征和优点，可以通过以下的详细说明来了解。
图1是根据本发明的一个实施例表示车辆周围监测装置的结构的框图。
图2是根据本发明的一个实施例说明摄像头安装位置的示意图。
图3是根据本发明的一个实施例表示图像处理单元中的图像处理过程的流程图。
图4是根据本发明的一个实施例确定车外气温以及被监测对象的表面温度之间的关系的图(表)的示意图。
图5是根据本发明的一个实施例说明二值图像处理中的阈值设定方法的示意图。
图6是表示比较现有技术中的二值图像和由本发明的一个实施例所得的二值图像的示意图。
图7是根据本发明的一个实施例说明对图像中被监测对象的大小进行推测的示意图。
图8是根据本发明的一个实施例说明被监测对象区域设定和被监测对象判定的示意图。
图9是根据本发明的一个实施例说明被监测对象区域设定的其他方法的示意图。
图10是根据本发明的一个实施例说明根据路面温度来设定二值图像处理时阈值的设定方法的示意图。
具体实施例方式下面，参照
本发明的实施方式。
图1是根据本发明的一个实施例表示车辆周围监测装置的结构的框图。该装置具有2个红外线摄像头IR和1L，它们均搭载在车辆上，可测出远红外线；传感器5，由其测出车辆周围车外气体的温度(车外气温)；图像处理单元2，由其根据摄像头IR以及IL拍到的图像数据测出车辆前方的被监测对象；扬声器3，根据上述测出结果，由该扬声器3发出声音警报。平视显示装置(以下称为HUD)4，其既显示由摄像头IR或IL拍到的图像又进行可以使驾驶员察觉到在车辆前方存在被监测对象的显示。
如图2所示，摄像头IR和IL设置车辆10的前部，并且位于以通过车辆10的车辆宽度中心的中心轴呈轴对称的位置上。摄像头IR和IL的光轴呈互相平行状态且距离路面的高度相等，它们以此方式固定在车辆上。红外线摄像头IR和IL具有如下特性相比背景温度，被监测对象的温度越高，其输出信号的强度越高(即，拍到的图像中的灰度值越大)。
图像处理单元2具有A/D变换电路，由其将被输入的模拟信号变换为数字信号； 图像存储器，由其存储经数字处理过的图像信号；中央处理器(CPU)，由其进行各种运算处理；RAM(随机存储器)，当CPU进行各种运算处理时，由该RAM(随机存储器)存储各种数据；ROM(只读存储器)，由其存储运行CPU时用到的程序和数据(包括表格、图(表))；输出电路，由其向扬声器3输出驱动信号以及向HUD4输出显示信号等。由摄像头IR和IL输出的信号以及传感器5输出的信号变换为数字信号而传送给CPU。如图2所示，HUD4设置在车辆10的前挡风玻璃上，其用来在驾驶员的前方位置显示画面如。这样，驾驶员就可查看显示在HUD 4上的画面内容 图3是表示由图像处理单元2进行处理的流程图。所述处理每隔规定的时间间隔进行一次。
在步骤Sll S13中，接收由摄像头IR和IL输出的输出信号(即，拍到的图像数据)，并对其进行A/D变换且将其存储在图像存储器中。被存储的图像数据为包含灰度信息的灰度图像。
在以下步骤S14 S19中进行可在二值图像处理中从背景中分离并抽出所需要的被监测对象的处理。在本实施例中以行人作为所需要的被监测对象进行说明。
在步骤S14中，获取由车外气温传感器5测出的车外气温i(°C )。在步骤S15中确定背景灰度值Tb。可采用任何所需的合适的方法确定背景灰度值。在本实施例中根据灰度图像制作灰度值直方图，用最高度数的灰度值作为背景灰度值Tb。其原因在于图像中通常背景所占的面积最大。
在步骤S16中，根据测出的车外气温i对照如图4中所示的图(表)。这里对该图 (表)进行说明。由于行人头部、主要是脸部皮肤暴露在空气中，所以该部位是阻碍热源较少的部位。因此，着眼于暴露在空气中的头部表面。通过实验或模拟实验等方法调查头部表面的温度(以下称为表面温度)fa(°C)和车外气温i(°C)之间的关系时，了解到两者之间具有图4所示的关系。在该图中，横轴表示车外气温i (°C )，纵轴表示表面温度fa(°C )。 如该图(表)所示，可由车外气温i推测表面温度fa。
表面温度fa与车外气温i如曲线101般相关，车外气温i越高表面温度fa也越高。对于车辆所处的车外气温i，用曲线101和线103 (其为表示fa= i的直线)的差表示表面温度fa(i)与车外气温i的差，该差被称为表面温差并用F(i)表示。即，F(i)=表面温度fa (i)_车外气温i。如图(表)所示，表面温差F(i)具有车外气温i的增高而减小的趋势。
为提高被监测对象的抽出精度，在本实施例中，以F(i)为中心设定规定的余量范围(界限)T(°c)。该余量范围的上限用虚线IOlU表示，该上限与车外气温i的差表示为 F(i)max0该余量范围的下限用虚线IOlL表示，该下限与车外气温i的差表示为F(i)min。
图4所示的图(表)预先存储在图像处理单元2的存储器中，图像处理单元2根据测出的车外气温i(°C)对照图4中所示的图(表)求出与车外气温i对应的表面温度 fa，再求出该表面温度fa和车外气温i之间的表面温差F(i)，最后用规定的余量范围T求出相对于该表面温差F(i)的上限值F(i)max和下限值F(i)min。这里，余量范围T可随车外气温i的不同而改变，也可以是恒定的。
也可用以下计算方法代替上述计算方法将相对于各车外气温i的表面温差F (i) 的上限值F (i) max以及下限值F (i) min存储在存储器中，跳过由车外气温i计算表面温度 fa的步骤而直接由车外气温i计算上限值F⑴max以及下限值F(i)min。
返回图3，在步骤S17中，求出对应于表面温差F(i)的上限值F(i)max以及下限值F(i)min的灰度差。根据远红外线摄像头的规格的不同，其灰度值变化程度相对于温度变化程度的比值是确定的，用参数SiTF表示所述比值。这样，如下式(1)所示，可对应于表面温差F(i)的上限值F⑴max以及下限值F(i)min分别求出灰度差的上限值dTmax以及下限值dTmin。
dTmax = S i TF X F (i) max dTmin = SiTFXF(i)min (1) 在步骤S18中，求出用来进行二值图像处理的阈值。在此参照图5时，表示在步骤 S13中获取的灰度图像的灰度值直方图的一个例子。如上所述，在步骤S15中，最高度数的灰度值(峰值灰度值)被设定为背景灰度值Tb。由于可考虑背景灰度值Tb应与车外气温 i对应，所以如下式(2)所示，相对于车外气温i而具有表面温差F(i)的上限值F(i)max的表面温度，其灰度值Tcmax相对于背景灰度值Tb具有灰度差的上限值dTmax。同样，相对于车外气温i具有表面温差F (i)的上限值F(i)min的表面温度，其灰度值Tcmin相对于背景灰度值1 具有灰度差的下限值dTmin。
Tcmax = Tb+dTmax Tcmin = Tb+dTmin (2) 上限灰度值Tcmax和下限灰度值Tcmin被设定为二值图像处理时的阈值。图5中表示有由这两个阈值划定的区域111，该区域111是用来抽出被监测对象的灰度区域。
在步骤S19中，用在步骤S18中设定的阈值对从步骤S13中获取的灰度图像(本实施例中用由摄像头IR拍到的图像，但也可以用由摄像头IL拍到的图像)进行二值图像处理。对于拍到的图像中的各像素，该像素的灰度值在灰度区域111内时判定为是应被抽出的被监测对象，并将该像素作为数值1的白色区域，该像素的灰度值在灰度区域111外时则判定为是背景，并将该像素作为数值0的黑色区域。
这里，参照图6时，其为模拟表示图像的示意图。图6中(a)表示灰度图像(由摄像头拍到的图像)，在该图中用所涂阴影种类的不同表示其灰度不同。图6中(b)表示采用现有技术中的方法进行二值图像处理后的图像。图6中(c)表示采用上述步骤S14 S19 中的方法进行二值图像处理后的图像。图中的黑色区域表示涂过阴影的区域。
在灰度图像中，除拍到了行人121以外，还拍到了电线杆125或汽车127等人工构筑物。在现有技术中，如图6中(b)所示，出现过以下情况根据用于二值图像处理的阈值， 将这些人工构筑物125、127也作为与行人一样的被监测对象而抽出。即，将其作为白色区域而抽出。
相对于此，采用本发明中的上述方法时，其推测对应于车外气温的被监测对象 (本实施例中是行人)的表面温度，并根据该推测到的表面温度与车外气温的差设定被监测对象的灰度区域。因此如图6中(c)白色区域131所示，可只抽出行人121的头部部分 (以下将该区域称为头部区域)。因此，即使如图6中(a)所示人工构筑物125和行人121 重叠时，也可像图6中(c)所示般容易地只抽出行人121。像这样，采用本发明时可从除被监测对象之外的背景部分中精准地分离并抽出该被监测对象。
返回图3，在步骤S20中，根据所抽出的头部区域的大小推测与图像中对应的行人的全身大小。该推测过程可采用任何所需的合适的方法来实现，在此具体说明其中的一个例子。
参照图7时，在图7中(a)中，用黑色区域表示二值图像中被抽出的头部区域，其宽度用由像素数表示)表示。例如可在头部区域设定外接四边形以求出该宽度W。用虚线表示行人的除头部以外的部分，该部分为尚未被抽出的部分。在步骤S20中，以推测行人在图像中的高度h(由像素数表示)为目的。
6 为完成上述推测工作，如图7中(b)所示，预先设定实际空间中的行人的一般尺寸、即设定头部宽度Wa和身高Ha。Wa和Ha例如可基于成年人的平均值数值来设定(例如 Wa为20 (cm)、Ha为160 170 (cm)以内的数值)。
另外，图7中(c)是在平面TL内表示摄像头IR和被监测对象的设置关系的示意图，图7中(d)是在平面TL内表示摄像头IR和被监测对象的设置关系的示意图。这里，X 表示车辆10的车宽方向，Y表示车辆10的车高方向，Z表示从车辆10朝向被监测对象的距离方向。摄像头IR具有摄像元件IlR和镜头12R。符号f表示镜头12R的焦距。
参照图7中(c)，当到被监测对象的距离为Z(cm)时，可根据下式(3)求出距离Z。 这里，式中的pew为X方向上的像素间隔、即一个像素的长度(cm)。
Z = Wa Xf/(w X pew)(3) 如图7中(d)所示，可根据下式(4)并利用距离Z求出行人在图像中的高度h(cm)。 这里，式中的pch为Y方向上的像素间隔、即一个像素的长度(cm)。
h = (Ha/pch) X f/Z (4) 这样就可推测出与图像中对应的行人的大小，S卩，其具有宽度w和高度h。另外，考虑到与头部宽度相比，由于一般情况下人们广泛使用身体宽度，所以可用头部区域的宽度w 加上规定的余量数值而得的数值来代替上述宽度ι 返回图3，在步骤S21中，根据在步骤S20中推测到的行人大小数值，在图像(可以是灰度图像，也可以是二值图像)中设定被监测对象区域。这里，参照图8中(a)时，显示有如上所述的被抽出的头部区域131。如粗框部分所示，被监测对象区域141设定方法如下其宽度为该头部区域131的宽度w，高度为从头部区域131的顶点(图中的y坐标值为 yu)起的高度h。这样，可确定图像中与被监测对象对应的位置。
返回图3，在本实施方式中，通过运行步骤S22而完成对被设定的被监测对象区域 141的被监测对象判定处理，以判定该被监测对象区域141中被拍到的被监测对象是否是行人。例如，可以采用公知的形状匹配法等任何所需的合适的被监测对象判定方法判定行人(例如日本专利公开公报特开2007-264778号)。用灰度图像进行上述处理。图8中(b) 表示有根据上述形状判定法判定的行人151。
若在步骤S22中判定被监测对象为行人时进入步骤S23进行警报判定处理。在该处理中判定实际上是否要向驾驶员发出警报，如果该判断结果为是时则发出警报。
例如根据制动传感器(未图示)的输出信号来判别车辆的驾驶员是否操作了制动器。当未操作制动器时可发出警报。所发出的警报既包括由扬声器3发出的声音警报，又包括由HUD4的画面显示的如由摄像头IR拍到的图像，其中突出显示有行人。突出显示的方法可以采用任何所需的合适的方法，例如可由带颜色的框包围而突出显示。这样就能可靠地让驾驶员察觉到存在于车辆前方的行人。另外，也可采用警报或图像显示的其中任何一种方法来发出警报。
作为上述步骤S20的其他方法，也可用头部区域131的高度(可用外接于头部区域131的四边形的高度，用像素数表示)和头部与身高的比值求出与图像中对应的行人的高度。例如，头部区域131的高度为tib，成年人头部与身高的平均比值为1/7时，可推测为行人的高度为h = 7Χ1Λ。
另外，作为步骤S20和S21的其他方法，由头部区域131的下部区域的灰度值判定路面以确定被监测对象区域141。参照图9简单说明该方法，图9中(a)是灰度图像(图中省略了头部区域131以外的部分)，在被抽出的头部区域131的下面设定具有规定尺寸的遮掩部161，求出被该遮掩部覆盖的区域内的灰度值的方差(也可用作为方差的平方根的标准偏差来代替它)。因考虑到被拍到的路面为灰度值基本相同的图像区域，所以方差大于规定数值时可判定为由该遮掩部设定的区域不是路面。此时，如图9中(b)所示，使遮掩部 161向下移动并再次计算方差。一边向下移动遮掩部161 —边反复进行该处理。当由该遮掩部覆盖的区域中只有路面时显示较小的方差。如图9中(c)所示，若可求出方差低于规定数值时的遮掩部161的位置，将该遮掩部161位置和该遮掩部161的上次位置(用虚线表示)之间的分界线(y坐标值为yb)判断为被监测对象区域141的底边。这样就可抽出被监测对象区域141，其宽度为w，高度为从头部区域顶部(y坐标为yu)到该分界线之间的距离。
在上述实施例的灰度值直方图中，将最高度数的灰度值设定为背景灰度值Tb并使之与车外气温对应。也可用以下方法代替上述方法区分车外气温和路面温度以确定背景灰度值Tb，即，摄像头如图2所示般设置在车辆前方时，由于拍到的图像中路面所占的面积较大，所以在一般情况下，可使最高度数的灰度值与路面温度对应。因此，预先以图(表) 形式(未图示)确定路面温度和车外气温之间的关系并且将其存储在存储器中。该关系可通过实验或模拟实验等方法来获得。
根据测出的车外气温i并参照该图(表)而求出与之对应的路面温度R。再求出路面温度R与车外气温i的温差。用上述参数SiFT将该温差变换为灰度差dTi。在此，参照图10时其表示有同图5 —样的灰度值直方图。最高度数的较高灰度值Tr与路面温度R 对应。一般情况下由于路面温度R比车外气温i高，所以只需从路面灰度值Tr中减去求出的灰度差dTi部分就可求出对应于车外气温i的灰度值，并且将其作为图3的步骤S15中的背景灰度值Tb。另外，当车外气温i高于路面温度R时，只需将路面灰度值Tr加上灰度差 dTi而求出对应于车外气温的灰度值Ti即可。对于背景灰度值Tb，可由具有灰度差dTmax 和dTmin的灰度值Tcmax和Tcmin确定被监测对象的灰度区域。这样经区分车外气温和路面温度可更准确地求出背景灰度值。因此，可以更加适当地设定二值图像处理时所使用的阈值，从而能够提高被监测对象的抽出精度。
由于路面温度和车外气温之间的温差有可能出现以下问题其随天气状况(是否是晴天、风速、降雨量等)或从日落开始随所经过的时间等外部环境参数值的变动而变化， 所以也可优选根据预先设定的外部环境参数值分别制作成图(表)并存储起来，进而使用对应于出车日的外部环境参数值的图(表)。
同样，图4中的图(表)也可根据每个天气状况等外部环境参数值设定并存储在存储器中。例如分别制作对应于风速在规定数值以上的日子或不是该情况的日子的图 (表)并存储起来，进而使用对应于出车日的风速的图(表)。
另外，如参照图4所说明的那样，对表面温差F(i)设定了用来确定余量范围T的上限值F(i)maX以及下限值F(i)min。像这样设定余量范围时就可设定二值图像处理时的阈值，从而能可靠且精准地抽出被监测对象。但也可用以下方法代替上述方法无需设定上述余量范围T，而是求出对应于表面温差F (i)的灰度差dT，并且用它加上背景灰度值Tb而求出被监测对象的灰度值Tc。可将灰度值Tc作为阈值进行二值图像处理。例如将具有与灰度值"Tc 一致的灰度值的像素判定为被监测对象并设定为白色区域，将具有与灰度值"Tc 不同的灰度值的像素判定为不是被监测对象并设定为黑色区域。另外，也可将以灰度值Tc 为中心的规定范围设定为被监测对象的灰度区域。
还有，在上述实施例中，以经二值图像处理而应被抽出的被监测对象是行人为例进行了说明。但是被监测对象也可以是动物等其他生物。例如对规定的其他动物而言，通过实验或模拟实验等而预先制作成图3所示的图(表)，再利用该图(表)设定如上所述的二值图像处理时的阈值。当被监测对象是其他动物时，由于它们几乎整个身体暴露在空气中的情况较多，所以在图3的步骤S19中所进行的二值图像处理中它们的整个身体将会被抽出。因此也可进行如下处理跳过步骤S20和S21，在步骤S22中在被抽出的区域中进行形状判定等处理，进而判定被监测对象是否是其他动物，如果判定为是其他动物则在步骤S23 中进行警报判定处理。
另外，如图3所示，由于本发明可适用于具有表面温度的被监测对象，因此，本发明中的被监测对象并不局限于一定是人或其他动物等生物。其中，所述表面温度与车外气温之间的关系可预先经实验或模拟实验确定下来。 附图标记说明
1R、1L 红外线摄像头(摄像机构)；2:图像处理单元；3:扬声器；4:平视显示装置。
权利要求
1.一种车辆周围监测装置，其用搭载在车辆上的红外线摄像头拍到的图像监测车辆的周围情况，其特征在于，具有车外气温检测机构，由其测出所述车辆的车外气温；温差求出机构，由其求出根据所述车外气温推测到的被监测对象的表面温度和该车外气温之间的温差；被监测对象灰度值求出机构，由其根据所述图像中的背景灰度值和对应于所述温差的灰度值求出该图像中的该被监测对象的灰度值；被监测对象抽出机构，其以所述被监测对象的灰度值为阈值对由所述红外线摄像头拍到的图像进行二值图像处理，进而抽出所述被监测对象。
2.根据权利要求1所述的车辆周围监测装置，其特征在于，作为所述推测到的被监测对象的表面温度，具有上限表面温度和下限表面温度，由所述温差求出机构既求出所述推测到的上限表面温度和所述车外气温之间的第一温差又求出所述推测到的下限表面温度和所述车外气温之间的第二温差，由所述被监测对象灰度值求出机构既根据所述背景灰度值以及与所述求出的第一温差对应的灰度差求出所述图像中该被监测对象的上限灰度值，又根据所述背景灰度值以及与所述求出的第二温差对应的灰度差求出该图像中该被监测对象的下限灰度值，由所述被监测对象抽出机构用作为所述阈值的所述上限灰度值和所述下限灰度值，再根据所述图像中的各个灰度值是否处于该下限灰度值和该上限灰度值之间的判定结果对该图像进行二值图像处理。
3.根据权利要求1或2所述的车辆周围监测装置，其特征在于，具有路面温度推测机构，由其根据所述车外气温推测路面温度；灰度值求出机构，由其根据对应于所述路面温度和所述车外气温的温差的灰度差，对所述图像中的灰度值直方图中最高度数的灰度值进行修正，从而求出与该车外气温对应的灰度值，将与所述车外气温对应的灰度值设定为所述背景灰度值。
全文摘要
本发明提供一种车辆周围监测装置，其能从背景中精准地分离并抽出车辆周围的被监测对象。由车辆周围监测装置测出车外气温，再求出根据该车外气温推测到的被监测对象的表面温度和该车外气温的温差，然后根据图像中背景灰度值和对应于该温差的灰度差求出该被监测对象的灰度值，最后以该被监测对象的灰度值作为阈值对图像进行二值图像处理而抽出该被监测对象。由于根据车外气温和被监测对象的表面温度之间的关系设定二值图像处理时的阈值，所以能够从背景中精准地分离并抽出被监测对象。
文档编号G06T1/00GK102197418SQ20098014218
公开日2011年9月21日 申请日期2009年10月8日 优先权日2008年10月24日
发明者松田幸大, 长冈伸治, 高津户泉 申请人:本田技研工业株式会社
最新回复(0)