检测图像中的规则形状的方法及其装置的制造方法

检测图像中的规则形状的方法及其装置的制造方法
【技术领域】
[0001]本发明总体地涉及图像处理，特别涉及检测图像中规则形状的方法和装置。
【背景技术】
[0002]现实世界中存在各种具有规则形状的对象，例如图1所示的各种交通标志。
[0003]规则形状是指各个边相等且各个内角度数相等的形状。
[0004]已经提出了一些检测规则形状或存在一定对称性的形状的方法。
[0005]例如，在2006年公开的美国专利申请公开US2006098877A1中，介绍一种形状检测技术，该技术从输入图像数据获得梯度图像，使用梯度强度向量利用投票法得到规则形状的可能中心，以及将梯度向量的角度乘以正多边形的边数从而将所有边的梯度方向旋转到同一方向上，继而进行投票法将各个梯度方向对应的向量进行累加来确定对应正多边形的中心。
[0006]再例如，在2009年公开的美国专利申请公开US2009110286A1中，介绍了一种形状检测技术，该技术沿着特定的对称直线检测对称的图像区域，仅在检测到的对称图像区域中检测具有已知形状的对象。
[0007]存在对能够更快速检测希望的一种或多种乃至全部规则形状的技术的需要。

【发明内容】

[0008]根据本发明的一个方面，提供了一种用于检测图像中规则形状的规则形状检测方法，规则形状为各个边相等且各个内角度数相等的形状，该规则形状检测方法可以包括:获得图像数据；检测图像中的候选规则形状区域；针对候选规则形状区域内的像素，生成梯度方向直方图；以及基于生成的梯度方向直方图，检测该候选规则形状区域内的规则形状。
[0009]根据本发明的另一方面，提供了一种用于检测图像中规则形状的规则形状检测装置，规则形状为各个边相等且各个内角度数相等的形状，该规则形状检测装置可以包括:图像获得部件，获得图像数据；候选规则形状区域检测部件，检测图像中的候选规则形状区域；梯度方向直方图获得部件，针对候选规则形状区域内的像素，生成梯度方向直方图；以及规则形状检测部件，基于生成的梯度方向直方图，检测该候选规则形状区域内的规则形状。
[0010]利用根据本发明实施例的规则形状检测方法和装置，能够基于针对图像中的后续规则形状区域生成的梯度方向直方图，一次检测出各个候选规则形状区域内的任意种类的规则形状。而且，根据本发明实施例的规则形状检测方法，能够适用于从黑白图像、灰度图像、彩色图像到视差图像的任何种类的图像中检测规则形状。
[0011]根据本发明的另一方面，提供了一种用于检测图像中规则形状的规则形状检测方法，其中规则形状为各个边相等且各个内角度数相等的形状，该规则形状检测方法可以包括:获得由图像中的边缘像素得到的边缘图像；基于边缘图像，计算积分图；利用积分图，计算以每个像素为中心的圆环形状区域的径向对称度；基于每个像素为中心的圆环形状区域的径向对称度，检测候选规则形状区域；以及在该候选规则形状区域内，检测规则形状。
[0012]上述规则形状检测方法引入积分图以及基于圆环形状来计算图像中局部区域的径向对称度，以得到候选的规则形状区域。积分图的引入可以大大提高径向对称度的计算速度，而圆环形状特别适合于框选出任何规则形状轮廓可能存在的区域，由此能够提高规则形状在候选规则形状中的检出比率，提高计算效率，节省计算资源。
【附图说明】
[0013]从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中:
[0014]图1示出了具有规则形状的交通标志例子。
[0015]图2示出了规则形状的一些例子。
[0016]图3示出了根据本发明一个实施例的用于检测图像中规则形状的规则形状检测装置1000的功能配置框图。
[0017]图4示出了根据本发明一个实施例的用于检测图像中规则形状的规则形状检测方法2000的总体流程图。
[0018]图5示出了输入图像的一个示例。
[0019]图6示出了根据本发明一个实施例的通过检测图像中径向对称度较高的图像区域来检测图像中的候选规则形状区域的示例性方法2200的流程图。
[0020]图7示出了对于图5所示的图像进行边缘检测后得到的边缘图像的示例。
[0021]图8示出了一个本实施例中可以应用于检测候选规则形状区域的圆环形状窗口的示意图。
[0022]图9示出了从图7所示的边缘图像计算得到的积分图像的示意图。
[0023]图10示出了利用积分图像计算由像素A、B、C、D作为四个拐角像素的正方形矩形框2内的像素的数目方法的示意图。
[0024]图11(a)、(b)、(C)示出了基于积分图像和圆环形状来计算各个像素为中心的圆环形状区域(如图11(a)所示)内的径向对称度，并得到了径向对称度图像(图11(c))的示意图，其中径向对称度图像中每个像素点3的亮度指示以该像素为中心的圆环形状区域内的径向对称度，径向对称度越高，该像素点的亮度越高。
[0025]图12示出了径向对称度图的示意图，其为图11(c)的放大。
[0026]图13(a)示出了经过阈值过滤后的径向对称度图，图13 (b)示出了与阈值过滤后的径向对称度图对应的灰度图。
[0027]图14(a)、(b)、(c)示出了图像中的一个候选规则形状区域和对其生成的梯度方向直方图的示意图。
[0028]图15示出了一种验证候选规则形状区域内的像素的有效性的示例性方法的示意图。
[0029]图16示出了根据本发明一个实施例的基于生成的梯度方向直方图，检测候选规则形状区域内的规则形状的示例性方法2400的流程图。
[0030]图17示出了规则形状检测结果的可视性显示示例。
[0031]图18示出了根据本发明一个实施例的用于检测图像中规则形状的规则形状检测装置3000的功能配置框图。
[0032]图19示出了根据本发明一个实施例的用于检测图像中规则形状的规则形状检测方法4000的总体流程图。
[0033]图20示出了适于用来实现本发明实施方式的示例性计算系统600的框图。
【具体实施方式】
[0034]为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发明作进一步详细说明。
[0035]本发明针对规则形状的检测。规则形状为各个边相等且各个内角度数相等的形状。本文中的规则形状包括圆形。圆形可以视为随着边数增加，规则多边形序列的局限。图2示出了规则形状的一些例子，其中上部分为规则形状的轮廓，下部分为规则形状的整体。这些规则形状可以出现于现实世界中的许多场合，例如图1中所示的道路交通场景。
[0036]将以如下顺序进行描述:
[0037]1、规则形状检测装置的第一实施例
[0038]2、规则形状检测方法的第一实施例
[0039]3、规则形状检测装置的第二实施例
[0040]4、规则形状检测方法的第二实施例
[0041]1、规则形状检测装置的第一实施例
[0042]图3示出了根据本发明一个实施例的用于检测图像中规则形状的规则形状检测装置1000的功能配置框图。
[0043]如图3所示，规则形状检测装置1000可以包括:图像获得部件1100、候选规则形状区域检测部件1200、梯度方向直方图获得部件1300、规则形状检测部件1400。
[0044]图像获得部件1100配置为获得图像数据。
[0045]图像获得部件1100可以自身配备有图像捕获元件(例如摄像头)，也可以从外部获取图像，图像可以包括灰度图像和/或视差图像，这里的灰度图像是广义的概念，范围涵盖从黑白图像到彩色图像，本发明对图像的类型没有限制。例如，图像获得部件1100可以与单目相机、双目相机、多目相机等等有线或者无线连接，以接收从其传送的图像。
[0046]作为一种应用场景的示例，可以将双目相机安装于例如车辆后视镜附近的位置上，其可以同时拍摄得到左眼图像和右眼图像，这样的左眼图像和右眼图像之一可以用作灰度图像，且由左眼图像和右眼图像可以计算得到视差图像。由此基于灰度图和/或视差图像，车辆内部或外部配置的规则形状检测装置可以进行交通标志检测。另外，车辆内部配置的信息处理设备还可以配置行人检测、车辆检测等等。车辆控制模块可以接收交通标志检测和/或行人检测、车辆检测的结果，并对车辆发出相应的控制信号。
[0047]需要说明的是，车辆上双目相机或其它相机所安装的位置和数目可以根据需要来设置。例如，双目相机可以搭载于车辆前方，以拍摄车辆前方场景。不过，还可以附加地在车辆后部安置相机，以拍摄车辆后方场景。可选地，还可以在车辆左侧或者右侧安置相机，以拍摄车辆左右两侧场景。在另一个示例中，可以在相机中并入广角和/或图像拼接功能，以便使得一个相机能拍摄的角度更广，甚至可以实现360度全角拍摄功能。
[0048]候选规则形状区域检测部件1200配置为检测图像中的候选 规则形状区域。
[0049]在一个示例中，可以通过检测图像中体现出较强对称性的局部区域来检出候选的规则形状区域。
[0050]作为检测较强对称性的局部区域的方法示例，例如可以采用例如US2009110286A1中介绍的通过检测关于特定直线的对称性来检测对称图像区域的技术。
[0051]根据本发明的一个实施例，可以通过检测局部区域的径向对称性来检测对称局部区域。后文中将给出此方面的实现例子的详细介绍。
[0052]梯度方向直方图获得部件1300配置为针对候选规则形状区域内的像素，生成梯度方向直方图。
[0053]规则形状检测部件1400配置为基于生成的梯度方向直方图，检测该候选规则形状区域内的规则形状。
[0054]规则形状检测部件1400的检测结果可以包括规则形状的中心、规则形状的类型、规则形状的方向中的至少一个。
[0055]这样的检测结果可以以各种形式输出。例如，在检测交通标志的例子中，可以以可视形式显示在司机方便观看的显示屏上，以语音形式提醒司机。另外也可以将该检测结果的信息输出到车辆控制模块，由车辆控制模块根据识别到的交通标志的类型，自动进行驾驶控制，例如在“(停止)Stop”标志的情况下，自动控制减速乃至停止。另外，这样的检测结果还可以输出到后续的处理模块，来例如结合颜色识别信息、字母识别信息等等给出例如更进一步的检测结果。
[0056]需要说明的是，上述规则形状检测装置1000的部件可以用软件程序来实现，例如通过通用计算机中的CPU结合RAM和ROM等以及其中运行的软件代码来实现。软件程序可以存储在诸如闪存、软盘、硬盘、光盘等存储介质上，在运行时加载到诸如随机访问存储器RAM上来由CPU执行。另外，除了通用计算机上，还可以通过专用集成电路和软件之间的合作来实现。所述集成电路包括通过例如MPU (微处理单元)、DSP (数字信号处理器)、FPGA(现场可编程门阵列)、ASIC (专用集成电路)等中的至少一个来实现。这样的通用计算机或者专用集成电路等例如可以装载在车辆上，并且与安装在例如车辆上的成像设备例如照相机来通信，以便对照相机拍摄获得的灰度图像和/或立体图像进行处理来得到交通标志识别或检测结果，以及可选地还可以根据交通标志识别或检测结果对车辆的驾驶进行控制，例如给出警告信息、自动刹车或启动应急保护装置等。另外，规则形状检测装置1000的各个部件可以用专门的硬件来实现，例如特定的现场可编程门阵列、专用集成电路等。另外，规则形状检测装置1000的各个部件也可以利用软件和硬件的结合来实现。
[0057]上述规则形状检测装置1000中的各个单元的结构和数量不对本发明的范围构成限制。根据本发明的一个实施例，图像获得部件1100、候选规则形状区域检测部件1200、梯度方向直方图获得部件1300、规则形状检测部件1400可以合并为一个独立的部件来执行和实现相应的功能和操作，或者可以将图像获得部件1100、候选规则形状区域检测部件1200、梯度方向直方图获得部件1300、规则形状检测部件1400进一步拆分为更小的单元来实现他们各自的功能和操作。
[0058]另外，需要说明的是，图3中所示的结构并不是排他式的，相反规则形状检测装置1000可以包括其他部件，例如显示部件，用于显示规则形状检测部件1400的检测结果，以及例如通信部件，用于将有关信息和/或中间处理结果传递到外部等。
[0059]2、规则形状检测方法的第一实施例
[0060]图4示出了根据本发明一个实施例的用于检测图像中规则形状的规则形状检测方法2000的总体流程图。该规则形状检测方法2000的各个步骤可以例如由图3所示的对应的部件来执行，当然也可以由通用或专用计算装置来执行。
[0061]如图4所示，在步骤S2100中，获得图像数据。
[0062]需要说明的是，本发明对于图像数据的格式或获得渠道没有限制。
[0063]例如，该图像数据可以是原始的由数字相机拍摄得到的，也可以是由模拟相机拍摄的照片经过模数转换装置处理得到。另外，也可以是由图像扫描装置例如扫描仪扫描纸件等得到的。再例如，也可以是在计算装置上由文字或者图像处理应用软件生成的图像。
[0064]另外，图像数据可以是原始图像数据，也可以是经过预处理的图像数据，例如可以是经过降噪后的图像数据，也可以是经过二值化处理后的二值图像数据，或经过边缘提取后的边缘图像等等。
[0065]图5示出了输入图像的一个示例。
[0066]在步骤S2200中，检测图像中的候选规则形状区域。
[0067]根据本发明的一个实施例，检测图像中的候选规则形状区域可以通过检测图像中径向对称度较高的图像区域来实现。
[0068]图6示出了根据本发明一个实施例的通过检测图像中径向对称度较高的图像区域来检测图像中的候选规则形状区域的示例性方法2200的流程图。该示例性方法2200可以用于图6中所示的步骤S2200。
[0069]在步骤S2210中，检测图像中的边缘像素，得到边缘图像。
[0070]在一个示例中，可以例如利用Sobel算子来计算图像梯度，从而得到输入图像的梯度图像。然后可以基于梯度图像来检测边缘像素，有关Sobel算子的介绍可以参考MESobel 于 1982 年发表于 Soc1logical methodology 白勺题为 “Asymptotic confidenceintervals for indirect effects in structural equat1n models，，的文章。
[0071]可以利用任何适于检测图像中边缘的方法来检测边缘像素。在一个示例中，还可以采用canny检测器来实现图像中的边缘检测，得到边缘像素组成的图像，下文中可简称之为边缘图像。
[0072]图7示出了对于图5所示的图像进行边缘检测后得到的边缘图像的示例。
[0073]图7所示的边缘图像为二值图像，即边缘像素取值为1，而非边缘像素取值为O。不过，这仅为示例，实际上边缘图像也可以为灰度图像或彩色图像或视差图像，其中非边缘像素的像素取值为0，而边缘像素的取值可以是处于一定取值范围中。
[0074]为便于描述，除非特别指明，否则后文中将以二值边缘图像为例进行描述。
[0075]回到图6，在步骤S2220中，在边缘图像中，计算以每个像素为中心的圆环形状区域内的径向对称度。
[0076]此步骤的思想在于，规则形状一般相对于其中心具有较好的径向对称度。因此可以通过检测区域的径向对称度来检出候选规则形状区域。更进一步地考虑到，规则形状的边可以被置于圆环之内，例如内切圆和外接圆之内。利用此圆环形状来检测候选规则形状区域，可以降低图像中规则形状内部的噪声对于检测边缘形状的影响。
[0077]图8示出了一个本实施例中可以应用于检测候选规则形状区域的圆环形状窗口的示意图。
[0078]实际应用中，并不需要严格利用由待检测形状的内切圆和外接圆组成的圆环，而是只要该圆环尽可能地圈住所有待检测形状的边即可。
[0079]在一个示例中，如果具有待检测规则形状的大小的先验知识，则可以利用该先验知识来限定圆环的外圆和/或内圆半径。
[0080]例如，如果事先知道图5中的三角形交通标志的边长范围，则可以计算或估计其外接圆的半径R以及内切圆的半径r，从而可以分别加以一定裕度(δ #和δ ?)的情况下得至帽环的外圆半径(例如R+δ外)和内圆半径(例如r-δ内)。
[0081]在一个示例中，将预定大小的圆环在边缘图像上进行滑动，累计以每个像素为中心的圆环形状(可以排除圆环形状的一部分落入图像外的情况)内的像素的数目，累计的像素的数目越多，表示该圆环形状圈定区域的径向对称度越高。
[0082]为了快速计算某区域内的像素数目，根据本发明的一个优选实施例，引入积分图。
[0083]积分图像(integralimage),又称总和面积表(summed area table,简称 SAT),是一个快速且有效的对一个网格的矩形子区域中计算和的数据结构和算法。有关积分图像的详细介绍可以参考维基百科中的下述网页zh.wikipedia.0rg/zh-cn/积分图。
[0084]积分图像中的任意一点(x，y)的值是指从图像的左上角到这个点的所构成的矩形区域内所有的点的灰度值之和，在二值图像的情况下，即该矩形区域内的像素点(即具有有效像素值的像素点)的数目。
[0085]图9示出了从图7所示的边缘图像计算得到的积分图像的示意图。
[0086]利用积分图像，能够快速计算出图像某局部区域内的像素的数目。
[0087]图10示出了利用积分图像计算由像素A、B、C、D作为四个拐角像素的正方形矩形框2内的像素的数目方法的示意图。
[0088]像素A的积分值Va是区域I内的像素的数目。
[0089]由像素A、B、C、D作为四个拐角像素的正方形矩形框2内的像素的数目V{ABCD}可以利用下面式( I)计算。
[0090]V{ABCD}=VC+VA -Vb-Vd(I)
[0091]其中，VB、Vc, Vd分别表示像素B、C、D的积分值。
[0092]图11(a)、(b)、(C)示出了基于积分图像和圆环形状来计算各个像素为中心的圆环形状区域(如图11(a)所示)内的径向对称度，并得到了径向对称度图像(图11(c))的示意图，其中径向对称度图像中每个像素点3的亮度指示以该像素为中心的圆环形状区域内的径向对称度，径向对称度越高，该像素点的亮度越高。
[0093]如图11(b)所示，在一个示例中，每个圆环形状区域的径向对称度可以用外圆圈住的区域I的像素的数目与内圆圈住的区域2的像素的数目之差来指示。
[0094]图12示出了径向对称度图的示意图，其为图11(c)的放大。
[0095]前面以二值边缘图像为例说明了对应的积分图像和对应的径向对称度图，不过本发明实施例也可以通过简单改变应用于灰度图像、彩色图像和视差图像的情况，例如在灰度图像的情况下，积分图像中的任意一点(x，y)的值是指从图像的左上角到这个点的所构成的矩形区域内所有的点的灰度值之和，以每个像素为中心的圆环形状区域内的径向对称度可以利用圆环形状区域内的所有点的灰度值之和来表示。
[0096]另外，在另一个示例中，可以例如对上述示例中计算出的径向对称度进行归一化处理等的尺度缩放处理。
[0097]回到图6，在步骤S2230中，基于每个像素为中心的圆环形状区域的径向对称度，检测候选规则形状区域。
[0098]在一个示例中，可以将各个像素为中心的圆环形状区域的径向对称度与对称度阈值进行比较，并将径向对称度超出对称度阈值的圆环形状区域作为候选规则形状区域。
[0099]关于对称度阈值，可以根据经验设置或者通过学习算法来学习得到。
[0100]在一个示例中，可以基于径向对称度图像中的所有像素点的径向对称度值来自适应地设置对称度阈值。
[0101]例如，可以根据下面的公式(2)来设置对称度阈值。
[0102]TthMsh=f(径向对称度图像中的所有像素点的径向对称度值)
[0103](2)
[0104]例如，可以计算径向对称度图像中的所有像素点的径向对称度值的平均值，以该平均值的比率(该比率可大于、等于或小于)作为对称度阈值。
[0105]再例如，可以计算径向对称度图像中的所有像素点的径向对称度值的平均值和均方差，并基于该平均值和均方差来计算得到对称度阈值。
[0106]图13(a)示出了经过阈值过滤后的径向对称度图，该径向对称度图中的每个像素点(具有有效像素值的像素点，对应其中的亮点)对应于一个圆环形状(即作为后续分析对象的后续规则形状区域)的中心。图13(b)示出了与阈值过滤后的径向对称度图对应的灰度图。
[0107]回到图6，在检测出图像中的候选规则形状区域后，处理结束。
[0108]前文参考图6-图13描述了检测图像中的候选规则形状区域的示例性方法。
[0109]需要说明的是，图6-图13中的候选规则形状区域的检测方法用作示例，而不应理解为对本发明的限制。其它任何能够检测候选规则形状区域的方法都可以用于本发明。
[0110]回到图4，在步骤S2200中，检测得到图像中的候选规则形状区域之后，前进到步骤 S2300。
[0111]在步骤S2300中，针对候选规则形状区域内的像素，生成梯度方向直方图。
[0112]图14(a)、(b)、(c)示出了图像中的一个候选规则形状区域和对其生成的梯度方向直方图的示意图。
[0113]对于一个候选规则形状区域，例如将图14(a)中所示的灰度图中的虚线圆环区域取出，得到图14 (b)所示的单独的候选规则形状区域，针对该候选规则形状区域，计算区域内的各个像素点的梯度，得到各个像素点的梯度的方向的直方图(本文中简称之为梯度方向直方图)。
[0114]如前所述，有关计算像素点的梯度的方法例如可以采用sobel算子。
[0115]在一个示例中，在计算梯度方向直方图过程中或者之前，可以验证候选规则形状区域内的像素的有效性，并且去除不满足有效性要求的像素。
[0116]图15示出了一种验证候选规则形状区域内的像素的有效性的示例性方法的示意图。
[0117]在该示例性方法，对于候选规则形状区域内的每个像素例如P1，计算得到该像素的梯度方向(如标号I指示的箭头I所示的方向)。
[0118]基于该像素的梯度方向1，确定通过该像素且与该梯度方向正切的直线，如标号2指示的虚线所示。
[0119]计算该候选规则形状区域的中心C到该直线2的距离D1。
[0120]确定该距离Dl是否在预定范围内，例如如果事先知道待检测形状的内切圆半径为R，则可以判断该距离Dl是否小于R+δ，其中δ为一小的正的数值。
[0121 ] 如果该距离不在预定范围，则在生成梯度方向直方图时不考虑该像素。
[0122]在图15所示示例中，与像素Pl相关联的距离Dl在预定范围内，因此验证像素Pl是有效像素，而与像素Ρ2相关联的距离D2在预定范围之外，因此被视为无效像素，在生产梯度方向直方图时将不考虑像素Ρ2。
[0123]图15中，参考方向为水平向右的方向，将从参考方向顺时针旋转到梯度方向所在直线时所经过的角度，作为指示该像素的梯度方向的角度。像素Pi的梯度方向相关联的角度为Θ，而像素Ρ2的梯度方向相关联的角度为O。在此示例中，投票方向与梯度方向共线，根据梯度方向与形状中心的相对空间关系，从像素点沿着梯度方向或相反方向，选择指向形状中心的方向为投票方向。
[0124]图14(c)示出了针对图14(b)所示的候选规则形状区域，计算得到的梯度方向直方图的示意图，其中横轴表示梯度方向的角度值，另一维的轴表示取值为横轴上的各角度值的像素的数目。
[0125]回到图4，在步骤S2300中针对候选规则形状区域内的像素，生成梯度方向直方图之后，前进到步骤S2400。
[0126]在步骤S2400中，基于生成的梯度方向直方图，检测该候选规则形状区域内的规则形状。
[0127]需要说明的是，这里的“检测该候选规则形状区域内的规则形状”应该做广义的理解，可以指检测该候选规则形状区域内是否存在某个特定规则形状(如三角形)或某些特定规则形状(如图1所示的三角形、圆形、正方形、六边形)，也可以指检测该候选规则形状区域内是否存在任何规则形状，存在何种规则形状，检测存在的规则形状的类型(边数)、中心位置、方向(例如相对于参考方向而言的角度)，可以指检测图像中的某部分(例如右侧)中的所有候选规则形状区域内的规则形状，也可以指检测整个图像中的所有候选规则兴趣区域内的规则形状，还可以指检测某一个特定候选规则形状区域内的规则形状。
[0128]下面将以检测该候选规则形状区域内的任意规则形状为例进行描述。
[0129]图16示出了根据本发明一个实施例的基于生成的梯度方向直方图，检测候选规则形状区域内的规则形状的示例性方法2400的流程图。
[0130]如图16所示，在步骤S2410中，基于梯度方向直方图是否具有均匀的分布，判定在该候选规则形状区域内是否存在圆形。在步骤是基于圆形的梯度方向分布应该是均匀的原则进行的。
[0131]在步骤S2420中，确定梯度方向直方图中的峰值。例如，可以基于与预定像素数目阈值的比较，来确定峰值。
[0132]在步骤S2430中，计算峰值之间的最小角度间隔。
[0133]在步骤S2440中，基于峰值之间的最小角度间隔，确定规则形状的边的最大可能数目。
[0134]对于一个规则形状来说,其梯度方向的峰值应该对应于表不各条边的梯度方向的角度，峰值之间的间隔，应该满足360度/k，其中k为边数。
[0135]例如，对于等边三角形，对应梯度方向直方图的峰值之间的间隔应该为360/3=120。对于正方形，对应梯度方向直方图的峰值之间的间隔应该为360/4=90。
[0136]由此，在得到峰值之间的最小角度间隔β的条件下，规则形状的边的最大可能数目可以计算为对360/β所得实数数值的向上取整结果。
[0137]在步骤S2450中，对于边数从3到该最大数目k的规则形状中的任一个，将峰值的各个角度位置与对应边数的规则形状的角度进行匹配，以确定是否存在该边数的规则形状。
[0138]另外，在一个示例中，在确定存在特定规则形状后，可以通过检查梯度方向直方图中与该特定形状相关联的角度中的最小角度值，确定该特定规则形状相对于基准方向的旋转角度。
[0139]具体地，例如，对于边数为3的规则形状，可以对于每个峰值位置t，检查t+120的位置处、t+240的位置处是否存在峰值。如果在t、t+120、t+240的位置处都存在峰值，则存在三角形。而且可以确定该三角形相对于参考方向的朝向为顺时针转了 t度。
[0140]类 似地，例如，对于边数为4的规则形状，可以对于每个峰值位置t，检查t+90、t+180、t+270的位置处是否存在峰值。如果在t、t+90、t+180、t+270的位置处都存在峰值，则存在正方形。而且可以确定该正方形相对于参考方向的朝向为顺时针转了 t度。
[0141]以此类推，例如，对于边数为k的规则形状，可以对于每个峰值位置t，检查t+360/k、t+2*360/k，…，t+(k-l)*360/k 的位置处是否存在峰值。如果在 t、t+360/k、t+2*360/k,…，t+(k-l)*360/k的位置处都存在峰值，则存在正k边形。而且可以确定该正k边形相对于参考方向的朝向为顺时针转了 t度。
[0142]在从一个候选规则形状区域中检测到规则形状后，可以利用该候选规则形状区域的中心指示规则形状在图像中的位置。
[0143]在图16中，在步骤S2450之后，处理可以结束。
[0144]需要说明的是，根据需要，可以对图16所示的示例进行各种修改，例如，在明确检测的目标是圆形的情况下，图16所示的处理可以在步骤S2410之后直接结束。
[0145]再例如，在明确检测的目标是三角形、正方形和六边形的情况下，可以无需执行步骤S2430、S2440，而直接对于边数3、4、6的规则形状中的任一个，将峰值的各个角度位置与对应边数的规则形状的角度进行匹配，以确定是否存在该边数的规则形状。
[0146]回到图4，在步骤S2400之后，处理可以结束。
[0147]在一个示例中，可以以各种形式输出规则形状检测结果。例如，在交通标志检测的例子中，可以以可视形式显示在司机方便观看的显示屏上，如图17所示的显示的图像，其中标号1、2、3指示高亮显示的检测到的具有规则形状的对象。或者，可以以语音形式提醒司机。另外也可以将该检测结果的信息输出到车辆控制模块，由车辆控制模块根据识别到的交通标志的类型，自动进行驾驶控制，例如在“stop (停止)”标志的情况下，自动控制减速乃至停止。另外，这样的检测结果还可以输出到后续的处理模块，来例如结合颜色识别信息、字母识别信息等等给出例如更进一步的检测结果。
[0148]根据本发明实施例的规则形状检测方法，能够基于针对图像中的后续规则形状区域生成的梯度方向直方图，一次检测出各个候选规则形状区域内的任意种类的规则形状。
[0149]而且，根据本发明实施例的规则形状检测方法，能够适用于从黑白图像、灰度图像、彩色图像到视差图像的任何种类的图像中检测规则形状。
[0150]3、规则形状检测装置的第二实施例
[0151]图18示出了根据本发明一个实施例的用于检测图像中规则形状的规则形状检测装置3000的功能配置框图。
[0152]如图18所示，规则形状检测装置3000可以包括:边缘图像获得部件3100、积分图计算部件3200、径向对称度获得部件3300、候选规则形状区域检测部件3400和规则形状检测部件3500。
[0153]边缘图像获得部件3100配置为获得由图像中的边缘像素得到的边缘图像。这里的边缘图像应该做广义理解，应该理解为边缘像素的集合，而并不需要独立可视化为边缘图像。类似地，本文中提及的径向对称度图像也应该做广泛理解，应该理解为像素的径向对称度数据的集合，同样不需要单独可视化为径向对称度图像。类似地，积分图也应该做广义理解，应该理解为各个像素的积分值数据的集合，同样不需要单独可视化为径向对称度图像。
[0154]积分图计算部件3200配置为基于边缘图像，计算积分图。
[0155]径向对称度获得部件3300配置为利用积分图，计算以每个像素为中心的圆环形状区域的径向对称度。
[0156]候选规则形状区域检测部件3400配置为基于每个像素为中心的圆环形状区域的径向对称度，检测候选规则形状区域。
[0157]规则形状检测部件3500配置为在该候选规则形状区域内，检测规则形状。
[0158]有关各个部件的功能和操作，可以参考前面结合图4-图17进行的描述，这里不再赘述。
[0159]需要说明的是，规则形状检测部件3500的在该候选规则形状区域内检测规则形状的功能既可以如图4所示步骤S2300和步骤S2400那样利用梯度方向直方图来实现。也可以利用其它任何检测规则形状的方法来实现，例如前述US2006098877A1和US2009110286A1中的规则形状检测方法。
[0160]4、规则形状检测方法的第二实施例
[0161]图19示出了根据本发明一个实施例的用于检测图像中规则形状的规则形状检测方法4000的总体流程图。
[0162]在步骤S4100中，获得由图像中的边缘像素得到的边缘图像。
[0163]在步骤S4200中，基于边缘图像,计算积分图。
[0164]在步骤S4300中，利用积分图，计算以每个像素为中心的圆环形状区域的径向对称度。
[0165]在步骤S4400中，基于每个像素为中心的圆环形状区域的径向对称度，检测候选规则形状区域。
[0166]在步骤S4500中，在该候选规则形状区域内，检测规则形状。
[0167]有关各个步骤的详细实现，可以参考前面结合图4-图17进行的描述，这里不再赘述。
[0168]需要说明的是，步骤S3500中的在该候选规则形状区域内检测规则形状既可以如图4所示步骤S2300和步骤S2400那样利用梯度方向直方图来实现。也可以利用其它任何检测规则形状的方法来实现，例如前述US2006098877A1和US2009110286A1中的规则形状检测方法。
[0169]图18和图19所示的第二实施例的规则形状检测方法和装置的关键在于引入积分图以及基于圆环形状来计算图像中局部区域的径向对称度，得到候选的规则形状区域，积分图的引入可以大大提高径向对称度的计算速度，圆环形状特别适合于框选出任何规则形状轮廓可能存在的区域，由此能够提高规则形状在候选规则形状中的检出比率，提高计算效率，节省计算资源。
[0170]5、用于进行规则形状检测的计算系统
[0171]本发明还可以通过一种用于进行规则形状检测的计算系统来实施。图20示出了适于用来实现本发明实施方式的示例性计算系统600的框图。如图20所示，计算系统600可以包括:CPU (中央处理单元)601、RAM (随机存取存储器)602、R0M (只读存储器)603、系统总线604、硬盘控制器605、键盘控制器606、串行接口控制器607、并行接口控制器608、显示控制器69、硬盘610、键盘611、串行外部设备612、并行外部设备613和显示器614。在这些设备中，与系统总线604耦合的有CPU601、RAM602、R0M603、硬盘控制器605、键盘控制器606、串行控制器607、并行控制器608和显示控制器609。硬盘610与硬盘控制器605耦合，键盘611与键盘控制器606耦合，串行外部设备612与串行接口控制器607耦合，并行外部设备613与并行接口控制器608耦合，以及显示器614与显示控制器609耦合。应当理解，图20所述的结构框图仅仅是为了示例的目的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备。
[0172]所属技术领域的技术人员知道，本发明可以实现为系统、装置、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即:可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”、“装置”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
[0173]可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPR0M或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0174]计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0175]计算机可读介质上包含的程序代码可 以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述任意合适的组合。
[0176]可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言一诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言一诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络一包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0177]上面参照本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
[0178]也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruct1nmeans)的制造品(manufacture)。
[0179]也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
[0180]附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0181]前述描述仅为说明性的，可以进行很多修改和/或替换。
[0182]例如，在前面的描述中，规则形状检测方法和装置应用于车辆辅助驾驶或者车辆自动控制情景中的交通标志识别。不过这仅是示例，本发明并不局限于此，而是可以应用于任何识别的对象具有规则形状的情况，例如用于识别飞机场、火车站、商场等情境中的具有规则形状的对象。
[0183]另外，在前面的描述中，针对图像局部区域对称性的计算，采用了圆环形状窗口。这是因为圆环形状适合于任何朝向、任何规则形状的候选轮廓的检出，而且特别适合于一次检测不同形状的多种对象的情况。不过，在某些情况下，例如在待检测的对象形状和朝向均确定的情况下，也可以直接采用该形状的环状窗口，例如采用具有公共中心的两个大小不同的正方形围成的环状窗口来检测方形候选区域的对称性，类似地，对于待检测对象为正k边形的情况，可以采用具有公共中心的两个大小不同的正k边形的环状窗口来检测正k变形候选区域的对称性。
[0184]另外，前文的描述中，在检测图像中的候选规则形状区域的过程中，首先进行图像边缘检测。不过在某些情况下，可能并不需要进行此步骤，例如在图像数据本身就是边缘图像数据的情况下，或者在图像数据为稀疏视差图数据的情况下，此时图像数据中的像素大部分已经是边缘像素，因此边缘检测可能不再必要。
[0185]以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
【主权项】
1.一种用于检测图像中规则形状的规则形状检测方法，规则形状为各个边相等且各个内角度数相等的形状，该规则形状检测方法包括: 获得图像数据； 检测图像中的候选规则形状区域； 针对候选规则形状区域内的像素，生成梯度方向直方图；以及 基于生成的梯度方向直方图，检测该候选规则形状区域内的规则形状。2.根据权利要求1的规则形状检测方法，所述基于生成的梯度方向直方图，检测该候选规则形状区域内的规则形状包括: 基于生成的各个候选规则形状区域的梯度方向直方图，一次检测出各个候选规则形状区域内的任意种类的规则形状。3.根据权利要求1的规则形状检测方法，所述检测图像中的候选规则形状区域包括: 检测图像中的边缘像素，得到边缘图像； 在边缘图像中，计算以每个像素为中心的圆环形状区域内的径向对称度；以及 基于每个像素为中心的圆环形状区域的径向对称度，检测候选规则形状区域。4.根据权利要求3的规则形状检测方法，所述在边缘图像中，计算以每个像素为中心的圆环形状区域的径向对称度包括: 基于边缘图像，计算积分图；以及 利用积分图，计算以每个像素为中心的圆环形状区域的径向对称度。5.根据权利要求1的规则形状检测方法，所述针对候选规则形状区域内的像素，生成梯度方向直方图包括: 对于候选规则形状区域内的每个像素，计算该像素的梯度方向； 基于该像素的梯度方向，确定通过该像素且与该梯度方向正切的直线； 计算该候选规则形状区域的中心到该直线的距离； 确定该距离是否在预定范围内；以及 如果该距离不在预定范围，则在生成梯度方向直方图时不考虑该像素。6.根据权利要求1的规则形状检测方法，所述基于生成的梯度方向直方图，检测该候选规则形状区域内的规则形状包括: 基于梯度方向直方图是否具有均匀的分布，判定在该候选规则形状区域内是否存在圆形。7.根据权利要求1的规则形状检测方法，所述基于生成的梯度方向直方图，检测该候选规则形状区域内的规则形状包括: 确定梯度方向直方图中的峰值； 计算峰值之间的最小角度间隔； 基于峰值之间的最小角度间隔，确定规则形状的边的最大可能数目； 对于边数从3到该最大数目的规则形状中的任一个，将峰值的各个角度位置与对应边数的规则形状的角度进行匹配，以确定是否存在该边数的规则形状。8.根据权利要求1的规则形状检测方法，所述基于生成的梯度方向直方图，检测该候选规则形状区域内的规则形状包括: 在确定存在特定规则形状后，通过检查梯度方向直方图中与该特定形状相关联的角度中的最小角度值，确定该特定规则形状相对于基准方向的旋转角度。9.一种用于检测图像中规则形状的规则形状检测装置，规则形状为各个边相等且各个内角度数相等的形状，该规则形状检测装置包括: 图像获得部件，获得图像数据； 候选规则形状区域检测部件，检测图像中的候选规则形状区域； 梯度方向直方图获得部件，针对候选规则形状区域内的像素，生成梯度方向直方图；以及 规则形状检测部件，基于生成的梯度方向直方图，检测该候选规则形状区域内的规则形状。10.一种用于检测图像中规则形状的规则形状检测方法，规则形状为各个边相等且各个内角度数相等的形状，该规则形状检测方法包括: 获得由图像中的边缘像素得到的边缘图像； 基于边缘图像，计算积分图； 利用积分图，计算以每个像素为中心的圆环形状区域的径向对称度； 基于每个像素为中心的圆环形状区域的径向对称度，检测候选规则形状区域；以及 在该候选规则形状区域内，检测规则形状。
【专利摘要】提供了用于检测图像中规则形状的规则形状检测方法和装置，该规则形状检测方法可以包括：获得图像数据；检测图像中的候选规则形状区域；针对候选规则形状区域内的像素，生成梯度方向直方图；以及基于生成的梯度方向直方图，检测该候选规则形状区域内的规则形状。利用根据本发明实施例的规则形状检测方法和装置，能够基于针对图像中的后续规则形状区域生成的梯度方向直方图，一次检测出各个候选规则形状区域内的任意种类的规则形状。而且，根据本发明实施例的规则形状检测方法，能够适用于从黑白图像、灰度图像、彩色图像到视差图像的任何种类的图像中检测规则形状。
【IPC分类】G06T7/00
【公开号】CN104881856
【申请号】CN201410069286
【发明人】任杰, 鲁耀杰, 师忠超, 王刚, 刘殿超
【申请人】株式会社理光
【公开日】2015年9月2日
【申请日】2014年2月27日