视差值导出设备及方法、装备控制系统、可移动装置的制造方法

视差值导出设备及方法、装备控制系统、可移动装置的制造方法
【技术领域】
[0001] 本发明涉及一种视差值导出设备、装备控制系统、可移动装置、机器人和视差值导 出方法。
【背景技术】
[0002] 近年来，车载系统已经被广泛用于通过测量汽车之间的距离或者汽车与障碍物之 间的距离来防止汽车碰撞。使用了使用立体照相机的三角测量原理的立体匹配处理已被用 来作为测量距离的方法。立体匹配处理是在由立体照相机的两个照相机之一捕获的参考图 像和由其它照相机捕获的比较图像之间匹配相关像素来获得视差、并从视差计算出立体照 相机与被包括在图像中的物体之间的距离的处理。通过使用立体照相机的这种立体匹配处 理来计算到物体的距离能够进行多种识别处理以及用于防止碰撞的制动控制和转向控制。
[0003] 如上所述的立体匹配处理包括块匹配法，其中为了评估图像之间的相似性，从要 被比较的图像中切割出区域并且对区域获得例如辉度的绝对差之和（SAD)、平方差之和 (SSD)和零均值正规化互相关（ZNCC)。然而，在表示了图像中的物体的辉度上的变化量的 纹理很弱的部分中很难提取图像特征，并且块匹配法可能无法提供准确的视差。随后提出 了作为用于导出精确视差的方法的技术，其中不仅将对于参考图像中对应参考像素的比较 图像中像素的成本而且将比较图像中的像素的邻域中的像素的成本进行合计以导出对于 具有弱纹理的物体的视差（见日本专利申请特开No. 2012-181142)。
[0004] 然而，在日本专利申请特开No. 2012-181142中描述的技术受困于立体匹配处理 而使用了大的内存并且增加了图像的处理负荷，原因是对于连续排列以形成图像的每个像 素都获得合计的成本值。因此很难获得配置有实时视差值的视差图像。
[0005] 因此，有必要提供一种视差值导出设备、装备控制系统、可移动装置、机器人、视差 值导出方法，能够减少图像处理的负荷并降低用于导出视差值所需的时间。

【发明内容】

[0006] 本发明的目标是至少部分地解决现有技术中存在的问题。
[0007] 根据一个实施例，提供了一种视差值导出设备，包括：获取单元，配置成获取从第 一成像位置捕获的参考图像中的参考区域与从第二成像位置捕获的比较图像中的指定范 围内的多个区域中的每一个之间的匹配度，其中多个区域包括与参考区域相对应的对应区 域；合成器，配置成合成所述参考图像中的预定参考区域周边的参考区域的匹配度和参考 图像中的预定参考区域的匹配度；以及导出单元，配置成基于合成器所获得的合成的匹配 度来导出物体的视差值，所述物体的图像在预定参考区域和与预定参考区域相对应的对应 区域中被捕获。指定范围内的至少部分区域被在预定方向上在最接近的区域中移动两个或 两个以上像素。
[0008] 根据另一实施例，提供了一种用于从参考图像和比较图像中导出代表了对于物体 的视差的视差值的视差值导出设备，其中参考图像由捕获物体的图像的第一成像单元获 得，比较图像由捕获物体的另一图像的第二成像单元获得。视差值导出设备包括：获取单 元，配置成基于第一参考区域的辉度值和候选区域的辉度值来计算多个候选区域的各自的 匹配度，其中所述多个候选区域的每一个都作为与参考图像中的第一参考区域相对应的比 较图像中的对应区域的候选，其中基于第一参考区域，在比较图像中的核线上，从与第一参 考区域的位置相对应的区域中，通过从预定的偏移范围部分地除去预定的偏移量而获得的 特征中包括的偏移量进行位置偏移来指定候选区域的辉度值；合成器，配置成基于特征中 包括的偏移量，使用候选区域的匹配度，通过合计对于在第一参考区域周边的第二参考区 域在比较图像中的匹配度，来计算每个候选区域的合成匹配度；和导出单元，配置成基于与 比较图像中的各个候选区域的合成的匹配度的第一极值相对应的偏移量来导出视差值。
[0009] 根据再一个实施例，提供了一种视差值导出方法，包括：获取从第一成像位置捕获 的参考图像中的参考区域与从第二成像位置捕获的比较图像中的指定范围内的多个区域 中的每一个之间的匹配度，其中多个区域包括与参考区域相对应的对应区域；合成参考图 像中的预定参考区域周边的参考区域的匹配度和参考图像中的预定参考区域的匹配度；以 及基于合成中所获得的合成的匹配度来导出物体的视差值，所述物体的图像在预定参考区 域和与预定参考区域相对应的对应区域中被捕获。指定范围内的至少部分区域被在预定方 向上在最接近的区域中移动两个或两个以上像素。
[0010] 根据再一个实施例，提供了一种视差值导出设备，包括获取单元，配置成获取从第 一成像位置捕获的参考图像中的参考区域与从第二成像位置捕获的比较图像中的指定范 围内的多个不连续区域中的每一个之间的匹配度，其中多个不连续区域包括与参考区域相 对应的对应区域；合成器，配置成合成参考图像中的预定参考区域周边的参考区域的匹配 度和参考图像中的预定参考区域的匹配度；以及导出单元，配置成基于合成器所获得的合 成的匹配度来导出物体的视差值，所述物体的图像在预定参考区域和与预定参考区域相对 应的对应区域中被捕获。
[0011] 当结合附图考虑时，通过阅读发明的当前优选实施例的以下详细描述将更好地理 解此发明的以上和其他目的、特征、优点以及技术和工艺实用性。
【附图说明】
[0012] 图1是导出从成像设备到物体的距离的原理的示意图；
[0013] 图2示出了（a)参考图像示例、（b)高密度视差图像示例和（c)边缘视差图像示 例；
[0014] 图3示出了在相对于参考图像依次偏移比较图像中对应像素的候选时，偏移量的 计算；
[0015] 图4是不出了针对偏移量的成本的图；
[0016] 图5是用于导出合成成本的概念图；
[0017] 图6是示出了针对视差值的合成成本的图；
[0018] 图7示出了装备有根据本发明实施例的视差值导出设备的汽车；
[0019] 图8是物体识别系统的示意图；
[0020] 图9是物体识别系统的整体硬件配置图；
[0021] 图10是示出了根据本实施例的视差值导出设备的块配置的示例的图；
[0022] 图11是示出了描述了抽样偏移特征的特征表的示例的图；
[0023] 图12是示出了抽样偏移特征的偏移量与成本之间的关系的图；
[0024] 图13是示出了抽样偏移特征的偏移量与合成成本之间的关系的图；
[0025] 图14是示出了由抛物线拟合得到的亚像素估计的图；
[0026] 图15是示出了由最小二乘法得到的亚像素估计的图；
[0027] 图16是示出了使用亚像素估计的高密度视差图像的概念图；
[0028] 图17是示出了根据本实施例的视差值导出设备的立体匹配处理的操作过程的示 例的图；以及
[0029] 图18是示出了装载在车辆上的根据本实施例的装备控制系统的示例的图。
【具体实施方式】
[0030] 下面将参考附图描述本发明的实施例。
[0031] 使用SGM方法的距离测量方法的综述
[0032] 首先将参考图1至图6描述使用半全局匹配（SGM)方法的距离测量方法的综述。 通过半全局匹配和交互信息在准确和有效的立体处理中公开SGM方法并且下面给出简要 说明。
[0033] 距离测量原理
[0034] 参考图1，将描述测量从立体照相机到物体的距离的原理，其中通过使用立体照相 机来进行立体成像而将物体的视差导出为视差值，并且视差值被用来测量从立体照相机到 物体的距离。图1是导出从成像设备到物体的距离的原理的示意图。为了使解释更简单， 以下描述解释了针对每个单个像素而不是针对包括多个像素的每个预定区域的处理。当不 是以单个像素为单位而是以每个都包括多个像素的预定的区域为单位来执行过程时，将包 括参考像素的预定的区域表示为参考区域，并且将包括对应像素的预定的区域表示为对应 区域。参考区域可以只包括参考像素并且对应区域可以只包括对应像素。
[0035] 视差值计算
[0036] 图1中示出的通过成像设备10a和成像设备10b捕获的图像被分别表示为参考图 像la和比较图像lb。在图1中，成像设备10a和成像设备10b平行并且以相同高度安装。 在图1中，三维空间中的物体E上的点S被捕获到成像设备10a的一个位置上并且也被捕 获到成像设备l〇b的一个位置上，其中这两个位置在成像设备10a与成像设备10b的同一 水平线上。也就是说，将每个图像中的点S捕获到参考图像la中的点Sa(x，y)以及比较图 像lb中的点Sb(x，y)。这里，将视差值A表达为使用成像设备10a的坐标中的Sa(x，y)和 成像设备l〇b的坐标中的Sb(X，y)的等式（1)。
[0037] A= X-x (1)
[0038] 这里，如图1的情况，视差值写为A = Aa+A b，其中A a是参考图像la中的点 Sa(x，y)与从成像透镜11a向成像面的法向延伸相交的点之间的距离，并且A b是比较图 像lb中的点Sb(X，y)与从成像透镜lib向成像面的法向延伸相交的点之间的距离。
[0039] 距离计算
[0040] 可以使用视差值A来导出从成像设备10a、10b到物体E的距离Z。具体地，距离 Z是从包括成像透镜11a的焦点位置和成像透镜lib的焦点位置的平面到物体E上特定点 S的距离。如图1中所示，可以使用成像透镜11a和成像透镜lib的焦距f、作为成像透镜 11a和成像透镜lib之间的长度的基线长度B和视差值A，通过等式（2)来计算距离E。
[0041] Z = (BXf)/A
[0042] (2)
[0043] 从等式（2)可知，视差值A越大，距离Z越小，并且视差值A越小，距离Z越大。
[0044] SGM 方法
[0045] 现在将参考图2至图6描述使用SGM方法的距离测量方法。图2 (a)是示出了参 考图像的概念图，图2(b)是示出了对于图2(a)的高密度视差图像的概念图，并且图2(c) 是示出了对于图2(a)的边缘视差图像的概念图。这里，参考图像是通过辉度表示物体的图 像。高密度视差图像是通过SGM方法从参考图像导出并且在参考图像中的每组坐标上表示 视差值的图像 。边缘视差图像是由常用的块匹配法导出并且仅在例如参考图像中的边缘的 具有相对强纹理的部分代表视差值的图像。
[0046] SGM法是即使对于具有弱纹理的物体也导出适当的视差值、并且基于图2(a)中示 出的参考图像而导出图2(b)中示出的高密度视差图像的方法。当使用块匹配法时，图2(c) 中示出的边缘视差图像是基于图2(a)中示出的参考图像导出的。通过比较在图2(b)和图 2(c)中由虚线包围的椭圆形能够理解的是，与边缘视差图像相比，高密度视差图像可以表 示例如具有弱纹理的道路的详细信息并且因此能够更详细地进行距离测量。
[0047] 在SGM方法中，视差值是通过计算出成本并且然后进一步计算被相异地合成的合 成成本而导出的，而不是通过计算出相异的成本后立即导出视差值而导出的。在该方法中， 最终导出表示了几乎所有像素中的视差值的视差图像（这里指高密度视差图像）。在成本 计算方面块匹配法与SGM方法相同。然而，与SGM方法不同的是，在未计算合成成本的前提 下，仅在例如边缘的具有相对强的纹理的部分导出视差值。
[0048] 成本计算
[0049] 首先将参考图3和图4描述计算成本C(p，d)的方法。图3(a)是示出了参考图 像中的参考像素的概念图并且图3(b)是在相对于（a)中的参考像素对于比较图像中的对 应像素的候选连续偏移（位移）时计算成本的概念图。图4是示出了针对偏移量的成本的 图。这里，对应像素是在比较图像中最接近于参考图像中的参考像素的像素。在以下描述 中，假定 C(p，d)表示 C(x，y，d)。
[0050] 如图3(a)中所示，基于参考图像中的预定的参考像素p(x，y)的辉度值和与参考 像素P(x，y)对应的比较图像中核线EL上的多个候选对应像素q(x+d，y)的辉度值，计算与 参考像素P (x，y)对应的每个候选对应像素q (x+d，y)的成本C (p，d)。变量d是从参考像 素P的对于对应像素的每个候选q的偏移量（位移量），在本实施例中以像素为单位来表达 偏移量。也就是说，图3中，候选对应像素q(x+d，y)和参考像素p(x，y)之间的辉度值上 相异的成本C(p，d)是在预定范围（例如，0<d<25)内一个像素接一个像素地连续偏移 候选对应像素q(x+d，y)时计算出来的。当成本C表示相异时应用例如SAD(绝对差之和） 的已知方法作为计算成本C的方法。
[0051] 如图4中所示，由此计算的成本C(p，d)可以通过针对偏移量d的一套成本C的 成本曲线的图来表达。图4中，由于当偏移量d = 5、12、19时成本为零，因此不能获得最小 值。因此在物体具有弱纹理的情况下很难获得成本C的最小值。
[0052] 合成成本计算
[0053] 现在将参考图5和图6描述计算合成成本Ls(p，d)的方法。图5是用于导出合成 成本的概念图。图6是示出了针对视差值的合成成本的合成-成本曲线的图。
[0054] 在本实施例中的计算合成成本的方法中，计算参考像素p(x，y)中的成本C(p，d)， 并且也计算存在于离参考像素p(x，y)由近到远的位置上的像素p(x n，yn)中的每一个的成 本作为对于另一个参考像素P(xn，y n)中的每一个的成本C。采用这种配置，通过合计对于 参考像素P(x，y)计算的成本C(p，d)和对于存在于离参考像素p(x，y)由近到远的位置上 的其它参考像素P(x n，yn)计算的成本C来计算对于参考像素p(x，y)的合成成本Ls(p，d)。 类似地，通过合计对于一个参考像素p (xn，yn)的计算成本C和对于存在于离参考像素p (xn， yn)由近到远的位置上的其它参考像素的计算成本C来计算对于每一个参考像素p (xn，yn) 的合成成本Ls。
[0055] 现在将更详细地描述计算合成成本的方法。为了计算合成成本Ls (p，d)，首先需要 计算路径成本Lr(p，d)。等式（3)是用于计算路径成本Lr(p，d)的等式，并且等式（4)是 用于计算合成成本Ls的等式。
[0056] Lr (p, d) = C (p, d) +min {(Lr (p~r, d), Lr (p~r, d-1) +P1, Lr (p~r, d+1) +P1, Lrmin (p -r)+p2} (3)
[0057] 这里，在等式（3)中，r代表在合计方向上的方向矢量并且具有X方向和Y方向的 两个分量。术语min {}是用于获得最小值的函数。Lrmin (p-r)代表当偏移量d在将p在r 方向上偏移一个像素的坐标中变化时Lr(p-r，d)的最小值。如等式（3)中所表达的，路径 成本Lr被反复地应用。P1和P2是预先由实验设置的固定的参数以使得路径上的相邻参考 像素的视差值A有可能连续。例如，P1 = 48,P2 = 96。正如等式（3)中表达的，通过将图 5中示出的r方向上的像素中每个像素的路径成本Lr的最小值添加到参考像素p(x，y)中 的成本C上来获得路径成本Lr (p，d)。如上所述，为了获得r方向上每个像素处的Lr，首先 从参考像素P(x，y)的r方向上的最末端像素获得Lr，并且沿着r方向获得Lr。如图5中 所，获1%八个方向上的Lr。、Lr 45、Lr9。、Lr135、Lr18。、Lr225、Lr 27。、Lr315，并且基于等式⑷取 终获得合成成本Ls。
[0058]
(4)
[0059] 如图6中所示，可以由表示了针对偏移量d的合成成本Ls(p，d)的合成-成本曲 线的图来表示由此计算的合成成本Ls(p，d)。在图6中，合成成本Ls在偏移量d = 3时具 有最小值并且因此以视差值△ =3来计算。虽然在前述中r的数量是八，但是该数量并不 限于此。例如，八个方向可以进一步被二分为16个方向或三分为24个方向。虽然被表达 为"相异"，然而成本C可以被表示为作为相异的互反的"相似"。在这种情况下，应用例如 NCC(正规化交叉相关）的已知的方法作为计算成本C的方法。在这种情况下，导出的并非 是具有最小值而是具有"最大值"的合成成本的视差值△。可以将相似和相异包含地表示 为"匹配度"。
[0060] 本实施例的具体描述
[0061] 下面参考附图给出本实施例的具体说明。这里，将描述车载物体识别系统1。物体 识别系统1不仅可以安装在作为车辆的示例的汽车上，而且还可以安装在作为车辆的其它 示例的摩托车、自行车、轮椅和农业耕种机上。物体识别系统1不仅可以安装在作为可移动 装置的示例的车辆上，也可以安装在作为可移动装置的另一示例的机器人上。机器人可以 不是可移动装置而是例如固定安装在FA(工业自动化）中的工业机器人的装置。固定安装 的装置可能不是机器人而是安全监控摄像机。
[0062] 实施例配置
[0063] 首先，将参考图7至图9描述本实施例的每一个的整体配置。
[0064] 外部配置
[0065] 将参考图7和图8描述本实施例中的物体识别系统1的外部配置。图7 (a)是描 述了装备有根据本发明实施例的物体识别系统的汽车的侧面示意图，并且图7(b)是描述 了汽车前部的示意图。图8是物体识别系统的示意图。
[0066] 如图7(a)和图7(b)中所示，本实施例的物体识别系统1包括成像设备10a(第一 成像单元）和成像设备l〇b (第二成像单元）。安装成像设备10a和成像设备10b (第一成 像位置，第二成像位置）以便能够对汽车行驶方向前方的场景成像。如图8中所示，物体识 别系统1包括主体2和提供在主体2上的一对圆柱形成像设备10a和成像设备10b。
[0067] 整体硬件配置
[0068] 现在将参考图9描述物体识别系统1的整体硬件配置。图9是总体上物体识别系 统的硬件配置图。
[0069] 如图9中所示，物体识别系统1包括主体2中的物体识别设备5和视差值导出设 备3〇
[0070] 视差值导出设备3通过对物体E成像而获得多个图像来导出指示了对于物体E的 视差值A，并且输出指示了每个像素中的视差值A的高密度视差图像。物体识别设备5基 于从视差值导出设备3输出的高密度视差图像来执行例如测量从成像设备10a、10b到物体 E的距离的处理。
[0071] 这里，将首先描述视差值导出设备3的硬件配置。如图9中所示，视差值导出设备 3包括成像设备10a、成像设备10b、信号转换设备20a、信号转换设备20b以及图像处理设 备30。
[0072] 成像设备10a通过对前方场景成像而生成代表图像的模拟信号，并且包括成像透 镜11a、快门12a和图像传感器13a。
[0073] 成像透镜11a是用于衍射穿过成像透镜11a的光以形成物体的图像的光学元件。 快门12a切断穿过成像透镜11a的光的一部分来调整输入到下文所述的图像传感器13a的 光量。图像传感器13a是半导体设备，将从成像透镜11a和快门12a输入的光转换成电模拟 图像信号并且通过例如电荷耦合设备（CCD)或互补金属氧化物半导体（CMOS)来实现。成 像设备l〇b具有与成像设备10a相同的配置，并且省略了成像设备10b的描述。安装成像 透镜11a和成像透镜lib以使得他们各自的透镜面在同一平面。
[0074] 信号转换设备20a将代表所捕获的图像的模拟信号转换为数字格式的图像数据， 并且包括相关双采样（⑶S) 21a、自动增益控制（AGC) 22a、模拟数字转换器（ADC) 23a和帧存 储器24a。
[0075] ⑶S 21a通过相关双采样从由图像传感器13a转换的模拟图像信号中除去噪音。 AGC 22a执行控制具有由⑶S 21a除去的噪音的模拟图像信号的强度的增益控制。ADC 23a 将由AGC 22a执行增益-控制的模拟图像信号转换为数字格式的图像数据。帧存储器24a 存储由ADC 23a转换的图像数据。
[0076] 类似地，信号转换设备20b从由成像设备10b转换的模拟图像信号获得图像数据， 并且包括CDS 21b、AGC 22b、ADC 23b和帧存储器24b。
[0077] CDS 21b、AGC 22b、ADC 23b 和帧存储器 24b 分别与 CDS 21a、AGC 22a、ADC 23a 和 帧存储器24a具有相同的配置并且省略其说明。
[0078] 图像处理设备30是用于处理由信号转换设备20 a和信号转换设备20b转换的图 像数据的设备。图像处理装置30包括现场可编程门阵列（FPGA)31、中央处理单元（CPU)32、 只读存储器（ROM) 33、随机存取存储器（RAM) 34、接口（I/F)35和如图9中所示的用于电连 接组件31到35的例如地址总线和数据总线的总线39。
[0079] FPGA 31是集成电路并且按照CPU 32的指令在由图像数据所代表的图像中执行 计算视差值A的处理。CPU 32控制视差值导出设备3中的各功能。R0M33存储用于CPU 32的图像处理程序来执行以控制视差值导出设备3中的各个功能。RAM 34用作CPU 32的 工作区。I/F 35是用于通过例如地址总线和数据总线的总线4与下文所述的物体识别设备 5的I/F 55通信的接口。
[0080] 现在将描述物体识别设备5的硬件配置。如图9中所示，物体识别设备5包括FPGA 51、CPU 52、R0M 53、RAM 54、I/F 55、控制器区域网络（CAN)I/F 58和如图9中所示的用于 电连接组件51到55、58的例如地址总线和数据总线的总线59。
[0081] FPGA 51、CPU 52、R0M 53、RAM 54、I/F 55和总线59分别与图像处理设备30中的 FPGA 31、CPU 32、ROM 33、RAM 34、I/F 35和总线39具有相同的配置并且省略了其描述。 I/F 55是用于通过总线4与图像处理设备30中的I/F 35通信的接口。ROM 53存储用于 CPU 52的物体识别程序以执行控制物体识别设备5中的各功能。CAN I/F 58是用于与例 如外部控制器通信的接口，并且能够被连接到例如汽车的控制器区域网络（CAN)。
[0082] 在这种配置中，当将高密度视差图像通过总线4从图像处理设备30的I/F35传 送到物体识别设备5时，FPGA 51根据物体识别设备5中的CPU 52的指令计算从成像设备 10a、10b到物体E的距离Z。
[0083] FPGA 31可以在图像处理设备30的CPU 32发出的指令下计算距离Z，而不是FPGA 51在物体识别设备5中的CPU 52发出的指令下计算距离Z。
[0084] 上述程序可以以可安装的或者可执行的文件格式记录在要被分发的计算机可读 存储介质上。存储介质的示例包括压缩光盘只读存储器（CD-ROM)和安全数字（SD)存储卡。
[0085] 视差值导出设备的块配置和每个块的操作
[0086] 图10是示出了根据本实施例的视差值导出设备的块配置的示例的图。图11是示 出了描述抽样偏移特征的特征表的示例的图。图12是示出了抽样偏移特征的偏移量与成 本之间的关系的图。图13是示出了抽样偏移特征的偏移量与合成成本之间的关系的图。图 14示出了由抛物线拟合得到的亚像素估计的图。图15是示出了由最小二乘法得到的亚像 素估计的图。图16是示出了使用亚像素估计的高密度视差图像的概念图。将参考图10至 图16描述视差值导出设备3的原理部分的块配置和每个块的操作。为了方便说明，将图8 中示出的成像设备l〇a称作"右照相机"并且将成像设备10b称作"左照相机"。
[0087] 如图10中所示，视差值导出设备3包括图像获取单元110、过滤器210、成本计算 器310 (获取单元）、成本合成器320 (合成器）、亚像素估计器330 (导出单元）、存储设备 340 (存储设备）和视差图像生成器350。
[0088] 图像获取单元110是使用左、右两个照相机对前方物体成像并生成模拟图像信号 以获得两个辉度图像的处理单元，该辉度图像是基于各自的图像信号的图像。图像获取单 元110由图9中示出的成像设备10a和成像装置10b实现。
[0089] 过滤器210从图像获取单元110获得的两个辉度图像的图像信号中除去噪声，将 图像信号转换成数字图像数据，并输出转换的数字图像数据。这里，由过滤器210输出的两 个辉度图像的图像数据（下文中简称为"辉度图像"）被设置为由图像获取单元110的右 照相机（成像设备l〇a)捕获的参考图像la的图像数据（以下简称为"参考图像la"），和 作为由左照相机（成像设备l〇b)捕获的比较图像lb的图像数据（以下简称为"比较图像 lb"）。也就是说，过滤器210基于从图像获取单元110输出的两个辉度图像来输出参考图 像la和比较图像lb。过滤器210由如图9中所示的信号转换器20a、20b来实现。
[0090] 存储设备340存储图11中示出的特征表T，该特征表T提供了当成本计算器310 计算与比较图像lb中的参考像素p(x，y)相对应的候选对应像素q(x+d，y)的成本C(p，d) 时使用的离散偏移量d。这里，成本（cost)指的是代表了比较图像lb中的每个像素相对 于参考图像la中的参考像素p的相异度的评估值。也就是说，下面示出的成本（以及合成 成本）的值越小则表明比较图像的像素越接近于参考像素。存储设备340由图9中示出的 ROM 33或RAM 34来实现。这里，特征表T中包括的偏移量d的离散值被称为抽样偏移特征 (特征）。具体地，抽样偏移特征包括从用于获得比较图像lb中的候选像素q(x+d，y)的成 本的偏移量d中、在偏移量d的预定的范围内（例如，0 < d < 25)以预定的方法部分地除 去某些值（抽样）而获得的离散的偏移量d。也就是说，抽样偏移特征包括在偏移量的预定 的范围内不连续的偏移量d。
[0091] 成本计算器310基于参考图像la中的参考像素p (x，y)的辉度值和对于对应像素 的每个候选像素q(x+d，y)(候选区域）的辉度值来计算并获得每个候选像素q(x+d，y)的 成本C(p，d)，其中对应像素是基于参考像素p(x，y)将从与比较图像lb中核线上的参考像 素P(x，y)的位置相对应的像素偏移了偏移量d而指定的。这里，成本计算器310通过使用 抽样偏移特征中包括的偏移量d来计算成本C (p，d)，该偏移量d作为在计算比较图像lb中 的候选像素q(x+d，y)的成本C(p，d)中使用的偏移量d。也就是说，成本计算器310并不 是基于以像素为单位所偏移的偏移量d来计算成本C、而是基于在抽样偏移特征中包括的 离散的偏移量d来计算成本C(p，d)的。作为结果，在为其计算成本C的指定的范围中的各 个候选像素q(x+d，y)的区域包括了在偏移方向上在最靠近的区域中移位了两个或两个以 上像素的区域。成本计算器310由图9中示出的FPGA 31来实现。由成本计算器310计算 的成本C例如是绝对差之和（SAD)或平方差之和（SSD)。图12中的图示出了在抽样偏移特 征中包括的离散偏移量d与由成本计算器310计算的成本C之间的关系。如上所述，成本 计算器310并不是基于以像素为单位所偏移的偏移量d来计算成本C、而是基于在抽样偏移 特征中包括的离散的偏移量d来计算成本C的，从而降低了用于计算成本C的处理负荷。
[0092] 这里，将描述用于获得抽样偏移特征的预定的方法的示例。首先，从上面的等式 (2)可以理解的是，在比较图像lb和参考图像la中，采用小视差值A则到物体的距离Z大， 而采用大视差值A则到物体的距离Z小。因此，在比较图像lb和参考图像la中，在视差 值△小的区域（距离Z大的区域）中与视差值△的单位变化相对应的距离Z的变化要大 于在视差值△大的区域（距离Z小的区域）中与视差值△的单位变化相对应的距离Z的 变化。例如，假设在上面的等式（2)中，由视差值导出设备3的规格所定义的BXf的值为 BXf = 30。这里，例如，如果在视差值A小的区域中将视差值A从"2"到"3"变化一个 单位量，则距离Z从" 15"变化到" 10"并且在这种情况下距离Z的变化量是"_5"。另一方 面，如果在视差值A大的区域中将视差值A从" 10"到"11"变化单位量，则距离Z从"3" 变化到"2. 7"并且在这种情况下距离Z的变化量是3"，这比视差值A小的区域中距离 Z的变化量要小。
[0093] 满足行驶在道路上的车辆100的辅助驾驶的最低需要的距离信息应具有所需要 的分辨率。例如，作为距离信息而获得的距离范围是1至100 [m]并且所需要的分辨率为 1 [m]。在这种情况下，在偏移量d较小的区域中，与偏移量d的变化相对应的距离Z的变化 则更大。因此，为了导出满足距离Z的分辨率的视差值A，成本计算器310需要以细微的间 隔为每个偏移量d计算成本C。另一方面，在偏移量d较大的区域中与偏移量d的变化相对 应的距离Z的变化则更小。因此，为了导出满足距离Z的分辨率的视差值A，成本计算器 310可以以稀疏的间隔为每个偏移量d计算成本C。因此，当基于在距离方面所需要的分辨 率来获得抽样偏移特征时，在抽样偏移特征中包括的偏移量d的值小的区域中离散的偏移 量d之间的间隔减小（细微），而在偏移量d的值大的区域中偏移离散量d之间的间隔增 大（稀疏）。也就是说，当在抽样偏移特征中包括的偏移量d是升序排列时，相邻的偏移量 d之间的差值随偏移量d的值的增加而增加。由此获得的抽样偏移特征以特征表T的形式 预先存储在存储设备340中。
[0094] 例如，当偏移量d的预定范围为如上所述的0 < d < 25时，示出通过上述方法获 得的抽样偏移特征的示例作为图11中的特征表T中的抽样偏移特征。偏移量d"l、2、3、5、 7、9、12、15、19、23"形成了图11中的特征表1'中的抽样偏移特征。图11中示出的抽样偏移 特征中包括的偏移量d的值之间的间隔是" 1、1、2、2、2、3、3、4、4"，其中在偏移量d的值小 的区域中偏移量d之间的间隔小，而在偏移量d的值大的区域中偏移量d之间的间隔更大。 在下文中，假设偏移量(1"1、2、3、5、7、9、12、15、19、23"形成了如图11中所示的特征表1'中 的各个抽样偏移特征。显然地，偏移量d的其他值可以形成抽样偏移特征。
[0095] 如上所述，在图12中的不出了图11中不出的抽样偏移特征中包括的偏移量d与 由成本计算器310计算的成本C之间的关系的图中，当偏移量d = 3和d = 12时给出了成 本C的最小值的近似。因此，很难获得成本C的最小值以获得与参考图像la中的参考像素 对应的比较图像lb中的对应像素。尤其当图像包括具有弱纹理的部分时，因此很难获得成 本C的最小值。
[0096] 成本合成器320采用由成本计算器310计算的 候选像素q (x+d，y)的成本C (p，d)， 通过合计对于参考像素（第二参考区域）的比较图像lb中的像素的成本C来计算候选像 素q(x+d，y)的合成成本Ls(p，d)，其中参考像素是参考图像la中在参考像素p(x，y)(第 一参考区域）邻近的像素。这里，成本合成器320使用抽样偏移特征中包括的偏移量d作 为用于计算合成成本Ls(p，d)的偏移量d来计算合成成本Ls(p，d)。也就是说，成本合成 器320并不是基于以像素为单位偏移的偏移量d来计算合成成本Ls，而是基于抽样偏移特 征中包括的离散偏移量d来计算合成成本Ls (p，d)。作为结果，为其计算合成成本Ls的指 定范围内的各个候选像素q(x+d，y)的区域包括那些在偏移方向上最接近的区域中移位了 两个或两个以上像素的区域。成本合成器320由图9中示出的FPGA 31来实现。为了计算 合成成本Ls，首先成本合成器320通过上文（等式3)在预定方向r上计算路径成本Lr(p， d)。在这种情况下，（等式3中）Lr (p-r，d)表示当将从参考像素p的坐标在r方向偏移一 个像素的坐标上的像素偏移了抽样偏移特征中包括的偏移量d时的路径成本Lr。其次，成 本合成器320在如图5中示出的八个方向即Lr。、Lr 45、Lr9(l、Lr135、Lr18(l、Lr 225、Lr27(l、Lr315上 计算路径成本Lr并且基于上文（公式4)最终计算出合成成本Ls(p，d)。图13中的图表 示了包括在抽样偏移特征中的离散偏移量d与由成本合成器320计算的合成成本Ls之间 的关系。如图13中所示，当偏移量d = 3时获得合成成本Ls的最小值。如上所述，成本合 成器320并不是基于以像素为单位偏移的偏移量d，而是基于包括在抽样偏移特征中的离 散偏移量d来计算合成成本Ls的，从而降低了用于计算合成成本Ls的处理负荷。
[0097] 亚像素估计器330在与对于参考图像la中的参考像素的比较图像lb中的像素的 合成成本Ls的最小值（第一极值）相对应的偏移量d和相邻的偏移量d上，基于由成本合 成器320计算的合成成本Ls来执行亚像素估计。亚像素估计器330由图9中所示的FPGA 31来实现。图13中示出的合成成本Ls的图是针对离散选择但是像素为单位分段的偏移量 d的合成成本Ls的图。因此，在图13的图中的合成成本Ls的最小值是在以像素为单位分 段的偏移量d = 3时的合成成本Ls。也就是说，在如图13中示出的、合成成本Ls针对以像 素为单位分段的偏移量d的图中，仅能够导出以像素为单位的值作为视差值A。这里，亚像 素估计是指估计并导出比像素小的单位（以下简称亚像素）的视差值△，而不是以像素为 单位的值。
[0098] 首先将参考图14描述亚像素估计器330通过抛物线拟合来执行亚像素估计的情 况。亚像素估计器330获得与由成本合成器320计算的合成成本Ls的图（图13)中最小 的合成成本Ls对应的偏移量d的值。在图13的示例中，偏移量d = 3对应于最小的合成 成本Ls。接下来，亚像素估计器330在抽样偏移特征中获得与偏移量d = 3相邻的偏移量 d。具体地，偏移量d = 2、5。接下来，亚像素估计器330在图13的偏移量d和合成成本Ls 的图中获得穿过偏移量d = 2、3、5的三点的下凸二次曲线，如图14所示。然后，亚像素估 计器330将与二次曲线的局部最小值（第二极值）对应的、以亚像素为单位的偏移量d估 计为视差值A。
[0099] 现在将参考图15描述亚像素估计器330通过最小二乘法执行亚像素估计的情况。 亚像素估计器330获得与由成本合成器320计算的合成成本Ls的图（图13)中合成成本 Ls最小时的偏移量d的值。在图13的示例中，偏移量d = 3对应于最小合成成本Ls。接 下来，亚像素估计器330获得抽样偏移特征中偏移量d = 3附近的四个偏移量d。具体地， 偏移量d= 1、2、5、7。接下来，亚像素估计器330在图13中的偏移量d和合成成本Ls的图 中通过最小二乘法获得穿过偏移量d = 1、2、3、5、7的五点附近的下凸二次曲线，如图15中 所示。然后，亚像素估计器330将与二次曲线的局部最小值（第三极值）相对应的、以亚像 素为单位的偏移量d估计为视差值A。
[0100] 亚像素估计器330通过基于图14中示出的抛物线拟合的亚像素估计或者基于图 15中示出的最小二乘法的亚像素估计来估计并导出视差值△。由于由此能够以小于像素 的单位的亚像素为单位导出视差值△，因此能够导出准确的、高密度的视差值A。
[0101] 亚像素估计并不限于基于抛物线拟合的估计和基于最小二乘法的估计，而是可以 基于其他方法。例如，亚像素估计器330可以使用图14中示出的三点，通过获得穿过三点 的等角线而不是二次曲线由用于估计视差值△的等角线性拟合来执行亚像素估计。
[0102] 在基于最小二乘法的亚像素估计中，使用图15的图中的五个点来得到二次曲线。 然而实施例并不限于此，并且可以使用不同数量的点来获得二次曲线。
[0103] 实施例不限于由亚像素估计器330通过亚像素估计以亚像素为单位计算视差值 A。可以在不执行亚像素估计的前提下计算以像素为单位的视差值△。在这种情况下，亚 像素估计器330输出由成本合成器320计算的、与对于参考图像la中的参考像素的比较图 像lb中的像素的合成成本Ls的最小值相对应的偏移量d作为视差值A。
[0104] 视差图像生成器350基于亚像素估计器330导出的、以亚像素为单位的视差值A， 通过与那个像素相对应的视差值△来生成视差图像Ip (高密度视差图像），该视差图像是 代表参考图像la中的每个像素的辉度值的图像。视差图像生成器350由图9中示出的FPGA 31来实现。图16A是示出了比较图像lb的示例的示意图，图16B是示出了参考图像la的 示例的示意图，并且图16C是示出了由视差图像生成器350生成的视差图像Ip的概念图的 示意图。
[0105] 成本计算器310、成本合成器320、亚像素估计器330和视差图像生成器350由 FPGA 31，也就是说，硬件电路来实现，但实施例并不限于此。也就是说，在成本计算器310、 成本合成器320、亚像素估计器330和视差图像生成器350中的至少一个可以由执行软件程 序的CPU 32来实现。成本计算器310、成本合成器320、亚像素估计器330和视差图像生成 器350是被概念性地配置成块的功能，并且实施例并不限于这样的配置。
[0106] 视差值导出设备的图像处理操作
[0107] 图17是示出了根据本实施例的视差值导出设备中的立体匹配处理的操作过程示 例的图。将参考图17描述在视差值导出设备3中基于立体匹配处理（SGM法）的图像处理 的操作过程。
[0108] 步骤 S1-1
[0109] 视差值导出设备3的图像获取单元110通过使用左照相机（成像设备10b)对前 方物体成像来生成模拟图像信号并且基于图像信号获得作为图像的辉度图像。然后处理前 进到步骤S2-1。
[0110] 步骤 S1-2
[0111] 视差值导出设备3的图像获取单元110通过使用右照相机（成像设备10a)对前 方物体成像来生成模拟图像信号并且基于图像信号获得作为图像的辉度图像。然后处理前 进到步骤S2-2。
[0112] 步骤 S2-1
[0113] 视差值导出设备3的过滤器210从通过使用成像设备10b成像获得的模拟图像信 号中除去噪声并且将图像信号转换成数字图像数据。然后处理前进到步骤S3-1。
[0114] 步骤 S2-2
[0115] 视差值导出设备3的过滤器210从通过使用成像设备10a成像获得的模拟图像信 号中除去噪声并且将图像信号转换成数字图像数据。然后处理前进到步骤S3-2。
[0116] 步骤 S3-1
[0117] 过滤器210基于在步骤S2-1转换的数字图像数据来输出图像作为在立体匹配处 理中的比较图像lb。然后处理前进到步骤S4。
[0118]步骤S3-2
[0119] 过滤器210基于在步骤S2-2转换的数字图像数据来输出图像作为在立体匹配处 理中的比较图像la。然后处理前进到步骤S4。
[0120] 步骤 S4
[0121] 视差值导出设备3的成本计算器310基于参考图像la中的参考像素p(x，y)的 辉度值和对于对应像素的每个候选像素q(x+d，y)的辉度值，计算并获得每个候选像素 q(x+d，y)的成本C(p，d)，其中候选像素是基于参考像素p(x，y)将与比较图像lb中的核 线上的参考像素P(x，y)的位置相对应的像素偏移了偏移量d的位置而指定的。这样做时， 成本计算器310通过使用存储在存储设备340中的特征表T中的抽样偏移特征中包括的偏 移量d来计算成本C (p，d)，作为用于计算比较图像lb中的候选像素q (x+d，y)的成本C (p， d)所用的偏移量d。然后处理前进到步骤S5。
[0122]步骤S5
[0123] 视差值导出设备3的成本合成器320采用由成本计算器310计算的候选像素 q(x+d，y)的成本C(p，d)，通过合计对于参考像素的比较图像lb中的像素的成本C来计 算候选像素q(x+d，y)的合成成本Ls(p，d)，其中参考像素是在参考图像la中的参考像素 P(x，y)的邻近的像素。这样做时，成本合成器320通过使用抽样偏移特征中包括的偏移量 d来计算合成成本Ls(p，d)，作为计算合成成本Ls(p，d)所用的偏移量d。然后处理前进到 步骤S6。
[0124]步骤S6
[0125] 视差值导出设备3的亚像素估计器330基于在与对于参考图像la中的参考像素 的比较图像lb中的像素的合成成本Ls的最小值对应的偏移量d和与以上偏移量d相邻的 偏移量d的、由成本合成器320计算的合成成本Ls来执行亚像素估计。亚像素估计器330 将与由亚像素估计所获得的拟合曲线（图14和图15中的下凸的二次曲线）的局部最小值 相对应的、以亚像素为单位的偏移量d估计为视差值△。然后处理前进到步骤S7。
[0126]步骤S7
[0127] 视差值导出设备3的视差图像生成器350基于由亚像素估计器330导出的以亚像 素为单位的视差值△来生成视差图像Ip (高密度视差图像），该视差图像Ip是用与那个像 素相对应的视 差值△表示了参考图像la中每个像素的辉度值的图像。
[0128] 然后，经过图9中的I/F 35输出视差图像Ip的图像数据，并且通过物体识别设备 5来计算从成像设备l〇a、10b到物体的距离。
[0129] 车载装备控制系统示例
[0130] 图18是示出了载于车辆的根据本实施例的装备控制系统示例的图。下面将参考 图18描述载于车辆100的装备控制系统60的示例。
[0131] 在图18中示出的配置中，被配置为汽车的车辆100包括装备控制系统60。装备控 制系统60包括安装在作为舱室的车辆内部的视差值导出设备3、控制设备6、方向盘7和制 动踏板8。
[0132]视差值导出设备3具有对车辆100的行驶方向上成像的成像功能，并安装在例如 车辆100的前车窗上内侧的后视镜附近。视差值导出设备3包括主体2和固定到主体2上 的成像设备l〇a与成像设备10b。成像设备10a、10b被固定到主体2上以便能够对在车辆 1〇〇的行驶方向上的物体成像。
[0133] 控制设备6是代替上述物体识别系统1中的物体识别设备5被连接到视差值导出 设备3上、并且使用从视差值导出设备3到物体的距离信息来执行多种车辆控制的设备，该 距离信息是基于从视差值导出设备3接收的视差图像的图像数据而获得的。作为车辆控制 的示例，控制设备6基于从视差值导出设备3接收的视差图像的图像数据来执行控制包括 方向盘7的转向系统（控制目标）以避免障碍物的转向控制、或者控制制动踏板8 (控制目 标）以减速或停止车辆100的制动控制。
[0134] 通过执行例如在包括视差值导出设备3和控制设备6的装备控制系统60中的转 向控制或者制动控制的车辆控制，能够改进驾驶车辆1〇〇的安全性。
[0135] 如上所述，视差值导出设备3捕获在车辆100前方的物体的图像。然而，实施例并 不限于此。具体地，可以安装视差值导出设备3以便捕获在车辆100后面或者侧面的物体 的图像。在这种情况下，视差值导出设备3可以检测例如跟随车辆100的后方车辆或者与 车辆100并行行驶的其它车辆的位置。当车辆100变道或者并道时控制设备6可以检测危 险并执行以上车辆控制。在车辆100例如在停车场中被后退的情况下，当确定存在碰撞危 险时，控制设备6还可以基于由视差值导出设备3检测的车辆100后方的障碍物的视差图 像来执行以上车辆控制。
[0136] 本实施例的主要有益效果
[0137] 如上所述，在根据本实施例的视差值导出设备3中，成本计算器310和成本合成器 320并不是基于以像素为单位的偏移量d而是基于抽样偏移特征中包括的离散偏移量d来 分别计算成本C和合成成本Ls。与基于以像素为单位偏移的偏移量d的计算相比较，可以 减少用于计算成本C和合成成本Ls的处理负荷，改进立体匹配处理的处理速度，并降低用 于导出视差值所需的时间。
[0138] 在视差值导出设备3中，亚像素估计器330可以导出以亚像素为单位的视差值A， 亚像素是比像素更小的单位，并且从而可以导出准确的和高密度的视差值△，得出更准确 的视差图像。
[0139] 设置分别由成本计算器310和成本合成器320用来计算成本C和合成成本Ls的、 在抽样偏移特征中包括的离散偏移量d，以便在偏移量d的值较小的区域中减少偏移量d之 间的间隔（较细），而在偏移量d的值较大的区域中增大偏移量d之间的间隔（较粗）。由 此能够满足行驶在道路上的车辆的辅助驾驶的最低需要的距离信息所需要的分辨率。
[0140] 当用做匹配度的成本C是代表了相似度的评估值时，在其上的以亚像素为单位的 合成成本Ls为最大的偏移量d是视差值A。
[0141] 在上述实施例中，物体识别设备5基于视差图像（视差值）来计算距离Z。然而， 实施例不限于此，并且视差值导出设备3的图像处理器30的CPU 32可以计算距离Z。
[0142] 根据上述实施例，可以减少图像处理的负荷并降低用于导出视差值所需要的时 间。
[0143] 虽然为了完整清晰的公开已经针对具体实施例描述了发明，然而所附权利要求并 不因此受到限制而是应理解为体现了本领域技术人员可能想到的所有的修改和替代结构， 这些都应属于这里提出的基本教示的范围内。
【主权项】
1. 一种视差值导出设备，包括： 获取单元，配置成获取从第一成像位置捕获的参考图像中的参考区域与从第二成像位 置捕获的比较图像中的指定范围内的多个区域中的每一个之间的匹配度，其中多个区域包 括与参考区域相对应的对应区域； 合成器，配置成合成参考图像中的预定参考区域周边的参考区域的匹配度和参考图像 中的预定参考区域的匹配度；以及 导出单元，配置成基于合成器所获得的合成的匹配度来导出物体的视差值，物体的图 像在预定参考区域和与预定参考区域相对应的对应区域中被捕获，其中 指定范围内的至少部分区域被在预定方向上在最接近的区域中移动两个或两个以上 像素。2. -种装备控制系统，包括： 根据权利要求1所述的视差值导出设备；和 控制设备，配置成利用从视差值导出设备到物体的距离信息来控制控制目标，距离信 息从由视差值导出设备导出的视差值获得。3. -种可移动装置，包括根据权利要求2所述的装备控制系统。4. 一种机器人，包括根据权利要求2所述的装备控制系统。5. -种视差值导出设备，用于从参考图像和比较图像中导出代表了对于物体的视差的 视差值，其中参考图像由捕获物体的图像的第一成像单元获得，比较图像由捕获物体的另 一图像的第二成像单元获得，视差值导出设备包括： 获取单元，配置成基于第一参考区域的辉度值和候选区域的辉度值来计算多个候选区 域的各自的匹配度，其中多个候选区域的每一个都作为与参考图像中的第一参考区域相对 应的比较图像中的对应区域的候选，其中基于第一参考区域，在比较图像中的核线上，从与 第一参考区域的位置相对应的区域中，通过从预定的偏移范围部分地除去预定的偏移量而 获得的特征中包括的偏移量进行位置偏移来指定候选区域的辉度值； 合成器，配置成基于特征中包括的偏移量，使用候选区域的匹配度，通过合计对于在第 一参考区域周边的第二参考区域在比较图像中的匹配度，来计算每个候选区域的合成匹配 度；和 导出单元，配置成基于与比较图像中的各个候选区域的合成的匹配度的第一极值相对 应的偏移量来导出视差值。6. 根据权利要求5所述的视差值导出设备，其中当特征中包括的偏移量以升序排列 时，配置特征使得相邻偏移量之间的差值随偏移量增大而增大。7. 根据权利要求6所述的视差值导出设备，其中由根据对于基于视差值确定的到物体 的距离的期望分辨率的偏移量形成特征。8. 根据权利要求5至7中任何一项所述的视差值导出设备，还包括配置成预先存储特 征的存储设备。9. 根据权利要求5至7中的任何一项所述的视差值导出设备，其中导出单元基于被包 括在特征中包括的偏移量中并且包括与第一极值相对应的偏移量的互相邻近的偏移量，通 过亚像素估计导出视差值。10. 根据权利要求9所述的视差值导出设备，其中导出单元导出与穿过坐标上的三点 的二次曲线中的第二极值相对应的、以亚像素为单位的偏移量作为视差值，所述三点由对 应于第一极值并且被包括在包括于特征中的偏移量中的偏移量、由与该偏移量相邻的两个 偏移量、以及由与偏移量相对应的合成的匹配度来定义。11. 根据权利要求9所述的视差值导出设备，其中导出单元导出与使用坐标上四个或 者四个以上的点由最小二乘法定义的二次曲线中的第三极值相对应的、以亚像素为单位的 偏移量作为视差值，所述四个或者四个以上点由包括与第一极值相对应的偏移量并且被包 括在包括于特征中的偏移量中的四个或者四个以上相邻的偏移量、以及由与偏移量相对应 的合成的匹配度来定义。12. -种装备控制系统，包括： 根据权利要求5至7中任何一个所述的视差值导出设备；以及 控制设备，配置成使用从视差值导出设备到物体的距离信息来控制控制目标，距离信 息从由视差值导出设备导出的视差值中获得。13. -种可移动装置，包括根据权利要求12所述的装备控制系统。14. 一种机器人，包括根据权利要求12所述的装备控制系统。15. -种视差值导出方法，包括： 获取从第一成像位置捕获的参考图像中的参考区域与从第二成像位置捕获的比较图 像中的指定范围内的多个区域中的每一个之间的匹配度，其中多个区域包括与参考区域相 对应的对应区域； 合成参考图像中的预定参考区域周边的参考区域的匹配度和参考图像中的预定参考 区域的匹配度；以及 基于合成步骤中所获得的合成的匹配度来导出物体的视差值，物体的图像在预定参考 区域和与预定参考区域相对应的对应区域中被捕获，其中 指定范围内的至少部分区域被在预定方向上在最接近的区域中移动两个或两个以上 像素。16. -种视差值导出设备，包括： 获取单元，配置成获取从第一成像位置捕获的参考图像中的参考区域与从第二成像位 置捕获的比较图像中的指定范围内的多个不连续区域中的每一个之间的匹配度，其中多个 不连续区域包括与参考区域相对应的对应区域； 合成器，配置成合成参考图像中的预定参考区域周边的参考区域的匹配度和参考图像 中的预定参考区域的匹配度；以及 导出单元，配置成基于合成器所获得的合成的匹配度来导出物体的视差值，物体的图 像在预定参考区域和与预定参考区域相对应的对应区域中被捕获。
【专利摘要】本发明提供了一种视差值导出设备及方法、装备控制系统、可移动装置。该视差值导出设备，包括：获取单元，配置成获取从第一成像位置捕获的参考图像中的参考区域与从第二成像位置捕获的比较图像中的指定范围内的多个区域中的每一个之间的匹配度，其中多个区域包括参考区域的对应区域；合成器，配置成合成参考图像中的预定参考区域周边的参考区域的匹配度和参考图像中的预定参考区域的匹配度；以及导出单元，配置成基于合成器所获得的合成的匹配度来导出物体的视差值，物体的图像在预定参考区域和预定参考区域的对应区域中被捕获。
【IPC分类】H04N13/00, G06T7/00
【公开号】CN104883553
【申请号】CN201510088844
【发明人】仲维, 渡边义一, 横田聪一郎, 齐藤树一郎, 田村亮辅
【申请人】株式会社理光
【公开日】2015年9月2日
【申请日】2015年2月26日
【公告号】EP2924655A2, US20150248594