用于将使用不同深度成像技术生成的深度图像合并的方法和装置的制造方法
用于将使用不同深度成像技术生成的深度图像合并的方法和装置的制造方法
【技术领域】
[0001] 本领域一般地涉及图像处理，并且更具体地涉及深度图像的处理。
【背景技术】
[0002] 已知用于实时地生成空间场景的三维（3D)图像的许多不同技术。例如，可基于由 被布置成使得每个照相机具有场景的不同视野的各照相机捕捉的多个二维（2D)图像使用 三角测量来生成空间场景的3D图像。然而，此类技术的显著缺点是其一般地要求非常密集 的计算，并且因此可能消耗计算机或其他处理设备的过量的可用计算资源。并且，难以在当 使用此类技术时涉及到不足环境照明的条件下生成准确的3D图像。
[0003] 其他已知技术包括使用诸如结构光（SL)照相机或飞行时间（atimeofflight) (ToF)照相机之类的深度成像器来直接地生成3D图像。此类照相机通常是紧凑式的，提供 快速的图像生成，并且在电磁谱的近红外部分中操作。结果，SL和ToF照相机一般地在机 器视觉应用中使用，诸如视频游戏系统或实现基于姿势的人机接口的其他类型的图像处理 系统中的姿势识别。SL和ToF照相机还被用于多种其他机器视觉应用中，包括例如人脸检 测和单个或多个人跟踪。
[0004] SL照相机和ToF照相机使用不同的物理原理进行操作，并且结果展现出关于深度 成像的不同优点和缺点。
[0005] 典型常规SL照相机包括至少一个发射器和至少一个传感器。发射器被配置成向 场景中的对象上投射指定光图案。该光图案包括诸如线或光斑之类的多个图案元素。相应 的反射图案在传感器处失真地出现，因为发射器和传感器具有不同的对象视角。使用三角 测量法来确定对象表面形状的精确几何重构。然而，由于由发射器投射的光图案的性质，在 已在传感器处接收到的相应反射光图案的元素与场景中的特定点之间建立关联更为容易， 从而避免了与使用来自不同照相机的多个2D图像的三角测量相关联的大量繁重计算。
[0006] 尽管如此，SL照相机具有在x和y维度上的精度方面的固有困难，因为基于光图 案的三角测量法不允许使得图案尺寸任意地细粒化以便实现高分辨率。并且，为了避免眼 损伤，跨整个图案的总体发射功率以及每个图案元素（例如，线或光斑）中的空间和角度功 率密度受到限制。结果产生的图像因此展现出低信噪比，并且仅提供有限质量的深度图，潜 在地包括许多深度伪像。
[0007] 虽然ToF照相机通常能够比SL照相机更精确地确定x-y坐标，但ToF照相机也具 有关于空间分辨率的问题，特别是在深度测量或z坐标方面。因此，按照惯例，ToF照相机 一般地提供比SL照相机更好的x-y分辨率，而SL照相机一般地提供比ToF照相机更好的 z分辨率。
[0008] 类似于SL照相机，典型的常规ToF照相机还包括至少一个发射器和至少一个传感 器。然而，发射器被控制产生具有基本上恒定振幅和频率的连续波（CW)输出光。已知有其 他变体，包括基于脉冲的调制、多频调制和编码脉冲调制，并且其一般地被配置成相对于CW 情况改善深度成像精度或减少多个照相机之间的相互干扰。
[0009] 在这些及其他ToF布置中，输出光照亮要成像的场景并被场景中的对象散射或反 射。结果得到的返回光被传感器检测并用来产生深度图或其他类型的3D图像。传感器一次 接收从整个被照亮场景反射的光，并通过测量相应的时间延迟来估计到每个点的距离。这 更特别地涉及到例如利用输出光与返回光之间的相位差来确定到场景中的对象的距离。
[0010] 深度测量结果通常是在ToF照相机中使用要求模拟电路中的非常快速的切换和 时间积分的技术生成的。例如，每个传感器单元可包括复杂模拟集成半导体期间，结合具有 微微秒开关和高精度积分电容器的光子传感器，以便经由传感器光流的时间积分来使测量 噪声最小化。虽然避免了与三角测量的使用相关联的缺点，但对复杂模拟电路的需要增加 了与每个传感器单元相关联的成本。结果，能够在给定实际实现中使用的传感器单元的数 目是有限的，其又可能限制深度图的可实现质量，再次地导致可包括大量深度伪像的图像。
【发明内容】
[0011] 在一个实施例中，深度成像器被配置成使用第一深度成像技术来生成第一深度图 像，并使用不同于第一深度成像技术的第二深度成像技术来生成第二深度图像。第一深度 图像和第二深度图像中的每一个的至少一部分被合并而形成第三深度图像。深度成像器 包括至少一个传感器，其包括至少部分地被第一和第二深度成像技术共享的单个公共传感 器，使得第一深度图像和第二深度图像两者都至少部分地使用从单个公共传感器获取的数 据而生成。仅以示例的方式，第一深度图像可包括使用SL深度成像技术生成的SL深度图， 并且第二深度图像可包括使用ToF深度成像技术生成的ToF深度图。
[0012] 本发明的其他实施例包括但不限于方法、装置、系统、处理设备、集成电路以及具 有在其中体现的计算机程序代码的计算机可读储存介质。
【附图说明】
[0013] 图1是包括配置有深度图合并功能的深度成像器的图像处理系统的实施例的框 图。
[0014] 图2和3图示出在图1的深度成像器的各实施例中实现的示例性传感器。
[0015] 图4示出了图1的深度成像器的实施例中的与给定深度成像器传感器的单个单元 相关联并被配置成提供局部深度估计的数据获取模块的一部分。
[0016] 图5示出了图1的深度成像器的实施例中的数据获取模块和被配置成提供全局深 度估计的关联深度图处理模块。
[0017] 图6图示出在图5的深度图处理模块中处理的示例性深度图像中的给定内插像素 周围的像素邻点的示例。
【具体实施方式】
[0018] 在本文中将结合示例性图像处理系统来举例说明本发明的实施例，该示例性图像 处理系统包括被配置成使用各不同的深度成像技术来生成深度图像的深度成像器，诸如SL 和ToF深度成像技术，结果是深度图像被合并而形成另一深度图像。例如，本发明的实施例 包括深度成像方法和装置，其能够生成与由常规SL或ToF照相机生成的那些相比具有增强 深度分辨率和较少深度伪像的较高质量深度图或其他类型的深度图像。然而，应理解的是 本发明的实施例更一般地可应用于其中期望为深度图或其他类型的深度图像提供改善的 质量的任何图像处理系统或关联深度成像器。
[0019] 图1示出了本发明的实施例中的图像处理系统100。图像处理系统100包括深度 成像器101，其通过网络104与多个处理设备102-1、102-2.....102-N通信。本实施例中 的深度成像器101被假设为包括3D成像器，其结合了多个不同类型的深度成像功能，说明 性地SL深度成像功能和ToF深度成像功能两者，虽然在其他实施例中可使用多种其他类型 的深度成像器。
[0020] 深度成像器101生成场景的深度图或其他深度图像并通过网络104将那些图像传 送至处理设备102中的一个或多个。处理设备102可包括以任何组合方式的计算机、服务 器或储存设备。举例来说，一个或多个此类设备可包括显示屏或被用来呈现由深度成像器 101生成的图像的各种其他类型的用户接口。
[0021] 虽然在本实施例中被示为与处理设备102分离，但可将深度成像器101至少部分 地与处理设备中的一个或多个组合。因此，例如，可至少部分地使用处理设备102中的给定 的一个来实现深度成像器101。举例来说，可将计算机配置成结合深度成像器101作为外围 设备。
[0022] 在给定实施例中，将图像处理系统100实现为视频游戏系统或其他类型的基于姿 势的系统，其生成图像以便识别用户姿势或其他用户移动。公开的成像技术能够同样地适 合于在要求基于姿势的人机接口的多种其他系统中使用，并且还能够应用于除姿势识别之 外的许多应用，诸如涉及到人脸检测、人跟踪或处理来自深度成像器的深度图像的其他技 术的机器视觉系统。这些意图包括机器人及其他工业应用中的机器视觉系统。
[0023] 如图1中所示的深度成像器101包括被耦合到一个或多个发射器106和一个或多 个传感器108的控制电路105。发射器106中的给定的一个包括例如布置成LED阵列的多 个LED。每个此类LED是在本文中更一般地称为"光源"的东西的示例。虽然在一个实施例 中使用多个光源，其中发射器包括LED阵列，但其他实施例可仅包括单个光源。并且，还将 认识到的是可使用除LED之外的光源。例如，在其他实施例中，可用激光二极管或其他光源 来替换LED的至少一部分。在本文中所使用的术语"发射器"意图被宽泛地理解，从而涵盖 一个或多个光源的所有此类布置。
[0024] 控制电路105说明性地包括用于发射器106的每个光源的一个或多个驱动电路。 相应地，每个光源可具有关联驱动电路，或者多个光源可共享公共驱动电路。在2012年10 月 23 日提交且题为"OpticalSourceDriverCircuitforDepthImager"的美国专利申 请序号13/658, 153中公开了适合于在本发明的实施例中使用的驱动电路的示例，该专利 申请被与本申请共同转让并通过引用结合到本文中。
[0025] 控制电路105控制一个或多个发射器106的光源，从而产生具有特定特性的输出 光。在上文引用的美国专利申请序号13/658, 153中能够找到可利用控制电路105的给定 驱动电路而提供的输出光振幅和频 率变化的斜坡和步进不例。
[0026] 控制电路105的驱动电路因此能够被配置成生成具有指定类型的振幅和频率变 化的驱动信号，其方式为相对于常规深度成像器而言提供深度成像器101方面的显著改善 的性能。例如，可将此类布置配置成允许不仅驱动信号振幅和频率、而且诸如积分时间窗之 类的其他参数的特别高效的优化。
[0027] 来自一个或多个发射器106的输出光照亮要成像的场景，并且使用一个或多个传 感器108来检测结果得到的返回光，并且然后在控制电路105和深度成像器101的其他部 件中进一步处理，以便创建深度图或其他类型的深度图像。此类深度图像可说明性地包括 例如3D图像。
[0028] 可以包括多个传感器单元的检测器阵列的形式来实现给定传感器108,所述多个 传感器单元每个包括半导体光子传感器。例如，此类检测器阵列可包括电荷耦合器件（CXD) 传感器、光电二极管矩阵或其他类型和布置的多个光学检测器元件。下面将结合图2和3 来描述传感器单元的特定阵列的示例。
[0029] 本实施例中的深度成像器101被假设为使用至少一个处理设备来实现并包括被 耦合到存储器112的处理器110。处理器110执行存储于存储器112中的软件代码以便经 由控制电路105来指挥一个或多个发射器106和一个或多个传感器108的操作的至少一部 分。深度成像器101还包括支持通过网络104的通信的网络接口 114。
[0030] 本实施例中的深度成像器101的其他部件包括数据获取模块120和深度图处理模 块122。下面将结合图4至6更详细地描述使用深度成像器101的深度获取模块120和深 度图处理模块122实现的示例性图像处理操作。
[0031] 深度成像器101的处理器110可以任何组合方式包括例如微处理器、专用集成电 路（ASIC)、现场可编程门阵列（FPGA)、中央处理单元（CPU)、算术逻辑单元（ALU)、数字信号 处理器（DSP)或其他类似处理设备部件以及其他类型和布置的图像处理电路。
[0032] 存储器112存储软件代码以便在实现深度成像器101的功能的各部分、诸如数据 获取模块120和深度图处理模块122中的至少一个的各部分时由处理器110执行。
[0033] 存储软件代码以供相应的处理器执行的给定此类存储器是在本文中更一般地称 为计算机可读介质或具有在其中体现的计算机程序代码的其他类型的计算机程序产品的 东西的示例，并且可以任何组合方式包括例如电子存储器，诸如随机存取存储器（RAM)或 只读存储器（ROM)、磁存储器、光学存储器或其他类型的存储设备。
[0034] 如上文所指示的，处理器110可包括微处理器、ASIC、FPGA、CPU、ALU、DSP或其他 图像处理电路的各部分或组合，并且这些部件另外可包括存储电路，其被认为包括存储器， 如在本文中广泛地使用的。
[0035] 因此应认识到的是可以集成电路的形式来实现本发明的实施例。在给定此类集成 电路实施方式中，通常在半导体晶片的表面上以重复图案来形成相同的管芯。每个管芯包 括例如如本文所述的控制电路105的至少一部分且可能有深度成像器101的其他图像处理 电路，并且还可包括其他结构或电路。单独管芯被从晶片切割或分割，然后封装为集成电 路。本领域的技术人员将指导如何分割晶片并封装管芯以产生集成电路。这样制造的集成 电路被视为本发明的实施例。
[0036] 网络104可包括诸如因特网之类的广域网（WAN)、局域网（LAN)、蜂窝网络或任何 其他类型的网络以及多个网络的组合。深度成像器101的网络接口 114可包括一个或多个 常规收发机或其他网络接口电路，其被配置成允许深度成像器101通过网络104与每个处 理设备102中的类似网络接口通信。
[0037] 本实施例中的深度成像器101 -般地被配置成使用第一深度成像技术来生成第 一深度图像，并使用不同于第一深度成像技术的第二深度成像技术来生成第二深度图像。 第一深度图像和第二深度图像中的每一个的至少一部分然后被合并而形成第三深度图像。 深度成像器101的传感器108中的至少一个是公共传感器，其至少部分地被第一和第二深 度成像技术共享，使得第一深度图像和第二深度图像两者都是至少部分地使用从单个公共 传感器获取的数据而生成。
[0038] 举例来说，第一深度图像可包括使用SL深度成像技术生成的SL深度图，并且第二 深度图像可包括使用ToF深度成像技术生成的ToF深度图。相应地，此类实施例中的第三 深度图像将使用单个公共传感器生成的SL和ToF深度图合并，以导致与否则将单独地使用 SL或ToF深度图获得的相比更高质量的深度信息。
[0039] 可至少部分地使用单个公共传感器的多个传感器单元的各第一和第二不同子集 来生成第一深度图像和第二深度图像。例如，可至少部分地使用单个公共传感器的多个传 感器单元的指定子集来生成第一深度图像，并且可在不使用指定子集的传感器单元的情况 下生成第二深度图像。
[0040] 如图1中所示的图像处理系统100的特定配置仅仅是示例性的，并且其他实施例 中的系统100可除具体地示出的那些之外或作为其替代而包括其他元件，包括一般地在此 类系统的常规实施方式中发现的类型的一个或多个元件。
[0041] 现在参考图2和3,示出了上述单个公共传感器108的示例。
[0042] 如图2中所示的传感器108包括以传感器单元阵列的形式布置的多个传感器单元 200,包括SL传感器单元和ToF传感器单元。更特别地，此6X6阵列示例包括4个SL传感 器单元和32个ToF传感器单元，虽然应理解的是此布置仅仅是示例性的，并且为了图示的 明了起见而被简化。能够改变传感器单元和阵列维度的特定数目以适应给定应用的特定需 要。在本文中还可将每个传感器单元称为图片元素或"像素"。此术语还用来指示使用各传 感器单元生成的图像的元素。
[0043] 图2示出了总共36个传感器单元，其中的4个是SL传感器单元，并且其中的32 个是ToF传感器单元。更一般地，传感器单元的总数中的大约^是SL传感器单元，并且其 余^个传感器单元是ToF传感器单元，其中，M通常约为9，但是在其他实施例中可采取其 他值。
[0044] 应注意的是SL传感器单元和ToF传感器单元可具有不同配置。例如，每个SL传 感器单元可包括半导体光子传感器，其包括用于根据SL深度成像技术来处理未调制光的 直流0C)检测器，而每个ToF传感器单元可包括不同类型的光子传感器，其包括用于根据 ToF深度成像技术来处理射频（RF)已调制光的微微秒开关和高精度积分电容器。
[0045] 替换地，能够以基本上相同的方式来配置每个传感器单元，只是给定此类传感器 单元的DC或RF输出根据在SL还是ToF深度成像中使用传感器单元而被进一步处理。
[0046] 应认识到的是本实施例中的来自单个发射器或多个发射器的输出光一般地具有 DC和RF分量两者。在示例性SL深度成像技术中，处理可主要利用如通过随时间推移对返 回光求积分而确定的DC分量以获得平均值。在示例性ToF深度成像技术中，处理可主要以 从同步RF解调器获得的相移值的形式利用RF分量。然而，在其他实施例中可以有许多其 他深度成像布置。例如，ToF深度成像技术可另外采用DC分量，可能用于根据其特征的特 定集合而确定相位测量可靠性估计中的照明条件或用于其他目的。
[0047] 在图2实施例中，SL传感器单元和ToF传感器单元包括单个公共传感器108的传 感器单元200的各第一和第二不同子集。在本实施例中使用单个公共传感器的传感器单元 的这些各第一和第二不同子集来生成SL和ToF深度图像。在本实施例中不同的子集分开， 使得仅使用SL单元来生成SL深度图像，并且仅使用ToF单元来生成ToF深度图像。这是 其中至少部分地使用单个公共传感器的多个传感器单元的指定子集来生成第一深度图像 且在不使用指定子集的传感器单元的情况下生成第二深度图像的布置的示例。在其他实施 例中，子集不需要分开。图3实施例是具有未分开的传感器单元的不同子集的传感器的示 例。
[0048] 如图3中所示的传感器108还包括以传感器单元阵列的形式布置的多个传感 器单元200。然而，在本实施例中，传感器单元包括ToF传感器单元以及许多联合SL和 ToF(SL+ToF)传感器单元。更特别地，此6X6阵列示例包括4个SL+ToF传感器单元和32 个ToF传感器单元，虽然再次地应理解的是此布置仅仅是示例性的，并且为了图示的明了 起见而被简化。在本实施例中还使用单个公共传感器108的传感器单元200的各第一和第 二不同子集来生成SL和ToF深度图像，但是将SL+ToF传感器单元用于SL深度图像生成和 ToF深度图像生成。因此，SL+ToF传感器单元被配置成产生供在后续SL深度图像处理中使 用的DC输出和供在后续ToF深度图像处理中使用的RF输出两者。
[0049] 图2和3的实施例图示出在本文中也称为"传感器融合"的内容，其中，使用深度 成像器101的单个公共传感器108来生成SL和ToF深度图像两者。在其他实施例中可使 用许多替换传感器融合布置。
[0050] 深度成像器101另外或替换地可实现在本文中称为"发射器融合"的内容，其中， 使用深度传感器101的单个公共发射器106来生成用于SL和ToF深度成像二者的输出光。 相应地，深度成 像器101可包括单个公共发射器106,其被配置成根据SL深度成像技术和 ToF深度成像技术两者来生成输出光。替换地，可将单独发射器用于不同的深度成像技术。 例如，深度成像器101可包括被配置成根据SL深度成像技术来生成输出光的第一发射器 106和被配置成根据ToF深度成像技术来生成输出光的第二发射器106。
[0051] 在包括单个公共发射器的发射器融合布置中，可例如使用LED、激光器或其他光源 的掩码集成阵列来实现所述单个公共发射器。能够将不同的SL和ToF光源点缀在单个公 共发射器中的棋盘形图案中。另外或替换地，可将对ToF深度成像有用的RF调制应用于单 个公共发射器的SL光源，以便使否则可能在从联合SL+ToF传感器单元获取RF输出时出现 的偏移偏置最小化。
[0052] 应理解的是能够在单独实施例中利用如在本文中公开的传感器融合和发射器融 合技术，或者可在单个实施例中将两个此类技术组合。如下面将结合图4至6更详细地描 述的，与适当数据获取和深度图处理相组合地使用这些传感器和发射器融合技术中的一个 或多个能够导致更高质量的深度图像，其具有由常规SL或ToF照相机生成的那些相比具有 增强的深度分辨率和较少的深度伪像。
[0053] 现在将参考图4至6来更详细地描述数据获取模块120和深度图处理模块122的 操作。
[0054] 最初参考图4,将与特定半导体光子传感器108-(x，y)相关联的数据获取模块120 的一部分示为包括元素 402、404、405、406、410、412 和 414。元素 402、404、406、410、412 和 414与相应像素相关联，并且元素405表示从其他像素接收到的信息。假设针对单个共同传 感器108的每个像素复制图4中所示的所有这些元素。
[0055] 光子传感器108_(x，y)表示图2或3的单个公共传感器108的传感器单元200中 的给定的一个的至少一部分，其中，x和y是传感器单元矩阵的行和列的各索引。数据获取 模块120的相应部分120-(x，y)包括ToF解调器402、ToF可靠性估计器404、SL可靠性估 计器406、T〇F深度估计器410、SL三角测量模块412和深度判定模块414。ToF解调器在本 实施例的背景下更具体地称为"ToF类解调器"，因为其可包括适合于执行ToF功能的解调 器。
[0056] 说明性地使用硬件和软件的组合来实现SL三角测量模块412,并且说明性地使用 硬件和固件的组合来实现深度判定模块414,虽然可使用硬件、软件和固件中的一个或多个 的其他布置来实现这些模块以及本文中公开的其他模块或部件。
[0057] 在图中，在光子传感器108-(x，y)中检测从被成像的场景返回的IR光。这产生提 供给ToF解调器402的输入信息化(x，y)。输入信息化(x，y)包括振幅信息A(x，y)和强度 信息B(x，y)。
[0058] ToF解调器402将振幅信息A(x，y)解调以生成被提供给ToF深度估计器410的 相位信息巾（x，y)，其使用相位信息来生成ToF深度估计。ToF解调器402还向ToF可靠性 估计器404提供振幅信息A(x，y)并向SL可靠性估计器406提供强度信息B(x，y)。ToF可 靠性估计器404使用振幅信息来生成ToF可靠性估计，并且SL可靠性估计器406使用强度 信息来生成SL可靠性估计。
[0059] SL可靠性估计器406还使用强度信息B(x，y)来生成估计SL强度信息《美/)。 估计的SL强度信息1C鳥被提供给SL三角测量模块412以供在生成SL深度估计中使用。
[0060]在本实施例中，使用估计的SL强度信息来代替强度信息B(x，y)，因为后 者不仅包括来自SL图案或其一部分的反射光Ia，其对经由三角测量来重构深度有用，而且 包括不期望项，其可能包括来自ToF发射器的DC偏移分量1。"^和来自其他环境IR源的背 光分量Ibac；klight。相应地，能够如下表示强度信息B(x，y):
[0061 ]B(x,y) =ISL (x,y) +Ioffsel (x,y) +Ibacklight (x,y).
[0062] 表示各不期望偏移和背光分量的B(x，y)的第二和第三项随时间是相对恒定的且 在x-y平面中是均匀的。因此能够如下通过减去其在所有可能（x，y)值范围内的平均值来 基本上去除这些分量。
[0064] 可归因于不期望偏移和背光分量的的任何其余变化将不会严重地影响深 度测量，因为三角测量涉及到像素位置而不是像素强度。估计的sl强度信息:rac鳥被传 递至SL三角测量模块412。
[0065] 能够使用许多其他技术从强度信息B(x，y)生成估计的SL强度信息。例如，在另 一实施例中，评估x_y平面中的平滑化平方空间梯度估计G(x，y)的量值以识别受到非期望 分量负面影响最多的那些（x，y)位置。
[0066] G(x,y) =smoothing_filter((B(x,y)-B(x+1,y+1)) 2+(B(x+1,y)-B(x,y+1))2).
[0067] 在本示例中，平滑化平方空间梯度G(x，y)充当用于识别受影响像素位置的辅助 掩码，使得：
[0068] (xSL,ySL)=argmax(B(x,y) ?G(x,y)).
[0069] 其中，对（xa，ysJ给出受影响像素位置的坐标。再次地，能够使用其他技术来生 成/?《丨》少)。
[0070] 深度判定模块414从ToF深度估计器410接收ToF深度估计并从SL三角测量模 块412接收用于给定像素的SL深度估计（如果有的话）。其还从各可靠性估计器404和 406接收ToF和SL可靠性估计。深度判定模块414利用ToF和SL深度估计及相应的可靠 性估计器来生成用于给定传感器单元的局部深度估计。
[0071] 作为一个示例，深度判定模块414能够平衡SL和ToF深度估计以通过取加权和来 使结果得到的不确定性最小化：
[0072] Dresult(x,y) = (DToF (x,y) ,Re1ToF (x,y)+DSL (x,y) ?Re1SL (x,y) ) / (RelToF(x,y) +RelSL (x,y))
[0073] 其中，^和DT()F表示各SL和ToF深度估计，Rel%和RelT()F表示各SL和ToF可靠 性估计，并且D_ult表示由深度判定模块414生成的局部深度估计。
[0074] 在本实施例中所使用的可靠性估计能够将作为到被成像对象的范围的函数的SL 和ToF深度成像性能之间的差考虑在内。例如，在某些实施方式中，SL深度成像在短程和 中程处可表现得比ToF深度成像更好，而ToF深度成像可在较长范围处比SL深度成像表现 得更好。如在可靠性估计中反映的此类信息能够提供结果得到的局部深度估计方面的进一 步改善。
[0075] 在图4实施例中，针对传感器阵列的每个单元或像素生成局部深度估计。然而，在 其他实施例中，可在多个单元或像素群组范围内生成全局深度估计，如现在将结合图5所 述的。更特别地，在图5布置中，全局深度估计被针对单个公共传感器108的给定单元和一 个或多个附加单元基于如针对给定单元确定且同样地针对一个或多个附加单元确定的SL 和ToF深度估计及相应的SL和ToF可靠性估计来生成。
[0076] 还应注意的是可使用混合式布置，涉及到如图4中所示地生成的局部深度估计和 如图5中所示地生成的全局深度估计的组合。例如，当深度信息的局部重构由于来自SL和 ToF源的可靠深度数据的缺乏或由于其他原因而不可能时，可利用深度信息的全局重构。
[0077] 在图5实施例中，深度图处理模块120在一组K个传感器单元或像素范围内生成 全局深度估计。数据获取模块120包括单个单元数据获取模块的K个示例，其大体上对 应于图4布置，但是没有局部深度判定模块414。单个单元数据获取模块的示例120-1、 120-2、. . . 120-K中的每一个具有关联光子传感器108-(x，y)以及解调器402、可靠性估计 器404和406、T〇F深度估计器410和SL三角测量模块410。相应地，图5中所示的单个单 元数据获取模块120中的每一个被基本上如图4中所示地配置，差别是从每个模块去除了 局部深度判定模块414。
[0078] 图5实施例因此将单个单元数据获取模块120聚合到深度图合并框架中。可将各 模块120的至少子集相关联的元素405与来自那些模块的相应ToF解调器402的强度信号 线组合，以便形成承载用于指定的邻点的特定的一组强度信息B(x，y)的网格。在此类布 置中，指定的邻点中的每个ToF解调器402将其强度信息B(x，y)提供给组合网格，以便促 进此类强度信息在相邻模块之间的分布。作为一个示例，可定义尺寸（2M+1)X(2M+1)的邻 点，网格承载被供应给相应模块120中的SL可靠性估计器406的强度值B(x-M，y-M)...B( x+M，y-M)，? ? ?B(x-M，y+M) ? ? ?B(x+M，y+M)。
[0079] 图5实施例中所示的K个传感器单元可包括单个公共传感器108的所有传感器单 元200或者包括少于全部传感器单元的特定群组。在后一种情况下，可针对多组传感器单 元复制图5布置以便提供覆盖单个公共传感器108的所有传感器单元的全局深度 估计。
[0080] 本实施例中的深度图处理模块122还包括SL深度图组合模块502、SL深度图预处 理器504、ToF深度图组合模块506、ToF深度图预处理器508以及深度图合并模块510。
[0081] SL深度图组合模块502从各单个单元数据获取模块120-1至120-K中的各SL三 角测量模块412和SL可靠性估计器406接收SL深度估计和关联SL可靠性估计，并使用此 接收信息来生成SL深度图。
[0082] 同样地，ToF深度图组合模块506从各单个单元数据获取模块120-1至120-K中 的各ToF深度估计器410和ToF可靠性估计器404接收ToF深度估计和关联ToF可靠性估 计，并使用此接收信息来生成ToF深度图。
[0083] 来自组合模块502的SL深度图和来自组合模块506的ToF深度图中的至少一个 在其关联预处理器504或508中被进一步处理，从而基本上使各深度图的分辨率均衡。基 本上均衡的SL和ToF深度图然后在深度图合并模块520中被合并以便提供最后全局深度 估计。最后全局深度估计可采取已合并深度图的形式。
[0084] 例如，在图2的单个公共传感器实施例中，潜在地可从传感器单元200的总数的约
获得SL株度彳目息，并且潜在地可从其余
传感器单兀获得ToF株度彳目息。图3传感 器实施例是类似的，但是潜在地可从所有传感器单元获得ToF深度信息。如先前所指示的，ToF深度成像技术一般地提供比SL深度成像技术更好的x-y分辨率，而SL深度成像技术一 般地提供比ToF照相机更好的z分辨率。相应地，在此类布置中，已合并深度图将相对更准 确的SL深度信息与相对不那么准确的ToF深度信息组合，同时还将相对更准确的ToFx-y 信息与相对不那么准确的SLx-y信息组合，并且因此与仅使用SL或ToF深度成像技术产 生的深度图相比展现出在所有维度上的增强分辨率和较少的深度伪像。
[0085] 在SL深度图组合模块502中，可以下列方式处理来自单个单元数据获取模块 120-1至120-K的SL深度估计和相应的SL可靠性估计。让0(!表示包括一组（X，y,z)三元 组的SL深度成像信息，其中，（x，y)表示SL传感器单元的位置且z是在SL三角测量获得 的位置（x，y)处的深度值。能够使用基于阈值的判定规则在SL深度图组合模块502中形 成组Dq:
[0086] D〇={(x,y,DSL(x,y)) :RelSL (x,y) >ThresholdSL}.
[0087] 作为一个例子，RelSL(x，y)可以是在相应深度信息遗漏的情况下等于0且在其存 在的情况下等于1的二级制可靠性估计，并且在此类布置中，Threshold%能够等于诸如0. 5 之类的中间值。可使用许多替换可靠性估计、阈值值和基于阈值的判定规则。基于％，在组 合模块502中构造包括稀疏矩阵SL深度图，该稀疏矩阵D1在相应的（x，y)位置上包 括z值且在所有其他位置上包括零。
[0088] 在ToF深度图组合模块506中，可使用类似方法。相应地，可以以下方式来处理来 自单个单元数据获取模块120-1至120-K的ToF深度估计和相应的ToF可靠性估计。让T。 表示包括一组（x，y，z)三元组的ToF深度成像信息，其中（x，y)表示ToF传感器单元的位 置，并且z是使用ToF相位信息获得的位置（x，y)处的深度值。能够使用基于阈值的判定 规则在ToF深度图组合模块506中形成组IV
[0089] T〇= {(x,y,DToF (x,y)) :RelToF (x,y) >ThresholdToF}.
[0090] 如在先前所述的SL情况下，能够使用多种不同类型的可靠性估计ReIToF(x，y)和 阈值ThreshholcU。基于T。，在组合模块506中构造包括矩阵1\的ToF深度图，矩阵T:在 相应的（x，y)位置上包括z值且在所有其他位置上包括零。
[0091] 假设使用具有如图2或图3所示地布置的传感器单元的单个公共传感器108，T〇F 传感器单元的数目比SL传感器单元的数目大得多，并且因此矩阵1\不是类似于矩阵D:的 稀疏矩阵。由于在中存在比在Di中更少的零值，所以在ToF和SL深度图在深度图合并 模块510中被合并之前，在预处理器508中经受基于内插的重构。此预处理更特别地涉 及到用于中的包含零的那些位置的重构深度值。
[0092] 本实施例中的内插涉及到识别1\中的在其位置上具有零的特定像素，识别用于特 定像素的像素邻域，并基于像素邻域中的各像素的深度值对用于特定像素的深度值进行内 插。针对1\中的每个零深度值像素重复此过程。
[0093] 图6示出了ToF深度图矩阵中的零深度值像素周围的像素邻域。在本实施例 中，像素邻域包括围绕特定像素P的八个像素pl至P8。
[0094] 举例来说，用于特定像素p的像素的邻域说明性地包括像素p的n个邻居的集合 SP：
[0095] SP={p1, . . .pj,
[0096] 其中，n个邻居每个满足不等式：
[0097] ||p-Pi||〈d，
[0098] 其中，d是阈值或邻域半径且U? | |表示x_y平面中的像素p和pl在其各自中 心之间测量的的几里德距离。虽然在本例子中使用欧几里德距离，但可使用其他类型的距 离度量，诸如曼哈顿距离度量或者更一般地P范数距离度量。在图6中针对像素p的八像 素邻域图示出对应于圆半径的d的示例。然而，应理解的是可使用许多其他技术来识别用 于各特定像素的像素邻域。
[0099] 针对具有图6中所示的像素邻域的特定像素p，能够将用于该像素的深度值％计 算为各相邻像素的深度值的平均值：
[0101] 或者作为各相邻像素的深度值的中值：
[0103] 应认识到的是上文所使用的平均值和中值仅仅是在本发明的实施例中可应用的 两个可能内插技术的示例，并且可使用本领域的技术人员所知的许多其他内插技术来代替 平均值或中值内插。
[0104] 来自SL深度图组合模块502的SL深度图D1还能够经受SL深度图预处理器504 中的一个或多个预处理操作。例如，在某些实施例中还可将上文针对ToF深度图所述类 型的内插技术应用于SL深度图Di。
[0105] 作为SL深度图预处理的另一示例，假设SL深度图Di具有对应于合并深度图的期 望尺寸的MDXND像素的分辨率，并且来自ToF深度图组合模块506的ToF深度图Ti具有 MTqFXNT()F像素的分辨率，其中，MT()F<MD且KND。在这种情况下，可使用许多众所周知 的图像向上采样技术中的任何一个来增加ToF深度图分辨率以基本上与SL深度图的匹配， 包括基于双线性或三次内插的向上采样技术。在必要时可在深度图重新确定尺寸之前或之 后应用SL和ToF深度图中的一者或两者的裁剪，以便保持期望的纵横比。此类向上采样和 裁剪操作是在本文中更一般地称为深度图像预处理操作的东西的示例。
[0106] 本实施例中的深度图合并模块510接收预处理的SL深度图和预处理的ToF深度 图，两者都具有基本上相等的尺寸或分辨率。例如，如前所述的向上采样之后的ToF深度图 具有MDXND的期望合并深度图分辨率且没有具有遗漏深度值的像素，而SL深度图具有相同 分辨率，但可具有某些具有遗漏深度值的像素。然后可使用以下示例性过程在模块510中 将这两个SL和ToF深度图合并：
[0107] 1.针对SL深度图Di中的每个像素（x，y)，基于Di中的（x，y)的固定像素邻域来 估计标准深度偏差〇D(x，y)。
[0108] 2.针对ToF深度图中的每个像素（x，y)，基于中的（x，y)的固定像素邻域 来估计标准深度偏差〇i(x，y)。
[0109] 3.使用标准偏差最小化方案将SL和ToF深度图合并：
[0111] 替换方法是应用超分辨率技术，可能基于马尔科夫随机场。在题为"Image ProcessingMethodandApparatusforEliminationofDepthArtifacts"的俄罗斯专利 申请代理人档案号L12-1346RU1中更详细地描述了这种方案的实施例，其被与本申请共同 转让并通过引用结合到本文中，并且能够允许以特别高效的方式基本上消除或减少深度图 或其他类型的深度图像中的深度伪像。一个此类实施例中的超分辨率技术被用来重构一个 或多个潜在地有缺陷像素的深度信息。在例如J.Diebel等人在NIPS，MITPress，pp. 291- 298, 2005 中的"AnApplicationofMarkovRandomFieldstoRangeSensing"和Q.Yang 等人在IEEEConferenceonComputerVisionandPatternRecognition(CVPR)，2〇〇7 中 的"Spatial-DepthSuperResolutionforRangeImages"中能够找到关于可适合于在本 发明的实施例中使用的超分辨率技术的附加细节，其两者都被通过引用结合到本文中。然 而，以上仅仅是可在本发明的实施例中使用的超分辨率技术的例子。在本文中所使用的术 语"超分辨率技术"意图被宽泛地理解成从而涵盖能够用来增强给定图像的分辨率（可能 通过使用一个或多个其他图像）的技术。 [0112] 应注意的是在某些实施例中可使用校准。例如，在其中利用两个单独传感器108 来生成各SL和ToF深度图的实施例中，可将两个传感器在相对于彼此的位置方面固定，并 且然后以以下方式校准。
[0113] 首先，使用各传感器来获得SL和ToF深度图像。多个相应点位于图像中，通常至 少四个点。将m表示为此类点的数目，并将Dxyz定义为包含用于来自SL深度图像的m个点 中的每一个的x、y和z坐标的3Xm矩阵，并将Txyz定义为包含用于来自ToF深度图像的相 应m个点中的每一个的x、y和z坐标的3Xm矩阵。分别地将A和TR表示为仿射变换矩阵 和平移矢量，其在最小均方意义上被定义为最佳，其中：
[0114] Txyz=A?DxyzffTR.
[0115] 矩阵A和矢量TR能够作为以下优化问题的解：
[0116] R= | |A?Dxyz+TR-Txyz | |2-min.
[0117] 使用逐个元素表示法，A= ^}，其中，（i,j) = (1，1).? ?(3, 3)且TR={trj，其 中k= 1，…3。最小均方意义上的此优化问题的解是基于包括12个变量和12m个等式的 以下线性方程组：
[0118] dR/dafO,i=l，2, 3jj=l，2, 3，
[0119] dR/dtrk=0,k=l，2, 3，
[0120] 下一校准步骤是将SL深度图变换成ToF深度图1\的坐标系。这能够如下使用已 知A和TR仿射变换参数来完成：
[0121] 〇lxyz=A?Dxyz+TR.
[0122] Dlxyz*的像素的结果得到的（x，y)坐标并不总是整数，而是更一般地是有理数。相 应地，能够可能使用基于最近邻居或其他技术的内插将那些有理数坐标映射到规则网格， 其包括具有分辨率MDXND的ToF图像Ti的等距正交整数点阵点。在此类映射之后，规则网 格中的某些点可保持未填充，但是此结果产生的有空隙点阵对于超分辨率技术的应用而言 并不是至关重要的。可应用此类超分辨率技术来获得具有分辨率MDXND且可能具有一个或 多个零深度像素位置的SL深度图D2。
[0123] 可使用多种替换校准过程。并且，在其他实施例中不需要应用校准。
[0124] 再次地应强调的是如本文所述的本发明的实施例意图仅仅是说明性的。例如，能 够利用多种与在本文所述的特定实施例中利用的那些不同类型和布置的图像处理系统、深 度成像器、深度成像技术、传感器配置、数据获取模块和深度图处理模块来实现本发明的其 他实施例。另外，在其他实施例中不需要应用在本文中在描述某些实施例的背景下进行的 特定假设。在以下权利要求范围内的这些和许多其他替换实施例对于本领域的技术人员而 目将是显而易见的。
【主权项】
1. 一种方法，包括： 使用第一深度成像技术来生成第一深度图像； 使用不同于第一深度成像技术的第二深度成像技术来生成第二深度图像；以及 将第一深度图像和第二深度图像的至少一部分合并来形成第三深度图像； 其中，第一深度图像和第二深度图像两者都是至少部分地使用从深度成像器的单个公 共传感器获取的数据生成的。2. 如权利要求1的方法，其中，第一深度图像包括使用结构化光深度成像技术生成的 结构光深度图，并且第二深度图像包括使用飞行时间深度成像技术生成的飞行时间深度 图。3. 如权利要求1的方法，其中，第一深度图像和第二深度图像是至少部分地分别使用 单个公共传感器的多个传感器单元的相应第一和第二不同子集生成的。4. 如权利要求1的方法，其中，第一深度图像是至少部分地使用单个公共传感器的多 个传感器单元的指定子集生成的，并且第二深度图像是在不使用指定子集的传感器单元的 情况下生成的。5. 如权利要求2的方法，其中，生成第一深度图像和第二深度图像包括针对公共传感 器的给定单元： 从所述给定单元接收振幅信息； 将振幅信息解调以生成相位信息； 使用相位信息来生成飞行时间深度估计； 使用振幅信息来生成飞行时间可靠性估计； 从给定单元接收强度信息； 使用强度信息来生成结构光深度估计；以及 使用强度信息来生成结构光可靠性估计。6. 如权利要求5的方法，还包括：基于飞行时间和结构光深度估计及相应的飞行时间 和结构光可靠性估计来生成用于给定单元的局部深度估计。7. 如权利要求5的方法，其中，生成结构光深度估计和相应的结构光可靠性估计包括： 使用强度信息来生成估计结构光强度信息； 使用估计结构光强度信息来生成结构光深度估计；以及 使用强度信息来生成结构光可靠性估计。8. 如权利要求5的方法，还包括：基于如针对给定单元确定且类似地针对一个或多个 附加单元确定的飞行时间和结构光深度估计及相应的飞行时间和结构光可靠性估计来生 成用于传感器的给定单元和一个或多个附加单元的全局深度估计。9. 如权利要求2的方法，其中，生成第一深度图像和第二深度图像包括： 生成作为使用公共传感器的第一多个单元获得的结构光深度信息的组合的结构光深 度图； 生成作为使用公共传感器的第二多个单元获得的飞行时间深度信息的组合的飞行时 间深度图； 对结构光深度图和飞行时间深度图中的至少一个进行预处理，从而基本上使其各自分 辨率均衡；以及 将基本上均衡的结构光深度图和飞行时间深度图合并以生成已合并的深度图。10. 如权利要求9的方法，其中，所述预处理包括： 识别相应深度图中的特定像素； 识别用于特定像素的像素的邻域；以及 基于像素邻域中的各像素的深度值对用于特定像素的深度值进行内插。11. 一种具有在其中体现的计算机程序代码的计算机可读存储介质，其中，该计算机程 序代码当在包括深度成像器的图像处理系统中执行时促使图像处理系统执行如权利要求1 所述的方法。12. -种设备，包括： 深度成像器，包括至少一个传感器； 其中，所述深度成像器被配置以使用第一深度成像技术来生成第一深度图像，并使用 不同于第一深度成像技术的第二深度成像技术来生成第二深度图像； 其中，第一深度图像和第二深度图像中的每一个的至少一部分被合并来形成第三深度 图像；以及 其中，所述至少一个传感器包括至少部分地被第一和第二深度成像技术共享的单个公 共传感器，使得第一深度图像和第二深度图像两者都至少部分地使用从单个公共传感器获 取的数据生成。13. 如权利要求12的装置，其中，第一深度图像包括使用结构化光深度成像技术生成 的结构光深度图，并且第二深度图像包括使用飞行时间深度成像技术生成的飞行时间深度 图。14. 如权利要求12的装置，其中，深度成像器还包括被配置以根据结构光深度成像技 术来生成输出光的第一发射器和被配置以根据飞行时间深度成像技术来生成输出光的第 二发射器。15. 如权利要求12的装置，其中，所述深度成像器包括至少一个发射器，其中，所述至 少一个发射器包括被配置以根据结构光深度成像技术和飞行时间深度成像技术两者来生 成输出光的单个公共发射器。16. 如权利要求12的装置，其中，所述深度成像器被配置以至少部分地使用单个公共 传感器的多个传感器单元的相应第一和第二不同子集来生成第一深度图像和第二深度图 像。17. 如权利要求12的装置，其中，所述深度成像器被配置以至少部分地使用单个公共 传感器的多个传感器单元的指定子集来生成第一深度图像并在不使用指定子集的传感器 单元的情况下生成第二深度图像。18. 如权利要求12的装置，其中，所述单个公共传感器包括多个结构光传感器单元和 多个飞行时间传感器单元。19. 如权利要求12的装置，其中，所述单个公共传感器包括作为联合结构光和飞行时 间传感器单元的至少一个传感器单元。20. -种图像处理系统，包括： 至少一个处理设备；以及 与所述处理设备相关联并包括至少一个传感器的深度成像器； 其中，所述深度成像器被配置以使用第一深度成像技术来生成第一深度图像，并使用 不同于第一深度成像技术的第二深度成像技术来生成第二深度图像； 其中，第一深度图像和第二深度图像中的每一个的至少一部分被合并来形成第三深度 图像；以及 其中，所述至少一个传感器包括至少部分地被第一和第二深度成像技术共享的单个公 共传感器，使得第一深度图像和第二深度图像两者都至少部分地使用从单个公共传感器获 取的数据生成。21. -种包括如权利要求20的图像处理系统的姿势检测系统。
【专利摘要】深度成像器被配置成使用第一深度成像技术来生成第一深度图像，并使用不同于第一深度成像技术的第二深度成像技术来生成第二深度图像。第一深度图像和第二深度图像中的每一个的至少一部分被合并而形成第三深度图像。深度成像器包括至少一个传感器，其包括至少部分地被第一和第二深度成像技术共享的单个公共传感器，使得第一深度图像和第二深度图像两者都至少部分地使用从单个公共传感器获取的数据生成。举例来说，第一深度图像可包括使用SL深度成像技术生成的结构光(SL)深度图，并且第二深度图像可包括使用ToF深度成像技术生成的飞行时间(ToF)深度图。
【IPC分类】G01S17/89, G01B11/22
【公开号】CN104903677
【申请号】CN201380003684
【发明人】A·A·佩蒂尤什克, D·V·帕芬诺韦, I·L·马祖仁克, A·B·霍洛多恩克
【申请人】Lsi公司
【公开日】2015年9月9日
【申请日】2013年8月23日
【公告号】WO2014099048A2, WO2014099048A3
【技术领域】
[0001] 本领域一般地涉及图像处理，并且更具体地涉及深度图像的处理。
【背景技术】
[0002] 已知用于实时地生成空间场景的三维（3D)图像的许多不同技术。例如，可基于由 被布置成使得每个照相机具有场景的不同视野的各照相机捕捉的多个二维（2D)图像使用 三角测量来生成空间场景的3D图像。然而，此类技术的显著缺点是其一般地要求非常密集 的计算，并且因此可能消耗计算机或其他处理设备的过量的可用计算资源。并且，难以在当 使用此类技术时涉及到不足环境照明的条件下生成准确的3D图像。
[0003] 其他已知技术包括使用诸如结构光（SL)照相机或飞行时间（atimeofflight) (ToF)照相机之类的深度成像器来直接地生成3D图像。此类照相机通常是紧凑式的，提供 快速的图像生成，并且在电磁谱的近红外部分中操作。结果，SL和ToF照相机一般地在机 器视觉应用中使用，诸如视频游戏系统或实现基于姿势的人机接口的其他类型的图像处理 系统中的姿势识别。SL和ToF照相机还被用于多种其他机器视觉应用中，包括例如人脸检 测和单个或多个人跟踪。
[0004] SL照相机和ToF照相机使用不同的物理原理进行操作，并且结果展现出关于深度 成像的不同优点和缺点。
[0005] 典型常规SL照相机包括至少一个发射器和至少一个传感器。发射器被配置成向 场景中的对象上投射指定光图案。该光图案包括诸如线或光斑之类的多个图案元素。相应 的反射图案在传感器处失真地出现，因为发射器和传感器具有不同的对象视角。使用三角 测量法来确定对象表面形状的精确几何重构。然而，由于由发射器投射的光图案的性质，在 已在传感器处接收到的相应反射光图案的元素与场景中的特定点之间建立关联更为容易， 从而避免了与使用来自不同照相机的多个2D图像的三角测量相关联的大量繁重计算。
[0006] 尽管如此，SL照相机具有在x和y维度上的精度方面的固有困难，因为基于光图 案的三角测量法不允许使得图案尺寸任意地细粒化以便实现高分辨率。并且，为了避免眼 损伤，跨整个图案的总体发射功率以及每个图案元素（例如，线或光斑）中的空间和角度功 率密度受到限制。结果产生的图像因此展现出低信噪比，并且仅提供有限质量的深度图，潜 在地包括许多深度伪像。
[0007] 虽然ToF照相机通常能够比SL照相机更精确地确定x-y坐标，但ToF照相机也具 有关于空间分辨率的问题，特别是在深度测量或z坐标方面。因此，按照惯例，ToF照相机 一般地提供比SL照相机更好的x-y分辨率，而SL照相机一般地提供比ToF照相机更好的 z分辨率。
[0008] 类似于SL照相机，典型的常规ToF照相机还包括至少一个发射器和至少一个传感 器。然而，发射器被控制产生具有基本上恒定振幅和频率的连续波（CW)输出光。已知有其 他变体，包括基于脉冲的调制、多频调制和编码脉冲调制，并且其一般地被配置成相对于CW 情况改善深度成像精度或减少多个照相机之间的相互干扰。
[0009] 在这些及其他ToF布置中，输出光照亮要成像的场景并被场景中的对象散射或反 射。结果得到的返回光被传感器检测并用来产生深度图或其他类型的3D图像。传感器一次 接收从整个被照亮场景反射的光，并通过测量相应的时间延迟来估计到每个点的距离。这 更特别地涉及到例如利用输出光与返回光之间的相位差来确定到场景中的对象的距离。
[0010] 深度测量结果通常是在ToF照相机中使用要求模拟电路中的非常快速的切换和 时间积分的技术生成的。例如，每个传感器单元可包括复杂模拟集成半导体期间，结合具有 微微秒开关和高精度积分电容器的光子传感器，以便经由传感器光流的时间积分来使测量 噪声最小化。虽然避免了与三角测量的使用相关联的缺点，但对复杂模拟电路的需要增加 了与每个传感器单元相关联的成本。结果，能够在给定实际实现中使用的传感器单元的数 目是有限的，其又可能限制深度图的可实现质量，再次地导致可包括大量深度伪像的图像。
【发明内容】
[0011] 在一个实施例中，深度成像器被配置成使用第一深度成像技术来生成第一深度图 像，并使用不同于第一深度成像技术的第二深度成像技术来生成第二深度图像。第一深度 图像和第二深度图像中的每一个的至少一部分被合并而形成第三深度图像。深度成像器 包括至少一个传感器，其包括至少部分地被第一和第二深度成像技术共享的单个公共传感 器，使得第一深度图像和第二深度图像两者都至少部分地使用从单个公共传感器获取的数 据而生成。仅以示例的方式，第一深度图像可包括使用SL深度成像技术生成的SL深度图， 并且第二深度图像可包括使用ToF深度成像技术生成的ToF深度图。
[0012] 本发明的其他实施例包括但不限于方法、装置、系统、处理设备、集成电路以及具 有在其中体现的计算机程序代码的计算机可读储存介质。
【附图说明】
[0013] 图1是包括配置有深度图合并功能的深度成像器的图像处理系统的实施例的框 图。
[0014] 图2和3图示出在图1的深度成像器的各实施例中实现的示例性传感器。
[0015] 图4示出了图1的深度成像器的实施例中的与给定深度成像器传感器的单个单元 相关联并被配置成提供局部深度估计的数据获取模块的一部分。
[0016] 图5示出了图1的深度成像器的实施例中的数据获取模块和被配置成提供全局深 度估计的关联深度图处理模块。
[0017] 图6图示出在图5的深度图处理模块中处理的示例性深度图像中的给定内插像素 周围的像素邻点的示例。
【具体实施方式】
[0018] 在本文中将结合示例性图像处理系统来举例说明本发明的实施例，该示例性图像 处理系统包括被配置成使用各不同的深度成像技术来生成深度图像的深度成像器，诸如SL 和ToF深度成像技术，结果是深度图像被合并而形成另一深度图像。例如，本发明的实施例 包括深度成像方法和装置，其能够生成与由常规SL或ToF照相机生成的那些相比具有增强 深度分辨率和较少深度伪像的较高质量深度图或其他类型的深度图像。然而，应理解的是 本发明的实施例更一般地可应用于其中期望为深度图或其他类型的深度图像提供改善的 质量的任何图像处理系统或关联深度成像器。
[0019] 图1示出了本发明的实施例中的图像处理系统100。图像处理系统100包括深度 成像器101，其通过网络104与多个处理设备102-1、102-2.....102-N通信。本实施例中 的深度成像器101被假设为包括3D成像器，其结合了多个不同类型的深度成像功能，说明 性地SL深度成像功能和ToF深度成像功能两者，虽然在其他实施例中可使用多种其他类型 的深度成像器。
[0020] 深度成像器101生成场景的深度图或其他深度图像并通过网络104将那些图像传 送至处理设备102中的一个或多个。处理设备102可包括以任何组合方式的计算机、服务 器或储存设备。举例来说，一个或多个此类设备可包括显示屏或被用来呈现由深度成像器 101生成的图像的各种其他类型的用户接口。
[0021] 虽然在本实施例中被示为与处理设备102分离，但可将深度成像器101至少部分 地与处理设备中的一个或多个组合。因此，例如，可至少部分地使用处理设备102中的给定 的一个来实现深度成像器101。举例来说，可将计算机配置成结合深度成像器101作为外围 设备。
[0022] 在给定实施例中，将图像处理系统100实现为视频游戏系统或其他类型的基于姿 势的系统，其生成图像以便识别用户姿势或其他用户移动。公开的成像技术能够同样地适 合于在要求基于姿势的人机接口的多种其他系统中使用，并且还能够应用于除姿势识别之 外的许多应用，诸如涉及到人脸检测、人跟踪或处理来自深度成像器的深度图像的其他技 术的机器视觉系统。这些意图包括机器人及其他工业应用中的机器视觉系统。
[0023] 如图1中所示的深度成像器101包括被耦合到一个或多个发射器106和一个或多 个传感器108的控制电路105。发射器106中的给定的一个包括例如布置成LED阵列的多 个LED。每个此类LED是在本文中更一般地称为"光源"的东西的示例。虽然在一个实施例 中使用多个光源，其中发射器包括LED阵列，但其他实施例可仅包括单个光源。并且，还将 认识到的是可使用除LED之外的光源。例如，在其他实施例中，可用激光二极管或其他光源 来替换LED的至少一部分。在本文中所使用的术语"发射器"意图被宽泛地理解，从而涵盖 一个或多个光源的所有此类布置。
[0024] 控制电路105说明性地包括用于发射器106的每个光源的一个或多个驱动电路。 相应地，每个光源可具有关联驱动电路，或者多个光源可共享公共驱动电路。在2012年10 月 23 日提交且题为"OpticalSourceDriverCircuitforDepthImager"的美国专利申 请序号13/658, 153中公开了适合于在本发明的实施例中使用的驱动电路的示例，该专利 申请被与本申请共同转让并通过引用结合到本文中。
[0025] 控制电路105控制一个或多个发射器106的光源，从而产生具有特定特性的输出 光。在上文引用的美国专利申请序号13/658, 153中能够找到可利用控制电路105的给定 驱动电路而提供的输出光振幅和频 率变化的斜坡和步进不例。
[0026] 控制电路105的驱动电路因此能够被配置成生成具有指定类型的振幅和频率变 化的驱动信号，其方式为相对于常规深度成像器而言提供深度成像器101方面的显著改善 的性能。例如，可将此类布置配置成允许不仅驱动信号振幅和频率、而且诸如积分时间窗之 类的其他参数的特别高效的优化。
[0027] 来自一个或多个发射器106的输出光照亮要成像的场景，并且使用一个或多个传 感器108来检测结果得到的返回光，并且然后在控制电路105和深度成像器101的其他部 件中进一步处理，以便创建深度图或其他类型的深度图像。此类深度图像可说明性地包括 例如3D图像。
[0028] 可以包括多个传感器单元的检测器阵列的形式来实现给定传感器108,所述多个 传感器单元每个包括半导体光子传感器。例如，此类检测器阵列可包括电荷耦合器件（CXD) 传感器、光电二极管矩阵或其他类型和布置的多个光学检测器元件。下面将结合图2和3 来描述传感器单元的特定阵列的示例。
[0029] 本实施例中的深度成像器101被假设为使用至少一个处理设备来实现并包括被 耦合到存储器112的处理器110。处理器110执行存储于存储器112中的软件代码以便经 由控制电路105来指挥一个或多个发射器106和一个或多个传感器108的操作的至少一部 分。深度成像器101还包括支持通过网络104的通信的网络接口 114。
[0030] 本实施例中的深度成像器101的其他部件包括数据获取模块120和深度图处理模 块122。下面将结合图4至6更详细地描述使用深度成像器101的深度获取模块120和深 度图处理模块122实现的示例性图像处理操作。
[0031] 深度成像器101的处理器110可以任何组合方式包括例如微处理器、专用集成电 路（ASIC)、现场可编程门阵列（FPGA)、中央处理单元（CPU)、算术逻辑单元（ALU)、数字信号 处理器（DSP)或其他类似处理设备部件以及其他类型和布置的图像处理电路。
[0032] 存储器112存储软件代码以便在实现深度成像器101的功能的各部分、诸如数据 获取模块120和深度图处理模块122中的至少一个的各部分时由处理器110执行。
[0033] 存储软件代码以供相应的处理器执行的给定此类存储器是在本文中更一般地称 为计算机可读介质或具有在其中体现的计算机程序代码的其他类型的计算机程序产品的 东西的示例，并且可以任何组合方式包括例如电子存储器，诸如随机存取存储器（RAM)或 只读存储器（ROM)、磁存储器、光学存储器或其他类型的存储设备。
[0034] 如上文所指示的，处理器110可包括微处理器、ASIC、FPGA、CPU、ALU、DSP或其他 图像处理电路的各部分或组合，并且这些部件另外可包括存储电路，其被认为包括存储器， 如在本文中广泛地使用的。
[0035] 因此应认识到的是可以集成电路的形式来实现本发明的实施例。在给定此类集成 电路实施方式中，通常在半导体晶片的表面上以重复图案来形成相同的管芯。每个管芯包 括例如如本文所述的控制电路105的至少一部分且可能有深度成像器101的其他图像处理 电路，并且还可包括其他结构或电路。单独管芯被从晶片切割或分割，然后封装为集成电 路。本领域的技术人员将指导如何分割晶片并封装管芯以产生集成电路。这样制造的集成 电路被视为本发明的实施例。
[0036] 网络104可包括诸如因特网之类的广域网（WAN)、局域网（LAN)、蜂窝网络或任何 其他类型的网络以及多个网络的组合。深度成像器101的网络接口 114可包括一个或多个 常规收发机或其他网络接口电路，其被配置成允许深度成像器101通过网络104与每个处 理设备102中的类似网络接口通信。
[0037] 本实施例中的深度成像器101 -般地被配置成使用第一深度成像技术来生成第 一深度图像，并使用不同于第一深度成像技术的第二深度成像技术来生成第二深度图像。 第一深度图像和第二深度图像中的每一个的至少一部分然后被合并而形成第三深度图像。 深度成像器101的传感器108中的至少一个是公共传感器，其至少部分地被第一和第二深 度成像技术共享，使得第一深度图像和第二深度图像两者都是至少部分地使用从单个公共 传感器获取的数据而生成。
[0038] 举例来说，第一深度图像可包括使用SL深度成像技术生成的SL深度图，并且第二 深度图像可包括使用ToF深度成像技术生成的ToF深度图。相应地，此类实施例中的第三 深度图像将使用单个公共传感器生成的SL和ToF深度图合并，以导致与否则将单独地使用 SL或ToF深度图获得的相比更高质量的深度信息。
[0039] 可至少部分地使用单个公共传感器的多个传感器单元的各第一和第二不同子集 来生成第一深度图像和第二深度图像。例如，可至少部分地使用单个公共传感器的多个传 感器单元的指定子集来生成第一深度图像，并且可在不使用指定子集的传感器单元的情况 下生成第二深度图像。
[0040] 如图1中所示的图像处理系统100的特定配置仅仅是示例性的，并且其他实施例 中的系统100可除具体地示出的那些之外或作为其替代而包括其他元件，包括一般地在此 类系统的常规实施方式中发现的类型的一个或多个元件。
[0041] 现在参考图2和3,示出了上述单个公共传感器108的示例。
[0042] 如图2中所示的传感器108包括以传感器单元阵列的形式布置的多个传感器单元 200,包括SL传感器单元和ToF传感器单元。更特别地，此6X6阵列示例包括4个SL传感 器单元和32个ToF传感器单元，虽然应理解的是此布置仅仅是示例性的，并且为了图示的 明了起见而被简化。能够改变传感器单元和阵列维度的特定数目以适应给定应用的特定需 要。在本文中还可将每个传感器单元称为图片元素或"像素"。此术语还用来指示使用各传 感器单元生成的图像的元素。
[0043] 图2示出了总共36个传感器单元，其中的4个是SL传感器单元，并且其中的32 个是ToF传感器单元。更一般地，传感器单元的总数中的大约^是SL传感器单元，并且其 余^个传感器单元是ToF传感器单元，其中，M通常约为9，但是在其他实施例中可采取其 他值。
[0044] 应注意的是SL传感器单元和ToF传感器单元可具有不同配置。例如，每个SL传 感器单元可包括半导体光子传感器，其包括用于根据SL深度成像技术来处理未调制光的 直流0C)检测器，而每个ToF传感器单元可包括不同类型的光子传感器，其包括用于根据 ToF深度成像技术来处理射频（RF)已调制光的微微秒开关和高精度积分电容器。
[0045] 替换地，能够以基本上相同的方式来配置每个传感器单元，只是给定此类传感器 单元的DC或RF输出根据在SL还是ToF深度成像中使用传感器单元而被进一步处理。
[0046] 应认识到的是本实施例中的来自单个发射器或多个发射器的输出光一般地具有 DC和RF分量两者。在示例性SL深度成像技术中，处理可主要利用如通过随时间推移对返 回光求积分而确定的DC分量以获得平均值。在示例性ToF深度成像技术中，处理可主要以 从同步RF解调器获得的相移值的形式利用RF分量。然而，在其他实施例中可以有许多其 他深度成像布置。例如，ToF深度成像技术可另外采用DC分量，可能用于根据其特征的特 定集合而确定相位测量可靠性估计中的照明条件或用于其他目的。
[0047] 在图2实施例中，SL传感器单元和ToF传感器单元包括单个公共传感器108的传 感器单元200的各第一和第二不同子集。在本实施例中使用单个公共传感器的传感器单元 的这些各第一和第二不同子集来生成SL和ToF深度图像。在本实施例中不同的子集分开， 使得仅使用SL单元来生成SL深度图像，并且仅使用ToF单元来生成ToF深度图像。这是 其中至少部分地使用单个公共传感器的多个传感器单元的指定子集来生成第一深度图像 且在不使用指定子集的传感器单元的情况下生成第二深度图像的布置的示例。在其他实施 例中，子集不需要分开。图3实施例是具有未分开的传感器单元的不同子集的传感器的示 例。
[0048] 如图3中所示的传感器108还包括以传感器单元阵列的形式布置的多个传感 器单元200。然而，在本实施例中，传感器单元包括ToF传感器单元以及许多联合SL和 ToF(SL+ToF)传感器单元。更特别地，此6X6阵列示例包括4个SL+ToF传感器单元和32 个ToF传感器单元，虽然再次地应理解的是此布置仅仅是示例性的，并且为了图示的明了 起见而被简化。在本实施例中还使用单个公共传感器108的传感器单元200的各第一和第 二不同子集来生成SL和ToF深度图像，但是将SL+ToF传感器单元用于SL深度图像生成和 ToF深度图像生成。因此，SL+ToF传感器单元被配置成产生供在后续SL深度图像处理中使 用的DC输出和供在后续ToF深度图像处理中使用的RF输出两者。
[0049] 图2和3的实施例图示出在本文中也称为"传感器融合"的内容，其中，使用深度 成像器101的单个公共传感器108来生成SL和ToF深度图像两者。在其他实施例中可使 用许多替换传感器融合布置。
[0050] 深度成像器101另外或替换地可实现在本文中称为"发射器融合"的内容，其中， 使用深度传感器101的单个公共发射器106来生成用于SL和ToF深度成像二者的输出光。 相应地，深度成 像器101可包括单个公共发射器106,其被配置成根据SL深度成像技术和 ToF深度成像技术两者来生成输出光。替换地，可将单独发射器用于不同的深度成像技术。 例如，深度成像器101可包括被配置成根据SL深度成像技术来生成输出光的第一发射器 106和被配置成根据ToF深度成像技术来生成输出光的第二发射器106。
[0051] 在包括单个公共发射器的发射器融合布置中，可例如使用LED、激光器或其他光源 的掩码集成阵列来实现所述单个公共发射器。能够将不同的SL和ToF光源点缀在单个公 共发射器中的棋盘形图案中。另外或替换地，可将对ToF深度成像有用的RF调制应用于单 个公共发射器的SL光源，以便使否则可能在从联合SL+ToF传感器单元获取RF输出时出现 的偏移偏置最小化。
[0052] 应理解的是能够在单独实施例中利用如在本文中公开的传感器融合和发射器融 合技术，或者可在单个实施例中将两个此类技术组合。如下面将结合图4至6更详细地描 述的，与适当数据获取和深度图处理相组合地使用这些传感器和发射器融合技术中的一个 或多个能够导致更高质量的深度图像，其具有由常规SL或ToF照相机生成的那些相比具有 增强的深度分辨率和较少的深度伪像。
[0053] 现在将参考图4至6来更详细地描述数据获取模块120和深度图处理模块122的 操作。
[0054] 最初参考图4,将与特定半导体光子传感器108-(x，y)相关联的数据获取模块120 的一部分示为包括元素 402、404、405、406、410、412 和 414。元素 402、404、406、410、412 和 414与相应像素相关联，并且元素405表示从其他像素接收到的信息。假设针对单个共同传 感器108的每个像素复制图4中所示的所有这些元素。
[0055] 光子传感器108_(x，y)表示图2或3的单个公共传感器108的传感器单元200中 的给定的一个的至少一部分，其中，x和y是传感器单元矩阵的行和列的各索引。数据获取 模块120的相应部分120-(x，y)包括ToF解调器402、ToF可靠性估计器404、SL可靠性估 计器406、T〇F深度估计器410、SL三角测量模块412和深度判定模块414。ToF解调器在本 实施例的背景下更具体地称为"ToF类解调器"，因为其可包括适合于执行ToF功能的解调 器。
[0056] 说明性地使用硬件和软件的组合来实现SL三角测量模块412,并且说明性地使用 硬件和固件的组合来实现深度判定模块414,虽然可使用硬件、软件和固件中的一个或多个 的其他布置来实现这些模块以及本文中公开的其他模块或部件。
[0057] 在图中，在光子传感器108-(x，y)中检测从被成像的场景返回的IR光。这产生提 供给ToF解调器402的输入信息化(x，y)。输入信息化(x，y)包括振幅信息A(x，y)和强度 信息B(x，y)。
[0058] ToF解调器402将振幅信息A(x，y)解调以生成被提供给ToF深度估计器410的 相位信息巾（x，y)，其使用相位信息来生成ToF深度估计。ToF解调器402还向ToF可靠性 估计器404提供振幅信息A(x，y)并向SL可靠性估计器406提供强度信息B(x，y)。ToF可 靠性估计器404使用振幅信息来生成ToF可靠性估计，并且SL可靠性估计器406使用强度 信息来生成SL可靠性估计。
[0059] SL可靠性估计器406还使用强度信息B(x，y)来生成估计SL强度信息《美/)。 估计的SL强度信息1C鳥被提供给SL三角测量模块412以供在生成SL深度估计中使用。
[0060]在本实施例中，使用估计的SL强度信息来代替强度信息B(x，y)，因为后 者不仅包括来自SL图案或其一部分的反射光Ia，其对经由三角测量来重构深度有用，而且 包括不期望项，其可能包括来自ToF发射器的DC偏移分量1。"^和来自其他环境IR源的背 光分量Ibac；klight。相应地，能够如下表示强度信息B(x，y):
[0061 ]B(x,y) =ISL (x,y) +Ioffsel (x,y) +Ibacklight (x,y).
[0062] 表示各不期望偏移和背光分量的B(x，y)的第二和第三项随时间是相对恒定的且 在x-y平面中是均匀的。因此能够如下通过减去其在所有可能（x，y)值范围内的平均值来 基本上去除这些分量。
[0064] 可归因于不期望偏移和背光分量的的任何其余变化将不会严重地影响深 度测量，因为三角测量涉及到像素位置而不是像素强度。估计的sl强度信息:rac鳥被传 递至SL三角测量模块412。
[0065] 能够使用许多其他技术从强度信息B(x，y)生成估计的SL强度信息。例如，在另 一实施例中，评估x_y平面中的平滑化平方空间梯度估计G(x，y)的量值以识别受到非期望 分量负面影响最多的那些（x，y)位置。
[0066] G(x,y) =smoothing_filter((B(x,y)-B(x+1,y+1)) 2+(B(x+1,y)-B(x,y+1))2).
[0067] 在本示例中，平滑化平方空间梯度G(x，y)充当用于识别受影响像素位置的辅助 掩码，使得：
[0068] (xSL,ySL)=argmax(B(x,y) ?G(x,y)).
[0069] 其中，对（xa，ysJ给出受影响像素位置的坐标。再次地，能够使用其他技术来生 成/?《丨》少)。
[0070] 深度判定模块414从ToF深度估计器410接收ToF深度估计并从SL三角测量模 块412接收用于给定像素的SL深度估计（如果有的话）。其还从各可靠性估计器404和 406接收ToF和SL可靠性估计。深度判定模块414利用ToF和SL深度估计及相应的可靠 性估计器来生成用于给定传感器单元的局部深度估计。
[0071] 作为一个示例，深度判定模块414能够平衡SL和ToF深度估计以通过取加权和来 使结果得到的不确定性最小化：
[0072] Dresult(x,y) = (DToF (x,y) ,Re1ToF (x,y)+DSL (x,y) ?Re1SL (x,y) ) / (RelToF(x,y) +RelSL (x,y))
[0073] 其中，^和DT()F表示各SL和ToF深度估计，Rel%和RelT()F表示各SL和ToF可靠 性估计，并且D_ult表示由深度判定模块414生成的局部深度估计。
[0074] 在本实施例中所使用的可靠性估计能够将作为到被成像对象的范围的函数的SL 和ToF深度成像性能之间的差考虑在内。例如，在某些实施方式中，SL深度成像在短程和 中程处可表现得比ToF深度成像更好，而ToF深度成像可在较长范围处比SL深度成像表现 得更好。如在可靠性估计中反映的此类信息能够提供结果得到的局部深度估计方面的进一 步改善。
[0075] 在图4实施例中，针对传感器阵列的每个单元或像素生成局部深度估计。然而，在 其他实施例中，可在多个单元或像素群组范围内生成全局深度估计，如现在将结合图5所 述的。更特别地，在图5布置中，全局深度估计被针对单个公共传感器108的给定单元和一 个或多个附加单元基于如针对给定单元确定且同样地针对一个或多个附加单元确定的SL 和ToF深度估计及相应的SL和ToF可靠性估计来生成。
[0076] 还应注意的是可使用混合式布置，涉及到如图4中所示地生成的局部深度估计和 如图5中所示地生成的全局深度估计的组合。例如，当深度信息的局部重构由于来自SL和 ToF源的可靠深度数据的缺乏或由于其他原因而不可能时，可利用深度信息的全局重构。
[0077] 在图5实施例中，深度图处理模块120在一组K个传感器单元或像素范围内生成 全局深度估计。数据获取模块120包括单个单元数据获取模块的K个示例，其大体上对 应于图4布置，但是没有局部深度判定模块414。单个单元数据获取模块的示例120-1、 120-2、. . . 120-K中的每一个具有关联光子传感器108-(x，y)以及解调器402、可靠性估计 器404和406、T〇F深度估计器410和SL三角测量模块410。相应地，图5中所示的单个单 元数据获取模块120中的每一个被基本上如图4中所示地配置，差别是从每个模块去除了 局部深度判定模块414。
[0078] 图5实施例因此将单个单元数据获取模块120聚合到深度图合并框架中。可将各 模块120的至少子集相关联的元素405与来自那些模块的相应ToF解调器402的强度信号 线组合，以便形成承载用于指定的邻点的特定的一组强度信息B(x，y)的网格。在此类布 置中，指定的邻点中的每个ToF解调器402将其强度信息B(x，y)提供给组合网格，以便促 进此类强度信息在相邻模块之间的分布。作为一个示例，可定义尺寸（2M+1)X(2M+1)的邻 点，网格承载被供应给相应模块120中的SL可靠性估计器406的强度值B(x-M，y-M)...B( x+M，y-M)，? ? ?B(x-M，y+M) ? ? ?B(x+M，y+M)。
[0079] 图5实施例中所示的K个传感器单元可包括单个公共传感器108的所有传感器单 元200或者包括少于全部传感器单元的特定群组。在后一种情况下，可针对多组传感器单 元复制图5布置以便提供覆盖单个公共传感器108的所有传感器单元的全局深度 估计。
[0080] 本实施例中的深度图处理模块122还包括SL深度图组合模块502、SL深度图预处 理器504、ToF深度图组合模块506、ToF深度图预处理器508以及深度图合并模块510。
[0081] SL深度图组合模块502从各单个单元数据获取模块120-1至120-K中的各SL三 角测量模块412和SL可靠性估计器406接收SL深度估计和关联SL可靠性估计，并使用此 接收信息来生成SL深度图。
[0082] 同样地，ToF深度图组合模块506从各单个单元数据获取模块120-1至120-K中 的各ToF深度估计器410和ToF可靠性估计器404接收ToF深度估计和关联ToF可靠性估 计，并使用此接收信息来生成ToF深度图。
[0083] 来自组合模块502的SL深度图和来自组合模块506的ToF深度图中的至少一个 在其关联预处理器504或508中被进一步处理，从而基本上使各深度图的分辨率均衡。基 本上均衡的SL和ToF深度图然后在深度图合并模块520中被合并以便提供最后全局深度 估计。最后全局深度估计可采取已合并深度图的形式。
[0084] 例如，在图2的单个公共传感器实施例中，潜在地可从传感器单元200的总数的约
获得SL株度彳目息，并且潜在地可从其余
传感器单兀获得ToF株度彳目息。图3传感 器实施例是类似的，但是潜在地可从所有传感器单元获得ToF深度信息。如先前所指示的，ToF深度成像技术一般地提供比SL深度成像技术更好的x-y分辨率，而SL深度成像技术一 般地提供比ToF照相机更好的z分辨率。相应地，在此类布置中，已合并深度图将相对更准 确的SL深度信息与相对不那么准确的ToF深度信息组合，同时还将相对更准确的ToFx-y 信息与相对不那么准确的SLx-y信息组合，并且因此与仅使用SL或ToF深度成像技术产 生的深度图相比展现出在所有维度上的增强分辨率和较少的深度伪像。
[0085] 在SL深度图组合模块502中，可以下列方式处理来自单个单元数据获取模块 120-1至120-K的SL深度估计和相应的SL可靠性估计。让0(!表示包括一组（X，y,z)三元 组的SL深度成像信息，其中，（x，y)表示SL传感器单元的位置且z是在SL三角测量获得 的位置（x，y)处的深度值。能够使用基于阈值的判定规则在SL深度图组合模块502中形 成组Dq:
[0086] D〇={(x,y,DSL(x,y)) :RelSL (x,y) >ThresholdSL}.
[0087] 作为一个例子，RelSL(x，y)可以是在相应深度信息遗漏的情况下等于0且在其存 在的情况下等于1的二级制可靠性估计，并且在此类布置中，Threshold%能够等于诸如0. 5 之类的中间值。可使用许多替换可靠性估计、阈值值和基于阈值的判定规则。基于％，在组 合模块502中构造包括稀疏矩阵SL深度图，该稀疏矩阵D1在相应的（x，y)位置上包 括z值且在所有其他位置上包括零。
[0088] 在ToF深度图组合模块506中，可使用类似方法。相应地，可以以下方式来处理来 自单个单元数据获取模块120-1至120-K的ToF深度估计和相应的ToF可靠性估计。让T。 表示包括一组（x，y，z)三元组的ToF深度成像信息，其中（x，y)表示ToF传感器单元的位 置，并且z是使用ToF相位信息获得的位置（x，y)处的深度值。能够使用基于阈值的判定 规则在ToF深度图组合模块506中形成组IV
[0089] T〇= {(x,y,DToF (x,y)) :RelToF (x,y) >ThresholdToF}.
[0090] 如在先前所述的SL情况下，能够使用多种不同类型的可靠性估计ReIToF(x，y)和 阈值ThreshholcU。基于T。，在组合模块506中构造包括矩阵1\的ToF深度图，矩阵T:在 相应的（x，y)位置上包括z值且在所有其他位置上包括零。
[0091] 假设使用具有如图2或图3所示地布置的传感器单元的单个公共传感器108，T〇F 传感器单元的数目比SL传感器单元的数目大得多，并且因此矩阵1\不是类似于矩阵D:的 稀疏矩阵。由于在中存在比在Di中更少的零值，所以在ToF和SL深度图在深度图合并 模块510中被合并之前，在预处理器508中经受基于内插的重构。此预处理更特别地涉 及到用于中的包含零的那些位置的重构深度值。
[0092] 本实施例中的内插涉及到识别1\中的在其位置上具有零的特定像素，识别用于特 定像素的像素邻域，并基于像素邻域中的各像素的深度值对用于特定像素的深度值进行内 插。针对1\中的每个零深度值像素重复此过程。
[0093] 图6示出了ToF深度图矩阵中的零深度值像素周围的像素邻域。在本实施例 中，像素邻域包括围绕特定像素P的八个像素pl至P8。
[0094] 举例来说，用于特定像素p的像素的邻域说明性地包括像素p的n个邻居的集合 SP：
[0095] SP={p1, . . .pj,
[0096] 其中，n个邻居每个满足不等式：
[0097] ||p-Pi||〈d，
[0098] 其中，d是阈值或邻域半径且U? | |表示x_y平面中的像素p和pl在其各自中 心之间测量的的几里德距离。虽然在本例子中使用欧几里德距离，但可使用其他类型的距 离度量，诸如曼哈顿距离度量或者更一般地P范数距离度量。在图6中针对像素p的八像 素邻域图示出对应于圆半径的d的示例。然而，应理解的是可使用许多其他技术来识别用 于各特定像素的像素邻域。
[0099] 针对具有图6中所示的像素邻域的特定像素p，能够将用于该像素的深度值％计 算为各相邻像素的深度值的平均值：
[0101] 或者作为各相邻像素的深度值的中值：
[0103] 应认识到的是上文所使用的平均值和中值仅仅是在本发明的实施例中可应用的 两个可能内插技术的示例，并且可使用本领域的技术人员所知的许多其他内插技术来代替 平均值或中值内插。
[0104] 来自SL深度图组合模块502的SL深度图D1还能够经受SL深度图预处理器504 中的一个或多个预处理操作。例如，在某些实施例中还可将上文针对ToF深度图所述类 型的内插技术应用于SL深度图Di。
[0105] 作为SL深度图预处理的另一示例，假设SL深度图Di具有对应于合并深度图的期 望尺寸的MDXND像素的分辨率，并且来自ToF深度图组合模块506的ToF深度图Ti具有 MTqFXNT()F像素的分辨率，其中，MT()F<MD且KND。在这种情况下，可使用许多众所周知 的图像向上采样技术中的任何一个来增加ToF深度图分辨率以基本上与SL深度图的匹配， 包括基于双线性或三次内插的向上采样技术。在必要时可在深度图重新确定尺寸之前或之 后应用SL和ToF深度图中的一者或两者的裁剪，以便保持期望的纵横比。此类向上采样和 裁剪操作是在本文中更一般地称为深度图像预处理操作的东西的示例。
[0106] 本实施例中的深度图合并模块510接收预处理的SL深度图和预处理的ToF深度 图，两者都具有基本上相等的尺寸或分辨率。例如，如前所述的向上采样之后的ToF深度图 具有MDXND的期望合并深度图分辨率且没有具有遗漏深度值的像素，而SL深度图具有相同 分辨率，但可具有某些具有遗漏深度值的像素。然后可使用以下示例性过程在模块510中 将这两个SL和ToF深度图合并：
[0107] 1.针对SL深度图Di中的每个像素（x，y)，基于Di中的（x，y)的固定像素邻域来 估计标准深度偏差〇D(x，y)。
[0108] 2.针对ToF深度图中的每个像素（x，y)，基于中的（x，y)的固定像素邻域 来估计标准深度偏差〇i(x，y)。
[0109] 3.使用标准偏差最小化方案将SL和ToF深度图合并：
[0111] 替换方法是应用超分辨率技术，可能基于马尔科夫随机场。在题为"Image ProcessingMethodandApparatusforEliminationofDepthArtifacts"的俄罗斯专利 申请代理人档案号L12-1346RU1中更详细地描述了这种方案的实施例，其被与本申请共同 转让并通过引用结合到本文中，并且能够允许以特别高效的方式基本上消除或减少深度图 或其他类型的深度图像中的深度伪像。一个此类实施例中的超分辨率技术被用来重构一个 或多个潜在地有缺陷像素的深度信息。在例如J.Diebel等人在NIPS，MITPress，pp. 291- 298, 2005 中的"AnApplicationofMarkovRandomFieldstoRangeSensing"和Q.Yang 等人在IEEEConferenceonComputerVisionandPatternRecognition(CVPR)，2〇〇7 中 的"Spatial-DepthSuperResolutionforRangeImages"中能够找到关于可适合于在本 发明的实施例中使用的超分辨率技术的附加细节，其两者都被通过引用结合到本文中。然 而，以上仅仅是可在本发明的实施例中使用的超分辨率技术的例子。在本文中所使用的术 语"超分辨率技术"意图被宽泛地理解成从而涵盖能够用来增强给定图像的分辨率（可能 通过使用一个或多个其他图像）的技术。 [0112] 应注意的是在某些实施例中可使用校准。例如，在其中利用两个单独传感器108 来生成各SL和ToF深度图的实施例中，可将两个传感器在相对于彼此的位置方面固定，并 且然后以以下方式校准。
[0113] 首先，使用各传感器来获得SL和ToF深度图像。多个相应点位于图像中，通常至 少四个点。将m表示为此类点的数目，并将Dxyz定义为包含用于来自SL深度图像的m个点 中的每一个的x、y和z坐标的3Xm矩阵，并将Txyz定义为包含用于来自ToF深度图像的相 应m个点中的每一个的x、y和z坐标的3Xm矩阵。分别地将A和TR表示为仿射变换矩阵 和平移矢量，其在最小均方意义上被定义为最佳，其中：
[0114] Txyz=A?DxyzffTR.
[0115] 矩阵A和矢量TR能够作为以下优化问题的解：
[0116] R= | |A?Dxyz+TR-Txyz | |2-min.
[0117] 使用逐个元素表示法，A= ^}，其中，（i,j) = (1，1).? ?(3, 3)且TR={trj，其 中k= 1，…3。最小均方意义上的此优化问题的解是基于包括12个变量和12m个等式的 以下线性方程组：
[0118] dR/dafO,i=l，2, 3jj=l，2, 3，
[0119] dR/dtrk=0,k=l，2, 3，
[0120] 下一校准步骤是将SL深度图变换成ToF深度图1\的坐标系。这能够如下使用已 知A和TR仿射变换参数来完成：
[0121] 〇lxyz=A?Dxyz+TR.
[0122] Dlxyz*的像素的结果得到的（x，y)坐标并不总是整数，而是更一般地是有理数。相 应地，能够可能使用基于最近邻居或其他技术的内插将那些有理数坐标映射到规则网格， 其包括具有分辨率MDXND的ToF图像Ti的等距正交整数点阵点。在此类映射之后，规则网 格中的某些点可保持未填充，但是此结果产生的有空隙点阵对于超分辨率技术的应用而言 并不是至关重要的。可应用此类超分辨率技术来获得具有分辨率MDXND且可能具有一个或 多个零深度像素位置的SL深度图D2。
[0123] 可使用多种替换校准过程。并且，在其他实施例中不需要应用校准。
[0124] 再次地应强调的是如本文所述的本发明的实施例意图仅仅是说明性的。例如，能 够利用多种与在本文所述的特定实施例中利用的那些不同类型和布置的图像处理系统、深 度成像器、深度成像技术、传感器配置、数据获取模块和深度图处理模块来实现本发明的其 他实施例。另外，在其他实施例中不需要应用在本文中在描述某些实施例的背景下进行的 特定假设。在以下权利要求范围内的这些和许多其他替换实施例对于本领域的技术人员而 目将是显而易见的。
【主权项】
1. 一种方法，包括： 使用第一深度成像技术来生成第一深度图像； 使用不同于第一深度成像技术的第二深度成像技术来生成第二深度图像；以及 将第一深度图像和第二深度图像的至少一部分合并来形成第三深度图像； 其中，第一深度图像和第二深度图像两者都是至少部分地使用从深度成像器的单个公 共传感器获取的数据生成的。2. 如权利要求1的方法，其中，第一深度图像包括使用结构化光深度成像技术生成的 结构光深度图，并且第二深度图像包括使用飞行时间深度成像技术生成的飞行时间深度 图。3. 如权利要求1的方法，其中，第一深度图像和第二深度图像是至少部分地分别使用 单个公共传感器的多个传感器单元的相应第一和第二不同子集生成的。4. 如权利要求1的方法，其中，第一深度图像是至少部分地使用单个公共传感器的多 个传感器单元的指定子集生成的，并且第二深度图像是在不使用指定子集的传感器单元的 情况下生成的。5. 如权利要求2的方法，其中，生成第一深度图像和第二深度图像包括针对公共传感 器的给定单元： 从所述给定单元接收振幅信息； 将振幅信息解调以生成相位信息； 使用相位信息来生成飞行时间深度估计； 使用振幅信息来生成飞行时间可靠性估计； 从给定单元接收强度信息； 使用强度信息来生成结构光深度估计；以及 使用强度信息来生成结构光可靠性估计。6. 如权利要求5的方法，还包括：基于飞行时间和结构光深度估计及相应的飞行时间 和结构光可靠性估计来生成用于给定单元的局部深度估计。7. 如权利要求5的方法，其中，生成结构光深度估计和相应的结构光可靠性估计包括： 使用强度信息来生成估计结构光强度信息； 使用估计结构光强度信息来生成结构光深度估计；以及 使用强度信息来生成结构光可靠性估计。8. 如权利要求5的方法，还包括：基于如针对给定单元确定且类似地针对一个或多个 附加单元确定的飞行时间和结构光深度估计及相应的飞行时间和结构光可靠性估计来生 成用于传感器的给定单元和一个或多个附加单元的全局深度估计。9. 如权利要求2的方法，其中，生成第一深度图像和第二深度图像包括： 生成作为使用公共传感器的第一多个单元获得的结构光深度信息的组合的结构光深 度图； 生成作为使用公共传感器的第二多个单元获得的飞行时间深度信息的组合的飞行时 间深度图； 对结构光深度图和飞行时间深度图中的至少一个进行预处理，从而基本上使其各自分 辨率均衡；以及 将基本上均衡的结构光深度图和飞行时间深度图合并以生成已合并的深度图。10. 如权利要求9的方法，其中，所述预处理包括： 识别相应深度图中的特定像素； 识别用于特定像素的像素的邻域；以及 基于像素邻域中的各像素的深度值对用于特定像素的深度值进行内插。11. 一种具有在其中体现的计算机程序代码的计算机可读存储介质，其中，该计算机程 序代码当在包括深度成像器的图像处理系统中执行时促使图像处理系统执行如权利要求1 所述的方法。12. -种设备，包括： 深度成像器，包括至少一个传感器； 其中，所述深度成像器被配置以使用第一深度成像技术来生成第一深度图像，并使用 不同于第一深度成像技术的第二深度成像技术来生成第二深度图像； 其中，第一深度图像和第二深度图像中的每一个的至少一部分被合并来形成第三深度 图像；以及 其中，所述至少一个传感器包括至少部分地被第一和第二深度成像技术共享的单个公 共传感器，使得第一深度图像和第二深度图像两者都至少部分地使用从单个公共传感器获 取的数据生成。13. 如权利要求12的装置，其中，第一深度图像包括使用结构化光深度成像技术生成 的结构光深度图，并且第二深度图像包括使用飞行时间深度成像技术生成的飞行时间深度 图。14. 如权利要求12的装置，其中，深度成像器还包括被配置以根据结构光深度成像技 术来生成输出光的第一发射器和被配置以根据飞行时间深度成像技术来生成输出光的第 二发射器。15. 如权利要求12的装置，其中，所述深度成像器包括至少一个发射器，其中，所述至 少一个发射器包括被配置以根据结构光深度成像技术和飞行时间深度成像技术两者来生 成输出光的单个公共发射器。16. 如权利要求12的装置，其中，所述深度成像器被配置以至少部分地使用单个公共 传感器的多个传感器单元的相应第一和第二不同子集来生成第一深度图像和第二深度图 像。17. 如权利要求12的装置，其中，所述深度成像器被配置以至少部分地使用单个公共 传感器的多个传感器单元的指定子集来生成第一深度图像并在不使用指定子集的传感器 单元的情况下生成第二深度图像。18. 如权利要求12的装置，其中，所述单个公共传感器包括多个结构光传感器单元和 多个飞行时间传感器单元。19. 如权利要求12的装置，其中，所述单个公共传感器包括作为联合结构光和飞行时 间传感器单元的至少一个传感器单元。20. -种图像处理系统，包括： 至少一个处理设备；以及 与所述处理设备相关联并包括至少一个传感器的深度成像器； 其中，所述深度成像器被配置以使用第一深度成像技术来生成第一深度图像，并使用 不同于第一深度成像技术的第二深度成像技术来生成第二深度图像； 其中，第一深度图像和第二深度图像中的每一个的至少一部分被合并来形成第三深度 图像；以及 其中，所述至少一个传感器包括至少部分地被第一和第二深度成像技术共享的单个公 共传感器，使得第一深度图像和第二深度图像两者都至少部分地使用从单个公共传感器获 取的数据生成。21. -种包括如权利要求20的图像处理系统的姿势检测系统。
【专利摘要】深度成像器被配置成使用第一深度成像技术来生成第一深度图像，并使用不同于第一深度成像技术的第二深度成像技术来生成第二深度图像。第一深度图像和第二深度图像中的每一个的至少一部分被合并而形成第三深度图像。深度成像器包括至少一个传感器，其包括至少部分地被第一和第二深度成像技术共享的单个公共传感器，使得第一深度图像和第二深度图像两者都至少部分地使用从单个公共传感器获取的数据生成。举例来说，第一深度图像可包括使用SL深度成像技术生成的结构光(SL)深度图，并且第二深度图像可包括使用ToF深度成像技术生成的飞行时间(ToF)深度图。
【IPC分类】G01S17/89, G01B11/22
【公开号】CN104903677
【申请号】CN201380003684
【发明人】A·A·佩蒂尤什克, D·V·帕芬诺韦, I·L·马祖仁克, A·B·霍洛多恩克
【申请人】Lsi公司
【公开日】2015年9月9日
【申请日】2013年8月23日
【公告号】WO2014099048A2, WO2014099048A3
最新回复(0)