一种复杂场景的深度获取方法
一种复杂场景的深度获取方法
【技术领域】
[0001] 本发明属于图像处理的技术领域，具体地涉及一种复杂场景的深度获取方法，主 要适用于多待测物体之间深度相差较大的复杂场景。
【背景技术】
[0002] 基于结构光（StructuredLightIllumination，SLI)深度获取方法是一种非接 触、主动式方法，因其原理简单、精度高、鲁棒性高而广泛用于各种场景深度获取。但是由于 受限于光学器件本身的限制以及待测物体本身反射、结构纹理复杂等原因，导致此方法存 在深度获取速度及精度无法匹配的问题，很难同时满足需求。为了解决这个问题，研宄人员 提出了很多编码方法。根据编码方法及投射方式的不同可以分为时间复用编码方法、空间 复用编码方法和时空复用编码方法。
[0003] 激光散斑（LaserSpeckle)作为空间复用编码结构光的一种，利用光学原理来生 成随机散斑点投射到待测物体表面，经过图像分析等手段对表面形成的纹理进行解码得出 特征点（散斑）的位置偏移量，最终根据三角测量原理利用偏移量计算得到待测物体深度 数据。其解码过程需要检测图像中的每个特征光斑的位置和大小，利用散斑点局部相异性 进行解码，不仅计算复杂度高，分辨率与精度仍然较低。比如微软KINECT体感数据采集设 备利用lightcoding技术，用的激光散斑获取人体深度数据方法。
[0004] 但是，现有基于散斑结构光进行深度获取存在方法在编码散斑模式存在一个显而 易见的缺陷：均未认识到测量的深度的精度依赖于散斑的密度和散斑图像的信噪比；散斑 图像的信噪比与散斑的大小、待测物体深度是相关的。尤其当场景中存在深度距离相差比 较大的待测物体的时，无法运用单密度结构光散斑模式计算得到每个待测物体较精确的深 度数据。
【发明内容】
[0005] 本发明的技术解决问题是：克服现有单密度获取复杂场景深度数据不精确等技术 的不足，提供一种新的复杂场景的深度获取方法，其能保证提高获场景深度图像的数据精 度的同时，进一步提高鲁棒性。
[0006] 本发明的技术解决方案是：
[0007] (a)设计编码多密码结构光图案，并通过光发射设备分别投射到待测物体上，生成 投射的混合多密码结构光图案；
[0008] (b)生成多密度混合参考图像，用与光发射设备成一定角度的相机拍摄记录下待 测物体被投射编码结构光图案调制后的图像；
[0009] (C)实现投射结构光图案与拍摄调制后的图像的快速匹配，进一步得到对应匹配 点在投射前后的偏移量；
[0010] (d)利用偏移量计算匹配点的深度值，实现待测物体的深度数据获取。
[0011] 本发明将所生成的多密度散斑结构光投射到场景中，拍摄获得相应的调制图像。 由于不同密度的散斑图像具有不同的匹配特性。密度大的散斑图像中散斑尺寸小，匹配特 征点多。密度小的散斑图像中散斑尺寸大，匹配的鲁棒性好。利用距离与散斑最佳密度之间 的关系，生成自适应密度结构光，再根据局部特征匹配算法减少全局匹配算法带来的误差， 所以能够提尚获取株度图像的精度，进一步提尚鲁棒性。
【附图说明】
[0012] 图1示出了根据本发明的系统方案的物理原型。
[0013] 图2是基于散斑计算待测物体深度的示意图。
[0014] 图3是多密度自适应结构光生成的流程示意图
【具体实施方式】
[0015] 这种复杂场景的深度获取方法主要包含以下几个步骤：
[0016] (1)最佳的散斑密度模式与待测目标实际深度相关，利用公式（3)设计不同实际 深度对应的不同的密度的结构光图案模式心，Pi，…，PM;
[0017] k(r) =round{[sin(2 3ir/T)+1] *a+1} (3)
[0018] 其中r表示行序，k(r)表示每行的密码，a是一个控制k(r)为范围在1，2-N的 整数的标量因子，T为行数。
[0019] (2)投射步骤⑴生成的M幅密度不同的激光散斑图案匕，Pi，…，PM，相应得到M 幅待测物体调制图像I。，I:，…，IM，利用公式（1)生成Pt:
[0020] (3)根据局部深度距离对应最佳投射密度的散斑结构光预设多个密度的参考图像 ，…，RM;并利用投影坐标系与相机坐标系转换关系，求解得到公式（1)中投影坐标系 下区域因子Bt在相机坐标系下的相对区域因子B' t;
[0021] (4)利用步骤⑶和公式⑵得到的B't生成Pt相对应的参考图像Rt;
[0022] (5)对每一个子区域运用特征点（散斑）匹配算法进行匹配操作，到结构光图案与 被投射图案调制的后图像的对应点，进一步得到对应匹配点的偏移量ALt;
[0023] (6)根据步骤（5)的偏移量ALt，估算待测物体的深度图。
[0024] 本发明将公式（1)所生成的多密度散斑结构光投射到场景中，拍摄获得相应的调 制后图像。由于不同密度的散斑图像具有不同的匹配特性。密度大的散斑图像中散斑尺寸 小，匹配多。密度小的散斑图像中散斑尺寸大，匹配的鲁棒性好。利用距离与散斑最佳密度 之间的关系，生成自适应密度结构光，再根据局部特征匹配算法减少全局匹配算法带来的 误差，所以能够提高获取深度图像的精度，进一步提高鲁棒性。
[0025] 以下对本发明进行更详细的说明。
[0026] 基于结构光深度获取方法是将特定编码的结构光图案通过投影仪等光发射设备 投射到待测物体上，并用与光发射设备成一定角度的相机拍摄记录下待测物体被投射图案 调制的后图像，通过匹配算法找到投射结构光图案与记录下的调制图案的对应点，最后根 据三角测距原理计算得到待测物体的深度，本文系统方案的物理原型如图1所示。
[0027] 将整个过程抽象成数学模型，如图2所示。针对单密度模式，在理想状态下，待测 物体深度和偏移量关系的数学表达式如下：
[0029] 其中AD是待测物体离参考平面的距离，AL是待测点与参考图像上的对应参考 点的偏移量。在测量系统中激光发射器与相机之间的基值S远远大于偏移量AL，则公式 (4)等价于公式（5):
[0031] 其中《 =D/S，在本系统模型中是一常数，AD与AL成正比关系，因此深度图像 的距离分辨率取决于图像的分辨率。
[0032] 另外根据小孔成像原理，可以得出公式（6)表示的AL与实际成像距离的关系：
[0034] 其中f是拍摄所用相机的焦距，是一个常数；rowXcol是成像分辨率大小；D为可 测距离。进一步由公式（5)、（6)得：
[0036] 由公式（7)可以进一步得出结论： 深度图像的空间分辨率与散斑的颗粒度和图像 特征点（散斑）匹配的精度相关。
[0037] 不失一般性，单密度模式情况下，假设J^为待测物体t时刻测得的深度值，Dt为待 测物体真实的深度值，匕是单密度散斑图，h是匹配算法，则此时Dt与^数学关系模型如 下：
[0039] 由上述模式可知，单密度散斑结构光在任何时刻都使用相同模式的投射图案，没 有考虑投身结构光的散斑密度受Dt决定这个事实。对于复杂场景中存在深度差相对较大 的待测物体时，无法提升测量深度的精度。因此，需要将单密度散斑结构光拓展成多密度自 适应的散斑结构光。
[0040] 假设在一定范围内，对于复杂场景中不同的深度的待测物体则对应不同的密度的 散斑结构光模式，用pt表示，t>l，则对于某一个时刻t，最佳的真实距离与测量深度则可以 表示如下：
[0042] 在基于结构光进行深度计算时，一般满足的假设条件就是待测物体深度数据在时 间上是连续的，所以可以用前一时刻得到的D,,来选择此时的最佳散斑密度模式，即
[0044] 相同的原理，我们可以对一个复杂场景不同深度的待测对象利用最佳散斑密度模 式提升深度精度，最终的散斑密度模式如下所表示：
[0046] 复杂场景中会存在两个及两个以上不同深度的待测物体，每个待测物体及相邻区 域均采用上述的方法进行投射图案的自适应融合生成。然而，我们希望最终是投射的是不 同实际距离区域对应不同密度的混合结构光图案，因此需要进去各t时刻的P t进行区域分 割操作。这里我们根据各个区域一定的深度值作为阈值，进行投射图案无重叠区域分割，得 到场景各个部分最佳局部投射图案，即公式（1)所示：
[0047] 将公式（1)所生成的多密度散斑结构光投射到场景中，拍摄获得相应的调制后图 像。由于不同密度的散斑图像具有不同的匹配特性。密度大的散斑图像中散斑尺寸小，匹 配特征点多。密度小的散斑图像中散斑尺寸大，匹配的鲁棒性好。我们采用多密度散斑图 像匹配方法来提高匹配的准确性。
[0048] 多密度结构解码算法：
[0049] ①根据局部深度距离对应最佳投射密度的散斑结构光预设多个密度的参考图像 R〇，R"，Rm;
[0050] ②投射M幅密度不同的激光散斑Py Pi，…，PM，得到M幅待测物体调制图像U '… ，IM，利用公式⑴生成Pt:
[0051] ③求解得到公式（10)中投影坐标系下区域因子Bt在相机坐标系下的相对区域因 子B、；
[0052] ④利用B' t用公式⑵生成P t相对应的参考图像Rt;
[0053] ⑤对每一个子区域运用特征点（散斑）匹配算法进行匹配操作计算特征点（散 斑）的偏移量A Lt;
[0054] ⑥根据⑤的结果估算待测物体的深度图。
[0055] 利用距离与散斑最佳密度之间的关系，生成自适应密度结构光，再根据局部特征 匹配算法减少全局匹配算法带来的误差，复杂场景深度精度有明显的提升。
[0056] 本发明中的提议已经被整合到高精度非接触式体感数据采集仪深度获取部分，运 用多密度自适应结构光，进行高精度深度获取，充分考虑了深度图像的空间分辨率与散斑 的颗粒度和图像特征点匹配的精度相关特性，运用局部渐近匹配方法，进一步提高匹配准 确度，减少误差，提高深度图像精度。从主观来说，本提议所得深度图从测量范围、测量精度 都比用单密度散斑结构光获取深度图像更好。
[0057] 以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依 据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明 技术方案的保护范围。
【主权项】
1. 一种复杂场景的深度获取方法，其特征在于：包括以下步骤： (a) 利用散斑图像信噪比和深度精度与散斑密度之间的关系，设计编码多密码结构光 图案，并通过光发射设备分别投射到待测物体上，生成投射的混合多密码结构光图案； (b) 生成多密度混合参考图像，用与光发射设备成一定角度的相机拍摄记录下待测物 体被投射编码结构光图案调制后的图像； (c) 实现投射结构光图案与拍摄调制后的图像的快速匹配，进一步得到对应匹配点在 投射前后的偏移量； (d) 利用偏移量计算匹配点的深度值，实现待测物体的深度数据获取。2. 根据权利要求1所述的一种复杂场景的深度获取方法，其特征在于： (1) 根据最佳的散斑密度模式与待测目标实际深度相关性，设计不同实际深度对应的 不同的密度的结构光图案模式： P0, P1，…，PM; (2) 投射M幅密度不同的激光散斑图案Pci, P1，…，PM，利用公式⑴生成混合密度投射 图案Pt(1) 其中，^代表局部&所对应的最佳密度投射结构光图案，Bt为局部区域因子，其所在 坐标系为投影坐标系，控制最终组成不重叠的投射单帧投射散斑结构光图案； (3) 根据局部深度距离对应最佳投射密度的散斑结构光预设多个密度的参考图像 Rtl, R1，…，Rm;并利用投影坐标系与相机坐标系转换关系，求解得到公式（1)中投影坐标系 下区域因子Bt在相机坐标系下的相对区域因子B' t; (4) 利用步骤（3)得到的B' t生成Pt相对应的参考图像Rt;(2 ) (5) 对每一个子区域运用特征点（散斑）匹配算法进行匹配操作，到结构光图案与被投 射图案调制的后图像的对应点，进一步得到对应匹配点的偏移量△ Lt; (6) 根据步骤（5)的偏移量ALt，估算待测物体的深度图。3. 根据权利要求1所述的复杂场景的深度获取方法，其特征在于：投射的混合多密度 散斑模式的设计与相应对应多密度参考图像的生成。
【专利摘要】本发明公开了一种复杂场景的深度获取方法，其能够提高获取深度图像的精度，进一步提高鲁棒性。这种复杂场景的深度获取方法，包括步骤：(a)利用散斑图像信噪比和深度精度与散斑密度之间的关系，设计编码多密码结构光图案，并通过光发射设备分别投射到待测物体上，生成投射的混合多密码结构光图案；(b)生成多密度混合参考图像，用与光发射设备成一定角度的相机拍摄记录下待测物体被投射编码结构光图案调制后的图像；(c)实现投射结构光图案与拍摄调制后的图像的快速匹配，进一步得到对应匹配点在投射前后的偏移量；(d)利用偏移量计算匹配点的深度值,实现待测物体的深度数据获取。
【IPC分类】G06T7/00
【公开号】CN104899882
【申请号】CN201510282514
【发明人】孙艳丰, 巫乾军, 孔德慧, 王少帆, 尹宝才
【申请人】北京工业大学
【公开日】2015年9月9日
【申请日】2015年5月28日
【技术领域】
[0001] 本发明属于图像处理的技术领域，具体地涉及一种复杂场景的深度获取方法，主 要适用于多待测物体之间深度相差较大的复杂场景。
【背景技术】
[0002] 基于结构光（StructuredLightIllumination，SLI)深度获取方法是一种非接 触、主动式方法，因其原理简单、精度高、鲁棒性高而广泛用于各种场景深度获取。但是由于 受限于光学器件本身的限制以及待测物体本身反射、结构纹理复杂等原因，导致此方法存 在深度获取速度及精度无法匹配的问题，很难同时满足需求。为了解决这个问题，研宄人员 提出了很多编码方法。根据编码方法及投射方式的不同可以分为时间复用编码方法、空间 复用编码方法和时空复用编码方法。
[0003] 激光散斑（LaserSpeckle)作为空间复用编码结构光的一种，利用光学原理来生 成随机散斑点投射到待测物体表面，经过图像分析等手段对表面形成的纹理进行解码得出 特征点（散斑）的位置偏移量，最终根据三角测量原理利用偏移量计算得到待测物体深度 数据。其解码过程需要检测图像中的每个特征光斑的位置和大小，利用散斑点局部相异性 进行解码，不仅计算复杂度高，分辨率与精度仍然较低。比如微软KINECT体感数据采集设 备利用lightcoding技术，用的激光散斑获取人体深度数据方法。
[0004] 但是，现有基于散斑结构光进行深度获取存在方法在编码散斑模式存在一个显而 易见的缺陷：均未认识到测量的深度的精度依赖于散斑的密度和散斑图像的信噪比；散斑 图像的信噪比与散斑的大小、待测物体深度是相关的。尤其当场景中存在深度距离相差比 较大的待测物体的时，无法运用单密度结构光散斑模式计算得到每个待测物体较精确的深 度数据。
【发明内容】
[0005] 本发明的技术解决问题是：克服现有单密度获取复杂场景深度数据不精确等技术 的不足，提供一种新的复杂场景的深度获取方法，其能保证提高获场景深度图像的数据精 度的同时，进一步提高鲁棒性。
[0006] 本发明的技术解决方案是：
[0007] (a)设计编码多密码结构光图案，并通过光发射设备分别投射到待测物体上，生成 投射的混合多密码结构光图案；
[0008] (b)生成多密度混合参考图像，用与光发射设备成一定角度的相机拍摄记录下待 测物体被投射编码结构光图案调制后的图像；
[0009] (C)实现投射结构光图案与拍摄调制后的图像的快速匹配，进一步得到对应匹配 点在投射前后的偏移量；
[0010] (d)利用偏移量计算匹配点的深度值，实现待测物体的深度数据获取。
[0011] 本发明将所生成的多密度散斑结构光投射到场景中，拍摄获得相应的调制图像。 由于不同密度的散斑图像具有不同的匹配特性。密度大的散斑图像中散斑尺寸小，匹配特 征点多。密度小的散斑图像中散斑尺寸大，匹配的鲁棒性好。利用距离与散斑最佳密度之间 的关系，生成自适应密度结构光，再根据局部特征匹配算法减少全局匹配算法带来的误差， 所以能够提尚获取株度图像的精度，进一步提尚鲁棒性。
【附图说明】
[0012] 图1示出了根据本发明的系统方案的物理原型。
[0013] 图2是基于散斑计算待测物体深度的示意图。
[0014] 图3是多密度自适应结构光生成的流程示意图
【具体实施方式】
[0015] 这种复杂场景的深度获取方法主要包含以下几个步骤：
[0016] (1)最佳的散斑密度模式与待测目标实际深度相关，利用公式（3)设计不同实际 深度对应的不同的密度的结构光图案模式心，Pi，…，PM;
[0017] k(r) =round{[sin(2 3ir/T)+1] *a+1} (3)
[0018] 其中r表示行序，k(r)表示每行的密码，a是一个控制k(r)为范围在1，2-N的 整数的标量因子，T为行数。
[0019] (2)投射步骤⑴生成的M幅密度不同的激光散斑图案匕，Pi，…，PM，相应得到M 幅待测物体调制图像I。，I:，…，IM，利用公式（1)生成Pt:
[0020] (3)根据局部深度距离对应最佳投射密度的散斑结构光预设多个密度的参考图像 ，…，RM;并利用投影坐标系与相机坐标系转换关系，求解得到公式（1)中投影坐标系 下区域因子Bt在相机坐标系下的相对区域因子B' t;
[0021] (4)利用步骤⑶和公式⑵得到的B't生成Pt相对应的参考图像Rt;
[0022] (5)对每一个子区域运用特征点（散斑）匹配算法进行匹配操作，到结构光图案与 被投射图案调制的后图像的对应点，进一步得到对应匹配点的偏移量ALt;
[0023] (6)根据步骤（5)的偏移量ALt，估算待测物体的深度图。
[0024] 本发明将公式（1)所生成的多密度散斑结构光投射到场景中，拍摄获得相应的调 制后图像。由于不同密度的散斑图像具有不同的匹配特性。密度大的散斑图像中散斑尺寸 小，匹配多。密度小的散斑图像中散斑尺寸大，匹配的鲁棒性好。利用距离与散斑最佳密度 之间的关系，生成自适应密度结构光，再根据局部特征匹配算法减少全局匹配算法带来的 误差，所以能够提高获取深度图像的精度，进一步提高鲁棒性。
[0025] 以下对本发明进行更详细的说明。
[0026] 基于结构光深度获取方法是将特定编码的结构光图案通过投影仪等光发射设备 投射到待测物体上，并用与光发射设备成一定角度的相机拍摄记录下待测物体被投射图案 调制的后图像，通过匹配算法找到投射结构光图案与记录下的调制图案的对应点，最后根 据三角测距原理计算得到待测物体的深度，本文系统方案的物理原型如图1所示。
[0027] 将整个过程抽象成数学模型，如图2所示。针对单密度模式，在理想状态下，待测 物体深度和偏移量关系的数学表达式如下：
[0029] 其中AD是待测物体离参考平面的距离，AL是待测点与参考图像上的对应参考 点的偏移量。在测量系统中激光发射器与相机之间的基值S远远大于偏移量AL，则公式 (4)等价于公式（5):
[0031] 其中《 =D/S，在本系统模型中是一常数，AD与AL成正比关系，因此深度图像 的距离分辨率取决于图像的分辨率。
[0032] 另外根据小孔成像原理，可以得出公式（6)表示的AL与实际成像距离的关系：
[0034] 其中f是拍摄所用相机的焦距，是一个常数；rowXcol是成像分辨率大小；D为可 测距离。进一步由公式（5)、（6)得：
[0036] 由公式（7)可以进一步得出结论： 深度图像的空间分辨率与散斑的颗粒度和图像 特征点（散斑）匹配的精度相关。
[0037] 不失一般性，单密度模式情况下，假设J^为待测物体t时刻测得的深度值，Dt为待 测物体真实的深度值，匕是单密度散斑图，h是匹配算法，则此时Dt与^数学关系模型如 下：
[0039] 由上述模式可知，单密度散斑结构光在任何时刻都使用相同模式的投射图案，没 有考虑投身结构光的散斑密度受Dt决定这个事实。对于复杂场景中存在深度差相对较大 的待测物体时，无法提升测量深度的精度。因此，需要将单密度散斑结构光拓展成多密度自 适应的散斑结构光。
[0040] 假设在一定范围内，对于复杂场景中不同的深度的待测物体则对应不同的密度的 散斑结构光模式，用pt表示，t>l，则对于某一个时刻t，最佳的真实距离与测量深度则可以 表示如下：
[0042] 在基于结构光进行深度计算时，一般满足的假设条件就是待测物体深度数据在时 间上是连续的，所以可以用前一时刻得到的D,,来选择此时的最佳散斑密度模式，即
[0044] 相同的原理，我们可以对一个复杂场景不同深度的待测对象利用最佳散斑密度模 式提升深度精度，最终的散斑密度模式如下所表示：
[0046] 复杂场景中会存在两个及两个以上不同深度的待测物体，每个待测物体及相邻区 域均采用上述的方法进行投射图案的自适应融合生成。然而，我们希望最终是投射的是不 同实际距离区域对应不同密度的混合结构光图案，因此需要进去各t时刻的P t进行区域分 割操作。这里我们根据各个区域一定的深度值作为阈值，进行投射图案无重叠区域分割，得 到场景各个部分最佳局部投射图案，即公式（1)所示：
[0047] 将公式（1)所生成的多密度散斑结构光投射到场景中，拍摄获得相应的调制后图 像。由于不同密度的散斑图像具有不同的匹配特性。密度大的散斑图像中散斑尺寸小，匹 配特征点多。密度小的散斑图像中散斑尺寸大，匹配的鲁棒性好。我们采用多密度散斑图 像匹配方法来提高匹配的准确性。
[0048] 多密度结构解码算法：
[0049] ①根据局部深度距离对应最佳投射密度的散斑结构光预设多个密度的参考图像 R〇，R"，Rm;
[0050] ②投射M幅密度不同的激光散斑Py Pi，…，PM，得到M幅待测物体调制图像U '… ，IM，利用公式⑴生成Pt:
[0051] ③求解得到公式（10)中投影坐标系下区域因子Bt在相机坐标系下的相对区域因 子B、；
[0052] ④利用B' t用公式⑵生成P t相对应的参考图像Rt;
[0053] ⑤对每一个子区域运用特征点（散斑）匹配算法进行匹配操作计算特征点（散 斑）的偏移量A Lt;
[0054] ⑥根据⑤的结果估算待测物体的深度图。
[0055] 利用距离与散斑最佳密度之间的关系，生成自适应密度结构光，再根据局部特征 匹配算法减少全局匹配算法带来的误差，复杂场景深度精度有明显的提升。
[0056] 本发明中的提议已经被整合到高精度非接触式体感数据采集仪深度获取部分，运 用多密度自适应结构光，进行高精度深度获取，充分考虑了深度图像的空间分辨率与散斑 的颗粒度和图像特征点匹配的精度相关特性，运用局部渐近匹配方法，进一步提高匹配准 确度，减少误差，提高深度图像精度。从主观来说，本提议所得深度图从测量范围、测量精度 都比用单密度散斑结构光获取深度图像更好。
[0057] 以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依 据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明 技术方案的保护范围。
【主权项】
1. 一种复杂场景的深度获取方法，其特征在于：包括以下步骤： (a) 利用散斑图像信噪比和深度精度与散斑密度之间的关系，设计编码多密码结构光 图案，并通过光发射设备分别投射到待测物体上，生成投射的混合多密码结构光图案； (b) 生成多密度混合参考图像，用与光发射设备成一定角度的相机拍摄记录下待测物 体被投射编码结构光图案调制后的图像； (c) 实现投射结构光图案与拍摄调制后的图像的快速匹配，进一步得到对应匹配点在 投射前后的偏移量； (d) 利用偏移量计算匹配点的深度值，实现待测物体的深度数据获取。2. 根据权利要求1所述的一种复杂场景的深度获取方法，其特征在于： (1) 根据最佳的散斑密度模式与待测目标实际深度相关性，设计不同实际深度对应的 不同的密度的结构光图案模式： P0, P1，…，PM; (2) 投射M幅密度不同的激光散斑图案Pci, P1，…，PM，利用公式⑴生成混合密度投射 图案Pt(1) 其中，^代表局部&所对应的最佳密度投射结构光图案，Bt为局部区域因子，其所在 坐标系为投影坐标系，控制最终组成不重叠的投射单帧投射散斑结构光图案； (3) 根据局部深度距离对应最佳投射密度的散斑结构光预设多个密度的参考图像 Rtl, R1，…，Rm;并利用投影坐标系与相机坐标系转换关系，求解得到公式（1)中投影坐标系 下区域因子Bt在相机坐标系下的相对区域因子B' t; (4) 利用步骤（3)得到的B' t生成Pt相对应的参考图像Rt;(2 ) (5) 对每一个子区域运用特征点（散斑）匹配算法进行匹配操作，到结构光图案与被投 射图案调制的后图像的对应点，进一步得到对应匹配点的偏移量△ Lt; (6) 根据步骤（5)的偏移量ALt，估算待测物体的深度图。3. 根据权利要求1所述的复杂场景的深度获取方法，其特征在于：投射的混合多密度 散斑模式的设计与相应对应多密度参考图像的生成。
【专利摘要】本发明公开了一种复杂场景的深度获取方法，其能够提高获取深度图像的精度，进一步提高鲁棒性。这种复杂场景的深度获取方法，包括步骤：(a)利用散斑图像信噪比和深度精度与散斑密度之间的关系，设计编码多密码结构光图案，并通过光发射设备分别投射到待测物体上，生成投射的混合多密码结构光图案；(b)生成多密度混合参考图像，用与光发射设备成一定角度的相机拍摄记录下待测物体被投射编码结构光图案调制后的图像；(c)实现投射结构光图案与拍摄调制后的图像的快速匹配，进一步得到对应匹配点在投射前后的偏移量；(d)利用偏移量计算匹配点的深度值,实现待测物体的深度数据获取。
【IPC分类】G06T7/00
【公开号】CN104899882
【申请号】CN201510282514
【发明人】孙艳丰, 巫乾军, 孔德慧, 王少帆, 尹宝才
【申请人】北京工业大学
【公开日】2015年9月9日
【申请日】2015年5月28日
最新回复(0)