一种深度图像场景的室内对象立方体检测方法
一种深度图像场景的室内对象立方体检测方法
【技术领域】
[0001] 本发明涉及计算机视觉和图像场景理解领域，具体地说是一种深度图像场景的室 内对象立方体检测方法。
【背景技术】
[0002] 室内图像场景内容解析是计算机视觉领域的基本研宄问题，其中几何属性解析是 该领域研宄热点。近期室内图像场景内容几何解析的研宄工作从单张图像中恢复对象的立 方体，该问题受到室内图像所具有的对象纹理多样性、对象外形多样性、场景光照多样性、 室内场景对象多样性、摄像机视角多样性等多个因素的制约。为了解决上述问题，研宄人员 引入深度信息辅助解析单张室内图像场景中对象几何结构。
[0003] 2013年，波士顿学院的Jiang等人提出一种基于混合整数线性规划的室内RGB-D 图像场景中对象立方体检测方法。该方法首先结合场景彩色信息和深度信息将图像过分割 成超像素，使用相邻的超像素对构建候选立方体集合；使用分支定界法高效的求解最优的 立方体集合，使之具有较低的局部匹配耗费，较少的对象之间相交、遮挡区域，较大的图像 覆盖面积，较少的立方体个数。该方法首次提出了在RGB-D图像中同时匹配多个对象立方 体的方法。2013年丰田工业大学芝加哥分校的Lin等人提出一种基于条件随机场模型的室 内RGB-D图像场景解析方法。该方法首先将参数约束最小割算法扩展至三维空间，产生场 景中的对象分割结果集合，并为每一个对象分割结果拟合一个立方体。为了选取合适的立 方体集合并为每个立方体赋予语义标签，该方法构建了一个全局条件随机场模型，综合考 虑二维分割信息、三维几何信息、场景与对象之间的语义关系、对象与对象之间的语义关系 及位置关系等信息。
[0004] 一般来说，一个好的室内场景对象立方体检测器应当具备以下特性：（1)对象性， 即检测到的立方体应捕获场景中的对象，而不是墙、地面等；（2)普遍适用性，即检测器可 适用于室内场景中出现的所有语义类别对象，而不是某几种预定义语义类别对象。尽管目 前的研宄工作在解决上述某一个问题上取得了不错的结果，但是均无法解决另外一个问 题。同时，该类方法只能生成一种场景几何解析结果，在一些情况下可能不是最优结果，不 能完整的捕获场景中的所有对象。
【发明内容】
[0005] 根据上述需求，为了克服现有技术的不足，本发明给出一种深度图像场景的室内 对象立方体检测方法，目的在于：综合解决上述两个问题，具体而言，如何产生高对象性的 立方体，如何设计对所有类别对象均具有普遍适用性的特征，如何高效的求解最优解并产 生多种解析结果。为完成发明目的，本发明采用的技术方案是：一种深度图像场景的室内对 象立方体检测方法，该方法包括以下步骤：
[0006] 步骤（1)针对输入场景的彩色图像和深度图像，通过设置不同的种子区域和不同 的数据项、偏置项权值，求解一系列参数约束最小割问题，得到输入场景中对象的候选分割 结果集合；
[0007] 步骤（2)根据输入的场景深度图像，将输入场景投影至三维空间，为对象的候选 分割结果拟合立方体，即对应对象的三维包围盒，得到候选立方体集合；
[0008] 步骤（3)针对每一个对象分割结果及对应的立方体，使用描述对象统计特性与物 理特性的二维图像特征以及三维几何特征衡量其与输入场景的拟合程度；
[0009] 步骤（4)构建立方体的图结构，将场景内容的几何解析问题转化为最大权重子团 求解问题，使用极大子团近似求解，得到一系列经过排序的场景内容几何解析结果；
[0010] 步骤（5)采用最大边缘相关度对解析结果重排序，提高相邻解析结果的多样性。
[0011] 本发明结合深度信息，计算未知像素点的数据项权重、偏置项权重，具体而言，本 发明结合深度信息，计算未知像素点属于前景、背景的概率，以此计算未知像素点的数据项 权重；本发明结合深度信息，计算空间位置相邻像素点间的相似性，以此计算未知像素点的 偏置项权重。本发明采用不同类别的策略，设置种子区域。针对一组前景种子区域、背景种 子区域及一组特定的数据项权重及偏置项权重，应用参数约束最小割算法可得到一种对应 的分割结果。本发明采用了不同组合的前景种子区域、背景种子区域及不同的数据项权重、 偏置项权重等，故可得到大量的输入场景对象分割结果，本发明保留前100个做后续处理。
[0012] 本发明将分割结果对应的像素点根据深度信息投影到三维空间，在拟合立方体X， Z方向上下界时只要求包含95%的点，即允许一定比率的杂点，以提高拟合的鲁棒性；在拟 合立方体y方向上下界时统计2%和98%的点的平均高度，作为立方体y方向高度的下界 和上界，以增强立方体一般与地面平行这一约束；在xz平面允许拟合的立方体与坐标轴间 有一定的夹角，在旋转后的两个正交方向上，允许有5%的杂点。按照上述度量准则，通过直 接查找的方式可得到一个最优立方体。针对一张输入场景图像，本发明可产生包含100个 立方体的候选集合。
[0013] 本发明在衡量立方体与输入场景的拟合程度时综合考虑对象分割结果与输入图 像的外观特征拟合程度，拟合立方体与点云的几何特征拟合程度。具体而言，可分为二维图 像特征和三维几何特征。二维图像特征包括对象分割结果的对象性、紧实性、覆盖面积、边 缘距离。对象性使用图特征、区域特征、格式塔特征衡量分割结果区域是否属于对象；紧实 性衡量对象分割结果与立方体投影结果的相似性；边缘距离用以衡量立方体轮廓线与图像 线检测结果之间的差异。三维几何特征主要包括立方体法向量可信度、最小平面距离、朝向 与位置、体积。法向量可信度用以衡量通过最小二乘法计算得到的法向量与通过立方体得 到的法向量之间的差异；最小平面距离使用对象分割结果区域中的点距立方体表面的最短 距离来衡量立方体的拟合程度；朝向与位置基于曼哈顿假设衡量立方体的拟合程度。从候 选立方体集合中选择最优子集时，不仅每个立方体都应有较高的匹配可信度，同时选取的 立方体两两间应展现出良好的相互关系。具体而言，本发明在选取立方体集合时使用相交 体积比、遮挡面积比、支撑距离来衡量选取的立方体两两之间的相互关系。
[0014] 一般来讲，选取的立方体应展现出以下两个方面的特性，（1)每个立方体都应与输 入图像有较高的拟合程度，即对应的对象分割结果与输入图像的外观特征有较好的对应， 立方体与三维点云具有较好的匹配程度；（2)选取的立方体两两之间应展现良好的相互关 系，具体而言，具有较小的相交体积比、较小的遮挡面积比、较小的支撑距离。
[0015] 本发明将场景内容的几何解析问题转化为一个在立方体的图结构中寻找最大权 重子团的问题，其中构建的立方体图结构中每个顶点和边都有权重。为求解最大权重子 团，本发明提出使用一个包含两个步骤的求解算法：（1)从图中的一个节点出发，逐步选取 与其相交、遮挡小于一定阀值的立方体，扩充得到对应的极大子团；（2)针对步骤一得到的 极大子团根据目标能量方程进行局部优化，针对立方体集合中不在当前子团中的每个立方 体，若其与初始立方体相交、遮挡小于一定阀值，则移除当前子团中与该立方体相交、遮挡 大于一定阀值的立方体，同时向当前子团添加该立方体，将其扩充为极大子团，若当前子团 的能量大于初始子团，则更新子团。该过程迭代直至收敛。上述算法最多可得到K个子团 (重复的子团会被移除），按照当前子团能量降序排列。步骤一是一个连续的贪婪启发式过 程，步骤二是一个局部搜索启发过程，即为通过极大子团近似求解最大权重子团。由于本发 明采用极大子团近似求解最大权重子团，故而本发明可以得到针对输入场景不同几何解析 结果。
[0016] 由上述步骤到的几何解析结果中，相似的结果对应能量值近似，一般排在接近的 位置，几何解析结果的多样性较低。为提高相邻几何解析结果的多样性，本发明基于最大边 缘相关度对前面得到的场景几何解析结果重新排序，保证结果的多样性。本发明从初始得 分最高的几何解析结果出发，逐步选取边缘相关度最高的解析结果，即原始得分减去与已 选取的解析结果的相似度，该方法迭代直至所有解析结果都被选取。本发明在计算几何解 析结果&与t一目似度的时候，综合考虑ti对应二维分割结果与对应二维分割结果的覆 盖率和ti选取的立方体集合与t」选取的立方体集合的覆盖率。
[0017] 与现有的技术相比，本发明有益的特点是：
[0018] 1、本发明提出一种深度图像场景的室内对象立方体检测框架，该方法不用预先训 练复杂的分类器，在公共数据集上提升了检测准确率。
[0019] 2、本发明针对每一个对象分割结果及对应拟合的立方体，使用一系列描述对象统 计特性与物理特征的二维图像特征以及三维几何特征衡量其与输入场景的拟合程度。
[0020]3、本发明将立方体的选取问题转化为最大权 重子团求解问题，可对输入室内深度 图像产生一系列的中层次表示结果。
【附图说明】
[0021] 图1是本方法总体流程图；
[0022] 图2是立方体拟合结果图；
[0023] 图3是立方体紧实性特征示意图；
[0024] 图4是立方体边缘距离特征示意图；
[0025] 图5是立方体法向量可信度特征示意图；
[0026] 图6是基于最大权重子团的的室内深度图像对象立方体检测算法流程示意图；
【具体实施方式】
[0027] 下面结合附图对本发明作详细说明。
[0028] 参阅图1本方法的总体流程图，方法可分为如下几个步骤：对象候选分割结果计 算，立方体拟合，基于最大权重子团的立方体选取。以下将展开介绍上述步骤。
[0029] 对象候选分割结果计算：为了能够在输入室内场景图像中分割出一系列具有较高 对象性的结果，本发明将参数约束最小割算法（ContrainedParametricMin-Cut)扩展至 深度空间，通过设置不同的种子区域和不同的数据项、偏置项权值，求解一系列的参数约束 最小割问题，求得一系列输入场景对象的候选分割结果，高效的利用了外观线索和深度线 索。针对输入的场景图像，本发明首先设置种子区域，本发明假设前景种子区域的像素点全 部为前景，背景种子区域的像素点全部为背景。针对一组种子区域及对应的一组数据项、偏 置项权值，应用参数约束最小割算法得到输入场景中对象分割结果。
[0030] 使用1(F) -R3表示输入的室内场景图像，P表示了该图中所有像素点集合。与 基于图的分割方法相似，本发明定义加权图G= (P，e)中边的权重为相邻像素点间的相似 性，每个像素点都是P中的一个节点。其中，划分成前景区域的像素点标记为1，划分成背景 区域的像素点标记为〇。通过将把前景种子区域像素点划分成背景区域的惩罚设置为无穷 大，约束前景种子区域的的像素点为前景区域，同理约束背景种子区域的像素点为背景区 ±或。本发明总体目标即针对所有像素点的标签{xdx2, . . .，xN}，XiG{〇, 1}最小化一个能量 方程，其中N为所有像素点的总数。优化能量方程如下所示：
[0032] 其中数据项定义如下：
[0034] 前景偏置是通过将非种子区域像素点划分为背景区域是产生的耗费，其包含两部 分，基于像素点特征的和一个统一项A。这里通过使用的种子区域像素点的颜 色及深度分布来计算完成的，本发明使用pf(xu)表示未知区域像素点属于前景的可能性， 使用Pb(xu)表示未知区域像素点属于背景的可能性，则有：
[0035] f(xu) =Inpf (xu)-Inpb (xu),
[0036] 其中，针对像素点i，本发明在计算其属于前景的可能性时，不仅考虑彩色图像信 息，同时引入了深度图像信息，pf(xu)定义如下：
[0038] y是一个缩放因子，j表示种子区域的代表像素点，本发明采用k-means算法同时 在颜色空间和深度空间通过聚类得到种子区域的代表性像素点（本发明选取5个代表性像 素点），I(i)表示像素点i处的颜色值，D(i)表示像素点i处的深度值，通过将颜色差异与 深度差异做线性加权，可更加高效的计算未知区域像素与前景种子区域、背景种子区域间 的差异。本发明所采用的计算前背景概率方式基于高斯混合模型相比，速度较快，适合大规 模的计算。当对象的颜色与背景差异较大时或者对象的深度与背景区域不连续时，本发明 会得到较好的结果。
[0039] 针对像素点j，其属于背景的可能性pb(xu)计算方式与上面pf(xu)计算方式类似。
[0040] 本发明设计兼容项Vuv惩罚将空间位置相邻的像素点赋予不同的语义标签的情 况：
[0042] 空间位置相邻像素点间的相似性基于轮廓线检测器按如下方式计算：
[0044] 〇用来控制兼容项的平滑性。这里Bju)是轮廓线检测器在彩色图像上像素点u 处的响应值，BD(u)是轮廓线检测器在深度图像上像素点u处的响应值，这种线性加权的方 式可将RGB-D图像中轮廓线的检测准确率提高2%。轮廓线检测器采用Berkeley大学的 UCM算法。
[0045] 针对一组前景种子区域、背景种子区域及一组特定的数据项权值及偏置项，应用 参数约束最小割算法可得到一种对应的分割结果。本发明采用了不同组合的前景种子区 域、背景种子区域及不同的数据项权值、偏置项权值等，故可得到大量的输入场景对象分割 结果，本发明保留前100个做后续处理。
[0046] 参阅图2立方体拟合结果图，针对基于参数约束最小割算法得到对象分割结果， 本发明为其恢复一个立方体。一种直接的方式是将分割结果对应的像素点根据深度信息投 影到三维空间，选择x，y，z方向上的最大值和最小值作为立方体的边界。但是这种方式对 噪音非常敏感，一个杂乱的点可能会大幅度改变拟合的立方体形状。为了提高鲁棒性，本发 明在拟合立方体时只要求包含95%的点，即允许一定比率的杂点。同时，在大量实验数据 中发现，立方体一般与地面平行，本发明在拟合过程中加强这一约束，在y方向上统计2 % 和98%的点的平均高度，作为立方体高度的下界和上界；在xz平面允许拟合的立方体与坐 标轴间有一定的夹角，在旋转后的两个正交方向上，分别统计拟合的立方体在对应方向上 的5%和95%的点的位置作为上下界。按照上述度量准则，通过直接查找的方式可得到一 个最优立方体。
[0047] 基于上述方式，针对输入场景基于参数约束最小割算法得到的每个对象分割结 果，本发明可为其恢复一个立方体，如图所示。针对输入室内场景图像，本发明在基于参数 约束最小割的对象分割步骤保留前100个分割结果，本发明为每个对象分割结果拟合一个 立方体表示为。则针对一张输入场景图像，本发明产生包含100个立方体的候选 集合。
[0048] 本发明在衡量立方体与输入场景的拟合程度时综合考虑对象分割结果与输入图 像的外观特征拟合程度，拟合立方体与点云的几何特征拟合程度。具体而言，可分为二维图 像特征和三维几何特征。
[0049] 二维图像特征包括对象分割结果的对象性、紧实性、覆盖面积、边缘距离。
[0050] 对象性：共采用了三组特征，共计34个特征。这34个特征分别用来衡量对象分割 结果的图特征、区域特征、格式塔特征。图划分的特征，即割的不同变种，包括割、割率、归一 化割、未平衡割以及一个四维的二值变量表示表示对象分割结果边缘上割值是否大于对应 阀值的比率，共计8个特征。区域特征为一些统计特征，主要表示对象一般出现在图像中的 什么位置，以什么尺度出现。本文使用的区域特征包括面积，质心，对应区域的包围盒等18 个特征。格式塔特征包含前景区域与背景区域的纹理相似性，前景区域内部纹理相似性，前 景区域与背景区域的亮度相似性，前景区域内部亮度相似性，前景区域与背景区域间的边 缘能量，前景区域内部边缘能量，曲线的连续性和凸性，共计8个特征。
[0051] 参阅图3立方体的紧实性特征，针对基于参数约束最小割算法得到的对象分割结 果Si，本方法为其拟合一个立方体Ci，将该立方体投影到二维平面可得到该立方体对应的 覆盖区域Pi。由于拟合立方体的时候本发明允许有5%的点在拟合立方体的外部，故而Si 和Pi存在一定的差异。对于一个好的对象分割结果，其对应的点应该有规律的分布在三维 空间的一个长方体区域内，此时，^和Pi的覆盖率应该尽可能的高，即具有较高的紧实性。 本发明采用Area(SiPIpD/Area(SiUp)表示对象分割结果的紧实性，其中Area(?)提取 对应结果的面积。如图3所示，从左到右依次为：是基于参数约束最小割算法得到的对象分 害憷果si;恢复的立方体投影到二维平面对应的区域pi;是上述两个区域的交集s……上 述两个区域的并集SiUPi。
[0052] 面积：本发明在选择立方体时倾向于选择面积较大的立方体。具体而言，本发明使 用应用参数约束最小割算法得到的对象结果Si与将立方体投影到二维平面得到的区域pi 的交集，即为Area(Sinp^，除以该场景中检测到的最大相交面积做归一化。
[0053] 参阅图位方体的边缘距离特征示意图：本发明将立方体投影到二维平面，得到 其对应的轮廓线，同时使用Canny线检测器检测输入图像中为边的像素点，对于立方体轮 廓线上的每一个像素点，我们计算其与Canny线检测得到像素点的最短距离，累加并使用 轮廓线上的像素点个数归一化得到最终的边缘距离。如图4所示，左图是将立方体投影到 二维平面得到对应的轮廓线结果图，右图是应用Canny线检测器检测得到的输入图像边缘 结果图。
[0054] 基于深度的三维几何特征主要包括立方体法向量可信度、最小平 面距离、朝向与 位置、体积。
[0055] 参阅图5立方体法向量可信度特征示意图；：给定输入场景彩色图像，根据深度信 息可将输入场景投影到三维空间。针对每个像素点，在其周围局部窗口内采样深度差小于 阀值的像素点，使用最小二乘法拟合出一个平面，进而可求得该像素点对应的法向量，表示 为（Nx，Ny，Nz)，如图中左图所示。根据拟合的立方体在三维空间中的位置，本发明可以得到 立方体表面的法向量，进而可以得到立方体投影到二维平面区域对应像素点的法向量，表 示为（N'X，N'y，N'z)，如图中右图所示。则本发明定义像素点的法向量可信度为（NX*N 'x，Ny*N'y，Nz*N'z)。基于上述像素点的法向量可信度定义，本发明定义立方体(^对应的法 向量可信度为：
[0057]其中，Sin pi表示基于参数约束最小割算法得到的对象结果s i与将立方体投影到 平面得到的区域？1的交集，|SinPi|表示SinPi内像素点的个数。
[0058] 最小平面距离：对于基于参数约束最小割算法得到的对象结果，我们计算每个像 素点到拟合立方体六个表面的最短距离，选取其中最小的最为该像素点到立方体的最短距 离，累加之后使用该区域对应像素的总数归一化，用以表示该拟合立方体的最小平面距离。
[0059] 朝向与位置：根据曼哈顿假设，室内场景中出现的对象应平行于检测到的墙面，该 假设在室内场景解析中一般作为重要的先验并入解析模型。通过霍夫变化，可以得到室内 房间中的墙的位置。本发明认为与墙面有较大夹角的立方体一般是错误的检测。针对这种 情况，本发明引入约束，设置其对应的立方体位置耗费为exP(/w/,. )，《<,.表示第i个立方 体超与检测得到的墙面间较小的夹角。
[0060] 将输入场景图像的所有像素点投影到三维空间后，可以得到三维点云在x，z三个 方向的上界和下界。由于得到对象分割结果时，分割模型可能产生错误的结果，拟合的立方 体为了保持长方体的形态，可能超出上述x，z方向的界限。针对这种情况，本发明引入约 束，设置其对应的立方体位置耗费为（
表示第i个立方体超出上述 界限的面积。
[0061] 体积：与二维图像面积类似，本发明在选择立方体的时候倾向于选择所占空间体 积较大的立方体。具体而言，针对立方体Ci，使用其对应的体积vol(Ci)除以该场景中检测 到的最大立方体体积做归一化。
[0062] 上述所有的数据项特征都通过减去均值除以标准差做归一化。
[0063] 从候选立方体集合中选择最优子集时，不仅每个立方体都应有较高的匹配可信 度，同时选取的立方体两两间应展现出良好的相互关系。具体而言，兼容项包含以下三项： 相交体积比、遮挡面积比、支撑距离。
[0064] 相交体积比：每个立方体都是坚实的对象，在三维空间中占有一定的体积，故而在 真实世界中，室内对象对应的立方体之间不可能当出现相交的情况。但是在本发明解析过 程中，由于分割误差及拟合立方体误差，不可避免的会出现相交的情况，故而完全禁止相交 是不可行的。本发明引入立方体两两之间相交的约束项，具体而言，定义立方体q与立方 体Cj定义为vol(cincj)/max(vol(Ci)，vol(Cj)) 〇
[0065]遮挡面积比：本发明定义两个立方体之间的遮挡面积比为Area(HflQ)/Area(Q)， H表示离摄像机比较近的立方体对应的投影区域，Q表示离摄像机比较远的立方体对应的 投影区域，Area(_)计算对应区域的面积。本发明使用立方体投影到二维平面对应区域像 素点到摄像机的平均距离作为该立方体距摄像机的距离。
[0066] 支撑距离：本发明采用支撑距离来衡量对应立方体集合在空间的物理稳定性。如 果立方体(^在y方向位于立方体c」的上方，且ci的质心投影至xz平面的点位于c」在xz 平面的投影区域内，本发明定义Ci可被c」支撑，并定义ci的下表面与c」的上表面在y方向 的距离为二者的支撑距离。本发明定义立方体Ci与地面的支撑距离为其下表面与地面间 的距离，定义立方体Ci与墙面的支撑距离为其六个表面与墙面间的最小距离。本发明认为 一个立方体可被墙面、地面或者其他可支撑立方体支撑。故而本发明定义立方体 Ci的最小 支撑距离为该立方体与检测到的墙面支撑距离、地面支撑距离或可支撑立方体支撑距离的 最小值。给定一种场景几何解析结果，本发明按照立方体在y方向的上表面高度进行自顶 向下的推理，分析其对应的最小支撑距离，选取其中的最大值作为该种几何解析结果的支 撑距离。
[0067] 室内深度图像对象立方体检测问题可表述为求解3 =k.}匕，其中％表示在当前解 中是否选取第i个立方体，其中1表示选取该立方体在当前解中，〇表示不选取该立方体在 当前解中。一般来讲，选取的立方体应展现出以下两个方面的特性，（1)每个立方体都应 与输入图像有较高的拟合程度，即对应的对象分割结果与输入图像的外观特征有较好的对 应，立方体与三维点云具有较好的匹配程度；（2)选取的立方体两两之间应展现良好的相 互关系，具体而言，具有较小的相交体积比、较小的遮挡面积比、较小的支撑距离。具体而 言，室内深度图像对象立方体检测问题的目标为优化如下能量方程：
[0070] 这里的数据项〇(Ci，Au)表示立方体与输入场景的拟合耗费，兼容项 W(Ci，hXp)表示立方体两两之间的共存耗费，％是一个二值变量，表示是否选取第i个 立方体，队表示与第i个立方体相邻的立方体。数据项〇(ci，Au)和兼容项屯（Ci，Cj，Ap) 都是表示不同特征的列向量，其对应的参数分别为1"和Ap，注意，数据项和兼容项的参数 均为线性的，即〇(Ci，Au) =AuO(Ci)。记场景几何解析结果对应的能量为F^LL)。
[0071] 参阅图6基于最大权重子团的的室内深度图像对象立方体检测算法流程示意图， 本发明将上述能量方程的优化转化为一个在立方体的图结构中寻找最大权重子团的问题。 本发明提出使用一个包含两个步骤的求解算法：（1)从图中的一个节点出发，逐步选取与 其相交、遮挡小于一定阀值的立方体，扩充得到对应的极大子团；（2)针对步骤一得到的极 大子团根据目标能量方程进行局部优化，针对立方体集合中不在当前子团中的每个立方 体，若其与初始立方体相交、遮挡小于一定阀值，则移除当前子团中与该立方体相交、遮挡 大于一定阀值的立方体，同时向当前子团添加该立方体，将其扩充为极大子团，若当前子团 的能量大于初始子团，则更新子团。该过程迭代直至收敛。由上述算法最多可得到K个子 团（重复的子团会被移除），按照Fp^L)降序排列。步骤（1)是一个连续的贪婪启发式 过程，步骤（2)是一个局部搜索启发过程，即为通过极大子团近似求解最大权重子团。
[0072] 图为本发明采用的立方体选取策略，由于本发明采用极大子团近似求解最大权重 子团，故而本发明可以得到针对输入场景不同几何解析结果。
[0073] 由
[0074] 图得到的几何解析结果中，相似的结果对应能量值近似，一般排在接近的位置，几 何解析结果的多样性较低。为解决上述问题，本发明基于最大边缘相关度对
[0075] 图得到的场景几何解析结果重新排序，保证结果的多样性。本发明从初始得分最 高的几何解析结果出发，逐步选取边缘相关度最高的解析结果，即原始得分减去与已选取 的解析结果的相似度，该方法迭代直至所有解析结果都被选取。本发明在计算几何解析结 果&与t一目似度的时候，综合考虑ti对应二维分割结果与对应二维分割结果的覆盖率 和h选取的立方体集合与t」选取的立方体集合的覆盖率。具体如下：
[0077]其中，气表示&对应的二维图像分割结果，4表示&选取的立方体集合。
[0078] 使用T表示算法1产生的全部几何解析结果集合，7；cT表示已选取的几何解析 结果集合，s(ti)表示1^对应的能量值，sim(ti,tj)表示1^与tj间的相似度，则选取下一个 最大边缘相关度的方式如下所示：
[0080] 其中，参数9控制结果的多样性，取值为0.75。
[0081] 以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变 换，均应属于本发明的保护范围。
【主权项】
1. 一种深度图像场景的室内对象立方体检测方法，其特征在于该方法包括以下步骤： 步骤（1)针对输入场景的彩色图像和深度图像，通过设置不同的种子区域和不同的数 据项、偏置项权值，求解一系列参数约束最小割问题，得到输入场景中对象的候选分割结果 集合； 步骤（2)根据输入的场景深度图像，将输入场景投影至三维空间，为对象的候选分割 结果拟合立方体，即对应对象的三维包围盒，得到候选立方体集合； 步骤（3)针对每一个对象分割结 果及对应的立方体，使用描述对象统计特性与物理特 性的二维图像特征以及三维几何特征衡量其与输入场景的拟合程度； 步骤（4)构建立方体的图结构，将场景内容的几何解析问题转化为最大权重子团求解 问题，使用极大子团近似求解，得到一系列经过排序的场景内容几何解析结果； 步骤（5)采用最大边缘相关度对解析结果重排序，提高相邻解析结果的多样性。2. 根据权利要求1所述的一种深度图像场景的室内对象立方体检测方法，其特征在 于：其中，步骤（1)的基于参数约束最小割候选分割结果计算方法，引入了像素的深度信 息，具体而言，在计算相邻像素的相似性时，采用下述计算方法：其中，u，V为相邻像素点，xu，Xv表示像素点属于前景或背景，当相邻像素前背景标签不 一致时，其相似度惩罚按照下述公式计算：其中，σ用来控制兼容项的平滑性，B1(U)是采用轮廓线检测器在彩色图像上像素点u 处得到的响应值，Bd(U)是采用轮廓线检测器在深度图像上像素点u处的响应值，使用这两 种响应值的线性加权定义相似性惩罚。3. 根据权利要求1所述的一种深度图像场景的室内对象立方体检测方法，其特征在 于：在步骤（2)中，将分割结果对应的像素点根据深度信息投影到三维空间，在拟合立方体 X，ζ方向上下界时只要求包含95%的点，即允许一定比率的杂点，以提高拟合的鲁棒性；在 拟合立方体y方向上下界时统计2%和98%的点的平均高度，作为立方体y方向高度的下 界和上界，以增强立方与地面平行这一约束；在xz平面允许拟合的立方体与坐标轴间有一 定的夹角，在旋转后的两个正交方向上，允许有5%的杂点。4. 根据权利要求1所述的一种深度图像场景的室内对象立方体检测方法，其特征在 于：在步骤（3)中，在衡量立方体与输入场景的拟合程度时综合考虑对象分割结果与输入 图像的外观特征拟合程度，拟合立方体与点云的几何特征拟合程度；具体而言，描述这些拟 合程度的特征分为二维图像特征和三维几何特征； 二维图像特征包括对象分割结果的对象性、紧实性、覆盖面积、边缘距离； 其中紧实性用以衡量对象分割结果与立方体投影结果的相似性，针对基于参数约束最 小割算法得到的对象分割结果Si,为其拟合一个立方体Ci，将该立方体投影到二维平面可 得到该立方体对应的覆盖区域Pi;由于拟合立方体的时候允许有5%的点在拟合立方体的 外部，故而SjPpi存在一定的差异；对于一个好的对象分割结果，其对应的点应该有规律的 分布在三维空间的一个长方体区域内，此时，SjPpi的覆盖率应该尽可能的高，即具有较高 的紧实性；采用AreaGifl p D/AreaGiU p D表示对象分割结果的紧实性，其中Area( ·) 提取对应结果的面积； 三维几何特征包括立方体法向量可信度、最小平面距离、朝向与位置、体积； 其中，法向量可信度采用如下方式给定：输入场景彩色图像，根据深度信息将输入场景 投影到三维空间；针对每个像素点，在其周围局部窗口内采样深度差小于阀值的像素点，使 用最小二乘法拟合出一个平面，进而求得该像素点对应的法向量，表示为（Nx，Ny，Nz);根据 拟合的立方体在三维空间中的位置，得到立方体表面的法向量，进而得到立方体投影到二 维平面区域对应像素点的法向量，表示为（N' X，N' y，N' z);则定义像素点的法向量可信 度为（Nx · f x，Ny · f y，Nz · f z);基于上述像素点的法向量可信度定义，定义立方体Ci对应的法向量可信度为：其中，Si n p i表示基于参数约束最小割算法得到的对象结果S 1与将立方体投影到平面 得到的区域Pi的交集，|s ifl p J表示SiH P #像素点的个数； 最小平面距离：对于基于参数约束最小割算法得到的对象结果，计算每个像素点到拟 合立方体六个表面的最短距离，选取最小的距离作为该像素点到立方体的距离，并将所有 像素点到立方体的距离累加后除以像素总数，用以表示该拟合立方体的最小平面距离； 朝向与位置：在室内场景解析方法的一个重要先验是曼哈顿假设，即场景中出现的对 象应平行于检测到的墙面，该特征计算所拟合立方体与墙面的夹角与重叠区域，以表示立 方体的朝向和位置属性。具体计算方法为：通过霍夫变化，得到室内房间中的墙的位置；计 算立方体与墙面夹角，若超过某个阈值，认为是错误的立方体并移除；否则，计算立方体位 置耗费为，/i/,..表示第i个立方体与检测得到的墙面间较小的夹角； 将输入场景图像的所有像素点投影到三维空间后，得到三维点云在X，y，z三个方向的 上界和下界；由于得到对象分割结果时，分割模型可能产生错误的结果，拟合的立方体为了 保持长方体的形态，可能超出整个场景在X，y，z方向的界限；针对这种情况，引入约束，设 置其对应的立方体位置耗费为表示第i个立方体超出上述界限的 面积； 使用相交体积比、遮挡面积比、支撑距离来衡量选取的立方体两两之间的相互关系； 其中支撑距离用来衡量对应立方体集合在空间的物理稳定性；如果立方体(^在y方向 位于立方体Cj的上方，且c i的质心投影至XZ平面的点位于c」在XZ平面的投影区域内，定 义Ci可被c」支撑，并定义c i的下表面与c」的上表面在y方向的距离为二者的支撑距离； 定义立方体Ci与地面的支撑距离为其下表面与地面间的距离，定义立方体c i与墙面的支 撑距离为其六个表面与墙面间的最小距离；一个立方体能被墙面、地面或者其他可支撑立 方体支撑；故而定义立方体Ci的最小支撑距离为该立方体与检测到的墙面支撑距离、地面 支撑距离或可支撑立方体支撑距离的最小值；给定一种场景几何解析结果，按照立方体在 y方向的上表面高度进行自顶向下的推理，分析其对应的最小支撑距离，选取其中的最大值 作为该种几何解析结果的支撑距离。5. 根据权利要求3所述的一种深度图像场景的室内对象立方体检测方法，其特征在 于：在步骤（4)中，将场景内容的几何解析问题转化为一个在立方体的图结构中寻找最大 权重子团的问题，其中构建的立方体图结构中每个顶点和边都有权重；为求解最大权重子 团，使用如下求解算法：（1)从图中的一个节点出发，逐步选取与其相交、遮挡小于一定阀 值的立方体，扩充得到对应的极大子团；（2)针对步骤（1)得到的极大子团根据目标能量方 程进行局部优化，针对立方体集合中不在当前子团中的每个立方体，若其与初始立方体相 交、遮挡小于一定阀值，则移除当前子团中与该立方体相交、遮挡大于一定阀值的立方体， 同时向当前子团添加该立方体，将其扩充为极大子团，若当前子团的能量大于初始子团，则 更新子团；该过程迭代直至收敛；上述算法最多可得到K个子团，重复的子团会被移除，按 照当前子团能量降序排列；由于采用极大子团近似求解最大权重子团，故而能得到针对输 入场景不同几何解析结果。6. 根据权利要求1所述的一种深度图像场景的室内对象立方体检测方法，其特征在 于：在步骤（5)中，为提高相邻几何解析结果的多样性，采用最大边缘相关度（Maximal Margin Relevance)对步骤（4)得到的场景几何解析结果重新排序，保证结果的多样性；从 初始得分最高的几何解析结果出发，逐步选取边缘相关度最高的解析结果，该方法迭代直 至所有解析结果都被选取；在计算几何解析结果^与目似度的时候，综合考虑t,对应二 维分割结果与h对应二维分割结果的覆盖率和t i选取的立方体集合与t」选取的立方体集 合的覆盖率；具体如下：其中，\表示&对应的二维图像分割结果，^表示&选取的立方体集合，八^&(*)为 区域面积，11 · I 〇-范数； 使用T表示全部几何解析结果集合，7； c T表示已选取的几何解析结果集合，s (ti)表 示1^对应的能量值，sim(t i, tj)表示1^与t j间的相似度，则每一步选取具有最大边缘相关 度的解析结果的方法为：其中，Θ为控制结果多样性的参数，设为0.75。
【专利摘要】本发明涉及一种深度图像场景的室内对象立方体检测方法，首先通过求解一系列参数约束最小割问题，得到输入场景中对象的候选分割结果集合，并分别拟合立方体；其次，针对每一个对象分割结果及对应的立方体，使用描述对象统计特性与物理特征的二维图像特征以及三维几何特征衡量其与输入场景的拟合程度；最后，构建立方体的图结构，将场景的几何解析问题转化为最大权重子团求解问题，使用极大子团近似求解，得到一系列经过排序的场景内容几何解析结果，采用最大边缘相关度对解析结果重排序，提高相邻解析结果的多样性。本发明可广泛应用于机器人、监控等计算机视觉系统的室内场景对象解析、场景理解和三维重建。
【IPC分类】G06T7/00
【公开号】CN104899883
【申请号】CN201510288956
【发明人】陈小武, 张晗, 李甲, 赵沁平, 张宇
【申请人】北京航空航天大学
【公开日】2015年9月9日
【申请日】2015年5月29日
【技术领域】
[0001] 本发明涉及计算机视觉和图像场景理解领域，具体地说是一种深度图像场景的室 内对象立方体检测方法。
【背景技术】
[0002] 室内图像场景内容解析是计算机视觉领域的基本研宄问题，其中几何属性解析是 该领域研宄热点。近期室内图像场景内容几何解析的研宄工作从单张图像中恢复对象的立 方体，该问题受到室内图像所具有的对象纹理多样性、对象外形多样性、场景光照多样性、 室内场景对象多样性、摄像机视角多样性等多个因素的制约。为了解决上述问题，研宄人员 引入深度信息辅助解析单张室内图像场景中对象几何结构。
[0003] 2013年，波士顿学院的Jiang等人提出一种基于混合整数线性规划的室内RGB-D 图像场景中对象立方体检测方法。该方法首先结合场景彩色信息和深度信息将图像过分割 成超像素，使用相邻的超像素对构建候选立方体集合；使用分支定界法高效的求解最优的 立方体集合，使之具有较低的局部匹配耗费，较少的对象之间相交、遮挡区域，较大的图像 覆盖面积，较少的立方体个数。该方法首次提出了在RGB-D图像中同时匹配多个对象立方 体的方法。2013年丰田工业大学芝加哥分校的Lin等人提出一种基于条件随机场模型的室 内RGB-D图像场景解析方法。该方法首先将参数约束最小割算法扩展至三维空间，产生场 景中的对象分割结果集合，并为每一个对象分割结果拟合一个立方体。为了选取合适的立 方体集合并为每个立方体赋予语义标签，该方法构建了一个全局条件随机场模型，综合考 虑二维分割信息、三维几何信息、场景与对象之间的语义关系、对象与对象之间的语义关系 及位置关系等信息。
[0004] 一般来说，一个好的室内场景对象立方体检测器应当具备以下特性：（1)对象性， 即检测到的立方体应捕获场景中的对象，而不是墙、地面等；（2)普遍适用性，即检测器可 适用于室内场景中出现的所有语义类别对象，而不是某几种预定义语义类别对象。尽管目 前的研宄工作在解决上述某一个问题上取得了不错的结果，但是均无法解决另外一个问 题。同时，该类方法只能生成一种场景几何解析结果，在一些情况下可能不是最优结果，不 能完整的捕获场景中的所有对象。
【发明内容】
[0005] 根据上述需求，为了克服现有技术的不足，本发明给出一种深度图像场景的室内 对象立方体检测方法，目的在于：综合解决上述两个问题，具体而言，如何产生高对象性的 立方体，如何设计对所有类别对象均具有普遍适用性的特征，如何高效的求解最优解并产 生多种解析结果。为完成发明目的，本发明采用的技术方案是：一种深度图像场景的室内对 象立方体检测方法，该方法包括以下步骤：
[0006] 步骤（1)针对输入场景的彩色图像和深度图像，通过设置不同的种子区域和不同 的数据项、偏置项权值，求解一系列参数约束最小割问题，得到输入场景中对象的候选分割 结果集合；
[0007] 步骤（2)根据输入的场景深度图像，将输入场景投影至三维空间，为对象的候选 分割结果拟合立方体，即对应对象的三维包围盒，得到候选立方体集合；
[0008] 步骤（3)针对每一个对象分割结果及对应的立方体，使用描述对象统计特性与物 理特性的二维图像特征以及三维几何特征衡量其与输入场景的拟合程度；
[0009] 步骤（4)构建立方体的图结构，将场景内容的几何解析问题转化为最大权重子团 求解问题，使用极大子团近似求解，得到一系列经过排序的场景内容几何解析结果；
[0010] 步骤（5)采用最大边缘相关度对解析结果重排序，提高相邻解析结果的多样性。
[0011] 本发明结合深度信息，计算未知像素点的数据项权重、偏置项权重，具体而言，本 发明结合深度信息，计算未知像素点属于前景、背景的概率，以此计算未知像素点的数据项 权重；本发明结合深度信息，计算空间位置相邻像素点间的相似性，以此计算未知像素点的 偏置项权重。本发明采用不同类别的策略，设置种子区域。针对一组前景种子区域、背景种 子区域及一组特定的数据项权重及偏置项权重，应用参数约束最小割算法可得到一种对应 的分割结果。本发明采用了不同组合的前景种子区域、背景种子区域及不同的数据项权重、 偏置项权重等，故可得到大量的输入场景对象分割结果，本发明保留前100个做后续处理。
[0012] 本发明将分割结果对应的像素点根据深度信息投影到三维空间，在拟合立方体X， Z方向上下界时只要求包含95%的点，即允许一定比率的杂点，以提高拟合的鲁棒性；在拟 合立方体y方向上下界时统计2%和98%的点的平均高度，作为立方体y方向高度的下界 和上界，以增强立方体一般与地面平行这一约束；在xz平面允许拟合的立方体与坐标轴间 有一定的夹角，在旋转后的两个正交方向上，允许有5%的杂点。按照上述度量准则，通过直 接查找的方式可得到一个最优立方体。针对一张输入场景图像，本发明可产生包含100个 立方体的候选集合。
[0013] 本发明在衡量立方体与输入场景的拟合程度时综合考虑对象分割结果与输入图 像的外观特征拟合程度，拟合立方体与点云的几何特征拟合程度。具体而言，可分为二维图 像特征和三维几何特征。二维图像特征包括对象分割结果的对象性、紧实性、覆盖面积、边 缘距离。对象性使用图特征、区域特征、格式塔特征衡量分割结果区域是否属于对象；紧实 性衡量对象分割结果与立方体投影结果的相似性；边缘距离用以衡量立方体轮廓线与图像 线检测结果之间的差异。三维几何特征主要包括立方体法向量可信度、最小平面距离、朝向 与位置、体积。法向量可信度用以衡量通过最小二乘法计算得到的法向量与通过立方体得 到的法向量之间的差异；最小平面距离使用对象分割结果区域中的点距立方体表面的最短 距离来衡量立方体的拟合程度；朝向与位置基于曼哈顿假设衡量立方体的拟合程度。从候 选立方体集合中选择最优子集时，不仅每个立方体都应有较高的匹配可信度，同时选取的 立方体两两间应展现出良好的相互关系。具体而言，本发明在选取立方体集合时使用相交 体积比、遮挡面积比、支撑距离来衡量选取的立方体两两之间的相互关系。
[0014] 一般来讲，选取的立方体应展现出以下两个方面的特性，（1)每个立方体都应与输 入图像有较高的拟合程度，即对应的对象分割结果与输入图像的外观特征有较好的对应， 立方体与三维点云具有较好的匹配程度；（2)选取的立方体两两之间应展现良好的相互关 系，具体而言，具有较小的相交体积比、较小的遮挡面积比、较小的支撑距离。
[0015] 本发明将场景内容的几何解析问题转化为一个在立方体的图结构中寻找最大权 重子团的问题，其中构建的立方体图结构中每个顶点和边都有权重。为求解最大权重子 团，本发明提出使用一个包含两个步骤的求解算法：（1)从图中的一个节点出发，逐步选取 与其相交、遮挡小于一定阀值的立方体，扩充得到对应的极大子团；（2)针对步骤一得到的 极大子团根据目标能量方程进行局部优化，针对立方体集合中不在当前子团中的每个立方 体，若其与初始立方体相交、遮挡小于一定阀值，则移除当前子团中与该立方体相交、遮挡 大于一定阀值的立方体，同时向当前子团添加该立方体，将其扩充为极大子团，若当前子团 的能量大于初始子团，则更新子团。该过程迭代直至收敛。上述算法最多可得到K个子团 (重复的子团会被移除），按照当前子团能量降序排列。步骤一是一个连续的贪婪启发式过 程，步骤二是一个局部搜索启发过程，即为通过极大子团近似求解最大权重子团。由于本发 明采用极大子团近似求解最大权重子团，故而本发明可以得到针对输入场景不同几何解析 结果。
[0016] 由上述步骤到的几何解析结果中，相似的结果对应能量值近似，一般排在接近的 位置，几何解析结果的多样性较低。为提高相邻几何解析结果的多样性，本发明基于最大边 缘相关度对前面得到的场景几何解析结果重新排序，保证结果的多样性。本发明从初始得 分最高的几何解析结果出发，逐步选取边缘相关度最高的解析结果，即原始得分减去与已 选取的解析结果的相似度，该方法迭代直至所有解析结果都被选取。本发明在计算几何解 析结果&与t一目似度的时候，综合考虑ti对应二维分割结果与对应二维分割结果的覆 盖率和ti选取的立方体集合与t」选取的立方体集合的覆盖率。
[0017] 与现有的技术相比，本发明有益的特点是：
[0018] 1、本发明提出一种深度图像场景的室内对象立方体检测框架，该方法不用预先训 练复杂的分类器，在公共数据集上提升了检测准确率。
[0019] 2、本发明针对每一个对象分割结果及对应拟合的立方体，使用一系列描述对象统 计特性与物理特征的二维图像特征以及三维几何特征衡量其与输入场景的拟合程度。
[0020]3、本发明将立方体的选取问题转化为最大权 重子团求解问题，可对输入室内深度 图像产生一系列的中层次表示结果。
【附图说明】
[0021] 图1是本方法总体流程图；
[0022] 图2是立方体拟合结果图；
[0023] 图3是立方体紧实性特征示意图；
[0024] 图4是立方体边缘距离特征示意图；
[0025] 图5是立方体法向量可信度特征示意图；
[0026] 图6是基于最大权重子团的的室内深度图像对象立方体检测算法流程示意图；
【具体实施方式】
[0027] 下面结合附图对本发明作详细说明。
[0028] 参阅图1本方法的总体流程图，方法可分为如下几个步骤：对象候选分割结果计 算，立方体拟合，基于最大权重子团的立方体选取。以下将展开介绍上述步骤。
[0029] 对象候选分割结果计算：为了能够在输入室内场景图像中分割出一系列具有较高 对象性的结果，本发明将参数约束最小割算法（ContrainedParametricMin-Cut)扩展至 深度空间，通过设置不同的种子区域和不同的数据项、偏置项权值，求解一系列的参数约束 最小割问题，求得一系列输入场景对象的候选分割结果，高效的利用了外观线索和深度线 索。针对输入的场景图像，本发明首先设置种子区域，本发明假设前景种子区域的像素点全 部为前景，背景种子区域的像素点全部为背景。针对一组种子区域及对应的一组数据项、偏 置项权值，应用参数约束最小割算法得到输入场景中对象分割结果。
[0030] 使用1(F) -R3表示输入的室内场景图像，P表示了该图中所有像素点集合。与 基于图的分割方法相似，本发明定义加权图G= (P，e)中边的权重为相邻像素点间的相似 性，每个像素点都是P中的一个节点。其中，划分成前景区域的像素点标记为1，划分成背景 区域的像素点标记为〇。通过将把前景种子区域像素点划分成背景区域的惩罚设置为无穷 大，约束前景种子区域的的像素点为前景区域，同理约束背景种子区域的像素点为背景区 ±或。本发明总体目标即针对所有像素点的标签{xdx2, . . .，xN}，XiG{〇, 1}最小化一个能量 方程，其中N为所有像素点的总数。优化能量方程如下所示：
[0032] 其中数据项定义如下：
[0034] 前景偏置是通过将非种子区域像素点划分为背景区域是产生的耗费，其包含两部 分，基于像素点特征的和一个统一项A。这里通过使用的种子区域像素点的颜 色及深度分布来计算完成的，本发明使用pf(xu)表示未知区域像素点属于前景的可能性， 使用Pb(xu)表示未知区域像素点属于背景的可能性，则有：
[0035] f(xu) =Inpf (xu)-Inpb (xu),
[0036] 其中，针对像素点i，本发明在计算其属于前景的可能性时，不仅考虑彩色图像信 息，同时引入了深度图像信息，pf(xu)定义如下：
[0038] y是一个缩放因子，j表示种子区域的代表像素点，本发明采用k-means算法同时 在颜色空间和深度空间通过聚类得到种子区域的代表性像素点（本发明选取5个代表性像 素点），I(i)表示像素点i处的颜色值，D(i)表示像素点i处的深度值，通过将颜色差异与 深度差异做线性加权，可更加高效的计算未知区域像素与前景种子区域、背景种子区域间 的差异。本发明所采用的计算前背景概率方式基于高斯混合模型相比，速度较快，适合大规 模的计算。当对象的颜色与背景差异较大时或者对象的深度与背景区域不连续时，本发明 会得到较好的结果。
[0039] 针对像素点j，其属于背景的可能性pb(xu)计算方式与上面pf(xu)计算方式类似。
[0040] 本发明设计兼容项Vuv惩罚将空间位置相邻的像素点赋予不同的语义标签的情 况：
[0042] 空间位置相邻像素点间的相似性基于轮廓线检测器按如下方式计算：
[0044] 〇用来控制兼容项的平滑性。这里Bju)是轮廓线检测器在彩色图像上像素点u 处的响应值，BD(u)是轮廓线检测器在深度图像上像素点u处的响应值，这种线性加权的方 式可将RGB-D图像中轮廓线的检测准确率提高2%。轮廓线检测器采用Berkeley大学的 UCM算法。
[0045] 针对一组前景种子区域、背景种子区域及一组特定的数据项权值及偏置项，应用 参数约束最小割算法可得到一种对应的分割结果。本发明采用了不同组合的前景种子区 域、背景种子区域及不同的数据项权值、偏置项权值等，故可得到大量的输入场景对象分割 结果，本发明保留前100个做后续处理。
[0046] 参阅图2立方体拟合结果图，针对基于参数约束最小割算法得到对象分割结果， 本发明为其恢复一个立方体。一种直接的方式是将分割结果对应的像素点根据深度信息投 影到三维空间，选择x，y，z方向上的最大值和最小值作为立方体的边界。但是这种方式对 噪音非常敏感，一个杂乱的点可能会大幅度改变拟合的立方体形状。为了提高鲁棒性，本发 明在拟合立方体时只要求包含95%的点，即允许一定比率的杂点。同时，在大量实验数据 中发现，立方体一般与地面平行，本发明在拟合过程中加强这一约束，在y方向上统计2 % 和98%的点的平均高度，作为立方体高度的下界和上界；在xz平面允许拟合的立方体与坐 标轴间有一定的夹角，在旋转后的两个正交方向上，分别统计拟合的立方体在对应方向上 的5%和95%的点的位置作为上下界。按照上述度量准则，通过直接查找的方式可得到一 个最优立方体。
[0047] 基于上述方式，针对输入场景基于参数约束最小割算法得到的每个对象分割结 果，本发明可为其恢复一个立方体，如图所示。针对输入室内场景图像，本发明在基于参数 约束最小割的对象分割步骤保留前100个分割结果，本发明为每个对象分割结果拟合一个 立方体表示为。则针对一张输入场景图像，本发明产生包含100个立方体的候选 集合。
[0048] 本发明在衡量立方体与输入场景的拟合程度时综合考虑对象分割结果与输入图 像的外观特征拟合程度，拟合立方体与点云的几何特征拟合程度。具体而言，可分为二维图 像特征和三维几何特征。
[0049] 二维图像特征包括对象分割结果的对象性、紧实性、覆盖面积、边缘距离。
[0050] 对象性：共采用了三组特征，共计34个特征。这34个特征分别用来衡量对象分割 结果的图特征、区域特征、格式塔特征。图划分的特征，即割的不同变种，包括割、割率、归一 化割、未平衡割以及一个四维的二值变量表示表示对象分割结果边缘上割值是否大于对应 阀值的比率，共计8个特征。区域特征为一些统计特征，主要表示对象一般出现在图像中的 什么位置，以什么尺度出现。本文使用的区域特征包括面积，质心，对应区域的包围盒等18 个特征。格式塔特征包含前景区域与背景区域的纹理相似性，前景区域内部纹理相似性，前 景区域与背景区域的亮度相似性，前景区域内部亮度相似性，前景区域与背景区域间的边 缘能量，前景区域内部边缘能量，曲线的连续性和凸性，共计8个特征。
[0051] 参阅图3立方体的紧实性特征，针对基于参数约束最小割算法得到的对象分割结 果Si，本方法为其拟合一个立方体Ci，将该立方体投影到二维平面可得到该立方体对应的 覆盖区域Pi。由于拟合立方体的时候本发明允许有5%的点在拟合立方体的外部，故而Si 和Pi存在一定的差异。对于一个好的对象分割结果，其对应的点应该有规律的分布在三维 空间的一个长方体区域内，此时，^和Pi的覆盖率应该尽可能的高，即具有较高的紧实性。 本发明采用Area(SiPIpD/Area(SiUp)表示对象分割结果的紧实性，其中Area(?)提取 对应结果的面积。如图3所示，从左到右依次为：是基于参数约束最小割算法得到的对象分 害憷果si;恢复的立方体投影到二维平面对应的区域pi;是上述两个区域的交集s……上 述两个区域的并集SiUPi。
[0052] 面积：本发明在选择立方体时倾向于选择面积较大的立方体。具体而言，本发明使 用应用参数约束最小割算法得到的对象结果Si与将立方体投影到二维平面得到的区域pi 的交集，即为Area(Sinp^，除以该场景中检测到的最大相交面积做归一化。
[0053] 参阅图位方体的边缘距离特征示意图：本发明将立方体投影到二维平面，得到 其对应的轮廓线，同时使用Canny线检测器检测输入图像中为边的像素点，对于立方体轮 廓线上的每一个像素点，我们计算其与Canny线检测得到像素点的最短距离，累加并使用 轮廓线上的像素点个数归一化得到最终的边缘距离。如图4所示，左图是将立方体投影到 二维平面得到对应的轮廓线结果图，右图是应用Canny线检测器检测得到的输入图像边缘 结果图。
[0054] 基于深度的三维几何特征主要包括立方体法向量可信度、最小平 面距离、朝向与 位置、体积。
[0055] 参阅图5立方体法向量可信度特征示意图；：给定输入场景彩色图像，根据深度信 息可将输入场景投影到三维空间。针对每个像素点，在其周围局部窗口内采样深度差小于 阀值的像素点，使用最小二乘法拟合出一个平面，进而可求得该像素点对应的法向量，表示 为（Nx，Ny，Nz)，如图中左图所示。根据拟合的立方体在三维空间中的位置，本发明可以得到 立方体表面的法向量，进而可以得到立方体投影到二维平面区域对应像素点的法向量，表 示为（N'X，N'y，N'z)，如图中右图所示。则本发明定义像素点的法向量可信度为（NX*N 'x，Ny*N'y，Nz*N'z)。基于上述像素点的法向量可信度定义，本发明定义立方体(^对应的法 向量可信度为：
[0057]其中，Sin pi表示基于参数约束最小割算法得到的对象结果s i与将立方体投影到 平面得到的区域？1的交集，|SinPi|表示SinPi内像素点的个数。
[0058] 最小平面距离：对于基于参数约束最小割算法得到的对象结果，我们计算每个像 素点到拟合立方体六个表面的最短距离，选取其中最小的最为该像素点到立方体的最短距 离，累加之后使用该区域对应像素的总数归一化，用以表示该拟合立方体的最小平面距离。
[0059] 朝向与位置：根据曼哈顿假设，室内场景中出现的对象应平行于检测到的墙面，该 假设在室内场景解析中一般作为重要的先验并入解析模型。通过霍夫变化，可以得到室内 房间中的墙的位置。本发明认为与墙面有较大夹角的立方体一般是错误的检测。针对这种 情况，本发明引入约束，设置其对应的立方体位置耗费为exP(/w/,. )，《<,.表示第i个立方 体超与检测得到的墙面间较小的夹角。
[0060] 将输入场景图像的所有像素点投影到三维空间后，可以得到三维点云在x，z三个 方向的上界和下界。由于得到对象分割结果时，分割模型可能产生错误的结果，拟合的立方 体为了保持长方体的形态，可能超出上述x，z方向的界限。针对这种情况，本发明引入约 束，设置其对应的立方体位置耗费为（
表示第i个立方体超出上述 界限的面积。
[0061] 体积：与二维图像面积类似，本发明在选择立方体的时候倾向于选择所占空间体 积较大的立方体。具体而言，针对立方体Ci，使用其对应的体积vol(Ci)除以该场景中检测 到的最大立方体体积做归一化。
[0062] 上述所有的数据项特征都通过减去均值除以标准差做归一化。
[0063] 从候选立方体集合中选择最优子集时，不仅每个立方体都应有较高的匹配可信 度，同时选取的立方体两两间应展现出良好的相互关系。具体而言，兼容项包含以下三项： 相交体积比、遮挡面积比、支撑距离。
[0064] 相交体积比：每个立方体都是坚实的对象，在三维空间中占有一定的体积，故而在 真实世界中，室内对象对应的立方体之间不可能当出现相交的情况。但是在本发明解析过 程中，由于分割误差及拟合立方体误差，不可避免的会出现相交的情况，故而完全禁止相交 是不可行的。本发明引入立方体两两之间相交的约束项，具体而言，定义立方体q与立方 体Cj定义为vol(cincj)/max(vol(Ci)，vol(Cj)) 〇
[0065]遮挡面积比：本发明定义两个立方体之间的遮挡面积比为Area(HflQ)/Area(Q)， H表示离摄像机比较近的立方体对应的投影区域，Q表示离摄像机比较远的立方体对应的 投影区域，Area(_)计算对应区域的面积。本发明使用立方体投影到二维平面对应区域像 素点到摄像机的平均距离作为该立方体距摄像机的距离。
[0066] 支撑距离：本发明采用支撑距离来衡量对应立方体集合在空间的物理稳定性。如 果立方体(^在y方向位于立方体c」的上方，且ci的质心投影至xz平面的点位于c」在xz 平面的投影区域内，本发明定义Ci可被c」支撑，并定义ci的下表面与c」的上表面在y方向 的距离为二者的支撑距离。本发明定义立方体Ci与地面的支撑距离为其下表面与地面间 的距离，定义立方体Ci与墙面的支撑距离为其六个表面与墙面间的最小距离。本发明认为 一个立方体可被墙面、地面或者其他可支撑立方体支撑。故而本发明定义立方体 Ci的最小 支撑距离为该立方体与检测到的墙面支撑距离、地面支撑距离或可支撑立方体支撑距离的 最小值。给定一种场景几何解析结果，本发明按照立方体在y方向的上表面高度进行自顶 向下的推理，分析其对应的最小支撑距离，选取其中的最大值作为该种几何解析结果的支 撑距离。
[0067] 室内深度图像对象立方体检测问题可表述为求解3 =k.}匕，其中％表示在当前解 中是否选取第i个立方体，其中1表示选取该立方体在当前解中，〇表示不选取该立方体在 当前解中。一般来讲，选取的立方体应展现出以下两个方面的特性，（1)每个立方体都应 与输入图像有较高的拟合程度，即对应的对象分割结果与输入图像的外观特征有较好的对 应，立方体与三维点云具有较好的匹配程度；（2)选取的立方体两两之间应展现良好的相 互关系，具体而言，具有较小的相交体积比、较小的遮挡面积比、较小的支撑距离。具体而 言，室内深度图像对象立方体检测问题的目标为优化如下能量方程：
[0070] 这里的数据项〇(Ci，Au)表示立方体与输入场景的拟合耗费，兼容项 W(Ci，hXp)表示立方体两两之间的共存耗费，％是一个二值变量，表示是否选取第i个 立方体，队表示与第i个立方体相邻的立方体。数据项〇(ci，Au)和兼容项屯（Ci，Cj，Ap) 都是表示不同特征的列向量，其对应的参数分别为1"和Ap，注意，数据项和兼容项的参数 均为线性的，即〇(Ci，Au) =AuO(Ci)。记场景几何解析结果对应的能量为F^LL)。
[0071] 参阅图6基于最大权重子团的的室内深度图像对象立方体检测算法流程示意图， 本发明将上述能量方程的优化转化为一个在立方体的图结构中寻找最大权重子团的问题。 本发明提出使用一个包含两个步骤的求解算法：（1)从图中的一个节点出发，逐步选取与 其相交、遮挡小于一定阀值的立方体，扩充得到对应的极大子团；（2)针对步骤一得到的极 大子团根据目标能量方程进行局部优化，针对立方体集合中不在当前子团中的每个立方 体，若其与初始立方体相交、遮挡小于一定阀值，则移除当前子团中与该立方体相交、遮挡 大于一定阀值的立方体，同时向当前子团添加该立方体，将其扩充为极大子团，若当前子团 的能量大于初始子团，则更新子团。该过程迭代直至收敛。由上述算法最多可得到K个子 团（重复的子团会被移除），按照Fp^L)降序排列。步骤（1)是一个连续的贪婪启发式 过程，步骤（2)是一个局部搜索启发过程，即为通过极大子团近似求解最大权重子团。
[0072] 图为本发明采用的立方体选取策略，由于本发明采用极大子团近似求解最大权重 子团，故而本发明可以得到针对输入场景不同几何解析结果。
[0073] 由
[0074] 图得到的几何解析结果中，相似的结果对应能量值近似，一般排在接近的位置，几 何解析结果的多样性较低。为解决上述问题，本发明基于最大边缘相关度对
[0075] 图得到的场景几何解析结果重新排序，保证结果的多样性。本发明从初始得分最 高的几何解析结果出发，逐步选取边缘相关度最高的解析结果，即原始得分减去与已选取 的解析结果的相似度，该方法迭代直至所有解析结果都被选取。本发明在计算几何解析结 果&与t一目似度的时候，综合考虑ti对应二维分割结果与对应二维分割结果的覆盖率 和h选取的立方体集合与t」选取的立方体集合的覆盖率。具体如下：
[0077]其中，气表示&对应的二维图像分割结果，4表示&选取的立方体集合。
[0078] 使用T表示算法1产生的全部几何解析结果集合，7；cT表示已选取的几何解析 结果集合，s(ti)表示1^对应的能量值，sim(ti,tj)表示1^与tj间的相似度，则选取下一个 最大边缘相关度的方式如下所示：
[0080] 其中，参数9控制结果的多样性，取值为0.75。
[0081] 以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变 换，均应属于本发明的保护范围。
【主权项】
1. 一种深度图像场景的室内对象立方体检测方法，其特征在于该方法包括以下步骤： 步骤（1)针对输入场景的彩色图像和深度图像，通过设置不同的种子区域和不同的数 据项、偏置项权值，求解一系列参数约束最小割问题，得到输入场景中对象的候选分割结果 集合； 步骤（2)根据输入的场景深度图像，将输入场景投影至三维空间，为对象的候选分割 结果拟合立方体，即对应对象的三维包围盒，得到候选立方体集合； 步骤（3)针对每一个对象分割结 果及对应的立方体，使用描述对象统计特性与物理特 性的二维图像特征以及三维几何特征衡量其与输入场景的拟合程度； 步骤（4)构建立方体的图结构，将场景内容的几何解析问题转化为最大权重子团求解 问题，使用极大子团近似求解，得到一系列经过排序的场景内容几何解析结果； 步骤（5)采用最大边缘相关度对解析结果重排序，提高相邻解析结果的多样性。2. 根据权利要求1所述的一种深度图像场景的室内对象立方体检测方法，其特征在 于：其中，步骤（1)的基于参数约束最小割候选分割结果计算方法，引入了像素的深度信 息，具体而言，在计算相邻像素的相似性时，采用下述计算方法：其中，u，V为相邻像素点，xu，Xv表示像素点属于前景或背景，当相邻像素前背景标签不 一致时，其相似度惩罚按照下述公式计算：其中，σ用来控制兼容项的平滑性，B1(U)是采用轮廓线检测器在彩色图像上像素点u 处得到的响应值，Bd(U)是采用轮廓线检测器在深度图像上像素点u处的响应值，使用这两 种响应值的线性加权定义相似性惩罚。3. 根据权利要求1所述的一种深度图像场景的室内对象立方体检测方法，其特征在 于：在步骤（2)中，将分割结果对应的像素点根据深度信息投影到三维空间，在拟合立方体 X，ζ方向上下界时只要求包含95%的点，即允许一定比率的杂点，以提高拟合的鲁棒性；在 拟合立方体y方向上下界时统计2%和98%的点的平均高度，作为立方体y方向高度的下 界和上界，以增强立方与地面平行这一约束；在xz平面允许拟合的立方体与坐标轴间有一 定的夹角，在旋转后的两个正交方向上，允许有5%的杂点。4. 根据权利要求1所述的一种深度图像场景的室内对象立方体检测方法，其特征在 于：在步骤（3)中，在衡量立方体与输入场景的拟合程度时综合考虑对象分割结果与输入 图像的外观特征拟合程度，拟合立方体与点云的几何特征拟合程度；具体而言，描述这些拟 合程度的特征分为二维图像特征和三维几何特征； 二维图像特征包括对象分割结果的对象性、紧实性、覆盖面积、边缘距离； 其中紧实性用以衡量对象分割结果与立方体投影结果的相似性，针对基于参数约束最 小割算法得到的对象分割结果Si,为其拟合一个立方体Ci，将该立方体投影到二维平面可 得到该立方体对应的覆盖区域Pi;由于拟合立方体的时候允许有5%的点在拟合立方体的 外部，故而SjPpi存在一定的差异；对于一个好的对象分割结果，其对应的点应该有规律的 分布在三维空间的一个长方体区域内，此时，SjPpi的覆盖率应该尽可能的高，即具有较高 的紧实性；采用AreaGifl p D/AreaGiU p D表示对象分割结果的紧实性，其中Area( ·) 提取对应结果的面积； 三维几何特征包括立方体法向量可信度、最小平面距离、朝向与位置、体积； 其中，法向量可信度采用如下方式给定：输入场景彩色图像，根据深度信息将输入场景 投影到三维空间；针对每个像素点，在其周围局部窗口内采样深度差小于阀值的像素点，使 用最小二乘法拟合出一个平面，进而求得该像素点对应的法向量，表示为（Nx，Ny，Nz);根据 拟合的立方体在三维空间中的位置，得到立方体表面的法向量，进而得到立方体投影到二 维平面区域对应像素点的法向量，表示为（N' X，N' y，N' z);则定义像素点的法向量可信 度为（Nx · f x，Ny · f y，Nz · f z);基于上述像素点的法向量可信度定义，定义立方体Ci对应的法向量可信度为：其中，Si n p i表示基于参数约束最小割算法得到的对象结果S 1与将立方体投影到平面 得到的区域Pi的交集，|s ifl p J表示SiH P #像素点的个数； 最小平面距离：对于基于参数约束最小割算法得到的对象结果，计算每个像素点到拟 合立方体六个表面的最短距离，选取最小的距离作为该像素点到立方体的距离，并将所有 像素点到立方体的距离累加后除以像素总数，用以表示该拟合立方体的最小平面距离； 朝向与位置：在室内场景解析方法的一个重要先验是曼哈顿假设，即场景中出现的对 象应平行于检测到的墙面，该特征计算所拟合立方体与墙面的夹角与重叠区域，以表示立 方体的朝向和位置属性。具体计算方法为：通过霍夫变化，得到室内房间中的墙的位置；计 算立方体与墙面夹角，若超过某个阈值，认为是错误的立方体并移除；否则，计算立方体位 置耗费为，/i/,..表示第i个立方体与检测得到的墙面间较小的夹角； 将输入场景图像的所有像素点投影到三维空间后，得到三维点云在X，y，z三个方向的 上界和下界；由于得到对象分割结果时，分割模型可能产生错误的结果，拟合的立方体为了 保持长方体的形态，可能超出整个场景在X，y，z方向的界限；针对这种情况，引入约束，设 置其对应的立方体位置耗费为表示第i个立方体超出上述界限的 面积； 使用相交体积比、遮挡面积比、支撑距离来衡量选取的立方体两两之间的相互关系； 其中支撑距离用来衡量对应立方体集合在空间的物理稳定性；如果立方体(^在y方向 位于立方体Cj的上方，且c i的质心投影至XZ平面的点位于c」在XZ平面的投影区域内，定 义Ci可被c」支撑，并定义c i的下表面与c」的上表面在y方向的距离为二者的支撑距离； 定义立方体Ci与地面的支撑距离为其下表面与地面间的距离，定义立方体c i与墙面的支 撑距离为其六个表面与墙面间的最小距离；一个立方体能被墙面、地面或者其他可支撑立 方体支撑；故而定义立方体Ci的最小支撑距离为该立方体与检测到的墙面支撑距离、地面 支撑距离或可支撑立方体支撑距离的最小值；给定一种场景几何解析结果，按照立方体在 y方向的上表面高度进行自顶向下的推理，分析其对应的最小支撑距离，选取其中的最大值 作为该种几何解析结果的支撑距离。5. 根据权利要求3所述的一种深度图像场景的室内对象立方体检测方法，其特征在 于：在步骤（4)中，将场景内容的几何解析问题转化为一个在立方体的图结构中寻找最大 权重子团的问题，其中构建的立方体图结构中每个顶点和边都有权重；为求解最大权重子 团，使用如下求解算法：（1)从图中的一个节点出发，逐步选取与其相交、遮挡小于一定阀 值的立方体，扩充得到对应的极大子团；（2)针对步骤（1)得到的极大子团根据目标能量方 程进行局部优化，针对立方体集合中不在当前子团中的每个立方体，若其与初始立方体相 交、遮挡小于一定阀值，则移除当前子团中与该立方体相交、遮挡大于一定阀值的立方体， 同时向当前子团添加该立方体，将其扩充为极大子团，若当前子团的能量大于初始子团，则 更新子团；该过程迭代直至收敛；上述算法最多可得到K个子团，重复的子团会被移除，按 照当前子团能量降序排列；由于采用极大子团近似求解最大权重子团，故而能得到针对输 入场景不同几何解析结果。6. 根据权利要求1所述的一种深度图像场景的室内对象立方体检测方法，其特征在 于：在步骤（5)中，为提高相邻几何解析结果的多样性，采用最大边缘相关度（Maximal Margin Relevance)对步骤（4)得到的场景几何解析结果重新排序，保证结果的多样性；从 初始得分最高的几何解析结果出发，逐步选取边缘相关度最高的解析结果，该方法迭代直 至所有解析结果都被选取；在计算几何解析结果^与目似度的时候，综合考虑t,对应二 维分割结果与h对应二维分割结果的覆盖率和t i选取的立方体集合与t」选取的立方体集 合的覆盖率；具体如下：其中，\表示&对应的二维图像分割结果，^表示&选取的立方体集合，八^&(*)为 区域面积，11 · I 〇-范数； 使用T表示全部几何解析结果集合，7； c T表示已选取的几何解析结果集合，s (ti)表 示1^对应的能量值，sim(t i, tj)表示1^与t j间的相似度，则每一步选取具有最大边缘相关 度的解析结果的方法为：其中，Θ为控制结果多样性的参数，设为0.75。
【专利摘要】本发明涉及一种深度图像场景的室内对象立方体检测方法，首先通过求解一系列参数约束最小割问题，得到输入场景中对象的候选分割结果集合，并分别拟合立方体；其次，针对每一个对象分割结果及对应的立方体，使用描述对象统计特性与物理特征的二维图像特征以及三维几何特征衡量其与输入场景的拟合程度；最后，构建立方体的图结构，将场景的几何解析问题转化为最大权重子团求解问题，使用极大子团近似求解，得到一系列经过排序的场景内容几何解析结果，采用最大边缘相关度对解析结果重排序，提高相邻解析结果的多样性。本发明可广泛应用于机器人、监控等计算机视觉系统的室内场景对象解析、场景理解和三维重建。
【IPC分类】G06T7/00
【公开号】CN104899883
【申请号】CN201510288956
【发明人】陈小武, 张晗, 李甲, 赵沁平, 张宇
【申请人】北京航空航天大学
【公开日】2015年9月9日
【申请日】2015年5月29日
最新回复(0)