基于光场数据分布的深度估计方法
基于光场数据分布的深度估计方法
【技术领域】
[0001] 本发明涉及计算机视觉与数字图像处理领域，特别涉及一种基于光场数据分布的 深度估计方法。
【背景技术】
[0002] 基于光场成像理论，新近发布的光场相机（如Lytro和RayTrix)获得了巨大的商 业成功，并引发研宄学界的广泛关注。普通用户利用单台相机除了能实现重聚焦与视点移 动功能，也可以借助相关算法从所拍摄的光场图像中估算场景深度。该方法计算深度具有 价廉、便捷等优势。
[0003] 现存基于光场相机的深度估计方法大体可分为两类：立体匹配算法与光场分析算 法。传统的立体匹配算法直接利用光场相机采集的各子孔径图像间的相关性计算深度。然 而，这类算法通常计算复杂度较高，并且因为子孔径图像的低分辨率无法满足算法匹配所 需精度要求，所以得到的深度结果质量较差。另一些改良的立体匹配算法，比如考虑光线传 播的直线性，却仍旧因为只利用到光场数据中各视点图像的相关性信息，限制了深度估计 的性能。
[0004] 光场分析方法试图同时利用光场数据中包含的各视点图像的一致性与焦距信息 这两种线索来估算深度。该类算法为不同线索定义不同的代价方程，并融合两种线索得到 的深度估计进行互补来提升最终结果的准确度。但是，由该类算法估计的深度缺乏细节信 息，在准确性与一致性上还有待提升。
【发明内容】
[0005] 本发明的目的是提供一种基于光场数据分布的深度估计方法，以解决现有光场相 机深度估计方法存在的上述技术问题中的至少一种。
[0006] 本发明的思路是充分参考光场数据特性，从改变输入光场图像像素分布所得的一 系列重聚焦光场图像中提取与焦距相关张量预估场景深度。进一步，还利用该张量随深度 的变化趋势与场景中心子孔径纹理图的梯度信息建立多元可信度模型衡量各点初始深度 质量，取长补短从而优化初步估计结果，达到利用光场相机采集数据计算高质量深度图像 的目的。
[0007] 本发明提供的一种基于光场数据分布的深度估计方法包括以下步骤：
[0008] S1、调整输入光场图像的像素分布，生成多个不同焦距的重聚焦光场图像；
[0009] S2、针对所述多个重聚焦光场图像，分别提取同一个宏像素的强度范围，进而选出 最小强度范围对应的重聚焦光场图像，以该重聚焦光场图像的焦距作为该宏像素的场景深 度；所述宏像素对应实际场景中的一点，所述宏像素的强度范围为该宏像素内所有点的强 度值的变化范围；以及
[0010] 重复所述步骤S2,获得所有宏像素的场景深度。
[0011] 在上述的基于光场数据分布的深度估计方法中，优选地，所述步骤S1中，采用点 扩散函数调整输入光场图像的像素分布。
[0012] 在上述的基于光场数据分布的深度估计方法中，优选地，进一步还包括依据可信 度模型对步骤S2获得的场景深度进行全局优化的步骤S3。
[0013] 在上述的基于光场数据分布的深度估计方法中，优选地，所述的依据可信度模型 对步骤S2获得的场景深度进行全局优化的步骤S3包括：以步骤S2获得的场景深度作为初 始输入，利用马尔科夫随机场进行优化，具体的优化方法包括：依据所述可信度模型对各点 的深度评估，利用准确性高的深度估计修正不准确的深度，提升同质区域深度估计的一致 性并保留深度边界。
[0014] 在上述的基于光场数据分布的深度估计方法中，优选地，所述可信度模型为多元 可信度模型，该多元可信度模型包括用于衡量所述场景深度的准确性的第一部分，以及用 于衡量所述场景深度在非边界区域的一致性与边界区域的突变性的第二部分。
[0015] 在上述的基于光场数据分布的深度估计方法中，优选地，所述多元可信度模型的 第一部分为Q(X，y)，
[0017] 其中，RzH<(x，y)和Rz，（X，y)分别是强度范围Rz(x,y)随场景深度的变化曲线的最 小值点和极小值点，z*和z'为最小值点和极小值点对应的场景深度。
[0018] 在上述的基于光场数据分布的深度估计方法中，优选地，所述多元可信度模型的 第二部分以中心子孔径纹理图的梯度信息为基础；所述深度估计方法进一步还包括分别获 取所述多个重聚焦光场图像的中心子孔径纹理图的步骤，以及用获取的中心子孔径纹理图 通过所述多元可信度模型的第二部分计算可信度的步骤。
[0019] 本发明从变换输入图像像素分布所得的一系列重聚焦光场图像中提取与焦距相 关张量估计场景深度。在更优的方案中，还利用该张量随深度的变化趋势与场景中心子孔 径纹理图的梯度信息定义多元可信度模型衡量初始深度的准确性与一致性来进一步优化 深度估计。利用本发明的方法能够充分借助类似Lytro等光场相机采集的场景纹理及空间 信息，获得细节丰富，特征清晰，准确性、一致性高的场景深度估计。
【附图说明】
[0020] 图1为本发明基于光场数据分布的深度估计方法一些实施例的流程图。
【具体实施方式】
[0021] 下面结合附图和实施例对本发明进一步说明。这些更详细的描述旨在帮助理解本 发明，而不应被用于限制本发明。根据本发明公开的内容，本领域技术人员明白，可以不需 要一些或者所有这些特定细节即可实施本发明。而在其它情况下，为了避免将发明创造淡 化，未详细描述众所周知的操作过程。
[0022] 参照图1，一些实施例基于光场数据分布的深度估计方法包括以下步骤：
[0023] S1、调整输入光场图像的像素分布，生成多个不同焦距的重聚焦光场图像。
[0024] 具体地，输入光场图像首先经过预矫正处理，将每个宏像素中未能捕捉到有效数 据信息的外围点去除，防止无意义像素值干扰后续处理。采用点扩散函数（PointSpread Function,PSF)调整矫正后的光场图像L。的像素位置分布，实现对输入光场图像的重聚焦 处理如下：
[0026] 生成聚焦平面由近及远变化的一系列光场图像Lz(z= 1，2, 3…），其中z为预设的 深度层次，x，y与u，v分别为图像平面上的空间坐标与角度坐标。
[0027]S2、针对所述多个重聚焦光场图像，分别提取同一个宏像素的强度范围，进而选出 最小强度范围对应的重聚焦光场图像，以该重聚焦光场图像的焦距作为该宏像素的场景深 度。所述宏像素对应实际场景中的一点，所述宏像素的强度范围为该宏像素内所有点的强 度值的变化范围。
[0028] 光场相机的微透镜阵列的每个微透镜相对于相机的主透镜而言代表某角度上的 子孔径，光场数据中宏像素对应实际场景中的一点，宏像素包含了其相应场景点通过整个 微透镜阵列投影的角度信息，并对应记录在宏像素内各点上，即各点的强度值与分布位置。 根据光场成像理论，图像宏像素中各点强度反映场景点通过不同位置微透镜的投影，在一 系列光场图像Lz(z= 1，2,3…）的聚焦平面由近及远变化时，宏像素中各点的强度值在不 断变化，导致整个宏像素的强度范围也随之变化，因此，以宏像素的强度范围作为与深度相 关张量来估计深度。具体地，提取宏像素强度范围如下：
[0030] 其中I(x，y，u，v)是位于坐标（x，y)的微透镜（对应图像平面1^中的宏像素 (x，y))内一点（u，v)的强度值，M表示该微透镜内所有点的集合。
[0031] 由光场成像原 理分析可知当场景点恰好位于相机聚焦平面上时，该点透过位于 各角度的子孔径被准确投影在图像平面上，即各角度投影均准确反映了该点的纹理值，因 此其对应宏像素内各点强度的变化范围最小一一宏像素强度范围最小。聚焦该场景点的 光场图像1^的焦距反映了该点的深度信息，由此得到宏像素（x，y)的场景深度初始估计 Dinitial (X，，
[0033] 重复上述步骤S2,即可获得所有宏像素的场景深度。
[0034]S3、依据可信度模型对步骤S2获得的场景深度进行全局优化。
[0035] 在优选的实施例中，所述多元可信度模型包括用于衡量所述场景深度的准确性的 第一部分，以及用于衡量所述场景深度在非边界区域的一致性与边界区域的突变性的第二 部分。
[0036] 在更优选实施例中，多元可信度模型建立如下：首先定义一元可信度（即多元可 信度模型的第一部分）以衡量深度估计的准确性，通过分析提取各点强度范围艮(17)随 深度D的变化趋势（变化曲线），发现该曲线的最小值点与极小值点的欧氏距离与该点深度 估计Dinitial(x，y)的准确性存在iH相关关系，由此对各点深度估计赋予与准确性相应的可 信度Q如下：
[0038] 其中，Mx，y)和Rz，（x，y)分别是强度范围Rz(x，y)随深度D的变化曲线的最小 值点与极小值点，z*和z'为其各自对应的深度。其次，定义另一元可信度（即多元可信度 模型的第二部分）以衡量估计深度〇^? 31在非边界区域的一致性与边界区域的突变性，根 据中心子孔径纹理图像的梯度信息在非边界区域变化平缓、在边界区域突变的特性，定义 另一元可信度C2如下：
[0039] C2(x,y) = (Gradx(x,y)+Grady(x,y))/2 (5)
[0041] 其中GradjPGrady分别为图像平面x,y方向上的梯度值，F(x,y)为中心子孔径 纹理图（X，y)处像素的强度值。最后，结合可信度(^和C2建立多元可信度模型C如下：
[0042] C(x,y) =Ci(x,y) ?C2(x,y) (6)
[0043] 在上述更优选实施例中，所述多元可信度模型的第二部分以中心子孔径纹理图的 梯度信息为基础。相应地，所述深度估计方法进一步还包括分别获取所述多个重聚焦光场 图像的中心子孔径纹理图的步骤，以及用获取的中心子孔径纹理图通过所述多元可信度模 型的第二部分计算可信度的步骤。具体地，由于宏像素内各点记录了角度信息，因此各宏像 素中心点所构成的图像即为中心子孔径纹理图。
[0044] 在一些实施例中，全局优化的步骤包括：以步骤S2获得的场景深度Dinitial作为初 始输入，利用马尔科夫随机场（MarkovRandomField,MRF)进行优化。优化原则是：提高深 度估计的准确性与一致性，并保留清晰的边界特征。具体的优化方法包括：依据所述可信度 模型对各点的深度评估，利用准确性高的深度估计修正不准确的深度，提升同质区域深度 估计的一致性并保留深度边界。全局优化后得最终深度估计Dfinal，过程如下：
[0046] 其中，AfljPAs_th为拉普拉斯约束项和二阶微分项的参数，分别限制了最终深 度估计Dfinal的平滑性与连续性。此外还可以计算Dfinal与约束项间的误差，构造误差矩阵 来最小化公式（8)，由此进一步优化深度估计结果。可以理解地，利用马尔科夫随机场进行 全局优化只是一个优选方式，本发明还可以采用其它方式来进行全局优化，例如基于图像 切割的多标记优化，联合离散连续优化等。
[0047]上述一些实施例充分参考光场数据特性，从变换输入光场图像像素分布所得的一 系列重聚焦光场图像中提取与焦距相关张量估计场景深度，并利用该张量随深度的变化趋 势与场景中心子孔径纹理图的梯度信息定义多元可信度模型衡量初始深度的准确性与一 致性来进一步优化深度估计。利用一些实施例能够充分借助类似Lytro等光场相机采集的 场景纹理及空间信息，获得细节丰富，特征清晰，准确性、一致性高的室内外场景深度估计。
【主权项】
1. 一种基于光场数据分布的深度估计方法，其特征在于，包括以下步骤： 51、 调整输入光场图像的像素分布，生成多个不同焦距的重聚焦光场图像； 52、 针对所述多个重聚焦光场图像，分别提取同一个宏像素的强度范围，进而选出最小 强度范围对应的重聚焦光场图像，以该重聚焦光场图像的焦距作为该宏像素的场景深度； 所述宏像素对应实际场景中的一点，所述宏像素的强度范围为该宏像素内所有点的强度值 的变化范围；以及 重复所述步骤S2,获得所有宏像素的场景深度。2. 根据权利要求1所述的基于光场数据分布的深度估计方法，其特征在于，所述步骤 Sl中，采用点扩散函数调整输入光场图像的像素分布。3. 根据权利要求1所述的基于光场数据分布的深度估计方法，其特征在于，进一步还 包括依据可信度模型对步骤S2获得的场景深度进行全局优化的步骤S3。4. 根据权利要求3所述的基于光场数据分布的深度估计方法，其特征在于，所述的依 据可信度模型对步骤S2获得的场景深度进行全局优化的步骤S3包括：以步骤S2获得的场 景深度作为初始输入，利用马尔科夫随机场进行优化，具体的优化方法包括：依据所述可信 度模型对各点的深度评估，利用准确性高的深度估计修正不准确的深度，提升同质区域深 度估计的一致性并保留深度边界。5. 根据权利要求3所述的基于光场数据分布的深度估计方法，其特征在于，所述可信 度模型为多元可信度模型，该多元可信度模型包括用于衡量所述场景深度的准确性的第一 部分，以及用于衡量所述场景深度在非边界区域的一致性与边界区域的突变性的第二部 分。6. 根据权利要求5所述的基于光场数据分布的深度估计方法，其特征在于， 所述多元可信度模型的第一部分为Cl (X，y)，其中，Mx，y)和Rz，（X，y)分别是强度范围艮(1，7)随场景深度的变化曲线的最小值 点和极小值点，Z*和Z'为最小值点和极小值点对应的场景深度。7. 根据权利要求5所述的基于光场数据分布的深度估计方法，其特征在于， 所述多元可信度模型的第二部分以中心子孔径纹理图的梯度信息为基础； 所述深度估计方法进一步还包括分别获取所述多个重聚焦光场图像的中心子孔径纹 理图的步骤，以及用获取的中心子孔径纹理图通过所述多元可信度模型的第二部分计算可 信度的步骤。
【专利摘要】一种基于光场数据分布的深度估计方法，其包括以下步骤：S1、调整输入光场图像的像素分布，生成多个不同焦距的重聚焦光场图像；S2、针对所述多个重聚焦光场图像，分别提取同一个宏像素的强度范围，进而选出最小强度范围对应的重聚焦光场图像，以该重聚焦光场图像的焦距作为该宏像素的场景深度；所述宏像素对应实际场景中的一点，所述宏像素的强度范围为该宏像素内所有点的强度值的变化范围；以及重复所述步骤S2，获得所有宏像素的场景深度。利用本发明的方法能够充分借助类似Lytro等光场相机采集的场景纹理及空间信息，获得细节丰富，特征清晰，准确性、一致性高的场景深度估计。
【IPC分类】G06T7/00
【公开号】CN104899870
【申请号】CN201510251234
【发明人】金欣, 许娅彤, 戴琼海
【申请人】清华大学深圳研究生院
【公开日】2015年9月9日
【申请日】2015年5月15日
【技术领域】
[0001] 本发明涉及计算机视觉与数字图像处理领域，特别涉及一种基于光场数据分布的 深度估计方法。
【背景技术】
[0002] 基于光场成像理论，新近发布的光场相机（如Lytro和RayTrix)获得了巨大的商 业成功，并引发研宄学界的广泛关注。普通用户利用单台相机除了能实现重聚焦与视点移 动功能，也可以借助相关算法从所拍摄的光场图像中估算场景深度。该方法计算深度具有 价廉、便捷等优势。
[0003] 现存基于光场相机的深度估计方法大体可分为两类：立体匹配算法与光场分析算 法。传统的立体匹配算法直接利用光场相机采集的各子孔径图像间的相关性计算深度。然 而，这类算法通常计算复杂度较高，并且因为子孔径图像的低分辨率无法满足算法匹配所 需精度要求，所以得到的深度结果质量较差。另一些改良的立体匹配算法，比如考虑光线传 播的直线性，却仍旧因为只利用到光场数据中各视点图像的相关性信息，限制了深度估计 的性能。
[0004] 光场分析方法试图同时利用光场数据中包含的各视点图像的一致性与焦距信息 这两种线索来估算深度。该类算法为不同线索定义不同的代价方程，并融合两种线索得到 的深度估计进行互补来提升最终结果的准确度。但是，由该类算法估计的深度缺乏细节信 息，在准确性与一致性上还有待提升。
【发明内容】
[0005] 本发明的目的是提供一种基于光场数据分布的深度估计方法，以解决现有光场相 机深度估计方法存在的上述技术问题中的至少一种。
[0006] 本发明的思路是充分参考光场数据特性，从改变输入光场图像像素分布所得的一 系列重聚焦光场图像中提取与焦距相关张量预估场景深度。进一步，还利用该张量随深度 的变化趋势与场景中心子孔径纹理图的梯度信息建立多元可信度模型衡量各点初始深度 质量，取长补短从而优化初步估计结果，达到利用光场相机采集数据计算高质量深度图像 的目的。
[0007] 本发明提供的一种基于光场数据分布的深度估计方法包括以下步骤：
[0008] S1、调整输入光场图像的像素分布，生成多个不同焦距的重聚焦光场图像；
[0009] S2、针对所述多个重聚焦光场图像，分别提取同一个宏像素的强度范围，进而选出 最小强度范围对应的重聚焦光场图像，以该重聚焦光场图像的焦距作为该宏像素的场景深 度；所述宏像素对应实际场景中的一点，所述宏像素的强度范围为该宏像素内所有点的强 度值的变化范围；以及
[0010] 重复所述步骤S2,获得所有宏像素的场景深度。
[0011] 在上述的基于光场数据分布的深度估计方法中，优选地，所述步骤S1中，采用点 扩散函数调整输入光场图像的像素分布。
[0012] 在上述的基于光场数据分布的深度估计方法中，优选地，进一步还包括依据可信 度模型对步骤S2获得的场景深度进行全局优化的步骤S3。
[0013] 在上述的基于光场数据分布的深度估计方法中，优选地，所述的依据可信度模型 对步骤S2获得的场景深度进行全局优化的步骤S3包括：以步骤S2获得的场景深度作为初 始输入，利用马尔科夫随机场进行优化，具体的优化方法包括：依据所述可信度模型对各点 的深度评估，利用准确性高的深度估计修正不准确的深度，提升同质区域深度估计的一致 性并保留深度边界。
[0014] 在上述的基于光场数据分布的深度估计方法中，优选地，所述可信度模型为多元 可信度模型，该多元可信度模型包括用于衡量所述场景深度的准确性的第一部分，以及用 于衡量所述场景深度在非边界区域的一致性与边界区域的突变性的第二部分。
[0015] 在上述的基于光场数据分布的深度估计方法中，优选地，所述多元可信度模型的 第一部分为Q(X，y)，
[0017] 其中，RzH<(x，y)和Rz，（X，y)分别是强度范围Rz(x,y)随场景深度的变化曲线的最 小值点和极小值点，z*和z'为最小值点和极小值点对应的场景深度。
[0018] 在上述的基于光场数据分布的深度估计方法中，优选地，所述多元可信度模型的 第二部分以中心子孔径纹理图的梯度信息为基础；所述深度估计方法进一步还包括分别获 取所述多个重聚焦光场图像的中心子孔径纹理图的步骤，以及用获取的中心子孔径纹理图 通过所述多元可信度模型的第二部分计算可信度的步骤。
[0019] 本发明从变换输入图像像素分布所得的一系列重聚焦光场图像中提取与焦距相 关张量估计场景深度。在更优的方案中，还利用该张量随深度的变化趋势与场景中心子孔 径纹理图的梯度信息定义多元可信度模型衡量初始深度的准确性与一致性来进一步优化 深度估计。利用本发明的方法能够充分借助类似Lytro等光场相机采集的场景纹理及空间 信息，获得细节丰富，特征清晰，准确性、一致性高的场景深度估计。
【附图说明】
[0020] 图1为本发明基于光场数据分布的深度估计方法一些实施例的流程图。
【具体实施方式】
[0021] 下面结合附图和实施例对本发明进一步说明。这些更详细的描述旨在帮助理解本 发明，而不应被用于限制本发明。根据本发明公开的内容，本领域技术人员明白，可以不需 要一些或者所有这些特定细节即可实施本发明。而在其它情况下，为了避免将发明创造淡 化，未详细描述众所周知的操作过程。
[0022] 参照图1，一些实施例基于光场数据分布的深度估计方法包括以下步骤：
[0023] S1、调整输入光场图像的像素分布，生成多个不同焦距的重聚焦光场图像。
[0024] 具体地，输入光场图像首先经过预矫正处理，将每个宏像素中未能捕捉到有效数 据信息的外围点去除，防止无意义像素值干扰后续处理。采用点扩散函数（PointSpread Function,PSF)调整矫正后的光场图像L。的像素位置分布，实现对输入光场图像的重聚焦 处理如下：
[0026] 生成聚焦平面由近及远变化的一系列光场图像Lz(z= 1，2, 3…），其中z为预设的 深度层次，x，y与u，v分别为图像平面上的空间坐标与角度坐标。
[0027]S2、针对所述多个重聚焦光场图像，分别提取同一个宏像素的强度范围，进而选出 最小强度范围对应的重聚焦光场图像，以该重聚焦光场图像的焦距作为该宏像素的场景深 度。所述宏像素对应实际场景中的一点，所述宏像素的强度范围为该宏像素内所有点的强 度值的变化范围。
[0028] 光场相机的微透镜阵列的每个微透镜相对于相机的主透镜而言代表某角度上的 子孔径，光场数据中宏像素对应实际场景中的一点，宏像素包含了其相应场景点通过整个 微透镜阵列投影的角度信息，并对应记录在宏像素内各点上，即各点的强度值与分布位置。 根据光场成像理论，图像宏像素中各点强度反映场景点通过不同位置微透镜的投影，在一 系列光场图像Lz(z= 1，2,3…）的聚焦平面由近及远变化时，宏像素中各点的强度值在不 断变化，导致整个宏像素的强度范围也随之变化，因此，以宏像素的强度范围作为与深度相 关张量来估计深度。具体地，提取宏像素强度范围如下：
[0030] 其中I(x，y，u，v)是位于坐标（x，y)的微透镜（对应图像平面1^中的宏像素 (x，y))内一点（u，v)的强度值，M表示该微透镜内所有点的集合。
[0031] 由光场成像原 理分析可知当场景点恰好位于相机聚焦平面上时，该点透过位于 各角度的子孔径被准确投影在图像平面上，即各角度投影均准确反映了该点的纹理值，因 此其对应宏像素内各点强度的变化范围最小一一宏像素强度范围最小。聚焦该场景点的 光场图像1^的焦距反映了该点的深度信息，由此得到宏像素（x，y)的场景深度初始估计 Dinitial (X，，
[0033] 重复上述步骤S2,即可获得所有宏像素的场景深度。
[0034]S3、依据可信度模型对步骤S2获得的场景深度进行全局优化。
[0035] 在优选的实施例中，所述多元可信度模型包括用于衡量所述场景深度的准确性的 第一部分，以及用于衡量所述场景深度在非边界区域的一致性与边界区域的突变性的第二 部分。
[0036] 在更优选实施例中，多元可信度模型建立如下：首先定义一元可信度（即多元可 信度模型的第一部分）以衡量深度估计的准确性，通过分析提取各点强度范围艮(17)随 深度D的变化趋势（变化曲线），发现该曲线的最小值点与极小值点的欧氏距离与该点深度 估计Dinitial(x，y)的准确性存在iH相关关系，由此对各点深度估计赋予与准确性相应的可 信度Q如下：
[0038] 其中，Mx，y)和Rz，（x，y)分别是强度范围Rz(x，y)随深度D的变化曲线的最小 值点与极小值点，z*和z'为其各自对应的深度。其次，定义另一元可信度（即多元可信度 模型的第二部分）以衡量估计深度〇^? 31在非边界区域的一致性与边界区域的突变性，根 据中心子孔径纹理图像的梯度信息在非边界区域变化平缓、在边界区域突变的特性，定义 另一元可信度C2如下：
[0039] C2(x,y) = (Gradx(x,y)+Grady(x,y))/2 (5)
[0041] 其中GradjPGrady分别为图像平面x,y方向上的梯度值，F(x,y)为中心子孔径 纹理图（X，y)处像素的强度值。最后，结合可信度(^和C2建立多元可信度模型C如下：
[0042] C(x,y) =Ci(x,y) ?C2(x,y) (6)
[0043] 在上述更优选实施例中，所述多元可信度模型的第二部分以中心子孔径纹理图的 梯度信息为基础。相应地，所述深度估计方法进一步还包括分别获取所述多个重聚焦光场 图像的中心子孔径纹理图的步骤，以及用获取的中心子孔径纹理图通过所述多元可信度模 型的第二部分计算可信度的步骤。具体地，由于宏像素内各点记录了角度信息，因此各宏像 素中心点所构成的图像即为中心子孔径纹理图。
[0044] 在一些实施例中，全局优化的步骤包括：以步骤S2获得的场景深度Dinitial作为初 始输入，利用马尔科夫随机场（MarkovRandomField,MRF)进行优化。优化原则是：提高深 度估计的准确性与一致性，并保留清晰的边界特征。具体的优化方法包括：依据所述可信度 模型对各点的深度评估，利用准确性高的深度估计修正不准确的深度，提升同质区域深度 估计的一致性并保留深度边界。全局优化后得最终深度估计Dfinal，过程如下：
[0046] 其中，AfljPAs_th为拉普拉斯约束项和二阶微分项的参数，分别限制了最终深 度估计Dfinal的平滑性与连续性。此外还可以计算Dfinal与约束项间的误差，构造误差矩阵 来最小化公式（8)，由此进一步优化深度估计结果。可以理解地，利用马尔科夫随机场进行 全局优化只是一个优选方式，本发明还可以采用其它方式来进行全局优化，例如基于图像 切割的多标记优化，联合离散连续优化等。
[0047]上述一些实施例充分参考光场数据特性，从变换输入光场图像像素分布所得的一 系列重聚焦光场图像中提取与焦距相关张量估计场景深度，并利用该张量随深度的变化趋 势与场景中心子孔径纹理图的梯度信息定义多元可信度模型衡量初始深度的准确性与一 致性来进一步优化深度估计。利用一些实施例能够充分借助类似Lytro等光场相机采集的 场景纹理及空间信息，获得细节丰富，特征清晰，准确性、一致性高的室内外场景深度估计。
【主权项】
1. 一种基于光场数据分布的深度估计方法，其特征在于，包括以下步骤： 51、 调整输入光场图像的像素分布，生成多个不同焦距的重聚焦光场图像； 52、 针对所述多个重聚焦光场图像，分别提取同一个宏像素的强度范围，进而选出最小 强度范围对应的重聚焦光场图像，以该重聚焦光场图像的焦距作为该宏像素的场景深度； 所述宏像素对应实际场景中的一点，所述宏像素的强度范围为该宏像素内所有点的强度值 的变化范围；以及 重复所述步骤S2,获得所有宏像素的场景深度。2. 根据权利要求1所述的基于光场数据分布的深度估计方法，其特征在于，所述步骤 Sl中，采用点扩散函数调整输入光场图像的像素分布。3. 根据权利要求1所述的基于光场数据分布的深度估计方法，其特征在于，进一步还 包括依据可信度模型对步骤S2获得的场景深度进行全局优化的步骤S3。4. 根据权利要求3所述的基于光场数据分布的深度估计方法，其特征在于，所述的依 据可信度模型对步骤S2获得的场景深度进行全局优化的步骤S3包括：以步骤S2获得的场 景深度作为初始输入，利用马尔科夫随机场进行优化，具体的优化方法包括：依据所述可信 度模型对各点的深度评估，利用准确性高的深度估计修正不准确的深度，提升同质区域深 度估计的一致性并保留深度边界。5. 根据权利要求3所述的基于光场数据分布的深度估计方法，其特征在于，所述可信 度模型为多元可信度模型，该多元可信度模型包括用于衡量所述场景深度的准确性的第一 部分，以及用于衡量所述场景深度在非边界区域的一致性与边界区域的突变性的第二部 分。6. 根据权利要求5所述的基于光场数据分布的深度估计方法，其特征在于， 所述多元可信度模型的第一部分为Cl (X，y)，其中，Mx，y)和Rz，（X，y)分别是强度范围艮(1，7)随场景深度的变化曲线的最小值 点和极小值点，Z*和Z'为最小值点和极小值点对应的场景深度。7. 根据权利要求5所述的基于光场数据分布的深度估计方法，其特征在于， 所述多元可信度模型的第二部分以中心子孔径纹理图的梯度信息为基础； 所述深度估计方法进一步还包括分别获取所述多个重聚焦光场图像的中心子孔径纹 理图的步骤，以及用获取的中心子孔径纹理图通过所述多元可信度模型的第二部分计算可 信度的步骤。
【专利摘要】一种基于光场数据分布的深度估计方法，其包括以下步骤：S1、调整输入光场图像的像素分布，生成多个不同焦距的重聚焦光场图像；S2、针对所述多个重聚焦光场图像，分别提取同一个宏像素的强度范围，进而选出最小强度范围对应的重聚焦光场图像，以该重聚焦光场图像的焦距作为该宏像素的场景深度；所述宏像素对应实际场景中的一点，所述宏像素的强度范围为该宏像素内所有点的强度值的变化范围；以及重复所述步骤S2，获得所有宏像素的场景深度。利用本发明的方法能够充分借助类似Lytro等光场相机采集的场景纹理及空间信息，获得细节丰富，特征清晰，准确性、一致性高的场景深度估计。
【IPC分类】G06T7/00
【公开号】CN104899870
【申请号】CN201510251234
【发明人】金欣, 许娅彤, 戴琼海
【申请人】清华大学深圳研究生院
【公开日】2015年9月9日
【申请日】2015年5月15日
最新回复(0)