一种基于改进贝叶斯模型的立体图像生成方法
一种基于改进贝叶斯模型的立体图像生成方法
【技术领域】
[0001] 本发明属于图像处理领域，具体设及一种基于改进贝叶斯模型的立体图像生成方 法，可W更加高效、直观的生成立体图像。
【背景技术】
[0002] 随着3D电视、电影及游戏的普及和流行，越来越多3D内容被生产出来，而新一代 的立体显示设备，也使得该些3D内容进入了普通消费者的生活。然而，由于立体显示设备 的复杂性W及立体素材后期处理工具的缺乏，创作可信、舒适的3D内容仍然是一项具有挑 战性的工作，传统的工具和处理流程并不能很好的用于3D内容的处理。因此，我们需要重 新思考3D内容创作W及编辑的处理流程，进而发明出更加简洁、有效的3D内容后期处理方 法。
[0003] 双目视差是立体感知最主要的视觉线索，因此，针对视差的处理工具十分的重 要。控制双目视差最常见的方法就是设定两个不同视角相机之间的基线，但是，由于大多数 的3D内容所显示的视差都已超过了人们所能接受的视差范围，对基线的调整是十分有限 的。减小基线可W减少双目视差，但同时也会导致整个场景变平，缺少立体感。双目视差 控制更复杂的方法是重新映射图像的视差，然后合成新的图像，该种方法的难点在于，视差 的准确计算W及对合成图像进行孔洞修补等。化angil Kim等人在《Multi-Perspective Stereoscopy化om Li曲t Fields》中提出了一种逐像素视差控制的方法，但该方法局限于 光场条件，存在耗时、视差调整范围有限等不足。
[0004] Sergi Pujades等人在《Bayesian View Synthesis and Image-Based Rendering Principles》中提出了基于图像的视角合成方法。该方法系统的建模了视角合成过程中引 入图像误差和几何误差，构建了一个完整的物理生成模型及其对应的最大后验概率估计， 很好地解释了基于图像的视角合成方法中的启发式规则。但该方法并没有考虑立体图像的 生成问题，并且不能逐像素的控制视差、不能筛选输入图像，因此不能直接应用于立体图像 的生成。
【发明内容】
[0005] 本发明针对立体图像生成问题，提出了一种基于改进贝叶斯模型的立体图像生成 方法，该方法具有通用性，可逐像素控制视差。首先，由给定的视差计算出合成视角的逐像 素视点位置；然后，通过改进的贝叶斯模型生成合成图像；最后，利用参考图像和合成图像 生成红藍立体图。
[0006] 本发明的目的是通过下述技术方案实现的。
[0007] 本发明的一种基于改进贝叶斯模型的立体图像生成方法，其特征在于；其包括W 下步骤：
[0008] 步骤一、通过参考图像得到合成图像的逐像素视点位置。
[0009] 所述参考图像是一幅指定的真实图像，参考图像所有像素视点位置相同，参考图 像的视点位置用符号S表示。
[0010] 所述合成图像是通过一组输入图像得到的一幅合成图像，合成图像逐像素指定视 点位置。
[0011] 步骤1.1;通过公式（1)计算参考图像（用符号V。表示）钟每个像素点的的规范 化视差（用符号dc(x)表示），规范化视差dc(x)由参考图像中每个像素点的标准深度（用 符号z〇(x)表示）和参考图像的成像焦距（用符号f表示）得到。其中，X为参考图像V。 中像素点的索引值，XG[1，闲，N为参考图像V。中像素点的数量。
[0012]
(1)
[0013] 步骤1. 2;给定合成图像（用符号U表示）与参考图像V。的逐像素图像视差（用 符号D(x)表示），由于合成图像的视点和参考图像的视点位于同一平面，且对应的成像平 面相同，可通过公式（2)由图像视差D(x)计算出合成图像相对于参考图像的逐像素视点位 移（用符号As(x)表示）。
[0014]
(2)
[001引步骤1. 3;通过公式做计算出合成图像的逐像素视点位置（用符号s' (X)表 示）。
[0016]s' (x) =s+As(x) (3)
[0017] 其中，s为参考图像的视点位置。
[0018] 步骤二、通过改进的贝叶斯模型生成合成图像。
[0019] 步骤2. 1;针对合成图像中每个像素的视点位置s' (X)，确定一个新成像平面 (用符号Tj.表示）。
[0020] 步骤2. 2 ;给定场景的几何估计及一组输入图像（用符号V康示），计算出每个输 入图像的成像平面（用符号表示）中每个像素点到新成像平面rJ的映射关系（用符 号4U表示）W及输入图像的成像平面Qi中每个像素点映射到新成像平面rj.后是否可 见的可见性算子（用符号mu表示）。所述输入图像Vi中包含的像素数与参考图像V。中像 素数相同。其中，iG[l，n]，n> 1;jG[1，闲。
[0021]所述可见性算子my为一个矩阵，矩阵mu的行数和列数分别与输入图像Vi中像素 的行数和列数相同；矩阵my的元素取值为1表示其对应像素可见，取值为0表示对应像素 不可见。
[0022] 所述输入图像对应场景的几何估计为输入图像的像素点深度信息或输入图像的 像素点空间位置信息。
[002引步骤2. 3 ;通过公式（4)和公式妨计算出输入图像成像平面Q冲每个像素点到 合成图像的成像平面（用符号r。表示）的映射关系（用符号Ti表示）及其逆映射关系 (用符号01表示）。由于输入图像的像素数和合成图像的像素数均与参考图像的像素数 相同，因此X也表示输入图像和合成图像中像素点的索引值。
[0024]Tj(x) = <l)i,(x) (4)
[0025] 其中，X表示输入图像和合成图像中的像素点的索引值。
[0026] A二r,-1 (5)
[0027] 步骤2. 4;根据公式做计算合成图像U的估计（用符号&表示）。
[0028]
(6)
[0029] 其中，n为输入图像的数量；0为函数复合运算符。
[0030] 步骤2. 5 ;根据公式（7)计算每幅输入图像Vi相对于合成图像U的误差因子（用 符号Ki表示）。
[0031]
(7)
[003引其中，▽为梯度运算符；是由Ti(x)构成的向量，XG[1，闲；Zi为输入图像Vi中像素点的深度值。
[0033] 将误差因子Ki由小到大进行排序，选出误差因子最小的M幅图像作为最终输入 图像，并记录下图像编号（用符号Ik表示），如公式（8)所示。
[0034]lk=i 做
[00巧]其中，kG[1，M]，1卢[l，n]。
[003引步骤2. 6;构造如公式（9)所示的能量项（用符号E(u)表示）。
[0037] E(u) =Edata(u) +入 6町1。? (9)
[0038] 其中，Edwa(u)可通过公式（10)得到；其由贝叶斯图像生成模型推理得出；入为 调配系数，A>〇;Epd"(u)是平滑项，用来填充合成图像U中缺少输入图像信息的部分， Epd"(u)可通过公式得到。
[0039]
(10)
[0040] 其中，巧(式式为高斯传感噪声方差，为常量产为输入图像化的 图像误差，其值可通过公式（11)计算得到；W/,为可见性算子；
[0041]
(11)
[0042] 其中，为几何误差'为已知量。
[0043]
(12)
[0044] 步骤2.7;对公式（9)构造的能量项E(u)进行最小化，求解合成图像U。具体为： 采用步骤2. 4得到的合成图像的估计&作为迭代初始值，利用快速迭代收缩阔值算法（fast iterativeshrinkage-thresholdingalgorithm，FISTA)算法进行迭代求角军。
[0045] 步骤S、利用参考图像和合成图像生成满足图像视差D(x)的红藍立体图。具体 为；设定像素点在参考图像中的RGB值为巧1，G1，B1)，在合成图像中的RGB值为巧2,G2， B2)，则该像素点在生成的红藍立体图中的RGB值为巧1，G2,B2)。
[0046] 有益效果
[0047] 本发明提出的基于改进贝叶斯模型的立体图像生成方法，与现有方法相比，在时 间性能、生成图像质量W及通用性等方便具有明显优势；该方法还可W直观逐像素指定视 差，便于立体图像的后期处理，具有广阔的应用前景。
【附图说明】
[0048] 图1是本发明【具体实施方式】中基于改进贝叶斯模型的立体图像生成方法的流程 图； 图2是本发明【具体实施方式】中的参考图像； 图3是本发明【具体实施方式】中的输入图像vi; 图4是本发明【具体实施方式】中的输入图像V2; 图5是本发明【具体实施方式】中的输入图像V3; 图6是本发明【具体实施方式】中的输入图像V4; 图7是本发明【具体实施方式】中的输入图像Vg; 图8是本发明【具体实施方式】中的输入图像ve; 图9是本发明【具体实施方式】中的输入图像V,; 图10是本发明【具体实施方式】中的输入图像V8; 图11是本发明【具体实施方式】中的输入图像Vg; 图12是本发明【具体实施方式】中得到的合 成图像； 图13是本发明【具体实施方式】中得到的红藍立体图。
【具体实施方式】
[0049] 下面结合附图对本发明方法的实施方式做详细说明。
[0050] 本实施例中采用基于改进贝叶斯模型的立体图像生成方法生成立体图像，其操作 流程如图1所示，其包括W下步骤：
[0051] 步骤一、通过参考图像得到合成图像的逐像素视点位置，参考图像如图2所示。 [005引步骤1. 1;通过公式（1)计算参考图像V。钟每个像素点的的规范化视差du(x)，规 范化视差d"(x)由参考图像中每个像素点的标准深度z"(x)和参考图像的成像焦距f得到。
[0053]步骤1. 2 ;给定合成图像U与参考图像V。的逐像素图像视差D(x)，由于合成图像 的视点和参考图像的视点位于同一平面，且对应的成像平面相同，可通过公式（2)由图像 视差D(x)计算出合成图像相对于参考图像的逐像素视点位移As(X)。
[0054] 步骤1. 3;通过公式（3)计算出合成图像的逐像素视点位置s' (X)。
[00巧]步骤二、通过改进的贝叶斯模型生成合成图像。
[0056]步骤2. 1 ;针对合成图像中每个像素的视点位置s' (X)，确定一个新成像平面 厂J'。
[0057]步骤2. 2 ;给定场景的几何估计及9幅输入图像Vi，如图3至图11所示，计算出每 个输入图像的成像平面中每个像素点到新成像平面rj.的映射关系4uW及输入图像 的成像平面中每个像素点映射到新成像平面rj.后是否可见的可见性算子my。所述输 入图像V冲包含的像素数与参考图像V。中像素数相同。其中，iG[l，9]，jG[1，闲。 [005引所述可见性算子my为一个矩阵，矩阵mU的行数和列数分别与输入图像V冲像素 的行数和列数相同；矩阵my的元素取值为1表示其对应像素可见，取值为0表示对应像素 不可见。
[0059] 所述输入图像对应场景的几何估计为输入图像的像素点深度信息。
[0060] 步骤2. 3;通过公式（4)和公式妨计算出输入图像成像平面Q冲每个像素点到 合成图像的成像平面r。的映射关系Ti及其逆映射关系P1。
[006。 步骤2. 4 ;根据公式做计算合成图像U的估计&。
[006引步骤2. 5 ;根据公式（7)计算每幅输入图像Vi相对于合成图像U的误差因子K1。 将误差因子Ki由小到大进行排序，选出误差因子最小的M幅图像作为最终输入图像，并记 录下图像编号lk= 6,7,8,9
[006引步骤2. 6;构造如公式（9)所示的能量项E(U)。
[0064] 步骤2.7;对公式（9)构造的能量项E(u)进行最小化，求解合成图像U。具体为： 采用步骤2. 4得到的合成图像的估计別乍为迭代初始值，利用FISTA算法进行迭代求解。首 先设定FISTA算法外层迭代次数；每次外层迭代过程中保持巧,>；)的值不变，当满足内层 迭代终止条件后，更新巧的值，开始下一次外层迭代。重复上述迭代过程，直到达到设定 的外层迭代次数为止。
[0065] 得到的合成图像如图12所示。
[0066] 步骤S、利用参考图像和合成图像生成满足图像视差D(x)的红藍立体图。具体 为；设定像素点在参考图像中的RGB值为巧1，G1，B1)，在合成图像中的RGB值为巧2,G2， B2)，则该像素点在生成的红藍立体图中的RGB值为巧1，G2,B2)。最终得到的红藍立体图 如图13所示。
【主权项】
1. 一种基于改进贝叶斯模型的立体图像生成方法，其特征在于：其包括以下步骤： 步骤一、通过参考图像得到合成图像的逐像素视点位置； 所述参考图像是一幅指定的真实图像，参考图像所有像素视点位置相同； 所述合成图像是通过一组输入图像得到的一幅合成图像，合成图像逐像素指定视点位 置； 步骤二、通过改进的贝叶斯模型生成合成图像； 步骤2. 1 :针对合成图像中每个像素的视点位置s' (X)，确定一个新成像平面rj; 步骤2. 2 :给定场景的几何估计及一组输入图像Vi，计算出每个输入图像的成像平面 Qi中每个像素点到新成像平面Γ^_的映射关系φ u以及输入图像的成像平面Ω 每个像 素点映射到新成像平面Γ^_后是否可见的可见性算子my所述输入图像^中包含的像素数 与参考图像V。中像素数相同；其中，i e [1，n]，n彡I ;j e [1，N]; 步骤2. 3 :通过公式（4)和公式（5)计算出输入图像成像平面Ω i中每个像素点到合成 图像的成像平面Ftl的映射关系τ 其逆映射关系β i;由于输入图像的像素数和合成图 像的像素数均与参考图像的像素数相同，因此X也表示输入图像和合成图像中像素点的索 引值； τ j (χ) = φ ix (x) (4) 其中，x表示输入图像和合成图像中的像素点的索引值； (5) 步骤2. 4 :根据公式（6)计算合成图像u的估计h(6) 其中，η为输入图像的数量；〇为函数复合运算符； 步骤2. 5 :根据公式（7)计算每幅输入图像\相对于合成图像u的误差因子κ i;(7) 其中，▽为梯度运算符是由τ i(x)构成的向量，xe [1，N] ;Zi为输入图像Vi中像 素点的深度值； 将误差因子％由小到大进行排序，选出误差因子最小的M幅图像作为最终输入图像， 并记录下图像编号lk，如公式（8)所示； Ik= i (8) 其中，k e [l，M]，lke [l，n]; 步骤2. 6 :构造如公式（9)所示的能量项E(u); E (u) = Edata (u) + λ Epri〇r (u) (9) 其中，Edata(u)可通过公式（10)得到；其由贝叶斯图像生成模型推理得出；λ为调配系 数，λ > 〇 ;EpriOT(u)是平滑项，用来填充合成图像u中缺少输入图像信息的部分，Ephot(U) 可通过公式（12)得到；(10) 其中，气⑷=(σΛ2+< pR2为高斯传感噪声方差，为常量；％为输入图像lk的图像 误差，其值可通过公式（11)计算得到；％,为可见性算子；(11) 其中，A4.为几何误差°^.，为已知量；(12) 步骤2.7:对公式（9)构造的能量项E(U)进行最小化，求解合成图像u;具体为：采用 步骤2. 4得到的合成图像的估计6作为迭代初始值，利用快速迭代收缩阈值FISTA算法进行 迭代求解； 步骤三、利用参考图像和合成图像生成满足图像视差D(X)的红蓝立体图。2. 如权利要求1所述一种基于改进贝叶斯模型的立体图像生成方法，其特征在于：步 骤一中所述通过参考图像得到合成图像的逐像素视点位置的具体操作为： 步骤I. 1 :通过公式（1)计算参考图像Vtl钟每个像素点的的规范化视差(Itl(X),规范化 视差Cltl(X)由参考图像中每个像素点的标准深度Ztl(X)和参考图像的成像焦距f得到；其 中，X为参考图像Vo中像素点的索引值，X e [1，N]，N为参考图像V ^中像素点的数量；(1) 步骤1. 2 :给定合成图像u与参考图像Vtl的逐像素图像视差D(X)，由于合成图像的视 点和参考图像的视点位于同一平面，且对应的成像平面相同，可通过公式（2)由图像视差 D(X)计算出合成图像相对于参考图像的逐像素视点位移As(X);(2) 步骤1. 3 :通过公式（3)计算出合成图像的逐像素视点位置s' (X); s' （X) = s+ Δ s (X) (3) 其中，s为参考图像的视点位置。3. 如权利要求1或2所述一种基于改进贝叶斯模型的立体图像生成方法，其特征在于： 步骤二步骤2. 2中所述可见性算子为一个矩阵，矩阵m u的行数和列数分别与输入图像 Vi中像素的行数和列数相同；矩阵m u的元素取值为1表示其对应像素可见，取值为0表示 对应像素不可见。4. 如权利要求1或2所述一种基于改进贝叶斯模型的立体图像生成方法，其特征在于： 步骤二步骤2. 2所述输入图像对应场景的几何估计为输入图像的像素点深度信息或输入 图像的像素点空间位置信息。5. 如权利要求1或2所述一种基于改进贝叶斯模型的立体图像生成方法，其特征在于： 步骤三中所述利用参考图像和合成图像生成满足图像视差D(X)的红蓝立体图的具体操作 为：设定像素点在参考图像中的RGB值为（Rl，Gl，BI)，在合成图像中的RGB值为（R2, G2， B2)，则该像素点在生成的红蓝立体图中的RGB值为（Rl，G2, B2)。
【专利摘要】本发明属于图像处理领域，具体涉及一种基于改进贝叶斯模型的立体图像生成方法，可以更加高效、直观的生成立体图像。首先，由给定的视差计算出合成视角的逐像素视点位置；然后，通过改进的贝叶斯模型生成合成图像；最后，利用参考图像和合成图像生成红蓝立体图。与现有方法相比，本发明提出的基于改进贝叶斯模型的立体图像生成方法在时间性能、生成图像质量以及通用性等方便具有明显优势；该方法还可以直观逐像素指定视差，便于立体图像的后期处理，具有广阔的应用前景。
【IPC分类】H04N13/00
【公开号】CN104902253
【申请号】CN201510064469
【发明人】张磊, 张驭航, 黄华
【申请人】北京理工大学, 北京理工大学深圳研究院
【公开日】2015年9月9日
【申请日】2015年2月9日
【技术领域】
[0001] 本发明属于图像处理领域，具体设及一种基于改进贝叶斯模型的立体图像生成方 法，可W更加高效、直观的生成立体图像。
【背景技术】
[0002] 随着3D电视、电影及游戏的普及和流行，越来越多3D内容被生产出来，而新一代 的立体显示设备，也使得该些3D内容进入了普通消费者的生活。然而，由于立体显示设备 的复杂性W及立体素材后期处理工具的缺乏，创作可信、舒适的3D内容仍然是一项具有挑 战性的工作，传统的工具和处理流程并不能很好的用于3D内容的处理。因此，我们需要重 新思考3D内容创作W及编辑的处理流程，进而发明出更加简洁、有效的3D内容后期处理方 法。
[0003] 双目视差是立体感知最主要的视觉线索，因此，针对视差的处理工具十分的重 要。控制双目视差最常见的方法就是设定两个不同视角相机之间的基线，但是，由于大多数 的3D内容所显示的视差都已超过了人们所能接受的视差范围，对基线的调整是十分有限 的。减小基线可W减少双目视差，但同时也会导致整个场景变平，缺少立体感。双目视差 控制更复杂的方法是重新映射图像的视差，然后合成新的图像，该种方法的难点在于，视差 的准确计算W及对合成图像进行孔洞修补等。化angil Kim等人在《Multi-Perspective Stereoscopy化om Li曲t Fields》中提出了一种逐像素视差控制的方法，但该方法局限于 光场条件，存在耗时、视差调整范围有限等不足。
[0004] Sergi Pujades等人在《Bayesian View Synthesis and Image-Based Rendering Principles》中提出了基于图像的视角合成方法。该方法系统的建模了视角合成过程中引 入图像误差和几何误差，构建了一个完整的物理生成模型及其对应的最大后验概率估计， 很好地解释了基于图像的视角合成方法中的启发式规则。但该方法并没有考虑立体图像的 生成问题，并且不能逐像素的控制视差、不能筛选输入图像，因此不能直接应用于立体图像 的生成。
【发明内容】
[0005] 本发明针对立体图像生成问题，提出了一种基于改进贝叶斯模型的立体图像生成 方法，该方法具有通用性，可逐像素控制视差。首先，由给定的视差计算出合成视角的逐像 素视点位置；然后，通过改进的贝叶斯模型生成合成图像；最后，利用参考图像和合成图像 生成红藍立体图。
[0006] 本发明的目的是通过下述技术方案实现的。
[0007] 本发明的一种基于改进贝叶斯模型的立体图像生成方法，其特征在于；其包括W 下步骤：
[0008] 步骤一、通过参考图像得到合成图像的逐像素视点位置。
[0009] 所述参考图像是一幅指定的真实图像，参考图像所有像素视点位置相同，参考图 像的视点位置用符号S表示。
[0010] 所述合成图像是通过一组输入图像得到的一幅合成图像，合成图像逐像素指定视 点位置。
[0011] 步骤1.1;通过公式（1)计算参考图像（用符号V。表示）钟每个像素点的的规范 化视差（用符号dc(x)表示），规范化视差dc(x)由参考图像中每个像素点的标准深度（用 符号z〇(x)表示）和参考图像的成像焦距（用符号f表示）得到。其中，X为参考图像V。 中像素点的索引值，XG[1，闲，N为参考图像V。中像素点的数量。
[0012]
(1)
[0013] 步骤1. 2;给定合成图像（用符号U表示）与参考图像V。的逐像素图像视差（用 符号D(x)表示），由于合成图像的视点和参考图像的视点位于同一平面，且对应的成像平 面相同，可通过公式（2)由图像视差D(x)计算出合成图像相对于参考图像的逐像素视点位 移（用符号As(x)表示）。
[0014]
(2)
[001引步骤1. 3;通过公式做计算出合成图像的逐像素视点位置（用符号s' (X)表 示）。
[0016]s' (x) =s+As(x) (3)
[0017] 其中，s为参考图像的视点位置。
[0018] 步骤二、通过改进的贝叶斯模型生成合成图像。
[0019] 步骤2. 1;针对合成图像中每个像素的视点位置s' (X)，确定一个新成像平面 (用符号Tj.表示）。
[0020] 步骤2. 2 ;给定场景的几何估计及一组输入图像（用符号V康示），计算出每个输 入图像的成像平面（用符号表示）中每个像素点到新成像平面rJ的映射关系（用符 号4U表示）W及输入图像的成像平面Qi中每个像素点映射到新成像平面rj.后是否可 见的可见性算子（用符号mu表示）。所述输入图像Vi中包含的像素数与参考图像V。中像 素数相同。其中，iG[l，n]，n> 1;jG[1，闲。
[0021]所述可见性算子my为一个矩阵，矩阵mu的行数和列数分别与输入图像Vi中像素 的行数和列数相同；矩阵my的元素取值为1表示其对应像素可见，取值为0表示对应像素 不可见。
[0022] 所述输入图像对应场景的几何估计为输入图像的像素点深度信息或输入图像的 像素点空间位置信息。
[002引步骤2. 3 ;通过公式（4)和公式妨计算出输入图像成像平面Q冲每个像素点到 合成图像的成像平面（用符号r。表示）的映射关系（用符号Ti表示）及其逆映射关系 (用符号01表示）。由于输入图像的像素数和合成图像的像素数均与参考图像的像素数 相同，因此X也表示输入图像和合成图像中像素点的索引值。
[0024]Tj(x) = <l)i,(x) (4)
[0025] 其中，X表示输入图像和合成图像中的像素点的索引值。
[0026] A二r,-1 (5)
[0027] 步骤2. 4;根据公式做计算合成图像U的估计（用符号&表示）。
[0028]
(6)
[0029] 其中，n为输入图像的数量；0为函数复合运算符。
[0030] 步骤2. 5 ;根据公式（7)计算每幅输入图像Vi相对于合成图像U的误差因子（用 符号Ki表示）。
[0031]
(7)
[003引其中，▽为梯度运算符；是由Ti(x)构成的向量，XG[1，闲；Zi为输入图像Vi中像素点的深度值。
[0033] 将误差因子Ki由小到大进行排序，选出误差因子最小的M幅图像作为最终输入 图像，并记录下图像编号（用符号Ik表示），如公式（8)所示。
[0034]lk=i 做
[00巧]其中，kG[1，M]，1卢[l，n]。
[003引步骤2. 6;构造如公式（9)所示的能量项（用符号E(u)表示）。
[0037] E(u) =Edata(u) +入 6町1。? (9)
[0038] 其中，Edwa(u)可通过公式（10)得到；其由贝叶斯图像生成模型推理得出；入为 调配系数，A>〇;Epd"(u)是平滑项，用来填充合成图像U中缺少输入图像信息的部分， Epd"(u)可通过公式得到。
[0039]
(10)
[0040] 其中，巧(式式为高斯传感噪声方差，为常量产为输入图像化的 图像误差，其值可通过公式（11)计算得到；W/,为可见性算子；
[0041]
(11)
[0042] 其中，为几何误差'为已知量。
[0043]
(12)
[0044] 步骤2.7;对公式（9)构造的能量项E(u)进行最小化，求解合成图像U。具体为： 采用步骤2. 4得到的合成图像的估计&作为迭代初始值，利用快速迭代收缩阔值算法（fast iterativeshrinkage-thresholdingalgorithm，FISTA)算法进行迭代求角军。
[0045] 步骤S、利用参考图像和合成图像生成满足图像视差D(x)的红藍立体图。具体 为；设定像素点在参考图像中的RGB值为巧1，G1，B1)，在合成图像中的RGB值为巧2,G2， B2)，则该像素点在生成的红藍立体图中的RGB值为巧1，G2,B2)。
[0046] 有益效果
[0047] 本发明提出的基于改进贝叶斯模型的立体图像生成方法，与现有方法相比，在时 间性能、生成图像质量W及通用性等方便具有明显优势；该方法还可W直观逐像素指定视 差，便于立体图像的后期处理，具有广阔的应用前景。
【附图说明】
[0048] 图1是本发明【具体实施方式】中基于改进贝叶斯模型的立体图像生成方法的流程 图； 图2是本发明【具体实施方式】中的参考图像； 图3是本发明【具体实施方式】中的输入图像vi; 图4是本发明【具体实施方式】中的输入图像V2; 图5是本发明【具体实施方式】中的输入图像V3; 图6是本发明【具体实施方式】中的输入图像V4; 图7是本发明【具体实施方式】中的输入图像Vg; 图8是本发明【具体实施方式】中的输入图像ve; 图9是本发明【具体实施方式】中的输入图像V,; 图10是本发明【具体实施方式】中的输入图像V8; 图11是本发明【具体实施方式】中的输入图像Vg; 图12是本发明【具体实施方式】中得到的合 成图像； 图13是本发明【具体实施方式】中得到的红藍立体图。
【具体实施方式】
[0049] 下面结合附图对本发明方法的实施方式做详细说明。
[0050] 本实施例中采用基于改进贝叶斯模型的立体图像生成方法生成立体图像，其操作 流程如图1所示，其包括W下步骤：
[0051] 步骤一、通过参考图像得到合成图像的逐像素视点位置，参考图像如图2所示。 [005引步骤1. 1;通过公式（1)计算参考图像V。钟每个像素点的的规范化视差du(x)，规 范化视差d"(x)由参考图像中每个像素点的标准深度z"(x)和参考图像的成像焦距f得到。
[0053]步骤1. 2 ;给定合成图像U与参考图像V。的逐像素图像视差D(x)，由于合成图像 的视点和参考图像的视点位于同一平面，且对应的成像平面相同，可通过公式（2)由图像 视差D(x)计算出合成图像相对于参考图像的逐像素视点位移As(X)。
[0054] 步骤1. 3;通过公式（3)计算出合成图像的逐像素视点位置s' (X)。
[00巧]步骤二、通过改进的贝叶斯模型生成合成图像。
[0056]步骤2. 1 ;针对合成图像中每个像素的视点位置s' (X)，确定一个新成像平面 厂J'。
[0057]步骤2. 2 ;给定场景的几何估计及9幅输入图像Vi，如图3至图11所示，计算出每 个输入图像的成像平面中每个像素点到新成像平面rj.的映射关系4uW及输入图像 的成像平面中每个像素点映射到新成像平面rj.后是否可见的可见性算子my。所述输 入图像V冲包含的像素数与参考图像V。中像素数相同。其中，iG[l，9]，jG[1，闲。 [005引所述可见性算子my为一个矩阵，矩阵mU的行数和列数分别与输入图像V冲像素 的行数和列数相同；矩阵my的元素取值为1表示其对应像素可见，取值为0表示对应像素 不可见。
[0059] 所述输入图像对应场景的几何估计为输入图像的像素点深度信息。
[0060] 步骤2. 3;通过公式（4)和公式妨计算出输入图像成像平面Q冲每个像素点到 合成图像的成像平面r。的映射关系Ti及其逆映射关系P1。
[006。 步骤2. 4 ;根据公式做计算合成图像U的估计&。
[006引步骤2. 5 ;根据公式（7)计算每幅输入图像Vi相对于合成图像U的误差因子K1。 将误差因子Ki由小到大进行排序，选出误差因子最小的M幅图像作为最终输入图像，并记 录下图像编号lk= 6,7,8,9
[006引步骤2. 6;构造如公式（9)所示的能量项E(U)。
[0064] 步骤2.7;对公式（9)构造的能量项E(u)进行最小化，求解合成图像U。具体为： 采用步骤2. 4得到的合成图像的估计別乍为迭代初始值，利用FISTA算法进行迭代求解。首 先设定FISTA算法外层迭代次数；每次外层迭代过程中保持巧,>；)的值不变，当满足内层 迭代终止条件后，更新巧的值，开始下一次外层迭代。重复上述迭代过程，直到达到设定 的外层迭代次数为止。
[0065] 得到的合成图像如图12所示。
[0066] 步骤S、利用参考图像和合成图像生成满足图像视差D(x)的红藍立体图。具体 为；设定像素点在参考图像中的RGB值为巧1，G1，B1)，在合成图像中的RGB值为巧2,G2， B2)，则该像素点在生成的红藍立体图中的RGB值为巧1，G2,B2)。最终得到的红藍立体图 如图13所示。
【主权项】
1. 一种基于改进贝叶斯模型的立体图像生成方法，其特征在于：其包括以下步骤： 步骤一、通过参考图像得到合成图像的逐像素视点位置； 所述参考图像是一幅指定的真实图像，参考图像所有像素视点位置相同； 所述合成图像是通过一组输入图像得到的一幅合成图像，合成图像逐像素指定视点位 置； 步骤二、通过改进的贝叶斯模型生成合成图像； 步骤2. 1 :针对合成图像中每个像素的视点位置s' (X)，确定一个新成像平面rj; 步骤2. 2 :给定场景的几何估计及一组输入图像Vi，计算出每个输入图像的成像平面 Qi中每个像素点到新成像平面Γ^_的映射关系φ u以及输入图像的成像平面Ω 每个像 素点映射到新成像平面Γ^_后是否可见的可见性算子my所述输入图像^中包含的像素数 与参考图像V。中像素数相同；其中，i e [1，n]，n彡I ;j e [1，N]; 步骤2. 3 :通过公式（4)和公式（5)计算出输入图像成像平面Ω i中每个像素点到合成 图像的成像平面Ftl的映射关系τ 其逆映射关系β i;由于输入图像的像素数和合成图 像的像素数均与参考图像的像素数相同，因此X也表示输入图像和合成图像中像素点的索 引值； τ j (χ) = φ ix (x) (4) 其中，x表示输入图像和合成图像中的像素点的索引值； (5) 步骤2. 4 :根据公式（6)计算合成图像u的估计h(6) 其中，η为输入图像的数量；〇为函数复合运算符； 步骤2. 5 :根据公式（7)计算每幅输入图像\相对于合成图像u的误差因子κ i;(7) 其中，▽为梯度运算符是由τ i(x)构成的向量，xe [1，N] ;Zi为输入图像Vi中像 素点的深度值； 将误差因子％由小到大进行排序，选出误差因子最小的M幅图像作为最终输入图像， 并记录下图像编号lk，如公式（8)所示； Ik= i (8) 其中，k e [l，M]，lke [l，n]; 步骤2. 6 :构造如公式（9)所示的能量项E(u); E (u) = Edata (u) + λ Epri〇r (u) (9) 其中，Edata(u)可通过公式（10)得到；其由贝叶斯图像生成模型推理得出；λ为调配系 数，λ > 〇 ;EpriOT(u)是平滑项，用来填充合成图像u中缺少输入图像信息的部分，Ephot(U) 可通过公式（12)得到；(10) 其中，气⑷=(σΛ2+< pR2为高斯传感噪声方差，为常量；％为输入图像lk的图像 误差，其值可通过公式（11)计算得到；％,为可见性算子；(11) 其中，A4.为几何误差°^.，为已知量；(12) 步骤2.7:对公式（9)构造的能量项E(U)进行最小化，求解合成图像u;具体为：采用 步骤2. 4得到的合成图像的估计6作为迭代初始值，利用快速迭代收缩阈值FISTA算法进行 迭代求解； 步骤三、利用参考图像和合成图像生成满足图像视差D(X)的红蓝立体图。2. 如权利要求1所述一种基于改进贝叶斯模型的立体图像生成方法，其特征在于：步 骤一中所述通过参考图像得到合成图像的逐像素视点位置的具体操作为： 步骤I. 1 :通过公式（1)计算参考图像Vtl钟每个像素点的的规范化视差(Itl(X),规范化 视差Cltl(X)由参考图像中每个像素点的标准深度Ztl(X)和参考图像的成像焦距f得到；其 中，X为参考图像Vo中像素点的索引值，X e [1，N]，N为参考图像V ^中像素点的数量；(1) 步骤1. 2 :给定合成图像u与参考图像Vtl的逐像素图像视差D(X)，由于合成图像的视 点和参考图像的视点位于同一平面，且对应的成像平面相同，可通过公式（2)由图像视差 D(X)计算出合成图像相对于参考图像的逐像素视点位移As(X);(2) 步骤1. 3 :通过公式（3)计算出合成图像的逐像素视点位置s' (X); s' （X) = s+ Δ s (X) (3) 其中，s为参考图像的视点位置。3. 如权利要求1或2所述一种基于改进贝叶斯模型的立体图像生成方法，其特征在于： 步骤二步骤2. 2中所述可见性算子为一个矩阵，矩阵m u的行数和列数分别与输入图像 Vi中像素的行数和列数相同；矩阵m u的元素取值为1表示其对应像素可见，取值为0表示 对应像素不可见。4. 如权利要求1或2所述一种基于改进贝叶斯模型的立体图像生成方法，其特征在于： 步骤二步骤2. 2所述输入图像对应场景的几何估计为输入图像的像素点深度信息或输入 图像的像素点空间位置信息。5. 如权利要求1或2所述一种基于改进贝叶斯模型的立体图像生成方法，其特征在于： 步骤三中所述利用参考图像和合成图像生成满足图像视差D(X)的红蓝立体图的具体操作 为：设定像素点在参考图像中的RGB值为（Rl，Gl，BI)，在合成图像中的RGB值为（R2, G2， B2)，则该像素点在生成的红蓝立体图中的RGB值为（Rl，G2, B2)。
【专利摘要】本发明属于图像处理领域，具体涉及一种基于改进贝叶斯模型的立体图像生成方法，可以更加高效、直观的生成立体图像。首先，由给定的视差计算出合成视角的逐像素视点位置；然后，通过改进的贝叶斯模型生成合成图像；最后，利用参考图像和合成图像生成红蓝立体图。与现有方法相比，本发明提出的基于改进贝叶斯模型的立体图像生成方法在时间性能、生成图像质量以及通用性等方便具有明显优势；该方法还可以直观逐像素指定视差，便于立体图像的后期处理，具有广阔的应用前景。
【IPC分类】H04N13/00
【公开号】CN104902253
【申请号】CN201510064469
【发明人】张磊, 张驭航, 黄华
【申请人】北京理工大学, 北京理工大学深圳研究院
【公开日】2015年9月9日
【申请日】2015年2月9日
最新回复(0)