在高动态范围图像创建中的幻像伪影检测和去除的制作方法

在高动态范围图像创建中的幻像伪影检测和去除的制作方法
【技术领域】
[0001] 该发明涉及高动态范围（HDR)成像，并且具体地，其涉及在HDR图像创建期间的幻 像（ghost)伪影（artifact)的去除。
【背景技术】
[0002] 高动态范围（HDR)成像是在图像处理和数字拍照中使用的技术，以处置具有特别 大亮度（光强）范围的源。例如，日光中的室外场景可包括蓝色天空和阳光照耀的（sunlit) 对象以及阴影下的对象；夜晚场景可包括氖光和被明亮照耀的对象以及被较差照耀的对 象；室内场景可包括明亮窗户以及较暗区域等。这些场景造成对于诸如数字相机的成像装 置的挑战；当前可用的数字相机的图像传感器的动态范围通常不能对这样的场景进行充分 成像。如果曝光级别对于捕获场景的较暗区域的细节是充分的，则较亮的区域将通常被曝 光过度而缺失细节；相反，如果曝光级别对于捕获场景的较亮区域的细节是充分的，则较暗 的区域将通常被曝光不足而缺失细节。
[0003] HDR成像技术通过按照各种曝光级别拍摄相同场景的多个图像的集合、并然后数 字合并所述多个图像来创建包括来自原始的多个图像的信息的HDR图像，使得在HDR图像 中充分表达较亮和较暗区域两者中的细节，来处置该问题。用于从多个图像的集合创建HDR 图像的方法一般是已知的。
[0004] 加括号（bracketing)是使用不同曝光级别或诸如焦点、景深等的其他不同设置 值来拍摄相同场景的多个图像的摄影中的技术。一些相机能执行自动加括号，即，自动改变 多个设置时间并拍摄多个图像。所述多个图像中的每一个有时被称为括号（bracket)。能 使用通过曝光加括号所生成的多个图像来创建HDR图像。
[0005] 在HDR图像创建期间，当在不同图像（括号）的摄制之间对象已移动、出现或消失 时，幻像伪影能出现。例如，在三个括号的摄制期间，如果人走进仅在第三括号中的场景，则 从这三个括号创建的HDR图像将具有场景上的人的半透明图（"幻像"）。在该公开中，这 些对象被称为移动对象或引入幻像的对象。
[0006] 已提出了这样的方法，其标识多个图像内的这种引入幻像的对象，使得能处理图 像以降低或消除得到的HDR图像中的幻像效应。这些技术中的一些已在评论（review)论 文中描述，A.Srikantha和D.Sidibe,GhostDetectionandRemovalforHighDynamic RangeImages:RecentAdvances,SignalProcessing:imageCommunications, 27(6), pp.650-662, 2012。
[0007] 在一些已知的幻像伪影检测方法中，选择多个括号之一作为参考图像（也称为背 景图像），其是按照定义不包括任何引入幻像的对象的图像。其他括号与参考图像相比，以 确定引入幻像的对象是否存在以及在哪里存在。这样的单一基准方案的优点在于，其简化 幻像检测和去除问题，因为当处理每一非基准括号时，仅两个图像（基准括号和非基准括 号）需要比较以检测非一致（non-consistent)像素。然而，缺点在于，基准图像的一些大 区域可被较差曝光（过度曝光或曝光不足），并且如果用作基准，则导致相关区域中的不可 靠的幻像检测、信息丢失以及得到的HDR图像的差质量。
[0008] 由此，已提出这样的方法，以将每一图像划分为多个拼接块（tiles)(所有括号被 划分为相同拼接块），并且对于每一拼接块，选择一个括号作为基准图像，使得可选择不同 括号作为用于不同拼接块的基准括号。所选择的用于每一拼接块的括号被称为局部基准或 局部背景。一种这样的方法在GdkdenizKaradag和AhmetOguzAkyUz,Colorpreserving HDRFusionforDynamicScenes,JournalofWSCG20 (2):155-160 (2012)( "Karadag和 Akyuz2012"）中进行了描述。从Karadag和Akyuz2012论文的图1改编的图2示出了被划 分为多个拼接块的图像：标记为"S"的拼接块（靠近图像的右上和右下角）指示短曝光括 号将被用作基准图像的拼接块，而标记为"L"的拼接块（靠近图像的中央）指示将使用长曝 光括号的拼接块（该图像集合具有一共三个括号）。对于其他拼接块，将使用中（middle) 括号作为基准，但是为了简明，这些括号在图1中没有标记。在对于每一拼接块选择基准括 号之后，在非基准括号中检测幻像像素。

【发明内容】

[0009] Karadag和Akyuz2012论文中描述的方法具有当相邻拼接块与相同移动对象相 关、但是具有对于它们选择的不同括号作为基准图像时出现的问题。例如，如果移动对象〇 在括号#1中（但是不在括号#2和#3中）的相邻拼接块A和B中存在，并且如果括号#1 (具 有对象〇)被选择为用于拼接块A的基准括号并且括号#2 (不具有对象0,仅具有对象0之 后的场景）被选择为用于拼接块B的基准括号，则在得到的HDR图像中，拼接块A和B可看 上去显然（visibly)不一致、或者与移动对象相关的拼接块A或B的部分中的信息可丢失。 [0010]因此，本发明针对用于幻像伪影检测和去除的方法和相关设备，其基本上消除由 于现有技术的限制和缺点导致的问题中的一个或多个。
[0011] 本发明的目的是提供用于在HDR图像创建中检测幻像伪影的改进方法。
[0012] 本发明的附加特征和优点将在接下来的描述中阐明，并部分将根据该描述而清 楚，或者可通过本发明的实践而得知。本发明的目的和其他优点将通过在书写的描述及其 权利要求以及附图中特别指出的结构来实现和得到。
[0013] 为了实现这些和/或其他目的，如同实施和广泛描述的那样，本发明提供了一种 用于从多个输入图像的集合生成高动态范围（HDR)图像的方法，每一输入图像被分配括号 索引，该方法包括：(a)将每一输入图像划分为拼接块的集合，其中所有图像被划分为相同 的拼接块集合；(b)确定用于所述拼接块的集合的每一拼接块的基准括号索引，包括：(bl) 作为用于所述拼接块的集合的括号索引的集合的函数来定义目标函数，该目标函数包括测 量个别拼接块的曝光质量的分量和测量相邻拼接块之间的相关性的分量；和（b2)计算使 得该目标函数最优化的用于拼接块的基准括号索引的集合；（c)基于用于拼接块的基准括 号索引的集合，通过对于每一拼接块比较其括号索引不是基准括号索引的每一输入图像与 其括号索引是基准括号索引的输入图像，而在逐拼接块的基础上检测输入图像的集合中的 引起幻像的像素，并生成指示那个图像中的引起幻像的像素的用于每一输入图像的幻像 图；和（d)使用输入图像的集合和对应幻像图来生成HDR图像。
[0014] 步骤（b2)可包括：基于该目标函数构造图形，使得该图形的最佳切口给出使得该 目标函数最优化的用于拼接块的括号索引的集合；和使用图形切割算法来计算图形的最佳 切口，以获得使得该目标函数最优化的用于拼接块的基准括号索引的集合。
[0015] 在另一方面，本发明提供了运行以上方法的数据处理设备。
[0016] 应理解的是，以上一般描述和以下详细描述两者是示范性和解释性的，并且意欲 提供要求保护的本发明的进一步解释。
【附图说明】
[0017] 图1示意性图示了根据本发明实施例的用于幻像伪影检测和HDR图像创建的方 法。
[0018] 图2图示了根据已知方法的被划分为多个拼接块的图像，其中选择不同括号作为 用于不同拼接块的基准括号。
[0019] 图3示意性图示了在本发明实施例中有用的反转（inverted)像素曝光质量函数。
[0020] 图4示意性图示了根据本发明实施例的用于计算拼接块到拼接块 (tile-to-tile)的相关性而使用的初级（primary)拼接块网格（grid)和次级拼接块网格。
[0021] 图5A和5B示意性图示了根据本发明实施例的用于三个输入图像的集合的图形构 造。
[0022] 图6A-6F示意性图示了根据本发明实施例的图5B的图形的图形切口。
[0023] 图7示意性图示了根据本发明实施例的用于四个输入图像的集合的图形构造。
[0024] 图8示意性图示了根据本发明实施例的用于幻像伪影检测和HDR图像创建的方 法。
[0025] 图9A和9B分别示意性图示了其中可实现本发明实施例的数据处理设备和相机。
【具体实施方式】
[0026] 本发明的实施例提供了用于对于HDR图像创建检测多个图像中的幻像伪影的方 法。通过按照不同曝光级别拍摄相同场景而获得多个图像（括号）。假设相机在拍摄处 理期间基本上不移动；然而，在处理期间，对象可在场景内移动，或者可在场景中出现或从 场景消失。在该公开中，这样的对象被统称为移动对象或引入幻像的对象。如果不处置 (untreated)，则移动对象将在得到的HDR图像中引入幻像伪影。幻像伪影检测方法标识可 引起幻像伪影的、包括这样的移动对象的图像的区域。应注意的是，尽管该方法被称为幻像 伪影检测方法，但是在其已被创建之后，其不检测HDR图像中的幻像伪影。相反，该方法检 测多个原始图像中的区域，并且如果不处置，则所述多个原始图像中的区域将在HDR图像 中引入幻像伪影。
[0027] 与一些已知方法（例如，Karadag和Akyuz2012论文中描述的）类似，根据本发 明实施例的方法将整个图像划分为多个拼接块（所有括号被划分为相同拼接块），并且对 于每一拼接块，选择一个括号作为基准括号（局部基准）。本发明的实施例与已知方法的不 同之处在于，如何对于拼接块选择基准括号。根据本发明实施例的方法确定局部基准（即， 要使用哪个括号作为用于图像的每一拼接块的基准），同时使得由于相邻拼接块之间的不 一致导致的伪影最小化。由此，该方法尝试确保在场景的动态区域（即，与移动对象相关的 区域）中，选择相同基准括号用于相邻拼接块。根据本发明的实施例，经由考虑拼接块的曝 光质量和相邻拼接块的一致性两者的目标函数的最优化，来选择用于每一拼接块的基准括 号。
[0028] 根据本发明的实施例，用于确定每一拼接块的基准括号的方法包括图1中示意性 示出的以下步骤。首先，作为用于拼接块集合的括号索引的集合的函数来定义目标函数 (要最优化的函数）（步骤S11)。目标函数包括测量个别拼接块的曝光质量的分量和测量 相邻拼接块之间的相关性的分量。然后基于该目标函数来构造图形（步骤S12)。然后，使 用图形切割算法来计算图形的最佳切口（步骤S13)。按照这样的方式在步骤S12构造图 形，从而在步骤S13计算的最佳切口给出使得该目标函数最优化的用于拼接块的括号索引 的集合，所述括号索引为了幻像伪影检测和去除的目的而要被用作基准括号。
[0029]在一个实施例中，目标函数F如下定义（等式⑴）：
[0030] F(f) = 2pDp(fp) + 2p2qeN(p)Vp，q(fp，fq) (1)
[0031] 其中：P和q是拼接块的索引；N(p)是拼接块p的邻居的拼接块索引的集合；4和 fq是用于拼接块P和q的括号索引（例如，如果存在一共三个括号，则每一括号索引能取值 0、1或2);作为通过&所形成的向量的f是要最优化的向量；Dp(fp)是测量括号&的拼接块 P的曝光质量（在HDR文献中也称为好曝光（well-exposedness))的函数；并且Vj^Jfp，;^) 是测量括号fp，fq中的两个相邻拼接块P，q之间的耦接（coupling)的函数。
[0032] 目标函数F(f)是向量f?的函数；最优化问题是找到使得函数F(f)最优化的最佳 向量f。该最佳向量f?将对于每一拼接块P给出为了幻像伪影检测和去除的目的应被选作 那个拼接块的基准括号的括号索引。
[0033] 取决于Dp(fp)和Vp，q(fp，fq)的定义，F(f)的最优化可以是最小化或最大化。在下 面描述的各个实施例中，定义目标函数F(f)使得其将被最小化。
[0034] 能够看出，目标函数F包括测量个别拼接块的拼接块曝光质量的分量（D)和测量 相邻拼接块之间的拼接块到拼接块相关性的分量（V)两者。该第二分量（V)能充当相邻拼 接块是否包括相同对象的指示。包括第二分量（V)能帮助降低切割或划分引入幻像的对象 的基准括号的改变的发生。
[0035] 在一个实施例中，用于拼接块p和括号fp的曝光质量值Dp (fp)是用于那个拼接块 和那个括号的所有像素的像素曝光质量值的平均值。对于每一像素，曝光质量值是像素强 度的函数；一般来说，如果像素强度在像素强度范围的中间部分中，则其具有指示好曝光的 值，并且如果像素强度在该中间部分之上或之下，则其具有指示差曝光的值。在一个特定示 例中，像素强度范围（即，可能像素值）是〇到255,并且中间部分是10到245。当目标函 数F要被最小化时，指示好曝光的曝光质量值将低于指示差曝光的曝光质量值。在一个特 定示例中，指示好曝光的值是〇并且指示差曝光的值在〇和1之间。作为像素强度的函数 的像素曝光质量值的示例在图3中示出，其中曝光质量值在中间部分是0,并且当像素强度 接近该强度范围的两端时，曝光质量值从〇增加到1。注意，这样的函数可被称为"逆"曝光 质量函数，因为作为习惯问题，用于"质量"的较高值与"较好"关联，而在该示例中，较低曝 光质量值对应于较好曝光，即没有过度曝光或曝光不足。如果目标函数F要被最大化，则该 像素曝光质量函数可具有相反形状。可使用任何合适的形状用于像素曝光质量函数。
[0036] 在一个实施例中，通过从图像构造两个拼接块网格（初级拼接块网格和次级拼接 块网格），来计算拼接块到拼接块相关值V，如图4中示意性示出的那样。每一拼接块网格 由彼此相邻的相同尺寸和形状的拼接块形成；这两个拼接块网格具有相同拼接块尺寸、形 状和布置。在图4中示出的优选实施例中，拼接块的形状是矩形或正方形，并且被水平和垂 直对准形成规则网格。也能使用其他拼接块形状和布置。在一个实现中，每一拼接块的尺 寸是20X18像素。初级拼接块网格（图4中的较粗线所示）是划分整个图像的网格；次级 拼接块网格（图4中的较细线所示）相对于初级拼接块网格横向移动拼接块高度的一半和 拼接块宽度的一半。该次级拼接块网格可延伸分别超出图像边界所述拼接块高度和宽度的 一半（如图4中示意性示出的），或者其可比图像小所述拼接块高度和宽度的一半。
[0037] 在等式⑴中，拼接块索引p和q分别表示初级和次级拼接块网格中的拼接块。对 于初级拼接块网格中的每一拼接块P，其相邻拼接块的集合N(p)包括与拼接块p部分重叠 的次级拼接块网格中的四个拼接块。图4示出了初级拼接块网格中的拼接块pi(被垂直线 施加阴影）和次级拼接块网格中的其相邻拼接块ql(被水平线施加阴影）之一。相反，次 级拼接块网格中的每一拼接块q具有初级拼接块网格中的四个相邻拼接块。因为次级网格 中的给定拼接块连接到初级网格中的四个不同拼接块，所以初级网格的相邻拼接块经由次 级网格的重叠拼接块间接连接。
[0038]在等式（1)中，使用彼此重叠的索引p和q的部分（例如，由垂直和水平线两者施 加阴影并被标记"pl-ql"的图4中示出的部分），来定义作为拼接块p及其相邻拼接块q之 间的相关性的度量的函数\q(fp，fq)。在一个实现中，使用两个拼接块的重叠部分的归一化 交叉相关性（normalizedcross-correlation) (NCC)来计算相关性。例如，可 被定义为NCC的单调函数。
[0039] 数学上，相同尺寸的任何两个图像补丁（imagepatches)X和Y之间的NCC通过以 下公式钤m.
[0040]
[0041] 其 4 NCC具有NCC(X，aY+b) =NCC(X，Y)的属性，其 〇 中a和b是常数。由此，NCC对于曝光级别和对比度（contrast)的改变是不变的。
[0042]Vp;q(fp，fq)的定义的一个特定示例在下面阐明（等式（2)):
[0043]Vp，q (fp，fq) =0?3+exp(18* (1-NCC) * (1-NCC)) (2)
[0044] 其中NCC是用于括号fp和f，的拼接块p和q的重叠部分的归一化交叉相关性 NCCpJfp，;^)的缩略（shorthand)。该函数基于以下考虑来构造：指数函数说明（account for)不期望的低NCC所需要的非常过分（steep)的损失（penalty)。正方形反映对于NCC 的高值的容限（tolerance)(例如，在0. 8和1之间）。常数项（例如0. 3)具有如果曝光级 别靠近则保持相同基准括号的效果。利用该定义，\q(fp，fq)代表对于拼接块p和q选择的 括号代表相同图像内容（即，相同对象）的信心（confidence)。如果括号fp和代表不形 成相同对象的图像内容，则\q(fp，fq)可能为低，因为测量两个拼接块的重叠角之间的图像 内容的相关性的NCC将为低。也可以使用NCC的其他适当的单调函数。在替换实施例中， NCC能由测量图像之间的视觉相似度的其他适当函数替代；这样的函数对于曝光级别和对 比度的改变应该是不变的。
[0045] 在等式（1)中，在初级拼接块网格的所有拼接块p上对拼接块曝光质量值％(&) 求和，并且拼接块到拼接块相关函数\q(fp，fq)首先在每一拼接块p的所有相邻拼接块 qGN(p)上求和，并然后在初级拼接块网格的所有拼接块p上求和。
[0046] 如前面提及的，最优化的目标在于发现使得目标函数F(f)最优化（最小化或最大 化）的向量f= {fp}(等式（1))。该最佳向量f将给出要用于幻像伪影检测和HDR图像创 建的、用于每一拼接块P的基准括号。该最优化问题通过构造代表函数F的图形、并发现该 图形的最佳切口而解决。下面参考图5A和5B来描述图形的构造（图1的步骤S12)。在下 面的描述中，使用具有三个括号的图像集合作为示例，但是该方法可扩展到其他数目的括 号。
[0047] 如图5A中示出的，图形具有源节点和宿节点、以及多个中间节点。对应于初级拼 接块网格中的每一拼接块P，提供两个中间节点Np(l)和Np(2);与每一拼接块对应的中间 节点的数目是括号数目减去1。对应于每一拼接块P，提供三个边缘，分别将源节点链接到 第一中间节点，将第一中间节点链接到第二中间节点，并将第二中间节点链接到宿节点。向 这三个边缘分配的权重分别是Dp(0)、Dp(l)和Dp(2)，其中Dp(fp) (fp= 0, 1，2)是上面结合 等式（1)描述的三个括号〇、1、2中的用于拼接块p的曝光质量值。换言之，三个边缘代表 用于拼接块P的三个括号〇、1、2,并且边缘权重代表相应拼接块 曝光质量Dp。为了简便，图 5A示出了图形（子图形）的一部分，其包括与初级拼接块网格的仅两个拼接块pi和p2对 应的中间节点，即，Npl(1)、Npl(2)、Np2 (1)和Np2 (2)。
[0048] 类似地，如图5B中示出的，对应于次级拼接块网格中的每一拼接块q，提供两个中 间节点Nq(l)和Nq(2)，并且提供三个边缘，分别将源节点链接到第一中间节点，将第一中 间节点链接到第二中间节点，并将第二中间节点链接到宿节点。向这三个边缘分配的权重 分别是Dq(0)、Dq(l) *Dq(2)，其中Dq(fq) (fq= 0, 1，2)是这三个括号0、1、2中的用于拼接 块q的曝光质量值。为了简便，图5B示出了子图形，其包括初级拼接块网格中的仅一个拼 接块P和次级拼接块网格中的其相邻拼接块q之一的节点（即使存在用于拼接块P的四个 相邻拼接块q、和用于拼接块q的四个相邻拼接块P)。
[0049] 除了如上所述链接用于相同拼接块的节点的纵向边缘之外，该图形还包括链接用 于拼接块P的中间节点和用于其相邻拼接块q的中间节点的横向边缘。存在两类横向边 缘。第一类横向边缘链接用于拼接块P和拼接块q的一对对应中间节点，例如，将用于拼接 块P和q的第一中间节点Np(l)和Nq(l)彼此链接，并将用于拼接块p和q的第二中间节 点Np⑵和Nq⑵彼此链接。各个第一类横向边缘的边缘权重是（见图5B):用于将Np(l) 链接到Nq⑴的边缘的V10、用于将Nq⑴链接到Np⑴的边缘的V01、用于将Np⑵链接 到Nq⑵的边缘的V21、和用于将Nq⑵链接到Np⑵的边缘的V12。
[0050] 这里，符号V10、V10等是用于拼接块到拼接块相关值Vp，q(fp，fq)的缩略，其在上 面结合等式（1)进行了描述；例如V01 =Vp，<i(fp= 0,f<1= 1)，V10 =Vp，<i(fp= 1，f<1= 0)， 等。由此，V01是括号0中的拼接块p和括号1中的拼接块q之间的相关性，而V10是括号 1中的拼接块P和括号〇中的拼接块q之间的相关性等。注意，因为使用拼接块P和q的重 叠部分来计算相关性V(见等式（2))，并且因为NCC(X，Y) =NCC(Y，X)，所以沿着两个方向 (例如，V01和V10)链接两个对应中间节点的一对边缘的权重总是相等。
[0051] 第二类横向边缘链接用于拼接块P和拼接块q的一对非对应中间节点。特别是，如 图5B中所示，具有权重Va的边缘将用于拼接块q的第二中间节点Nq(2)链接到用于拼接 块P的第一中间节点Np(1)，并且具有权重Vb的边缘将用于拼接块p的第二中间节点Np(2) 链接到用于拼接块q的第一中间节点Nq(l)。值Va和Vb是（等式（3)):
[0052] Va=V02-V01-V12
[0053] Vb=V20-V10-V21 (3)
[0054] 将第二类横向边缘（具有上面定义的权重）添加到该图形，以便通过该图形实现 F函数的正确表达（等式（1))。
[0055] 该图形中的边缘是有方向的（directional)，如图5A和5B中图示的那样。在这里 的描述中，当边缘的方向从节点1到节点2时，认为节点1 "链接到"节点2 从……链接" 意味着相反方向。这样的图形被称为定向图形。更具体地，该图形是流网络，其是其中每一 边缘具有容量（上面讨论的权重）并接收流的一类定向图形。
[0056] 概括来说，根据本发明的实施例，步骤S12中构造的图形具有源节点、宿节点、与 初级拼接块网格的每一拼接块P对应的两个（第一和第二）中间节点、以及与次级拼接块 网格的每一拼接块q对应的两个（第一和第二）中间节点；源节点链接到每一拼接块P和 每一拼接块q的第一中间节点；每一拼接块P和每一拼接块q的第一中间节点链接到相同 拼接块的第二中间节点；每一拼接块P和每一拼接块q的第二中间节点链接到宿节点；每 一拼接块P(或q)的第一中间节点通过两个边缘链接到其四个相邻拼接块q(或P)的每一 个的第一中间节点，并从其链接；每一拼接块P(或q)的第二中间节点通过两个边缘链接到 其四个相邻拼接块q(或P)的每一个的第二中间节点，并从其链接；每一拼接块P(或q)的 第二中间节点链接到其四个相邻拼接块q(或P)的每一个的第一中间节点；并且各个边缘 的边缘权重如上面描述的那样。为了方便，将同一拼接块（P或q)的节点彼此连接或连接 到源或宿的边缘被称为拼接块特定边缘，并且连接用于不同拼接块的节点的边缘被称为耦 接边缘（也称为横向边缘）。
[0057] 构造该图形以代表目标函数F(f)(等式（1))，使得该图形的最佳切口（在该实施 例中，最小切口）将代表最优化问题的方案，并且给出使得目标函数F(f)最优化（在该实 施例中，最小化）的最佳向量f。
[0058] 图形切口是图形理论的已知区域，并且已在计算机视觉的领域应用，以有效解决 能在能量最小化方面公式化（formulated)的各种低级别计算机视觉问题。在图形中执行 切割意味着切割（去除）图形的边缘的集合，使得获得顶点（节点）的两个分离子集，这两 个集合之间没有连接边缘。切口边缘的集合被称为切口集合。对于具有一个源节点和一个 宿节点的流网络，诸如该实施例中构造的图形，s_t切口是切割边缘的集合（其仅包括从源 侧到宿侧的边缘）的切口，使得源和宿在不同子集中，即不存在从源到宿的定向路径。流网 络的切口具有权重，其被定义为切口集合中的所有边缘的总权重。
[0059] 使用图5B中示出的图形作为示例，存在总共九种不同方式来切割图形，其中一些 在图6A-6F中图示（其他方式能通过简单对称（simplesymmetry)而推导出）。在图6A-6F 中，开环（opencircle)标志切割的边缘（S卩，在切口集合中），其权重有助于切口的权重。 如果边缘从源侧到宿侧跨过切口，则边缘在切口集合中，但是如果边缘沿着相反方向跨过 切口，则边缘不在切口集合中。
[0060] 流网络的最小切口是最小权重的切口，该切口的权重被定义为切口集合中的所有 边缘的总权重。存在已知算法用于发现用于流网络的最小切口。例如，C++B00ST库提供自 由开放源算法来解决算术问题，包括最小切口算法。由此，步骤S13是使用最小切口算法发 现在步骤S12中构造的图形的最小切口的步骤。
[0061] 如较早描述的，在步骤S12中构造的图形中，经由初级拼接块网格中的用于拼接 块P的两个中间节点连接源和宿节点的三个边缘代表用于拼接块P的三个括号〇、1、2。在 这三个边缘之中，仅一个边缘将通过最小切口被切割。该切口边缘将指示将成为基准括号 的用于拼接块P的括号。由此，一旦发现最小切口，则能标识初级网格的用于所有拼接块P 的基准括号（即，向量f= {fp})。这给出使得目标函数F(f)最优化（在该实施例中，最小 化）的最佳向量f(等式（1))。
[0062] 参考图7描述用于四个输入图像的集合的示例。图7的图形与图5B的图形类似， 并且使用相同/相似符号。例如，Np(3)是用于像素p的第三中间节点，Dp(3)是用于括号 3中的拼接块p的曝光质量值，V23 =Vp，q(fp= 2,fq= 3)等。拼接块p的第三中间节点利 用权重Vd和Vf链接到拼接块q的第二和第一中间节点，并且拼接块q的第三中间节点利用 权重Vc和Ve链接到拼接块p的第二和第一中间节点。值Va和Vb与三图像集合示例（等 式⑶）中的那些相同，并且Vc和Ve的值是（等式⑷）：
[0063] Vc=V13-V12-V23
[0064] Vd=V31-V21-V32
[0065] Ve=V03+V12-V13-V02
[0066] Vf=V30+V21-V31-V20 (4)
[0067] 更一般地，用于M个输入图像的集合的图形具有用于每一拼接块p和q的M-l个 中间节点、利用从等式（1)的第一分量D计算的相应权重经由用于每一拼接块p(或q)的 中间节点的序列将源节点链接到宿节点的M个纵向边缘、以及利用从等式⑴的第二分量 V计算的相应权重将拼接块p(或q)的每一中间节点链接到拼接块q(或p)的每一中间节 点、和/或从其链接的横向边缘。
[0068] 用于五个或更多图像的图像集合的图形能类似地构造，并且能基于这里描述的原 理来导出边缘的适当权重。
[0069] 下面参考图8来描述根据本发明实施例的幻像伪影检测和HDR图像创建的总体处 理。
[0070] 首先，按照前面描述的方式，构造初级拼接块网格以使用用于每一括号（步骤 S81)。按照前面描述的方式通过移位初级拼接块网格，来构造次级拼接块网格以使用用于 每一括号（步骤S82)。对于每一括号，针对初级网格中的每一拼接块和次级网格中的每一 拼接块，计算拼接块曝光质量值（步骤S83)。该步骤中的拼接块曝光质量值对应于等式（1) 中的术语％(&)，并且本发明各个实施例中的它们的定义和计算如前面描述的那样。也计 算用于每一双括号组合的、初级网格中的每一拼接块与次级网格中的每一相邻拼接块的拼 接块到拼接块相关值（步骤S84)。该步骤中的相关值对应于等式1中的术语Vp;q(fp，fq)， 并且本发明各个实施例中的它们的定义和计算如前面描述的那样。这里，"双括号组合"表 示两个括号索引fjPfq的组合，诸如（fp= 〇，fq= 1)等。
[0071] 然后，基于步骤S81和 S82中构造的初级和次级网格以及步骤S83和S84中计算 的拼接块曝光质量与拼接块到拼接块相关值，来构造图形（特别是，流网络）（步骤S85)。 该图形包括源节点、宿节点、与初级网格的每一拼接块和次级网格的每一拼接块对应的一 个或多个节点、以及节点之间的各个拼接块特定边缘和横向耦接边缘。每一边缘具有向其 分配的权重，并且这些权重基于拼接块曝光质量以及拼接块到拼接块相关值。本发明实施 例中的构造图形的特定方式如前面描述的那样。然后，使用最小切口算法来计算该图形的 最佳切口，并且从最佳切口来标识用于初级网格的所有拼接块的基准括号（步骤S86)。本 发明实施例中的从最佳切口标识基准括号的方式如前面描述的那样。
[0072] -旦标识了用于每一拼接块的基准括号，则能通过对于每一拼接块比较非基准括 号和基准括号，来在逐拼接块的基础上检测图像集合中的引起幻像的像素（步骤S87)。例 如，能计算基准括号和非基准括号之间的拼接块的归一化交叉相关性（NCC)，作为那个拼接 块的非基准括号是否包括引起幻像的对象的指示。可使用其他方法来检测拼接块中的幻像 伪影，诸如Karadag和Akyuz2012论文中描述的方法。在步骤S87,对于每一括号构造幻像 图，其是和原始图像具有相同尺寸、并且指示括号中的每一像素是否引起幻像以及由此是 否应在创建HDR图像时使用该括号的像素的图。然后，通过使用多个括号连同对应幻像图， 来生成HDR图像（步骤S88)。在该步骤中，将不使用由对应幻像图指示为引起幻像的括号 的像素来生成HDR图像。结果，避免幻像伪影。
[0073] 在图8的处理中，步骤S81到S86涉及确定用于每一拼接块的基准括号；并且步骤 S87到S88涉及检测和去除幻像伪影并生成HDR图像。能使用现有技术中已知的方法来实 现这些步骤的后一集合。
[0074] 能对上述实施例进行各种改变。例如，尽管使用初级网格和次级网格中的重叠拼 接块来在以上实施例中定义拼接块到拼接块相关性\q(fp，fq)，但是其也能通过测量彼此 接壤（border)的初级网格中的相邻拼接块的视觉相似度的函数、使用仅初级网格中的拼 接块来定义。下面描述这些替换实施例中的两个。在这些描述中，拼接块q是相同网格中 的拼接块P的相邻拼接块；能定义邻居的集合作为在四边与拼接块P邻接的四个拼接块的 集合，或者作为选择，这样的集合的任何子集。
[0075] 在计算拼接块到拼接块相关性\q(fp，fq)的第一替换方法中，首先计算以下NCC 值：
[0076] A=NCC(Ifp(Rp),Ifq(Rp))
[0077] B=NCC(Ifq(Rq),Ifp(Rq))
[0078] 其中Ifq(Rq)是括号fp等的拼接块p的图像。由此，值A是括号匕和匕的拼接块 P和q之间计算的归一化交叉相关性。
[0079] 对于fp#fq，令n为输入图像集合的另一括号的索引，即n辛fp并且n辛fq，并且 计算以下值：
[0080] C=max{n}(NCC(Ifp (Rp),In (Rp))+NCC(Ifq (Rq),In (Rq)))
[0081] 然后，值H被计算为：
[0082] 对于心=?(1，民，(1(心4)=0;
[0083] 对于fp 乒fUfp, = 1-max(A,B，C)
[0084] 然后作为Hp，q(fp，fq)的递增函数来计算拼接块到拼接块相关性VRq(fp，fq)。
[0085] 在计算拼接块到拼接块相关性\q(fp，fq)的第二替换方法中，每一拼接块首先由 函数Ef映射，其取决于括号f将像素强度值映射到曝光值。换言之，Ef是向像素值应用的 逆相机响应函数（CRF)。
[0086]然后令 1加是Efp (Ifp (Rp))和Efq (Ifq (Rq))的并置（juxtaposition)(相邻拼接块） 的图像结果。令dist是比较函数（例如，绝对差，1-NCC)。计算如下：
[0087] A=dist(Itest,E0(I0(Rp+Rq)))
[0088] B=dist(Itest,Ei⑴（Rp+Rq)))
[0089]C=dist(Itest,E2(I2(Rp+Rq)))
[0090]
[0091]Hp；q (fp,fq) =min(A,B,C,...)
[0092] 其中Rp+Rq代表通过组合（并置）拼接块RjPRq而获得的图像补丁。例如，如果 &和R5是正方形，则RP+Rq是通过组合R5和Rq而获得的矩形补丁。
[0093] 然后作为Hp，q(fp，fq)的递增函数来计算拼接块到拼接块相关性Vp，q(fp，fq)。
[0094]当仅使用初级网格中的拼接块来计算拼接块到拼接块相关性Vp，q(fp,fq)时，图形 构造与上面描述的类似，除了拼接块q现在是同一网格（而不是次级网格）中的拼接块P 的相邻拼接块之外。
[0095] 这里描述的幻像伪影检测和HDR图像创建方法能在诸如图8A中示出的计算机120 的数据处理系统中实现。计算机120包括处理器121、储存装置（例如，硬盘驱动器）122、 以及内部存储器（例如，RAM) 123。储存装置122存储软件程序，所述软件程序被读出到RAM 123并由处理器121运行以执行这些方法。
[0096] 该方法也可在硬连线电路中实现，诸如数字相机内的一个或多个芯片。图8B示意 性图示了数字相机130,其包括处理器121、储存装置132、内部存储器133、以及用于获得图 像的成像部件134和用于控制相机的各种功能的控制部件135。控制部件135可执行自动 加括号，以按照不同曝光级别来自动拍摄图像的集合。自动加括号是公知的，并且这里省略 其细节。处理器131可使用上述算法来处理图像的集合以生成HDR图像。
[0097] 在一个方面，本发明在数据处理设备中实施，其可以是数字相机的数据处理部件。 在另一方面，本发明是在计算机可使用非瞬时介质中实施的计算机程序产品，其中嵌入有 计算机可读程序代码，用于控制数据处理设备。在另一方面，本发明是数据处理设备执行的 方法。
[0098] 本领域技术人员将清楚，能在本发明的幻像伪影检测和HDR图像创建方法和相关 设备中进行各种修改和变型，而不脱离本发明的精神或范围。由此，本发明意欲覆盖落入所 附权利要求及其等效的范围内的修改和变型。
【主权项】
1. 一种用于从多个输入图像的集合生成高动态范围（HDR)图像的方法，每一输入图像 被分配括号索引，该方法包括： (a) 将每一输入图像划分为拼接块的集合，其中所有图像被划分为相同的拼接块集 合； (b) 确定用于所述拼接块的集合的每一拼接块的基准括号索引，包括： (bl)作为用于所述拼接块的集合的括号索引的集合的函数来定义目标函数，该目标函 数包括测量个别拼接块的曝光质量的分量和测量相邻拼接块之间的相关性的分量；和 (b2)计算使得该目标函数最优化的用于拼接块的基准括号索引的集合； (c) 基于用于拼接块的基准括号索引的集合，通过对于每一拼接块比较其括号索引不 是基准括号索引的每一输入图像与其括号索引是基准括号索引的输入图像，而在逐拼接块 的基础上检测输入图像的集合中的引起幻像的像素，并生成指示那个图像中的引起幻像的 像素的用于每一输入图像的幻像图；和 (d) 使用输入图像的集合和对应幻像图来生成HDR图像。2. 根据权利要求1的方法，其中所述步骤（b2)包括： 基于该目标函数构造图形，使得该图形的最佳切口给出使得该目标函数最优化的用于 拼接块的括号索引的集合；和 使用图形切割算法来计算图形的最佳切口，以获得使得该目标函数最优化的用于拼接 块的基准括号索引的集合。3. 根据权利要求1的方法，其中步骤（bl)中的目标函数被定义为： F(f) = 2pDp(fp) + 2p2：qeN(p)Vp,q(fp,f q) (I) 其中：P和q是拼接块的索引，N(p)是拼接块p的邻居的拼接块索引的集合，&和f q是 用于拼接块P和q的括号索引，f是fp所形成的向量，D p(fp)是测量括号&的拼接块p的 曝光质量的函数，并且(fp，f q)是测量括号&和f q的两个相邻拼接块p和q之间的耦接 的函数。4. 根据权利要求3的方法，其中Dp(fp)是用于括号&的拼接块p的所有像素的像素曝 光质量值的平均值。5. 根据权利要求3的方法， 其中步骤（a)中的拼接块的集合具有相同拼接块尺寸并形成初级拼接块网格， 该方法进一步包括通过将该初级拼接块网格移位该拼接块尺寸的一部分，来形成次级 拼接块网格， 其中在步骤（bl)中的目标函数中，拼接块索引p和q分别是初级和次级拼接块网格中 的索引，并且拼接块P的邻居的集合N(p)是与初级网格中的拼接块p重叠的次级拼接块网 格中的拼接块，以及 其中(fp，g是其中拼接块P和q彼此重叠的区域中的从括号4和f q的图像计算 的相关性值。6. 根据权利要求5的方法，其中步骤（b2)包括： 基于目标函数构造图形，该图形具有源节点、宿节点、和与初级拼接块网格的每一拼接 块P以及次级拼接块网格的每一拼接块q对应的M-I个中间节点的序列，M是输入图像的 集合中的图像的数目，M个纵向边缘利用基于函数D p (fp)计算的相应边缘权重经由用于每 一拼接块P和每一拼接块q的中间节点的序列而将 源节点链接到宿节点，多个横向边缘利 用从函数(fp，fq)计算的相应边缘权重将拼接块p的每一中间节点链接到拼接块q的每 一中间节点和/或从其链接、并将拼接块q的每一中间节点链接到拼接块P的每一中间节 点和/或从其链接；和 使用图形切割算法计算该图形的最佳切口，以获得使得该目标函数最优化的用于拼接 块的基准括号索引的集合。7. 根据权利要求5的方法，其中所述输入图像的集合包括分别具有括号索引0、1和2 的三个图像； 其中步骤（b2)包括： 基于目标函数构造图形，该图形具有源节点、宿节点、与初级拼接块网格的每一拼接块 P对应的第一和第二中间节点、以及与次级拼接块网格的每一拼接块q对应的第一和第二 中间节点， 该源节点通过具有相应边缘权重Dp(O)和Dq(O)的相应边缘而链接到每一拼接块p和 每一拼接块q的第一中间节点， 所述每一拼接块P和每一拼接块q的第一中间节点通过具有相应边缘权重Dp(I)和 Dq(I)的相应边缘而链接到同一拼接块的第二中间节点， 所述每一拼接块P和每一拼接块q的第二中间节点通过具有相应边缘权重Dp(I)和 Dq(I)的相应边缘而链接到宿节点， 每一拼接块P的第一中间节点通过具有相应边缘权重\5(1，0)和Vm(0, 1)的两个边 缘而链接到其相邻拼接块q的每一个的第一中间节点并从其链接，每一拼接块q的第一中 间节点通过具有相应边缘权重Vrq(0, 1)和Vp，q(l，0)的两个边缘而链接到其相邻拼接块p 的每一个的第一中间节点并从其链接， 每一拼接块P的第二中间节点通过具有相应边缘权重\q(2, 1)和VM(1，2)的两个边 缘而链接到其相邻拼接块q的每一个的第二中间节点并从其链接，每一拼接块q的第二中 间节点通过具有相应边缘权重Vp， q(l，2)和Vrq(2, 1)的两个边缘而链接到其相邻拼接块p 的每一个的第二中间节点并从其链接，和 每一拼接块P的第二中间节点通过具有边缘权重Vb = 7^(2,0)-7^(1,0)-7^(2, 1) 的边缘而链接到其四个相邻拼接块q的每一个的第一中间节点，每一拼接块q的第二中间 节点通过具有边缘权重Va = Vp，q(0, 2)-Vp，q(0, 1)-Vp，q(l，2)的边缘而链接到其四个相邻拼 接块P的每一个的第一中间节点；和 使用图形切割算法计算该图形的最佳切口，以获得使得该目标函数最优化的用于拼接 块的基准括号索引的集合。8. -种用于从多个输入图像的集合生成高动态范围（HDR)图像的数据处理设备，每一 输入图像被分配括号索引，该设备包括： (a) 用于将每一输入图像划分为拼接块的集合的器件，其中所有图像被划分为相同的 拼接块集合； (b) 用于确定用于所述拼接块的集合的每一拼接块的基准括号索引的器件，包括： (bl)用于作为用于所述拼接块的集合的括号索引的集合的函数来定义目标函数的器 件，该目标函数包括测量个别拼接块的曝光质量的分量和测量相邻拼接块之间的相关性的 分量；和 (b2)用于计算使得该目标函数最优化的用于拼接块的基准括号索引的集合的器件； (c) 用于基于用于拼接块的基准括号索引的集合、通过对于每一拼接块比较其括号索 引不是基准括号索引的每一输入图像与其括号索引是基准括号索引的输入图像、而在逐拼 接块的基础上检测输入图像的集合中的引起幻像的像素、并用于生成指示那个图像中的引 起幻像的像素的用于每一输入图像的幻像图的器件；和 (d) 用于使用输入图像的集合和对应幻像图来生成HDR图像的器件。9. 根据权利要求8的数据处理设备，其中所述器件（b2)包括： 用于基于该目标函数构造图形、使得该图形的最佳切口给出使得该目标函数最优化的 用于拼接块的括号索引的集合的器件；和 用于使用图形切割算法来计算图形的最佳切口、以获得使得该目标函数最优化的用于 拼接块的基准括号索引的集合的器件。10. 根据权利要求8的数据处理设备，其中所述器件（bl)中的目标函数被定义为： F(f) = 2pDp(fp) + 2p2：qeN(p)Vp,q(fp,f q) (I) 其中P和q是拼接块的索引，N(p)是拼接块p的邻居的拼接块索引的集合，&和f q是 用于拼接块P和q的括号索引，f是fp所形成的向量，D p(fp)是测量括号&的拼接块p的 曝光质量的函数，并且(fp，f q)是测量括号&和f q的两个相邻拼接块p和q之间的耦接 的函数。11. 根据权利要求10的数据处理设备，其中Dp (fp)是用于括号fp的拼接块p的所有像 素的像素曝光质量值的平均值。12. 根据权利要求10的数据处理设备， 其中器件（a)中的拼接块的集合具有相同拼接块尺寸并形成初级拼接块网格， 该设备进一步包括用于通过将该初级拼接块网格移位该拼接块尺寸的一部分、来形成 次级拼接块网格的器件， 其中在器件（bl)中的目标函数中，拼接块索引p和q分别是初级和次级拼接块网格中 的索引，并且拼接块P的邻居的集合N(p)是与初级网格中的拼接块p重叠的次级拼接块网 格中的拼接块，以及 其中(fp，g是其中拼接块P和q彼此重叠的区域中的从括号4和f q的图像计算 的相关性值。13. 根据权利要求12的数据处理设备，其中该器件（b2)包括： 用于基于目标函数构造图形的器件，该图形具有源节点、宿节点、和与初级拼接块网格 的每一拼接块P以及次级拼接块网格的每一拼接块q对应的M-I个中间节点的序列，M是 输入图像的集合中的图像的数目，M个纵向边缘利用基于函数D p (fp)计算的相应边缘权重 经由用于每一拼接块P和每一拼接块q的中间节点的序列而将源节点链接到宿节点，多个 横向边缘利用从函数(f p，fq)计算的相应边缘权重将拼接块p的每一中间节点链接到拼 接块q的每一中间节点和/或从其链接、并将拼接块q的每一中间节点链接到拼接块P的 每一中间节点和/或从其链接；和 用于使用图形切割算法计算该图形的最佳切口、以获得使得该目标函数最优化的用于 拼接块的基准括号索引的集合的器件。14. 根据权利要求12的数据处理设备，其中所述输入图像的集合包括分别具有括号索 弓丨0、1和2的三个图像； 其中该器件（b2)包括： 用于基于目标函数构造图形的器件，该图形具有源节点、宿节点、与初级拼接块网格的 每一拼接块P对应的第一和第二中间节点、以及与次级拼接块网格的每一拼接块q对应的 第一和第二中间节点， 该源节点通过具有相应边缘权重Dp (O)和Dq (O)的相应边缘而链接到每一拼接块p和 每一拼接块q的第一中间节点， 所述每一拼接块P和每一拼接块q的第一中间节点通过具有相应边缘权重Dp(I)和 Dq(I)的相应边缘而链接到同一拼接块的第二中间节点， 所述每一拼接块P和每一拼接块q的第二中间节点通过具有相应边缘权重Dp(I)和 Dq(I)的相应边缘而链接到宿节点， 每一拼接块P的第一中间节点通过具有相应边缘权重\5(1，0)和Vm(0, 1)的两个边 缘而链接到其相邻拼接块q的每一个的第一中间节点并从其链接，每一拼接块q的第一中 间节点通过具有相应边缘权重Vrq(0, 1)和Vp，q(l，0)的两个边缘而链接到其相邻拼接块p 的每一个的第一中间节点并从其链接， 每一拼接块P的第二中间节点通过具有相应边缘权重\q(2, 1)和VM(1，2)的两个边 缘而链接到其相邻拼接块q的每一个的第二中间节点并从其链接，每一拼接块q的第二中 间节点通过具有相应边缘权重Vp， q(l，2)和Vrq(2, 1)的两个边缘而链接到其相邻拼接块p 的每一个的第二中间节点并从其链接，和 每一拼接块P的第二中间节点通过具有边缘权重Vb = 7^(2,0)-7^(1,0)-7^(2, 1) 的边缘而链接到其四个相邻拼接块q的每一个的第一中间节点，每一拼接块q的第二中间 节点通过具有边缘权重Va = Vp，q(0, 2)-Vp，q(0, 1)-Vp，q(l，2)的边缘而链接到其四个相邻拼 接块P的每一个的第一中间节点；和 用于使用图形切割算法计算该图形的最佳切口、以获得使得该目标函数最优化的用于 拼接块的基准括号索引的集合的器件。15. -种数字相机，包括权利要求8的数据处理设备，该数字相机进一步包括： 成像部件，用于获得图像；和 控制部件，用于控制该成像部件以获得具有不同曝光级别的图像的集合。
【专利摘要】在高动态范围(HDR)图像创建中，幻像伪影检测方法将图像(括号)划分为多个拼接块，并选择用于每一拼接块的一个括号作为局部基准括号。经由包括测量个别拼接块的曝光质量的分量和测量相邻拼接块之间的相关性的分量两者的目标函数的最优化，来选择所述局部基准括号。通过构造用于该目标函数的图形并使用图形切割算法计算该图形的最小切口，能实现所述最小化。给出用于三个和四个图像集合的图形示例。然后通过使用用于每一拼接块的局部基准括号以逐拼接块为基础来执行幻像伪影检测。幻像图按照该方式生成并被使用用于HDR图像创建。该方法使得由于在引起幻像的对象中涉及的区域中的局部基准括号选择中的不一致而导致的伪影最小化。
【IPC分类】H04N5/243, G06T5/00, H04N5/357
【公开号】CN104883512
【申请号】CN201510089208
【发明人】A.布扬夫努, M.J.维达尔-纳奎特
【申请人】柯尼卡美能达美国研究所有限公司
【公开日】2015年9月2日
【申请日】2015年2月27日
【公告号】US9185270, US20150249774