用于处理图像的方法和设备的制造方法

用于处理图像的方法和设备的制造方法
【专利说明】
[0001] 本申请要求于2014年2月27日在韩国知识产权局提交的第10-2014-0023710号 韩国专利申请的优先权，该申请的整个公开通过引用包含于此。
技术领域
[0002] 与示例性实施例一致的方法和设备设及处理图像，更具体地讲，设及恢复从包括 雾的图像去除了雾的图像。
【背景技术】
[0003] 一般来说，在监控相机安装在户外的情况下，诸如雨、雪和雾的天气变化影响使用 监控相机捕获的图像的画面质量。雨和雪具有较大颗粒，并且零星地出现。当捕获图像时， 它们的运动迅速地改变。同时，雾和/或烟遍布整个图像，因此，贯穿整个图像，画面品质的 劣化相对均匀且一致。

【发明内容】

[0004] 本发明构思的一个或更多个示例性实施例提供一种能够通过有效地估计并去除 包括雾的运动图像中的雾分量来提高图像的画面品质的图像处理设备和方法。
[0005] 将在W下描述中部分阐述一个或更多个示例性实施例，并且从所述描述，本发明 构思将变得清楚，或可通过呈现的实施例的实践而被学习。
[0006] 根据示例性实施例的一方面，提供了一种用于处理图像的设备，所述设备包括：传 输率估计单元，被构造为通过将包括雾分量的当前图像的当前像素的基于像素的传输率与 先前图像的多个块的基于块的传输率进行合成，来计算当前图像的传输率，其中，每个块包 括多个像素；空气光估计单元，被构造为计算当前图像的空气光；图像恢复单元，被构造为 基于传输率和空气光产生从当前图像去除了雾分量的复原图像。
[0007] 传输率估计单元可包括；第一传输率估计单元，被构造为通过将暗通道先验应用 于当前图像的当前像素来计算基于像素的传输率；第二传输率估计单元，被构造为通过将 暗通道先验应用于先前图像的每个块来计算基于块的传输率。空气光可从所述多个块中的 最亮的块的最亮像素值计算。
[000引第二传输率估计单元可被构造为通过使用先前图像的每个块中的多个像素中的 最小像素值，来计算基于块的传输率。
[0009] 第二传输率估计单元还可包括插值单元，被构造为根据每个块和当前像素之间的 距离来对每个块的传输率和相邻块的传输率进行插值。
[0010] 传输率估计单元还可包括合成单元，被构造为将应用了第一权重值的基于像素的 传输率和应用了第二权重值并执行了插值的基于块的传输率进行合成。
[0011] 第一传输率估计单元和第二传输率估计单元可被构造为通过应用当前图像的空 气光，来计算基于像素的传输率和基于块的传输率。
[0012] 空气光估计单元可包括；代表性空气光值提取单元，被构造为；将先前图像的每 个块中的最亮像素的像素值，或最亮像素的像素值和最亮像素的左边和右边的像素的像素 值的均值设置为块的代表性空气光值，提取所述多个块中的代表性空气光值中的最亮的代 表性空气光值作为先前图像的空气光，使用先前图像的空气光计算当前图像的空气光；滤 波器，从当前图像的空气光去除噪声。
[0013] 传输率估计单元可被构造为应用当前图像的空气光，W获得基于像素的传输率和 基于块的传输率。
[0014] 滤波器包括无限冲击响应（IIR)滤波器，W从当前图像的空气光滤除噪声。
[0015] 第一传输率估计单元和第二传输率估计单元可被构造为通过应用当前图像的空 气光来计算基于像素的传输率和基于块的传输率。
[0016] 根据另一示例性实施例的一方面，提供一种处理图像的方法，所述方法可包括；通 过将包括雾分量的当前图像的当前像素的基于像素的传输率与先前图像的多个块的基于 块的传输率进行合成，来计算当前图像的传输率，其中，每个块包括多个像素；计算当前图 像的空气光；基于传输率和空气光复原从当前图像去除了雾分量的图像。
[0017] 基于像素的传输率可W是通过将暗通道先验应用于当前图像的当前像素来计算 的，并且基于块的传输率可W是通过将暗通道先验应用于前一图像的每个块来计算的。空 气光可W是从所述多个块中的最亮的块的最亮像素值计算的。
[0018] 基于块的传输率可W是通过使用先前图像的每个块中的多个像素的最小像素值 来计算的。
[0019] 计算基于块的传输率的步骤可包括；将先前图像分割成多个块；通过比较每个块 中的多个像素的像素值来提取最小的像素值作为每个块的代表性像素值；通过使用代表性 像素值来计算基于块的传输率。
[0020] 可通过应用当前图像的空气光来计算基于像素的传输率和基于块的传输率。
[0021] 所述方法还可包括；根据每个块的中屯、与当前像素之间的距离来对每个块的传输 率和相邻块的传输率进行插值。
[0022] 所述方法还可包括；将应用了第一权重值的基于像素的传输率和应用了第二权重 值并执行了插值的基于块的传输率进行合并。
[0023] 估计空气光的步骤可包括；将前一图像的每个块中的最亮像素的像素值，或最亮 像素的像素值和最亮像素左边和右边的像素的像素值的均值设置为块的代表性空气光值； 提取所述多个块的代表性空气光值中的最亮的代表性空气光值作为先前图像的空气光；使 用先前图像的空气光计算当前图像的空气光；将噪声从当前图像的空气光去除；
[0024] 可通过应用无限冲击响应（IIR)滤波器去除噪声。
[0025] 根据另一示例性实施例的一方面，提供一种记录有用于执行处理图像的W上方法 的计算机可读记录介质。
[0026] 根据本发明构思的示例性实施例，可从包括图像的移动图像有效地估计并去除雾 分量，从而提高图像的画面品质。
【附图说明】
[0027] 从W下结合附图对示例性实施例进行的描述中，该些和/或其它方面将变得清楚 且更易于理解，其中，在附图中：
[002引图1是示出根据示例性实施例的用于处理图像的设备的结构的框图；
[0029] 图2是根据示例性实施例的第二传输率估计单元的详细框图；
[0030] 图3是示出在根据示例性实施例的第二传输率估计单元中计算基于块的传输率 的示图；
[0031] 图4A至图4E示出根据示例性实施例的雾图像W及去除了雾的图像。
[0032] 图5是根据示例性实施例的处理图像的方法的操作的流程图。
【具体实施方式】
[0033] 现在将参照示出示例性实施例的附图更充分地描述本发明构思。然而，本发明构 思可许多不同的形式实施，并且不应被解释为局限于在此阐述的实施例；相反，提供该 些实施例使得本公开是充分且完整的，并将本发明构思充分地传达给本领域的普通技术人 员。在实施例的描述中，如果确定与本发明构思有关的常用技术或结构的详细描述会不必 要地使本发明的主题模糊，则将省略该详细描述。
[0034] 本说明书中使用的术语仅用于描述特定示例性实施例，而不意图限制本发明构 思。除非在上下文中具有明显不同的意思，否则W单数使用的表述包含复数表述。在本说 明书中，将理解诸如"包含"或"具有"等的术语意图指示在说明书中公开的特征、数量、步 骤、作用、组件、部件或其组合的存在，而不意图排除可能存在或可增加一个或更多个其它 特征、数量、步骤、作用、组件、部件或其组合的可能性。虽然诸如"第一"、"第二"等的术语 可用于描述各种组件，但该样的组件不限于W上术语。W上术语仅用于将一组件与另一组 件区分。
[0035] W下将参照附图更详细地描述本发明构思的示例性实施例。不管附图标号如何， 由相同的标号描绘相同或相应的组件，并且将省略冗余的解释。如在此使用的，术语"和/ 或"包括一个 或更多个相关联的列出的项目中的任意组合和所有组合。
[0036] 在图像处理领域和/或计算机视觉领域，为了表示包括雾的图像，诸如W下等式1 的数学模型被广泛使用：
[0037] I(x) =J(x)t(x)+A(1-t(x)) (1)
[0038] 在W上等式中，I(X)表示包括雾的输入图像，J(x)表示指示去除了雾的情形的场 景福射率（目P，去除了雾的图像），A指示表示输入图像的雾值的空气光（airli曲t)，t(x) 指示表示对象因空气散射而实际传输到人眼的福射量的比例的透射率。因此，如果t(x)接 近于1，则对象的亮度完整地传输到人眼而不会被雾或其它因素散射。t(x)越接近于0,由 浓雾或其它因素导致的信息的损失就越多，并且对于人眼而言，对象变得不清楚。
[0039] 在图像的R、G、B颜色通道中的每个颜色通道中表达如等式1的模型。为了从输入 图像去除雾，从包括雾的输入图像I(X)计算空气光A和传输率t (X)，并通过使用A和t (X) 最终恢复J(X)。
[0040] 根据示例性实施例的用于从图像去除雾的设备使用暗通道先验（darkchannel prior)，W通过等式1的模型从输入图像去除雾。
[0041] 暗通道先验是一种为了从输入图像去除雾而提出的方法。针对没有雾的清晰图像 的每个像素，具有预定大小并W每个像素为中屯、的面片（patch)中的一些像素包含具有接 近于0的很小的值的至少一个颜色通道。该可如W下的等式2表示：
[0042]
(2)
[00创该里，Jd"k(x)表示关于图像J的像素X的暗通道，c表示R、G、B颜色通道值，Q(X)表示Wx为中屯、的面片。
[0044] 也就是，暗通道先验值表示当前面片中的最暗的通道的亮度。存在该样的趋势；当 雾存在时，暗通道先验值为高，而当雾不存在时，暗通道先验值为低。
[0045] 也就是，当雾不存在时，暗通道先验值具有收敛于0的趋势。因此，算子min被施 加到等式1的两边，且如果两边同除WA，则获得W下等式3 :
[0046]
(3)
[0047] 当等式3右手边包括J的结果收敛于0时，通过W下等式4相应地获得传输率：
[0048]
(4)
[0049]等式4中计算的传输率（？(句）基于具有预定大小的面片Q(X)，并与输入图像不 完全匹配，呈现出暗通道先验和图像的边缘不完全匹配的块现象，先。因此，为了去除该块 现象，通过用于通过诸如软枢图算法（softmattingalgorithm)的数值分析方法对计算的 传输率进行优化的处理，计算最终的传输率（t(X))。
[0050] 通过W下等式5获得通过使用计算的最终传输率（t(x))而去除了雾的图像 J(x)：
[0051]
[0化2] 该里，t。是被设置为对传输率限制的上限值，该值可由用户设置。
[0053] 雾的去除依赖于如何精确地估计传输率（t(x))。通过用于通过诸如软枢图算法 的数值分析方法对如上所述计算的传输率（/~(x))进行优化的处理，来计算最终的传输率 (t(x))。然而，存在该样的缺点；当使用软枢图算法计算最终传输率（t(x))时，需要大量的 线存储器和硬件资源。因此，在本发明构思的示例性实施例中，将省略使用软枢图算法的优 化处理，通过使用等式4,从输入图像计算基于像素的传输率（第一传输率，ti(n)、tpj并 计算基于块的传输率（第二传输率，t2(n-l)、tbJ。然后，将基于像素的传输率和基于块的 传输率合成，并计算出结果作为最终的传输率t(X)，从而减少线存储器和硬件资源的使用， 并实现实时处理。此外，当估计空气光时，使用在基于块的传输率的计算中使用的先前图像 (n-1)块，从而减少计算量。
[0054] 图1是示出根据示例性实施例的用于处理图像的设备100的结构的框图。
[0化5] 参照图1，所述设备100包括传输率估计单元200、空气光估计单元300和图像恢 复单元400。
[0056] 传输率估计单元200将基于像素的传输率和基于块的传输率进行合成，从而估计 最终的传输率，其中，基于像素的传输率通过将暗通道先验应用于包括雾的输入图像的当 前像素而被计算，基于块的传输率通过将暗通道先验应用于被划分成多个块的先前图像的 每个块而被计算。
[0化7] 传输率估计单元200包括第一传输率估计单元210、第二传输率估计单元220和合 成单元230。
[005引第一传输率估计单元210通过使用包括在输入图像（n)中的当前像素的像素值 (R/G/B值）和空气光来计算应用了暗通道先验的基于像素的传输率（tpTx)。在等式4中， 面片大小（Q(X))为1，第一传输率估计单元210通过W下等式6获得第一传输率（tpTx);
[0059]
(6)
[0060] 如等式6所示，只需当前像素位置的像素值和空气光就可计算第一传输率（稍后 将对此进行解释），因此不需要单独的线存储器。
[0061] 然而，当仅使用第一传输率去除雾时，使当前像素的最暗通道值成为0。因此，虽然 色度被最大化，但是局部对比度会骤降。图4A是输入图像的示例，图4B示出从图4A的输 入图像去除了雾的结果图像。参照图4B，图4B示出色度被最大化，但是局部对比度骤降。
[0062] 为了解决局部对比度骤降的问题，本实施例估计第二传输率作为基于块的传输 率。第二传输率估计单元220通过使用先前图像（n-1)的每个块中的最小像素值和空气光 来计算基于块的传输率。
[0063] 图2是第二传输率估计单元220的详细框图，其中，第二传输率估计单元220包括 分块单元221、代表性像素值提取单元222、传输率计算单元223和插值单元224。
[0064] 分块单元221将先前图像（n-1)划分成多个块（MXN个块）。图3示出将先前图 像（n-1)划分成16X16个块的分块的示例。例如，当先前图像（n-1)具有1024X768的分 辨率时，分块单元221可将该图像划分成256个块，每个块具有64X48个像素。该里，被划 分的块的数量可根据设置而改变。
[00化]代表性像素值提取单元222通过比较包括在块中的像素的像素值，来提取具有最 小像素值的像素作为每个块的代表性像素，并提取各个块的代表性像素的像素值中的最小 像素值作为代表性像素值。参照图3,将包括在第一块中的第一像素和第二像素的像素值进 行相互比较并仅存储较小像素值，将存储的像素值与第=像素的像素值进行比较并存储较 小的像素值。W该种方式，将64X48个像素的像素值进行比较，并提取最小的像素值作为 第一块的代表性像素值。可从图3提取256个代表性像素值。
[0066] 根据现有技术，当估计传输率时，使用当前像素处于其中屯、处的面片，并对于每个 当前像素，应比较面片区域中的所有像素，从而需要非常大量的重复计算。然而，根据如上 所述的代表性像素值的提取，无需重复计算而可大幅减少计算量。
[0067] 传输率计算单元223通过使用每个块的代表性像素值和空气光，来计算应用了暗 通道先验的基于块的传输率（tBTx)。通过W下等式7获得基于块的传输率（tBTx)，并获得与 块的数量（在图3的情况下为256)相同数量的传输率：
[00側
（7)
[0069] 图4C示出从图4A中示出的输入图像去除了雾的结果图像。参照图4C，示出了发 生块效应化lockingarti化ct)的图像的示例，其中，所述块效应是由于传输率是针对每个 块而获得的并且被应用于图4A的输入图像而 发生。
[0070] 插值单元224用于防止块效应。
[0071] 插值单元224计算每个块的中屯、与当前像素之间的距离，并通过将与距离成反比 的权重值应用于所述距离来获得每个块的传输率和相邻块的传输率的加权平均值。因此， 插值单元224执行插值W使用加权平均值作为当前像素的传输率。图4D示出通过对发生 块效应的图4C中示出的图像进行插值处理而去除了块效应的图像的示例。
[0072] 在图4D中，虽然去除了块效应，但是传输率也不是与块对应的最优传输率，且去 雾能力也表现为低于图4C的去雾能力。如图所示，在韩式房屋屋顶上，晕轮效果化alo effect)明显。
[0073] 因此，在本实施例中，通过将作为基于像素的传输率的第一传输率与作为基于块 的传输率的第二传输率进行合成来获得最终的传输率，其中，基于像素的传输率在色度方 面具有优势，而基于块的传输率在计算量和/或局部对比度方面具有优势。
[0074] 为了获得最终的传输率，合成单元230通过将第一传输率与对应于当前像素的块 的第二传输率进行合成，来计算将被应用于当前像素的最终传输率。通过W下等式8获得 最终传输率；
[007引 Tn= ?XtpTx+(l-?)Xlnt(tBTx) 做
[0076] T"表示最终传输率（图1中的t，等式5中的t(X))，《表示权重值，tpTx表示第 一传输率（ti(n))，Int〇表示插值函数，tBTx表示第二传输率（t2(n-l))。该里，权重值可根 据目的而被定义为常数，并可根据图像的统计特征而被自适应地应用到任意区域。图4E示 出通过应用最终传输率去除了雾的图像的示例。
[0077] 在本实施例中，第二传输率估计单元220从先前图像（n-1)计算第二传输率，并 将该第二传输率应用于输入图像（n)，即，当前图像。参照图1，第二传输率估计单元220 从输入图像（n)计算第二传输率，存储第二传输率，随后将该第二传输率应用于下一图像 (n+1) 〇
[007引空气光估计单元300从第二传输率估计单元220接收分块信息，并将先前图像 (n-1)划分成与在估计第二传输率中使用的块的数量相同数量的块。空气光估计单元300 计算包括在最亮的块中的最亮像素值作为空气光。
[0079] 该里，考虑计算量，可将计算空气光设计为；可在获得第二传输率时一起获得空气 光。根据该设计，可减少用于获得空气光的计算量。
[0080] 为了获得空气光，使用如下假设；"由于雾是大气中来自太阳的光，因此在图像中， 雾具有非常亮的值"、"受雾影响的像素值与空气光相似"。然后，参照等式1，传输率越大，雾 对图像的影响越大。因此，如果结合该两个假设，则可理解；在图像中空气光具有非常大的 亮度值，并且可在受雾影响最大的区域中获得空气光。一般来说，最亮的像素值有时可能被 选择为空气光，且在该种情况下，白色对象可能被选择，从而引起问题。因此，当基于块估计 空气光时，出现误差的可能性将减少。
[0081] 空气光估计单元300可包括代表性空气光值提取单元310和滤波单元320。
[0082] 代表性空气光值提取单元310通过将包括在先前图像（n-1)中的像素的像素值进 行比较来将亮的像素值设置为每个块的代表性空气光值，并提取先前图像（n-1)的代表性 空气光值中的最亮的代表性空气光值作为空气光。该里，当提取代表性空气光值时，为了防 止由噪声引起的误差，可获得最亮像素的像素值和最亮像素左侧和右侧的像素的像素值的 平均值，并将该平均值设置为每个块的代表性空气光像素值。当通过该方法估计空气光时， 可防止由噪声引起的失真，并且由于仅使用左侧和右侧的像素，因此可避免使用多个线存 储器（未示出）。
[0083] 滤波单元320从空气光去除噪声。当在每个图像帖中估计并应用空气光时，可能 发生由空气光的变化而引起的闪烁。因此，通过无线冲击响应（IIR)滤波，确定将被实际应 用的空气光。可通过W下等式9获得空气光。
[0084] A = aXA"+(l-a)A"_i 巧）
[008引该里，A表不最终的空气光，A。表不输入图像（n)的空气光，A。_1表不先前图像 (n-1)的空气光，a表示在输入图像（n)中应用获得的空气光的比率。a的值越小，越不会 发生闪烁，a的值越大，发生闪烁的概率将越大。
[0086] 在本实施例中，空气光估计单元300通过对从输入图像（n)估计的空气光（A。）和 从先前图像（n-1)估计的空气光（Aw)进行求和，来估计最终的空气光（A)。空气光估计单 元300存储在输入图像（n)中估计的空气光并将其应用于下一图像（n+1)中的空气光的估 计。
[0087] 图像恢复单元400通过将在传输率估计单元200中计算的最终传输率（Tt,，t (X)) 和在空气光估计单元300中计算的空气光（A)应用于等式5,来产生去除了雾的恢复图像。 [008引因此，通过凭借有效的估计从包括雾的运动图像去除雾，提高图像的画面质量。
[0089] 参照图5,现在将解释根据示例性实施例处理图像的方法。可在用于处理图像的设 备100中通过使用设备100周围的元件来执行根据实施例的处理图像的方法。在对该方法 的描述中，将省略与图1、图2、图3、图4A、图4B、图4C、图4D和图4E的描述重复的解释。
[0090] 参照图5,在操作S100,用于处理图像的设备100通过将基于像素的传输率（第一 传输率，ti(n)、tpTx)和基于块的传输率（第二传输率，t2(n-l)，tBTx)进行合成来估计最终 的传输率（t(X))，其中，基于像素的传输率通过将暗通道先验应用于包括雾分量的输入图 像（n)的当前像素而被计算，且基于块的传输率通过将暗通道先验应用于被分割成多个块 的先前图像（n-1)的每个块而被计算。该里，基于像素的传输率可被表示为第一传输率，基 于块的传输率可被表示为第二传输率。使用等式6,用于处理图像100的设备通过使用当前 像素的像素值（R/G/B值）和空气光，来计算应用了暗通道先验的基于像素的传输率（tpTx)， 从而估计第一传输率。为了估计第二传输率，用于处理图像的设备100将先前图像划分成 多个块，通过比较包括在每个块中的像素的像素值来提取具有最小像素值的像素作为代表 性像素，并提取多个块的代表性像素的像素值中的最小像素值作为代表性像素值。基于等 式7,用于处理图像的设备100通过使用提取的代表性像素值和空气光，来计算基于块的传 输率（tbJ。该里，为了去除块效应，对第二传输率进行插值。此外，第二传输率从先前图像 (n-1)计算且被应用于输入图像（n)，即，当前图像。从输入图像（n)计算的第二传输率被 应用于下一图像。用于处理图像的设备100将应用了第一权重值的第一传输率和在应用了 第二权重值之后进行插值的第二传输率进行合成。
[OOW] 用于处理图像的设备100将先前图像（n-1)划分成与在估计第二传输率中使用的 块的数量相同数量的块，并在操作S200,计算包括在最亮的块中的最亮像素值作为空气光。
[0092] 用于处理图像的设备100通过比较包括在每个块中的像素的像素值来将最亮的 像素值设置为每个块的代表性空气光值，并提取先前图像的所有代表性空气光值中的最亮 的代表性空气光值作为先前图像的空气光。该里，当提取代表性空气光值时，为了防止由 噪声引起的误差，可获得最亮的像素的像素值和最亮的像素值的左侧和右侧的像素的像素 值的平均值，并将该平均值设置为每个块的代表性空气光值。此外，当在每个图像帖中估 计并应用空气光时，会发生因空气光的变化而发生的闪烁。因此，通过无线冲击响应（IIR) 滤波，去除噪声并确定将被实际应用的空气 光。该里，通过对从输入图像（n)计算的空气光 (A。）和从先前图像（n-1)估计的空气光（Aw)进行求和来估计最终的空气光（A)。在输入 图像（n)中估计的空气光被存储并被应用于下一图像（n+1)中的空气光的估计。因此，如 果完成了最终传输率（Tt,，t(x))和空气光（A)的估计，则用于处理图像的设备100通过将 最终传输率（Tt,，t(x))和空气光（A)应用于等式5来产生去除了雾的恢复图像。
[0093] 根据示例性实施例，由图1和图2中示出的块表示的多个单元可被实施为执行上 述各个功能的多个硬件、软件和/或固件结构。例如，该些单元可使用可通过一个或更多个 微处理器或其它控制设备的控制而执行各个功能的直接电路结构（诸如存储器、处理、逻 辑、查询表等）。该些单元可由模块、程序、包含用于执行特定逻辑功能的一个或更多个可执 行指令的一部分代码具体实现。此外，上述单元中的至少一个还可包括处理器（诸如执行 各个功能的中央处理器（CPU)、微处理器等）。
[0094] 描述上述实施例的语境中（尤其在权利要求的语境中）的单数形式或其相似表述 将被解释为覆盖单数和复数两者。另外，除非该里另有指示，否则该里对值的范围的叙述仅 意图用作单独指示落在该范围内的每个单独的值的速记方法，且每个单独的值如在此分别 阐述一样包含在说明书。
[0095] 除非在此另有指示或与上下文明显相反，否则在此描述的所有方法的步骤可 任意合适的顺序执行。除非另有申明，否则在此提供的任意和所有示例或示例性的表述 (例如，"诸如"）的使用仅意图更好地阐述实施例，而不限制本发明构思的范围。在不脱离 本发明构思的精神和范围的情况下，各种修改和改变对于本领域的普通技术人员而言将更 加明显。
[0096] 应理解在此描述的示例性实施例应仅被视为描述性意义而不是为了限制的目的。 每个实施例中的特征或方面的描述应被代表性地视为可用于其它实施例中的其它相似特 征或方面。
[0097] 虽然已参照附图描述了本发明构思的一个或更多个实施例，但本领域的普通技术 人员将理解，可在不脱离由权利要求限定的本发明的构思的精神和范围的情况下做出形式 和细节上的各种改变。
【主权项】
1. 一种用于处理图像的设备，所述设备包括： 传输率估计单元，被构造为通过将包括雾分量的当前图像的当前像素的基于像素的传 输率与先前图像的多个块的基于块的传输率进行合成，来计算当前图像的传输率，其中，每 个块包括多个像素； 空气光估计单元，被构造为计算当前图像的空气光； 图像恢复单元，被构造为基于传输率和空气光产生从当前图像去除了雾分量的恢复图 像。2. 如权利要求1所述的设备，其中，传输率估计单元包括： 第一传输率估计单元，被构造为通过将暗通道先验应用于当前图像的当前像素来计算 基于像素的传输率； 第二传输率估计单元，被构造为通过将暗通道先验应用于先前图像的每个块来计算基 于块的传输率， 其中，空气光从所述多个块中的最亮的块的最亮像素值计算。3. 如权利要求2所述的设备，其中，第二传输率估计单元被构造为通过使用先前图像 的每个块中的多个像素中的最小像素值，来计算基于块的传输率。4. 如权利要求3所述的设备，其中，第二传输率估计单元包括： 分块单元，被构造为将先前图像划分成多个块； 代表性像素值提取单元，被构造为通过比较每个块中的多个像素的像素值，来提取最 小像素值作为每个块的代表性像素值； 传输率估计单元，被构造为通过使用代表性像素值来计算基于块的传输率。5. 如权利要求4所述的设备，其中，第一传输率估计单元和第二传输率估计单元被构 造为通过应用当前图像的空气光，来计算基于像素的传输率和基于块的传输率。6. 如权利要求4所述的设备，其中，第二传输率估计单元还包括： 插值单元，被构造为根据每个块的中心与当前像素之间的距离，来对每个块的传输率 和相邻块的传输率进行插值。7. 如权利要求2所述的设备，其中，传输率估计单元还包括： 合成单元，被构造为将应用了第一权重值的基于像素的传输率和在执行插值后应用了 第二权重值的基于块的传输率进行合成。8. 如权利要求1所述的设备，其中，空气光估计单元包括： 代表性空气光值提取单元，被构造为：将先前图像的每个块中的最亮像素的像素值或 最亮像素的像素值和最亮像素的左边和右边的像素的像素值的平均值设置为块的代表性 空气光值，提取所述多个块中的代表性空气光值中的最亮的代表性空气光值作为先前图像 的空气光，使用先前图像的空气光计算当前图像的空气光； 滤波器，从当前图像的空气光去除噪声。9. 如权利要求7所述的设备，其中，滤波器包括无限冲击响应（IIR)滤波器，以从当前 图像的空气光去除噪声。10. 如权利要求1所述的设备，其中，空气光估计单元计算当前图像的空气光并将当前 图像的空气光应用于下一图像的空气光的计算。11. 一种用于处理图像的方法，所述方法包括： 通过将包括雾分量的当前图像的当前像素的基于像素的传输率与先前图像的多个块 的基于块的传输率进行合成，来计算当前图像的传输率，其中，每个块包括多个像素； 计算当前图像的空气光； 基于传输率和空气光产生从当前图像去除雾分量的恢复图像。12. 如权利要求11所述的方法，其中，通过将暗通道先验应用于当前图像的当前像素 来计算基于像素的传输率，通过将暗通道先验应用于先前图像的每个块来计算基于块的传 输率， 其中，空气光从所述多个块中的最亮的块的最亮像素值计算。13. 如权利要求12所述的方法，其中，通过使用先前图像的每个块中的多个像素的最 小像素值来计算基于块的传输率。14. 如权利要求13所述的方法，其中，计算基于块的传输率的步骤包括： 将先前图像划分成多个块； 通过比较每个块中的多个像素的像素值来提取最小的像素值作为每个块的代表性像 素值； 通过使用代表性像素值来计算基于块的传输率。15. 如权利要求14所述的方法，基于像素的传输率和基于块的传输率通过应用当前图 像的空气光来计算。16. 如权利要求14所述的方法，其中，计算基于块的传输率的步骤还包括： 根据每个块的中心与当前像素之间的距离来对每个块的传输率和相邻块的传输率进 行插值。17. 如权利要求12所述的方法，其中，计算当前图像的传输率的步骤包括： 将应用了第一权重值的基于像素的传输率和在执行插值之后应用了第二权重值的基 于块的传输率进行合成。18. 如权利要求11所述的方法，其中，估计空气光的步骤包括： 将先前图像的每个块中的最亮像素的像素值或最亮像素的像素值和最亮像素左边和 右边的像素的像素值的平均值设置为块的代表性空气光值，提取所述多个块的代表性空气 光值中的最亮的代表性空气光值作为先前图像的空气光； 使用先前图像的空气光计算当前图像的空气光； 从当前图像的空气光去除噪声。19. 如权利要求11所述的方法，其中，当前图像的空气光被应用于下一图像的空气光 的计算。
【专利摘要】本发明提供了一种用于处理图像以从该图像去除雾的方法和设备。所述用于处理图像的设备包括：传输率估计单元，被构造为通过将包括雾分量的当前图像的当前像素的基于像素的传输率与先前图像的多个块的基于块的传输率进行合成，来计算当前图像的传输率，其中，每个块包括多个像素；空气光估计单元，被构造为计算当前图像的空气光；图像复原单元，被构造为基于传输率和空气光来产生从当前图像去除了雾分量的复原图像。
【IPC分类】G06T5/00
【公开号】CN104881845
【申请号】CN201410742489
【发明人】尹相珍
【申请人】三星泰科威株式会社
【公开日】2015年9月2日
【申请日】2014年12月5日
【公告号】US20150243003