图像处理装置及图像处理装置的控制方法

图像处理装置及图像处理装置的控制方法
【技术领域】
[0001] 本发明涉及一种图像处理装置和图像处理装置的控制方法，尤其涉及一种校正缺 陷像素的技术。
【背景技术】
[0002] 诸如数字照相机等摄像装置使用诸如CMOS传感器等图像传感器来拍摄图像。通 常，由于图像传感器中配设了大量像素，因此其中存在缺陷像素。作为校正此类缺陷像素的 值的技术，已知一种将从存在于缺陷像素的周边的一个或多个非缺陷像素的一个或多个值 中估计的像素值用作缺陷像素位置处的像素值的方法。在本说明书的下文中，获取在像素 为非缺陷的情况下应该被获取的缺陷位置处的像素值将被称为缺陷像素校正。
[0003] 例如，日本特开平11-220661号公报公开了一种方法，在该方法中，参照与缺陷像 素颜色相同的周边像素的值，将缺陷像素附近的被摄体的形状分类为任何预定图案，并通 过使用对应于已分类的图案的周边像素及方法来校正缺陷像素。日本特开2005-175547号 公报公开了一种方法，在缺陷像素附近的被摄体的空间频率高时使用邻接像素来检测缺陷 像素的校正中将要使用的像素的参照方向，从而实现比使用与缺陷像素颜色相同的像素的 情况更精确的插值。
[0004] 然而，利用上述专利文献中公开的传统技术可以对具有预定的特定的角度的被摄 体精确地校正缺陷像素，但在被摄体具有不同的角度的情况下存在发生错误校正的情况。 例如，考虑到被摄体具有如图13A中示出的接近水平的角度（这里大约是27度）的情况。 在图13A中，以粗框表示传统技术中的缺陷像素的校正中使用的像素的参照区域。假定缺 陷像素位置处的像素值是图13B中示出的值（0)，利用参照区域内与缺陷像素颜色相同的 像素的值（30或40)不能适当地校正缺陷像素。
[0005] 通过扩展参照区域能够提高在参照区域内发现适合于缺陷像素校正的像素值的 可能性。然而，例如，如果由于缺陷像素而使具有图13C所示的重复图案的被摄体的像素值 变为如图13D所示，则存在不能够基于两点间的差正确地检测被摄体的角度的情况。

【发明内容】

[0006] 本发明提供一种即使是包含缺陷像素的被摄体不具有特定角度时也能够实现恰 当校正缺陷像素的图像处理装置及该图像处理装置的控制方法。
[0007] 根据本发明的一方面，提供一种图像处理装置，所述图像处理装置包括：用于获取 图像的获取单元；用于基于校正目标像素的位置而设置所述图像的第一区域的第一设置单 元，所述第一区域包括在被设置为通过所述校正目标像素的关注线上的多个像素；用于设 置所述图像的多个第二区域的第二设置单元，各个所述第二区域都基于在被设置为不通过 所述校正目标像素的至少一条参照线上存在的多个像素的位置；用于计算各个所述第二区 域与所述第一区域的相关量的相关性计算单元；以及通过利用基于所述相关量确定的、各 个所述至少一条参照线上的像素的值而计算用来校正与所述校正目标像素对应的像素的 值的校正值，并利用所述校正值来校正与所述校正目标像素对应的像素的值的校正单元。
[0008] 根据本发明的另一方面，提供了一种用于控制图像处理装置的方法，所述方法包 括：用于获取图像的获取步骤；用于基于校正目标像素的位置而设置所述图像的第一区域 的第一设置步骤，所述第一区域包括在被设置为通过所述校正目标像素的关注线上的多个 像素；用于设置所述图像的多个第二区域的第二设置步骤，各个所述第二区域都基于在被 设置为不通过所述校正目标像素的至少一条参照线上存在的多个像素的位置；用于计算各 个所述第二区域与所述第一区域的相关量的相关性计算步骤；以及通过利用基于所述相关 量而确定的、各个所述至少一条参照线上的像素的值而计算用来校正与所述校正目标像素 对应的像素的值的校正值，并利用所述校正值而校正与所述校正目标像素对应的像素的值 的校正步骤。
[0009] 根据以下参照附图对实施例的详细描述，本发明的其他特征将变得清楚。
【附图说明】
[0010] 图1A和图1B是根据本发明的实施例的摄像装置和信息处理装置的框图。
[0011] 图2是示出实施例中的图像传感器中的示例性像素阵列的图。
[0012] 图3是示出第一实施例中的缺陷像素校正处理的流程图。
[0013] 图4是第一实施例中的相关量计算处理的示意图。
[0014] 图5A至图5C示出了实施例中的相关量计算处理的具体例子。
[0015] 图6是示出第二实施例中的参照线的设置的示意图。
[0016] 图7是例示第三实施例的示意图。
[0017] 图8A和图8B是例示第四实施例的示意图。
[0018] 图9是示出第四实施例中缺陷像素校正的概要的示意图。
[0019] 图10是示出第四实施例中缺陷像素校正处理的流程图。
[0020] 图11A至图11D是示出第四实施例中用于合成校正值的示例性方法的图。
[0021] 图12A和图12B是例示第四实施例中用于合成校正值的方法的图。
[0022] 图13A至图13D是示出利用传统技术很难处理的被摄体条件的例子的图。
【具体实施方式】
[0023] 将根据附图详细描述本发明的实施例。下文描述的本发明的各实施例能够被独立 地实施，或者在必要时或从各个实施例的要素或特征的组合在单个实施中是有益的时，作 为多个实施例或其特征的组合来实施。
[0024] 请注意，尽管以下实施例将描述本发明应用于摄像装置的示例，但诸如与摄影和 摄影图像的记录相关的功能等摄像装置所独有的配置不是根据本发明的图像处理装置所 必需的。可以在任何能够获取通过摄影获取的图像数据以及用于此摄影中的图像传感器中 的缺陷像素的相关信息的电子设备中实施本发明。"摄像装置"并不限于诸如数字照相机等 主要功能为摄影的装置，而是指任何具有摄影功能的电子设备。
[0025] 第一实施例
[0026] 图1A是示出作为根据本发明实施例的示例性图像处理装置的摄像装置（或图像 处理装置）100的示例性功能配置的框图。
[0027] 摄像装置100是诸如数字照相机或数字摄像机等拍摄被摄体并获取表示被摄体 的图像的数据（图像数据）的装置。光学系统101具有透镜、快门及光圈，并在CPU103的 控制下在图像传感器102上形成被摄体的光学图像。可以是诸如CCD或CMOS图像传感器 的图像传感器102在各像素处对形成的被摄体的光学图像执行光电转换，并将其转换为模 拟图像信号。CPU103将模拟图像信号转换为数字图像信号（图像数据），并将其应用于诸 如白平衡调整和色插值处理等所谓的显影处理及编码处理。CPU103通过执行程序并控制 各功能块来实现摄像装置100的各种功能。请注意，被描述为作为软件由CPU103实现的 功能中的至少一些功能可以通过硬件（即离散电路、ASIC、可编程逻辑器件等）来实现。
[0028]例如，一次存储设备104是诸如RAM等易失性存储设备，并被用作诸如CPU103的 工作区域等临时数据存储区域。例如，二次存储设备105是诸如EEPR0M等非易失性存储设 备，并存储用于控制摄像装置1〇〇的程序（固件）、CPU103执行的程序、各种设置信息等。
[0029] 例如，存储介质106(半导体存储卡）将通过摄影获取的图像数据存储为预定格式 的数据文件。例如，存储介质106可以从摄像装置100移除，并可以与诸如个人电脑等具有 访问存储介质106的功能的其他设备一起使用。换言之，摄像装置100仅需要具有访问存 储介质106的功能并能够从/向存储介质106中读出/写入数据。
[0030] 例如，显示单元107用于在摄影时显示取景器图像、显示拍摄的图像或从存储介 质106读出的图像以及显示用于交互操作的用户界面。例如，操作单元108具有诸如按钮、 开关、操纵杆以及触摸面板等输入器件，且使用户能够针对摄像装置100给出各种指令并 配置其设置。请注意，操作单元108中还包括实现诸如语音输入或视线输入等不需要物理 操作的输入方法的配置。
[0031] 通信装置109使摄像装置100能够向/从外部设备发送/接收控制命令和数据。 将要用于与外部设备通信的协议并无特别限定，其可以是例如PTP(图片传输协议）。请注 意，例如，通信装置109可以使用USB(通用串行总线）电缆等通过有线连接与外部设备通 信，或者可以使用无线LAN等通过无线连接与外部设备通信。通信装置109可以直接与外 部设备相连接，或者可以经由服务器或经由诸如互联网等网络来连接。
[0032] 在图2中，2a部分示出了本实施例中图像传感器102中的示例性像素阵列。图像传 感器102包含具有原色拜耳阵列的颜色滤波器。具体地说，其包含具有由两个水平像素X 两个垂直像素的四个像素构成的重复单位的阵列。在重复单位中，左上方的像素是红色（R) 像素、右上方和左下方是绿色（G)像素，右下方像素是蓝色（B)像素。尽管2a部分示出了 缺陷像素位于中心的非常少的一部分像素，但是其他部分也具有相同的阵列。请注意，尽管 图像传感器具有"缺陷像素 "，但是图像传感器中的像素与通过摄影获得的图像的像素是对 应关系，因此在以下描述中将对应于缺陷像素的图像中的像素称为"缺陷像素"。另外，缺陷 像素可以被称作校正目标像素。
[0033] 接下来，将描述本实施例中缺陷像素校正操作的概要。这里如图2中的2a部分中 所示出，假定R像素是缺陷像素。首先，当获取了 2a部分示出的图像时，从通过缺陷像素的 线（关注线）提取包括将要成为校正目标的缺陷像素并表示此线的特征的多个像素，并生 成由提取的像素构成的2b部分所示的特征像素序列。这里示出了关注线为水平线、提取与 缺陷像素位于相同水平坐标上且与缺陷像素颜色相同的像素从而生成特征像素序列的示 例。请注意，尽管这里给出了提取缺陷像素及位于关注线上的缺陷像素的前面和后面且与 缺陷像素颜色相同的两个像素来作为特征像素的示例的描述，但是提取特征像素的方法并 不限于此。
[0034]接下来，从与关注线平行的另一条线（参照线）上存在的像素中提取表示此线的 特征的多个像素，并生成由提取的像素构成的2c部分所示的特征像素序列。这里，示出了 在关注线上方两个像素处设置参照线、从参照线上的像素中提取与缺陷像素颜色相同的像 素以生成特征像素序列的示例。由于如稍后描述的那样计算相关量，因此从参照线提取的 特征像素的数量比从关注线提取的特征像素的数量更大。
[0035] 请注意，在本实施例中，将参照线设置为使与缺陷像素颜色相同的像素存在于线 上。因此，在诸如由拜耳阵列中的R像素和B像素等两个像素构成重复单位的情况下，将参 照线设置为使其与关注线的距离是重复单位的倍数（2n[像素]，其中n是等于或大于1的 整数）。
[0036] 2d部分中示出了从关注线和参照线生成的特征像素序列的各像素值以及从特征 像素序列的像素值生成的波形的例子。在这样从关注线和参照线上的特征像素序列生成两 个波形后，针对多个相对位置（偏移量）获得相关量，从而获得两个波形间的相关性最高的 偏移量和方向。
[0037]例如，如2e部分所示，假定由于关注线上的特征像素序列的波形偏移+2 (S卩，在向 右方向上两个像素），其与参照线上的特征像素序列的波形的相关性变为最高。由于特征像 素序列由拜耳阵列中相同颜色的像素所构成，因此偏移量（+2)X2与原始像素阵列中像素 坐标的差异相对应。因此，如2f?部分所示，发现参照线上与缺陷像素最相关的像素位于水 平坐标上距缺陷像素+4的位置处（即，在向右方向上距缺陷像素4个像素）。
[0038] 因此，例如，在最简单的方法中，可以通过将与缺陷像素最相关的像素的值用作缺 陷像素的值来校正缺陷像素。
[0039] 接下来，将通过图3中示出的流程图来描述如何利用图1A中示出的摄像装置100 实现本实施例的上述缺陷像素校正。
[0040] 首先，在步骤S301中，CPU103获得作为处理目标的图像数据。这里，图像数据可 以通过摄影而获得，或可以通过读出存储介质106中记录的图像数据而获得。或者，可以经 由通信装置109从外部设备获得。请注意，这里获得的图像数据处于缺陷像素还未被校正 的状态，例如是RAW图像数据。
[0041]CPU103在例如一次存储设备104中加载获得的图像数据。然后CPU103扫描图 像数据的各像素，同时针对根据步骤S302中的确定是缺陷像素的关注像素应用步骤S302 至S307中的处理。请注意，尽管在步骤S302中确定图像数据的各关注像素是否为图3的示 例中的缺陷像素，但可以使用缺陷像素的位置信息对缺陷像素依次执行步骤S303至S307 中的处理。
[0042] 例如，缺陷像素的信息可以是在制造摄像装置100时存储在二次存储设备105中 的缺陷像素信息。另外，例如，可以从诸如在启动摄像装置1〇〇时等特定条件下拍摄的图像 中检测出图像传感器102中的缺陷像素，其位置信息可以存储在二次存储设备105中。此 时，可以利用通过随后的检测处理所获得的缺陷像素信息而更新制造时存储的信息。可以 将缺陷像素信息记录为图像数据的附加信息。
[0043]现在将描述针对根据上述确定是缺陷像素的像素所执行的步骤S303及随后的步 骤中的处理。在步骤S303中，CPU103生成关注线上的特征像素序列（第一像素序列）。 例如，如利用图2中的2b部分所描述的，此步骤可以是用于提取与缺陷像素存在于相同水 平坐标上的与缺陷像素具有相同颜色的像素并生成特征像素序列的处理。请注意，如其他 实施例中所描述的，可以使用其他方法执行特征像素的提取。
[0044] 接下来，在步骤S304中，CPU103生成参照线上的特征像素序列（第二像素序 列）。这里同样地，如利用图2中2c部分所描述，此步骤可以是例如用于提取位于被设置为 关注线上方两个像素的参照线上的与缺陷像素具有相同颜色的像素并生成特征像素序列 的处理。
[0045] 在步骤S305中，为了确定适合缺陷像素校正所参照的像素值，在改变从关注线和 参照线生成的特征像素序列的相对位置的同时，CPU103检测相关性最大的偏移量。
[0046] 以下将利用图4来描述步骤S305中相关量计算处理的具体示例。
[0047] 在该实施例中，在关注线上的特征像素序列和与关注线上的特征像素序列具有相 同数量的像素的参照线上的特征像素序列的部分（参照线中的区域）之间计算相关量。每 当序列间的偏移量改变，则利用参照线上的特征像素序列的不同区域计算针对该偏移量的 相关量。因此，参照线上的特征像素序列可以被视为包括多个像素区域。
[0048] 图4示意性示出了在相对于关注线上的特征像素序列而将参照线上的特征像素 序列偏移X个像素（X是整数，其为正时表示向右的方向、其为负时表示向左的方向）时计 算相关量的示例。CPU103合计各偏移量（相对的位置）中通过各箭头所连接的像素值之 间的异。例如，假定被计算相关性的像素的数量是2W+1(W是正整数），关注线上的特征像素 序列的指数i(参见图4)处的像素值是Ti，以及参照线上的特征像素序列的指数i处的像 素值是Ri。此时，通过以下等式计算偏移量X时的相关量Sx。
[0049]
[0050] 换言之，相关量Sx越小代表相关性越高。请注意，在目前所述的方法中，从关注线 提取包括缺陷像素的特征像素以生成特征像素序列。为此，缺陷像素的值（T0)不可以用于 计算相关值。因此，例如仅当i= 〇时获得将要加到等式（1)中的相关量为〇的相关量Sx。
[0051] 可以从针对预定范围内的多个偏移量而计算出的相关值Sx中获得最小相关值Sx 的偏移量X中确定用于校正缺陷像素的参照像素的位置。例如，如果在偏移量X= +2时相 关量Sx是最小值，则确定与缺陷像素具有相同颜色的像素中位于缺陷像素向右两个像素 位置处的像素（即，位于参照线上从缺陷像素向右四个像素位置处）是参照像素。
[0052] 图5A是示出步骤S305中相关量计算处理的具体示例的流程图。首先，在步骤 S1701中，CPU103利用用作开始系数的-W替代X，此后，在步骤S1702中，初始化最小相关 量Smin及最小相关量时的偏移量Xmin。此后，CPU103执行步骤S1703至S1706中的处 理，同时在步骤S1705中递增X。
[0053] 在步骤S1703中，CPU103确定在这个时间点计算出的相关量Sx是否小于最小相 关量Smin,如果Sx<Smin则处理进入到步骤S1704,而如果Sx彡Smin则处理进入到步骤 S1705。请注意，当是第一次计算相关量Sx时（这里是X= -W的情况下），CPU103推进处 理进入步骤S1704。
[0054] 在步骤S1704中，CPU103利用当前的相关量Sx更新最小相关量Smin。同样利用 X的当前值更新对应于最小相关量Smin的偏移量Wmin。然后，在步骤S1705中，CPU103递 增X，而在步骤S1706中，CPU103确定是否已对全部偏移范围执行了处理。如果已对全部 偏移范围执行了处理则CPU103结束处理，而如果还存在未经过处理的数据则将处理返回 到步骤S1703。利用上述处理，可以获得偏移范围内的最小相关量Smin以及可以用来获得 最小相关量的偏移量Wmin。
[0055] 请注意，图5A中示出的用于相关量计算处理的方法仅是示例，可以使用任何可以 获得相似结果的其他方法。例如，不是必须从最小值而递增偏移量X，可以以任何顺序改变 值，只要可以计算出对应于各偏移量的相关值即可。另外，可以存储对应于各偏移量的所有 相关值，并且可以最后选择对应于最小相关值的偏移量。
[0056] 在这样基于特征像素序列的相关量而确定参照像素的位置后，CPU103在步骤 S306中计算相关量。在最简单的情况下，校正值可以是参照像素的值，但可以使用其他方法 计算校正值。例如，可以使用从参照像素的值及参照像素的周边像素的值中计算出的诸如 颜色差等特征量来校正缺陷像素。
[0057] 在步骤S306中计算出校正值后，在步骤S307中，CPU103使用校正值校正缺陷像 素。此后，在步骤S308中，CPU103确定是否已完成像素扫描，并重复执行 步骤S302至S307 直到扫描完成。
[0058] 请注意，尽管本实施例描述了在水平方向上设置关注线和参照线的示例，但对于 关注线和参照线所设置的角度并无限制，可以在诸如垂直方向或倾斜方向等任何方向上设 置关注线和参照线。
[0059] 尽管本实施例将参照线设置在通过缺陷像素的关注线上方两个像素处，但可以以 其他距离或在其他方向上设置参照线。例如，可以在关注线下方两个像素处设置参照线，或 可以分别在关注线上方及下方两个像素处来设置参照线，或可以将从各参照线上确定的参 照像素中计算出的校正值取平均值。这样，通过在与关注线正交的方向（垂直方向）上设 置多个参照线以及利用各参照线上计算出的校正值，可以执行也反映垂直方向上的信号水 平的变化的精确插值。与在关注线的一侧设置多个参照线的情况相比，在关注线两侧都设 置参照线时可以在关注线附近设置许多参照线并可以执行精确插值。
[0060] 此外，尽管本实施例描述了拜耳阵列中的R像素是缺陷像素的示例性情况，但即 使缺陷像素是B像素或G像素，本发明也同样适用。
[0061] 如上文所述，根据本实施例，基于包括缺陷像素的关注线与参照线之间的相关量 确定参照像素。因此，不管被摄体的形状如何都可以确定适合于缺陷像素校正的参照像素。 此外，在扩大参照区域的同时可以减少错误校正的负面影响。
[0062] 第二实施例
[0063] 第一实施例描述了缺陷像素是诸如拜耳阵列中的R像素或B像素等在颜色滤波器 的各重复单位中出现一次的颜色的像素的情况下的校正方法。本实施例涉及缺陷像素是诸 如拜耳阵列中的G像素等出现在各像素线的像素的情况下的校正方法。
[0064] 在拜耳阵列中的R像素或B像素是缺陷像素的情况下，由于重复单位由两个像素 构成，因此与缺陷像素具有相同颜色的像素不存在于邻接的像素线中，而位于与缺陷像素 分开至少两个像素的位置处，从而在与关注线分开两个像素的像素线上设置参照线。然而， 例如，如果G像素是如图6的6a部分中的缺陷像素，则与缺陷像素具有相同颜色的像素存 在于邻接的像素线上。因此，如图6的6c部分所示，可以在与关注线平行且与其分开一个 像素的像素线上设置参照线。
[0065]因此，如果可以在邻接的像素线上设置参照线，那么由于关注线和参照线间的距 离更短，因此可以比在分开两个像素的像素线上设置参照线的情况更为精确地计算出相关 量。然而，由于在拜耳阵列中邻接的像素线上的G像素的坐标彼此偏移一个像素，因此在利 用使特征像素序列间的相关性为最高（即，相关值Sx为最小）的偏移量X而获得参照像素 位置时，需要考虑此偏移。
[0066]例如，如果如图6中的6b部分和6c部分所75而生成特征像素序列，贝U与偏移量 为〇的缺陷像素相对应的像素是参照线上水平坐标比缺陷像素小（即，缺陷像素的左方） 一个像素的像素。因此，如果获得了偏移量X，则确定参照线上水平坐标从缺陷像素偏移 (XX2-1)的像素是参照像素。例如，如果在偏移量X= 2时相关为最高，则如图6的6d部 分所示，确定参照线上与缺陷像素的水平坐标分开（2X2-1) =+3个像素的像素（S卩，从缺 陷像素向右分开三个像素的像素）是参照像素。
[0067]根据本实施例，在与缺陷像素具有相同颜色的像素存在于邻接的像素线上时，可 以更加精确地校正缺陷像素。请注意，可以将缺陷像素的颜色与缺陷像素的位置信息相关 联地存储，或者可以使用与位置信息分开地存储的信息来计算缺陷像素的颜色。请注意，例 如，摄影中使用的图像传感器中设置的颜色滤波器的颜色排列图案的信息可以存储于二次 存储设备105中，或可以从图像数据的附加信息中获得。因此，可以配置为根据颜色滤波器 的颜色排列图案和缺陷像素的颜色而有选择地执行第一实施例和本实施例。
[0068]第三实施例
[0069]第一实施例和第二实施例描述了在缺陷像素是孤立的情况下的校正方法。本实施 例将描述在相同颜色的缺陷像素连续存在的情况下的校正方法。由于制造的公差或经年劣 化出现这样的缺陷像素，并且如图7的7a部分中所示，在图像传感器中配置用于焦点检测 的像素的情况下也出现这样的缺陷像素。由于焦点检测像素生成用于执行相位差检测方法 中的焦点检测的信号，因此它们的光接收的范围比普通像素更窄，或者其中未设置颜色滤 波器，因此所获得的像素值与普通像素的像素值不同。因此，如图7的7b部分所示，需要考 虑到这些焦点检测像素将是连续的相同颜色的缺陷像素而执行校正。
[0070]假设如上述实施例中关注线在水平方向上，那么不可以使用第一实施例中描述的 利用缺陷像素和存在于关注线上的与缺陷像素具有相同颜色的像素而生成特征像素序列 的方法。
[0071]在本实施例中，使用与上述实施例不同的方法生成关注线和参照线上的特征像素 序列。具体地说，在图3中的步骤S303中用于生成关注线上的特征像素序列的处理中，如 图7的7c部分中那样，CPU103提取与缺陷像素的颜色"不同"的与缺陷像素处于相同的水 平坐标的像素作为特征像素。这里，由于使用拜耳阵列颜色滤波器且缺陷像素是R像素，因 此从关注线提取出G像素以生成特征像素序列。
[0072]另外，由于缺陷像素是R像素，因此如第一实施例中那样，CPU103在分开（此处 为在上方）构成颜色滤波器的重复单位的两个像素的位置处来设置参照线。然后，在步骤 S304中，与7d部分（图7)所示的关注线一样，CPU103提取参照线上与缺陷像素颜色"不 同"的像素作为特征像素以生成特征像素序列。与关注线一样，由于参照线上的颜色滤波器 的颜色排列与关注线的相同，因此从参照线提取相同的G像素以生成特征像素序列。
[0073] 在检测出特征像素序列间的相关量为最小的偏移量后，通过将位于与缺陷像素分 开该偏移量的位置处的像素用作参照像素而执行校正。由于在将缺陷像素的位置视为偏移 量〇时确定了参照像素，因此参照像素是与缺陷像素具有相同颜色的像素。
[0074] 请注意，在诸如拜耳阵列中的G像素等存在于邻接的像素线上的颜色的像素连续 为缺陷像素的情况下，将参照线设置为使关注线和参照线上的特征像素序列由相同颜色的 像素构成。
[0075] 另外，例如，尽管如本实施例中那样使用与缺陷像素颜色不同的像素的值生成特 征像素序列，但也可以使用包括邻接像素的多个像素的平均像素值。
[0076] 如上文所述，同样，在本实施例中，可以实现与上述实施例中相同的效果。
[0077] 请注意，尽管这里描述了在相同颜色的缺陷像素连续存在时使用与缺陷像素颜色 不同的像素执行的校正，但在校正孤立的缺陷像素的情况下也可以执行与本实施例中相同 的校正。例如，可以将第一实施例配置为提取关注线和参照线上的G像素作为特征像素。 [0078] 第四实施例
[0079] 上述实施例已描述了从设置在与关注线在垂直方向上分开颜色滤波器的一个重 复单位的像素线上的或与关注线邻接的像素线上的参照线获得参照像素的情况。换言之， 即为关注线和参照线在水平方向上显著相关的情况。
[0080] 然而，在图8A中示出的具有接近水平的角度的重复图案的被摄体的情况下，与关 注线在垂直方向上分开颜色滤波器的一个重复单位的像素线或与关注线邻接的像素线并 不显著相关。请注意，尽管图8A示出了如第三实施例中那样连续存在缺陷像素的情况，但 在孤立的缺陷像素的情况下可能发生同样的问题。
[0081] 这样，在使用具有接近水平的角度的被摄体中所包含的关注线以及未包含在该被 摄体中的参照线的情况下，即使通过在水平方向上偏移特征像素序列而获得了相关量，但 是除非偏移量在相当大的范围内变化，否则不太可能确定适当的参照像素。如果使用不适 当的参照像素校正缺陷像素，则会发生错误的校正，从而出现与原始像素值大为不同的像 素值。尤其是，在具有重复形状的被摄体中重复发生错误校正，并且生成了被摄体原本不具 有的重复图案。
[0082] 如图8A中所示，在缺陷像素包含在具有接近水平的角度的重复形状的被摄体中 的情况下，通过扩大垂直搜索区域而不是扩大水平搜索区域更容易找到适当的参照像素 (具有与缺陷像素相同或相近的值的像素）。然而，如图8B中所示出，如果仅在垂直方向上 扩大搜索区域，则关注线和参照线间的距离增加，因此存在特征像素序列间的相关量的精 确度降低的情况。例如，此类情况包括在与缺陷像素在垂直方向上分开四个像素的位置处 的像素中出现与缺陷像素中的被摄体不同的被摄体的情况。在这种情况下，可能由于参照 不同的被摄体的像素值而对缺陷像素执行错误校正。本实施例提供一种在垂直方向上扩展 参照区域的同时能够抑制错误校正的校正方法。
[0083] 图9是示意性示出本实施例中的缺陷像素校正的概要的图。处理1001和1002表 示以与第三实施例中相同的方式利用与关注线的距离不同的参照线A和B确定参照像素的 处理。在处理1001中，将关注线上方两个像素处的像素线设置为参照线A，而在处理1002 中，将关注线上方四个像素处的像素线设置为参照线B。最终校正值是利用各参照线上确定 的参照像素而获得的，并用于缺陷像素的校正。
[008 4] 图10是示出本实施例中的处理的流程的流程图，与图3中相同的处理被赋予相同 的附图标记。从图3与图10的比较可以清楚看出，第三实施例（第一实施例，缺陷像素是 孤立的情况）中的处理是分别在参照线A和B上执行的，且所获得的校正值被合成以获得 缺陷像素的校正值。
[0085] 本实施例的特征在于在步骤S1110中将针对各个不同的参照线计算出的校正值 进行合成。在步骤S1110中，CPU103将从参照线A计算出的校正值Qa与从参照线B计算 出的校正值Qb进行合成。这里，假设合成率是a(0<a< 1)，那么通过以下等式计算最 终校正值Q。
[0086] Q=aXQa+(l-a)XQb (2)
[0087] 接下来，将描述三个使用不同评价标准的示例作为确定合成率a的方法。
[0088] 首先，将描述根据最小相关量确定合成率a。在这种情况下，根据参照线A上的最 小相关量Sa与参照线B上的最小相关量Sb间的差大小、利用步骤S305A和步骤S305B的 相关量计算处理中获得的相关量而确定合成率假设最小相关量间的差为Ssub，则
[0089]Ssub=Sa-Sb(3)
[0090] 图11A中示出了最小相关量的差Ssub与合成率a之间的示例性关系。如上文所 述，由于随着相关量变小则两个特征像素序列间的相关更高，因此随着相关量的差Ssub变 小则使得从参照线A计算出的校正值Qa的比率（合成率a)更大。另外，相关量的差Ssub 越大，则使得合成率a更小，而使得从参照线B计算出的校正值Qb的比率（1-a)更大。 [0091] 第二，将描述根据关于关注像素的方向检测结果而确定合成率a。由于本实施例 对具有接近水平角度的重复形状的被摄体尤为有效，因此利用例如缺陷像素周边的被摄体 的方向的检测结果而确定合成率a。尽管对于方向检测方法并无限制，但是作为示例性的 简单方法，如图11B中所示，假定邻接缺陷像素的像素值为GpGu、心及GD，则可以计算出水 平度H如下。
[0092] H = | Gy-G,, | -1 Gl-Ge⑷
[0093] 水平度H的较大值表示水平方向的被摄体的可能性较高。由于该水平度H是从缺 陷像素的邻接像素的值中获得的，因此较大的水平度H表示缺陷像素存在于接近水平角度 的被摄体的边缘部分中的可能性较高。因此，在水平度H大的情况下，可以认为与关注线分 开更多的参照线更为可信。
[0094] 因此，如图11C中所示，水平度H越小，则使从更靠近的参照线A计算出的校正值 Qa的比率（合成率a)更大；而水平度H越大，则使合成率a更小且使从更远的参照线B 计算出的校正值Qb的比率（1-a)更大。
[0095] 第三，将描述根据关注线和参照线之间的数据倾斜的差异而确定合成率a。例如， 在被摄体如图12A所示的情况下，由于透镜像差特性等的影响，存在图12A中的区域X与区 域B的光学特征彼此相似而区域X与区域A的光学特征不同的情况。
[0096] 例如，在从关注线、参照线A及参照线B生成的特征像素序列具有图12B中所示的 像素值的情况下，通过等式（1)计算的参照线A上的特征像素序列的相关量Sx较小。然而， 存在如上文所述的、参照线A通过的区域A与关注线通过的区域X具有不同的光学特征的 情况，而在这种情况下，可以使用利用参照线B所获得的校正值。
[0097] 例如，可以基于诸如连接各条线上的特征像素序列的两端处的像素值的线的倾斜 的差异大小等特征像素序列间的像素值的变化倾向的差异而确定光学特征是否不同。例 如，在图12B的示例中，连接具有相似光学特征的关注线和参照线B上的各特征像素序列的 两端处的像素值的线具有相似的倾斜。另一方面，连接具有不同的光学特性的参照线A上 的特征像素序列的两端处的像素值的线的倾斜为负，且与针对关注线而获得的倾斜大为不 同。可以通过例如以下等式来计算表示关注线与各参照线之间在特征像素序列的像素值的 变化倾向上的这种差异的指数G。
[0098] G= (TnwDTff) □ (Rnw+XDRff+X) (5)
[0099] 由于指数G表示连接特征像素序列的两端处的像素值的线的倾斜差异，因此较小 值表示参照线和关注线的特征像素序列的像素值以类似的方式变化。可以根据关于关注线 和参照线A所获得的指数Ga与关于关注线和参照线B所获得的指数Gb之间的差Gsub= Ga-Gb而确定合成率a。具体地，如图11D中所示，Gsub的值越小，则使从参照线A计算出 的校正值Qa的比率（合成率a)更大；而Gsub的值越大，则使合成率a更小而使从参照 线B计算出的校正值Qb的比率（1-a)更大。
[0100] 注意，在考虑到各条线上的特征像素序列的像素值的变化倾向时，可以通过获得 微分值的差而计算相关量。在这种情况下，从以下等式（6)中获得相关量。
[0101]
[0102] 请注意，图11A、11C及11D中示出的合成率a的值与各评价标准的值之间的关系 仅是示例，可以基于其它关系而确定合成率还可以基于与上述三种评价标准不同的评 价标准来确定合成率a。另外，可以选择基于多个不同的评价标准所确定的合成率中的一 个，或者可以使用这些合成率的加权平均数。在上述情况下，可以根据从图像中获得的被摄 体的特征量等而确定选择或权重。
[0103] 尽管已描述了使用两个参照线的情况，但也可以使用三个或更多个参照线。参照 线不仅可以被设置在关注线的上方，也可以设置在关注线的下方。
[0104] 如上文所述，根据本实施例，设置了与关注线的距离不同的多个参照线，并从关于 各参照线所获得的校正值中获得最终校正值。因此，与从一个参照线中确定参照像素的情 况相比，可以针对多个被摄体获得适当的参照像素或校正值，且可以更适当地校正缺陷像 素。
[0105] 特别是，即使被摄体具有接近关注线的方向的方向上的边缘或者具有重复图案， 也可以抑制错误校正，并可以提高缺陷像素校正的精确度。
[0106] 第五实施例
[0107] 接下来将描述本发明的第五实施例。第一实施例利用图5A描述了用于获得相关 量Sx最小的偏移量X的示例性方法。在图5A的处理中，如果在偏移范围内获得的相关量Sx不变，则永不满足步骤S1703中的条件（除了最初计算相关量Sx的情况），从而作为结 果获得的Xmin是初始值（-W)。在这种情况下，尽管无论偏移量如何都计算出相同的相关 量，但参照偏移范围内离缺陷像素最远位置处的像素来校正缺陷像素。
[0108] 例如，如图5B所示，假设存在具有相似G值而不同R值的被摄体A和B、出现被摄 体A的R像素是缺陷像素的情况。另外，假设此时使用如第三实施例中描述的提取关注线 上与缺陷像素的颜色不同的像素作为特征像素的方法。在图5B中示出的水平区域为参照 区域的情况下，被摄体A和B的G值相同，因此各偏移量X的相关量Sx相同。因此，如果执 行了图5A中的处理，则参照图5B中的左上的像素计算校正值，在参照线上该像素离缺陷像 素最远。然而，由于被摄体B出现在该像素中且其R值与被摄体A的R值不同，因此缺陷像 素校正的精确度降低。本实施例涉及可以减少上述问题的校正方法。
[0109] 具体地，用于检测相关量Sx最小的偏移量的处理（图3中的S305)与第一实施例 (及第三实施例）不同。图5C是示出本实施例中的相关量计算处理的具体示例的流程图。 与图5A中相同的处理被赋予相同的附图标记，这里将省略重复描述。
[0110] 在完成步骤S1702中的变量的初始化之后，在步骤S1710中，CPU103确定当前偏 移量X是等于或小于0还是为正数。如果偏移量X等于或小于0,则CPU103将处理推进至 步骤S1711，而如果偏移量X是正数，则CPU103将处理推进至步骤S1712。
[0111] 在步骤S1711中，CPU103确定当前相关值Sx是否小于或等于最小相关量Smin。 如果当前相关值Sx小于或等于最小相关量Smin，则CPU103将处理推进至步骤S1704,而 如果当前相关值Sx大于最小相关量Smin，则CPU103将处理推进至步骤S1705。请注意， 如果X是初始值（=-X)，则CPU103将处理推进至步骤S1704。如果根据步骤S1711中 的确定处理当如相关值Sx等于最小相关量Smin，则更新对应于最小相关量Smin的偏移量 Xmin〇
[0112] 另一方面，在步骤S1712中，CPU103确定当前相关值Sx是否小于最小相关量 Smin。如果当前相关值Sx小于最小相关量Smin，则CPU103将处理推进至步骤S1704,而 如果当前相关值Sx大于或等于最小相关量Smin，则CPU103将处理推进至步骤S1705。如 果根据步骤S1712中的确定处理当前相关值Sx等于最小相关量Smin，则不更新对应于最小 相关量Smin的偏移量Xmin。
[0113] 因此，如果在整个偏移范围中获得相同的相关值Sx，则在偏移量为负数或0时更 新对应于最小相关量Smin的偏移量Xmin，而在偏移量位于正数范围内时不更新对应于最 小相关量Smin的偏移量Xmi n。因此,在相关量计算处理中获得的偏移量Xmin为0。如上 文所述，根据本实施例，如果存在多个获得最小相关量Smin的偏移量，则检测出具有最小 绝对值的偏移量。
[0114] 偏移量的绝对值越低，缺陷像素与用于校正该缺陷像素的参照像素间的距离越 短，因此可以利用本实施例中的相关量计算处理、通过参照高度相关且位于可能范围内最 接近缺陷像素的位置处的像素而计算校正值。
[0115] 请注意，图5C中示出的相关量计算处理的方法仅是示例，可以使用获得类似结果 的任何其他方法。例如，不是必须从最小值增加偏移量X，可以以任何顺序改变值，只要可以 计算出对应于各偏移量的相关值即可。另外，可以存储获得最小相关值的所有偏移量，并且 可以选择参照线上相应像素位置最接近缺陷像素的偏移量。
[0116] 如上文所述，根据本实施例，如果对多个偏移量获得了相同的相关量，则计算相关 量从而存储多个偏移量中具有最小绝对值的偏移量。因此，例如，如果在整个偏移范围中获 得相同的相关量，则检测出偏移量〇为对应于最小相关值的偏移量，并可以参照离缺陷像 素的距离短的像素而执行校正。
[0117] 其他实施例
[0118] 尽管上文描述了本发明的实施例，但本发明并限于这些实施例，可以在权利要求 限定的范围内以各种方式对本发明进行修改或改变。
[0119] 尽管上述实施例仅描述了在水平方向上设置关注线的情况，但也可以在其他方向 上设置关注线。例如，如果检测到被摄体的边缘存在于缺陷像素的附近，则可以在适合被摄 体特征的方向上设置关注线，例如在与该边缘相交的方向上设置关注线。
[0120] 可以根据摄像条件或特征分析结果而有选择地使用或组合上述实施例中的一些 实施例。
[0121] 尽管上述实施例描述了对利用配置有具有原色拜耳阵列的颜色滤波器的图像传 感器所拍摄的图像的校正，但同样也可以对利用配置有具有其他类型的重复图案的颜色滤 波器的图像传感器所拍摄的图像进行校正。
[0122] 图1B是示出了充当根据实施例的其他图像处理装置示例的信息处理装置200的 示例性功能配置的框图。在图1B中，显示单元201被用来显示摄影图像或显示用于交互操 作的用户界面。包括例如键盘、鼠标、触摸板等的操作单元202使用户能对信息处理装置 200发出各种指令并配置其设置。CPU203通过执行0S和应用程序并控制各功能块而实现 根据上述实施例的缺陷像素校正处理。
[0123] 一次存储设备204是诸如RAM等易失性存储设备，并被用作诸如CPU103的工作 区域等临时数据存储区域。二次存储设备205是诸如硬盘驱动器、SSD或EEPR0M等非易失 性存储设备，存储0S、固件、应用程序、各种设置信息等。
[0124] 通信装置206使信息处理装置200能够向/从外部设备传输/接收控制命令和数 据。请注意，例如，通信装置206可以使用USB(通用串行总线）电缆等通过有线连接而与 外部设备通信，或者可以使用无线LAN等通过无线连接而与外部设备通信。通信装置206 可以直接与外部设备相连接，或者可以经由服务器或经由诸如互联网等网络来连接。
[0125] 通信装置206也可以包括访问诸如摄像装置100的存储介质106等可拆除记录介 质的功能。通过将从摄像装置拆除的记录介质附装到通信装置206上，可以将图像数据从 记录介质加载到信息处理装置200中。
[0126] 其它实施例
[0127] 本发明的实施例还可以通过如下的方法来实现，S卩，通过网络或者各种存储介质 将执行上述实施例的功能的软件（程序）提供给系统或装置，该系统或装置的计算机或是 中央处理单元（CPU)、微处理单元（MPU)读出并执行程序的方法。
[0128] 虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的 示例性实施例。应当对下列权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例 以及等同的结构及功能。
【主权项】
1. 一种图像处理装置，所述图像处理装置包括： 用于获取图像的获取单元； 用于基于校正目标像素的位置而设置所述图像的第一区域的第一设置单元，所述第一 区域包括在被设置为通过所述校正目标像素的关注线上的多个像素； 用于设置所述图像的多个第二区域的第二设置单元，各个所述第二区域都基于在被设 置为不通过所述校正目标像素的至少一条参照线上存在的多个像素的位置； 用于计算各个所述第二区域与所述第一区域的相关量的相关性计算单元；以及 通过利用基于所述相关量确定的、各个所述至少一条参照线上的像素的值而计算用来 校正与所述校正目标像素对应的像素的值的校正值，并利用所述校正值来校正与所述校正 目标像素对应的像素的值的校正单元。2. 根据权利要求1所述的图像处理装置，其中，所述校正目标像素是与生成所述图像 的图像传感器中的缺陷像素相对应的像素。3. 根据权利要求1所述的图像处理装置，其中，所述校正单元利用针对各个所述至少 一条参照线基于所述多个第二区域中的、获得与所述第一区域相关性最高的所述多个第二 区域中的一个所指定的各个所述至少一条参照线上的像素的值而计算所述校正值。4. 根据权利要求1所述的图像处理装置，其中，如果存在获得与所述第一区域最高相 关性的多个第二区域，则所述校正单元利用由所述多个第二区域指定的参照线上的多个像 素中距离与所述校正目标像素相对应的像素的距离最短的像素的值而计算所述校正值。5. 根据权利要求1至4中的任一项所述的图像处理装置，其中，所述第一设置单元提取 与对应于所述校正目标像素的所述像素颜色相同的像素并设置所述第一区域，以及，所述 第二设置单元提取与所述第一设置单元提取的所述像素颜色相同的像素并设置所述多个 第二区域。6. 根据权利要求1至4中的任一项所述的图像处理装置，其中，所述第一设置单元提取 与对应于所述校正目标像素的所述像素颜色不同的像素并设置所述第一区域，以及，所述 第二设置单元提取与所述第一设置单元提取的所述像素颜色相同的像素并设置所述多个 第二区域。7. 根据权利要求1至4中的任一项所述的图像处理装置，其中，所述第二设置单元针对 离所述关注线距离不同的多个参照线中的各个而设置所述多个第二区域。8. 根据权利要求7所述的图像处理装置，其中，所述校正单元利用存在于所述多个参 照线的各个上的像素的值而计算多个校正值、合成所述多个校正值并计算最终校正值。9. 根据权利要求8所述的图像处理装置，其中，所述校正单元合成所述多个校正值，从 而使得利用基于所述各个第二区域与所述第一区域的相关量中表示较高相关性的相关量 所确定的像素值而获得的校正值的比率较大。10. 根据权利要求8所述的图像处理装置，其中，所述校正单元合成所述多个校正值， 从而使得出现在对应于所述校正目标像素的所述像素中的被摄体的方向越接近所述关注 线的方向，则利用基于关于从离所述关注线距离较大的所述参照线生成的第二区域所计算 出的相关量而确定的像素值所获得的校正值的比率越大。11. 根据权利要求8所述的图像处理装置，其中，所述校正单元合成所述多个校正值， 从而使得利用基于所述各个第二区域与所述第一区域的所述相关量中像素值的变化倾向 与所述第一区域的像素值的变化倾向的差别较小的第二区域的相关量而确定的像素值所 获得的校正值的比率较大。12. 根据权利要求1至4中的任一项所述的图像处理装置，其中，各个所述至少一条参 照线与所述关注线间的距离等于在生成所述图像的图像传感器中配设的颜色滤波器的重 复单位的倍数。13. -种用于控制图像处理装置的方法，所述方法包括： 用于获取图像的获取步骤； 用于基于校正目标像素的位置而设置所述图像的第一区域的第一设置步骤，所述第一 区域包括在被设置为通过所述校正目标像素的关注线上的多个像素； 用于设置所述图像的多个第二区域的第二设置步骤，各个所述第二区域都基于在被设 置为不通过所述校正目标像素的至少一条参照线上存在的多个像素的位置； 用于计算各个所述第二区域与所述第一区域的相关量的相关性计算步骤；以及 通过利用基于所述相关量而确定的、各个所述至少一条参照线上的像素的值而计算用 来校正与所述校正目标像素对应的像素的值的校正值，并利用所述校正值而校正与所述校 正目标像素对应的像素的值的校正步骤。
【专利摘要】本发明公开一种图像处理装置及图像处理装置的控制方法。从存在于被设置为通过与校正目标像素对应的像素的关注线上的多个像素而生成图像的第一区域。生成多个第二区域，各个第二区域都是基于存在于被设置为不通过所述校正目标像素的至少一条参照线上的多个像素的位置。利用基于各个第二区域与第一区域的相关量而确定的各个所述至少一条参照线上的像素的值而校正与校正目标像素对应的像素的值。
【IPC分类】H04N5/367
【公开号】CN104883519
【申请号】CN201510085503
【发明人】古谷浩平
【申请人】佳能株式会社
【公开日】2015年9月2日
【申请日】2015年2月17日
【公告号】DE102015102772A1, US20150244956