图像处理方法、图像处理装置和图像拾取装置的制作方法
专利名称：图像处理方法、图像处理装置和图像拾取装置的制作方法
技术领域：
本发明涉及用于减少包含于图像中的图像模糊成分和畸变成分的图像处理技术。
背景技术：
通过由诸如数字照相机的图像拾取装置捕获被照体的图像而获取的图像包含图像模糊成分，该图像模糊成分为由图像拍摄光学系统(以下，简称为“光学系统”)的球面像差、慧形像差、像场弯曲或像散等导致的图像劣化成分。这种图像模糊成分的产生是由于从被照体的一个点发射的光束在图像拾取表面上形成具有一定发散性的图像，该光束在没有像差或衍射时一般会聚于一个点上。这种图像模糊成分在光学上由点扩散函数(PSF)表达，并且与由散焦导致的模糊不同。可以说，由光学系统的纵向色差、球面色差或慧形色差导致的彩色图像中的颜色模糊在光的各波长的模糊程度之间不同。作为用于校正图像模糊成分的方法，已知存在使用光学系统的光学传递函数 (OTF)的信息的校正方法。该方法被称为“图像恢复”。以下，用于通过使用光学系统的光学传递函数(OTF)的信息来校正(减少)图像模糊成分的处理被称为“图像恢复处理”。图像恢复处理的概要如下。当g(X，y)代表包含图像模糊成分的劣化图像(输入图像)、f (X，y)代表未劣化的原图像、h(x, y)代表作为光学传递函数的傅立叶对的点扩散函数(PSF)、*代表卷积并且(x，y)代表图像上的坐标时，建立以下的表达式。g(x，y) =h(x，y) * f(x，y)。当通过傅立叶变换将上式转换为二维频率表面的形式时，该表达式被表达为采取各频率的积的形式的下式G (u，v) = H (u，ν) · F (u，ν)这里，H表示点扩散函数(PSF)的傅立叶变换的结果，换句话说，表示光学传递函数(OTF)，并且，(u，ν)表示二维频率表面上的坐标，换句话说，表示频率。为了从劣化的图像获取原图像，仅需要如下式那样将该式的两侧除以H G(u，v)/H(u，ν) = F(u，ν)。通过逆傅立叶变换使F(u，ν)返回实表面，使得能够获取等同于原图像f (X，y)的恢复图像。当R代表H—1的逆傅立叶变换的结果时，通过如下式所表示地对于实面中的图像执行卷积处理来类似地使得能够获取原图像g(x，y) * R(x，y) * = f(x，y)。式中的R(X，y)被称为“图像恢复过滤器”。实像包含噪声成分，由此，如上面描述的那样使用通过取光学传递函数(OTF)的完全逆数所产生的图像恢复过滤器与劣化的图像一起导致噪声成分的放大。因此，一般不能获取良好的图像。在这一点上，已知存在用于根据图像信号与噪声信号的强度比抑制图像的高频率侧恢复率的诸如使用Wiener过滤器的方法。基本上通过例如由图像模糊成分校正使各颜色成分的模糊量均勻来校正由颜色模糊成分导致的图像的劣化。光学传递函数(OTF)根据诸如焦距(变焦状态)和孔径直径的光学系统的条件波动，由此，需要改变用于图像恢复处理的图像恢复过滤器。并且，图像可能包含畸变成分。畸变一般是由光学系统的畸变像差导致的图像的周边部分的膨胀或收缩较大的几何畸变。日本专利公开No. 2006-270918公开了用于校正由畸变像差导致的图像的几何畸变的方法。该方法通过获得关于图像拾取中的诸如变焦状态和被照体距离的图像拾取条件的信息，并使用与从事先准备的畸变像差数据读取的所获得的图像拾取条件信息对应的数据来校正几何畸变。畸变像差数据是基于图像高度的函数。在畸变成分校正中，光学系统的大的畸变量需要大的几何变换量，并且，特别是在图像的周边部分中，作为几何变换执行缩放和变换。为了通过适当地校正由光学系统的各种像差劣化的图像而获得高质量图像，需要执行用于减少图像模糊成分和畸变成分的处理。并且，需要根据图像拾取条件改变用于校正图像模糊成分的图像恢复过滤器的数据和用于校正畸变成分的几何变换条件的数据。图像拾取条件包含诸如变焦位置、孔径直径和被照体距离的许多参数，并且，根据所述许多参数的组合准备图像恢复过滤器数据和几何变换条件数据显著增加数据量。特别地，由于图像恢复过滤器是二维过滤器，因此，过滤器的单元(分接头(taps))的数量随着图像模糊成分的增加而增加。发明人发现涉及与图像模糊成分的校正一起校正畸变成分时的图像恢复过滤器的单元的数量的以下问题。劣化图像上的畸变成分校正根据图像高度在几何上执行图像的缩放和变换。另一方面，可从光学系统的设计值或测量值得到用于设计图像恢复过滤器的光学传递函数(OTF)。但是，在任一种情况下，从包含畸变像差的光学系统得到光学传递函数。因此，为了对已执行畸变校正处理的图像执行图像恢复处理，必须根据已经用于畸变校正处理中的几何变换条件对图像恢复过滤器执行缩放和变换。当光学系统具有负的畸变时，在畸变校正处理中对图像执行缩放、变换和像素内插，使得还与其一起对图像恢复过滤器执行缩放、变换和单元内插。作为结果，图像恢复过滤器的单元的数量增加，这增加图像恢复过滤器的数据量。另外，过滤的计算量也增加，这显著降低处理速度。在日本专利公开No. 2006-270918中公开的用于校正畸变成分的方法中，通过使用与图像拾取条件对应的像差信息执行几何变换校正。但是，该方法不能校正畸变成分以外的图像模糊成分，使得不能获得高质量图像。
发明内容
本发明提供均能够在防止由于图像恢复过滤器的数据量的增加而导致降低处理速度的同时很好地校正图像中的图像模糊成分和畸变成分的图像处理方法、图像处理装置和图像拾取装置。本发明作为其一个方面提供一种用于处理由使用光学系统的图像拾取产生的图像的图像处理方法。该方法包括获取图像的步骤；通过使用图像恢复过滤器执行图像恢复处理以减少图像的模糊成分的图像恢复步骤；和执行几何变换处理以减少已执行图像恢复处理的图像的畸变成分的畸变校正步骤。本发明作为其另一方面提供一种处理由使用光学系统的图像拾取产生的图像的图像处理装置。该装置包括被配置为通过使用图像恢复过滤器执行图像恢复处理以减少图像的模糊成分的图像恢复部分；和被配置为执行几何变换处理以减少已执行图像恢复处理的图像的畸变成分的畸变校正部分。本发明作为其另一方面提供一种图像拾取装置，该图像拾取装置包括被配置为对由光学系统形成的被照体图像进行光电转换以产生图像的图像拾取系统；和上述的图像
处理装置。从以下的描述和附图，本发明的其它方面将变得明了。
图1是示出作为本发明的实施例1的图像拾取装置的配置的框图。图2是示出在实施例1的图像拾取装置中执行的处理的流程图。图3是用于在实施例1中设置存储于存储器部分中的图像恢复过滤器的图像拾取条件空间的示意图。图4示出在实施例1的图像拾取装置中使用的图像恢复过滤器。图5示出图像恢复过滤器的单元值的分布。图6是实施例1中的畸变校正处理的说明图。图7是用于解释实施例1的效果的图像恢复过滤器的说明图。图8是用于解释实施例1的效果的不可恢复区域的说明图。图9示出用于本发明的实施例2中的各颜色的图像恢复过滤器。图10示出实施例2中的各图像恢复过滤器的单元值的分布。图11是由实施例2中的图像恢复处理获得的效果的说明图。
具体实施例方式
以下参照附图描述本发明的示例性实施例。实施例1图1示出作为本发明的第一实施例(实施例1)的包含图像处理装置(换言之，使用图像处理方法)的诸如数字静物照相机或摄像机的图像拾取装置的配置。本实施例将描述一种图像拾取装置，其通过图像恢复处理减少(校正)捕获的图像中的图像模糊成分和颜色模糊成分并且通过作为畸变校正处理的几何变换处理减少(校正)畸变成分和颜色剪切(shear)成分。颜色剪切成分是由于光学系统的倍率色差而产生的，该倍率色差是R、G 和R的颜色成分的图像拾取倍率的差值。在本实施例中提到的图像模糊成分是由于球面像差、慧形像差、像场弯曲和像散等导致的作为图像劣化成分的模糊成分。图像恢复处理(图像恢复部分)只需要在一定程度上减少由这些像差导致的这种图像劣化成分。例如，图像恢复部分可基于诸如球面像差、 慧形像差、像场弯曲和像散的像差中的至少一种减少图像劣化成分。在图1中，来自被照体(未示出)的光束穿过图像拍摄光学系统101以在由CXD传感器或CMOS传感器等构成的图像拾取元件102上形成被照体图像。图像拍摄光学系统101包含变倍透镜(未示出)、孔径光阑10Ia和聚焦透镜101b。 沿光轴方向移动变倍透镜使得能够实现用于改变图像拍摄光学系统101的焦距的变焦。孔径光阑IOla通过增加/减小其孔径直径来调整到达图像拾取元件102的光量。通过由自动聚焦(AF)机构或手动聚焦机构(未示出)沿光轴方向控制聚焦透镜IOlb的位置来执行根据被照体距离的聚焦。在图像拾取元件102上形成的被照体图像被图像拾取元件102转换成电信号。来自图像拾取元件102的模拟输出信号被A/D转换器103转换成数字图像拾取信号以被输入到图像处理部分104。图像处理部分104包含对输入的数字图像拾取信号执行各种处理以产生彩色输入图像的图像产生部分104a。图像处理部分104包含与图像恢复部分和畸变校正部分对应并且对输入图像执行图像恢复处理和几何变换处理(畸变校正处理)的图像恢复/畸变校正处理部分104b。从图像拾取元件102到图像产生部分10 的系统构成图像拾取系统。图像恢复/畸变校正处理部分104b从条件检测部分107获取关于图像拍摄光学系统101的条件(这里，该条件被称“图像拾取条件”)的信息。图像拾取条件包含例如图像拍摄光学系统101的焦距(变焦位置)、孔径光阑IOla的孔径直径(孔径值或F值)和聚焦透镜位置(被照体距离)。条件检测部分107可从用于控制图像拍摄光学系统101的系统控制器110或图像拍摄光学系统控制部分106获取关于图像拾取条件的信息。图像恢复/畸变校正处理部分104b从存储器部分108选择与图像拾取条件对应的图像恢复过滤器，以对输入的图像执行图像恢复处理。图像恢复/畸变校正处理部分 104b从存储器部分108选择与图像拾取条件对应的几何变换条件，并然后对已执行图像恢复处理的图像执行几何变换处理。条件检测部分107、图像恢复/畸变校正处理部分104b 和存储器部分108构成图像拾取装置中的图像处理装置。图2示出涉及由图像恢复/畸变校正处理部分104b执行的图像恢复和几何变换的处理(图像处理方法)的流程图。在以下的描述中，图像恢复/畸变校正处理部分104b 被称为“图像处理部分104”。图像处理部分104由图像处理计算机构成，并且根据计算机程序执行处理。在步骤Sl中，图像处理部分104获取基于来自图像拾取元件102的输出信号产生的输入图像作为图像恢复处理的目标。在步骤S2中，图像处理部分104从条件检测部分107获取图像拾取条件的信息 (以下，称为“图像拾取条件信息”)。在本实施例中，图像拾取条件包含变焦位置、孔径直径和被照体距离。在步骤S3中，图像处理部分104从存储于存储器部分108中的多个图像恢复过滤器选择与在步骤S2中获取的图像拾取条件对应的图像恢复过滤器。存储器部分108仅存储与离散选择的图像拾取条件对应的图像恢复过滤器以减少图像恢复过滤器的数量(数据的数量)。因此，如果在存储器部分108中没有存储与在步骤S2中获取的图像拾取条件或与获取的图像拾取条件相当类似的图像拾取条件对应的图像恢复过滤器，那么图像处理部分104选择与获取的图像拾取条件尽可能类似的图像恢复过滤器。在随后的步骤S4 S6中，图像处理部分104校正图像恢复过滤器以使其对于在步骤S2中获取的图像拾取条件优化，由此产生要实际使用的图像恢复过滤器。图3示意性地示出存储于存储器部分108中的与离散选择的图像拾取条件对应的图像恢复过滤器。如上所述，存储于存储器部分108中的图像恢复过滤器被离散布置于图像拾取条件空间中，该图像拾取条件空间具有三个图像拾取条件轴，它们是变焦位置(条件A)的轴、孔径直径(条件B)的轴和被照体距离(条件C)的轴。图像拾取条件空间中的各点(由黑圈表示)的坐标表示存储于存储器部分108中的图像恢复过滤器。在图3中，图像恢复过滤器被布置于与各图像拾取条件轴正交的线上的格子点处。但是，图像恢复过滤器可被布置为离开格子点。并且，图像拾取条件可包含除变焦位置、 孔径直径和被照体距离以外的参数，或者，图像拾取条件的参数的数量不限于三个。即，可以提供基于图像拾取条件的四个或更多个参数的四维或更多维图像拾取条件空间，以在其中离散布置图像恢复过滤器。以下描述用于从这种离散布置的图像恢复过滤器产生要实际使用的图像恢复过滤器的方法。图4示出图像恢复过滤器的例子。在图像恢复过滤器中，根据图像拍摄光学系统 101的像差量确定单元(分接头)的数量。图4所示的图像恢复过滤器是具有11X11个单元的二维过滤器。每个单元与一个图像的一个像素对应。通过使用作为包含多于100个的分割的单元的二维过滤器的图像恢复过滤器，即使当图像拍摄光学系统101具有诸如球面像差、慧形像差、纵向色差或轴外色斑的从图像形成位置广泛发散的像差时，也能够获取良好的图像恢复结果。并且，通过使用这种实际空间图像恢复过滤器对输入图像执行卷积处理，使得能够在不进行傅立叶变换的情况下实现图像恢复。每个单元被设为基于关于诸如球面像差、慧形像差、纵向色差或轴外色斑的图像拍摄光学系统101的像差的信息具有图5所示的值。图5示出图像恢复过滤器的一段上的单元值(过滤器值)。产生图像恢复过滤器，使得其过滤器值具有二维分布。在图5所示的例子中，产生图像恢复过滤器，以恢复在从输入图像的中心偏移的位置处具有非对称性质的诸如慧形像差的像差。通过计算或测量图像拍摄光学系统101的光学传递函数(OTF)并且对光学传递函数的反函数执行逆傅立叶变换来产生图像恢复过滤器。一般需要考虑噪声的影响，由此，可以选择性地使用用于产生Wiener过滤器或其它的恢复过滤器的方法。光学传递函数优选不仅包含图像拍摄光学系统101中的因素，而且包含在图像处理部分104处由图像拾取元件102的输出信号产生输入图像时的因素，各因素使光学传递函数劣化。换句话说，可通过对基于图像拍摄光学系统的光学传递函数(或从光入射到图像拍摄光学系统101中到通过图像拾取元件102的图像拾取获取输入图像的光学传递函数)的反函数产生的函数执行逆傅立叶变换，产生图像恢复过滤器。图像拍摄光学系统101中的因素以外的使光学传递函数劣化的因素如下。例如， 设置在图像拾取元件102的前面处的低通滤波器(未示出)关于光学传递函数的频率特性抑制高频成分。并且，类似地设置在图像拾取元件102的前面处的红外截止滤波器影响R、 G和B通道中的每一个(特别是R通道)的点扩散函数(PSF)。并且，图像拾取元件102的像素孔径的形状或孔径比也影响频率特性。使光学传递函数劣化的其它因素是用于照射被照体的光源的光谱特性和各种波长滤波器的光谱特性。因此，优选基于考虑上述的因素的广义的光学传递函数产生图像恢复过滤器。图像拍摄光学系统101可被设置为图像拾取装置的一部分，或者，对于图像拾取
装置可互换。当输入图像是RGB颜色图像时，优选产生用于R、G和B的颜色成分的多个(在本实施例中为三个)图像恢复过滤器。这是由于图像拍摄光学系统101具有色差，由此，模糊程度在颜色成分之间相互不同。因此，为了获取对于各颜色成分最佳的图像恢复过滤器，应基于色差改变其特性。换句话说，优选对于三种颜色成分产生具有相互不同的图5所示的单元值的二维分布的三个图像恢复过滤器。虽然图4示出具有11X11个单元的图像恢复过滤器，但是，可根据像差量任选地设定图像恢复过滤器的单元的数量。图像恢复过滤器的纵向和横向的单元的数量(单元布置)不需要采用图4所示的正方形布置。只要单元布置在卷积处理中作了考虑，就可以任意地改变单元的数量。以下将描述图像恢复过滤器的特定选择和产生(校正)方法。在图3中，假定由大的空心圆表示的图像拾取条件是在步骤S2中获取的实际图像拾取条件。当在实际图像拾取条件或与其相当类似的条件中存在存储于存储器部分108中的图像恢复过滤器(以下，称为“存储的过滤器”)时，该存储的过滤器被选择以被用于图像恢复处理。当在实际图像拾取条件或与其相当类似的条件中不存在存储的过滤器时，通过以下的方法选择或产生 (校正)图像恢复过滤器。在步骤S3中，图像处理部分104计算图像拾取条件空间中的实际图像拾取条件和与多个存储的过滤器对应的图像拾取条件之间的距离。图像处理部分104选择与具有计算的距离中的最短的距离的图像拾取条件对应的存储的过滤器。对这种存储的过滤器的选择使实际图像拾取条件和与选择的存储的过滤器对应的图像拾取条件之间的差值量(条件差值量)最小化。作为结果，可以减少存储的过滤器的校正量，并且，可以产生更类似于与实际图像拾取条件对应的图像恢复过滤器的图像恢复过滤器。在图3中，假定选择与由小的空心圆表示的图像拾取条件对应的存储的过滤器。 图3在概念上示出图像拾取条件空间。但是，各实际存储的过滤器的数据需要关于坐标值的信息。因此，存储的过滤器可包含坐标值信息，或者，可在地址(坐标)被预先设定的多维布置空间中设定各存储的过滤器的数据。然后，在步骤S4中，图像处理部分104计算与在步骤S3中选择的存储的过滤器对应的图像拾取条件(A、B和C)和实际的图像拾取条件之间的条件差值量ΔΑ、ΔΒ和AC。 在步骤S5中，图像处理部分104基于条件差值量ΔΑ、ΔΒ和Δ C计算条件校正系数。在步骤S6中，图像处理部分104通过使用条件校正系数校正在步骤S3中选择的存储的过滤器。 作为结果，可产生与实际图像拾取条件对应的图像恢复过滤器。另一方面，可通过图像恢复过滤器的选择、条件差值量的计算、条件校正系数的计算和选择的过滤器的校正，选择或产生与实际的图像拾取条件对应的几何变换处理(畸变校正处理)的几何变换条件。但是，对于几何变换条件，形成图像拾取条件空间的轴的图像拾取条件的参数可与图像恢复过滤器的那些不同。例如，畸变像差不依赖于孔径直径，因此，图像拾取条件不需要包含孔径直径。然后，在步骤S7中，图像处理部分104通过使用选择或产生的图像恢复过滤器对在步骤Sl中获取的输入图像执行图像恢复处理。通过使用图像恢复过滤器对输入图像执行卷积处理使得能够减少或去除由图像拍摄光学系统101的像差导致的包含于输入图像中的图像模糊成分和颜色模糊成分。然后，在步骤S8中，图像处理部分104通过使用选择或产生(校正)的几何变换条件对由步骤S7中的图像恢复处理获得的结果图像执行作为畸变校正处理的几何变换处理。几何变换处理可减少(或去除)由于图像拍摄光学系统101的像差产生的图像的畸变成分。并且，在该步骤中，图像处理部分104将由图像恢复处理获得的结果图像分成R、G 和B的三种颜色成分。然后，图像处理部分104基于G图像对R和B图像执行几何变换(缩放)以使R和B图像与G图像匹配，这减少(或去除)作为倍率色差的成分的颜色剪切成分。调整用于畸变校正处理中的各颜色成分的几何变换条件使得能够通过畸变校正处理与畸变成分一起减少(或去除)颜色剪切成分。可通过与图像拾取装置不同的装置(个人计算机等)执行在步骤S3 S8中执行的处理。在这种情况下，可执行用于将由不同的装置获取的图像恢复过滤器存储(安装) 到图像拾取装置的存储器部分108中的处理。在图1中，通过图像处理部分104由图像恢复处理和畸变校正处理获得的输出图像以预定的格式被存储于诸如半导体存储器或光盘的图像记录介质109中。输出图像是通过图像恢复处理减少了畸变成分的鲜锐化的高质量图像。输出图像由显示部分105显示或者被输出到图像拾取装置的外面(打印机或数据库)。由系统控制器110控制包含图像拾取元件102处的光电转换、图像处理部分104 处的图像处理、图像记录介质109中的记录和显示部分105处的图像显示的上述的操作。 基于来自系统控制器110的指令由图像拍摄光学系统控制部分106控制图像拍摄光学系统 101的变焦驱动和聚焦驱动。优选图像拍摄光学系统101被设计成使得中心图像高度的图像拍摄光学系统101 的横向倍率是最大图像高度的横向倍率的1. 25倍或更多倍。由此，可减少位置最接近被照体的图像拍摄光学系统101的前透镜的直径，或者，可以校正像场弯曲。如图6所示，本实施例在最大图像高度处产生-20%的畸变。如上所述，在本实施例中，图像处理部分104检测图像拾取装置的图像拾取条件， 并然后执行与图像拾取条件对应的图像恢复处理和畸变校正处理以产生高质量输出图像。 可从事先存储于存储器部分108中的图像恢复过滤器和几何变换条件中选择在图像恢复处理和畸变校正处理中使用的图像恢复过滤器和几何变换条件，或者，可通过校正存储的图像恢复过滤器和几何变换条件使得它们与实际图像拾取条件对应来获得它们。因此，可关于图像拾取条件连续地决定图像恢复过滤器和几何变换条件。并且，图像处理部分104对已执行图像恢复处理的图像执行畸变校正处理，这可获得已很好地校正图像模糊成分和畸变成分的图像。并且，在图像恢复处理之后执行畸变校正处理可防止增加图像恢复过滤器的数据量和由几何变换导致的图像的劣化，并且使得能够将图像恢复过滤器应用于图像的周边部分以获得良好的输出图像。以下详细描述这些效果。基于从光入射到图像拍摄光学系统101中到通过图像拾取元件102的图像拾取而获取输入图像的光学传递函数(OTF)产生上述的图像恢复过滤器。通过基于对于设计的透镜数据的光线跟踪的计算或通过导致光入射到实际的图像拍摄光学系统获得的图像形成光的测量，获得该光学传递函数(OTF)。当通过测量获得光学传递函数时，可通过直接测量的点扩散函数(PSF)或线扩散函数(LSF)的傅立叶变换来获得光学传递函数。通过各方法获得的光学传递函数(OTF)包含由于图像拍摄光学系统的畸变导致的图像面的周边部分的压缩和膨胀的影响。当畸变为负时，畸变具有筒形状，因此，形成的图像的周边部分随着位置接近其边缘被空间地压缩。并且，当畸变为正时，畸变具有卷轴形状，因此，形成的图像随着位置接近边缘被空间地膨胀。因此，基于光学传递函数(OTF)产生的图像恢复过滤器也包含畸变的影响。如上所述，图像恢复过滤器的各单元与作为校正目标的输入图像的一个像素对应。对输入图像执行利用图像恢复过滤器的卷积处理提供恢复的图像(即，减少图像模糊成分)。对还没有执行畸变校正处理的图像执行利用图像恢复过滤器的卷积处理导致图像恢复过滤器的各单元适当地与图像的各像素对应，这使得能够获取良好的恢复图像。与此相对照，当对已执行畸变校正处理的图像执行利用图像恢复过滤器的卷积处理时，已对图像执行了几何变换，使得图像恢复过滤器的各单元根本不与图像的各像素对应，并因此不能获得良好的恢复图像。当畸变量大(即，当畸变校正处理中的几何变换的量大)时，这种问题是明显的。表1示出横纵比为4 3并且像素数量为1000万的图6所示的图像的周边部分中的负畸变量的偏移像素的数量。在图6中，由实线表示的畸变格子表示畸变校正处理之前的图像(畸变图像)的形状，由相互正交的虚线表示的格子表示畸变校正处理之后的图像 (畸变校正图像)的形状。表1中的偏移像素的数量表示图6中的对角方向(特定方向) 的偏移像素的数量。从表1可以理解，即使当畸变量为-5%时，几何变换中的偏移像素的数量也超过 100。因此，基本上不可能导致图像恢复过滤器的各单元与由通过具有畸变的图像拍摄光学系统的图像拾取而获取的图像的各像素对应。[表 1]
权利要求
1.一种用于处理由使用光学系统的图像拾取产生的图像的图像处理方法，包括获取图像的步骤；通过使用图像恢复过滤器执行图像恢复处理以减少所述图像的模糊成分的图像恢复步骤；和执行几何变换处理以减少已执行所述图像恢复处理的所述图像的畸变成分的畸变校正步骤。
2.根据权利要求1的图像处理方法，其中，通过对基于所述光学系统的光学传递函数的反函数产生的函数执行逆傅立叶变换，产生所述图像恢复过滤器。
3.根据权利要求1或2的图像处理方法，其中，在所述图像恢复步骤中，获取关于图像拾取条件的信息，并且，通过使用基于关于所述图像拾取条件的信息选择或产生的所述图像恢复过滤器执行所述图像恢复处理。
4.根据权利要求1 3中的任一项的图像处理方法，其中，在所述畸变校正步骤中，获取关于图像拾取条件的信息，并且，通过使用基于关于所述图像拾取条件的信息选择或产生的几何变换条件执行所述几何变换处理。
5.根据权利要求1 4中的任一项的图像处理方法，其中，在所述图像恢复步骤中，使用对于多种颜色的多个图像恢复过滤器作为所述图像恢复过滤器，所述多个图像恢复过滤器具有相互不同的过滤器值的二维分布，并且，所述多个图像恢复过滤器具有相互不同的过滤器值的绝对值最大的单元的位置相对于中心单元的位置的偏移量，所述偏移量与所述光学系统的倍率色差的量对应，由此，所述多个图像恢复过滤器减少所述模糊成分和倍率色差的成分。
6.根据权利要求1 5中的任一项的图像处理方法，其中，在所述图像恢复步骤中，对所述图像执行使用所述图像恢复过滤器的卷积处理。
7.根据权利要求1 6中的任一项的图像处理方法，其中，满足以下的关系0 < F/D < 2这里，D表示已执行所述图像恢复处理的所述图像中的有效图像区域的边缘像素通过所述几何变换处理沿特定方向偏移的像素的数量，并且，F表示向所述边缘像素施加的所述图像恢复过滤器中沿所述特定方向的单元的数量。
8.根据权利要求1 7中的任一项的图像处理方法，其中，通过使用所述图像中的通过所述几何变换处理去除的区域的图像信息执行所述图像恢复处理。
9.一种处理由使用光学系统的图像拾取产生的图像的图像处理装置，包括被配置为通过使用图像恢复过滤器执行图像恢复处理以减少图像的模糊成分的图像恢复部分；和被配置为执行几何变换处理以减少已执行所述图像恢复处理的所述图像的畸变成分的畸变校正部分。
10.一种图像拾取装置，包括被配置为光电转换由光学系统形成的被照体图像以产生图像的图像拾取系统；和处理由使用光学系统的图像拾取产生的图像的图像处理装置，其中，所述图像处理装置包含被配置为通过使用图像恢复过滤器执行图像恢复处理以减少图像的模糊成分的图像恢复部分；和被配置为执行几何变换处理以减少已执行所述图像恢复处理的所述图像的畸变成分的畸变校正部分。
全文摘要
图像处理方法处理由使用光学系统(100)的图像拾取产生的图像。方法包括获取图像的步骤；通过使用图像恢复过滤器执行图像恢复处理以减少图像的模糊成分的图像恢复步骤(S2～S7)；和执行几何变换处理以减少已执行图像恢复处理的图像的畸变成分的畸变校正步骤(S8)。
文档编号G06T5/20GK102165761SQ20098013754
公开日2011年8月24日 申请日期2009年9月28日 优先权日2008年9月30日
发明者畠山弘至 申请人:佳能株式会社
技术领域：
本发明涉及用于减少包含于图像中的图像模糊成分和畸变成分的图像处理技术。
背景技术：
通过由诸如数字照相机的图像拾取装置捕获被照体的图像而获取的图像包含图像模糊成分，该图像模糊成分为由图像拍摄光学系统(以下，简称为“光学系统”)的球面像差、慧形像差、像场弯曲或像散等导致的图像劣化成分。这种图像模糊成分的产生是由于从被照体的一个点发射的光束在图像拾取表面上形成具有一定发散性的图像，该光束在没有像差或衍射时一般会聚于一个点上。这种图像模糊成分在光学上由点扩散函数(PSF)表达，并且与由散焦导致的模糊不同。可以说，由光学系统的纵向色差、球面色差或慧形色差导致的彩色图像中的颜色模糊在光的各波长的模糊程度之间不同。作为用于校正图像模糊成分的方法，已知存在使用光学系统的光学传递函数 (OTF)的信息的校正方法。该方法被称为“图像恢复”。以下，用于通过使用光学系统的光学传递函数(OTF)的信息来校正(减少)图像模糊成分的处理被称为“图像恢复处理”。图像恢复处理的概要如下。当g(X，y)代表包含图像模糊成分的劣化图像(输入图像)、f (X，y)代表未劣化的原图像、h(x, y)代表作为光学传递函数的傅立叶对的点扩散函数(PSF)、*代表卷积并且(x，y)代表图像上的坐标时，建立以下的表达式。g(x，y) =h(x，y) * f(x，y)。当通过傅立叶变换将上式转换为二维频率表面的形式时，该表达式被表达为采取各频率的积的形式的下式G (u，v) = H (u，ν) · F (u，ν)这里，H表示点扩散函数(PSF)的傅立叶变换的结果，换句话说，表示光学传递函数(OTF)，并且，(u，ν)表示二维频率表面上的坐标，换句话说，表示频率。为了从劣化的图像获取原图像，仅需要如下式那样将该式的两侧除以H G(u，v)/H(u，ν) = F(u，ν)。通过逆傅立叶变换使F(u，ν)返回实表面，使得能够获取等同于原图像f (X，y)的恢复图像。当R代表H—1的逆傅立叶变换的结果时，通过如下式所表示地对于实面中的图像执行卷积处理来类似地使得能够获取原图像g(x，y) * R(x，y) * = f(x，y)。式中的R(X，y)被称为“图像恢复过滤器”。实像包含噪声成分，由此，如上面描述的那样使用通过取光学传递函数(OTF)的完全逆数所产生的图像恢复过滤器与劣化的图像一起导致噪声成分的放大。因此，一般不能获取良好的图像。在这一点上，已知存在用于根据图像信号与噪声信号的强度比抑制图像的高频率侧恢复率的诸如使用Wiener过滤器的方法。基本上通过例如由图像模糊成分校正使各颜色成分的模糊量均勻来校正由颜色模糊成分导致的图像的劣化。光学传递函数(OTF)根据诸如焦距(变焦状态)和孔径直径的光学系统的条件波动，由此，需要改变用于图像恢复处理的图像恢复过滤器。并且，图像可能包含畸变成分。畸变一般是由光学系统的畸变像差导致的图像的周边部分的膨胀或收缩较大的几何畸变。日本专利公开No. 2006-270918公开了用于校正由畸变像差导致的图像的几何畸变的方法。该方法通过获得关于图像拾取中的诸如变焦状态和被照体距离的图像拾取条件的信息，并使用与从事先准备的畸变像差数据读取的所获得的图像拾取条件信息对应的数据来校正几何畸变。畸变像差数据是基于图像高度的函数。在畸变成分校正中，光学系统的大的畸变量需要大的几何变换量，并且，特别是在图像的周边部分中，作为几何变换执行缩放和变换。为了通过适当地校正由光学系统的各种像差劣化的图像而获得高质量图像，需要执行用于减少图像模糊成分和畸变成分的处理。并且，需要根据图像拾取条件改变用于校正图像模糊成分的图像恢复过滤器的数据和用于校正畸变成分的几何变换条件的数据。图像拾取条件包含诸如变焦位置、孔径直径和被照体距离的许多参数，并且，根据所述许多参数的组合准备图像恢复过滤器数据和几何变换条件数据显著增加数据量。特别地，由于图像恢复过滤器是二维过滤器，因此，过滤器的单元(分接头(taps))的数量随着图像模糊成分的增加而增加。发明人发现涉及与图像模糊成分的校正一起校正畸变成分时的图像恢复过滤器的单元的数量的以下问题。劣化图像上的畸变成分校正根据图像高度在几何上执行图像的缩放和变换。另一方面，可从光学系统的设计值或测量值得到用于设计图像恢复过滤器的光学传递函数(OTF)。但是，在任一种情况下，从包含畸变像差的光学系统得到光学传递函数。因此，为了对已执行畸变校正处理的图像执行图像恢复处理，必须根据已经用于畸变校正处理中的几何变换条件对图像恢复过滤器执行缩放和变换。当光学系统具有负的畸变时，在畸变校正处理中对图像执行缩放、变换和像素内插，使得还与其一起对图像恢复过滤器执行缩放、变换和单元内插。作为结果，图像恢复过滤器的单元的数量增加，这增加图像恢复过滤器的数据量。另外，过滤的计算量也增加，这显著降低处理速度。在日本专利公开No. 2006-270918中公开的用于校正畸变成分的方法中，通过使用与图像拾取条件对应的像差信息执行几何变换校正。但是，该方法不能校正畸变成分以外的图像模糊成分，使得不能获得高质量图像。
发明内容
本发明提供均能够在防止由于图像恢复过滤器的数据量的增加而导致降低处理速度的同时很好地校正图像中的图像模糊成分和畸变成分的图像处理方法、图像处理装置和图像拾取装置。本发明作为其一个方面提供一种用于处理由使用光学系统的图像拾取产生的图像的图像处理方法。该方法包括获取图像的步骤；通过使用图像恢复过滤器执行图像恢复处理以减少图像的模糊成分的图像恢复步骤；和执行几何变换处理以减少已执行图像恢复处理的图像的畸变成分的畸变校正步骤。本发明作为其另一方面提供一种处理由使用光学系统的图像拾取产生的图像的图像处理装置。该装置包括被配置为通过使用图像恢复过滤器执行图像恢复处理以减少图像的模糊成分的图像恢复部分；和被配置为执行几何变换处理以减少已执行图像恢复处理的图像的畸变成分的畸变校正部分。本发明作为其另一方面提供一种图像拾取装置，该图像拾取装置包括被配置为对由光学系统形成的被照体图像进行光电转换以产生图像的图像拾取系统；和上述的图像
处理装置。从以下的描述和附图，本发明的其它方面将变得明了。
图1是示出作为本发明的实施例1的图像拾取装置的配置的框图。图2是示出在实施例1的图像拾取装置中执行的处理的流程图。图3是用于在实施例1中设置存储于存储器部分中的图像恢复过滤器的图像拾取条件空间的示意图。图4示出在实施例1的图像拾取装置中使用的图像恢复过滤器。图5示出图像恢复过滤器的单元值的分布。图6是实施例1中的畸变校正处理的说明图。图7是用于解释实施例1的效果的图像恢复过滤器的说明图。图8是用于解释实施例1的效果的不可恢复区域的说明图。图9示出用于本发明的实施例2中的各颜色的图像恢复过滤器。图10示出实施例2中的各图像恢复过滤器的单元值的分布。图11是由实施例2中的图像恢复处理获得的效果的说明图。
具体实施例方式
以下参照附图描述本发明的示例性实施例。实施例1图1示出作为本发明的第一实施例(实施例1)的包含图像处理装置(换言之，使用图像处理方法)的诸如数字静物照相机或摄像机的图像拾取装置的配置。本实施例将描述一种图像拾取装置，其通过图像恢复处理减少(校正)捕获的图像中的图像模糊成分和颜色模糊成分并且通过作为畸变校正处理的几何变换处理减少(校正)畸变成分和颜色剪切(shear)成分。颜色剪切成分是由于光学系统的倍率色差而产生的，该倍率色差是R、G 和R的颜色成分的图像拾取倍率的差值。在本实施例中提到的图像模糊成分是由于球面像差、慧形像差、像场弯曲和像散等导致的作为图像劣化成分的模糊成分。图像恢复处理(图像恢复部分)只需要在一定程度上减少由这些像差导致的这种图像劣化成分。例如，图像恢复部分可基于诸如球面像差、 慧形像差、像场弯曲和像散的像差中的至少一种减少图像劣化成分。在图1中，来自被照体(未示出)的光束穿过图像拍摄光学系统101以在由CXD传感器或CMOS传感器等构成的图像拾取元件102上形成被照体图像。图像拍摄光学系统101包含变倍透镜(未示出)、孔径光阑10Ia和聚焦透镜101b。 沿光轴方向移动变倍透镜使得能够实现用于改变图像拍摄光学系统101的焦距的变焦。孔径光阑IOla通过增加/减小其孔径直径来调整到达图像拾取元件102的光量。通过由自动聚焦(AF)机构或手动聚焦机构(未示出)沿光轴方向控制聚焦透镜IOlb的位置来执行根据被照体距离的聚焦。在图像拾取元件102上形成的被照体图像被图像拾取元件102转换成电信号。来自图像拾取元件102的模拟输出信号被A/D转换器103转换成数字图像拾取信号以被输入到图像处理部分104。图像处理部分104包含对输入的数字图像拾取信号执行各种处理以产生彩色输入图像的图像产生部分104a。图像处理部分104包含与图像恢复部分和畸变校正部分对应并且对输入图像执行图像恢复处理和几何变换处理(畸变校正处理)的图像恢复/畸变校正处理部分104b。从图像拾取元件102到图像产生部分10 的系统构成图像拾取系统。图像恢复/畸变校正处理部分104b从条件检测部分107获取关于图像拍摄光学系统101的条件(这里，该条件被称“图像拾取条件”)的信息。图像拾取条件包含例如图像拍摄光学系统101的焦距(变焦位置)、孔径光阑IOla的孔径直径(孔径值或F值)和聚焦透镜位置(被照体距离)。条件检测部分107可从用于控制图像拍摄光学系统101的系统控制器110或图像拍摄光学系统控制部分106获取关于图像拾取条件的信息。图像恢复/畸变校正处理部分104b从存储器部分108选择与图像拾取条件对应的图像恢复过滤器，以对输入的图像执行图像恢复处理。图像恢复/畸变校正处理部分 104b从存储器部分108选择与图像拾取条件对应的几何变换条件，并然后对已执行图像恢复处理的图像执行几何变换处理。条件检测部分107、图像恢复/畸变校正处理部分104b 和存储器部分108构成图像拾取装置中的图像处理装置。图2示出涉及由图像恢复/畸变校正处理部分104b执行的图像恢复和几何变换的处理(图像处理方法)的流程图。在以下的描述中，图像恢复/畸变校正处理部分104b 被称为“图像处理部分104”。图像处理部分104由图像处理计算机构成，并且根据计算机程序执行处理。在步骤Sl中，图像处理部分104获取基于来自图像拾取元件102的输出信号产生的输入图像作为图像恢复处理的目标。在步骤S2中，图像处理部分104从条件检测部分107获取图像拾取条件的信息 (以下，称为“图像拾取条件信息”)。在本实施例中，图像拾取条件包含变焦位置、孔径直径和被照体距离。在步骤S3中，图像处理部分104从存储于存储器部分108中的多个图像恢复过滤器选择与在步骤S2中获取的图像拾取条件对应的图像恢复过滤器。存储器部分108仅存储与离散选择的图像拾取条件对应的图像恢复过滤器以减少图像恢复过滤器的数量(数据的数量)。因此，如果在存储器部分108中没有存储与在步骤S2中获取的图像拾取条件或与获取的图像拾取条件相当类似的图像拾取条件对应的图像恢复过滤器，那么图像处理部分104选择与获取的图像拾取条件尽可能类似的图像恢复过滤器。在随后的步骤S4 S6中，图像处理部分104校正图像恢复过滤器以使其对于在步骤S2中获取的图像拾取条件优化，由此产生要实际使用的图像恢复过滤器。图3示意性地示出存储于存储器部分108中的与离散选择的图像拾取条件对应的图像恢复过滤器。如上所述，存储于存储器部分108中的图像恢复过滤器被离散布置于图像拾取条件空间中，该图像拾取条件空间具有三个图像拾取条件轴，它们是变焦位置(条件A)的轴、孔径直径(条件B)的轴和被照体距离(条件C)的轴。图像拾取条件空间中的各点(由黑圈表示)的坐标表示存储于存储器部分108中的图像恢复过滤器。在图3中，图像恢复过滤器被布置于与各图像拾取条件轴正交的线上的格子点处。但是，图像恢复过滤器可被布置为离开格子点。并且，图像拾取条件可包含除变焦位置、 孔径直径和被照体距离以外的参数，或者，图像拾取条件的参数的数量不限于三个。即，可以提供基于图像拾取条件的四个或更多个参数的四维或更多维图像拾取条件空间，以在其中离散布置图像恢复过滤器。以下描述用于从这种离散布置的图像恢复过滤器产生要实际使用的图像恢复过滤器的方法。图4示出图像恢复过滤器的例子。在图像恢复过滤器中，根据图像拍摄光学系统 101的像差量确定单元(分接头)的数量。图4所示的图像恢复过滤器是具有11X11个单元的二维过滤器。每个单元与一个图像的一个像素对应。通过使用作为包含多于100个的分割的单元的二维过滤器的图像恢复过滤器，即使当图像拍摄光学系统101具有诸如球面像差、慧形像差、纵向色差或轴外色斑的从图像形成位置广泛发散的像差时，也能够获取良好的图像恢复结果。并且，通过使用这种实际空间图像恢复过滤器对输入图像执行卷积处理，使得能够在不进行傅立叶变换的情况下实现图像恢复。每个单元被设为基于关于诸如球面像差、慧形像差、纵向色差或轴外色斑的图像拍摄光学系统101的像差的信息具有图5所示的值。图5示出图像恢复过滤器的一段上的单元值(过滤器值)。产生图像恢复过滤器，使得其过滤器值具有二维分布。在图5所示的例子中，产生图像恢复过滤器，以恢复在从输入图像的中心偏移的位置处具有非对称性质的诸如慧形像差的像差。通过计算或测量图像拍摄光学系统101的光学传递函数(OTF)并且对光学传递函数的反函数执行逆傅立叶变换来产生图像恢复过滤器。一般需要考虑噪声的影响，由此，可以选择性地使用用于产生Wiener过滤器或其它的恢复过滤器的方法。光学传递函数优选不仅包含图像拍摄光学系统101中的因素，而且包含在图像处理部分104处由图像拾取元件102的输出信号产生输入图像时的因素，各因素使光学传递函数劣化。换句话说，可通过对基于图像拍摄光学系统的光学传递函数(或从光入射到图像拍摄光学系统101中到通过图像拾取元件102的图像拾取获取输入图像的光学传递函数)的反函数产生的函数执行逆傅立叶变换，产生图像恢复过滤器。图像拍摄光学系统101中的因素以外的使光学传递函数劣化的因素如下。例如， 设置在图像拾取元件102的前面处的低通滤波器(未示出)关于光学传递函数的频率特性抑制高频成分。并且，类似地设置在图像拾取元件102的前面处的红外截止滤波器影响R、 G和B通道中的每一个(特别是R通道)的点扩散函数(PSF)。并且，图像拾取元件102的像素孔径的形状或孔径比也影响频率特性。使光学传递函数劣化的其它因素是用于照射被照体的光源的光谱特性和各种波长滤波器的光谱特性。因此，优选基于考虑上述的因素的广义的光学传递函数产生图像恢复过滤器。图像拍摄光学系统101可被设置为图像拾取装置的一部分，或者，对于图像拾取
装置可互换。当输入图像是RGB颜色图像时，优选产生用于R、G和B的颜色成分的多个(在本实施例中为三个)图像恢复过滤器。这是由于图像拍摄光学系统101具有色差，由此，模糊程度在颜色成分之间相互不同。因此，为了获取对于各颜色成分最佳的图像恢复过滤器，应基于色差改变其特性。换句话说，优选对于三种颜色成分产生具有相互不同的图5所示的单元值的二维分布的三个图像恢复过滤器。虽然图4示出具有11X11个单元的图像恢复过滤器，但是，可根据像差量任选地设定图像恢复过滤器的单元的数量。图像恢复过滤器的纵向和横向的单元的数量(单元布置)不需要采用图4所示的正方形布置。只要单元布置在卷积处理中作了考虑，就可以任意地改变单元的数量。以下将描述图像恢复过滤器的特定选择和产生(校正)方法。在图3中，假定由大的空心圆表示的图像拾取条件是在步骤S2中获取的实际图像拾取条件。当在实际图像拾取条件或与其相当类似的条件中存在存储于存储器部分108中的图像恢复过滤器(以下，称为“存储的过滤器”)时，该存储的过滤器被选择以被用于图像恢复处理。当在实际图像拾取条件或与其相当类似的条件中不存在存储的过滤器时，通过以下的方法选择或产生 (校正)图像恢复过滤器。在步骤S3中，图像处理部分104计算图像拾取条件空间中的实际图像拾取条件和与多个存储的过滤器对应的图像拾取条件之间的距离。图像处理部分104选择与具有计算的距离中的最短的距离的图像拾取条件对应的存储的过滤器。对这种存储的过滤器的选择使实际图像拾取条件和与选择的存储的过滤器对应的图像拾取条件之间的差值量(条件差值量)最小化。作为结果，可以减少存储的过滤器的校正量，并且，可以产生更类似于与实际图像拾取条件对应的图像恢复过滤器的图像恢复过滤器。在图3中，假定选择与由小的空心圆表示的图像拾取条件对应的存储的过滤器。 图3在概念上示出图像拾取条件空间。但是，各实际存储的过滤器的数据需要关于坐标值的信息。因此，存储的过滤器可包含坐标值信息，或者，可在地址(坐标)被预先设定的多维布置空间中设定各存储的过滤器的数据。然后，在步骤S4中，图像处理部分104计算与在步骤S3中选择的存储的过滤器对应的图像拾取条件(A、B和C)和实际的图像拾取条件之间的条件差值量ΔΑ、ΔΒ和AC。 在步骤S5中，图像处理部分104基于条件差值量ΔΑ、ΔΒ和Δ C计算条件校正系数。在步骤S6中，图像处理部分104通过使用条件校正系数校正在步骤S3中选择的存储的过滤器。 作为结果，可产生与实际图像拾取条件对应的图像恢复过滤器。另一方面，可通过图像恢复过滤器的选择、条件差值量的计算、条件校正系数的计算和选择的过滤器的校正，选择或产生与实际的图像拾取条件对应的几何变换处理(畸变校正处理)的几何变换条件。但是，对于几何变换条件，形成图像拾取条件空间的轴的图像拾取条件的参数可与图像恢复过滤器的那些不同。例如，畸变像差不依赖于孔径直径，因此，图像拾取条件不需要包含孔径直径。然后，在步骤S7中，图像处理部分104通过使用选择或产生的图像恢复过滤器对在步骤Sl中获取的输入图像执行图像恢复处理。通过使用图像恢复过滤器对输入图像执行卷积处理使得能够减少或去除由图像拍摄光学系统101的像差导致的包含于输入图像中的图像模糊成分和颜色模糊成分。然后，在步骤S8中，图像处理部分104通过使用选择或产生(校正)的几何变换条件对由步骤S7中的图像恢复处理获得的结果图像执行作为畸变校正处理的几何变换处理。几何变换处理可减少(或去除)由于图像拍摄光学系统101的像差产生的图像的畸变成分。并且，在该步骤中，图像处理部分104将由图像恢复处理获得的结果图像分成R、G 和B的三种颜色成分。然后，图像处理部分104基于G图像对R和B图像执行几何变换(缩放)以使R和B图像与G图像匹配，这减少(或去除)作为倍率色差的成分的颜色剪切成分。调整用于畸变校正处理中的各颜色成分的几何变换条件使得能够通过畸变校正处理与畸变成分一起减少(或去除)颜色剪切成分。可通过与图像拾取装置不同的装置(个人计算机等)执行在步骤S3 S8中执行的处理。在这种情况下，可执行用于将由不同的装置获取的图像恢复过滤器存储(安装) 到图像拾取装置的存储器部分108中的处理。在图1中，通过图像处理部分104由图像恢复处理和畸变校正处理获得的输出图像以预定的格式被存储于诸如半导体存储器或光盘的图像记录介质109中。输出图像是通过图像恢复处理减少了畸变成分的鲜锐化的高质量图像。输出图像由显示部分105显示或者被输出到图像拾取装置的外面(打印机或数据库)。由系统控制器110控制包含图像拾取元件102处的光电转换、图像处理部分104 处的图像处理、图像记录介质109中的记录和显示部分105处的图像显示的上述的操作。 基于来自系统控制器110的指令由图像拍摄光学系统控制部分106控制图像拍摄光学系统 101的变焦驱动和聚焦驱动。优选图像拍摄光学系统101被设计成使得中心图像高度的图像拍摄光学系统101 的横向倍率是最大图像高度的横向倍率的1. 25倍或更多倍。由此，可减少位置最接近被照体的图像拍摄光学系统101的前透镜的直径，或者，可以校正像场弯曲。如图6所示，本实施例在最大图像高度处产生-20%的畸变。如上所述，在本实施例中，图像处理部分104检测图像拾取装置的图像拾取条件， 并然后执行与图像拾取条件对应的图像恢复处理和畸变校正处理以产生高质量输出图像。 可从事先存储于存储器部分108中的图像恢复过滤器和几何变换条件中选择在图像恢复处理和畸变校正处理中使用的图像恢复过滤器和几何变换条件，或者，可通过校正存储的图像恢复过滤器和几何变换条件使得它们与实际图像拾取条件对应来获得它们。因此，可关于图像拾取条件连续地决定图像恢复过滤器和几何变换条件。并且，图像处理部分104对已执行图像恢复处理的图像执行畸变校正处理，这可获得已很好地校正图像模糊成分和畸变成分的图像。并且，在图像恢复处理之后执行畸变校正处理可防止增加图像恢复过滤器的数据量和由几何变换导致的图像的劣化，并且使得能够将图像恢复过滤器应用于图像的周边部分以获得良好的输出图像。以下详细描述这些效果。基于从光入射到图像拍摄光学系统101中到通过图像拾取元件102的图像拾取而获取输入图像的光学传递函数(OTF)产生上述的图像恢复过滤器。通过基于对于设计的透镜数据的光线跟踪的计算或通过导致光入射到实际的图像拍摄光学系统获得的图像形成光的测量，获得该光学传递函数(OTF)。当通过测量获得光学传递函数时，可通过直接测量的点扩散函数(PSF)或线扩散函数(LSF)的傅立叶变换来获得光学传递函数。通过各方法获得的光学传递函数(OTF)包含由于图像拍摄光学系统的畸变导致的图像面的周边部分的压缩和膨胀的影响。当畸变为负时，畸变具有筒形状，因此，形成的图像的周边部分随着位置接近其边缘被空间地压缩。并且，当畸变为正时，畸变具有卷轴形状，因此，形成的图像随着位置接近边缘被空间地膨胀。因此，基于光学传递函数(OTF)产生的图像恢复过滤器也包含畸变的影响。如上所述，图像恢复过滤器的各单元与作为校正目标的输入图像的一个像素对应。对输入图像执行利用图像恢复过滤器的卷积处理提供恢复的图像(即，减少图像模糊成分)。对还没有执行畸变校正处理的图像执行利用图像恢复过滤器的卷积处理导致图像恢复过滤器的各单元适当地与图像的各像素对应，这使得能够获取良好的恢复图像。与此相对照，当对已执行畸变校正处理的图像执行利用图像恢复过滤器的卷积处理时，已对图像执行了几何变换，使得图像恢复过滤器的各单元根本不与图像的各像素对应，并因此不能获得良好的恢复图像。当畸变量大(即，当畸变校正处理中的几何变换的量大)时，这种问题是明显的。表1示出横纵比为4 3并且像素数量为1000万的图6所示的图像的周边部分中的负畸变量的偏移像素的数量。在图6中，由实线表示的畸变格子表示畸变校正处理之前的图像(畸变图像)的形状，由相互正交的虚线表示的格子表示畸变校正处理之后的图像 (畸变校正图像)的形状。表1中的偏移像素的数量表示图6中的对角方向(特定方向) 的偏移像素的数量。从表1可以理解，即使当畸变量为-5%时，几何变换中的偏移像素的数量也超过 100。因此，基本上不可能导致图像恢复过滤器的各单元与由通过具有畸变的图像拍摄光学系统的图像拾取而获取的图像的各像素对应。[表 1]
权利要求
1.一种用于处理由使用光学系统的图像拾取产生的图像的图像处理方法，包括获取图像的步骤；通过使用图像恢复过滤器执行图像恢复处理以减少所述图像的模糊成分的图像恢复步骤；和执行几何变换处理以减少已执行所述图像恢复处理的所述图像的畸变成分的畸变校正步骤。
2.根据权利要求1的图像处理方法，其中，通过对基于所述光学系统的光学传递函数的反函数产生的函数执行逆傅立叶变换，产生所述图像恢复过滤器。
3.根据权利要求1或2的图像处理方法，其中，在所述图像恢复步骤中，获取关于图像拾取条件的信息，并且，通过使用基于关于所述图像拾取条件的信息选择或产生的所述图像恢复过滤器执行所述图像恢复处理。
4.根据权利要求1 3中的任一项的图像处理方法，其中，在所述畸变校正步骤中，获取关于图像拾取条件的信息，并且，通过使用基于关于所述图像拾取条件的信息选择或产生的几何变换条件执行所述几何变换处理。
5.根据权利要求1 4中的任一项的图像处理方法，其中，在所述图像恢复步骤中，使用对于多种颜色的多个图像恢复过滤器作为所述图像恢复过滤器，所述多个图像恢复过滤器具有相互不同的过滤器值的二维分布，并且，所述多个图像恢复过滤器具有相互不同的过滤器值的绝对值最大的单元的位置相对于中心单元的位置的偏移量，所述偏移量与所述光学系统的倍率色差的量对应，由此，所述多个图像恢复过滤器减少所述模糊成分和倍率色差的成分。
6.根据权利要求1 5中的任一项的图像处理方法，其中，在所述图像恢复步骤中，对所述图像执行使用所述图像恢复过滤器的卷积处理。
7.根据权利要求1 6中的任一项的图像处理方法，其中，满足以下的关系0 < F/D < 2这里，D表示已执行所述图像恢复处理的所述图像中的有效图像区域的边缘像素通过所述几何变换处理沿特定方向偏移的像素的数量，并且，F表示向所述边缘像素施加的所述图像恢复过滤器中沿所述特定方向的单元的数量。
8.根据权利要求1 7中的任一项的图像处理方法，其中，通过使用所述图像中的通过所述几何变换处理去除的区域的图像信息执行所述图像恢复处理。
9.一种处理由使用光学系统的图像拾取产生的图像的图像处理装置，包括被配置为通过使用图像恢复过滤器执行图像恢复处理以减少图像的模糊成分的图像恢复部分；和被配置为执行几何变换处理以减少已执行所述图像恢复处理的所述图像的畸变成分的畸变校正部分。
10.一种图像拾取装置，包括被配置为光电转换由光学系统形成的被照体图像以产生图像的图像拾取系统；和处理由使用光学系统的图像拾取产生的图像的图像处理装置，其中，所述图像处理装置包含被配置为通过使用图像恢复过滤器执行图像恢复处理以减少图像的模糊成分的图像恢复部分；和被配置为执行几何变换处理以减少已执行所述图像恢复处理的所述图像的畸变成分的畸变校正部分。
全文摘要
图像处理方法处理由使用光学系统(100)的图像拾取产生的图像。方法包括获取图像的步骤；通过使用图像恢复过滤器执行图像恢复处理以减少图像的模糊成分的图像恢复步骤(S2～S7)；和执行几何变换处理以减少已执行图像恢复处理的图像的畸变成分的畸变校正步骤(S8)。
文档编号G06T5/20GK102165761SQ20098013754
公开日2011年8月24日 申请日期2009年9月28日 优先权日2008年9月30日
发明者畠山弘至 申请人:佳能株式会社
最新回复(0)