成像装置、调节装置以及调节方法
成像装置、调节装置以及调节方法
【技术领域】
[0001]本发明涉及具有检测物体的颜色的功能的成像装置、调节成像装置的调节装置以及调节方法。
【背景技术】
[0002]传统地，已知一种成像装置，例如，如在第2013-214950号日本特开专利公报中所公开的，该成像装置通过空间上将光分离成具有不同的波长特性的多个光束，来接收来自物体的光，并输出包含对应于被分离的光束的多个区域的图像。在第2013-214950号日本特开专利公报中所公开的成像装置中，滤光单元被布置在具有全光相机的配置的微透镜阵列之前的阶段，滤光单元包括具有不同波长选择性的多个滤光区域。依次通过滤光单元和微透镜阵列透射的光由光接收元件阵列接收，并且输出光场图像，在光场图像中，对应于构成微透镜阵列的各个微透镜的局部图像(以下简称“宏观像素)被排列。
[0003]光场图像内的每一个宏观像素具有与滤光单元的多个滤光区域对应的多个图像区域。通过从宏观像素取出并重新布置涉及共同滤光区域的图像区域的输出值，根据透射通过每一个滤光区域的光束的强度，可以生成多个图像。例如，然后可以使用多个图像用于检测物体的颜色的目的。
[0004]然而，例如，在第2013-214950号日本特开专利公布中所公开的成像装置中，难于在光场图像内的每一个宏观像素中精确地识别什么位置和什么滤光区域彼此对应，并且有担心例如检测物体的颜色的问题。
[0005]因此，需要能够在图像内精确地识别对应于滤光单元的每一个滤光区域的位置的成像装置、调节装置以及调节方法。
【发明内容】
[0006]本发明的目的是至少部分地解决在传统技术中的问题。
[0007]根据实施例，提供一种成像装置，包括:滤光单元，包括具有不同波长选择性的多个滤光区域；光接收元件阵列，被配置成接收透射通过滤光单元的光并输出图像；存储单元，被配置成对于每一个滤光区域，存储位置信息，位置信息指示在光接收元件阵列上接收透射通过每一个滤光区域的光的位置；区域检测器，被配置成当来自物体的光进入滤光单元时，基于位置信息，从光接收元件阵列输出的图像中检测与透射通过每一个滤光区域的光相对应的图像区域；以及颜色检测器，被配置成基于检测到的图像区域的输出值，检测物体的颜色。对应于每一个滤光区域的位置信息指示通过使用光谱响应重合度被识别的光接收元件上的位置，光谱响应重合度指示每一个像素的光谱响应度与期望的波长选择性之间的重合度，当具有不同的波长的单色的检验光依次进入滤光单元时，基于光接收元件输出的一组图像计算每一个像素的光谱响应度。
[0008]根据另一个实施例，提供一种用于调节成像装置的调节装置，成像装置包括滤光单元、光接收元件阵列以及存储单元，滤光单元包括具有不同的波长选择性的多个滤光区域，光接收元件阵列被配置成接收透射通过滤光单元的光并输出图像，存储单元被配置成对于每一个滤光区域，存储位置信息，位置信息指示在光接收元件阵列上接收透射通过每一个滤光区域的光的位置。该调节装置包括:检验光产生器，被配置成使得具有不同波长的单色检验光依次进入所述滤光单元；光谱响应重合度计算器，被配置成当检验光进入过滤单元时基于光接收元件阵列输出的一组图像，计算每一个像素的光谱响应度，以及计算指示期望的波长选择性与光谱响应度之间的重合度的光谱响应重合度；以及位置识别器，被配置成通过使用所获得的光谱响应重合度来识别在光接收元件阵列上透射通过每一个滤光区域的光的位置，并且在存储单元中存储指示识别出的位置的位置信息作为对应于每一个滤光区域的位置信息。
[0009]根据另一个实施例，提供一种用于调节成像装置的调节方法，成像装置包括滤光单元、光接收元件阵列以及存储单元，滤光单元包括具有不同波长选择性的多个滤光区域，光接收元件阵列被配置成接收透射通过滤光单元的光并输出图像，存储单元被配置成对于每一个滤光区域，存储位置信息，位置信息指示在光接收元件阵列上接收透射通过每一个滤光区域的光的位置。其该调节方法包括:使得具有不同波长的单色检验光依次进入滤光单元；当检验光进入滤光单元时，基于光接收元件输出的一组图像，计算每一个像素的光谱响应度；计算光谱响应重合度，光谱响应重合度指示期望的波长选择性与光谱响应度之间的重合度；通过使用所获得的光谱响应重合度，识别透射通过每一个滤光区域的光在光接收元件阵列上被接收的位置；以及在存储单元中存储指示识别出的位置的位置信息作为对应于每一个滤光区域的位置信息。
[0010]当结合附图考虑时，通过阅读以下对于本发明的目前较佳的实施例的详细描述，这个发明的上述及其它目的、特征、优势以及技术和工业意义将被更好地理解。
【附图说明】
[0011]图1是根据实施例的在成像装置中的光学系统的示意图；
[0012]图2图解滤光单元的几何设计的实例；
[0013]图3图解滤光单元的光谱透射；
[0014]图4是从光轴的方向看的微透镜阵列的平面图；
[0015]图5图解由成像装置拍摄的光场图像；
[0016]图6图解放大的宏观像素；
[0017]图7图解根据第一实施例的成像装置的详细配置的实例；
[0018]图8图解检验光产生器的配置的实例；
[0019]图9是光的单色性的定义的说明图；
[0020]图10图解某个像素的光谱响应度与相对于XYZ颜色系统的X颜色匹配函数之间的关系；
[0021]图11图解运算处理器的硬件配置的实例；
[0022]图12图解根据第二实施例的成像装置的详细配置的实例；以及
[0023]图13是在对成像装置进行调节中的调节装置的处理的程序的流程图。
【具体实施方式】
[0024]以下将参考附图详细描述根据本发明的成像装置、调节装置以及调节方法的典型实施例。虽然以下要被描述的实施例呈现将本发明应用到具有全光相机的配置的成像装置的实例，但是可适用的成像装置不限于此。本发明广泛适用于通过空间上将光分离成具有不同波长特性的多个光束来接收来自物体的光、并输出包含对应于被分离的光束的多个区域的图像的任何成像装置。
[0025]第一实施例
[0026]图1是根据实施例的在成像装置中的光学系统的示意图。在图1中，为了易于理解的说明，用作成像透镜的主透镜I被图解为单透镜，以及主透镜I的孔径位置被图解在单透镜的中心。
[0027]在主透镜I的孔径位置，布置滤光单元2。虽然在图1中滤光单元2被图解为似乎滤光单元2被布置在被图解为单透镜的主透镜I内，但是实际上滤光单元2不是被布置在透镜的内部。
[0028]滤光单元2包括具有不同波长选择性的多个滤光区域。在本实施例中，基于由CIE定义的XYZ颜色系统的颜色匹配函数来处理具有光谱透射的颜色的三色刺激值的滤光片被用于滤光单元2。
[0029]图2图解根据本实施例的滤光单元2的几何设计的实例。如图2所示，根据本实施例的滤光单元2配备有基于XYZ颜色系统的颜色匹配函数所设计得三个滤光区域Fx、Fy以及Fz。
[0030]图3图解根据本实施例的滤光单元2的光谱透射。在图3中，实线表示滤光区域Fx的光谱透射T χ( λ )，点划线表示滤光区域Fy的光谱透射T γ( λ )，以及虚线表示滤光区域Fz的光谱透射T ζ( λ )。这些光谱透射Τχ( λ )、ΤΥ( λ )以及Τζ( λ )通过利用透射替代XYZ颜色系统的颜色匹配函数而被获得。滤光单元2的滤光区域FX、FY以及Fz具有彼此不同的各自的波长选择性。图2和3所示的滤光单元2只是一个实例，且本发明不限于此。在滤光单元2中的滤光区域的数目可以是两个、四个或者更多，只要配置包括具有不同波长选择性的多个滤光区域。
[0031]在主透镜I的聚光位置的附近，布置包括多个微透镜(小透镜)的微透镜阵列3。此外，接收透射通过滤光单元2和微透镜阵列3光并输出图像的光接收元件排列4被布置在光学系统的像面上。在光接收元件阵列4中，每个光接收元件对应图像的一个像素，光接收元件阵列4是单色传感器，对于每一个像素的滤光片不是安装在单色传感器上。构成微透镜阵列3的每一个微透镜的直径与构成光接收元件阵列4的每一光接收元件的尺寸之间的比值上的关系为近似30:1到2:1。
[0032]图4是从光轴P (参见图1)的方向看的微透镜阵列3的平面图。在图4中的白色所示的部分是各个微透镜，并且黑色所示的部分是光屏蔽部分。光遮蔽部分是不具有曲率的平面区域并且曲率不符合在制造中的设计值规格的区域。因为对于来自这些区域的光，在设计中意想不到的光束有可能被透射到光接收元件，所以该区域被配置成通过被遮蔽来提供基于设计所假定的电信号。为了获得精确的测量值，这个配置是有意义的。
[ 0033]在根据本实施例的成像装置中，在从物体Ob发射的光中进入并通过主透镜I的孔径的光束组通过微透镜阵列3，并且由光接收元件阵列4接收。进入主透镜I的光束组是一组不计其数的光束，并且各个光束通过主透镜I的孔径的不同的位置。在根据本实施例的成像装置中，包括三个滤光区域Fx、Fy以及Fz的滤光单元2被布置在主透镜I的孔径位置。因此，通过主透镜I的孔径的不同位置的光束通过从具有不同的光谱透射(波长选择性)的三个滤光区域Fx、Fy以及F z被透射而变成具有不同的波长特性的三种光束。
[0034]从滤光单元2透射的光束一次被凝聚在微透镜阵列3的附近，然后通过微透镜阵列3的作用被扩散，并且透射通过滤光单元2的三个滤光区域Fx、Fy以及F z的光束到达光接收元件阵列4的不同的位置。换句话说，依据光束透射通过滤光单元2的三个滤光区域FX、FY以及Fz中的什么滤光区域，透射通过主透镜I的孔径位置的光束在光接收元件阵列4的传感器平面上的光接收位置不同。因此在根据本实施例的成像装置中，可以测量通过将从物体Ob的特定一个点发出的光分解为波长上的三色刺激值X、Y以及Z所获得的值。
[0035]图5图解由根据本实施例的成像装置拍摄的光场图像。当图像由根据本实施例的成像装置拍摄时，获得如图5所示的光场图像，在该光场图像中，局部图像被布置，每一个局部图像具有小圆形的形状。包括在光场图像中的每一个局部图像具有圆形形状的原因是主透镜I的孔径的形状具有圆形形状。包括在光场图像中的每一个小圆形局部图像被称为“宏观像素”。每一个宏观像素紧接在构成微透镜阵列3的每一个微透镜下面而形成。
[0036]图6图解放大的宏观像素。宏观像素的内部结构对应于布置在主透镜I的孔径位置的滤光单元2的结构(参见图2)。具体地，如图6所示，由根据本实施例的成像装置拍摄的光场图像中包括的每一个宏观像素被配有对应于滤光区域Fx的图像区域Mx、对应于滤光区域Fy的图像区域My以及对应于滤光区域Fz的图像区域Mz。在每一个宏观像素中的图像区域MX、MY以及M z通过接收透射通过滤光单元2的滤光区域F X、FY以及F 2的各个光束来分别获得。图6所示的宏观像素的内部结构相比于图2所示的滤光单元2的结构是上下颠倒的原因是光学系统的转送。由于取决于光学系统，所以对应关系不限于这个实例。
[0037]在根据本实施例的成像装置中，可以基于宏观像素的图像区域Mx、My以及Mz的输出值，测量对应于宏观像素的物体位置的光谱能量。宏观像素的图像区域Mx、My以及^的输出值被设置为V= [vx, vY, VzIt0这里，符号“t”表示矩阵的转置。对于输出值，可以获得对于每一个图像区域MX、MY以及Mz的光接收元件的输出的平均值或者对于每一个图像区域MX、MY以及^的一个选择的光接收元件的输出值被获得并被采用作为代表值。这里，当对于每一个图像区域Mx、My以及Mz的光接收元件的输出的平均值被视为每一个图像区域M x、My以及Mz的输出值时，有可能抑制电子随机噪声的影响并获得相对于噪声稳健的信号。
[0038]通过将从物体Ob发出的光分解成在波长上的三色刺激值X、Y以及Z所获得的值乘以光接收元件阵列4的光谱灵敏度，来获得宏观像素的图像区域仏為以及Mz的输出值。由于光接收元件阵列4的光谱灵敏度在设计阶段已知，因此，通过将各个输出值除以光接收元件阵列4的光谱灵敏度，可以获得来自物体Ob的光的三色刺激值X、Y以及Ζ。基于三色刺激值X、Y以及Ζ，然后可以检测物体Ob的颜色(在XYZ颜色系统的颜色值)。
[0039]这里，在根据本实施例的成像装置中，有必要在确实被制造的实际的装置中识别光接收元件阵列4的什么光接收元件与宏观像素的ΜΧ、ΜΥ以及Mz当中的什么图像区域彼此对应，以基于宏观像素的图像区域Mx、My以及Mz的输出值来检测物体Ob的颜色。换句话说，因为每一个实际的装置在生产中牵涉误差，诸如在光学系统中的校正误差，因此例如光接收元件阵列4中的对应于宏观像素的每一个图像区域ΜΧ、ΜΥ以及Mz的光接收元件可以彼此不同。
[0040]在根据本实施例的成像装置中，光接收元件阵列4中的对应于宏观像素的每一个图像区域MX、MY以及^的光接收元件的位置，即，透射通过滤光单元2的每一个滤光区域Fx、Fy以及光在光接收元件阵列4上被接收的位置以后面将说明的方法被识别，并且表示该位置的位置信息被存储在存储单元中。成像装置被配置成通过使用存储在存储单元中的位置信息，从由光接收元件阵列4输出的光场图像检测宏观像素的图像区域Mx、My以及M z，以及基于所检测的图像区域MX、MY以及Mz的输出值来检测物体Ob的颜色。
[0041]图7图解根据本实施例的成像装置的具体配置的实例。图7所示的成像装置10具有透镜模块20、相机单元30以及运算处理器40。
[0042]透镜模块20配备有第一透镜la、第二透镜Ib以及滤光单元2。第一透镜Ia以及第二透镜Ib构成主透镜I。然而，这个配置仅仅是实例，并且可以采用任何其它的配置，只要滤光单元2被布置在构成主透镜I的光学元件的孔径位置即可。
[0043]相机单元30配备有微透镜阵列3、光接收元件阵列4以及帧存储器31。帧存储器31临时存储由光接收元件阵列4输出的光场图像。
[0044]如图7所示，在通过相机单元30所获得的图像上进行各种运算处理的运算处理器40配备有光谱响应重合度计算器41、位置识别器42、区域检测器43以及颜色检测器44的处理功能。运算处理器40进一步配备有存储单元45，该存储单元45由非易失性RAM实现，并存储位置信息。例如，存储单元45能够以查询表的形式存储由位置识别器42所识别的位置信息，位置识别器42将在稍后说明。存储单元45可以被设置在运算处理器40的外面。
[0045]运算处理器40的处理功能当中的用于在存储单元45中存储位置信息的光谱响应重合度计算器41以及位置识别器42，响应于在实际的装置被运送之前或者在被运送之后的任意时间由调节操作员在调节中进行的预定操作而被调用。每当光接收元件阵列4在拍摄物体的图像中输出光场图像时，用于通过实际使用光场图像来检测物体的颜色的输出区域检测器43和颜色检测器44被调用。
[0046]当检验光的波长依次被改变的同时具有单色性的检验光进入光学系统的滤光单元2时，光谱响应重合度计算器41基于由光接收元件阵列4输出的一组光场图像，进行计算构成光场图像的每一个像素的光谱响应度以及计算表示光谱响应度与期望的波长选择性之间的重合度的光谱响应重合度的处理。
[0047]检验光由如图7所示的检验光产生器60产生。图8图解检验光产生器60的配置的实例。检验光产生器60具有诸如氙灯的光源61以及光谱单元62，光谱单元62透射从光源61发出的光并将从光源61发出的光用作为具有单色性的检验光。例如，如图8所示，光谱单元62配备有衍射光栅63、狭缝64以及移位单元65，衍射光栅63使从光源61发出的光色散成不同波长的光束，狭缝6选择性地透射由衍射光栅63色散的不同波长的光束，移位单元65改变狭缝64相对于衍射光栅63的位置，以改变要通过狭缝64透射的光的波长。
[0048]在具有图8所示的配置的检验光产生器60中，从光源61发出的光通过衍射光栅63被色散为每一个波长。为了从由衍射光栅63色散的光中获得特定波长的光束，具有狭窄间隙的狭缝64被布置在衍射光栅63的前面(在光源61的相反侧)。通过由移位单元65改变狭缝64的位置，可以使得具有不同波长的单色光束(检验光束)依序进入成像装置10。
[0049]图9是光的单色性的定义的说明图。如图9所示，在本实施例中，半高宽度(FWHM:半高全线宽)等于或者小于40nm的光被视为具有单色性的光。由于当半高宽度变得较大时，光谱响应度相对于目标波长的精度下降，因而较小的半高宽度是较佳的。然而，由于作为折衷的结果是信号的数量减少，因而，较佳的是，使用在能够获得足够的信噪比的范围内半高宽度小的光束作为检验光。
[0050]例如，在调节成像装置10中，如上所述的检验光产生器60被用于使得从400nm到700nm中的每5nm的单色光束进入光学系统，并且对于每一个波长拍摄光场图像。这个操作能够获得一组61个光场图像。
[0051]光谱响应重合度计算器41首先基于以这种方式获得的图像组计算构成光场图像的每一个像素的光谱响应度。换句话说，某个像素被聚焦，且在相同位置的像素的值从61个图像组被提取以获得该的光谱响应度。光谱响应重合度计算器41对于构成光场图像的每一个像素进行这个处理，以计算每一个像素的光谱响应度。
[0052]然后，光谱响应重合度计算器41对于构成光场图像的每一个像素计算表示在上述方式中所获得的光谱响应度与期望的波长选择性之间的重合度的光谱响应重合度 。
[0053]图10图解某个像素的光谱响应度与对于XYZ颜色系统的X的颜色匹配函数之间的关系。图10的实线表示对于X的颜色匹配函数，绘制的三角形黑点的聚集表示某个像素的光谱响应度。图10揭示了某个像素的光谱响应度没有完全对应于颜色匹配函数。
[0054]例如，光谱响应重合度计算器41能够通过以下所示的方法计算光谱响应重合度。
[0055]基于颜色匹配函数的从400nm到700nm每5nm的值，颜色匹配函数由在以下方程(I)中所表示的61维矢量X表示。
[0056]X — [X4(i(i，X405)...，x7(ici] (I)
[0057]类似地，某个像素的光谱响应度由在方程(2)中所表示的61维矢量k表示。
[0058]k — [k400, k405,..., k700] (2)
[0059]因为我们想知道组成由成像装置10拍摄的构成光场图像的像素的光谱响应度多接近期望的波长选择性(颜色匹配函数)，所以矢量X和矢量k的内积“S = X *k”被计算，且被视为光谱响应重合度。光谱响应重合度计算器41对于构成光场图像的每一个像素进行这个处理，以计算每一个像素的光谱响应重合度。
[0060]位置识别器42使用通过由光谱响应重合度计算器41进行的处理所获得的每一个像素的光谱响应重合度来识别宏观像素内的图像区域Mx、My以及Mz的各个位置，以及在存储单元45中存储位置信息，图像区域Mx、My以及M z分别对应滤光单元2的滤光区域F x、Fy以及Fz。
[0061]有一些位置识别器42识别宏观像素内的图像区域Mx、My以及位置的可能的方法。例如，有将光谱响应重合度相对于构成宏观像素的像素当中的X的颜色匹配函数是最大的一个像素视为图像区域仏内的像素、并且存储该像素的位置信息的方法。这个方法在通过颜色检测器44进行的颜色检测中提高精度的同时引起了相当大的变化，稍后说明该变化。
[0062]此外，有将光谱响应重合度相对于X的颜色匹配函数是最大像素及其周围的像素视为图像区域仏内的像素、并且存储该像素的位置信息的方法。虽然这个方法相比于上述方法导致在颜色检测中的精度上的降低，但是其具有能够抑制由于平均效应导致的变化以及通过调节周围的像素的范围来平衡精度和变化的优点。
[0063]此外，有为相对于X的颜色匹配函数的光谱响应重合度设置阈值、将相对于X的颜色匹配函数的光谱响应重合度等于或者大于阀值的像素视为构成宏观像素的像素当中的图像区域仏内的像素、以及存储该像素的位置信息的方法。这个方法能够保障在颜色检测中精度在一定水平以上的性能。
[0064]虽然识别图像区域Mx的位置的情况被作为实例，且到目前为止被说明，但是可以在相同的方法中识别图像区域仏和^的位置。
[0065]基于存储在存储单元45中的位置信息，区域检测器43从在拍摄物体的图像中，即，当来自物体的光进入过滤单元2时，由光接收元件阵列4输出的光场图像检测每一个宏观像素的各个图像区域仏為以及Mz。根据本实施例的区域检测器43根据宏观像素的位置重新布置所检测的图像MX、MY以及M z的输出值，以生成中间图像。
[0066]具体地，区域检测器43检测包括在光场图像中的每一个宏观像素的图像区域Mx，并根据每一个宏观像素的位置(i，j)重新布置所检测的图像区域Mx(例如，构成图像区域Mda像素的平均值)的输出值，以生成对应于滤光单元2的滤光区域的中间图像。换句话说，例如，当(i，j) = (1,1)为真时，那么在光场图像的左上端的宏观像素内的图像区域Mx的输出值被视为中间图像的左上端的像素的值。对于所有包括在光场图像中的宏观像素进行这个处理，以生成中间图像，中间图像为由透射通过滤光单元2的滤光区域^的光所形成的二维图像。
[0067]区域检测器43对于包括在光场图像中的每一个宏观像素内的图像区域MjP M ζ?行相同的处理，以生成对应于滤光单元2的滤光区域Fy的中间图像以及对应于滤光单元2的滤光区域？2的中间图像。
[0068]颜色检测器44基于由区域检测器43检测的图像区域仏、1^以及Mz的图像区域的输出值，在上述方法中检测物体的颜色。根据本实施例的颜色检测器44通过使用由区域检测器43所生成的三个中间图像(三个中间图像对应于滤光单元2的滤光区域Fx、Fy以及Fz)，能够单独地检测在物体的不同位置的颜色。
[0069]区域检测器43可以被配置成获得三个图像区域MX、MY以及Mz的代表输出值，而不是生成对应于三个图像区域MX、MY以及Mz的各个中间图像。在这种情况下，颜色检测器44基于三个图像区域Mx、My以及M z的代表输出值检测物体的颜色。
[0070]如到目前为止所说明的，在根据本实施例的成像装置10中，光场图像的每一个像素的光谱响应重合度在调节中被计算，分别对应于滤光单元2的滤光区域Fx、Fy以及图像区域MX、MY以及M z的各个位置，通过使用光谱响应重合度被识别，并且位置信息被存储在存储单元45中。在实际通过使用成像装置10拍摄物体的图像和检测物体的颜色中，可以使用存储在存储单元45中的位置信息，以及正确地检测来自通过物体的图像拍摄所获得的光场图像的每一个宏观像素的图像区域仏、My以及Mz。然后，基于所检测得图像区域Mx、My以及Mz可以适当地检测物体颜色。
[0071]图11图解运算处理器40的硬件配置的实例。例如，如图11所示，运算处理器40具有CPU (中央处理单元)51、其中存储使得CPU 51操作的程序的ROM (只读存储器)52、当CPU 51执行程序时用作工作存储器的RAM(随机存取存储器)53、用作存储单元45的非易失性RAM 54、以及临时存储来自相机单元30的图像数据的图像RAM 55。
[0072]例如，CPU 51使用RAM 53读取存储在ROM 52中的程序并执行程序，因此，在图7中所示的运算处理器40的处理功能(光谱响应重合度计算器41、位置识别器42、区域检测器43以及颜色检测器44)被实现。例如，运算处理器40的部分或者所有的处理功能可以由诸如ASIC(专用集成电路)或者FPGA (现场可编程门阵列)的专用硬件来实现。
[0073]如到目前为止利用具体的实例所详细说明的，在根据本实施例的成像装置10中，可以精确地识别图像内的对应于滤光单元2的滤光区域Fx、Fy以及Fz的位置，适当地进行物体的颜色检测等等。
[0074]第二实施例
[0075]接下来，将说明第二实施例。在第二实施例中，调节装置在调节中对于构成光场图像的每一个像素进行计算光谱响应重合度的处理，并且使用光谱响应重合度来识别图像区域仏、My以及^的位置以及在存储单元45中存储位置信息的处理。与第一实施例相同的组件将被分配相同的参考符号，将适当省略重复的说明，并且以下只有第二实施例的特征点将被说明。
[0076]图12图解根据第二实施例的成像装置的具体配置的实例。图12所示的成像装置70具有透镜模块20、相机单元30以及运算处理器80。透镜模块20与相机单元30与第一实施例相同。不同于根据第一实施例的运算处理器40的运算处理器80只配备有区域检测器43和颜色检测器44，且不配备有光谱响应重合度计算器41和位置识别器42。
[0077]在第二实施例中，如图12所示的调节装置90被用于调节成像装置70。调节装置90除了检验光产生器60之外，还具有运算处理器100，检验光产生器60与第一实施例相同。调节装置90的运算处理器100具有光谱响应重合度计算器101以及位置识别器102，光谱响应重合度计算器101与根据第一实施例的光谱响应重合度计算器41相同，位置识别器102与根据第一实施例的位置识别器42相同。
[0078]调节装置90使得检验光产生器60在调节成像装置70中工作，以在依次改变检验光的波长的同时使得具有单色性的检验光进入成像装置70的滤光单元2。每当每一个波长的检验光进入滤光单元2时，调节装置90从成像装置70获得由光接收元件阵列4输出的一组光场图像，并且将这组光场图像输入到运算处理器100。
[0079]运算处理器100的光谱响应重合度计算器101基于从成像装置70获得的该组光场图像，计算构成光场图像的每一个像素的光谱响应度，以及计算表示光谱响应度与期望的波长选择性之间的重合度的光谱响应重合度，运算处理器100类似于根据第一实施例的光谱响应重合度计算器41。
[0080]运算处理器100的位置识别器102由通过光谱响应重合度计算器101进行的处理所获得的每一个像素的光谱响应重合度，来识别宏观像素内分别对应于滤光单元2的滤光区域FX、FY以及F z的图像区域M X、MY以及M z的各个位置，并且在存储单元45中存储位置 信息，运算处理器100类似于根据第一实施例的位置识别器42。
[0081]图13是在对成像装置70进行调节中调节装置90的处理的程序的流程图。这里，在图13的流程图中从步骤SlOl到S105的流程适用于根据第一实施例的对成像装置10的调节。
[0082]在对成像装置70进行调节中，调节装置90首先使得检验光产生器60工作，以在依次改变检验光的波长的同时使得具有单色性的检验光进入成像装置70的滤光单元2 (步Ms1Do
[0083]接下来，调节装置90的光谱响应重合度计算器101获得由成像装置70的光接收元件阵列4输出的该组光场图像(步骤S102)，并且基于该组光场图像来计算构成光场图像的每一个像素的光谱响应度(步骤S103)。
[0084]接下来，光谱响应重合度计算器101对于构成光场图像的每一个像素计算表示在步骤S103所计算出的光谱响应度与期望的波长选择性之间的重合度的光谱响应重合度(步骤 S104) ο
[0085]接下来，调节装置90的位置识别器102使用通过由光谱响应重合度计算器101进行的处理所获得的每一个像素的光谱响应重合度来识别宏观像素内的对应于滤光单元2的滤光区域FX、FY以及Fz的图像区域MX、MY以及Mz的各个位置(步骤S105)，并结束成像装置70的调节。
[0086]如到目前为止所说明的，在第二实施例中，调节装置90被配置成对于光场图像的每一个像素进行计算光谱响应重合度的处理，并且通过使用光谱响应重合度识别图像区域Mx、My以及Mz的位置并在存储单元45中存储位置信息的处理。因此，可以在减少在成像装置70中的处理的负载的同时，获得与第一实施例相同的优点。
[0087]第一变形例
[0088]在第一和第二实施例种，衍射光栅63、狭缝64以及移位单元65构成检验光产生器60的光谱单元62。然而，本发明不限于这个实例，例如，使用颜料的吸收滤光片或者使用多层电介质的干涉滤光片可被用作光谱单元62。
[0089]第二变形例
[0090]在第一和第二实施例中，氙灯被用作检验光产生器60的光源61。然而，本发明不限于氙灯和卤灯，例如，发光二极管等等可被用作光源61。因为卤灯虽然在短波长侧的光强度低于氙灯，但是其具有类似于氙灯的在大波长范围的强度，因此，卤灯可用作光源61。此夕卜，尽管发光二极管相比于氙灯和卤灯波长的范围大体上是窄的，但是发光二极管可被用作光源61。
[0091]根据如上所述的实施例，有能够精确地识别图像内对应于滤光单元的每个滤光区域的位置的优点。
[0092]虽然本发明已相对具体的实施例被描述用于完全的和清楚的公开，但是所附权利要求并不因此被限制，而是被解释为具体化完全属于在此阐述的基本教导的本领域技术人员可以想到的所有修改以及替代构造。
【主权项】
1.一种成像装置，其特征在于，包括: 滤光单元，所述滤光单元包括具有不同波长选择性的多个滤光区域； 光接收元件阵列，所述光接收元件阵列被配置成接收透射通过所述滤光单元的光并输出图像； 存储单元，所述存储单元被配置成对于每一个所述滤光区域，存储位置信息，所述位置信息指示在所述光接收元件阵列上接收透射通过每一个所述滤光区域的光的位置； 区域检测器，所述区域检测器被配置成当来自物体的光进入所述滤光单元时，基于所述位置信息，从所述光接收元件阵列输出的所述图像中检测与透射通过每一个所述滤光区域的所述光相对应的图像区域；以及 颜色检测器，所述颜色检测器被配置成基于检测到的图像区域的输出值，检测所述物体的颜色， 其中，对应于每一个所述滤光区域的所述位置信息指示通过使用光谱响应重合度被识别的所述光接收元件上的位置，所述光谱响应重合度指示每一个像素的光谱响应度与期望的波长选择性之间的重合度，当具有不同的波长的单色的检验光依次进入所述滤光单元时，基于所述光接收元件输出的一组图像来计算每一个像素的所述光谱响应度。2.如权利要求1所述的成像装置，其特征在于，进一步包括: 光谱响应重合度计算器，所述光谱响应重合度计算器被配置成计算每一个像素的所述光谱响应重合度；以及 位置识别器，所述位置识别器被配置成通过使用所述光谱响应重合度来识别在所述光接收元件阵列上接收透射通过每一个所述滤光区域的所述光的所述位置，并且在所述存储单元中存储指示识别出的位置的所述位置信息作为对应于每一个所述滤光区域的所述位置信息。3.如权利要求1或2所示的成像装置，其特征在于， 所述光谱响应重合度是所述期望的波长选择性与所述光谱响应度的内积。4.如权利要求1或2所述的成像装置，其特征在于， 所述滤光单元包括具有基于颜色匹配函数的光谱透射率的至少三个滤光区域。5.一种用于调节成像装置的调节装置，其特征在于，所述成像装置包括滤光单元、光接收元件阵列以及存储单元，所述滤光单元包括具有不同的波长选择性的多个滤光区域，所述光接收元件阵列被配置成接收透射通过所述滤光单元的光并输出图像，所述存储单元被配置成对于每一个所述滤光区域，存储位置信息，所述位置信息指示在所述光接收元件阵列上接收透射通过每一个所述滤光区域的光的位置，所述调节装置包括: 检验光产生器，所述检验光产生器被配置成使得具有不同波长的单色检验光依次进入所述滤光单元； 光谱响应重合度计算器，所述光谱响应重合度计算器被配置成当所述检验光进入所述过滤单元时，基于所述光接收元件阵列输出的一组图像，计算每一个像素的光谱响应度，以及计算指示期望的波长选择性与所述光谱响应度之间的重合度的光谱响应重合度；以及 位置识别器，所述位置识别器被配置成通过使用所获得的光谱响应重合度来识别在所述光接收元件阵列上接收透射通过每一个所述滤光区域的所述光的所述位置，并且在存储单元中存储指示识别出的位置的所述位置信息作为对应于每一个滤光区域的所述位置信息。6.如权利要求5所述的调节装置，其特征在于， 所述检验光产生器包括光源和光谱单元，所述光谱单元被配置成透射从所述光源发出的光，并将所述光用作所述检验光。7.如权利要求6所述的调节装置，其特征在于，所述光谱单元包括: 衍射光栅，所述衍射光栅被配置为使从所述光源发出的所述光色散成具有不同波长的光， 狭缝，所述狭缝被配置成选择性地透射由所述衍射光栅色散的具有不同波长的所述光，以及 移位单元，所述移位单元被配置成改变所述狭缝相对于所述衍射光栅的位置，以选择要透射通过所述狭缝的光的波长。8.如权利要求6所述的调节装置，其特征在于，所述光谱单元是使用颜料的吸收滤光片和使用多层电介质的干涉滤光片中的一个。9.如权利要求6所述的调节装置，其特征在于，所述光源是氙灯、卤灯以及发光二极管中的任何一个。10.—种用于调节成像装置的调节方法，其特征在于，所述成像装置包括滤光单元、光接收元件阵列以及存储单元，所述滤光单元包括具有不同波长选择性的多个滤光区域，所述光接收元件阵列被配置成接收透射通过所述滤光单元的光并输出图像，所述存储单元被配置成对于每一个所述滤光区域，存储位置信息，所述位置信息指示在所述光接收元件阵列上接收透射通过每一个所述滤光区域的光的位置，所述调节方法包括: 使得具有不同波长的单色检验光依次进入所述滤光单元； 当所述检验光进入所述滤光单元时，基于所述光接收元件输出的一组图像，计算每一个像素的光谱响应度； 计算光谱响应重合度，所述光谱响应重合度指示期望的波长选择性与所述光谱响应度之间的重合度； 通过使用所获得的光谱响应重合度，识别透射通过每一个所述滤光区域的所述光在所述光接收元件阵列上被接收的所述位置；以及 在所述存储单元中存储指示识别出的位置的所述位置信息作为对应于每一个所述滤光区域的所述位置信息。
【专利摘要】一种成像装置，包括滤光单元，包括具有不同波长选择性的滤光区域；光接收元件阵列，被配置成接收透射通过滤光单元的光；存储单元，被配置成对于每一个滤光区域，存储位置信息，位置信息指示在光接收元件阵列上接收透射的光的位置；区域检测器，被配置成当光从物体进入滤光单元时，基于位置信息检测，从光接收元件阵列输出的图像中检测与透射的光相对应的图像区域；以及颜色检测器，被配置基于图像区域的输出值来检测物体的颜色。位置信息指示通过使用光谱响应重合度被识别的光接收元件阵列上的位置，光谱响应重合度指示每一个像素的光谱响应度和期望的波长选择性之间的重合度。还提供一种调节装置以及调节方法。
【IPC分类】G01J3/46, H04N5/232
【公开号】CN104902165
【申请号】CN201510094575
【发明人】山中祐治, 增田宪介, 丸山刚, 永井祥
【申请人】株式会社理光
【公开日】2015年9月9日
【申请日】2015年3月3日
【公告号】US20150256801
【技术领域】
[0001]本发明涉及具有检测物体的颜色的功能的成像装置、调节成像装置的调节装置以及调节方法。
【背景技术】
[0002]传统地，已知一种成像装置，例如，如在第2013-214950号日本特开专利公报中所公开的，该成像装置通过空间上将光分离成具有不同的波长特性的多个光束，来接收来自物体的光，并输出包含对应于被分离的光束的多个区域的图像。在第2013-214950号日本特开专利公报中所公开的成像装置中，滤光单元被布置在具有全光相机的配置的微透镜阵列之前的阶段，滤光单元包括具有不同波长选择性的多个滤光区域。依次通过滤光单元和微透镜阵列透射的光由光接收元件阵列接收，并且输出光场图像，在光场图像中，对应于构成微透镜阵列的各个微透镜的局部图像(以下简称“宏观像素)被排列。
[0003]光场图像内的每一个宏观像素具有与滤光单元的多个滤光区域对应的多个图像区域。通过从宏观像素取出并重新布置涉及共同滤光区域的图像区域的输出值，根据透射通过每一个滤光区域的光束的强度，可以生成多个图像。例如，然后可以使用多个图像用于检测物体的颜色的目的。
[0004]然而，例如，在第2013-214950号日本特开专利公布中所公开的成像装置中，难于在光场图像内的每一个宏观像素中精确地识别什么位置和什么滤光区域彼此对应，并且有担心例如检测物体的颜色的问题。
[0005]因此，需要能够在图像内精确地识别对应于滤光单元的每一个滤光区域的位置的成像装置、调节装置以及调节方法。
【发明内容】
[0006]本发明的目的是至少部分地解决在传统技术中的问题。
[0007]根据实施例，提供一种成像装置，包括:滤光单元，包括具有不同波长选择性的多个滤光区域；光接收元件阵列，被配置成接收透射通过滤光单元的光并输出图像；存储单元，被配置成对于每一个滤光区域，存储位置信息，位置信息指示在光接收元件阵列上接收透射通过每一个滤光区域的光的位置；区域检测器，被配置成当来自物体的光进入滤光单元时，基于位置信息，从光接收元件阵列输出的图像中检测与透射通过每一个滤光区域的光相对应的图像区域；以及颜色检测器，被配置成基于检测到的图像区域的输出值，检测物体的颜色。对应于每一个滤光区域的位置信息指示通过使用光谱响应重合度被识别的光接收元件上的位置，光谱响应重合度指示每一个像素的光谱响应度与期望的波长选择性之间的重合度，当具有不同的波长的单色的检验光依次进入滤光单元时，基于光接收元件输出的一组图像计算每一个像素的光谱响应度。
[0008]根据另一个实施例，提供一种用于调节成像装置的调节装置，成像装置包括滤光单元、光接收元件阵列以及存储单元，滤光单元包括具有不同的波长选择性的多个滤光区域，光接收元件阵列被配置成接收透射通过滤光单元的光并输出图像，存储单元被配置成对于每一个滤光区域，存储位置信息，位置信息指示在光接收元件阵列上接收透射通过每一个滤光区域的光的位置。该调节装置包括:检验光产生器，被配置成使得具有不同波长的单色检验光依次进入所述滤光单元；光谱响应重合度计算器，被配置成当检验光进入过滤单元时基于光接收元件阵列输出的一组图像，计算每一个像素的光谱响应度，以及计算指示期望的波长选择性与光谱响应度之间的重合度的光谱响应重合度；以及位置识别器，被配置成通过使用所获得的光谱响应重合度来识别在光接收元件阵列上透射通过每一个滤光区域的光的位置，并且在存储单元中存储指示识别出的位置的位置信息作为对应于每一个滤光区域的位置信息。
[0009]根据另一个实施例，提供一种用于调节成像装置的调节方法，成像装置包括滤光单元、光接收元件阵列以及存储单元，滤光单元包括具有不同波长选择性的多个滤光区域，光接收元件阵列被配置成接收透射通过滤光单元的光并输出图像，存储单元被配置成对于每一个滤光区域，存储位置信息，位置信息指示在光接收元件阵列上接收透射通过每一个滤光区域的光的位置。其该调节方法包括:使得具有不同波长的单色检验光依次进入滤光单元；当检验光进入滤光单元时，基于光接收元件输出的一组图像，计算每一个像素的光谱响应度；计算光谱响应重合度，光谱响应重合度指示期望的波长选择性与光谱响应度之间的重合度；通过使用所获得的光谱响应重合度，识别透射通过每一个滤光区域的光在光接收元件阵列上被接收的位置；以及在存储单元中存储指示识别出的位置的位置信息作为对应于每一个滤光区域的位置信息。
[0010]当结合附图考虑时，通过阅读以下对于本发明的目前较佳的实施例的详细描述，这个发明的上述及其它目的、特征、优势以及技术和工业意义将被更好地理解。
【附图说明】
[0011]图1是根据实施例的在成像装置中的光学系统的示意图；
[0012]图2图解滤光单元的几何设计的实例；
[0013]图3图解滤光单元的光谱透射；
[0014]图4是从光轴的方向看的微透镜阵列的平面图；
[0015]图5图解由成像装置拍摄的光场图像；
[0016]图6图解放大的宏观像素；
[0017]图7图解根据第一实施例的成像装置的详细配置的实例；
[0018]图8图解检验光产生器的配置的实例；
[0019]图9是光的单色性的定义的说明图；
[0020]图10图解某个像素的光谱响应度与相对于XYZ颜色系统的X颜色匹配函数之间的关系；
[0021]图11图解运算处理器的硬件配置的实例；
[0022]图12图解根据第二实施例的成像装置的详细配置的实例；以及
[0023]图13是在对成像装置进行调节中的调节装置的处理的程序的流程图。
【具体实施方式】
[0024]以下将参考附图详细描述根据本发明的成像装置、调节装置以及调节方法的典型实施例。虽然以下要被描述的实施例呈现将本发明应用到具有全光相机的配置的成像装置的实例，但是可适用的成像装置不限于此。本发明广泛适用于通过空间上将光分离成具有不同波长特性的多个光束来接收来自物体的光、并输出包含对应于被分离的光束的多个区域的图像的任何成像装置。
[0025]第一实施例
[0026]图1是根据实施例的在成像装置中的光学系统的示意图。在图1中，为了易于理解的说明，用作成像透镜的主透镜I被图解为单透镜，以及主透镜I的孔径位置被图解在单透镜的中心。
[0027]在主透镜I的孔径位置，布置滤光单元2。虽然在图1中滤光单元2被图解为似乎滤光单元2被布置在被图解为单透镜的主透镜I内，但是实际上滤光单元2不是被布置在透镜的内部。
[0028]滤光单元2包括具有不同波长选择性的多个滤光区域。在本实施例中，基于由CIE定义的XYZ颜色系统的颜色匹配函数来处理具有光谱透射的颜色的三色刺激值的滤光片被用于滤光单元2。
[0029]图2图解根据本实施例的滤光单元2的几何设计的实例。如图2所示，根据本实施例的滤光单元2配备有基于XYZ颜色系统的颜色匹配函数所设计得三个滤光区域Fx、Fy以及Fz。
[0030]图3图解根据本实施例的滤光单元2的光谱透射。在图3中，实线表示滤光区域Fx的光谱透射T χ( λ )，点划线表示滤光区域Fy的光谱透射T γ( λ )，以及虚线表示滤光区域Fz的光谱透射T ζ( λ )。这些光谱透射Τχ( λ )、ΤΥ( λ )以及Τζ( λ )通过利用透射替代XYZ颜色系统的颜色匹配函数而被获得。滤光单元2的滤光区域FX、FY以及Fz具有彼此不同的各自的波长选择性。图2和3所示的滤光单元2只是一个实例，且本发明不限于此。在滤光单元2中的滤光区域的数目可以是两个、四个或者更多，只要配置包括具有不同波长选择性的多个滤光区域。
[0031]在主透镜I的聚光位置的附近，布置包括多个微透镜(小透镜)的微透镜阵列3。此外，接收透射通过滤光单元2和微透镜阵列3光并输出图像的光接收元件排列4被布置在光学系统的像面上。在光接收元件阵列4中，每个光接收元件对应图像的一个像素，光接收元件阵列4是单色传感器，对于每一个像素的滤光片不是安装在单色传感器上。构成微透镜阵列3的每一个微透镜的直径与构成光接收元件阵列4的每一光接收元件的尺寸之间的比值上的关系为近似30:1到2:1。
[0032]图4是从光轴P (参见图1)的方向看的微透镜阵列3的平面图。在图4中的白色所示的部分是各个微透镜，并且黑色所示的部分是光屏蔽部分。光遮蔽部分是不具有曲率的平面区域并且曲率不符合在制造中的设计值规格的区域。因为对于来自这些区域的光，在设计中意想不到的光束有可能被透射到光接收元件，所以该区域被配置成通过被遮蔽来提供基于设计所假定的电信号。为了获得精确的测量值，这个配置是有意义的。
[ 0033]在根据本实施例的成像装置中，在从物体Ob发射的光中进入并通过主透镜I的孔径的光束组通过微透镜阵列3，并且由光接收元件阵列4接收。进入主透镜I的光束组是一组不计其数的光束，并且各个光束通过主透镜I的孔径的不同的位置。在根据本实施例的成像装置中，包括三个滤光区域Fx、Fy以及Fz的滤光单元2被布置在主透镜I的孔径位置。因此，通过主透镜I的孔径的不同位置的光束通过从具有不同的光谱透射(波长选择性)的三个滤光区域Fx、Fy以及F z被透射而变成具有不同的波长特性的三种光束。
[0034]从滤光单元2透射的光束一次被凝聚在微透镜阵列3的附近，然后通过微透镜阵列3的作用被扩散，并且透射通过滤光单元2的三个滤光区域Fx、Fy以及F z的光束到达光接收元件阵列4的不同的位置。换句话说，依据光束透射通过滤光单元2的三个滤光区域FX、FY以及Fz中的什么滤光区域，透射通过主透镜I的孔径位置的光束在光接收元件阵列4的传感器平面上的光接收位置不同。因此在根据本实施例的成像装置中，可以测量通过将从物体Ob的特定一个点发出的光分解为波长上的三色刺激值X、Y以及Z所获得的值。
[0035]图5图解由根据本实施例的成像装置拍摄的光场图像。当图像由根据本实施例的成像装置拍摄时，获得如图5所示的光场图像，在该光场图像中，局部图像被布置，每一个局部图像具有小圆形的形状。包括在光场图像中的每一个局部图像具有圆形形状的原因是主透镜I的孔径的形状具有圆形形状。包括在光场图像中的每一个小圆形局部图像被称为“宏观像素”。每一个宏观像素紧接在构成微透镜阵列3的每一个微透镜下面而形成。
[0036]图6图解放大的宏观像素。宏观像素的内部结构对应于布置在主透镜I的孔径位置的滤光单元2的结构(参见图2)。具体地，如图6所示，由根据本实施例的成像装置拍摄的光场图像中包括的每一个宏观像素被配有对应于滤光区域Fx的图像区域Mx、对应于滤光区域Fy的图像区域My以及对应于滤光区域Fz的图像区域Mz。在每一个宏观像素中的图像区域MX、MY以及M z通过接收透射通过滤光单元2的滤光区域F X、FY以及F 2的各个光束来分别获得。图6所示的宏观像素的内部结构相比于图2所示的滤光单元2的结构是上下颠倒的原因是光学系统的转送。由于取决于光学系统，所以对应关系不限于这个实例。
[0037]在根据本实施例的成像装置中，可以基于宏观像素的图像区域Mx、My以及Mz的输出值，测量对应于宏观像素的物体位置的光谱能量。宏观像素的图像区域Mx、My以及^的输出值被设置为V= [vx, vY, VzIt0这里，符号“t”表示矩阵的转置。对于输出值，可以获得对于每一个图像区域MX、MY以及Mz的光接收元件的输出的平均值或者对于每一个图像区域MX、MY以及^的一个选择的光接收元件的输出值被获得并被采用作为代表值。这里，当对于每一个图像区域Mx、My以及Mz的光接收元件的输出的平均值被视为每一个图像区域M x、My以及Mz的输出值时，有可能抑制电子随机噪声的影响并获得相对于噪声稳健的信号。
[0038]通过将从物体Ob发出的光分解成在波长上的三色刺激值X、Y以及Z所获得的值乘以光接收元件阵列4的光谱灵敏度，来获得宏观像素的图像区域仏為以及Mz的输出值。由于光接收元件阵列4的光谱灵敏度在设计阶段已知，因此，通过将各个输出值除以光接收元件阵列4的光谱灵敏度，可以获得来自物体Ob的光的三色刺激值X、Y以及Ζ。基于三色刺激值X、Y以及Ζ，然后可以检测物体Ob的颜色(在XYZ颜色系统的颜色值)。
[0039]这里，在根据本实施例的成像装置中，有必要在确实被制造的实际的装置中识别光接收元件阵列4的什么光接收元件与宏观像素的ΜΧ、ΜΥ以及Mz当中的什么图像区域彼此对应，以基于宏观像素的图像区域Mx、My以及Mz的输出值来检测物体Ob的颜色。换句话说，因为每一个实际的装置在生产中牵涉误差，诸如在光学系统中的校正误差，因此例如光接收元件阵列4中的对应于宏观像素的每一个图像区域ΜΧ、ΜΥ以及Mz的光接收元件可以彼此不同。
[0040]在根据本实施例的成像装置中，光接收元件阵列4中的对应于宏观像素的每一个图像区域MX、MY以及^的光接收元件的位置，即，透射通过滤光单元2的每一个滤光区域Fx、Fy以及光在光接收元件阵列4上被接收的位置以后面将说明的方法被识别，并且表示该位置的位置信息被存储在存储单元中。成像装置被配置成通过使用存储在存储单元中的位置信息，从由光接收元件阵列4输出的光场图像检测宏观像素的图像区域Mx、My以及M z，以及基于所检测的图像区域MX、MY以及Mz的输出值来检测物体Ob的颜色。
[0041]图7图解根据本实施例的成像装置的具体配置的实例。图7所示的成像装置10具有透镜模块20、相机单元30以及运算处理器40。
[0042]透镜模块20配备有第一透镜la、第二透镜Ib以及滤光单元2。第一透镜Ia以及第二透镜Ib构成主透镜I。然而，这个配置仅仅是实例，并且可以采用任何其它的配置，只要滤光单元2被布置在构成主透镜I的光学元件的孔径位置即可。
[0043]相机单元30配备有微透镜阵列3、光接收元件阵列4以及帧存储器31。帧存储器31临时存储由光接收元件阵列4输出的光场图像。
[0044]如图7所示，在通过相机单元30所获得的图像上进行各种运算处理的运算处理器40配备有光谱响应重合度计算器41、位置识别器42、区域检测器43以及颜色检测器44的处理功能。运算处理器40进一步配备有存储单元45，该存储单元45由非易失性RAM实现，并存储位置信息。例如，存储单元45能够以查询表的形式存储由位置识别器42所识别的位置信息，位置识别器42将在稍后说明。存储单元45可以被设置在运算处理器40的外面。
[0045]运算处理器40的处理功能当中的用于在存储单元45中存储位置信息的光谱响应重合度计算器41以及位置识别器42，响应于在实际的装置被运送之前或者在被运送之后的任意时间由调节操作员在调节中进行的预定操作而被调用。每当光接收元件阵列4在拍摄物体的图像中输出光场图像时，用于通过实际使用光场图像来检测物体的颜色的输出区域检测器43和颜色检测器44被调用。
[0046]当检验光的波长依次被改变的同时具有单色性的检验光进入光学系统的滤光单元2时，光谱响应重合度计算器41基于由光接收元件阵列4输出的一组光场图像，进行计算构成光场图像的每一个像素的光谱响应度以及计算表示光谱响应度与期望的波长选择性之间的重合度的光谱响应重合度的处理。
[0047]检验光由如图7所示的检验光产生器60产生。图8图解检验光产生器60的配置的实例。检验光产生器60具有诸如氙灯的光源61以及光谱单元62，光谱单元62透射从光源61发出的光并将从光源61发出的光用作为具有单色性的检验光。例如，如图8所示，光谱单元62配备有衍射光栅63、狭缝64以及移位单元65，衍射光栅63使从光源61发出的光色散成不同波长的光束，狭缝6选择性地透射由衍射光栅63色散的不同波长的光束，移位单元65改变狭缝64相对于衍射光栅63的位置，以改变要通过狭缝64透射的光的波长。
[0048]在具有图8所示的配置的检验光产生器60中，从光源61发出的光通过衍射光栅63被色散为每一个波长。为了从由衍射光栅63色散的光中获得特定波长的光束，具有狭窄间隙的狭缝64被布置在衍射光栅63的前面(在光源61的相反侧)。通过由移位单元65改变狭缝64的位置，可以使得具有不同波长的单色光束(检验光束)依序进入成像装置10。
[0049]图9是光的单色性的定义的说明图。如图9所示，在本实施例中，半高宽度(FWHM:半高全线宽)等于或者小于40nm的光被视为具有单色性的光。由于当半高宽度变得较大时，光谱响应度相对于目标波长的精度下降，因而较小的半高宽度是较佳的。然而，由于作为折衷的结果是信号的数量减少，因而，较佳的是，使用在能够获得足够的信噪比的范围内半高宽度小的光束作为检验光。
[0050]例如，在调节成像装置10中，如上所述的检验光产生器60被用于使得从400nm到700nm中的每5nm的单色光束进入光学系统，并且对于每一个波长拍摄光场图像。这个操作能够获得一组61个光场图像。
[0051]光谱响应重合度计算器41首先基于以这种方式获得的图像组计算构成光场图像的每一个像素的光谱响应度。换句话说，某个像素被聚焦，且在相同位置的像素的值从61个图像组被提取以获得该的光谱响应度。光谱响应重合度计算器41对于构成光场图像的每一个像素进行这个处理，以计算每一个像素的光谱响应度。
[0052]然后，光谱响应重合度计算器41对于构成光场图像的每一个像素计算表示在上述方式中所获得的光谱响应度与期望的波长选择性之间的重合度的光谱响应重合度 。
[0053]图10图解某个像素的光谱响应度与对于XYZ颜色系统的X的颜色匹配函数之间的关系。图10的实线表示对于X的颜色匹配函数，绘制的三角形黑点的聚集表示某个像素的光谱响应度。图10揭示了某个像素的光谱响应度没有完全对应于颜色匹配函数。
[0054]例如，光谱响应重合度计算器41能够通过以下所示的方法计算光谱响应重合度。
[0055]基于颜色匹配函数的从400nm到700nm每5nm的值，颜色匹配函数由在以下方程(I)中所表示的61维矢量X表示。
[0056]X — [X4(i(i，X405)...，x7(ici] (I)
[0057]类似地，某个像素的光谱响应度由在方程(2)中所表示的61维矢量k表示。
[0058]k — [k400, k405,..., k700] (2)
[0059]因为我们想知道组成由成像装置10拍摄的构成光场图像的像素的光谱响应度多接近期望的波长选择性(颜色匹配函数)，所以矢量X和矢量k的内积“S = X *k”被计算，且被视为光谱响应重合度。光谱响应重合度计算器41对于构成光场图像的每一个像素进行这个处理，以计算每一个像素的光谱响应重合度。
[0060]位置识别器42使用通过由光谱响应重合度计算器41进行的处理所获得的每一个像素的光谱响应重合度来识别宏观像素内的图像区域Mx、My以及Mz的各个位置，以及在存储单元45中存储位置信息，图像区域Mx、My以及M z分别对应滤光单元2的滤光区域F x、Fy以及Fz。
[0061]有一些位置识别器42识别宏观像素内的图像区域Mx、My以及位置的可能的方法。例如，有将光谱响应重合度相对于构成宏观像素的像素当中的X的颜色匹配函数是最大的一个像素视为图像区域仏内的像素、并且存储该像素的位置信息的方法。这个方法在通过颜色检测器44进行的颜色检测中提高精度的同时引起了相当大的变化，稍后说明该变化。
[0062]此外，有将光谱响应重合度相对于X的颜色匹配函数是最大像素及其周围的像素视为图像区域仏内的像素、并且存储该像素的位置信息的方法。虽然这个方法相比于上述方法导致在颜色检测中的精度上的降低，但是其具有能够抑制由于平均效应导致的变化以及通过调节周围的像素的范围来平衡精度和变化的优点。
[0063]此外，有为相对于X的颜色匹配函数的光谱响应重合度设置阈值、将相对于X的颜色匹配函数的光谱响应重合度等于或者大于阀值的像素视为构成宏观像素的像素当中的图像区域仏内的像素、以及存储该像素的位置信息的方法。这个方法能够保障在颜色检测中精度在一定水平以上的性能。
[0064]虽然识别图像区域Mx的位置的情况被作为实例，且到目前为止被说明，但是可以在相同的方法中识别图像区域仏和^的位置。
[0065]基于存储在存储单元45中的位置信息，区域检测器43从在拍摄物体的图像中，即，当来自物体的光进入过滤单元2时，由光接收元件阵列4输出的光场图像检测每一个宏观像素的各个图像区域仏為以及Mz。根据本实施例的区域检测器43根据宏观像素的位置重新布置所检测的图像MX、MY以及M z的输出值，以生成中间图像。
[0066]具体地，区域检测器43检测包括在光场图像中的每一个宏观像素的图像区域Mx，并根据每一个宏观像素的位置(i，j)重新布置所检测的图像区域Mx(例如，构成图像区域Mda像素的平均值)的输出值，以生成对应于滤光单元2的滤光区域的中间图像。换句话说，例如，当(i，j) = (1,1)为真时，那么在光场图像的左上端的宏观像素内的图像区域Mx的输出值被视为中间图像的左上端的像素的值。对于所有包括在光场图像中的宏观像素进行这个处理，以生成中间图像，中间图像为由透射通过滤光单元2的滤光区域^的光所形成的二维图像。
[0067]区域检测器43对于包括在光场图像中的每一个宏观像素内的图像区域MjP M ζ?行相同的处理，以生成对应于滤光单元2的滤光区域Fy的中间图像以及对应于滤光单元2的滤光区域？2的中间图像。
[0068]颜色检测器44基于由区域检测器43检测的图像区域仏、1^以及Mz的图像区域的输出值，在上述方法中检测物体的颜色。根据本实施例的颜色检测器44通过使用由区域检测器43所生成的三个中间图像(三个中间图像对应于滤光单元2的滤光区域Fx、Fy以及Fz)，能够单独地检测在物体的不同位置的颜色。
[0069]区域检测器43可以被配置成获得三个图像区域MX、MY以及Mz的代表输出值，而不是生成对应于三个图像区域MX、MY以及Mz的各个中间图像。在这种情况下，颜色检测器44基于三个图像区域Mx、My以及M z的代表输出值检测物体的颜色。
[0070]如到目前为止所说明的，在根据本实施例的成像装置10中，光场图像的每一个像素的光谱响应重合度在调节中被计算，分别对应于滤光单元2的滤光区域Fx、Fy以及图像区域MX、MY以及M z的各个位置，通过使用光谱响应重合度被识别，并且位置信息被存储在存储单元45中。在实际通过使用成像装置10拍摄物体的图像和检测物体的颜色中，可以使用存储在存储单元45中的位置信息，以及正确地检测来自通过物体的图像拍摄所获得的光场图像的每一个宏观像素的图像区域仏、My以及Mz。然后，基于所检测得图像区域Mx、My以及Mz可以适当地检测物体颜色。
[0071]图11图解运算处理器40的硬件配置的实例。例如，如图11所示，运算处理器40具有CPU (中央处理单元)51、其中存储使得CPU 51操作的程序的ROM (只读存储器)52、当CPU 51执行程序时用作工作存储器的RAM(随机存取存储器)53、用作存储单元45的非易失性RAM 54、以及临时存储来自相机单元30的图像数据的图像RAM 55。
[0072]例如，CPU 51使用RAM 53读取存储在ROM 52中的程序并执行程序，因此，在图7中所示的运算处理器40的处理功能(光谱响应重合度计算器41、位置识别器42、区域检测器43以及颜色检测器44)被实现。例如，运算处理器40的部分或者所有的处理功能可以由诸如ASIC(专用集成电路)或者FPGA (现场可编程门阵列)的专用硬件来实现。
[0073]如到目前为止利用具体的实例所详细说明的，在根据本实施例的成像装置10中，可以精确地识别图像内的对应于滤光单元2的滤光区域Fx、Fy以及Fz的位置，适当地进行物体的颜色检测等等。
[0074]第二实施例
[0075]接下来，将说明第二实施例。在第二实施例中，调节装置在调节中对于构成光场图像的每一个像素进行计算光谱响应重合度的处理，并且使用光谱响应重合度来识别图像区域仏、My以及^的位置以及在存储单元45中存储位置信息的处理。与第一实施例相同的组件将被分配相同的参考符号，将适当省略重复的说明，并且以下只有第二实施例的特征点将被说明。
[0076]图12图解根据第二实施例的成像装置的具体配置的实例。图12所示的成像装置70具有透镜模块20、相机单元30以及运算处理器80。透镜模块20与相机单元30与第一实施例相同。不同于根据第一实施例的运算处理器40的运算处理器80只配备有区域检测器43和颜色检测器44，且不配备有光谱响应重合度计算器41和位置识别器42。
[0077]在第二实施例中，如图12所示的调节装置90被用于调节成像装置70。调节装置90除了检验光产生器60之外，还具有运算处理器100，检验光产生器60与第一实施例相同。调节装置90的运算处理器100具有光谱响应重合度计算器101以及位置识别器102，光谱响应重合度计算器101与根据第一实施例的光谱响应重合度计算器41相同，位置识别器102与根据第一实施例的位置识别器42相同。
[0078]调节装置90使得检验光产生器60在调节成像装置70中工作，以在依次改变检验光的波长的同时使得具有单色性的检验光进入成像装置70的滤光单元2。每当每一个波长的检验光进入滤光单元2时，调节装置90从成像装置70获得由光接收元件阵列4输出的一组光场图像，并且将这组光场图像输入到运算处理器100。
[0079]运算处理器100的光谱响应重合度计算器101基于从成像装置70获得的该组光场图像，计算构成光场图像的每一个像素的光谱响应度，以及计算表示光谱响应度与期望的波长选择性之间的重合度的光谱响应重合度，运算处理器100类似于根据第一实施例的光谱响应重合度计算器41。
[0080]运算处理器100的位置识别器102由通过光谱响应重合度计算器101进行的处理所获得的每一个像素的光谱响应重合度，来识别宏观像素内分别对应于滤光单元2的滤光区域FX、FY以及F z的图像区域M X、MY以及M z的各个位置，并且在存储单元45中存储位置 信息，运算处理器100类似于根据第一实施例的位置识别器42。
[0081]图13是在对成像装置70进行调节中调节装置90的处理的程序的流程图。这里，在图13的流程图中从步骤SlOl到S105的流程适用于根据第一实施例的对成像装置10的调节。
[0082]在对成像装置70进行调节中，调节装置90首先使得检验光产生器60工作，以在依次改变检验光的波长的同时使得具有单色性的检验光进入成像装置70的滤光单元2 (步Ms1Do
[0083]接下来，调节装置90的光谱响应重合度计算器101获得由成像装置70的光接收元件阵列4输出的该组光场图像(步骤S102)，并且基于该组光场图像来计算构成光场图像的每一个像素的光谱响应度(步骤S103)。
[0084]接下来，光谱响应重合度计算器101对于构成光场图像的每一个像素计算表示在步骤S103所计算出的光谱响应度与期望的波长选择性之间的重合度的光谱响应重合度(步骤 S104) ο
[0085]接下来，调节装置90的位置识别器102使用通过由光谱响应重合度计算器101进行的处理所获得的每一个像素的光谱响应重合度来识别宏观像素内的对应于滤光单元2的滤光区域FX、FY以及Fz的图像区域MX、MY以及Mz的各个位置(步骤S105)，并结束成像装置70的调节。
[0086]如到目前为止所说明的，在第二实施例中，调节装置90被配置成对于光场图像的每一个像素进行计算光谱响应重合度的处理，并且通过使用光谱响应重合度识别图像区域Mx、My以及Mz的位置并在存储单元45中存储位置信息的处理。因此，可以在减少在成像装置70中的处理的负载的同时，获得与第一实施例相同的优点。
[0087]第一变形例
[0088]在第一和第二实施例种，衍射光栅63、狭缝64以及移位单元65构成检验光产生器60的光谱单元62。然而，本发明不限于这个实例，例如，使用颜料的吸收滤光片或者使用多层电介质的干涉滤光片可被用作光谱单元62。
[0089]第二变形例
[0090]在第一和第二实施例中，氙灯被用作检验光产生器60的光源61。然而，本发明不限于氙灯和卤灯，例如，发光二极管等等可被用作光源61。因为卤灯虽然在短波长侧的光强度低于氙灯，但是其具有类似于氙灯的在大波长范围的强度，因此，卤灯可用作光源61。此夕卜，尽管发光二极管相比于氙灯和卤灯波长的范围大体上是窄的，但是发光二极管可被用作光源61。
[0091]根据如上所述的实施例，有能够精确地识别图像内对应于滤光单元的每个滤光区域的位置的优点。
[0092]虽然本发明已相对具体的实施例被描述用于完全的和清楚的公开，但是所附权利要求并不因此被限制，而是被解释为具体化完全属于在此阐述的基本教导的本领域技术人员可以想到的所有修改以及替代构造。
【主权项】
1.一种成像装置，其特征在于，包括: 滤光单元，所述滤光单元包括具有不同波长选择性的多个滤光区域； 光接收元件阵列，所述光接收元件阵列被配置成接收透射通过所述滤光单元的光并输出图像； 存储单元，所述存储单元被配置成对于每一个所述滤光区域，存储位置信息，所述位置信息指示在所述光接收元件阵列上接收透射通过每一个所述滤光区域的光的位置； 区域检测器，所述区域检测器被配置成当来自物体的光进入所述滤光单元时，基于所述位置信息，从所述光接收元件阵列输出的所述图像中检测与透射通过每一个所述滤光区域的所述光相对应的图像区域；以及 颜色检测器，所述颜色检测器被配置成基于检测到的图像区域的输出值，检测所述物体的颜色， 其中，对应于每一个所述滤光区域的所述位置信息指示通过使用光谱响应重合度被识别的所述光接收元件上的位置，所述光谱响应重合度指示每一个像素的光谱响应度与期望的波长选择性之间的重合度，当具有不同的波长的单色的检验光依次进入所述滤光单元时，基于所述光接收元件输出的一组图像来计算每一个像素的所述光谱响应度。2.如权利要求1所述的成像装置，其特征在于，进一步包括: 光谱响应重合度计算器，所述光谱响应重合度计算器被配置成计算每一个像素的所述光谱响应重合度；以及 位置识别器，所述位置识别器被配置成通过使用所述光谱响应重合度来识别在所述光接收元件阵列上接收透射通过每一个所述滤光区域的所述光的所述位置，并且在所述存储单元中存储指示识别出的位置的所述位置信息作为对应于每一个所述滤光区域的所述位置信息。3.如权利要求1或2所示的成像装置，其特征在于， 所述光谱响应重合度是所述期望的波长选择性与所述光谱响应度的内积。4.如权利要求1或2所述的成像装置，其特征在于， 所述滤光单元包括具有基于颜色匹配函数的光谱透射率的至少三个滤光区域。5.一种用于调节成像装置的调节装置，其特征在于，所述成像装置包括滤光单元、光接收元件阵列以及存储单元，所述滤光单元包括具有不同的波长选择性的多个滤光区域，所述光接收元件阵列被配置成接收透射通过所述滤光单元的光并输出图像，所述存储单元被配置成对于每一个所述滤光区域，存储位置信息，所述位置信息指示在所述光接收元件阵列上接收透射通过每一个所述滤光区域的光的位置，所述调节装置包括: 检验光产生器，所述检验光产生器被配置成使得具有不同波长的单色检验光依次进入所述滤光单元； 光谱响应重合度计算器，所述光谱响应重合度计算器被配置成当所述检验光进入所述过滤单元时，基于所述光接收元件阵列输出的一组图像，计算每一个像素的光谱响应度，以及计算指示期望的波长选择性与所述光谱响应度之间的重合度的光谱响应重合度；以及 位置识别器，所述位置识别器被配置成通过使用所获得的光谱响应重合度来识别在所述光接收元件阵列上接收透射通过每一个所述滤光区域的所述光的所述位置，并且在存储单元中存储指示识别出的位置的所述位置信息作为对应于每一个滤光区域的所述位置信息。6.如权利要求5所述的调节装置，其特征在于， 所述检验光产生器包括光源和光谱单元，所述光谱单元被配置成透射从所述光源发出的光，并将所述光用作所述检验光。7.如权利要求6所述的调节装置，其特征在于，所述光谱单元包括: 衍射光栅，所述衍射光栅被配置为使从所述光源发出的所述光色散成具有不同波长的光， 狭缝，所述狭缝被配置成选择性地透射由所述衍射光栅色散的具有不同波长的所述光，以及 移位单元，所述移位单元被配置成改变所述狭缝相对于所述衍射光栅的位置，以选择要透射通过所述狭缝的光的波长。8.如权利要求6所述的调节装置，其特征在于，所述光谱单元是使用颜料的吸收滤光片和使用多层电介质的干涉滤光片中的一个。9.如权利要求6所述的调节装置，其特征在于，所述光源是氙灯、卤灯以及发光二极管中的任何一个。10.—种用于调节成像装置的调节方法，其特征在于，所述成像装置包括滤光单元、光接收元件阵列以及存储单元，所述滤光单元包括具有不同波长选择性的多个滤光区域，所述光接收元件阵列被配置成接收透射通过所述滤光单元的光并输出图像，所述存储单元被配置成对于每一个所述滤光区域，存储位置信息，所述位置信息指示在所述光接收元件阵列上接收透射通过每一个所述滤光区域的光的位置，所述调节方法包括: 使得具有不同波长的单色检验光依次进入所述滤光单元； 当所述检验光进入所述滤光单元时，基于所述光接收元件输出的一组图像，计算每一个像素的光谱响应度； 计算光谱响应重合度，所述光谱响应重合度指示期望的波长选择性与所述光谱响应度之间的重合度； 通过使用所获得的光谱响应重合度，识别透射通过每一个所述滤光区域的所述光在所述光接收元件阵列上被接收的所述位置；以及 在所述存储单元中存储指示识别出的位置的所述位置信息作为对应于每一个所述滤光区域的所述位置信息。
【专利摘要】一种成像装置，包括滤光单元，包括具有不同波长选择性的滤光区域；光接收元件阵列，被配置成接收透射通过滤光单元的光；存储单元，被配置成对于每一个滤光区域，存储位置信息，位置信息指示在光接收元件阵列上接收透射的光的位置；区域检测器，被配置成当光从物体进入滤光单元时，基于位置信息检测，从光接收元件阵列输出的图像中检测与透射的光相对应的图像区域；以及颜色检测器，被配置基于图像区域的输出值来检测物体的颜色。位置信息指示通过使用光谱响应重合度被识别的光接收元件阵列上的位置，光谱响应重合度指示每一个像素的光谱响应度和期望的波长选择性之间的重合度。还提供一种调节装置以及调节方法。
【IPC分类】G01J3/46, H04N5/232
【公开号】CN104902165
【申请号】CN201510094575
【发明人】山中祐治, 增田宪介, 丸山刚, 永井祥
【申请人】株式会社理光
【公开日】2015年9月9日
【申请日】2015年3月3日
【公告号】US20150256801
最新回复(0)