图像处理设备、成像装置、图像处理方法及程序的制作方法
图像处理设备、成像装置、图像处理方法及程序的制作方法
【专利摘要】提供了一种用于输入RGBW图像并且生成具有较小的颜色噪声和较少伪色的RGB图像的设备和方法。该设备具有：图像传感器，其具有RGBW阵列；以及图像处理单元，其用于输入由从图像传感器输出的RGBW像素信号形成的传感器图像并且执行图像处理。图像传感器具有由每个RGBW像素形成的单位组成的周期性阵列，并且具有每个单位组成中的每个RGB像素的组成比率适于彼此相同的阵列。该图像处理单元对由RGBW像素信号形成的传感器图像的像素阵列进行转换，并执行生成RGB阵列图像的阵列转换处理或用于生成对于传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
【专利说明】图像处理设备、成像装置、图像处理方法及程序
【技术领域】
[0001]本公开涉及图像处理设备、成像装置、图像处理方法及程序。具体地，本公开涉及实现减少包括在图像中的噪声或伪色的图像生成的图像处理设备、成像装置、图像处理方法及程序。
【背景技术】
[0002]固态成像装置如用于摄像机和数码相机的CXD图像传感器和互补金属氧化物半导体(CMOS)图像传感器根据其中入射光的量来累积电荷，并且进行光电转换以输出与所累积的电荷对应的电信号。为了按每个像素单元个别地累积特定波长，即，对应于特定颜色的信号，在每个成像装置中安装滤色器。例如，通常使用具有被配置成包括RGB中的每种颜色的拜耳阵列的滤波器。
[0003]另一方面，近年来，小型化且像素增加的成像装置使像素逐渐变得超精细。具有高密度像素的成像装置对于捕获高分辨率图像是必不可少的。
[0004]然而，存在如下问题:具有高密度像素的成像装置能够每一个像素累积较少的电荷量，从而相对增大包括在每个像素信号中的噪声量。
[0005]此外，例如，PTLK日本未审查专利申请公报N0.2006-253876)提出了如下配置:其中，通过使用具有高密度像素的成像装置来改变每个像素单元的曝光时间，通过同时获取长时间曝光图像和短时间曝光图像并且通过对其曝光时间互不相同的多个图像进行合成来生成高动态范围图像。
[0006]根据该技术的成像方法具有如下问题:与相关领域中的技术相比，当不能有效地使用长时间曝光和短时间曝光中的任何像素时，噪声量相对增大。例如，在暗场景的情况下，短时间曝光图像的噪声量增加，从而通过使用仅长时间曝光图像来生成图像。在这种情况下，与相关领域中的技术相比，通过使用仅一半的像素来生成图像，从而导致降低的分辨率或增加的噪声。
[0007]PTL2(日本未审查专利申请公报N0.2004-304706)和PTL3 (美国专利申请公报N0.2007/0024879)提出了具有将发送全部波长光的白色(W)像素添加至RGB阵列的RGBW阵列的成像装置配置，以便增加每个像素的电荷累积量。
[0008]通过除了设置RGB以外还设置W像素来增加每个像素的电荷累积量，从而减少包括在像素信号中的相对噪声量。
[0009]然而，这些PTL中公开的RGBW阵列被配置成使得:如果对其添加W像素，则显著地降低其他颜色像素的像素密度。具体地，在R像素或B像素的情况下，在每8个像素中存在仅I个像素，因此，引起如下的问题:颜色分辨率降低，颜色噪声增加，以及图像质量退化。
[0010]即使将PTL1、PTL2和PTL3中公开的配置相互组合，颜色分辨率也降低，并且颜色噪声也增加。由于在长时间曝光中R像素和B像素以及短时间曝光中R像素和B像素的情况下在每16个像素中存在仅I个像素，所以没有配置可以解决由于低像素密度引起的颜色分辨率降低和颜色噪声增加的问题。
[0011]引用列表
[0012]专利文献
[0013]PTLl:日本未审查专利申请公报N0.2006-253876
[0014]PTL2:日本未审查专利申请公报N0.2004-304706
[0015]PTL3:美国专利申请公报 N0.2007/0024879
【发明内容】
[0016]技术问题
[0017]鉴于例如上述问题做出了本公开，并且本公开旨在提供能够减少颜色噪声或伪色同时具有高密度像素阵列的图像处理设备、成像装置、图像处理方法及程序。
[0018]问题的解决方案
[0019]根据本公开的第一方面，提供了一种图像处理设备，其包括图像传感器，该图像传感器具有包括RGB像素和W像素的RGBW阵列，所述RGB像素是对应于每种RGB颜色的波长光的光接收元件，所述W像素是基本上接收所有RGB波长光的光接收元件；以及图像处理单元，通过输入由从所述图像传感器输出的RGBW像素信号形成的传感器图像来执行图像处理。图像传感器具有由每个RGBW像素形成的单位组成的周期性阵列，以及具有所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列。图像处理单元对由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换，并且执行用于生成RGB阵列图像的阵列转换处理或用于生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
[0020]此外，在本公开的图像处理设备的第一方面中，图像处理单元具有对由所述RGBW像素信号形成的所述传感器图像的所述像素阵列进行转换，并且生成由拜耳阵列形成的所述RGB阵列图像的阵列转换单元。阵列转换单元具有W像素内插单元、RGBW像素生成单元和相关性处理单元，所述W像素内插单元通过在所述传感器图像的RGB像素位置处设置所述W像素来生成全部W像素图像信号；所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来针对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
[0021]此外，在根据本公开的图像处理设备的第一方面中，W像素内插单元通过应用所述传感器图像的所述W像素的像素值来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值。
[0022]此外，在根据本公开的图像处理设备的第一方面中，图像处理单元具有去马赛克处理单元，所述去马赛克处理单元对所述传感器图像执行去马赛克处理，并且生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号。去马赛克处理单元具有W像素内插单元、RGBff像素生成单元和相关性处理单元，所述W像素内插单元通过在所述传感器图像的RGB像素位置处设置所述W像素来生成全部W像素图像信号；所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号。
[0023]此外，在本公开的图像处理设备的第一方面中,W像素内插单元通过应用所述传感器图像的所述W像素的像素值来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值。
[0024]此外，在本公开的图像处理设备的第一方面中，图像处理单元具有线性矩阵处理单元，所述线性矩阵处理单元对由所述去马赛克处理单元生成的每个RGB图像信号执行应用预设矩阵的像素值转换。
[0025]此外，在本公开的图像处理设备的第一方面中，图像处理单元具有去马赛克处理单元，所述去马赛克处理单元对所述传感器图像执行去马赛克处理，并且生成其中对于所述传感器图像的每个像素位置设置全部RGB和W像素值的每个RGBW图像信号。去马赛克处理单元具有W像素内插单元、RGBW像素生成单元和相关性处理单元，所述W像素内插单元通过在所述传感器图像的RGB像素位置处设置所述W像素来生成全部W像素图像信号；所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号。
[0026]此外，在本公开的图像处理设备的第一方面中，图像处理单元具有线性矩阵处理单元，所述线性矩阵处理单元对由所述去马赛克处理单元生成的每个RGBW图像信号执行应用预设矩阵的像素值转换。
[0027]此外，在本公开的图像处理设备的第一方面中，图像传感器被配置成:输出具有在倾斜方向上彼此相邻的相同颜色像素值的相加像素值的图像作为所述传感器图像。图像处理单元具有阵列转换单元，该阵列转换单元对被配置成具有所述相加像素值且由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换并且生成由拜耳阵列形成的RGB阵列图像。阵列转换单元具有RGBW像素生成单元和相关性处理单元，所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入作为所述传感器图像输出的所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
[0028]此外，在本公开的图像处理设备的第一方面中，图像传感器被配置成:输出包括根据控制单元的控制所设置的长时间曝光像素和短时间曝光像素的图像作为所述传感器图像。图像处理单元具有阵列转换单元，所述阵列转换单元通过应用包括所述长时间曝光像素和所述短时间曝光像素的所述传感器图像来生成高动态范围(HDR)图像，并且通过对所述像素阵列进行转换来生成由拜耳阵列形成的RGB阵列HDR图像。阵列转换单元具有W像素内插单元、RGBff像素生成单元、HDR组成处理单元和相关性处理单元，所述W像素内插单元通过应用所述传感器图像的长时间曝光像素信号来生成对于所有像素位置设置长时间曝光W像素的全部W像素长时间曝光图像，并且通过应用所述传感器图像的短时间曝光像素信号来生成对于所有像素位置设置短时间曝光W像素的全部W像素短时间曝光图像；所述RGBW像素生成单元通过应用所述传感器图像的所述长时间曝光像素信号来在每个像素位置处生成作为每个长时间曝光RGBW像素信号的低频信号的长时间曝光RGBW相应低频信号，并且通过应用所述传感器图像的所述短时间曝光像素信号来在每个像素位置处生成作为每个短时间曝光RGBW像素信号的低频信号的短时间曝光RGBW相应低频信号；所述HDR组成处理单元通过输入所述全部W像素长时间曝光图像、所述全部W像素短时间曝光图像、所述长时间曝光RGBW相应低频信号和所述短时间曝光RGBW相应低频信号来生成作为所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号；以及所述相关性处理单元输入作为由HDR组成处理单元生成的所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
[0029]此外，在本公开的图像处理设备的第一方面中，HDR组成处理单元通过根据曝光比率调整增益之后所获得的所述短时间曝光像素信号和所述长时间曝光像素信号的混合处理来计算所述高动态范围(HDR)图像的组成像素值。
[0030]此外，在本公开的图像处理设备的第一方面中,W像素内插单元通过应用所述传感器图像的所述长时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述长时间曝光W像素的所述全部W像素长时间曝光图像。该W像素内插单元通过应用所述传感器图像的所述短时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述短时间曝光W像素的所述全部W像素短时间曝光图像。
[0031]此外，在本公开的图像处理设备的第一方面中，在所述图像传感器中，长时间曝光像素行和短时间曝光像素行两行根据控制单元的控制被交替地设置。图像传感器被配置成:输出由具有在以两行为单位的所述长时间曝光像素行的倾斜方向上彼此相邻的相同颜色像素值的相加像素值的长时间曝光像素信号和具有在以两行为单位的所述短时间曝光像素行的倾斜方向上彼此相邻的相同颜色像素值的相加像素值的短时间曝光像素信号形成的图像作为所述传感器图像。图像处理单元具有阵列转换单元，所述阵列转换单元通过应用包括所述长时间曝光像素和所述短时间曝光像素的所述传感器图像来生成高动态范围(HDR)图像，并且通过对所述像素阵列进行转换来生成由拜耳阵列形成的RGB阵列HDR图像。阵列转换单元具有W像素内插单元、RGBW像素生成单元、HDR组成处理单元和相关性处理单元，所述W像素内插单元通过应用所述传感器图像的长时间曝光像素信号来生成对于所有像素位置设置长时间曝光W像素的全部W像素长时间曝光图像，并且通过应用所述传感器图像的短时间曝光像素信号来生成对于所有像素位置设置短时间曝光W像素的全部W像素短时间曝光图像；所述RGBW像素生成单元通过应用所述传感器图像的所述长时间曝光像素信号来在每个像素位置处生成作为每个长时间曝光RGBW像素信号的低频信号的长时间曝光RGBW相应低频信号，并且通过应用所述传感器图像的所述短时间曝光像素信号来在每个像素位置处生成作为每个短时间曝光RGBW像素信号的低频信号的短时间曝光RGBff相应低频信号；所述HDR组成处理单元通过输入所述全部W像素长时间曝光图像、所述全部W像素短时间曝光图像、所述长时间曝光RGBW相应低频信号和所述短时间曝光RGBW相应低频信号来生成作为所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBff相应低频信号；以及所述相关性处理单元输入作为由所述HDR组成处理单元生成的所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号，通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
[0032]此外，在本公开的图像处理设备的第一方面中，HDR组成处理单元通过根据曝光比率调整增益之后所获得的所述短时间曝光像素信号和所述长时间曝光像素信号的混合处理来计算所述高动态范围(HDR)图像的组成像素值。
[0033]此外，在本公开的图像处理设备的第一方面中,W像素内插单元通过应用所述传感器图像的所述长时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述长时间曝光W像素的所述全部W像素长时间曝光图像。W像素内插单元通过应用所述传感器图像的所述短时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述短时间曝光W像素的所述全部W像素短时间曝光图像。
[0034]此外，根据本公开的第二方面，提供了一种包括RGBW阵列的成像装置。该RGBW阵列包括作为对应于每种RGB颜色的波长光的光接收元件的RGB像素和作为基本上接收所有RGB波长光的光接收元件的W像素。图像传感器具有由每个RGBW像素形成的单位组成的周期性阵列，并且具有其中所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列。
[0035]此外，在本公开的成像装置的第二方面中，成像装置具有其中6X6个像素、6X4个像素或6X2个像素适于作为所述单位组成的所述周期性阵列。单位组成内每个RGBW像素的所述组成比率为1:1:1:3。
[0036]此外，在本公开的成像装置的第二方面中，成像装置具有在每列和每行中布置每个RGBW像素的组成。
[0037]此外，根据本公开的第三方面，提供了一种在图像处理设备中执行的图像处理方法。图像处理设备具有图像处理单元，所述图像处理单元对作为成像装置的输出的传感器图像执行图像处理，所述成像装置具有由每个RGBW像素形成的单位组成的周期性阵列以及具有所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列，所述单位组成包括作为对应于每种RGB颜色的波长光的光接收元件的RGB像素和作为基本上接收所有RGB波长光的光接收元件的W像素。图像处理单元对由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换，并且执行用于生成RGBW阵列图像的阵列转换处理或用于生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
[0038]此外，根据本公开的第四方面，提供了一种使图像处理设备执行图像处理的程序。图像处理设备具有图像处理单元，所述图像处理单元具有由每个RGBW像素形成的单位组成的周期性阵列，并且对作为成像装置的输出的传感器图像执行图像处理，所述周期性阵列包括作为对应于每种RGB颜色的波长光的光接收元件的RGB像素和作为基本上接收所有RGB波长光的光接收元件的W像素，所述成像装置具有所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列。图像处理单元对由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换，并且执行用于生成RGBW阵列图像的阵列转换处理或用于生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
[0039]根据本公开的程序是由存储介质和以计算机可读格式提供程序的通信介质为例如信息处理设备或能够执行各种程序代码的计算机系统提供的程序。通过以计算机可读格式提供该程序，可以实现根据在信息处理设备或计算机系统上执行的程序的处理。
[0040]基于本公开的下面的实施例和附图，根据更详细的描述，本公开的目的、特征和有利效果将变得明显。
[0041]发明的有益效果
[0042]根据本公开的实施例的配置，提供了通过输入RGBW图像来生成具有较少的颜色噪声或较少的伪色的RGB图像的设备和方法。
[0043]具体地，该设备具有图像传感器和图像处理单元，该图像传感器具有RGBW阵列，图像处理单元通过输入由从图像传感器输出的RGBW像素信号形成的传感器图像来执行图像处理。图像传感器具有由每个RGBW像素形成的单位组成的周期性阵列，以及具有所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列。图像处理单元对由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换，并且执行用于生成RGB阵列图像的阵列转换处理或用于生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
[0044]在本公开的配置中，统一地设置图像传感器的每单位组成的相应的RGB像素的数量。因此，当对于每个像素位置设置每种RGB颜色的像素值时，可以从参考区域充分地获取每种颜色的像素值。因此，可以相对于每个像素位置非常精确地对每种RGB颜色执行设置处理，从而可以生成具有较少的颜色噪声或较少的伪色的RGB图像。
【专利附图】
【附图说明】
[0045][图1]图1是示出了根据第一实施例的成像设备的配置示例的图。
[0046][图2]图2是示出了图像传感器(成像装置)的像素阵列以及阵列转换后的拜耳阵列的图。
[0047][图3]图3是示出了图像传感器的配置和处理的图。
[0048][图4]图4是示出了阵列转换单元的配置和处理的图。
[0049][图5]图5是示出了W像素内插单元的配置和处理的图。
[0050][图6]图6是示出了W像素内插处理的示例的图。
[0051][图7]图7是示出了RGBW像素生成单元的配置和处理的图。
[0052][图8]图8是示出了RGBW像素生成单元的处理的图。
[0053][图9]图9是示出了相关性处理单元的配置和处理的图。
[0054][图10]图10是示出了根据第一实施例的成像设备的配置示例的图。
[0055][图11]图11是示出了相机信号处理单元的配置和处理的图。
[0056][图12]图12是示出了白平衡处理单元的配置和处理的图。
[0057][图13]图13是示出了去马赛克处理单元的配置和处理的图。
[0058][图14]图14是示出了相关性处理单元的配置和处理的图。
[0059][图15]图15是示出了线性矩阵处理单元的配置和处理的图。
[0060][图16]图16是示出了伽马转换单元的配置和处理的图。
[0061][图17]图17是示出了相关性处理单元的配置和处理的图。
[0062][图18]图18是示出了线性矩阵处理单元的配置和处理的图。
[0063][图19]图19是示出了图像传感器的相加处理和输出示例的图。
[0064][图20]图20是示出了根据第四实施例的图像处理设备的配置示例的图。
[0065][图21]图21是示出了阵列转换单元的配置和处理的图。
[0066][图22]图22是示出了根据第五实施例的图像处理设备的配置示例的图。
[0067][图23]图23是示出了曝光控制处理的示例的图。
[0068][图24]图24是示出了阵列转换单元的配置和处理的图。
[0069][图25]图25是示出了白色像素内插单元的配置和处理的图。
[0070][图26]图26是示出了W像素内插处理的示例的图。
[0071][图27]图27是示出了W像素内插处理的示例的图。
[0072][图28]图28是示出了W像素内插处理的示例的图。
[0073][图29]图29是示出了HDR组成处理单元的配置和处理的图。
[0074][图30]图30是示出了HDR组成中的混合比率的设置示例的图。
[0075][图31]图31是示出了根据第五实施例的图像处理设备的配置示例的图。
[0076][图32]图32是示出了图像传感器的驱动示例和输出示例的图。
[0077][图33]图33是示出了阵列转换单元的配置和处理的图。
[0078][图34]图34是示出了W像素内插单元的配置和处理的图。
[0079][图35]图35是示出了W像素内插处理的示例的图。
[0080][图36]图36是示出了图像传感器(成像装置)的像素阵列示例的图。
[0081][图37]图37是示出了图像传感器(成像装置)的像素阵列示例的图。
[0082][图3S]图38是示出了图像传感器(成像装置)的像素阵列示例的图。
【具体实施方式】
[0083]在下文中，将参照图来描述根据本公开的图像处理设备、成像装置、成像处理方法以及程序。将按照下面的顺序进行描述。
[0084]1.根据第一实施例的图像处理设备的配置和处理、成像装置的配置
[0085]2.根据第二实施例的图像处理设备的配置和处理
[0086]3.根据第三实施例的图像处理设备的配置和处理
[0087]4.根据第四实施例的图像处理设备的配置和处理
[0088]5.根据第五实施例的图像处理设备的配置和处理
[0089]6.根据第六实施例的图像处理设备的配置和处理
[0090]7.图像传感器(成像装置)的像素阵列的示例
[0091]8.根据本公开的配置的概述
[0092][1.根据第一实施例的图像处理设备的配置和处理、成像装置的配置]
[0093]首先，将对根据本公开的图像处理设备的第一实施例的总体配置以及成像装置的配置进行描述。在下面的实施例中，将成像设备描述为图像处理设备的一个代表示例。
[0094]图1示出了用作成像设备的图像处理设备100的配置示例。
[0095]通过光学透镜101入射的光由图像传感器(成像装置)102进行光电转换，并且从图像传感器102输出传感器输出图像103。图像传感器102被配置成具有例如CMOS等。
[0096]在本实施例中，如图2 (a)中所示，图像传感器(成像装置)102的像素阵列具有除了 RGB像素以外还包括W像素的RGBW阵列，W像素发送可见光的基本上所有波长区域光并且累积电荷，RGB像素发送与每种RGB颜色的波长光对应的光并且累积电荷。
[0097]如图2(a)中所示，顺序地从第一行开始，
[0098](第一行)重复RWGWBW,
[0099](第二行)重复WRWGWB，
[0100](第三行)重复GWBWRW，
[0101](第四行)重复WGWBWR,
[0102](第五行)重复BWRWGW，以及
[0103](第六行)重复WBWRWG。
[0104]之后，从第七行开始重复上述第一行至第六行。
[0105]每行和每列被配置成使得:在其之间插入一个W像素，并且顺序地布置每个RGB像素。在图2中示出的6X6 = 36个像素内，1/2被设置成18个W像素，1/6被设置成6个R像素，1/6被设置成6个G像素，以及1/6被设置成6个B像素。
[0106]也就是说，在图像传感器102中，统一地设置每个单位组成(图2(a)中示出的示例中的6X6个像素)的相应的RGB像素的数量。
[0107]图1中示出的图像传感器(成像装置)102具有图2中示出的RGBW阵列。从图像传感器102输出的传感器输出图像103被输入至阵列转换单元104。阵列转换单元104之后的框等同于对传感器输出图像103执行图像处理的图像处理单元。
[0108]阵列转换单元104对具有图2 (a)中示出的RGBW阵列的传感器图像103的像素阵列进行转换，生成拜耳阵列图像105并且将其输出至相机信号处理单元106。
[0109]也就是说，阵列转换单元104执行到图2(b)中示出的拜耳阵列的转换处理。
[0110]相机信号处理单兀106对于拜耳阵列图像105执行信号处理,例如常规相机信号处理如白平衡调整、伽马校正和去马赛克处理，并且生成输出图像107。
[0111]控制单元108生成用于图像传感器102的曝光控制、阵列转换单元104的处理控制以及相机信号处理单元106的处理控制的控制信号，并且将这些信号提供给这些配置单元中的每个。控制单元108对从图像捕获到输出图像生成的处理执行总体控制。例如，控制单元108包括具有程序执行功能的CPU，并且根据存储在存储器(未示出)中的程序对成像设备中执行的处理进行总体控制。
[0112]图3示出了图像传感器102的配置示例。图3示出了 CMOS型图像传感器102的部分配置。矩形区域对应于一个像素，并且代表像素124。
[0113]图像传感器102被配置成具有:垂直扫描电路122、水平扫描电路123和以阵列布置的多个像素124。
[0114]在像素中，光电二极管中累积的电荷经由放大器晶体管和传送晶体管作为信号电流被输出至垂直信号线133。
[0115]该信号电流被提供至水平扫描电路123。在执行预定的信号处理之后，该信号电流经由信号输出线134被向外输出。
[0116]水平重置线131是提供用于重置在每个水平方向上的像素的累积电荷的信号的线。水平选择线132是提供用于在重置之后输出每个像素的累积电荷作为每个像素信号的输出时刻的控制信号的线。
[0117]也就是说，从水平重置时刻到水平选择时刻的时间段是电荷累积时间段。
[0118]该电荷累积时间段以每个水平线为单位，S卩，以行为单元被控制。例如，可以对于每隔一行执行长时间曝光和短时间曝光。执行该曝光控制使得能够在一个成像处理中同时获取长时间曝光图像和短时间曝光图像。以这种方式，还可以生成在其中通过合成这些图像来扩展动态范围的高动态范围图像。
[0119]接下来，将参照图4和随后的图对图1中示出的图像处理设备100的阵列转换单元104的配置和处理示例进行描述。
[0120]阵列转换单元104对传感器图像103，即，具有图2(a)中示出的RGBW像素阵列的传感器图像103执行阵列转换，生成具有图2 (b)中示出的拜耳阵列的拜耳阵列图像105并且将其输出至相机信号处理单元106。
[0121]图4示出了阵列转换单元104的配置示例。
[0122]如图4所示，阵列转换单元104具有W像素内插单元151、RGBW像素生成单元152和相关性处理单元153。
[0123]阵列转换单元104输入具有RGBW阵列的传感器图像103，并且生成和输出具有RGB阵列的拜耳阵列图像105。
[0124]W像素内插单元151在具有RGBW阵列的传感器图像103的除了 W像素以外的像素的位置处设置W像素，并且生成所有像素为W像素的全部W像素图像信号161。
[0125]RGBff像素生成单元152在具有RGBW阵列的传感器图像103的每个像素位置处生成作为每个RGBW像素信号的低频信号(LPF信号)的RGBW相应LPF信号162。
[0126]相关性处理单元153输入全部W像素图像信号161和RGBW相应LPF信号162，并且通过应用这些输入信号来生成和输出具有RGB阵列的拜耳阵列图像105。
[0127]将参照图5对W像素内插单元151的配置和处理进行描述。
[0128]W像素内插单元151输入由RGBW像素阵列形成的传感器图像103，并且执行用于对于RGBW像素阵列内的RGB像素设置W像素的W像素内插处理。
[0129]如图5中所示，W像素内插单元151具有多个方向滤波器171-1至171-N、检测边缘方向的边缘方向检测单元172和借助于滤波器选择来确定内插像素值的滤波器选择单元173，多个方向滤波器171-1至171-N执行滤波处理如将存在于多个不同的方向上的W像素的像素值求平均作为参考像素的处理。
[0130]例如，基于传感器图像103，设置其主要像素为用作内插像素的RGB像素的预定参考区域(例如，k像素Xk像素)，内插像素为处理目标像素。边缘方向检测单元172基于参考区域中的像素值来检测边缘方向。滤波器选择单元173选择用于执行滤波处理的滤波器，并且通过应用所选择的滤波器来计算用作内插像素值的W像素值，在滤波处理中，沿边缘方向，即，沿具有像素值的小梯度的方向存在的W像素被设置成参考像素。例如，计算沿具有小梯度的方向存在的W像素的像素值的平均值，并且对于处理目标像素位置的RGB像素位置设置W像素值。
[0131]图6示出了当可应用的方向滤波器的数量N为2，即，垂直方向和水平方向两种类型时的处理示例。
[0132]内插像素位置是图6中示出的W(2，2)的像素位置。像素位置表示其中RGB像素的任何像素值被设置在传感器图像103中的像素。W像素:W(1，2)和W(3，2)存在于垂直方向上，而W像素:W(2，I)和W(2，3)存在于水平方向上。
[0133]当每个W像素(x，y)的像素值被设置成W(x，y)时，边缘方向检测单元172确定是否满足下面的等式。
[0134]ff(l, 2)-W(3，2) | ( | W(2，I) -ff (2，3)
[0135]当满足该等式时，确定边缘方向为垂直方向。滤波器选择单元173选择沿边缘方向存在于垂直方向上的像素的像素值作为参考像素，并且基于参考像素的像素值来执行滤波处理，例如平均处理。具体地，例如，根据下面的等式计算内插像素值W’(2，2)。
[0136]W，(2,2) = (ff(l, 2)+W(3, 2))/2
[0137]W(I, 2)-W(3，2) | > | W(2，I) -ff (2，3)
[0138]另外，当边缘方向检测单元172确定满足上面的等式时，确定边缘方向是水平方向。滤波器选择单元173选择沿边缘方向存在于水平方向上的像素的像素值作为参考像素，并且基于参考像素的像素值来执行滤波处理例如平均处理。具体地，例如，根据下面的等式计算内插像素值W’(2，2)。
[0139]W，(2，2) = (W (2，I)+W (2，3))/2
[0140]以这种方式，W像素内插单元151生成如图5所示在所有像素中设置W像素的全部W像素图像信号161。
[0141]接下来，将参照图7和随后的图对图4中示出的阵列转换单元104中的RGBW像素生成单元152的配置和处理示例进行描述。
[0142]RGBff像素生成单元152在具有RGBW阵列的传感器图像103的每个像素位置处生成作为每个RGBW像素信号的低频信号(LPF信号)的RGBW相应LPF信号162。
[0143]如图7所示，RGBW像素生成单元152具有包括如下的配置:包括生成R平均值(R低频信号)HiR的R像素生成单元181R ;生成G平均值(G低频信号)mG的G像素生成单元181G;生成B平均值(B低频信号)mB的B像素生成单元181B ;以及生成W平均值(W低频信号)mW的W像素生成单元181W。
[0144]每个处理单元在像素阵列中的转换目标像素的每个像素位置处生成作为低频信号(LPF信号)的RGBW相应LPF信号162。
[0145]将参照图8描述具体的处理示例。
[0146]例如，可以根据下面的(等式I)计算mR、mG、mB和mW。
[0147][表达式I]
Ri
[0148]?n/?=~~
K
yl.Gi
[0149]mG=~^~
I
^ Vfl1 Bi
[0150]JY1Q=-L^l_
M
「 n T,7Wi
[0151]γγι^ =-1=1——
N
[0152]......(等式 I)
[0153]在上面的等式中，K、L、M和N代表包括在具有预设尺寸的预定参考区域中的相应颜色的总数量，在预设尺寸中主像素为处理目标像素。mR、mG、mB和mW等同于每种颜色的平均值。
[0154]图8示出了当计算mR时参考区域185的示例。当使用图8中示出的参考区域185时，其由K = 14来表达。
[0155]以这种方式，RGBW像素生成单元152在具有RGBW阵列的传感器图像103的每个像素位置处生成作为每个RGBW像素信号的低频信号(LPF信号)的RGBW相应LPF信号162。
[0156]接下来，将参照图9和随后的图对图4中示出的阵列转换单元104中的相关性处理单元153的配置和处理示例进行描述。
[0157]相关性处理单元153输入由W像素内插单元151生成的全部W像素图像信号161和由RGBW像素生成单元152生成的RGBW相应LPF信号162，并且通过应用这些输入信号来生成和输出具有RGB阵列的拜耳阵列图像105。
[0158]如图9中所示，相关性处理单元153具有输出颜色选择单元191和相关性计算单元 192。
[0159]输出颜色选择单元191根据输出拜耳阵列图像105中的与处理目标像素位置对应的像素位置来选择输出颜色。输出颜色选择单元191选择任何一种RGB输出颜色，并且通过选择作为由RGBW像素生成单元152生成的RGBW相应LPF信号162的mR、mG和mB中的任一个来将该输出颜色输出至相关性计算单元192。
[0160]图中示出的mC表示mR、mG和mB中的任一个。
[0161]相关性计算单元192通过利用W像素与R、G和B像素具有强的正相关性的属性，对W像素的高频执行增益调整并且将高频与每种颜色重叠。例如，根据下面的(等式2)计算输出像素值(Out)。
[0162]Out = mC+ (ff-mff) (mC/mff)
[0163]......(等式 2)
[0164]以这种方式，相关性处理单元153输入由W像素内插单元151生成的全部W像素图像信号161和由RGBW像素生成单元152生成的RGBW相应LPF信号162，并且通过应用这些输入信号来生成和输出具有RGB阵列的拜耳阵列图像105。
[0165]图1和图4中示出的阵列转换单元104通过该处理对具有图2(a)中示出的RGBW阵列的传感器图像103的像素阵列进行转换，生成拜耳阵列图像105并且将其输出至图1中示出的相机信号处理单元106。
[0166]在随后的处理中，可以执行与相关领域中的成像设备中的处理相同的处理。也就是说，相机信号处理单元106对于拜耳阵列图像105执行信号处理，例如常规相机信号处理如白平衡调整、伽马校正和去马赛克处理，并且生成输出图像107。
[0167]在本公开的配置中，图像传感器还具有参照图2(a)所描述的配置，并且统一地设置每个单位组成的相应的RGB像素的数量。因此，当对于每个像素位置设置每种RGB颜色的像素值时，可以从参考区域充分地获取每种颜色的像素值。因此，可以对于每个像素位置非常精确地执行每种RGB颜色的设置处理，从而可以生成具有较少的颜色噪声或较少的伪色的RGB图像。
[0168][2.根据第二实施例的图像处理设备的配置和处理]
[0169]接下来，将对根据本公开的第二实施例的图像处理设备的配置和处理进行描述。
[0170]图10是示出了根据本公开的第二实施例的图像处理设备200的配置示例的视图。将成像设备描述为图像处理设备的一个代表示例。
[0171]本实施例是将第一实施例中的阵列转换单元的上述处理设置成由信号处理单元执行的实施例。
[0172]通过光学透镜201入射的光由图像传感器(成像装置)202进行光电转换，并且从图像传感器202输出传感器输出图像203。图像传感器202被配置成具有例如CMOS等。
[0173]即使在本实施例中，图像传感器(成像装置)202的像素阵列也具有图2(a)中示出的上述RGBW阵列。
[0174]从图像传感器202输出的传感器输出图像203被输入至相机信号处理单元204。
[0175]相机信号处理单元204照原样使用具有图2 (a)中示出的RGBW阵列的传感器输出图像203，执行各种信号处理，并且生成输出图像205。输出图像205是对于每个像素设置RGB像素值的图像。
[0176]将参照图11和随后的图对相机信号处理单元204的详细的配置和处理进行描述。
[0177]图11是示出了相机信号处理单元204的配置示例的视图。
[0178]如图11中所示，相机信号处理单元204具有下面的配置。
[0179]白平衡处理单元211，其输入传感器图像203，并且通过鉴于每种颜色或成像条件信息中的灵敏度差异对每种颜色应用不同的增益来对传感器图像203进行调整以具有更精确的颜色；
[0180]去马赛克处理单元212，其在RGBW像素阵列的每个像素位置处设置每种RGB颜色；
[0181]线性矩阵处理单元213，其通过应用例如矩阵运算对出现在像素之间的颜色混合进行校正；以及
[0182]伽马转换单元214，其执行伽马转换。
[0183]相机信号处理单元204具有这些配置。
[0184]在下文中，将对每个配置单元中的处理进行描述。
[0185]将参照图12对白平衡处理单元211中的处理进行描述。
[0186]白平衡处理单元211输入具有图2 (a)中示出的RGBW阵列的传感器图像203，并且通过鉴于每种颜色或成像条件信息中的灵敏度差异对每种颜色应用不同的增益来对传感器图像203进行调整以具有更精确的颜色。如图12中所示，白平衡处理单元211生成WB处理图像230，并且将其输出至下一级中的去马赛克处理单元212。
[0187]图12中示出的输入颜色增益选择单元222输入与处理目标像素的像素位置对应的坐标信息221，基于坐标信息来选择与处理目标像素的颜色对应的增益信息220，并且将所选择的增益信息220输出至增益处理单元222。
[0188]与处理目标像素的像素位置对应的坐标信息221或增益信息220从控制单元提供。例如，在成像期间将增益信息作为与图像对应的属性信息保存在存储器中。
[0189]增益处理单元223通过应用从输入颜色增益选择单元222输入的与处理目标颜色对应的增益信息来对处理目标像素执行增益调整。
[0190]此外，当像素值超过预定范围时，削波处理单元224执行用于对由增益调整设置的像素值进行调整以落入预定范围内的削波处理。
[0191]通过该处理，生成作为在图12中示出的WB调整之后所获得的图像的WB处理图像230。由白平衡处理单元211生成的WB处理图像230被输出至去马赛克处理单元212。
[0192]将参照图13对去马赛克处理单元212的处理进行描述。
[0193]去马赛克处理单元212输入由白平衡处理单元211生成的WB处理图像230，并且生成对于每个像素位置设置每个RGB像素值的去马赛克图像245RGB。
[0194]图13示出了去马赛克处理单元212的配置示例。
[0195]如图13中所示，去马赛克处理单元212具有W像素内插单元231、RGBW像素生成单元232和相关性处理单元233。
[0196]W像素内插单元231在具有RGBW阵列的WB处理图像230的除了 W像素的像素位置以外的像素位置处设置W像素，并且生成其中所有像素为W像素的全部W像素图像信号241。
[0197]RGBW像素生成单元232在具有RGBW阵列的WB处理图像230的每个像素位置处生成作为每个RGBW像素信号的低频信号(LPF信号)的RGBW相应LPF信号242。
[0198]相关性处理单元233输入全部W像素图像信号241和RGBW相应LPF信号242，并且通过应用这些输入信号来生成对于每个像素位置设置每个RGB像素值的去马赛克图像245RGB。
[0199]W像素内插单元231和RGBW像素生成单元232的配置和处理与上述第一实施例中的W像素内插单元151和RGBW像素生成单元152的配置和处理相同。
[0200]将参照图14对相关性处理单元233的配置和处理示例进行描述。
[0201]相关性处理单元233输入由W像素内插单元231生成的全部W像素图像信号241和由RGBW像素生成单元232生成的RGBW相应LPF信号242，并且通过应用这些输入信号来生成对于每个像素位置设置每个RGB像素值的去马赛克图像245RGB。
[0202]如图14中所示，相关性处理单元233具有相关性计算单元251。
[0203]相关性计算单元251通过利用W像素与R、G和B像素具有强的正相关性的属性来对W像素的高频执行增益调整，并且将高频与每种颜色重叠。相关性处理单元233在所有像素位置处设置每种RGB颜色的像素值。
[0204]根据下面的(等式3)计算输出像素值(ROut、GOut和BOut)。
[0205]ROut = mR+ (ff-mff) (mR/mff)
[0206]GOut = mG (ff-mff) (mG/mff)
[0207]BOut = mB+ (ff-mff) (mB/mff)
[0208]......(等式 3)
[0209]以这种方式，相关性处理单元233输入由W像素内插单元231生成的全部W像素图像信号241和由RGBW像素生成单元232生成的RGBW相应LPF信号242，并且通过应用这些输入信号来生成和输出对于所有像素设置RGB像素值的去马赛克图像245。
[0210]由去马赛克处理单元212生成的去马赛克图像245被输出至线性矩阵处理单元213。
[0211]线性矩阵处理单元213通过应用例如矩阵运算对出现在像素之间的颜色混合进行校正。
[0212]将参照图15对由线性矩阵处理单元213执行的处理进行描述。
[0213]如图15中所示，线性矩阵处理单元213具有矩阵计算单元261。
[0214]矩阵计算单元261对构成由去马赛克处理单元212生成的去马赛克图像245的相应的RGB像素值(Rin、Gin和Bin)执行应用了预设矩阵的计算。矩阵计算单元261计算和输出其中已经排除了由于颜色滤波特性、像素特性和光学特性而出现的颜色混合的问题的校正像素值(Rout、Gout和BOut)。
[0215]例如，矩阵计算单元中的矩阵计算被执行为根据下面的(等式4)的处理。
[0216][表达式2]
/Rout\ /Crr Crg Crb\ /Rin\
[0217]I Gout I = I Cgr Cgg Cgb 11 Gin I
\BoutJ yCbr Cbg CbbJ XBinJ
[0218]......(等式 4)
[0219]在上面的(等式4)中，Cxy是根据传感器或光源特性所设置的参数。
[0220]以这种方式，线性矩阵处理单元213执行例如如图15中所示的矩阵计算单元261中的矩阵计算，并且对出现在像素之间的颜色混合进行校正。
[0221]校正像素值被输出至伽马校正单元214。
[0222]伽马校正单元214根据预设的非线性转换模式执行伽马转换。
[0223]如图16中所示，根据与每种RGB颜色对应的伽马校正曲线，例如如图16(a)中示出的伽马校正曲线，伽马校正单元214通过对来自线性矩阵处理单元213的输入值(Rin、Gin和Bin)的每个像素值进行转换来生成和输出输出值(Rout、Gout和BOut)。
[0224]该输出变成图10中示出的输出图像205。
[0225]以这种方式，第二实施例的图像处理设备200基于相机信号处理单元204中的具有RGBW阵列的传感器图像203来生成和输出对于所有像素设置每个像素值的输出图像205。
[0226]在本实施例中，类似于上述实施例，图像传感器还具有参照图2(a)所描述的配置，并且统一地设置每单位组成的相应的RGB像素的数量。因此，当对于每个像素位置设置每种RGB颜色的像素值时，可以从参考区域充分地获取每种颜色的像素值。因此，可以对于每个像素位置非常精确地执行每种RGB颜色的设置处理，从而可以生成具有较少的颜色噪声或较少的伪色的RGB图像。
[0227][3.根据第三实施例的图像处理设备的配置和处理]
[0228]接下来，将对根据本公开的第三实施例的图像处理设备进行描述。
[0229]根据第三实施例的图像处理设备具有参照图10至图16所描述的根据第二实施例的图像处理设备200中的去马赛克处理单元212和线性矩阵处理单元213的处理的修改的配置。其他配置与第二实施例中的那些配置相同。
[0230]将参照图17和图18对第三实施例中的用作去马赛克处理单元212B的马赛克处理单元以及用作线性矩阵处理单元B213的线性矩阵处理单元进行描述。
[0231]图17示出了第三实施例中的去马赛克处理单元212B的相关性处理单元233B的配置示例。
[0232]相关性处理单元233B输入由W像素内插单元231生成的全部W像素图像信号241和由RGBW像素生成单元232生成的RGBW相应LPF信号242，并且通过应用这些输入信号来生成对于每个像素位置设置每个RGB像素值的去马赛克图像245RGB。
[0233]该处理与第二实施例中的处理相同。
[0234]第三实施例的相关性处理单元233B还进一步输出由W像素内插单元231生成的全部W像素图像信号241。
[0235]如图17中所示，相关性处理单元233B具有相关性计算单元251。
[0236]相关性计算单元251通过利用W像素与R、G、B像素具有强的正相关性的属性来对W像素的高频进行增益调整，并且将高频与每种颜色重叠。该处理与第二实施例中的处理相同。相关性处理单元233B在所有像素位置处设置每种RGBW颜色的像素值。
[0237]根据例如下面的(等式5)计算输出值(WOut、ROut、GOut和BOut)。
[0238]Wout = W
[0239]ROut = mR+ (ff-mff) (mR/mff)
[0240]GOut = mG (ff-mff) (mG/mff)
[0241]BOut = mB+ (ff-mff) (mB/mff)
[0242]......(等式 5)
[0243]以这种方式，相关性处理单元233B输入由W像素内插单元231生成的全部W像素图像信号241和由RGBW像素生成单元232生成的RGBW相应LPF信号242，并且通过应用这些输入信号来生成和输出对于所有像素设置RGBW像素值的去马赛克图像245RGBW。
[0244]由去马赛克处理单元212B生成的马赛克图像245RGBW被输出至线性矩阵处理单元 213B。
[0245]线性矩阵处理单元213B通过应用例如矩阵运算来对出现在像素之间的颜色混合进行校正。
[0246]将参照图18对由线性矩阵处理单元213B执行的处理进行描述。
[0247]如图18中所示，线性矩阵处理单元213B具有矩阵计算单元261B。
[0248]矩阵计算单元261B对构成由去马赛克处理单元212B生成的去马赛克图像245的相应的RGBW像素值(Win、Rin、Gin和Bin)执行应用预设矩阵的计算。矩阵计算单元261B计算和输出其中已经排除了由于颜色滤波特性、像素特性和光学特性而出现的颜色混合的问题的校正像素值(Rout、Gout和BOut)。
[0249]例如，矩阵计算单元中的矩阵计算被执行为根据下面的(等式6)的处理。
[0250][表达式3]
/RοuI\ / Crw Crr Crg Crh \ / ^in \
[0251]Gout I = I Cgw Cgr Cgg Cgb 11 J
\ B O UtJ V Ch w Ch I' Cb g Cl) b / \ ^J
[0252]......(等式 6)
[0253]在上面的(等式6)中，Cxy是根据传感器或光源特性所设置的参数。
[0254]以这种方式，线性矩阵处理单元213执行例如如图18中所示的矩阵计算单元261B中的矩阵计算，并且对出现在像素之间的颜色混合进行校正。
[0255]第三实施例被配置成使得不同于第二实施例而使用四种RGBW颜色。根据该配置，可以预期进一步改进的颜色再现性。
[0256]在本实施例中，图像传感器还具有参照图2(a)所描述的配置，并且统一地设置每单位组成的相应的RGB像素的数量。因此，当对于每个像素位置设置每种RGB颜色的像素值时，可以从参考区域充分地获取每种颜色的像素值。因此，可以对于每个像素位置非常精确地执行每种RGB颜色的设置处理,从而可以生成具有较少的颜色噪声或较少的伪色的RGB图像。
[0257][4.根据第四实施例的图像处理设备的配置和处理]
[0258]接下来，将其中对图像传感器内部的像素相加信号执行处理的配置示例描述为本公开的图像处理设备的第四实施例。
[0259]作为用于上述实施例中的图像传感器的CMOS图像传感器具有嵌入式AD转换器，该AD转换器将指示每个像素中所累积的电荷量的模拟值转换成数字值。每个像素信号的输出速度受限于该AD转换器的处理。存在如下问题:AD转换器的处理负荷由于像素数量的增加而增大，并且来自传感器的信号的输出速度降低。
[0260]在第四实施例中，为了解决该问题，传感器内部的模拟信号区域中的多个像素中所累积的电荷被相加。也就是说，以模拟信号电平执行像素相加，并且AD转换器的处理负荷降低，从而便于高速处理。该配置实现了具有例如高的帧速率的图像输出。
[0261]在本实施例中，在图像传感器的内部，例如如图19所示，对传感器配置像素执行相加处理，从而输出相加结果。
[0262]图19(a)示出了作为图像传感器的像素阵列并且先前参照图2 (a)所描述的RGBW阵列。
[0263]图19(b)示出了在图像传感器内部执行的像素相加处理。对具有相同颜色的两个倾斜布置的像素的像素值执行相加处理。
[0264]因此，获得图19(c)中示出的图像传感器输出。
[0265]图19(c)中示出的传感器输出是从图19(a)中示出的6X6 = 36个像素的图像传感器区域获得的输出。
[0266]获得3X3 = 9个像素的W像素输出和3X3 = 9个像素的RGB像素输出的总的18个像素的像素信号输出。
[0267]通过该相加处理，输出其分辨率等级低于图像传感器的原始分辨率等级的图像信号。然而，由于减少AD转换器的处理，所以可以高速输出，从而可以实现具有高的帧速率的图像输出。
[0268]图20示出了根据第四实施例的图像处理设备400的配置示例。该图像处理设备400具有与参照图1所描述的根据第一实施例的图像处理设备100的配置相同的配置。
[0269]通过光学透镜401入射的光由图像传感器(成像装置)402进行光电转换，并且从图像传感器402输出传感器输出图像403。图像传感器402被配置成具有例如CMOS等。图像传感器(成像装置)402的像素阵列具有上述图2(a)中示出的RGBW阵列。
[0270]在图像传感器402内部执行参照图19所描述的像素相加。用作具有相同颜色的两个像素的像素值的相加结果的输出图像，即，被配置成具有如图19(c)中所示的像素的原始数量的一半的数量的像素的图像(W图像+RGB图像)被输出为传感器图像503。
[0271]阵列转换单元404输入被配置成具有该相加像素，即，(W图像+RGB图像)的传感器图像503，执行阵列转换处理，并且生成拜耳阵列图像405。
[0272]相机信号处理单元406对拜耳阵列图像405执行信号处理，并且生成输出图像407。
[0273]控制单元408生成用于图像传感器402的曝光控制、阵列转换单元404的处理控制以及相机信号处理单元406的处理控制的控制信号，并且将这些信号提供给这些配置单元中的每个。控制单元408对从图像捕获到输出图像生成的处理执行总体控制。例如，控制单元408包括具有程序执行功能的CPU，并且根据存储在存储器(未示出)中的程序对成像设备中执行的处理执行总体控制。
[0274]将参照图21对根据第四实施例的阵列转换单元404的处理进行描述。
[0275]阵列转换单元404输入传感器图像503，S卩，由参照图19所描述的图像传感器502内部的模拟计算所生成的传感器图像403，即，(W图像+RGB图像)。阵列转换单元404执行阵列转换处理，并且生成拜耳阵列图像405。
[0276]传感器图像503被配置成使得:将由仅W像素形成的W图像与RGB图像相互组合。
[0277]W图像作为全部W像素图像信号461照原样被输入至相关性处理单元452。
[0278]此外，W图像和RGB图像被输入至RGBW像素生成单元451。RGBW像素生成单元451在传感器图像403的每个像素位置处生成作为每个RGBW像素信号的低频信号(LPF信号)的RGBW相应LPF信号462。
[0279]该处理与已经参照图7和图8所描述的第一实施例中的处理相同。
[0280]相关性处理单元452输入全部W像素图像信号461和RGBW相应LPF信号462，并且通过应用这些输入信号来生成和输出具有RGB阵列的拜耳阵列图像405。
[0281]该处理已经参照图9所描述的与第一实施例中的处理相同。
[0282]以这种方式，在第四实施例中，不再需要布置第一实施例中的阵列转换单元104所需要的W像素生成单元，也就是说，图4中示出的W像素生成单元151，从而使得能够简化该处理。
[0283]第四实施例的相加输出处理配置也可以结合上述第二实施例和第三实施例来应用。
[0284]在本实施例中，图像传感器也具有参照图2(a)所描述的配置，并且统一地设置每单位组成的相应的RGB像素的数量。因此，当对于每个像素位置设置每种RGB颜色的像素值时，可以从参考区域充分地获取每种颜色的像素值。因此，可以对于每个像素位置非常精确地执行每种RGB颜色的设置处理,从而可以生成具有较少的颜色噪声或较少的伪色的RGB图像。
[0285][5.根据第五实施例的图像处理设备的配置和处理]
[0286]将对如下图像处理设备的配置进行描述，该图像处理设备通过以像素单位控制图像传感器的构成像素的曝光时间，通过确定长时间曝光像素和短时间曝光像素，通过由单个图像捕获生成长时间曝光图像和短时间曝光图像以及通过对具有不同的曝光时间的这些图像进行合成来生成宽动态范围图像，即，高动态范围图像(HDR图像)。
[0287]图22示出了根据本实施例的图像处理设备500的配置示例。
[0288]通过光学透镜501入射的光由图像传感器(成像装置)502进行光电转换，并且从图像传感器502输出传感器输出图像503。图像传感器502被配置成具有例如CMOS等。图像传感器(成像装置)502的像素阵列具有上述图2(a)中示出的RGBW阵列。
[0289]在本实施例中，图像传感器(成像装置)502被设置成具有两种不同的曝光时间，并且输出由长时间曝光像素和短时间曝光像素形成的图像。
[0290]例如，在传感器上以行为单位交替地设置长时间曝光像素和短时间曝光像素。这些像素单元中的曝光控制由控制单元510执行。
[0291]下文将参照图23对曝光控制处理的具体示例进行描述。
[0292]阵列转换单元504输入由具有不同的曝光设置时间的像素形成的传感器图像503，S卩，例如以行为单位交替地设置长时间曝光像素和短时间曝光像素的图像，并且通过对具有两种曝光时间的图像执行组成处理来生成高动态范围图像(HDR图像)。
[0293]此外，阵列转换单元504结合高动态范围图像(HDR图像)的生成来执行像素阵列转换处理，并且生成拜耳阵列HDR图像505。
[0294]拜耳阵列HDR图像505被输入至灰度转换单元506。
[0295]灰度转换单元506执行用于对由高动态范围处理设置的像素值的范围进行调整以落入相机信号处理单元508能够执行下一级处理的范围内的处理。例如，当相机信号处理单元508可以对其执行处理的像素值为8比特数据时，灰度转换单元506执行用于对拜耳阵列HDR图像505的所有组成像素值进行设置以落入8比特内的灰度转换处理。通过该处理，生成和输出灰度转换HDR图像507。
[0296]相机信号处理单元508对具有拜耳阵列的灰度转换HDR图像507执行信号处理，并且生成输出图像509。
[0297]控制单元510生成用于图像传感器502的曝光控制、阵列转换单元504的处理控制、灰度转换单元506的处理控制、以及相机信号处理单元508的处理控制的控制信号，并且将信号提供给这些配置单元中的每个。控制单元510对从图像捕获到输出图像生成的处理执行总体控制。例如，控制单元508包括具有程序执行功能的CPU，并且根据存储在存储器(未示出)中的程序对成像设备中执行的处理执行总体控制。
[0298]将参照图23对图像传感器502中的曝光控制处理的具体示例进行描述。
[0299]作为生成具有不同的灵敏度的像素的方法，可以利用如下配置:将像素的滤波器的透光率设置成在每个像素单元中变化或在每个像素单元中控制曝光时间。本公开的设备可以利用这些方法中的任何方法。
[0300]在下文中，将作为示例描述用于通过逐行地改变曝光时间来生成长时间曝光图像和短时间曝光图像的处理。
[0301]图23是示出了从控制单元510输出至图像传感器502的控制信号以及图像传感器中的电荷累积的时间转变的图。示出了下面的五个信号。
[0302](I)读取时刻
[0303](2)用于长时间曝光像素的重置时刻
[0304](3)长时间曝光像素的电荷量
[0305](4)用于短时间曝光像素的重置时刻
[0306](5)短时间曝光像素的电荷量
[0307](I)读取时刻指示用于读取每个像素的累积的电荷作为像素值的时间信号。在图中示出的示例中，时间ta和tc中的每个时刻指示读取时刻。
[0308](2)用于长时间曝光的重置时刻对应于长时间曝光像素的曝光开始时间的设置时亥IJ。在图中示出的示例中，时间段tb指示重置时刻。在该tb之后，在长时间曝光像素中开始响应于入射光的电荷的累积。
[0309](3)长时间曝光像素的电荷量指示在从长时间曝光的重置时刻直到下一个读取时刻为止的曝光时间段(曝光时间段I)期间电荷量的增加转变。
[0310](4)短时间曝光的重置时刻对应于短时间曝光像素的曝光开始时间的设置时刻。在图中示出的示例中，时间段td指示重置时刻。在该td之后，在短时间曝光像素中开始响应于入射光的电荷的累积。
[0311](5)短时间曝光像素的电荷量指示在从短时间曝光的重置时刻直到下一个读取时刻为止的曝光时间段(曝光时间段2)期间电荷量的增加转变。
[0312]例如，以图像传感器的行为单位交替地设置长时间曝光像素和短时间曝光像素。具体地，奇数行被设置为短时间曝光像素的行，而偶数行被设置成长时间曝光像素的行。除此之外，各种设置也是可以的。
[0313]例如，通过参照图23所描述的曝光控制，图像传感器502生成包括长时间曝光像素和短时间曝光像素的传感器图像503，并且将传感器图像503输出至阵列转换单元504。
[0314]将参照图24对由阵列转换单元504执行的处理进行描述。
[0315]如图24中所示，阵列转换单元504具有W像素内插单元551、RGBW像素生成单元552、HDR组成处理单元553和相关性处理单元554。
[0316]如图中所示，由阵列转换单元504输入的传感器图像503具有如下配置:逐行地排列分别具有不同的曝光时间设置的短时间曝光像素(短)和长时间曝光像素(长)的像素。像素阵列是参照图2(a)所描述的RGBW阵列。
[0317]W像素内插单元551输入具有其中逐行地交替地设置长时间曝光像素和短时间曝光像素的RGBW阵列的传感器图像503，并且生成对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像561L和对于所有像素设置短时间曝光W像素的全部W像素短时间曝光图像561S。
[0318]内插处理与第一实施例中的上述处理相同。然而，当生成全部W像素长时间曝光图像56IL时，仅参照长时间曝光像素执行该处理。当生成全部W像素短时间曝光图像561S时，仅参照短时间曝光像素执行该处理。
[0319]将参照图25对W像素内插单元551的处理进行描述。
[0320]W像素内插单元551输入传感器503内的具有其中逐行交替地设置长时间曝光像素和短时间曝光像素的RGBW阵列的W像素数据，并且生成对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像561L和对于所有像素设置短时间曝光W像素的全部W像素短时间曝光图像561S。
[0321]当生成对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像561L时，应用传感器图像503内的仅长时间曝光W像素数据560L，从而执行用于在除了长时间曝光W像素之外的欠缺像素位置处设置长时间曝光W像素值的W像素内插处理。
[0322]图25示出了用于生成对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像56IL的处理配置。
[0323]当生成对于所有像素设置短时间曝光W像素的全部W像素短时间曝光图像561S时，应用传感器图像503内的仅短时间曝光W像素数据560S，从而执行用于在除了短时间曝光W像素之外的欠缺像素位置处设置短时间曝光W像素值的W像素内插处理。
[0324]在这些处理中，仅输入数据和输出数据不同。这些处理基本上根据图25中示出的配置来执行。
[0325]在下文中，作为代表示例，将参照图25对用于生成其中对于像素设置长时间曝光W像素的全部W像素长时间曝光图像561L的处理进行描述。
[0326]如图25中所示，W像素内插单元551具有多个方向滤波器571-1至571-N、检测边缘方向的边缘方向检测单元572以及借助于滤波器选择来确定内插像素值的滤波器选择单元573，方向滤波器571-1至571-N执行滤波处理如对存在于多个不同的方向上的W像素的像素值求平均作为参考像素的处理。
[0327]当生成全部W像素长时间曝光图像561L时，选择性地输入传感器图像503内的仅长时间曝光W像素数据560L。基于该输入图像，对包括作为处理目标像素的内插像素的位置的预定参考区域(例如，k像素Xk像素)进行设置。边缘方向检测单元572基于参考区域的像素值来检测边缘方向。滤波器选择单元573选择用于执行将沿边缘方向即具有像素值的小梯度的方向上存在的W像素设置成参考像素的滤波处理的滤波器，并且通过应用所选择的滤波器来计算用作内插像素值的W像素值。例如，在具有小梯度的方向上存在的W像素的像素值的平均值被计算，并且处理目标像素位置的W像素值被设置。
[0328]图26示出了其中可应用的方向滤波器的数量N为4，S卩，方向滤波器适于具有四种类型的方向如水平方向、垂直方向、向左上角的斜方向和向右上角的斜方向的处理示例。
[0329]由图26中示出的Wl至W9形成的图像指示传感器图像503内的长时间曝光W像素数据560L构成的长时间曝光W像素的像素值。
[0330]边缘方向检测单元572根据下面的等式计算四种类型的边缘量如水平方向上的边缘量(Dh)、垂直方向上的边缘量(Dv)、向左上角的斜方向上的边缘量(Dd)和向右上角的斜方向上的边缘量(Da)。
[0331 ] Dh = (IW1-W2 | +1W2-W3 | +2 (| W4-W5 | +1W5-W6 |) +1W7-W8 | +1W8-W9 |) /8
[0332]Dv = (IW1-W4 | +1W4-W7 | +2 (| W2-W5 | +1W5-W8 |) +1W3-W6 | +1W6-W9 |) /8
[0333]Dd = (IW1-W5 | +1W2-W6 | +1W4-W8 | +1W5-W9 |) /4
[0334]Da = (| W2-W4 | +1W3-W5 | +1W5-W7 | +1W6-W8 |) /4
[0335]根据这些相应的计算等式，计算四个方向上的边缘量。
[0336]根据下面的确定等式，边缘方向检测单元572通过使用边缘量:根据上面的计算等式所计算的四个方向上的Dh、Dv、Dd和Da来确定边缘方向。
[0337]在I Dh-Dv I彡I Dd-Da |的情况下，Dh彡Dv指示边缘方向=水平方向，而Dh > Dv指示边缘方向=垂直方向。在I Dh-Dv I < I Dd-Da I的情况下,Dd < Da指示边缘方向=向左上角的斜方向，而Dd > Da指示边缘方向=向右上角的斜方向。边缘方向检测单元572执行该确定处理，并且将确定结果输出至滤波器选择单元573。
[0338]滤波器选择单元573基于由边缘检测方向单元572检测的边缘方向来选择参考像素，并且执行选择性地应用用于设置内插像素值的方向滤波器的内插处理。
[0339]将参照图27和随后的图对该处理示例进行描述。
[0340]图27示出了其中在中心位置处内插W像素的处理示例，其中在倾斜方向(a)上设置四个W像素。
[0341]图27中示出的4个W像素(Wl至W4)的中心位置为内插像素位置581。
[0342]在该示例中，根据由边缘方向检测单元572检测的边缘方向的滤波器选择处理是图27中示出的处理(步骤I)。图27(al)至图27(a3)示出了下面的滤波器设置示例。
[0343](al)当边缘方向为水平方向或垂直方向时的滤波器
[0344](a2)当边缘方向为向左上角的斜方向时的滤波器
[0345](a3)当边缘方向为向右上角的斜方向时的滤波器
[0346]根据边缘方向，任一个滤波器被选择，并且通过乘以对于每个滤波器设置的系数来将每个像素位置的像素值相加。
[0347]此外，在图27中示出的(步骤2)中，相加值的总和值除以4。商是要为内插像素位置581设置的内插W像素值。
[0348]具体地，例如，当边缘方向为水平方向时，应用图27 (al)中的滤波器。当4个W像素(Wl至W4)的像素值被设置为Wl至W4时，通过下面的等式计算要为内插像素位置581设置的内插像素值W。
[0349]W= (Wl+W2+ff3+ff4)/4
[0350]图28示出了如下处理示例:将W像素内插在垂直(上下)方向(b)上的W像素之间的设置位置处。
[0351]图28中示出的6个W像素(Wl至W6)的中心位置为内插像素位置582。
[0352]在该示例中，根据由边缘方向检测单元572检测的边缘方向的滤波器选择处理为图28中示出的(步骤I)的处理。图28(bl)至28(b4)示出了下面的滤波器设置示例。
[0353](bl)当边缘方向为水平方向时的滤波器
[0354](b2)当边缘方向为垂直方向时的滤波器
[0355](b3)当边缘方向为向左上角的斜方向时的滤波器
[0356](b4)当边缘方向为向右上角的斜方向时的滤波器
[0357]根据边缘方向，任一个滤波器被选择，并且通过乘以对于每个滤波器设置的系数来将每个像素位置的像素值相加。
[0358]此外，在图28中示出的(步骤2)中，相加值的总和值除以8。商是要为内插像素位置582设置的内插W像素值。
[0359]具体地，例如，当边缘方向为水平方向时，应用图28(bl)中的滤波器。当6个W像素(Wl至W6)的像素值被设置为Wl至W6时，通过下面的等式计算要为内插像素位置582设置的内插像素值W。
[0360]ff = (Wl+ (2 X W2) +W3+W4+ (2 X W5) +W6) /8
[0361]除了参照图27和图28所描述的处理以外，内插像素位置包括如图28(c)中所示插入在水平方向上的W像素之间的位置。在这种情况下，图28中所描述的滤波器可以旋转90°以应用。
[0362]以这种方式，W像素内插单元551应用传感器图像503内的仅长时间曝光W像素数据560L，并且执行用于在除了长时间曝光W像素以外的欠缺像素位置处设置长时间曝光W像素值的W像素内插处理，从而生成对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像561L。
[0363]类似地，W像素内插单元551应用传感器图像503内的仅短时间曝光W像素数据560S，并且执行用于在除了短时间曝光W像素以外的欠缺像素位置处设置短时间曝光W像素的W像素内插处理，从而生成对于所有像素设置短时间曝光W像素的全部W像素短时间曝光图像561S。
[0364]图24中示出的阵列转换单元504的RGBW像素生成单元552输入具有逐行交替地设置长时间曝光像素和短时间曝光像素的RGBW阵列的传感器图像503，并且在每个像素位置处生成用作每个RGBW像素信号的低频信号(LPF信号)的RGBW相应LPF信号。
[0365]该处理基本上与上述第一实施例中的参照图7和图8所描述的处理相同。然而，在本实施例中，仅长时间曝光像素用作参考像素，以便生成作为长时间曝光RGBW信号的低频信号(LPF信号)的长时间曝光RGBW相应低频信号562L。此外，仅短时间曝光像素用作参考像素，以便生成作为短时间曝光RGBW信号的低频信号(LPF信号)的短时间曝光RGBW相应低频信号562S。
[0366]HDR组成单元553通过输入W像素内插单元551的生成信号和RGBW像素生成单元552的生成信号来生成高动态范围(HDR)图像。
[0367]HDR组成单元553输入这些相应的信号如作为W像素内插单元551的生成信号的全部W像素长时间曝光图像561L和全部W像素短时间曝光图像561S、以及作为RGBW像素生成单元552的生成信号的长时间曝光LPF信号562L和短时间曝光LPF信号562S。
[0368]HDR组成单元553执行下面的两种类型的处理。
[0369](第一处理)
[0370]用于通过输入两种信号如作为W像素内插单元551的生成信号的(al)全部W像素长时间曝光图像561L和(a2)全部W像素短时间曝光图像561S来生成和输出高动态范围全部W像素图像563的处理。
[0371](第二处理)
[0372]用于通过输入两种信号如作为RGBW像素生成单兀552的生成信号的(bl)长时间曝光LPF信号562L和(b2)短时间曝光LPF信号562S来生成和输出高动态范围RGBW低频(LPF)信号564的处理。
[0373]如图24中所示，HDR组成单元553执行这两种类型的处理，生成(A)高动态范围全部W像素图像563和⑶高动态范围RGBW低频(LPF)信号564，并且将(A)和⑶输出至相关性处理单元554。
[0374]将参照图29对由HDR组成单元553执行的处理进行描述。
[0375]作为代表示例，图29示出了用于在两种类型的处理中的上面的处理(A)中生成高动态范围全部W像素图像563的配置。
[0376]也就是说，HDR组成单元553具有执行用于通过输入作为W像素内插单元551的生成信号的两种信号即(al)全部W像素长时间曝光图像561L和(a2)全部W像素短时间曝光图像561S来生成和输出高动态范围全部W像素图像563的处理的配置。
[0377]除了输入数据和输出数据不同之外，用于生成(B)高动态范围RGBW低频(LPF)信号564的处理与上述处理相同。因此，在本文中，将W像素生成处理示例描述为代表示例。
[0378]HDR组成单元553通过执行具有同一颜色的长时间曝光像素和短时间曝光像素的像素值的组成处理(混合)来计算高动态范围(HDR)图像的像素值。例如，长时间曝光像素用于暗主题，因此获取具有较少的噪声的图像。短时间曝光像素用于亮主题，因此获取不具有饱和的图像。
[0379]如图29中所示，HDR组成单元553具有曝光比率增益调整单元595、混合比率计算单元596和混合处理单元597。
[0380]曝光比率增益调整单元595输入从控制单元接收的、在图像捕获期间短时间曝光像素的曝光时间段与长时间曝光像素的曝光时间段之间的曝光比率信息590。曝光比率增益调整单元595将通过将输入图像内的短时间曝光像素592乘以与曝光比率信息590对应的增益所获得结果输出至混合处理单元597。
[0381]混合比率计算单元596通过输入作为混合目标的短时间曝光像素592和长时间曝光像素593来计算混合比率。作为混合目标的像素被配置成具有有着预设像素区域单元内的同一颜色的短时间曝光像素和长时间曝光像素。本示例利用长时间曝光W像素和短时间曝光W像素。
[0382]通过应用预设计算等式来计算混合比率。例如，当通过使用长时间曝光像素值(DL)来计算混合比率(α)时，根据下面的计算等式计算混合比率。
[0383]如果(DL〈ThO)
[0384]α = O
[0385]否则，如果(DL〈Thl)
[0386]a = (DL-ThO)/(Thl-ThO)
[0387]否则
[0388]α = I
[0389]在上述计算等式中，α:输出HDR像素中的短时间曝光像素的混合比率，ThO，Thl:预设阈值。
[0390]长时间曝光像素的像素值(DL)与对应于上述混合比率计算等式的混合比率(α )之间的对应性表明图30中示出的曲线的设置。
[0391]当长时间曝光像素的像素值(DL)为暗像素值时，频繁使用长时间曝光像素的像素值，从而获取具有较少的噪声的图像。在亮主题的情况下，频繁使用短时间曝光像素的像素值，从而获取不具有饱和的图像。
[0392]图29中示出的混合处理单元597输入来自混合比率计算单元596的上述混合比率(α )。根据输入混合比率(α )，混合处理单元597将短时间曝光像素(WS) 591的像素值与长时间曝光像素(WL) 592的像素值混合，并且确定用作HDR图像的全部W像素图像563的W像素值。
[0393]例如，当短时间曝光像素(WS)591的像素值被设置为DS而长时间曝光像素(WL) 592的像素值被设置为DL时，长时间曝光像素与短时间曝光像素之间的增益比率被设置为Gain，而混合比率设置为α，用作HDR图像的全部W像素图像563的W像素值被设置为DO, DO通过下面的计算等式来计算。
[0394]DO = DLX (1-a )+DSXGainX α
[0395]根据上述等式，混合处理单元597确定用作HDR图像的全部W像素图像563的W
像素值。
[0396]将参照图29对由HDR组成处理单元553执行的生成高动态范围全部W像素图像563的处理的示例进行描述。然而，如上所述，HDR组成处理单元553执行相同的处理，生成(A)高动态范围全部W像素图像563和(B)高动态范围RGBW低频(LPF)信号564，并且将这些输出至相关性处理单元554。
[0397]相关性处理单元554输入从HDR组成处理单元553输出的(A)高动态范围全部W像素图像563和(B)高动态范围RGBW低频(LPF)信号564，并且通过应用这些信号来生成和输出具有RGB阵列的拜耳阵列HDR图像505。
[0398]该相关性处理单元554执行与参照图9所描述的第一实施例中的相关性处理单元153的处理相同的处理。
[0399]以这种方式，图22中示出的本实施例的图像处理设备的阵列转换单元504生成拜耳阵列HDR图像505，并且将其输出至图22中示出的灰度转换单元506。
[0400]灰度转换单元506执行用于对由上述高动态范围处理设置的像素值的范围进行调整以落入相机信号处理单元508能够执行下一级处理的范围内的处理。例如，当相机信号处理单元508对其执行处理的像素值为8比特数据时，灰度转换单元506执行用于对拜耳阵列HDR图像505的所有构成像素值进行设置以落入8比特内的灰度转换处理。通过该处理，生成和输出灰度转换HDR图像507。
[0401]例如，如果传感器的输出指示12比特并且曝光比率为16倍，则阵列转换单元的输出指示16比特。执行该处理，以便将该信号压缩成具有也可以用于相关领域中的相机信号处理的信号的比特宽度。该灰度转换处理可以利用现有技术。
[0402]以这种方式，通过灰度转换处理，灰度转换单元506生成灰度转换HDR图像507，并且将其输出至相机信号处理单元508。
[0403]在随后的处理中，可以执行与相关领域中的成像设备中的处理相同的处理。也就是说，相机信号处理单元508对于灰度转换HDR图像507执行信号处理，例如常规相机信号处理如白平衡调整、伽马校正、以及去马赛克处理，并且生成输出图像509。
[0404]以这种方式，第五实施例具有如下配置:除了第一实施例中所描述的阵列转换处理之外，还可以同时执行图像的高动态范围(HDR)处理。
[0405]第五实施例的该HDR图像生成配置也可以另外地被应用到上述第二实施例和第三实施例。
[0406]在本实施例中，图像传感器也具有参照图2(a)所描述的配置，并且统一地设置每单位组成的相应的RGB像素的数量。因此，当对于每个像素位置设置每种RGB颜色的像素值时，可以从参考区域充分地获取每种颜色的像素值。因此，可以对于每个像素位置非常精确地执行每个RGB颜色的设置处理,从而可以生成具有较少的颜色噪声或较少的伪色的RGB图像。
[0407][6.根据第六实施例的图像处理设备的配置和处理]
[0408]接下来，将组合执行被描述为第四实施例的像素相加处理和被描述为第五实施例的高动态范围(HDR)图像生成处理的处理示例描述为第六实施例。
[0409]图31示出了根据本发明的图像处理设备600的配置示例。
[0410]图31中示出的图像处理设备600被配置成具有与参照图22被描述为第五实施例的图像处理设备500中的配置元件相同的配置元件。
[0411 ] 由图像传感器(成像装置)602对通过光学透镜601入射的光进行光电转换，并且从图像传感器602输出传感器输出图像603。图像传感器602被配置成具有例如CMOS等。图像传感器(成像装置)602的像素阵列具有上述图2(a)中示出的RGBW阵列。
[0412]在本实施例中，类似于第五实施例，图像传感器(成像装置)602被设置成具有两种不同的曝光时间段。此外，类似于第四实施例，图像传感器602对于具有相同颜色的像素执行像素相加，并且输出由具有相加像素值的长时间曝光像素和短时间曝光像素形成的图像。
[0413]在本实施例中，以图像传感器的每两行为单位交替地设置长时间曝光像素和短时间曝光像素。这些像素单元中的曝光控制由控制单元610来执行。
[0414]下文将参照图32对曝光控制设置的具体示例和输出图像进行描述。
[0415]阵列转换单元604输入由具有不同的曝光设置时间段的像素形成的传感器图像603，S卩，逐行交替地设置被配置成具有相加像素值的长时间曝光像素和短时间曝光像素的图像，并且通过对具有两种曝光时间段的图像执行合成处理来生成高动态范围图像(HDR图像)。
[0416]此外，阵列转换单元604结合高动态范围图像(HDR图像)的生成来执行像素阵列转换处理，并且生成拜耳阵列HDR图像605。
[0417]拜耳阵列HDR图像605被输入到灰度转换单元606。
[0418]灰度转换单元606执行用于对由高动态范围处理设置的像素值的范围进行调整以落入相机信号处理单元608能够执行下一级处理的范围内的处理。例如，当相机信号处理单元608对其执行该处理的像素值为8比特数据时，灰度转换单元606执行用于对拜耳阵列HDR图像605的所有组成像素值进行设置以落入8比特内的灰度转换处理。通过该处理，生成和输出灰度转换HDR图像607。
[0419]相机信号处理单元608对具有拜耳阵列的灰度转换HDR图像507执行信号处理，并且生成输出图像509。
[0420]控制单元510生成用于图像传感器602的曝光控制、阵列转换单元604的处理控制、灰度转换单元606的处理控制和相机信号处理单元608的处理控制的控制信号，并且将这些信号提供给这些构成单元中的每个。控制单元610对从图像捕获到输出图像生成的处理进行总体控制。例如，控制单元608包括具有程序执行功能的CPU，并且根据存储在存储器(未示出)中的程序对成像设备中执行的处理进行总体控制。
[0421]将参照图32对图像传感器602中的曝光控制处理的具体示例和作为输出图像的传感器图像603进行描述。
[0422]图32 (a)示出了图像传感器602的驱动处理模式。
[0423]图32(b)示出了从图像传感器602输出的传感器图像603。
[0424]如图32(a)中所示，在本实施例中，以每两行为单位交替地设置短时间曝光像素(短)和长时间曝光像素(长)。此外，将在两条线中的短时间曝光像素(短)内的倾斜方向上彼此相邻的、具有相同颜色的像素的像素值相加和输出。该相加是第四实施例中所描述的模拟相加。该处理减少AD转换器的处理负荷，从而使能高帧率的输出处理。
[0425]从图像传感器602输出的传感器图像603代表图32(b)中示出的图像。也就是说，传感器图像被配置成具有逐行交替地设置短时间曝光像素和长时间曝光像素的RGB图像621、以及逐行交替地设置短时间曝光像素和长时间曝光像素的W图像622。
[0426]这些图像被输出至阵列转换单元604。
[0427]将参照图33对由阵列转换单元604执行的处理进行描述。
[0428]如图33中所示，阵列转换单元604具有W像素内插单元651、RGBW像素生成单元652、HDR组成处理单元653和相关性处理单元654。
[0429]如参照图32所述，从阵列转换单元604输入的传感器图像603被配置成具有这两种类型的图像，如逐行交替地设置短时间曝光像素和长时间曝光像素的RGB图像621、以及逐行交替地设置短时间曝光像素和长时间曝光像素的W图像622。
[0430]W像素内插单元651输入逐行交替地设置长时间曝光像素和短时间曝光像素的W图像622，并且生成下面的两个全部W像素图像。也就是说，生成诸如(I)对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像661L和(2)对于所有像素设置短时间曝光W像素的全部W像素短时间曝光图像661S的图像。
[0431]该内插处理与第一实施例中的上述处理相同。然而，当生成全部W像素长时间曝光图像661L时，仅参照长时间曝光像素执行该处理。当生成全部W像素短时间曝光图像661S时，仅参照短时间曝光像素执行该处理。
[0432]将参照图34对W像素内插单元651的处理进行描述。
[0433]W像素内插单元651输入逐行交替地设置长时间曝光像素和短时间曝光像素的W图像622，并且生成对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像66IL和对于所有像素设置短时间曝光W像素的全部W像素短时间曝光图像661S。
[0434]当生成对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像661L时，W像素内插单元651仅应用W图像622内的长时间曝光W像素数据，并且执行用于在除了长时间曝光W像素之外的欠缺像素位置处设置长时间曝光W像素值的W像素内插处理。
[0435]图34示出了用于生成对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像66IL的处理配置。
[0436]当生成对于所有像素设置短时间曝光W像素的全部W像素短时间曝光图像661S时，W像素内插单元651仅应用W图像622内的短时间曝光W像素数据，并且执行用于在除了短时间曝光W像素之外的欠缺像素位置处设置短时间曝光W像素值的W像素内插处理。
[0437]在这些处理中，仅输入数据和输出数据不同。基本上根据图34中示出的配置来执行这些处理。
[0438]在下文中，作为代表示例，将参照图34对用于生成其中对于像素设置长时间曝光W像素的全部W像素长时间曝光图像66IL的处理进行描述。
[0439]如图34中所示，W像素内插单元651具有多个方向滤波器671-1至671-N、检测边缘方向的边缘方向检测单元672以及借助于滤波器选择来确定内插像素值的滤波器选择单元673，方向滤波器671-1至671-N执行滤波处理如将存在于多个不同的方向上的W像素的像素值求平均作为参考像素的处理。
[0440]当生成全部W像素长时间曝光图像661L时，选择性地输入W图像622内的长时间曝光W像素数据，S卩，仅图34中示出的长时间曝光W像素数据660L。基于该输入图像，设置包括作为处理目标像素的内插像素的位置的预定参考区域(例如，k像素Xk像素)。边缘方向检测单元672基于参考区域的像素值来检测边缘方向。滤波器选择单元673选择用于执行沿边缘方向即具有像素值的小梯度的方向存在的W像素被设置成参考像素的滤波处理的滤波器，并且通过应用所选择的滤波器计算用作内插像素值的W像素值。例如，在具有小梯度的方向上存在的W像素的像素值的平均值被计算，并且处理目标像素位置的W像素值被设置。
[0441]将参照图35对内插像素值的边缘方向检测处理和设置处理的示例进行描述。
[0442]在图35中，W像素的内插像素位置被设置成指示内插像素682的位置。
[0443]也就是说，长时间曝光W像素Wl至W5被设置成连续布置在上一行中，而长时间曝光W像素W6至WlO被设置成连续布置在下一行中。在该设置中，对于W3和W8之间的像素执行用于内插长时间曝光W像素的处理。
[0444]将对三个方向滤波器被应用于该设置的处理示例进行描述。
[0445]Wl至WlO被设置成相应的像素位置的像素值。
[0446]如图35(a)中所示，每个方向滤波器执行下面的滤波处理。
[0447]方向I 滤波器:F1 = (W2+W9) /2
[0448]方向2 滤波器:F2 = (W3+W8)/2
[0449]方向3 滤波器:F3 = (W4+W7)/2
[0450]方向I滤波器I是当边缘方向为向左上角方向时可应用的滤波器。
[0451]方向2滤波器2是当边缘方向为垂直方向时可应用的滤波器。
[0452]方向3滤波器3是当边缘方向为向右上角方向时可应用的滤波器。
[0453]图35(b)示出了基于由边缘方向检测单元672执行的边缘方向确定和由滤波器选择单元673执行的边缘方向确定的结果的滤波器选择处理示例。
[0454]在由边缘方向检测单元672执行的边缘方向确定中，根据下面的等式首先计算三个边缘量。
[0455](I)向左上角方向(方向 I)的边缘量:Dl = (I ff 1-W8 | +2 | W2-W9 | +1 W3-ff 10 |) /4
[0456](2)垂直方向(方向 2)的边缘量:D2 = (| W2-W7 | +2 | W3-W8 | +1W4-W9 |) /4
[0457](I)向右上角方向(方向 3)的边缘量:D3= (| W3-W6 | +2 | W4-W7 | +1W5-W8 |) /4
[0458]在下文中，边缘方向检测单元672基于上述三个方向的边缘量来执行下面的边缘方向确定处理。
[0459]在D1〈D2且D1〈D3的情况下，边缘方向=向左上角方向(方向1)，
[0460]在D3〈D1且D3〈D2的情况下，边缘方向=向右上角方向(方向3)，
[0461]否则，边缘方向=垂直方向(方向2)，
[0462]执行该边缘方向确定，并且将该确定结果输出至滤波器选择单元673。
[0463]滤波器选择单元673输入边缘方向检测单元672的边缘方向确定结果，并且计算根据输入的边缘方向确定结果对其应用图35(a)中示出的三个方向滤波器中的任一个的内插像素值。
[0464]也就是说，通过应用下面的(I)至(3)中的任一个所选择的滤波器来计算内插像素值W。
[0465](I)在边缘方向=向左上角方向(方向I)的情况下，通过应用方向I滤波器Fl执行内插像素值W的下面的计算。
[0466]ff = (W2+W9) /2
[0467](2)在边缘方向=垂直方向(方向2)的情况下，通过应用方向2滤波器F2执行内插像素值W的下面的计算。
[0468]ff = (W3+W8) /2
[0469]在边缘方向=向右上角方向(方向3)的情况下，通过应用方向3滤波器F3执行内插像素值W的下面的计算。
[0470]ff = (W4+W7) /2
[0471]以这种方式，W像素内插单元651仅应用传感器图像603内的长时间曝光W像素660L,并且执行用于在除了长时间曝光W像素以外的欠缺像素位置处设置长时间曝光W像素值的W像素内插处理，从而生成其中对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像661L。
[0472]类似地，W像素内插单元651仅应用短时间曝光W像素，并且执行用于在除了短时间曝光W像素以外的欠缺像素位置处设置短时间曝光W像素值的W像素内插处理，从而生成其中对于所有像素设置短时间曝光W像素的全部W像素短时间曝光图像661S。
[0473]图33中示出的阵列转换单元604的RGBW像素生成单元652输入具有逐行交替地设置长时间曝光像素和短时间曝光像素的RGBW阵列的传感器图像603，并且在每个像素位置处生成用作每个RGBW像素信号的低频信号(LPF信号)的RGBW相应LPF信号。
[0474]该处理基本上与上述第一实施例中参照图7和图8所描述的处理相同。然而，在本实施例中，仅长时间曝光像素用作参考像素，以便生成作为长时间曝光RGBW信号的低频信号(LPF信号)的长时间曝光LPF信号662L。此外，仅短时间曝光像素用作参考像素，以便生成作为短时间曝光RGBW信号的低频信号(LPF信号)的短时间曝光LPF信号662S。
[0475]HDR组成单元653通过输入W像素内插单元651的生成信号和RGBW像素生成单元652的生成信号来生成高动态范围(HDR)图像。
[0476]HDR组成单元653输入这些相应的信号如作为W像素内插单元651的生成信号的全部W像素长时间曝光图像661L和全部W像素短时间曝光图像661S、以及作为RGBW像素生成单兀652的生成信号的长时间曝光LPF信号662L和短时间曝光LPF信号662S。
[0477]HDR组成单元653执行下面的两种类型的处理。
[0478](第一处理)
[0479]用于通过输入两种信号如作为W像素内插单元651的生成信号的(al)全部W像素长时间曝光图像661L和(a2)全部W像素短时间曝光图像661S来生成和输出高动态范围全部W像素图像563的处理。
[0480](第二处理)
[0481]用于通过输入两种信号如作为RGBW像素生成单兀652的生成信号的(bl)长时间曝光LPF信号662L和(b2)短时间曝光LPF信号662S来生成和输出高动态范围RGBW低频(LPF)信号664的处理。
[0482]如图33中所示，HDR组成单元653执行这两种类型的处理，生成(A)高动态范围全部W像素图像663和⑶高动态范围RGBW低频(LPF)信号664，并且将(A)和⑶输出至相关性处理单元654。
[0483]由HDR组成单元653执行的处理与第五实施例中参照图29和图30所描述的处理相同。
[0484]也就是说，通过将长时间曝光像素和短时间曝光像素混合来设置HDR图像的像素值。
[0485]当长时间曝光像素的像素值(DL)为暗像素值时，频繁地使用长时间曝光像素的像素值，从而获取具有较少的噪声的图像。在亮主题的情况下，频率地使用短时间曝光像素的像素值，从而获取不具有饱和的图像。
[0486]相关性处理单元654输入从HDR组成处理单元653输出的㈧高动态范围全部W像素图像663和(B)高动态范围RGBW低频(LPF)信号664，并且通过应用这些信号来生成和输出具有RGB阵列的拜耳阵列HDR图像605。
[0487]该相关性处理单元654执行与参照图9所描述的第一实施例中的相关性处理单元153的处理相同的处理。
[0488]以这种方式，图33中示出的本实施例的图像处理设备的阵列转换单元604生成拜耳阵列HDR图像605并且将其输出至图31中示出的灰度转换单元606。
[0489]灰度转换单元606执行用于对由上述高动态范围处理设置的像素值的范围进行调整以落入相机信号处理单元608能够执行下一级处理的范围内的处理。例如，当相机信号处理单元608能够对其执行该处理的像素值为8比特数据时，灰度转换单元606执行用于对拜耳阵列HDR图像605的所有构成像素值进行设置以落入8比特内的灰度转换处理。通过该处理，生成和输出灰度转换HDR图像607。
[0490]例如，如果传感器的输出指示12比特并且曝光比率为16倍，则阵列转换单元的输出指示16比特。执行该处理，以便将该信号压缩成具有也可以用于相关领域中的相机信号处理的信号的比特宽度。该灰度转换处理可以利用现有技术。
[0491]以这种方式，通过灰度转换处理，灰度转换单元606生成灰度转换HDR图像607，并且将其输出至相机信号处理单元608。
[0492]在随后的处理中，可以执行与相关领域中的成像设备中的处理相同的处理。也就是说，相机信号处理单元608对于灰度转换HDR图像607执行信号处理，例如常规相机信号处理如白平衡调整、伽马校正和去马赛克处理，并且生成输出图像509。
[0493]以这种方式，第六实施例具有如下配置:除了第一实施例中所描述的阵列转换处理之外，还可以与图像传感器中的像素相加同时地执行图像的高动态范围(HDR)处理。
[0494]第六实施例的该HDR图像生成配置也可以另外地被应用到上述第二实施例和第三实施例。
[0495]在本实施例中，图像传感器也具有参照图2(a)所描述的配置，并且统一地设置每单位组成的相应的RGB像素的数量。因此，当对于每个像素位置设置每种RGB颜色的像素值时，可以从参考区域充分地获取每种颜色的像素值。因此，可以对于每个像素位置非常精确地执行每个RGB颜色的设置处理,从而可以生成具有较少的颜色噪声或较少的伪色的RGB图像。
[0496][7.图像传感器(成像装置)的像素阵列的示例]
[0497]通过包括如下配置对第一实施例至第六实施例进行了描述:图像传感器的像素阵列具有图2(a)中示出的RGBW像素阵列；以及基于图像传感器输出来执行用于将RGBW像素阵列转换成具有RGB阵列的拜耳阵列的阵列转换。
[0498]然而，在不限于来自图像传感器具有图2 (a)中示出的RGBW像素阵列的输出的情况下，根据每种实施例的上述处理也可以应用于具有其他像素阵列的传感器输出图像。
[0499]将参照图36至图38对本公开的处理可以应用于的像素阵列的示例进行描述。
[0500]图36示出了本公开的处理可以应用于的具有6X6像素循环的RGBW像素阵列的示例。
[0501]图36(1)中示出的像素阵列示例I指示与图2(a)中的上述RGBW像素阵列相同的阵列。
[0502]顺序地从第一行开始，
[0503](第一行)重复RWGWBW,
[0504](第二行)重复WRWGWB，
[0505](第三行)重复GWBWRW，
[0506](第四行)重复WGWBWR,
[0507](第五行)重复BWRWGW，以及
[0508](第六行)重复WBWRWG。
[0509]之后，在从第七行开始的行中，重复上述第一行至第六行。
[0510]每行和每列被配置成使得:在其之间内插一个W像素，并且顺序地布置每个RGB像素。在图36(1)中示出的6X6 = 36个像素内，1/2被设置成18个W像素，1/6被设置成6个R像素，1/6被设置成6个G像素，以及1/6被设置成6个B像素。
[0511]图36(2)中示出的像素阵列示例2指示本公开的处理可以应用于的具有6X6像素循环的RGBW像素阵列的另一阵列。
[0512]顺序地从第一行开始，
[0513](第一行)重复RWGWBW,
[0514](第二行)重复WRWGWB，
[0515](第三行)重复BWRWGW，
[0516](第四行)重复WBWRWG,
[0517](第五行)重复GWBWRW，以及
[0518](第六行)重复WGWBWR。
[0519]之后，在从第七行开始的行中，重复上述第一行至第六行。
[0520]每行和每列被配置成使得:在其之间内插一个W像素，并且顺序地布置每个RGB像素。在图36(2)中示出的6X6 = 36个像素内，1/2被设置成18个W像素，1/6被设置成6个R像素，1/6被设置成6个G像素，以及1/6被设置成6个B像素。
[0521]图37(3)中示出的像素阵列示例3是本公开的处理可以应用于的具有6X4像素循环的RGBW像素阵列的阵列示例。
[0522]顺序地从第一行开始，
[0523](第一行)重复RWGWBW,
[0524](第二行)重复WRWGWB，
[0525](第三行)重复GWBWRW，以及
[0526](第四行)重复WGWBWR。
[0527]之后，在从第五行开始的行中，重复上述第一行至第四行。
[0528]每行被配置成使得:在其之间内插一个W像素，并且顺序地布置每个RGB像素。在图37 (3)中示出的6 X 4 = 24个像素内，1/2被设置成12个W像素，1/6被设置成4个R像素，1/6被设置成4个G像素，以及1/6被设置成4个B像素。
[0529]图37(4)中示出的像素阵列示例4是本公开的处理可以应用于的具有6X4像素循环的RGBW像素阵列的另一阵列示例。
[0530]顺序地从第一行开始，
[0531](第一行)重复RWGWBW,
[0532](第二行)重复WGWRWB，
[0533](第三行)重复RWBWGW，以及
[0534](第四行)重复WGWRWB。
[0535]之后，在从第五行开始的行中，重复上述第一行至第四行。
[0536]每行被配置成使得:在其之间内插一个W像素，并且顺序地布置每个RGB像素。在图37(4)中示出的6X4 = 24个像素内，1/2被设置成12个W像素，1/6被设置成4个R像素，1/6被设置成4个G像素，以及1/6被设置成4个B像素。
[0537]图37(5)中示出的像素阵列示例5是本公开的处理可以应用于的具有4X6像素循环的RGBW像素阵列的阵列示例。
[0538]顺序地从第一行开始，
[0539](第一行)重复RWGW，
[0540](第二行)重复WRWG，
[0541 ](第三行)重复GWBW，
[0542](第四行)重复WGWB，
[0543](第五行)重复BWRW，以及
[0544](第六行)重复WBWR。
[0545]之后，在从第七行开始的行中，重复上述第一行至第六行。
[0546]每列被配置成使得:在其之间内插一个W像素，并且顺序地布置每个RGB像素。在图37 (5)中示出的4X 6 = 24个像素内，1/2被设置成12个W像素，1/6被设置成4个R像素，1/6被设置成4个G像素，以及1/6被设置成4个B像素。
[0547]图38(6)中示出的像素阵列示例6是本公开的处理可以应用于的具有6X2像素循环的RGBW像素阵列的阵列示例。
[0548]顺序地从第一行开始，
[0549](第一行)重复RWGWBW，以及
[0550](第二行)重复WRWGWB。
[0551]之后，在从第三行开始的行中，重复上述第一行至第二行。
[0552]每行被配置成使得:在其之间内插一个W像素，并且顺序地布置每个RGB像素。在图38(6)中示出的6X2 = 12个像素内，1/2被设置成6个W像素，1/6被设置成2个R像素，1/6被设置成2个G像素，以及1/6被设置成2个B像素。
[0553]图38(7)中示出的像素阵列示例7是本公开的处理可以应用于的具有2X6像素循环的RGBW像素阵列的阵列示例。
[0554]顺序地从第一列开始，
[0555](第一列)重复RWGWBW，以及
[0556](第二列)重复WRWGWB。
[0557]之后，在从第三列开始的列中，重复上述第一列至第二列。
[0558]每列被配置成使得:在其之间内插一个W像素，并且顺序地布置每个RGB像素。在图38(7)中示出的2X6 = 12个像素内，1/2被设置成6个W像素，1/6被设置成2个R像素，1/6被设置成2个G像素，以及1/6被设置成2个B像素。
[0559]例如，根据第一至第六实施例的上述处理也可以应用于具有图36至图38中的像素阵列示例I至7中的任一个像素阵列的图像传感器的输出。
[0560][8.根据本公开的配置的概述]
[0561]至此，已参照具体的实施例详细描述了本公开的实施例。然而，明显的是，本领域中的普通技术人员可以在不偏离本公开的精神的范围内做出对实施例的修改和替换。也就是说，本发明以示例的形式公开，但是不应当被理解为限制性的。为了确定本公开的精神，应当参照所附权利要求。
[0562]本文中所公开的技术可以利用下面的配置。
[0563](I)提供了一种图像处理设备，其包括图像传感器和图像处理单元。该图像传感器具有包括RGB像素和W像素的RGBW阵列，所述RGB像素是对应于每种RGB颜色的波长光的光接收元件，所述W像素是基本上接收所有RGB波长光的光接收元件。该图像处理单元通过输入由从所述图像传感器输出的RGBW像素信号形成的传感器图像来执行图像处理。图像传感器具有由每个RGBW像素形成的单位组成的周期性阵列，以及具有所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列。图像处理单元对由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换，并且执行用于生成RGB阵列图像的阵列转换处理或用于生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
[0564](2)在上述(I)中所公开的图像处理设备中，图像处理单元具有对由所述RGBW像素信号形成的所述传感器图像的所述像素阵列进行转换，并且生成由拜耳阵列形成的所述RGB阵列图像的阵列转换单元。阵列转换单元具有W像素内插单元、RGBW像素生成单元和相关性处理单元，所述W像素内插单元通过在所述传感器图像的RGB像素位置处设置所述W像素来生成全部W像素图像信号；所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来针对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
[0565](3)在上述(2)中所公开的图像处理设备中，W像素内插单元通过应用所述传感器图像的所述W像素的像素值来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值。
[0566](4)在上述(I)至⑶中任一项中所公开的图像处理设备中，图像处理单元具有去马赛克处理单元，所述去马赛克处理单元对所述传感器图像执行去马赛克处理，并且生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号。去马赛克处理单元具有W像素内插单元、RGBff像素生成单元和相关性处理单元，所述W像素内插单元通过在所述传感器图像的RGB像素位置处设置所述W像素来生成全部W像素图像信号；所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号。
[0567](5)在上述(4)中所公开的图像处理设备中，W像素内插单元通过应用所述传感器图像的所述W像素的像素值来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值。
[0568](6)在上述(4)或(5)中所公开的图像处理设备中，图像处理单元具有线性矩阵处理单元，所述线性矩阵处理单元对由所述去马赛克处理单元生成的每个RGB图像信号执行应用预设矩阵的像素值转换。
[0569](7)图像处理单元具有去马赛克处理单元，所述去马赛克处理单元对所述传感器图像执行去马赛克处理，并且生成其中对于所述传感器图像的每个像素位置设置全部RGB和W像素值的每个RGBW图像信号。去马赛克处理单元具有W像素内插单元、RGBW像素生成单元和相关性处理单元，所述W像素内插单元通过在所述传感器图像的RGB像素位置处设置所述W像素来生成全部W像素图像信号；所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号。
[0570](8)在上述(7)中所公开的图像处理设备中，图像处理单元具有线性矩阵处理单元，所述线性矩阵处理单元对由所述去马赛克处理单元生成的每个RGBW图像信号执行应用预设矩阵的像素值转换。
[0571](9)在上述(I)至(8)中任一项中所公开的图像处理设备中，图像传感器被配置成:输出具有在倾斜方向上彼此相邻的相同颜色像素值的相加像素值的图像作为所述传感器图像。图像处理单元具有阵列转换单元，该阵列转换单元对被配置成具有所述相加像素值且由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换并且生成由拜耳阵列形成的RGB阵列图像。阵列转换单元具有RGBW像素生成单元和相关性处理单元，所述RGBff像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入作为所述传感器图像输出的所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
[0572](10)在上述⑴至(9)中任一项中所公开的图像处理设备中，图像传感器被配置成:输出包括根据控制单元的控制所设置的长时间曝光像素和短时间曝光像素的图像作为所述传感器图像。图像处理单元具有阵列转换单元，所述阵列转换单元通过应用包括所述长时间曝光像素和所述短时间曝光像素的所述传感器图像来生成高动态范围(HDR)图像，并且通过对所述像素阵列进行转换来生成由拜耳阵列形成的RGB阵列HDR图像。阵列转换单元具有W像素内插单元、RGBff像素生成单元、HDR组成处理单元和相关性处理单元，所述W像素内插单元通过应用所述传感器图像的长时间曝光像素信号来生成对于所有像素位置设置长时间曝光W像素的全部W像素长时间曝光图像，并且通过应用所述传感器图像的短时间曝光像素信号来生成对于所有像素位置设置短时间曝光W像素的全部W像素短时间曝光图像；所述RGBW像素生成单元通过应用所述传感器图像的所述长时间曝光像素信号来在每个像素位置处生成作为每个长时间曝光RGBW像素信号的低频信号的长时间曝光RGBW相应低频信号，并且通过应用所述传感器图像的所述短时间曝光像素信号来在每个像素位置处生成作为每个短时间曝光RGBW像素信号的低频信号的短时间曝光RGBW相应低频信号；所述HDR组成处理单元通过输入所述全部W像素长时间曝光图像、所述全部W像素短时间曝光图像、所述长时间曝光RGBW相应低频信号和所述短时间曝光RGBW相应低频信号来生成作为所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号；以及所述相关性处理单元输入作为由HDR组成处理单元生成的所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
[0573](11)在上述(10)中所公开的图像处理设备中，HDR组成处理单元通过根据曝光比率调整增益之后所获得的所述短时间曝光像素信号和所述长时间曝光像素信号的混合处理来计算所述高动态范围(HDR)图像的组成像素值。
[0574](12)在上述(10)或(11)中所公开的图像处理设备中，W像素内插单元通过应用所述传感器图像的所述长时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述长时间曝光W像素的所述全部W像素长时间曝光图像。该W像素内插单元通过应用所述传感器图像的所述短时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述短时间曝光W像素的所述全部W像素短时间曝光图像。
[0575](13)在上述⑴至(12)中任一项中所公开的图像处理设备中，在图像传感器中，长时间曝光像素行和短时间曝光像素行两行根据控制单元的控制被交替地设置。图像传感器被配置成:输出由具有在以两行为单位的所述长时间曝光像素行的倾斜方向上彼此相邻的相同颜色像素值的相加像素值的长时间曝光像素信号和具有在以两行为单位的所述短时间曝光像素行的倾斜方向上彼此相邻的相同颜色像素值的相加像素值的短时间曝光像素信号形成的图像作为所述传感器图像。图像处理单元具有阵列转换单元，所述阵列转换单元通过应用包括所述长时间曝光像素和所述短时间曝光像素的所述传感器图像来生成高动态范围(HDR)图像，并且通过对所述像素阵列进行转换来生成由拜耳阵列形成的RGB阵列HDR图像。阵列转换单元具有W像素内插单元、RGBff像素生成单元、HDR组成处理单元和相关性处理单元，所述W像素内插单元通过应用所述传感器图像的长时间曝光像素信号来生成对于所有像素位置设置长时间曝光W像素的全部W像素长时间曝光图像，并且通过应用所述传感器图像的短时间曝光像素信号来生成对于所有像素位置设置短时间曝光W像素的全部W像素短时间曝光图像；所述RGBW像素生成单元通过应用所述传感器图像的所述长时间曝光像素信号来在每个像素位置处生成作为每个长时间曝光RGBW像素信号的低频信号的长时间曝光RGBW相应低频信号，并且通过应用所述传感器图像的所述短时间曝光像素信号来在每个像素位置处生成作为每个短时间曝光RGBW像素信号的低频信号的短时间曝光RGBW相应低频信号；所述HDR组成处理单元通过输入所述全部W像素长时间曝光图像、所述全部W像素短时间曝光图像、所述长时间曝光RGBW相应低频信号和所述短时间曝光RGBW相应低频信号来生成作为所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号；以及所述相关性处理单元输入作为由所述HDR组成处理单元生成的所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号，通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
[0576](14)在上述(13)中所公开的图像处理设备中，HDR组成处理单元通过根据曝光比率调整增益之后所获得的所述短时间曝光像素信号和所述长时间曝光像素信号的混合处理来计算所述高动态范围(HDR)图像的组成像素值。
[0577](15)在上述(13)或(14)中所公开的图像处理设备中，W像素内插单元通过应用所述传感器图像的所述长时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述长时间曝光W像素的所述全部W像素长时间曝光图像。W像素内插单元通过应用所述传感器图像的所述短时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述短时间曝光W像素的所述全部W像素短时间曝光图像。
[0578](16)提供了一种包括RGBW阵列的成像装置。该RGBW阵列包括作为对应于每种RGB颜色的波长光的光接收元件的RGB像素和作为基本上接收所有RGB波长光的光接收元件的W像素。图像传感器具有由每个RGBW像素形成的单位组成的周期性阵列，并且具有其中所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列。
[0579](17)在上述(16)中所公开的成像装置中，成像装置具有其中6X6个像素、6X4个像素或6X2个像素适于作为所述单位组成的所述周期性阵列。单位组成内的每个RGBW像素的所述组成比率为
[0580](18)在上述(16)或(17)中所公开的成像装置中，成像装置具有在每列和每行中布置每个RGBW像素的组成。
[0581]此外，上述设备中执行的处理方法以及使上述设备执行该处理的程序也包括在本公开的配置中。
[0582]另外，本文中所描述的一系列处理可以通过使用硬件或软件或替代地通过使用硬件与软件的组合配置来执行。当该处理通过使用软件来执行时，该处理可以通过将处理顺序记录的程序安装到合并在专用硬件中的计算机内部的存储器中或替代地通过将程序安装到可以执行各种类型的处理的通用计算机中来执行。例如，程序可以预先被记录在记录介质中。除了程序被从记录介质安装到计算机中的情况以外，程序可以通过经由网络如局域网(LAN)和互联网接收程序被安装到记录介质如嵌入式硬盘中。
[0583]本文中所公开的各种类型的处理不限于以根据本公开的时间序列执行处理的情况。可以取决于装置的处理能力或视需要并行或单独地执行处理。另外，本文中所描述的系统为多个设备的逻辑且集中的配置，具有每种配置的设备不必然被布置在同一壳体内部。
[0584]工业应用性
[0585]如上所述，根据本公开的实施例的配置，提供了通过输入RGBW图像来生成具有较少的颜色噪声或较少的伪色的RGB图像的设备和方法。
[0586]具体地，设备包括具有RGBW阵列的图像传感器和通过输入由从图像传感器输出的RGBW像素信号形成的传感器图像来执行图像处理的图像处理单元。图像传感器具有由每个RGBW像素形成的单位组成的周期性阵列，并且具有单位组成内的每个RGB像素的组成比率适于彼此相同的阵列。图像处理单元对由RGBW像素信号形成的传感器图像的像素阵列进行转换，并且执行用于生成RGB阵列图像的阵列转换处理或用于生成对于传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
[0587]在本公开的配置中，统一地设置图像传感器的每单位组成的相应RGB像素的数量。因此，当对于每个像素位置设置每种RGB颜色的像素值时，可以从参考区域充分地获得每种颜色的像素值。因此，可以相对于每个像素位置非常精确地对每种RGB颜色执行设置处理，从而可以生成具有较少的颜色噪声或较少的伪色的RGB图像。
[0588]附图标记列表
[0589]100图像处理设备
[0590]101 透镜
[0591]102图像传感器(成像装置)
[0592]103传感器图像
[0593]104阵列转换单元
[0594]105拜耳阵列图像
[0595]106相机信号处理单元
[0596]107输出图像
[0597]108控制单元
[0598]122垂直扫描电路
[0599]123水平扫描电路
[0600]124 像素
[0601]131水平重置线
[0602]132水平选择线
[0603]133垂直信号线
[0604]134信号输出线
[0605]151W像素内插单元
[0606]152RGBW像素生成单元
[0607]153相关性处理单元
[0608]171方向滤波器
[0609]172边缘方向检测单元
[0610]173滤波器选择单元
[0611]181像素生成单元
[0612]191输出颜色选择单元
[0613]192相关性计算单元
[0614]200图像处理设备
[0615]201透镜
[0616]202图像传感器(成像装置)
[0617]203传感器图像
[0618]204相机信号处理单元
[0619]205输出图像
[0620]206控制单元
[0621]211白平衡处理单元
[0622]212去马赛克处理单元
[0623]213线性矩阵处理单元
[0624]214伽马转换单元
[0625]220增益信息
[0626]221坐标信息
[0627]222输入颜色增益选择单元
[0628]223增益处理单元
[0629]224削波处理单元
[0630]231W像素内插单元
[0631]232RGBW像素生成单元
[0632]233相关性处理单元
[0633]251相关性计算单元
[0634]261矩阵计算单元
[0635]271伽马转换单元
[0636]400图像处理设备
[0637]401透镜
[0638]402图像传感器(成像装置)
[0639]403传感器图像
[0640]404阵列转换单元
[0641]405拜耳阵列图像
[0642]406相机信号处理单元
[0643]407输出图像
[0644]408控制单元
[0645]451RGBW像素生成单元
[0646]452相关性处理单元
[0647]500图像处理设备
[0648]501透镜
[0649]502图像传感器(成像装置)
[0650]503传感器图像
[0651]504阵列转换单元
[0652]505拜耳阵列HDR图像
[0653]506灰度转换单元
[0654]507灰度转换HDR图像
[0655]508相机信号处理单元
[0656]509输出图像
[0657]510控制单元
[0658]551W像素内插单元
[0659]552RGBff图像生成单元
[0660]553HDR组成处理单元
[0661]554相关性处理单元
[0662]571方向滤波器
[0663]572边缘方向检测单元
[0664]573滤波器选择单元
[0665]590曝光比率信息
[0666]595曝光比率增益调整单元
[0667]596混合比率计算单元
[0668]597混合处理单元
[0669]600图像处理设备
[0670]601透镜
[0671]602图像传感器(成像装置)
[0672]603传感器图像
[0673]604阵列转换单元
[0674]605拜耳阵列HDR图像
[0675]606灰度转换单元
[0676]607灰度转换HDR图像
[0677]608相机信号处理单元
[0678]609输出图像
[0679]610控制单元
[0680]651W像素内插单元
[0681]652RGBW像素生成单元
[0682]653HDR照片组成处理单元
[0683]654相关性处理单元
[0684]671方向滤波器
[0685]672边缘方向检测单元
[0686]673滤波器选择单元
【权利要求】
1.一种图像处理设备，包括: 图像传感器，该图像传感器具有包括RGB像素和W像素的RGBW阵列，所述RGB像素是对应于每种RGB颜色的波长光的光接收元件，所述W像素是基本上接收所有RGB波长光的光接收元件；以及 图像处理单元，通过输入由从所述图像传感器输出的RGBW像素信号形成的传感器图像来执行图像处理， 其中，所述图像传感器具有由每个RGBW像素形成的单位组成的周期性阵列，以及具有所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列，以及 其中，所述图像处理单元对由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换，并且执行用于生成RGB阵列图像的阵列转换处理或用于生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
2.根据权利要求1所述的图像处理设备， 其中，所述图像处理单元具有对由所述RGBW像素信号形成的所述传感器图像的所述像素阵列进行转换，并且生成由拜耳阵列形成的所述RGB阵列图像的阵列转换单元，以及 其中，所述阵列转换单元具有W像素内插单元、RGBW像素生成单元和相关性处理单元，所述W像素内插单元通过在所述传感器图像的RGB像素位置处设置所述W像素来生成全部W像素图像信号；所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来针对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
3.根据权利要求2所述的图像处理设备， 其中，所述W像素内插单元通过应用所述传感器图像的所述W像素的像素值来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值。
4.根据权利要求1所述的图像处理设备， 其中，所述图像处理单元具有去马赛克处理单元，所述去马赛克处理单元对所述传感器图像执行去马赛克处理，并且生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号，以及 其中，所述去马赛克处理单元具有W像素内插单元、RGBff像素生成单元和相关性处理单元，所述W像素内插单元通过在所述传感器图像的RGB像素位置处设置所述W像素来生成全部W像素图像信号；所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号。
5.根据权利要求4所述的图像处理设备， 其中，所述W像素内插单元通过应用所述传感器图像的所述W像素的像素值来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值。
6.根据权利要求4所述的图像处理设备， 其中，所述图像处理单元具有线性矩阵处理单元，所述线性矩阵处理单元对由所述去马赛克处理单元生成的每个RGB图像信号执行应用预设矩阵的像素值转换。
7.根据权利要求1所述的图像处理设备， 其中，所述图像处理单元具有去马赛克处理单元，所述去马赛克处理单元对所述传感器图像执行去马赛克处理，并且生成其中对于所述传感器图像的每个像素位置设置全部RGB和W像素值的每个RGBW图像信号，以及 其中，所述去马赛克处理单元具有W像素内插单元、RGBff像素生成单元和相关性处理单元，所述W像素内插单元通过在所述传感器图像的RGB像素位置处设置所述W像素来生成全部W像素图像信号；所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号。
8.根据权利要求7所述的图像处理设备， 其中，所述图像处理单元具有线性矩阵处理单元，所述线性矩阵处理单元对由所述去马赛克处理单元生成的每个RGBW图像信号执行应用预设矩阵的像素值转换。
9.根据权利要求1所述的图像处理设备， 其中，所述图像传感器被配置成:输出具有在倾斜方向上彼此相邻的相同颜色像素值的相加像素值的图像作为所述传感器图像， 其中，所述图像处理单元具有阵列转换单元，该阵列转换单元对被配置成具有所述相加像素值且由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换并且生成由拜耳阵列形成的RGB阵列图像，以及 其中，所述阵列转换单元具有RGBW像素生成单元和相关性处理单元，所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBff相应低频信号；以及所述相关性处理单元输入作为所述传感器图像输出的所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
10.根据权利要求1所述的图像处理设备， 其中，所述图像传感器被配置成:输出包括根据控制单元的控制所设置的长时间曝光像素和短时间曝光像素的图像作为所述传感器图像， 其中，所述图像处理单元具有阵列转换单元，所述阵列转换单元通过应用包括所述长时间曝光像素和所述短时间曝光像素的所述传感器图像来生成高动态范围(HDR)图像，并且通过对所述像素阵列进行转换来生成由拜耳阵列形成的RGB阵列HDR图像，以及 其中，所述阵列转换单元具有W像素内插单元、RGBW像素生成单元、HDR组成处理单元和相关性处理单元，所述W像素内插单元通过应用所述传感器图像的长时间曝光像素信号来生成对于所有像素位置设置长时间曝光W像素的全部W像素长时间曝光图像，并且通过应用所述传感器图像的短时间曝光像素信号来生成对于所有像素位置设置短时间曝光W像素的全部W像素短时间曝光图像；所述RGBW像素生成单元通过应用所述传感器图像的所述长时间曝光像素信号来在每个像素位置处生成作为每个长时间曝光RGBW像素信号的低频信号的长时间曝光RGBW相应低频信号，并且通过应用所述传感器图像的所述短时间曝光像素信号来在每个像素位置处生成作为每个短时间曝光RGBW像素信号的低频信号的短时间曝光RGBW相应低频信号；所述HDR组成处理单元通过输入所述全部W像素长时间曝光图像、所述全部W像素短时间曝光图像、所述长时间曝光RGBW相应低频信号和所述短时间曝光RGBW相应低频信号来生成作为所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号；以及所述相关性处理单元输入作为由HDR组成处理单元生成的所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
11.根据权利要求10所述的图像处理设备， 其中，所述HDR组成处理单元通过根据曝光比率调整增益之后所获得的所述短时间曝光像素信号和所述长时间曝光像素信号的混合处理来计算所述高动态范围(HDR)图像的组成像素值。
12.根据权利要求10所述的图像处理设备， 其中，所述W像素内插单元通过应用所述传感器图像的所述长时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述长时间曝光W像素的所述全部W像素长时间曝光图像，并且 其中，所述W像素内插单元通过应用所述传感器图像的所述短时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述短时间曝光W像素的所述全部W像素短时间曝光图像。
13.根据权利要求1所述的图像处理设备， 其中，在所述图像传感器中，长时间曝光像素行和短时间曝光像素行两行根据控制单元的控制被交替地设置， 其中，所述图像传感器被配置成:输出由具有在以两行为单位的所述长时间曝光像素行的倾斜方向上彼此相邻的相同颜色像素值的相加像素值的长时间曝光像素信号和具有在以两行为单位的所述短时间曝光像素行的倾斜方向上彼此相邻的相同颜色像素值的相加像素值的短时间曝光像素信号形成的图像作为所述传感器图像， 其中，所述图像处理单元具有阵列转换单元，所述阵列转换单元通过应用包括所述长时间曝光像素和所述短时间曝光像素的所述传感器图像来生成高动态范围(HDR)图像，并且通过对所述像素阵列进行转换来生成由拜耳阵列形成的RGB阵列HDR图像，以及 其中，所述阵列转换单元具有W像素内插单元、RGBW像素生成单元、HDR组成处理单元和相关性处理单元，所述W像素内插单元通过应用所述传感器图像的长时间曝光像素信号来生成对于所有像素位置设置长时间曝光W像素的全部W像素长时间曝光图像，并且通过应用所述传感器图像的短时间曝光像素信号来生成对于所有像素位置设置短时间曝光W像素的全部W像素短时间曝光图像；所述RGBW像素生成单元通过应用所述传感器图像的所述长时间曝光像素信号来在每个像素位置处生成作为每个长时间曝光RGBW像素信号的低频信号的长时间曝光RGBW相应低频信号，并且通过应用所述传感器图像的所述短时间曝光像素信号来在每个像素位置处生成作为每个短时间曝光RGBW像素信号的低频信号的短时间曝光RGBW相应低频信号；所述HDR组成处理单元通过输入所述全部W像素长时间曝光图像、所述全部W像素短时间曝光图像、所述长时间曝光RGBW相应低频信号和所述短时间曝光RGBW相应低频信号来生成作为所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号；以及所述相关性处理单元输入作为由所述HDR组成处理单元生成的所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号，通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
14.根据权利要求13所述的图像处理设备， 其中，所述HDR组成处理单元通过根据曝光比率调整增益之后所获得的所述短时间曝光像素信号和所述长时间曝光像素信号的混合处理来计算所述高动态范围(HDR)图像的组成像素值。
15.根据权利要求13所述的图像处理设备， 其中，所述W像素内插单元通过应用所述传感器图像的所述长时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述长时间曝光W像素的所述全部W像素长时间曝光图像，以及 其中，所述W像素内插单元通过应用所述传感器图像的所述短时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述短时间曝光W像素的所述全部W像素短时间曝光图像。
16.一种成像装置，包括: RGBff阵列，包括作为对应于每种RGB颜色的波长光的光接收元件的RGB像素和作为基本上接收所有RGB波长光的光接收元件的W像素， 其中，所述图像传感器具有由每个RGBW像素形成的单位组成的周期性阵列，并且具有其中所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列。
17.根据权利要求16所述的成像装置， 其中，所述成像装置具有其中6X6个像素、6 X 4个像素或6X2个像素适于作为所述单位组成的所述周期性阵列，以及 其中，所述单位组成内的每个RGBW像素的所述组成比率为1: 1: 1: 3。
18.根据权利要求16所述的成像装置， 其中，所述成像装置具有在每列和每行中布置每个RGBW像素的组成。
19.一种在图像处理设备中执行的图像处理方法， 其中，所述图像处理设备具有图像处理单元，所述图像处理单元对作为成像装置的输出的传感器图像执行图像处理，所述成像装置具有由每个RGBW像素形成的单位组成的周期性阵列以及具有所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列，所述单位组成包括作为对应于每种RGB颜色的波长光的光接收元件的RGB像素和作为基本上接收所有RGB波长光的光接收元件的W像素，以及 其中，所述图像处理单元对由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换，并且执行用于生成RGBW阵列图像的阵列转换处理或用于生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
20.一种使图像处理设备执行图像处理的程序， 其中，所述图像处理设备具有图像处理单元，所述图像处理单元对作为成像装置的输出的传感器图像执行图像处理，所述成像装置具有由每个RGBW像素形成的单位组成的周期性阵列以及具有所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列，所述单位组成包括作为对应于每种RGB颜色的波长光的光接收元件的RGB像素和作为基本上接收所有RGB波长光的光接收元件的W像素，以及 其中，所述图像处理单元对由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换，并且执行用于生成RGBW阵列图像的阵列转换处理或用于生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
【文档编号】H04N9/07GK104170376SQ201280071623
【公开日】2014年11月26日 申请日期:2012年12月26日 优先权日:2012年3月27日
【发明者】海津俊 申请人:索尼公司
【专利摘要】提供了一种用于输入RGBW图像并且生成具有较小的颜色噪声和较少伪色的RGB图像的设备和方法。该设备具有：图像传感器，其具有RGBW阵列；以及图像处理单元，其用于输入由从图像传感器输出的RGBW像素信号形成的传感器图像并且执行图像处理。图像传感器具有由每个RGBW像素形成的单位组成的周期性阵列，并且具有每个单位组成中的每个RGB像素的组成比率适于彼此相同的阵列。该图像处理单元对由RGBW像素信号形成的传感器图像的像素阵列进行转换，并执行生成RGB阵列图像的阵列转换处理或用于生成对于传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
【专利说明】图像处理设备、成像装置、图像处理方法及程序
【技术领域】
[0001]本公开涉及图像处理设备、成像装置、图像处理方法及程序。具体地，本公开涉及实现减少包括在图像中的噪声或伪色的图像生成的图像处理设备、成像装置、图像处理方法及程序。
【背景技术】
[0002]固态成像装置如用于摄像机和数码相机的CXD图像传感器和互补金属氧化物半导体(CMOS)图像传感器根据其中入射光的量来累积电荷，并且进行光电转换以输出与所累积的电荷对应的电信号。为了按每个像素单元个别地累积特定波长，即，对应于特定颜色的信号，在每个成像装置中安装滤色器。例如，通常使用具有被配置成包括RGB中的每种颜色的拜耳阵列的滤波器。
[0003]另一方面，近年来，小型化且像素增加的成像装置使像素逐渐变得超精细。具有高密度像素的成像装置对于捕获高分辨率图像是必不可少的。
[0004]然而，存在如下问题:具有高密度像素的成像装置能够每一个像素累积较少的电荷量，从而相对增大包括在每个像素信号中的噪声量。
[0005]此外，例如，PTLK日本未审查专利申请公报N0.2006-253876)提出了如下配置:其中，通过使用具有高密度像素的成像装置来改变每个像素单元的曝光时间，通过同时获取长时间曝光图像和短时间曝光图像并且通过对其曝光时间互不相同的多个图像进行合成来生成高动态范围图像。
[0006]根据该技术的成像方法具有如下问题:与相关领域中的技术相比，当不能有效地使用长时间曝光和短时间曝光中的任何像素时，噪声量相对增大。例如，在暗场景的情况下，短时间曝光图像的噪声量增加，从而通过使用仅长时间曝光图像来生成图像。在这种情况下，与相关领域中的技术相比，通过使用仅一半的像素来生成图像，从而导致降低的分辨率或增加的噪声。
[0007]PTL2(日本未审查专利申请公报N0.2004-304706)和PTL3 (美国专利申请公报N0.2007/0024879)提出了具有将发送全部波长光的白色(W)像素添加至RGB阵列的RGBW阵列的成像装置配置，以便增加每个像素的电荷累积量。
[0008]通过除了设置RGB以外还设置W像素来增加每个像素的电荷累积量，从而减少包括在像素信号中的相对噪声量。
[0009]然而，这些PTL中公开的RGBW阵列被配置成使得:如果对其添加W像素，则显著地降低其他颜色像素的像素密度。具体地，在R像素或B像素的情况下，在每8个像素中存在仅I个像素，因此，引起如下的问题:颜色分辨率降低，颜色噪声增加，以及图像质量退化。
[0010]即使将PTL1、PTL2和PTL3中公开的配置相互组合，颜色分辨率也降低，并且颜色噪声也增加。由于在长时间曝光中R像素和B像素以及短时间曝光中R像素和B像素的情况下在每16个像素中存在仅I个像素，所以没有配置可以解决由于低像素密度引起的颜色分辨率降低和颜色噪声增加的问题。
[0011]引用列表
[0012]专利文献
[0013]PTLl:日本未审查专利申请公报N0.2006-253876
[0014]PTL2:日本未审查专利申请公报N0.2004-304706
[0015]PTL3:美国专利申请公报 N0.2007/0024879
【发明内容】
[0016]技术问题
[0017]鉴于例如上述问题做出了本公开，并且本公开旨在提供能够减少颜色噪声或伪色同时具有高密度像素阵列的图像处理设备、成像装置、图像处理方法及程序。
[0018]问题的解决方案
[0019]根据本公开的第一方面，提供了一种图像处理设备，其包括图像传感器，该图像传感器具有包括RGB像素和W像素的RGBW阵列，所述RGB像素是对应于每种RGB颜色的波长光的光接收元件，所述W像素是基本上接收所有RGB波长光的光接收元件；以及图像处理单元，通过输入由从所述图像传感器输出的RGBW像素信号形成的传感器图像来执行图像处理。图像传感器具有由每个RGBW像素形成的单位组成的周期性阵列，以及具有所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列。图像处理单元对由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换，并且执行用于生成RGB阵列图像的阵列转换处理或用于生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
[0020]此外，在本公开的图像处理设备的第一方面中，图像处理单元具有对由所述RGBW像素信号形成的所述传感器图像的所述像素阵列进行转换，并且生成由拜耳阵列形成的所述RGB阵列图像的阵列转换单元。阵列转换单元具有W像素内插单元、RGBW像素生成单元和相关性处理单元，所述W像素内插单元通过在所述传感器图像的RGB像素位置处设置所述W像素来生成全部W像素图像信号；所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来针对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
[0021]此外，在根据本公开的图像处理设备的第一方面中，W像素内插单元通过应用所述传感器图像的所述W像素的像素值来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值。
[0022]此外，在根据本公开的图像处理设备的第一方面中，图像处理单元具有去马赛克处理单元，所述去马赛克处理单元对所述传感器图像执行去马赛克处理，并且生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号。去马赛克处理单元具有W像素内插单元、RGBff像素生成单元和相关性处理单元，所述W像素内插单元通过在所述传感器图像的RGB像素位置处设置所述W像素来生成全部W像素图像信号；所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号。
[0023]此外，在本公开的图像处理设备的第一方面中,W像素内插单元通过应用所述传感器图像的所述W像素的像素值来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值。
[0024]此外，在本公开的图像处理设备的第一方面中，图像处理单元具有线性矩阵处理单元，所述线性矩阵处理单元对由所述去马赛克处理单元生成的每个RGB图像信号执行应用预设矩阵的像素值转换。
[0025]此外，在本公开的图像处理设备的第一方面中，图像处理单元具有去马赛克处理单元，所述去马赛克处理单元对所述传感器图像执行去马赛克处理，并且生成其中对于所述传感器图像的每个像素位置设置全部RGB和W像素值的每个RGBW图像信号。去马赛克处理单元具有W像素内插单元、RGBW像素生成单元和相关性处理单元，所述W像素内插单元通过在所述传感器图像的RGB像素位置处设置所述W像素来生成全部W像素图像信号；所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号。
[0026]此外，在本公开的图像处理设备的第一方面中，图像处理单元具有线性矩阵处理单元，所述线性矩阵处理单元对由所述去马赛克处理单元生成的每个RGBW图像信号执行应用预设矩阵的像素值转换。
[0027]此外，在本公开的图像处理设备的第一方面中，图像传感器被配置成:输出具有在倾斜方向上彼此相邻的相同颜色像素值的相加像素值的图像作为所述传感器图像。图像处理单元具有阵列转换单元，该阵列转换单元对被配置成具有所述相加像素值且由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换并且生成由拜耳阵列形成的RGB阵列图像。阵列转换单元具有RGBW像素生成单元和相关性处理单元，所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入作为所述传感器图像输出的所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
[0028]此外，在本公开的图像处理设备的第一方面中，图像传感器被配置成:输出包括根据控制单元的控制所设置的长时间曝光像素和短时间曝光像素的图像作为所述传感器图像。图像处理单元具有阵列转换单元，所述阵列转换单元通过应用包括所述长时间曝光像素和所述短时间曝光像素的所述传感器图像来生成高动态范围(HDR)图像，并且通过对所述像素阵列进行转换来生成由拜耳阵列形成的RGB阵列HDR图像。阵列转换单元具有W像素内插单元、RGBff像素生成单元、HDR组成处理单元和相关性处理单元，所述W像素内插单元通过应用所述传感器图像的长时间曝光像素信号来生成对于所有像素位置设置长时间曝光W像素的全部W像素长时间曝光图像，并且通过应用所述传感器图像的短时间曝光像素信号来生成对于所有像素位置设置短时间曝光W像素的全部W像素短时间曝光图像；所述RGBW像素生成单元通过应用所述传感器图像的所述长时间曝光像素信号来在每个像素位置处生成作为每个长时间曝光RGBW像素信号的低频信号的长时间曝光RGBW相应低频信号，并且通过应用所述传感器图像的所述短时间曝光像素信号来在每个像素位置处生成作为每个短时间曝光RGBW像素信号的低频信号的短时间曝光RGBW相应低频信号；所述HDR组成处理单元通过输入所述全部W像素长时间曝光图像、所述全部W像素短时间曝光图像、所述长时间曝光RGBW相应低频信号和所述短时间曝光RGBW相应低频信号来生成作为所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号；以及所述相关性处理单元输入作为由HDR组成处理单元生成的所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
[0029]此外，在本公开的图像处理设备的第一方面中，HDR组成处理单元通过根据曝光比率调整增益之后所获得的所述短时间曝光像素信号和所述长时间曝光像素信号的混合处理来计算所述高动态范围(HDR)图像的组成像素值。
[0030]此外，在本公开的图像处理设备的第一方面中,W像素内插单元通过应用所述传感器图像的所述长时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述长时间曝光W像素的所述全部W像素长时间曝光图像。该W像素内插单元通过应用所述传感器图像的所述短时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述短时间曝光W像素的所述全部W像素短时间曝光图像。
[0031]此外，在本公开的图像处理设备的第一方面中，在所述图像传感器中，长时间曝光像素行和短时间曝光像素行两行根据控制单元的控制被交替地设置。图像传感器被配置成:输出由具有在以两行为单位的所述长时间曝光像素行的倾斜方向上彼此相邻的相同颜色像素值的相加像素值的长时间曝光像素信号和具有在以两行为单位的所述短时间曝光像素行的倾斜方向上彼此相邻的相同颜色像素值的相加像素值的短时间曝光像素信号形成的图像作为所述传感器图像。图像处理单元具有阵列转换单元，所述阵列转换单元通过应用包括所述长时间曝光像素和所述短时间曝光像素的所述传感器图像来生成高动态范围(HDR)图像，并且通过对所述像素阵列进行转换来生成由拜耳阵列形成的RGB阵列HDR图像。阵列转换单元具有W像素内插单元、RGBW像素生成单元、HDR组成处理单元和相关性处理单元，所述W像素内插单元通过应用所述传感器图像的长时间曝光像素信号来生成对于所有像素位置设置长时间曝光W像素的全部W像素长时间曝光图像，并且通过应用所述传感器图像的短时间曝光像素信号来生成对于所有像素位置设置短时间曝光W像素的全部W像素短时间曝光图像；所述RGBW像素生成单元通过应用所述传感器图像的所述长时间曝光像素信号来在每个像素位置处生成作为每个长时间曝光RGBW像素信号的低频信号的长时间曝光RGBW相应低频信号，并且通过应用所述传感器图像的所述短时间曝光像素信号来在每个像素位置处生成作为每个短时间曝光RGBW像素信号的低频信号的短时间曝光RGBff相应低频信号；所述HDR组成处理单元通过输入所述全部W像素长时间曝光图像、所述全部W像素短时间曝光图像、所述长时间曝光RGBW相应低频信号和所述短时间曝光RGBW相应低频信号来生成作为所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBff相应低频信号；以及所述相关性处理单元输入作为由所述HDR组成处理单元生成的所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号，通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
[0032]此外，在本公开的图像处理设备的第一方面中，HDR组成处理单元通过根据曝光比率调整增益之后所获得的所述短时间曝光像素信号和所述长时间曝光像素信号的混合处理来计算所述高动态范围(HDR)图像的组成像素值。
[0033]此外，在本公开的图像处理设备的第一方面中,W像素内插单元通过应用所述传感器图像的所述长时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述长时间曝光W像素的所述全部W像素长时间曝光图像。W像素内插单元通过应用所述传感器图像的所述短时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述短时间曝光W像素的所述全部W像素短时间曝光图像。
[0034]此外，根据本公开的第二方面，提供了一种包括RGBW阵列的成像装置。该RGBW阵列包括作为对应于每种RGB颜色的波长光的光接收元件的RGB像素和作为基本上接收所有RGB波长光的光接收元件的W像素。图像传感器具有由每个RGBW像素形成的单位组成的周期性阵列，并且具有其中所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列。
[0035]此外，在本公开的成像装置的第二方面中，成像装置具有其中6X6个像素、6X4个像素或6X2个像素适于作为所述单位组成的所述周期性阵列。单位组成内每个RGBW像素的所述组成比率为1:1:1:3。
[0036]此外，在本公开的成像装置的第二方面中，成像装置具有在每列和每行中布置每个RGBW像素的组成。
[0037]此外，根据本公开的第三方面，提供了一种在图像处理设备中执行的图像处理方法。图像处理设备具有图像处理单元，所述图像处理单元对作为成像装置的输出的传感器图像执行图像处理，所述成像装置具有由每个RGBW像素形成的单位组成的周期性阵列以及具有所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列，所述单位组成包括作为对应于每种RGB颜色的波长光的光接收元件的RGB像素和作为基本上接收所有RGB波长光的光接收元件的W像素。图像处理单元对由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换，并且执行用于生成RGBW阵列图像的阵列转换处理或用于生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
[0038]此外，根据本公开的第四方面，提供了一种使图像处理设备执行图像处理的程序。图像处理设备具有图像处理单元，所述图像处理单元具有由每个RGBW像素形成的单位组成的周期性阵列，并且对作为成像装置的输出的传感器图像执行图像处理，所述周期性阵列包括作为对应于每种RGB颜色的波长光的光接收元件的RGB像素和作为基本上接收所有RGB波长光的光接收元件的W像素，所述成像装置具有所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列。图像处理单元对由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换，并且执行用于生成RGBW阵列图像的阵列转换处理或用于生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
[0039]根据本公开的程序是由存储介质和以计算机可读格式提供程序的通信介质为例如信息处理设备或能够执行各种程序代码的计算机系统提供的程序。通过以计算机可读格式提供该程序，可以实现根据在信息处理设备或计算机系统上执行的程序的处理。
[0040]基于本公开的下面的实施例和附图，根据更详细的描述，本公开的目的、特征和有利效果将变得明显。
[0041]发明的有益效果
[0042]根据本公开的实施例的配置，提供了通过输入RGBW图像来生成具有较少的颜色噪声或较少的伪色的RGB图像的设备和方法。
[0043]具体地，该设备具有图像传感器和图像处理单元，该图像传感器具有RGBW阵列，图像处理单元通过输入由从图像传感器输出的RGBW像素信号形成的传感器图像来执行图像处理。图像传感器具有由每个RGBW像素形成的单位组成的周期性阵列，以及具有所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列。图像处理单元对由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换，并且执行用于生成RGB阵列图像的阵列转换处理或用于生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
[0044]在本公开的配置中，统一地设置图像传感器的每单位组成的相应的RGB像素的数量。因此，当对于每个像素位置设置每种RGB颜色的像素值时，可以从参考区域充分地获取每种颜色的像素值。因此，可以相对于每个像素位置非常精确地对每种RGB颜色执行设置处理，从而可以生成具有较少的颜色噪声或较少的伪色的RGB图像。
【专利附图】
【附图说明】
[0045][图1]图1是示出了根据第一实施例的成像设备的配置示例的图。
[0046][图2]图2是示出了图像传感器(成像装置)的像素阵列以及阵列转换后的拜耳阵列的图。
[0047][图3]图3是示出了图像传感器的配置和处理的图。
[0048][图4]图4是示出了阵列转换单元的配置和处理的图。
[0049][图5]图5是示出了W像素内插单元的配置和处理的图。
[0050][图6]图6是示出了W像素内插处理的示例的图。
[0051][图7]图7是示出了RGBW像素生成单元的配置和处理的图。
[0052][图8]图8是示出了RGBW像素生成单元的处理的图。
[0053][图9]图9是示出了相关性处理单元的配置和处理的图。
[0054][图10]图10是示出了根据第一实施例的成像设备的配置示例的图。
[0055][图11]图11是示出了相机信号处理单元的配置和处理的图。
[0056][图12]图12是示出了白平衡处理单元的配置和处理的图。
[0057][图13]图13是示出了去马赛克处理单元的配置和处理的图。
[0058][图14]图14是示出了相关性处理单元的配置和处理的图。
[0059][图15]图15是示出了线性矩阵处理单元的配置和处理的图。
[0060][图16]图16是示出了伽马转换单元的配置和处理的图。
[0061][图17]图17是示出了相关性处理单元的配置和处理的图。
[0062][图18]图18是示出了线性矩阵处理单元的配置和处理的图。
[0063][图19]图19是示出了图像传感器的相加处理和输出示例的图。
[0064][图20]图20是示出了根据第四实施例的图像处理设备的配置示例的图。
[0065][图21]图21是示出了阵列转换单元的配置和处理的图。
[0066][图22]图22是示出了根据第五实施例的图像处理设备的配置示例的图。
[0067][图23]图23是示出了曝光控制处理的示例的图。
[0068][图24]图24是示出了阵列转换单元的配置和处理的图。
[0069][图25]图25是示出了白色像素内插单元的配置和处理的图。
[0070][图26]图26是示出了W像素内插处理的示例的图。
[0071][图27]图27是示出了W像素内插处理的示例的图。
[0072][图28]图28是示出了W像素内插处理的示例的图。
[0073][图29]图29是示出了HDR组成处理单元的配置和处理的图。
[0074][图30]图30是示出了HDR组成中的混合比率的设置示例的图。
[0075][图31]图31是示出了根据第五实施例的图像处理设备的配置示例的图。
[0076][图32]图32是示出了图像传感器的驱动示例和输出示例的图。
[0077][图33]图33是示出了阵列转换单元的配置和处理的图。
[0078][图34]图34是示出了W像素内插单元的配置和处理的图。
[0079][图35]图35是示出了W像素内插处理的示例的图。
[0080][图36]图36是示出了图像传感器(成像装置)的像素阵列示例的图。
[0081][图37]图37是示出了图像传感器(成像装置)的像素阵列示例的图。
[0082][图3S]图38是示出了图像传感器(成像装置)的像素阵列示例的图。
【具体实施方式】
[0083]在下文中，将参照图来描述根据本公开的图像处理设备、成像装置、成像处理方法以及程序。将按照下面的顺序进行描述。
[0084]1.根据第一实施例的图像处理设备的配置和处理、成像装置的配置
[0085]2.根据第二实施例的图像处理设备的配置和处理
[0086]3.根据第三实施例的图像处理设备的配置和处理
[0087]4.根据第四实施例的图像处理设备的配置和处理
[0088]5.根据第五实施例的图像处理设备的配置和处理
[0089]6.根据第六实施例的图像处理设备的配置和处理
[0090]7.图像传感器(成像装置)的像素阵列的示例
[0091]8.根据本公开的配置的概述
[0092][1.根据第一实施例的图像处理设备的配置和处理、成像装置的配置]
[0093]首先，将对根据本公开的图像处理设备的第一实施例的总体配置以及成像装置的配置进行描述。在下面的实施例中，将成像设备描述为图像处理设备的一个代表示例。
[0094]图1示出了用作成像设备的图像处理设备100的配置示例。
[0095]通过光学透镜101入射的光由图像传感器(成像装置)102进行光电转换，并且从图像传感器102输出传感器输出图像103。图像传感器102被配置成具有例如CMOS等。
[0096]在本实施例中，如图2 (a)中所示，图像传感器(成像装置)102的像素阵列具有除了 RGB像素以外还包括W像素的RGBW阵列，W像素发送可见光的基本上所有波长区域光并且累积电荷，RGB像素发送与每种RGB颜色的波长光对应的光并且累积电荷。
[0097]如图2(a)中所示，顺序地从第一行开始，
[0098](第一行)重复RWGWBW,
[0099](第二行)重复WRWGWB，
[0100](第三行)重复GWBWRW，
[0101](第四行)重复WGWBWR,
[0102](第五行)重复BWRWGW，以及
[0103](第六行)重复WBWRWG。
[0104]之后，从第七行开始重复上述第一行至第六行。
[0105]每行和每列被配置成使得:在其之间插入一个W像素，并且顺序地布置每个RGB像素。在图2中示出的6X6 = 36个像素内，1/2被设置成18个W像素，1/6被设置成6个R像素，1/6被设置成6个G像素，以及1/6被设置成6个B像素。
[0106]也就是说，在图像传感器102中，统一地设置每个单位组成(图2(a)中示出的示例中的6X6个像素)的相应的RGB像素的数量。
[0107]图1中示出的图像传感器(成像装置)102具有图2中示出的RGBW阵列。从图像传感器102输出的传感器输出图像103被输入至阵列转换单元104。阵列转换单元104之后的框等同于对传感器输出图像103执行图像处理的图像处理单元。
[0108]阵列转换单元104对具有图2 (a)中示出的RGBW阵列的传感器图像103的像素阵列进行转换，生成拜耳阵列图像105并且将其输出至相机信号处理单元106。
[0109]也就是说，阵列转换单元104执行到图2(b)中示出的拜耳阵列的转换处理。
[0110]相机信号处理单兀106对于拜耳阵列图像105执行信号处理,例如常规相机信号处理如白平衡调整、伽马校正和去马赛克处理，并且生成输出图像107。
[0111]控制单元108生成用于图像传感器102的曝光控制、阵列转换单元104的处理控制以及相机信号处理单元106的处理控制的控制信号，并且将这些信号提供给这些配置单元中的每个。控制单元108对从图像捕获到输出图像生成的处理执行总体控制。例如，控制单元108包括具有程序执行功能的CPU，并且根据存储在存储器(未示出)中的程序对成像设备中执行的处理进行总体控制。
[0112]图3示出了图像传感器102的配置示例。图3示出了 CMOS型图像传感器102的部分配置。矩形区域对应于一个像素，并且代表像素124。
[0113]图像传感器102被配置成具有:垂直扫描电路122、水平扫描电路123和以阵列布置的多个像素124。
[0114]在像素中，光电二极管中累积的电荷经由放大器晶体管和传送晶体管作为信号电流被输出至垂直信号线133。
[0115]该信号电流被提供至水平扫描电路123。在执行预定的信号处理之后，该信号电流经由信号输出线134被向外输出。
[0116]水平重置线131是提供用于重置在每个水平方向上的像素的累积电荷的信号的线。水平选择线132是提供用于在重置之后输出每个像素的累积电荷作为每个像素信号的输出时刻的控制信号的线。
[0117]也就是说，从水平重置时刻到水平选择时刻的时间段是电荷累积时间段。
[0118]该电荷累积时间段以每个水平线为单位，S卩，以行为单元被控制。例如，可以对于每隔一行执行长时间曝光和短时间曝光。执行该曝光控制使得能够在一个成像处理中同时获取长时间曝光图像和短时间曝光图像。以这种方式，还可以生成在其中通过合成这些图像来扩展动态范围的高动态范围图像。
[0119]接下来，将参照图4和随后的图对图1中示出的图像处理设备100的阵列转换单元104的配置和处理示例进行描述。
[0120]阵列转换单元104对传感器图像103，即，具有图2(a)中示出的RGBW像素阵列的传感器图像103执行阵列转换，生成具有图2 (b)中示出的拜耳阵列的拜耳阵列图像105并且将其输出至相机信号处理单元106。
[0121]图4示出了阵列转换单元104的配置示例。
[0122]如图4所示，阵列转换单元104具有W像素内插单元151、RGBW像素生成单元152和相关性处理单元153。
[0123]阵列转换单元104输入具有RGBW阵列的传感器图像103，并且生成和输出具有RGB阵列的拜耳阵列图像105。
[0124]W像素内插单元151在具有RGBW阵列的传感器图像103的除了 W像素以外的像素的位置处设置W像素，并且生成所有像素为W像素的全部W像素图像信号161。
[0125]RGBff像素生成单元152在具有RGBW阵列的传感器图像103的每个像素位置处生成作为每个RGBW像素信号的低频信号(LPF信号)的RGBW相应LPF信号162。
[0126]相关性处理单元153输入全部W像素图像信号161和RGBW相应LPF信号162，并且通过应用这些输入信号来生成和输出具有RGB阵列的拜耳阵列图像105。
[0127]将参照图5对W像素内插单元151的配置和处理进行描述。
[0128]W像素内插单元151输入由RGBW像素阵列形成的传感器图像103，并且执行用于对于RGBW像素阵列内的RGB像素设置W像素的W像素内插处理。
[0129]如图5中所示，W像素内插单元151具有多个方向滤波器171-1至171-N、检测边缘方向的边缘方向检测单元172和借助于滤波器选择来确定内插像素值的滤波器选择单元173，多个方向滤波器171-1至171-N执行滤波处理如将存在于多个不同的方向上的W像素的像素值求平均作为参考像素的处理。
[0130]例如，基于传感器图像103，设置其主要像素为用作内插像素的RGB像素的预定参考区域(例如，k像素Xk像素)，内插像素为处理目标像素。边缘方向检测单元172基于参考区域中的像素值来检测边缘方向。滤波器选择单元173选择用于执行滤波处理的滤波器，并且通过应用所选择的滤波器来计算用作内插像素值的W像素值，在滤波处理中，沿边缘方向，即，沿具有像素值的小梯度的方向存在的W像素被设置成参考像素。例如，计算沿具有小梯度的方向存在的W像素的像素值的平均值，并且对于处理目标像素位置的RGB像素位置设置W像素值。
[0131]图6示出了当可应用的方向滤波器的数量N为2，即，垂直方向和水平方向两种类型时的处理示例。
[0132]内插像素位置是图6中示出的W(2，2)的像素位置。像素位置表示其中RGB像素的任何像素值被设置在传感器图像103中的像素。W像素:W(1，2)和W(3，2)存在于垂直方向上，而W像素:W(2，I)和W(2，3)存在于水平方向上。
[0133]当每个W像素(x，y)的像素值被设置成W(x，y)时，边缘方向检测单元172确定是否满足下面的等式。
[0134]ff(l, 2)-W(3，2) | ( | W(2，I) -ff (2，3)
[0135]当满足该等式时，确定边缘方向为垂直方向。滤波器选择单元173选择沿边缘方向存在于垂直方向上的像素的像素值作为参考像素，并且基于参考像素的像素值来执行滤波处理，例如平均处理。具体地，例如，根据下面的等式计算内插像素值W’(2，2)。
[0136]W，(2,2) = (ff(l, 2)+W(3, 2))/2
[0137]W(I, 2)-W(3，2) | > | W(2，I) -ff (2，3)
[0138]另外，当边缘方向检测单元172确定满足上面的等式时，确定边缘方向是水平方向。滤波器选择单元173选择沿边缘方向存在于水平方向上的像素的像素值作为参考像素，并且基于参考像素的像素值来执行滤波处理例如平均处理。具体地，例如，根据下面的等式计算内插像素值W’(2，2)。
[0139]W，(2，2) = (W (2，I)+W (2，3))/2
[0140]以这种方式，W像素内插单元151生成如图5所示在所有像素中设置W像素的全部W像素图像信号161。
[0141]接下来，将参照图7和随后的图对图4中示出的阵列转换单元104中的RGBW像素生成单元152的配置和处理示例进行描述。
[0142]RGBff像素生成单元152在具有RGBW阵列的传感器图像103的每个像素位置处生成作为每个RGBW像素信号的低频信号(LPF信号)的RGBW相应LPF信号162。
[0143]如图7所示，RGBW像素生成单元152具有包括如下的配置:包括生成R平均值(R低频信号)HiR的R像素生成单元181R ;生成G平均值(G低频信号)mG的G像素生成单元181G;生成B平均值(B低频信号)mB的B像素生成单元181B ;以及生成W平均值(W低频信号)mW的W像素生成单元181W。
[0144]每个处理单元在像素阵列中的转换目标像素的每个像素位置处生成作为低频信号(LPF信号)的RGBW相应LPF信号162。
[0145]将参照图8描述具体的处理示例。
[0146]例如，可以根据下面的(等式I)计算mR、mG、mB和mW。
[0147][表达式I]
Ri
[0148]?n/?=~~
K
yl.Gi
[0149]mG=~^~
I
^ Vfl1 Bi
[0150]JY1Q=-L^l_
M
「 n T,7Wi
[0151]γγι^ =-1=1——
N
[0152]......(等式 I)
[0153]在上面的等式中，K、L、M和N代表包括在具有预设尺寸的预定参考区域中的相应颜色的总数量，在预设尺寸中主像素为处理目标像素。mR、mG、mB和mW等同于每种颜色的平均值。
[0154]图8示出了当计算mR时参考区域185的示例。当使用图8中示出的参考区域185时，其由K = 14来表达。
[0155]以这种方式，RGBW像素生成单元152在具有RGBW阵列的传感器图像103的每个像素位置处生成作为每个RGBW像素信号的低频信号(LPF信号)的RGBW相应LPF信号162。
[0156]接下来，将参照图9和随后的图对图4中示出的阵列转换单元104中的相关性处理单元153的配置和处理示例进行描述。
[0157]相关性处理单元153输入由W像素内插单元151生成的全部W像素图像信号161和由RGBW像素生成单元152生成的RGBW相应LPF信号162，并且通过应用这些输入信号来生成和输出具有RGB阵列的拜耳阵列图像105。
[0158]如图9中所示，相关性处理单元153具有输出颜色选择单元191和相关性计算单元 192。
[0159]输出颜色选择单元191根据输出拜耳阵列图像105中的与处理目标像素位置对应的像素位置来选择输出颜色。输出颜色选择单元191选择任何一种RGB输出颜色，并且通过选择作为由RGBW像素生成单元152生成的RGBW相应LPF信号162的mR、mG和mB中的任一个来将该输出颜色输出至相关性计算单元192。
[0160]图中示出的mC表示mR、mG和mB中的任一个。
[0161]相关性计算单元192通过利用W像素与R、G和B像素具有强的正相关性的属性，对W像素的高频执行增益调整并且将高频与每种颜色重叠。例如，根据下面的(等式2)计算输出像素值(Out)。
[0162]Out = mC+ (ff-mff) (mC/mff)
[0163]......(等式 2)
[0164]以这种方式，相关性处理单元153输入由W像素内插单元151生成的全部W像素图像信号161和由RGBW像素生成单元152生成的RGBW相应LPF信号162，并且通过应用这些输入信号来生成和输出具有RGB阵列的拜耳阵列图像105。
[0165]图1和图4中示出的阵列转换单元104通过该处理对具有图2(a)中示出的RGBW阵列的传感器图像103的像素阵列进行转换，生成拜耳阵列图像105并且将其输出至图1中示出的相机信号处理单元106。
[0166]在随后的处理中，可以执行与相关领域中的成像设备中的处理相同的处理。也就是说，相机信号处理单元106对于拜耳阵列图像105执行信号处理，例如常规相机信号处理如白平衡调整、伽马校正和去马赛克处理，并且生成输出图像107。
[0167]在本公开的配置中，图像传感器还具有参照图2(a)所描述的配置，并且统一地设置每个单位组成的相应的RGB像素的数量。因此，当对于每个像素位置设置每种RGB颜色的像素值时，可以从参考区域充分地获取每种颜色的像素值。因此，可以对于每个像素位置非常精确地执行每种RGB颜色的设置处理，从而可以生成具有较少的颜色噪声或较少的伪色的RGB图像。
[0168][2.根据第二实施例的图像处理设备的配置和处理]
[0169]接下来，将对根据本公开的第二实施例的图像处理设备的配置和处理进行描述。
[0170]图10是示出了根据本公开的第二实施例的图像处理设备200的配置示例的视图。将成像设备描述为图像处理设备的一个代表示例。
[0171]本实施例是将第一实施例中的阵列转换单元的上述处理设置成由信号处理单元执行的实施例。
[0172]通过光学透镜201入射的光由图像传感器(成像装置)202进行光电转换，并且从图像传感器202输出传感器输出图像203。图像传感器202被配置成具有例如CMOS等。
[0173]即使在本实施例中，图像传感器(成像装置)202的像素阵列也具有图2(a)中示出的上述RGBW阵列。
[0174]从图像传感器202输出的传感器输出图像203被输入至相机信号处理单元204。
[0175]相机信号处理单元204照原样使用具有图2 (a)中示出的RGBW阵列的传感器输出图像203，执行各种信号处理，并且生成输出图像205。输出图像205是对于每个像素设置RGB像素值的图像。
[0176]将参照图11和随后的图对相机信号处理单元204的详细的配置和处理进行描述。
[0177]图11是示出了相机信号处理单元204的配置示例的视图。
[0178]如图11中所示，相机信号处理单元204具有下面的配置。
[0179]白平衡处理单元211，其输入传感器图像203，并且通过鉴于每种颜色或成像条件信息中的灵敏度差异对每种颜色应用不同的增益来对传感器图像203进行调整以具有更精确的颜色；
[0180]去马赛克处理单元212，其在RGBW像素阵列的每个像素位置处设置每种RGB颜色；
[0181]线性矩阵处理单元213，其通过应用例如矩阵运算对出现在像素之间的颜色混合进行校正；以及
[0182]伽马转换单元214，其执行伽马转换。
[0183]相机信号处理单元204具有这些配置。
[0184]在下文中，将对每个配置单元中的处理进行描述。
[0185]将参照图12对白平衡处理单元211中的处理进行描述。
[0186]白平衡处理单元211输入具有图2 (a)中示出的RGBW阵列的传感器图像203，并且通过鉴于每种颜色或成像条件信息中的灵敏度差异对每种颜色应用不同的增益来对传感器图像203进行调整以具有更精确的颜色。如图12中所示，白平衡处理单元211生成WB处理图像230，并且将其输出至下一级中的去马赛克处理单元212。
[0187]图12中示出的输入颜色增益选择单元222输入与处理目标像素的像素位置对应的坐标信息221，基于坐标信息来选择与处理目标像素的颜色对应的增益信息220，并且将所选择的增益信息220输出至增益处理单元222。
[0188]与处理目标像素的像素位置对应的坐标信息221或增益信息220从控制单元提供。例如，在成像期间将增益信息作为与图像对应的属性信息保存在存储器中。
[0189]增益处理单元223通过应用从输入颜色增益选择单元222输入的与处理目标颜色对应的增益信息来对处理目标像素执行增益调整。
[0190]此外，当像素值超过预定范围时，削波处理单元224执行用于对由增益调整设置的像素值进行调整以落入预定范围内的削波处理。
[0191]通过该处理，生成作为在图12中示出的WB调整之后所获得的图像的WB处理图像230。由白平衡处理单元211生成的WB处理图像230被输出至去马赛克处理单元212。
[0192]将参照图13对去马赛克处理单元212的处理进行描述。
[0193]去马赛克处理单元212输入由白平衡处理单元211生成的WB处理图像230，并且生成对于每个像素位置设置每个RGB像素值的去马赛克图像245RGB。
[0194]图13示出了去马赛克处理单元212的配置示例。
[0195]如图13中所示，去马赛克处理单元212具有W像素内插单元231、RGBW像素生成单元232和相关性处理单元233。
[0196]W像素内插单元231在具有RGBW阵列的WB处理图像230的除了 W像素的像素位置以外的像素位置处设置W像素，并且生成其中所有像素为W像素的全部W像素图像信号241。
[0197]RGBW像素生成单元232在具有RGBW阵列的WB处理图像230的每个像素位置处生成作为每个RGBW像素信号的低频信号(LPF信号)的RGBW相应LPF信号242。
[0198]相关性处理单元233输入全部W像素图像信号241和RGBW相应LPF信号242，并且通过应用这些输入信号来生成对于每个像素位置设置每个RGB像素值的去马赛克图像245RGB。
[0199]W像素内插单元231和RGBW像素生成单元232的配置和处理与上述第一实施例中的W像素内插单元151和RGBW像素生成单元152的配置和处理相同。
[0200]将参照图14对相关性处理单元233的配置和处理示例进行描述。
[0201]相关性处理单元233输入由W像素内插单元231生成的全部W像素图像信号241和由RGBW像素生成单元232生成的RGBW相应LPF信号242，并且通过应用这些输入信号来生成对于每个像素位置设置每个RGB像素值的去马赛克图像245RGB。
[0202]如图14中所示，相关性处理单元233具有相关性计算单元251。
[0203]相关性计算单元251通过利用W像素与R、G和B像素具有强的正相关性的属性来对W像素的高频执行增益调整，并且将高频与每种颜色重叠。相关性处理单元233在所有像素位置处设置每种RGB颜色的像素值。
[0204]根据下面的(等式3)计算输出像素值(ROut、GOut和BOut)。
[0205]ROut = mR+ (ff-mff) (mR/mff)
[0206]GOut = mG (ff-mff) (mG/mff)
[0207]BOut = mB+ (ff-mff) (mB/mff)
[0208]......(等式 3)
[0209]以这种方式，相关性处理单元233输入由W像素内插单元231生成的全部W像素图像信号241和由RGBW像素生成单元232生成的RGBW相应LPF信号242，并且通过应用这些输入信号来生成和输出对于所有像素设置RGB像素值的去马赛克图像245。
[0210]由去马赛克处理单元212生成的去马赛克图像245被输出至线性矩阵处理单元213。
[0211]线性矩阵处理单元213通过应用例如矩阵运算对出现在像素之间的颜色混合进行校正。
[0212]将参照图15对由线性矩阵处理单元213执行的处理进行描述。
[0213]如图15中所示，线性矩阵处理单元213具有矩阵计算单元261。
[0214]矩阵计算单元261对构成由去马赛克处理单元212生成的去马赛克图像245的相应的RGB像素值(Rin、Gin和Bin)执行应用了预设矩阵的计算。矩阵计算单元261计算和输出其中已经排除了由于颜色滤波特性、像素特性和光学特性而出现的颜色混合的问题的校正像素值(Rout、Gout和BOut)。
[0215]例如，矩阵计算单元中的矩阵计算被执行为根据下面的(等式4)的处理。
[0216][表达式2]
/Rout\ /Crr Crg Crb\ /Rin\
[0217]I Gout I = I Cgr Cgg Cgb 11 Gin I
\BoutJ yCbr Cbg CbbJ XBinJ
[0218]......(等式 4)
[0219]在上面的(等式4)中，Cxy是根据传感器或光源特性所设置的参数。
[0220]以这种方式，线性矩阵处理单元213执行例如如图15中所示的矩阵计算单元261中的矩阵计算，并且对出现在像素之间的颜色混合进行校正。
[0221]校正像素值被输出至伽马校正单元214。
[0222]伽马校正单元214根据预设的非线性转换模式执行伽马转换。
[0223]如图16中所示，根据与每种RGB颜色对应的伽马校正曲线，例如如图16(a)中示出的伽马校正曲线，伽马校正单元214通过对来自线性矩阵处理单元213的输入值(Rin、Gin和Bin)的每个像素值进行转换来生成和输出输出值(Rout、Gout和BOut)。
[0224]该输出变成图10中示出的输出图像205。
[0225]以这种方式，第二实施例的图像处理设备200基于相机信号处理单元204中的具有RGBW阵列的传感器图像203来生成和输出对于所有像素设置每个像素值的输出图像205。
[0226]在本实施例中，类似于上述实施例，图像传感器还具有参照图2(a)所描述的配置，并且统一地设置每单位组成的相应的RGB像素的数量。因此，当对于每个像素位置设置每种RGB颜色的像素值时，可以从参考区域充分地获取每种颜色的像素值。因此，可以对于每个像素位置非常精确地执行每种RGB颜色的设置处理，从而可以生成具有较少的颜色噪声或较少的伪色的RGB图像。
[0227][3.根据第三实施例的图像处理设备的配置和处理]
[0228]接下来，将对根据本公开的第三实施例的图像处理设备进行描述。
[0229]根据第三实施例的图像处理设备具有参照图10至图16所描述的根据第二实施例的图像处理设备200中的去马赛克处理单元212和线性矩阵处理单元213的处理的修改的配置。其他配置与第二实施例中的那些配置相同。
[0230]将参照图17和图18对第三实施例中的用作去马赛克处理单元212B的马赛克处理单元以及用作线性矩阵处理单元B213的线性矩阵处理单元进行描述。
[0231]图17示出了第三实施例中的去马赛克处理单元212B的相关性处理单元233B的配置示例。
[0232]相关性处理单元233B输入由W像素内插单元231生成的全部W像素图像信号241和由RGBW像素生成单元232生成的RGBW相应LPF信号242，并且通过应用这些输入信号来生成对于每个像素位置设置每个RGB像素值的去马赛克图像245RGB。
[0233]该处理与第二实施例中的处理相同。
[0234]第三实施例的相关性处理单元233B还进一步输出由W像素内插单元231生成的全部W像素图像信号241。
[0235]如图17中所示，相关性处理单元233B具有相关性计算单元251。
[0236]相关性计算单元251通过利用W像素与R、G、B像素具有强的正相关性的属性来对W像素的高频进行增益调整，并且将高频与每种颜色重叠。该处理与第二实施例中的处理相同。相关性处理单元233B在所有像素位置处设置每种RGBW颜色的像素值。
[0237]根据例如下面的(等式5)计算输出值(WOut、ROut、GOut和BOut)。
[0238]Wout = W
[0239]ROut = mR+ (ff-mff) (mR/mff)
[0240]GOut = mG (ff-mff) (mG/mff)
[0241]BOut = mB+ (ff-mff) (mB/mff)
[0242]......(等式 5)
[0243]以这种方式，相关性处理单元233B输入由W像素内插单元231生成的全部W像素图像信号241和由RGBW像素生成单元232生成的RGBW相应LPF信号242，并且通过应用这些输入信号来生成和输出对于所有像素设置RGBW像素值的去马赛克图像245RGBW。
[0244]由去马赛克处理单元212B生成的马赛克图像245RGBW被输出至线性矩阵处理单元 213B。
[0245]线性矩阵处理单元213B通过应用例如矩阵运算来对出现在像素之间的颜色混合进行校正。
[0246]将参照图18对由线性矩阵处理单元213B执行的处理进行描述。
[0247]如图18中所示，线性矩阵处理单元213B具有矩阵计算单元261B。
[0248]矩阵计算单元261B对构成由去马赛克处理单元212B生成的去马赛克图像245的相应的RGBW像素值(Win、Rin、Gin和Bin)执行应用预设矩阵的计算。矩阵计算单元261B计算和输出其中已经排除了由于颜色滤波特性、像素特性和光学特性而出现的颜色混合的问题的校正像素值(Rout、Gout和BOut)。
[0249]例如，矩阵计算单元中的矩阵计算被执行为根据下面的(等式6)的处理。
[0250][表达式3]
/RοuI\ / Crw Crr Crg Crh \ / ^in \
[0251]Gout I = I Cgw Cgr Cgg Cgb 11 J
\ B O UtJ V Ch w Ch I' Cb g Cl) b / \ ^J
[0252]......(等式 6)
[0253]在上面的(等式6)中，Cxy是根据传感器或光源特性所设置的参数。
[0254]以这种方式，线性矩阵处理单元213执行例如如图18中所示的矩阵计算单元261B中的矩阵计算，并且对出现在像素之间的颜色混合进行校正。
[0255]第三实施例被配置成使得不同于第二实施例而使用四种RGBW颜色。根据该配置，可以预期进一步改进的颜色再现性。
[0256]在本实施例中，图像传感器还具有参照图2(a)所描述的配置，并且统一地设置每单位组成的相应的RGB像素的数量。因此，当对于每个像素位置设置每种RGB颜色的像素值时，可以从参考区域充分地获取每种颜色的像素值。因此，可以对于每个像素位置非常精确地执行每种RGB颜色的设置处理,从而可以生成具有较少的颜色噪声或较少的伪色的RGB图像。
[0257][4.根据第四实施例的图像处理设备的配置和处理]
[0258]接下来，将其中对图像传感器内部的像素相加信号执行处理的配置示例描述为本公开的图像处理设备的第四实施例。
[0259]作为用于上述实施例中的图像传感器的CMOS图像传感器具有嵌入式AD转换器，该AD转换器将指示每个像素中所累积的电荷量的模拟值转换成数字值。每个像素信号的输出速度受限于该AD转换器的处理。存在如下问题:AD转换器的处理负荷由于像素数量的增加而增大，并且来自传感器的信号的输出速度降低。
[0260]在第四实施例中，为了解决该问题，传感器内部的模拟信号区域中的多个像素中所累积的电荷被相加。也就是说，以模拟信号电平执行像素相加，并且AD转换器的处理负荷降低，从而便于高速处理。该配置实现了具有例如高的帧速率的图像输出。
[0261]在本实施例中，在图像传感器的内部，例如如图19所示，对传感器配置像素执行相加处理，从而输出相加结果。
[0262]图19(a)示出了作为图像传感器的像素阵列并且先前参照图2 (a)所描述的RGBW阵列。
[0263]图19(b)示出了在图像传感器内部执行的像素相加处理。对具有相同颜色的两个倾斜布置的像素的像素值执行相加处理。
[0264]因此，获得图19(c)中示出的图像传感器输出。
[0265]图19(c)中示出的传感器输出是从图19(a)中示出的6X6 = 36个像素的图像传感器区域获得的输出。
[0266]获得3X3 = 9个像素的W像素输出和3X3 = 9个像素的RGB像素输出的总的18个像素的像素信号输出。
[0267]通过该相加处理，输出其分辨率等级低于图像传感器的原始分辨率等级的图像信号。然而，由于减少AD转换器的处理，所以可以高速输出，从而可以实现具有高的帧速率的图像输出。
[0268]图20示出了根据第四实施例的图像处理设备400的配置示例。该图像处理设备400具有与参照图1所描述的根据第一实施例的图像处理设备100的配置相同的配置。
[0269]通过光学透镜401入射的光由图像传感器(成像装置)402进行光电转换，并且从图像传感器402输出传感器输出图像403。图像传感器402被配置成具有例如CMOS等。图像传感器(成像装置)402的像素阵列具有上述图2(a)中示出的RGBW阵列。
[0270]在图像传感器402内部执行参照图19所描述的像素相加。用作具有相同颜色的两个像素的像素值的相加结果的输出图像，即，被配置成具有如图19(c)中所示的像素的原始数量的一半的数量的像素的图像(W图像+RGB图像)被输出为传感器图像503。
[0271]阵列转换单元404输入被配置成具有该相加像素，即，(W图像+RGB图像)的传感器图像503，执行阵列转换处理，并且生成拜耳阵列图像405。
[0272]相机信号处理单元406对拜耳阵列图像405执行信号处理，并且生成输出图像407。
[0273]控制单元408生成用于图像传感器402的曝光控制、阵列转换单元404的处理控制以及相机信号处理单元406的处理控制的控制信号，并且将这些信号提供给这些配置单元中的每个。控制单元408对从图像捕获到输出图像生成的处理执行总体控制。例如，控制单元408包括具有程序执行功能的CPU，并且根据存储在存储器(未示出)中的程序对成像设备中执行的处理执行总体控制。
[0274]将参照图21对根据第四实施例的阵列转换单元404的处理进行描述。
[0275]阵列转换单元404输入传感器图像503，S卩，由参照图19所描述的图像传感器502内部的模拟计算所生成的传感器图像403，即，(W图像+RGB图像)。阵列转换单元404执行阵列转换处理，并且生成拜耳阵列图像405。
[0276]传感器图像503被配置成使得:将由仅W像素形成的W图像与RGB图像相互组合。
[0277]W图像作为全部W像素图像信号461照原样被输入至相关性处理单元452。
[0278]此外，W图像和RGB图像被输入至RGBW像素生成单元451。RGBW像素生成单元451在传感器图像403的每个像素位置处生成作为每个RGBW像素信号的低频信号(LPF信号)的RGBW相应LPF信号462。
[0279]该处理与已经参照图7和图8所描述的第一实施例中的处理相同。
[0280]相关性处理单元452输入全部W像素图像信号461和RGBW相应LPF信号462，并且通过应用这些输入信号来生成和输出具有RGB阵列的拜耳阵列图像405。
[0281]该处理已经参照图9所描述的与第一实施例中的处理相同。
[0282]以这种方式，在第四实施例中，不再需要布置第一实施例中的阵列转换单元104所需要的W像素生成单元，也就是说，图4中示出的W像素生成单元151，从而使得能够简化该处理。
[0283]第四实施例的相加输出处理配置也可以结合上述第二实施例和第三实施例来应用。
[0284]在本实施例中，图像传感器也具有参照图2(a)所描述的配置，并且统一地设置每单位组成的相应的RGB像素的数量。因此，当对于每个像素位置设置每种RGB颜色的像素值时，可以从参考区域充分地获取每种颜色的像素值。因此，可以对于每个像素位置非常精确地执行每种RGB颜色的设置处理,从而可以生成具有较少的颜色噪声或较少的伪色的RGB图像。
[0285][5.根据第五实施例的图像处理设备的配置和处理]
[0286]将对如下图像处理设备的配置进行描述，该图像处理设备通过以像素单位控制图像传感器的构成像素的曝光时间，通过确定长时间曝光像素和短时间曝光像素，通过由单个图像捕获生成长时间曝光图像和短时间曝光图像以及通过对具有不同的曝光时间的这些图像进行合成来生成宽动态范围图像，即，高动态范围图像(HDR图像)。
[0287]图22示出了根据本实施例的图像处理设备500的配置示例。
[0288]通过光学透镜501入射的光由图像传感器(成像装置)502进行光电转换，并且从图像传感器502输出传感器输出图像503。图像传感器502被配置成具有例如CMOS等。图像传感器(成像装置)502的像素阵列具有上述图2(a)中示出的RGBW阵列。
[0289]在本实施例中，图像传感器(成像装置)502被设置成具有两种不同的曝光时间，并且输出由长时间曝光像素和短时间曝光像素形成的图像。
[0290]例如，在传感器上以行为单位交替地设置长时间曝光像素和短时间曝光像素。这些像素单元中的曝光控制由控制单元510执行。
[0291]下文将参照图23对曝光控制处理的具体示例进行描述。
[0292]阵列转换单元504输入由具有不同的曝光设置时间的像素形成的传感器图像503，S卩，例如以行为单位交替地设置长时间曝光像素和短时间曝光像素的图像，并且通过对具有两种曝光时间的图像执行组成处理来生成高动态范围图像(HDR图像)。
[0293]此外，阵列转换单元504结合高动态范围图像(HDR图像)的生成来执行像素阵列转换处理，并且生成拜耳阵列HDR图像505。
[0294]拜耳阵列HDR图像505被输入至灰度转换单元506。
[0295]灰度转换单元506执行用于对由高动态范围处理设置的像素值的范围进行调整以落入相机信号处理单元508能够执行下一级处理的范围内的处理。例如，当相机信号处理单元508可以对其执行处理的像素值为8比特数据时，灰度转换单元506执行用于对拜耳阵列HDR图像505的所有组成像素值进行设置以落入8比特内的灰度转换处理。通过该处理，生成和输出灰度转换HDR图像507。
[0296]相机信号处理单元508对具有拜耳阵列的灰度转换HDR图像507执行信号处理，并且生成输出图像509。
[0297]控制单元510生成用于图像传感器502的曝光控制、阵列转换单元504的处理控制、灰度转换单元506的处理控制、以及相机信号处理单元508的处理控制的控制信号，并且将信号提供给这些配置单元中的每个。控制单元510对从图像捕获到输出图像生成的处理执行总体控制。例如，控制单元508包括具有程序执行功能的CPU，并且根据存储在存储器(未示出)中的程序对成像设备中执行的处理执行总体控制。
[0298]将参照图23对图像传感器502中的曝光控制处理的具体示例进行描述。
[0299]作为生成具有不同的灵敏度的像素的方法，可以利用如下配置:将像素的滤波器的透光率设置成在每个像素单元中变化或在每个像素单元中控制曝光时间。本公开的设备可以利用这些方法中的任何方法。
[0300]在下文中，将作为示例描述用于通过逐行地改变曝光时间来生成长时间曝光图像和短时间曝光图像的处理。
[0301]图23是示出了从控制单元510输出至图像传感器502的控制信号以及图像传感器中的电荷累积的时间转变的图。示出了下面的五个信号。
[0302](I)读取时刻
[0303](2)用于长时间曝光像素的重置时刻
[0304](3)长时间曝光像素的电荷量
[0305](4)用于短时间曝光像素的重置时刻
[0306](5)短时间曝光像素的电荷量
[0307](I)读取时刻指示用于读取每个像素的累积的电荷作为像素值的时间信号。在图中示出的示例中，时间ta和tc中的每个时刻指示读取时刻。
[0308](2)用于长时间曝光的重置时刻对应于长时间曝光像素的曝光开始时间的设置时亥IJ。在图中示出的示例中，时间段tb指示重置时刻。在该tb之后，在长时间曝光像素中开始响应于入射光的电荷的累积。
[0309](3)长时间曝光像素的电荷量指示在从长时间曝光的重置时刻直到下一个读取时刻为止的曝光时间段(曝光时间段I)期间电荷量的增加转变。
[0310](4)短时间曝光的重置时刻对应于短时间曝光像素的曝光开始时间的设置时刻。在图中示出的示例中，时间段td指示重置时刻。在该td之后，在短时间曝光像素中开始响应于入射光的电荷的累积。
[0311](5)短时间曝光像素的电荷量指示在从短时间曝光的重置时刻直到下一个读取时刻为止的曝光时间段(曝光时间段2)期间电荷量的增加转变。
[0312]例如，以图像传感器的行为单位交替地设置长时间曝光像素和短时间曝光像素。具体地，奇数行被设置为短时间曝光像素的行，而偶数行被设置成长时间曝光像素的行。除此之外，各种设置也是可以的。
[0313]例如，通过参照图23所描述的曝光控制，图像传感器502生成包括长时间曝光像素和短时间曝光像素的传感器图像503，并且将传感器图像503输出至阵列转换单元504。
[0314]将参照图24对由阵列转换单元504执行的处理进行描述。
[0315]如图24中所示，阵列转换单元504具有W像素内插单元551、RGBW像素生成单元552、HDR组成处理单元553和相关性处理单元554。
[0316]如图中所示，由阵列转换单元504输入的传感器图像503具有如下配置:逐行地排列分别具有不同的曝光时间设置的短时间曝光像素(短)和长时间曝光像素(长)的像素。像素阵列是参照图2(a)所描述的RGBW阵列。
[0317]W像素内插单元551输入具有其中逐行地交替地设置长时间曝光像素和短时间曝光像素的RGBW阵列的传感器图像503，并且生成对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像561L和对于所有像素设置短时间曝光W像素的全部W像素短时间曝光图像561S。
[0318]内插处理与第一实施例中的上述处理相同。然而，当生成全部W像素长时间曝光图像56IL时，仅参照长时间曝光像素执行该处理。当生成全部W像素短时间曝光图像561S时，仅参照短时间曝光像素执行该处理。
[0319]将参照图25对W像素内插单元551的处理进行描述。
[0320]W像素内插单元551输入传感器503内的具有其中逐行交替地设置长时间曝光像素和短时间曝光像素的RGBW阵列的W像素数据，并且生成对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像561L和对于所有像素设置短时间曝光W像素的全部W像素短时间曝光图像561S。
[0321]当生成对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像561L时，应用传感器图像503内的仅长时间曝光W像素数据560L，从而执行用于在除了长时间曝光W像素之外的欠缺像素位置处设置长时间曝光W像素值的W像素内插处理。
[0322]图25示出了用于生成对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像56IL的处理配置。
[0323]当生成对于所有像素设置短时间曝光W像素的全部W像素短时间曝光图像561S时，应用传感器图像503内的仅短时间曝光W像素数据560S，从而执行用于在除了短时间曝光W像素之外的欠缺像素位置处设置短时间曝光W像素值的W像素内插处理。
[0324]在这些处理中，仅输入数据和输出数据不同。这些处理基本上根据图25中示出的配置来执行。
[0325]在下文中，作为代表示例，将参照图25对用于生成其中对于像素设置长时间曝光W像素的全部W像素长时间曝光图像561L的处理进行描述。
[0326]如图25中所示，W像素内插单元551具有多个方向滤波器571-1至571-N、检测边缘方向的边缘方向检测单元572以及借助于滤波器选择来确定内插像素值的滤波器选择单元573，方向滤波器571-1至571-N执行滤波处理如对存在于多个不同的方向上的W像素的像素值求平均作为参考像素的处理。
[0327]当生成全部W像素长时间曝光图像561L时，选择性地输入传感器图像503内的仅长时间曝光W像素数据560L。基于该输入图像，对包括作为处理目标像素的内插像素的位置的预定参考区域(例如，k像素Xk像素)进行设置。边缘方向检测单元572基于参考区域的像素值来检测边缘方向。滤波器选择单元573选择用于执行将沿边缘方向即具有像素值的小梯度的方向上存在的W像素设置成参考像素的滤波处理的滤波器，并且通过应用所选择的滤波器来计算用作内插像素值的W像素值。例如，在具有小梯度的方向上存在的W像素的像素值的平均值被计算，并且处理目标像素位置的W像素值被设置。
[0328]图26示出了其中可应用的方向滤波器的数量N为4，S卩，方向滤波器适于具有四种类型的方向如水平方向、垂直方向、向左上角的斜方向和向右上角的斜方向的处理示例。
[0329]由图26中示出的Wl至W9形成的图像指示传感器图像503内的长时间曝光W像素数据560L构成的长时间曝光W像素的像素值。
[0330]边缘方向检测单元572根据下面的等式计算四种类型的边缘量如水平方向上的边缘量(Dh)、垂直方向上的边缘量(Dv)、向左上角的斜方向上的边缘量(Dd)和向右上角的斜方向上的边缘量(Da)。
[0331 ] Dh = (IW1-W2 | +1W2-W3 | +2 (| W4-W5 | +1W5-W6 |) +1W7-W8 | +1W8-W9 |) /8
[0332]Dv = (IW1-W4 | +1W4-W7 | +2 (| W2-W5 | +1W5-W8 |) +1W3-W6 | +1W6-W9 |) /8
[0333]Dd = (IW1-W5 | +1W2-W6 | +1W4-W8 | +1W5-W9 |) /4
[0334]Da = (| W2-W4 | +1W3-W5 | +1W5-W7 | +1W6-W8 |) /4
[0335]根据这些相应的计算等式，计算四个方向上的边缘量。
[0336]根据下面的确定等式，边缘方向检测单元572通过使用边缘量:根据上面的计算等式所计算的四个方向上的Dh、Dv、Dd和Da来确定边缘方向。
[0337]在I Dh-Dv I彡I Dd-Da |的情况下，Dh彡Dv指示边缘方向=水平方向，而Dh > Dv指示边缘方向=垂直方向。在I Dh-Dv I < I Dd-Da I的情况下,Dd < Da指示边缘方向=向左上角的斜方向，而Dd > Da指示边缘方向=向右上角的斜方向。边缘方向检测单元572执行该确定处理，并且将确定结果输出至滤波器选择单元573。
[0338]滤波器选择单元573基于由边缘检测方向单元572检测的边缘方向来选择参考像素，并且执行选择性地应用用于设置内插像素值的方向滤波器的内插处理。
[0339]将参照图27和随后的图对该处理示例进行描述。
[0340]图27示出了其中在中心位置处内插W像素的处理示例，其中在倾斜方向(a)上设置四个W像素。
[0341]图27中示出的4个W像素(Wl至W4)的中心位置为内插像素位置581。
[0342]在该示例中，根据由边缘方向检测单元572检测的边缘方向的滤波器选择处理是图27中示出的处理(步骤I)。图27(al)至图27(a3)示出了下面的滤波器设置示例。
[0343](al)当边缘方向为水平方向或垂直方向时的滤波器
[0344](a2)当边缘方向为向左上角的斜方向时的滤波器
[0345](a3)当边缘方向为向右上角的斜方向时的滤波器
[0346]根据边缘方向，任一个滤波器被选择，并且通过乘以对于每个滤波器设置的系数来将每个像素位置的像素值相加。
[0347]此外，在图27中示出的(步骤2)中，相加值的总和值除以4。商是要为内插像素位置581设置的内插W像素值。
[0348]具体地，例如，当边缘方向为水平方向时，应用图27 (al)中的滤波器。当4个W像素(Wl至W4)的像素值被设置为Wl至W4时，通过下面的等式计算要为内插像素位置581设置的内插像素值W。
[0349]W= (Wl+W2+ff3+ff4)/4
[0350]图28示出了如下处理示例:将W像素内插在垂直(上下)方向(b)上的W像素之间的设置位置处。
[0351]图28中示出的6个W像素(Wl至W6)的中心位置为内插像素位置582。
[0352]在该示例中，根据由边缘方向检测单元572检测的边缘方向的滤波器选择处理为图28中示出的(步骤I)的处理。图28(bl)至28(b4)示出了下面的滤波器设置示例。
[0353](bl)当边缘方向为水平方向时的滤波器
[0354](b2)当边缘方向为垂直方向时的滤波器
[0355](b3)当边缘方向为向左上角的斜方向时的滤波器
[0356](b4)当边缘方向为向右上角的斜方向时的滤波器
[0357]根据边缘方向，任一个滤波器被选择，并且通过乘以对于每个滤波器设置的系数来将每个像素位置的像素值相加。
[0358]此外，在图28中示出的(步骤2)中，相加值的总和值除以8。商是要为内插像素位置582设置的内插W像素值。
[0359]具体地，例如，当边缘方向为水平方向时，应用图28(bl)中的滤波器。当6个W像素(Wl至W6)的像素值被设置为Wl至W6时，通过下面的等式计算要为内插像素位置582设置的内插像素值W。
[0360]ff = (Wl+ (2 X W2) +W3+W4+ (2 X W5) +W6) /8
[0361]除了参照图27和图28所描述的处理以外，内插像素位置包括如图28(c)中所示插入在水平方向上的W像素之间的位置。在这种情况下，图28中所描述的滤波器可以旋转90°以应用。
[0362]以这种方式，W像素内插单元551应用传感器图像503内的仅长时间曝光W像素数据560L，并且执行用于在除了长时间曝光W像素以外的欠缺像素位置处设置长时间曝光W像素值的W像素内插处理，从而生成对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像561L。
[0363]类似地，W像素内插单元551应用传感器图像503内的仅短时间曝光W像素数据560S，并且执行用于在除了短时间曝光W像素以外的欠缺像素位置处设置短时间曝光W像素的W像素内插处理，从而生成对于所有像素设置短时间曝光W像素的全部W像素短时间曝光图像561S。
[0364]图24中示出的阵列转换单元504的RGBW像素生成单元552输入具有逐行交替地设置长时间曝光像素和短时间曝光像素的RGBW阵列的传感器图像503，并且在每个像素位置处生成用作每个RGBW像素信号的低频信号(LPF信号)的RGBW相应LPF信号。
[0365]该处理基本上与上述第一实施例中的参照图7和图8所描述的处理相同。然而，在本实施例中，仅长时间曝光像素用作参考像素，以便生成作为长时间曝光RGBW信号的低频信号(LPF信号)的长时间曝光RGBW相应低频信号562L。此外，仅短时间曝光像素用作参考像素，以便生成作为短时间曝光RGBW信号的低频信号(LPF信号)的短时间曝光RGBW相应低频信号562S。
[0366]HDR组成单元553通过输入W像素内插单元551的生成信号和RGBW像素生成单元552的生成信号来生成高动态范围(HDR)图像。
[0367]HDR组成单元553输入这些相应的信号如作为W像素内插单元551的生成信号的全部W像素长时间曝光图像561L和全部W像素短时间曝光图像561S、以及作为RGBW像素生成单元552的生成信号的长时间曝光LPF信号562L和短时间曝光LPF信号562S。
[0368]HDR组成单元553执行下面的两种类型的处理。
[0369](第一处理)
[0370]用于通过输入两种信号如作为W像素内插单元551的生成信号的(al)全部W像素长时间曝光图像561L和(a2)全部W像素短时间曝光图像561S来生成和输出高动态范围全部W像素图像563的处理。
[0371](第二处理)
[0372]用于通过输入两种信号如作为RGBW像素生成单兀552的生成信号的(bl)长时间曝光LPF信号562L和(b2)短时间曝光LPF信号562S来生成和输出高动态范围RGBW低频(LPF)信号564的处理。
[0373]如图24中所示，HDR组成单元553执行这两种类型的处理，生成(A)高动态范围全部W像素图像563和⑶高动态范围RGBW低频(LPF)信号564，并且将(A)和⑶输出至相关性处理单元554。
[0374]将参照图29对由HDR组成单元553执行的处理进行描述。
[0375]作为代表示例，图29示出了用于在两种类型的处理中的上面的处理(A)中生成高动态范围全部W像素图像563的配置。
[0376]也就是说，HDR组成单元553具有执行用于通过输入作为W像素内插单元551的生成信号的两种信号即(al)全部W像素长时间曝光图像561L和(a2)全部W像素短时间曝光图像561S来生成和输出高动态范围全部W像素图像563的处理的配置。
[0377]除了输入数据和输出数据不同之外，用于生成(B)高动态范围RGBW低频(LPF)信号564的处理与上述处理相同。因此，在本文中，将W像素生成处理示例描述为代表示例。
[0378]HDR组成单元553通过执行具有同一颜色的长时间曝光像素和短时间曝光像素的像素值的组成处理(混合)来计算高动态范围(HDR)图像的像素值。例如，长时间曝光像素用于暗主题，因此获取具有较少的噪声的图像。短时间曝光像素用于亮主题，因此获取不具有饱和的图像。
[0379]如图29中所示，HDR组成单元553具有曝光比率增益调整单元595、混合比率计算单元596和混合处理单元597。
[0380]曝光比率增益调整单元595输入从控制单元接收的、在图像捕获期间短时间曝光像素的曝光时间段与长时间曝光像素的曝光时间段之间的曝光比率信息590。曝光比率增益调整单元595将通过将输入图像内的短时间曝光像素592乘以与曝光比率信息590对应的增益所获得结果输出至混合处理单元597。
[0381]混合比率计算单元596通过输入作为混合目标的短时间曝光像素592和长时间曝光像素593来计算混合比率。作为混合目标的像素被配置成具有有着预设像素区域单元内的同一颜色的短时间曝光像素和长时间曝光像素。本示例利用长时间曝光W像素和短时间曝光W像素。
[0382]通过应用预设计算等式来计算混合比率。例如，当通过使用长时间曝光像素值(DL)来计算混合比率(α)时，根据下面的计算等式计算混合比率。
[0383]如果(DL〈ThO)
[0384]α = O
[0385]否则，如果(DL〈Thl)
[0386]a = (DL-ThO)/(Thl-ThO)
[0387]否则
[0388]α = I
[0389]在上述计算等式中，α:输出HDR像素中的短时间曝光像素的混合比率，ThO，Thl:预设阈值。
[0390]长时间曝光像素的像素值(DL)与对应于上述混合比率计算等式的混合比率(α )之间的对应性表明图30中示出的曲线的设置。
[0391]当长时间曝光像素的像素值(DL)为暗像素值时，频繁使用长时间曝光像素的像素值，从而获取具有较少的噪声的图像。在亮主题的情况下，频繁使用短时间曝光像素的像素值，从而获取不具有饱和的图像。
[0392]图29中示出的混合处理单元597输入来自混合比率计算单元596的上述混合比率(α )。根据输入混合比率(α )，混合处理单元597将短时间曝光像素(WS) 591的像素值与长时间曝光像素(WL) 592的像素值混合，并且确定用作HDR图像的全部W像素图像563的W像素值。
[0393]例如，当短时间曝光像素(WS)591的像素值被设置为DS而长时间曝光像素(WL) 592的像素值被设置为DL时，长时间曝光像素与短时间曝光像素之间的增益比率被设置为Gain，而混合比率设置为α，用作HDR图像的全部W像素图像563的W像素值被设置为DO, DO通过下面的计算等式来计算。
[0394]DO = DLX (1-a )+DSXGainX α
[0395]根据上述等式，混合处理单元597确定用作HDR图像的全部W像素图像563的W
像素值。
[0396]将参照图29对由HDR组成处理单元553执行的生成高动态范围全部W像素图像563的处理的示例进行描述。然而，如上所述，HDR组成处理单元553执行相同的处理，生成(A)高动态范围全部W像素图像563和(B)高动态范围RGBW低频(LPF)信号564，并且将这些输出至相关性处理单元554。
[0397]相关性处理单元554输入从HDR组成处理单元553输出的(A)高动态范围全部W像素图像563和(B)高动态范围RGBW低频(LPF)信号564，并且通过应用这些信号来生成和输出具有RGB阵列的拜耳阵列HDR图像505。
[0398]该相关性处理单元554执行与参照图9所描述的第一实施例中的相关性处理单元153的处理相同的处理。
[0399]以这种方式，图22中示出的本实施例的图像处理设备的阵列转换单元504生成拜耳阵列HDR图像505，并且将其输出至图22中示出的灰度转换单元506。
[0400]灰度转换单元506执行用于对由上述高动态范围处理设置的像素值的范围进行调整以落入相机信号处理单元508能够执行下一级处理的范围内的处理。例如，当相机信号处理单元508对其执行处理的像素值为8比特数据时，灰度转换单元506执行用于对拜耳阵列HDR图像505的所有构成像素值进行设置以落入8比特内的灰度转换处理。通过该处理，生成和输出灰度转换HDR图像507。
[0401]例如，如果传感器的输出指示12比特并且曝光比率为16倍，则阵列转换单元的输出指示16比特。执行该处理，以便将该信号压缩成具有也可以用于相关领域中的相机信号处理的信号的比特宽度。该灰度转换处理可以利用现有技术。
[0402]以这种方式，通过灰度转换处理，灰度转换单元506生成灰度转换HDR图像507，并且将其输出至相机信号处理单元508。
[0403]在随后的处理中，可以执行与相关领域中的成像设备中的处理相同的处理。也就是说，相机信号处理单元508对于灰度转换HDR图像507执行信号处理，例如常规相机信号处理如白平衡调整、伽马校正、以及去马赛克处理，并且生成输出图像509。
[0404]以这种方式，第五实施例具有如下配置:除了第一实施例中所描述的阵列转换处理之外，还可以同时执行图像的高动态范围(HDR)处理。
[0405]第五实施例的该HDR图像生成配置也可以另外地被应用到上述第二实施例和第三实施例。
[0406]在本实施例中，图像传感器也具有参照图2(a)所描述的配置，并且统一地设置每单位组成的相应的RGB像素的数量。因此，当对于每个像素位置设置每种RGB颜色的像素值时，可以从参考区域充分地获取每种颜色的像素值。因此，可以对于每个像素位置非常精确地执行每个RGB颜色的设置处理,从而可以生成具有较少的颜色噪声或较少的伪色的RGB图像。
[0407][6.根据第六实施例的图像处理设备的配置和处理]
[0408]接下来，将组合执行被描述为第四实施例的像素相加处理和被描述为第五实施例的高动态范围(HDR)图像生成处理的处理示例描述为第六实施例。
[0409]图31示出了根据本发明的图像处理设备600的配置示例。
[0410]图31中示出的图像处理设备600被配置成具有与参照图22被描述为第五实施例的图像处理设备500中的配置元件相同的配置元件。
[0411 ] 由图像传感器(成像装置)602对通过光学透镜601入射的光进行光电转换，并且从图像传感器602输出传感器输出图像603。图像传感器602被配置成具有例如CMOS等。图像传感器(成像装置)602的像素阵列具有上述图2(a)中示出的RGBW阵列。
[0412]在本实施例中，类似于第五实施例，图像传感器(成像装置)602被设置成具有两种不同的曝光时间段。此外，类似于第四实施例，图像传感器602对于具有相同颜色的像素执行像素相加，并且输出由具有相加像素值的长时间曝光像素和短时间曝光像素形成的图像。
[0413]在本实施例中，以图像传感器的每两行为单位交替地设置长时间曝光像素和短时间曝光像素。这些像素单元中的曝光控制由控制单元610来执行。
[0414]下文将参照图32对曝光控制设置的具体示例和输出图像进行描述。
[0415]阵列转换单元604输入由具有不同的曝光设置时间段的像素形成的传感器图像603，S卩，逐行交替地设置被配置成具有相加像素值的长时间曝光像素和短时间曝光像素的图像，并且通过对具有两种曝光时间段的图像执行合成处理来生成高动态范围图像(HDR图像)。
[0416]此外，阵列转换单元604结合高动态范围图像(HDR图像)的生成来执行像素阵列转换处理，并且生成拜耳阵列HDR图像605。
[0417]拜耳阵列HDR图像605被输入到灰度转换单元606。
[0418]灰度转换单元606执行用于对由高动态范围处理设置的像素值的范围进行调整以落入相机信号处理单元608能够执行下一级处理的范围内的处理。例如，当相机信号处理单元608对其执行该处理的像素值为8比特数据时，灰度转换单元606执行用于对拜耳阵列HDR图像605的所有组成像素值进行设置以落入8比特内的灰度转换处理。通过该处理，生成和输出灰度转换HDR图像607。
[0419]相机信号处理单元608对具有拜耳阵列的灰度转换HDR图像507执行信号处理，并且生成输出图像509。
[0420]控制单元510生成用于图像传感器602的曝光控制、阵列转换单元604的处理控制、灰度转换单元606的处理控制和相机信号处理单元608的处理控制的控制信号，并且将这些信号提供给这些构成单元中的每个。控制单元610对从图像捕获到输出图像生成的处理进行总体控制。例如，控制单元608包括具有程序执行功能的CPU，并且根据存储在存储器(未示出)中的程序对成像设备中执行的处理进行总体控制。
[0421]将参照图32对图像传感器602中的曝光控制处理的具体示例和作为输出图像的传感器图像603进行描述。
[0422]图32 (a)示出了图像传感器602的驱动处理模式。
[0423]图32(b)示出了从图像传感器602输出的传感器图像603。
[0424]如图32(a)中所示，在本实施例中，以每两行为单位交替地设置短时间曝光像素(短)和长时间曝光像素(长)。此外，将在两条线中的短时间曝光像素(短)内的倾斜方向上彼此相邻的、具有相同颜色的像素的像素值相加和输出。该相加是第四实施例中所描述的模拟相加。该处理减少AD转换器的处理负荷，从而使能高帧率的输出处理。
[0425]从图像传感器602输出的传感器图像603代表图32(b)中示出的图像。也就是说，传感器图像被配置成具有逐行交替地设置短时间曝光像素和长时间曝光像素的RGB图像621、以及逐行交替地设置短时间曝光像素和长时间曝光像素的W图像622。
[0426]这些图像被输出至阵列转换单元604。
[0427]将参照图33对由阵列转换单元604执行的处理进行描述。
[0428]如图33中所示，阵列转换单元604具有W像素内插单元651、RGBW像素生成单元652、HDR组成处理单元653和相关性处理单元654。
[0429]如参照图32所述，从阵列转换单元604输入的传感器图像603被配置成具有这两种类型的图像，如逐行交替地设置短时间曝光像素和长时间曝光像素的RGB图像621、以及逐行交替地设置短时间曝光像素和长时间曝光像素的W图像622。
[0430]W像素内插单元651输入逐行交替地设置长时间曝光像素和短时间曝光像素的W图像622，并且生成下面的两个全部W像素图像。也就是说，生成诸如(I)对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像661L和(2)对于所有像素设置短时间曝光W像素的全部W像素短时间曝光图像661S的图像。
[0431]该内插处理与第一实施例中的上述处理相同。然而，当生成全部W像素长时间曝光图像661L时，仅参照长时间曝光像素执行该处理。当生成全部W像素短时间曝光图像661S时，仅参照短时间曝光像素执行该处理。
[0432]将参照图34对W像素内插单元651的处理进行描述。
[0433]W像素内插单元651输入逐行交替地设置长时间曝光像素和短时间曝光像素的W图像622，并且生成对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像66IL和对于所有像素设置短时间曝光W像素的全部W像素短时间曝光图像661S。
[0434]当生成对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像661L时，W像素内插单元651仅应用W图像622内的长时间曝光W像素数据，并且执行用于在除了长时间曝光W像素之外的欠缺像素位置处设置长时间曝光W像素值的W像素内插处理。
[0435]图34示出了用于生成对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像66IL的处理配置。
[0436]当生成对于所有像素设置短时间曝光W像素的全部W像素短时间曝光图像661S时，W像素内插单元651仅应用W图像622内的短时间曝光W像素数据，并且执行用于在除了短时间曝光W像素之外的欠缺像素位置处设置短时间曝光W像素值的W像素内插处理。
[0437]在这些处理中，仅输入数据和输出数据不同。基本上根据图34中示出的配置来执行这些处理。
[0438]在下文中，作为代表示例，将参照图34对用于生成其中对于像素设置长时间曝光W像素的全部W像素长时间曝光图像66IL的处理进行描述。
[0439]如图34中所示，W像素内插单元651具有多个方向滤波器671-1至671-N、检测边缘方向的边缘方向检测单元672以及借助于滤波器选择来确定内插像素值的滤波器选择单元673，方向滤波器671-1至671-N执行滤波处理如将存在于多个不同的方向上的W像素的像素值求平均作为参考像素的处理。
[0440]当生成全部W像素长时间曝光图像661L时，选择性地输入W图像622内的长时间曝光W像素数据，S卩，仅图34中示出的长时间曝光W像素数据660L。基于该输入图像，设置包括作为处理目标像素的内插像素的位置的预定参考区域(例如，k像素Xk像素)。边缘方向检测单元672基于参考区域的像素值来检测边缘方向。滤波器选择单元673选择用于执行沿边缘方向即具有像素值的小梯度的方向存在的W像素被设置成参考像素的滤波处理的滤波器，并且通过应用所选择的滤波器计算用作内插像素值的W像素值。例如，在具有小梯度的方向上存在的W像素的像素值的平均值被计算，并且处理目标像素位置的W像素值被设置。
[0441]将参照图35对内插像素值的边缘方向检测处理和设置处理的示例进行描述。
[0442]在图35中，W像素的内插像素位置被设置成指示内插像素682的位置。
[0443]也就是说，长时间曝光W像素Wl至W5被设置成连续布置在上一行中，而长时间曝光W像素W6至WlO被设置成连续布置在下一行中。在该设置中，对于W3和W8之间的像素执行用于内插长时间曝光W像素的处理。
[0444]将对三个方向滤波器被应用于该设置的处理示例进行描述。
[0445]Wl至WlO被设置成相应的像素位置的像素值。
[0446]如图35(a)中所示，每个方向滤波器执行下面的滤波处理。
[0447]方向I 滤波器:F1 = (W2+W9) /2
[0448]方向2 滤波器:F2 = (W3+W8)/2
[0449]方向3 滤波器:F3 = (W4+W7)/2
[0450]方向I滤波器I是当边缘方向为向左上角方向时可应用的滤波器。
[0451]方向2滤波器2是当边缘方向为垂直方向时可应用的滤波器。
[0452]方向3滤波器3是当边缘方向为向右上角方向时可应用的滤波器。
[0453]图35(b)示出了基于由边缘方向检测单元672执行的边缘方向确定和由滤波器选择单元673执行的边缘方向确定的结果的滤波器选择处理示例。
[0454]在由边缘方向检测单元672执行的边缘方向确定中，根据下面的等式首先计算三个边缘量。
[0455](I)向左上角方向(方向 I)的边缘量:Dl = (I ff 1-W8 | +2 | W2-W9 | +1 W3-ff 10 |) /4
[0456](2)垂直方向(方向 2)的边缘量:D2 = (| W2-W7 | +2 | W3-W8 | +1W4-W9 |) /4
[0457](I)向右上角方向(方向 3)的边缘量:D3= (| W3-W6 | +2 | W4-W7 | +1W5-W8 |) /4
[0458]在下文中，边缘方向检测单元672基于上述三个方向的边缘量来执行下面的边缘方向确定处理。
[0459]在D1〈D2且D1〈D3的情况下，边缘方向=向左上角方向(方向1)，
[0460]在D3〈D1且D3〈D2的情况下，边缘方向=向右上角方向(方向3)，
[0461]否则，边缘方向=垂直方向(方向2)，
[0462]执行该边缘方向确定，并且将该确定结果输出至滤波器选择单元673。
[0463]滤波器选择单元673输入边缘方向检测单元672的边缘方向确定结果，并且计算根据输入的边缘方向确定结果对其应用图35(a)中示出的三个方向滤波器中的任一个的内插像素值。
[0464]也就是说，通过应用下面的(I)至(3)中的任一个所选择的滤波器来计算内插像素值W。
[0465](I)在边缘方向=向左上角方向(方向I)的情况下，通过应用方向I滤波器Fl执行内插像素值W的下面的计算。
[0466]ff = (W2+W9) /2
[0467](2)在边缘方向=垂直方向(方向2)的情况下，通过应用方向2滤波器F2执行内插像素值W的下面的计算。
[0468]ff = (W3+W8) /2
[0469]在边缘方向=向右上角方向(方向3)的情况下，通过应用方向3滤波器F3执行内插像素值W的下面的计算。
[0470]ff = (W4+W7) /2
[0471]以这种方式，W像素内插单元651仅应用传感器图像603内的长时间曝光W像素660L,并且执行用于在除了长时间曝光W像素以外的欠缺像素位置处设置长时间曝光W像素值的W像素内插处理，从而生成其中对于所有像素设置长时间曝光W像素的全部W像素长时间曝光图像661L。
[0472]类似地，W像素内插单元651仅应用短时间曝光W像素，并且执行用于在除了短时间曝光W像素以外的欠缺像素位置处设置短时间曝光W像素值的W像素内插处理，从而生成其中对于所有像素设置短时间曝光W像素的全部W像素短时间曝光图像661S。
[0473]图33中示出的阵列转换单元604的RGBW像素生成单元652输入具有逐行交替地设置长时间曝光像素和短时间曝光像素的RGBW阵列的传感器图像603，并且在每个像素位置处生成用作每个RGBW像素信号的低频信号(LPF信号)的RGBW相应LPF信号。
[0474]该处理基本上与上述第一实施例中参照图7和图8所描述的处理相同。然而，在本实施例中，仅长时间曝光像素用作参考像素，以便生成作为长时间曝光RGBW信号的低频信号(LPF信号)的长时间曝光LPF信号662L。此外，仅短时间曝光像素用作参考像素，以便生成作为短时间曝光RGBW信号的低频信号(LPF信号)的短时间曝光LPF信号662S。
[0475]HDR组成单元653通过输入W像素内插单元651的生成信号和RGBW像素生成单元652的生成信号来生成高动态范围(HDR)图像。
[0476]HDR组成单元653输入这些相应的信号如作为W像素内插单元651的生成信号的全部W像素长时间曝光图像661L和全部W像素短时间曝光图像661S、以及作为RGBW像素生成单兀652的生成信号的长时间曝光LPF信号662L和短时间曝光LPF信号662S。
[0477]HDR组成单元653执行下面的两种类型的处理。
[0478](第一处理)
[0479]用于通过输入两种信号如作为W像素内插单元651的生成信号的(al)全部W像素长时间曝光图像661L和(a2)全部W像素短时间曝光图像661S来生成和输出高动态范围全部W像素图像563的处理。
[0480](第二处理)
[0481]用于通过输入两种信号如作为RGBW像素生成单兀652的生成信号的(bl)长时间曝光LPF信号662L和(b2)短时间曝光LPF信号662S来生成和输出高动态范围RGBW低频(LPF)信号664的处理。
[0482]如图33中所示，HDR组成单元653执行这两种类型的处理，生成(A)高动态范围全部W像素图像663和⑶高动态范围RGBW低频(LPF)信号664，并且将(A)和⑶输出至相关性处理单元654。
[0483]由HDR组成单元653执行的处理与第五实施例中参照图29和图30所描述的处理相同。
[0484]也就是说，通过将长时间曝光像素和短时间曝光像素混合来设置HDR图像的像素值。
[0485]当长时间曝光像素的像素值(DL)为暗像素值时，频繁地使用长时间曝光像素的像素值，从而获取具有较少的噪声的图像。在亮主题的情况下，频率地使用短时间曝光像素的像素值，从而获取不具有饱和的图像。
[0486]相关性处理单元654输入从HDR组成处理单元653输出的㈧高动态范围全部W像素图像663和(B)高动态范围RGBW低频(LPF)信号664，并且通过应用这些信号来生成和输出具有RGB阵列的拜耳阵列HDR图像605。
[0487]该相关性处理单元654执行与参照图9所描述的第一实施例中的相关性处理单元153的处理相同的处理。
[0488]以这种方式，图33中示出的本实施例的图像处理设备的阵列转换单元604生成拜耳阵列HDR图像605并且将其输出至图31中示出的灰度转换单元606。
[0489]灰度转换单元606执行用于对由上述高动态范围处理设置的像素值的范围进行调整以落入相机信号处理单元608能够执行下一级处理的范围内的处理。例如，当相机信号处理单元608能够对其执行该处理的像素值为8比特数据时，灰度转换单元606执行用于对拜耳阵列HDR图像605的所有构成像素值进行设置以落入8比特内的灰度转换处理。通过该处理，生成和输出灰度转换HDR图像607。
[0490]例如，如果传感器的输出指示12比特并且曝光比率为16倍，则阵列转换单元的输出指示16比特。执行该处理，以便将该信号压缩成具有也可以用于相关领域中的相机信号处理的信号的比特宽度。该灰度转换处理可以利用现有技术。
[0491]以这种方式，通过灰度转换处理，灰度转换单元606生成灰度转换HDR图像607，并且将其输出至相机信号处理单元608。
[0492]在随后的处理中，可以执行与相关领域中的成像设备中的处理相同的处理。也就是说，相机信号处理单元608对于灰度转换HDR图像607执行信号处理，例如常规相机信号处理如白平衡调整、伽马校正和去马赛克处理，并且生成输出图像509。
[0493]以这种方式，第六实施例具有如下配置:除了第一实施例中所描述的阵列转换处理之外，还可以与图像传感器中的像素相加同时地执行图像的高动态范围(HDR)处理。
[0494]第六实施例的该HDR图像生成配置也可以另外地被应用到上述第二实施例和第三实施例。
[0495]在本实施例中，图像传感器也具有参照图2(a)所描述的配置，并且统一地设置每单位组成的相应的RGB像素的数量。因此，当对于每个像素位置设置每种RGB颜色的像素值时，可以从参考区域充分地获取每种颜色的像素值。因此，可以对于每个像素位置非常精确地执行每个RGB颜色的设置处理,从而可以生成具有较少的颜色噪声或较少的伪色的RGB图像。
[0496][7.图像传感器(成像装置)的像素阵列的示例]
[0497]通过包括如下配置对第一实施例至第六实施例进行了描述:图像传感器的像素阵列具有图2(a)中示出的RGBW像素阵列；以及基于图像传感器输出来执行用于将RGBW像素阵列转换成具有RGB阵列的拜耳阵列的阵列转换。
[0498]然而，在不限于来自图像传感器具有图2 (a)中示出的RGBW像素阵列的输出的情况下，根据每种实施例的上述处理也可以应用于具有其他像素阵列的传感器输出图像。
[0499]将参照图36至图38对本公开的处理可以应用于的像素阵列的示例进行描述。
[0500]图36示出了本公开的处理可以应用于的具有6X6像素循环的RGBW像素阵列的示例。
[0501]图36(1)中示出的像素阵列示例I指示与图2(a)中的上述RGBW像素阵列相同的阵列。
[0502]顺序地从第一行开始，
[0503](第一行)重复RWGWBW,
[0504](第二行)重复WRWGWB，
[0505](第三行)重复GWBWRW，
[0506](第四行)重复WGWBWR,
[0507](第五行)重复BWRWGW，以及
[0508](第六行)重复WBWRWG。
[0509]之后，在从第七行开始的行中，重复上述第一行至第六行。
[0510]每行和每列被配置成使得:在其之间内插一个W像素，并且顺序地布置每个RGB像素。在图36(1)中示出的6X6 = 36个像素内，1/2被设置成18个W像素，1/6被设置成6个R像素，1/6被设置成6个G像素，以及1/6被设置成6个B像素。
[0511]图36(2)中示出的像素阵列示例2指示本公开的处理可以应用于的具有6X6像素循环的RGBW像素阵列的另一阵列。
[0512]顺序地从第一行开始，
[0513](第一行)重复RWGWBW,
[0514](第二行)重复WRWGWB，
[0515](第三行)重复BWRWGW，
[0516](第四行)重复WBWRWG,
[0517](第五行)重复GWBWRW，以及
[0518](第六行)重复WGWBWR。
[0519]之后，在从第七行开始的行中，重复上述第一行至第六行。
[0520]每行和每列被配置成使得:在其之间内插一个W像素，并且顺序地布置每个RGB像素。在图36(2)中示出的6X6 = 36个像素内，1/2被设置成18个W像素，1/6被设置成6个R像素，1/6被设置成6个G像素，以及1/6被设置成6个B像素。
[0521]图37(3)中示出的像素阵列示例3是本公开的处理可以应用于的具有6X4像素循环的RGBW像素阵列的阵列示例。
[0522]顺序地从第一行开始，
[0523](第一行)重复RWGWBW,
[0524](第二行)重复WRWGWB，
[0525](第三行)重复GWBWRW，以及
[0526](第四行)重复WGWBWR。
[0527]之后，在从第五行开始的行中，重复上述第一行至第四行。
[0528]每行被配置成使得:在其之间内插一个W像素，并且顺序地布置每个RGB像素。在图37 (3)中示出的6 X 4 = 24个像素内，1/2被设置成12个W像素，1/6被设置成4个R像素，1/6被设置成4个G像素，以及1/6被设置成4个B像素。
[0529]图37(4)中示出的像素阵列示例4是本公开的处理可以应用于的具有6X4像素循环的RGBW像素阵列的另一阵列示例。
[0530]顺序地从第一行开始，
[0531](第一行)重复RWGWBW,
[0532](第二行)重复WGWRWB，
[0533](第三行)重复RWBWGW，以及
[0534](第四行)重复WGWRWB。
[0535]之后，在从第五行开始的行中，重复上述第一行至第四行。
[0536]每行被配置成使得:在其之间内插一个W像素，并且顺序地布置每个RGB像素。在图37(4)中示出的6X4 = 24个像素内，1/2被设置成12个W像素，1/6被设置成4个R像素，1/6被设置成4个G像素，以及1/6被设置成4个B像素。
[0537]图37(5)中示出的像素阵列示例5是本公开的处理可以应用于的具有4X6像素循环的RGBW像素阵列的阵列示例。
[0538]顺序地从第一行开始，
[0539](第一行)重复RWGW，
[0540](第二行)重复WRWG，
[0541 ](第三行)重复GWBW，
[0542](第四行)重复WGWB，
[0543](第五行)重复BWRW，以及
[0544](第六行)重复WBWR。
[0545]之后，在从第七行开始的行中，重复上述第一行至第六行。
[0546]每列被配置成使得:在其之间内插一个W像素，并且顺序地布置每个RGB像素。在图37 (5)中示出的4X 6 = 24个像素内，1/2被设置成12个W像素，1/6被设置成4个R像素，1/6被设置成4个G像素，以及1/6被设置成4个B像素。
[0547]图38(6)中示出的像素阵列示例6是本公开的处理可以应用于的具有6X2像素循环的RGBW像素阵列的阵列示例。
[0548]顺序地从第一行开始，
[0549](第一行)重复RWGWBW，以及
[0550](第二行)重复WRWGWB。
[0551]之后，在从第三行开始的行中，重复上述第一行至第二行。
[0552]每行被配置成使得:在其之间内插一个W像素，并且顺序地布置每个RGB像素。在图38(6)中示出的6X2 = 12个像素内，1/2被设置成6个W像素，1/6被设置成2个R像素，1/6被设置成2个G像素，以及1/6被设置成2个B像素。
[0553]图38(7)中示出的像素阵列示例7是本公开的处理可以应用于的具有2X6像素循环的RGBW像素阵列的阵列示例。
[0554]顺序地从第一列开始，
[0555](第一列)重复RWGWBW，以及
[0556](第二列)重复WRWGWB。
[0557]之后，在从第三列开始的列中，重复上述第一列至第二列。
[0558]每列被配置成使得:在其之间内插一个W像素，并且顺序地布置每个RGB像素。在图38(7)中示出的2X6 = 12个像素内，1/2被设置成6个W像素，1/6被设置成2个R像素，1/6被设置成2个G像素，以及1/6被设置成2个B像素。
[0559]例如，根据第一至第六实施例的上述处理也可以应用于具有图36至图38中的像素阵列示例I至7中的任一个像素阵列的图像传感器的输出。
[0560][8.根据本公开的配置的概述]
[0561]至此，已参照具体的实施例详细描述了本公开的实施例。然而，明显的是，本领域中的普通技术人员可以在不偏离本公开的精神的范围内做出对实施例的修改和替换。也就是说，本发明以示例的形式公开，但是不应当被理解为限制性的。为了确定本公开的精神，应当参照所附权利要求。
[0562]本文中所公开的技术可以利用下面的配置。
[0563](I)提供了一种图像处理设备，其包括图像传感器和图像处理单元。该图像传感器具有包括RGB像素和W像素的RGBW阵列，所述RGB像素是对应于每种RGB颜色的波长光的光接收元件，所述W像素是基本上接收所有RGB波长光的光接收元件。该图像处理单元通过输入由从所述图像传感器输出的RGBW像素信号形成的传感器图像来执行图像处理。图像传感器具有由每个RGBW像素形成的单位组成的周期性阵列，以及具有所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列。图像处理单元对由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换，并且执行用于生成RGB阵列图像的阵列转换处理或用于生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
[0564](2)在上述(I)中所公开的图像处理设备中，图像处理单元具有对由所述RGBW像素信号形成的所述传感器图像的所述像素阵列进行转换，并且生成由拜耳阵列形成的所述RGB阵列图像的阵列转换单元。阵列转换单元具有W像素内插单元、RGBW像素生成单元和相关性处理单元，所述W像素内插单元通过在所述传感器图像的RGB像素位置处设置所述W像素来生成全部W像素图像信号；所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来针对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
[0565](3)在上述(2)中所公开的图像处理设备中，W像素内插单元通过应用所述传感器图像的所述W像素的像素值来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值。
[0566](4)在上述(I)至⑶中任一项中所公开的图像处理设备中，图像处理单元具有去马赛克处理单元，所述去马赛克处理单元对所述传感器图像执行去马赛克处理，并且生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号。去马赛克处理单元具有W像素内插单元、RGBff像素生成单元和相关性处理单元，所述W像素内插单元通过在所述传感器图像的RGB像素位置处设置所述W像素来生成全部W像素图像信号；所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号。
[0567](5)在上述(4)中所公开的图像处理设备中，W像素内插单元通过应用所述传感器图像的所述W像素的像素值来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值。
[0568](6)在上述(4)或(5)中所公开的图像处理设备中，图像处理单元具有线性矩阵处理单元，所述线性矩阵处理单元对由所述去马赛克处理单元生成的每个RGB图像信号执行应用预设矩阵的像素值转换。
[0569](7)图像处理单元具有去马赛克处理单元，所述去马赛克处理单元对所述传感器图像执行去马赛克处理，并且生成其中对于所述传感器图像的每个像素位置设置全部RGB和W像素值的每个RGBW图像信号。去马赛克处理单元具有W像素内插单元、RGBW像素生成单元和相关性处理单元，所述W像素内插单元通过在所述传感器图像的RGB像素位置处设置所述W像素来生成全部W像素图像信号；所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号。
[0570](8)在上述(7)中所公开的图像处理设备中，图像处理单元具有线性矩阵处理单元，所述线性矩阵处理单元对由所述去马赛克处理单元生成的每个RGBW图像信号执行应用预设矩阵的像素值转换。
[0571](9)在上述(I)至(8)中任一项中所公开的图像处理设备中，图像传感器被配置成:输出具有在倾斜方向上彼此相邻的相同颜色像素值的相加像素值的图像作为所述传感器图像。图像处理单元具有阵列转换单元，该阵列转换单元对被配置成具有所述相加像素值且由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换并且生成由拜耳阵列形成的RGB阵列图像。阵列转换单元具有RGBW像素生成单元和相关性处理单元，所述RGBff像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入作为所述传感器图像输出的所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
[0572](10)在上述⑴至(9)中任一项中所公开的图像处理设备中，图像传感器被配置成:输出包括根据控制单元的控制所设置的长时间曝光像素和短时间曝光像素的图像作为所述传感器图像。图像处理单元具有阵列转换单元，所述阵列转换单元通过应用包括所述长时间曝光像素和所述短时间曝光像素的所述传感器图像来生成高动态范围(HDR)图像，并且通过对所述像素阵列进行转换来生成由拜耳阵列形成的RGB阵列HDR图像。阵列转换单元具有W像素内插单元、RGBff像素生成单元、HDR组成处理单元和相关性处理单元，所述W像素内插单元通过应用所述传感器图像的长时间曝光像素信号来生成对于所有像素位置设置长时间曝光W像素的全部W像素长时间曝光图像，并且通过应用所述传感器图像的短时间曝光像素信号来生成对于所有像素位置设置短时间曝光W像素的全部W像素短时间曝光图像；所述RGBW像素生成单元通过应用所述传感器图像的所述长时间曝光像素信号来在每个像素位置处生成作为每个长时间曝光RGBW像素信号的低频信号的长时间曝光RGBW相应低频信号，并且通过应用所述传感器图像的所述短时间曝光像素信号来在每个像素位置处生成作为每个短时间曝光RGBW像素信号的低频信号的短时间曝光RGBW相应低频信号；所述HDR组成处理单元通过输入所述全部W像素长时间曝光图像、所述全部W像素短时间曝光图像、所述长时间曝光RGBW相应低频信号和所述短时间曝光RGBW相应低频信号来生成作为所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号；以及所述相关性处理单元输入作为由HDR组成处理单元生成的所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
[0573](11)在上述(10)中所公开的图像处理设备中，HDR组成处理单元通过根据曝光比率调整增益之后所获得的所述短时间曝光像素信号和所述长时间曝光像素信号的混合处理来计算所述高动态范围(HDR)图像的组成像素值。
[0574](12)在上述(10)或(11)中所公开的图像处理设备中，W像素内插单元通过应用所述传感器图像的所述长时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述长时间曝光W像素的所述全部W像素长时间曝光图像。该W像素内插单元通过应用所述传感器图像的所述短时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述短时间曝光W像素的所述全部W像素短时间曝光图像。
[0575](13)在上述⑴至(12)中任一项中所公开的图像处理设备中，在图像传感器中，长时间曝光像素行和短时间曝光像素行两行根据控制单元的控制被交替地设置。图像传感器被配置成:输出由具有在以两行为单位的所述长时间曝光像素行的倾斜方向上彼此相邻的相同颜色像素值的相加像素值的长时间曝光像素信号和具有在以两行为单位的所述短时间曝光像素行的倾斜方向上彼此相邻的相同颜色像素值的相加像素值的短时间曝光像素信号形成的图像作为所述传感器图像。图像处理单元具有阵列转换单元，所述阵列转换单元通过应用包括所述长时间曝光像素和所述短时间曝光像素的所述传感器图像来生成高动态范围(HDR)图像，并且通过对所述像素阵列进行转换来生成由拜耳阵列形成的RGB阵列HDR图像。阵列转换单元具有W像素内插单元、RGBff像素生成单元、HDR组成处理单元和相关性处理单元，所述W像素内插单元通过应用所述传感器图像的长时间曝光像素信号来生成对于所有像素位置设置长时间曝光W像素的全部W像素长时间曝光图像，并且通过应用所述传感器图像的短时间曝光像素信号来生成对于所有像素位置设置短时间曝光W像素的全部W像素短时间曝光图像；所述RGBW像素生成单元通过应用所述传感器图像的所述长时间曝光像素信号来在每个像素位置处生成作为每个长时间曝光RGBW像素信号的低频信号的长时间曝光RGBW相应低频信号，并且通过应用所述传感器图像的所述短时间曝光像素信号来在每个像素位置处生成作为每个短时间曝光RGBW像素信号的低频信号的短时间曝光RGBW相应低频信号；所述HDR组成处理单元通过输入所述全部W像素长时间曝光图像、所述全部W像素短时间曝光图像、所述长时间曝光RGBW相应低频信号和所述短时间曝光RGBW相应低频信号来生成作为所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号；以及所述相关性处理单元输入作为由所述HDR组成处理单元生成的所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号，通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
[0576](14)在上述(13)中所公开的图像处理设备中，HDR组成处理单元通过根据曝光比率调整增益之后所获得的所述短时间曝光像素信号和所述长时间曝光像素信号的混合处理来计算所述高动态范围(HDR)图像的组成像素值。
[0577](15)在上述(13)或(14)中所公开的图像处理设备中，W像素内插单元通过应用所述传感器图像的所述长时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述长时间曝光W像素的所述全部W像素长时间曝光图像。W像素内插单元通过应用所述传感器图像的所述短时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述短时间曝光W像素的所述全部W像素短时间曝光图像。
[0578](16)提供了一种包括RGBW阵列的成像装置。该RGBW阵列包括作为对应于每种RGB颜色的波长光的光接收元件的RGB像素和作为基本上接收所有RGB波长光的光接收元件的W像素。图像传感器具有由每个RGBW像素形成的单位组成的周期性阵列，并且具有其中所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列。
[0579](17)在上述(16)中所公开的成像装置中，成像装置具有其中6X6个像素、6X4个像素或6X2个像素适于作为所述单位组成的所述周期性阵列。单位组成内的每个RGBW像素的所述组成比率为
[0580](18)在上述(16)或(17)中所公开的成像装置中，成像装置具有在每列和每行中布置每个RGBW像素的组成。
[0581]此外，上述设备中执行的处理方法以及使上述设备执行该处理的程序也包括在本公开的配置中。
[0582]另外，本文中所描述的一系列处理可以通过使用硬件或软件或替代地通过使用硬件与软件的组合配置来执行。当该处理通过使用软件来执行时，该处理可以通过将处理顺序记录的程序安装到合并在专用硬件中的计算机内部的存储器中或替代地通过将程序安装到可以执行各种类型的处理的通用计算机中来执行。例如，程序可以预先被记录在记录介质中。除了程序被从记录介质安装到计算机中的情况以外，程序可以通过经由网络如局域网(LAN)和互联网接收程序被安装到记录介质如嵌入式硬盘中。
[0583]本文中所公开的各种类型的处理不限于以根据本公开的时间序列执行处理的情况。可以取决于装置的处理能力或视需要并行或单独地执行处理。另外，本文中所描述的系统为多个设备的逻辑且集中的配置，具有每种配置的设备不必然被布置在同一壳体内部。
[0584]工业应用性
[0585]如上所述，根据本公开的实施例的配置，提供了通过输入RGBW图像来生成具有较少的颜色噪声或较少的伪色的RGB图像的设备和方法。
[0586]具体地，设备包括具有RGBW阵列的图像传感器和通过输入由从图像传感器输出的RGBW像素信号形成的传感器图像来执行图像处理的图像处理单元。图像传感器具有由每个RGBW像素形成的单位组成的周期性阵列，并且具有单位组成内的每个RGB像素的组成比率适于彼此相同的阵列。图像处理单元对由RGBW像素信号形成的传感器图像的像素阵列进行转换，并且执行用于生成RGB阵列图像的阵列转换处理或用于生成对于传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
[0587]在本公开的配置中，统一地设置图像传感器的每单位组成的相应RGB像素的数量。因此，当对于每个像素位置设置每种RGB颜色的像素值时，可以从参考区域充分地获得每种颜色的像素值。因此，可以相对于每个像素位置非常精确地对每种RGB颜色执行设置处理，从而可以生成具有较少的颜色噪声或较少的伪色的RGB图像。
[0588]附图标记列表
[0589]100图像处理设备
[0590]101 透镜
[0591]102图像传感器(成像装置)
[0592]103传感器图像
[0593]104阵列转换单元
[0594]105拜耳阵列图像
[0595]106相机信号处理单元
[0596]107输出图像
[0597]108控制单元
[0598]122垂直扫描电路
[0599]123水平扫描电路
[0600]124 像素
[0601]131水平重置线
[0602]132水平选择线
[0603]133垂直信号线
[0604]134信号输出线
[0605]151W像素内插单元
[0606]152RGBW像素生成单元
[0607]153相关性处理单元
[0608]171方向滤波器
[0609]172边缘方向检测单元
[0610]173滤波器选择单元
[0611]181像素生成单元
[0612]191输出颜色选择单元
[0613]192相关性计算单元
[0614]200图像处理设备
[0615]201透镜
[0616]202图像传感器(成像装置)
[0617]203传感器图像
[0618]204相机信号处理单元
[0619]205输出图像
[0620]206控制单元
[0621]211白平衡处理单元
[0622]212去马赛克处理单元
[0623]213线性矩阵处理单元
[0624]214伽马转换单元
[0625]220增益信息
[0626]221坐标信息
[0627]222输入颜色增益选择单元
[0628]223增益处理单元
[0629]224削波处理单元
[0630]231W像素内插单元
[0631]232RGBW像素生成单元
[0632]233相关性处理单元
[0633]251相关性计算单元
[0634]261矩阵计算单元
[0635]271伽马转换单元
[0636]400图像处理设备
[0637]401透镜
[0638]402图像传感器(成像装置)
[0639]403传感器图像
[0640]404阵列转换单元
[0641]405拜耳阵列图像
[0642]406相机信号处理单元
[0643]407输出图像
[0644]408控制单元
[0645]451RGBW像素生成单元
[0646]452相关性处理单元
[0647]500图像处理设备
[0648]501透镜
[0649]502图像传感器(成像装置)
[0650]503传感器图像
[0651]504阵列转换单元
[0652]505拜耳阵列HDR图像
[0653]506灰度转换单元
[0654]507灰度转换HDR图像
[0655]508相机信号处理单元
[0656]509输出图像
[0657]510控制单元
[0658]551W像素内插单元
[0659]552RGBff图像生成单元
[0660]553HDR组成处理单元
[0661]554相关性处理单元
[0662]571方向滤波器
[0663]572边缘方向检测单元
[0664]573滤波器选择单元
[0665]590曝光比率信息
[0666]595曝光比率增益调整单元
[0667]596混合比率计算单元
[0668]597混合处理单元
[0669]600图像处理设备
[0670]601透镜
[0671]602图像传感器(成像装置)
[0672]603传感器图像
[0673]604阵列转换单元
[0674]605拜耳阵列HDR图像
[0675]606灰度转换单元
[0676]607灰度转换HDR图像
[0677]608相机信号处理单元
[0678]609输出图像
[0679]610控制单元
[0680]651W像素内插单元
[0681]652RGBW像素生成单元
[0682]653HDR照片组成处理单元
[0683]654相关性处理单元
[0684]671方向滤波器
[0685]672边缘方向检测单元
[0686]673滤波器选择单元
【权利要求】
1.一种图像处理设备，包括: 图像传感器，该图像传感器具有包括RGB像素和W像素的RGBW阵列，所述RGB像素是对应于每种RGB颜色的波长光的光接收元件，所述W像素是基本上接收所有RGB波长光的光接收元件；以及 图像处理单元，通过输入由从所述图像传感器输出的RGBW像素信号形成的传感器图像来执行图像处理， 其中，所述图像传感器具有由每个RGBW像素形成的单位组成的周期性阵列，以及具有所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列，以及 其中，所述图像处理单元对由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换，并且执行用于生成RGB阵列图像的阵列转换处理或用于生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
2.根据权利要求1所述的图像处理设备， 其中，所述图像处理单元具有对由所述RGBW像素信号形成的所述传感器图像的所述像素阵列进行转换，并且生成由拜耳阵列形成的所述RGB阵列图像的阵列转换单元，以及 其中，所述阵列转换单元具有W像素内插单元、RGBW像素生成单元和相关性处理单元，所述W像素内插单元通过在所述传感器图像的RGB像素位置处设置所述W像素来生成全部W像素图像信号；所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来针对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
3.根据权利要求2所述的图像处理设备， 其中，所述W像素内插单元通过应用所述传感器图像的所述W像素的像素值来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值。
4.根据权利要求1所述的图像处理设备， 其中，所述图像处理单元具有去马赛克处理单元，所述去马赛克处理单元对所述传感器图像执行去马赛克处理，并且生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号，以及 其中，所述去马赛克处理单元具有W像素内插单元、RGBff像素生成单元和相关性处理单元，所述W像素内插单元通过在所述传感器图像的RGB像素位置处设置所述W像素来生成全部W像素图像信号；所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号。
5.根据权利要求4所述的图像处理设备， 其中，所述W像素内插单元通过应用所述传感器图像的所述W像素的像素值来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值。
6.根据权利要求4所述的图像处理设备， 其中，所述图像处理单元具有线性矩阵处理单元，所述线性矩阵处理单元对由所述去马赛克处理单元生成的每个RGB图像信号执行应用预设矩阵的像素值转换。
7.根据权利要求1所述的图像处理设备， 其中，所述图像处理单元具有去马赛克处理单元，所述去马赛克处理单元对所述传感器图像执行去马赛克处理，并且生成其中对于所述传感器图像的每个像素位置设置全部RGB和W像素值的每个RGBW图像信号，以及 其中，所述去马赛克处理单元具有W像素内插单元、RGBff像素生成单元和相关性处理单元，所述W像素内插单元通过在所述传感器图像的RGB像素位置处设置所述W像素来生成全部W像素图像信号；所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBW相应低频信号；以及所述相关性处理单元输入所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号。
8.根据权利要求7所述的图像处理设备， 其中，所述图像处理单元具有线性矩阵处理单元，所述线性矩阵处理单元对由所述去马赛克处理单元生成的每个RGBW图像信号执行应用预设矩阵的像素值转换。
9.根据权利要求1所述的图像处理设备， 其中，所述图像传感器被配置成:输出具有在倾斜方向上彼此相邻的相同颜色像素值的相加像素值的图像作为所述传感器图像， 其中，所述图像处理单元具有阵列转换单元，该阵列转换单元对被配置成具有所述相加像素值且由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换并且生成由拜耳阵列形成的RGB阵列图像，以及 其中，所述阵列转换单元具有RGBW像素生成单元和相关性处理单元，所述RGBW像素生成单元在所述传感器图像的每个像素位置处生成作为每个RGBW像素信号的低频信号的RGBff相应低频信号；以及所述相关性处理单元输入作为所述传感器图像输出的所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
10.根据权利要求1所述的图像处理设备， 其中，所述图像传感器被配置成:输出包括根据控制单元的控制所设置的长时间曝光像素和短时间曝光像素的图像作为所述传感器图像， 其中，所述图像处理单元具有阵列转换单元，所述阵列转换单元通过应用包括所述长时间曝光像素和所述短时间曝光像素的所述传感器图像来生成高动态范围(HDR)图像，并且通过对所述像素阵列进行转换来生成由拜耳阵列形成的RGB阵列HDR图像，以及 其中，所述阵列转换单元具有W像素内插单元、RGBW像素生成单元、HDR组成处理单元和相关性处理单元，所述W像素内插单元通过应用所述传感器图像的长时间曝光像素信号来生成对于所有像素位置设置长时间曝光W像素的全部W像素长时间曝光图像，并且通过应用所述传感器图像的短时间曝光像素信号来生成对于所有像素位置设置短时间曝光W像素的全部W像素短时间曝光图像；所述RGBW像素生成单元通过应用所述传感器图像的所述长时间曝光像素信号来在每个像素位置处生成作为每个长时间曝光RGBW像素信号的低频信号的长时间曝光RGBW相应低频信号，并且通过应用所述传感器图像的所述短时间曝光像素信号来在每个像素位置处生成作为每个短时间曝光RGBW像素信号的低频信号的短时间曝光RGBW相应低频信号；所述HDR组成处理单元通过输入所述全部W像素长时间曝光图像、所述全部W像素短时间曝光图像、所述长时间曝光RGBW相应低频信号和所述短时间曝光RGBW相应低频信号来生成作为所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号；以及所述相关性处理单元输入作为由HDR组成处理单元生成的所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号，并且通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
11.根据权利要求10所述的图像处理设备， 其中，所述HDR组成处理单元通过根据曝光比率调整增益之后所获得的所述短时间曝光像素信号和所述长时间曝光像素信号的混合处理来计算所述高动态范围(HDR)图像的组成像素值。
12.根据权利要求10所述的图像处理设备， 其中，所述W像素内插单元通过应用所述传感器图像的所述长时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述长时间曝光W像素的所述全部W像素长时间曝光图像，并且 其中，所述W像素内插单元通过应用所述传感器图像的所述短时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述短时间曝光W像素的所述全部W像素短时间曝光图像。
13.根据权利要求1所述的图像处理设备， 其中，在所述图像传感器中，长时间曝光像素行和短时间曝光像素行两行根据控制单元的控制被交替地设置， 其中，所述图像传感器被配置成:输出由具有在以两行为单位的所述长时间曝光像素行的倾斜方向上彼此相邻的相同颜色像素值的相加像素值的长时间曝光像素信号和具有在以两行为单位的所述短时间曝光像素行的倾斜方向上彼此相邻的相同颜色像素值的相加像素值的短时间曝光像素信号形成的图像作为所述传感器图像， 其中，所述图像处理单元具有阵列转换单元，所述阵列转换单元通过应用包括所述长时间曝光像素和所述短时间曝光像素的所述传感器图像来生成高动态范围(HDR)图像，并且通过对所述像素阵列进行转换来生成由拜耳阵列形成的RGB阵列HDR图像，以及 其中，所述阵列转换单元具有W像素内插单元、RGBW像素生成单元、HDR组成处理单元和相关性处理单元，所述W像素内插单元通过应用所述传感器图像的长时间曝光像素信号来生成对于所有像素位置设置长时间曝光W像素的全部W像素长时间曝光图像，并且通过应用所述传感器图像的短时间曝光像素信号来生成对于所有像素位置设置短时间曝光W像素的全部W像素短时间曝光图像；所述RGBW像素生成单元通过应用所述传感器图像的所述长时间曝光像素信号来在每个像素位置处生成作为每个长时间曝光RGBW像素信号的低频信号的长时间曝光RGBW相应低频信号，并且通过应用所述传感器图像的所述短时间曝光像素信号来在每个像素位置处生成作为每个短时间曝光RGBW像素信号的低频信号的短时间曝光RGBW相应低频信号；所述HDR组成处理单元通过输入所述全部W像素长时间曝光图像、所述全部W像素短时间曝光图像、所述长时间曝光RGBW相应低频信号和所述短时间曝光RGBW相应低频信号来生成作为所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号；以及所述相关性处理单元输入作为由所述HDR组成处理单元生成的所述高动态范围(HDR)图像的所述全部W像素图像信号和所述RGBW相应低频信号，通过基于所述W像素和所述RGB像素具有正相关性的估计计算像素值来对所述传感器图像的组成像素执行阵列转换和生成所述拜耳阵列的RGB图像。
14.根据权利要求13所述的图像处理设备， 其中，所述HDR组成处理单元通过根据曝光比率调整增益之后所获得的所述短时间曝光像素信号和所述长时间曝光像素信号的混合处理来计算所述高动态范围(HDR)图像的组成像素值。
15.根据权利要求13所述的图像处理设备， 其中，所述W像素内插单元通过应用所述传感器图像的所述长时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述长时间曝光W像素的所述全部W像素长时间曝光图像，以及 其中，所述W像素内插单元通过应用所述传感器图像的所述短时间曝光W像素信号来检测边缘方向，并且通过将存在于所检测到的边缘方向上的像素视为参考像素来确定内插像素位置处的W像素值来生成对于所有像素位置设置所述短时间曝光W像素的所述全部W像素短时间曝光图像。
16.一种成像装置，包括: RGBff阵列，包括作为对应于每种RGB颜色的波长光的光接收元件的RGB像素和作为基本上接收所有RGB波长光的光接收元件的W像素， 其中，所述图像传感器具有由每个RGBW像素形成的单位组成的周期性阵列，并且具有其中所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列。
17.根据权利要求16所述的成像装置， 其中，所述成像装置具有其中6X6个像素、6 X 4个像素或6X2个像素适于作为所述单位组成的所述周期性阵列，以及 其中，所述单位组成内的每个RGBW像素的所述组成比率为1: 1: 1: 3。
18.根据权利要求16所述的成像装置， 其中，所述成像装置具有在每列和每行中布置每个RGBW像素的组成。
19.一种在图像处理设备中执行的图像处理方法， 其中，所述图像处理设备具有图像处理单元，所述图像处理单元对作为成像装置的输出的传感器图像执行图像处理，所述成像装置具有由每个RGBW像素形成的单位组成的周期性阵列以及具有所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列，所述单位组成包括作为对应于每种RGB颜色的波长光的光接收元件的RGB像素和作为基本上接收所有RGB波长光的光接收元件的W像素，以及 其中，所述图像处理单元对由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换，并且执行用于生成RGBW阵列图像的阵列转换处理或用于生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
20.一种使图像处理设备执行图像处理的程序， 其中，所述图像处理设备具有图像处理单元，所述图像处理单元对作为成像装置的输出的传感器图像执行图像处理，所述成像装置具有由每个RGBW像素形成的单位组成的周期性阵列以及具有所述单位组成内的每个RGB像素的组成比率适于彼此相同的阵列，所述单位组成包括作为对应于每种RGB颜色的波长光的光接收元件的RGB像素和作为基本上接收所有RGB波长光的光接收元件的W像素，以及 其中，所述图像处理单元对由所述RGBW像素信号形成的所述传感器图像的像素阵列进行转换，并且执行用于生成RGBW阵列图像的阵列转换处理或用于生成其中对于所述传感器图像的每个像素位置设置全部RGB像素值的每个RGB图像信号的信号处理中至少任一处理。
【文档编号】H04N9/07GK104170376SQ201280071623
【公开日】2014年11月26日 申请日期:2012年12月26日 优先权日:2012年3月27日
【发明者】海津俊 申请人:索尼公司
最新回复(0)