用于数字摄影的焦点、曝光和白平衡的增强型自动调节的方法和装置制造方法
用于数字摄影的焦点、曝光和白平衡的增强型自动调节的方法和装置制造方法
【专利摘要】描述了一种方法、装置和计算机程序，其中从具有图像传感器的相机单元(310)接收信号，该图像传感器(310)具有多个图像检测器。该信号包括接收自对应于第一图像区域的第一像素检测器的第一信号以及接收自对应于包围第一图像区域的第二图像区域的第二像素检测器的第二信号。基于该第一信号对设置群组中的相机设置进行自动控制(340)。该设置群组包括对焦控制、曝光控制和白平衡控制中的至少一个。基于该第二信号预测该设置群组中的变化。检测第一图像区域中的变化，并且将其用来对该设置群组中的相机设置的自动控制(340)进行调适。向该相机单元(310)输出控制信号以对该设置群组的相机设置进行控制。
【专利说明】用于数字摄影的焦点、曝光和白平衡的增强型自动调节的方法和装置
【技术领域】
[0001]本申请总体上涉及数字摄影中的对焦、曝光和白平衡的增强型自动调节。
【背景技术】
[0002]在数字摄影中，通常通过将来自对象的光通过物镜和红外(IR)过滤器送到诸如CMOS或CCD单元的图像传感器或图像捕获单元上。该图像捕获单元通常包括数百万个用于像素感应元件以用于形成数字图像的相对应像素。现代的数字相机通常具有自动对焦控制(AF)、自动曝光(AE)即调光快门的开启调节以及自动白平衡调节(AWB)以便产生好看的图像。
[0003]在数字相机的研发期间，已经对以上所提到的AF、AE和AWB中的每一个进行了很多改进。通常，它们仍然进行操作以使得一个或多个感兴趣的对象在图像传感器所产生的图像中被识别并且随后对图像捕获单元进行调节以对感兴趣对象的外观进行优化。例如，能够基于脸部的特色特征来检测脸部，对焦点进行调节而使得脸部的焦点对准，例如使得相邻点之间的对比度处于最大值。可以对曝光进行控制而使得利用合理的快门周期和放大器增益来控制传感器输出的敏感度(对应于ISO设置)，图像的像素被充分照亮而使得图像的暗淡部分能够被感知同时图像的明亮部分的像素不会被过度照亮。对白平衡进行调节而使得图像的颜色看上去将是自然的。例如，在图像传感器的三个不同颜色通道中所测量的比例光线强度能够与预先设置的表征典型光源的参数进行比较。随后，对每个颜色通道的像素亮度进行调节以便对自然光所导致的典型偏差进行补偿。
[0004]AF、AE和AWB的调节通常按循环执行，其中数字摄像的这三个不同的重要因素得以被逐步调节。在视频成像中，经常避免快速变化以便避免所产生的视频连续镜头的不良外观。
【发明内容】
[0005]权利要求中给出了本发明各个方面的示例。
[0006]然而，发明人意识到，在静态成像中，每个图像独立于其它图像观看并且快速调适对焦、曝光和白平衡而使得能够成功进行更大比例的快速拍摄将会是有利的。本发明的一些示例方面和实施例采用了这一想法。
[0007]根据本发明的第一示例方面，提供了一种装置，包括:
[0008]输入，被配置为从具有图像传感器的相机单元接收信号，该图像传感器具有多个图像检测器，该信号包括接收自对应于第一图像区域的第一像素检测器的第一信号以及接收自对应于包围第一图像区域的第二图像区域的第二像素检测器的第二信号；
[0009]至少一个处理器，其被配置为:
[0010]从该输入接收该第一和第二信号；
[0011]基于该第一信号对包括对焦控制、曝光控制和白平衡控制中的至少一个的设置群组中的相机设置进行自动控制；
[0012]基于该第二信号预测该设置群组中的变化；以及
[0013]检测第一图像区域中的变化，并且使用所预测的变化对该设置群组中的相机设置的自动控制进行调适；以及
[0014]输出，其被配置为向该相机单元输出被配置为对该设置群组的相机设置进行控制的控制信号。
[0015]该第一图像区域中的变化可以包括图像传感器可看到的视场变化。
[0016]该第一图像区域中的变化可以包括数字摇摄。在数字摇摄中，该第一图像区域可以关于该第一图像区域和第二图像区域所覆盖的总区域进行移动。
[0017]根据本发明的第二示例方面，提供了一种方法，包括:
[0018]从具有图像传感器的相机单元接收信号，该图像传感器具有多个图像检测器，该信号包括接收自对应于第一图像区域的第一像素检测器的第一信号以及接收自对应于包围第一图像区域的第二图像区域的第二像素检测器的第二信号；
[0019]基于该第一信号对包括焦点控制、曝光控制和白平衡控制中的至少一个的设置群组中的相机设置进行自动控制；
[0020]基于该第二信号预测该设置群组中的变化；
[0021]检测第一图像区域中的变化并且使用所预测的变化对该设置群组中的相机设置的自动控制进行调适；以及
[0022]向相机单元输出被配置为对该设置群组的相机设置进行控制的控制信号。
[0023]根据本发明的第三示例方面，提供了一种包括计算机可执行程序代码的计算机程序，其被配置为使得装置在执行该程序代码时执行第二示例方面的方法。
[0024]根据本发明的第四示例方面，提供了一种存储第三示例方面的计算机程序的计算机可读存储器介质。
[0025]根据本发明的第五示例方面，提供了一种利用指令进行编码的计算机可读存储器介质，当被计算机所执行时，该指令执行第二示例方面的方法的步骤。
[0026]根据本发明的第六示例方面，提供了一种装置，包括:
[0027]输入装置，其用于从具有图像传感器的相机单元接收信号，该图像传感器具有多个图像检测器，该信号包括接收自对应于第一图像区域的第一像素检测器的第一信号以及接收自对应于包围第一图像区域的第二图像区域的第二像素检测器的第二信号；
[0028]至少一个处理器装置，其包括:
[0029]用于从输入接收该第一和第二信号的装置；
[0030]用于基于该第一信号对包括焦点控制、曝光控制和白平衡控制中的至少一个的设置群组中的相机设置进行自动控制的装置；
[0031]用于基于该第二信号预测该设置群组中的变化的装置；以及
[0032]用于检测第一图像区域中的变化并且使用所预测的变化对该设置群组中的相机设置的自动控制进行调适的装置；以及
[0033]输出装置，用于向该相机单元输出被配置为对该设置群组的相机设置进行控制的控制信号。
[0034]以上任意的存储器介质可以包括数字数据存储，诸如数据盘或碟、光学存储、磁性存储、全息存储、光学-磁性存储、相位变化存储器、电阻式随机访问存储器、磁性随机访问存储器、固态电解质存储器、铁电随机访问存储器、有机存储器或聚合物存储器。该存储器介质可以被形成到除了容纳存储器之外没有其它实质性功能的设备之中，或者其可以被形成为具有其它功能的设备的一部分，包括但并不局限于计算机、芯片组和电子设备的子配件的存储器。
[0035]上文中已经阐述了本发明的不同非限定性示例方面和实施例。以上实施例仅被用于解释可以在本发明的实施方式中采用的所选择方面或步骤。
[0036]本发明的一些示例实施例可以仅由本文中的详细描述所表示，和/或仅参考本发明的某些示例方面来表示。应当意识到的是，与一个示例方面或一个实施例相关的实施例也可以应用于其它示例方面或实施例。
【专利附图】
【附图说明】
[0037]为了更为完整地理解本发明的示例实施例，现在参考以下集合附图所进行的描述，其中:
[0038]图1示出了用作能够利用其对本发明的一些示例实施例进行解释的基准的示意性系统；
[0039]图2示出了根据示例实施例的将图像传感器划分为各个图像分区的图示；
[0040]图3示出了根据示例实施例的数字相机的一些功能部件的示意性框图；
[0041]图4图示了根据示例实施例的用于预测性3A调节的系统；
[0042]图5、6和7图示了根据示例实施例的通过图像摇摄所导致的动态图像内容变化的示例；
[0043]图8图示了根据示例实施例的具有动态图像分割的相机控制过程；
[0044]图9、10和11图示了根据示例实施例的动态分割的示例；
[0045]图12示出了本发明的示例实施例的装置1200的框图；并且
[0046]图13示出了本发明的示例实施例的相机单元1260的框图。
【具体实施方式】
[0047]本发明的示例实施例及其潜在优势通过参考附图中的图1至13而被理解。
[0048]接下来将对各个示例进行描述以对本发明的不同示例实施例进行描述。这些实施例的结构可以以许多方式进行变化，并且首先给出在其中描述实施例的基本系统，随后讨论根据不同示例实施例的各种操作并且最后解释这些操作能够利用其得以实施的各种结构将使得描述更为简单和清楚。
[0049]图1示出了用作能够利用其对本发明的一些示例实施例进行解释的基准的示意性系统100。系统100包括设备110，诸如相机电话、游戏设备、安全相机设备、个人数字助理或具有相机单元120的数字相机，该相机单元120具有视场130。设备110进一步包括显示器140。图1还示出了被相机单元120进行成像的成像对象150以及诸如成像对象之后的窗帘的背景160。
[0050]在图1中，成像对象150与成像对象150处的视场相比相对很小。在成像对象150旁边是连续的背景160。虽然该设置绝非是必要的，但是其用来对图1以及本发明的一些示例实施例的描述进行简化。
[0051]图2示出了将图像传感器(参考图13)划分为各个图像分区的图示。图像传感器的整个图像区域包括规则矩阵中的M列和N行的图像分区。每个图像分区包括多个像素检测器。在整个图像区域C内，具有对应于产生当前数字相机图像的图像传感器部分的第一图像区域A。在第一图像区域A周围，具有处于整个区域C内的第二区域B。第一图像区域A和第二图像区域B内的像素检测器分别被称作第一图像检测器和第二图像检测器。第一图像区域也被称作输出帧区域的输出区域。第二图像区域也被称作预测区域。
[0052]最为常见的相机参数集被称作3A，这是指自动对焦(AF)、自动曝光(AE)和自动白平衡(AWB)。在一些现有的闭环3A系统中:
[0053].自动曝光(AE)系统(在伽马校正之前)从传感器收集亮度数据并且以AE为目标控制曝光时间、模拟增益和光圈；
[0054].自动对焦(AF)(在边缘增强之前)收集对焦数值并且针对所期望的图像平面利用致动器驱动光学器件，或者针对所期望的焦点值驱动AF电机；
[0055].自动白平衡在白平衡之后收集色彩统计并且针对所期望的白平衡而控制色彩增.、/■
Mo
[0056]在一些数字相机中，有固定对焦或手工对焦而根本没有自动对焦。而且，有可能关闭自动曝光和/或自动白平衡控制。因此，在控制回路中所调节的相机设置在这里被称之为设置群组，其包括对焦、曝光和白平衡设置中的一个或多个。注意到，白平衡可以在伽马校正和影响色彩柱状图的色调映射类型的非线性操作之前的不同图像后期处理部分中进行收集，但是根据处理管道实施方式，基于针对多种算法联合收集的图像统计而作为处理链的一部分对白平衡进行补偿可能会是有利的。例如，在一些示例实施例中，图像传感器产生具有比所使用的图像文件的格式或者中间数据总线或其它组件所支持的更大的位深度的色彩。
[0057]图3示出了数字相机的一些功能部件的示意性框图。光线通过物镜到达相机感应310，并且导致像素信号得以形成并被提供至相机预处理320。在预处理中，通过对该像素信号进行模数转换而形成像素。相机预处理320和相机后处理330也被称作图像管道或相机处理管道350。
[0058]像素被提供至输出图像后处理330，在那里根据像素形成图像。该图像例如根据用户为图像所选择的纵横比(诸如16:11、3:2或4:3)所形成和/或被压缩和/或在数字相机支持的情况下根据所期望效果进行处理(诸如棕褐色)。
[0059]相机控制回路340由相机控制功能340所形成，后者从相机传感器接收第一和第二信号。在一些示例实施例中，相机控制功能340接收图像传感器(1264)的所有像素检测器的像素。为了理解以下实施例，能够假设整个图像区域C(图2)并不存在或者第二区域始终向整个图像区域C的外边缘进行延伸。为了解释另外的相机控制功能340，转向图4至7。
[0060]图4图示了用于预测性3A调节的系统。相机感应(例如，图像传感器)利用当前的相机参数捕获图像。所捕获的图像被送至图像处理管道350。管道350将图像内容提供至图像分割模块420，后者将图像分割为确定性的图像分区。在一个示例实施例中，图像分区独立于图像内容进行定义。这样的独立于内容的图像分区被图示为矩形块Xij或者图2还有图5中的宏像素。在模块430中，对每个图像分区针对预测性3A控制计算图像参数以便预测下一个输出帧。图5例示了仅有整个图像区域C中的一部分被用作包围所预测输出区域A输出的预测区域B的情形。在最终的输出图像帧A与整个图像区域C相比相当小时，减小预测区域B的大小可以降低计算负荷。当应用明显的图像裁切时，被减小的预测区域可以为典型的相机移动、图像缩放和数字图像稳定化提供充分的信息。在一些其它示例实施例中，或当最终输出帧的大小接近于整个图像区域C时，整个图像区域C可以被用作预测区域B。
[0061]并行地，在图4的示例实施例中，相机处理管道350为图像帧预测器440提供图像数据以便对下一个输出帧的位置和大小进行估计。在典型情况下，图像帧的位置和大小并不逐帧完全变化。诸如数字图像稳定化或图像缩放之类的算法可以导致这些参数逐帧的调节。在预测器440中计算预测帧A的位置以估计下一个图像帧的位置。借助所预测的输出帧位置，能够在下一个模块450中执行输出图像参数统计的计算。例如通过根据应用依赖于输出帧位置空间权重而计算图像参数统计。例如，能够使用检测冬季照片中的天空或雪的较为明亮的亮度以便基于所预测的下一个输出帧位置进行环境自适应的自动曝光(AE)的已知算法。
[0062]所收集的从输出帧区域A所计算的图像参数统计被送至预测性相机控制模块340，其为了捕获下一个输出帧而提前调节诸如3A参数之类的相机参数。
[0063]发明人已经认识到，在数字成像应用中，相机速度对于良好的用户体验经常是关键的。例如为孩子所拍摄的多幅照片图像由于缓慢的相机动作而仅有部分能够在图像中可见。这种问题的一个重要原因是基于相机设置和图像内容调节相机参数的相机控制回路的延迟。由于用户经常移动相机，所以图像内容是动态变化的，这就需要相机控制参数的反复调节。
[0064]传统的相机控制系统基于所捕获的图像对相机参数进行控制。在图4所示的本发明的示例实施例中，通过使用接收自包围当前输出帧的图像区域的空间图像信息，输出帧的未来位置、以及来自当前图像信息的图像内容的相机参数被估计。因此，能够提前预测图像内容的空间变化。结果，可以避免数字图像中各种无法复原的错误。
[0065]例如，无法对设置群组参数进行调节会容易非常严重地破坏图像质量，以至于并没有后期处理能够修复成像链的预处理阶段所损失的质量。例如，如果图像被严重地过度曝光，则图像包含极少能够通过后期处理进行增强的细节。
[0066]发明人还认识到，在实际的成像情形中，图像内容可以在空间图像场景中大幅变化。例如，如果在例如朝向太阳的背光情景中拍摄照片(见图6和7)，则相机方位非常小的变化都会导致相机曝光参数的明显变化，这是因为相机传感器无法捕获到图像场景的整个动态范围。类似地，室内照片可以具有例如由主要在最接近相机的对象处看到的闪光灯、窗口处的自然光和给定对象附近的明亮的卤素聚光灯所形成的非常大幅变化的亮度。因此，图像合成在何种类型的相机参数对于手头的照片而言最优的方面扮演着重要角色。类似地，在视频捕获期间，相机例如在摇摄期间的移动会导致3A参数的快速变化，如果3A控制回路过于缓慢，这就会变得非常麻烦。
[0067]图5、6和7图示了图像摇摄所导致的动态图像内容变化的示例。
[0068]在图5中，当前输出帧的图像区域A在图像区域中并不包括太阳310。然而，预测区域B和整个图像区域C 二者具有有关太阳310的信息。
[0069]图6图示了其中输出帧位置被预测为处于A’的预测步骤。在这种情况下，预测输出帧位置A’中的图像分区被用来预测正确的相机参数，诸如所预测的下一个输出帧位置的声音曝光(AE)。接下来，能够将预测区域B更新至新的位置B’，并且能够基于所更新的预测位置来预测下一个输出帧位置A"。该过程能够逐帧重复进行。
[0070]根据相机感应的实现，可能在空间上对相机传感器1264进行控制并且对不同图像区域应用不同相机控制参数。本发明并不被相机传感器所能够部分或完全独立地进行控制的不同区域的数量或形状所限制。
[0071]在一个实施例中，该分区还例如通过改变图像分区的大小和/或数量而基于图像内容进行调节。
[0072]在示例实施例中，相机控制功能340查看预测区域B并产生校正参数。该校正参数在一个示例中与给定图像分区相关联而使得当所考虑的该图像分区成为第一图像区域的成员时，相关联的校正参数就被用来加速相机处理的校正。例如，(第二图像区域中)明亮阳光处的图像分区将事先与适于针对变化后的第一图像区域A’快速调适的曝光控制校正参数相关联。
[0073]在太阳或其它主导性光源的特定情况下，在一个实施例中从分区实际与之相对应的明亮度和形状推导出太阳或其它不可能期望的成像对象的图像或图像部分。由于太阳通常并非是拍摄的对象，所以能够事先设置校正参数以防止利用AE控制进行的正常调光而避免可能的对象(诸如，例如处于附图标记A’处的孩子)在图像中变得非常暗。另一方面，如果太阳从相机背后照射、并且在图5至7中的太阳的位置存在浅色对象，则该浅色对象能够被相机控制功能340事先确定为可能的感兴趣成像对象。在这样的情况下，校正参数将被设置为利用指令加速AE控制以在该浅色对象b在第一图像区域中变为可见时缩短曝光时间或光圈。
[0074]相机控制340还向相机系统的其它部分发送信息以例如改变或调适相机程序。其一个示例将是激活闪光灯的使用以在背光情况下对大幅亮度差异进行补偿。
[0075]与曝光的调节相同，可以在可能感兴趣的对象在(经改变的)第一图像区域A’中变为可见时调节对焦。一种用于检测可能感兴趣的对象的已知技术是脸部识别。可能结合第一图像区域，能够使用第二图像区域在脸部在第一图像区域中变为可见之前很早就检测到该脸部。此外，利用更多时间，能够如一个示例实施例中那样对图像对象的边缘进行追踪以便推断出新的可能感兴趣的图像对象是否处于对焦范围中和/或对焦应该向哪个方向进行变化以便对焦到新的可能感兴趣的图像对象。在使用二级距离测量单元的情况下，如在一个示例实施例中那样，能够事先测量到可能感兴趣的图像对象的距离进行测量而并不影响当前的对焦。
[0076]在一个示例实施例中，从图像传感器(1264)所提供的三个颜色通道确定白平衡。由于白平衡可能随着图像传感器(1264)所看到的视场而变化，所以在一个示例实施例中，白平衡基于表示第一图像区域A的第一像素检测器的不同颜色通道的信号的比例强度进行设置。假设太阳出现在通过窗户的第二图像区域中并且大部分的第一图像区域A都被明亮的荧光或卤素光源所照亮。白平衡将被相应地进行设置以适应最不真实的照明。另一方面，在改变后的第一图像区域A’上，图像的左侧部分将被阳光大幅影响。利用简单的白平衡调节，阳光会是主导的，并且白平衡会随从第一图像区域A移动至变化后的第一图像区域A’而相应变化。
[0077]在一个示例实施例中，诸如太阳之类的强光源被相机控制功能340在第二图像区域所看到。伴随相对长的可用时间，例如经过取景器140上产生几个连续图像帧的时间段，相机控制功能在一个示例实施例中确定该强光源对于可能感兴趣的图像对象的可能影响。如果没有找到其它图像对象，则该强光源自身就是可能的图像对象并且相应地针对相对应的图像分区设置白平衡校正参数。然而，如果找到了相对远离强光源或者处于远低于表示几乎未被该强光源照亮的明显更低的光线处可能的感兴趣图像对象，则相机控制功能340设置相关联的校正参数以强制忽略该强光源对于白平衡调节的影响。在该示例实施例中，改变后的第一区域的图像在太阳处会看上去并不自然，但是大部分图像还是会过度曝光为白色而使得白平衡的影响始终很小。除此之外，现在使用更好地适合于图像的该部分的色温来对可能感兴趣的图像对象进行成像，并且与另外的方式相比在主观图像质量方面的结构应当明显更好。
[0078]图8图示了具有根据示例实施例的动态图像分割的相机控制过程。在预测框810中，基于图像内容形成图像分区。每个图像分区例如被选择从而定义一个图像对象。该图像对象可以是静止的或移动的。
[0079]图9、10和11图不了根据实施例的动态分割的不例。汽车被分割为对象分区Xi j并且分割算法逐帧追踪对象和图像分区。类似于图4的示例实施例，针对每个分区计算图像参数。随着图像分区在图像区域中进行移动，除了预测输出帧位置A’之外，该算法进一步预测810完全或部分位于预测输出帧A’之内的活动(active)图像分区。整个图像区域对于划分为隔离对象而言可能是不切实际的。因此，可以将背景对象定义为所要追踪的对象之一。如图4，能够针对包含图像分区的预测帧位置而计算图像参数统计。该图像参数统计随后被送往预测性相机控制(3A)以用于下一个图像帧的相机控制参数的调节。基于动态分割的预测性相机控制例如能够在固定相机装置中使用，其对具有移动对象的静态场景进行监视，诸如监视相机或护照隔间相机(passport booth camera)。
[0080]在图9中，识别出图像分区Xij进入输出图像区域A。在图10中，估计对应于分区Xi j’的对象的移动以及下一个输出帧A’的位置。通过相对应地预测输出帧位置A"和对象分区Xij"而针对ITUll的情形重复该过程。该矢量图示了预测性自动对焦功能，其检测对象并且针对在输出帧区域A内可见的对象预测性相机的对焦参数。在该示例中，没有单独的预测区域B，而是针对整个图像区域进行对象预测，即B = C。
[0081]图像分区的图像参数的预测计算随后能够被重复用于后续图像的图像分区。
[0082]图12示出了本发明的示例实施例的装置1200的框图。装置1200适于作为设备110进行操作。装置1200包括通信接口 1220，耦合至通信接口模块1220的处理器1210，以及耦合至处理器1210的存储器1240。存储器1240包括工作存储器和非易失性存储器，诸如只读存储器、闪存、光学或磁性存储器。在存储器1240中，通常至少最初在非易失性存储器中，存储有可操作以加载到处理器1210中并且由其执行的软件1250。软件1250可以包括一个或多个软件模块并且可以为计算机程序产品的形式，该计算机程序产品是存储在存储器介质中的软件。该装置1200进一步包括均耦合至处理器的相机单元1260和取景器1270。
[0083]将要理解的是，本文中的任意耦合都是指功能或操作耦合；在所耦合的部件之间可能存在中介组件或电路。
[0084]通信接口模块1220被配置为通过一个或多个本地链路提供通信。该链路可以是有线和/或无线链路。通信接口 1220可以进一步或可替换地实施适用于与其它用户建立链路或者用于进行数据传输(例如使用互联网)的电信链路。这样的电信链路可以是使用任意的无线局域网链路、蓝牙、超宽带、蜂窝或卫星通信链路的链路。通信接口 1220可以被集成到装置1200中，或者集成到可以插入装置1200的适当插槽或端口中的适配器、卡等之中。虽然图12示出了一个通信接口 1220，但是该装置可以包括多个通信接口 1220。
[0085]处理器1210例如是中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、图形处理器、专用集成电路(ASIC)、现场可编程门阵列、微控制器或者这样的部件的组合。图12示出了一个处理器1210，但是装置1200可以包括多个处理器。
[0086]如上文中所提到的，存储器1240可以包括易失性和非易失性存储器，诸如只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、随机访问存储器(RAM)、闪存、数据盘、光学存储、磁性存储、智能卡等。在一些示例实施例中，装置1200中仅具有易失性或非易失性存储器。此外，在一些示例实施例中，该装置包括多个存储器。在一些示例实施例中，各种部件是集成的。例如，存储器1240可以被构建为装置1200的一部分或者被插入到插槽、端口等之中。再另外的，存储器1240可以用于单纯的存储数据的目的，或者其可以被构建为用于诸如处理数据的其它目的的装置的一部分。对于其它部件也可以想到类似选项。
[0087]本领域技术人员意识到，除了图12中所示出的部件之外，装置1200可以包括其它部件，诸如麦克风、显示器以及附加电路，后者诸如另外的输入/输出(I/O)电路、存储器芯片、专用集成电路(ASIC)、诸如源编码/解码电路的用于具体用途的处理电路、通道编码/解码电路、加密/解密电路等。此外，装置1200可以包括用于在外部电源不可用的情况下对该装置进行供电的可丢弃或可更换的电池(未示出)。
[0088]意识到本文中所使用的术语装置的范围有所变化同样是有用的。在一些更为宽泛的权利要求和示例中，装置可以仅是至图12中所给出的特征的子集或者甚至在没有任何图12中的特征的情况下得以实施。在一个示例实施例中，术语装置是指处理器1210。
[0089]图13示出了本发明的示例实施例的相机单元1260的框图。相机单元1260包括物镜1261 (objective)，被配置为调节物镜1261的对焦的自动对焦单元1262，可选机械快门1263,图像传感器1264以及输入和/或输出1265。相机单兀1260在一个不例实施例中被配置为从自动对焦单元1262输出自动对焦信息。在一个示例实施例中,相机单元还被配置为通过1/01265接收相机控制设置。
[0090]相机单元1260在一个示例实施例中进一步包括相机控制功能1266。
[0091]本发明的实施例可以以软件、硬件、应用逻辑或者软件、硬件和应用逻辑的组合来实施。在示例实施例中，应用逻辑、软件或指令集保存在各种常规计算机可读介质中的任意一个上。在本文的上下文中，“计算机可读介质”可以是能够包含、存储、通信、传播或传输指令以便由诸如计算机的指令执行系统、装置或设备所使用或者结合其使用的任意介质或装置，其中图12中描述并描绘了计算机的一个示例。计算机可读介质可以包括计算机可读存储介质，其可以是能够包含或存储指令以便由诸如计算机的指令执行系统、装置或设备所使用或者结合其使用的任意介质或装置。
[0092]如果需要，这里所讨论的不同功能可以以不同顺序来执行和/或彼此同时执行。此外，如果需要，以上所提到的一个或多个功能可以是可选的或者进行组合。
[0093]虽然在独立权利要求中给出了本发明的各个方面，但是本发明的其它方面包括来自所描述实施例和/或从属权利要求的特征与独立权利要求的特征的其它组合，而并非仅是权利要求中明确给出的组合。
[0094]这里还要注意的是，虽然以上描述了本发明的示例实施例，但是这些描述并不应当以限制的含义加以看待。相反，可以进行若干的变化和修改而并不背离如所附权利要求中所定义的本发明的范围。
【权利要求】
1.一种装置，包括: 输入，被配置为从具有图像传感器的相机单元接收信号，所述图像传感器具有多个图像检测器，所述信号包括接收自对应于第一图像区域的第一像素检测器的第一信号以及接收自对应于包围所述第一图像区域的第二图像区域的第二像素检测器的第二信号； 至少一个处理器，被配置为: 从所述输入接收所述第一信号和所述第二信号； 基于所述第一信号对包括对焦控制、曝光控制和白平衡控制中的至少一个的设置群组中的相机设置进行自动控制； 基于所述第二信号预测所述设置群组中的变化；以及 检测所述第一图像区域中的变化，并且使用预测的所述变化对所述设置群组中的所述相机设置的自动控制进行调适；以及 输出，被配置为向所述相机单元输出被配置为对所述设置群组的所述相机设置进行控制的控制信号。
2.根据权利要求1所述的装置，其中: 所述至少一个处理器进一步被配置为预测所述第一信号和所述第二信号的变化；并且 所述至少一个处理器进一步被配置为基于预测的所述第一信号和所述第二信号的变化而执行对所述设置群组中的所述变化的所述预测。
3.根据权利要求2所述的装置，其中所述至少一个处理器进一步被配置为至少根据所述第一信号和所述第二信号中的另一个来检测图像对象中的变化，并且在对所述设置群组中的所述变化的所述预测中使用检测到的所述图像对象中的所述变化。
4.根据权利要求1至3中任一项所述的装置，其中所述第一图像区域中的所述变化包括所述图像处理器可见的视场变化。
5.根据权利要求1至3中任一项所述的装置，其中所述第一图像区域中的所述变化包括数字摇摄。
6.根据权利要求1至3中任一项所述的装置，其中所述第一图像区域中的所述变化包括图像对象的变化。
7.根据权利要求1至3中任一项所述的装置，其中所述第二图像区域接收自多个所述第一像素检测器，其数量至少为所述第二像素检测器的数量的50 %。
8.根据任一前述权利要求所述的装置，其中所述至少一个处理器进一步被配置为基于所述第一图像区域和所述第二图像区域中的图像内容而针对所述第一图像区域和所述第二图像区域形成分区。
9.根据任一前述权利要求所述的装置，进一步包括所述图像传感器。
10.根据任一前述权利要求所述的装置，其中所述至少一个处理器进一步被配置为追踪图像对象，并且相对应地改变所述第一图像区域。
11.根据任一前述权利要求所述的装置，其中所述至少一个处理器进一步被配置为执行图像分割，并且针对所述图像分割中形成的图像分区来计算图像参数。
12.根据权利要求11所述的装置，其中所述至少一个处理器进一步被配置为预测下一第二图像区域位置。
13.根据权利要求11所述的装置，其中所述至少一个处理器进一步被配置为在与所述图像分割的并行处理中预测下一第二图像区域位置。
14.根据权利要求12或13所述的装置，其中所述至少一个处理器被配置为基于计算的所述图像参数和预测的所述第二图像区域位置执行对所述设置群组中的所述变化的所述预测。
15.根据权利要求11所述的装置，其中所述至少一个处理器进一步被配置为针对下一第二图像区域预测活动图像分区。
16.根据权利要求11所述的装置，其中所述至少一个处理器进一步被配置为在与所述图像分割的并行处理中针对下一第二图像区域预测活动图像分区。
17.根据权利要求15或16所述的装置，其中所述至少一个处理器进一步被配置为基于计算的所述图像参数和预测的所述第二图像区域位置执行对所述设置群组中的所述变化的所述预测。
18.—种方法,包括: 从具有图像传感器的相机单元接收信号，所述图像传感器具有多个图像检测器，所述信号包括接收自对应于第一图像区域的第一像素检测器的第一信号以及接收自对应于包围所述第一图像区域的第二图像区域的第二像素检测器的第二信号； 基于所述第一信号对包括对焦控制、曝光控制和白平衡控制中的至少一个的设置群组中的相机设置进行自动控制； 基于所述第二信号预测所述设置群组中的变化； 检测所述第一图像区域中的变化并且使用预测的所述变化对所述设置群组中的所述相机设置的所述自动控制进行调适；以及 向所述相机单元输出被配置为对所述设置群组的所述相机设置进行控制的控制信号。
19.根据权利要求18所述的方法，进一步包括: 预测所述第一信号和所述第二信号的变化；以及 基于预测的所述第一信号和所述第二信号的所述变化而执行对所述设置群组中的所述变化的所述预测。
20.根据权利要求19所述的方法，进一步包括: 根据所述第一信号和所述第二信号中的另一个来检测图像对象中的变化；以及 在对所述设置群组中的所述变化的所述预测中使用检测到的所述图像对象中的所述变化。
21.根据权利要求18至20中任一项所述的方法，其中所述第一图像区域中的所述变化包括所述图像处理器可见的视场变化。
22.根据权利要求18至21中任一项所述的方法，其中所述第一图像区域中的所述变化包括数字摇摄。
23.根据权利要求18至21中任一项所述的方法，其中所述第一图像区域中的所述变化包括图像对象的变化。
24.根据权利要求18至21中任一项所述的方法，其中所述第二图像区域接收自多个所述第一像素检测器，其数量至少为所述第二像素检测器的数量的50 %。
25.根据权利要求18至24中任一项所述的方法，进一步包括基于所述第一图像区域和所述第二图像区域中的图像内容而针对所述第一图像区域和所述第二图像区域形成分区。
26.根据权利要求18至25中任一项所述的方法，其中所述至少一个处理器进一步被配置为追踪图像对象，并且相对应地改变所述第一图像区域。
27.根据权利要求18至21中任一项所述的方法，进一步包括: 执行图像分割；以及 针对所述图像分割中形成的图像分区计算图像参数。
28.根据权利要求27所述的方法，进一步包括预测下一第二图像区域位置。
29.根据权利要求27所述的方法，进一步包括在与所述图像分割的并行处理中预测下一第二图像区域位置。
30.根据权利要求28或29所述的方法，进一步包括基于计算的所述图像参数和预测的所述第二图像区域位置执行对所述设置群组中的所述变化的所述预测。
31.根据权利要求30所述的方法，进一步包括针对下一第二图像区域预测活动图像分区。
32.根据权利要求30所述的方法，进一步包括在与所述图像分割的并行处理中针对下一第二图像区域预测活动图像分区。
33.根据权利要求31或32所述的方法，进一步包括基于计算的所述图像参数和预测的所述第二图像区域位置执行对所述设置群组中的所述变化的所述预测。
34.一种计算机程序，当所述计算机程序在处理器上运行时，包括: 用于从具有图像传感器的相机单元接收信号的代码，所述图像传感器具有多个图像检测器，所述信号包括接收自对应于第一图像区域的第一像素检测器的第一信号以及接收自对应于包围所述第一图像区域的第二图像区域的第二像素检测器的第二信号； 用于基于所述第一信号对包括对焦控制、曝光控制和白平衡控制中的至少一个的设置群组中的相机设置进行自动控制的代码； 用于基于所述第二信号预测所述设置群组中的变化的代码； 用于检测所述第一图像区域中的变化并且使用预测的所述变化对所述设置群组中的所述相机设置的所述自动控制进行调适的代码；以及 用于向所述相机单元输出被配置为对所述设置群组的所述相机设置进行控制的控制信号的代码。
35.根据权利要求34所述的计算机程序，进一步包括用于在所述计算机程序在处理器上运行时执行根据权利要求18至33中任一项所述的方法的代码。
36.根据权利要求34或35所述的计算机程序，其中所述计算机程序是包括计算机可读介质的计算机程序产品，所述计算机可读介质承载有被具体化于其中以与计算机一起使用的计算机程序代码。
【文档编号】H04N9/73GK104137529SQ201280069593
【公开日】2014年11月5日 申请日期:2012年2月13日 优先权日:2012年2月13日
【发明者】M·阿玛莱南 申请人:诺基亚公司
【专利摘要】描述了一种方法、装置和计算机程序，其中从具有图像传感器的相机单元(310)接收信号，该图像传感器(310)具有多个图像检测器。该信号包括接收自对应于第一图像区域的第一像素检测器的第一信号以及接收自对应于包围第一图像区域的第二图像区域的第二像素检测器的第二信号。基于该第一信号对设置群组中的相机设置进行自动控制(340)。该设置群组包括对焦控制、曝光控制和白平衡控制中的至少一个。基于该第二信号预测该设置群组中的变化。检测第一图像区域中的变化，并且将其用来对该设置群组中的相机设置的自动控制(340)进行调适。向该相机单元(310)输出控制信号以对该设置群组的相机设置进行控制。
【专利说明】用于数字摄影的焦点、曝光和白平衡的增强型自动调节的方法和装置
【技术领域】
[0001]本申请总体上涉及数字摄影中的对焦、曝光和白平衡的增强型自动调节。
【背景技术】
[0002]在数字摄影中，通常通过将来自对象的光通过物镜和红外(IR)过滤器送到诸如CMOS或CCD单元的图像传感器或图像捕获单元上。该图像捕获单元通常包括数百万个用于像素感应元件以用于形成数字图像的相对应像素。现代的数字相机通常具有自动对焦控制(AF)、自动曝光(AE)即调光快门的开启调节以及自动白平衡调节(AWB)以便产生好看的图像。
[0003]在数字相机的研发期间，已经对以上所提到的AF、AE和AWB中的每一个进行了很多改进。通常，它们仍然进行操作以使得一个或多个感兴趣的对象在图像传感器所产生的图像中被识别并且随后对图像捕获单元进行调节以对感兴趣对象的外观进行优化。例如，能够基于脸部的特色特征来检测脸部，对焦点进行调节而使得脸部的焦点对准，例如使得相邻点之间的对比度处于最大值。可以对曝光进行控制而使得利用合理的快门周期和放大器增益来控制传感器输出的敏感度(对应于ISO设置)，图像的像素被充分照亮而使得图像的暗淡部分能够被感知同时图像的明亮部分的像素不会被过度照亮。对白平衡进行调节而使得图像的颜色看上去将是自然的。例如，在图像传感器的三个不同颜色通道中所测量的比例光线强度能够与预先设置的表征典型光源的参数进行比较。随后，对每个颜色通道的像素亮度进行调节以便对自然光所导致的典型偏差进行补偿。
[0004]AF、AE和AWB的调节通常按循环执行，其中数字摄像的这三个不同的重要因素得以被逐步调节。在视频成像中，经常避免快速变化以便避免所产生的视频连续镜头的不良外观。
【发明内容】
[0005]权利要求中给出了本发明各个方面的示例。
[0006]然而，发明人意识到，在静态成像中，每个图像独立于其它图像观看并且快速调适对焦、曝光和白平衡而使得能够成功进行更大比例的快速拍摄将会是有利的。本发明的一些示例方面和实施例采用了这一想法。
[0007]根据本发明的第一示例方面，提供了一种装置，包括:
[0008]输入，被配置为从具有图像传感器的相机单元接收信号，该图像传感器具有多个图像检测器，该信号包括接收自对应于第一图像区域的第一像素检测器的第一信号以及接收自对应于包围第一图像区域的第二图像区域的第二像素检测器的第二信号；
[0009]至少一个处理器，其被配置为:
[0010]从该输入接收该第一和第二信号；
[0011]基于该第一信号对包括对焦控制、曝光控制和白平衡控制中的至少一个的设置群组中的相机设置进行自动控制；
[0012]基于该第二信号预测该设置群组中的变化；以及
[0013]检测第一图像区域中的变化，并且使用所预测的变化对该设置群组中的相机设置的自动控制进行调适；以及
[0014]输出，其被配置为向该相机单元输出被配置为对该设置群组的相机设置进行控制的控制信号。
[0015]该第一图像区域中的变化可以包括图像传感器可看到的视场变化。
[0016]该第一图像区域中的变化可以包括数字摇摄。在数字摇摄中，该第一图像区域可以关于该第一图像区域和第二图像区域所覆盖的总区域进行移动。
[0017]根据本发明的第二示例方面，提供了一种方法，包括:
[0018]从具有图像传感器的相机单元接收信号，该图像传感器具有多个图像检测器，该信号包括接收自对应于第一图像区域的第一像素检测器的第一信号以及接收自对应于包围第一图像区域的第二图像区域的第二像素检测器的第二信号；
[0019]基于该第一信号对包括焦点控制、曝光控制和白平衡控制中的至少一个的设置群组中的相机设置进行自动控制；
[0020]基于该第二信号预测该设置群组中的变化；
[0021]检测第一图像区域中的变化并且使用所预测的变化对该设置群组中的相机设置的自动控制进行调适；以及
[0022]向相机单元输出被配置为对该设置群组的相机设置进行控制的控制信号。
[0023]根据本发明的第三示例方面，提供了一种包括计算机可执行程序代码的计算机程序，其被配置为使得装置在执行该程序代码时执行第二示例方面的方法。
[0024]根据本发明的第四示例方面，提供了一种存储第三示例方面的计算机程序的计算机可读存储器介质。
[0025]根据本发明的第五示例方面，提供了一种利用指令进行编码的计算机可读存储器介质，当被计算机所执行时，该指令执行第二示例方面的方法的步骤。
[0026]根据本发明的第六示例方面，提供了一种装置，包括:
[0027]输入装置，其用于从具有图像传感器的相机单元接收信号，该图像传感器具有多个图像检测器，该信号包括接收自对应于第一图像区域的第一像素检测器的第一信号以及接收自对应于包围第一图像区域的第二图像区域的第二像素检测器的第二信号；
[0028]至少一个处理器装置，其包括:
[0029]用于从输入接收该第一和第二信号的装置；
[0030]用于基于该第一信号对包括焦点控制、曝光控制和白平衡控制中的至少一个的设置群组中的相机设置进行自动控制的装置；
[0031]用于基于该第二信号预测该设置群组中的变化的装置；以及
[0032]用于检测第一图像区域中的变化并且使用所预测的变化对该设置群组中的相机设置的自动控制进行调适的装置；以及
[0033]输出装置，用于向该相机单元输出被配置为对该设置群组的相机设置进行控制的控制信号。
[0034]以上任意的存储器介质可以包括数字数据存储，诸如数据盘或碟、光学存储、磁性存储、全息存储、光学-磁性存储、相位变化存储器、电阻式随机访问存储器、磁性随机访问存储器、固态电解质存储器、铁电随机访问存储器、有机存储器或聚合物存储器。该存储器介质可以被形成到除了容纳存储器之外没有其它实质性功能的设备之中，或者其可以被形成为具有其它功能的设备的一部分，包括但并不局限于计算机、芯片组和电子设备的子配件的存储器。
[0035]上文中已经阐述了本发明的不同非限定性示例方面和实施例。以上实施例仅被用于解释可以在本发明的实施方式中采用的所选择方面或步骤。
[0036]本发明的一些示例实施例可以仅由本文中的详细描述所表示，和/或仅参考本发明的某些示例方面来表示。应当意识到的是，与一个示例方面或一个实施例相关的实施例也可以应用于其它示例方面或实施例。
【专利附图】
【附图说明】
[0037]为了更为完整地理解本发明的示例实施例，现在参考以下集合附图所进行的描述，其中:
[0038]图1示出了用作能够利用其对本发明的一些示例实施例进行解释的基准的示意性系统；
[0039]图2示出了根据示例实施例的将图像传感器划分为各个图像分区的图示；
[0040]图3示出了根据示例实施例的数字相机的一些功能部件的示意性框图；
[0041]图4图示了根据示例实施例的用于预测性3A调节的系统；
[0042]图5、6和7图示了根据示例实施例的通过图像摇摄所导致的动态图像内容变化的示例；
[0043]图8图示了根据示例实施例的具有动态图像分割的相机控制过程；
[0044]图9、10和11图示了根据示例实施例的动态分割的示例；
[0045]图12示出了本发明的示例实施例的装置1200的框图；并且
[0046]图13示出了本发明的示例实施例的相机单元1260的框图。
【具体实施方式】
[0047]本发明的示例实施例及其潜在优势通过参考附图中的图1至13而被理解。
[0048]接下来将对各个示例进行描述以对本发明的不同示例实施例进行描述。这些实施例的结构可以以许多方式进行变化，并且首先给出在其中描述实施例的基本系统，随后讨论根据不同示例实施例的各种操作并且最后解释这些操作能够利用其得以实施的各种结构将使得描述更为简单和清楚。
[0049]图1示出了用作能够利用其对本发明的一些示例实施例进行解释的基准的示意性系统100。系统100包括设备110，诸如相机电话、游戏设备、安全相机设备、个人数字助理或具有相机单元120的数字相机，该相机单元120具有视场130。设备110进一步包括显示器140。图1还示出了被相机单元120进行成像的成像对象150以及诸如成像对象之后的窗帘的背景160。
[0050]在图1中，成像对象150与成像对象150处的视场相比相对很小。在成像对象150旁边是连续的背景160。虽然该设置绝非是必要的，但是其用来对图1以及本发明的一些示例实施例的描述进行简化。
[0051]图2示出了将图像传感器(参考图13)划分为各个图像分区的图示。图像传感器的整个图像区域包括规则矩阵中的M列和N行的图像分区。每个图像分区包括多个像素检测器。在整个图像区域C内，具有对应于产生当前数字相机图像的图像传感器部分的第一图像区域A。在第一图像区域A周围，具有处于整个区域C内的第二区域B。第一图像区域A和第二图像区域B内的像素检测器分别被称作第一图像检测器和第二图像检测器。第一图像区域也被称作输出帧区域的输出区域。第二图像区域也被称作预测区域。
[0052]最为常见的相机参数集被称作3A，这是指自动对焦(AF)、自动曝光(AE)和自动白平衡(AWB)。在一些现有的闭环3A系统中:
[0053].自动曝光(AE)系统(在伽马校正之前)从传感器收集亮度数据并且以AE为目标控制曝光时间、模拟增益和光圈；
[0054].自动对焦(AF)(在边缘增强之前)收集对焦数值并且针对所期望的图像平面利用致动器驱动光学器件，或者针对所期望的焦点值驱动AF电机；
[0055].自动白平衡在白平衡之后收集色彩统计并且针对所期望的白平衡而控制色彩增.、/■
Mo
[0056]在一些数字相机中，有固定对焦或手工对焦而根本没有自动对焦。而且，有可能关闭自动曝光和/或自动白平衡控制。因此，在控制回路中所调节的相机设置在这里被称之为设置群组，其包括对焦、曝光和白平衡设置中的一个或多个。注意到，白平衡可以在伽马校正和影响色彩柱状图的色调映射类型的非线性操作之前的不同图像后期处理部分中进行收集，但是根据处理管道实施方式，基于针对多种算法联合收集的图像统计而作为处理链的一部分对白平衡进行补偿可能会是有利的。例如，在一些示例实施例中，图像传感器产生具有比所使用的图像文件的格式或者中间数据总线或其它组件所支持的更大的位深度的色彩。
[0057]图3示出了数字相机的一些功能部件的示意性框图。光线通过物镜到达相机感应310，并且导致像素信号得以形成并被提供至相机预处理320。在预处理中，通过对该像素信号进行模数转换而形成像素。相机预处理320和相机后处理330也被称作图像管道或相机处理管道350。
[0058]像素被提供至输出图像后处理330，在那里根据像素形成图像。该图像例如根据用户为图像所选择的纵横比(诸如16:11、3:2或4:3)所形成和/或被压缩和/或在数字相机支持的情况下根据所期望效果进行处理(诸如棕褐色)。
[0059]相机控制回路340由相机控制功能340所形成，后者从相机传感器接收第一和第二信号。在一些示例实施例中，相机控制功能340接收图像传感器(1264)的所有像素检测器的像素。为了理解以下实施例，能够假设整个图像区域C(图2)并不存在或者第二区域始终向整个图像区域C的外边缘进行延伸。为了解释另外的相机控制功能340，转向图4至7。
[0060]图4图示了用于预测性3A调节的系统。相机感应(例如，图像传感器)利用当前的相机参数捕获图像。所捕获的图像被送至图像处理管道350。管道350将图像内容提供至图像分割模块420，后者将图像分割为确定性的图像分区。在一个示例实施例中，图像分区独立于图像内容进行定义。这样的独立于内容的图像分区被图示为矩形块Xij或者图2还有图5中的宏像素。在模块430中，对每个图像分区针对预测性3A控制计算图像参数以便预测下一个输出帧。图5例示了仅有整个图像区域C中的一部分被用作包围所预测输出区域A输出的预测区域B的情形。在最终的输出图像帧A与整个图像区域C相比相当小时，减小预测区域B的大小可以降低计算负荷。当应用明显的图像裁切时，被减小的预测区域可以为典型的相机移动、图像缩放和数字图像稳定化提供充分的信息。在一些其它示例实施例中，或当最终输出帧的大小接近于整个图像区域C时，整个图像区域C可以被用作预测区域B。
[0061]并行地，在图4的示例实施例中，相机处理管道350为图像帧预测器440提供图像数据以便对下一个输出帧的位置和大小进行估计。在典型情况下，图像帧的位置和大小并不逐帧完全变化。诸如数字图像稳定化或图像缩放之类的算法可以导致这些参数逐帧的调节。在预测器440中计算预测帧A的位置以估计下一个图像帧的位置。借助所预测的输出帧位置，能够在下一个模块450中执行输出图像参数统计的计算。例如通过根据应用依赖于输出帧位置空间权重而计算图像参数统计。例如，能够使用检测冬季照片中的天空或雪的较为明亮的亮度以便基于所预测的下一个输出帧位置进行环境自适应的自动曝光(AE)的已知算法。
[0062]所收集的从输出帧区域A所计算的图像参数统计被送至预测性相机控制模块340，其为了捕获下一个输出帧而提前调节诸如3A参数之类的相机参数。
[0063]发明人已经认识到，在数字成像应用中，相机速度对于良好的用户体验经常是关键的。例如为孩子所拍摄的多幅照片图像由于缓慢的相机动作而仅有部分能够在图像中可见。这种问题的一个重要原因是基于相机设置和图像内容调节相机参数的相机控制回路的延迟。由于用户经常移动相机，所以图像内容是动态变化的，这就需要相机控制参数的反复调节。
[0064]传统的相机控制系统基于所捕获的图像对相机参数进行控制。在图4所示的本发明的示例实施例中，通过使用接收自包围当前输出帧的图像区域的空间图像信息，输出帧的未来位置、以及来自当前图像信息的图像内容的相机参数被估计。因此，能够提前预测图像内容的空间变化。结果，可以避免数字图像中各种无法复原的错误。
[0065]例如，无法对设置群组参数进行调节会容易非常严重地破坏图像质量，以至于并没有后期处理能够修复成像链的预处理阶段所损失的质量。例如，如果图像被严重地过度曝光，则图像包含极少能够通过后期处理进行增强的细节。
[0066]发明人还认识到，在实际的成像情形中，图像内容可以在空间图像场景中大幅变化。例如，如果在例如朝向太阳的背光情景中拍摄照片(见图6和7)，则相机方位非常小的变化都会导致相机曝光参数的明显变化，这是因为相机传感器无法捕获到图像场景的整个动态范围。类似地，室内照片可以具有例如由主要在最接近相机的对象处看到的闪光灯、窗口处的自然光和给定对象附近的明亮的卤素聚光灯所形成的非常大幅变化的亮度。因此，图像合成在何种类型的相机参数对于手头的照片而言最优的方面扮演着重要角色。类似地，在视频捕获期间，相机例如在摇摄期间的移动会导致3A参数的快速变化，如果3A控制回路过于缓慢，这就会变得非常麻烦。
[0067]图5、6和7图示了图像摇摄所导致的动态图像内容变化的示例。
[0068]在图5中，当前输出帧的图像区域A在图像区域中并不包括太阳310。然而，预测区域B和整个图像区域C 二者具有有关太阳310的信息。
[0069]图6图示了其中输出帧位置被预测为处于A’的预测步骤。在这种情况下，预测输出帧位置A’中的图像分区被用来预测正确的相机参数，诸如所预测的下一个输出帧位置的声音曝光(AE)。接下来，能够将预测区域B更新至新的位置B’，并且能够基于所更新的预测位置来预测下一个输出帧位置A"。该过程能够逐帧重复进行。
[0070]根据相机感应的实现，可能在空间上对相机传感器1264进行控制并且对不同图像区域应用不同相机控制参数。本发明并不被相机传感器所能够部分或完全独立地进行控制的不同区域的数量或形状所限制。
[0071]在一个实施例中，该分区还例如通过改变图像分区的大小和/或数量而基于图像内容进行调节。
[0072]在示例实施例中，相机控制功能340查看预测区域B并产生校正参数。该校正参数在一个示例中与给定图像分区相关联而使得当所考虑的该图像分区成为第一图像区域的成员时，相关联的校正参数就被用来加速相机处理的校正。例如，(第二图像区域中)明亮阳光处的图像分区将事先与适于针对变化后的第一图像区域A’快速调适的曝光控制校正参数相关联。
[0073]在太阳或其它主导性光源的特定情况下，在一个实施例中从分区实际与之相对应的明亮度和形状推导出太阳或其它不可能期望的成像对象的图像或图像部分。由于太阳通常并非是拍摄的对象，所以能够事先设置校正参数以防止利用AE控制进行的正常调光而避免可能的对象(诸如，例如处于附图标记A’处的孩子)在图像中变得非常暗。另一方面，如果太阳从相机背后照射、并且在图5至7中的太阳的位置存在浅色对象，则该浅色对象能够被相机控制功能340事先确定为可能的感兴趣成像对象。在这样的情况下，校正参数将被设置为利用指令加速AE控制以在该浅色对象b在第一图像区域中变为可见时缩短曝光时间或光圈。
[0074]相机控制340还向相机系统的其它部分发送信息以例如改变或调适相机程序。其一个示例将是激活闪光灯的使用以在背光情况下对大幅亮度差异进行补偿。
[0075]与曝光的调节相同，可以在可能感兴趣的对象在(经改变的)第一图像区域A’中变为可见时调节对焦。一种用于检测可能感兴趣的对象的已知技术是脸部识别。可能结合第一图像区域，能够使用第二图像区域在脸部在第一图像区域中变为可见之前很早就检测到该脸部。此外，利用更多时间，能够如一个示例实施例中那样对图像对象的边缘进行追踪以便推断出新的可能感兴趣的图像对象是否处于对焦范围中和/或对焦应该向哪个方向进行变化以便对焦到新的可能感兴趣的图像对象。在使用二级距离测量单元的情况下，如在一个示例实施例中那样，能够事先测量到可能感兴趣的图像对象的距离进行测量而并不影响当前的对焦。
[0076]在一个示例实施例中，从图像传感器(1264)所提供的三个颜色通道确定白平衡。由于白平衡可能随着图像传感器(1264)所看到的视场而变化，所以在一个示例实施例中，白平衡基于表示第一图像区域A的第一像素检测器的不同颜色通道的信号的比例强度进行设置。假设太阳出现在通过窗户的第二图像区域中并且大部分的第一图像区域A都被明亮的荧光或卤素光源所照亮。白平衡将被相应地进行设置以适应最不真实的照明。另一方面，在改变后的第一图像区域A’上，图像的左侧部分将被阳光大幅影响。利用简单的白平衡调节，阳光会是主导的，并且白平衡会随从第一图像区域A移动至变化后的第一图像区域A’而相应变化。
[0077]在一个示例实施例中，诸如太阳之类的强光源被相机控制功能340在第二图像区域所看到。伴随相对长的可用时间，例如经过取景器140上产生几个连续图像帧的时间段，相机控制功能在一个示例实施例中确定该强光源对于可能感兴趣的图像对象的可能影响。如果没有找到其它图像对象，则该强光源自身就是可能的图像对象并且相应地针对相对应的图像分区设置白平衡校正参数。然而，如果找到了相对远离强光源或者处于远低于表示几乎未被该强光源照亮的明显更低的光线处可能的感兴趣图像对象，则相机控制功能340设置相关联的校正参数以强制忽略该强光源对于白平衡调节的影响。在该示例实施例中，改变后的第一区域的图像在太阳处会看上去并不自然，但是大部分图像还是会过度曝光为白色而使得白平衡的影响始终很小。除此之外，现在使用更好地适合于图像的该部分的色温来对可能感兴趣的图像对象进行成像，并且与另外的方式相比在主观图像质量方面的结构应当明显更好。
[0078]图8图示了具有根据示例实施例的动态图像分割的相机控制过程。在预测框810中，基于图像内容形成图像分区。每个图像分区例如被选择从而定义一个图像对象。该图像对象可以是静止的或移动的。
[0079]图9、10和11图不了根据实施例的动态分割的不例。汽车被分割为对象分区Xi j并且分割算法逐帧追踪对象和图像分区。类似于图4的示例实施例，针对每个分区计算图像参数。随着图像分区在图像区域中进行移动，除了预测输出帧位置A’之外，该算法进一步预测810完全或部分位于预测输出帧A’之内的活动(active)图像分区。整个图像区域对于划分为隔离对象而言可能是不切实际的。因此，可以将背景对象定义为所要追踪的对象之一。如图4，能够针对包含图像分区的预测帧位置而计算图像参数统计。该图像参数统计随后被送往预测性相机控制(3A)以用于下一个图像帧的相机控制参数的调节。基于动态分割的预测性相机控制例如能够在固定相机装置中使用，其对具有移动对象的静态场景进行监视，诸如监视相机或护照隔间相机(passport booth camera)。
[0080]在图9中，识别出图像分区Xij进入输出图像区域A。在图10中，估计对应于分区Xi j’的对象的移动以及下一个输出帧A’的位置。通过相对应地预测输出帧位置A"和对象分区Xij"而针对ITUll的情形重复该过程。该矢量图示了预测性自动对焦功能，其检测对象并且针对在输出帧区域A内可见的对象预测性相机的对焦参数。在该示例中，没有单独的预测区域B，而是针对整个图像区域进行对象预测，即B = C。
[0081]图像分区的图像参数的预测计算随后能够被重复用于后续图像的图像分区。
[0082]图12示出了本发明的示例实施例的装置1200的框图。装置1200适于作为设备110进行操作。装置1200包括通信接口 1220，耦合至通信接口模块1220的处理器1210，以及耦合至处理器1210的存储器1240。存储器1240包括工作存储器和非易失性存储器，诸如只读存储器、闪存、光学或磁性存储器。在存储器1240中，通常至少最初在非易失性存储器中，存储有可操作以加载到处理器1210中并且由其执行的软件1250。软件1250可以包括一个或多个软件模块并且可以为计算机程序产品的形式，该计算机程序产品是存储在存储器介质中的软件。该装置1200进一步包括均耦合至处理器的相机单元1260和取景器1270。
[0083]将要理解的是，本文中的任意耦合都是指功能或操作耦合；在所耦合的部件之间可能存在中介组件或电路。
[0084]通信接口模块1220被配置为通过一个或多个本地链路提供通信。该链路可以是有线和/或无线链路。通信接口 1220可以进一步或可替换地实施适用于与其它用户建立链路或者用于进行数据传输(例如使用互联网)的电信链路。这样的电信链路可以是使用任意的无线局域网链路、蓝牙、超宽带、蜂窝或卫星通信链路的链路。通信接口 1220可以被集成到装置1200中，或者集成到可以插入装置1200的适当插槽或端口中的适配器、卡等之中。虽然图12示出了一个通信接口 1220，但是该装置可以包括多个通信接口 1220。
[0085]处理器1210例如是中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、图形处理器、专用集成电路(ASIC)、现场可编程门阵列、微控制器或者这样的部件的组合。图12示出了一个处理器1210，但是装置1200可以包括多个处理器。
[0086]如上文中所提到的，存储器1240可以包括易失性和非易失性存储器，诸如只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、随机访问存储器(RAM)、闪存、数据盘、光学存储、磁性存储、智能卡等。在一些示例实施例中，装置1200中仅具有易失性或非易失性存储器。此外，在一些示例实施例中，该装置包括多个存储器。在一些示例实施例中，各种部件是集成的。例如，存储器1240可以被构建为装置1200的一部分或者被插入到插槽、端口等之中。再另外的，存储器1240可以用于单纯的存储数据的目的，或者其可以被构建为用于诸如处理数据的其它目的的装置的一部分。对于其它部件也可以想到类似选项。
[0087]本领域技术人员意识到，除了图12中所示出的部件之外，装置1200可以包括其它部件，诸如麦克风、显示器以及附加电路，后者诸如另外的输入/输出(I/O)电路、存储器芯片、专用集成电路(ASIC)、诸如源编码/解码电路的用于具体用途的处理电路、通道编码/解码电路、加密/解密电路等。此外，装置1200可以包括用于在外部电源不可用的情况下对该装置进行供电的可丢弃或可更换的电池(未示出)。
[0088]意识到本文中所使用的术语装置的范围有所变化同样是有用的。在一些更为宽泛的权利要求和示例中，装置可以仅是至图12中所给出的特征的子集或者甚至在没有任何图12中的特征的情况下得以实施。在一个示例实施例中，术语装置是指处理器1210。
[0089]图13示出了本发明的示例实施例的相机单元1260的框图。相机单元1260包括物镜1261 (objective)，被配置为调节物镜1261的对焦的自动对焦单元1262，可选机械快门1263,图像传感器1264以及输入和/或输出1265。相机单兀1260在一个不例实施例中被配置为从自动对焦单元1262输出自动对焦信息。在一个示例实施例中,相机单元还被配置为通过1/01265接收相机控制设置。
[0090]相机单元1260在一个示例实施例中进一步包括相机控制功能1266。
[0091]本发明的实施例可以以软件、硬件、应用逻辑或者软件、硬件和应用逻辑的组合来实施。在示例实施例中，应用逻辑、软件或指令集保存在各种常规计算机可读介质中的任意一个上。在本文的上下文中，“计算机可读介质”可以是能够包含、存储、通信、传播或传输指令以便由诸如计算机的指令执行系统、装置或设备所使用或者结合其使用的任意介质或装置，其中图12中描述并描绘了计算机的一个示例。计算机可读介质可以包括计算机可读存储介质，其可以是能够包含或存储指令以便由诸如计算机的指令执行系统、装置或设备所使用或者结合其使用的任意介质或装置。
[0092]如果需要，这里所讨论的不同功能可以以不同顺序来执行和/或彼此同时执行。此外，如果需要，以上所提到的一个或多个功能可以是可选的或者进行组合。
[0093]虽然在独立权利要求中给出了本发明的各个方面，但是本发明的其它方面包括来自所描述实施例和/或从属权利要求的特征与独立权利要求的特征的其它组合，而并非仅是权利要求中明确给出的组合。
[0094]这里还要注意的是，虽然以上描述了本发明的示例实施例，但是这些描述并不应当以限制的含义加以看待。相反，可以进行若干的变化和修改而并不背离如所附权利要求中所定义的本发明的范围。
【权利要求】
1.一种装置，包括: 输入，被配置为从具有图像传感器的相机单元接收信号，所述图像传感器具有多个图像检测器，所述信号包括接收自对应于第一图像区域的第一像素检测器的第一信号以及接收自对应于包围所述第一图像区域的第二图像区域的第二像素检测器的第二信号； 至少一个处理器，被配置为: 从所述输入接收所述第一信号和所述第二信号； 基于所述第一信号对包括对焦控制、曝光控制和白平衡控制中的至少一个的设置群组中的相机设置进行自动控制； 基于所述第二信号预测所述设置群组中的变化；以及 检测所述第一图像区域中的变化，并且使用预测的所述变化对所述设置群组中的所述相机设置的自动控制进行调适；以及 输出，被配置为向所述相机单元输出被配置为对所述设置群组的所述相机设置进行控制的控制信号。
2.根据权利要求1所述的装置，其中: 所述至少一个处理器进一步被配置为预测所述第一信号和所述第二信号的变化；并且 所述至少一个处理器进一步被配置为基于预测的所述第一信号和所述第二信号的变化而执行对所述设置群组中的所述变化的所述预测。
3.根据权利要求2所述的装置，其中所述至少一个处理器进一步被配置为至少根据所述第一信号和所述第二信号中的另一个来检测图像对象中的变化，并且在对所述设置群组中的所述变化的所述预测中使用检测到的所述图像对象中的所述变化。
4.根据权利要求1至3中任一项所述的装置，其中所述第一图像区域中的所述变化包括所述图像处理器可见的视场变化。
5.根据权利要求1至3中任一项所述的装置，其中所述第一图像区域中的所述变化包括数字摇摄。
6.根据权利要求1至3中任一项所述的装置，其中所述第一图像区域中的所述变化包括图像对象的变化。
7.根据权利要求1至3中任一项所述的装置，其中所述第二图像区域接收自多个所述第一像素检测器，其数量至少为所述第二像素检测器的数量的50 %。
8.根据任一前述权利要求所述的装置，其中所述至少一个处理器进一步被配置为基于所述第一图像区域和所述第二图像区域中的图像内容而针对所述第一图像区域和所述第二图像区域形成分区。
9.根据任一前述权利要求所述的装置，进一步包括所述图像传感器。
10.根据任一前述权利要求所述的装置，其中所述至少一个处理器进一步被配置为追踪图像对象，并且相对应地改变所述第一图像区域。
11.根据任一前述权利要求所述的装置，其中所述至少一个处理器进一步被配置为执行图像分割，并且针对所述图像分割中形成的图像分区来计算图像参数。
12.根据权利要求11所述的装置，其中所述至少一个处理器进一步被配置为预测下一第二图像区域位置。
13.根据权利要求11所述的装置，其中所述至少一个处理器进一步被配置为在与所述图像分割的并行处理中预测下一第二图像区域位置。
14.根据权利要求12或13所述的装置，其中所述至少一个处理器被配置为基于计算的所述图像参数和预测的所述第二图像区域位置执行对所述设置群组中的所述变化的所述预测。
15.根据权利要求11所述的装置，其中所述至少一个处理器进一步被配置为针对下一第二图像区域预测活动图像分区。
16.根据权利要求11所述的装置，其中所述至少一个处理器进一步被配置为在与所述图像分割的并行处理中针对下一第二图像区域预测活动图像分区。
17.根据权利要求15或16所述的装置，其中所述至少一个处理器进一步被配置为基于计算的所述图像参数和预测的所述第二图像区域位置执行对所述设置群组中的所述变化的所述预测。
18.—种方法,包括: 从具有图像传感器的相机单元接收信号，所述图像传感器具有多个图像检测器，所述信号包括接收自对应于第一图像区域的第一像素检测器的第一信号以及接收自对应于包围所述第一图像区域的第二图像区域的第二像素检测器的第二信号； 基于所述第一信号对包括对焦控制、曝光控制和白平衡控制中的至少一个的设置群组中的相机设置进行自动控制； 基于所述第二信号预测所述设置群组中的变化； 检测所述第一图像区域中的变化并且使用预测的所述变化对所述设置群组中的所述相机设置的所述自动控制进行调适；以及 向所述相机单元输出被配置为对所述设置群组的所述相机设置进行控制的控制信号。
19.根据权利要求18所述的方法，进一步包括: 预测所述第一信号和所述第二信号的变化；以及 基于预测的所述第一信号和所述第二信号的所述变化而执行对所述设置群组中的所述变化的所述预测。
20.根据权利要求19所述的方法，进一步包括: 根据所述第一信号和所述第二信号中的另一个来检测图像对象中的变化；以及 在对所述设置群组中的所述变化的所述预测中使用检测到的所述图像对象中的所述变化。
21.根据权利要求18至20中任一项所述的方法，其中所述第一图像区域中的所述变化包括所述图像处理器可见的视场变化。
22.根据权利要求18至21中任一项所述的方法，其中所述第一图像区域中的所述变化包括数字摇摄。
23.根据权利要求18至21中任一项所述的方法，其中所述第一图像区域中的所述变化包括图像对象的变化。
24.根据权利要求18至21中任一项所述的方法，其中所述第二图像区域接收自多个所述第一像素检测器，其数量至少为所述第二像素检测器的数量的50 %。
25.根据权利要求18至24中任一项所述的方法，进一步包括基于所述第一图像区域和所述第二图像区域中的图像内容而针对所述第一图像区域和所述第二图像区域形成分区。
26.根据权利要求18至25中任一项所述的方法，其中所述至少一个处理器进一步被配置为追踪图像对象，并且相对应地改变所述第一图像区域。
27.根据权利要求18至21中任一项所述的方法，进一步包括: 执行图像分割；以及 针对所述图像分割中形成的图像分区计算图像参数。
28.根据权利要求27所述的方法，进一步包括预测下一第二图像区域位置。
29.根据权利要求27所述的方法，进一步包括在与所述图像分割的并行处理中预测下一第二图像区域位置。
30.根据权利要求28或29所述的方法，进一步包括基于计算的所述图像参数和预测的所述第二图像区域位置执行对所述设置群组中的所述变化的所述预测。
31.根据权利要求30所述的方法，进一步包括针对下一第二图像区域预测活动图像分区。
32.根据权利要求30所述的方法，进一步包括在与所述图像分割的并行处理中针对下一第二图像区域预测活动图像分区。
33.根据权利要求31或32所述的方法，进一步包括基于计算的所述图像参数和预测的所述第二图像区域位置执行对所述设置群组中的所述变化的所述预测。
34.一种计算机程序，当所述计算机程序在处理器上运行时，包括: 用于从具有图像传感器的相机单元接收信号的代码，所述图像传感器具有多个图像检测器，所述信号包括接收自对应于第一图像区域的第一像素检测器的第一信号以及接收自对应于包围所述第一图像区域的第二图像区域的第二像素检测器的第二信号； 用于基于所述第一信号对包括对焦控制、曝光控制和白平衡控制中的至少一个的设置群组中的相机设置进行自动控制的代码； 用于基于所述第二信号预测所述设置群组中的变化的代码； 用于检测所述第一图像区域中的变化并且使用预测的所述变化对所述设置群组中的所述相机设置的所述自动控制进行调适的代码；以及 用于向所述相机单元输出被配置为对所述设置群组的所述相机设置进行控制的控制信号的代码。
35.根据权利要求34所述的计算机程序，进一步包括用于在所述计算机程序在处理器上运行时执行根据权利要求18至33中任一项所述的方法的代码。
36.根据权利要求34或35所述的计算机程序，其中所述计算机程序是包括计算机可读介质的计算机程序产品，所述计算机可读介质承载有被具体化于其中以与计算机一起使用的计算机程序代码。
【文档编号】H04N9/73GK104137529SQ201280069593
【公开日】2014年11月5日 申请日期:2012年2月13日 优先权日:2012年2月13日
【发明者】M·阿玛莱南 申请人:诺基亚公司
最新回复(0)