图像捕获设备、图像处理设备和方法及其程序的制作方法
专利名称：图像捕获设备、图像处理设备和方法及其程序的制作方法
技术领域：
本发明涉及图像捕获设备，并且尤其涉及一种可以使用多个图像捕获 条件来捕获图像的图像捕获设备、 一种图像处理设备和方法以及用于使计 算机执行所述方法的程序。
背景技术：
迄今为止，诸如数字静物照相机之类的图像捕获设备已经变得可以被 利用，所述图像捕获设备捕获诸如人和风景之类的对象的图像并且记录捕
获图像。作为这些图IMt获设备之一，已经提出一种图像捕获设备，用于
确定在捕获图像中所包括的对象的场景并且依照所确定的场景来设置图 像捕获沐
例如，已经提出用于确定在捕获图像中所包括的对象的背光状态并且 依照此捕获图像的背光状态来执行背光校正的图像捕获设备(例如，参见
曰本未经审查的专利申请公开号2004-235956 (图l))。
发明内容
依照上述背景技术，可以通过确定在捕获图像中所包括的对象的背光 状态依照该背光状态来执行背光校正。然而例如取决于在捕获图像中所包 括的对象的大小或布置，背光场景可以类似于除背光场景之外的室内场景 或室外场景(诸如前光场景)。因此，在一些情况下可能4艮难区分背光场 景。即便在这种情况下，通过适当地确定背光场景，也可以设置更适当的 图像捕获M。 M个场景与背光场景适当地区分也是重要的。
希望适当地确定在捕获图像中所包括的对象的场景。
依照本发明实施例，提供了一种图像处理设备，包括以下元件输入 装置，用于接收将被处理的输入图像；明度信息提取装置，用于从所述图 像中提取用于表明整个图像明度的明度信息；亮度值分布信息提取装置，
7用于从所述图像中提取用于表明在所述图像中亮度值分布的亮度值分布
信息；和场景确定装置，用于根据所提取的明度信息和所提取的亮度值分 布信息来确定在所述图像中所包括的对象的场景。
图像处理设备可以进一步包括以下元件明度信息估计值^存储装 置，用于以逐个场景为1^来存储用来表明依照所述各个场景的明度信息 分布的明度信息估计值参数；亮度值分布信息估计值^lfc存储装置，用于 以逐个场景为1^来存储用于表明对应于依照所述各个场景的所述亮度 值分布信息的特征量的亮度值分布信息估计值参数；和确定估计值计算装 置，用于以逐个场景为基础使用对应于所提取明度信息的明度信息估计值 M来计算明度信息估计值，以逐个场景为基础使用对应于所提取亮度值 分布信息的亮度值分布信息估计值^lt来计算亮度值分布信息估计值，并 且以逐个场景为^根据以逐个场景为基础计算的明度信息估计值和亮
度值分布信息估计值来计算确定估计值。场景确定装置可以根据以逐个场 景为基础计算的确定估计值来确定在所述图^^中所包括的对象的场景。
对应于亮度值分布信息的特征量至少可以包括用于表明在直方图中 对应于所指定类别的比例的值，所述直方图用于表明在所述图像中亮度值 的分布。
对应于亮度值分布信息的特征量至少可以包括通过对直方图执行判 别分析方法所获得的二值化阈值，所述直方图用于表明在所述图像中亮度 值的分布。
图像处理设备可以进一步包括亮度值区域信息提取装置，用于将所述 图像划分为多个区域并且提取每个区域的亮度值区域信息。场景确定装置 可以才艮据所^^的明度信息、所提取的亮度值分布信息和所提取的亮度值 区域信息来确定在所述图像中所包括的对象的场景。
图像处理设备可以进一步包括以下元件明度信息估计值参lt存储装 置，用于以逐个场景为J^I来存储用来表明依照各个场景的明度信息分布 的明度信息估计值M;亮度值分布信息估计值Wt存储装置，用于以逐 个场景为基础来存储用于表明对应于依照各个场景的所述亮度值分布信 息的特征量的亮度值分布信息估计值Wt;划分区域估计值转换信息存储 装置，用于存储用来表明图像区域组的区域组信息和估计值转换表，其中 根据依照各个场景的亮度值区域信息的大小来分类所述图像区域组，并且 所述估计值转换表用于根据所述区域组信息来将所提取的亮度值区域信 息转换为划分区域估计值；确定估计值计算装置，用于以逐个场景为M度信息的明度信息估计值参数来计算明度信息估计 值，以逐个场景为基础使用对应于所提取亮度值分布信息的亮度值分布信 息估计值参数来计算亮度值分布信息估计值，并且以逐个场景为^l根据 以逐个场景为基础计算的明度信息估计值和亮度值分布信息估计值来计
算确定估计值；和划分区域估计值计算装置，用于以逐个场景为^fib使用 所述区域组信息和估计值转换表来为所提取的亮度值区域信息计算划分 区域估计值。场景确定装置可以根据以逐个场景为基础计算的确定估计值 和划分区域估计值来确定在所述图像中所包括的对象的场景。
划分区域估计值计算装置可以在从图像的预定区域中所提取的亮度 值区域信息存在于预定范围内的情况下执行校正以便增加所述划分区域 估计值.
图像处理设备进一步包括明度校正处理装置，用于在所述图像中所包 括的对象的场景被确定为预定场景的情况下执行与预定场景相应的明度 校正处理。
图像处理设备可以进一步包括图像捕获条件设置装置，用于在所述图 像中所包括的对象的场景被确定为背光场景的情况下依照在所述图像中 存在面部以及存在光发射来设置图像捕获条件。
图像处理设备可以进一步包括显示控制装置，用于在所述图像中所包 括的对象的场景已经在预定时段内被连续地确定为相同的场景的情况下 显示标记，所述标记用于表示在预定时段内已经被连续确定的场景.
依照本发明另一实施例，提供了一种图像处理设备，包括以下元件 划分区域估计值转换信息存储装置，用于存储用来表明所捕获图像的区域 组的区域组信息和估计值转换表，其中根据依照各个场景的捕获图像的预 定区域中的亮度值区域信息的大小来分类所述捕获图像的区域，并且所述 估计值转换表用于根据所述区域组信息来将所述亮度值区域信息转换为 划分区域估计值；亮度值区域信息提取装置，用于将所述捕获图像划分为 多个区域并且提取每个区域的亮度值区域信息；划分区域估计值计算装 置，用于以逐个场景为M使用所述区域组信息和估计值转换表来为所提 取的亮度值区域信息计算划分区域估计值；和场景确定装置，用于根据以 逐个场景为基础所计算的划分区域估计值来确定在捕获图^^中所包括的 对象的场景。
依照本发明另一实施例，提供了一种图像处理方法，包括步骤从图
9像中提取用于表明整个图像明度的明度信息；从所述图像中提取用于表明 在所述图像中亮度值分布的亮度值分布信息；并且根据所提取的明度信息
和所提取的亮度值分布信息来确定在所述图像中所包括的对象的场景。 依照本发明另 一实施例，提供了 一种用于使计算机执行包括以下步骤
的处理的程序从图像中提取用于表明整个图像明度的明度信息；从所述 图像中提取用于表明在所述图像中亮度值分布的亮度值分布信息；并且根 据所提取的明度信息和所提取的亮度值分布信息来确定在所述图像中所 包括的对象的场景。
依照本发明另一实施例，提供了一种图像处理设备，包括以下元件 图像捕获装置，用于捕获对象的图像并且产生捕获图像；明度信息^1取装 置，用于从捕获图像中提取用于表明整个捕获图像的明度的明度信息；亮 度值分布信息提取装置，用于从所述捕获图像中提取用于表明在所述捕获 图像中亮度值分布的亮度值分布信息；和场景确定装置，用于根据所提取 的明度信息和所提取的亮度值分布信息来确定在所述捕获图像中所包括 的对象的场景。
依照本发明实施例，杰出的有益效果在于可以适当地确定在捕获图像 中所包括的对象的场景。
图l是示出依照本发明实施例的图像捕获设备的示例性功能结构的 框图2是示出依照本发明实施例的主控制部件的示例性功能结构的框
图3是示出依照本发明实施例的场景确定部件的示例性功能结构的 框图4是依照本发明实施例示意地示出在场景度分数计算信息存储部 件中所存储的场景度分数计算信息的图5是依照本发明实施例示意地示出在场景索引计算信息存储部件 中所存储的场景索引计算信息的图6是依照本发明实施例示出用于产生场景度分数计算信息的方法 的要点的图7是用于依照本发明实施例示意地示出由EV值提取部件所提取的
10EV值的直方图的图8是用于示出场景度分数计算信息(EV值)的图，所述场景度分 数计算信息是用于存储为每个场景所产生的EV信息估计值参数的场景 度分数计算信息的例子；
图9是示出了用来表示从图像所提取的亮度值分布的直方图的图IOA是用于示出捕获图像的图IOB是用于示出M图10A中所示出的捕获图像中提取的直方图 的图11是用于示出通过使用对捕获图像执行判别分析方法所计算的阈 值而获得的二值化图像的图12是用于示意地示出从各个图像所提取的亮度值中值的直方图的
图13A和13B是示出用于存储为每个场景所产生的亮度值分布信息
估计值参数的场景度分数计算信息的例子的图14A和14B是示出用于存储为每个场景所产生的亮度值分布信息 估计值^lt的场景度分数计算信息的例子的图15A和15B是示出用于存储为每个场景所产生的亮度值分布信息
估计值M的场景度分数计算信息的例子的图16是示出用于产生在计算场景索引中所使用的场景索引计算信息 的方法的要点的图17包括示出用于将图^a'j分为预定区域的方法的要点的图18包括示出其中根据在每个区域中亮度值的平均值来产生直方图 的情况的要点的图，根据多个捕获图像来计算所述平均值；
图19包括示出其中根据在每个区域中亮度值的平均值来产生直方图 的情况的要点的图，根据多个捕获图像来计算所述平均值；
图20是示出关于夜间图4象的场景频率模式的例子的图21A是示出在其中^目同的号码给予属于相同组的区域的情况下 夜间场景频率模式的例子的图21B是示出用于在计算场景索引时以逐个区域为lJdl来确定估计 值的估计值转换表的例子的图；图22A是示出关于背光图l象的场景频率模式的例子的图； 图22B是用于示出估计值转换表的例子的图23A是示出用于表示在多个捕获图^^为这些捕获图像所计算的 夜间场景索引之间关系的图表的图23B和23C是用于示出在相对阴暗地方中捕获图像的图24A是示出用于计算场景索引校正值的估计值转换表的图24B是示出用于表示在夜间场景索引和场景索引校正值之间关系 的图表的图25A是示出用于表示在多个捕获图像和为这些捕获图像所计算的 夜间场景索引之间关系的图表的图25B和25C是用于示出在相对阴暗地方中捕获的图像的图26A是示出关于背光场景的估计值转换表的图26B是示出用于表示在背光场景索引和场景索引校正值之间关系 的图表的图27是示出在图像捕获M和用于设置所述图像捕获4Hf的M之 间关系的图28A和28B是示出依照本发明实施例的低明度校正的要点的图29A和29B ;l依照本发明实施例示出在显示部件上显示的场景识 别图标的显示例子的图30A和30B 4_依照本发明实施例示出在显示部件上显示的场景识 别图标的显示例子的图31是示出由依照本发明实施例的图傳捕获设备所执行的场景确定 处理的处理过程的流程图32是示出由依照本发明实施例的图像捕获设备所执行的场景确定 处理的处理过程内的场景度分数计算处理的过程的流程图33是示出由依照本发明实施例的图像捕获设备所执行的场景确定 处理的处理过程内的场景索引计算处理的过程的流程图34是示出由依照本发明实施例的图像捕获设备所执行的图像捕获 模式设置处理的处理过程的流程12图35是示出由依照本发明实施例的图^Mt获设备所执行的图像捕获 模式设置处理的处理过程内的夜间场景模式设置处理的过程的流程图36是示出由依照本发明实施例的图像捕获设备所执行的图像捕获 模式i殳置处理的处理过程内的背光场景模式i殳置处理的过程的流程图；和
图37是示出由依照本发明实施例的图^Mt获设备所执行的场景识别 图标显示处理的处理过程的流程图。
具体实施例方式
现在将参考附图来详细描述本发明的实施例。
图1是示出依照本发明实施例的图像捕获设备100的示例性功能结构 的框图。图像捕获设备100包括透镜部件111、光圈^部件U2、快门 机构部件113、图像拾取元件114、透镜控制部件U5、定时产生器(TG; 定时信号产生电路)116、模拟信号处理部件121、模拟到数字(A/D)转 换部件122、数字信号处理部件123、主控制部件200、操作接受部件130、 快门线释放按钮131、显示部件140、记录部件150、外部接口 (I/F)160、 电可擦除可编程只读存储器(EEPROM ) 171 、随M取光存储器(RAM) 172、污点检测部件180、充电/it^L射控制部件191和M射部件192。 图像捕获设备100可以通过例如使用数字静物照相机来实现，所述数字静 物照相机可以捕获对象的图像，产生图像数据，通过对所述图傳教据执行 图像分析来提取特征量，并且使用所提取的特征量来应用各个图像处理。
透镜部件111包括用于收集从对象所反射的光的多个透镜(变焦透 镜、聚焦透镜等)。从对象所反射的入射光通过这些透镜被传递并且被提 供到图像拾取元件U4。这些透镜由变焦控制机构部件(未在附图中示出)、 聚焦控制机构部件(未在附图中示出)或运动污点控制机构部件(未在附 图中示出)来驱动。例如，通过才艮据来自主控制部件200的控制信号控制 对变焦控制机构部件或聚焦控制机构部件的驱动来执行变焦控制或聚焦 控制。主控制部件200根据图像捕获设备100的污点信息来确定应当M 正光学系统移动到的位置以及所述校正光学系统的当前位置信息，所述污 点信息由污点检测部件180检测。根据此确定，运动污点控制机构部件被 驱动控制，由此执行运动污点校正控制。
光圈机构部件112根据来自主控制部件200的控制信号来控制孔径的 大小，其中入射光将经由透镜部件lll通过所述孔径传递。快门机构部件 113才艮据来自主控制部件200的控制信号来控制时间(曝光时间)，入射光将在所述时间期间经由透镜部件111传递。用于控制快门机构部件113
光圈机构部件112和快门机构部件113依照这种方式控制曝光量。
图像拾取元件114是其中在图像拾取面上提供滤色器的彩色图像拾 取元件。图像拾取元件114依照从TG 116所提供的驱动脉冲来操作并且 依照入射光在图像拾取面上形成对象的图像，所^射光从所M象反射 并且通itit:镜部件111传递。图像拾取元件114依照在图像拾取面上形成 的对象的图像来产生模拟图像信号，并且向模拟信号处理部件121提供所 产生的模拟图像信号。作为图像拾取元件U4，可以使用诸如电荷耦合器 件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器之类的图 像拾取元件。
透镜控制部件115根据来自主控制部件200的控制信号来控制变焦控 制机构部件、聚焦控制机构部件或运动污点控制机构部件。
TG 116根据来自主控制部件200的控制信号来产生由图4象拾取元件 114所使用的各个驱动脉冲以便累积并读取每个屏幕的图像信号。TG116 向图像拾取元件114提供这些各个产生的驱动脉冲。即，这些各个驱动脉 冲被用为图像信号捕获处理和图像信号输出处理的定时信号。
模拟信号处理部件121将对从图像拾取元件114所提供的图像信号应 用模拟处理，诸如采样处理(采样保持(S/H))和放大处理(自动增益控 制(AGC ))。模拟信号处理部件121向A/D转换部件122提供模拟处理 的模拟图像信号。
A/D转换部件122通过以预定采样率采样模拟图像信号来将M拟信 号处理部件121所提供的模拟图像信号转换为数字图像信号。A/D转换部 件122向数字信号处理部件123提供所转换的数字图傳4t号。
数字信号处理部件123根据从A/D转换部件122所提供的数字图像 信号来产生用于执行取景、静止图像捕获、自聚焦、测光处理等的各个信 号。数字信号处理部件123向主控制部件200输出所产生的各个信号。例 如，在取景时，数字信号处理部件123根据输入图像信号来产生显示图像 信号并且经由主控制部件200向显示部件140提供所产生的显示图4象信 号。在捕获静止图4象时，数字信号处理部件123根据输入图傳_信号产生用 于表示一个图像的静止图像信号、对所产生的静止图像信号应用压缩处理 等并且经由主控制部件200向记录部件150提供所处理的静止图像信号。在自聚焦时，数字信号处理部件123根据输入图像信号检测在屏幕内预定 区域中的高频分量，产生用于表明所检测高频分量级别的^并且向主控 制部件200提供所产生的参数。在测光处理时，数字信号处理部件123 根据输入图像信号来检测屏幕内预定区域中的光量分量(AE信号)，产 生用于表明所检测光量分量的光量级别的参数，并且向主控制部件200 提供所产生的用于表明所述光量级别的。
主控制部件200是用于控制在图像捕获设备100中所包括的部件的主 控制部件。主控制部件200包括中央处理器(CPU)、程序只读存储器 (ROM)、工作区域RAM和包括各个输7^/输出(1/0)端口和接口的微 计算机。将参考图2和3来详细描述主控制部件200。
操作接受部件130是用于接受由用户所输入操作的细节并且向主控 制部件200输出依照所接受操作细节的信号的操作接受部件。作为操作接 受部件130，例如在图像捕获设备100上提供诸如快门线释ii按钮131和 变焦^L 132 (在图29中示出)之类的操作部件。快门线释放^L 131 是当记录捕获图像时由用户操作的瞬间型压力开关。在本发明的实施例 中，主控制部件200确定快门线釋，放^L131的按压状态。即，主控制部 件200区分三个按压状态其中快门线释放掩組131完全未被用户按压的 状态(关断状态)；其中所述快门线释放掩組131被用户不完全地按压的 状态(不完全状态)；和其中快门线释放按钮131被用户完全按压的状态 (完全按压状态)。变焦^fe 132是当捕获图像时可操作来调节变焦因子
显示部件140是用于显示对应于从数字信号处理部件123所提供的图 像数据的图像的显示部件。在显示部件140上显示捕获图像(所谓的通过 图像)，其对应于由图像拾取元件U4所产生的图像信号。例如可以通过 使用液晶设备(LCD)来实现显示部件140。作为选择，显示部件140可 以是用于显示各个选择按钮的触摸面板。使用触摸面板，可以通过例如利 用手指触摸这些选择g的区域来输出"^作。
记录部件150是用于记录从数字信号处理部件123所提供的图像数据 的记录设备。作为记录部件150，可以使用诸如半导体存储器之类的可拆 除记录介质，包括磁盘存储卡或数字通用盘片(DVD)。作为选择，记录
捕获i更备100。
外部I/F 160是包括输入输出端子的外部！/F，诸如通用串行总线(USB )。
EEPROM 171是存储器，用于在主控制部件200的控制之下存储数 据等，所述数据即使当图像捕获设备100的电力被关闭时也必须被保持。 所述数据例如包括在图像捕获设备100中所设置的各个信息项。
RAM 172是用于暂时地存储由主控制部件200用来执行各个处理的 程序和数据的存储器。
污点检测部件180检测被施加到图像捕获设备100的加速度、运动、 倾斜等并且向主控制部件200输出对应于所检测的加速度、运动、倾斜等 的电压值。污点检测部件180例如获得对应于在两个方向上的角速度的电 压值，两个方向为俯仰(pitch)方向和偏转(yaw)方向。主控制部件 200根据从污点检测部件180所输出的电压值来执行运动污点校正计算， 并且把电压值转换为对应于所述电压值的数值，由此获得例如由于摄影师 手晃动而导致的图《象捕获设备100移动的信息(污点信息)。例如可以通 过使用陀螺仪传感器来实现污点检测部件180。
充电/M射控制部件191根据来自主控制部件200的控制信号来控 制M射部件192的充电和ife^L射。即，M射部件192经由充电/itil 射控制部件191被连接到主控制部件200，并且光发射部件192的iUL射 时间由所述主控制部件200来控制。
M射部件192是例如在包含图像捕获设备100的外壳的前面或上部 所提供的光发射器件，使得M射部件192在透镜部件111的正方向上(在 所iiit镜部件111的光轴方向上)发光.M射部件192在非常短的时间 发出强光。即，M射部件192向充当图像捕获目标的对象发出强光。诸 如可以通过使用诸如氣气灯之类的放电装置来实现光发射部件192。主控 制部件200在执行完全光发射操作之前使光发射部件192以预定的光量来 执行初步光发射操作。根据从此初步光发射操作所获得的测光数据，主控 制部件200确定将从;J^射部件192所发射的光量。即，主控制部件200 检测整个屏幕的亮度值作为从初步M射操作所获得的测光数据，该整个 屏幕的亮度值对应于从图像拾取元件114所输出的模拟图像信号。通过把 所检测的亮度值与其中可以实现适当曝光量的目标亮度值相比较，主控制 部件200确定将从光发射部件192发射的光量。因此，图像捕获设备IOO 没有调光传感器。框图.主控制部件200包括面部检测部件210、静止确定部件220、主要 对f^r测部件230、曝光值(EV)提取部件240、场景判定部件250、曝 光M假定部件260、曝光确定部件270、程序图保持部件281、图像捕 获条件设置部件280和显示控制部件290。图2在主控制部件200中的功 能结构当中只示出了与设置图像捕获条件相关的示例性功能结构，并且省 略了其它功能结构。相互独立地控制面部检测部件210、静止确定部件 220、主要对B测部件230和场景判定部件250。在图2中，以举例形 式描述了其中主控制部件200执行在EEPROM 171中所记录的程序的情 况。作为选择，可以通过使用硬件来实现在图2中所示出的功能结构。
面部检测部件210检测在对应于从数字信号处理部件123所输出的图 像信号的捕获图像中包括的人的面部。面部检测部件210向曝光确定部件 270输出所检测面部的信息。这里可以使用的面部检测方法包括通过M 板与实际图<|^目匹配来执行的面部检测方法以及根据在捕获图像中所包 括的人的皮肤部分或面部的特征量的面部检测方法，所述模板其中记录有 面部的亮度值分布的信息。面部的信息例如是用于表明是否已经在捕获图 像中检测到面部(是否存在面部)的信息。
静止确定部件220根据从污点检测部件180所输出的电压值来执行运 动污点校正计算处理并且计算对应于电压值的数值(由于图像捕获设备 100的移动所导致的污点量)。静止确定部件220把所计算的污点量与在 图像捕获设备100静止时的污点量相比较，根据比较结果来确定图像捕获 设备100是否静止，并且向曝光确定部件270输出确定结果(图像捕获设 备100是否静止)。特别地是，静止确定部件220通过把所计算的污点量 与在图像捕获设备100静止时的污点量相比较来计算偏差量，并且根据偏 差量和时间来确定图像捕获设备100是否静止。
主要对IM^测部件230检测在对应于从数字信号处理部件123所输出 的图像信号的捕获图像中包括的主要对象。主要对象险测部件230向曝光 确定部件270输出所检测的主要对象的信息。这里可以使用的主要对^#: 测方法包括用于将捕获图像的亮度值与预定值相比较来检测捕获图像是 否包括主要对象的检测方法，所述亮度值是当光发射部件192执行初步光 发射操作时获得的。当例如在当前场景被确定为深于或等于预定级别的阴 暗场景的情况下不完全地按压快门线释放按钮131时或当当前场景被确 定为夜间场景或背光场景并且没有检测到面部时，执行主要对象的检测。 主要的对象的信息例如是用于表明是否已经在捕获图像中检测到主要对
17象(是否存在主要的对象)的信息。
EV值提取部件240根据从数字信号处理部件123所输出的AE信号 来检测用于表明在捕获图像中所包括的对象明度(即明度，brightness) 的EV值。EV值提取部件240向场景判定部件250、曝光M假定部件 260和图像捕获^ff设置部件280输出所检测的EV值。
场景判定部件250根据从数字信号处理部件123所输出的图像信号和
123所输出的图像信号的捕获图像中包括的对象的场景。场景判定部件 250向曝光确定部件270和显示控制部件290输出所确定的场景。在捕获 图像中包括的对象的场景例如可以是包括在夜间用于充当对象的户外活 动的夜间场景、包括用于充当对象的建筑物内部的室内场景或包括用于充 当对象的目标的背光场景，其中太阳在所述目标后面。参考图3详细描述 场景判定部件250。
与预定阈4相比较i计算差异并且根据所计算的i异来假定曝光条件。例
如，当从EV值4I:取部件240所输出的EV值小于预定阈值时，啄光可能 是不够的。从而，曝光条件假定部件260假定用于减少快门速度和光圏大 小并且增加AGC处理中的增益的曝光条件。相比之下，当从EV值提取 部件240所输出的EV值大于或等于预定阈值时，曝光可能是过度的。从 而，啄光*假定部件260假定用于增加快门速度和光圏大小并且减小 AGC处理中的增益的膝光条件。在本发明的实施例中，在由啄光4Hf假 定部件260假定的曝光条件当中，光圏大小被表示为基准光圏大小Ie，快 门iOL被表示为基准快门速度Te并且增益被表示为基准增益Ge。
的对象的场景:从面部检测部件210 ^出的用于表明是否存在面部的信 息、从静止确定部件220输出的用于表明图像捕获设备100是否静止的信 息以及从主要对fj^测部件230输出的用于表明捕获图像是否包括主要 对象的信息来确定被曝光4Hf假定部件260假定为曝光条件的基准光圏 大小Ie、基准快门速度Te和基准增益Ge是否是适当的。曝光确定部件 270根据确定结果来选M序图并且向图像捕获*设置部件280输出用 于表明已经对其进行确定的所选程序图和信息项的信息。
程序图保持部件281保持与可以设置的各个图像捕获模式相对应的 多个程序图。程序图保持部件281向图像捕获条件设置部件280提供所保持的程序图。在此例子中，将描述其中在主控制部件200的程序图保持部 件281中保持程序图的例子。作为选择，例如程序图可以被保持在 EEPROM171中，并且在EEPROM171中所保持的程序图可被提供到图 像捕获条件设置部件280。
图像捕获条件设置部件280把对应于由用户所指定的图像捕获模式
取部件240所输出的EV值来确定曝光4Hf。才艮据所确定的曝光条件，图 像捕获M设置部件280分别向光團机构部件112和快门机构部件113输 出用于控制光圏机构部件112和快门机构部件113的控制信号。另外，图 像捕获^Hf设置部件280依照图像捕获条件来控制图像捕获模式设置和 低曰月度校正。此外，当快门线释放^ 131被按压时(完全按压状态)， 如果在捕获图像中所包括的对象的场景被确定为具体场景，诸如夜间场景 或背光场景，图像捕获Mi殳置部件280执行控制以便4吏用至少两个不同 图像捕^/记录M来记录捕获图像。当快门线释放^fe 131被不完全按 压时，建立至少两个不同的图像捕^/记录参数。两个不同的图像捕lt/记 录参数例如包括由用户所指定的图傳捕^/记录参数和依照所确定场景的 图像捕^/记录M。
显示控制部件290在显示部件140上显示场景识别图标，其对应于在 从场景判定部件250输出的捕获图像中包括的对象的场景。参考图29A 到30B详细描述了在显示部件140上显示的场景识别图标的显示例子。
图3是示出依照本发明实施例的场景判定部件250的示例性功能结构 的框图。场景判定部件250包括亮度值分布信息提取部件251、场景度分 数计算信息存储部件300、场景度分数计算部件252、区域划分部件253、 亮度值提取部件254、场景索引计算信息存储部件350、场景索引计算部 件255和场景确定部件256。
亮度值分布信息提取部件251提取直方图，所述直方图用于表明在对 应于从数字信号处理部件123所输出的图像信号的捕获图像中的亮度值 分布。亮度值分布信息提取部件251向场景度分数计算部件252输出所提 取的直方图。
场景度分数计算信息存储部件300存储由场景度分数计算部件252当 计算场景度分数时所使用的场景度分数计算信息。场景度分数计算信息存 储部件300向场景度分数计算部件252提供所存储的场景度分数计算信 息。将参考图4详细描述在场景度分数计算信息存储部件300中所存储的场景度分数计算信息。
场景度分数计算部件252根据从EV值提取部件240所输出的EV值 和从亮度值分布信息提取部件251所输出的直方图来使用在场景度分数 计算信息存储部件300中所存储的场景度分数计算信息计算场景度分数。 场景度分数计算部件252向场景确定部件256输出所计算的场景度分数。 场景度分^bl用于确定在捕获图《象中包括的对象的场景的分数，所述捕获 图像对应于从数字信号处理部件123所输出的图像信号。将参考图13A 到图15B详细描述场景度分数的计算。
区域划分部件253把对应于从数字信号处理部件123所输出的图像信 号的捕获图像划分为多个区域。区域划分部件253向亮度值提取部件254 输出所述捕获图像和划分区域的信息。
每个区域中的亮i值并且以逐个区^为k础向场景索引计算部件2;5输
出所提取的亮度值。
场景索引计算信息存储部件350存储由场景索引计算部件255当计算 场景索引时所使用的场景索引计算信息。场景索引计算信息存储部件350 向场景索引计算部件255提供所存储的场景索引计算信息。将参考图5 详细描^场景索引计算信息存储部件300中所存储的场景索引计算信 息。
场景索引计算部件255根据每个区域中的亮度值使用在场景索引计 算信息存储部件350中所存储的场景索引计算信息来计算场景索引，所述 亮度值从亮度值提取部件254输出。场景索引计算部件255向场景确定部 件256输出所计算的场景索引。场景索引是用于确定在捕获图像中包括的 对象的场景的索引，所述捕获图^Mt应于从数字信号处理部件123输出的 图像信号。将参考图21A到图26B详细描述场景索引的计算。
场景确定部件256使用从场景度分数计算部件252所输出的场景度分 数和从场景索引计算部件255所输出的场景索引中的至少一个来确定在 捕获图像中包括的对象的场景，所述捕获图像对应于从数字信号处理部件 123所输出的图像信号。场景确定部件256向曝光确定部件270和显示控 制部件290输出所确定的场景。
图4是用于依照本发明实施例示意地示出在场景度分数计算信息存 储部件300中存储的场景度分数计算信息的图。场景度分数计算信息存储
20部件300存储场景度分数计算信息(EV值)311、场景度分数计算信息(亮 度中值)321、场景度分数计算信息(亮度峰值)322、场景度分数计算信 息(亮度底宽)323、场景度分数计算信息(亮度的二值化阈值)324、场 景度分数计算信息(亮度曝光不足区域的比例)325和场景度分数计算信 息(亮度左侧区域的比例)326。在图4中，在EV信息场景度分数计算 信息310的项组中表明根据从图像中提取的EV值所产生的场景度分数计 算信息，并且在亮度值分布信息场景度分数计算信息320的项组中表明根 据从图像所提取的直方图所产生的场景度分数计算信息。
在本发明的实施例中，使用这些场景度分数计算信息项来计算捕获图 像的每个场景的场景度分数。对应于在所计算场景度分数当中的最高场景
度分数的场景被确定为在捕获图^^中包括的对象的场景。将参考图13A 到图15B详细描述这些场景度分数计算信息项。
图5是用于依照本发明实施例示意地示出在场景索引计算信息存储 部件350中存储的场景索引计算信息的图。场景索引计算信息存储部件 350存储夜间场景索引计算信息360、背光场景索引计算信息370、户外 场景索引计算信息380和室内场景索引计算信息390。场景索引计算信息 的项分别存储场景频率模式361、 371、 381和391以及估计值转换表362、 372、 382和392。场景频率模式361、 371、 381和391是用于根据依照每 个场景的亮度平均值的趋势来分类从捕获图像中划分的预定区域的模式。 估计值转换表362、 372、 382和392在获得估计值中用于根据从捕获图像 中划分的每个预定区域以及依照场景频率模式分类的各个区域所提取的 亮度值的平均值来计算场景索引。
在本发明的实施例中，使用这些场景索引计算信息项来计算捕获图像 的每个场景的场景索引。对应于大于或等于阈值的所计算场景索引的场景 被确定为在捕获图像中包括的对象的场景。如果存在大于或等于阈值的多 个场景索引，那么对应于在这些场景索引当中最高场景索引的场景被确定 为在捕获图像中包括的对象的场景。作为选择，场景确定条件可以是以下 条件，根据为捕获图像的每个场景所计算的场景度分数所确定的场景等效 于根据为捕获图像的每个场景所计算的场景索引所确定的场景。
接下来，将参考附图详细描述由场景判定部件250执行的场景确定。 在本发明的实施例中，将描述其中确定夜间场景、室内场景、室外场景和 背光场景中的哪个场景是在捕获图像中包括的对象的场景的例子。首先， 将描述用于产生场景度分数计算信息的方法，所述场景度分数计算信息用来计算场景度分数。在本发明的实施例中所示出的每个捕获图像被假定为 彩色图像。
图6是依照本发明实施例示出用于产生场景度分数计算信息的方法 的要点的图。在图6中，将描述其中产生关于夜间场景、室内场景、室外 场景和背光场景的场景度分数计算信息的例子。参照图6， EV值提取部 件411和EV信息场景度分数计算信息产生部件412根据在多个图像组 401到404中包括的捕获图像来产生每个场景的EV信息场景度分数计算 信息，所述图像组例如夜间图像组401、背光图像组402、户外图像组403 和室内图像组404。亮度值分布信息提取部件413和亮度值分布信息场景 度分数计算信息产生部件414根据在多个图像组401到404中包括的捕获 图像来产生每个场景的亮度值分布信息场景度分数计算信息。所产生的场 景度分数计算信息项被存储在场景度分数计算信息存储部件300中。
作为选择，产生这种场景度分数计算信息项可由使用在记录部件150 中记录的捕获图像的图像捕获设备100或由使用捕获图像的图像处理设 备(诸如个人计算机)来执行，其中所述捕获图像使用图像捕获设备IOO 或另 一图像捕获设备来记录。当场景度分数计算信息由不同于图像捕获设 备IOO的图像处理设备产生时，所产生的场景度分数计算信息被输入到图 像捕获设备100并且被存储在场景度分数计算信息存储部件300中。
夜间图像组401是一組图像，其中每个图像通过捕获用于充当对象的 夜间场景图像(诸如跨过海洋的桥或建筑物的外形)来获得。背光图像组 402是一组图像，其中每个图像通过捕获用于充当对象的背光户外图像 (诸如山脉或建筑物的外形)来获得。户外图像组403是一组图像，其中 每个图像通过捕获用于充当对象的户外图像(诸如草地或公园场地)来获 得。室内图像组404是一组图像，其中每个图像通过捕获用于充当对象的 建筑物内部图像(诸如各个建筑物的内部)来获得。可以由用户或开发者 来执行对这些场景的分类。作为选择，可以根据诸如AdaBoost之类的机 器学习算法使用学习设备来执行对这些场景的分类。
EV值提取部件411^ML夜间图像组401、背光图像组402、户外图像 组403和室内图像组404中所包括的固像中提取EV值。EV值提取部件 411向EV信息场景度分数计算信息产生部件412输出所提取的EV值。
EV信息场景度分数计算信息产生部件412以逐个图像组为基础来累 积从EV值提取部件411所输出的EV值，根据每个图像组的累积结果以 逐个图像组为基础来计算关于EV信息的估计值参数，并且根据估计值参
22数来产生EV信息场景度分数计算信息。所产生的EV信息场景度分数计 算信息项被存储在场景度分数计算信息存储部件300中。将参考图8详细 描述这些EV信息场景度分数计算信息项。
亮度值分布信息提取部件413提取用于表明在夜间图像組401 、背光 图像组402、户外图像组403和室内图像组404中包括的每个图像中的亮 度值分布的直方图。亮度值分布信息提取部件413向亮度值分布信息场景 度分数计算信息产生部件414输出所提取的直方图。
亮度值分布信息场景度分数计算信息产生部件414以逐个图像组为 ^累积从亮度值分布信息提取部件413所输出的亮度值分布信息，根据 每个图像组的累积结果以逐个图像组为基础来计算关于亮度值分布信息 的估计值^lt，并且根据估计值参数来产生亮度值分布信息场景度分数计 算信息。所产生的亮度值分布信息场景度分数计算信息项被存储在场景度 分数计算信息存储部件300中。将参考图13A到图15B详细描述这些亮 度值分布信息场景度分数计算信息项。
如上面所描述，可以通过使用已经记录的多个捕获图像执行统计学习 来获得场景度分数计算信息项。由于近年来可以以很低价来购买诸如大容 量硬盘驱动器(HDD)之类的大容量存储设备，诸如使用数字照相机等 捕获的图像之类的许多和各个图像可以作为图像数据来管理。在各个模式 中的大量图^N^存储在大容量存^i殳备中。通it^各个模式中使用这些图 像来执行统计学习，来产生场景度分数计算信息.通过使用场景度分数计 算信息，可以在高准确度的情况下区分多个场景。当图像捕获设备IOO 的用户执行场景分类时，可以产生用于依照用户偏好执行场景确定的场景 度分数计算信息。
图7是用于依照本发明实施例示意地示出由EV值提取部件411所提 取的EV值的直方图的图。图7示出了通过M夜间图像组401中包括的 图像中所提取的EV值分类为19个级别并且累积所分类的EV值所获得 的EV信息直方图420。在EV信息直方图420中，在横坐标上绘制了被 分类为19个级别的EV值，并且在纵坐标上绘制了频率(捕获图像的数 目)。每个场景的直方图常常具有依照每个场景的特性分布。例如，由于 在夜间图像组401中所包括的图像是夜间场景图像，所以许多图像是相对 阴暗的图像并且具有相对较低的EV值。因此，具有低EV值的级别频率 在EV信息直方图420中更高。依照这种方式，使用依照每个场景的特性 分布来产生EV信息估计值参数。例如，在EV信息直方图420中设置阈值Wl和W2 (W2<W1 )。 EV值被分类为其在EV信息直方图420中的频率大于或等于阈值W1的一组区域、其频率大于或等于阈值W2并且小于阈值W1的一组区域、其频率小于阈值W2的一组区域以及其频率为"O，，的一组区域。在图7中，EV值=0到4的频率大于或等于阈值Wl。 EV值-5的频率大于或等于阈值W2并且小于阔值W1。 EV值-6的频率小于阈值W2。 EV值-7到18的频率为"0"。根据所分类的区域组，如图8所示，可以计算EV信息场景度分数计算信息。
图8是用于示出场景度分数计算信息(EV值)311的图，所述场景度分数计算信息311是用于存储为每个场景所产生的EV信息估计值参数的场景度分数计算信息的例子。如上面已经描述，为在对应于每个场景的EV信息直方图中所分类的四个区域组中的每个确定EV信息估计值参数。在图8中，其在各个EV信息直方图中的频率大于或等于阈值W1的区域被表示为"高"；其频率大于或等于阈值W2并且小于阈值W1的区域M示为"中间，，；其频率小于阈值W2的区域被表示为"低"；并且其频率为"O，，的区域由斜线来表示。在图8中，用粗体示出了其在相应EV信息直方图中频率大于或等于阈值W1的区域("高，，区域)画面。如在场景度分数计算信息(EV值)311中的"高，，区域所表明，可以使用EV值把
捕获图^4a略地分组为室夕卜/背光场景和室内/夜间场景。即，对应于室外/
背光场景的许多图像是相对明亮的图像。因此，在场景度分数计算信息(EV值)311中的"高"区域常常集中在相对右侧。相比之下，对应于室内/夜间场景的许多图像是相对阴暗的图像。因此，在场景度分数计算信息(EV值)311中的"高"区域常常集中在相对左侧。
类似地，可以想到使用EV值把场景分组为粗略确定的场景。例如，当EV值为16时，场景被确定为"向阳场景"。当EV值为11时，场景被确定为"多云场景"。当EV值为6时，场景被确定为"阴暗室内场景"。当EV值为3时，场景被确定为"夜间场景"。然而例如当存在阴暗场景时，常常^艮难区分夜间场景和室内场景。类似地，在多数情况下很难区分其它场景。因此，重要的是增加把这些场景相互区分的准确度。在本发明的实施例中，执行使用EV信息和亮度值分布信息的场景确定。据此，可以改进确定每个场景的准确度。
接下来，将参考附图详细描述用于产生亮度值分布信息场景度分数计算信息的方法。图9是示出了用来表示从图像所提取的亮度值分布的直方图的图。在图9中所示出的直方图430是这样的直方图，其中按16阶归一化在图像组401到404中包括的一个捕获图像内整个屏幕所提取的亮度值。在此例子中，将描述使用依照这种方式提取的颜色直方图来为每个捕获图像计算下面示出的值(1)到(6)的例子。以逐个图4象组为J^累积所计算的值(l)到(6)。根据每个图像组的累积结果，计算关于亮度值分布信息的估计值^IL根据估计值M,产生亮度值分布信息场景度分数计算信息。
(1) 整个直方图中亮度值的中值；
(2) 直方图中的峰值；
(3) 直方图的底宽；
(4) 直方图中啄光不足区域的比例；
(5) 整个直方图的左侧一半的比例；和
(6) 使用判别分析方法的二值化阈值。
这里，(1)整个直方图的亮度值的中值是整个直方图中频率的中值。即，当从整个直方图中的频率所获得的区域被划分为两个区域左区域和右区域时，整个直方图中的亮度值的中值;l」对应于划分区域的级别。例如，在直方图430中，获得级别"8，，作为整个直方图中亮度值的中值。
(2) 直方图中的《%值是在整个直方图内频率最高的级别。例如，在直方图430中，获得级别"10"作为直方图中的J^值。
(3) 直方图的底宽是根据在整个直方图内频率最低的级别，在从具有最低频率的级别的预定范围内存在的级别。因此，多个值可以作为直方图的底宽存在。例如，在直方图430中，获得级别"7"作为频率最低的级别。根据级别"7，，的频率，从级别"7，，开始在向上方向上在阈值H1内以及在向下方向上在阈值H2内存在的级别"5"、 "6"和"8，，被提取作为直方图的底宽。直方图的这些底宽的范围#^示为Dl。其中在整个直方图内频率最低的级别并未被包括作为直方图的底宽。
(4 )直方图中曝光不足区域的比例是用于表明在直方图左端对应于级别"O，，的频率相对于整个直方图的比例的值。对应于直方图的曝光不足区域的比例的级别M示为D2。
(5 )整个直方图中左侧一半的比例是用于表明在直方图左端对应于级别"0到7"的频率相对于整个直方图的比例的值。对应于整个直方图的左侧一半的比例的级别^示为D3。
(6)将参考图9到11描述使用判别分析方法的二值化阁值。判别分 析方法是通过把图像的渐变值(gradation value)划分为两类来从图像中 提取预定区域的分析方法。在两类之间出现最大间隔的位置处(即，两类 类间方差变为最大值的位置处)的值k被计算为阈值。例如，在图9所示 出的直方图430中，可以根据阈值k把构成捕获图像的像素分类为两类 类C1和类C2。关于此分类，例如类C1可以充当目标区，并且类C2可 以充当背景。作为选择，例如类C2可以充当目标区，并且类C1可以充 当背景。
现在将描述阈值k的计算。可以如下表示用于根据阁值k的每个类的 统计<formula>formula see original document page 27</formula>
其中h(g)(g-l， ...， L)表示直方图中的频率，并且p(g)表示 其中P (g) =h (g) /N (N:整个像素的数目)的归一化直方图。方程式 (1)是用于计算间隔的方程式，并且计算在0和1内的值。方程式(2 ) 是用于计算两类的类间方差的方程式。方程式(3)是用于计算整个直方 图方差的方程式。方程式(10 )是用于计算类间方差的方程式。方程式(11) 是用于计算整个直方图中平均值的方程式。
图IOA是用于示出捕获图像的图，并且图IOB是用于示出从所述捕 获图像中提取的直方图的图。图10A示出了捕获图像440，其是在傍晚用于充当对象的游乐园的图像。图10B示出了从捕获图像440所提取的直 方图。在图IOB所示出的直方图中，其是按256阶归一化的直方图，使 用上述判别分析方法计算的阈值k的位置被表示为垂直线。
图11是示出了通过使用阈值k所获得的二值化图像441的图，所述 阈值k使用对捕获图像440执行的判别分析方法来计算。在图10B所示 出的直方图中，例如当与相对于阈值k的左区^目对应的像素是黑色时， 与相对于阈值k的右区域相对应的像素是白色的，根据在图10A中所示 出的捕获图像440来产生在图11中所示出的二值化图像441。
如上面已经所描述，为以逐个场景为基础所分类的多个图像来计算值 (1)到(6)，并且在统计上学习这些值(1)到(6)，借此产生场景度分 数计算信息。
图12是用于示意地示出从各个图像所提取的亮度值中值的直方图的 图。特别地是，图12示出了通过^ML夜间图像组401中包括的各个图 像所4^取的亮度值中值分类为19个级别并且累积所分类的亮度值中值所 获得的亮度值分布信息直方图450。亮度值分布信息直方图450除横坐标 示出了被分类为19个级别的亮度值中值之外类似于在图7中所示出的直 方图。如参考图7所描述，每个场景的直方图常常具有依照每个场景的特 性分布。例如，由于在夜间图像组401中所包括的图像是夜间场景图像， 所以许多图像是相对阴暗的图像并且具有相对较低的亮度值中值。因此， 具有低亮度值中值的级别的频率在亮度值分布信息直方图450中更高。依 照这种方式，使用依照每个场景的特性分布来产生亮度值分布信息估计值 械。
在图12中，如在图7中，使用阈值Wl和W2 (W2<W1)把区域分 类为四个区域组。根据所分类的区域组，如图13A到图15B所示，将描 述用于计算亮度值分布信息场景度分数计算信息的例子。在本发明的实施 例中，下述例子对于在计算EV信息场景度分数计算信息中所使用的阈值 Wl和W2 (W2<W1 )以及对于在计算亮度值分布信息场景度分数计算信 息中所使用的阈值W1和W2 (W2<W1)来说使用相同的值。作为选择， 可以使用不同的值。在本发明的实施例中，下述例子使用两个阈值Wl 和W2(W2〈W1)。作为选择，可以使用一个阈值或三个或更多阈值来分 类直方图的区域并且根据所分类的区域可以计算场景度分数计算信息。
图13A到15B是示出用于存储为每个场景所产生的亮度值分布信息 估计值M的场景度分数计算信息的例子的图。这里，场景度分数计算信
28息例如包括场景度分数计算信息(亮度中值)321、场景度分数计算信息 (亮度峰值)322、场景度分数计算信息(亮度底宽)323、场景度分数计 算信息(亮度的二值化阔值)324、场景度分数计算信息(亮度曝光不足 区域的比例)325和场景度分数计算信息(亮度左侧区域的比例)326。 如在图8中，其在各个直方图中的频率大于或等于阈值Wl的区域M示 为"高"；其频率大于或等于阈值W2并且小于阈值W1的区域M示为"中 间"；其频率小于阈值W2的区域被表示为"低，，；并且其频率为"0"的区域 由斜线来表示。另外，用粗体示出了其在相应直方图中频率大于或等于阈 值Wl的区域("高，，区域)画面。如在每个场景度分数计算信息项中的"高" 区域所示，特性趋势依照每个场景出现。
如已经描述，依照本发明实施例，通过执行对以逐个场景为基础分类 的捕获图像的统计学习来产生依照每个场景的直方图，并且根据直方图来 产生每个场景度分数计算信息项。所产生的场景度分数计算信息被存储在 场景度分数计算信息存储部件300中。
接下来，将描述，于使用在场景度分数计算信息存储部件,300中，储 定方法。
为了确定在捕获图像中包括的对象的场景，使用在图8中所示出的场 景度分数计算信息(EV值)311、在图13A中所示出的场景度分数计算 信息(亮度中值)321、在图13B中所示出的场景度分数计算信息(亮度 峰值)322、在图14A中所示出的场景度分数计算信息(亮M宽)、在 图14B中所示出的场景度分数计算信息(亮度的二值化阈值)324、在图 15A中所示出的场景度分数计算信息(亮度曝光不足区域的比例)325以 及在图15B中所示出的场景度分数计算信息(亮度左侧区域的比例)326 以逐个场景为基础来计算场景度分数SD。根据所计算的场景度分数SD， 确定在捕获图像中包括的对象的场景。
特别地是，例如假定在每个场景度分数计算信息项中所存储的对应于 "高"的估计值为"l";对应于"中间"的估计值为"l/2";对应于"低"的估计 值为"l/4";并且对应于倾斜部分的估计值为"O"。
EV值提取部件240从捕获图像中提取EV值(例如，"0"到"18")， 所述捕获图像对应于从数字信号处理部件123所输出的图像信号。场景度 分数计算部件252从对应于所提取EV值的场景度分数计算信息(EV值) 311中以逐个场景为基础来获得估计值。例如，当所4^取的EV值为"7"时，从场景度分数计算信息(EV值)311获得"O"作为夜间场景的估计值， 获得"O"作为背光场景的估计值，获得"l/4，，作为室外场景的估计值，并且 获得"l"作为室内场景的估计值。
亮度值分布信息提取部件251从捕获图像提取直方图，所述捕获图像 对应于从数字信号处理部件123所输出的图傳^信号。才艮据所提取的直方 图，场景度分数计算部件252计算对应于在图13A到15B中所示出的各 个场景度分数计算信息项(亮度中值、亮度峰值、亮M宽、亮度的二值 化阈值、亮度曝光不足区域的比例以及亮度左侧区域的比例)。此后，场 景度分数计算部件252根据每个场景度分数计算信息项以逐个场景为基 础获得对应于每个计算值的估计值。例如，当所计算的亮度中值为"8"时， 从场景度分数计算信息(亮度中值)321获得"l/4"作为夜间场景的估计值， 获得"l，，作为背光场景的估计值，获得"l"作为室外场景的估计值，并且获 得"l"作为室内场景的估计值。例如当所计算的亮度峰值为"9"时，还从场 景度分数计算信息(亮度峰值)322获得"O"作为夜间场景的估计值，获 得"l/4"作为背光场景的估计值，获得"l/4"作为室外场景的估计值，并且 获得"l/2"作为室内场景的估计值。对于亮度底宽、亮度的二值化阁值、 亮度曝光不足区域的比例以及亮度左侧区域的比例来说，类似地以逐个场 景为^fill获得估计值。
此后，使用以逐个场景为基础从场景度分数计算信息所获得的估计 值，场景度分数计算部件252使用下列方程式以逐个场景为基础来计算场 景度分数SD:
SD=(Elxwtl)+{(Hl+H2+...+Hn-l)/(n-l)}xwt2 (12)
其中n为自然数，所述自然数在此例子中为"7"; El是从场景度分数 计算信息(EV值)311所获得的估计值；Hl是从场景度分数计算信息(亮 度中值)321所获得的估计值；H2是从场景度分数计算信息(亮度峰值) 322所获得的估计值；H3是从场景度分数计算信息(亮度底宽)323所获 得的估计值；H4是从场景度分数计算信息(亮度的二值化阈值)324所 获得的估计值；H5是从场景度分数计算信息(亮度曝光不足区域的比例) 325所获得的估计值；并且H6是从场景度分数计算信息(亮度左侧区域 的比例)326所获得的估计值。
此外，wtl和wt2是用于当计算场景度分数SD时加权EV信息场景 度分数计算信息和亮度值分布信息场景度分数计算信息的值。例如，wtl 可以被设置为0.5，并且wt2可以被设置为0.5.在这种情况下，加权EV信息场景度分数计算信息变为等效于加权亮度值分布信息场景度分数计
算信息。作为选择，例如wtl可以被设置为0.3，并且wt2可以^Ci更置为 0.7，或者wtl可以被设置为0.1,并且wt2可以被设置为0.9。依照这种 方式，可以强调亮度值分布信息。在0和1内的值被计算为场景度分数 SD的值。
关于以逐个场景为基础依照这种方式计算的场景度分数SD,例如夜 间场景的场景度分数被表示为SD1;背光场景的场景度分数被表示为 SD2;室外(户外)场景的场景度分数M示为SD3;并且室内场景的场 景度分数M示为SD4。在这种情况下，场景确定部件256通过比较场景 度分数SD1到SD4来区分每个场景。特别地是，对应于具有最高值的场 景度分数SD的场景被确定为对应于捕获图像的场景，所述捕获图像对应 于从数字信号处理部件123所输出的图像信号。即，所计算的场景度分数 SD的值越接近于1，所述场景越可靠。
接下来，将参考附图详细描述用于产生在计算场景索引中所使用的场 景索引计算信息的方法。
图16是示出用于产生在计算场景索引中所4吏用的场景索引计算信息 的方法的要点的图。在图16中，将描述其中产生关于夜间场景、室内场 景、室外场景和背光场景的场景索引计算信息的例子。如图16所示，使 用区域划分部件501、亮度值提取部件502和场景索引计算信息产生部件 503根据在图像组401到404中包括的捕获图像来产生关于每个场景的场 景索引计算信息。所产生的场景索引计算信息被存储在场景索引计算信息 存储部件350中。由于图像组401到404与在图6中所示出的图像组401 到404相同，所以不再重复其详细描述以便避免重复。
产生这种场鲁索引计算信息项可以由使用在记录部件150中记录的 捕获图像的图像捕获设备100或由使用捕获图像的图像处理设备(诸如个 人计算机)来执行，其中所述捕获图像使用图像捕获设备100或另一图像 捕获设备来记录。当场景索引计算信息由不同于图像捕获设备IOO的图像 处理设备产生时，所产生的场景索引计算信息被输入到图 获设备100 并且被存储在场景索引计算信息存储部件350中。
区域划分部件501是用于将在夜间图像组401、背光图像组402、户 外图像组403和室内图像组404中包括的每个图像划分为多个区域的部 件。区域划分部件501向亮度值提取部件502输出已经净皮划分的图4象以及 关于通过划分所述图像所获得的每个区域的信息。将参考图17来详细描述图像的划分。
亮度值提取部件502使用区域划分部件501提M捕获图像所划分的 每个区域中的亮度值，并且以逐个区域为基础向场景索引计算信息产生部 件503输出所提取的亮度值.
场景索引计算信息产生部件503以逐个图像组为M累积从亮度值 提取部件502以逐个区域为基础输出的亮度值的平均值，并且才艮据每个图 像组的累积结果以逐个图像组为^ftlj来产生场景索引计算信息。以逐个图 像组为M所产生的场景索引计算信息被存储在场景索引计算信息存储 部件350中。将参考图21等详细描述场景索引计算信息。
如上面所描述，可以通过4吏用已经记录的多个捕获图4象执行统计学习 来获得场景索引计算信息项。就像场景度分数计算信息情况一样，通过使 用大容量存^i殳备来产生场景索引计算信息，可以以高准确度来区分多个 场景。当图i象捕获i殳备100的用户分类场景时，可以产生用于依照用户偏 好执行场景确定的场景索引计算信息。
图17包括示出用于将图像划分为预定区域的方法的要点的图。在图 17的部分(a)中所示出的图像510是与在图16中所示出的户外图像组 403中包括的捕获图^M目同的图像。图17的部分(b)示出了其中捕获图 像510被划分成49个区域(7x7区域)的情况。在各个区域中显示的号 码(0到48)是各个区域的标识号。同样适用于在图18到20所示出的各 个区域中的号码。在此例子中，将描述其中图傳被划分成49个区域的情 况。然而，可以类似地处理其中图像被划分成除49个区域之外的区域的 情况。
依照这种方式，对应于图像信号的有效图像帧被划分成了每个均具有 预定区域的区域。提取在每个划分区域中包括的像素的亮度值。以逐个区 域为基础计算所提取亮度值的平均值。使用为每个图像的每个区域所计算 的亮度的平均值，为捕获图像的每个组产生直方图。根据直方图，为捕获 图像的每个组产生场景频率模式。场景频率模式表明依照每个场景出现的
特性区域的分布。以下，将参考附图详细描述为捕获图像的每个组所产生 的直方图和场景频率模式。
图18和19包括示出其中才艮据在各个区域中亮度值的平均值来产生直 方图的情况的要点的图，根据多个捕获图像来计算所述平均值。图18示 出了其中对于在夜间图像组401中包括的每个图像中具有标识号3的区域而产生直方图的情况。图19示出了其中对于在夜间图像组401中包括的 每个图像中具有标识号24的区域而产生直方图的情况。在图18的部W a) 和图19的部分(a)中所示出的夜间图像组401与在图16中所示出的夜 间图像组401相同。如图18的部分(b)和图19的部分(b)所示，在夜 间图像组401中所包括的每个图像被划分成49个区域，并且按照逐个图 像基础来计算在每个区域中亮度值的平均值。
图18的部分(c)示出了根据亮度值的平均值所产生的直方图521， 其中对在图18的部分(b)中所示出的具有标识号3的区域计算所述亮度 值。图19的部分(c)示出了根据亮度值的平均值所产生的直方图522， 其中对在图19的部分(b)中所示出的具有标识号24的区域计算所述亮 度值。在直方图521和522中，用横坐标来绘制亮度值的平均值，并且用 纵坐标绘制频率(图像的数目)。如图18的部分(c)所示，在夜间图像 的上部中央部分中，由于在夜间存在许多诸如天空之类的阴暗部分，所以 具有亮度值低平均值的级别的频率更高。相比之下，如图19的部分(c) 所示，夜间图像的中央部分常常包括如下部分，所述部分包括用于充当对 象中央的目标，不过整个图像表示夜间场景。从而，中央部分常常包括相 对明亮的部分。因此，亮度值的平均值在相对较宽范围级别内分布。类似 地，其它区域常常具有特性分布。
依照这种方式，在捕获图像的各个区域中亮度值的平均值分布是以逐 个场景为基础的特性分布。在本发明的实施例中，区域袜分类为依照每个 场景具有类似分布的预定数目个区域组，并且政置依照每个所分类的区域 组的估计值，借此产生场景索引计算信息。以下，将描述关于夜间图像的 场景索引计算信息和关于背光图像的场景索引计算信息。
图20是示出关于夜间图像的场景频率模式的例子的图。通过根据对 各个区域所计算的亮度值的平均值把每个捕获图像的49个区域组织为 组，来获得在图20中所示出的夜间场景频率模式530。在图20中，用粗 体来表明组531到535。在夜间图像中，上和下部分具有许多阴暗部分， 诸如在夜间的天空和地面，并JbNl对中央部分常常包括用于充当对象中央 的相对明亮的目标。因此，在夜间场景频率模式530中，当区域从上和下 部分*到中央部分时(从组531逸艮到组535)，所述区域从其中具有
较低亮度值平均值的级别的频率更高的一组区域进展到其中在相对较宽 范围级别上分布亮度值平均值的一组区域。即，夜间场景频率模式530 是其中组531到535是低亮度区域的频率模式。图21A是示出在其中对于图20所示出的夜间场景频率模式530来说 ^目同的号码给予属于相同组的区域的情况的图。即，号码"l"被给予在 组531中包括的各个区域；号码"2，，被给予在组532中包括的各个区域； 号码"3"被给予在组533中包括的各个区域；号码"4"被给予在组534中包 括的各个区域；并且号码"5"被给予在组535中包括的各个区域。在图21A 中所示出的夜间场景频率模式540除^目同的号码给予属于相同组的区 域之外均与在图20中所示出的夜间场景频率模式530相同。
图21B是示出用于计算场景索引时为每个区域确定估计值的估计值 转换表的例子的图。在图21B中所示出的估计值转换表550用来根据在 图21A所示出的夜间场景频率模式540中的组531到535与其中^^取亮 度值的平均值的区域之间的关系来获得49个划分区域中的每个的估计 值。这里，在图21B中所示出的Yl、 Y2、 Y3、 Y4和Y5是用于分类从 各个区域所提取的亮度值的平均值的值，并且Y1<Y2<Y3<Y4<Y5。 tll 到t16、 ...、 t51到t56还^:依照亮度值的平均值以及其中计算这些平均值 的区域所属的组而确定的估计值。才艮据统计学习来确定这些估计值。例如， 当数值t增加时，估计值变得更大。依照这种方式，场景索引计算信息包 括场景频率模式和估计值转换表。
图22A是用于示出关于背光图像的场景频率模式的例子的图，并且 图22B是用于示出关于背光图像的估计值转换表的例子的图。通过像夜 间场景频率模式540那样根据对各个区域所计算的亮度值平均值把每个 捕获图像的49个区域组织为组，来获得在图22A中所示出的背光场景频 率模式560。在图22A中，用粗体M明组561到566。在背光图像中， 上部具有许多明亮部分，诸如中午的天空，并且相应地亮度值的平均值常 常分布在相对较高的级别上。相比之下，尽管较低的中央部分常常包括用 于充当对象中央的人，这是因为人后面是明亮的，所以亮度值的平均值常 常分布在相对较低的级别上。因此，在背光场景频率模式560中，当区域 从下部中央部分逸艮到上部时(从组566逸艮到组561 )，所述区域从其 中具有较低亮度值平均值的级别的频率更高的一组区域iijl到其中在具 有较高亮度值平均值的级别的频率更高的一组区域。即，背光场景频率模 式560是其中组566和565为低亮度区域的频率模式，组564和563为中 间亮度区域，并且组562和561为高亮度区域。依照每个场景可以使组的 数目是不同的。例如，在关于夜间图像的场景频率模式中所述区域被组织 为五个组，并且在关于背光图像的场景频率模式中所述区域被组织为六个 组。图22B示出了用于在计算场景索引时确定每个区域的估计值的估计 值转^ 570。估计值转换表570用来根据在背光场景频率模式560中的 组561到566与其中提取亮度值的平均值的区域之间的关系来获得49个 划分区域中的每个的估计值。由于估计值转换表570除组的数目和估计值 是不同的之外类似于在图21B中所示出的估计值转换表550，所以不再重 复其描述以免重复。
现在将描述用于计算场景索引的场景索引计算方法。在此例子中，将 以举例形式描述其中计算关于夜间场景的场景索引的情况。
区域划分部件253把对应于从数字信号处理部件123所输出的图像信 号的捕获图像划分为49个区域。亮度值提取部件254提M从捕获图像 所划分的各个区域中的亮度值。场景索引计算部件255计算在捕获图像的 每个区域中的亮度值的平均值，并且根据每个区域中的亮度值的平均值使 用在场景索引计算信息存储部件350中所存储的场景索引计算信息来计 算场景索引。
特别地是，例如对于在图21A中所示出的夜间场景频率模式540中 被给予了组号"l"的区域来说，确定根据此区域所计算的亮度值的平均值 对应于以下哪个状态小于Y1;大于或等于Yl并且小于Y2;大于或等 于Y2并且小于Y3;大于或等于Y3并且小于Y4;并且大于或等于Y4 并且小于Y5。例如，当才艮据被给予了组号"l"的区域所计算的亮度值的平 均值小于Y1时，"tll"被确定为该区域的估计值。例如，当根据被给予了 组号"l"的区域所计算的亮度值的平均值大于或等于Yl并且小于Y2时， "tl2"被确定为该区域的估计值。类似地，确定49个区域的估计值。使用 依照这种方式所确定的估计值，计算关于夜间场景的场景索引YS1。可以 通过下列方程式来获得场景索引YS1:
YSl=(ERl+ER2+ER3+...ERn)/n (13)
其中n是划分区域的数目；并且ERl…ERn是为各个区域所确定的 估计值，其中在此例子中n=49。
根据通过使用此方程式所计算的场景索引YS1的值，确定捕获图像 是否为夜间场景。例如，当所计算的场景索引YS1大于或等于阈值T1时， 捕获图像可以被确定为是夜间场景。依照这种方式，对于一个捕获图像来 说，使用关于每个场景的场景索引计算信息来以逐个场景为基础计算场景 索引。例如，当在为各个场景所计算的场景索引当中的多个场景索引大于或等于阈值时，捕获图像可以被确定为在大于或等于阈值的场景索引当中 具有最高值的场景索引的场景。
图23A是示出用于表示在多个捕获图像和为这些捕获图像所计算的 夜间场景索引之间关系的图表的图。在此图表中，用横坐标绘制捕获图像 的标识号，并且用纵坐标绘制夜间场景索引。在此图表中，例如当阔值 Tl为180时，其夜间场景索引具有大于或等于阈值Tl的值的捕获图像可 以被确定为夜间场景。
图23B和23C是用于示出在相对阴暗地方中捕获图像的图。例如， 尽管在图23B中所示出的捕获图像是在夜间在街道上所捕获的图像，但 是因为捕获图像是相对明亮地方的图像，相对较小的值(例如，夜间场景 索引76)被计算为夜间场景索引571。因此，在图23B中所示出的捕获 图像未被确定为夜间场景。相比之下，在图23C中所示出的捕获图像是 在夜间在街道上所捕获的图像，并且因为捕获图像是相对阴暗地方的图 像，相对较大的值(例如夜间场景索引208)被计算为夜间场景索引572。 因此，在图23C中所示出的捕获图^^L确定为夜间场景。依照这种方式， 可以通过只使用夜间场景索引来确定夜间场景。然而，通过使用下述场景 索引校正值来校正夜间场景索引，可以进一步改进用于确定夜间场景的准 确度。
图24A是示出用于计算场景索引校正值的估计值转换表的图。在图 24A中所示出的估计值转换表550除用粗体表明在每个组内的一个部分之 外类似于在图21B中所示出的估计值转换表550。当计算场景索引校正值 时，当粗体的"tll"、 "t22"、 "t33"、 "t44"和"t55"之一被确定为相应区域 中的估计值时，对预定值进行计数。例如，顺序地增加"l"作为场景索引 校正值。
特别地是，对于被给予了组号"l"的区域来说，当根据此区域所计算 的亮度值的平均值小于Yl时，把"l"增加到场景索引计算值。对于被给 予了组号"2"的区域来说，当根据此区域所计算的亮度值的平均值大于或 等于Y1并且小于Y2时，把"l"增加到场景索引计算值。类似地，对被给 予了组号"3"到"5"的区域来计算场景索引校正值。相比之下，当确定除用 粗体的"tll"、 "t22，，、 "t33，，、 "t44，，或"t55，，之外的估计值时，并不对场景 索引校正值进行任何计算。即，在为49个区域所确定的估计值之间，对 于场景索引校正值来说对对应于"tll"、 "t22"、 "t33，，、 "t44"和"t55"的那 些区域ii;阡计数。图24B是示出用于表示在夜间场景索引和场景索引校正值之间关系 的图表的图。在图24B所示出的图表中，用横坐标绘制场景索引校正值 SK,并且用纵坐标绘制夜间场景索引的值。在此例子中，如图23A到23C 所示，使用场景索引校正值SK来增加所计算的夜间场景索引值。例如， 当场景索引校正值SK大于或等于阈值T2时，如图24B所示，增加夜间 场景索引。相比之下，例如当场景索引校正值SK小于阈值T2时，并不 增加或减少夜间场景索引。依照这种方式，注意在区域当中具有最高频率 的区域，并且对对应于此区域的区域的数目进行计数，借此计算场景索引 校正值SK。当场景索引校正值SK大于或等于阈值T2时，执行用于增加 夜间场景索引的处理，由此进一步把夜间场景与其它场景相分离。据此， 可以执行更适当的场景确定。
图25A是示出用于表示在多个捕获图像和为这些捕获图像所计算的 夜间场景索引之间关系的图表的图。通过使用场景索引校正值转换在图 23A所示出的图表中所示出的夜间场景索引来获得此图表。例如，当M 图25A中所示出的图表与在图23A中所示出的图^目比较时，在其中夜 间场景索引值为低的部分中存在可忽略的改变。然而，当夜间场景索引值 增加时，夜间场景索引被转换为较高值。即，可以进一步把夜间场景与其 它场景相分离，并且可以改进用于确定夜间场景的准确度。在图25B和 25C中所示出的捕获图4象分别与在图23B和23C中所示出的那些捕获图 <|^目同。例如，对于在图25B中所示出的捕获图像来说，相对较小的值 (例如，夜间场景索引76)被计算为夜间场景索引571，并Jbf目应地， 场景索引校正值并不大于或等于阈值T2。因此，在夜间场景索引中不存 在任何变化。相比之下，对于在图25C中所示出的捕获图像来说，相对 较大的值(例如，夜间场景索引284)被计算为夜间场景索引573，并 且相应地，场景索引校正值大于或等于阁值T2。因此，增加夜间场景索 引。
图26A是用于示出关于背光场景的估计值转换表的图，并且图26B 是示出用于表示在背光场景索引和场景索引校正值之间关系的图表的图。 在图26A中所示出的估计值转换表570除用粗体表明在每个组内的一个 部分之外类似于在图22B中所示出的估计值转换表570。当计算关于背光 场景的场景索引校正值时，如在图24A中，当粗体的"s61"、 "s52"、 "s43"、 "s34"、 "s25"和"sl6"之一被确定为相应区域中的估计值时对预定值进行 计数。在图26B所示出的图表中，用横坐标绘制场景索引校正值SK，并 且用纵坐标绘制背光场景索引的值。背光场景索引的转换类似于在图24B中所示出的夜间场景索引的情况.在此例子中，将描述其中使用共同的阈
值T2来用于夜间场景和背光场景的情况。作为选择，可以以逐个场景为 狄使用不同的阈值。
如同上述，已经描述了其中使用场景度分数来确定捕获图像的场景的 例子以及其中使用场景索引来确定捕获图像的场景的例子。可以通过使用 场景度分数和场景索引之一确定场景来改进场景确定准确度。然而，可以 通过使用场景度分数和场景索引确定场景来进一步改进场景确定准确度。 以下，将描述其中使用场景度分数和场景索引来确定场景的例子。例如， 选择具有最高场景度分数的场景。当为所选场景所计算的场景索引大于或 等于阈值时，可以确定所选场景。通过使用场景度分数和场景索引确定场 景，可以改进场景确定准确度。
接下来，将描述在所确定的场景和图傳省获模式之间的关系。
图27是示出在图像捕获条件和用于设置所述图像捕获条件的条件之 间关系的图。此例子示出了其中通过执行初步光发射操作的夜间场景 601、背光场景602、面部检测603、主要对l^r测604，以及用于表明图 像捕获设备100的静止或移动状态的静止/移动状态605被用为用于设置 图像捕获^Hf的M的情况。此例子还示出了其中緩慢同步模式6U、闪 光灯发射模式612、高灵敏度模式613、夜间模式614、白天同步模式615 和强度校正616被设置为图像捕获条件的情况。将参考图34到36详细描 述这些设置。
例如，当捕获夜间场景或室内场景的静止图像时，减小快门ii^，导 致有更多机率出现运动污点。当增加快门速度时，尽管运动污点变得不太 可能出现，可能无法在诸如夜间场景之类的阴暗场景中捕获美丽的背景图 像。近年来，已经广泛地执行用于通过在AGC处理中增加放大增益并且 捕获具有高灵敏度的图像来捕获背景图像的方法。然而，由于噪声量通过 增加增益而增加，所以并非包括夜间场景的所有阴暗场景都可以被处理。 因此依照本发明实施例，可以通过确定图像捕获设备IOO的静止状态来捕 获诸如夜间场景之类的阴暗场景的美丽图像。
图28A和28B是示出依照本发明实施例的低明度校正的要点的图。 在此例子中，将描述当场景被确定为夜间场景时所执行的低明度校正。例 如，当场景被确定为夜间场景时，执行改变明度的低听度校正处理。
在本发明的实施例中，例如在被称作自动模式的标准模式中执行场景确定。自动模式是覆盖从诸如夜间场景之类的低明度场景到诸如室外场景 之类的高明度场景的宽范围的图像捕获模式。因此，在自动模式中的曝光 条件不同于夜间模式中的预定阈值(明度目标值)。通过依照明度执行低 明度校正来执行用于将在自动模式中的明度级带到接近于夜间模式中的 预定阈值的处理。
在图28A所示出的图表中，用横坐标绘制从捕获图像所提取的EV 值，并且用纵坐标绘制亮度目标值.从捕获图像所提取的当前EV值^ 示为L1。如图28A中的图表所示，根据从捕获图像所提取的EV值执行 低明度校正，由此把EV值带到接近于夜间模式中的预定阈值。在图28B 所示出的图表中，用横坐标绘制为捕获图像所计算的夜间场景度分数，并 且用纵坐标绘制明度目标值。根据捕获图像所计算的当前场景度分数^L^ 示为L2。
在本发明的实施例中，除在图28A中所示出的低明度校正之外，使 用所确定场景的信息来执行用于改变校正量的处理。例如，当在场景确定 处理中所计算的场景度分数为高时，执行校正以便进一步使图像变暗。作 为选择，例如当场景度分数为低时，执行校正以便进一步使图像明亮。特 别地是，例如计算在对应于在图28A中所示出的Ll的低明度校正值和对 应于在图28B中所示出的L2的低明度校正值之间的差异d，并且所计算 的差异d充当校正量以便在明度上反映。依照这种方式，可以通过使用所 确定场景的信息来执行更适当的低明度校正.
作为选择，可以通过使用夜间场景索引代^f吏用夜间场景度分数来执 行校正。作为选择，可以通过使用夜间场景度分数和夜间场景索引来执行 校正。可以类似地处理除夜间场景之外的场景。
图29A到30B ^!依照本发明实施例示出在显示部件140上显示的场 景识别图标的显示例子的图。图29A示出了背光场景识别图标700，其是 对应于背光场景的示例性场景识别图标。图29B示出了夜间场景识别图 标710，其是对应于夜间场景的示例性场景识别图标。图30A示出了其颜 色已经被改变的背光场景识别图标700。图30B示出了其颜色已经被改变 的夜间场景识别图标710。
当在正执行监视以便在显示部件140上显示捕获图像的情况下已经 由场景判定部件250在预定时段连续地确定相同的场景时，显示对应于该 场景的场景识别图标。例如，如图29A所示，当在显示部件140上正显 示对应于背光场景的捕获图4象时，如果场景判定部件250已经在预定时段
39连续地确定背光场景，那么在所述显示部件140上连同所述捕获图像一起 显示背光场景识别图标700。
当在显示部件140上正显示场景识别图标时，如果不完全地按压快门 线釋，放掩纽131，例如如图30A和30B所示，那么改变在显示部件140 上所显示的场景识别图标的颜色。例如，如图30A所示，当在显示部件 140上连同捕获图像一起显示背光场景识别图标700时，如果快门线释放 掩纽131被不完全地按压，那么改变背光场景识别图标700的颜色。
例如，当图像捕获设备100被极大地移动或者在其中亮度不稳定的地 方时，场景识别图标的显示摆动使得可以依照重复的方式来显示和擦除场 景识别图标。相比之下，在本发明的实施例中，防止显示场景识别图标的 摆动以及重复显示/擦除所述场景识别图标，并且可以依照稳定方式显示 所述场景识别图标。据此，可以显示场景识别图标，4吏得摄影师可以容易 地查看所显示的场景识别图标。在本发明的实施例中，描述了其中在显示 部件140上显示场景识别图标作为用于表示每个场景的标记的例子。作为 选择，可以显示诸如文本或图像之类的另一标记作为用于表示每个场景的 标记。
接下来，将参考附图描述依照本发明实施例的图像捕获设备100的操作。
图31是示出由依照本发明实施例的图像捕获设备100所批阡的场景 确定处理的处理过程的流程图。在此例子中，将描述其中使用场景度分数 和场景索引来确定场景的例子。例如在监视捕获图像期间执行场景确定。
最初，获得捕获图像(步骤S901)。然后，执行场景度分数计算处理 (步骤S910)。将参考图32详细描述场景度分数计算处理。然后，执行 场景索引计算处理(步骤S920)。将参考图33详细描述场景索引计算处 理。
然后，场景确定部件256选择在由场景度分数计算部件252所计算的 场景度分数当中具有最高场景度分数的场景(步骤S卯2)。然后，场景确 定部件256确定由场景索引计算部件255为所选场景所计算的场景索引是 否大于或等于阈值(步骤S903)。当为所选场景所计算的场景索引大于或 等于阈值时(在步骤S卯3为是)，场景确定部件256确定所选场景为当前 捕获图像的场景(步骤S904)。相比之下，当为所选场景所计算的场景索 引小于阈值时(在步骤S903为否)，场景确定部件256确定当前捕获图像的场景是不可确定的(步骤S卯5 )。
A曰士旦古比旦必入虹j:A比旦a廿n 比旦丄a 0女4工T7V传自aa 3 "^TJ取冋W尔/久刀紙ny 尔 尔- T WR入J LV
最高场景度分数以及关于亮度值分布信息的最高场景度分数时，在步骤
S卯3可以在不使用场景索引执行确定的情况下确定所述场景。
图32是用于示出在由依照本发明实施例的图像捕获设备100执行的 场景确定处理的处理过程内的场景度分数计算处理的过程(在图31中所 示出的步骤S910中的处理过程)的流程图。
最初，EV值提取部件240从捕获图像中提取EV值(步骤S911 )。 然后，亮度值分布信息提取部件251从捕获图像提取直方图(步骤S912 )。 然后，场景度分数计算部件252根据由EV值提取部件240所提取的EV 值和由亮度值分布信息提取部件251所提取的直方图以逐个场景为J^i 使用在场景度分数计算信息存储部件300中所存储的场景度分数计算信 息来计算场景度分数。
图33是用于示出在由依照本发明实施例的图像捕获设备100执行的 场景确定处理的处理过程内的场景索引计算处理的过程(在图31中所示 出的步骤S920中的处理过程)的流程图.
最初，区域划分部件253把捕获图像划分为预定区域(步骤S921)。 然后，亮度值提取部件254从每个划分区域提取亮度值(步骤S922)。然 后，场景索引计算部件255计算在每个区域中所提取亮度值的平均值，并 且根据亮度值的平均值以逐个场景为基础通过使用在场景索引计算信息 存储部件350中所存储的场景索引计算信息来计算场景索引校正值和场 景索引(步骤S923)。
图34是示出由依照本发明实施例的图^Mt获设备100所执行的图像 捕获模式设置处理的处理过程的流程图。
最初，确定是否已经确定夜间场景(步骤S951)。当已经确定夜间场 景时(在步骤S951为是)，执行夜间场景模式设置处理(步骤S960)。参 考图35详细描述夜间场景模式设置处理。
当尚未确定夜间场景时(在步骤S951为否)，确定是否已经确定背光 场景(步骤S952 )。当已经确定背光场景时(在步骤S952为是)，执行背 光场景模式设置处理(步骤S970)。参考图36详细描述背光场景模式设 置处理。当尚未确定背光场景时(在步骤S952为否)，执行不同于夜间场 景或背光场景的另一场景的模式设置处理(步骤S953)。图35是用于示出在由依照本发明实施例的图像捕获设备100执行的 图像捕获模式设置处理的处理过程内的夜间场景模式设置处理的过程(在 图34中所示出的步骤S960中的处理过程)的流程图。
确定在捕获图像中是否检测到面部(步骤S961)。当在捕获图像中检 测到面部时(在步骤S961为是)，设置其中发射闪光的闪光灯发射模式(步 骤S962)。然后，确定图像捕获设备100是否是静止的(步骤S963)。
当确定图像捕获设备100是静止的时(在步骤S963为是)，可以设想 图像捕获设备100被利用三脚架固定或位于固定地方。因此，设置緩慢同 步模式(步骤S964)。緩慢同步模式是其中在阴暗场景中可以利用闪光灯 发射来捕获对象(人)的清楚图像并且可以利用緩慢快门速度来捕获在阴 暗场景中美丽的背景图像的模式。由于图像捕获设备100被确定为是静止 的，所以不执行用于提升图像信号的AGC处理，并且从而可以降低快门 速度。据此，摄影师可以记录美丽的且无噪声的捕获图像。
相比之下，当确定图像捕获设备100并不是静止的时(在步骤S963 为否)，例如可以设想摄影师正在用手拿着图像捕获设备IOO的同时捕获 图^Ml者所述图^^获设备100位于并不稳定的地方。因此，设置其中执 行用于提升图像信号的AGC处理并且增加快门U的啄ib溪式(高灵敏 度模式)，由此防止运动污点(步骤S965)。通过利用闪光灯发射来捕获 图像，可以捕获对象(人)的清楚图像。通过执行用于提升图像信号的 AGC处理，可以捕获在阴暗场景中美丽的背景图像。通过把快门速度增 加到可以防止运动污点的级别，即使当摄影师用手拿着图像捕获设备 100，该摄影师也可以记录可靠获得的捕获图像。粗略地说，当把快门速 度增加到等效于图像捕获透镜的焦距倒数的il^L(秒)时，由于照相机移 动所导致的图像捕获错误通常不太可能出现。从而例如把快门速度调节为 比等效于图像捕获透镜的焦距倒数的速度(秒)更快的速度。
当在捕获图像中没有检测到面部时(在步驟S961为否)，通过执行初 步;5tiC射操作来确定是否存在主要对象(步骤S966)。在阴暗场景中，很 可能难以准确地执行面部检测。从而，通过执行初步;5feJi射操作来确定主 要对象是非常有效的。当通过执行初步光发射操作确定存在主要对象时 (在步骤S966为是)，流程继续至步骤S962。相比之下，当通过执行初 步M射操作确定不存在主要对象时(在步骤S966为否)，那么确定图像 捕获设备100是否是静止的(步骤S967 )。
当确定图像捕获设备100是静止的时(在步骤S967为是)，设置在捕
42获夜间场景图像中专用的夜间模式(步骤S968)。当设置此夜间模式时， 由于在捕获图像中不存在任何人，所以禁止闪光灯发射，并且使用緩慢快 门ilJL来捕获图像。据此，摄影师可以记录美丽的且无噪声的捕获图像.
相比之下，当确定图像捕获设备100不是静止的时(在步骤S967为 否)，设置高灵敏度模式(步骤S969)。在这种情况下，由于在捕获图像 中不存在任何人，所以禁止闪光灯发射，并且执行用于提升图像信号的 AGC处理。据此，可以捕获在阴暗场景中的背景图〗象。通过把快门i4^ 增加到高达可以防止运动污点的级别，即使当摄影师用手拿着图像捕获设 备100，该摄影师也可以可靠地记录捕获图像。
这里，设置每个图像捕获模式意味着设置对应于图像捕获模式的程序 图。可以类似地设置各个图像捕获模式，除上述图傳4获模式之夕卜包括风 景模式、肖像模式等。
当在步骤S963和S967中确定图像捕获设备100是否是静止的时，所 述处理具有与用于使用污点校正设备消除或减少运动污点的确定准则不 同的确定准则。这是因为可以通过4吏诸如上述用于确定阴暗场景以及改变 曝光条件的确定准则不同于用于消除或减少运动污点的静止确定准则来 执行优化。
当图像捕获设备100具有自拍器功能时，很可能当图像捕获设备100 利用三脚架固定或者位于固定地方时开启自拍功能。因此例如可以只在开 启自拍器功能时执行上述处理。还可以不禁止闪光灯发射而不考虑是否检 测到面部。还可以通过利用操作接受部件130执行手动操作来将面部检测 部件210、静止确定部件220、主要对f^r测部件230和场景判定部件250 设置为关闭。还可以通过利用操作接受部件130执行手动操作来将上述处 理^1置为关闭。
图36是用于示出在由依照本发明实施例的图像捕获设备100执行的 图像捕获模式设置处理的处理过程内的背光场景模式设置处理的过程(在 图34中所示出的步骤S970中的处理过程)的$0图。
确定在捕获图像中是否检测到面部(步骤S971)。当在捕获图像中检 测到面部时(在步骤S971为是)，设置其中发射闪光的闪光灯发射模式(步 骤S972)，并且设置白天同步模式(步骤S973)。白天同步模式是其中在 背光场景的情况下例如在主要对象可能是阴暗的并且凹陷(sunken )的情 况下，可以利用闪光灯发射来捕获主要对象和背景的良好图像的图像捕获模式.当人后面明亮时，面部变得阴暗并且凹陷，并且在捕获图像中可能
检测不到面部。因此，当在捕获图像中没有检测到面部时(在步骤S971 为否)，通过执行初步光发射^作来确定存在主要对象(步骤S974)。
当通过执行初步光发射操作确定存在主要对象时(在步骤S974为 是)，J5^E继续至步骤S972。相比之下，当通过执行初步光发射操作确定 不存在主要对象时(在步骤S974为否)，那么执行强度校正处理(步骤 S975 )。强度校正处理是用于执行强度校正以便在图像信号的低亮度侧增 加亮度强度级的处理。结果，背光场景可以被捕获并作为自然图像记录。
当摄影师已经禁止闪光灯发射时，白天同步模式是不可设置的.因此， 当摄影师已经禁止闪光灯发射时，执行强度校正。强度校正控制的细节取 决于是否检测到面部而可以是不同的。例如，当检测到面部时，可以执行 校正以便把面部亮度的强度调节到适当级别。
图37是示出由依照本发明实施例的图像捕获设备100所执行的场景 识别图标显示处理的处理过程的流程图。特別地是，此处理过程由显示控 制部件2卯执行。
最初，执行监视以便在显示部件140上显示捕获图4象(步骤S981 )。 然后，确定是否已经确定场景(步骤S982)。当已经确定场景时(在步骤 S982为是)，那么确定所确定的场景是否与先前刚确定的场景相同(步骤 S983)。当所确定的场景与先前刚刚确定的场景相同时(在步骤S983为 是)，使图标显示计数器增加(步骤S984)。那么，确定图标显示计数器 是否大于或等于阈值(步骤S986)。
当图标显示计数器大于或等于阈值时(在步骤S986中为是)，"TRUE" 被设置为图标显示标志(步骤S987 )。于是在显示部件140上显示对应于 此确定场景的场景识別图标(步骤S988 )。当图标显示计数器并不大于或 等于阈值时(在步骤S986中为否)，流程继续至步骤S989。
当没有确定场景时(在步骤S982中为否)，或者当所确定的场景并不 与先前刚刚确定的场景相同时(在步骤S983为否)，复位图标显示计数器 (步骤S985 )。于是，"FALSE"被设置为图标显示标志(步骤S989 )。然 后擦除在显示部件140上所显示的场景识别图标(步骤S990 )。当在显示 部件140上没有显示场景识别图标时，并不执行用于擦除场景识别图标的 此处理。
然后确定是否已经不完全地按压快门线释放按钮131 (步骤S991 )。
44当快门线释放^L131尚未被不完全按压时(在步骤S991中为否)，iM呈 返回到步骤S981。相比之下，当快门线释放^&131已经被不完全地按 压时(在步骤S991中为是)，确定"TRUE，，是否已经被设置为图标显示标 志(步骤S992)。当"TRUE"已经被设置为图标显示标志时(在步骤S992 中为是)，改变在显示部件140上所显示的场景识别图标的颜色(步骤 S993 )。相比之下，当"TRUE"尚未^C设置为图标显示标志时(在步骤S992 中为否)，终止场景识别图标显示处理。
如上面已经描述，在诸如夜间中的阴暗地方中或在房间内，图4象捕获 设备100的用户可以通过在不使用各种设置和图像捕获方法的情况下确 定图像捕获设备100的静止状态来容易地获得良好的图像。例如，当用户 已经利用三脚架固定图像捕获设备100来代智4吏用手拿着所述图像捕获 设备100时，可以获得美丽的且无噪声的图像。当用户用手拿着图像捕获 设备100时，可以获得没有运动污点的图像。因此，可以处理任何阴暗场 景模式。
使用面部检测部件210、静止确定部件220、主要对^J险测部件230 和场景判定部件250，由于只在必要时执行光发射所以可以获得自然图 像。还可以减少功率消耗，并Jbf目应地，用户可以使用图像捕获设备IOO 更长时间。通过在开启自拍器功能时把面部检测部件210、静止确定部件 220、主要对IM^测部件230和场景判定部件250设置为被激活，可以减 少功率消耗，并且用户可以使用图像捕获设备100更长时间。
通过使用场景度分数计算信息和场景索引计算信息执行场景确定，可 以准确地区分包括夜间场景、室内场景、室外场景和背光场景在内的各个 场景。甚至可以确定其中用户可能没能捕获图像的场景(诸如背光场景)。 利用通过执行初步M射操作的面部检测和主要对l险测，即侵在背光场 景中也可以执行适当的处理。据此，可以在不使用户执行困难操作的情况 下容易地获得良好的图像。此外，甚至可以确定其中用户可能没能捕获图 像的场景(诸如夜间场景).因为根据场景度分数等把明度控制为适当的 明度，所以可以在不使用户执行困难操作的情况下容易地获得良好的图 像。
由于以稳定方式显示用于使用户识别场景的场景识别图标，所以用户 可以更容易地识别所述场景。
尽管在本发明的实施例中以16阶表明度值分布信息，不过即使当按 其它数目的阶来表明度值分布信息时也可以执行类似的处理。尽管在本发明的实施例中已经以举例形式描述了根据六个亮度值分布信息项所产生 的亮度值分布信息场景度分数计算信息，诸如整个直方图的亮度中值，可 以通过使用根据其它亮度值分布信息所产生的亮度值分布信息场景度分 数计算信息来计算场景度分数。作为亮度值分布信息，可以使用例如直方 图的峰宽、直方图中的峰值高度、直方图的底宽、直方图的间隔和/或直 方图中曝光itv变区域的比例。
尽管在本发明的实施例中已经以举例形式描述了诸如数字静物照相 机之类的图^^获设备，本发明的实施例适用于各种图像捕获设备，诸如 具有静止图像捕获功能的摄^^ 和具有图像捕获部件的移动电话。本 发明的实施例还适用于具有不同结构的图像捕获设备,诸如可更换透镜的 照相机或电影摄像机。
尽管在本发明的实施例中已经描述了其中使用EV值作为明度信息 的例子，不过本发明的实施例适用于其中使用诸如光值(LV)之类的明 度信息的情况。
尽管在本发明的实施例中已经描述了其中使用在不围绕光轴方向旋 转图像捕获设备的情况下捕获图像的例子，不it^发明的实施例例如适用 于通过围绕光轴方向旋转图像捕获设备90度所捕获的图像。在这种情况 下，例如预先产生通过旋转图像捕获设备90度所捕获的图像的场景索引 计算信息。使用此场景索引计算信息，计算场景索引。作为选择，根据从 捕获图像所划分的每个区域中提取的亮度值平均值来计算正常的场景索 引。另外，使用旋转90度的场景频率模式来计算场景索引。通过使用这 些场景索引，可以执行场景确定。作为选择，通过使用角度传感器来检测 图像捕获设备的旋转角度，使用所述图像捕获设备的旋转角度来确定捕获 图像的旋转角度，并且依照所述捕获图像的旋转角度来计算场景索引。
以举例形式图示了本发明的实施例以便实现本发明。尽管在实施例和 下面将描述的权利要求的特征之间存在一致性，不过本发明并不局限于 此，并且在不脱离本发明的精神和范围的情况下可以进行各种修改。
即依照本发明实施例，明度信息提取装置例如对应于EV值提取部件 240。亮度值分布信息提取装置例如对应于亮度值分布信息提取部件251。 场景确定装置例如对应于场景确定部件256。
依照本发明另一实施例，明度信息估计值参数存储装置例如对应于场 景度分数计算信息存储部件300。亮度值分布信息估计值参数存储装置例如对应于场景度分数计算信息存储部件300。确定估计值计算装置例如对 应于场景度分数计算部件252。
依照本发明另一实施例，亮度值区域信息提取装置例如对应于区域划 分部件253和亮度值提取部件254。
依照本发明另一实施例，明度信息估计值参数存储装置例如对应于场 景度分数计算信息存储部件300。亮度值分布信息估计值Wt存储装置例 如对应于场景度分数计算信息存储部件300。划分区域估计值转换信息存 储装置例如对应于场景索引计算信息存储部件350。确定估计值计算装置 例如对应于场景度分数计算部件252。划分区域估计值计算装置例如对应 于场景索引计算部件255。
依照本发明另一实施例，明度校正处理装置例如对应于图傳捕获M i殳置部件280。
依照本发明另一实施例，图像捕获条件设置装置例如对应于图像捕获 ^ffi殳置部件280。
依照本发明另一实施例，显示控制装置例如对应于显示控制部件2卯。
依照本发明另 一实施例，划分区域估计值转换信息存储装置例如对应 于场景索引计算信息存储部件350。亮度值区域信息提取装置例如对应于 区域划分部件253和亮度值提取部件254。划分区域估计值计算装置例如 对应于场景索引计算部件255。场景确定装置例如对应于场景确定部件 256。
依照本发明的其它实施例，提取明度信息的步骤例如对应于步骤 S911。 4^取亮度值分布信息的步骤例如对应于步骤S912。确定场景的步 骤例如对应于步骤S卯4。
在本发明的实施例中所描述的处理过程可以被认为是具有此过程系 列的方法或者可以被认为是用于使计算机执行所述过程系列的程序或其 上记录有所述程序的记录介质。
那些本领域技术人员应当理解，在附加权利要求及其等效物的范围 内，根据设计要求及其它因素可以进行各种修改、组合、子组合和变化。
权利要求
1.一种图像处理设备，包括输入装置，用于接收将被处理的输入图像；明度信息提取装置，用于从所述图像中提取用于表明整个图像明度的明度信息；亮度值分布信息提取装置，用于从所述图像中提取用于表明在所述图像中亮度值分布的亮度值分布信息；和场景确定装置，用于根据所提取的明度信息和所提取的亮度值分布信息来确定在所述图像中所包括的对象的场景。
2. 如权利要求l所述的图像处理设备，其中进一步包括明度信息估计值参数存储装置，用于以逐个场景为M来存储用于表 明依照各个场景的所述明度信息的分布的明度信息估计值M;亮度值分布信息估计值^lt存储装置，用于以逐个场景为^J来存储 用于表明对应于依照所述各个场景的所述亮度值分布信息的特征量的亮 度值分布信息估计值M;和确定估计值计算装置，用于以逐个场景为基础使用对应于所提取明度 信息的所述明度信息估计值参数来计算明度信息估计值，以逐个场景为基 础使用对应于所提取亮度值分布信息的所述亮度值分布信息估计值参数 来计算亮度值分布信息估计值，并且以逐个场景为J^根据以逐个场景为 基础计算的所述明度信息估计值和亮度值分布信息估计值来计算确定估 计值，其中所述场景确定装置根据以逐个场景为基础计算的所述确定估计 值来确定在所述图像中所包括的所述对象的场景。
3. 如权利要求l所述的图像处理设备，其中所述对应于亮度值分布 信息的特征量至少包括用于表明在直方图中对应于所指定类别的比例的 值，所述直方图用于表明在所述图像中亮度值的分布。
4. 如权利要求1所述的图像处理设备，其中所述对应于亮度值分布 信息的特征量至少包括通过对直方图执行判别分析方法所获得的二值化 阈值，所述直方图用于表明在所述图像中亮度值的分布。
5. 如权利要求l所述的图像处理设备，其中进一步包括亮度值区域信息提取装置，用于将所述图像划分为多个区域并且提取每个所述区域的 亮度值区域信息，其中所述场景确定装置根据所提取的明度信息、所提取的亮度值分布 信息和所提取的亮度值区域信息来确定在所述图像中所包括的所述对象 的场景。
6. 如权利要求5所述的图像处理设备，其中进一步包括明度信息估计值参数存储装置，用于以逐个场景为1^J来存储用于表 明依照各个场景的所述明度信息的分布的明度信息估计值M;亮度值分布信息估计值参lt存储装置，用于以逐个场景为^ftll来存储 用于表明对应于依照各个场景的所述亮度值分布信息的特征量的亮度值 分布信息估计值^lt;划分区域估计值转换信息存储装置，用于存储用来表明所述图像的区 域组的区域组信息和估计值转换表，其中根据依照所述各个场景的亮度值 区域信息的大小来分类所述图像的区域组，并且所述估计值转换表用于根 据所述区域组信息来将所4C取的亮度值区域信息转换为划分区域估计值；确定估计值计算装置，用于以逐个场景为1^使用对应于所提取明度 信息的所述明度信息估计值参数来计算明度信息估计值，以逐个场景为基 础使用对应于所提取亮度值分布信息的所述亮度值分布信息估计值参数 来计算亮度值分布信息估计值，并且以逐个场景为^J根据以逐个场景为 基础计算的所述明度信息估计值和亮度值分布信息估计值来计算确定估 计值；和划分区域估计值计算装置，用于以逐个场景为^ftl;使用所述区域组信 息和估计值转换表来为所提取的亮度值区域信息计算划分区域估计值，其中所述场景确定装置才艮据以逐个场景为基础计算的所述确定估计 值和划分区域估计值来确定在所述图像中所包括的所述对象的场景。
7. 如权利要求6所述的图像处理设备，其中所述划分区域估计值计 算装置用于在从所述图像的预定区域中所提取的亮度值区域信息存在于 预定范围内的情况下执行校正以便增加所述划分区域估计值。
8. 如权利要求1所述的图像处理设备，其中进一步包括明度校正处 理装置，用于在所述图像中所包括的所述对象的场景被确定为预定场景的 情况下执行与所述预定场景相应的明度校正处理。
9. 如权利要求l所述的图像处理设备，其中进一步包括图像捕获条 件设置装置，用于在所述图像中所包括的所述对象的场景被确定为背光场 景的情况下依照在所述图像中存在面部以及存在光发射来设置图像捕获 條
10. 如权利要求1所述的图像处理设备，其中进一步包括显示控制 装置，用于在所述图像中所包括的所述对象的场景已经在预定时段被连续 地确定为相同的场景的情况下显示标记，所述标记用于表示在预定时段已 经被连续确定的场景。
11. 一种图《象处理该:备，包括划分区域估计值转换信息存储装置，用于存储用来表明所捕获图像的 区域组的区域组信息和估计值转换表，其中根据依照各个场景的在所捕获 图像的预定区域中的亮度值区域信息的大小来分类所述捕获图像的区域 组，并且所述估计值转换表用于根据所述区域组信息来将所述亮度值区域 信息转换为划分区域估计值；亮度值区域信息提取装置，用于将捕获图像划分为多个区域并且提取 每个所述区域的亮度值区域信息；划分区域估计值计算装置，用于以逐个场景为^fiM吏用所述区域组信 息和估计值转换表来为所提取的亮度值区域信息计算划分区域估计值；和场景确定装置，用于根据以逐个场景为基础所计算的所述划分区域估 计值来确定在所捕获图像中所包括的所述对象的场景。
12. —种图像处理方法，包括步骤从图像中提取用于表明整个图像的明度的明度信息；从所述图像中提取用于表明在所述图像中亮度值分布的亮度值分布 信息；并且根据所提取的明度信息和所提取的亮度值分布信息来确定在所述图 像中所包括的对象的场景。
13. —种用于使计算机执行包括以下步骤的处理的程序从图4象中4^取用于表明整个图1象明度的明度信息；从所述图像中提取用于表明在所述图像中亮度值分布的亮度值分布 信息；并且根据所提取的明度信息和所提取的亮度值分布信息来确定在所述图 像中所包括的对象的场景。
14. 一种图像捕获设备，包括图^t^获装置，用于捕获对象的图像并且产生捕获图像；明度信息提取装置，用于从所述捕获图像中提取用于表明整个捕获图 像的明度的明度信息；亮度值分布信息提取装置，用于从所述捕获图像中提取用于表明在所 述捕获图像中亮度值分布的亮度值分布信息；和场景确定装置，用于根据所提取的明度信息和所提取的亮度值分布信 息来确定在所述捕获图像中所包括的所述对象的场景。
15. —种图像处理设备，包括输入部件，被配置为接收将被处理的输入图像；明度信息提取部件，被配置为从所述图像中提取用于表明整个图像的 明度的明度信息；亮度值分布信息提取部件，被配置为从所述图像中提取用于表明在所 述图像中亮度值分布的亮度值分布信息；和场景确定部件，被配置为才艮据所提取的明度信息和所提取的亮度值分 布信息来确定在所述图像中所包括的对象的场景。
16. —种图像处理i殳备，包括划分区域估计值转换信息存储部件，被配置为存储用于表明所捕获图 像的区域组的区域组信息和估计值转换表，其中根据依照各个场景的所述 捕获图像的预定区域中亮度值区域信息的大小来分类所述捕获图像区域， 所述估计值转换表用于根据所述区域组信息来将所述亮度值区域信息转 换为划分区域估计值；亮度值区域信息提取部件，被配置为把所述捕获图像划分为多个区域 并且提^i每个所述区域的亮度值区域信息；划分区域估计值计算部件，被配置为以逐个场景为基础使用所述区域 组信息和估计值转换表来为所提取的亮度值区域信息计算所述划分区域 估计值5和场景确定部件，被配置为根据以逐个场景为基础所计算的划分区域估计值来确定在所述捕获图像中所包括的对象的场景。
17. —种图像捕获设备，包括图像捕获部件，被配置为捕获对象的图像并且产生捕获图像；明度信息提取部件，被配置为从所述捕获图像中提取用于表明整个捕 获图像的明度的明度信息；亮度值分布信息提取部件，被配置为从所述捕获图像中提取用于表明 在所述捕获图像中亮度值分布的亮度值分布信息；和场景确定部件，被配置为才艮据所提取的明度信息和所提取的亮度值分 布信息来确定在所述捕获图像中所包括的所述对象的场景。
全文摘要
本发明涉及图像捕获设备、图像处理设备和方法及其程序。图像处理设备包括输入部件，被配置为接收将被处理的输入图像；明度信息提取部件，被配置为从所述图像中提取用于表明整个图像明度的明度信息；亮度值分布信息提取部件，被配置为从所述图像中提取用于表明在所述图像中亮度值分布的亮度值分布信息；和场景确定部件，被配置为根据所提取的明度信息和所提取的亮度值分布信息来确定在所述图像中所包括的对象的场景。
文档编号H04N5/235GK101494738SQ20091000562
公开日2009年7月29日 申请日期2009年1月20日 优先权日2008年1月22日
发明者小野俊树 申请人:索尼株式会社
技术领域：
本发明涉及图像捕获设备，并且尤其涉及一种可以使用多个图像捕获 条件来捕获图像的图像捕获设备、 一种图像处理设备和方法以及用于使计 算机执行所述方法的程序。
背景技术：
迄今为止，诸如数字静物照相机之类的图像捕获设备已经变得可以被 利用，所述图像捕获设备捕获诸如人和风景之类的对象的图像并且记录捕
获图像。作为这些图IMt获设备之一，已经提出一种图像捕获设备，用于
确定在捕获图像中所包括的对象的场景并且依照所确定的场景来设置图 像捕获沐
例如，已经提出用于确定在捕获图像中所包括的对象的背光状态并且 依照此捕获图像的背光状态来执行背光校正的图像捕获设备(例如，参见
曰本未经审查的专利申请公开号2004-235956 (图l))。
发明内容
依照上述背景技术，可以通过确定在捕获图像中所包括的对象的背光 状态依照该背光状态来执行背光校正。然而例如取决于在捕获图像中所包 括的对象的大小或布置，背光场景可以类似于除背光场景之外的室内场景 或室外场景(诸如前光场景)。因此，在一些情况下可能4艮难区分背光场 景。即便在这种情况下，通过适当地确定背光场景，也可以设置更适当的 图像捕获M。 M个场景与背光场景适当地区分也是重要的。
希望适当地确定在捕获图像中所包括的对象的场景。
依照本发明实施例，提供了一种图像处理设备，包括以下元件输入 装置，用于接收将被处理的输入图像；明度信息提取装置，用于从所述图 像中提取用于表明整个图像明度的明度信息；亮度值分布信息提取装置，
7用于从所述图像中提取用于表明在所述图像中亮度值分布的亮度值分布
信息；和场景确定装置，用于根据所提取的明度信息和所提取的亮度值分 布信息来确定在所述图像中所包括的对象的场景。
图像处理设备可以进一步包括以下元件明度信息估计值^存储装 置，用于以逐个场景为1^来存储用来表明依照所述各个场景的明度信息 分布的明度信息估计值参数；亮度值分布信息估计值^lfc存储装置，用于 以逐个场景为1^来存储用于表明对应于依照所述各个场景的所述亮度 值分布信息的特征量的亮度值分布信息估计值参数；和确定估计值计算装 置，用于以逐个场景为基础使用对应于所提取明度信息的明度信息估计值 M来计算明度信息估计值，以逐个场景为基础使用对应于所提取亮度值 分布信息的亮度值分布信息估计值^lt来计算亮度值分布信息估计值，并 且以逐个场景为^根据以逐个场景为基础计算的明度信息估计值和亮
度值分布信息估计值来计算确定估计值。场景确定装置可以根据以逐个场 景为基础计算的确定估计值来确定在所述图^^中所包括的对象的场景。
对应于亮度值分布信息的特征量至少可以包括用于表明在直方图中 对应于所指定类别的比例的值，所述直方图用于表明在所述图像中亮度值 的分布。
对应于亮度值分布信息的特征量至少可以包括通过对直方图执行判 别分析方法所获得的二值化阈值，所述直方图用于表明在所述图像中亮度 值的分布。
图像处理设备可以进一步包括亮度值区域信息提取装置，用于将所述 图像划分为多个区域并且提取每个区域的亮度值区域信息。场景确定装置 可以才艮据所^^的明度信息、所提取的亮度值分布信息和所提取的亮度值 区域信息来确定在所述图像中所包括的对象的场景。
图像处理设备可以进一步包括以下元件明度信息估计值参lt存储装 置，用于以逐个场景为J^I来存储用来表明依照各个场景的明度信息分布 的明度信息估计值M;亮度值分布信息估计值Wt存储装置，用于以逐 个场景为基础来存储用于表明对应于依照各个场景的所述亮度值分布信 息的特征量的亮度值分布信息估计值Wt;划分区域估计值转换信息存储 装置，用于存储用来表明图像区域组的区域组信息和估计值转换表，其中 根据依照各个场景的亮度值区域信息的大小来分类所述图像区域组，并且 所述估计值转换表用于根据所述区域组信息来将所提取的亮度值区域信 息转换为划分区域估计值；确定估计值计算装置，用于以逐个场景为M度信息的明度信息估计值参数来计算明度信息估计 值，以逐个场景为基础使用对应于所提取亮度值分布信息的亮度值分布信 息估计值参数来计算亮度值分布信息估计值，并且以逐个场景为^l根据 以逐个场景为基础计算的明度信息估计值和亮度值分布信息估计值来计
算确定估计值；和划分区域估计值计算装置，用于以逐个场景为^fib使用 所述区域组信息和估计值转换表来为所提取的亮度值区域信息计算划分 区域估计值。场景确定装置可以根据以逐个场景为基础计算的确定估计值 和划分区域估计值来确定在所述图像中所包括的对象的场景。
划分区域估计值计算装置可以在从图像的预定区域中所提取的亮度 值区域信息存在于预定范围内的情况下执行校正以便增加所述划分区域 估计值.
图像处理设备进一步包括明度校正处理装置，用于在所述图像中所包 括的对象的场景被确定为预定场景的情况下执行与预定场景相应的明度 校正处理。
图像处理设备可以进一步包括图像捕获条件设置装置，用于在所述图 像中所包括的对象的场景被确定为背光场景的情况下依照在所述图像中 存在面部以及存在光发射来设置图像捕获条件。
图像处理设备可以进一步包括显示控制装置，用于在所述图像中所包 括的对象的场景已经在预定时段内被连续地确定为相同的场景的情况下 显示标记，所述标记用于表示在预定时段内已经被连续确定的场景.
依照本发明另一实施例，提供了一种图像处理设备，包括以下元件 划分区域估计值转换信息存储装置，用于存储用来表明所捕获图像的区域 组的区域组信息和估计值转换表，其中根据依照各个场景的捕获图像的预 定区域中的亮度值区域信息的大小来分类所述捕获图像的区域，并且所述 估计值转换表用于根据所述区域组信息来将所述亮度值区域信息转换为 划分区域估计值；亮度值区域信息提取装置，用于将所述捕获图像划分为 多个区域并且提取每个区域的亮度值区域信息；划分区域估计值计算装 置，用于以逐个场景为M使用所述区域组信息和估计值转换表来为所提 取的亮度值区域信息计算划分区域估计值；和场景确定装置，用于根据以 逐个场景为基础所计算的划分区域估计值来确定在捕获图^^中所包括的 对象的场景。
依照本发明另一实施例，提供了一种图像处理方法，包括步骤从图
9像中提取用于表明整个图像明度的明度信息；从所述图像中提取用于表明 在所述图像中亮度值分布的亮度值分布信息；并且根据所提取的明度信息
和所提取的亮度值分布信息来确定在所述图像中所包括的对象的场景。 依照本发明另 一实施例，提供了 一种用于使计算机执行包括以下步骤
的处理的程序从图像中提取用于表明整个图像明度的明度信息；从所述 图像中提取用于表明在所述图像中亮度值分布的亮度值分布信息；并且根 据所提取的明度信息和所提取的亮度值分布信息来确定在所述图像中所 包括的对象的场景。
依照本发明另一实施例，提供了一种图像处理设备，包括以下元件 图像捕获装置，用于捕获对象的图像并且产生捕获图像；明度信息^1取装 置，用于从捕获图像中提取用于表明整个捕获图像的明度的明度信息；亮 度值分布信息提取装置，用于从所述捕获图像中提取用于表明在所述捕获 图像中亮度值分布的亮度值分布信息；和场景确定装置，用于根据所提取 的明度信息和所提取的亮度值分布信息来确定在所述捕获图像中所包括 的对象的场景。
依照本发明实施例，杰出的有益效果在于可以适当地确定在捕获图像 中所包括的对象的场景。
图l是示出依照本发明实施例的图像捕获设备的示例性功能结构的 框图2是示出依照本发明实施例的主控制部件的示例性功能结构的框
图3是示出依照本发明实施例的场景确定部件的示例性功能结构的 框图4是依照本发明实施例示意地示出在场景度分数计算信息存储部 件中所存储的场景度分数计算信息的图5是依照本发明实施例示意地示出在场景索引计算信息存储部件 中所存储的场景索引计算信息的图6是依照本发明实施例示出用于产生场景度分数计算信息的方法 的要点的图7是用于依照本发明实施例示意地示出由EV值提取部件所提取的
10EV值的直方图的图8是用于示出场景度分数计算信息(EV值)的图，所述场景度分 数计算信息是用于存储为每个场景所产生的EV信息估计值参数的场景 度分数计算信息的例子；
图9是示出了用来表示从图像所提取的亮度值分布的直方图的图IOA是用于示出捕获图像的图IOB是用于示出M图10A中所示出的捕获图像中提取的直方图 的图11是用于示出通过使用对捕获图像执行判别分析方法所计算的阈 值而获得的二值化图像的图12是用于示意地示出从各个图像所提取的亮度值中值的直方图的
图13A和13B是示出用于存储为每个场景所产生的亮度值分布信息
估计值参数的场景度分数计算信息的例子的图14A和14B是示出用于存储为每个场景所产生的亮度值分布信息 估计值^lt的场景度分数计算信息的例子的图15A和15B是示出用于存储为每个场景所产生的亮度值分布信息
估计值M的场景度分数计算信息的例子的图16是示出用于产生在计算场景索引中所使用的场景索引计算信息 的方法的要点的图17包括示出用于将图^a'j分为预定区域的方法的要点的图18包括示出其中根据在每个区域中亮度值的平均值来产生直方图 的情况的要点的图，根据多个捕获图像来计算所述平均值；
图19包括示出其中根据在每个区域中亮度值的平均值来产生直方图 的情况的要点的图，根据多个捕获图像来计算所述平均值；
图20是示出关于夜间图4象的场景频率模式的例子的图21A是示出在其中^目同的号码给予属于相同组的区域的情况下 夜间场景频率模式的例子的图21B是示出用于在计算场景索引时以逐个区域为lJdl来确定估计 值的估计值转换表的例子的图；图22A是示出关于背光图l象的场景频率模式的例子的图； 图22B是用于示出估计值转换表的例子的图23A是示出用于表示在多个捕获图^^为这些捕获图像所计算的 夜间场景索引之间关系的图表的图23B和23C是用于示出在相对阴暗地方中捕获图像的图24A是示出用于计算场景索引校正值的估计值转换表的图24B是示出用于表示在夜间场景索引和场景索引校正值之间关系 的图表的图25A是示出用于表示在多个捕获图像和为这些捕获图像所计算的 夜间场景索引之间关系的图表的图25B和25C是用于示出在相对阴暗地方中捕获的图像的图26A是示出关于背光场景的估计值转换表的图26B是示出用于表示在背光场景索引和场景索引校正值之间关系 的图表的图27是示出在图像捕获M和用于设置所述图像捕获4Hf的M之 间关系的图28A和28B是示出依照本发明实施例的低明度校正的要点的图29A和29B ;l依照本发明实施例示出在显示部件上显示的场景识 别图标的显示例子的图30A和30B 4_依照本发明实施例示出在显示部件上显示的场景识 别图标的显示例子的图31是示出由依照本发明实施例的图傳捕获设备所执行的场景确定 处理的处理过程的流程图32是示出由依照本发明实施例的图像捕获设备所执行的场景确定 处理的处理过程内的场景度分数计算处理的过程的流程图33是示出由依照本发明实施例的图像捕获设备所执行的场景确定 处理的处理过程内的场景索引计算处理的过程的流程图34是示出由依照本发明实施例的图像捕获设备所执行的图像捕获 模式设置处理的处理过程的流程12图35是示出由依照本发明实施例的图^Mt获设备所执行的图像捕获 模式设置处理的处理过程内的夜间场景模式设置处理的过程的流程图36是示出由依照本发明实施例的图像捕获设备所执行的图像捕获 模式i殳置处理的处理过程内的背光场景模式i殳置处理的过程的流程图；和
图37是示出由依照本发明实施例的图^Mt获设备所执行的场景识别 图标显示处理的处理过程的流程图。
具体实施例方式
现在将参考附图来详细描述本发明的实施例。
图1是示出依照本发明实施例的图像捕获设备100的示例性功能结构 的框图。图像捕获设备100包括透镜部件111、光圈^部件U2、快门 机构部件113、图像拾取元件114、透镜控制部件U5、定时产生器(TG; 定时信号产生电路)116、模拟信号处理部件121、模拟到数字(A/D)转 换部件122、数字信号处理部件123、主控制部件200、操作接受部件130、 快门线释放按钮131、显示部件140、记录部件150、外部接口 (I/F)160、 电可擦除可编程只读存储器(EEPROM ) 171 、随M取光存储器(RAM) 172、污点检测部件180、充电/it^L射控制部件191和M射部件192。 图像捕获设备100可以通过例如使用数字静物照相机来实现，所述数字静 物照相机可以捕获对象的图像，产生图像数据，通过对所述图傳教据执行 图像分析来提取特征量，并且使用所提取的特征量来应用各个图像处理。
透镜部件111包括用于收集从对象所反射的光的多个透镜(变焦透 镜、聚焦透镜等)。从对象所反射的入射光通过这些透镜被传递并且被提 供到图像拾取元件U4。这些透镜由变焦控制机构部件(未在附图中示出)、 聚焦控制机构部件(未在附图中示出)或运动污点控制机构部件(未在附 图中示出)来驱动。例如，通过才艮据来自主控制部件200的控制信号控制 对变焦控制机构部件或聚焦控制机构部件的驱动来执行变焦控制或聚焦 控制。主控制部件200根据图像捕获设备100的污点信息来确定应当M 正光学系统移动到的位置以及所述校正光学系统的当前位置信息，所述污 点信息由污点检测部件180检测。根据此确定，运动污点控制机构部件被 驱动控制，由此执行运动污点校正控制。
光圈机构部件112根据来自主控制部件200的控制信号来控制孔径的 大小，其中入射光将经由透镜部件lll通过所述孔径传递。快门机构部件 113才艮据来自主控制部件200的控制信号来控制时间(曝光时间)，入射光将在所述时间期间经由透镜部件111传递。用于控制快门机构部件113
光圈机构部件112和快门机构部件113依照这种方式控制曝光量。
图像拾取元件114是其中在图像拾取面上提供滤色器的彩色图像拾 取元件。图像拾取元件114依照从TG 116所提供的驱动脉冲来操作并且 依照入射光在图像拾取面上形成对象的图像，所^射光从所M象反射 并且通itit:镜部件111传递。图像拾取元件114依照在图像拾取面上形成 的对象的图像来产生模拟图像信号，并且向模拟信号处理部件121提供所 产生的模拟图像信号。作为图像拾取元件U4，可以使用诸如电荷耦合器 件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器之类的图 像拾取元件。
透镜控制部件115根据来自主控制部件200的控制信号来控制变焦控 制机构部件、聚焦控制机构部件或运动污点控制机构部件。
TG 116根据来自主控制部件200的控制信号来产生由图4象拾取元件 114所使用的各个驱动脉冲以便累积并读取每个屏幕的图像信号。TG116 向图像拾取元件114提供这些各个产生的驱动脉冲。即，这些各个驱动脉 冲被用为图像信号捕获处理和图像信号输出处理的定时信号。
模拟信号处理部件121将对从图像拾取元件114所提供的图像信号应 用模拟处理，诸如采样处理(采样保持(S/H))和放大处理(自动增益控 制(AGC ))。模拟信号处理部件121向A/D转换部件122提供模拟处理 的模拟图像信号。
A/D转换部件122通过以预定采样率采样模拟图像信号来将M拟信 号处理部件121所提供的模拟图像信号转换为数字图像信号。A/D转换部 件122向数字信号处理部件123提供所转换的数字图傳4t号。
数字信号处理部件123根据从A/D转换部件122所提供的数字图像 信号来产生用于执行取景、静止图像捕获、自聚焦、测光处理等的各个信 号。数字信号处理部件123向主控制部件200输出所产生的各个信号。例 如，在取景时，数字信号处理部件123根据输入图像信号来产生显示图像 信号并且经由主控制部件200向显示部件140提供所产生的显示图4象信 号。在捕获静止图4象时，数字信号处理部件123根据输入图傳_信号产生用 于表示一个图像的静止图像信号、对所产生的静止图像信号应用压缩处理 等并且经由主控制部件200向记录部件150提供所处理的静止图像信号。在自聚焦时，数字信号处理部件123根据输入图像信号检测在屏幕内预定 区域中的高频分量，产生用于表明所检测高频分量级别的^并且向主控 制部件200提供所产生的参数。在测光处理时，数字信号处理部件123 根据输入图像信号来检测屏幕内预定区域中的光量分量(AE信号)，产 生用于表明所检测光量分量的光量级别的参数，并且向主控制部件200 提供所产生的用于表明所述光量级别的。
主控制部件200是用于控制在图像捕获设备100中所包括的部件的主 控制部件。主控制部件200包括中央处理器(CPU)、程序只读存储器 (ROM)、工作区域RAM和包括各个输7^/输出(1/0)端口和接口的微 计算机。将参考图2和3来详细描述主控制部件200。
操作接受部件130是用于接受由用户所输入操作的细节并且向主控 制部件200输出依照所接受操作细节的信号的操作接受部件。作为操作接 受部件130，例如在图像捕获设备100上提供诸如快门线释ii按钮131和 变焦^L 132 (在图29中示出)之类的操作部件。快门线释放^L 131 是当记录捕获图像时由用户操作的瞬间型压力开关。在本发明的实施例 中，主控制部件200确定快门线釋，放^L131的按压状态。即，主控制部 件200区分三个按压状态其中快门线释放掩組131完全未被用户按压的 状态(关断状态)；其中所述快门线释放掩組131被用户不完全地按压的 状态(不完全状态)；和其中快门线释放按钮131被用户完全按压的状态 (完全按压状态)。变焦^fe 132是当捕获图像时可操作来调节变焦因子
显示部件140是用于显示对应于从数字信号处理部件123所提供的图 像数据的图像的显示部件。在显示部件140上显示捕获图像(所谓的通过 图像)，其对应于由图像拾取元件U4所产生的图像信号。例如可以通过 使用液晶设备(LCD)来实现显示部件140。作为选择，显示部件140可 以是用于显示各个选择按钮的触摸面板。使用触摸面板，可以通过例如利 用手指触摸这些选择g的区域来输出"^作。
记录部件150是用于记录从数字信号处理部件123所提供的图像数据 的记录设备。作为记录部件150，可以使用诸如半导体存储器之类的可拆 除记录介质，包括磁盘存储卡或数字通用盘片(DVD)。作为选择，记录
捕获i更备100。
外部I/F 160是包括输入输出端子的外部！/F，诸如通用串行总线(USB )。
EEPROM 171是存储器，用于在主控制部件200的控制之下存储数 据等，所述数据即使当图像捕获设备100的电力被关闭时也必须被保持。 所述数据例如包括在图像捕获设备100中所设置的各个信息项。
RAM 172是用于暂时地存储由主控制部件200用来执行各个处理的 程序和数据的存储器。
污点检测部件180检测被施加到图像捕获设备100的加速度、运动、 倾斜等并且向主控制部件200输出对应于所检测的加速度、运动、倾斜等 的电压值。污点检测部件180例如获得对应于在两个方向上的角速度的电 压值，两个方向为俯仰(pitch)方向和偏转(yaw)方向。主控制部件 200根据从污点检测部件180所输出的电压值来执行运动污点校正计算， 并且把电压值转换为对应于所述电压值的数值，由此获得例如由于摄影师 手晃动而导致的图《象捕获设备100移动的信息(污点信息)。例如可以通 过使用陀螺仪传感器来实现污点检测部件180。
充电/M射控制部件191根据来自主控制部件200的控制信号来控 制M射部件192的充电和ife^L射。即，M射部件192经由充电/itil 射控制部件191被连接到主控制部件200，并且光发射部件192的iUL射 时间由所述主控制部件200来控制。
M射部件192是例如在包含图像捕获设备100的外壳的前面或上部 所提供的光发射器件，使得M射部件192在透镜部件111的正方向上(在 所iiit镜部件111的光轴方向上)发光.M射部件192在非常短的时间 发出强光。即，M射部件192向充当图像捕获目标的对象发出强光。诸 如可以通过使用诸如氣气灯之类的放电装置来实现光发射部件192。主控 制部件200在执行完全光发射操作之前使光发射部件192以预定的光量来 执行初步光发射操作。根据从此初步光发射操作所获得的测光数据，主控 制部件200确定将从;J^射部件192所发射的光量。即，主控制部件200 检测整个屏幕的亮度值作为从初步M射操作所获得的测光数据，该整个 屏幕的亮度值对应于从图像拾取元件114所输出的模拟图像信号。通过把 所检测的亮度值与其中可以实现适当曝光量的目标亮度值相比较，主控制 部件200确定将从光发射部件192发射的光量。因此，图像捕获设备IOO 没有调光传感器。框图.主控制部件200包括面部检测部件210、静止确定部件220、主要 对f^r测部件230、曝光值(EV)提取部件240、场景判定部件250、曝 光M假定部件260、曝光确定部件270、程序图保持部件281、图像捕 获条件设置部件280和显示控制部件290。图2在主控制部件200中的功 能结构当中只示出了与设置图像捕获条件相关的示例性功能结构，并且省 略了其它功能结构。相互独立地控制面部检测部件210、静止确定部件 220、主要对B测部件230和场景判定部件250。在图2中，以举例形 式描述了其中主控制部件200执行在EEPROM 171中所记录的程序的情 况。作为选择，可以通过使用硬件来实现在图2中所示出的功能结构。
面部检测部件210检测在对应于从数字信号处理部件123所输出的图 像信号的捕获图像中包括的人的面部。面部检测部件210向曝光确定部件 270输出所检测面部的信息。这里可以使用的面部检测方法包括通过M 板与实际图<|^目匹配来执行的面部检测方法以及根据在捕获图像中所包 括的人的皮肤部分或面部的特征量的面部检测方法，所述模板其中记录有 面部的亮度值分布的信息。面部的信息例如是用于表明是否已经在捕获图 像中检测到面部(是否存在面部)的信息。
静止确定部件220根据从污点检测部件180所输出的电压值来执行运 动污点校正计算处理并且计算对应于电压值的数值(由于图像捕获设备 100的移动所导致的污点量)。静止确定部件220把所计算的污点量与在 图像捕获设备100静止时的污点量相比较，根据比较结果来确定图像捕获 设备100是否静止，并且向曝光确定部件270输出确定结果(图像捕获设 备100是否静止)。特别地是，静止确定部件220通过把所计算的污点量 与在图像捕获设备100静止时的污点量相比较来计算偏差量，并且根据偏 差量和时间来确定图像捕获设备100是否静止。
主要对IM^测部件230检测在对应于从数字信号处理部件123所输出 的图像信号的捕获图像中包括的主要对象。主要对象险测部件230向曝光 确定部件270输出所检测的主要对象的信息。这里可以使用的主要对^#: 测方法包括用于将捕获图像的亮度值与预定值相比较来检测捕获图像是 否包括主要对象的检测方法，所述亮度值是当光发射部件192执行初步光 发射操作时获得的。当例如在当前场景被确定为深于或等于预定级别的阴 暗场景的情况下不完全地按压快门线释放按钮131时或当当前场景被确 定为夜间场景或背光场景并且没有检测到面部时，执行主要对象的检测。 主要的对象的信息例如是用于表明是否已经在捕获图像中检测到主要对
17象(是否存在主要的对象)的信息。
EV值提取部件240根据从数字信号处理部件123所输出的AE信号 来检测用于表明在捕获图像中所包括的对象明度(即明度，brightness) 的EV值。EV值提取部件240向场景判定部件250、曝光M假定部件 260和图像捕获^ff设置部件280输出所检测的EV值。
场景判定部件250根据从数字信号处理部件123所输出的图像信号和
123所输出的图像信号的捕获图像中包括的对象的场景。场景判定部件 250向曝光确定部件270和显示控制部件290输出所确定的场景。在捕获 图像中包括的对象的场景例如可以是包括在夜间用于充当对象的户外活 动的夜间场景、包括用于充当对象的建筑物内部的室内场景或包括用于充 当对象的目标的背光场景，其中太阳在所述目标后面。参考图3详细描述 场景判定部件250。
与预定阈4相比较i计算差异并且根据所计算的i异来假定曝光条件。例
如，当从EV值4I:取部件240所输出的EV值小于预定阈值时，啄光可能 是不够的。从而，曝光条件假定部件260假定用于减少快门速度和光圏大 小并且增加AGC处理中的增益的曝光条件。相比之下，当从EV值提取 部件240所输出的EV值大于或等于预定阈值时，曝光可能是过度的。从 而，啄光*假定部件260假定用于增加快门速度和光圏大小并且减小 AGC处理中的增益的膝光条件。在本发明的实施例中，在由啄光4Hf假 定部件260假定的曝光条件当中，光圏大小被表示为基准光圏大小Ie，快 门iOL被表示为基准快门速度Te并且增益被表示为基准增益Ge。
的对象的场景:从面部检测部件210 ^出的用于表明是否存在面部的信 息、从静止确定部件220输出的用于表明图像捕获设备100是否静止的信 息以及从主要对fj^测部件230输出的用于表明捕获图像是否包括主要 对象的信息来确定被曝光4Hf假定部件260假定为曝光条件的基准光圏 大小Ie、基准快门速度Te和基准增益Ge是否是适当的。曝光确定部件 270根据确定结果来选M序图并且向图像捕获*设置部件280输出用 于表明已经对其进行确定的所选程序图和信息项的信息。
程序图保持部件281保持与可以设置的各个图像捕获模式相对应的 多个程序图。程序图保持部件281向图像捕获条件设置部件280提供所保持的程序图。在此例子中，将描述其中在主控制部件200的程序图保持部 件281中保持程序图的例子。作为选择，例如程序图可以被保持在 EEPROM171中，并且在EEPROM171中所保持的程序图可被提供到图 像捕获条件设置部件280。
图像捕获条件设置部件280把对应于由用户所指定的图像捕获模式
取部件240所输出的EV值来确定曝光4Hf。才艮据所确定的曝光条件，图 像捕获M设置部件280分别向光團机构部件112和快门机构部件113输 出用于控制光圏机构部件112和快门机构部件113的控制信号。另外，图 像捕获^Hf设置部件280依照图像捕获条件来控制图像捕获模式设置和 低曰月度校正。此外，当快门线释放^ 131被按压时(完全按压状态)， 如果在捕获图像中所包括的对象的场景被确定为具体场景，诸如夜间场景 或背光场景，图像捕获Mi殳置部件280执行控制以便4吏用至少两个不同 图像捕^/记录M来记录捕获图像。当快门线释放^fe 131被不完全按 压时，建立至少两个不同的图像捕^/记录参数。两个不同的图像捕lt/记 录参数例如包括由用户所指定的图傳捕^/记录参数和依照所确定场景的 图像捕^/记录M。
显示控制部件290在显示部件140上显示场景识别图标，其对应于在 从场景判定部件250输出的捕获图像中包括的对象的场景。参考图29A 到30B详细描述了在显示部件140上显示的场景识别图标的显示例子。
图3是示出依照本发明实施例的场景判定部件250的示例性功能结构 的框图。场景判定部件250包括亮度值分布信息提取部件251、场景度分 数计算信息存储部件300、场景度分数计算部件252、区域划分部件253、 亮度值提取部件254、场景索引计算信息存储部件350、场景索引计算部 件255和场景确定部件256。
亮度值分布信息提取部件251提取直方图，所述直方图用于表明在对 应于从数字信号处理部件123所输出的图像信号的捕获图像中的亮度值 分布。亮度值分布信息提取部件251向场景度分数计算部件252输出所提 取的直方图。
场景度分数计算信息存储部件300存储由场景度分数计算部件252当 计算场景度分数时所使用的场景度分数计算信息。场景度分数计算信息存 储部件300向场景度分数计算部件252提供所存储的场景度分数计算信 息。将参考图4详细描述在场景度分数计算信息存储部件300中所存储的场景度分数计算信息。
场景度分数计算部件252根据从EV值提取部件240所输出的EV值 和从亮度值分布信息提取部件251所输出的直方图来使用在场景度分数 计算信息存储部件300中所存储的场景度分数计算信息计算场景度分数。 场景度分数计算部件252向场景确定部件256输出所计算的场景度分数。 场景度分^bl用于确定在捕获图《象中包括的对象的场景的分数，所述捕获 图像对应于从数字信号处理部件123所输出的图像信号。将参考图13A 到图15B详细描述场景度分数的计算。
区域划分部件253把对应于从数字信号处理部件123所输出的图像信 号的捕获图像划分为多个区域。区域划分部件253向亮度值提取部件254 输出所述捕获图像和划分区域的信息。
每个区域中的亮i值并且以逐个区^为k础向场景索引计算部件2;5输
出所提取的亮度值。
场景索引计算信息存储部件350存储由场景索引计算部件255当计算 场景索引时所使用的场景索引计算信息。场景索引计算信息存储部件350 向场景索引计算部件255提供所存储的场景索引计算信息。将参考图5 详细描^场景索引计算信息存储部件300中所存储的场景索引计算信 息。
场景索引计算部件255根据每个区域中的亮度值使用在场景索引计 算信息存储部件350中所存储的场景索引计算信息来计算场景索引，所述 亮度值从亮度值提取部件254输出。场景索引计算部件255向场景确定部 件256输出所计算的场景索引。场景索引是用于确定在捕获图像中包括的 对象的场景的索引，所述捕获图^Mt应于从数字信号处理部件123输出的 图像信号。将参考图21A到图26B详细描述场景索引的计算。
场景确定部件256使用从场景度分数计算部件252所输出的场景度分 数和从场景索引计算部件255所输出的场景索引中的至少一个来确定在 捕获图像中包括的对象的场景，所述捕获图像对应于从数字信号处理部件 123所输出的图像信号。场景确定部件256向曝光确定部件270和显示控 制部件290输出所确定的场景。
图4是用于依照本发明实施例示意地示出在场景度分数计算信息存 储部件300中存储的场景度分数计算信息的图。场景度分数计算信息存储
20部件300存储场景度分数计算信息(EV值)311、场景度分数计算信息(亮 度中值)321、场景度分数计算信息(亮度峰值)322、场景度分数计算信 息(亮度底宽)323、场景度分数计算信息(亮度的二值化阈值)324、场 景度分数计算信息(亮度曝光不足区域的比例)325和场景度分数计算信 息(亮度左侧区域的比例)326。在图4中，在EV信息场景度分数计算 信息310的项组中表明根据从图像中提取的EV值所产生的场景度分数计 算信息，并且在亮度值分布信息场景度分数计算信息320的项组中表明根 据从图像所提取的直方图所产生的场景度分数计算信息。
在本发明的实施例中，使用这些场景度分数计算信息项来计算捕获图 像的每个场景的场景度分数。对应于在所计算场景度分数当中的最高场景
度分数的场景被确定为在捕获图^^中包括的对象的场景。将参考图13A 到图15B详细描述这些场景度分数计算信息项。
图5是用于依照本发明实施例示意地示出在场景索引计算信息存储 部件350中存储的场景索引计算信息的图。场景索引计算信息存储部件 350存储夜间场景索引计算信息360、背光场景索引计算信息370、户外 场景索引计算信息380和室内场景索引计算信息390。场景索引计算信息 的项分别存储场景频率模式361、 371、 381和391以及估计值转换表362、 372、 382和392。场景频率模式361、 371、 381和391是用于根据依照每 个场景的亮度平均值的趋势来分类从捕获图像中划分的预定区域的模式。 估计值转换表362、 372、 382和392在获得估计值中用于根据从捕获图像 中划分的每个预定区域以及依照场景频率模式分类的各个区域所提取的 亮度值的平均值来计算场景索引。
在本发明的实施例中，使用这些场景索引计算信息项来计算捕获图像 的每个场景的场景索引。对应于大于或等于阈值的所计算场景索引的场景 被确定为在捕获图像中包括的对象的场景。如果存在大于或等于阈值的多 个场景索引，那么对应于在这些场景索引当中最高场景索引的场景被确定 为在捕获图像中包括的对象的场景。作为选择，场景确定条件可以是以下 条件，根据为捕获图像的每个场景所计算的场景度分数所确定的场景等效 于根据为捕获图像的每个场景所计算的场景索引所确定的场景。
接下来，将参考附图详细描述由场景判定部件250执行的场景确定。 在本发明的实施例中，将描述其中确定夜间场景、室内场景、室外场景和 背光场景中的哪个场景是在捕获图像中包括的对象的场景的例子。首先， 将描述用于产生场景度分数计算信息的方法，所述场景度分数计算信息用来计算场景度分数。在本发明的实施例中所示出的每个捕获图像被假定为 彩色图像。
图6是依照本发明实施例示出用于产生场景度分数计算信息的方法 的要点的图。在图6中，将描述其中产生关于夜间场景、室内场景、室外 场景和背光场景的场景度分数计算信息的例子。参照图6， EV值提取部 件411和EV信息场景度分数计算信息产生部件412根据在多个图像组 401到404中包括的捕获图像来产生每个场景的EV信息场景度分数计算 信息，所述图像组例如夜间图像组401、背光图像组402、户外图像组403 和室内图像组404。亮度值分布信息提取部件413和亮度值分布信息场景 度分数计算信息产生部件414根据在多个图像组401到404中包括的捕获 图像来产生每个场景的亮度值分布信息场景度分数计算信息。所产生的场 景度分数计算信息项被存储在场景度分数计算信息存储部件300中。
作为选择，产生这种场景度分数计算信息项可由使用在记录部件150 中记录的捕获图像的图像捕获设备100或由使用捕获图像的图像处理设 备(诸如个人计算机)来执行，其中所述捕获图像使用图像捕获设备IOO 或另 一图像捕获设备来记录。当场景度分数计算信息由不同于图像捕获设 备IOO的图像处理设备产生时，所产生的场景度分数计算信息被输入到图 像捕获设备100并且被存储在场景度分数计算信息存储部件300中。
夜间图像组401是一組图像，其中每个图像通过捕获用于充当对象的 夜间场景图像(诸如跨过海洋的桥或建筑物的外形)来获得。背光图像组 402是一组图像，其中每个图像通过捕获用于充当对象的背光户外图像 (诸如山脉或建筑物的外形)来获得。户外图像组403是一组图像，其中 每个图像通过捕获用于充当对象的户外图像(诸如草地或公园场地)来获 得。室内图像组404是一组图像，其中每个图像通过捕获用于充当对象的 建筑物内部图像(诸如各个建筑物的内部)来获得。可以由用户或开发者 来执行对这些场景的分类。作为选择，可以根据诸如AdaBoost之类的机 器学习算法使用学习设备来执行对这些场景的分类。
EV值提取部件411^ML夜间图像组401、背光图像组402、户外图像 组403和室内图像组404中所包括的固像中提取EV值。EV值提取部件 411向EV信息场景度分数计算信息产生部件412输出所提取的EV值。
EV信息场景度分数计算信息产生部件412以逐个图像组为基础来累 积从EV值提取部件411所输出的EV值，根据每个图像组的累积结果以 逐个图像组为基础来计算关于EV信息的估计值参数，并且根据估计值参
22数来产生EV信息场景度分数计算信息。所产生的EV信息场景度分数计 算信息项被存储在场景度分数计算信息存储部件300中。将参考图8详细 描述这些EV信息场景度分数计算信息项。
亮度值分布信息提取部件413提取用于表明在夜间图像組401 、背光 图像组402、户外图像组403和室内图像组404中包括的每个图像中的亮 度值分布的直方图。亮度值分布信息提取部件413向亮度值分布信息场景 度分数计算信息产生部件414输出所提取的直方图。
亮度值分布信息场景度分数计算信息产生部件414以逐个图像组为 ^累积从亮度值分布信息提取部件413所输出的亮度值分布信息，根据 每个图像组的累积结果以逐个图像组为基础来计算关于亮度值分布信息 的估计值^lt，并且根据估计值参数来产生亮度值分布信息场景度分数计 算信息。所产生的亮度值分布信息场景度分数计算信息项被存储在场景度 分数计算信息存储部件300中。将参考图13A到图15B详细描述这些亮 度值分布信息场景度分数计算信息项。
如上面所描述，可以通过使用已经记录的多个捕获图像执行统计学习 来获得场景度分数计算信息项。由于近年来可以以很低价来购买诸如大容 量硬盘驱动器(HDD)之类的大容量存储设备，诸如使用数字照相机等 捕获的图像之类的许多和各个图像可以作为图像数据来管理。在各个模式 中的大量图^N^存储在大容量存^i殳备中。通it^各个模式中使用这些图 像来执行统计学习，来产生场景度分数计算信息.通过使用场景度分数计 算信息，可以在高准确度的情况下区分多个场景。当图像捕获设备IOO 的用户执行场景分类时，可以产生用于依照用户偏好执行场景确定的场景 度分数计算信息。
图7是用于依照本发明实施例示意地示出由EV值提取部件411所提 取的EV值的直方图的图。图7示出了通过M夜间图像组401中包括的 图像中所提取的EV值分类为19个级别并且累积所分类的EV值所获得 的EV信息直方图420。在EV信息直方图420中，在横坐标上绘制了被 分类为19个级别的EV值，并且在纵坐标上绘制了频率(捕获图像的数 目)。每个场景的直方图常常具有依照每个场景的特性分布。例如，由于 在夜间图像组401中所包括的图像是夜间场景图像，所以许多图像是相对 阴暗的图像并且具有相对较低的EV值。因此，具有低EV值的级别频率 在EV信息直方图420中更高。依照这种方式，使用依照每个场景的特性 分布来产生EV信息估计值参数。例如，在EV信息直方图420中设置阈值Wl和W2 (W2<W1 )。 EV值被分类为其在EV信息直方图420中的频率大于或等于阈值W1的一组区域、其频率大于或等于阈值W2并且小于阈值W1的一组区域、其频率小于阈值W2的一组区域以及其频率为"O，，的一组区域。在图7中，EV值=0到4的频率大于或等于阈值Wl。 EV值-5的频率大于或等于阈值W2并且小于阔值W1。 EV值-6的频率小于阈值W2。 EV值-7到18的频率为"0"。根据所分类的区域组，如图8所示，可以计算EV信息场景度分数计算信息。
图8是用于示出场景度分数计算信息(EV值)311的图，所述场景度分数计算信息311是用于存储为每个场景所产生的EV信息估计值参数的场景度分数计算信息的例子。如上面已经描述，为在对应于每个场景的EV信息直方图中所分类的四个区域组中的每个确定EV信息估计值参数。在图8中，其在各个EV信息直方图中的频率大于或等于阈值W1的区域被表示为"高"；其频率大于或等于阈值W2并且小于阈值W1的区域M示为"中间，，；其频率小于阈值W2的区域被表示为"低"；并且其频率为"O，，的区域由斜线来表示。在图8中，用粗体示出了其在相应EV信息直方图中频率大于或等于阈值W1的区域("高，，区域)画面。如在场景度分数计算信息(EV值)311中的"高，，区域所表明，可以使用EV值把
捕获图^4a略地分组为室夕卜/背光场景和室内/夜间场景。即，对应于室外/
背光场景的许多图像是相对明亮的图像。因此，在场景度分数计算信息(EV值)311中的"高"区域常常集中在相对右侧。相比之下，对应于室内/夜间场景的许多图像是相对阴暗的图像。因此，在场景度分数计算信息(EV值)311中的"高"区域常常集中在相对左侧。
类似地，可以想到使用EV值把场景分组为粗略确定的场景。例如，当EV值为16时，场景被确定为"向阳场景"。当EV值为11时，场景被确定为"多云场景"。当EV值为6时，场景被确定为"阴暗室内场景"。当EV值为3时，场景被确定为"夜间场景"。然而例如当存在阴暗场景时，常常^艮难区分夜间场景和室内场景。类似地，在多数情况下很难区分其它场景。因此，重要的是增加把这些场景相互区分的准确度。在本发明的实施例中，执行使用EV信息和亮度值分布信息的场景确定。据此，可以改进确定每个场景的准确度。
接下来，将参考附图详细描述用于产生亮度值分布信息场景度分数计算信息的方法。图9是示出了用来表示从图像所提取的亮度值分布的直方图的图。在图9中所示出的直方图430是这样的直方图，其中按16阶归一化在图像组401到404中包括的一个捕获图像内整个屏幕所提取的亮度值。在此例子中，将描述使用依照这种方式提取的颜色直方图来为每个捕获图像计算下面示出的值(1)到(6)的例子。以逐个图4象组为J^累积所计算的值(l)到(6)。根据每个图像组的累积结果，计算关于亮度值分布信息的估计值^IL根据估计值M,产生亮度值分布信息场景度分数计算信息。
(1) 整个直方图中亮度值的中值；
(2) 直方图中的峰值；
(3) 直方图的底宽；
(4) 直方图中啄光不足区域的比例；
(5) 整个直方图的左侧一半的比例；和
(6) 使用判别分析方法的二值化阈值。
这里，(1)整个直方图的亮度值的中值是整个直方图中频率的中值。即，当从整个直方图中的频率所获得的区域被划分为两个区域左区域和右区域时，整个直方图中的亮度值的中值;l」对应于划分区域的级别。例如，在直方图430中，获得级别"8，，作为整个直方图中亮度值的中值。
(2) 直方图中的《%值是在整个直方图内频率最高的级别。例如，在直方图430中，获得级别"10"作为直方图中的J^值。
(3) 直方图的底宽是根据在整个直方图内频率最低的级别，在从具有最低频率的级别的预定范围内存在的级别。因此，多个值可以作为直方图的底宽存在。例如，在直方图430中，获得级别"7"作为频率最低的级别。根据级别"7，，的频率，从级别"7，，开始在向上方向上在阈值H1内以及在向下方向上在阈值H2内存在的级别"5"、 "6"和"8，，被提取作为直方图的底宽。直方图的这些底宽的范围#^示为Dl。其中在整个直方图内频率最低的级别并未被包括作为直方图的底宽。
(4 )直方图中曝光不足区域的比例是用于表明在直方图左端对应于级别"O，，的频率相对于整个直方图的比例的值。对应于直方图的曝光不足区域的比例的级别M示为D2。
(5 )整个直方图中左侧一半的比例是用于表明在直方图左端对应于级别"0到7"的频率相对于整个直方图的比例的值。对应于整个直方图的左侧一半的比例的级别^示为D3。
(6)将参考图9到11描述使用判别分析方法的二值化阁值。判别分 析方法是通过把图像的渐变值(gradation value)划分为两类来从图像中 提取预定区域的分析方法。在两类之间出现最大间隔的位置处(即，两类 类间方差变为最大值的位置处)的值k被计算为阈值。例如，在图9所示 出的直方图430中，可以根据阈值k把构成捕获图像的像素分类为两类 类C1和类C2。关于此分类，例如类C1可以充当目标区，并且类C2可 以充当背景。作为选择，例如类C2可以充当目标区，并且类C1可以充 当背景。
现在将描述阈值k的计算。可以如下表示用于根据阁值k的每个类的 统计<formula>formula see original document page 27</formula>
其中h(g)(g-l， ...， L)表示直方图中的频率，并且p(g)表示 其中P (g) =h (g) /N (N:整个像素的数目)的归一化直方图。方程式 (1)是用于计算间隔的方程式，并且计算在0和1内的值。方程式(2 ) 是用于计算两类的类间方差的方程式。方程式(3)是用于计算整个直方 图方差的方程式。方程式(10 )是用于计算类间方差的方程式。方程式(11) 是用于计算整个直方图中平均值的方程式。
图IOA是用于示出捕获图像的图，并且图IOB是用于示出从所述捕 获图像中提取的直方图的图。图10A示出了捕获图像440，其是在傍晚用于充当对象的游乐园的图像。图10B示出了从捕获图像440所提取的直 方图。在图IOB所示出的直方图中，其是按256阶归一化的直方图，使 用上述判别分析方法计算的阈值k的位置被表示为垂直线。
图11是示出了通过使用阈值k所获得的二值化图像441的图，所述 阈值k使用对捕获图像440执行的判别分析方法来计算。在图10B所示 出的直方图中，例如当与相对于阈值k的左区^目对应的像素是黑色时， 与相对于阈值k的右区域相对应的像素是白色的，根据在图10A中所示 出的捕获图像440来产生在图11中所示出的二值化图像441。
如上面已经所描述，为以逐个场景为基础所分类的多个图像来计算值 (1)到(6)，并且在统计上学习这些值(1)到(6)，借此产生场景度分 数计算信息。
图12是用于示意地示出从各个图像所提取的亮度值中值的直方图的 图。特别地是，图12示出了通过^ML夜间图像组401中包括的各个图 像所4^取的亮度值中值分类为19个级别并且累积所分类的亮度值中值所 获得的亮度值分布信息直方图450。亮度值分布信息直方图450除横坐标 示出了被分类为19个级别的亮度值中值之外类似于在图7中所示出的直 方图。如参考图7所描述，每个场景的直方图常常具有依照每个场景的特 性分布。例如，由于在夜间图像组401中所包括的图像是夜间场景图像， 所以许多图像是相对阴暗的图像并且具有相对较低的亮度值中值。因此， 具有低亮度值中值的级别的频率在亮度值分布信息直方图450中更高。依 照这种方式，使用依照每个场景的特性分布来产生亮度值分布信息估计值 械。
在图12中，如在图7中，使用阈值Wl和W2 (W2<W1)把区域分 类为四个区域组。根据所分类的区域组，如图13A到图15B所示，将描 述用于计算亮度值分布信息场景度分数计算信息的例子。在本发明的实施 例中，下述例子对于在计算EV信息场景度分数计算信息中所使用的阈值 Wl和W2 (W2<W1 )以及对于在计算亮度值分布信息场景度分数计算信 息中所使用的阈值W1和W2 (W2<W1)来说使用相同的值。作为选择， 可以使用不同的值。在本发明的实施例中，下述例子使用两个阈值Wl 和W2(W2〈W1)。作为选择，可以使用一个阈值或三个或更多阈值来分 类直方图的区域并且根据所分类的区域可以计算场景度分数计算信息。
图13A到15B是示出用于存储为每个场景所产生的亮度值分布信息 估计值M的场景度分数计算信息的例子的图。这里，场景度分数计算信
28息例如包括场景度分数计算信息(亮度中值)321、场景度分数计算信息 (亮度峰值)322、场景度分数计算信息(亮度底宽)323、场景度分数计 算信息(亮度的二值化阔值)324、场景度分数计算信息(亮度曝光不足 区域的比例)325和场景度分数计算信息(亮度左侧区域的比例)326。 如在图8中，其在各个直方图中的频率大于或等于阈值Wl的区域M示 为"高"；其频率大于或等于阈值W2并且小于阈值W1的区域M示为"中 间"；其频率小于阈值W2的区域被表示为"低，，；并且其频率为"0"的区域 由斜线来表示。另外，用粗体示出了其在相应直方图中频率大于或等于阈 值Wl的区域("高，，区域)画面。如在每个场景度分数计算信息项中的"高" 区域所示，特性趋势依照每个场景出现。
如已经描述，依照本发明实施例，通过执行对以逐个场景为基础分类 的捕获图像的统计学习来产生依照每个场景的直方图，并且根据直方图来 产生每个场景度分数计算信息项。所产生的场景度分数计算信息被存储在 场景度分数计算信息存储部件300中。
接下来，将描述，于使用在场景度分数计算信息存储部件,300中，储 定方法。
为了确定在捕获图像中包括的对象的场景，使用在图8中所示出的场 景度分数计算信息(EV值)311、在图13A中所示出的场景度分数计算 信息(亮度中值)321、在图13B中所示出的场景度分数计算信息(亮度 峰值)322、在图14A中所示出的场景度分数计算信息(亮M宽)、在 图14B中所示出的场景度分数计算信息(亮度的二值化阈值)324、在图 15A中所示出的场景度分数计算信息(亮度曝光不足区域的比例)325以 及在图15B中所示出的场景度分数计算信息(亮度左侧区域的比例)326 以逐个场景为基础来计算场景度分数SD。根据所计算的场景度分数SD， 确定在捕获图像中包括的对象的场景。
特别地是，例如假定在每个场景度分数计算信息项中所存储的对应于 "高"的估计值为"l";对应于"中间"的估计值为"l/2";对应于"低"的估计 值为"l/4";并且对应于倾斜部分的估计值为"O"。
EV值提取部件240从捕获图像中提取EV值(例如，"0"到"18")， 所述捕获图像对应于从数字信号处理部件123所输出的图像信号。场景度 分数计算部件252从对应于所提取EV值的场景度分数计算信息(EV值) 311中以逐个场景为基础来获得估计值。例如，当所4^取的EV值为"7"时，从场景度分数计算信息(EV值)311获得"O"作为夜间场景的估计值， 获得"O"作为背光场景的估计值，获得"l/4，，作为室外场景的估计值，并且 获得"l"作为室内场景的估计值。
亮度值分布信息提取部件251从捕获图像提取直方图，所述捕获图像 对应于从数字信号处理部件123所输出的图傳^信号。才艮据所提取的直方 图，场景度分数计算部件252计算对应于在图13A到15B中所示出的各 个场景度分数计算信息项(亮度中值、亮度峰值、亮M宽、亮度的二值 化阈值、亮度曝光不足区域的比例以及亮度左侧区域的比例)。此后，场 景度分数计算部件252根据每个场景度分数计算信息项以逐个场景为基 础获得对应于每个计算值的估计值。例如，当所计算的亮度中值为"8"时， 从场景度分数计算信息(亮度中值)321获得"l/4"作为夜间场景的估计值， 获得"l，，作为背光场景的估计值，获得"l"作为室外场景的估计值，并且获 得"l"作为室内场景的估计值。例如当所计算的亮度峰值为"9"时，还从场 景度分数计算信息(亮度峰值)322获得"O"作为夜间场景的估计值，获 得"l/4"作为背光场景的估计值，获得"l/4"作为室外场景的估计值，并且 获得"l/2"作为室内场景的估计值。对于亮度底宽、亮度的二值化阁值、 亮度曝光不足区域的比例以及亮度左侧区域的比例来说，类似地以逐个场 景为^fill获得估计值。
此后，使用以逐个场景为基础从场景度分数计算信息所获得的估计 值，场景度分数计算部件252使用下列方程式以逐个场景为基础来计算场 景度分数SD:
SD=(Elxwtl)+{(Hl+H2+...+Hn-l)/(n-l)}xwt2 (12)
其中n为自然数，所述自然数在此例子中为"7"; El是从场景度分数 计算信息(EV值)311所获得的估计值；Hl是从场景度分数计算信息(亮 度中值)321所获得的估计值；H2是从场景度分数计算信息(亮度峰值) 322所获得的估计值；H3是从场景度分数计算信息(亮度底宽)323所获 得的估计值；H4是从场景度分数计算信息(亮度的二值化阈值)324所 获得的估计值；H5是从场景度分数计算信息(亮度曝光不足区域的比例) 325所获得的估计值；并且H6是从场景度分数计算信息(亮度左侧区域 的比例)326所获得的估计值。
此外，wtl和wt2是用于当计算场景度分数SD时加权EV信息场景 度分数计算信息和亮度值分布信息场景度分数计算信息的值。例如，wtl 可以被设置为0.5，并且wt2可以被设置为0.5.在这种情况下，加权EV信息场景度分数计算信息变为等效于加权亮度值分布信息场景度分数计
算信息。作为选择，例如wtl可以被设置为0.3，并且wt2可以^Ci更置为 0.7，或者wtl可以被设置为0.1,并且wt2可以被设置为0.9。依照这种 方式，可以强调亮度值分布信息。在0和1内的值被计算为场景度分数 SD的值。
关于以逐个场景为基础依照这种方式计算的场景度分数SD,例如夜 间场景的场景度分数被表示为SD1;背光场景的场景度分数被表示为 SD2;室外(户外)场景的场景度分数M示为SD3;并且室内场景的场 景度分数M示为SD4。在这种情况下，场景确定部件256通过比较场景 度分数SD1到SD4来区分每个场景。特别地是，对应于具有最高值的场 景度分数SD的场景被确定为对应于捕获图像的场景，所述捕获图像对应 于从数字信号处理部件123所输出的图像信号。即，所计算的场景度分数 SD的值越接近于1，所述场景越可靠。
接下来，将参考附图详细描述用于产生在计算场景索引中所使用的场 景索引计算信息的方法。
图16是示出用于产生在计算场景索引中所4吏用的场景索引计算信息 的方法的要点的图。在图16中，将描述其中产生关于夜间场景、室内场 景、室外场景和背光场景的场景索引计算信息的例子。如图16所示，使 用区域划分部件501、亮度值提取部件502和场景索引计算信息产生部件 503根据在图像组401到404中包括的捕获图像来产生关于每个场景的场 景索引计算信息。所产生的场景索引计算信息被存储在场景索引计算信息 存储部件350中。由于图像组401到404与在图6中所示出的图像组401 到404相同，所以不再重复其详细描述以便避免重复。
产生这种场鲁索引计算信息项可以由使用在记录部件150中记录的 捕获图像的图像捕获设备100或由使用捕获图像的图像处理设备(诸如个 人计算机)来执行，其中所述捕获图像使用图像捕获设备100或另一图像 捕获设备来记录。当场景索引计算信息由不同于图像捕获设备IOO的图像 处理设备产生时，所产生的场景索引计算信息被输入到图 获设备100 并且被存储在场景索引计算信息存储部件350中。
区域划分部件501是用于将在夜间图像组401、背光图像组402、户 外图像组403和室内图像组404中包括的每个图像划分为多个区域的部 件。区域划分部件501向亮度值提取部件502输出已经净皮划分的图4象以及 关于通过划分所述图像所获得的每个区域的信息。将参考图17来详细描述图像的划分。
亮度值提取部件502使用区域划分部件501提M捕获图像所划分的 每个区域中的亮度值，并且以逐个区域为基础向场景索引计算信息产生部 件503输出所提取的亮度值.
场景索引计算信息产生部件503以逐个图像组为M累积从亮度值 提取部件502以逐个区域为基础输出的亮度值的平均值，并且才艮据每个图 像组的累积结果以逐个图像组为^ftlj来产生场景索引计算信息。以逐个图 像组为M所产生的场景索引计算信息被存储在场景索引计算信息存储 部件350中。将参考图21等详细描述场景索引计算信息。
如上面所描述，可以通过4吏用已经记录的多个捕获图4象执行统计学习 来获得场景索引计算信息项。就像场景度分数计算信息情况一样，通过使 用大容量存^i殳备来产生场景索引计算信息，可以以高准确度来区分多个 场景。当图i象捕获i殳备100的用户分类场景时，可以产生用于依照用户偏 好执行场景确定的场景索引计算信息。
图17包括示出用于将图像划分为预定区域的方法的要点的图。在图 17的部分(a)中所示出的图像510是与在图16中所示出的户外图像组 403中包括的捕获图^M目同的图像。图17的部分(b)示出了其中捕获图 像510被划分成49个区域(7x7区域)的情况。在各个区域中显示的号 码(0到48)是各个区域的标识号。同样适用于在图18到20所示出的各 个区域中的号码。在此例子中，将描述其中图傳被划分成49个区域的情 况。然而，可以类似地处理其中图像被划分成除49个区域之外的区域的 情况。
依照这种方式，对应于图像信号的有效图像帧被划分成了每个均具有 预定区域的区域。提取在每个划分区域中包括的像素的亮度值。以逐个区 域为基础计算所提取亮度值的平均值。使用为每个图像的每个区域所计算 的亮度的平均值，为捕获图像的每个组产生直方图。根据直方图，为捕获 图像的每个组产生场景频率模式。场景频率模式表明依照每个场景出现的
特性区域的分布。以下，将参考附图详细描述为捕获图像的每个组所产生 的直方图和场景频率模式。
图18和19包括示出其中才艮据在各个区域中亮度值的平均值来产生直 方图的情况的要点的图，根据多个捕获图像来计算所述平均值。图18示 出了其中对于在夜间图像组401中包括的每个图像中具有标识号3的区域而产生直方图的情况。图19示出了其中对于在夜间图像组401中包括的 每个图像中具有标识号24的区域而产生直方图的情况。在图18的部W a) 和图19的部分(a)中所示出的夜间图像组401与在图16中所示出的夜 间图像组401相同。如图18的部分(b)和图19的部分(b)所示，在夜 间图像组401中所包括的每个图像被划分成49个区域，并且按照逐个图 像基础来计算在每个区域中亮度值的平均值。
图18的部分(c)示出了根据亮度值的平均值所产生的直方图521， 其中对在图18的部分(b)中所示出的具有标识号3的区域计算所述亮度 值。图19的部分(c)示出了根据亮度值的平均值所产生的直方图522， 其中对在图19的部分(b)中所示出的具有标识号24的区域计算所述亮 度值。在直方图521和522中，用横坐标来绘制亮度值的平均值，并且用 纵坐标绘制频率(图像的数目)。如图18的部分(c)所示，在夜间图像 的上部中央部分中，由于在夜间存在许多诸如天空之类的阴暗部分，所以 具有亮度值低平均值的级别的频率更高。相比之下，如图19的部分(c) 所示，夜间图像的中央部分常常包括如下部分，所述部分包括用于充当对 象中央的目标，不过整个图像表示夜间场景。从而，中央部分常常包括相 对明亮的部分。因此，亮度值的平均值在相对较宽范围级别内分布。类似 地，其它区域常常具有特性分布。
依照这种方式，在捕获图像的各个区域中亮度值的平均值分布是以逐 个场景为基础的特性分布。在本发明的实施例中，区域袜分类为依照每个 场景具有类似分布的预定数目个区域组，并且政置依照每个所分类的区域 组的估计值，借此产生场景索引计算信息。以下，将描述关于夜间图像的 场景索引计算信息和关于背光图像的场景索引计算信息。
图20是示出关于夜间图像的场景频率模式的例子的图。通过根据对 各个区域所计算的亮度值的平均值把每个捕获图像的49个区域组织为 组，来获得在图20中所示出的夜间场景频率模式530。在图20中，用粗 体来表明组531到535。在夜间图像中，上和下部分具有许多阴暗部分， 诸如在夜间的天空和地面，并JbNl对中央部分常常包括用于充当对象中央 的相对明亮的目标。因此，在夜间场景频率模式530中，当区域从上和下 部分*到中央部分时(从组531逸艮到组535)，所述区域从其中具有
较低亮度值平均值的级别的频率更高的一组区域进展到其中在相对较宽 范围级别上分布亮度值平均值的一组区域。即，夜间场景频率模式530 是其中组531到535是低亮度区域的频率模式。图21A是示出在其中对于图20所示出的夜间场景频率模式530来说 ^目同的号码给予属于相同组的区域的情况的图。即，号码"l"被给予在 组531中包括的各个区域；号码"2，，被给予在组532中包括的各个区域； 号码"3"被给予在组533中包括的各个区域；号码"4"被给予在组534中包 括的各个区域；并且号码"5"被给予在组535中包括的各个区域。在图21A 中所示出的夜间场景频率模式540除^目同的号码给予属于相同组的区 域之外均与在图20中所示出的夜间场景频率模式530相同。
图21B是示出用于计算场景索引时为每个区域确定估计值的估计值 转换表的例子的图。在图21B中所示出的估计值转换表550用来根据在 图21A所示出的夜间场景频率模式540中的组531到535与其中^^取亮 度值的平均值的区域之间的关系来获得49个划分区域中的每个的估计 值。这里，在图21B中所示出的Yl、 Y2、 Y3、 Y4和Y5是用于分类从 各个区域所提取的亮度值的平均值的值，并且Y1<Y2<Y3<Y4<Y5。 tll 到t16、 ...、 t51到t56还^:依照亮度值的平均值以及其中计算这些平均值 的区域所属的组而确定的估计值。才艮据统计学习来确定这些估计值。例如， 当数值t增加时，估计值变得更大。依照这种方式，场景索引计算信息包 括场景频率模式和估计值转换表。
图22A是用于示出关于背光图像的场景频率模式的例子的图，并且 图22B是用于示出关于背光图像的估计值转换表的例子的图。通过像夜 间场景频率模式540那样根据对各个区域所计算的亮度值平均值把每个 捕获图像的49个区域组织为组，来获得在图22A中所示出的背光场景频 率模式560。在图22A中，用粗体M明组561到566。在背光图像中， 上部具有许多明亮部分，诸如中午的天空，并且相应地亮度值的平均值常 常分布在相对较高的级别上。相比之下，尽管较低的中央部分常常包括用 于充当对象中央的人，这是因为人后面是明亮的，所以亮度值的平均值常 常分布在相对较低的级别上。因此，在背光场景频率模式560中，当区域 从下部中央部分逸艮到上部时(从组566逸艮到组561 )，所述区域从其 中具有较低亮度值平均值的级别的频率更高的一组区域iijl到其中在具 有较高亮度值平均值的级别的频率更高的一组区域。即，背光场景频率模 式560是其中组566和565为低亮度区域的频率模式，组564和563为中 间亮度区域，并且组562和561为高亮度区域。依照每个场景可以使组的 数目是不同的。例如，在关于夜间图像的场景频率模式中所述区域被组织 为五个组，并且在关于背光图像的场景频率模式中所述区域被组织为六个 组。图22B示出了用于在计算场景索引时确定每个区域的估计值的估计 值转^ 570。估计值转换表570用来根据在背光场景频率模式560中的 组561到566与其中提取亮度值的平均值的区域之间的关系来获得49个 划分区域中的每个的估计值。由于估计值转换表570除组的数目和估计值 是不同的之外类似于在图21B中所示出的估计值转换表550，所以不再重 复其描述以免重复。
现在将描述用于计算场景索引的场景索引计算方法。在此例子中，将 以举例形式描述其中计算关于夜间场景的场景索引的情况。
区域划分部件253把对应于从数字信号处理部件123所输出的图像信 号的捕获图像划分为49个区域。亮度值提取部件254提M从捕获图像 所划分的各个区域中的亮度值。场景索引计算部件255计算在捕获图像的 每个区域中的亮度值的平均值，并且根据每个区域中的亮度值的平均值使 用在场景索引计算信息存储部件350中所存储的场景索引计算信息来计 算场景索引。
特别地是，例如对于在图21A中所示出的夜间场景频率模式540中 被给予了组号"l"的区域来说，确定根据此区域所计算的亮度值的平均值 对应于以下哪个状态小于Y1;大于或等于Yl并且小于Y2;大于或等 于Y2并且小于Y3;大于或等于Y3并且小于Y4;并且大于或等于Y4 并且小于Y5。例如，当才艮据被给予了组号"l"的区域所计算的亮度值的平 均值小于Y1时，"tll"被确定为该区域的估计值。例如，当根据被给予了 组号"l"的区域所计算的亮度值的平均值大于或等于Yl并且小于Y2时， "tl2"被确定为该区域的估计值。类似地，确定49个区域的估计值。使用 依照这种方式所确定的估计值，计算关于夜间场景的场景索引YS1。可以 通过下列方程式来获得场景索引YS1:
YSl=(ERl+ER2+ER3+...ERn)/n (13)
其中n是划分区域的数目；并且ERl…ERn是为各个区域所确定的 估计值，其中在此例子中n=49。
根据通过使用此方程式所计算的场景索引YS1的值，确定捕获图像 是否为夜间场景。例如，当所计算的场景索引YS1大于或等于阈值T1时， 捕获图像可以被确定为是夜间场景。依照这种方式，对于一个捕获图像来 说，使用关于每个场景的场景索引计算信息来以逐个场景为基础计算场景 索引。例如，当在为各个场景所计算的场景索引当中的多个场景索引大于或等于阈值时，捕获图像可以被确定为在大于或等于阈值的场景索引当中 具有最高值的场景索引的场景。
图23A是示出用于表示在多个捕获图像和为这些捕获图像所计算的 夜间场景索引之间关系的图表的图。在此图表中，用横坐标绘制捕获图像 的标识号，并且用纵坐标绘制夜间场景索引。在此图表中，例如当阔值 Tl为180时，其夜间场景索引具有大于或等于阈值Tl的值的捕获图像可 以被确定为夜间场景。
图23B和23C是用于示出在相对阴暗地方中捕获图像的图。例如， 尽管在图23B中所示出的捕获图像是在夜间在街道上所捕获的图像，但 是因为捕获图像是相对明亮地方的图像，相对较小的值(例如，夜间场景 索引76)被计算为夜间场景索引571。因此，在图23B中所示出的捕获 图像未被确定为夜间场景。相比之下，在图23C中所示出的捕获图像是 在夜间在街道上所捕获的图像，并且因为捕获图像是相对阴暗地方的图 像，相对较大的值(例如夜间场景索引208)被计算为夜间场景索引572。 因此，在图23C中所示出的捕获图^^L确定为夜间场景。依照这种方式， 可以通过只使用夜间场景索引来确定夜间场景。然而，通过使用下述场景 索引校正值来校正夜间场景索引，可以进一步改进用于确定夜间场景的准 确度。
图24A是示出用于计算场景索引校正值的估计值转换表的图。在图 24A中所示出的估计值转换表550除用粗体表明在每个组内的一个部分之 外类似于在图21B中所示出的估计值转换表550。当计算场景索引校正值 时，当粗体的"tll"、 "t22"、 "t33"、 "t44"和"t55"之一被确定为相应区域 中的估计值时，对预定值进行计数。例如，顺序地增加"l"作为场景索引 校正值。
特别地是，对于被给予了组号"l"的区域来说，当根据此区域所计算 的亮度值的平均值小于Yl时，把"l"增加到场景索引计算值。对于被给 予了组号"2"的区域来说，当根据此区域所计算的亮度值的平均值大于或 等于Y1并且小于Y2时，把"l"增加到场景索引计算值。类似地，对被给 予了组号"3"到"5"的区域来计算场景索引校正值。相比之下，当确定除用 粗体的"tll"、 "t22，，、 "t33，，、 "t44，，或"t55，，之外的估计值时，并不对场景 索引校正值进行任何计算。即，在为49个区域所确定的估计值之间，对 于场景索引校正值来说对对应于"tll"、 "t22"、 "t33，，、 "t44"和"t55"的那 些区域ii;阡计数。图24B是示出用于表示在夜间场景索引和场景索引校正值之间关系 的图表的图。在图24B所示出的图表中，用横坐标绘制场景索引校正值 SK,并且用纵坐标绘制夜间场景索引的值。在此例子中，如图23A到23C 所示，使用场景索引校正值SK来增加所计算的夜间场景索引值。例如， 当场景索引校正值SK大于或等于阈值T2时，如图24B所示，增加夜间 场景索引。相比之下，例如当场景索引校正值SK小于阈值T2时，并不 增加或减少夜间场景索引。依照这种方式，注意在区域当中具有最高频率 的区域，并且对对应于此区域的区域的数目进行计数，借此计算场景索引 校正值SK。当场景索引校正值SK大于或等于阈值T2时，执行用于增加 夜间场景索引的处理，由此进一步把夜间场景与其它场景相分离。据此， 可以执行更适当的场景确定。
图25A是示出用于表示在多个捕获图像和为这些捕获图像所计算的 夜间场景索引之间关系的图表的图。通过使用场景索引校正值转换在图 23A所示出的图表中所示出的夜间场景索引来获得此图表。例如，当M 图25A中所示出的图表与在图23A中所示出的图^目比较时，在其中夜 间场景索引值为低的部分中存在可忽略的改变。然而，当夜间场景索引值 增加时，夜间场景索引被转换为较高值。即，可以进一步把夜间场景与其 它场景相分离，并且可以改进用于确定夜间场景的准确度。在图25B和 25C中所示出的捕获图4象分别与在图23B和23C中所示出的那些捕获图 <|^目同。例如，对于在图25B中所示出的捕获图像来说，相对较小的值 (例如，夜间场景索引76)被计算为夜间场景索引571，并Jbf目应地， 场景索引校正值并不大于或等于阈值T2。因此，在夜间场景索引中不存 在任何变化。相比之下，对于在图25C中所示出的捕获图像来说，相对 较大的值(例如，夜间场景索引284)被计算为夜间场景索引573，并 且相应地，场景索引校正值大于或等于阁值T2。因此，增加夜间场景索 引。
图26A是用于示出关于背光场景的估计值转换表的图，并且图26B 是示出用于表示在背光场景索引和场景索引校正值之间关系的图表的图。 在图26A中所示出的估计值转换表570除用粗体表明在每个组内的一个 部分之外类似于在图22B中所示出的估计值转换表570。当计算关于背光 场景的场景索引校正值时，如在图24A中，当粗体的"s61"、 "s52"、 "s43"、 "s34"、 "s25"和"sl6"之一被确定为相应区域中的估计值时对预定值进行 计数。在图26B所示出的图表中，用横坐标绘制场景索引校正值SK，并 且用纵坐标绘制背光场景索引的值。背光场景索引的转换类似于在图24B中所示出的夜间场景索引的情况.在此例子中，将描述其中使用共同的阈
值T2来用于夜间场景和背光场景的情况。作为选择，可以以逐个场景为 狄使用不同的阈值。
如同上述，已经描述了其中使用场景度分数来确定捕获图像的场景的 例子以及其中使用场景索引来确定捕获图像的场景的例子。可以通过使用 场景度分数和场景索引之一确定场景来改进场景确定准确度。然而，可以 通过使用场景度分数和场景索引确定场景来进一步改进场景确定准确度。 以下，将描述其中使用场景度分数和场景索引来确定场景的例子。例如， 选择具有最高场景度分数的场景。当为所选场景所计算的场景索引大于或 等于阈值时，可以确定所选场景。通过使用场景度分数和场景索引确定场 景，可以改进场景确定准确度。
接下来，将描述在所确定的场景和图傳省获模式之间的关系。
图27是示出在图像捕获条件和用于设置所述图像捕获条件的条件之 间关系的图。此例子示出了其中通过执行初步光发射操作的夜间场景 601、背光场景602、面部检测603、主要对l^r测604，以及用于表明图 像捕获设备100的静止或移动状态的静止/移动状态605被用为用于设置 图像捕获^Hf的M的情况。此例子还示出了其中緩慢同步模式6U、闪 光灯发射模式612、高灵敏度模式613、夜间模式614、白天同步模式615 和强度校正616被设置为图像捕获条件的情况。将参考图34到36详细描 述这些设置。
例如，当捕获夜间场景或室内场景的静止图像时，减小快门ii^，导 致有更多机率出现运动污点。当增加快门速度时，尽管运动污点变得不太 可能出现，可能无法在诸如夜间场景之类的阴暗场景中捕获美丽的背景图 像。近年来，已经广泛地执行用于通过在AGC处理中增加放大增益并且 捕获具有高灵敏度的图像来捕获背景图像的方法。然而，由于噪声量通过 增加增益而增加，所以并非包括夜间场景的所有阴暗场景都可以被处理。 因此依照本发明实施例，可以通过确定图像捕获设备IOO的静止状态来捕 获诸如夜间场景之类的阴暗场景的美丽图像。
图28A和28B是示出依照本发明实施例的低明度校正的要点的图。 在此例子中，将描述当场景被确定为夜间场景时所执行的低明度校正。例 如，当场景被确定为夜间场景时，执行改变明度的低听度校正处理。
在本发明的实施例中，例如在被称作自动模式的标准模式中执行场景确定。自动模式是覆盖从诸如夜间场景之类的低明度场景到诸如室外场景 之类的高明度场景的宽范围的图像捕获模式。因此，在自动模式中的曝光 条件不同于夜间模式中的预定阈值(明度目标值)。通过依照明度执行低 明度校正来执行用于将在自动模式中的明度级带到接近于夜间模式中的 预定阈值的处理。
在图28A所示出的图表中，用横坐标绘制从捕获图像所提取的EV 值，并且用纵坐标绘制亮度目标值.从捕获图像所提取的当前EV值^ 示为L1。如图28A中的图表所示，根据从捕获图像所提取的EV值执行 低明度校正，由此把EV值带到接近于夜间模式中的预定阈值。在图28B 所示出的图表中，用横坐标绘制为捕获图像所计算的夜间场景度分数，并 且用纵坐标绘制明度目标值。根据捕获图像所计算的当前场景度分数^L^ 示为L2。
在本发明的实施例中，除在图28A中所示出的低明度校正之外，使 用所确定场景的信息来执行用于改变校正量的处理。例如，当在场景确定 处理中所计算的场景度分数为高时，执行校正以便进一步使图像变暗。作 为选择，例如当场景度分数为低时，执行校正以便进一步使图像明亮。特 别地是，例如计算在对应于在图28A中所示出的Ll的低明度校正值和对 应于在图28B中所示出的L2的低明度校正值之间的差异d，并且所计算 的差异d充当校正量以便在明度上反映。依照这种方式，可以通过使用所 确定场景的信息来执行更适当的低明度校正.
作为选择，可以通过使用夜间场景索引代^f吏用夜间场景度分数来执 行校正。作为选择，可以通过使用夜间场景度分数和夜间场景索引来执行 校正。可以类似地处理除夜间场景之外的场景。
图29A到30B ^!依照本发明实施例示出在显示部件140上显示的场 景识别图标的显示例子的图。图29A示出了背光场景识别图标700，其是 对应于背光场景的示例性场景识别图标。图29B示出了夜间场景识别图 标710，其是对应于夜间场景的示例性场景识别图标。图30A示出了其颜 色已经被改变的背光场景识别图标700。图30B示出了其颜色已经被改变 的夜间场景识别图标710。
当在正执行监视以便在显示部件140上显示捕获图像的情况下已经 由场景判定部件250在预定时段连续地确定相同的场景时，显示对应于该 场景的场景识别图标。例如，如图29A所示，当在显示部件140上正显 示对应于背光场景的捕获图4象时，如果场景判定部件250已经在预定时段
39连续地确定背光场景，那么在所述显示部件140上连同所述捕获图像一起 显示背光场景识别图标700。
当在显示部件140上正显示场景识别图标时，如果不完全地按压快门 线釋，放掩纽131，例如如图30A和30B所示，那么改变在显示部件140 上所显示的场景识别图标的颜色。例如，如图30A所示，当在显示部件 140上连同捕获图像一起显示背光场景识别图标700时，如果快门线释放 掩纽131被不完全地按压，那么改变背光场景识别图标700的颜色。
例如，当图像捕获设备100被极大地移动或者在其中亮度不稳定的地 方时，场景识别图标的显示摆动使得可以依照重复的方式来显示和擦除场 景识别图标。相比之下，在本发明的实施例中，防止显示场景识别图标的 摆动以及重复显示/擦除所述场景识别图标，并且可以依照稳定方式显示 所述场景识别图标。据此，可以显示场景识别图标，4吏得摄影师可以容易 地查看所显示的场景识别图标。在本发明的实施例中，描述了其中在显示 部件140上显示场景识别图标作为用于表示每个场景的标记的例子。作为 选择，可以显示诸如文本或图像之类的另一标记作为用于表示每个场景的 标记。
接下来，将参考附图描述依照本发明实施例的图像捕获设备100的操作。
图31是示出由依照本发明实施例的图像捕获设备100所批阡的场景 确定处理的处理过程的流程图。在此例子中，将描述其中使用场景度分数 和场景索引来确定场景的例子。例如在监视捕获图像期间执行场景确定。
最初，获得捕获图像(步骤S901)。然后，执行场景度分数计算处理 (步骤S910)。将参考图32详细描述场景度分数计算处理。然后，执行 场景索引计算处理(步骤S920)。将参考图33详细描述场景索引计算处 理。
然后，场景确定部件256选择在由场景度分数计算部件252所计算的 场景度分数当中具有最高场景度分数的场景(步骤S卯2)。然后，场景确 定部件256确定由场景索引计算部件255为所选场景所计算的场景索引是 否大于或等于阈值(步骤S903)。当为所选场景所计算的场景索引大于或 等于阈值时(在步骤S卯3为是)，场景确定部件256确定所选场景为当前 捕获图像的场景(步骤S904)。相比之下，当为所选场景所计算的场景索 引小于阈值时(在步骤S903为否)，场景确定部件256确定当前捕获图像的场景是不可确定的(步骤S卯5 )。
A曰士旦古比旦必入虹j:A比旦a廿n 比旦丄a 0女4工T7V传自aa 3 "^TJ取冋W尔/久刀紙ny 尔 尔- T WR入J LV
最高场景度分数以及关于亮度值分布信息的最高场景度分数时，在步骤
S卯3可以在不使用场景索引执行确定的情况下确定所述场景。
图32是用于示出在由依照本发明实施例的图像捕获设备100执行的 场景确定处理的处理过程内的场景度分数计算处理的过程(在图31中所 示出的步骤S910中的处理过程)的流程图。
最初，EV值提取部件240从捕获图像中提取EV值(步骤S911 )。 然后，亮度值分布信息提取部件251从捕获图像提取直方图(步骤S912 )。 然后，场景度分数计算部件252根据由EV值提取部件240所提取的EV 值和由亮度值分布信息提取部件251所提取的直方图以逐个场景为J^i 使用在场景度分数计算信息存储部件300中所存储的场景度分数计算信 息来计算场景度分数。
图33是用于示出在由依照本发明实施例的图像捕获设备100执行的 场景确定处理的处理过程内的场景索引计算处理的过程(在图31中所示 出的步骤S920中的处理过程)的流程图.
最初，区域划分部件253把捕获图像划分为预定区域(步骤S921)。 然后，亮度值提取部件254从每个划分区域提取亮度值(步骤S922)。然 后，场景索引计算部件255计算在每个区域中所提取亮度值的平均值，并 且根据亮度值的平均值以逐个场景为基础通过使用在场景索引计算信息 存储部件350中所存储的场景索引计算信息来计算场景索引校正值和场 景索引(步骤S923)。
图34是示出由依照本发明实施例的图^Mt获设备100所执行的图像 捕获模式设置处理的处理过程的流程图。
最初，确定是否已经确定夜间场景(步骤S951)。当已经确定夜间场 景时(在步骤S951为是)，执行夜间场景模式设置处理(步骤S960)。参 考图35详细描述夜间场景模式设置处理。
当尚未确定夜间场景时(在步骤S951为否)，确定是否已经确定背光 场景(步骤S952 )。当已经确定背光场景时(在步骤S952为是)，执行背 光场景模式设置处理(步骤S970)。参考图36详细描述背光场景模式设 置处理。当尚未确定背光场景时(在步骤S952为否)，执行不同于夜间场 景或背光场景的另一场景的模式设置处理(步骤S953)。图35是用于示出在由依照本发明实施例的图像捕获设备100执行的 图像捕获模式设置处理的处理过程内的夜间场景模式设置处理的过程(在 图34中所示出的步骤S960中的处理过程)的流程图。
确定在捕获图像中是否检测到面部(步骤S961)。当在捕获图像中检 测到面部时(在步骤S961为是)，设置其中发射闪光的闪光灯发射模式(步 骤S962)。然后，确定图像捕获设备100是否是静止的(步骤S963)。
当确定图像捕获设备100是静止的时(在步骤S963为是)，可以设想 图像捕获设备100被利用三脚架固定或位于固定地方。因此，设置緩慢同 步模式(步骤S964)。緩慢同步模式是其中在阴暗场景中可以利用闪光灯 发射来捕获对象(人)的清楚图像并且可以利用緩慢快门速度来捕获在阴 暗场景中美丽的背景图像的模式。由于图像捕获设备100被确定为是静止 的，所以不执行用于提升图像信号的AGC处理，并且从而可以降低快门 速度。据此，摄影师可以记录美丽的且无噪声的捕获图像。
相比之下，当确定图像捕获设备100并不是静止的时(在步骤S963 为否)，例如可以设想摄影师正在用手拿着图像捕获设备IOO的同时捕获 图^Ml者所述图^^获设备100位于并不稳定的地方。因此，设置其中执 行用于提升图像信号的AGC处理并且增加快门U的啄ib溪式(高灵敏 度模式)，由此防止运动污点(步骤S965)。通过利用闪光灯发射来捕获 图像，可以捕获对象(人)的清楚图像。通过执行用于提升图像信号的 AGC处理，可以捕获在阴暗场景中美丽的背景图像。通过把快门速度增 加到可以防止运动污点的级别，即使当摄影师用手拿着图像捕获设备 100，该摄影师也可以记录可靠获得的捕获图像。粗略地说，当把快门速 度增加到等效于图像捕获透镜的焦距倒数的il^L(秒)时，由于照相机移 动所导致的图像捕获错误通常不太可能出现。从而例如把快门速度调节为 比等效于图像捕获透镜的焦距倒数的速度(秒)更快的速度。
当在捕获图像中没有检测到面部时(在步驟S961为否)，通过执行初 步;5tiC射操作来确定是否存在主要对象(步骤S966)。在阴暗场景中，很 可能难以准确地执行面部检测。从而，通过执行初步;5feJi射操作来确定主 要对象是非常有效的。当通过执行初步光发射操作确定存在主要对象时 (在步骤S966为是)，流程继续至步骤S962。相比之下，当通过执行初 步M射操作确定不存在主要对象时(在步骤S966为否)，那么确定图像 捕获设备100是否是静止的(步骤S967 )。
当确定图像捕获设备100是静止的时(在步骤S967为是)，设置在捕
42获夜间场景图像中专用的夜间模式(步骤S968)。当设置此夜间模式时， 由于在捕获图像中不存在任何人，所以禁止闪光灯发射，并且使用緩慢快 门ilJL来捕获图像。据此，摄影师可以记录美丽的且无噪声的捕获图像.
相比之下，当确定图像捕获设备100不是静止的时(在步骤S967为 否)，设置高灵敏度模式(步骤S969)。在这种情况下，由于在捕获图像 中不存在任何人，所以禁止闪光灯发射，并且执行用于提升图像信号的 AGC处理。据此，可以捕获在阴暗场景中的背景图〗象。通过把快门i4^ 增加到高达可以防止运动污点的级别，即使当摄影师用手拿着图像捕获设 备100，该摄影师也可以可靠地记录捕获图像。
这里，设置每个图像捕获模式意味着设置对应于图像捕获模式的程序 图。可以类似地设置各个图像捕获模式，除上述图傳4获模式之夕卜包括风 景模式、肖像模式等。
当在步骤S963和S967中确定图像捕获设备100是否是静止的时，所 述处理具有与用于使用污点校正设备消除或减少运动污点的确定准则不 同的确定准则。这是因为可以通过4吏诸如上述用于确定阴暗场景以及改变 曝光条件的确定准则不同于用于消除或减少运动污点的静止确定准则来 执行优化。
当图像捕获设备100具有自拍器功能时，很可能当图像捕获设备100 利用三脚架固定或者位于固定地方时开启自拍功能。因此例如可以只在开 启自拍器功能时执行上述处理。还可以不禁止闪光灯发射而不考虑是否检 测到面部。还可以通过利用操作接受部件130执行手动操作来将面部检测 部件210、静止确定部件220、主要对f^r测部件230和场景判定部件250 设置为关闭。还可以通过利用操作接受部件130执行手动操作来将上述处 理^1置为关闭。
图36是用于示出在由依照本发明实施例的图像捕获设备100执行的 图像捕获模式设置处理的处理过程内的背光场景模式设置处理的过程(在 图34中所示出的步骤S970中的处理过程)的$0图。
确定在捕获图像中是否检测到面部(步骤S971)。当在捕获图像中检 测到面部时(在步骤S971为是)，设置其中发射闪光的闪光灯发射模式(步 骤S972)，并且设置白天同步模式(步骤S973)。白天同步模式是其中在 背光场景的情况下例如在主要对象可能是阴暗的并且凹陷(sunken )的情 况下，可以利用闪光灯发射来捕获主要对象和背景的良好图像的图像捕获模式.当人后面明亮时，面部变得阴暗并且凹陷，并且在捕获图像中可能
检测不到面部。因此，当在捕获图像中没有检测到面部时(在步骤S971 为否)，通过执行初步光发射^作来确定存在主要对象(步骤S974)。
当通过执行初步光发射操作确定存在主要对象时(在步骤S974为 是)，J5^E继续至步骤S972。相比之下，当通过执行初步光发射操作确定 不存在主要对象时(在步骤S974为否)，那么执行强度校正处理(步骤 S975 )。强度校正处理是用于执行强度校正以便在图像信号的低亮度侧增 加亮度强度级的处理。结果，背光场景可以被捕获并作为自然图像记录。
当摄影师已经禁止闪光灯发射时，白天同步模式是不可设置的.因此， 当摄影师已经禁止闪光灯发射时，执行强度校正。强度校正控制的细节取 决于是否检测到面部而可以是不同的。例如，当检测到面部时，可以执行 校正以便把面部亮度的强度调节到适当级别。
图37是示出由依照本发明实施例的图像捕获设备100所执行的场景 识别图标显示处理的处理过程的流程图。特別地是，此处理过程由显示控 制部件2卯执行。
最初，执行监视以便在显示部件140上显示捕获图4象(步骤S981 )。 然后，确定是否已经确定场景(步骤S982)。当已经确定场景时(在步骤 S982为是)，那么确定所确定的场景是否与先前刚确定的场景相同(步骤 S983)。当所确定的场景与先前刚刚确定的场景相同时(在步骤S983为 是)，使图标显示计数器增加(步骤S984)。那么，确定图标显示计数器 是否大于或等于阈值(步骤S986)。
当图标显示计数器大于或等于阈值时(在步骤S986中为是)，"TRUE" 被设置为图标显示标志(步骤S987 )。于是在显示部件140上显示对应于 此确定场景的场景识別图标(步骤S988 )。当图标显示计数器并不大于或 等于阈值时(在步骤S986中为否)，流程继续至步骤S989。
当没有确定场景时(在步骤S982中为否)，或者当所确定的场景并不 与先前刚刚确定的场景相同时(在步骤S983为否)，复位图标显示计数器 (步骤S985 )。于是，"FALSE"被设置为图标显示标志(步骤S989 )。然 后擦除在显示部件140上所显示的场景识别图标(步骤S990 )。当在显示 部件140上没有显示场景识别图标时，并不执行用于擦除场景识别图标的 此处理。
然后确定是否已经不完全地按压快门线释放按钮131 (步骤S991 )。
44当快门线释放^L131尚未被不完全按压时(在步骤S991中为否)，iM呈 返回到步骤S981。相比之下，当快门线释放^&131已经被不完全地按 压时(在步骤S991中为是)，确定"TRUE，，是否已经被设置为图标显示标 志(步骤S992)。当"TRUE"已经被设置为图标显示标志时(在步骤S992 中为是)，改变在显示部件140上所显示的场景识别图标的颜色(步骤 S993 )。相比之下，当"TRUE"尚未^C设置为图标显示标志时(在步骤S992 中为否)，终止场景识别图标显示处理。
如上面已经描述，在诸如夜间中的阴暗地方中或在房间内，图4象捕获 设备100的用户可以通过在不使用各种设置和图像捕获方法的情况下确 定图像捕获设备100的静止状态来容易地获得良好的图像。例如，当用户 已经利用三脚架固定图像捕获设备100来代智4吏用手拿着所述图像捕获 设备100时，可以获得美丽的且无噪声的图像。当用户用手拿着图像捕获 设备100时，可以获得没有运动污点的图像。因此，可以处理任何阴暗场 景模式。
使用面部检测部件210、静止确定部件220、主要对^J险测部件230 和场景判定部件250，由于只在必要时执行光发射所以可以获得自然图 像。还可以减少功率消耗，并Jbf目应地，用户可以使用图像捕获设备IOO 更长时间。通过在开启自拍器功能时把面部检测部件210、静止确定部件 220、主要对IM^测部件230和场景判定部件250设置为被激活，可以减 少功率消耗，并且用户可以使用图像捕获设备100更长时间。
通过使用场景度分数计算信息和场景索引计算信息执行场景确定，可 以准确地区分包括夜间场景、室内场景、室外场景和背光场景在内的各个 场景。甚至可以确定其中用户可能没能捕获图像的场景(诸如背光场景)。 利用通过执行初步M射操作的面部检测和主要对l险测，即侵在背光场 景中也可以执行适当的处理。据此，可以在不使用户执行困难操作的情况 下容易地获得良好的图像。此外，甚至可以确定其中用户可能没能捕获图 像的场景(诸如夜间场景).因为根据场景度分数等把明度控制为适当的 明度，所以可以在不使用户执行困难操作的情况下容易地获得良好的图 像。
由于以稳定方式显示用于使用户识别场景的场景识别图标，所以用户 可以更容易地识别所述场景。
尽管在本发明的实施例中以16阶表明度值分布信息，不过即使当按 其它数目的阶来表明度值分布信息时也可以执行类似的处理。尽管在本发明的实施例中已经以举例形式描述了根据六个亮度值分布信息项所产生 的亮度值分布信息场景度分数计算信息，诸如整个直方图的亮度中值，可 以通过使用根据其它亮度值分布信息所产生的亮度值分布信息场景度分 数计算信息来计算场景度分数。作为亮度值分布信息，可以使用例如直方 图的峰宽、直方图中的峰值高度、直方图的底宽、直方图的间隔和/或直 方图中曝光itv变区域的比例。
尽管在本发明的实施例中已经以举例形式描述了诸如数字静物照相 机之类的图^^获设备，本发明的实施例适用于各种图像捕获设备，诸如 具有静止图像捕获功能的摄^^ 和具有图像捕获部件的移动电话。本 发明的实施例还适用于具有不同结构的图像捕获设备,诸如可更换透镜的 照相机或电影摄像机。
尽管在本发明的实施例中已经描述了其中使用EV值作为明度信息 的例子，不过本发明的实施例适用于其中使用诸如光值(LV)之类的明 度信息的情况。
尽管在本发明的实施例中已经描述了其中使用在不围绕光轴方向旋 转图像捕获设备的情况下捕获图像的例子，不it^发明的实施例例如适用 于通过围绕光轴方向旋转图像捕获设备90度所捕获的图像。在这种情况 下，例如预先产生通过旋转图像捕获设备90度所捕获的图像的场景索引 计算信息。使用此场景索引计算信息，计算场景索引。作为选择，根据从 捕获图像所划分的每个区域中提取的亮度值平均值来计算正常的场景索 引。另外，使用旋转90度的场景频率模式来计算场景索引。通过使用这 些场景索引，可以执行场景确定。作为选择，通过使用角度传感器来检测 图像捕获设备的旋转角度，使用所述图像捕获设备的旋转角度来确定捕获 图像的旋转角度，并且依照所述捕获图像的旋转角度来计算场景索引。
以举例形式图示了本发明的实施例以便实现本发明。尽管在实施例和 下面将描述的权利要求的特征之间存在一致性，不过本发明并不局限于 此，并且在不脱离本发明的精神和范围的情况下可以进行各种修改。
即依照本发明实施例，明度信息提取装置例如对应于EV值提取部件 240。亮度值分布信息提取装置例如对应于亮度值分布信息提取部件251。 场景确定装置例如对应于场景确定部件256。
依照本发明另一实施例，明度信息估计值参数存储装置例如对应于场 景度分数计算信息存储部件300。亮度值分布信息估计值参数存储装置例如对应于场景度分数计算信息存储部件300。确定估计值计算装置例如对 应于场景度分数计算部件252。
依照本发明另一实施例，亮度值区域信息提取装置例如对应于区域划 分部件253和亮度值提取部件254。
依照本发明另一实施例，明度信息估计值参数存储装置例如对应于场 景度分数计算信息存储部件300。亮度值分布信息估计值Wt存储装置例 如对应于场景度分数计算信息存储部件300。划分区域估计值转换信息存 储装置例如对应于场景索引计算信息存储部件350。确定估计值计算装置 例如对应于场景度分数计算部件252。划分区域估计值计算装置例如对应 于场景索引计算部件255。
依照本发明另一实施例，明度校正处理装置例如对应于图傳捕获M i殳置部件280。
依照本发明另一实施例，图像捕获条件设置装置例如对应于图像捕获 ^ffi殳置部件280。
依照本发明另一实施例，显示控制装置例如对应于显示控制部件2卯。
依照本发明另 一实施例，划分区域估计值转换信息存储装置例如对应 于场景索引计算信息存储部件350。亮度值区域信息提取装置例如对应于 区域划分部件253和亮度值提取部件254。划分区域估计值计算装置例如 对应于场景索引计算部件255。场景确定装置例如对应于场景确定部件 256。
依照本发明的其它实施例，提取明度信息的步骤例如对应于步骤 S911。 4^取亮度值分布信息的步骤例如对应于步骤S912。确定场景的步 骤例如对应于步骤S卯4。
在本发明的实施例中所描述的处理过程可以被认为是具有此过程系 列的方法或者可以被认为是用于使计算机执行所述过程系列的程序或其 上记录有所述程序的记录介质。
那些本领域技术人员应当理解，在附加权利要求及其等效物的范围 内，根据设计要求及其它因素可以进行各种修改、组合、子组合和变化。
权利要求
1.一种图像处理设备，包括输入装置，用于接收将被处理的输入图像；明度信息提取装置，用于从所述图像中提取用于表明整个图像明度的明度信息；亮度值分布信息提取装置，用于从所述图像中提取用于表明在所述图像中亮度值分布的亮度值分布信息；和场景确定装置，用于根据所提取的明度信息和所提取的亮度值分布信息来确定在所述图像中所包括的对象的场景。
2. 如权利要求l所述的图像处理设备，其中进一步包括明度信息估计值参数存储装置，用于以逐个场景为M来存储用于表 明依照各个场景的所述明度信息的分布的明度信息估计值M;亮度值分布信息估计值^lt存储装置，用于以逐个场景为^J来存储 用于表明对应于依照所述各个场景的所述亮度值分布信息的特征量的亮 度值分布信息估计值M;和确定估计值计算装置，用于以逐个场景为基础使用对应于所提取明度 信息的所述明度信息估计值参数来计算明度信息估计值，以逐个场景为基 础使用对应于所提取亮度值分布信息的所述亮度值分布信息估计值参数 来计算亮度值分布信息估计值，并且以逐个场景为J^根据以逐个场景为 基础计算的所述明度信息估计值和亮度值分布信息估计值来计算确定估 计值，其中所述场景确定装置根据以逐个场景为基础计算的所述确定估计 值来确定在所述图像中所包括的所述对象的场景。
3. 如权利要求l所述的图像处理设备，其中所述对应于亮度值分布 信息的特征量至少包括用于表明在直方图中对应于所指定类别的比例的 值，所述直方图用于表明在所述图像中亮度值的分布。
4. 如权利要求1所述的图像处理设备，其中所述对应于亮度值分布 信息的特征量至少包括通过对直方图执行判别分析方法所获得的二值化 阈值，所述直方图用于表明在所述图像中亮度值的分布。
5. 如权利要求l所述的图像处理设备，其中进一步包括亮度值区域信息提取装置，用于将所述图像划分为多个区域并且提取每个所述区域的 亮度值区域信息，其中所述场景确定装置根据所提取的明度信息、所提取的亮度值分布 信息和所提取的亮度值区域信息来确定在所述图像中所包括的所述对象 的场景。
6. 如权利要求5所述的图像处理设备，其中进一步包括明度信息估计值参数存储装置，用于以逐个场景为1^J来存储用于表 明依照各个场景的所述明度信息的分布的明度信息估计值M;亮度值分布信息估计值参lt存储装置，用于以逐个场景为^ftll来存储 用于表明对应于依照各个场景的所述亮度值分布信息的特征量的亮度值 分布信息估计值^lt;划分区域估计值转换信息存储装置，用于存储用来表明所述图像的区 域组的区域组信息和估计值转换表，其中根据依照所述各个场景的亮度值 区域信息的大小来分类所述图像的区域组，并且所述估计值转换表用于根 据所述区域组信息来将所4C取的亮度值区域信息转换为划分区域估计值；确定估计值计算装置，用于以逐个场景为1^使用对应于所提取明度 信息的所述明度信息估计值参数来计算明度信息估计值，以逐个场景为基 础使用对应于所提取亮度值分布信息的所述亮度值分布信息估计值参数 来计算亮度值分布信息估计值，并且以逐个场景为^J根据以逐个场景为 基础计算的所述明度信息估计值和亮度值分布信息估计值来计算确定估 计值；和划分区域估计值计算装置，用于以逐个场景为^ftl;使用所述区域组信 息和估计值转换表来为所提取的亮度值区域信息计算划分区域估计值，其中所述场景确定装置才艮据以逐个场景为基础计算的所述确定估计 值和划分区域估计值来确定在所述图像中所包括的所述对象的场景。
7. 如权利要求6所述的图像处理设备，其中所述划分区域估计值计 算装置用于在从所述图像的预定区域中所提取的亮度值区域信息存在于 预定范围内的情况下执行校正以便增加所述划分区域估计值。
8. 如权利要求1所述的图像处理设备，其中进一步包括明度校正处 理装置，用于在所述图像中所包括的所述对象的场景被确定为预定场景的 情况下执行与所述预定场景相应的明度校正处理。
9. 如权利要求l所述的图像处理设备，其中进一步包括图像捕获条 件设置装置，用于在所述图像中所包括的所述对象的场景被确定为背光场 景的情况下依照在所述图像中存在面部以及存在光发射来设置图像捕获 條
10. 如权利要求1所述的图像处理设备，其中进一步包括显示控制 装置，用于在所述图像中所包括的所述对象的场景已经在预定时段被连续 地确定为相同的场景的情况下显示标记，所述标记用于表示在预定时段已 经被连续确定的场景。
11. 一种图《象处理该:备，包括划分区域估计值转换信息存储装置，用于存储用来表明所捕获图像的 区域组的区域组信息和估计值转换表，其中根据依照各个场景的在所捕获 图像的预定区域中的亮度值区域信息的大小来分类所述捕获图像的区域 组，并且所述估计值转换表用于根据所述区域组信息来将所述亮度值区域 信息转换为划分区域估计值；亮度值区域信息提取装置，用于将捕获图像划分为多个区域并且提取 每个所述区域的亮度值区域信息；划分区域估计值计算装置，用于以逐个场景为^fiM吏用所述区域组信 息和估计值转换表来为所提取的亮度值区域信息计算划分区域估计值；和场景确定装置，用于根据以逐个场景为基础所计算的所述划分区域估 计值来确定在所捕获图像中所包括的所述对象的场景。
12. —种图像处理方法，包括步骤从图像中提取用于表明整个图像的明度的明度信息；从所述图像中提取用于表明在所述图像中亮度值分布的亮度值分布 信息；并且根据所提取的明度信息和所提取的亮度值分布信息来确定在所述图 像中所包括的对象的场景。
13. —种用于使计算机执行包括以下步骤的处理的程序从图4象中4^取用于表明整个图1象明度的明度信息；从所述图像中提取用于表明在所述图像中亮度值分布的亮度值分布 信息；并且根据所提取的明度信息和所提取的亮度值分布信息来确定在所述图 像中所包括的对象的场景。
14. 一种图像捕获设备，包括图^t^获装置，用于捕获对象的图像并且产生捕获图像；明度信息提取装置，用于从所述捕获图像中提取用于表明整个捕获图 像的明度的明度信息；亮度值分布信息提取装置，用于从所述捕获图像中提取用于表明在所 述捕获图像中亮度值分布的亮度值分布信息；和场景确定装置，用于根据所提取的明度信息和所提取的亮度值分布信 息来确定在所述捕获图像中所包括的所述对象的场景。
15. —种图像处理设备，包括输入部件，被配置为接收将被处理的输入图像；明度信息提取部件，被配置为从所述图像中提取用于表明整个图像的 明度的明度信息；亮度值分布信息提取部件，被配置为从所述图像中提取用于表明在所 述图像中亮度值分布的亮度值分布信息；和场景确定部件，被配置为才艮据所提取的明度信息和所提取的亮度值分 布信息来确定在所述图像中所包括的对象的场景。
16. —种图像处理i殳备，包括划分区域估计值转换信息存储部件，被配置为存储用于表明所捕获图 像的区域组的区域组信息和估计值转换表，其中根据依照各个场景的所述 捕获图像的预定区域中亮度值区域信息的大小来分类所述捕获图像区域， 所述估计值转换表用于根据所述区域组信息来将所述亮度值区域信息转 换为划分区域估计值；亮度值区域信息提取部件，被配置为把所述捕获图像划分为多个区域 并且提^i每个所述区域的亮度值区域信息；划分区域估计值计算部件，被配置为以逐个场景为基础使用所述区域 组信息和估计值转换表来为所提取的亮度值区域信息计算所述划分区域 估计值5和场景确定部件，被配置为根据以逐个场景为基础所计算的划分区域估计值来确定在所述捕获图像中所包括的对象的场景。
17. —种图像捕获设备，包括图像捕获部件，被配置为捕获对象的图像并且产生捕获图像；明度信息提取部件，被配置为从所述捕获图像中提取用于表明整个捕 获图像的明度的明度信息；亮度值分布信息提取部件，被配置为从所述捕获图像中提取用于表明 在所述捕获图像中亮度值分布的亮度值分布信息；和场景确定部件，被配置为才艮据所提取的明度信息和所提取的亮度值分 布信息来确定在所述捕获图像中所包括的所述对象的场景。
全文摘要
本发明涉及图像捕获设备、图像处理设备和方法及其程序。图像处理设备包括输入部件，被配置为接收将被处理的输入图像；明度信息提取部件，被配置为从所述图像中提取用于表明整个图像明度的明度信息；亮度值分布信息提取部件，被配置为从所述图像中提取用于表明在所述图像中亮度值分布的亮度值分布信息；和场景确定部件，被配置为根据所提取的明度信息和所提取的亮度值分布信息来确定在所述图像中所包括的对象的场景。
文档编号H04N5/235GK101494738SQ20091000562
公开日2009年7月29日 申请日期2009年1月20日 优先权日2008年1月22日
发明者小野俊树 申请人:索尼株式会社
最新回复(0)