图像处理设备、照相机设备、图像处理方法和程序的制作方法
专利名称：图像处理设备、照相机设备、图像处理方法和程序的制作方法
技术领域：
本发明涉及一种图像处理设备，该设备从摄取的图像中检测面部并具 有校正图像失真的功能，本发明还涉及一种照相机设备、图像处理方法和 程序。
背景纟支术
包括从由摄4象元件(成像传感器):^聂取的图4象中检测#皮才聂对象面部的 面部检测器的照相机设备已经获得实际应用。
当图^^L提供给面部检测器时，这种照相机设备通常使用通过缩小由 成像传感器摄取的图像而获得的图像。
另外，在面部检测器中进行面部检测通常比由成像传感器进行摄像的 帧速率慢，而且来自面部检测器的检测结果是在实际(实时)摄取的图像 之前几帧的^J^迟的信息。
发明内容
当图^^皮提供给面部检测器时，上述技术通常使用通过缩小由成像传 感器摄取的图像而获得的图像。然而，例如，在使用广角镜头以广角摄取 图像的情况下，摄取到小尺寸的被摄对象图像，且自然地摄取到小尺寸的 面部图像。
因此，当由广角摄像获得的整个图像区域被缩小并被提供给面部检测 器时，存在的缺点是只能检测距照相机设备相当近的范围内的面部。
例如，当被摄对象对于摄像而言具有很宽的宽度(比如采用普通数字静止图片照相机(DSC )等获得一,体图片等的情况)时，由于镜头视 角窄，到被摄对象的距离自然要远(分开)。此时，不能检测相似地作为 被摄对象的面部。
在上述情况下，可以考虑放大图像以将其提供给面部检测器。然而， 这样需要增大用于面部检测的图像存储器的容量，导致成本增加。
另外，此时，用于搜索面部的时间随着对应于用于面部检测的图傳存 储器的容量增加而按指数规律地增加，因此导致检测时间增加。
另夕卜，可以考虑改变面部检测器的最小检测面部尺寸，以检测更小的 面部。
然而，通常存在检测小尺寸面部的限制，因此经常无法检测出小尺寸 面部。
另夕卜，如上所述，在面部检测器中进行面部检测通常比由成像传感器 进行摄像的帧速率慢，且来自面部检测器的检测结果是在实际(实时)摄 取的图像之前几帧的被延迟的信息。
因此，当作为被摄对象的AiE在运动时，或者当进行摄像的人正在运 动时，不能正确执行使用面部检测结果的曝光控制(AE (自动曝光)、逆 光校正等)，以致产生这样的缺点主a供静止图像使用。
也可以考虑实现多个面部检测器来缩短面部检测时间，但增加了系统 成本。
希望提供一种图像处理设备、照相机设备、图像处理方法以及程序， 它们能够对面部检测器可检测到的全部面部尺寸进行面部检测而不会增 加成本，能够不依赖于面部尺寸进行曝光控制，并且于是能够改善图像质 量。
根据本发明第一实施例，提供一种图像处理设备，包括面部检测器， 用来基于检测信息，*定的图像中检测面部；以及处理单元，用来设置 所述面部检测器的检测信息，至少接收失真校正前的图像和失真校正后的 图像中的失真校正前的输入图像，分割所述输入图像的整个图像区域，并 以时分方式将每一个分割的图像提供给所述面部检测器，所述面部检测器 在可检测范围中的整个图像中从最大尺寸面部到最小尺寸面部进行面部 检测。
优选地，处理单元分割整个图像区域，以便在分割边界线上具有图像交叠区域
优选地，处理单元在面部检测器中设置包括面部尺寸的检测信息，从 而防止检测的面部尺寸在被分割和被缩小的图像之间彼此一致。
优选地，处理单元基于由面部检测器获得的面部检测结果信息来针对 检测的面部进行控制，以便只检测面部的周围图像区域。
优选地，处理单元具有这样的功能将用于检测面部的区域设置到与 所述面部尺寸成比例的范围。
优选地，处理单元具有这样的功能将用于面部检测器检测面部的区 域设置到考虑了根据过去面部位置关系估计的运动量的范围。
优选地，处理单元控制面部检测器来检测整个图像区域中的运动，并 仅以发生了运动的区域作为对象来检测面部。
根据本发明第二实施例，提供一种照相机设备，包括摄像元件；光 学系统，用于在摄像元件上形成被摄对象的图像；以及图像处理设备，能 够使用失真校正参数对由摄像元件通过广角镜头摄取的原始图像进行失 真校正，其中，图像处理设备包括面部检测器，用来基于检测信息，从给 定的图像中检测面部，以及处理单元，用来设置面部检测器的检测信息， 至少接收失真校正前的图像和失真校正后的图像中的失真校正前的输入 图像，分割输入图像的整个图像区域，并以时分方式将每一个分割的图像 提供给面部检测器，以及面部检测器在可检测范围中的整个图像中从最大 尺寸面部到最小尺寸面部进行面部检测。
根据本发明第三实施例，提供一种用于基于设置在面部检测器中的检 测信息从给定的图像中检测面部的图像处理方法，图像处理方法包括步 骤设置检测信息；至少分割失真校正前和失真校正后的图像中的失真校 正前的整个图像区域；以及以时分方式将每一个分割的图像提供给面部检 测器，面部检测器在可检测范围中的整个图像中从最大尺寸面部到最小尺 寸面部进行面部检测。
根据本发明的第四实施例，提供一种用于使计算机进行图像处理的程 序，图像处理用于基于设置在面部检测器中的检测信息从给定的图像中检 测面部，图像处理包括设置检测信息的步骤；至少分割失真校正前和失 真校正后的图像中的失真校正前的整个图像区域的步骤；以及以时分方式 将每一个分割的图像提供给面部检测器的步骤;面部检测器在可检测范围 中的整个图像中从最大尺寸面部到最小尺寸面部进行面部检测。根据本发明，处理单元在面部检测器中设置检测信息。然后，处理单 元例如在失真校正前分割整个图像区域，并且以时分方式将每一个分割后 的图像提供给面部检测器。
然后，面部检测器在可检测范围中的整个图像中从最大尺寸面部到最 小尺寸面部进行面部检测。
根据本发明，面部检测有可能在不导致成本增加的情况下覆盖可由面 部检测器检测的全部面部尺寸。
因为可以检测到小尺寸面部，有可能不依赖面部尺寸而进行曝光控 制，因此实现了图1象质量的改善。
图1是示出采用根据本发明实施例的图像处理设备的照相机设备的
结构的例子的框图2是示意性示出面部检测中的图像和控制流程的图3是示出设置由微型计算#测的检测区域和面部尺寸的例子的
图4是示出以标准视角摄取的图像以及以广角摄取的图像的例子的
图5是示出当进行面部检测时以标准视角摄取的图像以及以广角摄 取的图像的例子的图6是有助于说明检测从最大尺寸面部到最小尺寸面部的全部面部 的方法的图7是有助于说明在检测覆盖全部像素大小的面部的方法中缩短检 测时间的方法的图8是有助于说明针对已检测的面部缩短检测时间的方法的图9是示出进行分割并检测面部，然后针对已检测的面部在面部区域 中重复进行面部检测的例子的图10是示出进行分割并检测面部，然后在针对已检测的面部在面部 区域中进行面部检测的同时，在后台检测分割后面部的例子的图ll是示出当检测到特定面部时，根据原始图像中过去面部的位置和尺寸估计运动量，并移动检测位置且放大或缩少原始图像中的检测区域
的例子的图；以及
图12是有助于说明通过运动检测缩短检测时间的方法的图。
具体实施例方式
下文中将参考
本发明的优选实施例。
图1是示出釆用根据本发明实施例的图像处理设备的照相机设备的 结构的例子的框图。
如图l所示，根据本实施例的照相机设备10包括光学系统11、摄像 元件(成像传感器)12、照相机信号处理部分13、失真校正电路14、输 出处理部分15、开关16、缩小电路和图^^"储器17、面部检测器18以 及作为控制部分的微型计算机(micon) 19。
在这些组成元件中，开关16、缩小电路和图像存储器17以及微型计 算机19形成图像处理设备的处理单元。
附带地，在本实施例中，镜头失真像差的失真校正参数将被简称为失 真校正械。
根据本实施例的照相机设备10具有基于由广角镜头摄取的图^^面 部检测器18中检测面部的控制功能(算法)。照相机设备10在失真校正 之前对摄取的图像进行分割并以时分方式控制面部检测器18,此后基于 检测出的面部在失真校正之前剪切图像并控制面部检测器18。
另外，照相机设备10具有这样的功能以检测出运动的区域作为对 象进行上述面部检测。
另外，照相机设备10具有这样的功能当从失真校正前的摄取的图 像中检测面部时，之后在某些情况下对失真校正后的图像进行面部检测。
具有这些功能的照相机设备10被配置为这样的照相机其能够从通 过广角镜头摄取的图像的失真校正前的整个图像区域中检测面部，并且也 能够从失真校正后的闺像中检测面部。
根据本实施例的照相机设备10具有这样的功能进行电子剪切(平 转、俯仰和变焦)、合成等，同时通过使用失真校正参数来对通过广角摄 像获得的图像的失真进行校正。此时，微型计算机19可以具有预先存储在存储器(诸如内置ROM (只读存储器)/RAM (随M取存储器)等)中的失真校正参数，可以 通过孩t型计算机19的操作获得失真校正参数，或者可以用来从照相机i殳 备10通过传输线连接到的主机(未示出)通过外部通信接收失真校正参 数。
光学系统11例如包括由超广角镜头形成的广角镜头lll，并经过广角 镜头111在摄像元件12的摄像表面上形成被摄对象图像。
摄像元件12例如由成像传感器形成，它是一种CCD(电荷耦合器件) 或CMOS (互补金属氧化物半导体)器件。
摄像元件12通过以矩阵形式设置在半导体基底上的光学传感器检测 经过光学系统11的被摄对象图像，产生信号电荷，通过垂直信号线和水 平信号线读取信号电荷，然后将被摄对象的数字图像信息输出到照相机信 号处理部分13。
照相机信号处理部分13对数字图傳_信号进行颜色插值、白平衡、 YCbCr转换处理、压缩、存档等，然后将数字图像信号作为没有失真校 正的图像(下文中简称原始图像)IMNC输出到失真校正电路14并经由 开关16输出到缩小电路和图^^储器17。
失真校正电路14通过失真校正^对来自照相机信号处理部分13 的原始图像IMNC进行失真校正，然后将结果输出到输出处理部分15。
输出处理部分15对通iM"原始图像IMNC进行失真校正、剪切、合 成等而获得的图像数据进行伽马处理、屏蔽处理、格式转换等，其中,该 图像数据是从失真校正电路14输出的。输出处理部分15将结果输出到外 部，并且还将结果作为校正后的图像IMAC输出到开关16。
开关16具有连接到照相积i信号处理部分13的输出部分的触点a、连 接到输出处理部分15的输出部分的触点c以及连接到缩小电路和图#^ 储器17的输入部分的触点b。
开关16在微型计算机19的控制下，通过照相机信号处理部分13将 原始图像(未进行失真校正的图像)或由输出处理部分15进行过失真校 正的图像输入到缩小电路和图#^储器17。
缩小电路和图像存储器17具有缩小电路171和图像存储器172。
缩小电路171在图像存储器172中存储由照相机信号处理部分13对原始图像(未失真校正的图像)中的整个区域或分割和剪切后的区域进行
缩小而获得的图像，或者存储由输出处理部分15进行失真校正后的图像, 而这种图像经由开关16以任意的缩小比率输入，或者存储经过分割并简 单剪切区域而获得的图像。
缩小电路171使用由微型计算机19设置的用于设置图像分割和剪切 区域的信息以及关于缩小比率的信息，分割失真校正前的原始图像IMNC 或失真校正后的图像IMAC的整个图像区域(4/9/16/25/36部分分割等)。 缩小电路171以时分方式将每一个分割的图像提供给面部检测器18。
顺便提及，此时，缩小后的图像尺寸可以由面部检测器18进行处理。
面部检测器18基于存储于图#^储器172内的图像，使用由微型计 算机19设置的关于要检测面部尺寸、区域等的信息检测面部。
顺便提及，面部检测器18可以由软件和硬件中的任一个来实现，且 面部检测器18的算法、电路结构等可以是公知的或现有的算法、电路结 构。
微型计算机19具有这样的功能将表示要进行失真校正的原始图像 的部分的失真校正参数提供给失真校正电路14,从而控制对原始图像的 失真校正。
另外，微型计算机19具有这样的功能控制开关16的选择，设置图 像中待分割和剪切的区域，并在缩小电路171中设置缩小比率，从而控制 图像分割和剪切处理以及缩小处理。
微型计算机19具有这样的功能设置面部检测器18中要检测的面部 尺寸、区域等，从而控制面部检测处理。微型计算机19获得位置、面部 尺寸等的检测的结果。
微型计算机19控制开关16、缩小电路和图傳存储器17以及面部检 测器18,以便通过分割失真校正前的或失真校正后的整个图像区域 (4/9/16/25/36部分分割等)并以时分方式将每一个分割的图像提供到面 部检测器18,来在失真校正前或失真校正后的全部图像中从最大尺寸面 部到最小尺寸面部(在面部检测器18的可检测范围内)对全部面部进行 检测。
微型计算机19执行控制，以便即使当分割边界线上存在面部时，也 可以通过进行分割时具有交叠区域来检测出面部。微型计算机19执行控制，以便能够通过设置面部检测器18使得在面 部检测器18中检测到的面部尺寸在被分割和被缩小图像之间彼此不一 致，来缩短检测时间。
微型计算机19具有这样的功能基于由面部检测器18获得的面部检 测结果信息执行控制，以便通过针对已检测的面部此后仅仅检测面部周围 图l象区域来缩短已检测的面部的检测时间。
在这种情况下，微型计算机19具有这样的功能将被检测区域设置 到与面部尺寸成比例的范围。
另外，微型计算机19具有这样的功能根据被检测区域内过去的面 部位置关系来估计运动量，并将被检测区域设置到考虑该运动量的某个范 围。
另外，微型计算机19具有这样的功能执行控制，以便通过检测失 真校正前或失真校正后的整个图像区域中的运动，并仅将发生了运动的区 域作为对象进行面部检测，来缩短检测时间。
顺便提及，在这种情况下，运动检测结果(运动矢量等)不用于面部 检测。
下面将更具体地说明根据本实施例的用于由广角摄像获得的图像的 面部检测功能、摄取的图像等。
首先参考图2和图3说明面部检测的概要(要点)。
<面部检测^&要>
图2是示意性示出面部检测中的图像和控制流程的图。图3是示出设 置由微型计算机险测的检测区域和面部尺寸的例子的图。
从照相机信号处理部分13输出的原始图像IMNC的像素数目通常大 于用于面部检测的图^^储器172的像素数目。
因此，为了^^、始图像IMNC的像素数目与用于面部检测的图^# 储器172的像素数目一致，缩小原始图像IMNC，并且将缩小后的图像 IMRD存储在用于面部检测的图^^储器中。
顺便提及， 一般而言，用于面部检测的图傳存储器172的像素数目经 常是固定的，与成像传感器12的像素数目或从照相机信号处理部分13 输出的原始图像IMNC的像素数目无关。
12同时，在由成像传感器12摄取的图像和从照 相机信号处理部分输出的原始图像IMNC之间，通过摄像获得的区域(视 角)本身并不存在差异，它们之间仅存在分辨率的差异，并且当图像^皮缩 小并存储在用于面部检测的图像存储器172中时，这种差异几乎变为零。
如图3所示，微型计算机19在面部检测器18中设置图#^储器172 的用于面部检测的检测区域DTA，要检测的面部尺寸SZ1到SZn等，然 后使面部检测器18开始检测。
顺便提及，此时，因为在很多情况下通常可以指定多个检测区域和面 部尺寸，面部检测器18允许连续地执行这些指定。
面部检测器18根据设定的检测区域DTA、要检测的面部尺寸SZ (1 到n)等，从用于面部检测的图#^储器172内的图<线行面部检测。在 完成检测之后，面部检测器18将用于面部检测的图像存储器172内的位 置以及面部检测后的面部尺寸信息输出到微型计算机19。
可选地，微型计算机19读取图像存储器172内的位置和面部尺寸信息。
顺便提及，如前所示，面部检测器18可由软件和硬件中任一个来实 现，并且面部检测器18的算法、电路结构等可以是公知的或现有的算法、 电路结构。
在这种情况下，面部检测器18仅作为示例示出，用于加深理解下文 所述的内容。
将参考图4和图5对以标准视角摄取的图像和以广角摄取的图像进行 说明。
<以标准视角摄取的图像和以广角摄取的图
图4是示出以标准视角摄取的图像以及以广角摄取的图像的例子的图。
图5是示出当进行面部检测时以标准视角摄取的图像以及以广角摄 取的图像的例子的图。
如图4所示，在以广角摄取的图像IMWA中，以小尺寸摄取被摄对 象OBJ的图像，并且自然以小尺寸摄取面部图像。
因此，即使具有相同的系统配置(原始图像尺寸、缩小电路的缩小比 率和面部检测器)，以标准视角摄取的图像IMSD中可检测的面部尺寸在广角摄像中是不可检测的。
图5示出执行面部检测时的例子。
顺便提及，在图5中，作为例子，当缩小电路171中的缩小比率(像 素数目的比率)是l/4时，不必说，实际的缩小比率由正在使用的原始图 像IMNC的像素数目和可以由面部检测器18处理的图像的像素数目之间 的比率来确定。
接下来参考图6，说明检测从最大尺寸面部到最小尺寸面部的全部面 部的方法。
<第一方法检测从最大尺寸面部到最小尺寸面部的全部面部的方法>
图6是有助于说明检测从最大尺寸面部到最小尺寸面部的全部面部 的方法的图。
原始图像IMNC的整个图像被分割(1/4/9/16/25部分分割等)(在图 6例子中为4部分分割)。缩小电路171将每一个分割图像IMD1到IMD4 缩小为可以由面部检测器18以时分方式进行处理的若干4象素，然后将该 结果提供给面部检测器18。因此，在原始图像IMNC的整个图像中检测 从检测最大尺寸面部到最小尺寸面部的全部面部。
即，原始图1象IMNC缩小到可以由面部检测器18处理的若干l象素， 这防止了当原始图像IMNC被分割和缩小时面部过度缩小并且因为过度 缩小而导致变形且无法检测到面部。另外，当剪切原始图像时，图像尺寸 可以按照原样被提供给面部检测器18。
因此，可真正地在原始图像IMNC的整个图像中覆盖从最大尺寸面 部到最小尺寸面部的全部面部。
顺便提及，由微型计算机19设置原始图像IMNC的分割数目、剪切 位置、用于将分割后图像IMD1到IMD4缩小为可以由面部检测器18处 理的若干像素的缩小比率等。
另外，微型计算机19获得通过分时处理执行的检测的结果，将全部 分割处理后的面部检测结果合并，并且当执行交叠区域OLPA中剪切位 置处对相同面部多次检测时，拒绝面部检测结果。
另外，在图6的例子中进行了4部分分割；然而，当按照像素数目之 间的比率，原始图像IMNC的像素数目是可以由面部检测器18检测的像 素数目的16倍时，其足够进行4部分分割，并且当希望检测甚至更小尺寸的面部时，类似地可以进行16部分分割。不必说，分割的数目和缩小 比率是任意的。
接下来，将参考图7说明检测从最大尺寸面部到最小尺寸面部的全部 面部的检测方法中缩短检测时间的方法。
<第二方法缩短检测时间的方法>
图7是有助于说明在检测覆盖全部像素大小的面部的方法中缩短检 测时间的方法的图。
首先，原始图^ME没有被分割的情况下缩小为可以由面部检测器18 处理的若干像素，并且检测出可以由面部检测器18检测的从最大面部尺 寸到最小面部尺寸的面部。
接下来，面部检测器18的设置受到控制，使得当在被分割和被缩小 的图像中或简单剪切的图像中检测面部时，先前执行面部检测的面部尺寸 与下次执行面部检测的面部尺寸不一致，也就是说，下一次仅检测出小尺 寸面部。因此，缩短了检测时间。
图7显示其例子。
在图7的例子中，"80x80"、 "60x60"、 "50x50"、 "40><40"、 "28 x28"和"20x20"被显示为面部检测尺寸，这些尺寸是可由面部检测器 18处理的图像尺寸。
作为缩小为1/4的图像的面部检测尺寸，显示出"160x 160"、 "120 xl20，，、 "100x 100"、 "80x80"、 "56x56"和"40x40"。
作为没有被缩小的剪切图像的面部检测尺寸，显示出"80x80"、 "60 x60，'、 "50x50"、 "40x40，，、 "28x28"和"20 x20，，。
在图7的例子中，进行如下操作，以便当在被分割和被缩小的图像中 或简单剪切的图像中检测面部时，先前执行面部检测的面部尺寸与下次执 行面部检测的面部尺寸不一致。
<1>:在缩小为1/4的图像中的最大尺寸面部("160xl60")和最小 尺寸面部("40 x 40")之间进行检测。
<2>:仅检测比在上述<1>过程中可检测的最小尺寸面部还小的面部 ("28x28"和"20x20'，)。
<3>: "40x40"尺寸以及更大尺寸的面部已由面部检测器18在上述<1>过程中被检测出来，因此在这次检测过程中忽略这些面部。
在图7的例子中进行4个部分的分割；然而，当按照像素数目之间的 比率，原始图像的像素数目是可由面部检测器18处理的像素数目的16 倍时，这样做U够的分割为l部分，然后在4部分分割中仅检测在1 部分分割中无法检测的小尺寸面部，并更进一步地在16部分分割中仅检 测在4部分分割中无法检测的小尺寸面部。
顺便提及，不必说，已检测的面部尺寸是任意的，而与被分割图像等 无关。
<第三方法检测图#^象>
不必说，可以用失真校正后的整个图像作为对象来执行上述面部检测 方法，且可以用不是由广角摄像获得的图像，即未失真图像作为对象来执 行上述面部检测方法，而且类似的方法可以用不是由广角摄像获得的输出 图像，即没有失真的摄像4Hf下的输出图像作为对象。
接下来参考图8到图ll说明一种缩短已检测到的面部的检测时间的 方法。
<第四方法针对检测到的面部缩短检测时间的方法>
图8是有助于i兌明针对已检测的面部缩短检测时间的方法的图。
图9是示出进行分割并检测面部，然后针对已检测的面部在面部区域 中重复进行面部检测的例子的图。
图10是示出进行分割并检测面部，然后在针对已检测的面部在面部 区域中进行面部检测的同时，在后台检测分割后面部的例子的图。
图ll是示出当检测到特定面部时，根据原始图像中过去面部的位置 和尺寸估计运动量，并移动检测位置且放大或缩少原始图像中的检测区域 的例子的图。
通常，可以由面部检测器18检测的全部面部尺寸的检测经常比由摄 像元件12执行摄像的帧速率慢，并且除非摄取图像的被摄对象或人如在 静止图像等的情况下一样没有发生移动，否则重复使用这种慢的检测进行 面部检测是不实用的。
因此，本实施例通过一，测到面部，就仅在该面部的周围图像区域 进行面部检测来缩短检测时间。具体地说，基于已经进行了面部检测的原始图像中的位置和面部尺 寸，按照为被检测面部尺寸预先设定的比率确定出检测区域，并且仅检测 (多个)已预先设定的要检测的面部尺寸。此后，重复该过程(下文称为 特定面部检测)。
从而，可以使得检测时间明显少于上述检测可以由面部检测器检测的 全部面部尺寸的方法的检测时间，并且即使在执行摄像的被摄对象或人正 在移动的情况下，当执行摄像的被摄对象或人正在以某一移动速度移动 时，可以在跟上执行摄像的被摄对象或人的同时检测到面部。
图8示出其例子。
在图8的例子中，假设在对原始图像中全部尺寸的面部进行检测时检 测到了面部。
在这种情况下，检测特定面部的区域按照针对已检测面部尺寸预先设 定的比率放大，并且确定在原始图像中的剪切区域和缩小比率。
然后，仅检测针对已检测面部尺寸预先设定的面部尺寸的面部。
在图8的例子中，仅有面部尺寸"50x50"、 "40x40"和"28 x 28" 的面部,皮检测。
顺<更提及，在面部被检测出的时刻，如图9所示，可以停止上述第一、 第二和/或第三个检测可由面部检测器18检测的全部面部尺寸的方法，或 如图10所示，可以以时分方式，用第一、第二和/或第三方法在后台继续 进行检测。
另外，在检测特定面部时刻的面部数目是任意的。
另外，如图ll所示，在检测到特定面部时，根据原始图像中过去的 面部的位置和尺寸估计出运动量，并可以进行检测位置的移动和原始图像 中检测区域的放大或缩小。
顺便提及，不必说，当估计结果超过原始图像区域时，当然将检测区 域调整到原始图像的边缘。另外，此时可采用用于估计移动量的任意算法。
接下来将参考图12说明一种通过运动检测缩短上述第一、第二和第 三方法的检测时间的方法。
<第五方法通过运动检测缩短检测时间的方法>
图12是有助于说明通过运动检测缩短检测时间的方法的图。
17事实上，在通过上述第一、第二和第三方法进行的面部检测中，通过 检测运动并将面部检测限制到运动发生的区域中，限制了用于检测面部的 区域和分割的数目，因此可更快地检测面部。
顺便提及，此时，运动检测可由软件和硬件中的任一个来实现，并且 运动检测的算法、电路结构等可以是任意一种。
另夕卜，在这种方法中，运动检测结果(运动矢量等)不用于面部检测。
在这种情况下，以运动检测器为例。
首先，由运动检测器检测原始图像中的运动。
此时，当发生运动时，利用第一、第二和/或第三方法仅检测在已发 生运动的区域中的面部。
由此，在第一、第二和/或第三方法中并不在全部已分割区域中检测 面部。因此可大大地缩短检测时间，并在被摄对象移动之后立即快速地从 大尺寸面部到小尺寸面部进行面部检测。
图12示出其例子。
在图12的例子中，在原始图像IMNC中检测运动，例如，用正方框 FLM包围已发生运动的区域，并且仅对该区域中的面部进行检测。
在这种情况下，在分割用于面部检测的区域之后可以进行面部检测。
顺便提及，不必说，利用这种方法检测到面部之后，可以执行上述第 四方法。
<第五方法的检测图^^"象>
不必说，可以用失真校正后的整个图像作为对象来执行第五方法，且 可以用不是由广角摄像获得的图像，即未失真图像作为对象来执行笫五方 法，而且可以用不是由广角摄像获得的输出图像，即未失真的摄像*下 的输出图4象作为对象来4吏用类似的方法。
如上所述，根据本实施例，微型计算机(控制部分)19执行控制， 以便在失真校正之前或失真校正之后分割整个图像区域(4/9/16/25/36部 分分割)，并且以时分方式将每一个分割后的图像提供给面部检测器18。 所以，可在面部检测器18的可检测的范围中检测从检测最大尺寸面部到 最小尺寸面部的全部面部。 说，可在摄取的图像中对可由面部检测器检测的从最小面部尺寸到最大面部尺寸的全部面部进行检测，并检测小尺寸面部。
由此，可进行独立于面部尺寸的最佳膝光控制(AE和逆光校正)， 并且改善群体照片等的图片质量。
另外，可加快面部检测的速度，并且改善面部检测的实时性。
另外，可大大地增加广角摄像中的面部检测范围，使用"广角摄像+ 面部检测"大大地改善了实用性和适销性，这种使用大大地扩大了监测照 相机、DSC等的应用。
另外，一^S^测到面部，可以很快地检测到特定面部，从而提高了实 时性。甚至在作为被摄对象的人移动时，或甚至执行摄像的人移动时，可 对面部检测器18可检测范围内从最大尺寸面部到最小尺寸面部的全部面 部进行检测，增加了面部检测速度，并改善面部检测的实时性。
另外，因为一，测到面部就可以4艮快地检测到特定面部，所以当面 部继之以电子平转、俯仰或变焦后进行失真校正时，仍可进行显示。
应当注意，本发明的基本意图是不但用于能够进行广角摄像的照相 机，还用于通用照相机(诸如普通的DSC、监测照相机等)，而无论其是 否具有光学变焦、固定焦距等。
上述面部检测功能也适用于不是由广角摄像获得的图像，就是说，未 失真的图像。
另外，上述面部检测功能也适用于不是由广角输出摄4象获得的输出图 像，就是说，在未失真摄像M下的输出图像。
当上述技术用于这种情况时，可实现这样的照相机它能够从由成4象 传感器摄取的整个图像区域中检测面部并且还能够从输出图像(在进行缩 小处理等后)中检测面部。
顺便提及，上述详细说明的方法还可形成一种对应于上述过程的程 序，并用来由例如CPU (中央处理单元)等计算机执行。
另外，这种程序可用来记录在例如半导体存储器、磁盘、光盘、Floppy (注册商标)软盘等的记录介质上，并由其中设置了该记录介质的计算机 进行存取和执行。
本领域的技术人员应当理解，取决于设计要求及其它因素，可以进行 各种变型、合并、子合并以及改动，只要它们在所附权利要求书的范围及 其等同内容之内
权利要求
1. 一种图像处理设备，包括面部检测器，用来基于检测信息，从给定的图像中检测面部；以及处理单元，用来设置所述面部检测器的检测信息，至少接收失真校正前的图像和失真校正后的图像中的失真校正前的输入图像，分割所述输入图像的整个图像区域，并以时分方式将每一个分割的图像提供给所述面部检测器，所述面部检测器在可检测范围中的整个图像中从最大尺寸面部到最小尺寸面部进行面部检测。
2. 根据权利要求1所述的图像处理设备，其中，所述处理单元分割 所述整个图像区域，以便在分割边界线上具有图像交叠区域。
3. 根据权利要求1所述的图像处理设备，其中，所述处理单元在所 述面部检测器中设置包括面部尺寸的所述检测信息，从而防止检测的面部 尺寸在被分割和被缩小的图像之间彼此一致。
4. 根据权利要求1所述的图像处理设备，其中，所述处理单元基于 由所述面部检测器获得的面部检测结果信息来针对检测的面部进行控制， 以<更只检测面部的周围图1象区域。
5. 根据权利要求4所述的图像处理设备，其中，所述处理单元具有 这样的功能将用于检测面部的区域设置到与所述面部尺寸成比例的范 围。
6. 根据权利要求4所述的图像处理设备，其中，所述处理单元具有 这样的功能将用于所述面部检测器检测面部的区域设置到考虑了根据过 去面部位置关系估计的运动量的范围。
7. 根据权利要求1所述的图像处理设备，其中，所述处理单元控制 所述面部检测器来检测整个图像区域中的运动，并仅以发生了运动的区域 作为对象来检测面部。
8. 根据权利要求3所述的图像处理设备，其中，所述处理单元控制 所述面部检测器来检测整个图像区域中的运动，并仅以发生了运动的区域 作为对象来检测面部。
9. 根据权利要求4所述的图像处理设备，其中，所述处理单元控制所述面部检测器来检测整个图像区域中的运动，并仅以发生了运动的区域 作为对象来检测面部。
10. —种照相机i殳备，包括 摄像元件；光学系统，用于在所述摄像元件上形成被摄对象的图像；以及图像处理设备，能够使用失真校正M对由所述摄像元件通过广角镜 头摄取的原始图像进行失真校正，其中，所述图像处理设备包括面部检测器，用来基于检测信息，从给定的图像中检测面部，以及处理单元，用来设置所述面部检测器的检测信息，至少接收失真 校正前的图像和失真校正后的图像中的失真校正前的输入图像，分割所述 输入图像的整个图像区域，并以时分方式将每一个分割的图像提供给所述 面部检测器，以及所述面部检测器在可检测范围中的整个图像中从最大尺寸面部 到最小尺寸面部进行面部检测。
11. 根据权利要求10所述的照相机设备，其中，所述处理单元分割 所述整个图像区域，以便在分割边界线上具有图像交叠区域。
12. 根据权利要求10所述的照相机设备，其中，所述处理单元在所 述面部检测器中设置包括面部尺寸的所述检测信息，从而防止检测的面部 尺寸在被分割和被缩小的图像之间彼此一致。
13. 根据权利要求10所述的照相机设备，其中，所述处理单元基于 由所述面部检测器获得的面部检测结果信息来针对检测的面部进行控制， 以l更只检测面部的周围图^象区域。
14. 根据权利要求13所述的照相机设备，其中，所述处理单元具有 这样的功能将用于检测面部的区域设置到与面部尺寸成比例的范围。
15. 根据权利要求13所述的照相机设备，其中，所述处理单元具有 这样的功能将用于所述面部检测器检测面部的区域设置到考虑了根据过 去面部位置关系估计的运动量的范围。
16. 根据权利要求10所述的照相机设备，其中，所述处理单元控制所述面部检测器来检测整个图像区域中的运动，并仅以发生了运动的区域 作为对象来检测面部。
17. 根据权利要求12所述的照相机设备，其中，所述处理单元控制 所述面部检测器来检测整个图像区域中的运动，并仅以发生了运动的区域 作为对象来检测面部。
18. 根据权利要求13所述的照相机设备，其中，所述处理单元控制 所述面部检测器来检测整个图像区域中的运动，并仅以发生了运动的区域 作为对象来检测面部。
19. 一种用于基于设置在面部检测器中的检测信息从给定的图像中 检测面部的图像处理方法，所述图像处理方法包括步骤设置所述检测信息；至少分割失真校正前和失真校正后的图像中的失真校正前的整个图 4象区域；以及以时分方式，将每一个分割的图傳炎供给所述面部检测器，所述面部检测器在可检测范围中的整个图像中从最大尺寸面部到最 小尺寸面部进行面部检测。
20. —种用于使计算机进行图像处理的程序，所述图像处理用于基于 设置在面部检测器中的检测信息从给定的图像中检测面部，所述图像处理 包括步骤i殳置所述检测信息；至少分割失真校正前和失真校正后的图像中的失真校正前的整个图 4象区域；以及以时分方式，将每一个分割的图像提供给所述面部检测器，所述面部检测器在可检测范围中的整个图像中从最大尺寸面部到最 小尺寸面部进行面部检测。
全文摘要
这里公开了一种图像处理设备、照相机设备、图像处理方法和程序。所述图像处理设备包括面部检测器，用来基于检测信息从给定图像中检测面部；以及处理单元，用来设置面部检测器的检测信息，至少接收失真校正前的图像和失真校正后的图像中的失真校正前的输入图像，分割所述输入图像的整个图像区域，并以时分方式将每一个分割的图像提供给所述面部检测器，所述面部检测器在可检测范围中的整个图像中从最大尺寸面部到最小尺寸面部进行面部检测。
文档编号H04N5/225GK101510956SQ200910005350
公开日2009年8月19日 申请日期2009年2月12日 优先权日2008年2月15日
发明者依田光二 申请人:索尼株式会社
技术领域：
本发明涉及一种图像处理设备，该设备从摄取的图像中检测面部并具 有校正图像失真的功能，本发明还涉及一种照相机设备、图像处理方法和 程序。
背景纟支术
包括从由摄4象元件(成像传感器):^聂取的图4象中检测#皮才聂对象面部的 面部检测器的照相机设备已经获得实际应用。
当图^^L提供给面部检测器时，这种照相机设备通常使用通过缩小由 成像传感器摄取的图像而获得的图像。
另外，在面部检测器中进行面部检测通常比由成像传感器进行摄像的 帧速率慢，而且来自面部检测器的检测结果是在实际(实时)摄取的图像 之前几帧的^J^迟的信息。
发明内容
当图^^皮提供给面部检测器时，上述技术通常使用通过缩小由成像传 感器摄取的图像而获得的图像。然而，例如，在使用广角镜头以广角摄取 图像的情况下，摄取到小尺寸的被摄对象图像，且自然地摄取到小尺寸的 面部图像。
因此，当由广角摄像获得的整个图像区域被缩小并被提供给面部检测 器时，存在的缺点是只能检测距照相机设备相当近的范围内的面部。
例如，当被摄对象对于摄像而言具有很宽的宽度(比如采用普通数字静止图片照相机(DSC )等获得一,体图片等的情况)时，由于镜头视 角窄，到被摄对象的距离自然要远(分开)。此时，不能检测相似地作为 被摄对象的面部。
在上述情况下，可以考虑放大图像以将其提供给面部检测器。然而， 这样需要增大用于面部检测的图像存储器的容量，导致成本增加。
另外，此时，用于搜索面部的时间随着对应于用于面部检测的图傳存 储器的容量增加而按指数规律地增加，因此导致检测时间增加。
另夕卜，可以考虑改变面部检测器的最小检测面部尺寸，以检测更小的 面部。
然而，通常存在检测小尺寸面部的限制，因此经常无法检测出小尺寸 面部。
另夕卜，如上所述，在面部检测器中进行面部检测通常比由成像传感器 进行摄像的帧速率慢，且来自面部检测器的检测结果是在实际(实时)摄 取的图像之前几帧的被延迟的信息。
因此，当作为被摄对象的AiE在运动时，或者当进行摄像的人正在运 动时，不能正确执行使用面部检测结果的曝光控制(AE (自动曝光)、逆 光校正等)，以致产生这样的缺点主a供静止图像使用。
也可以考虑实现多个面部检测器来缩短面部检测时间，但增加了系统 成本。
希望提供一种图像处理设备、照相机设备、图像处理方法以及程序， 它们能够对面部检测器可检测到的全部面部尺寸进行面部检测而不会增 加成本，能够不依赖于面部尺寸进行曝光控制，并且于是能够改善图像质 量。
根据本发明第一实施例，提供一种图像处理设备，包括面部检测器， 用来基于检测信息，*定的图像中检测面部；以及处理单元，用来设置 所述面部检测器的检测信息，至少接收失真校正前的图像和失真校正后的 图像中的失真校正前的输入图像，分割所述输入图像的整个图像区域，并 以时分方式将每一个分割的图像提供给所述面部检测器，所述面部检测器 在可检测范围中的整个图像中从最大尺寸面部到最小尺寸面部进行面部 检测。
优选地，处理单元分割整个图像区域，以便在分割边界线上具有图像交叠区域
优选地，处理单元在面部检测器中设置包括面部尺寸的检测信息，从 而防止检测的面部尺寸在被分割和被缩小的图像之间彼此一致。
优选地，处理单元基于由面部检测器获得的面部检测结果信息来针对 检测的面部进行控制，以便只检测面部的周围图像区域。
优选地，处理单元具有这样的功能将用于检测面部的区域设置到与 所述面部尺寸成比例的范围。
优选地，处理单元具有这样的功能将用于面部检测器检测面部的区 域设置到考虑了根据过去面部位置关系估计的运动量的范围。
优选地，处理单元控制面部检测器来检测整个图像区域中的运动，并 仅以发生了运动的区域作为对象来检测面部。
根据本发明第二实施例，提供一种照相机设备，包括摄像元件；光 学系统，用于在摄像元件上形成被摄对象的图像；以及图像处理设备，能 够使用失真校正参数对由摄像元件通过广角镜头摄取的原始图像进行失 真校正，其中，图像处理设备包括面部检测器，用来基于检测信息，从给 定的图像中检测面部，以及处理单元，用来设置面部检测器的检测信息， 至少接收失真校正前的图像和失真校正后的图像中的失真校正前的输入 图像，分割输入图像的整个图像区域，并以时分方式将每一个分割的图像 提供给面部检测器，以及面部检测器在可检测范围中的整个图像中从最大 尺寸面部到最小尺寸面部进行面部检测。
根据本发明第三实施例，提供一种用于基于设置在面部检测器中的检 测信息从给定的图像中检测面部的图像处理方法，图像处理方法包括步 骤设置检测信息；至少分割失真校正前和失真校正后的图像中的失真校 正前的整个图像区域；以及以时分方式将每一个分割的图像提供给面部检 测器，面部检测器在可检测范围中的整个图像中从最大尺寸面部到最小尺 寸面部进行面部检测。
根据本发明的第四实施例，提供一种用于使计算机进行图像处理的程 序，图像处理用于基于设置在面部检测器中的检测信息从给定的图像中检 测面部，图像处理包括设置检测信息的步骤；至少分割失真校正前和失 真校正后的图像中的失真校正前的整个图像区域的步骤；以及以时分方式 将每一个分割的图像提供给面部检测器的步骤;面部检测器在可检测范围 中的整个图像中从最大尺寸面部到最小尺寸面部进行面部检测。根据本发明，处理单元在面部检测器中设置检测信息。然后，处理单 元例如在失真校正前分割整个图像区域，并且以时分方式将每一个分割后 的图像提供给面部检测器。
然后，面部检测器在可检测范围中的整个图像中从最大尺寸面部到最 小尺寸面部进行面部检测。
根据本发明，面部检测有可能在不导致成本增加的情况下覆盖可由面 部检测器检测的全部面部尺寸。
因为可以检测到小尺寸面部，有可能不依赖面部尺寸而进行曝光控 制，因此实现了图1象质量的改善。
图1是示出采用根据本发明实施例的图像处理设备的照相机设备的
结构的例子的框图2是示意性示出面部检测中的图像和控制流程的图3是示出设置由微型计算#测的检测区域和面部尺寸的例子的
图4是示出以标准视角摄取的图像以及以广角摄取的图像的例子的
图5是示出当进行面部检测时以标准视角摄取的图像以及以广角摄 取的图像的例子的图6是有助于说明检测从最大尺寸面部到最小尺寸面部的全部面部 的方法的图7是有助于说明在检测覆盖全部像素大小的面部的方法中缩短检 测时间的方法的图8是有助于说明针对已检测的面部缩短检测时间的方法的图9是示出进行分割并检测面部，然后针对已检测的面部在面部区域 中重复进行面部检测的例子的图10是示出进行分割并检测面部，然后在针对已检测的面部在面部 区域中进行面部检测的同时，在后台检测分割后面部的例子的图ll是示出当检测到特定面部时，根据原始图像中过去面部的位置和尺寸估计运动量，并移动检测位置且放大或缩少原始图像中的检测区域
的例子的图；以及
图12是有助于说明通过运动检测缩短检测时间的方法的图。
具体实施例方式
下文中将参考
本发明的优选实施例。
图1是示出釆用根据本发明实施例的图像处理设备的照相机设备的 结构的例子的框图。
如图l所示，根据本实施例的照相机设备10包括光学系统11、摄像 元件(成像传感器)12、照相机信号处理部分13、失真校正电路14、输 出处理部分15、开关16、缩小电路和图^^"储器17、面部检测器18以 及作为控制部分的微型计算机(micon) 19。
在这些组成元件中，开关16、缩小电路和图像存储器17以及微型计 算机19形成图像处理设备的处理单元。
附带地，在本实施例中，镜头失真像差的失真校正参数将被简称为失 真校正械。
根据本实施例的照相机设备10具有基于由广角镜头摄取的图^^面 部检测器18中检测面部的控制功能(算法)。照相机设备10在失真校正 之前对摄取的图像进行分割并以时分方式控制面部检测器18,此后基于 检测出的面部在失真校正之前剪切图像并控制面部检测器18。
另外，照相机设备10具有这样的功能以检测出运动的区域作为对 象进行上述面部检测。
另外，照相机设备10具有这样的功能当从失真校正前的摄取的图 像中检测面部时，之后在某些情况下对失真校正后的图像进行面部检测。
具有这些功能的照相机设备10被配置为这样的照相机其能够从通 过广角镜头摄取的图像的失真校正前的整个图像区域中检测面部，并且也 能够从失真校正后的闺像中检测面部。
根据本实施例的照相机设备10具有这样的功能进行电子剪切(平 转、俯仰和变焦)、合成等，同时通过使用失真校正参数来对通过广角摄 像获得的图像的失真进行校正。此时，微型计算机19可以具有预先存储在存储器(诸如内置ROM (只读存储器)/RAM (随M取存储器)等)中的失真校正参数，可以 通过孩t型计算机19的操作获得失真校正参数，或者可以用来从照相机i殳 备10通过传输线连接到的主机(未示出)通过外部通信接收失真校正参 数。
光学系统11例如包括由超广角镜头形成的广角镜头lll，并经过广角 镜头111在摄像元件12的摄像表面上形成被摄对象图像。
摄像元件12例如由成像传感器形成，它是一种CCD(电荷耦合器件) 或CMOS (互补金属氧化物半导体)器件。
摄像元件12通过以矩阵形式设置在半导体基底上的光学传感器检测 经过光学系统11的被摄对象图像，产生信号电荷，通过垂直信号线和水 平信号线读取信号电荷，然后将被摄对象的数字图像信息输出到照相机信 号处理部分13。
照相机信号处理部分13对数字图傳_信号进行颜色插值、白平衡、 YCbCr转换处理、压缩、存档等，然后将数字图像信号作为没有失真校 正的图像(下文中简称原始图像)IMNC输出到失真校正电路14并经由 开关16输出到缩小电路和图^^储器17。
失真校正电路14通过失真校正^对来自照相机信号处理部分13 的原始图像IMNC进行失真校正，然后将结果输出到输出处理部分15。
输出处理部分15对通iM"原始图像IMNC进行失真校正、剪切、合 成等而获得的图像数据进行伽马处理、屏蔽处理、格式转换等，其中,该 图像数据是从失真校正电路14输出的。输出处理部分15将结果输出到外 部，并且还将结果作为校正后的图像IMAC输出到开关16。
开关16具有连接到照相积i信号处理部分13的输出部分的触点a、连 接到输出处理部分15的输出部分的触点c以及连接到缩小电路和图#^ 储器17的输入部分的触点b。
开关16在微型计算机19的控制下，通过照相机信号处理部分13将 原始图像(未进行失真校正的图像)或由输出处理部分15进行过失真校 正的图像输入到缩小电路和图#^储器17。
缩小电路和图像存储器17具有缩小电路171和图像存储器172。
缩小电路171在图像存储器172中存储由照相机信号处理部分13对原始图像(未失真校正的图像)中的整个区域或分割和剪切后的区域进行
缩小而获得的图像，或者存储由输出处理部分15进行失真校正后的图像, 而这种图像经由开关16以任意的缩小比率输入，或者存储经过分割并简 单剪切区域而获得的图像。
缩小电路171使用由微型计算机19设置的用于设置图像分割和剪切 区域的信息以及关于缩小比率的信息，分割失真校正前的原始图像IMNC 或失真校正后的图像IMAC的整个图像区域(4/9/16/25/36部分分割等)。 缩小电路171以时分方式将每一个分割的图像提供给面部检测器18。
顺便提及，此时，缩小后的图像尺寸可以由面部检测器18进行处理。
面部检测器18基于存储于图#^储器172内的图像，使用由微型计 算机19设置的关于要检测面部尺寸、区域等的信息检测面部。
顺便提及，面部检测器18可以由软件和硬件中的任一个来实现，且 面部检测器18的算法、电路结构等可以是公知的或现有的算法、电路结 构。
微型计算机19具有这样的功能将表示要进行失真校正的原始图像 的部分的失真校正参数提供给失真校正电路14,从而控制对原始图像的 失真校正。
另外，微型计算机19具有这样的功能控制开关16的选择，设置图 像中待分割和剪切的区域，并在缩小电路171中设置缩小比率，从而控制 图像分割和剪切处理以及缩小处理。
微型计算机19具有这样的功能设置面部检测器18中要检测的面部 尺寸、区域等，从而控制面部检测处理。微型计算机19获得位置、面部 尺寸等的检测的结果。
微型计算机19控制开关16、缩小电路和图傳存储器17以及面部检 测器18,以便通过分割失真校正前的或失真校正后的整个图像区域 (4/9/16/25/36部分分割等)并以时分方式将每一个分割的图像提供到面 部检测器18,来在失真校正前或失真校正后的全部图像中从最大尺寸面 部到最小尺寸面部(在面部检测器18的可检测范围内)对全部面部进行 检测。
微型计算机19执行控制，以便即使当分割边界线上存在面部时，也 可以通过进行分割时具有交叠区域来检测出面部。微型计算机19执行控制，以便能够通过设置面部检测器18使得在面 部检测器18中检测到的面部尺寸在被分割和被缩小图像之间彼此不一 致，来缩短检测时间。
微型计算机19具有这样的功能基于由面部检测器18获得的面部检 测结果信息执行控制，以便通过针对已检测的面部此后仅仅检测面部周围 图l象区域来缩短已检测的面部的检测时间。
在这种情况下，微型计算机19具有这样的功能将被检测区域设置 到与面部尺寸成比例的范围。
另外，微型计算机19具有这样的功能根据被检测区域内过去的面 部位置关系来估计运动量，并将被检测区域设置到考虑该运动量的某个范 围。
另外，微型计算机19具有这样的功能执行控制，以便通过检测失 真校正前或失真校正后的整个图像区域中的运动，并仅将发生了运动的区 域作为对象进行面部检测，来缩短检测时间。
顺便提及，在这种情况下，运动检测结果(运动矢量等)不用于面部 检测。
下面将更具体地说明根据本实施例的用于由广角摄像获得的图像的 面部检测功能、摄取的图像等。
首先参考图2和图3说明面部检测的概要(要点)。
<面部检测^&要>
图2是示意性示出面部检测中的图像和控制流程的图。图3是示出设 置由微型计算机险测的检测区域和面部尺寸的例子的图。
从照相机信号处理部分13输出的原始图像IMNC的像素数目通常大 于用于面部检测的图^^储器172的像素数目。
因此，为了^^、始图像IMNC的像素数目与用于面部检测的图^# 储器172的像素数目一致，缩小原始图像IMNC，并且将缩小后的图像 IMRD存储在用于面部检测的图^^储器中。
顺便提及， 一般而言，用于面部检测的图傳存储器172的像素数目经 常是固定的，与成像传感器12的像素数目或从照相机信号处理部分13 输出的原始图像IMNC的像素数目无关。
12同时，在由成像传感器12摄取的图像和从照 相机信号处理部分输出的原始图像IMNC之间，通过摄像获得的区域(视 角)本身并不存在差异，它们之间仅存在分辨率的差异，并且当图像^皮缩 小并存储在用于面部检测的图像存储器172中时，这种差异几乎变为零。
如图3所示，微型计算机19在面部检测器18中设置图#^储器172 的用于面部检测的检测区域DTA，要检测的面部尺寸SZ1到SZn等，然 后使面部检测器18开始检测。
顺便提及，此时，因为在很多情况下通常可以指定多个检测区域和面 部尺寸，面部检测器18允许连续地执行这些指定。
面部检测器18根据设定的检测区域DTA、要检测的面部尺寸SZ (1 到n)等，从用于面部检测的图#^储器172内的图<线行面部检测。在 完成检测之后，面部检测器18将用于面部检测的图像存储器172内的位 置以及面部检测后的面部尺寸信息输出到微型计算机19。
可选地，微型计算机19读取图像存储器172内的位置和面部尺寸信息。
顺便提及，如前所示，面部检测器18可由软件和硬件中任一个来实 现，并且面部检测器18的算法、电路结构等可以是公知的或现有的算法、 电路结构。
在这种情况下，面部检测器18仅作为示例示出，用于加深理解下文 所述的内容。
将参考图4和图5对以标准视角摄取的图像和以广角摄取的图像进行 说明。
<以标准视角摄取的图像和以广角摄取的图
图4是示出以标准视角摄取的图像以及以广角摄取的图像的例子的图。
图5是示出当进行面部检测时以标准视角摄取的图像以及以广角摄 取的图像的例子的图。
如图4所示，在以广角摄取的图像IMWA中，以小尺寸摄取被摄对 象OBJ的图像，并且自然以小尺寸摄取面部图像。
因此，即使具有相同的系统配置(原始图像尺寸、缩小电路的缩小比 率和面部检测器)，以标准视角摄取的图像IMSD中可检测的面部尺寸在广角摄像中是不可检测的。
图5示出执行面部检测时的例子。
顺便提及，在图5中，作为例子，当缩小电路171中的缩小比率(像 素数目的比率)是l/4时，不必说，实际的缩小比率由正在使用的原始图 像IMNC的像素数目和可以由面部检测器18处理的图像的像素数目之间 的比率来确定。
接下来参考图6，说明检测从最大尺寸面部到最小尺寸面部的全部面 部的方法。
<第一方法检测从最大尺寸面部到最小尺寸面部的全部面部的方法>
图6是有助于说明检测从最大尺寸面部到最小尺寸面部的全部面部 的方法的图。
原始图像IMNC的整个图像被分割(1/4/9/16/25部分分割等)(在图 6例子中为4部分分割)。缩小电路171将每一个分割图像IMD1到IMD4 缩小为可以由面部检测器18以时分方式进行处理的若干4象素，然后将该 结果提供给面部检测器18。因此，在原始图像IMNC的整个图像中检测 从检测最大尺寸面部到最小尺寸面部的全部面部。
即，原始图1象IMNC缩小到可以由面部检测器18处理的若干l象素， 这防止了当原始图像IMNC被分割和缩小时面部过度缩小并且因为过度 缩小而导致变形且无法检测到面部。另外，当剪切原始图像时，图像尺寸 可以按照原样被提供给面部检测器18。
因此，可真正地在原始图像IMNC的整个图像中覆盖从最大尺寸面 部到最小尺寸面部的全部面部。
顺便提及，由微型计算机19设置原始图像IMNC的分割数目、剪切 位置、用于将分割后图像IMD1到IMD4缩小为可以由面部检测器18处 理的若干像素的缩小比率等。
另外，微型计算机19获得通过分时处理执行的检测的结果，将全部 分割处理后的面部检测结果合并，并且当执行交叠区域OLPA中剪切位 置处对相同面部多次检测时，拒绝面部检测结果。
另外，在图6的例子中进行了4部分分割；然而，当按照像素数目之 间的比率，原始图像IMNC的像素数目是可以由面部检测器18检测的像 素数目的16倍时，其足够进行4部分分割，并且当希望检测甚至更小尺寸的面部时，类似地可以进行16部分分割。不必说，分割的数目和缩小 比率是任意的。
接下来，将参考图7说明检测从最大尺寸面部到最小尺寸面部的全部 面部的检测方法中缩短检测时间的方法。
<第二方法缩短检测时间的方法>
图7是有助于说明在检测覆盖全部像素大小的面部的方法中缩短检 测时间的方法的图。
首先，原始图^ME没有被分割的情况下缩小为可以由面部检测器18 处理的若干像素，并且检测出可以由面部检测器18检测的从最大面部尺 寸到最小面部尺寸的面部。
接下来，面部检测器18的设置受到控制，使得当在被分割和被缩小 的图像中或简单剪切的图像中检测面部时，先前执行面部检测的面部尺寸 与下次执行面部检测的面部尺寸不一致，也就是说，下一次仅检测出小尺 寸面部。因此，缩短了检测时间。
图7显示其例子。
在图7的例子中，"80x80"、 "60x60"、 "50x50"、 "40><40"、 "28 x28"和"20x20"被显示为面部检测尺寸，这些尺寸是可由面部检测器 18处理的图像尺寸。
作为缩小为1/4的图像的面部检测尺寸，显示出"160x 160"、 "120 xl20，，、 "100x 100"、 "80x80"、 "56x56"和"40x40"。
作为没有被缩小的剪切图像的面部检测尺寸，显示出"80x80"、 "60 x60，'、 "50x50"、 "40x40，，、 "28x28"和"20 x20，，。
在图7的例子中，进行如下操作，以便当在被分割和被缩小的图像中 或简单剪切的图像中检测面部时，先前执行面部检测的面部尺寸与下次执 行面部检测的面部尺寸不一致。
<1>:在缩小为1/4的图像中的最大尺寸面部("160xl60")和最小 尺寸面部("40 x 40")之间进行检测。
<2>:仅检测比在上述<1>过程中可检测的最小尺寸面部还小的面部 ("28x28"和"20x20'，)。
<3>: "40x40"尺寸以及更大尺寸的面部已由面部检测器18在上述<1>过程中被检测出来，因此在这次检测过程中忽略这些面部。
在图7的例子中进行4个部分的分割；然而，当按照像素数目之间的 比率，原始图像的像素数目是可由面部检测器18处理的像素数目的16 倍时，这样做U够的分割为l部分，然后在4部分分割中仅检测在1 部分分割中无法检测的小尺寸面部，并更进一步地在16部分分割中仅检 测在4部分分割中无法检测的小尺寸面部。
顺便提及，不必说，已检测的面部尺寸是任意的，而与被分割图像等 无关。
<第三方法检测图#^象>
不必说，可以用失真校正后的整个图像作为对象来执行上述面部检测 方法，且可以用不是由广角摄像获得的图像，即未失真图像作为对象来执 行上述面部检测方法，而且类似的方法可以用不是由广角摄像获得的输出 图像，即没有失真的摄像4Hf下的输出图像作为对象。
接下来参考图8到图ll说明一种缩短已检测到的面部的检测时间的 方法。
<第四方法针对检测到的面部缩短检测时间的方法>
图8是有助于i兌明针对已检测的面部缩短检测时间的方法的图。
图9是示出进行分割并检测面部，然后针对已检测的面部在面部区域 中重复进行面部检测的例子的图。
图10是示出进行分割并检测面部，然后在针对已检测的面部在面部 区域中进行面部检测的同时，在后台检测分割后面部的例子的图。
图ll是示出当检测到特定面部时，根据原始图像中过去面部的位置 和尺寸估计运动量，并移动检测位置且放大或缩少原始图像中的检测区域 的例子的图。
通常，可以由面部检测器18检测的全部面部尺寸的检测经常比由摄 像元件12执行摄像的帧速率慢，并且除非摄取图像的被摄对象或人如在 静止图像等的情况下一样没有发生移动，否则重复使用这种慢的检测进行 面部检测是不实用的。
因此，本实施例通过一，测到面部，就仅在该面部的周围图像区域 进行面部检测来缩短检测时间。具体地说，基于已经进行了面部检测的原始图像中的位置和面部尺 寸，按照为被检测面部尺寸预先设定的比率确定出检测区域，并且仅检测 (多个)已预先设定的要检测的面部尺寸。此后，重复该过程(下文称为 特定面部检测)。
从而，可以使得检测时间明显少于上述检测可以由面部检测器检测的 全部面部尺寸的方法的检测时间，并且即使在执行摄像的被摄对象或人正 在移动的情况下，当执行摄像的被摄对象或人正在以某一移动速度移动 时，可以在跟上执行摄像的被摄对象或人的同时检测到面部。
图8示出其例子。
在图8的例子中，假设在对原始图像中全部尺寸的面部进行检测时检 测到了面部。
在这种情况下，检测特定面部的区域按照针对已检测面部尺寸预先设 定的比率放大，并且确定在原始图像中的剪切区域和缩小比率。
然后，仅检测针对已检测面部尺寸预先设定的面部尺寸的面部。
在图8的例子中，仅有面部尺寸"50x50"、 "40x40"和"28 x 28" 的面部,皮检测。
顺<更提及，在面部被检测出的时刻，如图9所示，可以停止上述第一、 第二和/或第三个检测可由面部检测器18检测的全部面部尺寸的方法，或 如图10所示，可以以时分方式，用第一、第二和/或第三方法在后台继续 进行检测。
另外，在检测特定面部时刻的面部数目是任意的。
另外，如图ll所示，在检测到特定面部时，根据原始图像中过去的 面部的位置和尺寸估计出运动量，并可以进行检测位置的移动和原始图像 中检测区域的放大或缩小。
顺便提及，不必说，当估计结果超过原始图像区域时，当然将检测区 域调整到原始图像的边缘。另外，此时可采用用于估计移动量的任意算法。
接下来将参考图12说明一种通过运动检测缩短上述第一、第二和第 三方法的检测时间的方法。
<第五方法通过运动检测缩短检测时间的方法>
图12是有助于说明通过运动检测缩短检测时间的方法的图。
17事实上，在通过上述第一、第二和第三方法进行的面部检测中，通过 检测运动并将面部检测限制到运动发生的区域中，限制了用于检测面部的 区域和分割的数目，因此可更快地检测面部。
顺便提及，此时，运动检测可由软件和硬件中的任一个来实现，并且 运动检测的算法、电路结构等可以是任意一种。
另夕卜，在这种方法中，运动检测结果(运动矢量等)不用于面部检测。
在这种情况下，以运动检测器为例。
首先，由运动检测器检测原始图像中的运动。
此时，当发生运动时，利用第一、第二和/或第三方法仅检测在已发 生运动的区域中的面部。
由此，在第一、第二和/或第三方法中并不在全部已分割区域中检测 面部。因此可大大地缩短检测时间，并在被摄对象移动之后立即快速地从 大尺寸面部到小尺寸面部进行面部检测。
图12示出其例子。
在图12的例子中，在原始图像IMNC中检测运动，例如，用正方框 FLM包围已发生运动的区域，并且仅对该区域中的面部进行检测。
在这种情况下，在分割用于面部检测的区域之后可以进行面部检测。
顺便提及，不必说，利用这种方法检测到面部之后，可以执行上述第 四方法。
<第五方法的检测图^^"象>
不必说，可以用失真校正后的整个图像作为对象来执行第五方法，且 可以用不是由广角摄像获得的图像，即未失真图像作为对象来执行笫五方 法，而且可以用不是由广角摄像获得的输出图像，即未失真的摄像*下 的输出图4象作为对象来4吏用类似的方法。
如上所述，根据本实施例，微型计算机(控制部分)19执行控制， 以便在失真校正之前或失真校正之后分割整个图像区域(4/9/16/25/36部 分分割)，并且以时分方式将每一个分割后的图像提供给面部检测器18。 所以，可在面部检测器18的可检测的范围中检测从检测最大尺寸面部到 最小尺寸面部的全部面部。 说，可在摄取的图像中对可由面部检测器检测的从最小面部尺寸到最大面部尺寸的全部面部进行检测，并检测小尺寸面部。
由此，可进行独立于面部尺寸的最佳膝光控制(AE和逆光校正)， 并且改善群体照片等的图片质量。
另外，可加快面部检测的速度，并且改善面部检测的实时性。
另外，可大大地增加广角摄像中的面部检测范围，使用"广角摄像+ 面部检测"大大地改善了实用性和适销性，这种使用大大地扩大了监测照 相机、DSC等的应用。
另外，一^S^测到面部，可以很快地检测到特定面部，从而提高了实 时性。甚至在作为被摄对象的人移动时，或甚至执行摄像的人移动时，可 对面部检测器18可检测范围内从最大尺寸面部到最小尺寸面部的全部面 部进行检测，增加了面部检测速度，并改善面部检测的实时性。
另外，因为一，测到面部就可以4艮快地检测到特定面部，所以当面 部继之以电子平转、俯仰或变焦后进行失真校正时，仍可进行显示。
应当注意，本发明的基本意图是不但用于能够进行广角摄像的照相 机，还用于通用照相机(诸如普通的DSC、监测照相机等)，而无论其是 否具有光学变焦、固定焦距等。
上述面部检测功能也适用于不是由广角摄像获得的图像，就是说，未 失真的图像。
另外，上述面部检测功能也适用于不是由广角输出摄4象获得的输出图 像，就是说，在未失真摄像M下的输出图像。
当上述技术用于这种情况时，可实现这样的照相机它能够从由成4象 传感器摄取的整个图像区域中检测面部并且还能够从输出图像(在进行缩 小处理等后)中检测面部。
顺便提及，上述详细说明的方法还可形成一种对应于上述过程的程 序，并用来由例如CPU (中央处理单元)等计算机执行。
另外，这种程序可用来记录在例如半导体存储器、磁盘、光盘、Floppy (注册商标)软盘等的记录介质上，并由其中设置了该记录介质的计算机 进行存取和执行。
本领域的技术人员应当理解，取决于设计要求及其它因素，可以进行 各种变型、合并、子合并以及改动，只要它们在所附权利要求书的范围及 其等同内容之内
权利要求
1. 一种图像处理设备，包括面部检测器，用来基于检测信息，从给定的图像中检测面部；以及处理单元，用来设置所述面部检测器的检测信息，至少接收失真校正前的图像和失真校正后的图像中的失真校正前的输入图像，分割所述输入图像的整个图像区域，并以时分方式将每一个分割的图像提供给所述面部检测器，所述面部检测器在可检测范围中的整个图像中从最大尺寸面部到最小尺寸面部进行面部检测。
2. 根据权利要求1所述的图像处理设备，其中，所述处理单元分割 所述整个图像区域，以便在分割边界线上具有图像交叠区域。
3. 根据权利要求1所述的图像处理设备，其中，所述处理单元在所 述面部检测器中设置包括面部尺寸的所述检测信息，从而防止检测的面部 尺寸在被分割和被缩小的图像之间彼此一致。
4. 根据权利要求1所述的图像处理设备，其中，所述处理单元基于 由所述面部检测器获得的面部检测结果信息来针对检测的面部进行控制， 以<更只检测面部的周围图1象区域。
5. 根据权利要求4所述的图像处理设备，其中，所述处理单元具有 这样的功能将用于检测面部的区域设置到与所述面部尺寸成比例的范 围。
6. 根据权利要求4所述的图像处理设备，其中，所述处理单元具有 这样的功能将用于所述面部检测器检测面部的区域设置到考虑了根据过 去面部位置关系估计的运动量的范围。
7. 根据权利要求1所述的图像处理设备，其中，所述处理单元控制 所述面部检测器来检测整个图像区域中的运动，并仅以发生了运动的区域 作为对象来检测面部。
8. 根据权利要求3所述的图像处理设备，其中，所述处理单元控制 所述面部检测器来检测整个图像区域中的运动，并仅以发生了运动的区域 作为对象来检测面部。
9. 根据权利要求4所述的图像处理设备，其中，所述处理单元控制所述面部检测器来检测整个图像区域中的运动，并仅以发生了运动的区域 作为对象来检测面部。
10. —种照相机i殳备，包括 摄像元件；光学系统，用于在所述摄像元件上形成被摄对象的图像；以及图像处理设备，能够使用失真校正M对由所述摄像元件通过广角镜 头摄取的原始图像进行失真校正，其中，所述图像处理设备包括面部检测器，用来基于检测信息，从给定的图像中检测面部，以及处理单元，用来设置所述面部检测器的检测信息，至少接收失真 校正前的图像和失真校正后的图像中的失真校正前的输入图像，分割所述 输入图像的整个图像区域，并以时分方式将每一个分割的图像提供给所述 面部检测器，以及所述面部检测器在可检测范围中的整个图像中从最大尺寸面部 到最小尺寸面部进行面部检测。
11. 根据权利要求10所述的照相机设备，其中，所述处理单元分割 所述整个图像区域，以便在分割边界线上具有图像交叠区域。
12. 根据权利要求10所述的照相机设备，其中，所述处理单元在所 述面部检测器中设置包括面部尺寸的所述检测信息，从而防止检测的面部 尺寸在被分割和被缩小的图像之间彼此一致。
13. 根据权利要求10所述的照相机设备，其中，所述处理单元基于 由所述面部检测器获得的面部检测结果信息来针对检测的面部进行控制， 以l更只检测面部的周围图^象区域。
14. 根据权利要求13所述的照相机设备，其中，所述处理单元具有 这样的功能将用于检测面部的区域设置到与面部尺寸成比例的范围。
15. 根据权利要求13所述的照相机设备，其中，所述处理单元具有 这样的功能将用于所述面部检测器检测面部的区域设置到考虑了根据过 去面部位置关系估计的运动量的范围。
16. 根据权利要求10所述的照相机设备，其中，所述处理单元控制所述面部检测器来检测整个图像区域中的运动，并仅以发生了运动的区域 作为对象来检测面部。
17. 根据权利要求12所述的照相机设备，其中，所述处理单元控制 所述面部检测器来检测整个图像区域中的运动，并仅以发生了运动的区域 作为对象来检测面部。
18. 根据权利要求13所述的照相机设备，其中，所述处理单元控制 所述面部检测器来检测整个图像区域中的运动，并仅以发生了运动的区域 作为对象来检测面部。
19. 一种用于基于设置在面部检测器中的检测信息从给定的图像中 检测面部的图像处理方法，所述图像处理方法包括步骤设置所述检测信息；至少分割失真校正前和失真校正后的图像中的失真校正前的整个图 4象区域；以及以时分方式，将每一个分割的图傳炎供给所述面部检测器，所述面部检测器在可检测范围中的整个图像中从最大尺寸面部到最 小尺寸面部进行面部检测。
20. —种用于使计算机进行图像处理的程序，所述图像处理用于基于 设置在面部检测器中的检测信息从给定的图像中检测面部，所述图像处理 包括步骤i殳置所述检测信息；至少分割失真校正前和失真校正后的图像中的失真校正前的整个图 4象区域；以及以时分方式，将每一个分割的图像提供给所述面部检测器，所述面部检测器在可检测范围中的整个图像中从最大尺寸面部到最 小尺寸面部进行面部检测。
全文摘要
这里公开了一种图像处理设备、照相机设备、图像处理方法和程序。所述图像处理设备包括面部检测器，用来基于检测信息从给定图像中检测面部；以及处理单元，用来设置面部检测器的检测信息，至少接收失真校正前的图像和失真校正后的图像中的失真校正前的输入图像，分割所述输入图像的整个图像区域，并以时分方式将每一个分割的图像提供给所述面部检测器，所述面部检测器在可检测范围中的整个图像中从最大尺寸面部到最小尺寸面部进行面部检测。
文档编号H04N5/225GK101510956SQ200910005350
公开日2009年8月19日 申请日期2009年2月12日 优先权日2008年2月15日
发明者依田光二 申请人:索尼株式会社
最新回复(0)