对象图像检测装置、其控制方法、程序及电子设备的制作方法
专利名称：对象图像检测装置、其控制方法、程序及电子设备的制作方法
技术领域：
本发明涉及从源图像中检测对象图像的对象图像检测装置、其控制方法、 控制程序及记录了该程序的记录介质、以及包括对象图像检测装置的电子设备。
背景技术：
过去，在拍摄设备以及显示装置等中，为了提供容易使用的用户界面，或自动获得最佳的图像，自动识别拍摄对象或显示对象的需求(needs )在提 高。作为这样的需求的一个例子，可列举检测人的面部，并调整以成为最适 合检测的面部的焦距(focus)以及曝光的功能，或识别字符，并将识别的字 符的区域设为OCR ( Optical Character Recognition )的对象的功能。一般，为了实现这样的功能，需要高度的图像处理，需要极大的计算量。 此外，由于上述功能一般要求实时性，因此需要高速的处理。因此，在数字 照相机、便携式通信终端等那样的处理能力、消耗功率以及成本受到制约的 组装设备中实现上述功能，大多比较困难。对于该问题点，提出了将处理高速化的各种方法。例如，在专利文献1 记载的图像处理装置中，按照分辨率依次阶段性地变化的顺序对缩小图像依 次进行模板匹配(template matching),检测拍摄了特定的被摄体的区域，并 在检测后中断处理，从而实现处理的高速化。此外，在专利文献2记载的面 部一企测方法中，从较大的面部开始顺序4佥测，若片全测出面部，则在此之后从 检测对象区域中除去已检测出面部的区域后继续进行检测。由此，能够在每 当检测面部时缩小检测对象区域，因此能够使处理高速化。专利文献l:(日本)特开2007-135115号公报(2007年5月31日公开) 专利文献2:(日本)特开2006-301847号公报(2006年11月2日公开) 专利文献1的图像处理装置是用于追踪特定的被摄体的移动的装置。因 此，在检测拍摄了不特定且数量未定的被摄体的区域的处理中，难以在检测 之后中断处理，难以实现处理的高速化。此外，在专利文献2的面部检测方法中，由于从较大的面部开始到较小的面部顺序重复对于检测对象区域的面 部的检测，因此处理中依然花费时间。
发明内容
本发明鉴于上述的问题点而完成，其目的在于提供一种能够迅速地输出 检测结果的对象图像检测装置等。
本发明的对象图像检测装置从源图像中检测出对象图像，为了解决上述
课题，其特征在于，包括取得部件，取得所述源图像；决定部件，从用于 检测出所述对象图像的多个检测条件中，决定为与上一次的检测条件不同的 检测条件；检测部件，对所述取得部件取得的源图像，以所述决定部件决定 的检测条件来检测出所述对象图像；以及输出部件，输出该检测部件检测出 的检测结果。
此外，本发明的对象图像检测装置的控制方法，从源图像中检测对象图 像，为了解决上述课题，其特征在于，所述控制方法包括取得步骤，取得 所述源图像；决定步骤，从用于检测出所述对象图像的多个检测条件中，决 定为与上一次的检测条件不同的检测条件；检测步骤，对所述取得步骤取得 的源图像，以所述决定步骤决定的检测条件来检测出所述对象图像；以及输 出步骤，输出在该检测步骤中检测出的检测结果。
这里，作为检测出的对象的例子，可列举人的面部、上半身以及全身、 球、车辆等，移动的物体或者其一部分。
根据上述结构以及方法，在取得源图像时，从用于检测出对象图像的多 个检测条件中，以与上一次的检测条件不同的检测条件，对取得的源图像检 测出对象图像，从而输出检测结果。从而，与对某一源图像，以用于4企测出 对象图像的多个检测条件分别检测出对象图像，且一并输出全部检测结果的 现有技术相比，虽然是对象图像的一部分检测结果，但能够在短时间内输出 该检测结果。其结果，其他装置(例如，控制显示的装置、控制拍摄的装置 等)能够迅速地利用所输出的检测结果。
在本发明的对象图像检测装置中，还可以包括结果历史存储单元，其 存储所述检测部件检测出的检测结果的历史，所述决定部件还基于所述结果 历史存储单元中的检测结果的历史，决定检测条件。或者，在本发明的对象 图像检测装置中，所述决定部件也可以从用于检测出所述对象图像的多个检测条件中，依次决定检测条件。
在依次决定的情况下，对于所有上述多个检测条件，能够与上述现有技 术同样地，输出对象图像的全部检测结果。进而，在源图像为活动图像中包 含的多个静止图像，在上述现有技术中某一静止图像的全部检测结果被输出 之前，后续又取得了静止图像的情况下，在本发明中，由于能够输出对于上 述后续的静止图像的检测结果，因此能够包含对于比以往更新的静止图像的 检测结果。
另一方面，在基于检测结果的历史决定检测条件时，例如可考虑对检测 出对象图像的可能性高的检测条件，将作为检测条件所决定的频度增加，而 另一方面，对检测出对象图像的可能性低的检测条件，将作为检测条件所决 定的频度减少等。从而，检测出对象图像的效率提高。
可是，由于检测对象是上述移动的物体等，因此在源图像为活动图像中 包含的多个静止图像时，对象图像的位置可能会随着时间的经过而从检测位 置偏离。
因此，在本发明的对象图像检测装置中，优选所述取得部件取得活动图
像中包含的多个静止图像作为所述源图像，所述对象图像检测装置还包括 追踪部件，将所述检测部件对所述取得部件取得的某一时刻的源图像检测的 所述对象图像，在所述时刻之后的时刻的源图像中进行追踪，所迷输出部件 还输出所述追踪部件追踪的追踪结果。
这时，追踪检测了一次的对象图像，从而输出追踪结果，因此能够避免 上述问题点。另外，追踪部件也可以基于追踪条件追踪对象图像。并且，上 述追踪条件也可以从上述检测条件中取得。
可是，在本发明中，以一部分检测条件来检测出对象图像，从而输出检 测结果，因此与在以所有的检测条件检测出对象图像后输出检测结果的现有 技术相比，存在检测结果的精度低的情况。
因此，在本发明的对象图像检测装置，优选还包括校正部件，基于所 述检测部件检测出的检测结果，校正所述追踪部件追踪的追踪结果，所述输 出部件输出所述校正部件校正的追踪结果，取代所述追踪部件追踪的追踪结 果。
这时，能够将其他检测条件下的检测结果反映到追踪结果中，因此能够 逐渐提高检测结果的精度。另外，上述校正部件也可以进一步基于检测结果的历史来进行4吏正。
另外，在包括了上述结构的对象图像检测装置的电子设备中，也能够起 到上述的作用效果。
并且，在上述电子设备中，也可以还包括显示单元，显示信息；以及 图像合成部件，将表示所述对象图像检测装置检测出的检测结果的图像合成 到所述源图像，从而显示在所述显示单元中。这时，虽然是一部分，但能够 迅速地开始显示用于表示检测结果的图像，并且能够在此之后逐个显示表示 剩余的检测结果的图像。其结果，与将表示所有的检测结果的图像一同显示 的现有技术相比，能够缩短用户等待对象图像的检测的时间。此外，由于逐 个显示表示检测结果的图像，因此能够给用户提供新的娱乐。并且，由于剩 余的检测结果是对于进行最初检测的源图像之后的源图像的检测结果，因此 能够抑制表示该检测结果的图像，和表示对于当前显示的源图像检测了对象 图像时的检测结果的图像之间的偏离。
另外，能够通过控制程序在计算机上执行上述对象图像检测装置中的各 个部件。并且，通过将上述控制程序存储在计算机可读取的记录介质中，从 而能够在任意的计算机上执行上述控制程序。
如上所述，本发明的对象图像检测装置在取得源图像时，从用于检测对 象图像的多个检测条件中，以与上一次的检测条件不同的检测条件，对取得 的源图像检测对象图像，从而输出检测结果，因此与现有技术相比，虽然是 对象图像的一部分检测结果，但能够在短时间内输出该检测结果，其结果， 起到其他的装置能够迅速地利用所输出的检测结果的效果。
图1是表示作为本发明一实施方式的数字照相机的概略结构的方框图。 图2 (a) ~图2 (e)是表示面部检测的检测条件的例子的图。 图3是表示上述数字照相机中的面部检测处理以及面部追踪处理的处理 动作的流程图。
图4 U) 图4 (b)是时序地表示上述数字照相机中所显示的合成图像 的例子和通过现有技术所显示的合成图像的比较例子的图。
图5是表示作为本发明的其他实施方式的数字照相机的概略结构的方框图6是表示上述数字照相机中的面部检测处理以及面部追踪处理的处理 动作的流程图。
图7 (a) 图7 (c)是用于说明对上述数字照相机中的面部追踪的追踪
结果进行校正的一例的图。 标号说明
10数字照相机(电子设备)
11摄像单元
12图像处理单元 13显示单元 14操作单元 15图像压缩单元 16图像记录单元
17图像合成单元(图像合成部件) 20控制单元(对象图像检测装置) 21存储单元
22图像取得单元(取得部件)
23、 30条件决定单元(决定部件)
24面部检测单元(检测部件)
25面部追踪单元(追踪部件)
26位置信息输出单元(输出部件)
27条件存储单元
28结果历史存储单元
31结果校正单元(校正部件)
具体实施方式
C实施方式1]
参照图1 图4说明本发明的一实施方式。图l表示作为本实施方式的数 字照相机的概略结构。如图所示，数字照相机(电子设备)10中，由摄像单 元11拍摄且在图像处理单元12中进行了图像处理的拍摄图像(源图像)被 显示在显示单元13作为活动视图(live view)图像。此外，数字照相机10 在用户按压操作单元14的快门按钮(未图示)时，在图像处理单元12中进行了图像处理的拍摄图像在图像压缩单元15中被图像压缩之后，存储到图像
记录单元16。
本实施方式的数字照相机10首先取得在图像处理单元12中图像处理后 的拍摄图像，并在用于检测面部图像(对象图像)的多个检测条件中，变更 为与上一次的检测条件不同的检测条件。接着，对于所取得的拍摄图像，以 变更后的检测条件来检测面部图像。然后，生成用于围绕检测出的面部图像 的区域的框图像，并将生成的框图像在图像合成单元(图像合成部件)17中 与上述拍摄图像进行合成，从而显示到显示单元13作为活动视像。
由此，与现有技术相比，虽然是面部图像的一部分检测结果，但是该检 测结果在短时间内被输出。其结果，能够利用所输出的检测结果，迅速地显 示框图像。此外，对于接着的拍摄图像，再以其他的检测条件来检测面部图 像，其他的检测结果在短时间内被输出。从而，在拍摄图像为活动图像时， 框图像的数量逐渐增加，因此框图像显示的样子比现有技术平滑。下面，说明本实施方式的数字照相机10的细节。如上所述，数字照相机 10包括摄像单元ll、图像处理单元12、显示单元13、操作单元14、图像 压缩单元15、图像记录单元16以及图像合成单元17。并且，如图1所示， 数字照相机10包括控制单元(对象图像检测装置)20以及存储单元21。
摄像单元11用于进行被摄体的拍摄，例如包括镜头组、光圈、拍摄元件 等光学系统和放大器、A/D变换器等电路系统。作为拍摄元件的例子，可列 举CCD、 CMOS (Complementary Metal-oxide Semiconductor)图#^专感器 (image sensor)等。摄像单元11通过上述拍摄而生成拍摄图像，并变换为 拍摄图像的数据从而发送到图像处理单元12。
图像处理单元12对来自摄像单元11的拍摄图像的数据，进行矩阵运算、 Y校正、白平衡的调整等图像处理。此外，图像处理单元12根据图像处理后 的拍摄图像的数据，生成显示用、记录用、以及面部检测用的拍摄图像的数 据，并分别发送到显示单元13、图像压缩单元15以及控制单元20。另外， 显示用和面部检测用的拍摄图像的数据可以相同。
图像合成单元17对来自图像处理单元12的拍摄图像，合成基于来自控 制单元20的指示的图像。图像合成单元17将合成的图像即合成图像的数据 发送到显示单元13。
在本实施方式中，图像合成单元17接收控制单元20检测的面部图像的位置信息，并基于接收到的位置信息，生成适当地围绕上述面部图像的矩形
图像、圆形图像等框图像。此外，图像合成单元17接收控制单元20追踪的
面部图像的位置信息，并基于接收到的位置信息，生成适当地围绕上述面部
图像的框图像。然后，图像合成单元17将生成的框图像合成到来自图像处理 单元12的拍摄图像。合成后的合成图像，其数据被发送到显示单元13，从 而显示在显示单元13。
另外，关于控制单元20检测的面部图像的框图像和关于控制单元20追 踪的面部图像的框图像可以相同，也可以不同。此外，框图像只要是能够表 示在其内侧包含面部图像的图形即可，例如可以是仅显示矩形的顶点附近的 图像。
显示单元13由LCD(液晶显示元件)、CRT(阴极射线管)、等离子显示 器(plasma display)等显示装置构成。显示单元13基于来自图像合成单元 17的合成图像的数据，显示输出字符或图像等各种信息。
操作单元14通过用户的操作从用户接受各种输入，其由输入用按钮、触 摸面板、其他输入装置构成。操作单元14将用户操作的信息变换为操作数据 而发送到控制单元20。另外，作为输入装置的其他例子，可列举键盘、数字 键、鼠标等指示装置。
图像压缩单元15按照JPEG、 MPEG等方式压缩来自图像处理单元12的 拍摄图像的数据。图像压缩单元15将压缩后的拍摄图像的数据记录到图像记 录单元16。
图像记录单元16用于记录信息，特别记录图像压缩单元15压缩的拍摄 图像的数据。图像记录单元16由闪速存储器、硬盘等非易失性的存储装置构 成。
控制单元20统一控制数字照相机10内的各种构成的动作。控制单元20 例如由包含CPU ( Central Processing Unit)以及存储器的计算机构成。并且， 各种构成的动作控制通过使计算机执行控制程序而进行。该程序例如可以是 读取闪速存储器等的可拆卸介质(removable media)中记录的内容来使用的 方式，也可以是读取硬盘等中安装的内容来使用的方式。此外，还可考虑下 载上述程序后安装到硬盘等中从而执行的方式等。另外，关于控制单元20的 细节在后面叙述。
存储单元21由闪速存储器、ROM (Read Only Memory)等非易失性的存储装置和RAM (Random Access Memory)等易失性的存储装置构成。作为 非易失性的存储装置中存储的内容，可列举上述的控制程序、OS (operating system)程序、其他的各种程序、图像处理单元12中的动作设定值、输入的 字符数据等。作为图像处理单元12中的动作设定值，可列举与调整装置出厂 时或维修时等所设定的白平衡的值、拍摄图像的明暗等时的图像处理有关的 各种参数值等。另一方面，作为易失性的存储装置中存储的内容，可列举作 业用文件、临时文件(temporary file)等。另外，关于存储单元21的细节在 后面叙述。
在本实施方式中，关于包含时间序列顺序的多个拍摄图像的活动图像， 控制单元20具有从上述拍摄图像检测面部图像的面部检测功能；和通过从 后续的拍摄图像中检测已检测的面部图像，从而追踪上述面部图像的面部追 踪功能。另外，在面部图像的检测中，可以利用以下公知的面部检测技术， 即利用模板匹配、检测肤色区域、检测面部的轮廓、或检测面部的特征点等。
图1在控制单元20以及存储单元21中表示了与面部检测功能以及面部 追踪功能关联的结构。如图所示，控制单元20包括图像取得单元(取得部 件)22、条件决定单元(决定部件)23、面部检测单元(检测部件)24、面 部追踪单元(追踪部件)25以及位置信息输出单元(输出部件)26。此外， 存储单元21包括条件存储单元27以及结果历史存储单元28。
条件存储单元27预先存储用于检测上述面部图像的多个检测条件(以下 称为"面部检测的检测条件")。图2表示上述面部检测的检测条件的例子。 另外，图示的箭头表示模板的扫描方向。图2 (a)为在上述模板匹配中所利 用的模板，其表示大小不同的多个模板。此外，图2 (b )表示对上述模板进 行了图像内的旋转(RIP ( Rotation In Plane ))的多个模板。此外，图2 (c) 表示对上述模板改变了观测方向(ROP (Rotation off plane))的多个模板。
此外，图2 (d)表示在成为面部检测的对象的拍摄图像中，以上述模板 进行检索的多个检索范围。此外，图2 (e)表示特征量不同的多个模板。作 为其他的检测条件，可列举为良好地进行面部检测而计算与多个图像文件、 模板的相似度的多个相似度计算方法等。
可是，认为人在1帧或多帧的极短的时间内不怎么移动。因此预想在某 一拍摄图像中检测出的面部图像，即使在后续的拍摄图像中，也会在上一次 检测的面部图像的位置附近，以与上一次的检测条件相同或者相似的检测条件来检测。从而，用于追踪上述面部图像的追踪条件包含在用于检测上述面 部图像的检测条件中。
结果历史存储单元28将上述面部检测的检测结果以及检测条件，和上述 面部追踪的追踪结果以及检测条件作为历史结果而存储。作为上述检测结果 以及上述追踪结果，可列举检测出的面部图像的检测日期时间、大小、位置 信息等。
图像取得单元22从图像处理单元12取得拍摄图像的数据。图像取得单 元22在取得上述拍摄图像的数据时，将其意旨通知给条件决定单元23，同 时将取得的上述拍摄图像的数据送到面部检测单元24以及面部追踪单元25。
条件决定单元23在收到来自图像取得单元22的通知时，参照结果历史 存储单元28的检测条件，从条件存储单元27中的多个检测条件中决定与上 一次的检测条件不同的检测条件。在本实施方式中，条件决定单元23依次决 定从拍摄图像中检测所有面部图像所需的多个检测条件。条件决定单元23将 决定的检测条件送到面部检测单元24。
此外，条件决定单元23在收到来自图像取得单元22的通知时，基于结 果历史存储单元28中的面部图像的检测历史以及追踪历史，决定上述追踪条 件。条件决定单元23将决定的追踪条件送到面部追踪单元25。另外，条件 决定单元23在决定上述追踪条件时，也可以利用条件存储单元27中的多个 检测条件。
面部检测单元24在从图像取得单元22收到拍摄图像的数据时，基于来 自条件决定单元23的检测条件，从该拍摄图像中检测面部图像。面部4企测单 元24将检测结果送到位置信息输出单元26,同时将上述检测结果以及上述 检测条件存储到结果历史存储单元28。另外，面部检测单元24进行的面部 检测的具体处理与以往相同，因此省略其说明。
面部追踪单元25在从图像取得单元22收到拍摄图像的数据时，基于来 自条件决定单元23的追踪条件，从该拍摄图像追踪面部图像。具体地说，面 部追踪单元25基于来自条件决定单元23的适于上述面部追踪的检测条件， 从该拍摄图像中检测上一次检测的面部图像。面部追踪单元25将追踪结果送 到位置信息输出单元26，同时将上述追踪结果以及上述追踪条件存储到结果 历史存储单元28。另外，面部追踪单元25进行的面部追踪的具体处理与以 往相同，因此省略其il明。位置信息输出单元26基于来自面部检测单元24的检测结果，将检测出 的面部图像的位置信息输出到图像合成单元17。此外，位置信息输出单元26 基于来自面部追踪单元25的追踪结果，将所追踪的面部图像的位置信息输出 到图像合成单元17。
另外，作为位置信息输出单元26输出的面部图像的位置信息，只要是能 够确定拍摄图像中的面部图像的区域的信息，则可利用任意信息。作为上述 面部图像的位置信息的例子，可列举上述面部图像的区域中的中心坐标以及 幅度的组合、表示上述面部图像的区域边界的矩形的4个顶点坐标的组合等。
图3表示上述结构的数字照相机10中的面部检测处理以及面部追踪处理 的处理动作。如图所示，在图像取得单元22取得摄像单元11所拍摄的活动 图像中的一拍摄图像时，条件决定单元23参照结果历史存储单元28中的结 果历史即面部图像的检测历史以及追踪历史，判断是否存在检测出的面部图 像(已检测对象)(步骤SIO。以下，有时仅记载为"S10"。关于其他步骤也 是同样。)。当不存在时，进至步骤S15。
当存在已检测对象时，条件决定单元23根据上述结果历史决定上述追踪 条件(S11 ),并且面部追踪单元25以所决定的追踪条件来追踪检测出的面部 图像(S12)。接着，面部追踪单元25将追踪结果以及追踪条件存储到结果历 史存储单元28,另一方面，位置信息输出单元26将基于上述追踪结果的面 部图像的位置信息输出到图像合成单元17(S13)。由此，图像合成单元17 生成与面部追踪单元25追踪的面部图像有关的框图像，并将生成的框图像与 拍摄图像进行合成，从而经由显示单元13显示输出。
接着，条件决定单元23判断上述已检测对象是否都处理完毕(S14)。在 没有都处理完时，返回到步骤Sll从而重复上述处理动作。另一方面，在都 处理完时，进至步骤S15。
在步骤S15中，条件决定单元23参照结果历史存储单元28中的检测条 件，将检测条件从上一次的检测条件进行变更。接着，面部检测单元24以变 更后的检测条件来检测面部图像(S16)。然后，面部检测单元24将检测结果 以及;f企测条件存储到结果历史存储单元28,另一方面，位置信息输出单元26 将基于上述检测结果的面部图像的位置信息输出到图像合成单元17 (S17)。 由此，图像合成单元17生成与面部检测单元24检测的面部图像有关的框图 像，并将生成的框图像与拍摄图像进行合成，从而经由显示单元13显示输出。然后，结束处理动作。
图4表示上述合成图像的例子。图4 (a)以时序地表示在本实施方式的 数字照相机10中所显示的合成图像的例子。此外，图4 (b)为比较例，其 以时序列表示在以往的数字照相机中所显示的合成图像的例子。另外，在图 示的例子中，将用于进行所有的面部检测的检测条件的数量设为5个。
在本实施方式中，如图4(a)所示，对于第l个拍摄图像al，以第l检 测条件进行面部检测，围绕检测出的面部图像的矩形的框图像M被合成到第 2个拍摄图像a2中而显示。接着，对于第2个拍摄图像a2，以与第l检测条 件不同的第2检测条件进行面部检测，围绕检测出的面部图像的矩形的框图 像b2被合成到第3个拍摄图像a3中而显示。此外，对于第2个拍摄图像a2， 以适于框图像bl所围绕的面部图像的追踪条件来进行面部追踪，围绕所追踪 的面部图像的矩形的框图像cl被合成到第3个拍摄图像a3中而显示。
接着，对于第3个拍摄图像a3，以与第1检测条件和第2检测条件不同 的第3检测条件进行面部检测，围绕检测出的面部图像的矩形的框图像b3被 合成到第4个拍摄图像a4中而显示。此外，对于第3个拍摄图像a3，以分别 适于框图像cl和b2所围绕的两个面部图像的追踪条件来进行面部追踪，围 绕所追踪的面部图像的矩形的框图像cl、 c2被合成到第4个拍摄图像a4中 而显示。
接着，对于第4个拍摄图像a4,以与第1 第3检测条件不同的第4检测 条件进行面部检测，围绕检测出的面部图像的矩形的框图像b4被合成到第5 个拍摄图像a5中而显示。此外，对于第4个拍摄图像a4，以分别适于框图像 cl、 c2、 b3所围绕的3个面部图像的追踪条件来进行面部追踪，围绕所追踪 的面部图像的矩形的框图像cl c3被合成到第5个拍摄图像a5中而显示。
以下，通过重复上述过程，第6个拍摄图像a6、围绕在第5个拍摄图像 a5中检测出的面部图像的矩形的框图像b5、围绕在第5个拍摄图像a5中所 追踪的面部图像的矩形的框图像cl c4被合成显示。即，在第6个合成图像 中，显示以所有的检测条件进行了面部检测的结果的框图像cl c4和b5。
另一方面，在以往，如图4(b)所示，对于第l个拍摄图像al，以第l 第5检测条件顺序进行面部检测，在该面部检测结束后，围绕检测出的所有 面部图像的矩形的框图像dl d5与拍摄图像合成后显示。因此，直到上述框 图像dl d5显示为止花费时间。在图示的例子中，对于第l个拍摄图像al的面部检测的框图像dl d5与第6个拍摄图像a6合成显示。
另外，在图4中，拍摄图像中的各个被摄体的位置在拍摄图像al a6之 间相同，但实际上由于被摄体移动，因此大多在拍摄图像al a6之间不同， 随着时间的经过，大多偏离会变大。
若比较图4 U)以及图4 (b)，则本实施方式与以往相比，表示面部斗全 测以及面部追踪的结果的框图像，虽然是一部分但会迅速地开始显示，因此 可理解为能够缩短用户等待面部图像的检测的时间。此外，由于框图像的数 量逐渐增加，因此框图像显示的样子比现有技术平滑。此外，由于表示面部 检测以及面部追踪的剩余结果的框图像依次显示，因此可理解为能够给用户 提供新的娱乐。
此外，在本实施方式中，如图4(a)所示，第2检测条件下的面部检测 是对第2个拍摄图像a2进行，表示检测结果的框图像b2与下一个(第3个) 拍摄图像a3合成。另一方面，在现有技术中，如图4(b)所示，第2检测条 件下的面部检测是对第1个拍摄图像al进行，表示检测结果的框图像d2与 第6个拍摄图像a6合成。
从而，本实施方式与以往相比，成为面部检测的对象的拍摄图像的拍摄 时刻与合成了表示检测结果的框图像的拍摄图像的拍摄时刻的期间较短，因 此可理解为框图像与合成了该框图像的拍摄图像中的面部图像的偏离变小。
此外，在本实施方式中，如图4(a)所示，与第6个拍摄图像a6合成的 框图像中，框图像cl c4是与对第5个为止的拍摄图像进行一次检测后继续 追踪的面部图像有关的图像，框图像b5是与对第5个为止的拍摄图像进行检 测的面部图像有关的图像。即，在本实施方式中，与第6个拍摄图像a6合成 的框图像是与之前(第5个)的拍摄图像a5中的面部图像有关的图像。另一 方面，在现有技术中，如图4(b)所示，与第6个拍摄图像a6合成的框图像 dl d5都是与对第1个拍摄图像al进行检测的面部图像有关的图像。
从而，本实施方式与以往相比，成为生成框图像的来源的拍摄图像的拍 摄时刻与合成了该框图像的拍摄图像的拍摄时刻的期间较短，因此可理解为 框图像与合成了该框图像的拍摄图像中的面部图像的偏离变小。
下面，参照图5 图7说明本发明的其他实施方式。图5表示作为本实施 方式的数字照相机的概略结构。图示的数字照相机10与图l所示的数字照相机10相比，不同点在于，条件决定单元30的功能不同，且从面部才全测单元
24以及面部追踪单元25到位置信息输出单元26之间追加了结果校正单元(校 正部件)31，其他结构相同。另外，对与在上述实施方式中说明的结构以及 处理动作相同的结构以及处理动作赋予相同的标号，并省略其说明。
图1所示的条件决定单元23依次决定检测所有面部图像所需的多个检测 条件。这时，通过取得活动图像中包含的多个拍摄图像，从而对于所有上述 多个检测条件，能够与上述现有技术同样地，输出面部图像的全部;f企测结果。
对此，本实施方式的条件决定单元30基于结果历史存储单元28的^^测 结果的历史，动态地变更检测条件从而决定。另外，动态地变更的条件的信 息被存储在条件存储单元27。
例如，可列举图2(c)中的左侧的图像所示那样的，在规定期间没有基 于横向的面部图像的模板的面部检测时，减少利用该模板的检测条件下的检 测频度。这是因为考虑到在上述的情况中，被摄体的脸向着数字照相机10的 方向。
此外，可列举在从至今为止检测面部图像的拍摄图像中突然无法检测面 部图像时，增加该面部图像的检测条件下的检测频度。这是因为考虑到在上 述的情况中，被摄体从数字照相机10画出(frame out)，或者被摄体回头看， 所以被摄体的面部面向与数字照相机IO相反的方向，再次检测出面部图像的 可能性较高。
这样，通过基于上述检测结果的历史来动态地改变检测条件，从而能够 提高面部检测的效率。
以下，归纳记载基于上述检测结果的历史来动态地改变检测条件的方法。
第1方法是根据在某一检测条件下的至今为止的检测次数，变更该检测条件 的利用频度。例如，可列举在拍摄图像的某一区域中的检测次数较多时，增 加利用该区域作为检测条件的频度。此外，可列举在面部的某一方向的检测 次数较少时，减少利用该方向的模板作为检测条件的频度。
例如，可列举在拍摄图像中的右下区域和左上区域同时检测面部图像的次数 较少的情况下，在一个区域检测面部图像时，减少利用另一个区域作为检测 条件的频度。此外，可列举在同时检测第1方向的面部图像，和从第1方向 在图像内旋转180°后的第2方向的面部图像的可能性较低的情况下，在检测第1方向的面部图像时，减少利用第2方向作为检测条件的频度。
此外，例如可列举，在拍摄图像的中央区域30像素(pixel)的面部图像 较多，在周边区域中20像素的面部图像较多的情况那样，根据拍摄图像中的 区域而在检测出的面部图像的大小中存在倾向时，根据区域来变更利用面部 图像的大小作为检测条件的频度。
第3方法是在检测条件的顺序中存在规律性时，基于该规律性来变更检 测条件的顺序。例如可列举，当检测一次后的面部图像的大小随着时间有变 小的倾向时，将面部图像的大小按照从大到小的顺序作为检测条件来利用。 此外可列举，在找不到检测了一次的面部图像时，若预想不久后在相同的检 测条件下会再次呈现，则暂时增加利用上述检测条件的频度。
结果校正单元31基于来自面部检测单元24的检测结果，对来自面部追 踪单元25的追踪结果进行校正。结果校正单元31将校正后的检测结果以及 追踪结果送到位置信息输出单元26。
以往，对于检测所有面部图像所需的多个检测条件的每一个，顺序从拍 摄图像检测面部图像，并基于这些多个检测结果来校正检测结果，从而输出 校正后的检测结果。例如可列举，对于拍摄图像的某个区域检测出大小为20 像素的面部图像和大小为30像素的面部图像两者时，校正为以平均值的25 像素作为大小的面部图像。
相对地，在本实施方式中，在取得拍摄图像时，决定上述多个检测条件 的一部分，以所决定的检测条件来检测面部图像，并输出检测结果。因此， 与基于多个检测条件的全部的检测结果来校正检测结果的以往情况相比，检 测结果的精度会降低。
因此，在本实施方式中，结果校正单元31如上所述那样，基于来自面部 检测单元24的检测结果对来自面部追踪单元25的追踪结果进行校正。另夕卜， 结果校正单元31还可以基于结果历史存储单元28的历史结果对来自面部追 踪单元25的追踪结果进行校正。
图7是用于说明校正追踪结果的一例的图。图7 (a)表示某一时刻的合 成图像。如图所示，该合成图像包括某一时刻的拍摄图像el、与对该时刻之 前的拍摄图像(未图示)通过面部检测而检测出的30像素的面部像素对应的 框图像fl。假设在面部检测单元24对图7 (a)所示的拍摄图像el使用20 像素的模板进行了面部检测时，如图7(b)的虚线所示，检测出两个20像素的面部图像gl、 g2。这时，由框图像fl围绕的30像素的面部图像和20像
素的面部图像gl是在拍摄图像中的相同区域中检测出，因此认为是同一面部。
因此，结果校正单元31将对图7 (a)所示的拍摄图像el以适合框图像 fl围绕的面部图像的追踪条件进行了追踪的30像素的面部图像(未图示)， 校正为30像素和20像素的平均即25像素的面部图像，并将校正结果送到位 置信息输出单元26。另外，在与上述区域不同的区域中初次检测出的面部图 像g2被送到位置信息输出单元26而不被校正。
这时，图7 (c)表示显示单元13所显示的合成图像。如图所示，该构成 图像包括下一个拍摄图像e2、与对拍摄图像el通过面部检测所检测的20 像素的面部图像对应的框图像G、与通过面部追踪进行追踪且校正后的25像 素的面部图像对应的框图像hl。若比较图7 (a)以及图7 (c)，则可理解校 正后的框图像hl与校正前的框图像fl相比，大小接近实际的面部图像的大 小。从而，能够逐渐提高面部图像的精度。
以下，归纳记载基于检测结果来校正追踪结果的方法。第1方法是，在 以多个检测条件检测了被估计为相同被摄体的面部图像时，以检测结果的平 均来校正追踪结果的方法。例如可列举，在拍摄图像的大致相同的区域中的 面部图像的检测次数达到了规定的帧数时，以检测的面部图像的大小的平均 值来校正追踪结果中的面部图像的大小，或以检测的面部图像的方向的平均 值来校正追踪结果中的面部图像的方向。此外可列举，校正追踪结果中的面 部图像的追踪位置，以使被估计为相同被摄体的面部图像的移动轨迹变得平 滑。
还有在以多个检测条件检测了被估计为相同被摄体的面部图像时，以适 当的检测条件的检测结果优先来校正追踪结果的方法。例如可列举，在通过 变更图像滤波器的检测条件而检测数量减少时，假设之前的检测条件的检测 结果更加适合，从而计算在其检测结果中设置权重的加权平均，并基于计算 结果来校正追踪结果。
图6表示上述结构的数字照相机10中的面部检测处理以及面部追踪处理 的处理动作。如图所示，在图像取得单元22取得由摄像单元11拍摄的活动 图像中的一拍摄图像时，条件决定单元30参照结果历史存储单元28中的结 果历史，判断是否存在已检测对象(SIO)。当不存在时，进至步骤S21。当存在已检测对象时，条件决定单元30根据上述结果历史决定上述追踪
条件(S11 )，面部追踪单元25以所决定的追踪条件来追踪检测出的面部图像 (S12)。接着，面部追踪单元25将追踪结果以及追踪条件存储到结果历史存 储单元28 ( S20 )。
接着，条件决定单元30判断上述已检测对象是否都处理完毕(S14)。在 没有都处理完时，返回到步骤Sll从而重复上述处理动作。另一方面，在都 处理完时，进至步骤S21。
在步骤S21中，条件决定单元30参照结果历史存储单元28中的检测条 件，将检测条件从上一次的检测条件进行变更。这时，条件决定单元30还考 虑结果历史存储单元28中的检测结果的历史从而变更检测条件。
接着，面部检测单元24以变更后的检测条件来检测面部图像(S16 )。然 后，面部检测单元24将检测结果以及检测条件存储到结果历史存储单元28 (S22 )。
接着，结果校正单元31基于步骤S16的检测结果，校正步骤S12的追踪 结果(S23)。然后，位置信息输出单元26将基于上述检测结果的面部图像的 位置信息和基于校正后的追踪结果的面部图像的位置信息输出到图像合成单 元17(S24)。由此，图像合成单元17生成与面部检测单元24检测的面部图 像有关的框图像，和与面部追踪单元25追踪且结果校正单元31校正的面部 图像有关的框图像，并将生成的框图像与拍摄图像进行合成，从而经由显示 单元13显示输出。然后，结束处理动作。
本发明不限于上述的各个实施方式，在权利要求所示的范围内可进行各
施方式也包含在本发明的技术范围内。
例如，在上述实施方式中，将与面部检测以及面部追踪有关的各个结构 22 28、 30、 31设置在控制单元20中，但也可以设置在图像处理单元12中。 此外，在上述实施方式中，将检测结果以及追踪结果作为框图像显示输出， 但也可以基于检测结果以及追踪结果，进行焦距调整或焦点调整等摄像单元 11的控制。
此外，在上述实施方式中，从拍摄图像检测面部图像从而追踪。但是， 也可以应用到动画片(animation)以及其他活动图像中。此外，也可以检测 人的上半身或全身的图像，也可以检测球、车辆、搬运的货物以及其他移动的物体的图像。进而，即使是静止的物体，只要移动数字照相机IO，则在拍 摄图像上是移动的，因此也可应用。即，本发明可应用于检测取得的时间序 列图像上移动的物体的图像。
此外，在上述实施方式中，将本发明应用到数字照相机10，但也可以将 本发明应用到带照相机的移动电话等具有摄像单元的任意电子设备中。进而， 也可以应用到取得活动图像从而进行图像处理的图像处理装置中。预想这样 的图像处理装置不仅可以应用到数字照相机10，也可以应用到打印机中。
最后，数字照相机10的各个块、尤其是控制单元20以及图像处理单元 12，可以通过硬件逻辑构成，也可以如下那样使用CPU从而通过软件来实现。
即，数字照相机10包括执行用于实现各个功能的控制程序的命令的 CPU、存储了上述程序的ROM、展开上述程序的RAM、存储上述程序以及 各种数据的存储器等存储装置(存储介质)等。并且，本发明的目的也可以 通过以下方式来达成，即将计算机可读取地记录了作为实现上述功能的软件 的数字照相机10的控制程序的程序代码(执行形式程序、中间码程序、源程 序)的记录介质提供给上述数字照相机10，其计算机(或者CPU或MPU ) 读取并执行记录介质中所记录的程序代码。
作为上述记录介质，例如可使用磁带或盒式磁带等带类、包含软盘(注 册商标)/硬盘等磁盘或CD-ROM/MO/MD/DVD/CD-R等光盘的盘类、IC卡 (包含存储卡)/光卡等卡类，或者掩膜ROM/EPROM/EEPROM/闪速ROM 等半导体存储器类等。
此外，也可以与通信网络可连接地构成数字照相机10，并将上述程序代 码经由通信网路来提供。作为该通信网络，不特别限定，例如可利用互联网、 内部网、外部网、LAN、 ISDN、 VAN、 CATV通信网、虚拟专用网(virtual private network)、电话线路网、移动通信网、卫星通信网等。此外，作为构成通信 网路的传输介质不特别限定，例如可利用IEEE1394、 USB、电力线传播、电 缆TV线路、电话线、ADSL线路等有线，也可利用IrDA或遥控器那样的红 外线、Bluetooth (注册商标)、802.11无线、HDR、移动电话网、卫星线路、 地波数字网等无线。另外，本发明也可以通过上述程序由电子传输而被体现 的、嵌入载波的计算机数据信号的方式来实现。
如上所述，本发明的数字照相机在取得拍摄图像时，以与上一次的检测 条件不同的检测条件对所取得的拍摄图像进行面部检测，从而虽然是一部分但能够短时间内输出检测结果，因此除了附带照相机的移动电话之外，还可 以应用到如打印机等那样的从源图像中检测对象图像的任意的电子设备中。
权利要求
1、一种对象图像检测装置，从源图像中检测出对象图像，其特征在于，包括取得部件，取得所述源图像；决定部件，从用于检测出所述对象图像的多个检测条件中，决定为与上一次的检测条件不同的检测条件；检测部件，对所述取得部件取得的源图像，以所述决定部件决定的检测条件来检测出所述对象图像；以及输出部件，输出该检测部件检测出的检测结果。
2、 如权利要求1所述的对象图像检测装置，其特征在于，还包括结果历史存储单元，其存储所述检测部件检测出的检测结果的 历史，所述决定部件还基于所述结果历史存储单元中的检测结果的历史，决定 检测条件。
3、 如权利要求1所述的对象图像检测装置，其特征在于， 所述决定部件从用于检测出所述对象图像的多个检测条件中，依次决定检测条件。
4、 如权利要求1所述的对象图像检测装置，其特征在于， 所述取得部件取得活动图像中包含的多个静止图像作为所述源图像， 所述对象图像检测装置还包括追踪部件，将所述检测部件对所述取得部件取得的某 一 时刻的源图像检测的所述对象图像，在所述时刻之后的时刻 的源图像中进行追踪，所述输出部件还输出所述追踪部件追踪的追踪结果。
5、 如权利要求4所述的对象图像检测装置，其特征在于，还包括校正部件，基于所述检测部件检测的检测结果，校正所述追踪 部件追踪的追踪结果，踪的追踪结果。
6、 一种电子设备，包括权利要求1至5的任一项所述的对象图像检测装置。
7、 如权利要求6所述的电子设备，其特征在于，还包括 显示单元，显示信息；以及图像合成部件，将表示所述对象图像检测装置检测出的检测结果的图像 合成到所述源图像后显示在所述显示单元中。
8、 一种控制程序，用于使权利要求1至5的任一项所述的对象图像检测 装置动作，使计算机作为上述各个部件起作用。
9、 一种计算机可读取的记录介质，其记录了权利要求8所述的控制程序。
10、 一种对象图像检测装置的控制方法，该对象图像检测装置从源图像 中检测对象图像，其特征在于，所述控制方法包括取得步骤，取得所述源图像；决定步骤，从用于检测出所述对象图像的多个检测条件中，决定为与上 一次的检测条件不同的检测条件；检测步骤，对所述取得步骤取得的源图像，以所述决定步骤决定的检测 条件来检测出所述对象图像；以及输出步骤，输出在该检测步骤中检测出的检测结果。
全文摘要
本发明提供对象图像检测装置、其控制方法、程序、记录了该程序的记录介质及电子设备，其能够迅速地输出面部图像的检测结果。数字照相机(10)的控制单元(20)是从拍摄图像中检测面部图像的对象图像检测装置。控制单元(20)包括取得拍摄图像的图像取得单元(22)；从用于检测面部图像的多个检测条件中，决定为与上一次的检测条件不同的检测条件的条件决定单元(23)；对图像取得单元(22)取得的拍摄图像，以条件决定单元(23)决定的检测条件来检测面部图像的面部检测单元(24)；以及将检测出的面部图像的位置信息输出到图像合成单元(17)的位置信息输出单元(26)。
文档编号H04N5/225GK101534393SQ20091000649
公开日2009年9月16日 申请日期2009年2月18日 优先权日2008年3月14日
发明者森山孝三 申请人:欧姆龙株式会社
技术领域：
本发明涉及从源图像中检测对象图像的对象图像检测装置、其控制方法、 控制程序及记录了该程序的记录介质、以及包括对象图像检测装置的电子设备。
背景技术：
过去，在拍摄设备以及显示装置等中，为了提供容易使用的用户界面，或自动获得最佳的图像，自动识别拍摄对象或显示对象的需求(needs )在提 高。作为这样的需求的一个例子，可列举检测人的面部，并调整以成为最适 合检测的面部的焦距(focus)以及曝光的功能，或识别字符，并将识别的字 符的区域设为OCR ( Optical Character Recognition )的对象的功能。一般，为了实现这样的功能，需要高度的图像处理，需要极大的计算量。 此外，由于上述功能一般要求实时性，因此需要高速的处理。因此，在数字 照相机、便携式通信终端等那样的处理能力、消耗功率以及成本受到制约的 组装设备中实现上述功能，大多比较困难。对于该问题点，提出了将处理高速化的各种方法。例如，在专利文献1 记载的图像处理装置中，按照分辨率依次阶段性地变化的顺序对缩小图像依 次进行模板匹配(template matching),检测拍摄了特定的被摄体的区域，并 在检测后中断处理，从而实现处理的高速化。此外，在专利文献2记载的面 部一企测方法中，从较大的面部开始顺序4佥测，若片全测出面部，则在此之后从 检测对象区域中除去已检测出面部的区域后继续进行检测。由此，能够在每 当检测面部时缩小检测对象区域，因此能够使处理高速化。专利文献l:(日本)特开2007-135115号公报(2007年5月31日公开) 专利文献2:(日本)特开2006-301847号公报(2006年11月2日公开) 专利文献1的图像处理装置是用于追踪特定的被摄体的移动的装置。因 此，在检测拍摄了不特定且数量未定的被摄体的区域的处理中，难以在检测 之后中断处理，难以实现处理的高速化。此外，在专利文献2的面部检测方法中，由于从较大的面部开始到较小的面部顺序重复对于检测对象区域的面 部的检测，因此处理中依然花费时间。
发明内容
本发明鉴于上述的问题点而完成，其目的在于提供一种能够迅速地输出 检测结果的对象图像检测装置等。
本发明的对象图像检测装置从源图像中检测出对象图像，为了解决上述
课题，其特征在于，包括取得部件，取得所述源图像；决定部件，从用于 检测出所述对象图像的多个检测条件中，决定为与上一次的检测条件不同的 检测条件；检测部件，对所述取得部件取得的源图像，以所述决定部件决定 的检测条件来检测出所述对象图像；以及输出部件，输出该检测部件检测出 的检测结果。
此外，本发明的对象图像检测装置的控制方法，从源图像中检测对象图 像，为了解决上述课题，其特征在于，所述控制方法包括取得步骤，取得 所述源图像；决定步骤，从用于检测出所述对象图像的多个检测条件中，决 定为与上一次的检测条件不同的检测条件；检测步骤，对所述取得步骤取得 的源图像，以所述决定步骤决定的检测条件来检测出所述对象图像；以及输 出步骤，输出在该检测步骤中检测出的检测结果。
这里，作为检测出的对象的例子，可列举人的面部、上半身以及全身、 球、车辆等，移动的物体或者其一部分。
根据上述结构以及方法，在取得源图像时，从用于检测出对象图像的多 个检测条件中，以与上一次的检测条件不同的检测条件，对取得的源图像检 测出对象图像，从而输出检测结果。从而，与对某一源图像，以用于4企测出 对象图像的多个检测条件分别检测出对象图像，且一并输出全部检测结果的 现有技术相比，虽然是对象图像的一部分检测结果，但能够在短时间内输出 该检测结果。其结果，其他装置(例如，控制显示的装置、控制拍摄的装置 等)能够迅速地利用所输出的检测结果。
在本发明的对象图像检测装置中，还可以包括结果历史存储单元，其 存储所述检测部件检测出的检测结果的历史，所述决定部件还基于所述结果 历史存储单元中的检测结果的历史，决定检测条件。或者，在本发明的对象 图像检测装置中，所述决定部件也可以从用于检测出所述对象图像的多个检测条件中，依次决定检测条件。
在依次决定的情况下，对于所有上述多个检测条件，能够与上述现有技 术同样地，输出对象图像的全部检测结果。进而，在源图像为活动图像中包 含的多个静止图像，在上述现有技术中某一静止图像的全部检测结果被输出 之前，后续又取得了静止图像的情况下，在本发明中，由于能够输出对于上 述后续的静止图像的检测结果，因此能够包含对于比以往更新的静止图像的 检测结果。
另一方面，在基于检测结果的历史决定检测条件时，例如可考虑对检测 出对象图像的可能性高的检测条件，将作为检测条件所决定的频度增加，而 另一方面，对检测出对象图像的可能性低的检测条件，将作为检测条件所决 定的频度减少等。从而，检测出对象图像的效率提高。
可是，由于检测对象是上述移动的物体等，因此在源图像为活动图像中 包含的多个静止图像时，对象图像的位置可能会随着时间的经过而从检测位 置偏离。
因此，在本发明的对象图像检测装置中，优选所述取得部件取得活动图
像中包含的多个静止图像作为所述源图像，所述对象图像检测装置还包括 追踪部件，将所述检测部件对所述取得部件取得的某一时刻的源图像检测的 所述对象图像，在所述时刻之后的时刻的源图像中进行追踪，所迷输出部件 还输出所述追踪部件追踪的追踪结果。
这时，追踪检测了一次的对象图像，从而输出追踪结果，因此能够避免 上述问题点。另外，追踪部件也可以基于追踪条件追踪对象图像。并且，上 述追踪条件也可以从上述检测条件中取得。
可是，在本发明中，以一部分检测条件来检测出对象图像，从而输出检 测结果，因此与在以所有的检测条件检测出对象图像后输出检测结果的现有 技术相比，存在检测结果的精度低的情况。
因此，在本发明的对象图像检测装置，优选还包括校正部件，基于所 述检测部件检测出的检测结果，校正所述追踪部件追踪的追踪结果，所述输 出部件输出所述校正部件校正的追踪结果，取代所述追踪部件追踪的追踪结 果。
这时，能够将其他检测条件下的检测结果反映到追踪结果中，因此能够 逐渐提高检测结果的精度。另外，上述校正部件也可以进一步基于检测结果的历史来进行4吏正。
另外，在包括了上述结构的对象图像检测装置的电子设备中，也能够起 到上述的作用效果。
并且，在上述电子设备中，也可以还包括显示单元，显示信息；以及 图像合成部件，将表示所述对象图像检测装置检测出的检测结果的图像合成 到所述源图像，从而显示在所述显示单元中。这时，虽然是一部分，但能够 迅速地开始显示用于表示检测结果的图像，并且能够在此之后逐个显示表示 剩余的检测结果的图像。其结果，与将表示所有的检测结果的图像一同显示 的现有技术相比，能够缩短用户等待对象图像的检测的时间。此外，由于逐 个显示表示检测结果的图像，因此能够给用户提供新的娱乐。并且，由于剩 余的检测结果是对于进行最初检测的源图像之后的源图像的检测结果，因此 能够抑制表示该检测结果的图像，和表示对于当前显示的源图像检测了对象 图像时的检测结果的图像之间的偏离。
另外，能够通过控制程序在计算机上执行上述对象图像检测装置中的各 个部件。并且，通过将上述控制程序存储在计算机可读取的记录介质中，从 而能够在任意的计算机上执行上述控制程序。
如上所述，本发明的对象图像检测装置在取得源图像时，从用于检测对 象图像的多个检测条件中，以与上一次的检测条件不同的检测条件，对取得 的源图像检测对象图像，从而输出检测结果，因此与现有技术相比，虽然是 对象图像的一部分检测结果，但能够在短时间内输出该检测结果，其结果， 起到其他的装置能够迅速地利用所输出的检测结果的效果。
图1是表示作为本发明一实施方式的数字照相机的概略结构的方框图。 图2 (a) ~图2 (e)是表示面部检测的检测条件的例子的图。 图3是表示上述数字照相机中的面部检测处理以及面部追踪处理的处理 动作的流程图。
图4 U) 图4 (b)是时序地表示上述数字照相机中所显示的合成图像 的例子和通过现有技术所显示的合成图像的比较例子的图。
图5是表示作为本发明的其他实施方式的数字照相机的概略结构的方框图6是表示上述数字照相机中的面部检测处理以及面部追踪处理的处理 动作的流程图。
图7 (a) 图7 (c)是用于说明对上述数字照相机中的面部追踪的追踪
结果进行校正的一例的图。 标号说明
10数字照相机(电子设备)
11摄像单元
12图像处理单元 13显示单元 14操作单元 15图像压缩单元 16图像记录单元
17图像合成单元(图像合成部件) 20控制单元(对象图像检测装置) 21存储单元
22图像取得单元(取得部件)
23、 30条件决定单元(决定部件)
24面部检测单元(检测部件)
25面部追踪单元(追踪部件)
26位置信息输出单元(输出部件)
27条件存储单元
28结果历史存储单元
31结果校正单元(校正部件)
具体实施方式
C实施方式1]
参照图1 图4说明本发明的一实施方式。图l表示作为本实施方式的数 字照相机的概略结构。如图所示，数字照相机(电子设备)10中，由摄像单 元11拍摄且在图像处理单元12中进行了图像处理的拍摄图像(源图像)被 显示在显示单元13作为活动视图(live view)图像。此外，数字照相机10 在用户按压操作单元14的快门按钮(未图示)时，在图像处理单元12中进行了图像处理的拍摄图像在图像压缩单元15中被图像压缩之后，存储到图像
记录单元16。
本实施方式的数字照相机10首先取得在图像处理单元12中图像处理后 的拍摄图像，并在用于检测面部图像(对象图像)的多个检测条件中，变更 为与上一次的检测条件不同的检测条件。接着，对于所取得的拍摄图像，以 变更后的检测条件来检测面部图像。然后，生成用于围绕检测出的面部图像 的区域的框图像，并将生成的框图像在图像合成单元(图像合成部件)17中 与上述拍摄图像进行合成，从而显示到显示单元13作为活动视像。
由此，与现有技术相比，虽然是面部图像的一部分检测结果，但是该检 测结果在短时间内被输出。其结果，能够利用所输出的检测结果，迅速地显 示框图像。此外，对于接着的拍摄图像，再以其他的检测条件来检测面部图 像，其他的检测结果在短时间内被输出。从而，在拍摄图像为活动图像时， 框图像的数量逐渐增加，因此框图像显示的样子比现有技术平滑。下面，说明本实施方式的数字照相机10的细节。如上所述，数字照相机 10包括摄像单元ll、图像处理单元12、显示单元13、操作单元14、图像 压缩单元15、图像记录单元16以及图像合成单元17。并且，如图1所示， 数字照相机10包括控制单元(对象图像检测装置)20以及存储单元21。
摄像单元11用于进行被摄体的拍摄，例如包括镜头组、光圈、拍摄元件 等光学系统和放大器、A/D变换器等电路系统。作为拍摄元件的例子，可列 举CCD、 CMOS (Complementary Metal-oxide Semiconductor)图#^专感器 (image sensor)等。摄像单元11通过上述拍摄而生成拍摄图像，并变换为 拍摄图像的数据从而发送到图像处理单元12。
图像处理单元12对来自摄像单元11的拍摄图像的数据，进行矩阵运算、 Y校正、白平衡的调整等图像处理。此外，图像处理单元12根据图像处理后 的拍摄图像的数据，生成显示用、记录用、以及面部检测用的拍摄图像的数 据，并分别发送到显示单元13、图像压缩单元15以及控制单元20。另外， 显示用和面部检测用的拍摄图像的数据可以相同。
图像合成单元17对来自图像处理单元12的拍摄图像，合成基于来自控 制单元20的指示的图像。图像合成单元17将合成的图像即合成图像的数据 发送到显示单元13。
在本实施方式中，图像合成单元17接收控制单元20检测的面部图像的位置信息，并基于接收到的位置信息，生成适当地围绕上述面部图像的矩形
图像、圆形图像等框图像。此外，图像合成单元17接收控制单元20追踪的
面部图像的位置信息，并基于接收到的位置信息，生成适当地围绕上述面部
图像的框图像。然后，图像合成单元17将生成的框图像合成到来自图像处理 单元12的拍摄图像。合成后的合成图像，其数据被发送到显示单元13，从 而显示在显示单元13。
另外，关于控制单元20检测的面部图像的框图像和关于控制单元20追 踪的面部图像的框图像可以相同，也可以不同。此外，框图像只要是能够表 示在其内侧包含面部图像的图形即可，例如可以是仅显示矩形的顶点附近的 图像。
显示单元13由LCD(液晶显示元件)、CRT(阴极射线管)、等离子显示 器(plasma display)等显示装置构成。显示单元13基于来自图像合成单元 17的合成图像的数据，显示输出字符或图像等各种信息。
操作单元14通过用户的操作从用户接受各种输入，其由输入用按钮、触 摸面板、其他输入装置构成。操作单元14将用户操作的信息变换为操作数据 而发送到控制单元20。另外，作为输入装置的其他例子，可列举键盘、数字 键、鼠标等指示装置。
图像压缩单元15按照JPEG、 MPEG等方式压缩来自图像处理单元12的 拍摄图像的数据。图像压缩单元15将压缩后的拍摄图像的数据记录到图像记 录单元16。
图像记录单元16用于记录信息，特别记录图像压缩单元15压缩的拍摄 图像的数据。图像记录单元16由闪速存储器、硬盘等非易失性的存储装置构 成。
控制单元20统一控制数字照相机10内的各种构成的动作。控制单元20 例如由包含CPU ( Central Processing Unit)以及存储器的计算机构成。并且， 各种构成的动作控制通过使计算机执行控制程序而进行。该程序例如可以是 读取闪速存储器等的可拆卸介质(removable media)中记录的内容来使用的 方式，也可以是读取硬盘等中安装的内容来使用的方式。此外，还可考虑下 载上述程序后安装到硬盘等中从而执行的方式等。另外，关于控制单元20的 细节在后面叙述。
存储单元21由闪速存储器、ROM (Read Only Memory)等非易失性的存储装置和RAM (Random Access Memory)等易失性的存储装置构成。作为 非易失性的存储装置中存储的内容，可列举上述的控制程序、OS (operating system)程序、其他的各种程序、图像处理单元12中的动作设定值、输入的 字符数据等。作为图像处理单元12中的动作设定值，可列举与调整装置出厂 时或维修时等所设定的白平衡的值、拍摄图像的明暗等时的图像处理有关的 各种参数值等。另一方面，作为易失性的存储装置中存储的内容，可列举作 业用文件、临时文件(temporary file)等。另外，关于存储单元21的细节在 后面叙述。
在本实施方式中，关于包含时间序列顺序的多个拍摄图像的活动图像， 控制单元20具有从上述拍摄图像检测面部图像的面部检测功能；和通过从 后续的拍摄图像中检测已检测的面部图像，从而追踪上述面部图像的面部追 踪功能。另外，在面部图像的检测中，可以利用以下公知的面部检测技术， 即利用模板匹配、检测肤色区域、检测面部的轮廓、或检测面部的特征点等。
图1在控制单元20以及存储单元21中表示了与面部检测功能以及面部 追踪功能关联的结构。如图所示，控制单元20包括图像取得单元(取得部 件)22、条件决定单元(决定部件)23、面部检测单元(检测部件)24、面 部追踪单元(追踪部件)25以及位置信息输出单元(输出部件)26。此外， 存储单元21包括条件存储单元27以及结果历史存储单元28。
条件存储单元27预先存储用于检测上述面部图像的多个检测条件(以下 称为"面部检测的检测条件")。图2表示上述面部检测的检测条件的例子。 另外，图示的箭头表示模板的扫描方向。图2 (a)为在上述模板匹配中所利 用的模板，其表示大小不同的多个模板。此外，图2 (b )表示对上述模板进 行了图像内的旋转(RIP ( Rotation In Plane ))的多个模板。此外，图2 (c) 表示对上述模板改变了观测方向(ROP (Rotation off plane))的多个模板。
此外，图2 (d)表示在成为面部检测的对象的拍摄图像中，以上述模板 进行检索的多个检索范围。此外，图2 (e)表示特征量不同的多个模板。作 为其他的检测条件，可列举为良好地进行面部检测而计算与多个图像文件、 模板的相似度的多个相似度计算方法等。
可是，认为人在1帧或多帧的极短的时间内不怎么移动。因此预想在某 一拍摄图像中检测出的面部图像，即使在后续的拍摄图像中，也会在上一次 检测的面部图像的位置附近，以与上一次的检测条件相同或者相似的检测条件来检测。从而，用于追踪上述面部图像的追踪条件包含在用于检测上述面 部图像的检测条件中。
结果历史存储单元28将上述面部检测的检测结果以及检测条件，和上述 面部追踪的追踪结果以及检测条件作为历史结果而存储。作为上述检测结果 以及上述追踪结果，可列举检测出的面部图像的检测日期时间、大小、位置 信息等。
图像取得单元22从图像处理单元12取得拍摄图像的数据。图像取得单 元22在取得上述拍摄图像的数据时，将其意旨通知给条件决定单元23，同 时将取得的上述拍摄图像的数据送到面部检测单元24以及面部追踪单元25。
条件决定单元23在收到来自图像取得单元22的通知时，参照结果历史 存储单元28的检测条件，从条件存储单元27中的多个检测条件中决定与上 一次的检测条件不同的检测条件。在本实施方式中，条件决定单元23依次决 定从拍摄图像中检测所有面部图像所需的多个检测条件。条件决定单元23将 决定的检测条件送到面部检测单元24。
此外，条件决定单元23在收到来自图像取得单元22的通知时，基于结 果历史存储单元28中的面部图像的检测历史以及追踪历史，决定上述追踪条 件。条件决定单元23将决定的追踪条件送到面部追踪单元25。另外，条件 决定单元23在决定上述追踪条件时，也可以利用条件存储单元27中的多个 检测条件。
面部检测单元24在从图像取得单元22收到拍摄图像的数据时，基于来 自条件决定单元23的检测条件，从该拍摄图像中检测面部图像。面部4企测单 元24将检测结果送到位置信息输出单元26,同时将上述检测结果以及上述 检测条件存储到结果历史存储单元28。另外，面部检测单元24进行的面部 检测的具体处理与以往相同，因此省略其说明。
面部追踪单元25在从图像取得单元22收到拍摄图像的数据时，基于来 自条件决定单元23的追踪条件，从该拍摄图像追踪面部图像。具体地说，面 部追踪单元25基于来自条件决定单元23的适于上述面部追踪的检测条件， 从该拍摄图像中检测上一次检测的面部图像。面部追踪单元25将追踪结果送 到位置信息输出单元26，同时将上述追踪结果以及上述追踪条件存储到结果 历史存储单元28。另外，面部追踪单元25进行的面部追踪的具体处理与以 往相同，因此省略其il明。位置信息输出单元26基于来自面部检测单元24的检测结果，将检测出 的面部图像的位置信息输出到图像合成单元17。此外，位置信息输出单元26 基于来自面部追踪单元25的追踪结果，将所追踪的面部图像的位置信息输出 到图像合成单元17。
另外，作为位置信息输出单元26输出的面部图像的位置信息，只要是能 够确定拍摄图像中的面部图像的区域的信息，则可利用任意信息。作为上述 面部图像的位置信息的例子，可列举上述面部图像的区域中的中心坐标以及 幅度的组合、表示上述面部图像的区域边界的矩形的4个顶点坐标的组合等。
图3表示上述结构的数字照相机10中的面部检测处理以及面部追踪处理 的处理动作。如图所示，在图像取得单元22取得摄像单元11所拍摄的活动 图像中的一拍摄图像时，条件决定单元23参照结果历史存储单元28中的结 果历史即面部图像的检测历史以及追踪历史，判断是否存在检测出的面部图 像(已检测对象)(步骤SIO。以下，有时仅记载为"S10"。关于其他步骤也 是同样。)。当不存在时，进至步骤S15。
当存在已检测对象时，条件决定单元23根据上述结果历史决定上述追踪 条件(S11 ),并且面部追踪单元25以所决定的追踪条件来追踪检测出的面部 图像(S12)。接着，面部追踪单元25将追踪结果以及追踪条件存储到结果历 史存储单元28,另一方面，位置信息输出单元26将基于上述追踪结果的面 部图像的位置信息输出到图像合成单元17(S13)。由此，图像合成单元17 生成与面部追踪单元25追踪的面部图像有关的框图像，并将生成的框图像与 拍摄图像进行合成，从而经由显示单元13显示输出。
接着，条件决定单元23判断上述已检测对象是否都处理完毕(S14)。在 没有都处理完时，返回到步骤Sll从而重复上述处理动作。另一方面，在都 处理完时，进至步骤S15。
在步骤S15中，条件决定单元23参照结果历史存储单元28中的检测条 件，将检测条件从上一次的检测条件进行变更。接着，面部检测单元24以变 更后的检测条件来检测面部图像(S16)。然后，面部检测单元24将检测结果 以及;f企测条件存储到结果历史存储单元28,另一方面，位置信息输出单元26 将基于上述检测结果的面部图像的位置信息输出到图像合成单元17 (S17)。 由此，图像合成单元17生成与面部检测单元24检测的面部图像有关的框图 像，并将生成的框图像与拍摄图像进行合成，从而经由显示单元13显示输出。然后，结束处理动作。
图4表示上述合成图像的例子。图4 (a)以时序地表示在本实施方式的 数字照相机10中所显示的合成图像的例子。此外，图4 (b)为比较例，其 以时序列表示在以往的数字照相机中所显示的合成图像的例子。另外，在图 示的例子中，将用于进行所有的面部检测的检测条件的数量设为5个。
在本实施方式中，如图4(a)所示，对于第l个拍摄图像al，以第l检 测条件进行面部检测，围绕检测出的面部图像的矩形的框图像M被合成到第 2个拍摄图像a2中而显示。接着，对于第2个拍摄图像a2，以与第l检测条 件不同的第2检测条件进行面部检测，围绕检测出的面部图像的矩形的框图 像b2被合成到第3个拍摄图像a3中而显示。此外，对于第2个拍摄图像a2， 以适于框图像bl所围绕的面部图像的追踪条件来进行面部追踪，围绕所追踪 的面部图像的矩形的框图像cl被合成到第3个拍摄图像a3中而显示。
接着，对于第3个拍摄图像a3，以与第1检测条件和第2检测条件不同 的第3检测条件进行面部检测，围绕检测出的面部图像的矩形的框图像b3被 合成到第4个拍摄图像a4中而显示。此外，对于第3个拍摄图像a3，以分别 适于框图像cl和b2所围绕的两个面部图像的追踪条件来进行面部追踪，围 绕所追踪的面部图像的矩形的框图像cl、 c2被合成到第4个拍摄图像a4中 而显示。
接着，对于第4个拍摄图像a4,以与第1 第3检测条件不同的第4检测 条件进行面部检测，围绕检测出的面部图像的矩形的框图像b4被合成到第5 个拍摄图像a5中而显示。此外，对于第4个拍摄图像a4，以分别适于框图像 cl、 c2、 b3所围绕的3个面部图像的追踪条件来进行面部追踪，围绕所追踪 的面部图像的矩形的框图像cl c3被合成到第5个拍摄图像a5中而显示。
以下，通过重复上述过程，第6个拍摄图像a6、围绕在第5个拍摄图像 a5中检测出的面部图像的矩形的框图像b5、围绕在第5个拍摄图像a5中所 追踪的面部图像的矩形的框图像cl c4被合成显示。即，在第6个合成图像 中，显示以所有的检测条件进行了面部检测的结果的框图像cl c4和b5。
另一方面，在以往，如图4(b)所示，对于第l个拍摄图像al，以第l 第5检测条件顺序进行面部检测，在该面部检测结束后，围绕检测出的所有 面部图像的矩形的框图像dl d5与拍摄图像合成后显示。因此，直到上述框 图像dl d5显示为止花费时间。在图示的例子中，对于第l个拍摄图像al的面部检测的框图像dl d5与第6个拍摄图像a6合成显示。
另外，在图4中，拍摄图像中的各个被摄体的位置在拍摄图像al a6之 间相同，但实际上由于被摄体移动，因此大多在拍摄图像al a6之间不同， 随着时间的经过，大多偏离会变大。
若比较图4 U)以及图4 (b)，则本实施方式与以往相比，表示面部斗全 测以及面部追踪的结果的框图像，虽然是一部分但会迅速地开始显示，因此 可理解为能够缩短用户等待面部图像的检测的时间。此外，由于框图像的数 量逐渐增加，因此框图像显示的样子比现有技术平滑。此外，由于表示面部 检测以及面部追踪的剩余结果的框图像依次显示，因此可理解为能够给用户 提供新的娱乐。
此外，在本实施方式中，如图4(a)所示，第2检测条件下的面部检测 是对第2个拍摄图像a2进行，表示检测结果的框图像b2与下一个(第3个) 拍摄图像a3合成。另一方面，在现有技术中，如图4(b)所示，第2检测条 件下的面部检测是对第1个拍摄图像al进行，表示检测结果的框图像d2与 第6个拍摄图像a6合成。
从而，本实施方式与以往相比，成为面部检测的对象的拍摄图像的拍摄 时刻与合成了表示检测结果的框图像的拍摄图像的拍摄时刻的期间较短，因 此可理解为框图像与合成了该框图像的拍摄图像中的面部图像的偏离变小。
此外，在本实施方式中，如图4(a)所示，与第6个拍摄图像a6合成的 框图像中，框图像cl c4是与对第5个为止的拍摄图像进行一次检测后继续 追踪的面部图像有关的图像，框图像b5是与对第5个为止的拍摄图像进行检 测的面部图像有关的图像。即，在本实施方式中，与第6个拍摄图像a6合成 的框图像是与之前(第5个)的拍摄图像a5中的面部图像有关的图像。另一 方面，在现有技术中，如图4(b)所示，与第6个拍摄图像a6合成的框图像 dl d5都是与对第1个拍摄图像al进行检测的面部图像有关的图像。
从而，本实施方式与以往相比，成为生成框图像的来源的拍摄图像的拍 摄时刻与合成了该框图像的拍摄图像的拍摄时刻的期间较短，因此可理解为 框图像与合成了该框图像的拍摄图像中的面部图像的偏离变小。
下面，参照图5 图7说明本发明的其他实施方式。图5表示作为本实施 方式的数字照相机的概略结构。图示的数字照相机10与图l所示的数字照相机10相比，不同点在于，条件决定单元30的功能不同，且从面部才全测单元
24以及面部追踪单元25到位置信息输出单元26之间追加了结果校正单元(校 正部件)31，其他结构相同。另外，对与在上述实施方式中说明的结构以及 处理动作相同的结构以及处理动作赋予相同的标号，并省略其说明。
图1所示的条件决定单元23依次决定检测所有面部图像所需的多个检测 条件。这时，通过取得活动图像中包含的多个拍摄图像，从而对于所有上述 多个检测条件，能够与上述现有技术同样地，输出面部图像的全部;f企测结果。
对此，本实施方式的条件决定单元30基于结果历史存储单元28的^^测 结果的历史，动态地变更检测条件从而决定。另外，动态地变更的条件的信 息被存储在条件存储单元27。
例如，可列举图2(c)中的左侧的图像所示那样的，在规定期间没有基 于横向的面部图像的模板的面部检测时，减少利用该模板的检测条件下的检 测频度。这是因为考虑到在上述的情况中，被摄体的脸向着数字照相机10的 方向。
此外，可列举在从至今为止检测面部图像的拍摄图像中突然无法检测面 部图像时，增加该面部图像的检测条件下的检测频度。这是因为考虑到在上 述的情况中，被摄体从数字照相机10画出(frame out)，或者被摄体回头看， 所以被摄体的面部面向与数字照相机IO相反的方向，再次检测出面部图像的 可能性较高。
这样，通过基于上述检测结果的历史来动态地改变检测条件，从而能够 提高面部检测的效率。
以下，归纳记载基于上述检测结果的历史来动态地改变检测条件的方法。
第1方法是根据在某一检测条件下的至今为止的检测次数，变更该检测条件 的利用频度。例如，可列举在拍摄图像的某一区域中的检测次数较多时，增 加利用该区域作为检测条件的频度。此外，可列举在面部的某一方向的检测 次数较少时，减少利用该方向的模板作为检测条件的频度。
例如，可列举在拍摄图像中的右下区域和左上区域同时检测面部图像的次数 较少的情况下，在一个区域检测面部图像时，减少利用另一个区域作为检测 条件的频度。此外，可列举在同时检测第1方向的面部图像，和从第1方向 在图像内旋转180°后的第2方向的面部图像的可能性较低的情况下，在检测第1方向的面部图像时，减少利用第2方向作为检测条件的频度。
此外，例如可列举，在拍摄图像的中央区域30像素(pixel)的面部图像 较多，在周边区域中20像素的面部图像较多的情况那样，根据拍摄图像中的 区域而在检测出的面部图像的大小中存在倾向时，根据区域来变更利用面部 图像的大小作为检测条件的频度。
第3方法是在检测条件的顺序中存在规律性时，基于该规律性来变更检 测条件的顺序。例如可列举，当检测一次后的面部图像的大小随着时间有变 小的倾向时，将面部图像的大小按照从大到小的顺序作为检测条件来利用。 此外可列举，在找不到检测了一次的面部图像时，若预想不久后在相同的检 测条件下会再次呈现，则暂时增加利用上述检测条件的频度。
结果校正单元31基于来自面部检测单元24的检测结果，对来自面部追 踪单元25的追踪结果进行校正。结果校正单元31将校正后的检测结果以及 追踪结果送到位置信息输出单元26。
以往，对于检测所有面部图像所需的多个检测条件的每一个，顺序从拍 摄图像检测面部图像，并基于这些多个检测结果来校正检测结果，从而输出 校正后的检测结果。例如可列举，对于拍摄图像的某个区域检测出大小为20 像素的面部图像和大小为30像素的面部图像两者时，校正为以平均值的25 像素作为大小的面部图像。
相对地，在本实施方式中，在取得拍摄图像时，决定上述多个检测条件 的一部分，以所决定的检测条件来检测面部图像，并输出检测结果。因此， 与基于多个检测条件的全部的检测结果来校正检测结果的以往情况相比，检 测结果的精度会降低。
因此，在本实施方式中，结果校正单元31如上所述那样，基于来自面部 检测单元24的检测结果对来自面部追踪单元25的追踪结果进行校正。另夕卜， 结果校正单元31还可以基于结果历史存储单元28的历史结果对来自面部追 踪单元25的追踪结果进行校正。
图7是用于说明校正追踪结果的一例的图。图7 (a)表示某一时刻的合 成图像。如图所示，该合成图像包括某一时刻的拍摄图像el、与对该时刻之 前的拍摄图像(未图示)通过面部检测而检测出的30像素的面部像素对应的 框图像fl。假设在面部检测单元24对图7 (a)所示的拍摄图像el使用20 像素的模板进行了面部检测时，如图7(b)的虚线所示，检测出两个20像素的面部图像gl、 g2。这时，由框图像fl围绕的30像素的面部图像和20像
素的面部图像gl是在拍摄图像中的相同区域中检测出，因此认为是同一面部。
因此，结果校正单元31将对图7 (a)所示的拍摄图像el以适合框图像 fl围绕的面部图像的追踪条件进行了追踪的30像素的面部图像(未图示)， 校正为30像素和20像素的平均即25像素的面部图像，并将校正结果送到位 置信息输出单元26。另外，在与上述区域不同的区域中初次检测出的面部图 像g2被送到位置信息输出单元26而不被校正。
这时，图7 (c)表示显示单元13所显示的合成图像。如图所示，该构成 图像包括下一个拍摄图像e2、与对拍摄图像el通过面部检测所检测的20 像素的面部图像对应的框图像G、与通过面部追踪进行追踪且校正后的25像 素的面部图像对应的框图像hl。若比较图7 (a)以及图7 (c)，则可理解校 正后的框图像hl与校正前的框图像fl相比，大小接近实际的面部图像的大 小。从而，能够逐渐提高面部图像的精度。
以下，归纳记载基于检测结果来校正追踪结果的方法。第1方法是，在 以多个检测条件检测了被估计为相同被摄体的面部图像时，以检测结果的平 均来校正追踪结果的方法。例如可列举，在拍摄图像的大致相同的区域中的 面部图像的检测次数达到了规定的帧数时，以检测的面部图像的大小的平均 值来校正追踪结果中的面部图像的大小，或以检测的面部图像的方向的平均 值来校正追踪结果中的面部图像的方向。此外可列举，校正追踪结果中的面 部图像的追踪位置，以使被估计为相同被摄体的面部图像的移动轨迹变得平 滑。
还有在以多个检测条件检测了被估计为相同被摄体的面部图像时，以适 当的检测条件的检测结果优先来校正追踪结果的方法。例如可列举，在通过 变更图像滤波器的检测条件而检测数量减少时，假设之前的检测条件的检测 结果更加适合，从而计算在其检测结果中设置权重的加权平均，并基于计算 结果来校正追踪结果。
图6表示上述结构的数字照相机10中的面部检测处理以及面部追踪处理 的处理动作。如图所示，在图像取得单元22取得由摄像单元11拍摄的活动 图像中的一拍摄图像时，条件决定单元30参照结果历史存储单元28中的结 果历史，判断是否存在已检测对象(SIO)。当不存在时，进至步骤S21。当存在已检测对象时，条件决定单元30根据上述结果历史决定上述追踪
条件(S11 )，面部追踪单元25以所决定的追踪条件来追踪检测出的面部图像 (S12)。接着，面部追踪单元25将追踪结果以及追踪条件存储到结果历史存 储单元28 ( S20 )。
接着，条件决定单元30判断上述已检测对象是否都处理完毕(S14)。在 没有都处理完时，返回到步骤Sll从而重复上述处理动作。另一方面，在都 处理完时，进至步骤S21。
在步骤S21中，条件决定单元30参照结果历史存储单元28中的检测条 件，将检测条件从上一次的检测条件进行变更。这时，条件决定单元30还考 虑结果历史存储单元28中的检测结果的历史从而变更检测条件。
接着，面部检测单元24以变更后的检测条件来检测面部图像(S16 )。然 后，面部检测单元24将检测结果以及检测条件存储到结果历史存储单元28 (S22 )。
接着，结果校正单元31基于步骤S16的检测结果，校正步骤S12的追踪 结果(S23)。然后，位置信息输出单元26将基于上述检测结果的面部图像的 位置信息和基于校正后的追踪结果的面部图像的位置信息输出到图像合成单 元17(S24)。由此，图像合成单元17生成与面部检测单元24检测的面部图 像有关的框图像，和与面部追踪单元25追踪且结果校正单元31校正的面部 图像有关的框图像，并将生成的框图像与拍摄图像进行合成，从而经由显示 单元13显示输出。然后，结束处理动作。
本发明不限于上述的各个实施方式，在权利要求所示的范围内可进行各
施方式也包含在本发明的技术范围内。
例如，在上述实施方式中，将与面部检测以及面部追踪有关的各个结构 22 28、 30、 31设置在控制单元20中，但也可以设置在图像处理单元12中。 此外，在上述实施方式中，将检测结果以及追踪结果作为框图像显示输出， 但也可以基于检测结果以及追踪结果，进行焦距调整或焦点调整等摄像单元 11的控制。
此外，在上述实施方式中，从拍摄图像检测面部图像从而追踪。但是， 也可以应用到动画片(animation)以及其他活动图像中。此外，也可以检测 人的上半身或全身的图像，也可以检测球、车辆、搬运的货物以及其他移动的物体的图像。进而，即使是静止的物体，只要移动数字照相机IO，则在拍 摄图像上是移动的，因此也可应用。即，本发明可应用于检测取得的时间序 列图像上移动的物体的图像。
此外，在上述实施方式中，将本发明应用到数字照相机10，但也可以将 本发明应用到带照相机的移动电话等具有摄像单元的任意电子设备中。进而， 也可以应用到取得活动图像从而进行图像处理的图像处理装置中。预想这样 的图像处理装置不仅可以应用到数字照相机10，也可以应用到打印机中。
最后，数字照相机10的各个块、尤其是控制单元20以及图像处理单元 12，可以通过硬件逻辑构成，也可以如下那样使用CPU从而通过软件来实现。
即，数字照相机10包括执行用于实现各个功能的控制程序的命令的 CPU、存储了上述程序的ROM、展开上述程序的RAM、存储上述程序以及 各种数据的存储器等存储装置(存储介质)等。并且，本发明的目的也可以 通过以下方式来达成，即将计算机可读取地记录了作为实现上述功能的软件 的数字照相机10的控制程序的程序代码(执行形式程序、中间码程序、源程 序)的记录介质提供给上述数字照相机10，其计算机(或者CPU或MPU ) 读取并执行记录介质中所记录的程序代码。
作为上述记录介质，例如可使用磁带或盒式磁带等带类、包含软盘(注 册商标)/硬盘等磁盘或CD-ROM/MO/MD/DVD/CD-R等光盘的盘类、IC卡 (包含存储卡)/光卡等卡类，或者掩膜ROM/EPROM/EEPROM/闪速ROM 等半导体存储器类等。
此外，也可以与通信网络可连接地构成数字照相机10，并将上述程序代 码经由通信网路来提供。作为该通信网络，不特别限定，例如可利用互联网、 内部网、外部网、LAN、 ISDN、 VAN、 CATV通信网、虚拟专用网(virtual private network)、电话线路网、移动通信网、卫星通信网等。此外，作为构成通信 网路的传输介质不特别限定，例如可利用IEEE1394、 USB、电力线传播、电 缆TV线路、电话线、ADSL线路等有线，也可利用IrDA或遥控器那样的红 外线、Bluetooth (注册商标)、802.11无线、HDR、移动电话网、卫星线路、 地波数字网等无线。另外，本发明也可以通过上述程序由电子传输而被体现 的、嵌入载波的计算机数据信号的方式来实现。
如上所述，本发明的数字照相机在取得拍摄图像时，以与上一次的检测 条件不同的检测条件对所取得的拍摄图像进行面部检测，从而虽然是一部分但能够短时间内输出检测结果，因此除了附带照相机的移动电话之外，还可 以应用到如打印机等那样的从源图像中检测对象图像的任意的电子设备中。
权利要求
1、一种对象图像检测装置，从源图像中检测出对象图像，其特征在于，包括取得部件，取得所述源图像；决定部件，从用于检测出所述对象图像的多个检测条件中，决定为与上一次的检测条件不同的检测条件；检测部件，对所述取得部件取得的源图像，以所述决定部件决定的检测条件来检测出所述对象图像；以及输出部件，输出该检测部件检测出的检测结果。
2、 如权利要求1所述的对象图像检测装置，其特征在于，还包括结果历史存储单元，其存储所述检测部件检测出的检测结果的 历史，所述决定部件还基于所述结果历史存储单元中的检测结果的历史，决定 检测条件。
3、 如权利要求1所述的对象图像检测装置，其特征在于， 所述决定部件从用于检测出所述对象图像的多个检测条件中，依次决定检测条件。
4、 如权利要求1所述的对象图像检测装置，其特征在于， 所述取得部件取得活动图像中包含的多个静止图像作为所述源图像， 所述对象图像检测装置还包括追踪部件，将所述检测部件对所述取得部件取得的某 一 时刻的源图像检测的所述对象图像，在所述时刻之后的时刻 的源图像中进行追踪，所述输出部件还输出所述追踪部件追踪的追踪结果。
5、 如权利要求4所述的对象图像检测装置，其特征在于，还包括校正部件，基于所述检测部件检测的检测结果，校正所述追踪 部件追踪的追踪结果，踪的追踪结果。
6、 一种电子设备，包括权利要求1至5的任一项所述的对象图像检测装置。
7、 如权利要求6所述的电子设备，其特征在于，还包括 显示单元，显示信息；以及图像合成部件，将表示所述对象图像检测装置检测出的检测结果的图像 合成到所述源图像后显示在所述显示单元中。
8、 一种控制程序，用于使权利要求1至5的任一项所述的对象图像检测 装置动作，使计算机作为上述各个部件起作用。
9、 一种计算机可读取的记录介质，其记录了权利要求8所述的控制程序。
10、 一种对象图像检测装置的控制方法，该对象图像检测装置从源图像 中检测对象图像，其特征在于，所述控制方法包括取得步骤，取得所述源图像；决定步骤，从用于检测出所述对象图像的多个检测条件中，决定为与上 一次的检测条件不同的检测条件；检测步骤，对所述取得步骤取得的源图像，以所述决定步骤决定的检测 条件来检测出所述对象图像；以及输出步骤，输出在该检测步骤中检测出的检测结果。
全文摘要
本发明提供对象图像检测装置、其控制方法、程序、记录了该程序的记录介质及电子设备，其能够迅速地输出面部图像的检测结果。数字照相机(10)的控制单元(20)是从拍摄图像中检测面部图像的对象图像检测装置。控制单元(20)包括取得拍摄图像的图像取得单元(22)；从用于检测面部图像的多个检测条件中，决定为与上一次的检测条件不同的检测条件的条件决定单元(23)；对图像取得单元(22)取得的拍摄图像，以条件决定单元(23)决定的检测条件来检测面部图像的面部检测单元(24)；以及将检测出的面部图像的位置信息输出到图像合成单元(17)的位置信息输出单元(26)。
文档编号H04N5/225GK101534393SQ20091000649
公开日2009年9月16日 申请日期2009年2月18日 优先权日2008年3月14日
发明者森山孝三 申请人:欧姆龙株式会社
最新回复(0)