信息处理装置、信息处理方法以及程序的制作方法
专利名称：信息处理装置、信息处理方法以及程序的制作方法
技术领域：
本发明涉及图像处理装置、图像处理方法以及程序，更具体地，涉及如下的图像处理装置、图像处理方法以及程序其中，根据静止图像(以下称为帧图像)与运动图像之间的关系，从包含静止图像和运动图像的数据中的运动图像提取静止图像，并且排列静止图像和运动图像。
背景技术：
随着近来数码相机的性能得到增强，市场上的一些数码相机现在能够记录高分辨率运动图像。因此，存在对不仅打印静止图像而且打印从运动图像中剪切的帧图像或者将静止图像或帧图像放置于相册中的要求。针对这样的背景，已作出了关于静止图像和帧图像的易于观看的布局和列表的各种提议。例如，JP 2009-118060A描述了一种这样的图像显示装置通过从静止图像或运动图像的图像数据中提取静止图像来获取特征量，以基于特征量确定静止图像在显示区域内的布局中的位置，并且在显示区域内以列表的形式显示通过减小静止图像的尺寸而获得的用于显示的图像。该文献还描述了在运动图像的图像数据包含多个内容的情况下，将运动图像的图像数据分割成事件(event)或片段，以从其无噪声部分中提取表示运动图像的静止图像并且将静止图像排列成彼此靠近。JP 2009-246887A描述了从存储在存储介质中的各运动图像文件提取与给定数量的帧图像相对应的帧图像信息，并且以如下的这种方式确定排列顺序可以根据满足给定条件的顺序排列与所提取的帧图像信息相对应的索引图像和与从存储介质读出的静止图像文件相对应的索引图像。JP 2009-246897A描述了要打印包含从运动图像文件中提取的索引图像和从静止图像文件中提取的索引图像的图像的列表的情况，该专利文献描述了校正索引图像的尺寸以与尺寸信息的参考特征量相符，校正索引图像的颜色以与打印前的颜色信息的参考特征量相符，使得图像的打印列表在根据运动图像文件和静止图像文件产生的索引图像中具有视觉统一性。
发明内容
然而，如在JP 2009-118060 A中一样当从提取运动图像开始经过了先前指定时间的时刻处从运动图像提取静止图像，以便提取无噪声部分的情况下，或者在针对静止图像提取而分析运动图像的图像数据中的噪声的情况下，从运动图像中提取的静止图像必定是代表运动图像的静止图像，但不一定是用户期望打印为静止图像或者用作相册的素材的图像。另外，如在JP 2009-246887A和JP 2009-246897A中，在提取运动图像和静止图像之后，确定排列条件并且进行图像校正以提供布局的统一性的情况下，不一定可以提取最适合于打印的图像，或者实际上不一定可以使用包含在运动图像中的图像(其在被使用时
5会提供统一性而无需图像校正)。另外，作为印刷物、相册、电子相册等，显示仅有的列表中的图像可能给予单调、令人厌烦的印象。本发明的目标在于提供如下的图像处理装置、图像处理方法以及程序其用于通过根据将运动图像和静止图像分类成组并分析这些图像而获得的关系产生布局，来产生更吸引人的图像排列数据。为了实现上述目的，本发明提供了一种用于生成图像布局的图像处理装置，其包括图像数据输入单元，用于接收运动图像和静止图像的数据，图像分组单元，用于根据给定条件将运动图像和静止图像分类成组，图像分析器，用于按组分析所分类的运动图像和静止图像，并且获得分析信息以及关系信息，其中，该分析信息是通过分析运动图像和静止图像而获得的，该关系信息表示运动图像与静止图像之间的关系，帧图像提取器，用于根据分析信息和关系信息中的至少一个，按组确定要从每幅运动图像中提取的帧图像的数量，并且提取确定数量的帧图像，布局确定单元，用于根据分析信息和关系信息中的至少一个，按组确定静止图像和帧图像的布局，以及图像排列单元，用于根据布局，按组排列静止图像和帧图像。此外，本发明提供了一种用于生成图像布局的图像处理方法，其包括图像数据输入步骤，用于接收运动图像和静止图像的数据，图像分组步骤，用于在给定条件下将运动图像和静止图像分类成组，图像分析步骤，用于按组分析所分类的运动图像和静止图像，并且获得分析信息以及关系信息，其中，该分析信息是通过分析运动图像和静止图像而获得的，该关系信息表示运动图像与静止图像之间的关系，帧图像提取步骤，用于根据分析信息和关系信息中的至少一个，按组确定要从每幅运动图像中提取的帧图像的数量，并且提取确定数量的帧图像，布局确定步骤，用于根据分析信息和关系信息中的至少一个，按组确定静止图像和帧图像的布局，以及图像排列步骤，用于根据布局，按组排列静止图像和帧图像。此外，本发明提供了一种非暂态计算机可读介质，其存储用于使计算机执行上述制造图像的布局的图像处理方法的计算机程序。本发明使得能够产生根据运动图像与静止图像之间的关系排列静止图像和最佳帧图像的排列数据，而即使当素材数据包含混合在其中的运动图像数据和静止图像数据时也无需费力从图像中选择用户期望使用的帧图像。
图IA至图IC是用于说明根据本发明的分类和帧图像提取思想的视图；图2是示出用于实现本发明的图像处理方法的图像处理装置的构造示例的框图。图3是示出本发明的图像处理方法的流程的示例的流程图。图4A是用于说明分类示例的视图；图4B是用于说明实现了帧图像提取的分类示例的视图。图5是用于说明与相同对象相关的有效布局的示例的视图。图6是用于说明包含静止图像和运动图像这两者并且静止图像和运动图像高度相关的示例的视图。图7是用于说明已从运动图像中提取了帧图像的示例的视图。图8是用于说明包含静止图像和运动图像这两者并且静止图像和运动图像高度相关的布局的示例的视图。图9是用于说明包含静止图像和运动图像这两者并且静止图像和运动图像高度相关的布局的另一示例的视图。图IOA和图IOB均是用于说明包含静止图像和运动图像这两者并且静止图像和运动图像相关程度低的布局的示例的视图。图IlA至图IlC均是用于说明仅排列从运动图像中提取的帧图像的布局示例的视图。图12A是用于说明示出实现分类之前的状态的示例的视图；图12B是用于说明示出实现分类之后的状态的示例的视图；图12C是用于说明已排列图像的示例的视图；图12D 是用于说明如下示例的视图其示出用于重构已输入重构指令的页面的模板示例。图13是用于说明从分类成事件的运动图像和静止图像提取推荐图像的示例的视图。图14A是用于说明按类似场景实现分类并且确定并提取推荐图像的示例的视图。 图14B是用于说明针对指定人物实现分类并且确定并提取推荐图像的示例的视图。图15是用于说明在检测到面部和消失点之前的布局示例的视图。图16是用于说明使用面部和消失点实现布局的布局示例的视图。图17A和图17B是用于说明提取并在给定方向上排列示出了面部方向上的改变的帧图像的示例视图。图18是用于说明叠加了另一图像以不隐藏主要对象的布局示例的视图。图19是用于说明确保位于对象的面部方向上给定空间不存在其他图像的布局示例视图。图20A是用于说明识别目标人物的面部但其眼部不朝向相机的布局示例的视图； 图20B是用于说明目标人物的眼部朝向相机并且观察到微笑的布局实例的视图。图21是用于说明从运动图像中自动提取推荐图像的示例的视图。图22是用于说明用于混洗打印(shuffle print)的布局示例的视图。图23是用于说明按时间先后顺序排列最佳照片(shot)以表现移动的布局示例的视图。图M是用于说明从多幅帧图像产生高分辨率帧图像的示例的视图。图25是用于说明从多幅图像的组中提取示出给定人物的图像的示例的视图。图沈是用于说明登记和分类处理的示例的视图。图27是用于说明登记和分类处理的另一示例的视图。图28是用于说明相册中的布局示例的视图。图四是用于说明相册中的另一布局示例的视图。
图30是用于说明在相册的页边区域中添加字符的示例的视图。图31是用于说明在空白区域和除了相册的面部区域外的区域中添加字符的示例的视图。图32是说明根据所选图像的颜色信息选择背景模板的示例的视图。图33是说明用于将四幅图像排列在一个页面中的模板的构成示例的视图。图34是用于说明示出如何将图像总数超过图像基准数量的组均分割成两组以上的示例的视图。图35是用于说明显示将图像分类成组的结果和表示图像的基准数量的线(界线) 的屏幕示例的视图。图36是用于说明被分类成第一组至第五组的图像示例的视图。图37是用于说明如何仅考虑图像基准数量来从运动图像中提取帧图像的示例的视图。图38A和图38B分别示出如何根据用户所指定的相册的页面数量增大帧图像的数量以及如何分割图38A所示的图像并分配给7个页面。图39是用于说明单帧图像内容放大并且位于页面中心处的布局示例的视图。图40是用于说明示出如何将帧图像的数量增大至四并且缩小每幅图像的显示尺寸的示例的视图。图41A至图41C分别示出包含孩子和兔子的运动图像、如何在面部移动之前和在面部移动之后提取包含孩子的面部的给定区域作为帧图像。图42A说明示出孩子和兔子的静止图像。图42B是用于说明示出如何从包含孩子和兔子的运动图像中提取分别包含孩子和兔子(两者属于同一组)的给定区域作为帧图像。
具体实施例方式以下基于附图中所示的优选实施例详细描述用于实现本发明的图像处理方法的本发明的图像处理装置。首先，将参照图1描述用于对运动图像和静止图像进行分类并且从运动图像中提取帧图像的本发明的方法。图1是用于说明根据本发明的分类和帧图像提取概念的视图。首先，当如图IA所示输入包含运动图像和静止图像的图像数据时，按事件或者如图IB所示按拍摄时间对运动图像和静止图像进行分类。然后，按组分析每组的运动图像和静止图像，以获得通过分析运动图像和静止图像而获得的分析信息以及关于运动图像与静止图像之间的关系的信息。 随后，根据分析信息和/或关系信息确定要从每幅运动图像提取的帧图像的数量，以提取预定数量的帧图像。在图IC所示的示例中，例如，从分类为第一组的运动图像中提取三幅帧图像；从分类为第二组的运动图像中提取两幅帧图像。因此，通过根据分析信息和/或关系信息提取帧图像来提取适当的帧图像。图2是示出用于实现本发明的图像处理方法的本发明的图像处理装置的构造的实施例的框图。图2所示的图像处理装置10包括图像数据输入单元12、图像显示器14、操作单元16、图像记录器18、图像分组单元19、图像处理器20、布局确定单元沈和图像排列单元28， 以上全部通过总线30连接。图像处理器20包括图像分析器22和帧图像提取器对。在该实施例中，将描述用于制作相册的示例。图像数据输入单元12具有外部接口，并且接收要用于制作相册的运动图像数据和静止图像数据(运动图像/静止图像数据)。提供给图像数据输入单元12的图像数据不被具体限制，并且可以是包括用户利用数码相机或数字摄像机获取的运动图像/静止图像数据以及从网络下载的运动图像/静止图像数据的各种图像数据。外部接口包括USB(通用串行总线)、存储卡读写器、光盘以及有线和无线LAN(局域网)。提供给图像数据输入单元12的图像数据被作为素材图像数据(运动图像/静止图像数据)输出。图像显示器14显示在图像处理装置10中运行的图像处理应用程序的编辑画面、 图像已被排列(例如，相册中的排列图像)的数据、用户执行各种操作的操作画面等。提供操作单元16以执行图像处理装置10的各种操作。操作单元16不被特别限制，并且可以使用各种已知操作装置中的任一个，诸如，键盘、鼠标和触摸面板。图像记录器18记录所输入的素材图像数据(运动图像/静止图像数据)、帧图像数据、静止图像和帧图像的布局数据、表示排列图像的排列数据等。图像记录器18可以是诸如DRAM(动态随机存取存储器)和闪存的半导体存储器或者诸如HDD(硬盘驱动器)的磁性记录介质。图像分组单元19根据给定条件(事件)将所输入的素材图像数据(运动图像/ 静止图像数据)分类成组。例如，给定条件可以是通过GPS (全球定位系统)获得的拍摄时间、拍摄位置等、对象面向的方向、或者对象的移动。可以将分类结果作为分类信息添加到素材图像数据中，并且可以使用图像记录器18中所单独提供的表格对分类结果进行管理。图像分析器22包括静止图像分析器2 和运动图像分析器22b。图像分析器22 进行分析，以确定每组是否均包含运动图像和静止图像，即，是否混合地包含运动图像和静止图像。静止图像分析器2 针对图像分组单元19已分类的各组分析静止图像数据，以获得可以从运动图像中提取的帧图像的最大数量(以下称为最大可提取数量)、通过分析静止图像而获得的分析信息、以及关于运动图像与静止图像之间的关系的信息(以下称为关系信息)。例如，最大可提取数量可以是通过从同一组中所包含的图像的预定基准数量减去静止图像的数量而获得的数量。同一组中所包含的图像的基准数量是可以按组排列的图像的最大数量。例如当将每组的图像分配给相册的一个页面时，图像的基准数量是可以排列在相册的一个页面中的图像的最大数量。例如当使用用于将图像排列在页面中的预设位置的布局(预定候选布局)的模板时，图像的基准数量是在该模板中可以使用(排列)的图像的最大数量。例如当使用图33 所示的模板时，可以排列四幅图像，因此，图像的基准数量为四。当使用模板时，图像的基准数量随着所使用的模板而变化。另一方面，当将图像排列在页面中的任意位置而不使用现有的模板(自由布局) 时，图像处理装置已考虑观看的方便性而在其中设置可排列在一页中的图像的最大数量。 因此，在自由布局的情况下，图像的基准数量是图像处理装置10中所预设的“可排列在一个页面中的图像的最大数量”。分析信息可以是例如以下各项中的至少一个对象的面部识别结果、面部方向、对象的数量、对象的尺寸、对象的位置、对象面向的方向、对象的面部表情识别、拍摄时间、拍摄位置、整幅图像的构图(composition)、消失点、颜色、亮度、整幅图像的生动性、人物的标识、拍摄条件、图像的分辨率、图像的纵横比、以及拍摄模式。因此，对于关系信息，代表值可以是通过对比较关于运动图像的分析信息和静止图像的分析信息而获得的上述信息进行加权而获得的，代表值在上限为100以及下限为0 的范围内。可替选地，可以将分析信息用作关系信息。构图以表示人物、建筑、天空等的风景为例；拍摄模式以正常拍摄模式、全景拍摄模式、特写(Close-up)模式、以及人物拍摄模式为例。类似于静止图像分析器22a，运动图像分析器22b针对图像分组单元19已分类的各组来分析运动图像数据，以获得分析信息和关系信息。分析信息还可以是移动检测信息和相机移动量(遥摄、倾斜)。帧图像提取器M根据图像分析器22所获得的运动图像和静止图像的分析信息和 /或关系信息，按组确定要从运动图像中提取的图像数量(其不超过最大可提取数量)，并且提取确定数量的帧图像。例如，当基于拍摄时间提取帧图像时，预先制作如表1所示的表格，并且基于该表格确定提取数量，以从运动图像中提取帧图像。将所提取的帧图像的数据 (帧图像数据)存储在图像记录器18中。表 1
运动图像拍摄时间所提取的图像的数量Is—5s16s-IOs2例如当使用“面部方向”时，可以将面部方向的变化保持为固定值来代替使用表格。例如，当面部方向从给定位置改变了 15度以上时，可以提取帧图像。另外，当基于拍摄模式提取帧图像时，如果静止图像是特写图像，则可以从运动图像提取接近于特写图像的帧图像。帧图像提取器M可以根据关于运动图像的分析信息中的成像时间(再现时间)、 关于运动图像的分析信息中的成像内容、和/或关系信息，从运动图像中提取帧图像，而无需考虑图像的基准数量。当组中的静止图像和帧图像的总数超过图像的基准数量时，根据关于静止图像 (包括从图像中所提取的)的分析信息，从所提取的帧图像中提取推荐帧图像(帧图像提取器对判断为优选的帧图像)而不超过图像的基准数量。在这种情况下，可以例如以将高分数给予以大比例示出人物的面部的图像的这种方式利用分数对帧图像中的每一个定级，并且可以使用被给予高分数的帧图像而不超过图像的基准数量。可替选地，可以将图像的总数量超过图像的基准数量的组划分成两组以上。假设在从运动图像中按组提取帧图像之后，在如图34所示的第一至三组中，静止图像和帧图像的总数超过四(图像的基准数量)。应注意，在图34中对帧图像进行了编号。第一组包含总共八幅图像；第二组包含总共五幅图像；第三组包含总共六幅图像。在这种情况下，第一至第三组中的每一组中第五个及其后的静止图像和帧图像被分入其他组。可替选地，用户可以考虑图像的基准数量来确定可以从每幅运动图像中提取的帧图像的可选择数量。如图35所示，屏幕显示将图像分成组的结果和表示图像的基准数量的线(界线)。例如，由于第三组包含单个运动图像，因此，可以最多提取四幅帧图像。相应地，用户可以从一至四的范围选择要提取的帧图像的数量。可替选地，当用户不考虑图像的基准数量以使得可以从五以上选择帧图像的可提取数量，并且组中的静止图像和帧图像的总数量超过基准数量时，可以将该组划分成两组以上。帧图像提取器M可以根据用户所指定的页面数量，确定可以从每幅运动图像中提取的帧图像的数量。例如假设用户指定使用如图36所示分类成第一组至第五组的图像来制作包含七个页面的相册。此外，假设图像的基准数量为四。然后，当仅简单地考虑图像的基准数量时，相册的页面数量是五，这是因为如图37所示，从第一组运动图像中提取一幅帧图像，并且从第二组运动图像中提取两幅帧图像。因此，根据用户所指定的页面数量增加从每幅运动图像中提取的帧图像的数量， 使得例如从第一组运动图像中提取两幅帧图像，并且从第二组运动图像中提取五幅帧图像，如图38A所示。然后，如图38B所示，第一组被划分成包含两幅帧图像的一组和包含三幅静止图像的另一组，同时将第二组划分成包含两幅静止图像和两幅帧图像的一组以及包含三幅帧图像的另一组。因而，相册具有用户所指定的七个页面。根据图像的基准数量和用户指定的页面数量，可以在可允许的范围内适当地以任意方式确定要从每幅运动图像中提取的帧图像的数量以及如何划分包含超过图像基准数量的图像数量的组。布局确定单元沈基于分析信息和/或关系信息，按组确定帧图像和静止图像的布局，并且产生并输出布局数据。例如，当要制作相册时，将每组分配给一个页面，并且基于分析信息和/或关系信息确定页面布局。将布局数据存储在图像记录器18中。图像排列单元观基于布局数据从图像记录器18读取帧图像数据和静止图像数据，排列这些图像，并且产生并输出排列数据。将排列数据存储在图像记录器18中。接下来，将描述实现本发明的图像处理方法的本发明的图像处理装置10的操作。图3是示出本发明的图像处理方法的流程示例的流程图。首先，从图像数据输入单元12输入素材运动图像和静止图像的数据(运动图像/ 静止图像数据)(步骤S10)。将所输入的运动图像/静止图数据作为素材图像数据记录在图像记录器18中一次。图像分组单元19从图像记录器18读取素材图像数据(运动图像/静止图像数据)，并且根据给定条件(事件)将该素材图像数据分类成组(步骤S12)。
例如，如图4A所示，在按拍摄日期对图像进行分类的情况下，将在2月11日从 10:00到12:00拍摄到的一幅运动图像和六幅静止图像分类成第一组；将在同一天从12:00 到15:00拍摄到的两幅静止图像和一幅运动图像分类成第二组；将在同一天从15:00到 17:00拍摄到的一幅运动图像分类成第三组；将在同一天从17:00到拍摄到的两幅静止图像分类成第四组；以及将在第二天拍摄到的三幅静止图像分类成第五组。接下来，图像分析器22按组分析被分类成组的运动图像/静止图像数据，以确定其中是否混合了运动图像和静止图像(步骤S14)。分别以混合运动图像和静止图像的情况 (步骤S14中的“混合”)、仅包含运动图像的情况(步骤S14中的“仅运动图像”)、以及仅包含静止图像的情况(步骤S14中的“仅静止图像”)所特有的方式执行处理。在图4A所示的示例中，第一组和第二组中包含混合的运动图像和静止图像(步骤 S14中的“混合”)；第三组中仅包含运动图像(步骤S14中的“仅运动图像”)；以及第四组和第五组中仅包含静止图像(步骤S14中的“仅静止图像”)。相应地，针对各组独立地执行处理。在混合地包含运动图像和静止图像的情况下(步骤S14中的“混合”)，静止图像分析器2 分析该组中所包含的静止图像数据，以获得静止图像分析信息，以计算可以从运动图像中提取的帧图像的最大数量。接下来，运动图像分析器22b分析该组中所包含的运动图像数据，以获得关于运动图像的分析信息。静止图像分析器2 和/或运动图像分析器22b比较它们的分析信息， 以获得关系信息。另外，通过对分析信息进行加权来计算各关系信息的代表值。随后，帧图像提取器M基于分析信息和/或关系信息，确定要从每幅运动图像中提取且不会超过帧图像的最大可提取数量的帧图像的数量，并且提取预定数量的帧图像。 同一组(事件)中所包含的静止图像和运动图像非常可能代表同一场景，因此，优选地提取尽可能与静止图像在对象的方向、场景、构图等上不同的帧图像。例如，在图4B所示的示例中，以第一组的图像的最大数量是8为前提，分析第一组的六幅静止图像的静止图像数据，并且首先，计算出帧图像的最大数量为2。在六幅图像都没有示出对象的正面的情况下，获得不存在代表对象正面的图像的分析信息以及缺少代表对象正面的图像的关系信息。然后，根据缺少代表对象的正面图像的图像的关系信息，根据运动图像的长度，以最大为2的数量(即，帧图像的最大可提取数量)提取代表对象的正面图像的帧图像(步骤S16)。因此，当运动图像长时，提取数量与最大可提取数量相同的帧图像，但当如在图4B 所示的第二组的情况下运动图像的长度短时，根据分析信息和关系信息(例如，场景数量、 检测到的移动的次数)，在最大可提取数量内仅提取三幅图像，因此，在一些情况下，可以提取包括静止图像的总共仅五幅图像。可以在所提取的帧图像中携带关于运动图像的分析信息和关系信息。可以提取代表同一场景(构图)和同一对象但示出朝向稍微不同的方向的对象面部或身体的帧图像，以使在排列这些图像时，它们将示出如图5所示的移动。在可能的情况下示出移动的这种排列是有效布局。在另一示例中，如在图6所示的第二组的情况下，当静止图像40示出人物A并且运动图像42示出人物A时，可以从运动图像42中优先提取示出与静止图像40中示出的人物A不同的人物A的帧图像。可替选地，可以使用位置信息(诸如，使用GPS等获得的信息)提取代替示出人物A的图像的、考虑拍摄位置(拍摄场所)的帧图像。另外，可以提取与静止图像40在构图、颜色等上不同的表示场景的帧图像。可替选地，可以考虑图像的分辨率来提取帧图像。当从组(诸如，图6所示的第三组)中所包含的一幅运动图像中仅提取一幅帧图像时，例如，所得到的布局是如图39所示的布局，其中，一幅帧图像被放大并位于页面的中心处。在这种情况下，当从运动图像中提取的帧图像具有高分辨率时，不会引起任何问题。 当帧图像是从使用例如便携式电话中所设置的相机功能获取的低分辨率运动图像提取的帧图像时，从该便携式电话产生的打印输出将具有较差的图像质量。因此，当运动图像具有比给定分辨率低的分辨率并且组中所包含的静止图像和帧图像的总数比给定数量小时，优选地，通过增大要从运动图像中提取的帧图像的数量来进行调节，使得考虑到打印输出的图像质量，一幅图像的显示尺寸小于给定尺寸。例如，如图40所示，当将帧图像的数量增大至四时，每幅图像的尺寸减小，这必然改进了所得到的打印输出的图像质量。可替选地，可以考虑对象人物的数量和尺寸来提取帧图像。例如当运动图像包含许多人物或者运动图像中所包含的人物的尺寸即使在运动图像中仅包含少数人物时也较小时，如果从运动图像中提取大量帧图像，则每幅图像的显示尺寸较小，从而难以识别人物。当运动图像中所包含的人物的尺寸小于给定尺寸时，优选地，通过减小从运动图像中提取的帧图像的数量来进行调节，使得以不小于给定尺寸的的尺寸显示人物，从而容易识别人物。可替选地，可以考虑图像的纵横比来提取帧图像。运动图像的纵横比根据例如固定相机的方式(垂直地或水平地)和拍摄模式(高画质1920X1080 ；VGA 640X480)而变化。相应地，优选地增大要从具有图像布局所需要的纵横比的运动图像中提取的帧图像的数量，同时根据用于制作相册或电子相册的条件减小要从其他运动图像中提取的帧图像的数量。例如当需要许多肖像方面的帧图像时，增大要从肖像方面的运动图像提取的帧图像的数量，同时减小要从风景方面的运动图像提取的帧图像的数量。可替选地，代替提取尺寸与屏幕上所显示的运动图像的整个区域相对应的帧图像，可以确定要提取帧图像的、屏幕上所显示的运动图像的区域或一部分，并且可以对所确定的区域提取帧图像。例如当运动图像包含孩子和兔子并且孩子的面部进行如图41所示的特别大的移动(即，面部的方向改变较大)时，可以将包括孩子的面部的给定区域确定为从运动图像中提取图像的区域，使得提取包括面部移动前的孩子的面部、由图41B中的虚线所围绕的给定区域作为帧图像1，并且提取包括面部移动后的孩子的面部、由图41C中的虚线所围绕的给定区域作为帧图像2。当例如如图42A所示同一组中的静止图像包含孩子和兔子并且如图42B所示同一组中的运动图像也包括孩子和兔子时，可以将每个均包含孩子和兔子的面部的给定区域确定为用于从运动图像提取图像的区域，以提取包括孩子的面部的给定区域和包括兔子的面部的给定区域(在图42B中每个给定区域均被虚线围绕)作为帧图像。当完成从组中的运动图像提取帧图像时，将运动图像和帧图像的关系信息的代表
1值与静止图像的关系信息的代表值进行比较(步骤S18)。当运动图像和帧图像的关系信息与静止图像的关系信息之间存在接近关系(例如，它们的代表值之间的差小于正10或负 10)时(步骤S18中的“存在关系”时)，考虑到该关系而确定布局，并且输出布局数据。将布局数据记录在图像记录器18中并且输入图像排列单元观中，其中，将布局数据与帧图像和静止图像合成，以产生并输出排列数据(步骤S20)。将所输出的排列数据记录在图像记录器18中。在作为示例给出的、图7所示的第二组中，将静止图像44的关系信息与帧图像46、 48和50的关系信息进行比较，并且当确定出静止图像44与帧图像46、48和50之间存在接近关系时，可以如图8所示制作布局，其中可以将帧图像46、48和50排列在大的静止图像 44之下。在另一布局示例中，布局可以为帧图像58按时间先后顺序排列在静止图像56周围，如图9所示的布局M。当在步骤S18中运动图像和帧图像的关系信息与静止图像的关系信息之间的关系不接近(例如，它们的代表值之间的差大于正10或负10)时(步骤S18中的“没有关系”)，输出布局数据，以使静止图像44以及帧图像46、48和50简单地排列而无需考虑关系信息(如图IOA所示)，或者输出静止图像44位于一个页面中的布局64，同时如布局66 — 样，帧图像46、48和50排列在另一页面中(如图IOB所示)。将布局数据记录在图像记录器18中并且输入图像排列单元观中，其中，将布局数据与帧图像和静止图像合成以产生并输出排列数据(步骤S2》。将所输出的排列数据记录在图像记录器18中。在步骤S14中作出判断“仅运动图像”的情况下，运动图像分析器22b分析运动图像数据，以获得分析信息。帧图像提取器M基于分析信息，提取数量不超过为第一组所预定的最大可提取数量的最佳帧图像(步骤S24)。例如，图4A所示的第三组仅包含一幅运动图像，并且运动图像分析器22b分析运动图像数据以获得分析信息。现在，例如当用户输入针对一个场景提取一幅帧图像的指令时，并且假定第三组包含可以按构图划分成六个场景的运动图像，则提取每个场景的一帧。 因而，如图4B所示，提取六幅帧图像。以例如给定时间间隔提取的帧图像被排列成如图IlA所示的布局68(其中，帧图像70均勻地排列)，并且输出对应的布局数据。当运动图像包含特写部分时，可以作出如下布局72，其中帧图像74( —幅表示缩小的图像)和接着的另一幅表示放大的图像排列成彼此覆盖，如图IlB所示。当所提取的帧图像连续地示出孩子或类似对象时，可以将所提取的帧图像78排列成其排列在给定方向上的布局76。如在步骤S18中作出“没有关系”判断的情况下，将布局数据记录在图像记录器 18中并且输入图像排列单元观中，其中，将布局数据与帧图像合成以产生并输出排列数据 (步骤S2》。将输出的排列数据记录在图像记录器18中。当在步骤S14中作出“仅静止图像”判断时，静止图像分析器2 分析静止图像数据以获得分析信息。布局确定单元26基于静止图像分析信息产生并输出静止图像布局数据。将布局数据记录在图像记录器18中并且输入图像排列单元观中，其中，将布局数据与静止图像合成以产生并输出排列数据(步骤S26)。将所输出的排列数据记录在图像记录器
1418中。接下来，参照图12，我们将描述在已经产生排列数据后根据用户指令重构排列数据的情况。可能存在用户想要重构通过本发明的图像处理方法已经制作的例如相册的排列数据的一些页面的情况。现在，我们将考虑如下情况例如，将图12A所示的一组图像的图像数据分类成图12B所示的组，以通过本发明的图像处理方法产生图12C所示的相册的排列数据。假定用户想要将来自运动图像的多个帧图像添加到第二页面80中，则用户对操作单元16进行操作，以给出重构第二页面80的重构指令。因而，操作单元16输出重构指令。将重构指令输入布局确定单元沈并在图像显示器14(用户从该图像显示器选择布局)上显示例如多个布局候选(模板82、84)，并且输出用于重新提取适合所选布局的的帧图像的指令。将重新提取指令输入帧图像提取器M中，并且提取适合所选的新布局的帧图像， 将其寄存在图像寄存器18中并输入图像排列单元观中，以产生并输出重构页面(第二页面80)的排列数据。将输出的排列数据记录在图像记录器18中。页面的重构不仅可以通过用户的模板选择来实现，而且可以以这样的方式实现 用户指定要从运动图像中提取的帧图像的数量，使得根据帧图像的数量自动进行模板选择。打印机(未示出)打印图像处理装置10所产生的排列数据，并且装订装置(未示出)装订打印页面，以制作相册。接下来，将参照具体示例描述本发明的图像处理方法。示例 1图13和图14示出按事件(组)提取推荐图像的示例。首先，如图13所示，将运动图像和静止图像分类成组(事件A、事件B、和事件C)。 在这种情况下，根据分析信息和/或关系信息从运动图像中提取帧图像。接下来，根据分析信息(诸如，例如事件中的图像数量、对象人物的数量、对象的尺寸、整个图像的亮度、以及整个图像的生动性)，从分类成事件的图像当中提取推荐图像。在提取推荐图像的示例中，按示出人物的场景进行分类，并且如图14A所示，根据人物的面部的位置(是否朝向图像的中心)和面部的尺寸(与整个图像成比例等)选择推荐图像。另外，如图14B所示，可以按如下方式进行提取，其中根据指定人物实现分类，并且根据人物的面部的位置、他的/她的面部的尺寸、诸如微笑的面部表情和亮度(辉度)确定推荐图像。所提取的推荐图像(帧图像或静止图像)是根据分析信息和/或与其他所提取的推荐图像的关系(即，根据相应的分析信息和/或关系信息)来排列的。示例 2图15至图19示出使用面部和消失点的检测实现布局的示例。如图15所示，例如，静止图像是从分类成组的图像中选择的并且位于相册的两个相对展开页面的中心处，同时帧图像排列在静止图像周围。然而，图15所示的布局没有考虑图像的内容，从而在各幅图像中的面部方向90和消失点92不一致，因而，布局总体上不一致。当使用对象的面部方向、消失点、以及静止图像和帧图像的分析信息中的关系信息制作布局时，所得到的布局在中心处具有深度，并且基于如图16所示的消失点92和面部方向94考虑到图像的方向性，将图像放置在中心图像周围。在这样的布局中，以良好的平衡排列图像。在其他示例中，如图17A和图17B所示，从运动图像中检测面部，并且使用分析信息和关系信息中的面部方向，以提取示出面部方向的变化的帧图像并将所提取的图像排列在给定方向上。在这样的布局中，图像被排列成示出对象的面部方向的变化。在又一示例中，如图18所示，检测到组中的主要对象100，并且使用分析信息和关系信息中主要对象的位置来叠加其他图像，以不隐藏主要对象100。在所得到的布局中，未隐藏主要对象100并且有效地叠加了图像。另外，如图19所示，可以使用分析信息和关系信息中对象的面部方向来作出布局，使得其他图像不位于处于对象的面部方向103上的空间102中。在所得到的布局中，没有图像接近对象的面部并处在其方向上，因而图像不会造成压抑感。示例 3图20至图M示出了从运动图像中提取帧图像的示例。图20至图M中所示的示例示出提取最理想的帧图像的情况。除非另外描述，否则在帧图像提取之后即完成布局，并且帧图像类似于示例1和示例2的情况排列。当如图20A所示识别出目标人物的面部104但其眼部未朝向相机时，它们不是最理想的。因此，如图20B所示，分析运动图像以从其中提取示出目标人物的微笑108、110(其中，它们的眼部朝向相机)的帧图像，作为最理想的图像。在其他示例中，如图21所示，从运动图像中自动提取推荐帧图像(提取最理想的图像)，如图22所示，将从运动图像提取的最理想的图像随机排列在混洗打印布局中，并且如图23所示，按时间先后顺序排列最理想的图像，以示出移动。另外，如图M所示，提取分别在时间A、B和C处拍摄的帧图像，作出相似度判断以确定与参考帧图像(时间A)的相似度，并且进行图像合成以从多幅帧图像产生单个高分辨率图像。示例 4图25至图27示出在存在关于同一人物的按时间先后顺序的变化的情况下的分类示例。例如可以存在如下情况从大量图像中提取示出人物从他的/她的幼年经童年到成年的图像。然而，利用当前的面部识别技术，很难在面部经历很大改变时利用在对象的幼年期间拍摄的图像以及从幼年到成年拍摄的图像进行判断；例如，即使在已登记婴儿期间的面部时，也很难将幼年前拍摄的图像中的人物识别为同一人物。因此，当如图沈所示将静止图像数据116从数码相机112上传到个人计算机114(以下称为PC)，并且使用图像处理应用分类成组时，在编辑屏幕118上给出消息119，即不存在示出与登记人物的面部相同的面部的图像。当尽管以上传到PC中的静止图像数据116所代表的人物与登记人物相同但仍给出消息119时，新登记由静止图像数据116代表的人物，以重构识别判断处理。当如图27所示另外登记人物的面部时，未出现错误的判断并且目前不需要另外登记，并且随着人成长， 仅偶尔需要登记一些图像的静止图像数据120。当人的面部的特征在他/她成长后没有改变太多时，也不需要另外登记。因此，即使当存在同一人物的按时间先后顺序的变化时，仅登记代表每个成长时期的一些面部图像足以分类成组而不存在错误判断的可能性。示例 5图28和图四示出利用静止图像和帧图像进行面部识别、并且自动实现图像的布局和排列的示例。以如下的这种方式进行图像提取例如，如在上述示例3的情况下一样， 从提取自运动图像和静止图像的帧图像中提取最理想的图像。如图观所示，例如当要制作相册作为给孙子的祖父母的礼物时，要制作的布局可以是关于孙子的。当要制作相册以供家庭成员观看时，制作布局以使得如图四所示均勻地示出家庭成员(父亲、母亲和孩子)和风景。另外，在使用在与朋友旅行期间拍摄的图像的相册中，用户的布局最可能包括示出用户的图像，同时在制作相册作为给朋友的礼物时，用户的布局最可能包括示出朋友的图像。示例 6图30和图31示出使用主要对象、天空和地面的区域提取来确定字符合成区域的示例。以如下的这种方式进行图像提取类似于上述示例，从提取自运动图像和静止图像的帧图像中提取最理想的图像。图30示出将字符叠加在相册的页边区域(S卩，其中未包含图像的区域)上的情况。另一方面，图31示出如下情况在相册左边页面中，在布局中选择空白区域122，并且将字符叠加在空白区域122上。在右边页面上，在布局中选择面部区域124，并且将字符叠加在没有面部区域124的区域上。因此，字符位于如代表天空和地面的区域或者没有人物的面部的区域中，以制作吸引人的相册。示例 7图32示出根据所选图像(主要图像)的颜色信息选择背景模板的示例。以如下的这种方式实现图像提取例如，类似于上述示例3，从提取自运动图像和静止图像的帧图像中提取最理想的图像。图32示出为相册的页边部分指定颜色(背景颜色、背景模板)的情况。当为相册的页边部分指定颜色时，首先从页面中提取主要图像126。本文中的主要对象是指位于中心处并且具有大显示尺寸的图像。接下来，分析主要图像126以确定使用得最多的颜色。在图32所示的示例中，背景中的蓝色天空代表主要图像1 中的大区域，于是提取出例如“蓝色”。根据所提取的颜色(“蓝色”)确定背景颜色(背景图像)。当提取出例如“蓝色”时，将主要图像中比“蓝色”浅的水蓝色设置为背景颜色，使得页边区域1 与主要图像中的蓝色天空之间的边界清晰。因此，将水蓝色背景颜色设置为背景模板。在上述示例中，使用了单色背景，但本发明不限于此；可以将先前提供的背景图像或者通过处理要置于布局中的图像而获得的图像用作背景图像。因而，设置各页面所特有的背景颜色(背景图像)产生了页面之间图像统一的印象，从而能够制作更吸引人的相册。如上所述，本发明的图像处理装置和图像处理方法使得能够产生排列数据，其中， 根据分析信息和与静止图像的关系排列静止图像和最佳帧图像，而即使当素材数据(文件)包含混合在其中的运动图像数据和静止图像数据时，也无需费力从图像中选择用户想要使用的帧图像。另外，本发明的图像处理装置和图像处理方法使得能够根据排列数据制作印刷物、相册或电子相册。假定使用本发明制作印刷物，用于制作印刷物的输出的类型不限于任何方式，并且包括例如卤化银摄影术和喷墨打印。不仅可以制作印刷物作为一张照片，而且可以在诸如各种卡、日历、杯子、T恤等的商品上制作印刷物。尽管作为前提，从运动图像中提取的帧图像具有与运动图像相同的分辨率和纵横比，但是可以通过合成来自运动图像的多个帧图像来制作布局，以制作并排列全景图像并产生对应的排列数据。可以将上述图像处理方法中所采取的步骤配置成用于使计算机执行上述图像显示方法的步骤的图像处理程序，或者可以将上述图像处理方法中所采取的步骤配置成如下图像处理程序其能够使计算机用作执行图像处理方法的各步骤的装置或者用于构成上述图像处理装置的部件的装置。另外，可以以计算机记录介质或计算机可读存储器的形式配置上述图像处理程序。尽管以上详细描述了根据本发明的图像处理装置、图像处理方法和程序，但是本发明不限于上述实施例，并且可以在不背离本发明的精神和范围的情况下进行各种修改。
权利要求
1.一种用于生成图像布局的图像处理装置，其包括图像数据输入单元，用于接收运动图像和静止图像的数据，图像分组单元，用于根据给定条件将所述运动图像和所述静止图像分类成组，图像分析器，用于按组分析所分类的所述运动图像和所述静止图像，并且获得分析信息以及关系信息，其中，所述分析信息是通过分析所述运动图像和所述静止图像而获得的， 所述关系信息表示所述运动图像与所述静止图像之间的关系，帧图像提取器，用于根据所述分析信息和所述关系信息中的至少一个，按组确定要从每幅所述运动图像中提取的帧图像的数量，并且提取确定数量的帧图像，布局确定单元，用于根据所述分析信息和所述关系信息中的至少一个，按组确定所述静止图像和所述帧图像的布局，以及图像排列单元，用于根据所述布局，按组排列所述静止图像和所述帧图像。
2.根据权利要求1所述的图像处理装置，其中，所述给定条件是拍摄时间、拍摄位置和对象中的至少一个。
3.根据权利要求1所述的图像处理装置，其中，所述关系信息是用于对关于所述运动图像的分析信息和关于所述静止图像的分析信息进行比较的信息。
4.根据权利要求1所述的图像处理装置，其中，所述关系信息是所述分析信息。
5.根据权利要求1所述的图像处理装置，其中，所述分析信息使用包括以下项的项目中的至少一项对象面部的面部识别、对象的数量、对象的尺寸、对象的位置、对象面向的方向、对象面部的方向、对象的面部表情的识别、移动的检测、整幅图像的拍摄时间、拍摄位置、构图、消失点、颜色、亮度、整幅图像的生动性、人物的标识、相机移动量、拍摄条件、图像的分辨率、图像的纵横比、以及拍摄模式。
6.根据权利要求3所述的图像处理装置，其中，所述关系信息还包括通过对关于所述运动图像和所述静止图像的各分析信息进行加权而计算出的代表值，并且其中，对各所述代表值进行比较，以判断所述帧图像和所述静止图像之间是否存在关系。
7.根据权利要求1所述的图像处理装置，其中，所述图像分析器确定通过从图像的基准数量减去同一组中的静止图像的数量而获得的数量，作为可以提取的所述帧图像的最大数量，其中，所述图像的基准数量是可以按组排列的图像的最大数量。
8.根据权利要求1所述的图像处理装置，其中，所述布局确定单元选定所述帧图像按时间先后顺序排列在所述静止图像周围的布局。
9.根据权利要求5所述的图像处理装置，其中，所述布局确定单元根据至少两项所述分析信息确定所述静止图像和所述帧图像的布局。
10.根据权利要求1所述的图像处理装置，其中，所述布局确定单元选定其他静止图像或帧图像根据消失点或图像方向性排列在具有深度的静止图像或帧图像周围的布局。
11.根据权利要求5所述的图像处理装置，其中，所述帧图像提取器提取示出面部方向如何根据所述分析信息和所述关系信息中所述对象面部的方向而改变的所述帧图像，并且其中，所述布局确定单元选定其中所提取的示出了面部方向如何改变的帧图像排列在给定方向上的布局。
12.根据权利要求5所述的图像处理装置，其中，所述布局确定单元选定如下布局其他静止图像和帧图像根据所述分析信息和所述关系信息中的对象位置而叠加在包含主要对象的所述静止图像或所述帧图像上，以不隐藏所述静止图像或所述帧图像中所包含的所述主要对象。
13.根据权利要求12所述的图像处理装置，其中，所述布局确定单元选定其他静止图像和帧图像不排列在位于所述主要对象的面部方向上的给定空间内的布局。
14.根据权利要求1所述的图像处理装置，其中，所述帧图像提取器根据所述分析信息和所述关系信息提取用于表现移动的帧图像，并且其中，所述布局确定单元选定其中所提取的帧图像按时间先后顺序排列以表现移动的布局。
15.根据权利要求1所述的图像处理装置，其中，所述帧图像提取器提取所述帧图像， 并且通过组合所提取的帧图像中的参考帧图像和类似于所述参考帧图像的帧图像来产生帧图像。
16.根据权利要求5所述的图像处理装置，其中，所述图像分析器将所述静止图像中所包含的人物的面部与登记了其各自代表成长时期的图像的人物的面部进行比较，以将所述静止图像中所包含的人物标识为所述分析信息中的人物。
17.根据权利要求1所述的图像处理装置，其中，所述布局包括背景模板，并且其中，所述布局确定单元根据作为主要图像的静止图像或帧图像的颜色信息确定所述背景模板。
18.根据权利要求1所述的图像处理装置，其中，当用户输入对给定页面的重构指令时，所述布局确定单元根据所述重构指令在所述给定页面中重构布局。
19.根据权利要求1所述的图像处理装置，还包括记录器和显示器，所述记录器用于记录所述运动图像和所述静止图像的数据、所述帧图像的数据、所述布局的数据以及由所述图像排列单元进行的排列的数据，以及所述显示器用于显示所述排列的结果。
20.根据权利要求19所述的图像处理装置，其中，所述组是多个组，并且当提取所述帧图像时，所述多个组的提取结果同时显示在所述显示器上。
21.根据权利要求1所述的图像处理装置，其中，当所述运动图像具有比给定分辨率低的分辨率并且所述组中的每一组中的所述静止图像和所述帧图像的总数小于给定数量时， 所述帧图像提取器通过增大要从所述运动图像中提取的帧图像的数量来进行调整，使得一幅图像的显示尺寸小于给定尺寸。
22.根据权利要求1所述的图像处理装置，其中，当所述运动图像中所包含的人物的尺寸小于给定尺寸时，通过减小从所述运动图像中提取的帧图像的数量来进行调整，使得以小于给定尺寸的尺寸显示所述人物。
23.根据权利要求1所述的图像处理装置，其中，所述帧图像提取器增大要从具有所述布局所要求的纵横比的运动图像中提取的帧图像的数量，并且减小要从其他运动图像中提取的帧图像的数量。
24.根据权利要求1所述的图像处理装置，其中，所述帧图像提取器确定与所述运动图像的显示屏幕的一部分相对应的区域，并且利用确定的区域提取帧图像。
25.根据权利要求1所述的图像处理装置，其中，所述帧图像提取器根据所述运动图像的再现时间、所述运动图像的成像内容、和所述关系信息中的至少一个，确定要从所述运动图像中提取的帧图像的数量。
26.根据权利要求25所述的图像处理装置，其中，当所述组中的每一组中的所述静止图像和所述帧图像的总数超过图像的基准数量时，所述帧图像提取器根据所述分析信息， 在不超过所述图像的参考数量的范围内从所提取的帧图像中提取推荐帧图像，其中，所述图像的基准数量是可以排列在所述组中的每一组中的图像的最大数量。
27.根据权利要求25所述的图像处理装置，其中，当所述组中的每一组中的所述静止图像和所述帧图像的总数超过图像的基准数量时，所述帧图像提取器将所述总数超过所述基准数量的组划分成两组以上，其中，所述图像的基准数量是可以排列在所述组中的每一组中的图像的最大数量。
28.根据权利要求1所述的图像处理装置，其中，所述帧图像提取器根据图像的基准数量从所述运动图像中提取用户所选的多个所述帧图像，其中，所述图像的基准数量是可以排列在所述组的每一组中的图像的最大数量。
29.根据权利要求1所述的图像处理装置，其中，所述帧图像提取器从所述运动图像中提取用户所选择的多个所述帧图像，并且当所述组的每一组中的所述静止图像和帧图像的数量超过图像的基准数量时，所述帧图像提取器将所述总数超过所述基准数量的组划分成两组以上，其中，所述图像的基准数量是可以排列在所述组的每一组中的图像的最大数量。
30.根据权利要求1所述的图像处理装置，其中，所述帧图像提取器根据用户所设置的页面数量确定要提取的帧图像的数量。
31.一种印刷物制作系统，包括权利要求1所述的图像处理装置，以及打印装置，用于打印由所述图像排列单元进行的排列的数据。
32.一种相册制作系统，包括权利要求1所述的图像处理装置，打印装置，用于打印由所述图像排列单元进行的排列的数据，以及装订装置，用于装订打印纸张。
33.一种用于生成图像布局的图像处理方法，包括图像数据输入步骤，用于接收运动图像和静止图像的数据， 图像分组步骤，用于根据给定条件将所述运动图像和所述静止图像分类成组， 图像分析步骤，用于按组分析所分类的所述运动图像和所述静止图像，并且获得分析信息以及关系信息，其中，所述分析信息是通过分析所述运动图像和所述静止图像而获得的，所述关系信息表示所述运动图像与所述静止图像之间的关系，帧图像提取步骤，用于根据所述分析信息和关系信息中的至少一个，按组确定要从每幅所述运动图像中提取的帧图像的数量，并且提取确定数量的帧图像，布局确定步骤，用于根据所述分析信息和所述关系信息中的至少一个，按组确定所述静止图像和所述帧图像的布局，以及图像排列步骤，用于根据所述布局，按组排列所述静止图像和所述帧图像。
34.一种非暂态计算机可读介质，其存储用于使计算机执行权利要求33所述的用于制造图像的布局的图像处理方法的计算机程序。
全文摘要
本发明提供了信息处理装置、信息处理方法以及程序。图像处理装置包括图像数据输入单元，用于接收运动图像和静止图像的数据；图像分组单元，用于将运动图像和静止图像分类成组；图像分析器，用于按组分析所分类的运动图像和静止图像，并且获得图像的分析信息以及关于运动图像与静止图像之间的关系的信息；帧图像提取器，用于根据分析信息和关系信息中的至少一个，从运动图像中提取帧图像；布局确定单元，用于根据分析信息和关系信息中的至少一个，确定静止图像和帧图像的布局；以及图像排列单元，用于根据布局排列静止图像和帧图像。
文档编号B42F5/02GK102426574SQ20111020924
公开日2012年4月25日 申请日期2011年7月22日 优先权日2010年7月22日
发明者山路启 申请人:富士胶片株式会社
技术领域：
本发明涉及图像处理装置、图像处理方法以及程序，更具体地，涉及如下的图像处理装置、图像处理方法以及程序其中，根据静止图像(以下称为帧图像)与运动图像之间的关系，从包含静止图像和运动图像的数据中的运动图像提取静止图像，并且排列静止图像和运动图像。
背景技术：
随着近来数码相机的性能得到增强，市场上的一些数码相机现在能够记录高分辨率运动图像。因此，存在对不仅打印静止图像而且打印从运动图像中剪切的帧图像或者将静止图像或帧图像放置于相册中的要求。针对这样的背景，已作出了关于静止图像和帧图像的易于观看的布局和列表的各种提议。例如，JP 2009-118060A描述了一种这样的图像显示装置通过从静止图像或运动图像的图像数据中提取静止图像来获取特征量，以基于特征量确定静止图像在显示区域内的布局中的位置，并且在显示区域内以列表的形式显示通过减小静止图像的尺寸而获得的用于显示的图像。该文献还描述了在运动图像的图像数据包含多个内容的情况下，将运动图像的图像数据分割成事件(event)或片段，以从其无噪声部分中提取表示运动图像的静止图像并且将静止图像排列成彼此靠近。JP 2009-246887A描述了从存储在存储介质中的各运动图像文件提取与给定数量的帧图像相对应的帧图像信息，并且以如下的这种方式确定排列顺序可以根据满足给定条件的顺序排列与所提取的帧图像信息相对应的索引图像和与从存储介质读出的静止图像文件相对应的索引图像。JP 2009-246897A描述了要打印包含从运动图像文件中提取的索引图像和从静止图像文件中提取的索引图像的图像的列表的情况，该专利文献描述了校正索引图像的尺寸以与尺寸信息的参考特征量相符，校正索引图像的颜色以与打印前的颜色信息的参考特征量相符，使得图像的打印列表在根据运动图像文件和静止图像文件产生的索引图像中具有视觉统一性。
发明内容
然而，如在JP 2009-118060 A中一样当从提取运动图像开始经过了先前指定时间的时刻处从运动图像提取静止图像，以便提取无噪声部分的情况下，或者在针对静止图像提取而分析运动图像的图像数据中的噪声的情况下，从运动图像中提取的静止图像必定是代表运动图像的静止图像，但不一定是用户期望打印为静止图像或者用作相册的素材的图像。另外，如在JP 2009-246887A和JP 2009-246897A中，在提取运动图像和静止图像之后，确定排列条件并且进行图像校正以提供布局的统一性的情况下，不一定可以提取最适合于打印的图像，或者实际上不一定可以使用包含在运动图像中的图像(其在被使用时
5会提供统一性而无需图像校正)。另外，作为印刷物、相册、电子相册等，显示仅有的列表中的图像可能给予单调、令人厌烦的印象。本发明的目标在于提供如下的图像处理装置、图像处理方法以及程序其用于通过根据将运动图像和静止图像分类成组并分析这些图像而获得的关系产生布局，来产生更吸引人的图像排列数据。为了实现上述目的，本发明提供了一种用于生成图像布局的图像处理装置，其包括图像数据输入单元，用于接收运动图像和静止图像的数据，图像分组单元，用于根据给定条件将运动图像和静止图像分类成组，图像分析器，用于按组分析所分类的运动图像和静止图像，并且获得分析信息以及关系信息，其中，该分析信息是通过分析运动图像和静止图像而获得的，该关系信息表示运动图像与静止图像之间的关系，帧图像提取器，用于根据分析信息和关系信息中的至少一个，按组确定要从每幅运动图像中提取的帧图像的数量，并且提取确定数量的帧图像，布局确定单元，用于根据分析信息和关系信息中的至少一个，按组确定静止图像和帧图像的布局，以及图像排列单元，用于根据布局，按组排列静止图像和帧图像。此外，本发明提供了一种用于生成图像布局的图像处理方法，其包括图像数据输入步骤，用于接收运动图像和静止图像的数据，图像分组步骤，用于在给定条件下将运动图像和静止图像分类成组，图像分析步骤，用于按组分析所分类的运动图像和静止图像，并且获得分析信息以及关系信息，其中，该分析信息是通过分析运动图像和静止图像而获得的，该关系信息表示运动图像与静止图像之间的关系，帧图像提取步骤，用于根据分析信息和关系信息中的至少一个，按组确定要从每幅运动图像中提取的帧图像的数量，并且提取确定数量的帧图像，布局确定步骤，用于根据分析信息和关系信息中的至少一个，按组确定静止图像和帧图像的布局，以及图像排列步骤，用于根据布局，按组排列静止图像和帧图像。此外，本发明提供了一种非暂态计算机可读介质，其存储用于使计算机执行上述制造图像的布局的图像处理方法的计算机程序。本发明使得能够产生根据运动图像与静止图像之间的关系排列静止图像和最佳帧图像的排列数据，而即使当素材数据包含混合在其中的运动图像数据和静止图像数据时也无需费力从图像中选择用户期望使用的帧图像。
图IA至图IC是用于说明根据本发明的分类和帧图像提取思想的视图；图2是示出用于实现本发明的图像处理方法的图像处理装置的构造示例的框图。图3是示出本发明的图像处理方法的流程的示例的流程图。图4A是用于说明分类示例的视图；图4B是用于说明实现了帧图像提取的分类示例的视图。图5是用于说明与相同对象相关的有效布局的示例的视图。图6是用于说明包含静止图像和运动图像这两者并且静止图像和运动图像高度相关的示例的视图。图7是用于说明已从运动图像中提取了帧图像的示例的视图。图8是用于说明包含静止图像和运动图像这两者并且静止图像和运动图像高度相关的布局的示例的视图。图9是用于说明包含静止图像和运动图像这两者并且静止图像和运动图像高度相关的布局的另一示例的视图。图IOA和图IOB均是用于说明包含静止图像和运动图像这两者并且静止图像和运动图像相关程度低的布局的示例的视图。图IlA至图IlC均是用于说明仅排列从运动图像中提取的帧图像的布局示例的视图。图12A是用于说明示出实现分类之前的状态的示例的视图；图12B是用于说明示出实现分类之后的状态的示例的视图；图12C是用于说明已排列图像的示例的视图；图12D 是用于说明如下示例的视图其示出用于重构已输入重构指令的页面的模板示例。图13是用于说明从分类成事件的运动图像和静止图像提取推荐图像的示例的视图。图14A是用于说明按类似场景实现分类并且确定并提取推荐图像的示例的视图。 图14B是用于说明针对指定人物实现分类并且确定并提取推荐图像的示例的视图。图15是用于说明在检测到面部和消失点之前的布局示例的视图。图16是用于说明使用面部和消失点实现布局的布局示例的视图。图17A和图17B是用于说明提取并在给定方向上排列示出了面部方向上的改变的帧图像的示例视图。图18是用于说明叠加了另一图像以不隐藏主要对象的布局示例的视图。图19是用于说明确保位于对象的面部方向上给定空间不存在其他图像的布局示例视图。图20A是用于说明识别目标人物的面部但其眼部不朝向相机的布局示例的视图； 图20B是用于说明目标人物的眼部朝向相机并且观察到微笑的布局实例的视图。图21是用于说明从运动图像中自动提取推荐图像的示例的视图。图22是用于说明用于混洗打印(shuffle print)的布局示例的视图。图23是用于说明按时间先后顺序排列最佳照片(shot)以表现移动的布局示例的视图。图M是用于说明从多幅帧图像产生高分辨率帧图像的示例的视图。图25是用于说明从多幅图像的组中提取示出给定人物的图像的示例的视图。图沈是用于说明登记和分类处理的示例的视图。图27是用于说明登记和分类处理的另一示例的视图。图28是用于说明相册中的布局示例的视图。图四是用于说明相册中的另一布局示例的视图。
图30是用于说明在相册的页边区域中添加字符的示例的视图。图31是用于说明在空白区域和除了相册的面部区域外的区域中添加字符的示例的视图。图32是说明根据所选图像的颜色信息选择背景模板的示例的视图。图33是说明用于将四幅图像排列在一个页面中的模板的构成示例的视图。图34是用于说明示出如何将图像总数超过图像基准数量的组均分割成两组以上的示例的视图。图35是用于说明显示将图像分类成组的结果和表示图像的基准数量的线(界线) 的屏幕示例的视图。图36是用于说明被分类成第一组至第五组的图像示例的视图。图37是用于说明如何仅考虑图像基准数量来从运动图像中提取帧图像的示例的视图。图38A和图38B分别示出如何根据用户所指定的相册的页面数量增大帧图像的数量以及如何分割图38A所示的图像并分配给7个页面。图39是用于说明单帧图像内容放大并且位于页面中心处的布局示例的视图。图40是用于说明示出如何将帧图像的数量增大至四并且缩小每幅图像的显示尺寸的示例的视图。图41A至图41C分别示出包含孩子和兔子的运动图像、如何在面部移动之前和在面部移动之后提取包含孩子的面部的给定区域作为帧图像。图42A说明示出孩子和兔子的静止图像。图42B是用于说明示出如何从包含孩子和兔子的运动图像中提取分别包含孩子和兔子(两者属于同一组)的给定区域作为帧图像。
具体实施例方式以下基于附图中所示的优选实施例详细描述用于实现本发明的图像处理方法的本发明的图像处理装置。首先，将参照图1描述用于对运动图像和静止图像进行分类并且从运动图像中提取帧图像的本发明的方法。图1是用于说明根据本发明的分类和帧图像提取概念的视图。首先，当如图IA所示输入包含运动图像和静止图像的图像数据时，按事件或者如图IB所示按拍摄时间对运动图像和静止图像进行分类。然后，按组分析每组的运动图像和静止图像，以获得通过分析运动图像和静止图像而获得的分析信息以及关于运动图像与静止图像之间的关系的信息。 随后，根据分析信息和/或关系信息确定要从每幅运动图像提取的帧图像的数量，以提取预定数量的帧图像。在图IC所示的示例中，例如，从分类为第一组的运动图像中提取三幅帧图像；从分类为第二组的运动图像中提取两幅帧图像。因此，通过根据分析信息和/或关系信息提取帧图像来提取适当的帧图像。图2是示出用于实现本发明的图像处理方法的本发明的图像处理装置的构造的实施例的框图。图2所示的图像处理装置10包括图像数据输入单元12、图像显示器14、操作单元16、图像记录器18、图像分组单元19、图像处理器20、布局确定单元沈和图像排列单元28， 以上全部通过总线30连接。图像处理器20包括图像分析器22和帧图像提取器对。在该实施例中，将描述用于制作相册的示例。图像数据输入单元12具有外部接口，并且接收要用于制作相册的运动图像数据和静止图像数据(运动图像/静止图像数据)。提供给图像数据输入单元12的图像数据不被具体限制，并且可以是包括用户利用数码相机或数字摄像机获取的运动图像/静止图像数据以及从网络下载的运动图像/静止图像数据的各种图像数据。外部接口包括USB(通用串行总线)、存储卡读写器、光盘以及有线和无线LAN(局域网)。提供给图像数据输入单元12的图像数据被作为素材图像数据(运动图像/静止图像数据)输出。图像显示器14显示在图像处理装置10中运行的图像处理应用程序的编辑画面、 图像已被排列(例如，相册中的排列图像)的数据、用户执行各种操作的操作画面等。提供操作单元16以执行图像处理装置10的各种操作。操作单元16不被特别限制，并且可以使用各种已知操作装置中的任一个，诸如，键盘、鼠标和触摸面板。图像记录器18记录所输入的素材图像数据(运动图像/静止图像数据)、帧图像数据、静止图像和帧图像的布局数据、表示排列图像的排列数据等。图像记录器18可以是诸如DRAM(动态随机存取存储器)和闪存的半导体存储器或者诸如HDD(硬盘驱动器)的磁性记录介质。图像分组单元19根据给定条件(事件)将所输入的素材图像数据(运动图像/ 静止图像数据)分类成组。例如，给定条件可以是通过GPS (全球定位系统)获得的拍摄时间、拍摄位置等、对象面向的方向、或者对象的移动。可以将分类结果作为分类信息添加到素材图像数据中，并且可以使用图像记录器18中所单独提供的表格对分类结果进行管理。图像分析器22包括静止图像分析器2 和运动图像分析器22b。图像分析器22 进行分析，以确定每组是否均包含运动图像和静止图像，即，是否混合地包含运动图像和静止图像。静止图像分析器2 针对图像分组单元19已分类的各组分析静止图像数据，以获得可以从运动图像中提取的帧图像的最大数量(以下称为最大可提取数量)、通过分析静止图像而获得的分析信息、以及关于运动图像与静止图像之间的关系的信息(以下称为关系信息)。例如，最大可提取数量可以是通过从同一组中所包含的图像的预定基准数量减去静止图像的数量而获得的数量。同一组中所包含的图像的基准数量是可以按组排列的图像的最大数量。例如当将每组的图像分配给相册的一个页面时，图像的基准数量是可以排列在相册的一个页面中的图像的最大数量。例如当使用用于将图像排列在页面中的预设位置的布局(预定候选布局)的模板时，图像的基准数量是在该模板中可以使用(排列)的图像的最大数量。例如当使用图33 所示的模板时，可以排列四幅图像，因此，图像的基准数量为四。当使用模板时，图像的基准数量随着所使用的模板而变化。另一方面，当将图像排列在页面中的任意位置而不使用现有的模板(自由布局) 时，图像处理装置已考虑观看的方便性而在其中设置可排列在一页中的图像的最大数量。 因此，在自由布局的情况下，图像的基准数量是图像处理装置10中所预设的“可排列在一个页面中的图像的最大数量”。分析信息可以是例如以下各项中的至少一个对象的面部识别结果、面部方向、对象的数量、对象的尺寸、对象的位置、对象面向的方向、对象的面部表情识别、拍摄时间、拍摄位置、整幅图像的构图(composition)、消失点、颜色、亮度、整幅图像的生动性、人物的标识、拍摄条件、图像的分辨率、图像的纵横比、以及拍摄模式。因此，对于关系信息，代表值可以是通过对比较关于运动图像的分析信息和静止图像的分析信息而获得的上述信息进行加权而获得的，代表值在上限为100以及下限为0 的范围内。可替选地，可以将分析信息用作关系信息。构图以表示人物、建筑、天空等的风景为例；拍摄模式以正常拍摄模式、全景拍摄模式、特写(Close-up)模式、以及人物拍摄模式为例。类似于静止图像分析器22a，运动图像分析器22b针对图像分组单元19已分类的各组来分析运动图像数据，以获得分析信息和关系信息。分析信息还可以是移动检测信息和相机移动量(遥摄、倾斜)。帧图像提取器M根据图像分析器22所获得的运动图像和静止图像的分析信息和 /或关系信息，按组确定要从运动图像中提取的图像数量(其不超过最大可提取数量)，并且提取确定数量的帧图像。例如，当基于拍摄时间提取帧图像时，预先制作如表1所示的表格，并且基于该表格确定提取数量，以从运动图像中提取帧图像。将所提取的帧图像的数据 (帧图像数据)存储在图像记录器18中。表 1
运动图像拍摄时间所提取的图像的数量Is—5s16s-IOs2例如当使用“面部方向”时，可以将面部方向的变化保持为固定值来代替使用表格。例如，当面部方向从给定位置改变了 15度以上时，可以提取帧图像。另外，当基于拍摄模式提取帧图像时，如果静止图像是特写图像，则可以从运动图像提取接近于特写图像的帧图像。帧图像提取器M可以根据关于运动图像的分析信息中的成像时间(再现时间)、 关于运动图像的分析信息中的成像内容、和/或关系信息，从运动图像中提取帧图像，而无需考虑图像的基准数量。当组中的静止图像和帧图像的总数超过图像的基准数量时，根据关于静止图像 (包括从图像中所提取的)的分析信息，从所提取的帧图像中提取推荐帧图像(帧图像提取器对判断为优选的帧图像)而不超过图像的基准数量。在这种情况下，可以例如以将高分数给予以大比例示出人物的面部的图像的这种方式利用分数对帧图像中的每一个定级，并且可以使用被给予高分数的帧图像而不超过图像的基准数量。可替选地，可以将图像的总数量超过图像的基准数量的组划分成两组以上。假设在从运动图像中按组提取帧图像之后，在如图34所示的第一至三组中，静止图像和帧图像的总数超过四(图像的基准数量)。应注意，在图34中对帧图像进行了编号。第一组包含总共八幅图像；第二组包含总共五幅图像；第三组包含总共六幅图像。在这种情况下，第一至第三组中的每一组中第五个及其后的静止图像和帧图像被分入其他组。可替选地，用户可以考虑图像的基准数量来确定可以从每幅运动图像中提取的帧图像的可选择数量。如图35所示，屏幕显示将图像分成组的结果和表示图像的基准数量的线(界线)。例如，由于第三组包含单个运动图像，因此，可以最多提取四幅帧图像。相应地，用户可以从一至四的范围选择要提取的帧图像的数量。可替选地，当用户不考虑图像的基准数量以使得可以从五以上选择帧图像的可提取数量，并且组中的静止图像和帧图像的总数量超过基准数量时，可以将该组划分成两组以上。帧图像提取器M可以根据用户所指定的页面数量，确定可以从每幅运动图像中提取的帧图像的数量。例如假设用户指定使用如图36所示分类成第一组至第五组的图像来制作包含七个页面的相册。此外，假设图像的基准数量为四。然后，当仅简单地考虑图像的基准数量时，相册的页面数量是五，这是因为如图37所示，从第一组运动图像中提取一幅帧图像，并且从第二组运动图像中提取两幅帧图像。因此，根据用户所指定的页面数量增加从每幅运动图像中提取的帧图像的数量， 使得例如从第一组运动图像中提取两幅帧图像，并且从第二组运动图像中提取五幅帧图像，如图38A所示。然后，如图38B所示，第一组被划分成包含两幅帧图像的一组和包含三幅静止图像的另一组，同时将第二组划分成包含两幅静止图像和两幅帧图像的一组以及包含三幅帧图像的另一组。因而，相册具有用户所指定的七个页面。根据图像的基准数量和用户指定的页面数量，可以在可允许的范围内适当地以任意方式确定要从每幅运动图像中提取的帧图像的数量以及如何划分包含超过图像基准数量的图像数量的组。布局确定单元沈基于分析信息和/或关系信息，按组确定帧图像和静止图像的布局，并且产生并输出布局数据。例如，当要制作相册时，将每组分配给一个页面，并且基于分析信息和/或关系信息确定页面布局。将布局数据存储在图像记录器18中。图像排列单元观基于布局数据从图像记录器18读取帧图像数据和静止图像数据，排列这些图像，并且产生并输出排列数据。将排列数据存储在图像记录器18中。接下来，将描述实现本发明的图像处理方法的本发明的图像处理装置10的操作。图3是示出本发明的图像处理方法的流程示例的流程图。首先，从图像数据输入单元12输入素材运动图像和静止图像的数据(运动图像/ 静止图像数据)(步骤S10)。将所输入的运动图像/静止图数据作为素材图像数据记录在图像记录器18中一次。图像分组单元19从图像记录器18读取素材图像数据(运动图像/静止图像数据)，并且根据给定条件(事件)将该素材图像数据分类成组(步骤S12)。
例如，如图4A所示，在按拍摄日期对图像进行分类的情况下，将在2月11日从 10:00到12:00拍摄到的一幅运动图像和六幅静止图像分类成第一组；将在同一天从12:00 到15:00拍摄到的两幅静止图像和一幅运动图像分类成第二组；将在同一天从15:00到 17:00拍摄到的一幅运动图像分类成第三组；将在同一天从17:00到拍摄到的两幅静止图像分类成第四组；以及将在第二天拍摄到的三幅静止图像分类成第五组。接下来，图像分析器22按组分析被分类成组的运动图像/静止图像数据，以确定其中是否混合了运动图像和静止图像(步骤S14)。分别以混合运动图像和静止图像的情况 (步骤S14中的“混合”)、仅包含运动图像的情况(步骤S14中的“仅运动图像”)、以及仅包含静止图像的情况(步骤S14中的“仅静止图像”)所特有的方式执行处理。在图4A所示的示例中，第一组和第二组中包含混合的运动图像和静止图像(步骤 S14中的“混合”)；第三组中仅包含运动图像(步骤S14中的“仅运动图像”)；以及第四组和第五组中仅包含静止图像(步骤S14中的“仅静止图像”)。相应地，针对各组独立地执行处理。在混合地包含运动图像和静止图像的情况下(步骤S14中的“混合”)，静止图像分析器2 分析该组中所包含的静止图像数据，以获得静止图像分析信息，以计算可以从运动图像中提取的帧图像的最大数量。接下来，运动图像分析器22b分析该组中所包含的运动图像数据，以获得关于运动图像的分析信息。静止图像分析器2 和/或运动图像分析器22b比较它们的分析信息， 以获得关系信息。另外，通过对分析信息进行加权来计算各关系信息的代表值。随后，帧图像提取器M基于分析信息和/或关系信息，确定要从每幅运动图像中提取且不会超过帧图像的最大可提取数量的帧图像的数量，并且提取预定数量的帧图像。 同一组(事件)中所包含的静止图像和运动图像非常可能代表同一场景，因此，优选地提取尽可能与静止图像在对象的方向、场景、构图等上不同的帧图像。例如，在图4B所示的示例中，以第一组的图像的最大数量是8为前提，分析第一组的六幅静止图像的静止图像数据，并且首先，计算出帧图像的最大数量为2。在六幅图像都没有示出对象的正面的情况下，获得不存在代表对象正面的图像的分析信息以及缺少代表对象正面的图像的关系信息。然后，根据缺少代表对象的正面图像的图像的关系信息，根据运动图像的长度，以最大为2的数量(即，帧图像的最大可提取数量)提取代表对象的正面图像的帧图像(步骤S16)。因此，当运动图像长时，提取数量与最大可提取数量相同的帧图像，但当如在图4B 所示的第二组的情况下运动图像的长度短时，根据分析信息和关系信息(例如，场景数量、 检测到的移动的次数)，在最大可提取数量内仅提取三幅图像，因此，在一些情况下，可以提取包括静止图像的总共仅五幅图像。可以在所提取的帧图像中携带关于运动图像的分析信息和关系信息。可以提取代表同一场景(构图)和同一对象但示出朝向稍微不同的方向的对象面部或身体的帧图像，以使在排列这些图像时，它们将示出如图5所示的移动。在可能的情况下示出移动的这种排列是有效布局。在另一示例中，如在图6所示的第二组的情况下，当静止图像40示出人物A并且运动图像42示出人物A时，可以从运动图像42中优先提取示出与静止图像40中示出的人物A不同的人物A的帧图像。可替选地，可以使用位置信息(诸如，使用GPS等获得的信息)提取代替示出人物A的图像的、考虑拍摄位置(拍摄场所)的帧图像。另外，可以提取与静止图像40在构图、颜色等上不同的表示场景的帧图像。可替选地，可以考虑图像的分辨率来提取帧图像。当从组(诸如，图6所示的第三组)中所包含的一幅运动图像中仅提取一幅帧图像时，例如，所得到的布局是如图39所示的布局，其中，一幅帧图像被放大并位于页面的中心处。在这种情况下，当从运动图像中提取的帧图像具有高分辨率时，不会引起任何问题。 当帧图像是从使用例如便携式电话中所设置的相机功能获取的低分辨率运动图像提取的帧图像时，从该便携式电话产生的打印输出将具有较差的图像质量。因此，当运动图像具有比给定分辨率低的分辨率并且组中所包含的静止图像和帧图像的总数比给定数量小时，优选地，通过增大要从运动图像中提取的帧图像的数量来进行调节，使得考虑到打印输出的图像质量，一幅图像的显示尺寸小于给定尺寸。例如，如图40所示，当将帧图像的数量增大至四时，每幅图像的尺寸减小，这必然改进了所得到的打印输出的图像质量。可替选地，可以考虑对象人物的数量和尺寸来提取帧图像。例如当运动图像包含许多人物或者运动图像中所包含的人物的尺寸即使在运动图像中仅包含少数人物时也较小时，如果从运动图像中提取大量帧图像，则每幅图像的显示尺寸较小，从而难以识别人物。当运动图像中所包含的人物的尺寸小于给定尺寸时，优选地，通过减小从运动图像中提取的帧图像的数量来进行调节，使得以不小于给定尺寸的的尺寸显示人物，从而容易识别人物。可替选地，可以考虑图像的纵横比来提取帧图像。运动图像的纵横比根据例如固定相机的方式(垂直地或水平地)和拍摄模式(高画质1920X1080 ；VGA 640X480)而变化。相应地，优选地增大要从具有图像布局所需要的纵横比的运动图像中提取的帧图像的数量，同时根据用于制作相册或电子相册的条件减小要从其他运动图像中提取的帧图像的数量。例如当需要许多肖像方面的帧图像时，增大要从肖像方面的运动图像提取的帧图像的数量，同时减小要从风景方面的运动图像提取的帧图像的数量。可替选地，代替提取尺寸与屏幕上所显示的运动图像的整个区域相对应的帧图像，可以确定要提取帧图像的、屏幕上所显示的运动图像的区域或一部分，并且可以对所确定的区域提取帧图像。例如当运动图像包含孩子和兔子并且孩子的面部进行如图41所示的特别大的移动(即，面部的方向改变较大)时，可以将包括孩子的面部的给定区域确定为从运动图像中提取图像的区域，使得提取包括面部移动前的孩子的面部、由图41B中的虚线所围绕的给定区域作为帧图像1，并且提取包括面部移动后的孩子的面部、由图41C中的虚线所围绕的给定区域作为帧图像2。当例如如图42A所示同一组中的静止图像包含孩子和兔子并且如图42B所示同一组中的运动图像也包括孩子和兔子时，可以将每个均包含孩子和兔子的面部的给定区域确定为用于从运动图像提取图像的区域，以提取包括孩子的面部的给定区域和包括兔子的面部的给定区域(在图42B中每个给定区域均被虚线围绕)作为帧图像。当完成从组中的运动图像提取帧图像时，将运动图像和帧图像的关系信息的代表
1值与静止图像的关系信息的代表值进行比较(步骤S18)。当运动图像和帧图像的关系信息与静止图像的关系信息之间存在接近关系(例如，它们的代表值之间的差小于正10或负 10)时(步骤S18中的“存在关系”时)，考虑到该关系而确定布局，并且输出布局数据。将布局数据记录在图像记录器18中并且输入图像排列单元观中，其中，将布局数据与帧图像和静止图像合成，以产生并输出排列数据(步骤S20)。将所输出的排列数据记录在图像记录器18中。在作为示例给出的、图7所示的第二组中，将静止图像44的关系信息与帧图像46、 48和50的关系信息进行比较，并且当确定出静止图像44与帧图像46、48和50之间存在接近关系时，可以如图8所示制作布局，其中可以将帧图像46、48和50排列在大的静止图像 44之下。在另一布局示例中，布局可以为帧图像58按时间先后顺序排列在静止图像56周围，如图9所示的布局M。当在步骤S18中运动图像和帧图像的关系信息与静止图像的关系信息之间的关系不接近(例如，它们的代表值之间的差大于正10或负10)时(步骤S18中的“没有关系”)，输出布局数据，以使静止图像44以及帧图像46、48和50简单地排列而无需考虑关系信息(如图IOA所示)，或者输出静止图像44位于一个页面中的布局64，同时如布局66 — 样，帧图像46、48和50排列在另一页面中(如图IOB所示)。将布局数据记录在图像记录器18中并且输入图像排列单元观中，其中，将布局数据与帧图像和静止图像合成以产生并输出排列数据(步骤S2》。将所输出的排列数据记录在图像记录器18中。在步骤S14中作出判断“仅运动图像”的情况下，运动图像分析器22b分析运动图像数据，以获得分析信息。帧图像提取器M基于分析信息，提取数量不超过为第一组所预定的最大可提取数量的最佳帧图像(步骤S24)。例如，图4A所示的第三组仅包含一幅运动图像，并且运动图像分析器22b分析运动图像数据以获得分析信息。现在，例如当用户输入针对一个场景提取一幅帧图像的指令时，并且假定第三组包含可以按构图划分成六个场景的运动图像，则提取每个场景的一帧。 因而，如图4B所示，提取六幅帧图像。以例如给定时间间隔提取的帧图像被排列成如图IlA所示的布局68(其中，帧图像70均勻地排列)，并且输出对应的布局数据。当运动图像包含特写部分时，可以作出如下布局72，其中帧图像74( —幅表示缩小的图像)和接着的另一幅表示放大的图像排列成彼此覆盖，如图IlB所示。当所提取的帧图像连续地示出孩子或类似对象时，可以将所提取的帧图像78排列成其排列在给定方向上的布局76。如在步骤S18中作出“没有关系”判断的情况下，将布局数据记录在图像记录器 18中并且输入图像排列单元观中，其中，将布局数据与帧图像合成以产生并输出排列数据 (步骤S2》。将输出的排列数据记录在图像记录器18中。当在步骤S14中作出“仅静止图像”判断时，静止图像分析器2 分析静止图像数据以获得分析信息。布局确定单元26基于静止图像分析信息产生并输出静止图像布局数据。将布局数据记录在图像记录器18中并且输入图像排列单元观中，其中，将布局数据与静止图像合成以产生并输出排列数据(步骤S26)。将所输出的排列数据记录在图像记录器
1418中。接下来，参照图12，我们将描述在已经产生排列数据后根据用户指令重构排列数据的情况。可能存在用户想要重构通过本发明的图像处理方法已经制作的例如相册的排列数据的一些页面的情况。现在，我们将考虑如下情况例如，将图12A所示的一组图像的图像数据分类成图12B所示的组，以通过本发明的图像处理方法产生图12C所示的相册的排列数据。假定用户想要将来自运动图像的多个帧图像添加到第二页面80中，则用户对操作单元16进行操作，以给出重构第二页面80的重构指令。因而，操作单元16输出重构指令。将重构指令输入布局确定单元沈并在图像显示器14(用户从该图像显示器选择布局)上显示例如多个布局候选(模板82、84)，并且输出用于重新提取适合所选布局的的帧图像的指令。将重新提取指令输入帧图像提取器M中，并且提取适合所选的新布局的帧图像， 将其寄存在图像寄存器18中并输入图像排列单元观中，以产生并输出重构页面(第二页面80)的排列数据。将输出的排列数据记录在图像记录器18中。页面的重构不仅可以通过用户的模板选择来实现，而且可以以这样的方式实现 用户指定要从运动图像中提取的帧图像的数量，使得根据帧图像的数量自动进行模板选择。打印机(未示出)打印图像处理装置10所产生的排列数据，并且装订装置(未示出)装订打印页面，以制作相册。接下来，将参照具体示例描述本发明的图像处理方法。示例 1图13和图14示出按事件(组)提取推荐图像的示例。首先，如图13所示，将运动图像和静止图像分类成组(事件A、事件B、和事件C)。 在这种情况下，根据分析信息和/或关系信息从运动图像中提取帧图像。接下来，根据分析信息(诸如，例如事件中的图像数量、对象人物的数量、对象的尺寸、整个图像的亮度、以及整个图像的生动性)，从分类成事件的图像当中提取推荐图像。在提取推荐图像的示例中，按示出人物的场景进行分类，并且如图14A所示，根据人物的面部的位置(是否朝向图像的中心)和面部的尺寸(与整个图像成比例等)选择推荐图像。另外，如图14B所示，可以按如下方式进行提取，其中根据指定人物实现分类，并且根据人物的面部的位置、他的/她的面部的尺寸、诸如微笑的面部表情和亮度(辉度)确定推荐图像。所提取的推荐图像(帧图像或静止图像)是根据分析信息和/或与其他所提取的推荐图像的关系(即，根据相应的分析信息和/或关系信息)来排列的。示例 2图15至图19示出使用面部和消失点的检测实现布局的示例。如图15所示，例如，静止图像是从分类成组的图像中选择的并且位于相册的两个相对展开页面的中心处，同时帧图像排列在静止图像周围。然而，图15所示的布局没有考虑图像的内容，从而在各幅图像中的面部方向90和消失点92不一致，因而，布局总体上不一致。当使用对象的面部方向、消失点、以及静止图像和帧图像的分析信息中的关系信息制作布局时，所得到的布局在中心处具有深度，并且基于如图16所示的消失点92和面部方向94考虑到图像的方向性，将图像放置在中心图像周围。在这样的布局中，以良好的平衡排列图像。在其他示例中，如图17A和图17B所示，从运动图像中检测面部，并且使用分析信息和关系信息中的面部方向，以提取示出面部方向的变化的帧图像并将所提取的图像排列在给定方向上。在这样的布局中，图像被排列成示出对象的面部方向的变化。在又一示例中，如图18所示，检测到组中的主要对象100，并且使用分析信息和关系信息中主要对象的位置来叠加其他图像，以不隐藏主要对象100。在所得到的布局中，未隐藏主要对象100并且有效地叠加了图像。另外，如图19所示，可以使用分析信息和关系信息中对象的面部方向来作出布局，使得其他图像不位于处于对象的面部方向103上的空间102中。在所得到的布局中，没有图像接近对象的面部并处在其方向上，因而图像不会造成压抑感。示例 3图20至图M示出了从运动图像中提取帧图像的示例。图20至图M中所示的示例示出提取最理想的帧图像的情况。除非另外描述，否则在帧图像提取之后即完成布局，并且帧图像类似于示例1和示例2的情况排列。当如图20A所示识别出目标人物的面部104但其眼部未朝向相机时，它们不是最理想的。因此，如图20B所示，分析运动图像以从其中提取示出目标人物的微笑108、110(其中，它们的眼部朝向相机)的帧图像，作为最理想的图像。在其他示例中，如图21所示，从运动图像中自动提取推荐帧图像(提取最理想的图像)，如图22所示，将从运动图像提取的最理想的图像随机排列在混洗打印布局中，并且如图23所示，按时间先后顺序排列最理想的图像，以示出移动。另外，如图M所示，提取分别在时间A、B和C处拍摄的帧图像，作出相似度判断以确定与参考帧图像(时间A)的相似度，并且进行图像合成以从多幅帧图像产生单个高分辨率图像。示例 4图25至图27示出在存在关于同一人物的按时间先后顺序的变化的情况下的分类示例。例如可以存在如下情况从大量图像中提取示出人物从他的/她的幼年经童年到成年的图像。然而，利用当前的面部识别技术，很难在面部经历很大改变时利用在对象的幼年期间拍摄的图像以及从幼年到成年拍摄的图像进行判断；例如，即使在已登记婴儿期间的面部时，也很难将幼年前拍摄的图像中的人物识别为同一人物。因此，当如图沈所示将静止图像数据116从数码相机112上传到个人计算机114(以下称为PC)，并且使用图像处理应用分类成组时，在编辑屏幕118上给出消息119，即不存在示出与登记人物的面部相同的面部的图像。当尽管以上传到PC中的静止图像数据116所代表的人物与登记人物相同但仍给出消息119时，新登记由静止图像数据116代表的人物，以重构识别判断处理。当如图27所示另外登记人物的面部时，未出现错误的判断并且目前不需要另外登记，并且随着人成长， 仅偶尔需要登记一些图像的静止图像数据120。当人的面部的特征在他/她成长后没有改变太多时，也不需要另外登记。因此，即使当存在同一人物的按时间先后顺序的变化时，仅登记代表每个成长时期的一些面部图像足以分类成组而不存在错误判断的可能性。示例 5图28和图四示出利用静止图像和帧图像进行面部识别、并且自动实现图像的布局和排列的示例。以如下的这种方式进行图像提取例如，如在上述示例3的情况下一样， 从提取自运动图像和静止图像的帧图像中提取最理想的图像。如图观所示，例如当要制作相册作为给孙子的祖父母的礼物时，要制作的布局可以是关于孙子的。当要制作相册以供家庭成员观看时，制作布局以使得如图四所示均勻地示出家庭成员(父亲、母亲和孩子)和风景。另外，在使用在与朋友旅行期间拍摄的图像的相册中，用户的布局最可能包括示出用户的图像，同时在制作相册作为给朋友的礼物时，用户的布局最可能包括示出朋友的图像。示例 6图30和图31示出使用主要对象、天空和地面的区域提取来确定字符合成区域的示例。以如下的这种方式进行图像提取类似于上述示例，从提取自运动图像和静止图像的帧图像中提取最理想的图像。图30示出将字符叠加在相册的页边区域(S卩，其中未包含图像的区域)上的情况。另一方面，图31示出如下情况在相册左边页面中，在布局中选择空白区域122，并且将字符叠加在空白区域122上。在右边页面上，在布局中选择面部区域124，并且将字符叠加在没有面部区域124的区域上。因此，字符位于如代表天空和地面的区域或者没有人物的面部的区域中，以制作吸引人的相册。示例 7图32示出根据所选图像(主要图像)的颜色信息选择背景模板的示例。以如下的这种方式实现图像提取例如，类似于上述示例3，从提取自运动图像和静止图像的帧图像中提取最理想的图像。图32示出为相册的页边部分指定颜色(背景颜色、背景模板)的情况。当为相册的页边部分指定颜色时，首先从页面中提取主要图像126。本文中的主要对象是指位于中心处并且具有大显示尺寸的图像。接下来，分析主要图像126以确定使用得最多的颜色。在图32所示的示例中，背景中的蓝色天空代表主要图像1 中的大区域，于是提取出例如“蓝色”。根据所提取的颜色(“蓝色”)确定背景颜色(背景图像)。当提取出例如“蓝色”时，将主要图像中比“蓝色”浅的水蓝色设置为背景颜色，使得页边区域1 与主要图像中的蓝色天空之间的边界清晰。因此，将水蓝色背景颜色设置为背景模板。在上述示例中，使用了单色背景，但本发明不限于此；可以将先前提供的背景图像或者通过处理要置于布局中的图像而获得的图像用作背景图像。因而，设置各页面所特有的背景颜色(背景图像)产生了页面之间图像统一的印象，从而能够制作更吸引人的相册。如上所述，本发明的图像处理装置和图像处理方法使得能够产生排列数据，其中， 根据分析信息和与静止图像的关系排列静止图像和最佳帧图像，而即使当素材数据(文件)包含混合在其中的运动图像数据和静止图像数据时，也无需费力从图像中选择用户想要使用的帧图像。另外，本发明的图像处理装置和图像处理方法使得能够根据排列数据制作印刷物、相册或电子相册。假定使用本发明制作印刷物，用于制作印刷物的输出的类型不限于任何方式，并且包括例如卤化银摄影术和喷墨打印。不仅可以制作印刷物作为一张照片，而且可以在诸如各种卡、日历、杯子、T恤等的商品上制作印刷物。尽管作为前提，从运动图像中提取的帧图像具有与运动图像相同的分辨率和纵横比，但是可以通过合成来自运动图像的多个帧图像来制作布局，以制作并排列全景图像并产生对应的排列数据。可以将上述图像处理方法中所采取的步骤配置成用于使计算机执行上述图像显示方法的步骤的图像处理程序，或者可以将上述图像处理方法中所采取的步骤配置成如下图像处理程序其能够使计算机用作执行图像处理方法的各步骤的装置或者用于构成上述图像处理装置的部件的装置。另外，可以以计算机记录介质或计算机可读存储器的形式配置上述图像处理程序。尽管以上详细描述了根据本发明的图像处理装置、图像处理方法和程序，但是本发明不限于上述实施例，并且可以在不背离本发明的精神和范围的情况下进行各种修改。
权利要求
1.一种用于生成图像布局的图像处理装置，其包括图像数据输入单元，用于接收运动图像和静止图像的数据，图像分组单元，用于根据给定条件将所述运动图像和所述静止图像分类成组，图像分析器，用于按组分析所分类的所述运动图像和所述静止图像，并且获得分析信息以及关系信息，其中，所述分析信息是通过分析所述运动图像和所述静止图像而获得的， 所述关系信息表示所述运动图像与所述静止图像之间的关系，帧图像提取器，用于根据所述分析信息和所述关系信息中的至少一个，按组确定要从每幅所述运动图像中提取的帧图像的数量，并且提取确定数量的帧图像，布局确定单元，用于根据所述分析信息和所述关系信息中的至少一个，按组确定所述静止图像和所述帧图像的布局，以及图像排列单元，用于根据所述布局，按组排列所述静止图像和所述帧图像。
2.根据权利要求1所述的图像处理装置，其中，所述给定条件是拍摄时间、拍摄位置和对象中的至少一个。
3.根据权利要求1所述的图像处理装置，其中，所述关系信息是用于对关于所述运动图像的分析信息和关于所述静止图像的分析信息进行比较的信息。
4.根据权利要求1所述的图像处理装置，其中，所述关系信息是所述分析信息。
5.根据权利要求1所述的图像处理装置，其中，所述分析信息使用包括以下项的项目中的至少一项对象面部的面部识别、对象的数量、对象的尺寸、对象的位置、对象面向的方向、对象面部的方向、对象的面部表情的识别、移动的检测、整幅图像的拍摄时间、拍摄位置、构图、消失点、颜色、亮度、整幅图像的生动性、人物的标识、相机移动量、拍摄条件、图像的分辨率、图像的纵横比、以及拍摄模式。
6.根据权利要求3所述的图像处理装置，其中，所述关系信息还包括通过对关于所述运动图像和所述静止图像的各分析信息进行加权而计算出的代表值，并且其中，对各所述代表值进行比较，以判断所述帧图像和所述静止图像之间是否存在关系。
7.根据权利要求1所述的图像处理装置，其中，所述图像分析器确定通过从图像的基准数量减去同一组中的静止图像的数量而获得的数量，作为可以提取的所述帧图像的最大数量，其中，所述图像的基准数量是可以按组排列的图像的最大数量。
8.根据权利要求1所述的图像处理装置，其中，所述布局确定单元选定所述帧图像按时间先后顺序排列在所述静止图像周围的布局。
9.根据权利要求5所述的图像处理装置，其中，所述布局确定单元根据至少两项所述分析信息确定所述静止图像和所述帧图像的布局。
10.根据权利要求1所述的图像处理装置，其中，所述布局确定单元选定其他静止图像或帧图像根据消失点或图像方向性排列在具有深度的静止图像或帧图像周围的布局。
11.根据权利要求5所述的图像处理装置，其中，所述帧图像提取器提取示出面部方向如何根据所述分析信息和所述关系信息中所述对象面部的方向而改变的所述帧图像，并且其中，所述布局确定单元选定其中所提取的示出了面部方向如何改变的帧图像排列在给定方向上的布局。
12.根据权利要求5所述的图像处理装置，其中，所述布局确定单元选定如下布局其他静止图像和帧图像根据所述分析信息和所述关系信息中的对象位置而叠加在包含主要对象的所述静止图像或所述帧图像上，以不隐藏所述静止图像或所述帧图像中所包含的所述主要对象。
13.根据权利要求12所述的图像处理装置，其中，所述布局确定单元选定其他静止图像和帧图像不排列在位于所述主要对象的面部方向上的给定空间内的布局。
14.根据权利要求1所述的图像处理装置，其中，所述帧图像提取器根据所述分析信息和所述关系信息提取用于表现移动的帧图像，并且其中，所述布局确定单元选定其中所提取的帧图像按时间先后顺序排列以表现移动的布局。
15.根据权利要求1所述的图像处理装置，其中，所述帧图像提取器提取所述帧图像， 并且通过组合所提取的帧图像中的参考帧图像和类似于所述参考帧图像的帧图像来产生帧图像。
16.根据权利要求5所述的图像处理装置，其中，所述图像分析器将所述静止图像中所包含的人物的面部与登记了其各自代表成长时期的图像的人物的面部进行比较，以将所述静止图像中所包含的人物标识为所述分析信息中的人物。
17.根据权利要求1所述的图像处理装置，其中，所述布局包括背景模板，并且其中，所述布局确定单元根据作为主要图像的静止图像或帧图像的颜色信息确定所述背景模板。
18.根据权利要求1所述的图像处理装置，其中，当用户输入对给定页面的重构指令时，所述布局确定单元根据所述重构指令在所述给定页面中重构布局。
19.根据权利要求1所述的图像处理装置，还包括记录器和显示器，所述记录器用于记录所述运动图像和所述静止图像的数据、所述帧图像的数据、所述布局的数据以及由所述图像排列单元进行的排列的数据，以及所述显示器用于显示所述排列的结果。
20.根据权利要求19所述的图像处理装置，其中，所述组是多个组，并且当提取所述帧图像时，所述多个组的提取结果同时显示在所述显示器上。
21.根据权利要求1所述的图像处理装置，其中，当所述运动图像具有比给定分辨率低的分辨率并且所述组中的每一组中的所述静止图像和所述帧图像的总数小于给定数量时， 所述帧图像提取器通过增大要从所述运动图像中提取的帧图像的数量来进行调整，使得一幅图像的显示尺寸小于给定尺寸。
22.根据权利要求1所述的图像处理装置，其中，当所述运动图像中所包含的人物的尺寸小于给定尺寸时，通过减小从所述运动图像中提取的帧图像的数量来进行调整，使得以小于给定尺寸的尺寸显示所述人物。
23.根据权利要求1所述的图像处理装置，其中，所述帧图像提取器增大要从具有所述布局所要求的纵横比的运动图像中提取的帧图像的数量，并且减小要从其他运动图像中提取的帧图像的数量。
24.根据权利要求1所述的图像处理装置，其中，所述帧图像提取器确定与所述运动图像的显示屏幕的一部分相对应的区域，并且利用确定的区域提取帧图像。
25.根据权利要求1所述的图像处理装置，其中，所述帧图像提取器根据所述运动图像的再现时间、所述运动图像的成像内容、和所述关系信息中的至少一个，确定要从所述运动图像中提取的帧图像的数量。
26.根据权利要求25所述的图像处理装置，其中，当所述组中的每一组中的所述静止图像和所述帧图像的总数超过图像的基准数量时，所述帧图像提取器根据所述分析信息， 在不超过所述图像的参考数量的范围内从所提取的帧图像中提取推荐帧图像，其中，所述图像的基准数量是可以排列在所述组中的每一组中的图像的最大数量。
27.根据权利要求25所述的图像处理装置，其中，当所述组中的每一组中的所述静止图像和所述帧图像的总数超过图像的基准数量时，所述帧图像提取器将所述总数超过所述基准数量的组划分成两组以上，其中，所述图像的基准数量是可以排列在所述组中的每一组中的图像的最大数量。
28.根据权利要求1所述的图像处理装置，其中，所述帧图像提取器根据图像的基准数量从所述运动图像中提取用户所选的多个所述帧图像，其中，所述图像的基准数量是可以排列在所述组的每一组中的图像的最大数量。
29.根据权利要求1所述的图像处理装置，其中，所述帧图像提取器从所述运动图像中提取用户所选择的多个所述帧图像，并且当所述组的每一组中的所述静止图像和帧图像的数量超过图像的基准数量时，所述帧图像提取器将所述总数超过所述基准数量的组划分成两组以上，其中，所述图像的基准数量是可以排列在所述组的每一组中的图像的最大数量。
30.根据权利要求1所述的图像处理装置，其中，所述帧图像提取器根据用户所设置的页面数量确定要提取的帧图像的数量。
31.一种印刷物制作系统，包括权利要求1所述的图像处理装置，以及打印装置，用于打印由所述图像排列单元进行的排列的数据。
32.一种相册制作系统，包括权利要求1所述的图像处理装置，打印装置，用于打印由所述图像排列单元进行的排列的数据，以及装订装置，用于装订打印纸张。
33.一种用于生成图像布局的图像处理方法，包括图像数据输入步骤，用于接收运动图像和静止图像的数据， 图像分组步骤，用于根据给定条件将所述运动图像和所述静止图像分类成组， 图像分析步骤，用于按组分析所分类的所述运动图像和所述静止图像，并且获得分析信息以及关系信息，其中，所述分析信息是通过分析所述运动图像和所述静止图像而获得的，所述关系信息表示所述运动图像与所述静止图像之间的关系，帧图像提取步骤，用于根据所述分析信息和关系信息中的至少一个，按组确定要从每幅所述运动图像中提取的帧图像的数量，并且提取确定数量的帧图像，布局确定步骤，用于根据所述分析信息和所述关系信息中的至少一个，按组确定所述静止图像和所述帧图像的布局，以及图像排列步骤，用于根据所述布局，按组排列所述静止图像和所述帧图像。
34.一种非暂态计算机可读介质，其存储用于使计算机执行权利要求33所述的用于制造图像的布局的图像处理方法的计算机程序。
全文摘要
本发明提供了信息处理装置、信息处理方法以及程序。图像处理装置包括图像数据输入单元，用于接收运动图像和静止图像的数据；图像分组单元，用于将运动图像和静止图像分类成组；图像分析器，用于按组分析所分类的运动图像和静止图像，并且获得图像的分析信息以及关于运动图像与静止图像之间的关系的信息；帧图像提取器，用于根据分析信息和关系信息中的至少一个，从运动图像中提取帧图像；布局确定单元，用于根据分析信息和关系信息中的至少一个，确定静止图像和帧图像的布局；以及图像排列单元，用于根据布局排列静止图像和帧图像。
文档编号B42F5/02GK102426574SQ20111020924
公开日2012年4月25日 申请日期2011年7月22日 优先权日2010年7月22日
发明者山路启 申请人:富士胶片株式会社
最新回复(0)