图像显示控制装置、图像显示控制方法及集成电路的制作方法
专利名称：图像显示控制装置、图像显示控制方法及集成电路的制作方法
技术领域：
本发明涉及驱动显示器件的图像显示控制装置、图像显示控制方法，以及图像显示控制装置中采用的集成电路。
背景技术：
以往，在电视播放节目、数码静态照相机或数字电影等中显示拍摄到的图像的图像显示控制装置是以影像显示在画面整体上为通常的使用状态。但是，随着近年来图像显示控制装置配备有高清晰度的大画面，提出了在大于拍摄到的图像的可显示区域内移动并显示图像的技术。例如，专利文献1中公开了以下技术。即，在显示的图像中通过图像处理提取运动矢量，通过运动矢量的加权加算并平均化提取各个图像的主要动态信息，或者，显示的图像以MPEG(Moving Picture Expert Group)等在内部存放运动信息的动态图像格式记录时， 从其动态图像数据中提取运动矢量，通过上述方法提取各个图像的主要动态信息，然后，相应于其运动信息，使显示图像的位置在可显示区域内移动。但是，由于这一技术使得图像的显示位置根据被摄体的运动产生移动，从而存在显示中的图像从图像显示区域逸出、且无法正确显示图像的课题。专利文献2中公开了解决以上课题的技术。具体来说，公开了以下技术。即，检测图像的场景变化，缩小可显示区域内的移动量来进行移动，使得场景中位于移动振幅中心的图像显示在可显示区域的中心，并且使得图像显示在可显示区域内。专利文献1 日本特开平10-301556号公报专利文献2 日本特开2003-256846号公报但在现有技术中，由于根据显示图像的运动矢量移动显示位置，因此虽可再现与拍摄图像显示控制装置显示的图像的摄像机的摄像面平行方向上的被摄体的运动，但对于该摄像机的光轴方向(纵深方向)上的被摄体的运动却难以再现。对其原因，通过图23 25的具体例子进行详细说明。图23示出了拍摄图像显示控制装置显示的图像的摄像机的坐标系、和在该坐标系中被摄体的移动的例子。图中的X轴表示摄像机摄像面的右方向，Y轴表示摄像面的下方向，Z轴表示摄像机的光轴方向(即，纵深方向)，摄像机以X轴为水平方向、Y轴为垂直向下的方式被固定住。并且，如点线所示，被摄体向摄像机趋近移动。在点线上用黑圆点表示的各时间点，标示出的图像为被拍摄到的图像。此外，在图像的左上角标出了用于识别各图像的编号，在后述的图24、图25中，同一编号的图像为各自相对应的图像。图M为将由上述方式取得的图像用现有技术显示的图像。图23的例子中，虽可生成与图像上的被摄体被放大相对应的运动矢量，但这种运动矢量的成分分散在多个方向上，因此，如果以专利文献1中描述的方式对运动矢量进行加权加算并取平均，则大多相互抵消。并且，主要检测的是与被摄体的XY方向上的移动相对应的运动矢量。在图23的例子中，由于被摄体没有进行跳跃等上下方向的运动，所以Y方向上的动态信息从图像上几乎检测不到。因此，在现有技术中，尽管被摄体做了向摄像机趋近的运动，但如图M所示，只显示为似乎图像主要在大画面的横向(X方向)移动。并且，在现有技术中，只部分再现被摄体的运动，因此在显示的动态化方面存在问题。
发明内容
因此，本发明的目的为，针对大于显示图像的可显示区域，通过在对应于被摄体的空间中的位置的显示位置进行图像显示，再现被摄体的空间中的移动，尤其是再现趋向纵深方向的移动。更具体为，如图25所示，通过将纵深方向的移动在显示图像中以上下方向的移动进行表现，动态地显示被摄体。为达到上述目的，本发明提供一种图像显示控制装置。本发明的图像显示控制装置是驱动显示器件的图像显示控制装置，其包括以下部件内容管理部，将动态图像的图像数据与由以拍摄被摄体的摄像机为基准的直角坐标系记录的被摄体的位置信息，以帧单位 (frame unit)进行对应并存储；显示位置决定部，将所述坐标系中纵深方向的被摄体的坐标对应于显示器件的纵轴坐标，并将所述坐标系中横轴方向的被摄体的坐标对应于显示器件的横轴坐标，以决定动态图像的显示位置；显示器件控制部，将在所述显示位置决定部决定的显示位置显示动态图像的信号发送到显示器件。通过上述结构，本发明不仅可再现显示与拍摄被摄体的摄像机的摄像面平行的被摄体的运动，还可再现显示相对摄像机摄像面垂直的纵深方向的运动。据此，用户可以识别相对摄像机摄像面垂直的纵深方向上的被摄体的移动。
图1是表示本发明第一实施方式中图像显示控制装置的结构的方块图。图2示出输入图像中被摄体的图像内位置的一个例子。图3示出显示器件的基准坐标的一个例子。图4是第一实施方式中显示位置决定部106的流程图。图5示出显示图像中被摄体的图像内位置、及显示画面中显示图像的显示位置的一个例子。图6示出用本发明第一实施方式中的图像显示控制装置对图5的显示位置后进行修正并显示的图像的一个例子。图7示出为检测被摄体的位置而测定的信息的一个例子。图8示出位置生成部103生成的、由距离感应器和角度感应器测得的被摄体位置信息的一个例子。图9示出位置生成部103生成的、摄像机坐标中的被摄体信息的一个例子。图10示出图像解析部102检测出的被摄体的图像内位置信息的一个例子。图11示出临时显示位置2的一个例子。图12示出显示位置的一个例子。图13示出一部分输入图像中不包含被摄体时，用图标替代图像显示被摄体的例子。
图14示出由于手颤等导致图像中的被摄体位置发生剧烈变化的状态下，被摄体被拍摄时的被摄体的移动轨迹和输入图像的一个例子。图15示出不考虑图像中的被摄体位置，而对应于空间中的被摄体位置显示图14 的输入图像的例子。图16示出考虑图像中的被摄体位置来显示图像的例子。图17示出本发明第二实施方式中图像显示控制装置的结构。图18是第二实施方式中显示位置决定部1061的流程图。图19是第二实施方式中显示位置决定部1061进行其他动作时的流程图。图20示出在场景的一部分进行变焦后，被摄体被拍摄时的被摄体的移动轨迹和输入图像的一个例子。图21示出用本发明第一实施方式中的图像显示控制装置显示图20的输入图像的图像的一个例子。图22示出用本发明第二实施方式中的图像显示控制装置显示图20的输入图像的图像的一个例子。图23示出被摄体被拍摄时的被摄体的移动轨迹和输入图像的一个例子。图M示出用现有发明中的图像显示控制装置显示图23的输入图像的图像的一个例子。图25示出用本发明第一实施方式中的图像显示控制装置显示图23的输入图像的图像的一个例子。附图标记说明100 图像显示控制装置；101 图像输入部；102 图像解析部；103 位置生成部； 104 内容管理部；1041 图像存储部；1042 图像内位置存储部；1043 被摄体位置存储部； 1044 变焦值存储部；1045 图像内位置大小存储部；105 显示画面区域尺寸取得部；106、 1061 显示位置决定部；107、1071 显示器件控制部；108 显示器件；200、203、204、205、 206 输入图像；201 输入图像内的被摄体；300 显示画面；700 被摄体位置检测时的构成例；800 用于计算被摄体位置的计量数据；900 被摄体位置信息；1000 图像内位置信息； 1100 临时显示位置2的计算结果；1200 显示位置的计算结果；1300 图标。
具体实施例方式(第一实施方式)以下，对于本发明第一实施方式中的图像显示控制装置，参照图面进行说明。图1 是对本实施方式中的图像显示控制装置的结构进行说明的方块图。本实施方式中的图像显示控制装置100，包括图像输入部101、图像解析部102、位置生成部103、内容管理部104、显示画面区域尺寸取得部105、显示位置决定部106、及显示器件控制部107。图像输入部101输入并编码动态图像的图像流。图像输入部101例如可采用摄像机等。图像解析部102解析图像输入部101的图像数据，并检测被摄体在图像中的位置。 这种被摄体是指人物、动物、车辆等运动的物体。图像解析部102解析图像数据的时机可以是图像数据的输入时，也可以在中央处理装置检知到一定时间以上的空闲状态时，读取图像存储部1041存储的图像数据，并解析图像数据。作为检测方法，例如可以采用预先学习被摄体的脸部图案，通过脸部识别处理从图像数据检测被摄体的方法等。此外，也可以采用让用户指定被摄体的对象后，在其他图像中对同一对象通过图像解析进行提取，以对被摄体的位置进行确定的方法。此时，不只依据被摄体的脸部，也可依据被摄体的服装的颜色和式样对被摄体进行确定。此时，图像解析部102检测出的被摄体的位置为显示脸部的区域的重心、或显示被摄体对象的区域的重心的坐标。图2示出了输入图像200中被摄体201的图像内位置。以图像的横向为Ui轴、纵向为Vi轴的直角坐标系表示输入图像200时，图像尺寸表示为(Wi,印)。这里，输入图像为 VGA尺寸时，则图像尺寸为(640，480)。这一例子中，将显示脸部的区域的重心设定为被摄体201的位置，图像内位置以(UnV1)的方式表示。位置生成部103输入通过后述位置检测方法检测出的被摄体的地理上的位置，并生成以拍摄被摄体的摄像机为基准的坐标系(以下，称为摄像机坐标系)中的位置。随后， 将生成的摄像机坐标系中的被摄体位置输出到被摄体位置存储部1043(后述)。作为检测被摄体地理上的位置的位置检测方法，例如利用距离感应器和角度感应器取得被摄体与图像显示控制装置的距离和角度，从而对位置进行确定的方法，利用GPS检测位置的方法，以及在空间中预先设置无线标签的读取器，通过无线标签检测位置的方法等。以下，对摄像机坐标系进行说明。这一坐标系如图23所示，X轴为摄像机摄像面的右方向，Y轴为摄像面的下方向，Z轴为摄像机的视线方向(即，纵深方向)。用户进行拍摄时，摄像机通常朝着水平方向，因此可以认为X轴、Z轴大致在水平面上。因此在本实施方式中，以下以X轴、Z轴在水平面上进行说明。此外，用户在拍摄一个场景时，也有可能多角度转动摄像机以跟踪拍摄全景。此时，将某一基准方位定为Z轴的正方向，将与其垂直的水平面上的轴定为X轴。这一基准方位例如可以是朝北的方位角度，也可以是记录开始时、 记录结束时的摄像机的光轴方向。位置生成部103，在通过上述位置检测方式检测出的被摄体的位置信息为经度纬度等不同的坐标系上的位置信息时，另行求出该坐标系上的摄像机的位置信息、摄像机的光轴方向，并进行平移、回转来生成摄像机坐标系上的被摄体的位置信息。此外，输入的被摄体的位置信息虽然是在以摄像机为基准的坐标系上，但该坐标系却为极坐标系时，也可生成直角坐标系的摄像机坐标系上的被摄体的位置信息。内容管理部104，包括图像存储部1041、图像内位置存储部1042和被摄体位置存储部1043。图像存储部1041存储由图像输入部101编码的图像数据。图像内位置存储部 1042，将图像解析部102检测出的图像区域内的被摄体的位置信息和图像数据以帧单位进行对应并存储。被摄体位置存储部1043，将位置生成部103生成的摄像机坐标系上的位置信息和图像数据以帧单位进行对应并存储。被摄体位置存储部1043，如后述例子所示，可以以X坐标、Z坐标的二维数值进行保存。显示画面区域尺寸取得部105取得显示器件的画面尺寸。该取得方法可以是读取预先设置在图像显示控制装置100中的数据，也可以通过HDMI (High-Definition Multimedia Interface)等各种界面，从显示器件108 (后述)取得画面尺寸。这种显示画面区域尺寸，如图3所示，在将显示器件显示的图像的横向为Ud轴、纵向为Vd轴的直角坐标系中，以(Wd，Hd)的形式表示。例如，在超高清(Super Hi-Vision)规格的显示器件，为 (7680,4320)。显示位置决定部106，利用存储在图像内位置存储部1042中的图像区域内的图像内位置信息、存储在被摄体位置存储部1043中的被摄体在摄像机坐标系中的位置信息、以及由显示画面区域尺寸取得部105取得的显示器件的画面尺寸信息，决定显示器件108上的显示位置。显示位置决定部106的处理细节将在后述。显示器件控制部107，将在显示位置决定部106决定的显示位置上显示图像存储部1041存储的图像数据的信号发送到显示器件108。显示器件108指液晶、等离子体、电子射线管、有机EUElectro-Luminescence)等各种显示器件。在本实施例中，虽是将显示器件108设置在图像显示控制装置100以外的结构，但也可将显示器件108加入到图像显示控制装置100的结构要素中。以下，对本发明显示位置决定部106的详细处理流程进行说明。图4示出显示位置决定部106决定显示位置时的处理流程。首先，显示位置决定部106对存储在被摄体位置存储部1043中的被摄体位置的X 坐标、Z坐标的最大差分进行计算(Ml)。这种X坐标的最大差分、Z坐标的最大差分以后表示为Dx、Dz。此外，将计算这种差分时所需的X坐标的最大值、最小值分别用Xmax、Xmin表示，Z坐标的最大值、最小值分别用Zmax、Zmin表示。其次，显示位置决定部106取得显示画面区域尺寸取得部105取得的显示画面的区域尺寸(Wd，Hd)、和存储在图像内位置存储部1042中的图像内位置信息。随后，算出显示画面的有效区域尺寸(Sa2)。图5示出的是在区域尺寸为(Wd，Hd)的显示画面300整体上， 为了显示摄像机坐标系中的所有被摄体位置，求出相应于被摄体位置的Ud、Vd坐标，并将该坐标作为被摄体201的图像内位置来显示各被摄体图像的例子。图5中，对应于输入图像 203、204、205、206的各被摄体位置，在摄像机坐标系中为X坐标最小、Z坐标最大、X坐标最大、Z坐标最小。这些输入图像如图5所示，配置在显示画面300的左边缘、上端、右边缘、 下端。用这一方式在显示画面的区域整体确定被摄体的显示位置时，显示出来的是缺失显示图像203、204、205、206的左半部、上半部、右半部、下半部的图像。因此，需要基于显示画面的区域尺寸和图像内位置信息，通过缩小显示画面的有效区域来解决显示图像缺失的问题。具体来说，对于显示图像203，如图6所示，只需在Ud轴正向上将区域尺寸缩小U3, 使开始位置的Ud坐标为U3,即可避免显示图像的左半部分的缺失。对于显示图像204，在Vd 轴正向上只需以V4幅度缩小区域尺寸，使开始位置的Vd坐标为V4,即可避免显示图像的上半部分的缺失。对于显示图像205，在Ud轴负向上只需以(Wi-U5)幅度缩小区域尺寸，即可避免显示图像的右半部分缺失。对于显示图像206，在Vd轴负向上只需以(Hi-V6)幅度缩小区域尺寸，即可避免显示图像的下半部分的缺失。将以上处理进行通常考虑，则演算方式如下。对于所有输入图像Ij (j = 1 · · N) (N为场景中的帧数)，将摄像机坐标系中被摄体位置的X坐标、Z坐标设为(Xj, Zj) (j = 1 · · N)，图像内位置信息设为(Uj, Vj) (j = 1 · · N)。计算有效区域尺寸时，首先算出[UrWd · (Xj-Xfflin) /DJ、[Wi-UrWd · (Xfflax-Xj) /DJ、[VrHd · (Zmax-Zj) /Dz]、[Hi-VrHd · (ZrZmin) /Dz]
(j = 1 · · N)的最大值。将这些最大值分别定为MAX [UrWd · (XrXmin) /Dj、MAX [Wi-UrWd · (Xmax-Xj) /Dj、MAX [VrHd · (Zmax-Zj)/Dz]、MAX [Hi-VrHd · (ZrZmin) /Dz]时，则有效区域尺寸(We，He)可通过以下公式算出。[数学式1]We = Wd-MAX [UrWd · (XrXmin) /Dj -MAX [Wi-UrWd · (Xmax-Xj/Dj[数学式2]He = Hd-MAX [VrHd · (Zmax-Zj) /Dz] -MAX [Hi-VrHd · (ZrZmin) /Dz]此夕卜，将U” (Wi-Uj)、Vj, (Hi-Vj) (j = 1 · · N)的最大值分别定为 MAX[Uj]、 MAX [Wi-Uj]、MAX [V」]、MAX [Hi-Vj]时，有效区域尺寸(We，Ηε)也可通过以下公式简便地算出。[数学式3]We = Wd-MAX [Uj] -MAX [Wi-Uj][数学式4]He = Hd-MAX [Vj] -MAX [Hi-Vj]其次，显示位置决定部106基于步骤Sal中算出的Dx、Dz、和步骤中算出的有效区域尺寸(I，扎)，通过以下公式算出X方向的缩小率Rx、Z方向的缩小率Rz(Sa3)。[数学式5]Rx = ffe/Dx[数学式6]Rz = EjOz其次，显示位置决定部106利用步骤中算出的缩小率和被摄体位置信息400， 求出基于显示画面尺寸换算出的临时显示位置l(Sa4)。这一临时显示KUjl，Vj,) (j = 1 · ·Ν)可通过以下公式算出。[数学式7]Ujl = (Xj-Xfflin) · Rx[数学式8]Vjl = (Zfflax-Zj) · Rz其次，显示位置决定部106为使被摄体的脸部配置在由被摄体位置的X坐标、Z坐标的值算出的显示位置上，从步骤Sa4算出的临时显示位置KUjl，Vj,)中减去图像内位置信息的值，通过以下公式算出临时显示位置2(Uj2，Vj2) (j = 1 · · N) (Sa5)。[数学式9]Uj2 = Uji-Uj[数学式10]Vj2 = Vji-Vj其次，显示位置决定部106为使显示位置限制在显示画面区域内，对于所有临时显示位置2，在各Ud坐标、Vd坐标中分别加算或减去相同数值，使得临时显示位置2 (UJ2,VJ2) 的Ud坐标、Vd坐标的最小值为0，从而算出显示位置(Ujf，Vjf) (j = 1 · · N) (Sa6)。这种显示位置(Ujf，Vjf)是将图6中输入图像203 206的原点(左上角的像素)的位置用Ud坐标、Vd坐标示出的值。其次，对本发明第一实施方式中涉及的实施例进行详细说明。图7示出了利用距离感应器和角度感应器检测被摄体的位置时，所测定信息的构成例700。将图像显示控制装置101与被摄体的距离设为d，并将相对于某一基准方位的、被摄体的位置所在的角度设为 θ，从而进行计量。基准方位可为向北的方位角，也可将记录开始时、结束时的摄像机的光轴方向定为基准。图8示出了构成例700中计量的、表示与被摄体的距离d和角度θ的计量数据800。图9示出了利用计量数据800转换到摄像机坐标系的被摄体位置信息900。由于图像显示控制装置101与被摄体的距离为d、角度为θ，从而被摄体位置信息400可由 (dsin θ ,dcos θ )求算出。例如，由图8的基准时刻开始的经过时间为1时，由于d = 8. 3、 θ = 14，(9. 0sinl4° ,9. 0cosl4° ) = (2.01,8. 05)为被摄体的位置信息。图10示出了将VGA尺寸(640X480)的图像数据通过脸部识别处理进行解析，对图像内被摄体的位置进行导出的图像内位置信息500的一个例子。例如，由基准时刻开始的经过时间为1时，意味着被摄体的脸部位于图像数据的(观0，360)位置上。图像内位置存储部1042存放有图10的数据、及被摄体位置存储部1043存放有图 9的数据时，显示位置决定部106进行如下操作。首先，在图4的步骤Sal中，由于X坐标的最小值为2. 01、最大值为10. 96，所以X坐标的最大差分Dx为8. 95。并且，由于Z坐标的最小值为5. 97、最大值为10. 96，所以Z坐标的最大差分Dz为4. 99。其次，将显示画面的区域尺寸定为(7680,4320)时，在步骤中，可采用[数学式3][数学式4]的简易方式，如下算出有效区域尺寸(We，He)。We = 7680-300-(640-114) = 6854He = 4320-372-(480-357) = 3825随后，在步骤Sa3中，X方向的缩小率RX、Z方向的缩小率Rz可通过[数学式5][数学式6]如下算出。Rx = 6854 + 8. 95 = 765. 8Rz = 3825^-4. 99 = 766. 5其次，在步骤Sa4中，利用步骤Sa3中算出的缩小率和被摄体位置信息900，求算出基于显示画面尺寸换算的临时显示位置1 (Uf D。例如，由基准时刻开始的经过时间为1 时，由于被摄体位置信息为(2. 01，8. 05)，临时显示位置1 (U11, V11)可通过[数学式7][数学式8]如下算出。U11 = (2. 01-2. 01) X 765. 8 = 0. 0V11 = (10. 96-8. 05) X 766. 5 = 2230. 5其次，在步骤Sa5中，临时显示位置2( ，Vj2)如下算出。例如，由基准时刻开始的经过时间为1时，由于图像内位置信息为080，120)，临时显示位置2 (U12，V12)可通过[数学式9][数学式10]如下算出。U12 = 0. 0-280 = -280. 0V12 = 2230. 5-360 = 1870. 5图11示出了由基准时刻开始的经过时间为1至10期间的、算出的临时显示位置2的结果。其次，在步骤 6中，显示位置(Ujf，Vjf)如下算出。例如，由基准时刻开始的经过时间为1时，由于临时显示位置2的Ud坐标、Vd坐标的最小值分别为-280. 0,-372. 0，因此显示位置(Ulf，Vlf)如下。Ulf = -280. 0+280. 0 = 0Vlf = 1870. 5+372. 0 = 2242. 5图12示出了由基准时刻开始的经过时间为1至10期间的、算出的显示位置的结^ ο对于本发明第一实施方式的说明如上，但图像显示控制装置100具有直接检测摄像机坐标系中的被摄体位置的功能单元时，位置生成部103即相当于该功能单元。而直接检测摄像机坐标系中的被摄体位置的功能单元设置在图像显示控制装置100的外部、且与图像显示控制装置100相连时，从外部的位置检测功能单元输入位置信息、且将被摄体的位置写入被摄体位置存储部1043的功能，则由位置生成部103承担。再者，被摄体的运动剧烈，以致拍摄的一部分过程中摄像机没有捕捉到被摄体时， 即，被摄体存在于拍摄被摄体的摄像机的拍摄范围外时，也可赋予适当的值作为图像内位置信息，从而对被摄体与摄像机拍摄范围的位置关系加以明确。例如，通过被摄体位于摄像机拍摄范围外的右侧时赋予(Wi，0)、位于左侧时赋予(-1，0)、位于上侧时赋予(0，-1)、位于下侧时赋予(0，Hi)的设定，再现显示图像的位置和被摄体所在的位置关系。通过这些处理， 在被摄体从图像区域内的外侧至进入图像区域内的场景中，可减少图像的显示位置产生大幅度变化的情况，从而可使得图像位置平滑地进行迁移。作为检测被摄体位于拍摄范围外的哪一位点的方法，可求出摄像机的光轴方向， 并算出平行于垂直方向且包含光轴的面与由摄像机引向被摄体的直线构成的角θ、及平行于水平方向且包含光轴的面与由摄像机引向被摄体的直线构成的角Φ，基于角度θ、φ， 通过判断从摄像机的画角偏离至哪一方向来进行检测。或者，也可基于被摄体从图像消失瞬间前的、图帧中的被摄体位置位于图像的哪一侧来进行检测。即，将该瞬间前的图帧的被摄体位置设为(Uk，Vk)时，在UpWi-WJ10Hi-Vk的数值中求出任一为最小的值，以被摄体在 Uk最小时位于左侧、Wi-Uk最小时位于右侧、Vk最小时位于上侧、Hi-Vk最小时位于下侧的方式进行检测。此外，被摄体存在于所述的图像区域外时，由于显示的图像中不包含被摄体，因此无法再现拍摄时的被摄体的运动。此时，可在对应于被摄体位置信息的显示位置上，显示表示被摄体的图标或卡通形象或脸部图像等，也可显示由被摄体看到的、在摄像机拍摄范围的方向上拍摄到的图像。这一示例示于图13。图13中，由于拍摄图像(5)的过程中被摄体突然向左向移动，使得图像(5)的拍摄范围位于被摄体的右侧，因此在图标1300的右侧显示图像(5)。此时，在[数学式9]及[数学式10]中使用的图像内位置信息不采用上述的(Wi, 0)、(-1,0)等数值。如图13所示，将显示图标等的图像的大小设定为横向U。(但是使U。 <1)、纵向火(但是使火<印)时，则可采用(U。/2，V。/2)作为图像内位置信息。并且，在计算[数学式1]至[数学式4]的有效区域尺寸时，相应于画面内信息的位置，对处理做如下变更。图像内位置信息为％，0)时，在运算[数学式1]的MAXtUj-W^ (Xj-Xfflin)/DJ或[数学式3]的MAX[Uj]时，对使用图标的图帧，采用化+Wi以替代化。图像内位置信息为 (-1,0)时，在运算[数学式 1]的 MAX[Wi-Uj-Wd. (Xmax-XjVDJ 或[数学式 3]的 MAXDVi-Uj] 时，对使用图标的图巾贞，采用W#。以替代Wit5图像内位置信息为(0，-1)时，在运算[数学式2]的MAXDli-V^V(Zj-Zmin)/Dz]或[数学式4]的MAXDli-Vj时，对使用图标的图帧，用 Hi+V。以替代氏。图像内位置信息为(0, )时，在运算[数学式2]的MAX[Vj-Hd VZmax-Zj)/ Dz]或[数学式4]的MAX[VJ时，对使用图标的图帧，采用、+Hi以替代、。并且，包括没有对被摄体进行拍摄的时刻的被摄体位置的(χ—Ρ，如果进行[数学式1]至[数学式8]的运算，也可使表示被摄体的图标等不从显示画面缺失。根据本实施方式，通过上述结构设定，相对于现有的图像显示控制装置只能再现在平行于拍摄被摄体的摄像机的摄像面运动的被摄体的运动，可再现相对于摄像机摄像面垂直的纵深方向的运动。例如，显示自正面方向向跟前趋近的被摄体时，相对于现有的图像显示控制装置大体在固定位置进行显示，通过上述结构设定，可在显示画面区域的上部至下部方向上进行移动并显示。再者，根据本实施方式，由于考虑了图像区域内被摄体的位置来确定显示位置，因此可在忠实再现被摄体的运动的前提下显示被摄体。例如，如图14所示，自正面方向向跟前趋近的被摄体的拍摄由于手颤动等导致显示位置零乱时，如果不考虑图像区域内被摄体的位置，则如图15所示，被摄体交错显示，使得用户观看图像时非常不流畅。与此相对，在本实施方式中，如图16所示，以符合被摄体实际移动的形式流畅地进行显示，从而便于用户观看图像。(第二实施方式)在第一实施方式中，是以拍摄被摄体的摄像机没有进行变焦为前提的处理而设定。而将被摄体拍摄过程中进行变焦的动态图像以现有技术或第一实施方式的方法进行显示时，由于被摄体在显示过程中突然变大或变小，就有可能使视听这些动态图像的用户产生不协调的感觉。因此在第二实施方式中，对被摄体的大小进行固定，或者以不使用户产生不协调的感觉的程度放大缩小后进行显示。图17是对本发明第二实施方式中的图像显示控制装置的结构进行说明的方块图。图17中，内容管理部104中新设有变焦值存储部1044，并设有图像内位置大小存储部 1045以替代图像内位置存储部1042。并且，由于图像解析部1021、显示位置决定部1061和显示器件控制部1071进行一部分有异于第一实施方式的操作，因此赋予了不同的符号。余下的结构与第一实施方式相同，因此省略说明。图像解析部1021解析图像输入部101的图像数据，检测出图像区域内的被摄体。 图像解析部1021解析图像数据的时机、以及被摄体的检测方法可与第一实施方式相同。图像解析部1021不仅可检测显示脸部的区域的重心、或显示被摄体对象的区域的重心的坐标作为被摄体位置，还可检测被摄体的大小。这里，被摄体的大小为被摄体的脸部长度(纵向长度)、被摄体的脸部宽度(横向长度)、或被摄体对象的高度(纵向长度)、被摄体对象的宽度(横向长度)中任意一种形式。变焦值存储部1044，对应于图像存储部1041的各图像，存储各个图像的变焦值。 图像内位置大小存储部1045，将图像解析部1021检测出的图像区域内的被摄体的位置信息及其大小与图像数据以帧单位进行对应并存储。
显示位置决定部1061利用存储在变焦值存储部1044中的各图像的变焦值、存储在图像内位置大小存储部1045中的图像区域内的图像内位置信息及被摄体的大小、存储在被摄体位置存储部1043中的被摄体在摄像机坐标系中的位置信息、由显示画面区域尺寸取得部105取得的显示器件的画面尺寸信息，确定对存储在变焦值存储部1044的各图像的变焦值进行修正后的修正变焦值、及显示器件上的显示位置。显示位置决定部106的处理细节将在后述。显示器件控制部1071对图像存储部1041存储的图像数据参照修正变焦值进行放大缩小后，将在显示位置决定部106决定的显示位置上显示经放大缩小的图像数据的信号发送到显示器件108。以下，对本发明显示位置决定部1061的详细的处理流程进行说明。图18示出了显示位置决定部1061的处理流程。首先，显示位置决定部1061提取存储在图像内位置大小存储部1045中的被摄体的大小(Sbl)。随后，基于被摄体的大小算出各图像的修正变焦值(S132)。这里，将拍写到各输入图像I」(j = 1 · · N) (N为场景中的帧数)中的被摄体的大小设为L」(j = 1 · · N) 时，修正变焦值MSj (j = 1 · · N)可通过以下公式得出。[数学式11]MSj = Lj/Lb公式中的Lb为被摄体的大小的基准值，可以将预先确定的值存放在图像显示控制装置中，也可以算出各场景中Lj的平均值后，将该平均值作为Lb。随后，显示位置决定部1061与第一实施方式相同，算出存储在被摄体位置存储部 1043中的被摄体位置的X坐标的最大差分DX、Z坐标的最大差分Dz (Sal)。将计算这些差分时所需的X坐标的最大值、最小值分别用Xmax、Xmin表示，Z坐标的最大值、最小值分别用2_、
Zmin表不。随后，显示位置决定部1061除算出第一实施方式中所用的数值外，还利用修正变焦值算出有效区域尺寸(We，Hj。对于所有的输入图像I」(j = 1 · · N)，将摄像机坐标系中被摄体位置的X坐标、Z坐标设为(X」，Zj) (j = 1 · · N)，图像内位置信息设为(Uj, Vj) (j = 1 · · N)，修正变焦值设为Μ。(j = 1 · · N)。在计算有效区域尺寸时，首先算出[Uj/MSj-ff, · (XrXmin) /DJ、[ (Wi-Uj) /MSj-Wd · (Xmax-Xj) /Dj、[Vj/MSj-H, - (Zmax-ZjVDzL[ (Hi-Vj) /MSrHd · (ZrZmin) /Dz](j = 1 · · N)的最大值。将这些最大值分别定为MAX [Uj/MSj-ff, · (XrXmin) /Dj、MAX [ (Wi-Uj) /MSj-Wd · (Xmax-Xj) /Dj、
MAX [Vj/MSj-H, · (Zmax-Zj) /Dz]、MAX [ (Hi-Vj) /MSrHd · (ZrZmin) /Dz]时，则有效区域尺寸(We，He)可通过以下公式算出。[数学式12]We = Wd-MAX [Uj/MSj-ff, · (XrXmin) /Dj -MAX [ (Wi-Uj) /MSrWd · (Xmax-Xj) /Dj
[数学式13]He = Hd-MAX [Vj/MSrHd · (Zmax-Zj) /Dz] -MAX [ (Hi-Vj) /MSrHd · (ZrZmin) /Dz]此夕卜，将U/MSj、(Wi-Uj)/MSj, Vj/MSj, (Hi-Vj)/MSj (j = 1 · · N)的最大值分别定为 MAX [Uj/MSj]、MAX [ (Wi-Uj) /MSj]、MAX [Vj/MSj]、MAX [ (Hi-Vj) /MSj]时，有效区域尺寸(We，He) 也可通过以下公式简便地算出。[数学式14]We = Wd-MAX [Uj/MSj] -MAX [ (Wi-Uj) /MSj][数学式15]He = Hd-MAX [Vj/MSj] -MAX [ (Hi-Vj) /MSj]其次，显示位置决定部1061用与第一实施方式中同样的方法，求出X方向的缩小率Rx、Z方向的缩小率Rz、临时显示位置1 (Ujl, Vjl) (j = 1 · · N) (Sa3, Sa4)。其次，显示位置决定部1061为使被摄体的脸部配置在由被摄体位置的X坐标、Z坐标的值算出的显示位置上，从步骤Sa4中算出的临时显示位置KUjl，Vj,)中减去图像内位置信息的值，并通过以下公式算出临时显示位置2(Uj2，Vj2) (j = 1 · · N) (Sb4)。[数学式ie]Uj2 = Uji-Uj/MSj[数学式I7]Vj2 = Vji-Vj/MSj最后，显示位置决定部1061用与第一实施方式中同样的方法，算出显示位置(UJf， Vjf) (j = 1 · · N) (Sa6)。此外，本发明显示位置决定部1061也可对输入图像进行放大缩小的处理，以使用户不对显示图像产生不协调的感觉。图19示出了这一情况下显示位置决定部1061的处理流程。这种处理过程只是替代图18的步骤Sbl、Sl32而实行步骤&1、&2的点不同，因此以下只对不同的处理进行详细的说明。首先，显示位置决定部1061在场景中的图帧中选出作为计算修正变焦值时的基准的两个图帧(Scl)。这里，在各输入图像I」(j = 1 · ·Ν) (N为场景中的图帧数)中，将选出的两个图帧设为Ibl、Ib2(但是使bl < b2)。并且，将对应于输入图像Ij的被摄体位置的 Z坐标设为= 1 · · Ν)时，优选将τ、为最小时的j的值、为最大时的j的值分别赋予 bl或132，以减小误差。其次，算出各图像的修正变焦值(SM)。这里，将拍写到各输入图像I」(j = 1 -·Ν) 的被摄体的大小设为Lj (j = 1 · ·Ν)、拍摄被摄体的摄像机的变焦值设为= 1 · ·Ν)、摄像机坐标系中被摄体位置的Z坐标设为= 1 · ·Ν)、修正变焦值设为M^(j = 1 · ·Ν)。 此时，无变焦的被摄体的大小是从被摄体的大小除以变焦值的值，因此输入图像Ibl、Ib2、Ij 中无变焦的被摄体的大小分别为LblAbl、Lb2Ab2、L/Mh。并且，由于进行放大缩小以使用户不产生不协调的感觉，因此无变焦的脸部的大小与摄像机和被摄体的距离成比例地变小。 此时，由Ibl至Ib2的无变焦的脸部大小的增加分(Lb2Ab2-LblAbl)和由Ibl至Ij的无变焦的脸部大小的增加分(Lj/MSrLbl/Sbl)的比、与由Ibl至I132的Z坐标的增加分(Zb2-Zbl)和由Ibl 至Ij的Z坐标的增加分(ZjIbl)的比等同，因此成立以下关系式。[数学式18]
(Lb2/Sb2-Lbl/Sbl) (L/MSrLbl/^bl) = (Zb2-Zbl) (ZrZbl)由此，修正变焦值MSjG = 1 · 'N)可由以下方式算出。[数学式19]MSj = SblSb2 (Zb2-Zbl) Lj/ [Sbl (ZrZbl) Lb2+Sb2 (Zb2-Zj) Lbl]如上所述，算出修正变焦值MSj (j = 1··Ν),即可通过上述方法算出显示位置(UJf， Vjf) (j = 1 · · N)。以下，对本发明第二实施方式所涉及的实施例进行详细说明。图20示出拍摄图像显示控制装置显示的图像的摄像机的坐标系、及在该坐标系中被摄体进行移动的例子。图中的XYZ轴表示摄像机坐标系中的XYZ轴，如点线所示，设定被摄体向摄像机趋近移动。在点线上用黑圆点表示的各时间点，标示出的图像为被拍摄到的图像。此外，在图像的左上角标出了用于识别各图像的编号，并且在后述的图21、图22中，同一编号的图像为各自相对应的图像。图20的例子中，将脸部的长度(纵向长度)作为被摄体的大小，在画面中表示为 LjU = 1 · ·9)。并且，由于图像⑵用1.4倍变焦、图像⑶用1.3倍变焦拍摄，因此被摄体的大小相比其他图像稍为放大后示出。图21为将通过上述方式取得的图像用第一实施方式的方法显示的图像。图21中， 在被摄体移动过程中，由于在图像( 、(；3)中突然放大被摄体、以及在图像(4)中突然缩小被摄体，因此有可能使得视听这些图像的用户产生不协调的感觉。图22是对如图20的方式取得的图像，显示位置决定部1061实行图18的处理，从而将图像放大缩小后进行显示的图。图22的例子中，各图像进行了放大缩小的处理，以使被摄体的大小都被统一在Lb。因此，各图像中被摄体的大小几乎相同。从而，可使得视听这些图像的用户不会如图21例子的那样产生不协调感。依据本第二实施方式，通过上述结构设定，即便在拍摄被摄体过程中进行变焦，也可对被摄体大小进行固定，或者通过放大缩小的处理使得用户不产生不协调的感觉来进行显示。因此，可使用户在不产生不协调的感觉的前提下视听图像。以上，本发明的实施方式中示出了图像显示控制装置，但以上所述的技术方案既适用于图像显示方法，也适用于记录图像显示程序的记录介质。并且，图1所示的图像输入部101、图像解析部102、位置生成部103、显示画面区域尺寸取得部105、显示位置决定部 106、显示器件控制部107的各功能模块，典型上可通过集成电路LSI来实现。这些可个别地进行单芯片化，也可以包含一部分或全部的形式进行单芯片化。这里例举了 LSI，但根据集成度的不同，也可称之为IC、系统LSI、超级LSI (Super LSI)、超大LSI (Ultra LSI)。此外，集成电路化的手法不仅限于LSI，也可通过专用电路或泛用处理器来实现。也可利用在LSI制造后可编程化的FPGA(Field ProgrammableGate Array)，或利用对LSI内部的电路单元的连接或设定可进行重新设定的可重构处理器(Reconfigurable ft~OCeSSOr)。并且，如果由半导体技术的进步或派生的其他技术产生替代LSI的集成电路化的技术，当然也可利用这些技术来进行功能模块的集成化。其中，生物技术的应用等有望催生下一代替代型技术。工业实用性本发明可适用于处理数字数据的信息装置，这些信息装置包括电视和产生将图像输出到电视的信号的各种记录器、个人电脑、移动电话、PDA等。本发明尤其适用于在以上装置的画面内移动并显示所拍摄到的映像的情况。
权利要求
1.一种图像显示控制装置，用于将拍摄被摄体的动态图像的图像数据显示在显示器件，该图像显示控制装置包括生成由以拍摄被摄体的摄像机为基准的直角坐标系描述的、被摄体的位置信息的位置生成部；将所述位置生成部生成的被摄体的位置信息，以动态图像的帧单位进行存储的内容管理部；将所述坐标系中纵深方向的被摄体的坐标与显示器件的纵轴的坐标进行对应，并将所述坐标系中横轴方向的被摄体的坐标与显示器件的横轴的坐标进行对应，从而决定动态图像的各帧的显示位置的显示位置决定部；以及将在所述显示位置决定部决定的显示位置显示动态图像的信号发送到显示器件的显示器件控制部。
2.如权利要求1所述的图像显示控制装置，其特征在于，所述图像显示控制装置还包括从显示器件取得可显示区域的尺寸的显示画面区域尺寸取得部，以及对动态图像的各帧中的被摄体的位置进行确定的图像解析部； 所述内容管理部将所述被摄体的位置信息与图像解析部解析的动态图像的各帧中被摄体的图像内位置信息，以所述动态图像的帧单位进行对应并存储，所述显示位置决定部利用由所述显示画面区域尺寸取得部取得的可显示区域的尺寸、 和所述直角坐标系中所述被摄体的位置的最大值及最小值，在决定了位置信息和显示位置的对应关系的基础上，利用所述被摄体的图像内位置信息对所述动态图像的显示位置进行修正，以使显示位置不逸出在可显示区域之外。
3.如权利要求2所述的图像显示控制装置，其特征在于 所述图像解析部确定所述动态图像的各帧中的被摄体的大小；所述内容管理部将所述动态图像的图像数据、所述被摄体的位置信息、所述被摄体的图像内位置信息、及所述图像解析部解析的所述被摄体的大小信息，以帧单位进行对应并存储；所述显示位置决定部利用所述图像解析部输出的被摄体的大小，算出所述动态图像的各帧的放大缩小率，从而使得所显示的被摄体的大小为一定；以及所述显示器件控制部将在所述显示位置决定部决定的显示位置显示以所述显示位置决定部决定的放大缩小率放大缩小的动态图像的信号发送到显示器件。
4.如权利要求2所述的图像显示控制装置，其特征在于 所述图像解析部确定所述动态图像的各帧中的被摄体的大小；所述内容管理部将所述动态图像的图像数据、所述被摄体的位置信息、所述被摄体的图像内位置信息、所述图像解析部解析的所述被摄体的大小信息、及所述动态图像的变焦值，以帧单位进行对应并存储；所述显示位置决定部利用所述图像解析部输出的被摄体的大小和变焦值，算出所述动态图像的各帧的放大缩小率，从而使得所显示的被摄体的大小相应于拍摄被摄体的摄像机的距离产生变化；以及所述显示器件控制部将在所述显示位置决定部决定的显示位置显示以所述显示位置决定部决定的放大缩小率放大缩小的动态图像的信号发送到显示器件。
5.如权利要求2、3、4中任意一项所述的图像显示控制装置，其特征在于所述位置生成部还包括检测拍摄被摄体的摄像机的拍摄范围与被摄体的位置关系的位置关系检测部；所述图像解析部在所述动态图像内没有检测出被摄体时，基于由位置关系检测部取得的位置关系信息，将动态图像数据区域外对应于所述位置关系的坐标设为被摄体位置信肩、ο
6.如权利要求5所述的图像显示控制装置，其特征在于所述显示器件控制部还包括将在表示所述被摄体的位置信息的位置显示图标的信号发送到显示器件的图标显示控制部；在所述图像解析部没有在动态图像的各帧内检测出被摄体时，所述图标显示控制部发送显示图标的信号。
7.一种图像显示方法，用于将拍摄被摄体的动态图像的图像数据显示在显示器件，其特征在于，该图像显示方法包括将动态图像的各帧与由以拍摄被摄体的摄像机为基准的直角坐标系描述的位置信息， 以帧单位进行对应并存储的存储步骤；将所述坐标系中纵深方向的被摄体的坐标与显示器件的纵轴的坐标进行对应，并将所述坐标系中横轴方向的被摄体的坐标与显示器件的横轴的坐标进行对应，从而决定动态图像的各帧的显示位置的显示位置决定步骤；以及将在所述显示位置决定步骤决定的显示位置显示动态图像的信号发送到显示器件的显示器件控制步骤。
8.一种集成电路，用于将拍摄被摄体的动态图像的图像数据显示在显示器件，其特征在于，该集成电路包括将动态图像的各帧与由以拍摄被摄体的摄像机为基准的直角坐标系描述的位置信息， 以帧单位进行对应并存储的内容管理单元；将所述坐标系中纵深方向的被摄体的坐标与显示器件的纵轴的坐标进行对应，并将所述坐标系中横轴方向的被摄体的坐标与显示器件的横轴的坐标进行对应，从而决定动态图像的各帧的显示位置的显示位置决定单元；以及将在所述显示位置决定单元决定的显示位置显示动态图像的信号发送到显示器件的显示器件控制单元。
全文摘要
本发明公开了一种图像显示控制装置、图像显示控制方法及集成电路，用于检测被摄体的空间中的位置，与图像数据进行对应后存储，并在图像的显示时，将垂直于摄像面的纵深方向的被摄体的位置和平行于摄像面的水平方向的被摄体的位置，分别设定在显示器件的纵轴和横轴的坐标上，从而对图像进行显示。由此，在具有大于所显示的动态图像的图像尺寸的可显示区域的显示器件上，不仅可对与拍摄被摄体的摄像机的摄像面平行的被摄体的运动进行再现，还可对与摄像面垂直的纵深方向的运动进行动态再现。
文档编号G09G5/00GK102165516SQ201080002699
公开日2011年8月24日 申请日期2010年6月28日 优先权日2009年8月31日
发明者添田纯一郎 申请人:松下电器产业株式会社
技术领域：
本发明涉及驱动显示器件的图像显示控制装置、图像显示控制方法，以及图像显示控制装置中采用的集成电路。
背景技术：
以往，在电视播放节目、数码静态照相机或数字电影等中显示拍摄到的图像的图像显示控制装置是以影像显示在画面整体上为通常的使用状态。但是，随着近年来图像显示控制装置配备有高清晰度的大画面，提出了在大于拍摄到的图像的可显示区域内移动并显示图像的技术。例如，专利文献1中公开了以下技术。即，在显示的图像中通过图像处理提取运动矢量，通过运动矢量的加权加算并平均化提取各个图像的主要动态信息，或者，显示的图像以MPEG(Moving Picture Expert Group)等在内部存放运动信息的动态图像格式记录时， 从其动态图像数据中提取运动矢量，通过上述方法提取各个图像的主要动态信息，然后，相应于其运动信息，使显示图像的位置在可显示区域内移动。但是，由于这一技术使得图像的显示位置根据被摄体的运动产生移动，从而存在显示中的图像从图像显示区域逸出、且无法正确显示图像的课题。专利文献2中公开了解决以上课题的技术。具体来说，公开了以下技术。即，检测图像的场景变化，缩小可显示区域内的移动量来进行移动，使得场景中位于移动振幅中心的图像显示在可显示区域的中心，并且使得图像显示在可显示区域内。专利文献1 日本特开平10-301556号公报专利文献2 日本特开2003-256846号公报但在现有技术中，由于根据显示图像的运动矢量移动显示位置，因此虽可再现与拍摄图像显示控制装置显示的图像的摄像机的摄像面平行方向上的被摄体的运动，但对于该摄像机的光轴方向(纵深方向)上的被摄体的运动却难以再现。对其原因，通过图23 25的具体例子进行详细说明。图23示出了拍摄图像显示控制装置显示的图像的摄像机的坐标系、和在该坐标系中被摄体的移动的例子。图中的X轴表示摄像机摄像面的右方向，Y轴表示摄像面的下方向，Z轴表示摄像机的光轴方向(即，纵深方向)，摄像机以X轴为水平方向、Y轴为垂直向下的方式被固定住。并且，如点线所示，被摄体向摄像机趋近移动。在点线上用黑圆点表示的各时间点，标示出的图像为被拍摄到的图像。此外，在图像的左上角标出了用于识别各图像的编号，在后述的图24、图25中，同一编号的图像为各自相对应的图像。图M为将由上述方式取得的图像用现有技术显示的图像。图23的例子中，虽可生成与图像上的被摄体被放大相对应的运动矢量，但这种运动矢量的成分分散在多个方向上，因此，如果以专利文献1中描述的方式对运动矢量进行加权加算并取平均，则大多相互抵消。并且，主要检测的是与被摄体的XY方向上的移动相对应的运动矢量。在图23的例子中，由于被摄体没有进行跳跃等上下方向的运动，所以Y方向上的动态信息从图像上几乎检测不到。因此，在现有技术中，尽管被摄体做了向摄像机趋近的运动，但如图M所示，只显示为似乎图像主要在大画面的横向(X方向)移动。并且，在现有技术中，只部分再现被摄体的运动，因此在显示的动态化方面存在问题。
发明内容
因此，本发明的目的为，针对大于显示图像的可显示区域，通过在对应于被摄体的空间中的位置的显示位置进行图像显示，再现被摄体的空间中的移动，尤其是再现趋向纵深方向的移动。更具体为，如图25所示，通过将纵深方向的移动在显示图像中以上下方向的移动进行表现，动态地显示被摄体。为达到上述目的，本发明提供一种图像显示控制装置。本发明的图像显示控制装置是驱动显示器件的图像显示控制装置，其包括以下部件内容管理部，将动态图像的图像数据与由以拍摄被摄体的摄像机为基准的直角坐标系记录的被摄体的位置信息，以帧单位 (frame unit)进行对应并存储；显示位置决定部，将所述坐标系中纵深方向的被摄体的坐标对应于显示器件的纵轴坐标，并将所述坐标系中横轴方向的被摄体的坐标对应于显示器件的横轴坐标，以决定动态图像的显示位置；显示器件控制部，将在所述显示位置决定部决定的显示位置显示动态图像的信号发送到显示器件。通过上述结构，本发明不仅可再现显示与拍摄被摄体的摄像机的摄像面平行的被摄体的运动，还可再现显示相对摄像机摄像面垂直的纵深方向的运动。据此，用户可以识别相对摄像机摄像面垂直的纵深方向上的被摄体的移动。
图1是表示本发明第一实施方式中图像显示控制装置的结构的方块图。图2示出输入图像中被摄体的图像内位置的一个例子。图3示出显示器件的基准坐标的一个例子。图4是第一实施方式中显示位置决定部106的流程图。图5示出显示图像中被摄体的图像内位置、及显示画面中显示图像的显示位置的一个例子。图6示出用本发明第一实施方式中的图像显示控制装置对图5的显示位置后进行修正并显示的图像的一个例子。图7示出为检测被摄体的位置而测定的信息的一个例子。图8示出位置生成部103生成的、由距离感应器和角度感应器测得的被摄体位置信息的一个例子。图9示出位置生成部103生成的、摄像机坐标中的被摄体信息的一个例子。图10示出图像解析部102检测出的被摄体的图像内位置信息的一个例子。图11示出临时显示位置2的一个例子。图12示出显示位置的一个例子。图13示出一部分输入图像中不包含被摄体时，用图标替代图像显示被摄体的例子。
图14示出由于手颤等导致图像中的被摄体位置发生剧烈变化的状态下，被摄体被拍摄时的被摄体的移动轨迹和输入图像的一个例子。图15示出不考虑图像中的被摄体位置，而对应于空间中的被摄体位置显示图14 的输入图像的例子。图16示出考虑图像中的被摄体位置来显示图像的例子。图17示出本发明第二实施方式中图像显示控制装置的结构。图18是第二实施方式中显示位置决定部1061的流程图。图19是第二实施方式中显示位置决定部1061进行其他动作时的流程图。图20示出在场景的一部分进行变焦后，被摄体被拍摄时的被摄体的移动轨迹和输入图像的一个例子。图21示出用本发明第一实施方式中的图像显示控制装置显示图20的输入图像的图像的一个例子。图22示出用本发明第二实施方式中的图像显示控制装置显示图20的输入图像的图像的一个例子。图23示出被摄体被拍摄时的被摄体的移动轨迹和输入图像的一个例子。图M示出用现有发明中的图像显示控制装置显示图23的输入图像的图像的一个例子。图25示出用本发明第一实施方式中的图像显示控制装置显示图23的输入图像的图像的一个例子。附图标记说明100 图像显示控制装置；101 图像输入部；102 图像解析部；103 位置生成部； 104 内容管理部；1041 图像存储部；1042 图像内位置存储部；1043 被摄体位置存储部； 1044 变焦值存储部；1045 图像内位置大小存储部；105 显示画面区域尺寸取得部；106、 1061 显示位置决定部；107、1071 显示器件控制部；108 显示器件；200、203、204、205、 206 输入图像；201 输入图像内的被摄体；300 显示画面；700 被摄体位置检测时的构成例；800 用于计算被摄体位置的计量数据；900 被摄体位置信息；1000 图像内位置信息； 1100 临时显示位置2的计算结果；1200 显示位置的计算结果；1300 图标。
具体实施例方式(第一实施方式)以下，对于本发明第一实施方式中的图像显示控制装置，参照图面进行说明。图1 是对本实施方式中的图像显示控制装置的结构进行说明的方块图。本实施方式中的图像显示控制装置100，包括图像输入部101、图像解析部102、位置生成部103、内容管理部104、显示画面区域尺寸取得部105、显示位置决定部106、及显示器件控制部107。图像输入部101输入并编码动态图像的图像流。图像输入部101例如可采用摄像机等。图像解析部102解析图像输入部101的图像数据，并检测被摄体在图像中的位置。 这种被摄体是指人物、动物、车辆等运动的物体。图像解析部102解析图像数据的时机可以是图像数据的输入时，也可以在中央处理装置检知到一定时间以上的空闲状态时，读取图像存储部1041存储的图像数据，并解析图像数据。作为检测方法，例如可以采用预先学习被摄体的脸部图案，通过脸部识别处理从图像数据检测被摄体的方法等。此外，也可以采用让用户指定被摄体的对象后，在其他图像中对同一对象通过图像解析进行提取，以对被摄体的位置进行确定的方法。此时，不只依据被摄体的脸部，也可依据被摄体的服装的颜色和式样对被摄体进行确定。此时，图像解析部102检测出的被摄体的位置为显示脸部的区域的重心、或显示被摄体对象的区域的重心的坐标。图2示出了输入图像200中被摄体201的图像内位置。以图像的横向为Ui轴、纵向为Vi轴的直角坐标系表示输入图像200时，图像尺寸表示为(Wi,印)。这里，输入图像为 VGA尺寸时，则图像尺寸为(640，480)。这一例子中，将显示脸部的区域的重心设定为被摄体201的位置，图像内位置以(UnV1)的方式表示。位置生成部103输入通过后述位置检测方法检测出的被摄体的地理上的位置，并生成以拍摄被摄体的摄像机为基准的坐标系(以下，称为摄像机坐标系)中的位置。随后， 将生成的摄像机坐标系中的被摄体位置输出到被摄体位置存储部1043(后述)。作为检测被摄体地理上的位置的位置检测方法，例如利用距离感应器和角度感应器取得被摄体与图像显示控制装置的距离和角度，从而对位置进行确定的方法，利用GPS检测位置的方法，以及在空间中预先设置无线标签的读取器，通过无线标签检测位置的方法等。以下，对摄像机坐标系进行说明。这一坐标系如图23所示，X轴为摄像机摄像面的右方向，Y轴为摄像面的下方向，Z轴为摄像机的视线方向(即，纵深方向)。用户进行拍摄时，摄像机通常朝着水平方向，因此可以认为X轴、Z轴大致在水平面上。因此在本实施方式中，以下以X轴、Z轴在水平面上进行说明。此外，用户在拍摄一个场景时，也有可能多角度转动摄像机以跟踪拍摄全景。此时，将某一基准方位定为Z轴的正方向，将与其垂直的水平面上的轴定为X轴。这一基准方位例如可以是朝北的方位角度，也可以是记录开始时、 记录结束时的摄像机的光轴方向。位置生成部103，在通过上述位置检测方式检测出的被摄体的位置信息为经度纬度等不同的坐标系上的位置信息时，另行求出该坐标系上的摄像机的位置信息、摄像机的光轴方向，并进行平移、回转来生成摄像机坐标系上的被摄体的位置信息。此外，输入的被摄体的位置信息虽然是在以摄像机为基准的坐标系上，但该坐标系却为极坐标系时，也可生成直角坐标系的摄像机坐标系上的被摄体的位置信息。内容管理部104，包括图像存储部1041、图像内位置存储部1042和被摄体位置存储部1043。图像存储部1041存储由图像输入部101编码的图像数据。图像内位置存储部 1042，将图像解析部102检测出的图像区域内的被摄体的位置信息和图像数据以帧单位进行对应并存储。被摄体位置存储部1043，将位置生成部103生成的摄像机坐标系上的位置信息和图像数据以帧单位进行对应并存储。被摄体位置存储部1043，如后述例子所示，可以以X坐标、Z坐标的二维数值进行保存。显示画面区域尺寸取得部105取得显示器件的画面尺寸。该取得方法可以是读取预先设置在图像显示控制装置100中的数据，也可以通过HDMI (High-Definition Multimedia Interface)等各种界面，从显示器件108 (后述)取得画面尺寸。这种显示画面区域尺寸，如图3所示，在将显示器件显示的图像的横向为Ud轴、纵向为Vd轴的直角坐标系中，以(Wd，Hd)的形式表示。例如，在超高清(Super Hi-Vision)规格的显示器件，为 (7680,4320)。显示位置决定部106，利用存储在图像内位置存储部1042中的图像区域内的图像内位置信息、存储在被摄体位置存储部1043中的被摄体在摄像机坐标系中的位置信息、以及由显示画面区域尺寸取得部105取得的显示器件的画面尺寸信息，决定显示器件108上的显示位置。显示位置决定部106的处理细节将在后述。显示器件控制部107，将在显示位置决定部106决定的显示位置上显示图像存储部1041存储的图像数据的信号发送到显示器件108。显示器件108指液晶、等离子体、电子射线管、有机EUElectro-Luminescence)等各种显示器件。在本实施例中，虽是将显示器件108设置在图像显示控制装置100以外的结构，但也可将显示器件108加入到图像显示控制装置100的结构要素中。以下，对本发明显示位置决定部106的详细处理流程进行说明。图4示出显示位置决定部106决定显示位置时的处理流程。首先，显示位置决定部106对存储在被摄体位置存储部1043中的被摄体位置的X 坐标、Z坐标的最大差分进行计算(Ml)。这种X坐标的最大差分、Z坐标的最大差分以后表示为Dx、Dz。此外，将计算这种差分时所需的X坐标的最大值、最小值分别用Xmax、Xmin表示，Z坐标的最大值、最小值分别用Zmax、Zmin表示。其次，显示位置决定部106取得显示画面区域尺寸取得部105取得的显示画面的区域尺寸(Wd，Hd)、和存储在图像内位置存储部1042中的图像内位置信息。随后，算出显示画面的有效区域尺寸(Sa2)。图5示出的是在区域尺寸为(Wd，Hd)的显示画面300整体上， 为了显示摄像机坐标系中的所有被摄体位置，求出相应于被摄体位置的Ud、Vd坐标，并将该坐标作为被摄体201的图像内位置来显示各被摄体图像的例子。图5中，对应于输入图像 203、204、205、206的各被摄体位置，在摄像机坐标系中为X坐标最小、Z坐标最大、X坐标最大、Z坐标最小。这些输入图像如图5所示，配置在显示画面300的左边缘、上端、右边缘、 下端。用这一方式在显示画面的区域整体确定被摄体的显示位置时，显示出来的是缺失显示图像203、204、205、206的左半部、上半部、右半部、下半部的图像。因此，需要基于显示画面的区域尺寸和图像内位置信息，通过缩小显示画面的有效区域来解决显示图像缺失的问题。具体来说，对于显示图像203，如图6所示，只需在Ud轴正向上将区域尺寸缩小U3, 使开始位置的Ud坐标为U3,即可避免显示图像的左半部分的缺失。对于显示图像204，在Vd 轴正向上只需以V4幅度缩小区域尺寸，使开始位置的Vd坐标为V4,即可避免显示图像的上半部分的缺失。对于显示图像205，在Ud轴负向上只需以(Wi-U5)幅度缩小区域尺寸，即可避免显示图像的右半部分缺失。对于显示图像206，在Vd轴负向上只需以(Hi-V6)幅度缩小区域尺寸，即可避免显示图像的下半部分的缺失。将以上处理进行通常考虑，则演算方式如下。对于所有输入图像Ij (j = 1 · · N) (N为场景中的帧数)，将摄像机坐标系中被摄体位置的X坐标、Z坐标设为(Xj, Zj) (j = 1 · · N)，图像内位置信息设为(Uj, Vj) (j = 1 · · N)。计算有效区域尺寸时，首先算出[UrWd · (Xj-Xfflin) /DJ、[Wi-UrWd · (Xfflax-Xj) /DJ、[VrHd · (Zmax-Zj) /Dz]、[Hi-VrHd · (ZrZmin) /Dz]
(j = 1 · · N)的最大值。将这些最大值分别定为MAX [UrWd · (XrXmin) /Dj、MAX [Wi-UrWd · (Xmax-Xj) /Dj、MAX [VrHd · (Zmax-Zj)/Dz]、MAX [Hi-VrHd · (ZrZmin) /Dz]时，则有效区域尺寸(We，He)可通过以下公式算出。[数学式1]We = Wd-MAX [UrWd · (XrXmin) /Dj -MAX [Wi-UrWd · (Xmax-Xj/Dj[数学式2]He = Hd-MAX [VrHd · (Zmax-Zj) /Dz] -MAX [Hi-VrHd · (ZrZmin) /Dz]此夕卜，将U” (Wi-Uj)、Vj, (Hi-Vj) (j = 1 · · N)的最大值分别定为 MAX[Uj]、 MAX [Wi-Uj]、MAX [V」]、MAX [Hi-Vj]时，有效区域尺寸(We，Ηε)也可通过以下公式简便地算出。[数学式3]We = Wd-MAX [Uj] -MAX [Wi-Uj][数学式4]He = Hd-MAX [Vj] -MAX [Hi-Vj]其次，显示位置决定部106基于步骤Sal中算出的Dx、Dz、和步骤中算出的有效区域尺寸(I，扎)，通过以下公式算出X方向的缩小率Rx、Z方向的缩小率Rz(Sa3)。[数学式5]Rx = ffe/Dx[数学式6]Rz = EjOz其次，显示位置决定部106利用步骤中算出的缩小率和被摄体位置信息400， 求出基于显示画面尺寸换算出的临时显示位置l(Sa4)。这一临时显示KUjl，Vj,) (j = 1 · ·Ν)可通过以下公式算出。[数学式7]Ujl = (Xj-Xfflin) · Rx[数学式8]Vjl = (Zfflax-Zj) · Rz其次，显示位置决定部106为使被摄体的脸部配置在由被摄体位置的X坐标、Z坐标的值算出的显示位置上，从步骤Sa4算出的临时显示位置KUjl，Vj,)中减去图像内位置信息的值，通过以下公式算出临时显示位置2(Uj2，Vj2) (j = 1 · · N) (Sa5)。[数学式9]Uj2 = Uji-Uj[数学式10]Vj2 = Vji-Vj其次，显示位置决定部106为使显示位置限制在显示画面区域内，对于所有临时显示位置2，在各Ud坐标、Vd坐标中分别加算或减去相同数值，使得临时显示位置2 (UJ2,VJ2) 的Ud坐标、Vd坐标的最小值为0，从而算出显示位置(Ujf，Vjf) (j = 1 · · N) (Sa6)。这种显示位置(Ujf，Vjf)是将图6中输入图像203 206的原点(左上角的像素)的位置用Ud坐标、Vd坐标示出的值。其次，对本发明第一实施方式中涉及的实施例进行详细说明。图7示出了利用距离感应器和角度感应器检测被摄体的位置时，所测定信息的构成例700。将图像显示控制装置101与被摄体的距离设为d，并将相对于某一基准方位的、被摄体的位置所在的角度设为 θ，从而进行计量。基准方位可为向北的方位角，也可将记录开始时、结束时的摄像机的光轴方向定为基准。图8示出了构成例700中计量的、表示与被摄体的距离d和角度θ的计量数据800。图9示出了利用计量数据800转换到摄像机坐标系的被摄体位置信息900。由于图像显示控制装置101与被摄体的距离为d、角度为θ，从而被摄体位置信息400可由 (dsin θ ,dcos θ )求算出。例如，由图8的基准时刻开始的经过时间为1时，由于d = 8. 3、 θ = 14，(9. 0sinl4° ,9. 0cosl4° ) = (2.01,8. 05)为被摄体的位置信息。图10示出了将VGA尺寸(640X480)的图像数据通过脸部识别处理进行解析，对图像内被摄体的位置进行导出的图像内位置信息500的一个例子。例如，由基准时刻开始的经过时间为1时，意味着被摄体的脸部位于图像数据的(观0，360)位置上。图像内位置存储部1042存放有图10的数据、及被摄体位置存储部1043存放有图 9的数据时，显示位置决定部106进行如下操作。首先，在图4的步骤Sal中，由于X坐标的最小值为2. 01、最大值为10. 96，所以X坐标的最大差分Dx为8. 95。并且，由于Z坐标的最小值为5. 97、最大值为10. 96，所以Z坐标的最大差分Dz为4. 99。其次，将显示画面的区域尺寸定为(7680,4320)时，在步骤中，可采用[数学式3][数学式4]的简易方式，如下算出有效区域尺寸(We，He)。We = 7680-300-(640-114) = 6854He = 4320-372-(480-357) = 3825随后，在步骤Sa3中，X方向的缩小率RX、Z方向的缩小率Rz可通过[数学式5][数学式6]如下算出。Rx = 6854 + 8. 95 = 765. 8Rz = 3825^-4. 99 = 766. 5其次，在步骤Sa4中，利用步骤Sa3中算出的缩小率和被摄体位置信息900，求算出基于显示画面尺寸换算的临时显示位置1 (Uf D。例如，由基准时刻开始的经过时间为1 时，由于被摄体位置信息为(2. 01，8. 05)，临时显示位置1 (U11, V11)可通过[数学式7][数学式8]如下算出。U11 = (2. 01-2. 01) X 765. 8 = 0. 0V11 = (10. 96-8. 05) X 766. 5 = 2230. 5其次，在步骤Sa5中，临时显示位置2( ，Vj2)如下算出。例如，由基准时刻开始的经过时间为1时，由于图像内位置信息为080，120)，临时显示位置2 (U12，V12)可通过[数学式9][数学式10]如下算出。U12 = 0. 0-280 = -280. 0V12 = 2230. 5-360 = 1870. 5图11示出了由基准时刻开始的经过时间为1至10期间的、算出的临时显示位置2的结果。其次，在步骤 6中，显示位置(Ujf，Vjf)如下算出。例如，由基准时刻开始的经过时间为1时，由于临时显示位置2的Ud坐标、Vd坐标的最小值分别为-280. 0,-372. 0，因此显示位置(Ulf，Vlf)如下。Ulf = -280. 0+280. 0 = 0Vlf = 1870. 5+372. 0 = 2242. 5图12示出了由基准时刻开始的经过时间为1至10期间的、算出的显示位置的结^ ο对于本发明第一实施方式的说明如上，但图像显示控制装置100具有直接检测摄像机坐标系中的被摄体位置的功能单元时，位置生成部103即相当于该功能单元。而直接检测摄像机坐标系中的被摄体位置的功能单元设置在图像显示控制装置100的外部、且与图像显示控制装置100相连时，从外部的位置检测功能单元输入位置信息、且将被摄体的位置写入被摄体位置存储部1043的功能，则由位置生成部103承担。再者，被摄体的运动剧烈，以致拍摄的一部分过程中摄像机没有捕捉到被摄体时， 即，被摄体存在于拍摄被摄体的摄像机的拍摄范围外时，也可赋予适当的值作为图像内位置信息，从而对被摄体与摄像机拍摄范围的位置关系加以明确。例如，通过被摄体位于摄像机拍摄范围外的右侧时赋予(Wi，0)、位于左侧时赋予(-1，0)、位于上侧时赋予(0，-1)、位于下侧时赋予(0，Hi)的设定，再现显示图像的位置和被摄体所在的位置关系。通过这些处理， 在被摄体从图像区域内的外侧至进入图像区域内的场景中，可减少图像的显示位置产生大幅度变化的情况，从而可使得图像位置平滑地进行迁移。作为检测被摄体位于拍摄范围外的哪一位点的方法，可求出摄像机的光轴方向， 并算出平行于垂直方向且包含光轴的面与由摄像机引向被摄体的直线构成的角θ、及平行于水平方向且包含光轴的面与由摄像机引向被摄体的直线构成的角Φ，基于角度θ、φ， 通过判断从摄像机的画角偏离至哪一方向来进行检测。或者，也可基于被摄体从图像消失瞬间前的、图帧中的被摄体位置位于图像的哪一侧来进行检测。即，将该瞬间前的图帧的被摄体位置设为(Uk，Vk)时，在UpWi-WJ10Hi-Vk的数值中求出任一为最小的值，以被摄体在 Uk最小时位于左侧、Wi-Uk最小时位于右侧、Vk最小时位于上侧、Hi-Vk最小时位于下侧的方式进行检测。此外，被摄体存在于所述的图像区域外时，由于显示的图像中不包含被摄体，因此无法再现拍摄时的被摄体的运动。此时，可在对应于被摄体位置信息的显示位置上，显示表示被摄体的图标或卡通形象或脸部图像等，也可显示由被摄体看到的、在摄像机拍摄范围的方向上拍摄到的图像。这一示例示于图13。图13中，由于拍摄图像(5)的过程中被摄体突然向左向移动，使得图像(5)的拍摄范围位于被摄体的右侧，因此在图标1300的右侧显示图像(5)。此时，在[数学式9]及[数学式10]中使用的图像内位置信息不采用上述的(Wi, 0)、(-1,0)等数值。如图13所示，将显示图标等的图像的大小设定为横向U。(但是使U。 <1)、纵向火(但是使火<印)时，则可采用(U。/2，V。/2)作为图像内位置信息。并且，在计算[数学式1]至[数学式4]的有效区域尺寸时，相应于画面内信息的位置，对处理做如下变更。图像内位置信息为％，0)时，在运算[数学式1]的MAXtUj-W^ (Xj-Xfflin)/DJ或[数学式3]的MAX[Uj]时，对使用图标的图帧，采用化+Wi以替代化。图像内位置信息为 (-1,0)时，在运算[数学式 1]的 MAX[Wi-Uj-Wd. (Xmax-XjVDJ 或[数学式 3]的 MAXDVi-Uj] 时，对使用图标的图巾贞，采用W#。以替代Wit5图像内位置信息为(0，-1)时，在运算[数学式2]的MAXDli-V^V(Zj-Zmin)/Dz]或[数学式4]的MAXDli-Vj时，对使用图标的图帧，用 Hi+V。以替代氏。图像内位置信息为(0, )时，在运算[数学式2]的MAX[Vj-Hd VZmax-Zj)/ Dz]或[数学式4]的MAX[VJ时，对使用图标的图帧，采用、+Hi以替代、。并且，包括没有对被摄体进行拍摄的时刻的被摄体位置的(χ—Ρ，如果进行[数学式1]至[数学式8]的运算，也可使表示被摄体的图标等不从显示画面缺失。根据本实施方式，通过上述结构设定，相对于现有的图像显示控制装置只能再现在平行于拍摄被摄体的摄像机的摄像面运动的被摄体的运动，可再现相对于摄像机摄像面垂直的纵深方向的运动。例如，显示自正面方向向跟前趋近的被摄体时，相对于现有的图像显示控制装置大体在固定位置进行显示，通过上述结构设定，可在显示画面区域的上部至下部方向上进行移动并显示。再者，根据本实施方式，由于考虑了图像区域内被摄体的位置来确定显示位置，因此可在忠实再现被摄体的运动的前提下显示被摄体。例如，如图14所示，自正面方向向跟前趋近的被摄体的拍摄由于手颤动等导致显示位置零乱时，如果不考虑图像区域内被摄体的位置，则如图15所示，被摄体交错显示，使得用户观看图像时非常不流畅。与此相对，在本实施方式中，如图16所示，以符合被摄体实际移动的形式流畅地进行显示，从而便于用户观看图像。(第二实施方式)在第一实施方式中，是以拍摄被摄体的摄像机没有进行变焦为前提的处理而设定。而将被摄体拍摄过程中进行变焦的动态图像以现有技术或第一实施方式的方法进行显示时，由于被摄体在显示过程中突然变大或变小，就有可能使视听这些动态图像的用户产生不协调的感觉。因此在第二实施方式中，对被摄体的大小进行固定，或者以不使用户产生不协调的感觉的程度放大缩小后进行显示。图17是对本发明第二实施方式中的图像显示控制装置的结构进行说明的方块图。图17中，内容管理部104中新设有变焦值存储部1044，并设有图像内位置大小存储部 1045以替代图像内位置存储部1042。并且，由于图像解析部1021、显示位置决定部1061和显示器件控制部1071进行一部分有异于第一实施方式的操作，因此赋予了不同的符号。余下的结构与第一实施方式相同，因此省略说明。图像解析部1021解析图像输入部101的图像数据，检测出图像区域内的被摄体。 图像解析部1021解析图像数据的时机、以及被摄体的检测方法可与第一实施方式相同。图像解析部1021不仅可检测显示脸部的区域的重心、或显示被摄体对象的区域的重心的坐标作为被摄体位置，还可检测被摄体的大小。这里，被摄体的大小为被摄体的脸部长度(纵向长度)、被摄体的脸部宽度(横向长度)、或被摄体对象的高度(纵向长度)、被摄体对象的宽度(横向长度)中任意一种形式。变焦值存储部1044，对应于图像存储部1041的各图像，存储各个图像的变焦值。 图像内位置大小存储部1045，将图像解析部1021检测出的图像区域内的被摄体的位置信息及其大小与图像数据以帧单位进行对应并存储。
显示位置决定部1061利用存储在变焦值存储部1044中的各图像的变焦值、存储在图像内位置大小存储部1045中的图像区域内的图像内位置信息及被摄体的大小、存储在被摄体位置存储部1043中的被摄体在摄像机坐标系中的位置信息、由显示画面区域尺寸取得部105取得的显示器件的画面尺寸信息，确定对存储在变焦值存储部1044的各图像的变焦值进行修正后的修正变焦值、及显示器件上的显示位置。显示位置决定部106的处理细节将在后述。显示器件控制部1071对图像存储部1041存储的图像数据参照修正变焦值进行放大缩小后，将在显示位置决定部106决定的显示位置上显示经放大缩小的图像数据的信号发送到显示器件108。以下，对本发明显示位置决定部1061的详细的处理流程进行说明。图18示出了显示位置决定部1061的处理流程。首先，显示位置决定部1061提取存储在图像内位置大小存储部1045中的被摄体的大小(Sbl)。随后，基于被摄体的大小算出各图像的修正变焦值(S132)。这里，将拍写到各输入图像I」(j = 1 · · N) (N为场景中的帧数)中的被摄体的大小设为L」(j = 1 · · N) 时，修正变焦值MSj (j = 1 · · N)可通过以下公式得出。[数学式11]MSj = Lj/Lb公式中的Lb为被摄体的大小的基准值，可以将预先确定的值存放在图像显示控制装置中，也可以算出各场景中Lj的平均值后，将该平均值作为Lb。随后，显示位置决定部1061与第一实施方式相同，算出存储在被摄体位置存储部 1043中的被摄体位置的X坐标的最大差分DX、Z坐标的最大差分Dz (Sal)。将计算这些差分时所需的X坐标的最大值、最小值分别用Xmax、Xmin表示，Z坐标的最大值、最小值分别用2_、
Zmin表不。随后，显示位置决定部1061除算出第一实施方式中所用的数值外，还利用修正变焦值算出有效区域尺寸(We，Hj。对于所有的输入图像I」(j = 1 · · N)，将摄像机坐标系中被摄体位置的X坐标、Z坐标设为(X」，Zj) (j = 1 · · N)，图像内位置信息设为(Uj, Vj) (j = 1 · · N)，修正变焦值设为Μ。(j = 1 · · N)。在计算有效区域尺寸时，首先算出[Uj/MSj-ff, · (XrXmin) /DJ、[ (Wi-Uj) /MSj-Wd · (Xmax-Xj) /Dj、[Vj/MSj-H, - (Zmax-ZjVDzL[ (Hi-Vj) /MSrHd · (ZrZmin) /Dz](j = 1 · · N)的最大值。将这些最大值分别定为MAX [Uj/MSj-ff, · (XrXmin) /Dj、MAX [ (Wi-Uj) /MSj-Wd · (Xmax-Xj) /Dj、
MAX [Vj/MSj-H, · (Zmax-Zj) /Dz]、MAX [ (Hi-Vj) /MSrHd · (ZrZmin) /Dz]时，则有效区域尺寸(We，He)可通过以下公式算出。[数学式12]We = Wd-MAX [Uj/MSj-ff, · (XrXmin) /Dj -MAX [ (Wi-Uj) /MSrWd · (Xmax-Xj) /Dj
[数学式13]He = Hd-MAX [Vj/MSrHd · (Zmax-Zj) /Dz] -MAX [ (Hi-Vj) /MSrHd · (ZrZmin) /Dz]此夕卜，将U/MSj、(Wi-Uj)/MSj, Vj/MSj, (Hi-Vj)/MSj (j = 1 · · N)的最大值分别定为 MAX [Uj/MSj]、MAX [ (Wi-Uj) /MSj]、MAX [Vj/MSj]、MAX [ (Hi-Vj) /MSj]时，有效区域尺寸(We，He) 也可通过以下公式简便地算出。[数学式14]We = Wd-MAX [Uj/MSj] -MAX [ (Wi-Uj) /MSj][数学式15]He = Hd-MAX [Vj/MSj] -MAX [ (Hi-Vj) /MSj]其次，显示位置决定部1061用与第一实施方式中同样的方法，求出X方向的缩小率Rx、Z方向的缩小率Rz、临时显示位置1 (Ujl, Vjl) (j = 1 · · N) (Sa3, Sa4)。其次，显示位置决定部1061为使被摄体的脸部配置在由被摄体位置的X坐标、Z坐标的值算出的显示位置上，从步骤Sa4中算出的临时显示位置KUjl，Vj,)中减去图像内位置信息的值，并通过以下公式算出临时显示位置2(Uj2，Vj2) (j = 1 · · N) (Sb4)。[数学式ie]Uj2 = Uji-Uj/MSj[数学式I7]Vj2 = Vji-Vj/MSj最后，显示位置决定部1061用与第一实施方式中同样的方法，算出显示位置(UJf， Vjf) (j = 1 · · N) (Sa6)。此外，本发明显示位置决定部1061也可对输入图像进行放大缩小的处理，以使用户不对显示图像产生不协调的感觉。图19示出了这一情况下显示位置决定部1061的处理流程。这种处理过程只是替代图18的步骤Sbl、Sl32而实行步骤&1、&2的点不同，因此以下只对不同的处理进行详细的说明。首先，显示位置决定部1061在场景中的图帧中选出作为计算修正变焦值时的基准的两个图帧(Scl)。这里，在各输入图像I」(j = 1 · ·Ν) (N为场景中的图帧数)中，将选出的两个图帧设为Ibl、Ib2(但是使bl < b2)。并且，将对应于输入图像Ij的被摄体位置的 Z坐标设为= 1 · · Ν)时，优选将τ、为最小时的j的值、为最大时的j的值分别赋予 bl或132，以减小误差。其次，算出各图像的修正变焦值(SM)。这里，将拍写到各输入图像I」(j = 1 -·Ν) 的被摄体的大小设为Lj (j = 1 · ·Ν)、拍摄被摄体的摄像机的变焦值设为= 1 · ·Ν)、摄像机坐标系中被摄体位置的Z坐标设为= 1 · ·Ν)、修正变焦值设为M^(j = 1 · ·Ν)。 此时，无变焦的被摄体的大小是从被摄体的大小除以变焦值的值，因此输入图像Ibl、Ib2、Ij 中无变焦的被摄体的大小分别为LblAbl、Lb2Ab2、L/Mh。并且，由于进行放大缩小以使用户不产生不协调的感觉，因此无变焦的脸部的大小与摄像机和被摄体的距离成比例地变小。 此时，由Ibl至Ib2的无变焦的脸部大小的增加分(Lb2Ab2-LblAbl)和由Ibl至Ij的无变焦的脸部大小的增加分(Lj/MSrLbl/Sbl)的比、与由Ibl至I132的Z坐标的增加分(Zb2-Zbl)和由Ibl 至Ij的Z坐标的增加分(ZjIbl)的比等同，因此成立以下关系式。[数学式18]
(Lb2/Sb2-Lbl/Sbl) (L/MSrLbl/^bl) = (Zb2-Zbl) (ZrZbl)由此，修正变焦值MSjG = 1 · 'N)可由以下方式算出。[数学式19]MSj = SblSb2 (Zb2-Zbl) Lj/ [Sbl (ZrZbl) Lb2+Sb2 (Zb2-Zj) Lbl]如上所述，算出修正变焦值MSj (j = 1··Ν),即可通过上述方法算出显示位置(UJf， Vjf) (j = 1 · · N)。以下，对本发明第二实施方式所涉及的实施例进行详细说明。图20示出拍摄图像显示控制装置显示的图像的摄像机的坐标系、及在该坐标系中被摄体进行移动的例子。图中的XYZ轴表示摄像机坐标系中的XYZ轴，如点线所示，设定被摄体向摄像机趋近移动。在点线上用黑圆点表示的各时间点，标示出的图像为被拍摄到的图像。此外，在图像的左上角标出了用于识别各图像的编号，并且在后述的图21、图22中，同一编号的图像为各自相对应的图像。图20的例子中，将脸部的长度(纵向长度)作为被摄体的大小，在画面中表示为 LjU = 1 · ·9)。并且，由于图像⑵用1.4倍变焦、图像⑶用1.3倍变焦拍摄，因此被摄体的大小相比其他图像稍为放大后示出。图21为将通过上述方式取得的图像用第一实施方式的方法显示的图像。图21中， 在被摄体移动过程中，由于在图像( 、(；3)中突然放大被摄体、以及在图像(4)中突然缩小被摄体，因此有可能使得视听这些图像的用户产生不协调的感觉。图22是对如图20的方式取得的图像，显示位置决定部1061实行图18的处理，从而将图像放大缩小后进行显示的图。图22的例子中，各图像进行了放大缩小的处理，以使被摄体的大小都被统一在Lb。因此，各图像中被摄体的大小几乎相同。从而，可使得视听这些图像的用户不会如图21例子的那样产生不协调感。依据本第二实施方式，通过上述结构设定，即便在拍摄被摄体过程中进行变焦，也可对被摄体大小进行固定，或者通过放大缩小的处理使得用户不产生不协调的感觉来进行显示。因此，可使用户在不产生不协调的感觉的前提下视听图像。以上，本发明的实施方式中示出了图像显示控制装置，但以上所述的技术方案既适用于图像显示方法，也适用于记录图像显示程序的记录介质。并且，图1所示的图像输入部101、图像解析部102、位置生成部103、显示画面区域尺寸取得部105、显示位置决定部 106、显示器件控制部107的各功能模块，典型上可通过集成电路LSI来实现。这些可个别地进行单芯片化，也可以包含一部分或全部的形式进行单芯片化。这里例举了 LSI，但根据集成度的不同，也可称之为IC、系统LSI、超级LSI (Super LSI)、超大LSI (Ultra LSI)。此外，集成电路化的手法不仅限于LSI，也可通过专用电路或泛用处理器来实现。也可利用在LSI制造后可编程化的FPGA(Field ProgrammableGate Array)，或利用对LSI内部的电路单元的连接或设定可进行重新设定的可重构处理器(Reconfigurable ft~OCeSSOr)。并且，如果由半导体技术的进步或派生的其他技术产生替代LSI的集成电路化的技术，当然也可利用这些技术来进行功能模块的集成化。其中，生物技术的应用等有望催生下一代替代型技术。工业实用性本发明可适用于处理数字数据的信息装置，这些信息装置包括电视和产生将图像输出到电视的信号的各种记录器、个人电脑、移动电话、PDA等。本发明尤其适用于在以上装置的画面内移动并显示所拍摄到的映像的情况。
权利要求
1.一种图像显示控制装置，用于将拍摄被摄体的动态图像的图像数据显示在显示器件，该图像显示控制装置包括生成由以拍摄被摄体的摄像机为基准的直角坐标系描述的、被摄体的位置信息的位置生成部；将所述位置生成部生成的被摄体的位置信息，以动态图像的帧单位进行存储的内容管理部；将所述坐标系中纵深方向的被摄体的坐标与显示器件的纵轴的坐标进行对应，并将所述坐标系中横轴方向的被摄体的坐标与显示器件的横轴的坐标进行对应，从而决定动态图像的各帧的显示位置的显示位置决定部；以及将在所述显示位置决定部决定的显示位置显示动态图像的信号发送到显示器件的显示器件控制部。
2.如权利要求1所述的图像显示控制装置，其特征在于，所述图像显示控制装置还包括从显示器件取得可显示区域的尺寸的显示画面区域尺寸取得部，以及对动态图像的各帧中的被摄体的位置进行确定的图像解析部； 所述内容管理部将所述被摄体的位置信息与图像解析部解析的动态图像的各帧中被摄体的图像内位置信息，以所述动态图像的帧单位进行对应并存储，所述显示位置决定部利用由所述显示画面区域尺寸取得部取得的可显示区域的尺寸、 和所述直角坐标系中所述被摄体的位置的最大值及最小值，在决定了位置信息和显示位置的对应关系的基础上，利用所述被摄体的图像内位置信息对所述动态图像的显示位置进行修正，以使显示位置不逸出在可显示区域之外。
3.如权利要求2所述的图像显示控制装置，其特征在于 所述图像解析部确定所述动态图像的各帧中的被摄体的大小；所述内容管理部将所述动态图像的图像数据、所述被摄体的位置信息、所述被摄体的图像内位置信息、及所述图像解析部解析的所述被摄体的大小信息，以帧单位进行对应并存储；所述显示位置决定部利用所述图像解析部输出的被摄体的大小，算出所述动态图像的各帧的放大缩小率，从而使得所显示的被摄体的大小为一定；以及所述显示器件控制部将在所述显示位置决定部决定的显示位置显示以所述显示位置决定部决定的放大缩小率放大缩小的动态图像的信号发送到显示器件。
4.如权利要求2所述的图像显示控制装置，其特征在于 所述图像解析部确定所述动态图像的各帧中的被摄体的大小；所述内容管理部将所述动态图像的图像数据、所述被摄体的位置信息、所述被摄体的图像内位置信息、所述图像解析部解析的所述被摄体的大小信息、及所述动态图像的变焦值，以帧单位进行对应并存储；所述显示位置决定部利用所述图像解析部输出的被摄体的大小和变焦值，算出所述动态图像的各帧的放大缩小率，从而使得所显示的被摄体的大小相应于拍摄被摄体的摄像机的距离产生变化；以及所述显示器件控制部将在所述显示位置决定部决定的显示位置显示以所述显示位置决定部决定的放大缩小率放大缩小的动态图像的信号发送到显示器件。
5.如权利要求2、3、4中任意一项所述的图像显示控制装置，其特征在于所述位置生成部还包括检测拍摄被摄体的摄像机的拍摄范围与被摄体的位置关系的位置关系检测部；所述图像解析部在所述动态图像内没有检测出被摄体时，基于由位置关系检测部取得的位置关系信息，将动态图像数据区域外对应于所述位置关系的坐标设为被摄体位置信肩、ο
6.如权利要求5所述的图像显示控制装置，其特征在于所述显示器件控制部还包括将在表示所述被摄体的位置信息的位置显示图标的信号发送到显示器件的图标显示控制部；在所述图像解析部没有在动态图像的各帧内检测出被摄体时，所述图标显示控制部发送显示图标的信号。
7.一种图像显示方法，用于将拍摄被摄体的动态图像的图像数据显示在显示器件，其特征在于，该图像显示方法包括将动态图像的各帧与由以拍摄被摄体的摄像机为基准的直角坐标系描述的位置信息， 以帧单位进行对应并存储的存储步骤；将所述坐标系中纵深方向的被摄体的坐标与显示器件的纵轴的坐标进行对应，并将所述坐标系中横轴方向的被摄体的坐标与显示器件的横轴的坐标进行对应，从而决定动态图像的各帧的显示位置的显示位置决定步骤；以及将在所述显示位置决定步骤决定的显示位置显示动态图像的信号发送到显示器件的显示器件控制步骤。
8.一种集成电路，用于将拍摄被摄体的动态图像的图像数据显示在显示器件，其特征在于，该集成电路包括将动态图像的各帧与由以拍摄被摄体的摄像机为基准的直角坐标系描述的位置信息， 以帧单位进行对应并存储的内容管理单元；将所述坐标系中纵深方向的被摄体的坐标与显示器件的纵轴的坐标进行对应，并将所述坐标系中横轴方向的被摄体的坐标与显示器件的横轴的坐标进行对应，从而决定动态图像的各帧的显示位置的显示位置决定单元；以及将在所述显示位置决定单元决定的显示位置显示动态图像的信号发送到显示器件的显示器件控制单元。
全文摘要
本发明公开了一种图像显示控制装置、图像显示控制方法及集成电路，用于检测被摄体的空间中的位置，与图像数据进行对应后存储，并在图像的显示时，将垂直于摄像面的纵深方向的被摄体的位置和平行于摄像面的水平方向的被摄体的位置，分别设定在显示器件的纵轴和横轴的坐标上，从而对图像进行显示。由此，在具有大于所显示的动态图像的图像尺寸的可显示区域的显示器件上，不仅可对与拍摄被摄体的摄像机的摄像面平行的被摄体的运动进行再现，还可对与摄像面垂直的纵深方向的运动进行动态再现。
文档编号G09G5/00GK102165516SQ201080002699
公开日2011年8月24日 申请日期2010年6月28日 优先权日2009年8月31日
发明者添田纯一郎 申请人:松下电器产业株式会社
最新回复(0)