摄像装置的制作方法
专利名称：摄像装置的制作方法
摄像装置
技术 领域 本发明涉及一种摄像装置。
背景技术：
在具有数字照相和摄像功能的移动电话等中，摄像视角的界限依赖于透镜(lens) 的焦距、摄像元件的尺寸等装置主体具有的硬件规格。并且，对于这样的摄像视角的界限的问题，在摄像装置中，存在在已有的透镜前安装广角摄像用的转换透镜(conversion lens)等技术(例如，JP特開2004-191897号公报、 JP特開2005-027142号公报、JP特開2005-057548号公报)。此外，还存在预先具有多个透镜、根据摄像目的切换透镜的技术(例如，JP特開2007-081473号公报)。但是，在上述以往的技术中，为了进行广角摄像，必须一个一个安装广角摄像用的转换透镜、或根据摄像目的切换透镜，存在操作性和成本方面的问题。此外，即使使用了这些广角摄像用的转换透镜、或可切换的透镜，但仍然存在难以得到摄影者希望的广角图像的问题。
发明内容
由此，本发明的目的在于提供一种可容易地得到广角图像的摄像装置。根据本发明的一实施方式的摄像装置，包括显示部；以第1视角进行拍摄的摄像部；通过上述摄像部进行多次拍摄的摄像控制部；生成部，其通过将由上述摄像控制部的多次拍摄而得到的多幅图像合成，从而生成合成图像，该合成图像再现了以比上述第1视角更广的第2视角拍摄的图像；和将通过上述生成部生成的合成图像显示在上述显示部上的显示控制部。
图1是示出本发明的第1实施方式的数字照相机的结构的框图；图2是用于说明本第1实施方式的数字照相机1的广角摄像模式的概念图；图3是示出在本第1实施方式的数字照相机1中的、透镜的视角和通过广角摄像模式得到的合成图像之间的关系的概念图；图4是用于说明本第1实施方式的数字照相机1的广角摄像模式下的使用者操作的示意图；图5是用于说明本第1实施方式的数字照相机的动作的流程图；图6是用于说明本第1实施方式的数字照相机的广角摄像模式下的图像合成的示意图；图7是用于说明本第2实施方式的数字照相机的动作的流程图；图8是示出本第2实施方式的数字照相机的图像显示部的显示例的示意图；图9是示出本第2实施方式的数字照相机的动作以及图像显示部的显示例的示意图； 图10是用于说明本第3实施方式的数字照相机的动作的流程图；图11是示出本第3实施方式的数字照相机的动作以及图像显示部的显示例的示意图；图12是用于说明本第4实施方式的数字照相机的动作的流程图；图13是示出本第4实施方式的数字照相机的动作以及图像显示部的显示例的示意图；图14是示出本第4实施方式的变形例的示意图。
具体实施例方式以下参照附图，对本发明的实施方式进行说明。但是，发明的范围不限定在图示的例子中。A.第1实施方式A-1.第1实施方式的结构图1是示出本发明的第1实施方式的数字照相机的结构的框图。图中，数字照相机1包括摄像透镜2、透镜驱动部3、光圈兼用快门4、(XD5、TG (Timing Generator,时钟发生器)6、单元电路7、图像处理部8、CPU11、DRAM12、存储器13、闪存14、图像显示部15、按键输入部16、卡I/F17、以及存储卡18。摄像透镜2包含聚焦透镜、变焦透镜(zoom lens)等，与透镜驱动部3连接。透镜驱动部3由沿光轴方向分别驱动构成摄像透镜2的聚焦透镜、变焦透镜的电动机，和根据来自CPUll的控制信号来驱动聚焦电动机、变焦电动机的聚焦电动机驱动器、变焦电动机驱动器构成。光圈4包含未图示的驱动电路，驱动电路根据来自CPUll的控制信号使光圈4动作。该光圈4控制从摄像透镜2进入的光量。CXD (摄像元件)5将经由摄像透镜2、光圈4 而投射的被拍摄体的光转换为电信号，作为摄像信号输出至单元电路7。此外，CCD5根据由 TG6生成的规定频率的定时信号进行驱动。单元电路7由对从CCD5输出的摄像信号进行相关双采样并保持的 CDS (Correlated Double Sampling，相关双采样)电路、进行该采样后的摄像信号的自动增益调整的AGC(Automatic Gain Control,自动增益调整)电路、和将该自动增益调整后的模拟摄像信号转换为数字信号的A/D转换器构成。CCD5的摄像信号经由单元电路7，作为数字信号传送至图像处理部8。此外，单元电路7根据由TG6生成的规定频率的定时信号进行驱动。图像处理部8进行来自单元电路7的图像数据的图像处理(像素插值处理、Y 修正、亮度色差信号的生成、白平衡处理、曝光修正处理等)、图像数据的压缩扩展(例如， JPEG格式、M-JPEG格式或MPEG格式的压缩、扩展)的处理、合成多幅摄像图像的处理等。 此外，图像处理部8根据由TG6生成的规定频率的定时信号进行驱动。CPUll为控制数字照相机1的各部分的单片机。特别是，在本第1实施方式中， CPUll控制各部分，使得以规定周期(时间间隔)对多幅图像进行连拍，按照部分重复的方式(例如，使用α混合)合成拍摄的多幅图像，生成以广角所摄像那样的1幅合成图像。此外，针对图像合成的详细内容如后所述。在通过(XD5进行了拍摄之后，DRAMl2用作暂时存储来自CPUll的图像数据的缓存，同时用作CPUll的工作存储器。存储器13记录CPUll对数字照相机1的各部分的控制所必需的程序、以及各部分控制所必需的数据，CPUll根据该程序进行处理。闪存14、存储卡18为保存通过(XD5拍摄的图像数据等的记录介质。图像显示部15包含彩色IXD及其驱动电路，在摄像待机状态时，将通过(XD5拍摄的被拍摄体作为取景图像(through image)显示，记录图像的再现时，从保存用闪存14、存储卡18中读取，显示扩展后的记录图像。此外，在本第1实施方式中，显示将广角摄像模式下连拍(continuously capture)的多个图像依次合成而得到的合成图像。按键输入部16 包含快门SW、变焦SW、模式键、SET键、十字键等多个操作按键，将与使用者的按键操作对应的操作信号输出至CPU11。卡I/F17中，通过数字照相机1主体的未图示的卡槽可插拔地安装存储卡18。图2是用于说明本第1实施方式的数字照相机1的广角摄像模式的概念图。例如， 在数字照相机1中，假定拍摄如图2所示的景色的情况。在拍摄期望范围内的景色时，与该数字照相机1的摄像系统的视角S相比，需要有更大的视角。但是，在一次拍摄中，无法拍摄全部期望的景色。由此，在本第1实施方式中，在使用者以网罗期望的景色的方式移动数字照相机1 的摄像方向期间，以规定的时间、或者规定的拍摄幅数量的间隔、规定的周期(时间间隔)， 连拍多幅图像。而后通过以部分重复的方式合成拍摄的多幅图像，从而提供能够容易地得到广角图像的广角摄像模式。此外，在以下的说明中，为了明确摄像范围、摄像视角等，将图2的景色以图3所示的方式图解来进行说明。图3中，视角Sl为最终生成的图像的尺寸(视角)，其外侧是即使被拍摄但也不在最终图像中的区域外。在本第1实施方式中，在存储器(DRAM12)上确保图像写入用的排列。为了方便， 在本第1实施方式中将其称为画布(canvas)。该画布示出生成的广角的合成图像再现的摄像范围。即，将拍摄的多幅图像以部分重复的方式对位(positioned)并合成，写在画布上。 而后，通过由合成的图像中抽取图像写入画布上的区域，生成广角图像。在本第1实施方式中，以广角摄像模式下拍摄的最初的摄像图像作为基准图像(相当于图3中的视角S的图像)，以例如分别将该基准图像的纵横扩大为2倍大小的区域作为画布(图3中的摄像区域Si)，而后，将基准图像贴附在画布的中心。此外，画布的大小也可以在纵横方向的2倍以上。此外，作为对位的方法，例如，考虑块匹配等方法。此外，在将图像写在画布上时， 考虑进行投影变换等，使用α混合等方法进行重合的方法。图4是用于说明本第1实施方式的数字照相机1的广角摄像模式下的使用者操作的示意图。使用者对期望的景色，例如，在按下(半按一全按)中央部分的快门SW的状态下，使数字照相机1沿如箭头所示的圆那样移动。但是，对于使用者来说，难以知道怎样使数字照相机1移动才好，或者是否确实得到了必需的图像。由此，在本第1实施方式中，如果使用者按下(半按一全按)快门SW，如上所示，以规定的时间、或者规定的拍摄幅数量的间隔、规定的周期(时间间隔)，连拍多幅图像。而后，每次该连拍的摄像，实时生成缩小图像(低清晰度)，与基准图像(或合成图像)以部分重复的方式合成，将该合成图像显示在图像显示部15中。此时，预先保存用于合成的缩小图像的原图像(高品质图像)。 而后，如果以规定的时间、或者规定的拍摄幅数量的间隔进行的拍摄结束，与使用缩小图像进行的合成相同，使用上述预先保存的原图像(高品质图像)，以部分重复的方式合成。通过这样的系列处理，最终，生成通过一次拍摄无法得到的广角图像。连拍中，由于将图像合成后的缩小图像显示在图像显示部15中，所以使用者可容易地确认数字照相机向什么方向比较好。A-2.第1实施方式的动作以下，针对上述第1实施方式的动作进行说明。图5是用于说明本第1实施方式的数字照相机的动作的流程图。此外，图6A、B是用于说明本第1实施方式的数字照相机的广角摄像模式下的图像合成的示意图。首先，CPUll判断快门SW是否被半按(步骤S10)，在快门SW没有被半按时，反复执行步骤S10。另一发明，如果半按快门SW，则执行AF(自动聚焦)处理(步骤S12)，判断是否全按快门SW(步骤S14)。在没有全按快门SW的时候，反复执行步骤S10、S12。另一方面，如果全按快门SW，则读取摄像图像，执行缩小(pixel skipping)处理， 生成缩小图像(步骤S16)。接着，使用缩小图像，计算重合用图像位置(步骤S18)。所谓重合用图像位置的计算是指，例如，算出缩小图像的中心位置(坐标)，并且在已经有基准图像(或合成图像)的时候，使当前帧的缩小图像和基准图像(或合成图像)以部分重叠的方式对位，计算出当前帧的缩小图像在画布内的位置等。接着，基于上述缩小图像的中心位置，以及画布内的位置，判断该缩小图像的中心位置是否在处理区域(画布内)中(步骤 S20)。而后，在缩小图像的中心位置位于处理区域内的情况下，将读取的摄像图像(高清晰度)作为有效图像保存(步骤S22)，将缩小图像写在作为未取得部分的空白部分 (blank area)上(步骤S24)。即，在当前帧的缩小图像的中心位置位于处理区域内的情况下，将当前帧的缩小图像和基准图像(或合成图像)以部分重叠的方式合成，写在画布40 上(在最初的第1幅摄像图像的情况下，作为基准图像写入画布40的中央部分)。在图6A 所示的例子中，由于当前帧的缩小图像31的中心位置位于处理区域40内，所以将当前帧的缩小图像31和基准图像30以部分重叠的方式合成，写入画布40中。而后，将该合成图像 32显示在图像显示部15中(步骤S26)。接着，判断用于生成广角图像所必需的图像是否被全部取得(例如，是否取得规定的时间、或规定的摄像幅数量的图像)(步骤S28)。而后，在没有取得全部必需的图像的情况下，回到步骤S16，对下一帧的摄像图像反复进行同样的处理。其结果为，每次进行拍摄时，如果摄像图像的中心位置位于处理区域内，则在基准图像(或合成图像)依次合成，每次都将合成图像显示在图像显示部15上。另一方面，在当前帧的缩小图像的中心位置不在处理区域内的情况下，回到步骤 S16，对下一摄像图像反复进行同样的处理。例如，如图6B所示，在当前帧的缩小图像31的中心位置不在处理区域40内的情况下，不进行图像合成。而后，如果取得全部必需的图像，则将作为用于合成的缩小图像的原图像而保存的有效图像，与使用缩小图像进行的合成同样，以部分重复的方式对位合成，最终，生成如图2所示的广角图像(步骤S30)。根据上述的第1实施方式，在连拍中每次拍摄时，将进行了图像合成后的缩小图像实时显示在图像显示部15上。由此，使用者可容易地识别还没有拍摄的方向，或者已经拍摄的方向。其结果，由于使用者知道数字照相机接下来朝向哪个方向较好，故可容易且高效地得到广角图像。B.第2实施方式接着，对本发明的第2实施方式进行说明。本第2实施方式中，其特征在于，在对处理区域外(画布外)进行摄像的时候，或数字照相机的移动(摄像方向的变化)太快的时候等，通过对使用者通知该情况，让其知道以什么样的速度移动数字照相机才好，朝向什么方向才好。此外，数字照相机1的结构省略与图1同样的部分的说明。图7是用于说明本第2实施方式的数字照相机1的动作的流程图。此外，图8和图 9足示出本第2实施方式的数字照相机1的图像显示部15的显示例的示意图。首先，CPUll 判断是否半按快门sw(步骤S30)，在没有半按快门SW的时候，反复执行步骤S30。另一方面，如果半按快门SW，则执行AF(自动聚焦)处理(步骤S32)，判断是否全按了快门SW(步骤S34)。在没有全按快门SW的时候，反复执行步骤S30、S32。另一方面，如果全按快门SW，则读取摄像图像，执行缩小(pixel skipping)处理， 生成缩小图像(步骤S36)。接着，使用缩小图像，计算重合用图像位置(步骤S38)。所谓重合用图像位置的计算是指，例如，算出缩小图像的中心位置(坐标)，并且在已经有基准图像(或合成图像)的时候，使当前帧的缩小图像和基准图像(或合成图像)以部分重叠的方式对位，计算出当前帧的缩小图像在画布内的位置、与之前刚刚拍摄的图像(缩小图像) 的中心位置(坐标)之间的距离等。接着，基于上述缩小图像的中心位置，以及在画布内的位置，判断该缩小图像的中心位置是否在处理区域(画布内)中(步骤S40)。而后，在缩小图像的中心位置不在处理区域内的情况下，将超出区域标记显示在图像显示部15上(步骤S42)。例如，如图8A所示，在当前帧的缩小图像31的中心位于作为处理区域的画布40之外的情况下，如图8B所示，将示出返回处理区域内的方向的箭头50 作为超出区域标记显示在图像显示部15上。由此，由于使用者知道数字照相机1的摄像方向从处理区域偏离，所以通过使数字照相机1沿箭头50的方向移动，可使拍摄的视角回到处理区域内。其后，回到步骤S36，对下一帧摄像图像进行上述处理。即，这种情况下不进行图像合成。另一方面，在缩小图像的中心位置位于处理区域内的情况下，判断上一帧的缩小图像的中心位置和当前帧的缩小图像的中心位置的距离是否比规定的阈值小(步骤S44)。 而后，在上述距离在规定的阈值以上的情况下，将超速标记显示在图像显示部15上(步骤 S46)。其后，回到步骤S36，对下一帧的摄像图像进行上述处理。即，这种情况下不进行图像合成。此外，进一步地，本发明中，虽然通过块匹配等方法实现对位，但如果数字照相机1 的移动速度快，则对位用的2幅图像(上一帧的缩小图像和当前帧的缩小图像)中拍摄同一部分的区域的面积变小，导致对位不正确。为此，必须将数字照相机1的移动速度抑制在某一特定速度之下。因此，要使用者明确知道数字照相机1的移动速度(摄像方向的变化速度)。例如，如图9A所示，在上一帧的缩小图像31a的中心位置和当前帧的缩小图像31b 的中心位置的距离在规定阈值以上的情况下，两缩小图像之间重合的面积变小。由此，对位不正确的可能性较高，所以如图9B所示，将超速标记60显示在图像显示部15上。作为超速标记60，如图9C所示，考虑为对应图像在每个单位时间的移动距离的大小，使仪表的指针的位置、以及仪表的颜色变化的转速表状的标记61，或对应图像在每个单位时间的移动距离的大小，使圆弧状的面积、以及圆弧的颜色变化的标记62等。或者也可以是，对应图像在每个单位时间的移动距离的大小，使长度和颜色变化的柱状图(未图示)°另一方面，在当前帧的缩小图像在处理区域内，并且，移动距离也比规定阈值小的情况下，由于在合成图像方面可进行足够正确的对位，所以将读取的摄像图像(高清晰度)作为有效图像保存(步骤S48)，将缩小图像写在作为未取得部分的空白部分上(步骤 S50)。即，在当前帧的缩小图像的中心位置位于处理区域内的情况下，将当前帧的缩小图像和基准图像(或合成图像)以部分重叠的方式合成，写在画布40上(在为最初第1幅摄像图像的情况下，作为基准图像写在画布40的中央部分)。而后，将该合成图像显示在图像显示部15中(步骤S52)。接着，判断所必需的图像是否全部取得(例如，是否取得规定的时间、或规定的摄像幅数量的图像)(步骤S54)。而后，在没有取得全部必需的图像的情况下，回到步骤S36， 对下一帧的摄像图像反复进行同样的处理。其结果为，每次进行拍摄时，如果摄像图像的中心位置位于处理区域内，则在基准图像(或合成图像)依次合成，每次都将合成图像显示在图像显示部15上。而后，如果取得全部必需的图像，则将作为合成用的缩小图像的原图像而保存的有效图像，与使用缩小图像进行的合成同样，以部分重复的方式对位并合成，最终，生成如图2所示的广角图像(步骤S56)。根据上述的第2实施方式，在对处理区域外进行拍摄的时候，或数字照相机1的移动(摄像方向的变化)太快的时候等，对使用者通知该情况。由此，由于使用者知道以什么样的速度移动数字照相机1才好，将数字照相机朝向什么方向才好，因此可容易且高效地得到广角图像。C.第3实施方式接着，对本发明的第3实施方式进行说明。在本第3实施方式中，其特征在于，不单单对连拍的摄像图像(的缩小图像)进行合成显示，而是按照当前帧的缩小图像位于图像显示部15的中心的方式，从合成图像剪切规定的范围，并显示在图像显示部15上。此外，数字照相机1的结构由于与图1相同，故省略说明。图10是用于说明本第3实施方式的数字照相机的动作的流程图。首先，CPUll判断快门SW是否被半按(步骤S60)，在快门SW没有被半按的时候，反复执行步骤S60。另一方面，如果半按快门SW J^ASAF(Autofocus)处理(步骤S62)，判断快门SW是否被全按 (步骤S64)。在快门SW没有被全按的时候，反复执行步骤S60、S62。
另一方面，如果全按快门SW，则读取摄像图像，执行缩小(pixel skipping)处理， 生成缩小图像(步骤S66)。接着，使用缩小图像，计算重合用图像位置(步骤S68)。所谓重合用图像位置的计算是指，例如，在计算出缩小图像的中心位置(坐标)，并且已经存在基准图像(或合成图像)的时候，使当前帧的缩小图像和基准图像(或合成图像)以部分重叠的方式对位，计算出当前帧的缩小图像在画布内的位置等。接着，基于上述缩小图像的中心位置，以及在画布内的位置，判断缩小图像的中心位置是否在处理区域(画布内)中(步 骤S70)，在缩小图像的中心位置不在处理区域内的时候，返回步骤S66，对下一帧的摄像图像进行上述处理。此时，不进行图像合成。另一方面，在缩小图像的中心位置位于处理区域内的情况下，将读取的摄像图像 (高清晰度)作为有效图像保存(步骤S72)，将缩小图像写在作为未取得部分的空白部分上(步骤S74)。即，在缩小图像的中心位置位于处理区域内的情况下，将当前帧的缩小图像和基准图像(或合成图像)以部分重叠的方式对位并合成，写在画布上(在最初第1幅摄像图像的情况下，作为基准图像写在画布的中央部分)。接着，以当前帧的缩小图像为中心，按照图像显示部15的显示尺寸剪切合成图像 (步骤S76)，将该剪切的合成图像显示在图像显示部15中(步骤S78)。接着，判断必需的图像是否全部取得(例如，是否取得规定的时间、或规定的摄像幅数量的图像)(步骤S80)。而后，在没有取得全部必需的图像的情况下，回到步骤S66，对下一摄像图像反复同样的处理。其结果为，每次进行拍摄时，如果摄像图像的中心位置位于处理区域内，则在基准图像(或合成图像)依次合成。而后，从依次合成的合成图像中，以当前帧的缩小图像为中心，按照图像显示部15的显示尺寸剪切合成图像，将该剪切的合成图像显示在图像显示部15上。而后，如果取得全部必需的图像，则将作为合成用的缩小图像的原图像而保存的有效图像，与使用缩小图像进行的合成同样，以部分重复的方式对位并合成，最终，生成如图2所示的广角图像(步骤S82)。图11是示出本第3实施方式的数字照相机的动作以及图像显示部的显示例的示意图。首先，在取得了作为第1幅摄像图像的基准图像30之后，取得第2幅摄像图像(缩小图像)31。如果第2幅缩小图像31的中心位置为图像取得位置，则该第2缩小图像31与第1幅基准图像30部分重合地合成。其次，以当前帧的缩小图像31为中心，按照图像显示部15的显示尺寸，剪切合成图像32，将该剪切的合成图像32a显示在图像显示部15上。根据上述的第3实施方式，在每次依次合成摄像图像时，按照当前帧的缩小图像位于图像显示部15的中央的方式，显示在图像显示部15上。即，一边看图像显示部15 — 边进行拍摄的使用者，可实时看到以数字照相机朝向的方向为中心的图像。由此，在填补还没有被拍摄的空白部分时，可直观并容易地知道，接着使数字照相机朝向哪个方向更好。其结果，可容易且高效地得到广角图像。此外，在上述一系列的处理中，由于基准图像在图像显示部15的画面上移动，所以为了使使用者清楚合成图像的哪个部分为基准图像，最好用规定颜色的框围住。D.第4实施方式接着，对本发明的第4实施方式进行说明。在本第4实施方式中，其特征在于，在连拍中，向使用者明示还没有摄像的方向或已经摄像的方向的同时，提示指引(guidance)，来教导使用者如何移动数字照相机才好，或者使数字照相机朝向哪个方向才好。此外，数字照相机1的结构由于与图1相同，故省略说明。图12是用于说明本第4实施方式的数字照相机的动作的流程图。图13A E是示出本第4实施方式的数字照相机的动作以及图像显示部的显示例的示意图。首先，CPUll判断快门SW是否被半按(步骤S90)，在快门SW没有被半按的时候， 反复执行步骤S90。另一方面，如果半按快门SW，执行AF (Autofocus)处理(步骤S92)，判断快门SW是否被全按(步骤S94)。在快门SW没有被全按的时候，反复执行步骤S90、S92。另一方面，如果全按快门SW，则例如如图13A所示，在图像显示部15的右下显示螺旋状的指引70 (步骤S96)。接着，读取摄像图像，执行缩小(pixel skipping)处理，生成缩小图像(步骤S98)。接着，使用缩小图像，计算重合用图像位置(步骤S100)。所谓重合用图像位置的计算是指，例如，在计算出缩小图像的中心位置(坐标)，已经存在基准图像(或合成图像)的时候，使当前帧的缩小图像和基准图像(或合成图像)以部分重叠的方式对位，计算出当前帧的缩小图像在画布内的位置等。接着，基于上述缩小图像的中心位置，以及画布内的位置，判断该缩小图像的中心位置是否在处理区域(画布内)中(步骤S102)，在缩小图像的中心位置不在处理区域内的时候，返回步骤S96，对下一帧的摄像图像进行上述处理。此时，不进行图像合成。另一方面，在缩小图像的中心位置位于处理区域内的情况下，将读取的摄像图像 (高清晰度)作为有效图像保存(步骤S104)，将缩小图像写在作为未取得部分的空白部分上(步骤S106)。即，在缩小图像的中心位置位于处理区域内的情况下，将当前帧的缩小图像和基准图像(或合成图像)以部分重叠的方式对位并合成，写在画布40上(在最初第1 幅摄像图像的情况下，作为基准图像写在画布40的中央部分)。接着，将合成图像显示在图像显示部15上(步骤S108)。接着，为了示出已经取得当前帧的缩小图像被合成的部分，改变与该合成的部分相应的指引70的一部分的颜色(图示的例子中使用不同种类的线表示)，更新显示在图像显示部15上的指引70(步骤S110)。例如，在图13B中示出在第1幅基准图像30的摄像后的图像显示部15的显示例。此时，在指引70中，自螺旋状的中心，相当于第1幅基准图像的位置的地方的颜色变化(图示的例子中，指引70的线种类变化)。使用者看到该指引 70，只要沿螺旋移动数字照相机1即可。而后，在第2幅缩小图像的合成后，如图13C所示，在指引70中，自螺旋状的中心， 至相当于第2幅基准图像的位置的地方的颜色(图示的例子中，指引70的线种类)变化。 使用者看到该指引70，只要进一步地沿螺旋移动数字照相机1即可。接着，判断必需的图像是否全部取得(例如，是否取得规定的时间、或规定的摄像幅数量的图像)(步骤S112)。而后，在没有取得全部必需的图像的情况下，回到步骤S96， 对下一帧的摄像图像反复同样的处理。其结果为，在每次依次合成缩小图像时，与该合成的缩小图像的位置相应的指引70的一部分的颜色变化。即，在每次依次合成缩小图像时，成为图13D的状态，最终，如图13E所示，指引70的整体变化，显示取得了画面整体的合成图像。而后，如果取得全部必需的图像，则将作为合成用的缩小图像的原图像而保存的有效图像，与使用缩小图像进行的合成同样，以部分重复的方式合成，最终，生成如图2所示的广角图像(步骤S114)。
图14A C是示出本第4实施方式的变形例的示意图。在上述本第4实施方式中， 将指引70设为螺旋状，显示在图像显示部15的右角，但是，并不限于此，例如，如图14A所示，也可以将指引71与合成图像重叠而显示在显示在15的画面整体上，或如图14B所示， 也可以将指引72设为从画面的左上开始蛇行的Z字状。图14B的情况下，第1幅基准图像为指引72的起点、即左上角。此外，也可以如图14C所示，将圆形的指引73设置在应摄像的位置上，若摄像，则改变颜色，由此可以知道是进行了拍摄还是没有进行拍摄。即，指引70 只要具有与相对基准图像生成多少倍的视角(面积)的合成图像相应的形状就可以。根据上述的第4实施方式，在连拍中，由于向使用者明示还没有拍摄的方向或已经拍摄的方向的同时，提示用于教导使用者如何移动数字照相机才好，或者使数字照相机朝向哪个方向才好的指引，所以一边看图像显示部15 —边进行摄像的使用者，可直观并容易地知道，接着如何移动数字照相机才好，或使数字照相机朝向哪个方向更好。其结果，可容易且高效地得到广角图像。此外，上述第1实施方式至第4实施方式可分别组合，例如，可在第2实施方式的超出区域标记或超速标记的显示处理中，加上第3实施方式的剪切处理，或/和第4实施方式的指引显示。此外，例如，也可以在上述第1实施方式至第4实施方式中，进一步包括检测数字照相机的移动的加速度传感器，在通过连拍依次得到的摄像图像的重合的时候，考虑通过该加速度传感器检测出的移动，计算重合用的图像位置。此外，在上述第1实施方式至第4实施方式中，作为摄像装置针对数字照相机进行说明，但不限于此，只要为具有摄像功能的电子机器，例如也可以适用于移动电话等。此外， 也可以为通过由CPUll执行记录在程序存储器(未图示)中的规定的程序而实现的结构。
权利要求
1.一种摄像装置，包括显示部；以第1视角进行拍摄的摄像部；通过上述摄像部进行多次拍摄的摄像控制部；生成部，其通过将由上述摄像控制部的多次拍摄而得到的多幅图像合成，从而生成合成图像，该合成图像再现了以比上述第1视角更广的第2视角拍摄的图像；和将通过上述生成部生成的合成图像显示在上述显示部上的显示控制部。
2.根据权利要求1所述的摄像装置，其特征在于，进一步包括在上述摄像控制部的多次拍摄中的拍摄动作期间，判断拍摄的图像的拍摄方向是否较大变化的第1判断部；和在通过上述第1判断部判断为上述拍摄方向较大变化的情况下，通知该情况的第1通知部。
3.根据权利要求2所述的摄像装置，其特征在于，在通过上述第1判断部判断为上述拍摄方向较大变化的情况下，上述第1通知部将该情况显示在上述显示部上。
4.根据权利要求2所述的摄像装置，其特征在于，上述第1判断部基于通过上述摄像控制部的多次拍摄依次拍摄的图像的中心坐标的变化，判断上述拍摄方向是否较大变化。
5.根据权利要求2所述的摄像装置，其特征在于，上述第1判断部基于与上一拍摄的图像相同的区域是否在规定的面积以下，来判断通过上述摄像控制部的多次拍摄而依次拍摄的图像间，上述拍摄方向是否较大变化。
6.根据权利要求1所述的摄像装置，其特征在于，进一步包括判断上述摄像控制部的多次拍摄的拍摄动作期间，拍摄的图像的拍摄方向是否是上述生成部的图像合成的处理区域之外的第2判断部；和在通过上述第2判断部判断为是处理区域之外的情况下，通知该情况的第2通知部。
7.根据权利要求6所述的摄像装置，其特征在于，在通过上述第2判断部判断为是处理区域之外的情况下，上述第2通知部将该情况显示在上述显示部上。
8.根据权利要求6所述的摄像装置，其特征在于，上述第2判断部基于是否存在与上一拍摄的图像相同的区域，来判断通过上述摄像控制部的多次拍摄而依次拍摄的图像间，图像的拍摄方向是否是上述处理区域之外。
9.根据权利要求1所述的摄像装置，其特征在于，上述生成部通过将由上述摄像控制部的多次拍摄而依次拍摄的多幅图像依次合成，来生成比上述第1视角更广的第2视角的合成图像；上述显示控制部将通过上述生成部依次合成的上述第2视角的合成图像显示在上述显示部上。
10.根据权利要求1所述的摄像装置，其特征在于，进一步包括剪切部，该剪切部从通过上述生成部生成的合成图像，剪切以之前刚刚合成的图像为中心的规定区域，上述显示控制部，将通过上述剪切部剪切的以上述之前刚刚合成的图像为中心的规定区域的图像，显示在上述显示部的画面整体上。
11.根据权利要求1所述的摄像装置，其特征在于，上述显示控制部，进一步将表示应由上述摄像部拍摄的方向的方向信息，显示在上述显示部上。
12.根据权利要求11所述的摄像装置，其特征在于，上述显示控制部将位置信息显示在上述显示部上，以便通过上述生成部生成第2视角的合成图像，该位置信息表示已拍摄的图像的位置和还未拍摄的图像的位置。
13.根据权利要求1所述的摄像装置，其特征在于， 上述摄像控制部，按照以规定的周期连续进行多次拍摄的方式，控制上述摄像部。
全文摘要
一种摄像装置，包括显示部；以第1视角进行拍摄的摄像部；通过上述摄像部进行多次拍摄的摄像控制部；生成部，其通过将由上述摄像控制部的多次拍摄而得到的多幅图像合成，从而生成合成图像，该合成图像再现了以比上述第1视角更广的第2视角拍摄的图像；和将通过上述生成部生成的合成图像显示在上述显示部上的显示控制部。
文档编号G09G3/36GK102202180SQ20111012623
公开日2011年9月28日 申请日期2011年3月18日 优先权日2010年3月19日
发明者宫本直知, 松本康佑 申请人:卡西欧计算机株式会社
摄像装置
技术 领域 本发明涉及一种摄像装置。
背景技术：
在具有数字照相和摄像功能的移动电话等中，摄像视角的界限依赖于透镜(lens) 的焦距、摄像元件的尺寸等装置主体具有的硬件规格。并且，对于这样的摄像视角的界限的问题，在摄像装置中，存在在已有的透镜前安装广角摄像用的转换透镜(conversion lens)等技术(例如，JP特開2004-191897号公报、 JP特開2005-027142号公报、JP特開2005-057548号公报)。此外，还存在预先具有多个透镜、根据摄像目的切换透镜的技术(例如，JP特開2007-081473号公报)。但是，在上述以往的技术中，为了进行广角摄像，必须一个一个安装广角摄像用的转换透镜、或根据摄像目的切换透镜，存在操作性和成本方面的问题。此外，即使使用了这些广角摄像用的转换透镜、或可切换的透镜，但仍然存在难以得到摄影者希望的广角图像的问题。
发明内容
由此，本发明的目的在于提供一种可容易地得到广角图像的摄像装置。根据本发明的一实施方式的摄像装置，包括显示部；以第1视角进行拍摄的摄像部；通过上述摄像部进行多次拍摄的摄像控制部；生成部，其通过将由上述摄像控制部的多次拍摄而得到的多幅图像合成，从而生成合成图像，该合成图像再现了以比上述第1视角更广的第2视角拍摄的图像；和将通过上述生成部生成的合成图像显示在上述显示部上的显示控制部。
图1是示出本发明的第1实施方式的数字照相机的结构的框图；图2是用于说明本第1实施方式的数字照相机1的广角摄像模式的概念图；图3是示出在本第1实施方式的数字照相机1中的、透镜的视角和通过广角摄像模式得到的合成图像之间的关系的概念图；图4是用于说明本第1实施方式的数字照相机1的广角摄像模式下的使用者操作的示意图；图5是用于说明本第1实施方式的数字照相机的动作的流程图；图6是用于说明本第1实施方式的数字照相机的广角摄像模式下的图像合成的示意图；图7是用于说明本第2实施方式的数字照相机的动作的流程图；图8是示出本第2实施方式的数字照相机的图像显示部的显示例的示意图；图9是示出本第2实施方式的数字照相机的动作以及图像显示部的显示例的示意图； 图10是用于说明本第3实施方式的数字照相机的动作的流程图；图11是示出本第3实施方式的数字照相机的动作以及图像显示部的显示例的示意图；图12是用于说明本第4实施方式的数字照相机的动作的流程图；图13是示出本第4实施方式的数字照相机的动作以及图像显示部的显示例的示意图；图14是示出本第4实施方式的变形例的示意图。
具体实施例方式以下参照附图，对本发明的实施方式进行说明。但是，发明的范围不限定在图示的例子中。A.第1实施方式A-1.第1实施方式的结构图1是示出本发明的第1实施方式的数字照相机的结构的框图。图中，数字照相机1包括摄像透镜2、透镜驱动部3、光圈兼用快门4、(XD5、TG (Timing Generator,时钟发生器)6、单元电路7、图像处理部8、CPU11、DRAM12、存储器13、闪存14、图像显示部15、按键输入部16、卡I/F17、以及存储卡18。摄像透镜2包含聚焦透镜、变焦透镜(zoom lens)等，与透镜驱动部3连接。透镜驱动部3由沿光轴方向分别驱动构成摄像透镜2的聚焦透镜、变焦透镜的电动机，和根据来自CPUll的控制信号来驱动聚焦电动机、变焦电动机的聚焦电动机驱动器、变焦电动机驱动器构成。光圈4包含未图示的驱动电路，驱动电路根据来自CPUll的控制信号使光圈4动作。该光圈4控制从摄像透镜2进入的光量。CXD (摄像元件)5将经由摄像透镜2、光圈4 而投射的被拍摄体的光转换为电信号，作为摄像信号输出至单元电路7。此外，CCD5根据由 TG6生成的规定频率的定时信号进行驱动。单元电路7由对从CCD5输出的摄像信号进行相关双采样并保持的 CDS (Correlated Double Sampling，相关双采样)电路、进行该采样后的摄像信号的自动增益调整的AGC(Automatic Gain Control,自动增益调整)电路、和将该自动增益调整后的模拟摄像信号转换为数字信号的A/D转换器构成。CCD5的摄像信号经由单元电路7，作为数字信号传送至图像处理部8。此外，单元电路7根据由TG6生成的规定频率的定时信号进行驱动。图像处理部8进行来自单元电路7的图像数据的图像处理(像素插值处理、Y 修正、亮度色差信号的生成、白平衡处理、曝光修正处理等)、图像数据的压缩扩展(例如， JPEG格式、M-JPEG格式或MPEG格式的压缩、扩展)的处理、合成多幅摄像图像的处理等。 此外，图像处理部8根据由TG6生成的规定频率的定时信号进行驱动。CPUll为控制数字照相机1的各部分的单片机。特别是，在本第1实施方式中， CPUll控制各部分，使得以规定周期(时间间隔)对多幅图像进行连拍，按照部分重复的方式(例如，使用α混合)合成拍摄的多幅图像，生成以广角所摄像那样的1幅合成图像。此外，针对图像合成的详细内容如后所述。在通过(XD5进行了拍摄之后，DRAMl2用作暂时存储来自CPUll的图像数据的缓存，同时用作CPUll的工作存储器。存储器13记录CPUll对数字照相机1的各部分的控制所必需的程序、以及各部分控制所必需的数据，CPUll根据该程序进行处理。闪存14、存储卡18为保存通过(XD5拍摄的图像数据等的记录介质。图像显示部15包含彩色IXD及其驱动电路，在摄像待机状态时，将通过(XD5拍摄的被拍摄体作为取景图像(through image)显示，记录图像的再现时，从保存用闪存14、存储卡18中读取，显示扩展后的记录图像。此外，在本第1实施方式中，显示将广角摄像模式下连拍(continuously capture)的多个图像依次合成而得到的合成图像。按键输入部16 包含快门SW、变焦SW、模式键、SET键、十字键等多个操作按键，将与使用者的按键操作对应的操作信号输出至CPU11。卡I/F17中，通过数字照相机1主体的未图示的卡槽可插拔地安装存储卡18。图2是用于说明本第1实施方式的数字照相机1的广角摄像模式的概念图。例如， 在数字照相机1中，假定拍摄如图2所示的景色的情况。在拍摄期望范围内的景色时，与该数字照相机1的摄像系统的视角S相比，需要有更大的视角。但是，在一次拍摄中，无法拍摄全部期望的景色。由此，在本第1实施方式中，在使用者以网罗期望的景色的方式移动数字照相机1 的摄像方向期间，以规定的时间、或者规定的拍摄幅数量的间隔、规定的周期(时间间隔)， 连拍多幅图像。而后通过以部分重复的方式合成拍摄的多幅图像，从而提供能够容易地得到广角图像的广角摄像模式。此外，在以下的说明中，为了明确摄像范围、摄像视角等，将图2的景色以图3所示的方式图解来进行说明。图3中，视角Sl为最终生成的图像的尺寸(视角)，其外侧是即使被拍摄但也不在最终图像中的区域外。在本第1实施方式中，在存储器(DRAM12)上确保图像写入用的排列。为了方便， 在本第1实施方式中将其称为画布(canvas)。该画布示出生成的广角的合成图像再现的摄像范围。即，将拍摄的多幅图像以部分重复的方式对位(positioned)并合成，写在画布上。 而后，通过由合成的图像中抽取图像写入画布上的区域，生成广角图像。在本第1实施方式中，以广角摄像模式下拍摄的最初的摄像图像作为基准图像(相当于图3中的视角S的图像)，以例如分别将该基准图像的纵横扩大为2倍大小的区域作为画布(图3中的摄像区域Si)，而后，将基准图像贴附在画布的中心。此外，画布的大小也可以在纵横方向的2倍以上。此外，作为对位的方法，例如，考虑块匹配等方法。此外，在将图像写在画布上时， 考虑进行投影变换等，使用α混合等方法进行重合的方法。图4是用于说明本第1实施方式的数字照相机1的广角摄像模式下的使用者操作的示意图。使用者对期望的景色，例如，在按下(半按一全按)中央部分的快门SW的状态下，使数字照相机1沿如箭头所示的圆那样移动。但是，对于使用者来说，难以知道怎样使数字照相机1移动才好，或者是否确实得到了必需的图像。由此，在本第1实施方式中，如果使用者按下(半按一全按)快门SW，如上所示，以规定的时间、或者规定的拍摄幅数量的间隔、规定的周期(时间间隔)，连拍多幅图像。而后，每次该连拍的摄像，实时生成缩小图像(低清晰度)，与基准图像(或合成图像)以部分重复的方式合成，将该合成图像显示在图像显示部15中。此时，预先保存用于合成的缩小图像的原图像(高品质图像)。 而后，如果以规定的时间、或者规定的拍摄幅数量的间隔进行的拍摄结束，与使用缩小图像进行的合成相同，使用上述预先保存的原图像(高品质图像)，以部分重复的方式合成。通过这样的系列处理，最终，生成通过一次拍摄无法得到的广角图像。连拍中，由于将图像合成后的缩小图像显示在图像显示部15中，所以使用者可容易地确认数字照相机向什么方向比较好。A-2.第1实施方式的动作以下，针对上述第1实施方式的动作进行说明。图5是用于说明本第1实施方式的数字照相机的动作的流程图。此外，图6A、B是用于说明本第1实施方式的数字照相机的广角摄像模式下的图像合成的示意图。首先，CPUll判断快门SW是否被半按(步骤S10)，在快门SW没有被半按时，反复执行步骤S10。另一发明，如果半按快门SW，则执行AF(自动聚焦)处理(步骤S12)，判断是否全按快门SW(步骤S14)。在没有全按快门SW的时候，反复执行步骤S10、S12。另一方面，如果全按快门SW，则读取摄像图像，执行缩小(pixel skipping)处理， 生成缩小图像(步骤S16)。接着，使用缩小图像，计算重合用图像位置(步骤S18)。所谓重合用图像位置的计算是指，例如，算出缩小图像的中心位置(坐标)，并且在已经有基准图像(或合成图像)的时候，使当前帧的缩小图像和基准图像(或合成图像)以部分重叠的方式对位，计算出当前帧的缩小图像在画布内的位置等。接着，基于上述缩小图像的中心位置，以及画布内的位置，判断该缩小图像的中心位置是否在处理区域(画布内)中(步骤 S20)。而后，在缩小图像的中心位置位于处理区域内的情况下，将读取的摄像图像(高清晰度)作为有效图像保存(步骤S22)，将缩小图像写在作为未取得部分的空白部分 (blank area)上(步骤S24)。即，在当前帧的缩小图像的中心位置位于处理区域内的情况下，将当前帧的缩小图像和基准图像(或合成图像)以部分重叠的方式合成，写在画布40 上(在最初的第1幅摄像图像的情况下，作为基准图像写入画布40的中央部分)。在图6A 所示的例子中，由于当前帧的缩小图像31的中心位置位于处理区域40内，所以将当前帧的缩小图像31和基准图像30以部分重叠的方式合成，写入画布40中。而后，将该合成图像 32显示在图像显示部15中(步骤S26)。接着，判断用于生成广角图像所必需的图像是否被全部取得(例如，是否取得规定的时间、或规定的摄像幅数量的图像)(步骤S28)。而后，在没有取得全部必需的图像的情况下，回到步骤S16，对下一帧的摄像图像反复进行同样的处理。其结果为，每次进行拍摄时，如果摄像图像的中心位置位于处理区域内，则在基准图像(或合成图像)依次合成，每次都将合成图像显示在图像显示部15上。另一方面，在当前帧的缩小图像的中心位置不在处理区域内的情况下，回到步骤 S16，对下一摄像图像反复进行同样的处理。例如，如图6B所示，在当前帧的缩小图像31的中心位置不在处理区域40内的情况下，不进行图像合成。而后，如果取得全部必需的图像，则将作为用于合成的缩小图像的原图像而保存的有效图像，与使用缩小图像进行的合成同样，以部分重复的方式对位合成，最终，生成如图2所示的广角图像(步骤S30)。根据上述的第1实施方式，在连拍中每次拍摄时，将进行了图像合成后的缩小图像实时显示在图像显示部15上。由此，使用者可容易地识别还没有拍摄的方向，或者已经拍摄的方向。其结果，由于使用者知道数字照相机接下来朝向哪个方向较好，故可容易且高效地得到广角图像。B.第2实施方式接着，对本发明的第2实施方式进行说明。本第2实施方式中，其特征在于，在对处理区域外(画布外)进行摄像的时候，或数字照相机的移动(摄像方向的变化)太快的时候等，通过对使用者通知该情况，让其知道以什么样的速度移动数字照相机才好，朝向什么方向才好。此外，数字照相机1的结构省略与图1同样的部分的说明。图7是用于说明本第2实施方式的数字照相机1的动作的流程图。此外，图8和图 9足示出本第2实施方式的数字照相机1的图像显示部15的显示例的示意图。首先，CPUll 判断是否半按快门sw(步骤S30)，在没有半按快门SW的时候，反复执行步骤S30。另一方面，如果半按快门SW，则执行AF(自动聚焦)处理(步骤S32)，判断是否全按了快门SW(步骤S34)。在没有全按快门SW的时候，反复执行步骤S30、S32。另一方面，如果全按快门SW，则读取摄像图像，执行缩小(pixel skipping)处理， 生成缩小图像(步骤S36)。接着，使用缩小图像，计算重合用图像位置(步骤S38)。所谓重合用图像位置的计算是指，例如，算出缩小图像的中心位置(坐标)，并且在已经有基准图像(或合成图像)的时候，使当前帧的缩小图像和基准图像(或合成图像)以部分重叠的方式对位，计算出当前帧的缩小图像在画布内的位置、与之前刚刚拍摄的图像(缩小图像) 的中心位置(坐标)之间的距离等。接着，基于上述缩小图像的中心位置，以及在画布内的位置，判断该缩小图像的中心位置是否在处理区域(画布内)中(步骤S40)。而后，在缩小图像的中心位置不在处理区域内的情况下，将超出区域标记显示在图像显示部15上(步骤S42)。例如，如图8A所示，在当前帧的缩小图像31的中心位于作为处理区域的画布40之外的情况下，如图8B所示，将示出返回处理区域内的方向的箭头50 作为超出区域标记显示在图像显示部15上。由此，由于使用者知道数字照相机1的摄像方向从处理区域偏离，所以通过使数字照相机1沿箭头50的方向移动，可使拍摄的视角回到处理区域内。其后，回到步骤S36，对下一帧摄像图像进行上述处理。即，这种情况下不进行图像合成。另一方面，在缩小图像的中心位置位于处理区域内的情况下，判断上一帧的缩小图像的中心位置和当前帧的缩小图像的中心位置的距离是否比规定的阈值小(步骤S44)。 而后，在上述距离在规定的阈值以上的情况下，将超速标记显示在图像显示部15上(步骤 S46)。其后，回到步骤S36，对下一帧的摄像图像进行上述处理。即，这种情况下不进行图像合成。此外，进一步地，本发明中，虽然通过块匹配等方法实现对位，但如果数字照相机1 的移动速度快，则对位用的2幅图像(上一帧的缩小图像和当前帧的缩小图像)中拍摄同一部分的区域的面积变小，导致对位不正确。为此，必须将数字照相机1的移动速度抑制在某一特定速度之下。因此，要使用者明确知道数字照相机1的移动速度(摄像方向的变化速度)。例如，如图9A所示，在上一帧的缩小图像31a的中心位置和当前帧的缩小图像31b 的中心位置的距离在规定阈值以上的情况下，两缩小图像之间重合的面积变小。由此，对位不正确的可能性较高，所以如图9B所示，将超速标记60显示在图像显示部15上。作为超速标记60，如图9C所示，考虑为对应图像在每个单位时间的移动距离的大小，使仪表的指针的位置、以及仪表的颜色变化的转速表状的标记61，或对应图像在每个单位时间的移动距离的大小，使圆弧状的面积、以及圆弧的颜色变化的标记62等。或者也可以是，对应图像在每个单位时间的移动距离的大小，使长度和颜色变化的柱状图(未图示)°另一方面，在当前帧的缩小图像在处理区域内，并且，移动距离也比规定阈值小的情况下，由于在合成图像方面可进行足够正确的对位，所以将读取的摄像图像(高清晰度)作为有效图像保存(步骤S48)，将缩小图像写在作为未取得部分的空白部分上(步骤 S50)。即，在当前帧的缩小图像的中心位置位于处理区域内的情况下，将当前帧的缩小图像和基准图像(或合成图像)以部分重叠的方式合成，写在画布40上(在为最初第1幅摄像图像的情况下，作为基准图像写在画布40的中央部分)。而后，将该合成图像显示在图像显示部15中(步骤S52)。接着，判断所必需的图像是否全部取得(例如，是否取得规定的时间、或规定的摄像幅数量的图像)(步骤S54)。而后，在没有取得全部必需的图像的情况下，回到步骤S36， 对下一帧的摄像图像反复进行同样的处理。其结果为，每次进行拍摄时，如果摄像图像的中心位置位于处理区域内，则在基准图像(或合成图像)依次合成，每次都将合成图像显示在图像显示部15上。而后，如果取得全部必需的图像，则将作为合成用的缩小图像的原图像而保存的有效图像，与使用缩小图像进行的合成同样，以部分重复的方式对位并合成，最终，生成如图2所示的广角图像(步骤S56)。根据上述的第2实施方式，在对处理区域外进行拍摄的时候，或数字照相机1的移动(摄像方向的变化)太快的时候等，对使用者通知该情况。由此，由于使用者知道以什么样的速度移动数字照相机1才好，将数字照相机朝向什么方向才好，因此可容易且高效地得到广角图像。C.第3实施方式接着，对本发明的第3实施方式进行说明。在本第3实施方式中，其特征在于，不单单对连拍的摄像图像(的缩小图像)进行合成显示，而是按照当前帧的缩小图像位于图像显示部15的中心的方式，从合成图像剪切规定的范围，并显示在图像显示部15上。此外，数字照相机1的结构由于与图1相同，故省略说明。图10是用于说明本第3实施方式的数字照相机的动作的流程图。首先，CPUll判断快门SW是否被半按(步骤S60)，在快门SW没有被半按的时候，反复执行步骤S60。另一方面，如果半按快门SW J^ASAF(Autofocus)处理(步骤S62)，判断快门SW是否被全按 (步骤S64)。在快门SW没有被全按的时候，反复执行步骤S60、S62。
另一方面，如果全按快门SW，则读取摄像图像，执行缩小(pixel skipping)处理， 生成缩小图像(步骤S66)。接着，使用缩小图像，计算重合用图像位置(步骤S68)。所谓重合用图像位置的计算是指，例如，在计算出缩小图像的中心位置(坐标)，并且已经存在基准图像(或合成图像)的时候，使当前帧的缩小图像和基准图像(或合成图像)以部分重叠的方式对位，计算出当前帧的缩小图像在画布内的位置等。接着，基于上述缩小图像的中心位置，以及在画布内的位置，判断缩小图像的中心位置是否在处理区域(画布内)中(步 骤S70)，在缩小图像的中心位置不在处理区域内的时候，返回步骤S66，对下一帧的摄像图像进行上述处理。此时，不进行图像合成。另一方面，在缩小图像的中心位置位于处理区域内的情况下，将读取的摄像图像 (高清晰度)作为有效图像保存(步骤S72)，将缩小图像写在作为未取得部分的空白部分上(步骤S74)。即，在缩小图像的中心位置位于处理区域内的情况下，将当前帧的缩小图像和基准图像(或合成图像)以部分重叠的方式对位并合成，写在画布上(在最初第1幅摄像图像的情况下，作为基准图像写在画布的中央部分)。接着，以当前帧的缩小图像为中心，按照图像显示部15的显示尺寸剪切合成图像 (步骤S76)，将该剪切的合成图像显示在图像显示部15中(步骤S78)。接着，判断必需的图像是否全部取得(例如，是否取得规定的时间、或规定的摄像幅数量的图像)(步骤S80)。而后，在没有取得全部必需的图像的情况下，回到步骤S66，对下一摄像图像反复同样的处理。其结果为，每次进行拍摄时，如果摄像图像的中心位置位于处理区域内，则在基准图像(或合成图像)依次合成。而后，从依次合成的合成图像中，以当前帧的缩小图像为中心，按照图像显示部15的显示尺寸剪切合成图像，将该剪切的合成图像显示在图像显示部15上。而后，如果取得全部必需的图像，则将作为合成用的缩小图像的原图像而保存的有效图像，与使用缩小图像进行的合成同样，以部分重复的方式对位并合成，最终，生成如图2所示的广角图像(步骤S82)。图11是示出本第3实施方式的数字照相机的动作以及图像显示部的显示例的示意图。首先，在取得了作为第1幅摄像图像的基准图像30之后，取得第2幅摄像图像(缩小图像)31。如果第2幅缩小图像31的中心位置为图像取得位置，则该第2缩小图像31与第1幅基准图像30部分重合地合成。其次，以当前帧的缩小图像31为中心，按照图像显示部15的显示尺寸，剪切合成图像32，将该剪切的合成图像32a显示在图像显示部15上。根据上述的第3实施方式，在每次依次合成摄像图像时，按照当前帧的缩小图像位于图像显示部15的中央的方式，显示在图像显示部15上。即，一边看图像显示部15 — 边进行拍摄的使用者，可实时看到以数字照相机朝向的方向为中心的图像。由此，在填补还没有被拍摄的空白部分时，可直观并容易地知道，接着使数字照相机朝向哪个方向更好。其结果，可容易且高效地得到广角图像。此外，在上述一系列的处理中，由于基准图像在图像显示部15的画面上移动，所以为了使使用者清楚合成图像的哪个部分为基准图像，最好用规定颜色的框围住。D.第4实施方式接着，对本发明的第4实施方式进行说明。在本第4实施方式中，其特征在于，在连拍中，向使用者明示还没有摄像的方向或已经摄像的方向的同时，提示指引(guidance)，来教导使用者如何移动数字照相机才好，或者使数字照相机朝向哪个方向才好。此外，数字照相机1的结构由于与图1相同，故省略说明。图12是用于说明本第4实施方式的数字照相机的动作的流程图。图13A E是示出本第4实施方式的数字照相机的动作以及图像显示部的显示例的示意图。首先，CPUll判断快门SW是否被半按(步骤S90)，在快门SW没有被半按的时候， 反复执行步骤S90。另一方面，如果半按快门SW，执行AF (Autofocus)处理(步骤S92)，判断快门SW是否被全按(步骤S94)。在快门SW没有被全按的时候，反复执行步骤S90、S92。另一方面，如果全按快门SW，则例如如图13A所示，在图像显示部15的右下显示螺旋状的指引70 (步骤S96)。接着，读取摄像图像，执行缩小(pixel skipping)处理，生成缩小图像(步骤S98)。接着，使用缩小图像，计算重合用图像位置(步骤S100)。所谓重合用图像位置的计算是指，例如，在计算出缩小图像的中心位置(坐标)，已经存在基准图像(或合成图像)的时候，使当前帧的缩小图像和基准图像(或合成图像)以部分重叠的方式对位，计算出当前帧的缩小图像在画布内的位置等。接着，基于上述缩小图像的中心位置，以及画布内的位置，判断该缩小图像的中心位置是否在处理区域(画布内)中(步骤S102)，在缩小图像的中心位置不在处理区域内的时候，返回步骤S96，对下一帧的摄像图像进行上述处理。此时，不进行图像合成。另一方面，在缩小图像的中心位置位于处理区域内的情况下，将读取的摄像图像 (高清晰度)作为有效图像保存(步骤S104)，将缩小图像写在作为未取得部分的空白部分上(步骤S106)。即，在缩小图像的中心位置位于处理区域内的情况下，将当前帧的缩小图像和基准图像(或合成图像)以部分重叠的方式对位并合成，写在画布40上(在最初第1 幅摄像图像的情况下，作为基准图像写在画布40的中央部分)。接着，将合成图像显示在图像显示部15上(步骤S108)。接着，为了示出已经取得当前帧的缩小图像被合成的部分，改变与该合成的部分相应的指引70的一部分的颜色(图示的例子中使用不同种类的线表示)，更新显示在图像显示部15上的指引70(步骤S110)。例如，在图13B中示出在第1幅基准图像30的摄像后的图像显示部15的显示例。此时，在指引70中，自螺旋状的中心，相当于第1幅基准图像的位置的地方的颜色变化(图示的例子中，指引70的线种类变化)。使用者看到该指引 70，只要沿螺旋移动数字照相机1即可。而后，在第2幅缩小图像的合成后，如图13C所示，在指引70中，自螺旋状的中心， 至相当于第2幅基准图像的位置的地方的颜色(图示的例子中，指引70的线种类)变化。 使用者看到该指引70，只要进一步地沿螺旋移动数字照相机1即可。接着，判断必需的图像是否全部取得(例如，是否取得规定的时间、或规定的摄像幅数量的图像)(步骤S112)。而后，在没有取得全部必需的图像的情况下，回到步骤S96， 对下一帧的摄像图像反复同样的处理。其结果为，在每次依次合成缩小图像时，与该合成的缩小图像的位置相应的指引70的一部分的颜色变化。即，在每次依次合成缩小图像时，成为图13D的状态，最终，如图13E所示，指引70的整体变化，显示取得了画面整体的合成图像。而后，如果取得全部必需的图像，则将作为合成用的缩小图像的原图像而保存的有效图像，与使用缩小图像进行的合成同样，以部分重复的方式合成，最终，生成如图2所示的广角图像(步骤S114)。
图14A C是示出本第4实施方式的变形例的示意图。在上述本第4实施方式中， 将指引70设为螺旋状，显示在图像显示部15的右角，但是，并不限于此，例如，如图14A所示，也可以将指引71与合成图像重叠而显示在显示在15的画面整体上，或如图14B所示， 也可以将指引72设为从画面的左上开始蛇行的Z字状。图14B的情况下，第1幅基准图像为指引72的起点、即左上角。此外，也可以如图14C所示，将圆形的指引73设置在应摄像的位置上，若摄像，则改变颜色，由此可以知道是进行了拍摄还是没有进行拍摄。即，指引70 只要具有与相对基准图像生成多少倍的视角(面积)的合成图像相应的形状就可以。根据上述的第4实施方式，在连拍中，由于向使用者明示还没有拍摄的方向或已经拍摄的方向的同时，提示用于教导使用者如何移动数字照相机才好，或者使数字照相机朝向哪个方向才好的指引，所以一边看图像显示部15 —边进行摄像的使用者，可直观并容易地知道，接着如何移动数字照相机才好，或使数字照相机朝向哪个方向更好。其结果，可容易且高效地得到广角图像。此外，上述第1实施方式至第4实施方式可分别组合，例如，可在第2实施方式的超出区域标记或超速标记的显示处理中，加上第3实施方式的剪切处理，或/和第4实施方式的指引显示。此外，例如，也可以在上述第1实施方式至第4实施方式中，进一步包括检测数字照相机的移动的加速度传感器，在通过连拍依次得到的摄像图像的重合的时候，考虑通过该加速度传感器检测出的移动，计算重合用的图像位置。此外，在上述第1实施方式至第4实施方式中，作为摄像装置针对数字照相机进行说明，但不限于此，只要为具有摄像功能的电子机器，例如也可以适用于移动电话等。此外， 也可以为通过由CPUll执行记录在程序存储器(未图示)中的规定的程序而实现的结构。
权利要求
1.一种摄像装置，包括显示部；以第1视角进行拍摄的摄像部；通过上述摄像部进行多次拍摄的摄像控制部；生成部，其通过将由上述摄像控制部的多次拍摄而得到的多幅图像合成，从而生成合成图像，该合成图像再现了以比上述第1视角更广的第2视角拍摄的图像；和将通过上述生成部生成的合成图像显示在上述显示部上的显示控制部。
2.根据权利要求1所述的摄像装置，其特征在于，进一步包括在上述摄像控制部的多次拍摄中的拍摄动作期间，判断拍摄的图像的拍摄方向是否较大变化的第1判断部；和在通过上述第1判断部判断为上述拍摄方向较大变化的情况下，通知该情况的第1通知部。
3.根据权利要求2所述的摄像装置，其特征在于，在通过上述第1判断部判断为上述拍摄方向较大变化的情况下，上述第1通知部将该情况显示在上述显示部上。
4.根据权利要求2所述的摄像装置，其特征在于，上述第1判断部基于通过上述摄像控制部的多次拍摄依次拍摄的图像的中心坐标的变化，判断上述拍摄方向是否较大变化。
5.根据权利要求2所述的摄像装置，其特征在于，上述第1判断部基于与上一拍摄的图像相同的区域是否在规定的面积以下，来判断通过上述摄像控制部的多次拍摄而依次拍摄的图像间，上述拍摄方向是否较大变化。
6.根据权利要求1所述的摄像装置，其特征在于，进一步包括判断上述摄像控制部的多次拍摄的拍摄动作期间，拍摄的图像的拍摄方向是否是上述生成部的图像合成的处理区域之外的第2判断部；和在通过上述第2判断部判断为是处理区域之外的情况下，通知该情况的第2通知部。
7.根据权利要求6所述的摄像装置，其特征在于，在通过上述第2判断部判断为是处理区域之外的情况下，上述第2通知部将该情况显示在上述显示部上。
8.根据权利要求6所述的摄像装置，其特征在于，上述第2判断部基于是否存在与上一拍摄的图像相同的区域，来判断通过上述摄像控制部的多次拍摄而依次拍摄的图像间，图像的拍摄方向是否是上述处理区域之外。
9.根据权利要求1所述的摄像装置，其特征在于，上述生成部通过将由上述摄像控制部的多次拍摄而依次拍摄的多幅图像依次合成，来生成比上述第1视角更广的第2视角的合成图像；上述显示控制部将通过上述生成部依次合成的上述第2视角的合成图像显示在上述显示部上。
10.根据权利要求1所述的摄像装置，其特征在于，进一步包括剪切部，该剪切部从通过上述生成部生成的合成图像，剪切以之前刚刚合成的图像为中心的规定区域，上述显示控制部，将通过上述剪切部剪切的以上述之前刚刚合成的图像为中心的规定区域的图像，显示在上述显示部的画面整体上。
11.根据权利要求1所述的摄像装置，其特征在于，上述显示控制部，进一步将表示应由上述摄像部拍摄的方向的方向信息，显示在上述显示部上。
12.根据权利要求11所述的摄像装置，其特征在于，上述显示控制部将位置信息显示在上述显示部上，以便通过上述生成部生成第2视角的合成图像，该位置信息表示已拍摄的图像的位置和还未拍摄的图像的位置。
13.根据权利要求1所述的摄像装置，其特征在于， 上述摄像控制部，按照以规定的周期连续进行多次拍摄的方式，控制上述摄像部。
全文摘要
一种摄像装置，包括显示部；以第1视角进行拍摄的摄像部；通过上述摄像部进行多次拍摄的摄像控制部；生成部，其通过将由上述摄像控制部的多次拍摄而得到的多幅图像合成，从而生成合成图像，该合成图像再现了以比上述第1视角更广的第2视角拍摄的图像；和将通过上述生成部生成的合成图像显示在上述显示部上的显示控制部。
文档编号G09G3/36GK102202180SQ20111012623
公开日2011年9月28日 申请日期2011年3月18日 优先权日2010年3月19日
发明者宫本直知, 松本康佑 申请人:卡西欧计算机株式会社
最新回复(0)