摄像装置和摄像方法

摄像装置和摄像方法
【技术领域】
[0001]本发明涉及能够对多个图像数据进行合成并生成合成图像的摄像装置和摄像方法。
【背景技术】
[0002]在数字照相机等摄像装置中，市售有搭载了如下功能的摄像装置:通过拍摄多个图像并对该多个图像进行合成，实现一张图像中无法表现的画质。
[0003]作为对多个图像进行合成的技术，例如提出了如下技术(参照日本公开专利2008-271240号公报(专利文献I)):移动焦点位置并拍摄多个图像，使用通过该拍摄而取得的多个图像数据，进行被摄体的位置对齐，对图像进行合成，由此生成全焦点图像或控制了模糊的图像。
[0004]这样，提出了对多个图像数据进行合成并生成合成图像数据的各种技术，但是，在对图像进行合成时，一般情况下，图像张数越多，得到越好的结果。因此，从画质的观点来看，可以说优选尽可能增多拍摄张数。

【发明内容】

[0005]本发明是鉴于这种情况而完成的，其目的在于，提供能够确保尽可能多的拍摄张数、能够生成画质足够好的合成图像的摄像装置和摄像方法。
[0006]本发明的摄像装置具有:摄像电路，其对被摄体进行摄像而取得图像数据；图像合成电路，其根据上述图像数据对合成用图像数据进行合成；图像合成估计电路，其估计上述图像合成电路中是否包含存在合成可能性的被摄体；以及拍摄指示电路，其指示上述摄像电路进行拍摄，其中，上述拍摄指示电路根据上述图像合成估计电路的估计结果，指示上述摄像电路进行多次拍摄。
[0007]本发明的摄像方法具有以下步骤:摄像步骤，在摄像电路中对被摄体进行摄像而取得图像数据；图像合成步骤，对上述摄像步骤中取得的多个图像数据进行合成；图像合成估计步骤，估计在上述图像合成步骤中是否包含存在合成可能性的被摄体；以及拍摄指示步骤，指示上述摄像电路进行拍摄，其中，在上述拍摄指示步骤中，根据上述图像合成估计步骤中的估计结果，指示在上述摄像步骤中进行多次拍摄。
[0008]能够提供能够确保尽可能多的拍摄张数、能够生成画质足够好的合成图像的摄像装置和摄像方法。
【附图说明】
[0009]图1是示出本发明的一个实施方式的照相机的主要电气结构的框图。
[0010]图2是示出本发明的一个实施方式的照相机的主动作的流程图。
[0011]图3是示出本发明的一个实施方式的照相机的主动作的流程图。
[0012]图4是示出本发明的一个实施方式的照相机的拍摄/图像处理的动作的流程图。
[0013]图5是示出本发明的一个实施方式的照相机的图像合成估计的动作的流程图。
[0014]图6A和图6B是说明在本发明的一个实施方式的照相机中根据对比度进行的图像合成估计的图。
[0015]图7A?图7C是说明在本发明的一个实施方式的照相机中根据被摄体的运动进行的图像合成估计的图。
【具体实施方式】
[0016]下面，作为本发明的实施方式，对应用于数字照相机的例子进行说明。该数字照相机具有摄像电路，通过该摄像电路将被摄体像转换为图像数据，根据该转换后的图像数据，在配置于主体的背面的显示器中实时取景显示被摄体像。拍摄者通过观察实时取景显示，决定构图和快门机会。在释放操作时，图像数据记录在记录介质中。当选择再现模式时，能够在显示器中再现显示记录介质中记录的图像数据。
[0017]并且，在一个实施方式的照相机中，在拍摄前使拍摄镜头移动并取得(扫描)图像数据，在不存在从图像数据中提取出的对比度较高的部分的情况下不进行拍摄。并且，根据进行扫描并取得的图像数据预想被摄体的运动，在被摄体正在运动的情况下，在运动着的被摄体的对比度较高的帧的前后不进行拍摄。使用根据上述拍摄判断进行的拍摄所取得的多个图像数据来进行图像合成。
[0018]图1是示出本发明的一个实施方式的照相机的主要电气结构的框图。该照相机由照相机主体100和能够相对于该照相机主体100进行拆装的更换式镜头200构成。另外，在本实施方式中，设拍摄镜头为更换镜头式，但是不限于此，当然也可以是在照相机主体上固定有拍摄镜头的类型的数字照相机。
[0019]更换式镜头200由拍摄镜头201、光圈203、驱动器205、微计算机207、闪存209构成，在与后述照相机主体100之间具有接口(以后称为I/F) 199。
[0020]拍摄镜头201由用于形成被摄体像的多个光学镜头(包含焦点调节用的对焦镜头)构成，是单焦点镜头或变焦镜头。在该拍摄镜头201的光轴的后方配置有光圈203，光圈203的数值孔径可变，限制穿过拍摄镜头201后的被摄体光束的光量。并且，拍摄镜头201能够通过驱动器205而在光轴方向上移动，通过根据来自微计算机207的控制信号使拍摄镜头201内的对焦镜头移动，对焦点位置进行控制，在变焦镜头的情况下，还对焦点距离进行控制。并且，驱动器205还进行光圈203的数值孔径的控制。
[0021]与驱动器205连接的微计算机207与I/F199和闪存209连接。微计算机207按照闪存209中存储的程序进行动作，与后述照相机主体100内的微计算机121进行通信，根据来自微计算机121的控制信号进行更换式镜头200的控制。
[0022]在闪存209中，除了所述程序以外，还存储有更换式镜头200的光学特性和调整值等各种信息。I/F199是用于进行更换式镜头200内的微计算机207和照相机主体100内的微计算机121的相互间的通信的接口。
[0023]在照相机主体100内，在拍摄镜头201的光轴上配置有机械快门101。该机械快门101对被摄体光束的穿过时间进行控制，采用公知的焦面式快门等。在该机械快门101的后方，在由拍摄镜头201形成被摄体像的位置配置有摄像元件103。
[0024]摄像元件103是对被摄体像进行摄像并取得图像数据的摄像电路的一部分。在摄像元件103中以二维方式呈矩阵状配置有构成各像素的光电二极管，各光电二极管产生与受光量对应的光电转换电流，该光电转换电流通过与各光电二极管连接的电容器进行电荷蓄积。在各像素的前面配置有拜尔排列的RGB滤镜。并且，摄像元件103具有电子快门。电子快门通过对从摄像元件103的电荷蓄积到电荷读出的时间进行控制，从而进行曝光时间的控制。另外，摄像元件103不限于拜尔排列，例如当然也可以是Foveon(注册商标)这样的层叠形式。
[0025]摄像元件103与模拟处理电路105连接，该模拟处理电路105在针对从摄像元件103中读出的光电转换信号(模拟图像信号)降低复位噪声等之后进行波形整形，进而进行增益放大以成为适当亮度。模拟处理电路105是对被摄体进行摄像并取得图像数据的摄像电路的一部分。
[0026]模拟处理电路105与A/D转换器107连接，该A/D转换器107对模拟图像信号进行模拟数字转换，将数字图像信号(以后称为图像数据)输出到总线110。另外，在本说明书中，将在图像处理电路109中进行图像处理之前的原始图像数据称为RAW数据。
[0027]总线110是用于将在照相机主体100的内部读出或生成的各种数据转送到照相机主体100的内部的转送路径。在总线110上，除了所述A/D转换器107以外，还连接有图像处理电路109、AE (Auto Exposure:自动曝光)处理电路111、AF (Auto Focus:自动对焦)处理电路113、图像合成估计电路115、拍摄指示电路117、微计算机121、SDRAM 127、存储器接口(以后称为存储器I/F) 129、显示驱动器133。
[0028]图像处理电路109具有进行通常图像处理的基本图像处理电路109a、以及进行图像合成的图像合成电路10%。在对多个图像进行合成的情况下，使用基本图像处理电路109a和图像合成电路109b。图像处理电路109具有用于执行后述各图像处理的ASIC (Applicat1n Specific Integrated Circuit:专用集成电路)、DSP (Digital SignalProcessor:数字信号处理器)等硬件电路，根据来自微计算机121的控制命令执行各处理。另外，也可以通过微计算机121以软件方式执行各图像处理的全部或一部分。该情况下，微计算机121作为图像处理电路发挥功能。
[0029]基本图像处理电路109a对RAW数据进行光学黑体(OB)减法处理、白平衡(WB)校正、拜尔数据的情况下进行的同时化处理、颜色再现处理、伽马校正处理、彩色矩阵运算、降噪(NR)处理、边缘强调处理等。在拍摄一张且未设定特殊效果等的情况下，仅进行该基本图像处理电路109a的处理，图像处理完成。
[0030]图像合成电路10%根据所设定的合成 模式等进行各种图像合成。该图像合成电路10%作为根据来自摄像电路的图像数据对合成用图像数据进行合成的图像合成电路发挥功能。即，图像合成电路10%使用在焦点位置、光圈值等不同的状态下取得的多个图像数据，进行图像数据的合成。在本实施方式中，如后所述，能够设定加深被摄场深度的深度合成等合成模式。在设定了深度合成模式的情况下，图像合成电路10%通过针对以多个对焦位置进行拍摄而得到的多个图像数据进行位置对齐和合成，生成与单拍不同的被摄场深度的图像。
[0031]另外，虽然没有图示，但是，在图像处理电路109内设有图像压缩电路和图像解压缩电路。在将图像数据记录在记录介质131中时，在静态图像的情况下，图像压缩电路按照JPEG压缩方式等各种压缩方式对从SDRAM 127中读出的图像数据进行压缩，并且，在动态图像的情况下，图像压缩电路按照MPEG等各种压缩方式对从SDRAM 127中读出的图像数据进行压缩。
[0032]并且，图像解压缩电路还进行JPEG图像数据和MPEG图像数据的解压缩，以用于进行图像再现显示。在解压缩时，读出记录介质131中记录的文件，在图像解压缩电路中实施解压缩处理后，将解压缩后的图像数据暂时存储在SDRAM 127中。另外，在本实施方式中，作为图像压缩方式，采用JPEG压缩方式和MPEG压缩方式，但是，压缩方式不限于此，当然也可以是TIFF、H.264等其他压缩方式。并且，压缩方式既可以是可逆压缩，也可以是非可逆压缩。
[0033]AE处理电路111根据经由总线110输入的图像数据测定被摄体亮度，经由总线110将该被摄体亮度信息输出到微计算机121。可以设置专用的测光传感器以用于进行被摄体亮度的测定，但是，在本实施方式中，根据图像数据计算被摄体亮度。
[0034]AF处理电路113从图像数据中提取高频成分的信号，通过累积处理取得对焦评价值，经由总线I1输出到微计算机121。在本实施方式中，通过所谓的对比度法进行拍摄镜头201的对焦。在该实施方式中，以基于对比度法的AF控制为例进行了说明，但是，也可以对被摄体光束进行分割，在其光路上设置相位差传感器或者在摄像元件上设置相位差传感器，通过基于相位差AF的AF控制进行对焦。
[0035]图像合成估计电路115指示摄像电路进行成为不同的多个状态的多个摄像，取得图像合成的估计时使用的多个估计用图像数据。当取得该估计用图像数据后，对该估计用图像数据进行分析，判断可否进行与多个状态对应的图像合成。多个状态例如具有对焦镜头的对焦位置、光圈值、快门速度值、曝光量等。另外，图像合成估计电路115的功能也可以不是从微计算机121独立的电路结构，而是由微计算机121通过软件来执行。该情况下，微计算机121兼作为图像合成估计电路。
[0036]在本实施方式中，作为多个状态，说明了对对焦镜头的对焦位置进行变更的例子。即，在本实施方式中，在主拍摄时进行多次摄像，但是，在主拍摄之前，使对焦镜头的对焦位置依次不同来进行摄像，针对此时得到的各个图像，对对比度和被摄体的运动进行分析，根据该分析结果，按照各个图像判断是否是适合作为合成用图像的图像。
[0037]该图像合成估计电路115作为估计在图像合成电路中是否包含存在合成可能性的被摄体的图像合成估计电路发挥功能。并且，图像合成估计电路115指示摄像电路进行成为不同的多个状态的多个摄像，取得估计中使用的多个估计用图像数据，通过对多个估计用图像数据进行分析，判断可否进行与多个状态对应的图像合成(详细地讲参照图5?图7C)。不同的多个状态例如使对焦镜头的对焦位置不同。
[0038]拍摄指示电路117接受图像合成估计电路115中的估计结果，指示摄像电路进行多次摄像。即，在本实施方式中，由于图像合成估计电路按照主拍摄前取得的每个图像判断是否是适合作为合成用图像的图像，所以，根据该判断结果，在适合作为合成用图像的情况下进行摄像，在不适合作为合成用图像的情况下不进行摄像。
[0039]拍摄指不电路117作为指不摄像电路进彳丁拍摄的拍摄指不电路发挥功能。并且，该拍摄指示电路根据图像合成估计电路的估计结果，指示摄像电路进行多次拍摄。另外，拍摄指示电路117的功能也可以不是从微计算机121独立的电路结构，而是由微计算机121通过软件来执行。该情况下，微计算机121兼作为拍摄指示电路。
[0040]微计算机121发挥作为该照相机整体的控制部的功能，根据闪存125中存储的程序，总括地控制照相机的各种顺序。在微计算机121上，除了所述I/F199以外，还连接有操作部件123和闪存125。
[0041]操作部件123包括电源按钮、释放按钮、动态图像按钮、再现按钮、菜单按钮、十字键、OK按钮等各种输入按钮和各种输入键等的操作部件，检测这些操作部件的操作状态，将检测结果输出到微计算机121。微计算机121根据操作部件123的操作的检测结果，执行与用户操作对应的各种顺序。电源按钮是用于指示该数字照相机的电源的接通/断开的操作部件。当按下电源按钮时，该数字照相机的电源接通，当再次按下电源按钮时，该数字照相机的电源断开。
[0042]释放按钮由半按时接通的第一释放开关、半按后进一步按入而全按时接通的第二释放开关构成。当第一释放开关接通后，微计算机121执行AE动作、AF动作等拍摄准备顺序。并且，当第二释放开关接通后，对机械快门101等进行控制，执行从摄像元件103等取得基于被摄体图像的图像数据并将该图像数据记录在记录介质131中的一连串的拍摄顺序，进行拍摄。
[0043]动态图像按钮是用于指示动态图像拍摄的开始和结束的操作按钮，当最初操作动态图像按钮时，开始进行动态图像拍摄，当再次操作时，结束动态图像拍摄。再现按钮是用于设定和解除再现模式的操作按钮，当设定了再现模式时，从记录介质131中读出拍摄图像的图像数据，在显示面板135中再现显示拍摄图像。
[0044]菜单按钮是用于使显示面板135显示菜单画面的操作按钮。能够在菜单画面上进行各种照相机设定。作为照相机设定，例如具有HDR合成、深度合成和超清合成等合成模式。
[0045]闪存125存储用于执行微计算机121的各种顺序的程序。微计算机121根据该程序进行照相机整体的控制。
[0046]SDRAM 127是图像数据等的暂时存储用的可电改写的易失性存储器。该SDRAM127暂时存储从A/D转换器107输出的图像数据、图像处理电路109等中进行处理后的图像数据。
[0047]存储器I/F129与记录介质131连接，进行在记录介质131中写入和读出图像数据或图像数据中添加的头等数据的控制。记录介质131例如是相对于照相机主体100拆装自如的存储卡等记录介质，但是不限于此，也可以是内置于照相机主体100中的硬盘等。记录介质131作为记录合成图像数据的图像记录部发挥功能。
[0048]显示驱动器133与显示面板135连接，根据从SDRAM 127或记录介质131中读出并通过图像处理电路109内的图像解压缩电路进行解压缩后的图像数据，在显示面板135中显示图像。显示面板135配置在照相机主体100的背面等，进行图像显示。由于在背面等照相机主体的外装部配置显示面，所以，显示面板135是容易受到外光影响的显示部，但是，能够设定大型的显不面板。另外，作为显不面板，可以米用液晶显不面板(LCD、TFT)、有机EL等各种显不面板。
[0049]作为显示面板135中的图像显示，包括在刚刚拍摄之后在短时间内显示要记录的图像数据的记录浏览显示、记录介质131中记录的静态图像或动态图像的图像文件的再现显不、以及实时取景显不等动态图像显不。
[0050]接着，使用图2和图3所示的流程图对本实施方式中的照相机的主处理进行说明。另外，微计算机121根据闪存125中存储的程序对各部进行控制并执行图2、图3和后述图4、图5所示的流程图。
[0051]当操作了操作部件123内的电源按钮而使电源接通后，图2所示的主流程开始进行动作。当开始进行动作后，首先，执行初始化(SI)。作为初始化，进行机械初始化和各种标志等的初始化等的电初始化。作为各种标志之一，将表示是否处于动态图像记录中的记录中标志复位为无效(参照步骤S13、S15、S31等)。
[0052]当进行初始化后，接着，判定是否按下了再现按钮(S3)。这里，检测操作部件123内的再现按钮的操作状态并进行判定。在该判定结果为按下了再现按钮的情况下，执行再现/编集(S5)。这里，从记录介质131中读出图像数据，在IXD135中显示静态图像和动态图像的一览。用户通过操作十字键，从一览中选择图像，通过OK按钮确定图像。并且，能够进行正在选择的图像的编集。
[0053]当执行步骤S5中的再现/编集后、或步 骤S3中的判定结果为未按下再现按钮的情况下，判定是否进行照相机设定(S7)。在操作了操作部件123内的菜单按钮时，在菜单画面中进行照相机设定。因此，在该步骤中，根据是否进行了该照相机设定来进行判定。
[0054]在步骤S7中的判定结果为照相机设定的情况下，进行照相机设定(S9)。如上所述，能够在菜单画面中进行各种照相机设定。作为照相机设定，如上所述，例如能够设定通常拍摄、HDR合成、深度合成、超清合成等模式作为拍摄模式。并且，作为静态图像记录模式，能够设定JPEG记录、TIFF记录、JPEG-RAW记录、RAW记录等模式。作为动态图像记录模式，能够设定Mot1n JPEG记录、H.264记录等模式。作为画质模式，能够设定精致(Fine)、正常(Normal)等模式。
[0055]当在步骤S9中进行照相机设定后、或步骤S7中的判定结果不是照相机设定的情况下，接着，判定是否按下了动态图像按钮(Sll)。这里，微计算机121从操作部件123输入动态图像按钮的操作状态并进行判定。
[0056]在步骤Sll中的判定结果为按下了动态图像按钮的情况下，进行记录中标志的反转(S13)。在动态图像拍摄中，记录中标志设定为有效(I)，在未拍摄动态图像的情况下，记录中标志复位为无效(O)。在该步骤中，使标志进行反转，即，在设定为有效(I)的情况下反转为无效(O)，在设定为无效(O)的情况下反转为有效(I)。
[0057]当在步骤S13中进行记录中标志的反转后，接着，判定是否处于动态图像记录中(S15)。这里，根据步骤S13中反转后的记录中标志是设定为有效还是设定为无效来进行判定。
[0058]在步骤S15中的判定结果为处于动态图像记录中的情况下，生成动态图像文件(S19) ο在后述步骤S61中进行动态图像的记录，但是，在该步骤中，生成动态图像记录用的动态图像文件，进行准备以使得能够记录动态图像的图像数据。
[0059]另一方面，在判定结果为不处于动态图像记录中的情况下，关闭动态图像文件(S17)。由于操作了动态图像按钮而使动态图像拍摄结束，所以，在该步骤中关闭动态图像文件。在关闭动态图像文件时，通过在动态图像文件的头中记录帧数等，以能够再现为动态图像文件的状态结束文件写入。
[0060]当在步骤S17中关闭动态图像文件后、或在步骤S19中生成动态图像文件后、或步骤Sll中的判定结果为未按下动态图像按钮的情况下，接着，判定是否处于动态图像记录中(S31)。在该步骤中，与步骤S15同样，根据记录中标志的有效或无效来进行判定。
[0061]在步骤S31中的判定结果为未处于动态图像记录中的情况下，判定是否半按了释放按钮，换言之，判定第一释放开关是否从断开变成接通(S33)。通过操作部件123来检测与释放按钮联动的第一释放开关的状态，根据该检测结果进行该判定。在检测结果为第一释放开关从断开转变到接通的情况下判定结果为“是”，另一方面，在维持接通状态或断开状态的情况下判定结果为“否”。
[0062]在步骤S33中的判定结果为半按了释放按钮而从断开转变到第一释放的情况下，执行AE/AF动作(S35)。这里，AE处理电路111根据由摄像元件103取得的图像数据检测被摄体亮度，根据该被摄体亮度计算成为适当曝光的快门速度、光圈值等。
[0063]并且，在步骤S35中进行AF动作。这里，驱动器205经由更换式镜头200内的微计算机207使拍摄镜头201的焦点位置移动，以使得由AF处理电路113取得的对焦评价值成为峰值。因此，在未进行动态图像拍摄的情况下，当半按了释放按钮后，在该时点进行拍摄镜头201的对焦。然后，进入步骤S37。
[0064]在步骤S31中的判定结果为释放按钮未从断开转变到第一释放的情况下，接着，判定是否全按了释放按钮而使第二释放开关接通(S41)。在该步骤中，通过操作部件123来检测与释放按钮联动的第二释放开关的状态，根据该检测结果进行判定。
[0065]在步骤S41中的判定结果为全按了释放按钮而使第二释放开关接通的情况下，进行拍摄/图像处理(S43)。这里，利用步骤S33中运算出的光圈值来控制光圈203，并且，利用运算出的快门速度来控制机械快门101的快门速度。然后，当经过与快门速度对应的曝光时间后，从摄像元件103中读出图像信号，通过模拟处理电路105和A/D转换器107进行处理后的RAW数据被输出到总线110。
[0066]并且，在设定了深度合成模式的情况下，在主拍摄之前使对焦镜头移动，并且判定是存在适合合成的图像还是存在不适合合成的图像，根据该判定结果，在与适合合成的图像对应的对焦位置进行主拍摄，取得多个图像数据。设定了深度合成模式的情况下的拍摄/图像处理的详细动作使用图4在后面叙述。
[0067]并且，在步骤S43中，在进行拍摄后进行图像处理。读出由摄像元件103取得的RAW数据，通过图像处理电路109进行图像处理。并且，在设定了图像合成模式的情况下，在该步骤中，根据图像合成模式进行多次拍摄，图像合成时使用的图像数据暂时退避到记录介质131等中。该拍摄/图像处理的详细动作使用图4在后面叙述。
[0068]当进行拍摄/图像处理后，接着，进行静态图像记录(S45)。这里，将实施了图像处理后的静态图像的图像数据记录在记录介质131中。在静态图像记录时，以所设定的形式进行记录。在设定了 JPEG的情况下，在图像压缩电路中对图像处理后的数据进行JPEG压缩并进行记录。并且，在TIFF形式的情况下，转换为RGB数据并以RGB形式进行记录。并且，在设定了 RAW记录的情况下，在与通过拍摄而取得的RAW数据进行了合成的情况下，还记录合成RAW数据。图像数据的记录目的地可以是照相机主体内的记录介质131，也可以经由通信电路(未图示)记录在外部的设备中。
[0069]在步骤S41中的判定结果为不是释放按钮2nd的情况下、或步骤S31中的判定结果为处于动态图像记录中的情况下，接着，进行AE(S51)。在所述步骤S41的判定为“否”的情况下，不对释放按钮进行任何操作，该情况下，在后述步骤S57中进行实时取景显示。并且，在所述步骤S31的判定为“是”的情况下，处于动态图像记录中。在该步骤中，计算用于以适当曝光进行实时取景显示或动态图像拍摄的摄像元件103的电子快门的快门速度和ISO感光度。
[0070]当进行AE后，接着，进行基于电子快门的拍摄(S53)。这里，将被摄体像转换为图像数据。S卩，在由摄像元件103的电子快门决定的曝光时间内进行电荷蓄积，当经过曝光时间后读出蓄积电荷，由此取得图像数据。
[0071]当进行基于电子快门的拍摄后，接着，对所取得的图像数据进行图像处理(S55)。在该步骤中，通过基本图像处理电路109a进行WB校正、彩色矩阵运算、伽马转换、边缘强调、降噪等基本图像处理。
[0072]当进行基本图像处理后，接着，进行实时取景显示(S57)。在该步骤中，使用步骤S55中的进行基本图像处理后的图像数据，在显示面板135中进行实时取景显示。即，由于在步骤S53中取得图像数据并进行了图像处理，所以，使用该处理后的图像进行实时取景显示的更新。拍摄者通过观察该实时取景显示，能够决定构图和快门定时。
[0073]当在步骤S57中进行实时取景显示后，接着，判定是否处于动态图像记录中(S59) ο这里，判定记录中标志是否接通。在该判定结果为处于动态图像记录中的情况下，进行动态图像记录(S61)。这里，将从摄像元件103中读出的摄像数据作为动态图像用的图像数据进行图像处理，将其记录在动态图像文件中。
[0074]当在步骤S61中进行动态图像记录后、或步骤S59中的判定结果为未处于动态图像记录中的情况下、或在步骤S45中进行静态图像记录后、或在步骤S35中进行AE/AF后，接着，判定电源是否断开(S37)。在该步骤中，判定是否再次按下了操作部件123的电源按钮。在该判定结果为电源未断开的情况下，返回步骤S3。另一方面，在判定结果为电源断开的情况下，在进行主流程的结束动作后，结束该主流程。
[0075]这样，在本发明的一个实施方式的主流程中，能够设定深度合成模式等对多个图像数据进行合成的拍摄模式(S9)，在设定了深度合成模式的情况下，在不适合作为合成用图像的对焦位置不进行摄像，在适合作为合成用图像的对焦位置进行摄像(S43)。
[0076]接着，使用图4对步骤S43中的摄像/图像处理的详细动作进行说明。当进入拍摄/图像处理的流程后，首先，判定是否是深度合成(S71)。在该步骤中，根据在步骤S9中是否设定了深度合成模式来进行判定。
[0077]在步骤S71中的判定结果为未设定深度合成模式的情况下，进行拍摄(S91)。这里，利用 摄像元件103以步骤S35中决定的曝光控制值和焦点位置进行摄像，取得图像数据。当进行拍摄后，接着，进行基本图像处理(S93)。这里，基本图像处理电路109a对步骤S91中取得的图像数据实施OB减法处理、WB校正、彩色矩阵运算、伽马转换、边缘强调、降噪等图像处理。
[0078]另一方面，在步骤S71中的判定结果为设定了深度合成模式的情况下，进行图像合成估计(S73)。这里，图像合成估计电路115在步骤S79中的主拍摄之前使对焦镜头移动，并且取得图像数据，判定是否适合作为合成用图像。即，对对焦镜头的对焦位置等状态进行变更并实施拍摄。可以根据2nd释放时的拍摄状态、例如焦点位置或被摄体距离来变更这里的拍摄张数、状态变更的内容。根据拍摄而得到的图像判断可否在多个状态下分别进行图像合成。在可否判断中，使用使对焦位置移动而取得的图像，对图像内的对比度进行分析，根据对比度进行合成可否判断。并且，使用拍摄图像和其紧前的拍摄图像对被摄体的移动量进行分析，根据该移动量进行可否判断。可以单独进行这些可否判断或组合两者来进行判断。根据该判断，按照每个对焦位置存储可否拍摄。该图像合成估计的详细动作使用图5?图7C在后面叙述。
[0079]当进行图像合成估计后，接着，进行拍摄指示(S75)。这里，拍摄指示电路117根据步骤S73中的图像合成估计的判断结果，对摄像电路给出拍摄指示。即，给出如下指示:将图像合成估计电路115中的判断后被判断为“否”的图像(对焦位置)从拍摄中除外，仅在判断为“可”的图像(对焦位置)进行拍摄。即，对判断为“可”的图像指示对焦位置和拍摄张数。图像合成估计电路115的判定为“可”的图像数据数成为拍摄次数。
[0080]当在步骤S75中发出拍摄指示后，接着，进行对焦移动(S77)。这里，经由更换镜头200的微计算机207使对焦镜头依次移动到步骤S75中指示的对焦位置。
[0081]当进行对焦移动后，接着，进行拍摄(S79)。这里，当到达步骤S75中指示的对焦位置后，在规定时间内通过机械快门203进行曝光时间控制并进行曝光，在经过曝光时间后从摄像元件103中取得图像数据，将该取得的图像数据暂时存储在SDRAM127中。另外，作为快门，也可以不使用机械快门203而使用摄像元件103内的电子快门。
[0082]当进行拍摄后，接着，判定是否到达指示张数(S81)。这里，判定步骤S79中的拍摄次数是否到达步骤S75中指示的拍摄张数。在该判定结果为未到达指示张数的情况下，返回步骤S77，进行对焦移动并进行拍摄。
[0083]另一方面，在步骤S81中的判定结果为到达了指示张数的情况下，进行基本图像处理(S83)。这里，读出SDRAM 127中暂时存储的图像数据，基本图像处理电路109a实施OB减法处理、WB校正、彩色矩阵运算、伽马转换、边缘强调、降噪等图像处理。
[0084]当进行基本图像处理后，接着，进行位置对齐(S85)。这里，对所拍摄的图像的位置偏移进行校正来进行位置对齐。关于位置对齐，例如，对2张图像进行块分割，计算针对每个块的相关值最小的位置的移动量，根据该移动量对齐位置即可。
[0085]当进行位置对齐后，接着，进行深度合成(S87)。这里，图像合成电路10%进行用于给出扩大被摄场深度的效果的图像合成。例如，通过提取各图像的高频成分并对高频成分进行合成，生成被摄场深度较深的图像。
[0086]当在步骤S87中进行深度合成后、或在步骤S93中进行基本图像处理后，结束拍摄/图像处理的流程，返回原来的流程。
[0087]这样，在拍摄/图像处理的流程中，在设定了深度合成模式的情况下，使对焦位置移动并进行摄像，按照此时取得的多个图像进行用于判断合成中是否适合使用的图像合成估计(S73)，根据该判断结果进行对焦移动并进行主拍摄(S77、S79)，使用主拍摄中取得的图像数据进行深度合成(S87)。由于在主拍摄之前在图像合成估计中判断图像合成中是否适合使用，所以，能够确保较多的实际能够拍摄的拍摄张数，能够生成画质足够好的合成图像。
[0088]接着，使用图5对步骤S75的图像合成估计的详细动作进行说明。当进入图像合成估计的流程后，首先，进行照相机状态变更(SlOl)。这里，由于是设定了深度合成模式的情况，所以对对焦镜头的位置进行变更。具体而言，经由微计算机207通过驱动器205使对焦镜头的位置移动规定量。该移动量根据拍摄镜头201的焦点距离、设定光圈值等适当决定即可，但是，与在步骤S77中由拍摄指示电路117指示的对焦镜头的移动间隔同等即可。
[0089]当进行照相机状态变更后，接着，进行电子快门拍摄(S103)。这里，通过摄像元件103内的电子快门来控制曝光时间，取得图像数据。此时的图像数据不是用于图像记录，而是用于判断图像合成中是否使用，所以，为了提高处理速度，图像尺寸可以较小。使用电子快门是因为，与机械快门203相比，能够在短时间内进行拍摄。
[0090]当进行电子快门拍摄后，接着，进行图像分析(S105)。这里，进行步骤S103的电子快门拍摄中取得的图像的分析。作为图像分析，计算被摄体的对比度值，与之前拍摄的图像进行比较来判断是否是移动被摄体等。关于对比度的分析，例如，可以通过从图像数据中提取高频信息的带通滤波器(BPF)进行处理并将BPF输出的峰值作为该图像的对比度量，并且，也可以通过其他方法计算对比度量。并且，关于对比度量，只要能够在1st释放时的AF测距时(步骤S35)取得即可，也可以使用其结果。
[0091]并且，在进行被摄体的运动量的分析的情况下，例如，将图像分割为区域，按照每个区域计算在前一个对焦位置进行拍摄而得到的图像和相关数据，对该相关数据和周围的相关数据或相关数据整体的平均值进行比较，在存在差异较大的区域的情况下，判断为被摄体的运动量较大即可。并且，如果能够取得被摄体跟踪AF信息等，则也可以利用该跟踪AF信息来判定是否存在正在跟踪的被摄体的运动，将在前后的对焦位置进行拍摄而得到的图像判断为不适合作为合成图像。基于对比度量和被摄体运动的图像分析使用图6A?图7C在后面叙述。
[0092]当进行图像分析后，接着，判定是否能够合成(S107)。这里，根据步骤S105中的图像分析结果，判定是否是适合在图像合成中使用的图像。例如，由于对比度较低的图像、移动被摄体的图像等不适合合成，所以判定为不“能够合成”，由于对比度较高的图像、静止被摄体的图像等适合合成，所以判定为“能够合成”。
[0093]当步骤S107中的判定后判定为能够合成时，进行拍摄指示存储(S109)。这里，存储在步骤SlOl中进行变更后的对焦位置和拍摄的指示(也可以设定标志)。
[0094]当在步骤S109中进行拍摄指示的存储后、或步骤S107中的判定结果为不能够合成的情况下，判定是否到达了张数(Slll)。这里，根据步骤SlOl中的照相机状态变更是否无法进一步变更、或步骤S109中设定的标志数是否到达上限等进行判定。在该判定结果为未到达张数的情况下，返回步骤S101，变更照相机状态，继续判定是否能够合成。另一方面，在到达了张数的情况下，结束图像合成估计的流程，返回原来的流程。
[0095]这样，在图像合成估计的流程中，当变更照相机状态后(SlOl)，进行拍摄(S103)，根据所取得的图像的分析结果判定是否能够合成(S107)。因此，能够在主拍摄之前排除不适合合成的图像，能够进行高效拍摄。
[0096]接着，使用图6A?图7C对图像合成估计进行说明。图6A和图6B示出根据图像数据的对比度量进行图像合成估计的情况。图6A示出相对于照相机10随着从近距离侧朝向远距离侧而存在有花20、人物30、山40作为被摄体的例子。
[0097]图6B的上部示出使对焦位置移动并进行拍摄而得到的图像和对比度量。即，照相机10在步骤SlOl的照相机状态变更中使对焦位置移动，在步骤S103的电子快门拍摄中拍摄图像估计用图像50，在步骤S105中计算对比度量。在与花20、人物30、山40对应的对焦位置，对比度量较高，但是，在其中间，对比度量较低。在深度合成中，在中间的对比度量较低的对焦位置进行拍摄而得到的图像不适合合成。
[0098]因此，如图6B的下部所示，由于图像60a、60b、60c、60d的对比度量较小，所以不适合合成而跳过主拍摄。即，拍摄指示电路117指定除了图像60a?60d以外的图像作为拍摄指不图像60。
[0099]图像合成估计电路115具有对比度量判定阈值，以便根据图像数据的对比度量进行图像合成的可否判断，在低于该判定阈值的情况下判定为不适合合成，跳过拍摄。这是因为，在深度合成中，对比度量较少的被摄体在合成中使用的区域较少。
[0100]这样，在 本实施方式中，图像合成估计电路115在多个对焦位置对估计用图像数据进行摄像，对估计用图像数据的对比度进行分析，根据对比度进行可否判断。即，图像合成估计电路115将对比度较低的图像数据判断为“否”。
[0101]接着，使用图7A?图7C示出根据被摄体的运动进行图像合成估计的情况。与图6A同样，图7A示出相对于照相机10随着从近距离侧朝向远距离侧而存在花20、人物30、山40作为被摄体的例子。
[0102]图7B示出使对焦位置移动并进行拍摄而得到的图像以及运动量较大的图像。SP，照相机10在步骤SlOl的照相机状态变更中使对焦位置移动，在步骤S103的电子快门拍摄中拍摄图像估计用图像51，在步骤S105中计算运动量。在该例子中，花20由于风而摆动，并且人物30运动。并且，如图6B所示，花20和人物30是对比度量较高的被摄体，图像51a、51b是运动量较大的图像。
[0103]因此，在本实施方式中，选择图像中对比度最高的图像，跳过其前后的对焦位置处的拍摄。在图7C所示的例子中，跳过位于对比度量较高的花20的前后、位于运动量较大的图像6la、对比度量较高的人物30的前后、与运动量较大的图像6Ib、6Ic对应的对焦位置处的主拍摄。即，拍摄指示电路117指定除了图像61a?60c以外的图像作为拍摄指示图像
61ο
[0104]这样，在本实施方式中，图像合成估计电路115在多个对焦位置对估计用图像数据进行摄像，对估计用图像数据的对比度进行分析，根据被摄体的运动进行可否判断。即，图像合成估计电路115对至少一个状态(这里为对焦位置)进行变更(参照S101)，对多个估计用图像数据进行摄像(参照S103)，对被摄体的移动量进行分析(参照S105)，根据移动量进行合成可否的判断。在被摄体存在运动的情况下，在合成后的图像中，被摄体可能成为多重像，并且，图像合成估计电路115将在被摄体的移动量较大的图像数据的前后的对焦位置进行拍摄而得到的图像判断为“否”。在本实施方式中，能够防止深度合成后的图像成为多重像。另外，在图7Α?图7C所示的例子中，除了被摄体的运动以外，还将对比度量作为判断对象。但是，也可以不使用对比度量，而仅利用被摄体的运动进行判断。
[0105]如以上说明的那样，在本发明的一个实施方式中，进行在摄像电路中对被摄体进行摄像并取得图像数据的摄像步骤(例如图4的S79)、对摄像步骤中取得的多个图像数据进行合成的图像合成步骤(例如图4的S87)、估计在图像合成步骤中是否包含存在合成可能性的被摄体的图像合成估计步骤(例如图4的S73)、指示摄像电路进行拍摄的拍摄指示步骤(例如图4的S75)，在拍摄指示步骤中，根据图像合成估计步骤中的估计结果，指示在摄像步骤中进行多次拍摄。因此，能够确保尽可能多的拍摄张数，能够生成画质足够好的合成图像。
[0106]并且，在本发明的一个实施方式中，针对图像合成估计步骤中估计为存在合成可能性的拍摄帧，指示进行拍摄。在SDRAM 127等存储器的容量有限的情况下，能够同时存储的图像的数量有限。但是，根据本实施方式，针对估计为不存在合成可能性的拍摄帧，不进行主拍摄，因此能够有效活用存储器。
[0107]另外，在本发明的一个实施方式中，在进行了释放按钮的2nd释放操作后，在拍摄/图像处理(参照图3的S43)中进行图像合成估计。但是，不限于该时刻，例如，也可以在进行了释放按钮的1st释放操作后，在规定时刻反复进行图像合成估计。
[0108]并且，在本发明的一个实施方式中，作为图像合成，对设定了深度合成模式的情况进行了说明，但是，例如，在设定了扩大动态范围的HDR合成、提高清晰度的超清合成等其他合成模式的情况下，当然也可以进行图像合成估计。该情况下，图像分析根据合成模式而适当变更即可。
[0109]并且，在本发明的一个实施方式中，在拍摄时进行图像合成估计，不适合图像合成的图像不进行主拍摄，但是不限于此，也可以在拍摄时针对全部图像进行主拍摄并将图像数据存储在存储器中，在进行图像合成时，在图像合成中不使用不适当的图像数据。
[0110]并且，在本发明的一个实施方式中，作为拍摄用的设备，使用数字照相机进行了说明，但是，作为照相机，可以是数字单反照相机，也可以是小型数字照相机，还可以是摄像机、摄影机这样的动态图像用的照相机，进而，还可以是内置于移动电话、智能手机、便携信息终端(PDA:Personal Digital Assist:个人数字助理)、个人计算机(PC)、平板型计算机、游戏设备等中的照相机。任意情况下，只要是能够对多个图像数据进行合成的拍摄设备，则能够应用本发明。并且，只要是对多个图像数据进行处理的图像处理装置，则能够应用本发明。
[0111]并且，关于本说明书中说明的技术中主要利用流程图说明的控制，多数情况下能够利用程序进行设定，有时也收纳在记录介质或记录部中。关于记录在该记录介质、记录部中的记录方法，可以在产品出厂时进行记录，也可以利用发布的记录介质，还可以经由因特网进行下载。
[0112]并且，关于权利要求书、说明书和附图中的动作流程，为了简便而使用“首先”、“接着”等表现顺序的词语进行了说明，在没有特别说明的部分，不意味着必须按照该顺序进行实施。
[0113]本发明不限于上述实施方式原样，能够在实施阶段在不脱离其主旨的范围内对结构要素进行变形而具体化。并且，通过上述实施方式所公开的多个结构要素的适当组合，能够形成各种发明。例如，也可以删除实施方式所示的全部结构要素中的若干个结构要素。进而，还可以适当组合不同实施方式中的结构要素。
【主权项】
1.一种摄像装置，该摄像装置具有: 摄像电路，其对被摄体进行摄像而取得图像数据； 图像合成电路，其根据上述图像数据对合成用图像数据进行合成； 图像合成估计电路，其估计上述图像合成电路中是否包含存在合成可能性的被摄体；以及 拍摄指不电路，其指不上述摄像电路进彳丁拍摄， 其中， 上述拍摄指示电路根据上述图像合成估计电路的估计结果，指示上述摄像电路进行多次拍摄。2.根据权利要求1所述的摄像装置，其中， 上述图像合成估计电路指示上述摄像电路进行成为不同的多个状态的多个摄像，取得估计中使用的多个估计用图像数据，通过对上述多个估计用图像数据进行分析，判断可否进行与上述多个状态对应的图像合成。3.根据权利要求2所述的摄像装置，其中， 上述状态是对焦镜头的对焦位置。4.根据权利要求3所述的摄像装置，其中， 上述图像合成估计电路在多个对焦位置对上述估计用图像数据进行摄像，对上述估计用图像数据的对比度进行分析，根据对比度进行可否判断。5.根据权利要求4所述的摄像装置，其中， 上述图像合成估计电路将上述对比度较低的图像数据判断为“否”。6.根据权利要求2所述的摄像装置，其中， 上述拍摄指示电路把上述图像合成估计电路的判定为“可”的图像数据数设为拍摄次数。7.根据权利要求2所述的摄像装置，其中， 上述图像合成估计电路对至少一个上述状态进行变更，对多个上述估计用图像数据进行摄像，对上述被摄体的移动量进行分析，根据上述移动量进行可否判断。8.根据权利要求7所述的摄像装置，其中， 上述图像合成估计电路将在上述被摄体的移动量较大的图像数据的前后的对焦位置进行拍摄而得到的图像判断为“否”。9.一种摄像方法，该摄像方法具有以下步骤: 摄像步骤，在摄像电路中对被摄体进行摄像而取得图像数据； 图像合成步骤，对上述摄像步骤中取得的多个图像数据进行合成； 图像合成估计步骤，估计在上述图像合成步骤中是否包含存在合成可能性的被摄体；以及 拍摄指示步骤，指示上述摄像电路进行拍摄， 其中， 在上述拍摄指示步骤中，根据上述图像合成估计步骤中的估计结果，指示在上述摄像步骤中进行多次拍摄。
【专利摘要】本发明提供摄像装置和摄像方法，能够确保尽可能多的拍摄张数、能够生成画质足够好的合成图像。进行在摄像电路中对被摄体进行摄像并取得图像数据的摄像步骤(S79)、对摄像步骤中取得的多个图像数据进行合成的图像合成步骤(S87)、估计在图像合成步骤中是否包含存在合成可能性的被摄体的图像合成估计步骤(S73)、指示摄像电路进行拍摄的拍摄指示步骤(S75)，在拍摄指示步骤中，根据图像合成估计步骤中的估计结果，指示在摄像步骤中进行多次拍摄。
【IPC分类】H04N5/232, H04N9/04, H04N5/225
【公开号】CN104883480
【申请号】CN201510088749
【发明人】市川学, 松永拓也
【申请人】奥林巴斯株式会社
【公开日】2015年9月2日
【申请日】2015年2月26日
【公告号】US20150244931