图像处理装置、图像拍摄装置及图像处理方法
图像处理装置、图像拍摄装置及图像处理方法
【专利说明】
[000。 本申请是申请日为2014年3月5日、申请号为201410078684.7、发明名称为"图像处 理装置、图像拍摄装置及图像处理方法"的发明专利申请的分案申请。
技术领域
[0002] 本发明设及一种用于获得关于被摄体的焦点控制的信息的图像处理装置、图像拍 摄装置及图像处理方法。
【背景技术】
[0003] 作为诸如数字照相机等的图像拍摄装置，已知有如下的装置，该装置通过由用户 W触摸板操作等指定拍摄图像中包括的被摄体，来进行该被摄体的聚焦调整(例如，日本特 开2011-39457号公报）。
[0004] 此外，还提出了如下的技术，该技术能够通过显示如下的地图图像，来使用户轻松 地掌握要拍摄图像的对焦对象(被摄体），其中，所述地图图像用于表示代表要拍摄图像的 对象在深度方向上的位置的深度位置、W及代表焦点的位置的焦点位置(例如，日本特开 2010-177741 号公报）。
[000引近年来，已知还有光场摄影技术，该技术获取光线的朝向（orientation)及强度的 信息(光场数据），并且通过后面的图像处理来进行焦点位置的调整(再聚焦）W及景深的调 整(例如，日本特表2008-515110号公报）。
[0006] 使用该技术存在如下的优点：因为能够在图像拍摄之后进行焦点调整，因此，能够 通过图像处理来弥补图像拍摄时的焦点调整的失败。此外，还存在如下的优点：能够通过改 变图像处理方法，由一个拍摄图像来获得在图像中使任意被摄体对焦的多个图像，因此，能 够减少图像拍摄的次数。
[0007] 在光场摄影中，由从多个视点拍摄的图像的数据，来计算穿过空间中的多个位置 中的各位置的光线的方向及强度(光场）。然后，通过使用获得的光场的信息，来计算在假设 光穿过虚拟光学系统并在虚拟传感器上形成图像的情况下的图像。通过适当地设置运样的 虚拟光学系统及虚拟传感器，能够实现先前描述的再聚焦。作为用于获取光场的图像拍摄 装置，已知在主透镜的后面布置有微透镜阵列的全光照相机(plenoptic camera)(例如，日 本特开2009-124213号公报）、W及并排布置有小型照相机的照相机阵列。运两者均能够通 过一次图像拍摄，来获得从不同方向拍摄的来自多个视点的被摄体图像的数据。换言之，可 W将光场摄影表述为：由来自多个视点的图像的数据，来计算要在虚拟光学条件下由虚拟 传感器获取的图像。在下文中，计算由虚拟传感器获取的图像的处理被称为"再聚焦处理"。 作为再聚焦处理，已知有如下的方法:获取的来自多个视点的图像的数据经历到虚拟传感 器上的射影变换，并且被相加和求平均(例如，W02008050904)。
[0008] 作为用于在改变焦点位置的同时、显示已经历再聚焦处理的图像下称为再聚 焦图像)的方法，可W提及的例如有美国专利2008/0131019号公报中公开的方法。在美国专 利2008/0131019号公报中公开的方法中，在显示再聚焦图像的画面上准备用来调整焦点位 置的用户界面化I)，并且经由该UI来改变焦点位置。另外，在美国专利2008/0131019号公报 中，公开了如下的方法:显示焦点位置被调整到如下的被摄体的再聚焦图像，其中，用户期 望将所述被摄体置于焦点位置，并通过显示有再聚焦图像的画面而给出了指令。
[0009] 在拍摄图像数据或光场数据的显示中，要对焦的对象存在于与图像拍摄位置相距 固定距离的平面上。然而，在通过指定特定被摄体来进行聚焦的情况下，用户无法掌握除所 述被摄体之外的哪个被摄体被对焦。
[0010] 另外，通过在日本特开2010-177741号公报中公开的技术，能够通过在深度方向上 按次序布置有如下标记的地图图像，来掌握哪个被摄体被对焦，其中，所述标记表示要拍摄 图像的对象;然而，地图图像与拍摄图像(实际图像)完全不同，因此，难W直观地掌握被摄 体。
[0011] 亦即，在上述专利文献等中公开的传统方法中，在摄影时或者在编辑图像时，未清 楚地指定在哪个范围内的被摄体上能够进行再聚焦，因此存在如下的问题：用户难W通过 自己预期的方式来进行图像拍摄或图像编辑。
【发明内容】
[0012] 根据本发明的图像处理装置具有:获取单元，其被配置为获取包括多个被摄体区 域的图像W及与所述多个被摄体区域相对应的距离信息；W及生成单元，其被配置为生成 在所述图像中对所述多个被摄体区域的位置进行了移位的移位图像。
[0013] 作为另选方案，所述图像处理装置具有:获取单元，其被配置为获取包括多个被摄 体区域的图像W及与所述多个被摄体区域相对应的距离信息；第一生成单元，其被配置为 基于所述距离信息，来生成在所述图像中对所述多个被摄体区域进行了再布置的再布置图 像；W及第二生成单元，其被配置为生成包括所述再布置图像的图像，其中，在所述再布置 图像中反映了关于用来改变包括所述多个被摄体区域的图像的聚焦状态的图像组合处理 的聚焦状态的信息。
[0014] 根据本发明，用户能够在摄影时或者在编辑图像时，直观地掌握被摄体的聚焦状 态。
[0015] 通过W下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
【附图说明】
[0016] 图1是示出数字照相机的外观的示例的图；
[0017] 图2是示出数字照相机的内部结构的框图；
[0018] 图3是示出图3A至图3C之间的关系的图，并且图3A至图3C是示出在根据第一实施 例的数字照相机中进行的图像处理的流程的流程图；
[0019] 图4是示出在数字照相机的显示单元上显示的二维图像的示例的图；
[0020] 图5是示出从二维图像中检测出被摄体的状态的图；
[0021] 图6是示出距离图像的示例的图；
[0022] 图7是示出提取出被摄体区域的状态的图；
[0023] 图8是示出用来确定水平方向与垂直方向的移位量之比的处理的流程的流程图；
[0024] 图9是示出对提取出被摄体区域的图像进行移位图像生成处理的结果的图；
[0025] 图10是示出对移位图像中的各被摄体区域进行剪切处理（shear processing)的 结果的图；
[0026] 图11是示出在经历了剪切处理的图像上叠加地面网格图案的结果的图；
[0027] 图12是示出在组合有地面网格图案的图像上、叠加聚焦距离的指标W及景深的指 标的结果的图；
[0028] 图13是示出处理光场数据的装置的内部结构的示例的图；
[0029] 图14是示出在根据第二实施例的装置中进行的图像处理的流程的流程图；
[0030] 图15是示出根据第Ξ实施例的照相机阵列图像拍摄装置的内部结构的框图；
[0031] 图16是在图像形成光学系统的图像侧布置了透镜阵列的结构的示例；
[0032] 图17是在图像形成光学系统的图像侧布置了透镜阵列的结构的示例；
[0033] 图18是在图像形成光学系统的图像侧布置了透镜阵列的结构的示例；
[0034] 图19是排列了多个图像形成光学系统的结构(照相机阵列）的示例；
[0035] 图20是示出透镜阵列与图像感测元件之间的关系的图；
[0036] 图21示意性地表示了第Ξ实施例中的表示再聚焦的系数〇±的表达式的关系；
[0037] 图22是示出根据第Ξ实施例的图像处理单元的内部结构的框图；
[0038] 图23是示出根据第Ξ实施例的图像处理单元中的处理的流程的流程图；
[0039] 图24A是示出单视点图像的示例的图，并且图24B是示出作为由单视点图像推导出 的距离信息的距离图的图；
[0040] 图25A及图25B分别是示出从距离图中提取被摄体区域的结果的示例的图；
[0041] 图26A至图2抓分别是示出在从正上方俯视单视点图像的场景的情况下的再布置 图像(rearranged image)的示例的图；
[0042] 图27是示出图16中所示的图像拍摄单元的结构中的光学布置的图；
[0043] 图28A及图28B分别是示出聚焦信息显示图像的示例的图；
[0044] 图29A至图29C分别是示出聚焦信息显示图像的变化的图；
[004引图30A至图30C分别是示出在连同单视点图像和/或组合图像一起显示聚焦信息显 示图像的情况下的示例的图；
[0046] 图31A及图31B分别是通过在图17中所示的图像拍摄单元的结构中主要放大透镜 阵列及图像感测元件的部分而获得的图；
[0047] 图32示意性地表示了第四实施例中的表示再聚焦的系数〇±的表达式的关系；
[0048] 图33是在从正面(物体侧)观察具有照相机阵列的结构的图像拍摄单元的情况下 的图；
[0049] 图34是在从侧面观察根据第五实施例的图像形成光学系统及图像感测元件的情 况下的图（截面）；W及
[0050] 图35示意性地表示了第五实施例中的表示再聚焦的系数〇±的表达式的关系。
【具体实施方式】
[0051 ]在下文中，参照附图来详细说明本发明的实施例。
[0052] [第一实施例]
[0053] 在此，说明根据本发明的图像处理装置被应用于数字照相机的方面，作为第一实 施例。
[0054] 图1是示出数字照相机的外观的示例的图。
[0055] 在显示单元101中，例如，使用液晶显示器，并且显示图像W及各种信息。显示单元 101具有触摸屏（touch screen)功能，并且能够检测对显示单元101的触摸。例如，触摸板 (touch panel)被配置为使得光的透射率不影响显示单元101的显示，并且该触摸板被附着 至显示单元101的显示面的上层。然后，使触摸板上的输入坐标和显示单元101上的显示坐 标彼此相关联。由此，能够配置如下的GUI,利用该GUI,能够让用户看起来像直接操作在显 示单元101上显示的画面一样。
[0056] 快口按钮102是用于给出进行图像拍摄的指令的操作单元。
[0057] 模式转盘103是用于切换各种模式的操作单元。
[0058] 连接器104是连接电缆111与数字照相机100之间的连接器。
[0059] 操作单元105包括用来接收来自用户的各种操作的各种开关、按钮等。
[0060] 控制器轮106是包括在操作单元105中的操作部件，并且能够被旋转操作。
[0061] 电源开关107在数字照相机100的电源的开启(on)与关闭(off)之间进行切换。
[0062] 存储介质108是用于存储拍摄图像数据及光场数据的、诸如存储卡及硬盘等的信 息存储介质。
[0063] 存储介质插槽109是用于容纳存储介质108的插槽。能够使在存储介质插槽109中 容纳的存储介质108与数字照相机100通信。
[0064] 盖子110是存储介质插槽109的盖子。
[006引图2是示出数字照相机100的内部结构的框图。
[0066] 图像拍摄透镜201包括聚焦透镜。
[0067] 快口包括光圈功能，并且W与快口按钮102联锁（interlock)的方式来控制曝光。
[0068] 图像拍摄单元203包括将光学图像转换为电信号的CCDXM0S元件等。
[0069] A/D转换器204将从图像拍摄单元203输出的模拟信号转换为数字信号。
[0070] 挡板205通过覆盖包括图像拍摄透镜201和快口202的图像拍摄单元203,来防止图 像拍摄系统的沾污和破损。
[0071] 图像处理单元206对来自A/D转换单元204的图像数据或者来自存储器控制单元 207的图像数据，进行大小调整处理(例如预定的像素插值和缩小）W及颜色转换处理。在图 像处理单元206中，使用拍摄图像数据来进行预定的算术运算处理，并且系统控制单元208 基于获得的算术运算结果，来进行曝光控制及距离测量控制。由此，进行TTL(通过镜头)AF (自动聚焦)处理、AE(自动曝光)处理及EF(预闪光)处理。在图像处理单元206中，使用拍摄 图像数据进一步进行预定的算术运算处理，并且还基于获得的算术运算结果来进行TTL AWB (自动白平衡)处理。来自A/D转换器204的图像数据经由图像处理单元206及存储器控制 单元207、或者经由存储器控制单元207,而被直接写入存储器209。
[0072] 存储器209存储由图像拍摄单元203获得并被A/D转换器204转换为数字数据的图 像数据、W及要在显示单元101上显示的图像数据。存储器209包括足W存储预定数量的静 止图像、预定时间段的运动图像W及声音的存储容量。通过利用显示单元101依次显示拍摄 图像数据，能够实现电子取景器功能（即显图像(throu曲-image)显示）。此外，存储器209还 充当用于显示图像的存储器(视频存储器）dD/A转换器210将用于显示存储在存储器209中 的图像的数据转换为模拟信号，并且将运些信号供给至显示单元101。W运种方式，经由D/A 转换器210,在显示单元101上显示被写入存储器209的待显示图像数据。
[0073] 显示单元101依照来自D/A转换器210的模拟信号，在诸如LCD等的显示器上产生显 /J、- 〇
[0074] 非易失性存储器211是电可擦除/可编程存储器，并且，例如使用邸PROM等。非易失 性存储器211存储用于系统控制单元208的操作的常数、程序等。在此所指的程序是用来执 行后述的各种流程图的程序。
[0075] 系统控制单元208控制整个数字照相机100。系统控制单元208通过执行前述的存 储在非易失性存储器211中的程序，来实现后述的各处理。作为系统存储器212,使用了 RAM， 并且在该RAM上，展开用于系统控制单元208的操作的常数、变量、从非易失性存储器211中 读取的程序等。此外，系统控制单元208还通过控制存储器209、D/A转换器210、显示单元101 等，来进行显示控制。此外，系统控制单元208能够检测对触摸板的W下操作。
[0076] ?用手指或笔对触摸板进行触摸的操作下称为触摸着屏(touch down))
[OOW] ?手指或笔与触摸板相接触的状态（w下称为触摸中（touch on))
[0078] .在使手指或笔与触摸板保持接触的状态下移动所述手指或笔的操作（W下称为 移动(move))
[0079] .用两个手指对触摸板进行触摸、并移动运两个手指W便缩窄运两个手指之间的 间隔的操作下称为双指捏合(pinch in))
[0080] .用两个手指对触摸板进行触摸、并移动运两个手指W便增大运两个手指之间的 间隔的操作下称为双指分开(pinch out))
[0081] .放开与触摸板接触的手指或笔的操作（W下称为触摸释放(touch up))
[0082] ?没有什么与触摸板相接触的状态（W下称为无触摸(touch off))
[0083] 向系统控制单元208,通知上述各种操作、W及手指或笔与触摸板相接触的位置的 坐标，并且系统控制单元208基于通知的信息，来确定在触摸板上进行了哪种操作。对于移 动而言，还能够基于位置坐标的改变，分别针对触摸板上的垂直分量和水平分量，来确定在 触摸板上移动的手指或笔的移动方向。假设在进行从触摸板上的触摸着屏到持续移动后的 触摸释放的运一系列操作的情况下，来描述划按（S化oke)。用来快速描述划按的操作称为 轻滑(flick)。轻滑是如下的操作:将与触摸板相接触的手指快速移动一定距离，然后放开 该手指。换言之，轻滑是在触摸板上快速滑动手指W便使该手指轻滑的操作。在检测到W预 定速度或更高速度移动了预定距离或更多的情况下，能够确定进行了轻滑。假设在检测到 W低于预定速度的速度移动了预定距离或更多的情况下，确定进行了拖动。作为触摸板，也 可W使用如下各种系统中的任何系统，诸如电阻膜系统、静电电容系统、表面声波系统、红 外系统、电磁感应系统、图像辨识系统及光学传感器系统等。
[0084] 模式转盘103将系统控制单元208的操作模式，切换到能够记录静止图像和运动图 像的图像拍摄模式、再现模式等中的任何模式。快口按钮102包括未示意性地示出的第一快 口开关和第二快口开关。第一快口开关在快口按钮102的操作当中、即通过所谓的半按下操 作(进行图像拍摄准备的指令)而开启，并且生成第一快口开关信号SW1。第一快口开关信号 SW1引发如下的操作，诸如AF(自动聚焦)处理、AE(自动曝光) 处理、AWB(自动白平衡)处理及 EF(预闪光)处理等下，将运些操作中的至少一者称为图像拍摄准备操作）。运些处理在 系统控制单元208的控制下进行。第二快口开关在快口按钮102的操作完成时、即通过所谓 的全按下操作(进行图像拍摄准备的指令)而开启，并且生成第二快口开关信号SW2。响应于 第二快口开关信号SW2,系统控制单元208开始一系列图像拍摄处理的操作，从自图像拍摄 单元203读取信号，到将图像数据写入至存储介质108。
[0085] 通过进行选择在显示单元101上显示的各种功能图标的操作，针对各场景向操作 单元105的各操作部件适当地分配功能，并且各操作部件充当各种功能按钮中的各按钮。功 能按钮包括例如结束按钮、返回按钮、图像转发按钮、跳转按钮、光圈缩小(narrow-down)按 钮、属性改变按钮等。例如，在按下了菜单按钮的情况下，在显示单元101上，显示能够用W 进行各种设置的菜单画面。用户能够利用在显示单元101上显示的菜单画面、四方向按钮W 及设定（SET)按钮，来直观地进行各种设置。控制器轮106是包括在操作单元105中的、并且 能够被旋转操作的操作部件，并且在指定被选择项目时与方向按钮一同使用。
[0086] 电源控制单元213包括电池检测电路、DC-DC转换器、切换要通电的模块的开关电 路等，并且检测是否附装了电池、电池的种类W及剩余电池寿命。此外，电源控制单元213基 于检测结果W及系统控制单元208的指令来控制DC-DC转换器，并且向包括存储介质108的 各单元供给必要时间段的必要电压。
[0087] 电源单元214包括诸如碱电池及裡电池等的一次电池、诸如NiCd电池、NiMH电池及 Li电池等的二次电池、AC适配器等。
[0088] 接口 215是与诸如存储卡及硬盘等的存储介质108的接口。
[0089] 图3A至图3C是示出在根据本实施例的数字照相机中进行的图像处理的流程的流 程图。通过由系统控制单元208在系统存储器212中展开存储在非易失性存储器211中的程 序，并执行运些程序，来实现运一系列处理。
[0090] 通过由用户开启电源，在步骤S301，系统控制单元208在预定的图像拍摄条件(聚 焦、曝光、白平衡等)下开始图像拍摄。运些图像拍摄条件依赖于装置的规格，诸如恢复并使 用电源关闭之前的值等。
[0091 ] 在步骤S302,系统控制单元208在显示单元101上，显示由图像拍摄单元203获取到 的二维图像。图4是示出在显示单元101上显示的二维图像的示例的图。图4中的二维图像是 在室外拍摄的图像，并且对天空进行了摄影，因此，到最远被摄体的距离是无限远。此时，在 最远被摄体"天空"被对焦的情况下(聚焦距离是无限远），该被摄体的前方景深变为等于所 谓的"超焦距"的1/2。超焦距的值通过下面的式(1)来获得。
[0092] 0-2)/(δ · F) · · ·式（1)
[0093] 在此，f表示透镜的焦距(mm)，F表示透镜的光圈值(f-stop)，并且δ表示容许弥散 圆（permissible circle of confusion)直径(mm)。
[0094] 例如，在透镜的焦距被取为50mm、全开光圈时的透镜的光圈值为2.8、并且容许弥 散圆直径为0.03328mm的情况下，超焦距是大约26.8m，并且前方景深是大约13.4m。在运种 情况下，距离大于约13.4m的区域是"背景区域"。在利用全开光圈使最远被摄体对焦、并且 前方景深中的某一被摄体被对焦的情况下，结果该范围内的所有被摄体均被对焦。因为运 样，通过将运些被摄体的区域显示为一个"背景区域"，能够向用户清楚地表明，该区域中的 被摄体不能被分类为被对焦的区域和未对焦的区域。
[0095] 在步骤S303,在针对诸如强制闪光/闪光禁止/自动等的各种设置、存在预定的用 户操作的情况下，系统控制单元208进行相应的设置。
[0096] 在步骤S304,系统控制单元20如角定是否存在来自用户的改变显示模式的指令。在 存在改变显示模式的指令的情况下，过程进入到步骤S305。另一方面，在不存在改变显示模 式的指令的情况下，过程返回到步骤S302。
[0097] 在步骤S305,系统控制单元208检测拍摄图像中包括的被摄体。作为用于检测拍摄 图像内的被摄体的方法，可W应用诸如在日本特开1997-186931号公报中公开的方法等的 各种方法。图5是示出从图4中所示的二维图像中、分别将人、侧向的汽车、交通标志及建筑 物检测为被摄体的状态的图。在图5中，树丛、邮箱及朝向正面的汽车各被摄体被认为是位 于光圈全开时的超焦距的1/2或更远的距离处，因而连同作为最远被摄体的"天空"一起，被 包括在上述的"背景区域"中。
[0098] 在步骤S306,系统控制单元208获取拍摄的二维图像的距离信息(到从二维图像中 检测到的各被摄体的距离的信息）。在此，距离信息是与二维图像的坐标相关联地记录的、 到二维图像中的各被摄体的距离的信息，并且例如对应于"距离图像(距离图Γ，在该距离 图像中，用灰色浓淡度(shade of gray)来代表坐标的深度的大小(离照相机的距离）。作为 用于获得拍摄图像的距离信息的方法，可W应用诸如在日本特开2001-169308号公报中公 开的方法等的各种方法。图6示出了针对图4中所示的二维图像而生成的距离图像的示例。 在图6中的距离图像中，用根据各距离而浓度不同的灰度级的图像，来表现人、侧向的汽车、 交通标志及建筑物运4个被摄体的区域(用最深的灰色浓淡度来表现距离最近的人，并用最 浅的灰色浓淡度来表现建筑物）。比建筑物远的诸如树丛等的被摄体被包括在如上所述的 背景的一部分中，因此，运些被摄体在此不被视为"被摄体"。
[0099] 在步骤S307中，系统控制单元208基于在步骤S305检测到的被摄体W及在步骤 S306获取到的距离信息，来进行用来提取在下一步骤S308要经历移位处理的被摄体区域的 处理。该被摄体区域提取处理也可W说成是针对各固定距离来分离被摄体区域的处理。例 如，在步骤S305检测到的、但不包括在背景区域中的被摄体之中，将固定距离的范围内（例 如，lm±50cm)的部分提取作为被摄体区域的单位之一。图7是示出从图4中所示的二维图像 中提取出被摄体区域的状态的图，并且，用虚线表示的部分(人、侧向的汽车、交通标志及建 筑物的各区域)代表提取出的各被摄体区域。
[0100] 在步骤S308,系统控制单元208依照在步骤S306获取到的距离信息，进行用来改变 (移位)在步骤S307提取出的各被摄体区域的位置(坐标)的处理，从而生成各被摄体区域在 固定方向上被移位的"移位图像"。例如，在到图7中所示的4个被摄体区域的距离分别对应 于lm、3m、5m及8m的情况下，生成如下的图像，在该图像中，各被摄体区域的坐标在水平方向 上W及在垂直方向上被分别移位预定量(例如，分别移位100像素、33像素、20像素和13像 素）。在"移位图像生成"中的移位量不一定必须与距离成反比例，并且，二者可W成对数比， 或者，预先准备距离和移位量的对应表，并且可W通过应用该表来确定移位量。此时，为了 使各区域的移位方向相同，而使水平方向上的移位量与垂直方向上的移位量之比恒定。作 为另一选择，也可W通过如下所示的处理，来确定水平方向与垂直方向的移位量之比。
[0101] 图8是示出用来确定水平方向与垂直方向的移位量之比的处理的流程的流程图。
[0102] 在步骤S801，系统控制单元208生成W预定比率进行了移位的图像。在紧接在处理 开始之后的阶段中，生成W预定初始值(例如，:1的比率)进行了移位的移位图像。
[0103] 在步骤S802,系统控制单元20如角定在步骤S801获得的移位图像内、是否存在被摄 体区域的重叠。在存在被摄体区域的重叠的情况下，过程进入到步骤S803。另一方面，在不 存在被摄体区域的重叠的情况下，过程进入到步骤S805。
[0104] 在步骤S803,系统控制单元208确定如下的比例是否超过预定阔值(例如，50%)， 所述比例中的一方是在被摄体区域上重叠的另一被摄体区域后面要显示的被摄体区域的 隐藏部分的面积，另一方是在所述另一被摄体区域后面要显示的被摄体区域的面积。在运 种情况下，要在后面显示的被摄体区域的隐藏部分的面积的比例越小，则越能够让用户适 当地掌握被摄体。预定阔值是考虑到运一点而被预先确定的。在隐藏部分的面积的比例超 过阔值的情况下，过程进入到步骤S804。另一方面，在隐藏部分的面积的比例不超过阔值的 情况下，过程进入到步骤S805。
[0105] 在步骤S804,系统控制单元208改变在水平方向与垂直方向上进行移位的比率，并 且过程返回到步骤S801。亦即，改变比率，使得如下的比例变小，所述比例中的一方是在被 摄体区域上重叠的另一被摄体区域后面要显示的被摄体区域的隐藏部分的面积，另一方是 要在后面显示的被摄体区域的面积;然后，生成依照改变后的比率而进行了移位的移位图 像。
[0106] 在步骤S805,系统控制单元20如角定在要在后面显示的被摄体区域的隐藏区域的 比例变为低于阔值的情况下的比率，作为用于显示的正式比率。将依照如上所述确定的比 率的移位量，确定为移位图像生成中的移位量。
[0107] 在移位图像生成处理中，期望在如下的方向上将被摄体区域移位，在所述方向上， 与近距离的被摄体相对应的被摄体区域(第一被摄体区域)看起来低于与远距离的被摄体 相对应的被摄体区域(第二被摄体区域）。运是因为，由此能够产生由用户从前方俯视场景 的、并且适合于用户的感觉的显示。此外，将上述背景区域(在快口的光圈全开的情况下、使 二维图像中的最远距离的被摄体对焦时的前方景深中包括的区域)作为对位置(坐标)进行 移位时的基准。之所W将"背景区域"作为基准来进行移位，是出于W下的原因。本发明的目 的是使用户容易地掌握哪个被摄体被取焦，并且即使在光圈值被改变的情况下，在最远距 离的被摄体对焦的情况下的、在光圈全开时的被摄体深度中包括的区域也被辨识为对焦。 图9是示出对提取出4个被摄体区域的图像(参见图7)进行移位图像生成处理的结果的图， 并且已知依照各被摄体区域的距离，来对该被摄体区域的位置(坐标)进行移位。在图9中的 示例中，为了使对各被摄体区域进行移位的方向相同，而使水平方向与垂直方向的移位量 之比恒定。
[0108] 返回到图3中的流程图的说明。
[0109] 在步骤S309,系统控制单元208对通过步骤S308的移位图像生成处理而生成的"移 位图像"中的各被摄体区域进行剪切处理(斜变形处理），使得水平方向发生倾斜。通过进行 该剪切处理，使得能够产生更适合于用户从斜前方观察场景的感觉的显示。通过预先确定 的剪切角度，来确定在何种程度上应用斜变形。图10是示出对移位图像中的各被摄体区域 (参见图9)进行剪切处理的结果的图。通过该剪切处理，使得用户能够更容易地掌握被摄体 之间的距离间隔。剪切角度可W是预先确定的给定角度，或者，也可W使用户能够任意地指 定剪切角度。
[0110] 在步骤S310,系统控制单元208基于移位方向及剪切角度，来进行叠加(组合)网格 图案的处理。例如，生成包括与移位方向相同方向的线段、w及与剪切(斜变形)方向相同方 向的线段的地面网格图案，并且将该地面网格图案叠加在图像上。图11是示出在经历了剪 切处理的图10中的图像上叠加网格图案的结果的图。由此，使得用户能够更加容易地掌握 被摄体之间的距离间隔。在图11中的示例中，重叠并显示总共两种网格图案:地面网格图案 1101及壁面网格图案1102。由此，使得能够产生更加适合于用户从斜前方观察场景的感觉 的显示。也可W将"背景区域"显示为"壁"，并且不显示与更远距离相对应的网格图案。由 此，使得用户能够直观地掌握景深等的改变的极限（亦即，对于被显示为"壁"的部分，聚焦 距离或景深不能改变）。
[0111] 在步骤S311，系统控制单元208由拍摄图像的图像拍摄条件(焦点、曝光、白平衡 等），来推导前方景深和后方景深。例如，通过利用下面的式(2)及式(3)进行算术运算，分别 推导出前方景深和后方景深。
[0112] 前方景深(111111) = (3~2*8.。)/矿2+1?*8.。）*..式（2)
[0113] 后方景深(mm) = (R~2 · δ · F)/(f ~2-R · δ · F) · · ·式(3)
[0114] 在上述的式（2)及式(3)中，R表示与对焦被摄体(但不是无限远）的距离(mm)，f表 示透镜的焦距(mm)，F表示透镜的光圈值，并且δ表示容许弥散圆直径(mm)。
[0115] 容许弥散圆直径是由图像感测元件的对角线长度推导出的特征值，并且例如对于 具有36mm的宽度、24mm的高度及43.27mm的对角线长度的图像感测元件，使用0.03328mm的 值。
[0116] 在步骤S312,系统控制单元208进行如下的处理:在拍摄图像上，叠加（组合)表示 与对焦被摄体的距离（W下称为"聚焦距离"）、W及表示在步骤S311推导出的前方景深和后 方景深的指标。亦即，在步骤S310叠加的地面网格图案上的、与运些距离相对应的位置，叠 加充当指标的图像。图12是示出在组合有网格图案的图11中的图像上、叠加聚焦距离的指 标W及景深的指标(前方景深的指标和后方景深的指标）的结果的图。在图12中，指标1201 表示人(被摄体P)沿地面网格图案所处的位置在深度方向上的距离（聚焦距离），从而代表 人(被摄体P)对焦。指标1202及1203分别表示沿地面网格图案的前方景深和后方景深，从而 代表侧向的汽车(被摄体C)在景深中（能够辨识出被摄体C在拍摄图像中对焦）。
[0117] 在步骤S313,系统控制单元208在显示单元101上，显示在步骤S312组合了各指标 的拍摄图像。然后，如后所述，通过由用户对组合的指标给出指令并进行操作，能够控制图 像拍摄透镜201、快口202的光圈等，W改变聚焦距离及景深。此时，也可W依照用来移动指 标的用户操作，产生与指标的位置相对应的网格线的突出显示，或者与其他被摄体的区域 的显示不同地，显示与该位置相对应的被摄体的区域。由此，用户能够更清楚地掌握哪个被 摄体被对焦，或者哪个被摄体在景深中。
[0118] 在步骤S314,系统控制单元20如角定是否存在用户在显示单元101上的触摸操作。 在存在用户的触摸操作的情况下，过程进入到步骤S315。另一方面，在不存在用户的触摸操 作的情况下，过程返回到步骤S305。
[0119] 在步骤S315,系统控制单元20如角定用户的触摸操作是否为"在聚焦距离的指标附 近进行触摸着屏然后进行移动"的操作。在用户的触摸操作是"在聚焦距离的指标附近进行 触摸着屏然后进行移动"的操作的情况下，过程进入到步骤S316。另一方面，在用户的触摸 操作是"在聚焦距离的指标附近进行触摸着屏然后进行移动"的操作之外的操作的情况下， 过程进入到步骤S318。
[0120] 在步骤S316,系统控制单元208控制图像拍摄透镜201，使得与用户触摸的位置相 对应的距离的被摄体被对焦，从而调整焦点。
[0121] 在步骤S317,系统控制单元208将表示聚焦距离的指标的显示位置，移动到用户触 摸的位置。
[0122] 在步骤S318,系统控制单元20如角定用户的触摸操作是否为"在景深的指标附近进 行触摸着屏然后进行双指捏合或双指分开"的操作。在用户的触摸操作是"在景深的指标附 近进行触摸着屏然后进行双指捏合或双指分开"的操作的情况下，过程进入到步骤S319。另 一方面，在用户的触摸操作是"在景深的指标附近进行触摸着屏然后进行双指捏合或双指 分开"的操作之外的操作的情况下，过程进入到步骤S321。
[0123] 在步骤S319,系统控制单元208控制图像拍摄透镜201及快口 202,使得分别与用户 的两个手指(接触的手指)相对应的距离之间的被摄体被对焦，从而调整景深。已知在诸如 焦距及容许弥散圆直径等的条件被固定的情况下，景深通过减小光圈而增加。能够通过使 用ND(中性密度)滤波器，或者通过增大或减小图像感测元件的灵敏度，来调整由于光圈值 的改变而导致的光量的增加或减少。
[0124] 在步骤S320,系统控制单元208将表示景深的两个指标的显示位置，分别移动到用 户的两个手指接触的位置。
[0125] 在步骤S321，系统控制单元208进行与用户的触摸操作的内容相对应的处理。例 如，在从拍摄图像中提取出的区域中的任何区域被用户触摸的情况下，系统控制单元208控 制图像拍摄透镜201使得与该区域相对应的距离被对焦，并且将表示聚焦距离的指标的显 示位置移动到相应的位置。
[0126] 在步骤S314 ,系统控制单元208依照诸如用户关闭电源等的预定结束操作，而退出 本处理。
[0127] 如上所述，通过应用了根据本实施例的图像处理装置的数字照相机，使得用户能 够在图像接近实际图像的状态下，在该数字照相机的UI上直观地掌握哪个被摄体被对焦。 [012引[第二实施例]
[0129] 接下来，说明如下的方面作为第二实施例，在该方面中，根据本发明的图像处理装 置被应用于处置光场数据的信息处理装置。与第一实施例共同的部分的说明被简化或省 略，并且，在此主要说明不同点。
[0130] 首先，说明光场数据。
[0131] 光场数据(光线信息)是针对光线路径来记录光量的数据。具体而言，在该数据中， 针对穿过两个平行平面上的坐标(第一平面上的坐标(u，v)和第二平面上的坐标(x，y))的 光线，用作为u、v、x及y的函数的1^(11，￥，^，7)来表示该光线的光量1^。与此相反，用单个平面 上的坐标(x，y)处的光线的光量，来表示二维图像。例如，记录图像感测元件的坐标(x，y)处 的光量的是拍摄图像的二维图像。换言之，W与第一平面上的坐标的个数相对应的数量使 二维图像成束的是光场数据。
[0132] 作为用于通过图像拍摄装置来获取光场数据的方法，可W提及的有在图像感测元 件的前面布置微透镜阵列的方法、控制光圈的开口位置的方法等。总之，能够通过与相平行 的平面上的坐标(例如，各微透镜的位置的坐标)相对应地记录图像感测元件的坐标处的光 量，来获得光场数据。
[0133] 通过针对上述第一平面上的坐标(u，v)的部分或全部、对光场数据L(u，v，x，y)求 积分(计算总和），而获得能够在二维显示器上显示的二维图像。亦即，使得能够通过叠加构 成光场数据的、与上述第一平面上的固定范围内的坐标相对应的多个二维图像，而在二维 显示器上显示所述多个二维图像。
[0134] 通过叠加构成光场数据的二维图像、使得在叠加运些二维图像时特定距离的被摄 体的位置与自身一致，能够获得该距离的被摄体对焦的二维图像。相反，构成光场数据的二 维图像各自具有与上述第一平面上的坐标之间的分隔距离相对应的视差，因此，所述特定 距离之外的距离的被摄体在位置移位的情况下被叠加，结果运些被摄体的图像在获得的二 维图像上发生模糊。
[0135] 通过W与上述第一平面上的小范围内的坐标相对应的量、叠加构成光场数据的二 维图像，使得各二维图像的视差被限定，因此，能够获得具有大的景深的二维图像。亦即，通 过改变与要叠加的二维图像相对应的上述第一平面上的范围，使得能够改变通过叠加而获 得的二维图像的景深。
[0136] 还能够通过应用"图像相关方法"，W如下的方式由光场数据获得距离图像。亦即， 从上述第一平面中选择两个坐标，并且比较与运两个坐标相对应的两个二维图像。针对两 个二维图像中的一个图像中的任意像素周围的小区域，在其他二维图像中指定具有相似图 案的小区域，并且计算两个相应小区域在两个二维图像之间的移动量。该移动量是所谓的 "视差"，并且与在所述坐标处显示的被摄体的距离成反比例。结果，通过由针对各坐标的视 差求出与被摄体的距离，并将该距离反映在该坐标处的像素的颜色(例如，灰色浓淡度）中， 而获得距离图像。
[0137] 图13是示出处置光场数据的、诸如一般个人计算机下称为"PC'）及平板终端等 进行信息处理的装置的内部结构的示例的图。
[0138] 在图13中，装置1300包括CPU 1301、硬盘化0)1302、存储器1303、显示控制单元 1304、输入单元1305、驱动设备1306及通信I/F 1307,并且运些单元通过内部总线1308而相 互连接。连接到内部总线1308的各单元能够经由内部总线1308来相互发送和接收数据。
[0139] 在硬盘1302中，存储了图像数据、其他数据、使CPU 1301工作的各种程序。存储器 1303包括例如RAM。作为显示控制单元、改变单元及计算单元的CPU 1301依照例如存储在硬 盘1302中的程序，使用存储器1303作为工作存储器来控制装置1300的各单元。使CPU 1301 工作的程序不局限于存储在硬盘1302中的程序，并且，也可W将程序预先存储在例如未示 意性地示出的ROM中。
[0140] 输入单元1305接收用户操作，并依照该操作而生成控制信号，然后将该信号供给 至CPU 1301。例如，输入单元1305具有诸如键盘等的字符信息输入设备、诸如鼠标及触摸板 等的指点设备等，作为被配置为接收用户操作的输入设备。触摸板是如下的输入设备，通过 该输入设备，输出依照被配置为例如平面形状的输入单元1305上的触摸位置的坐标信息。 CPU 1301基于响应于对输入设备进行的用户操作而由输入单元1305生成并供给的控制信 号，依照程序来控制装置1300的各单元。由此，能够使装置1300依照用户操作来进行操作。
[0141] 显示控制单元1304输出用于使显示器1310显示图像的显示信号。例如，向显示控 制单元1304,供给由CPU 1301依照程序而生成的显示控制信号。显示控制单元1304基于显 示控制信号而生成显示信号，并将该信号输出至显示器1310。例如，显示控制单元1304基于 由CPU 1301生成的显示控制信号，而使显示器1310显示构成GUI (图像用户界面）的GUI画 面。
[0142] 在将触摸板用作输入单元1305的情况下，也可W-体地配置输入单元1305和显示 器1310。
[0143] 在驱动设备1306上，能够安装诸如CD及DVD等的外部存储介质1320,并且驱动设备 1306基于CPU 1301的控制，从安装在驱动设备1306上的外部存储介质1320中读取数据、W 及将数据写入至外部存储介质1320。能够在驱动设备1306上安装的外部存储介质1320不局 限于诸如CD及DVD等的盘存储介质，并且，可W将诸如存储卡等的非易失性半导体存储器安 装在驱动设备1306上。通信接口（I/F)1307基于CPU 1301的控制，而与诸如LAN及互联网等 的网络1330通信。
[0144] 图14是示出在根据本实施例的处置光场数据的装置中进行的图像处理的流程的 流程图。通过由CPU 1301将记录在硬盘1302或者未示意性地示出的ROM中的程序展开到存 储器1303上，并执行运些程序，来实现运一系列处理。
[0145] 首先，由通过图像拍摄装置获得的光场数据，来生成二维图像(步骤S1401)，并且 由显示控制单元1304在显示器1310上显示所生成的二维图像(步骤S1402)。
[0146] 然后，确定是否存在来自用户的改变显示模式的指令，并且在存在改变显示模式 的指令的情况下，过程进入到步骤S1404,而在不存在改变显示模式的指令的情况下，过程 返回到步骤S1402 (步骤S1403)。
[0147] 后续的步骤S1404至步骤S1412的各处理对应于第一实施例中的步骤S305至步骤 S313。亦即，进行W下的各处理。
[0148] ?检测二维图像中包括的被摄体的处理(步骤S1404)
[0149] ?获取二维图像的距离信息(距离图像)的处理(步骤S1405)
[0150] ?基于在步骤S1404检测到的被摄体W及在步骤S1405获取到的距离信息来提取 被摄体区域的处理(步骤S1406)
[0151] ?针对提取出的各被摄体区域、依照距离信息来生成移位图像的处理（步骤 S1407)
[0152] ?在生成的移位图像上进行用来使水平方向倾斜的剪切处理的处理(步骤S1408)
[0153] ?基于移位方向及剪切角度来叠加网格图案的处理(步骤S1409)
[0154] ?推导二维图像的前方景深和后方景深的处理(步骤S1410)
[0155] ?将各自表示与对焦被摄体的距离(对焦距离）、前方景深和后方景深的指标与二 维图像组合的处理(步骤S1411)
[0156] .在显示器1310上显示组合了指标的二维图像的处理(步骤S1412)
[0157] 在上述的各处理之后，在步骤S1413,确定针对在显示器1310上显示的图像内的各 指标是否存在用户指令/操作。在运种情况下，针对指标的用户指令/操作在一般PC的情况 下使用鼠标来输入，并且在具有触摸板的平板终端的情况下通过与第一实施例中相同的触 摸操作来输入。在存在针对指标的用户指令/操作的情况下，过程进入到步骤S1414,而在不 存在用户指令/操作的情况下，过程返回到步骤S1404。
[0158] 然后，依照由用户指定的指标的新位置，利用前述的光场数据来进行用来改变聚 焦距离和/或景深的处理(步骤S1414)。相伴随地，将表示聚焦距离或景深的指标的显示位 置移动到用户指定的新位置(步骤S1415)。
[0159] 在用户进行了预定的退出操作、例如给出了退出应用的指令的情况下，退出本处 理（步骤S1416)。
[0160] 在本实施例中同样地，在上述的步骤S1405,作为距离信息，例如生成如同图6中一 样的距离图像，并且通过步骤S1407的移位图像生成处理，获得如同图9中一样使各被摄体 区域的位置移位的"移位图像"。亦即，与仅基于光场数据而改变视点的图像(在运种情况 下，W立体方式来表现各被摄体)不同，在此获得各被摄体区域被表现为用作背景幕布(舞 台布景）的一部分的便携绘图（各被摄体区域不具有深度并且W平面方式来表现）的图像。 由此，使用户更容易地掌握对各被摄体的距离感。
[0161] 如上所述，通过根据本实施例的装置，同样使得用户能够在图像接近实际图像的 状态下，在PC等的显示器上直观地掌握哪个被摄体被对焦。
[0162] [第S实施例]
[0163] 在第一及第二实施例中，使得能够通过依照各被摄体区域的距离而使各被摄体区 域的位置移位的、并且接近实际图像的图像(移位图像），来直观地掌握能够进行再聚焦的 范围。在第Ξ及后续实施例中，说明了如下的方面:使得能够利用依照各被摄体区域的距离 而改变了各被摄体区域的坐标(布置)的图像，来直观地掌握能够进行再聚焦的范围。
[0164] 图15是示出根据本实施例的照相机阵列图像拍摄装置(也简称为"照相机阵列"， 如通常所说的照相机阵列系统及多镜头照相机等）的内部结构的框图。图像拍摄单元1500 通过由图像感测元件接收被摄体的光信息，并通过对接收到的信号进行A/D转换，来获取图 像数据(数字数据）。在从用户接收到进行图像拍摄的指令时，所述图像数据被作为拍摄图 像数据保存在诸如SD卡等的存储介质中。由根据本实施例的图像拍摄单元1500获取的图像 数据，是从多个视点捕捉被摄体空间的、并且具有视差的图像的数据下称为"视差图像 数据"）。由图像拍摄单元1500获取的图像数据也被用于所谓的实时取景（live view)功能 中，W在配设于图像拍摄装置的背面的显示单元1506上，实时地依次显示图像。在下文中， 响应于来自用户的进行图像拍摄的指令而被保存在存储介质中的图像被称为记录图像，并 且在实时取景显示中实时显示的图像被称为实时取景图像。
[0165] 中央处理单元(CPUH501对W下描述的各单元进行总体控制。RAM1502用作主存储 器、工作区等。ROM 1503存储在CPU 1501中执行的控制程序等。总线1504是各种数据的传送 路径，并且例如，由图像拍摄单元1500获取的数字数据经由总线1504而被发送到预定处理 单元。被配置为接收用户的指令的操作单元1505包括按钮、模式转盘等。在被配置为显示图 像及字符的显示单元1506中，例如使用液晶显示器。显示单元1506可W具有触摸屏功能，并 且在运种情况下，也可W将使用触摸屏的用户指示作为向操作单元1505的输入。在本实施 例中，在显示能够进行再聚焦的范围、并且指定再聚焦时的聚焦位置的情况下，通过经由运 种触摸屏的用户输入来指定运样的位置。
[0166] 显示控制单元1507进行在显示单元1506上显示的图像及字符的显示控制。图像拍 摄单元控制单元1508基于来自CPU 1501的指令，来进行图像拍摄系统的控制，诸如聚焦、快 口打开/关闭W及孔径光阔调整等。数字信号处理单元1509对经由总线1504接收到的数字 数据，进行诸如白平衡处理、伽玛处理及噪声降低处理等的各种处理。编码器单元1510进行 用来将数字数据转换为诸如肝EG及MPEG等的文件格式的处理。外部存储器控制单元1511是 被配置为连接到PC及其他介质(例如，硬盘、存储卡、CF卡、SD卡、USB存储器)的接口。图像处 理单元1512对由图像拍摄单元1500获取到的图像数据，或者从数字信号处理单元1509输出 的图像数据，进行后述的诸如再聚焦处理等的图像处理。稍后将描述图像处理单元1512的 详情。曝光状态预测单元1513预测在图像拍摄时的图像拍摄单元1500的曝光状态。存在除 上面所述之外的图像拍摄装置的构成要素，然而，运些构成要素不是本发明的主要目的，因 此省略说明。
[0167]首先，详细说明图像拍摄单元1500的结构。
[016引如上所述，图像拍摄单元1500获取视差图像数据，即光场数据。在图16至图19中示 出了图像拍摄单元1500的结构示例。其中，图16至图18各自示出了在图像形成光学系统的 图像侧布置了透镜阵列的结构，并且图19示出了布置多个图像形成光学系统的结构（照相 机阵列）。作为图像拍摄单元的结构，期望采用如图16至图19所示的、能够同时获得来自多 个视点的图像的照相机阵列结构。运是因为，通过使用单照相机图像拍摄装置、在改变位置 的同时多次进行图像拍摄的方法，所获得的是在不同时间拍摄的被摄体空间的图像的视差 图像数据，并且在被摄体空间中存在移动物体的情况下，无法获得准确的视差信息。
[0169] 通过进行像素的提取、再布置、组合等的处理，能够对由具有图16至图19中所示的 结构的图像拍摄单元1500获取到的视差图像数据，进行再聚焦、景深控制、视点改变等。在 下文中，如上所述的处理被称为图像组合处理，并且通过图像组合处理而生成的图像被称 为组合图像。也可W对组合图像进行诸如噪声降低等的处理、W及诸如景深控制等的处理。 此外，在被摄体空间中能够进行再聚焦的范围被称为"焦点控制范围"。
[0170] 在此，详细说明图16中所示的图像拍摄单元1500的内部结构。
[0171] 透镜阵列1603被布置在图像形成光学系统1602的、相对于被摄体面1601的图像侧 共辆面上。此外，透镜阵列1603被配置为使得图像形成光学系统1602的出射光瞳和图像感 测元件1604大致建立起共辆关系。来自被摄体面1601的光线经由图像形成光学系统1602及 透镜阵列1603,依照该光线在被摄体面1601上的位置及角度，而入射至图像感测元件1604 的不同像素。由此，获取到视差图像数据(光场数据）。在此，透镜阵列1603具有如下的作用： 防止已穿过被摄体面1601上的不同位置的光线入射至同一像素。结果，在图像感测元件 1604中获取到如下的图像，在该图像中，并排布置了从多个视点捕捉的被摄体面1601上的 同一区域的像素组。
[0172] 诸如人及建筑物等的物体不一定必须存在于图16至图19中的被摄体面1601上。运 是因为，能够通过图像拍摄后的再聚焦，来聚焦存在于被摄体面1601后面或前面的人或建 筑物。
[0173] <再聚焦的原理>
[0174] 在下文中，说明再聚焦处理。在"Fourier Slice 曲otography"by Ren Ng,2005 ACM Trans.Gra地.24，p735 to 744(《傅立叶切片摄影》，Ren Ng撰，《ACM图形学汇刊》2005 年第24期，第735至744页）中详细说明了再聚焦，因此，运里给出简要说明。再聚焦的基本原 理在图16至图19中的各结构中是共通的。在此，说明图16中的结构作为示例。在图16中，图 像形成光学系统的光瞳被W二维方式划分为9个光瞳（一个维度上为3个），因此，结果获取 到来自9个视点的图像。在此，与某一划分出的光瞳相对应的图像称为单视点图像。9个单视 点图像彼此间具有视差，因此，图像上的被摄体的相对位置关系依照被摄体距离而改变。在 对单视点图像进行组合、使得某一被摄体自身重叠的情况下，位于不同被摄体距离处的被 摄体在移位状态下被组合。因为该移位，使得位于不同被摄体距离处的被摄体发生模糊。此 时的模糊取决于与用于组合的单视点图像相对应的光瞳，并且在组合了全部9个单视点图 像的情况下，能够再现由图像形成光学系统1602获取到的图像的模糊。与单视点图像相组 合的在自身上重叠的被摄体是任意的，因此，能够再现在图像形成光学系统1602中使任意 被摄体对焦的图像。运就是图像拍摄后的焦点控制，即 再聚焦的原理。
[0175] 在此，说明在本实施例中用于生成单视点图像的方法。图20是描绘图16中的透镜 阵列1603与图像感测元件1604之间的关系的图。虚线圆圈2001代表已穿过构成透镜阵列 1603的一个透镜(微透镜）的光线入射到的像素的区域。图20对应于W网格的形式布置了多 个微透镜的情况，然而，微透镜的布置不局限于此。例如，所述布置可W具有六角对称性(蜂 窝结构）。也可W将各微透镜从规则布置稍微移位。图20中的斜线区域2002代表已穿过图像 形成光学系统1602的同一光瞳区域的光线入射到的像素。结果，通过提取斜线区域1602中 的像素，能够生成在从图像形成光学系统1602的光瞳下方观察被摄体空间的情况下的单视 点图像。同样，通过提取相对于虚线圆圈2001的相对位置相同的像素，也能够生成另一单视 点图像。
[0176] <焦点控制范围>
[0Π 7]接下来，说明能够进行再聚焦的焦点控制范围。
[0178] 通过叠加单视点图像来进行再聚焦，因此，无法对各单视点图像内发生模糊的被 摄体进行再聚焦。运是因为，即使通过叠加模糊图像，也不能获得高频分量，并且图像仍然 模糊。
[0179] 随着光瞳被划分为较小的光瞳，各单视点图像中的景深变深，因此，焦点控制范围 扩大。亦即，焦点控制范围依赖于图像形成光学系统1602的划分后的光瞳。然而，单视点图 像中的景深不一定与焦点控制范围一致。运是因为，依据单视点图像与通过组合单视点图 像而获得的组合图像的分辨率之比，焦点控制范围会有改变。例如，在组合图像的分辨率低 于来自各视点的单视点图像的分辨率的情况下，组合图像中的空间分量的采样间距相对于 单视点图像中而变大。因为运样，组合图像的景深变为比单视点图像深，并且相伴随地，焦 点控制范围扩大。相反，在组合图像的分辨率高于单视点图像的情况下，焦点控制范围变为 窄于单视点图像的景深。
[0180] 作为用于使组合图像的分辨率高于单视点图像的方法，可W设想使用基于像素移 位的超析像(super-resolution)等。如前所述，在再聚焦中，通过使单视点图像彼此间相对 移位来进行组合。在此时的移位量不是单视点图像的像素间距的整数倍的情况下，能够进 行基于像素移位的超析像，并且组合图像的分辨率能够被提高。
[0181] 从到目前为止的讨论中，能够知道有必要考虑到在组合单视点图像时的条件，W 便获取组合图像中的准确焦点控制范围。
[0182] 接下来，说明如何推导组合图像的焦点控制范围。考虑与组合图像的景深相对应 的焦点深度。焦点深度的容许弥散圆被取为ε，并且光线的角分量的采样间距被取为Au。此 时，再聚焦的系数〇±由^下的式(4)来给出。
[0183]
[0184] 与使用式(4)表示的在图像侧能够进行再聚焦的范围a+s2至a-s2共辆的范围（相 对于图像形成光学系统1602共辆的范围），是作为在物体侧能够进行再聚焦的范围的焦点 控制范围。图21示意性地示出了式(4)的关系，并且能够进行再聚焦的范围的中屯、位置是图 像形成光学系统1602的焦点位置(在运种情况下，透镜阵列1603的位置是能够进行再聚焦 的范围的中屯、位置）。在此，s2是图像形成光学系统1602的图像侧主平面与相对于被摄体面 1601的图像形成光学系统1602的图像侧共辆面之间的间隔。在图21中，图像侧焦点控制范 围是指与经由图像形成光学系统1602的焦点控制范围共辆的范围。此外，Ay是光的二维强 度分布的采样间距，并且在图16中的结构中，Ay等于透镜阵列1603的间距Ala。式(4)的关 系在图16至图19中的各结构中也成立。
[0185] 然后，因为与图像形成光学系统1602的出射光瞳距离P相比，图像感测元件1604的 像素间距A足够小，因此，式(4)可W近似为下面的式(5)。
[0186] a、.x:二'、: +NFi； · · ·'武巧)
[0187] 在此，图像形成光学系统1602的出射光瞳距离P是W下两者之间的间隔，其中一者 是图像形成光学系统1602的出射光瞳面，另一者是相对于被摄体面1601的图像形成光学系 统1602的图像侧共辆面。另外，N是图像形成光学系统1602的一维划分的光瞳数，并且F是图 像形成光学系统1602的F数。能够由图像形成光学系统1602的焦距f及透镜有效直径D，通过 W下的式(6)来推导F数。
[0188] F = f/D. · ·式(6)
[0189] 亦即，根据图像形成光学系统的一维划分的光瞳数、W及由图像形成光学系统的 焦距和透镜有效直径限定的视场角的范围，来确定能够进行再聚焦的范围（焦点控制范 围）。此外，根据后述的组合图像数据的分辨率，来确定能够进行再聚焦的范围。
[0190] <图像处理单元>
[0191 ]接下来，详细说明图像处理单元的结构。
[0192] 图22是示出根据本实施例的图像处理单元1512的内部结构的框图。
[0193] 视差图像数据获取单元2201获取从图像拍摄单元1500等供给的视差图像数据。
[0194] 光学参数获取单元2202获取距离推导单元2203及焦点控制范围推导单元2207所 必需的图像拍摄单元1500的光学参数。在此，光学参数是指图像拍摄单元1500的结构、光圈 等的曝光状态、焦点位置、变焦透镜的焦距等。
[0195] 距离推导单元2203推导到场景中的被摄体的距离的信息。使用从视差图像数据获 取单元2201供给的视差图像数据、W及从光学参数获取单元2202供给的光学参数，来推导 到被摄体的距离。稍后将描述距离推导的详情。
[0196] 被摄体区域提取单元2204进行如下的处理:基于场景中的被摄体W及从距离推导 单元2203供给的距离信息，来提取要经历再布置图像生成单元2205中的处理的被摄体区 域。该被摄体区域提取处理也可W说成是针对各固定距离来分离被摄体区域的处理。
[0197] 再布置图像生成单元2205进行如下的处理:依照从距离推导单元2203供给的距离 信息，来改变在被摄体区域提取单元2204中提取的各被摄体区域的位置(坐标）。通过该处 理，生成如下的图像，在该图像中，依照距图像拍摄装置的距离而对各被摄体区域进行再布 置（w下称为"再布置图像"），并且通过该图像，使得能够容易地掌握对各被摄体区域的距 离感。
[0198] 图像组合参数获取单元2206获取图像组合所需的参数(组合后的分辨率、视点、焦 点位置、景深等）。
[0199] 焦点控制范围推导单元2207使用从光学参数获取单元2202供给的光学参数、W及 从图像组合参数获取单元2206供给的图像组合参数，来推导焦点控制范围。
[0200] 焦点位置获取单元2208基于经由操作单元1505的用户输入，来获取图像组合时的 焦点位置。在本实施例的情况下，由用户基于由再布置图像生成单元2205生成的再布置图 像、并经由作为操作单元1505的触摸屏而指定的距离，被指定作为焦点位置。关于指定的焦 点位置的信息被发送到显示图像生成单元2209。
[0201] 显示图像生成单元2209生成如下的图像，在该图像中，针对在再布置图像生成单 元2205中生成的再布置图像，而反映了关于聚焦状态的信息(焦点位置、焦点控制范围、景 深等）（W下称为"聚焦信息显示图像"）。在进行生成时，使用从上述各单元供给的光学参 数、图像组合参数、焦点控制范围及焦点位置。可W针对图像拍摄前的实时取景图像，或者 针对图像拍摄后的记录图像，来进行聚焦信息显示图像的生成。另外，聚焦信息显示图像可 W基于视差图像中包括的任意单视点图像，或者可W基于通过组合多个单视点图像而获得 的组合图像。生成的聚焦信息显示图像的数据被输出到显示单元1506。假设根据本实施例 的显示图像生成单元2209还使用视差图像数据，依照图像组合参数来进行图像组合处理， 然而，也可W与显示图像生成单元2209独立地，来配设被配置为进行图像组合处理的处理 单元。
[0202] 图23是示出根据本实施例的图像处理单元1512中的处理的流程的流程图。通过在 将描述了 W下所示的过程的计算机可执行程序从ROM 1503中读取到RAM 1502上之后，由 CPU 1501执行该程序，来进行运一系列处理。
[0203] 在步骤S2301，视差图像数据获取单元2201获取由图像拍摄单元1500获取的视差 图像数据。如上所述，在此获取的视差图像数据可W是作为实时取景图像的视差图像数据， 或者可W是作为记录图像的视差图像数据。
[0204] 在步骤S2302,光学参数获取单元2202和图像组合参数获取单元2206分别获取光 学参数和图像组合参数。
[020引在步骤S2303,距离推导单元2203推导整个场景中的距离信息。具体而言，距离推 导单元2203通过用于在视差图像中包括的单视点图像之间进行立体匹配的方法等，来推导 场景的距离。例如，在立体匹配方法中，首先，将充当基准的单视点图像(例如，与穿过光瞳 的中屯、附近的光线相对应的单视点图像)划分为多个块，并且在其他单视点图像之中，检测 距目标块最近的块位置。然后，通过利用两个块之间的位置关系、相应光瞳之间的位置关系 W及各光瞳的视场角，由Ξ角测量来推导目标块的距离。作为充当基准的单视点图像，也可 W选择视点位置在中屯、之外的单视点图像。另外，作为用于获取距离信息的方法，除了上述 的立体匹配方法之外，还存在诸如DFD(散焦测距，Depth From Defocus)等的方法、W及使 用利用红外线等的测距单元来进行测量的方法。
[0206]图24A是示出单视点图像的示例的图，并且图24B示出了作为针对图24A中的单视 点图像而推导出的距离信息的距离图。在图24A中所示的单视点图像中获得的场景中，3种 被摄体(人，建筑物，山）存在于W图像拍摄装置作为基准的不同距离处。图24B中所示的距 离图是依照离图像拍摄装置的距离而通过色调来显示的，并且图像拍摄装置附近的被摄体 "人"用最深色调的颜色来显示，远离图像拍摄装置的被摄体"山"用最浅色调的颜色来显 示，并且位于人与山之间的被摄体"建筑物"用中间色调的颜色来显示。如上所述，在该步 骤，推导出场景中的被摄体的距离信息。
[0207] 返回到图23中的流程图的说明。
[0208] 在步骤S2304,被摄体区域提取单元2204进行如下的处理:基于在步骤S2303推导 出的整个场景的距离图，来提取被摄体区域。该被摄体区域提取处理也可W说成是针对各 固定距离来分离被摄体区域的处理。对具有大致相同距离的图像区域进行分组，并且将分 组的图像区域提取作为被摄体区域。作为用于提取被摄体区域的方法，除了使用被摄体的 距离信息的方法之外，可W提及的例如还有如下的方法。
[0209] 1)通过对视差图像数据应用诸如面部辨识等的技术，来识别存在人、动物、植物等 的区域，并且将识别出的人等提取作为被摄体区域。
[0210] 2)预先准备诸如人、动物及植物等代表性的关注物体的图像数据作为模板，并且 通过与该模板的匹配处理来提取被摄体区域。
[0211] 3)如同在神经网络中一样进行预先学习，并且通过利用学习结果识别主要物体， 来提取被摄体区域。
[0212] 除了使用被摄体的距离信息的方法之外，还可W通过应用如上述的1)至3)中所述 的各种公知方法，来实现本实施例中的被摄体区域的提取。
[0213] 图25A和图25B分别是示出从图24B中所示的距离图中提取被摄体区域的结果的示 例的图，并且，图25A示出了在沿各被摄体的轮廓提取出被摄体区域的情况下的图，并且图 25B示出了在各被摄体外接的矩形区域被提取作为被摄体区域的情况下的图。在图25A及图 25B中，用虚线包围的各区域分别是与"人"、"建筑物"及"山"相对应的被摄体区域。作为用 于提取被摄体区域的方法，也可W应用其他方法，只要区域被设置为包括主要被摄体即可。 例如，也可W用诸如圆形、楠圆形、Ξ角形及多边形等的任意形状，来定义被摄体区域。
[0214] 返回到图23中的流程图的说明。
[0215] 在步骤S2305,再布置图像生成单元2205利用在步骤S2303推导出的整个场景中的 距离信息、W及在步骤S2304提取出的场景中的被摄体区域，来生成场景的再布置图像。
[0216] 图26A至图2抓分别是示出在从正上方俯视图24A中所示的单视点图像的场景的情 况下的再布置图像的示例的图。图24A至图24D中的"被摄体距离"不一定必须是到实际被摄 体的按比例缩小的距离，并且例如，可W用倒数比或对数比来表示被摄体距离，或者也可W 通过预先准备实际距离和相应的值彼此关联的对应表，而应用该表格。在通过按比例缩小 实际距离进行再布置、来显示实际距离可能达到数千米或更多的诸如"山"等的远景、W及 实际距离是数米至数十米的"人"及"建筑物"的情况下，与远景中的被摄体相比，近景中的 被摄体在小的区域中被密集地显示。然而，"被摄体距离"充当指导，W让用户掌握被摄体的 聚焦状态或者改变被摄体的聚焦状态，因此，聚焦状态一般不同的近景中的被摄体被密集 地显示的情况是不适当的，因为运使得用户难W掌握或改变被摄体的聚焦状态。此外，与近 距离的被摄体相比，由于远景中的被摄体的距离而导致的聚焦状态之间的差异非常轻微， 因此，即使在远景中的被摄体被密集地显示的情况下，在用户掌握远景中的被摄体的聚焦 状态方面，也不会出现任何问题。因此，在图像拍摄装置的显示单元上能够显示的一边的像 素数是640、并且诸如"山"、"建筑物"及"人"等的被摄体分别位于例如离图像拍摄装置 10km、8m及2m的距离处的情况下，通过产生分别在从显示区域的端部移动0像素、80像素及 320像素的位置对被摄体进行再布置的显示，被摄体在显示单元上被显示得更加稀疏，因 此，该显示便于用户掌握或改变聚焦状态。
[0217] 在图26A至图26D各图中，距图像拍摄装置较近的位置被显示在下部，并且离图像 拍摄装置较远的位置被显示在上部，因此，"人"因为位于距图像拍摄装置最近的位置，而被 布置在下部，并且"山"因为位于离图像拍摄装置最远的位置，而被布置在上部。图26A是如 下的再布置图像，在该再布置图像中，在与各被摄体距离相对应的位置，再布置了沿在步骤 S2304提取出的被摄体区域(参见上述的图25A)而从上述单视点图像中切出的图像区域。在 该再布置图像的情况下，与被摄体距离相关联地布置了单视点图像的一部分，因此，在图 26A至图26D之中，运是最接近实际图像的再布置图像。图26B是如下的再布置图像，在该再 布置图像中，在与各被摄体距离相对应的位置，再布置了从在步骤S2303推导出的距离图 (参见图24B)中沿上述被摄体区域提取的图像区域。在该再布置图像的情况下，用与距离相 对应的浓淡度来显示各图像区域，因此，在该再布置图像中，被摄体距离被强调。图26C及图 26D分别是如下的再布置图像，在该再布置图像中，在与各被摄体距离相对应的位置，对在 步骤S2304提取出的被摄体区域的边框(参见上述的图25A及图25B)进行了再布置。在运些 再布置图像的情况下，再布置图像更加简化。
[0218] 返回到图23中的流程图的说明。
[0219] 在步骤S2306,焦点控制范围推导单元2207通过使用在步骤S2302获取到的光学参 数及图像组合参数，来推导在对在步骤S2301获取到的视差图像进行了图像组合的情况下 的焦点控制范围。下面给出详细说明。
[0220] 如前所述，焦点控制范围依据各单视点图像与组合图像的分辨率之比而改变，然 而，在此为了简化说明，考虑分辨率之比是1的情况。在图像侧焦点控制范围在由上述式巧） 表示的范围内的情况下，能够断定，已经获取到能够进行焦点控制的区域。因此，相对于被 摄体面1601的图像形成光学系统1602的图像侧共辆面和图像侧焦点控制范围drefocus仅需 要满足W下的式(7)。
[0221] -ΝΡε <dnf〇cus<NFe · · ·式（7)
[0222] 图27是示出图16中所示的图像拍摄单元1500的结构中的光学布置的图，并且，曰是 透镜阵列1603的图像侧主平面与图像感测元件1604之间的间隔。在图27中，从中屯、的微透 镜两端延伸的两条平行虚线代表与运些微透镜相对应的图像感测元件1604的区域，并且， 图像感测元件1604内的带斜线的像素代表无光线入射的死区。在本实施例中，透镜阵列 1603被配置为能够防止死区产生，并且在运种情况下，Ala= ΔΝ成立。然而，所述结构不局 限于此，并且可W存在死区。从图27中，能够知道NF = 〇/A在几何学的角度成立。通过用空 间分量的采样间距A y= Ala来表征决定焦点深度的容许弥散 圆的大小，能够将式(7)改写 为下面的式(8)。
[0223]
[0224]
[0225] 接下来，考虑如下的一般情况:单视点图像与组合图像的分辨率之比不为1。组合 图像和用于组合的单视点图像的视场角是相同的，因此，在分辨率之比不为1的情况下，Ay 在两者之间是不同的。一般而言，A y越小，则容许弥散圆越小，而Δ y越大，则容许弥散圆越 大。因为运样，能够通过虑及单视点图像与组合图像的Ay之比，而将上述的式(8)扩展为下 面的式(9)。
[0226]
[0227]在此，Rm。。。表示用于组合的单视点图像的分辨率，并且Rcomb表示组合图像的分辨 率。通过计算Rm。。。与Rwmb之比的平方根，而获得Ay之比。从图27中能够知道，单视点图像的 分辨率Rm。。。用下面的式(10 )来表示。
[022引
[0229] 在此，Rtntai表示图像感测元件1604的有效像素数。由式(9)及式（10)，获得图像侧 焦点控制范围需要满足的如下条件表达式(11)。
[0230]
[0231] 在上述的条件表达式（11)中，范围被设置在±10.0之间，然而，通过将范围设置在 ±6.0之间，能够获得更清晰的组合图像。更理想的是，通过将范围设置在±3.0之间，能够 获得还要更加清晰的组合图像。
[0232] 在下文中，示出了各值的具体示例。
[023引 ?图像感ii元件1604的有效像素数Rt0tai:46.7X 106(pix)
[0234] ?透镜阵列1603的图像侧主平面与图像感测元件1604之间的间隔〇:〇.〇374(mm)
[0235] ?图像感测元件1604的像素间距Δ :〇.〇〇43(mm)
[0236] ?透镜阵列 1603的间距 ALA:0.0129(mm)
[0237] ?图像形成光学系统1602的焦距：14.0(mm)
[023引·F数：2.9
[0239] ?一维划分的光瞳数N: 3
[0240] ?每个单视点图像的分辨率Rm〇n〇:5.2X106(pix)
[0241] .条件表达式（11)的范围、与条件表达式（11)的各范围相对应的组合图像的分辨 率Rcomb W及与组合图像的各分辨率相对应的山ef DCUS例如如下面的表(1 )所示。
[0242]
[024引 表(1)
[0244] 通过经由操作单元1505的用户输入，例如从上述3种类型之中选择组合图像的分 辨率Rcomb。
[024引在上述示例中，已知因为每个单视点图像的分辨率Rmnn。是5.2X106pix，所W为了 生成例如8.0X106pix的组合图像，需要通过基于像素移位的超析像等来提高分辨率。上述 的组合图像的各分辨率RcDmb的值是作为示例，并且种类数不局限于巧巾。仅需要适当地确定 满足上述条件表达式（11 )的Rcomb及山ef OCUS。
[0246] 能够通过利用图像侧焦点控制范围W及图像形成光学系统1602的焦距及焦点位 置，由图像形成公式来计算焦点控制范围。W运种方式获取的焦点控制范围的信息可W作 为标签信息，被附加至视差图像数据或组合图像数据，并且被存储在ROM 1503中。作为另一 选择，也可W创建与各种条件相对应的焦点控制范围的表格，并将该表格存储在ROM 1503 中，然后读取与输入的条件相对应的数据，而不是进行上述的算术运算来推导焦点控制范 围。
[0247] 作为用于获取焦点控制范围的另一方法，可W设想如下的方法:通过实际生成进 行了再聚焦的组合图像，来评价存在于焦点位置的被摄体的对比度等。然而，利用该方法， 需要在移动焦点位置的同时生成组合图像，并依次确定是否能够成功进行再聚焦，因此，要 花费时间来进行处理。此外，在进行再聚焦的焦点位置不存在被摄体的情况下，不能实施评 价，因此，无法获取准确的焦点控制范围。因此，期望使用前述的方法，W便获取焦点控制范 围。
[0248] 返回到图23中的流程图的说明。
[0249] 在步骤S2307,显示图像生成单元2209生成作为在步骤S2305生成的再布置图像 的、并且反映了关于聚焦状态的信息(焦点位置、焦点控制范围、景深等)的聚焦信息显示图 像。在进行生成时，使用在步骤S2302获取到的光学参数及图像组合参数、W及在步骤S2306 推导出的焦点控制范围。
[0250] 图28A及图28B分别是基于图26A中所示的再布置图像而生成的聚焦信息显示图像 的示例，并且，显示了焦点位置2801、焦点控制范围2802及景深2803各信息。在滑动条上用 矩形黑色标记表示的焦点位置2801表示光学参数中包括的在图像拍摄时的透镜的焦点位 置，或是后述的通过用户输入而指定的焦点位置。分别地，在图28A中的聚焦信息显示图像 中，将焦点位置2801设置在被摄体距离do的位置(人的位置），并且在图28B中的聚焦信息显 示图像中，将焦点位置2801设置在被摄体距离do '的位置(建筑物的位置）。在滑动条上用斜 线表示的焦点控制范围2802表示从被摄体距离dl(dl'）到被摄体距离d2(d2'）的范围，并且 在本实施例中，已知"人"和"建筑物"位于该焦点控制范围内的距离处。在下文中，假设在简 单地称作"焦点控制范围"的情况下，是指该物体侧焦点控制范围。在再布置图像上用斜线 表示的景深2803是从被摄体距离d3(d3'）到被摄体距离d4(d4'）的范围，并且，在图28A中的 聚焦信息显示图像中，示出了人对焦的焦点位置do的景深，并且在图28B中的聚焦信息显示 图像中，示出了建筑物对焦的焦点位置do'的景深。
[0251] 通过如上所述显示聚焦信息显示图像，使得用户能够直观地掌握关于场景中的被 摄体的信息和关于聚焦状态的信息运两者。在图28A及图28B中，为了便于说明，还示出了图 像拍摄装置的示意图、w及能够通过图像拍摄装置进行图像拍摄的视野范围（视场角） 2804,然而，在该步骤生成的聚焦信息显示图像中，不一定必须包括运些信息。
[0252] 返回到图23中的流程图的说明。
[0253] 在步骤S2308，显示图像生成单元2209向显示单元1506，输出在步骤S2307生成的 聚焦信息显示图像的数据。
[0254] 在步骤S2309，CPU 1501确定是否新进行了与再聚焦处理时的焦点位置相关的用 户输入。经由触摸屏或者图像拍摄装置的操作单元1505,来进行运种情况下的用户输入。例 如，可W设想在再布置图像上直接指定被期望新对焦的被摄体的方法、直接指定到新焦点 位置的被摄体距离的方法，或者通过操作滑动条上表示焦点位置2801的标记来进行指定的 方法。在进行了新焦点位置的输入的情况下，过程返回到步骤S2307,并且重复在步骤S2307 至步骤S2309的运一系列处理。例如，在显示了 "人"被设置在焦点位置的聚焦信息显示图像 (图28A)的状态下、进行了用来将"建筑物"设置为新焦点位置的用户输入的情况下，结果新 显示前述的图28B中所示的聚焦信息显示图像。如前所述，在图28B中，景深2803也依照新设 置的焦点位置(被摄体距离do'）而改变。亦即，在输入了再聚焦处理时的新焦点位置的情况 下，结果焦点控制范围2802不改变，而主要是聚焦位置2801W及该焦点位置的景深2803改 变。
[0255] 可W设想新输入的焦点位置超出焦点控制范围的情况。在运种情况下，也可W进 行警告通知，W提示用户输入焦点控制范围内的焦点位置。作为另一选择，也可W限制用户 能够输入的范围，W便不接收超出焦点控制范围的焦点位置。
[0256] 另一方面，在不存在新焦点位置的输入的情况下，退出本处理。
[0257] 在上述的示例中，说明了基于从正上方俯视场景的再布置图像的聚焦信息显示图 像。然而，聚焦信息显示图像不局限于上述的示例，并且可W设想各种方面。图29A至图29C 分别示出了聚焦信息显示图像的变化的示例。图29A是基于从横向俯视场景的再布置图像 的聚焦信息显示图像。图29B是基于从斜上方俯视场景的再布置图像的聚焦信息显示图像。 图29C是基于从斜横方向俯视场景的再布置图像的聚焦信息显示图像。如上所述，充当聚焦 信息显示图像的基础的再布置图像，可W是基于距离信息而在深度方向上按次序布置了被 摄体的任何图像。
[0巧引在步骤S2308,显示聚焦信息显示图像，并且此时，也可W同时显示由拍摄单元 1500获取的单视点图像、W及/或者在显示图像生成单元2209中组合的组合图像。图30A至 图30C分别示出了在聚焦信息显示图像中一起显示了单视点图像和/或组合图像的情况的 示例。
[0259]图30A示出了如下的情况:除了基于从横向俯视场景的再布置图像的聚焦信息显 示图像(参见前述的图29A)之外，还显示了单视点图像和两种组合图像。图30A中的组合图 像1是在通过将"人"作为关注被摄体而设置了焦点位置的状态(作为关注被摄体之外的被 摄体的"建筑物"及"山"因为位于景深范围之外而处于模糊状态)下的组合图像。图30A中的 组合图像2是在通过将"建筑物"作为关注被摄体而设置了焦点位置的状态(作为关注被摄 体之外的被摄体的"人"及"山"因为在景深范围之外而处于模糊状态）下的组合图像。在诸 如此类的再聚焦后的组合图像被同时显示的情况下，通过仅有关注被摄体对焦的组合图 像，使得用户能够更直观地检查指定的关注被摄体。在图30A中，从横向俯视场景的再布置 图像被用作基础，然而毫无疑问，可W将任何类型的再布置图像用作基础。此外，在图30A中 的示例中，显示了两种组合图像，然而，也可W显示仅一种组合图像，或者Ξ种或更多种组 合图像。
[0260] 图30B示出了如下的情况:除了基于从正上方俯视场景的再布置图像的聚焦信息 显示图像之外，还在通过将"人"作为关注被摄体而设置了焦点位置的情况下显示了组合图 像。通过W运种方式产生显示，使得能够在有限的显示画面内，高效地显示再布置图像、关 于聚焦状态的信息W及组合图像。图30B中的聚焦信息显示图像是基于图26A中所示的从正 上方俯视场景的再布置图像，其中省略了横向方向上的信息，并且仅保留了深度方向上的 信息。图30C示出了如下的情况:除了基于从正上方俯视场景的再布置图像的聚焦信息显示 图像之外，还显示了单视点图像。通过W运种方式同时显示单视点图像，能够在检测图像拍 摄时的图像的同时，直观地掌握聚焦状态。图30C中的聚焦信息显示图像是基于图26D中所 示的从正上方俯视场景的再布置图像，其中用矩形包围了被摄体区域，省略了横向方向上 的信息，并且仅保留了深度方向上的信息。
[0261] 如同上述，也可W连同聚焦信息显示图像一起，显示单视点图像及组合图像。
[0262] 在图28至图30中所示的聚焦信息显示图像中，能够与关于聚焦状态的信息同时 地，了解焦点位置、焦点控制范围及景深各信息。然而，没有必要同时示出所有信息，并且运 些信息可W单独显示。例如，也可W在开始时仅显示焦点位置及景深，然后响应于用户的指 令而显示焦点控制范围的信息。
[0263] 如上所述，根据本实施例，在图像拍摄时或者在编辑图像时，基于在深度方向上按 次序布置了被摄体的再布置图像，来显示关于聚焦状态的信息，诸如图像组合时的焦点位 置、焦点控制范围及景深等。由此，能够让用户在图像拍摄时W及/或者在编辑图像时，直观 地掌握被摄体的聚焦状态。
[0264] [第四实施例]
[0265] 在第Ξ实施例中，W图像拍摄装置包括具有图16中所示的结构的图像拍摄单元为 前提，而给出了说明。接下来，说明W图像拍摄装置包括具有图17及图18中所示的结构的图 像拍摄单元为前提的方面，作为第四实施例。在下文中，主要说明本实施例的特有之处。
[0266] 通过图17及图18中所示的结构，由图像感测元件1604来获取视差图像的数据，在 该视差图像的数据中，按次序布置了来自不同图像拍摄视点并且具有不同图像拍摄范围的 多个小图像。在图17中的结构中，透镜阵列1603被布置在图像形成光学系统与图像侧共辆 面之间（图像侧共辆面的左侧）。相反，在图18中的结构中，透镜阵列1603不是被布置在图像 形成光学系统与图像侧共辆面之间，而是布置在外面（图像侧共辆面的右侧）。因为运样，在 图18中的结构的情况下，透镜阵列1603将由图像形成光学系统1602形成的图像视为真实物 体，并且在图像感测元件1604上再次形成图像。然而，在运两种结构中，透镜阵列1603均将 由图像形成光学系统1602形成的图像视为物体，并在图像感测元件1604上形成该物体的图 像，因此，运两种结构在本质上是相同的。在下文中，说明图17中的结构作为示例，然而，该 说明的内容同样适用于图18中的结构。
[0267] 首先，说明本实施例中的图像组合(再聚焦)处理。
[0268] 定性地讲，该处理与第Ξ实施例中类似，并且在该处理中，W与被期望对焦的被摄 体的距离相对应的移位量，将图像形成光学系统1602的划分的光瞳的图像彼此叠加。
[0269]图31是作为图17中的结构中的主要部分的、透镜阵列1603及图像感测元件1604的 部分的放大图。在本实施例中，由物体侧的面是平的并且图像侧的面是凸面的微透镜，构成 透镜阵列1603。当然，透镜阵列1603的形状不局限于此。在图31中，单点划线代表各微透镜 的视场角。通过将由图像感测元件1604获得的像素值，经由与各像素相对应的微透镜投影 到虚拟图像形成面上，并组合运些像素值，能够生成虚拟图像形成面对焦的组合图像。在 此，虚拟图像形成面是指与被期望通过图像组合而被对焦的物体侧的面共辆的面(经由图 像形成光学系统1602共辆的面）。例如，为了在图17中生成被摄体面1601对焦的图像，将虚 拟图像形成面设置为图像侧共辆面1701。在图31中，为了易于理解，用W各微透镜的视场角 为单位移位的虚线，来代表在组合图像生成时投影的像素。也可W通过用于通过平移各像 素来组合图像的方法来生成组合图像，只要W与上述方法(将由图像感测元件1604获得的 像素值经由与各像素相对应的微透镜投影到虚拟图像形成面上的组合方法)相同的方式使 像素彼此叠加即可。此时，在入射于像素上的光束所穿过的透镜阵列1603的区域相同的情 况下，运些像素的平移量是相同的。亦即，依照入射于像素上的光束所穿过的透镜阵列1603 的区域，来确定在图17及图18中的组合图像生成时的像素的操作。
[0270]接下来，说明本实施例中的焦点控制范围。
[0271] 也通过与第Ξ实施例中相同的式(4)，来描述本实施例中的焦点控制范围。亦即， 与使用前述式(4)表示的图像侧的再聚焦范围a+s2至a-s2共辆的范围（相对于图像形成光 学系统1602共辆的范围），是作为物体侧的再聚焦范围的焦点控制范围。图32是与根据第Ξ 实施例的图21相对应的图。图32中的Ay代表光的二维强度分布的采样间距，并且Δγ=Δ σι/〇2成立(01:图像侧共辆面1701与透镜阵列1603的物体侧主平面之间的间隔，02:透镜阵 列1603的图像侧主平面与图像感测元件1604之间的间隔）。运是因为，透镜阵列1603将由图 像形成光学系统1602形成的图像视为虚拟物体，因而W〇2/〇i的倍率在图像感测元件1604上 形成缩小图像。然后，在本实施例中同样地，因为A <<P(P:图像形成光学系统1602的出射 光瞳距离），所W式(4)可W近似为式(5)。
[0272] 根据本实施例的图像处理单元1512中的处理的流程与根据第Ξ实施例的图23中 的流程图中相同，然而，图像拍摄单元1500的结构是不同的，因此，焦点控制范围被推导如 下（步骤S2306)。
[0273] 从图32中明显能够看出，NF = 〇i/ Δ laW及Δ y= Δ 〇ι/σ油几何学的角度成立，因 此，下面的式（12)成立。
[0274]
[0275] 由式（12)等，求出本实施例中的图像侧焦点控制范围drefwus应当满足的条件表达 式(13)。
[0276]
[0277] 如同在第Ξ实施例中一样，通过将上述条件表达式（13)中的±10.0的范围替换为 ± 6.0或± 3.0，能够获得更清晰的组合图像。
[0278] 在下文中，示出具体示例。
[0279] ?图像感 ii 元件 1604 的有效像素数 RtDtai:150.0X 106(pix)
[0280] . 〇i；〇.3712(mm)
[0281] · (52:0.0740(mm)
[0282] ?图像感测元件1604的像素间距Δ :〇.〇〇24(mm)
[028引 ?透镜阵列1603的间距ALA:0.0256(mm)
[0284] ?图像形成光学系统1602的广角端的焦距村:72.2(mm)
[028引 ?图像形成光学系统1602的远摄端的焦距fT: 194.0(mm)
[0286] · F数(从广角端到远摄端）：2.9
[0287] · 一维划分的光瞳数N: 5
[0288] ?每个单视点图像的分辨率Rm〇n〇:6.0X106pix
[0289] .条件表达式（13)的范围、与条件表达式（13)表示的各范围相对应的组合图像的 分辨率RcDmb W及与组合图像的各分辨率相对应的山ef DCUS例如如下面的表(2 )所示。
[0290]
[0291] 表(2)
[0292] 如同在第Ξ实施例中一样，通过经由操作单元1505的用户输入，例如从上述Ξ种 类型之中选择组合图像的分辨率Rcnmb。
[0293] 在上述示例中，已知每个单视点图像的分辨率Rmnn。是6.0 X 106pix，因此，为了生成 例如10.0X106pix的组合图像，有必要通过基于像素移位的超析像等来提高分辨率。
[0294] [第五实施例]
[0295] 接下来，说明W图像拍摄装置包括具有图19中所示的结构（照相机阵列）的图像拍 摄单元为前提的方面，作为第五实施例。在下文中，主要说明本实施例的特有之处。
[0296] 图33是在从正面(物体侧)观察图像拍摄单元1500的情况下的、根据本实施例的具 有图19中的照相机阵列的结构的图像拍摄单元1500的图，并且，示出了7个图像拍摄模块各 自中的图像形成光学系统1602a至1602gW及图像感测元件1604a至160?的布置。在图像拍 摄单元1500的情况下，照相机阵列具有W图像形成光学系统1602b的光轴作为旋转轴的六 角对称性。然而，照相机阵列的结构不局限于此，并且图像形成光学系统的数量和排列是任 意的。此外，与各图像形成光学系统1602a至1602g相对应地排列各图像感测元件1604a至 1604g，然而，在能够获取由各图像形成光学系统1602a至160?形成的图像的情况下，图像 感测元件的数量可W是一个。
[0297] 在具有图33中所示的结构的图像拍摄单元1500中，由各图像形成光学系统1602a 至160?折射的光线被相对应的各图像感测元件1604a至16(Mg接收。由图像感测元件1604a 至160?获取到的多个图像，是从不同视点观察的被摄体空间的视差图像。通过使用所述多 个视差图像进行图像组合，能够获得被摄体空间的光场。
[0298] 图％是从侧面观察的图像形成光学系统1602a及图像感测元件1604a的图（截面 图）。其他图像形成光学系统1602b至1602gW及图像感测元件1604b至160?是相同的，然 而，各图像形成光学系统的结构也可W彼此不同。图像形成光学系统1602a是单焦点透镜， 并且通过改变图像形成光学系统1602a与图像感测元件1604a之间的间隔，来进行再聚焦。
[0299] 如同在第Ξ实施例中一样，在本实施例中的图像组合处理中，同样W与被期望对 焦的被摄体的距离相对应的移位量，使来自各视点的图像彼此叠加。焦点控制范围也与由 前述式(4)所表示的相同。图35是与第Ξ实施例的图21相对应的图，并且在本实施例的情况 下，Ay=ΔW及Au二Pm。n。/Fm。n。成ΛZ。在此,Fm。n。代表各图像形成光学系统1602a至1602g的 F数，并且Pm。。。代表与各图像形成光学系统相对应的出射光瞳距离。然后，在本实施例中，Δ <<PmDn。，因此，式(4)可W近似为下面的式（14)。
[0300]
[0301] 根据本实施例的图像处理单元1512中的处理的流程与根据第Ξ实施例的图23中 的流程图中相同，然而，图像拍摄单元1500的结构是不同的，因此，焦点控制范围被推导如 下（步骤S2302及步骤S2306)。
[0302] 在本实施例的情况下，构成图像拍摄单元1500的各图像形成光学系统1602a至 1602g具有光圈值可变的光圈。因为运样，在步骤S2302,获取图像拍摄时的各图像形成光学 系统的光圈值作为光学参数。
[0303] 在步骤S2306,基于与第Ξ实施例相同的构思，在步骤S2302获得的图像拍摄时的 各图像形成光学系统1602a至160?的F数被代入为Fm。。。，并且推导出焦点控制范围。在此， 通过将由具有Fm。。。的F数的图像形成光学系统形成的图像的分辨率作为Rm。。。，而求出山efDcus 应当满足的条件表达式(15)。
[0304]
[030引如同在第Ξ实施例中一样，通过将上述条件表达式（15)中的±10.0的范围替换为 ± 6.0或± 3.0，能够获得更清晰的组合图像。
[0306] 在下文中，示出具体示例。
[0307] .各图像感测元件1604a至160?的有效像素数RmDnD:19.3X106(pix)
[030引?像素间距 Δ :0.0012(mm)
[0309].各图像形成光学系统160^1至160?的焦距:50.0(mm)
[0引0] · F数（Fmono):1.8
[0311] ?条件表达式（15)的范围、与条件表达式（15)表示的各范围相对应的组合图像的 分辨率RcDmbW及与组合图像的各分辨率相对应的山efDcus例如如下面的表(3)所示。
[0312]
[0313] 表(3)
[0314] 然后，如同在第Ξ实施例中一样，通过经由操作单元1505的用户输入，例如从上述 Ξ种类型之中选择组合图像的分辨率Rcnmb。
[0315] 在图像拍摄时的F数是不同F数的情况下，确定山efecusW便满足条件表达式(15)。 [0316][第六实施例]
[0317] 通过使用由具有图16至图19中所示的图像拍摄单元的图像拍摄装置获取的、W及 通过从多个不同视点进行图像拍摄而获得的视差图像，而实现了第Ξ实施例至第五实施例 中说明的图像组合处理。图像组合处理不局限于使用视差图像的图像组合处理。也可W在 后来通过图像处理，来调整来自单个视点的拍摄图像的数据的焦点位置及景深。
[0318] 例如，作为用于通过图像处理来改变焦点位置的方法，已知有如下的方法:依照与 焦点位置的相对距离来对拍摄图像数据进行滤波处理。在运种情况下，首先，获取具有深的 景深的拍摄图像的数据、W及场景的距离信息。通过独立于图像拍摄装置配设距离传感器， 或者通过分析图像拍摄装置的拍摄图像数据，来获取距离信息。接下来，针对被期望对焦的 被摄体(或被摄体距离），不进行滤波处理而使用原始的拍摄图像数据，并且针对被期望对 焦的被摄体之外的区域，由距离信息来求出与该被摄体的相对距离。然后，针对与被期望对 焦的被摄体的相对距离近的区域，进行用来减小模糊量的滤波处理(例如，用来相对地减小 滤波器尺寸的设置）。另一方面，针对与被期望对焦的被摄体的相对距离远的区域，进行用 来增大模糊量的滤波处理(例如，用来相对地增大滤波器尺寸的设置）。通过诸如此类的方 法，可W改变焦点位置。
[0319] 如上所述，通过用于针对单视点图像、依照与焦点位置的相对距离来对拍摄图像 数据进行滤波处理的方法，使得焦点控制范围为获取单视点图像时的景深。
[0320] 也能够使用与上述类似的方法，通过图像处理来调整景深的程度。亦即，在对拍摄 图像数据的滤波处理中，通过用来增大滤波器尺寸的设置，使得模糊量增大，并且能够生成 具有窄的景深的图像的数据。相反，为了生成具有深的景深的图像的数据，将滤波器尺寸减 小。
[0321] [第屯实施例]
[0322] 在第Ξ实施例至第六实施例中，通过对来自多个视点的图像或者来自单个视点的 图像进行图像组合处理，而生成焦点位置等被改变的图像。然而，能够在无需进行图像组合 处理的情况下，获得焦点位置等被改变的图像。
[0323] 例如，已知有用于获取多个拍摄图像数据的如下方法，该方法在慢慢地改变图像 拍摄参数的同时，通过包围图像拍摄来获取多个图像。具体而言，获取到如下的拍摄图像的 数据，在该拍摄图像的数据中，图像拍摄装置中包括的焦点调整环和光圈调整环被逐步地 改变。假设在通过包围图像拍摄而拍摄的图像数据中，图像拍摄时的参数被与拍摄图像一 体地保持。亦即，在第Ξ实施例至第五实施例中，由包括来自多个视点的图像的一个拍摄图 像数据，通过算术运算来生成焦点位置等被改变的组合图像，然而，在本实施例中，从通过 包围图像拍摄而获得的多个拍摄图像数据中，选择并显示期望的拍摄图像。
[0324] 在焦点位置被逐步改变的包围图像拍摄(焦点包围图像拍摄）中，在使用图像拍摄 装置中包括的、被配置为进行焦点调整的操作单元的同时，逐步地改变焦点位置，从而多次 进行图像拍摄。在前述的图26A中，在与图像拍摄装置不同的距离处存在巧巾被摄体(人，建 筑物，山），并且分别地，"人"位于距图像拍摄装置最近的位置，"建筑物"位于中间距离的位 置，并且"山"位于最远的位置。在本实施例中，通过连续地改变焦点位置，W便包括位于最 近位置到最远位置的被摄体，而获取到各焦点位置的拍摄图像数据。由此，能够获得"人"、 "建筑物"及"山"各被摄体对焦的拍摄图像。在实际的焦点包围图像拍摄中，还拍摄到无主 要被摄体存在的部分（例如，人与建筑物之间）对焦的图像。然后，在获得的拍摄图像数据 中，图像拍摄时的焦点位置的信息与拍摄图像相关联地被记录为距离信息。与在第六实施 例中一样，也可W通过独立于图像拍摄装置配设距离传感器，或者通过分析图像拍摄装置 的拍摄图像数据，来获取场景的距离信息。
[0325] 如上所述，通过包围图像拍摄，在不进行图像组合处理的情况下，显示了焦点位置 被逐步改变的拍摄图像的数据。在运种情况下，在包围图像拍摄时被改变的焦点位置之中， 焦点控制范围是从距图像拍摄装置最近的焦点位置到最远的焦点位置。另外，能够将景深 视为大致等同于在包围图像拍摄时通过图像拍摄装置的光圈调整环而确定的景深。
[0326] 此外，在如同在前述的图30A及图30B中一样、除了聚焦信息显示图像之外还显示 焦点位置被改变的图像的情况下，依照从焦点位置获取单元2208供给的焦点位置，来选择 并显示所需的拍摄图像。
[0327] 也可W如上面所说明的，使用通过包围图像拍摄而获得的多个拍摄图像数据，来 获得焦点位置被改变的图像的数据。
[0328] 其他实施方式
[0329] 另外，可W通过读出并执行记录在存储介质（例如，非临时性计算机可读存储介 质）上的计算机可执行指令、W执行本发明的上述实施例中的一个或更多实施例的功能的 系统或装置的计算机，来实现本发明的各实施例，并且，可W利用由通过例如读出并执行来 自存储介质的计算机可执行指令、W执行上述实施例中的一个或更多实施例的功能的系统 或装置的计算机来执行的方法，来实现本发明的各实施例。所述计算机可W包括中央处理 单元(CPU)、微处理单元(MPU)或其他电路中的一者或更多，并且可W包括分开的计算机或 分开的计算机处理器的网络。所述计算机可执行指令可W例如从网络或存储介质被提供给 计算机。所述存储介质可W包括例如硬盘、随机存取存储器(ram)、只读存储器(ROM)、分布 式计算系统的存储器、光盘(诸如压缩盘仰）、数字多用途盘化VD)或蓝光盘(BD)?)、闪存设 备、存储卡等中的一者或更多。
[0330] 虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不局限于所 公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，W使所述范围涵盖所 有的此类变型例W及等同结构和功能。
【主权项】
1. 一种图像处理装置，该图像处理装置包括： 获取单元，其被配置为获取包括多个被摄体区域的图像以及与所述多个被摄体区域相 对应的距离信息； 第一生成单元，其被配置为基于所述距离信息，来生成在所述图像中对所述多个被摄 体区域进行了再布置的再布置图像;以及 第二生成单元，其被配置为生成包括所述再布置图像的图像，其中，在所述再布置图像 中反映了关于用来改变包括所述多个被摄体区域的图像的聚焦状态的图像组合处理的聚 焦状态的信息。2. 根据权利要求1所述的图像处理装置，其中， 所述关于聚焦状态的信息包括焦点位置、景深及焦点控制范围中的至少一者。3. 根据权利要求1所述的图像处理装置，其中， 所述第一生成单元以如下的方式进行所述再布置，使得依照所述距离信息，而在深度 方向上按次序布置所述多个被摄体区域。4. 根据权利要求1所述的图像处理装置，其中， 所述距离信息是表示从已拍摄包括所述多个被摄体区域的图像的图像拍摄装置分别 距多个被摄体的距离的信息，并且， 所述图像处理装置还包括距离推导单元，该距离推导单元被配置为推导所述距离信 息。5. 根据权利要求4所述的图像处理装置，其中， 所述获取单元获取作为表示包括所述多个被摄体区域的图像的图像数据的、通过从多 个视点拍摄图像而获得的并且由分别与各个视点相对应的多个单视点图像构成的视差图 像数据，并且， 所述距离推导单元通过在所述多个单视点图像之间进行立体匹配，来推导所述距离信 息。6. 根据权利要求5所述的图像处理装置，其中， 所述获取单元获取作为表示包括所述多个被摄体区域的图像的图像数据的、通过从多 个视点拍摄图像而获得的并且由分别与各个视点相对应的多个单视点图像构成的视差图 像数据，并且， 所述第二生成单元基于所述多个单视点图像中的一个单视点图像，生成包括所述再布 置图像的图像，其中，在所述再布置图像中反映了关于所述图像组合处理的聚焦状态的信 息。7. 根据权利要求6所述的图像处理装置，其中， 所述获取单元获取作为表示包括所述多个被摄体区域的图像的图像数据的、通过从多 个视点拍摄图像而获得的并且由分别与各个视点相对应的多个单视点图像构成的视差图 像数据，并且， 所述第二生成单元基于通过所述图像组合处理而生成的图像，生成包括所述再布置图 像的图像，其中，在所述再布置图像中反映了关于所述图像组合处理的聚焦状态的信息。8. 根据权利要求1所述的图像处理装置，其中， 所述图像组合处理是用来组合通过从多个不同视点拍摄所述多个被摄体区域而获得 的多个视差图像的处理。9. 根据权利要求1所述的图像处理装置，其中， 所述图像组合处理是对包括所述多个被摄体区域的图像的滤波处理。10. 根据权利要求1所述的图像处理装置，该图像处理装置还包括提取单元，该提取单 元被配置为基于所述距离信息，从包括所述多个被摄体区域的图像中提取被摄体区域，其 中， 所述第一生成单元通过对由所述提取单元提取出的被摄体区域进行再布置，来生成所 述再布置图像。11. 根据权利要求10所述的图像处理装置，其中， 所述提取单元提取沿被摄体的轮廓的区域或者包括被摄体的任意形状的区域，作为所 述被摄体区域。12. -种具有根据权利要求1所述的图像处理装置的图像拍摄装置，该图像拍摄装置包 括： 接收单元，其被配置为接收用户指令； 显示单元，其被配置为显示反映了关于聚焦状态的信息的图像；以及 调整单元，其被配置为基于所述用户指令，来调整在所述显示单元中显示的图像的聚 焦状态。13. 根据权利要求12所述的具有所述图像处理装置的图像拍摄装置，其中， 所述显示单元具有实时取景功能，并且在实时取景中显示反映了关于聚焦状态的信息 的图像。14. 一种图像处理方法，该图像处理方法包括以下步骤： 获取包括多个被摄体区域的图像以及与所述多个被摄体区域相对应的距离信息； 基于所述距离信息，来生成在所述图像中对所述多个被摄体区域进行了再布置的再布 置图像；以及 生成包括所述再布置图像的图像，其中，在所述再布置图像中反映了关于用来改变包 括所述多个被摄体区域的图像的聚焦状态的图像组合处理的聚焦状态的信息。
【专利摘要】本发明提供一种图像处理装置、图像拍摄装置及图像处理方法。传统上，未清楚地指定在图像拍摄时或者在编辑图像时、在哪个范围内的被摄体上能够进行再聚焦，因此，用户难以通过自己预期的方式来拍摄图像或者编辑图像。所述图像处理装置具有：获取单元，其被配置为获取包括多个被摄体区域的图像以及与所述多个被摄体区域相对应的距离信息；以及生成单元，其被配置为基于所述距离信息，来生成在所述图像中对所述多个被摄体区域的位置进行了移位的移位图像。
【IPC分类】H04N5/232
【公开号】CN105491294
【申请号】CN201610015181
【发明人】堤正平
【申请人】佳能株式会社
【公开日】2016年4月13日
【申请日】2014年3月5日
【公告号】CN104038690A, US9270902, US20140253760, US20160134807
【专利说明】
[000。 本申请是申请日为2014年3月5日、申请号为201410078684.7、发明名称为"图像处 理装置、图像拍摄装置及图像处理方法"的发明专利申请的分案申请。
技术领域
[0002] 本发明设及一种用于获得关于被摄体的焦点控制的信息的图像处理装置、图像拍 摄装置及图像处理方法。
【背景技术】
[0003] 作为诸如数字照相机等的图像拍摄装置，已知有如下的装置，该装置通过由用户 W触摸板操作等指定拍摄图像中包括的被摄体，来进行该被摄体的聚焦调整(例如，日本特 开2011-39457号公报）。
[0004] 此外，还提出了如下的技术，该技术能够通过显示如下的地图图像，来使用户轻松 地掌握要拍摄图像的对焦对象(被摄体），其中，所述地图图像用于表示代表要拍摄图像的 对象在深度方向上的位置的深度位置、W及代表焦点的位置的焦点位置(例如，日本特开 2010-177741 号公报）。
[000引近年来，已知还有光场摄影技术，该技术获取光线的朝向（orientation)及强度的 信息(光场数据），并且通过后面的图像处理来进行焦点位置的调整(再聚焦）W及景深的调 整(例如，日本特表2008-515110号公报）。
[0006] 使用该技术存在如下的优点：因为能够在图像拍摄之后进行焦点调整，因此，能够 通过图像处理来弥补图像拍摄时的焦点调整的失败。此外，还存在如下的优点：能够通过改 变图像处理方法，由一个拍摄图像来获得在图像中使任意被摄体对焦的多个图像，因此，能 够减少图像拍摄的次数。
[0007] 在光场摄影中，由从多个视点拍摄的图像的数据，来计算穿过空间中的多个位置 中的各位置的光线的方向及强度(光场）。然后，通过使用获得的光场的信息，来计算在假设 光穿过虚拟光学系统并在虚拟传感器上形成图像的情况下的图像。通过适当地设置运样的 虚拟光学系统及虚拟传感器，能够实现先前描述的再聚焦。作为用于获取光场的图像拍摄 装置，已知在主透镜的后面布置有微透镜阵列的全光照相机(plenoptic camera)(例如，日 本特开2009-124213号公报）、W及并排布置有小型照相机的照相机阵列。运两者均能够通 过一次图像拍摄，来获得从不同方向拍摄的来自多个视点的被摄体图像的数据。换言之，可 W将光场摄影表述为：由来自多个视点的图像的数据，来计算要在虚拟光学条件下由虚拟 传感器获取的图像。在下文中，计算由虚拟传感器获取的图像的处理被称为"再聚焦处理"。 作为再聚焦处理，已知有如下的方法:获取的来自多个视点的图像的数据经历到虚拟传感 器上的射影变换，并且被相加和求平均(例如，W02008050904)。
[0008] 作为用于在改变焦点位置的同时、显示已经历再聚焦处理的图像下称为再聚 焦图像)的方法，可W提及的例如有美国专利2008/0131019号公报中公开的方法。在美国专 利2008/0131019号公报中公开的方法中，在显示再聚焦图像的画面上准备用来调整焦点位 置的用户界面化I)，并且经由该UI来改变焦点位置。另外，在美国专利2008/0131019号公报 中，公开了如下的方法:显示焦点位置被调整到如下的被摄体的再聚焦图像，其中，用户期 望将所述被摄体置于焦点位置，并通过显示有再聚焦图像的画面而给出了指令。
[0009] 在拍摄图像数据或光场数据的显示中，要对焦的对象存在于与图像拍摄位置相距 固定距离的平面上。然而，在通过指定特定被摄体来进行聚焦的情况下，用户无法掌握除所 述被摄体之外的哪个被摄体被对焦。
[0010] 另外，通过在日本特开2010-177741号公报中公开的技术，能够通过在深度方向上 按次序布置有如下标记的地图图像，来掌握哪个被摄体被对焦，其中，所述标记表示要拍摄 图像的对象;然而，地图图像与拍摄图像(实际图像)完全不同，因此，难W直观地掌握被摄 体。
[0011] 亦即，在上述专利文献等中公开的传统方法中，在摄影时或者在编辑图像时，未清 楚地指定在哪个范围内的被摄体上能够进行再聚焦，因此存在如下的问题：用户难W通过 自己预期的方式来进行图像拍摄或图像编辑。
【发明内容】
[0012] 根据本发明的图像处理装置具有:获取单元，其被配置为获取包括多个被摄体区 域的图像W及与所述多个被摄体区域相对应的距离信息；W及生成单元，其被配置为生成 在所述图像中对所述多个被摄体区域的位置进行了移位的移位图像。
[0013] 作为另选方案，所述图像处理装置具有:获取单元，其被配置为获取包括多个被摄 体区域的图像W及与所述多个被摄体区域相对应的距离信息；第一生成单元，其被配置为 基于所述距离信息，来生成在所述图像中对所述多个被摄体区域进行了再布置的再布置图 像；W及第二生成单元，其被配置为生成包括所述再布置图像的图像，其中，在所述再布置 图像中反映了关于用来改变包括所述多个被摄体区域的图像的聚焦状态的图像组合处理 的聚焦状态的信息。
[0014] 根据本发明，用户能够在摄影时或者在编辑图像时，直观地掌握被摄体的聚焦状 态。
[0015] 通过W下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
【附图说明】
[0016] 图1是示出数字照相机的外观的示例的图；
[0017] 图2是示出数字照相机的内部结构的框图；
[0018] 图3是示出图3A至图3C之间的关系的图，并且图3A至图3C是示出在根据第一实施 例的数字照相机中进行的图像处理的流程的流程图；
[0019] 图4是示出在数字照相机的显示单元上显示的二维图像的示例的图；
[0020] 图5是示出从二维图像中检测出被摄体的状态的图；
[0021] 图6是示出距离图像的示例的图；
[0022] 图7是示出提取出被摄体区域的状态的图；
[0023] 图8是示出用来确定水平方向与垂直方向的移位量之比的处理的流程的流程图；
[0024] 图9是示出对提取出被摄体区域的图像进行移位图像生成处理的结果的图；
[0025] 图10是示出对移位图像中的各被摄体区域进行剪切处理（shear processing)的 结果的图；
[0026] 图11是示出在经历了剪切处理的图像上叠加地面网格图案的结果的图；
[0027] 图12是示出在组合有地面网格图案的图像上、叠加聚焦距离的指标W及景深的指 标的结果的图；
[0028] 图13是示出处理光场数据的装置的内部结构的示例的图；
[0029] 图14是示出在根据第二实施例的装置中进行的图像处理的流程的流程图；
[0030] 图15是示出根据第Ξ实施例的照相机阵列图像拍摄装置的内部结构的框图；
[0031] 图16是在图像形成光学系统的图像侧布置了透镜阵列的结构的示例；
[0032] 图17是在图像形成光学系统的图像侧布置了透镜阵列的结构的示例；
[0033] 图18是在图像形成光学系统的图像侧布置了透镜阵列的结构的示例；
[0034] 图19是排列了多个图像形成光学系统的结构(照相机阵列）的示例；
[0035] 图20是示出透镜阵列与图像感测元件之间的关系的图；
[0036] 图21示意性地表示了第Ξ实施例中的表示再聚焦的系数〇±的表达式的关系；
[0037] 图22是示出根据第Ξ实施例的图像处理单元的内部结构的框图；
[0038] 图23是示出根据第Ξ实施例的图像处理单元中的处理的流程的流程图；
[0039] 图24A是示出单视点图像的示例的图，并且图24B是示出作为由单视点图像推导出 的距离信息的距离图的图；
[0040] 图25A及图25B分别是示出从距离图中提取被摄体区域的结果的示例的图；
[0041] 图26A至图2抓分别是示出在从正上方俯视单视点图像的场景的情况下的再布置 图像(rearranged image)的示例的图；
[0042] 图27是示出图16中所示的图像拍摄单元的结构中的光学布置的图；
[0043] 图28A及图28B分别是示出聚焦信息显示图像的示例的图；
[0044] 图29A至图29C分别是示出聚焦信息显示图像的变化的图；
[004引图30A至图30C分别是示出在连同单视点图像和/或组合图像一起显示聚焦信息显 示图像的情况下的示例的图；
[0046] 图31A及图31B分别是通过在图17中所示的图像拍摄单元的结构中主要放大透镜 阵列及图像感测元件的部分而获得的图；
[0047] 图32示意性地表示了第四实施例中的表示再聚焦的系数〇±的表达式的关系；
[0048] 图33是在从正面(物体侧)观察具有照相机阵列的结构的图像拍摄单元的情况下 的图；
[0049] 图34是在从侧面观察根据第五实施例的图像形成光学系统及图像感测元件的情 况下的图（截面）；W及
[0050] 图35示意性地表示了第五实施例中的表示再聚焦的系数〇±的表达式的关系。
【具体实施方式】
[0051 ]在下文中，参照附图来详细说明本发明的实施例。
[0052] [第一实施例]
[0053] 在此，说明根据本发明的图像处理装置被应用于数字照相机的方面，作为第一实 施例。
[0054] 图1是示出数字照相机的外观的示例的图。
[0055] 在显示单元101中，例如，使用液晶显示器，并且显示图像W及各种信息。显示单元 101具有触摸屏（touch screen)功能，并且能够检测对显示单元101的触摸。例如，触摸板 (touch panel)被配置为使得光的透射率不影响显示单元101的显示，并且该触摸板被附着 至显示单元101的显示面的上层。然后，使触摸板上的输入坐标和显示单元101上的显示坐 标彼此相关联。由此，能够配置如下的GUI,利用该GUI,能够让用户看起来像直接操作在显 示单元101上显示的画面一样。
[0056] 快口按钮102是用于给出进行图像拍摄的指令的操作单元。
[0057] 模式转盘103是用于切换各种模式的操作单元。
[0058] 连接器104是连接电缆111与数字照相机100之间的连接器。
[0059] 操作单元105包括用来接收来自用户的各种操作的各种开关、按钮等。
[0060] 控制器轮106是包括在操作单元105中的操作部件，并且能够被旋转操作。
[0061] 电源开关107在数字照相机100的电源的开启(on)与关闭(off)之间进行切换。
[0062] 存储介质108是用于存储拍摄图像数据及光场数据的、诸如存储卡及硬盘等的信 息存储介质。
[0063] 存储介质插槽109是用于容纳存储介质108的插槽。能够使在存储介质插槽109中 容纳的存储介质108与数字照相机100通信。
[0064] 盖子110是存储介质插槽109的盖子。
[006引图2是示出数字照相机100的内部结构的框图。
[0066] 图像拍摄透镜201包括聚焦透镜。
[0067] 快口包括光圈功能，并且W与快口按钮102联锁（interlock)的方式来控制曝光。
[0068] 图像拍摄单元203包括将光学图像转换为电信号的CCDXM0S元件等。
[0069] A/D转换器204将从图像拍摄单元203输出的模拟信号转换为数字信号。
[0070] 挡板205通过覆盖包括图像拍摄透镜201和快口202的图像拍摄单元203,来防止图 像拍摄系统的沾污和破损。
[0071] 图像处理单元206对来自A/D转换单元204的图像数据或者来自存储器控制单元 207的图像数据，进行大小调整处理(例如预定的像素插值和缩小）W及颜色转换处理。在图 像处理单元206中，使用拍摄图像数据来进行预定的算术运算处理，并且系统控制单元208 基于获得的算术运算结果，来进行曝光控制及距离测量控制。由此，进行TTL(通过镜头)AF (自动聚焦)处理、AE(自动曝光)处理及EF(预闪光)处理。在图像处理单元206中，使用拍摄 图像数据进一步进行预定的算术运算处理，并且还基于获得的算术运算结果来进行TTL AWB (自动白平衡)处理。来自A/D转换器204的图像数据经由图像处理单元206及存储器控制 单元207、或者经由存储器控制单元207,而被直接写入存储器209。
[0072] 存储器209存储由图像拍摄单元203获得并被A/D转换器204转换为数字数据的图 像数据、W及要在显示单元101上显示的图像数据。存储器209包括足W存储预定数量的静 止图像、预定时间段的运动图像W及声音的存储容量。通过利用显示单元101依次显示拍摄 图像数据，能够实现电子取景器功能（即显图像(throu曲-image)显示）。此外，存储器209还 充当用于显示图像的存储器(视频存储器）dD/A转换器210将用于显示存储在存储器209中 的图像的数据转换为模拟信号，并且将运些信号供给至显示单元101。W运种方式，经由D/A 转换器210,在显示单元101上显示被写入存储器209的待显示图像数据。
[0073] 显示单元101依照来自D/A转换器210的模拟信号，在诸如LCD等的显示器上产生显 /J、- 〇
[0074] 非易失性存储器211是电可擦除/可编程存储器，并且，例如使用邸PROM等。非易失 性存储器211存储用于系统控制单元208的操作的常数、程序等。在此所指的程序是用来执 行后述的各种流程图的程序。
[0075] 系统控制单元208控制整个数字照相机100。系统控制单元208通过执行前述的存 储在非易失性存储器211中的程序，来实现后述的各处理。作为系统存储器212,使用了 RAM， 并且在该RAM上，展开用于系统控制单元208的操作的常数、变量、从非易失性存储器211中 读取的程序等。此外，系统控制单元208还通过控制存储器209、D/A转换器210、显示单元101 等，来进行显示控制。此外，系统控制单元208能够检测对触摸板的W下操作。
[0076] ?用手指或笔对触摸板进行触摸的操作下称为触摸着屏(touch down))
[OOW] ?手指或笔与触摸板相接触的状态（w下称为触摸中（touch on))
[0078] .在使手指或笔与触摸板保持接触的状态下移动所述手指或笔的操作（W下称为 移动(move))
[0079] .用两个手指对触摸板进行触摸、并移动运两个手指W便缩窄运两个手指之间的 间隔的操作下称为双指捏合(pinch in))
[0080] .用两个手指对触摸板进行触摸、并移动运两个手指W便增大运两个手指之间的 间隔的操作下称为双指分开(pinch out))
[0081] .放开与触摸板接触的手指或笔的操作（W下称为触摸释放(touch up))
[0082] ?没有什么与触摸板相接触的状态（W下称为无触摸(touch off))
[0083] 向系统控制单元208,通知上述各种操作、W及手指或笔与触摸板相接触的位置的 坐标，并且系统控制单元208基于通知的信息，来确定在触摸板上进行了哪种操作。对于移 动而言，还能够基于位置坐标的改变，分别针对触摸板上的垂直分量和水平分量，来确定在 触摸板上移动的手指或笔的移动方向。假设在进行从触摸板上的触摸着屏到持续移动后的 触摸释放的运一系列操作的情况下，来描述划按（S化oke)。用来快速描述划按的操作称为 轻滑(flick)。轻滑是如下的操作:将与触摸板相接触的手指快速移动一定距离，然后放开 该手指。换言之，轻滑是在触摸板上快速滑动手指W便使该手指轻滑的操作。在检测到W预 定速度或更高速度移动了预定距离或更多的情况下，能够确定进行了轻滑。假设在检测到 W低于预定速度的速度移动了预定距离或更多的情况下，确定进行了拖动。作为触摸板，也 可W使用如下各种系统中的任何系统，诸如电阻膜系统、静电电容系统、表面声波系统、红 外系统、电磁感应系统、图像辨识系统及光学传感器系统等。
[0084] 模式转盘103将系统控制单元208的操作模式，切换到能够记录静止图像和运动图 像的图像拍摄模式、再现模式等中的任何模式。快口按钮102包括未示意性地示出的第一快 口开关和第二快口开关。第一快口开关在快口按钮102的操作当中、即通过所谓的半按下操 作(进行图像拍摄准备的指令)而开启，并且生成第一快口开关信号SW1。第一快口开关信号 SW1引发如下的操作，诸如AF(自动聚焦)处理、AE(自动曝光) 处理、AWB(自动白平衡)处理及 EF(预闪光)处理等下，将运些操作中的至少一者称为图像拍摄准备操作）。运些处理在 系统控制单元208的控制下进行。第二快口开关在快口按钮102的操作完成时、即通过所谓 的全按下操作(进行图像拍摄准备的指令)而开启，并且生成第二快口开关信号SW2。响应于 第二快口开关信号SW2,系统控制单元208开始一系列图像拍摄处理的操作，从自图像拍摄 单元203读取信号，到将图像数据写入至存储介质108。
[0085] 通过进行选择在显示单元101上显示的各种功能图标的操作，针对各场景向操作 单元105的各操作部件适当地分配功能，并且各操作部件充当各种功能按钮中的各按钮。功 能按钮包括例如结束按钮、返回按钮、图像转发按钮、跳转按钮、光圈缩小(narrow-down)按 钮、属性改变按钮等。例如，在按下了菜单按钮的情况下，在显示单元101上，显示能够用W 进行各种设置的菜单画面。用户能够利用在显示单元101上显示的菜单画面、四方向按钮W 及设定（SET)按钮，来直观地进行各种设置。控制器轮106是包括在操作单元105中的、并且 能够被旋转操作的操作部件，并且在指定被选择项目时与方向按钮一同使用。
[0086] 电源控制单元213包括电池检测电路、DC-DC转换器、切换要通电的模块的开关电 路等，并且检测是否附装了电池、电池的种类W及剩余电池寿命。此外，电源控制单元213基 于检测结果W及系统控制单元208的指令来控制DC-DC转换器，并且向包括存储介质108的 各单元供给必要时间段的必要电压。
[0087] 电源单元214包括诸如碱电池及裡电池等的一次电池、诸如NiCd电池、NiMH电池及 Li电池等的二次电池、AC适配器等。
[0088] 接口 215是与诸如存储卡及硬盘等的存储介质108的接口。
[0089] 图3A至图3C是示出在根据本实施例的数字照相机中进行的图像处理的流程的流 程图。通过由系统控制单元208在系统存储器212中展开存储在非易失性存储器211中的程 序，并执行运些程序，来实现运一系列处理。
[0090] 通过由用户开启电源，在步骤S301，系统控制单元208在预定的图像拍摄条件(聚 焦、曝光、白平衡等)下开始图像拍摄。运些图像拍摄条件依赖于装置的规格，诸如恢复并使 用电源关闭之前的值等。
[0091 ] 在步骤S302,系统控制单元208在显示单元101上，显示由图像拍摄单元203获取到 的二维图像。图4是示出在显示单元101上显示的二维图像的示例的图。图4中的二维图像是 在室外拍摄的图像，并且对天空进行了摄影，因此，到最远被摄体的距离是无限远。此时，在 最远被摄体"天空"被对焦的情况下(聚焦距离是无限远），该被摄体的前方景深变为等于所 谓的"超焦距"的1/2。超焦距的值通过下面的式(1)来获得。
[0092] 0-2)/(δ · F) · · ·式（1)
[0093] 在此，f表示透镜的焦距(mm)，F表示透镜的光圈值(f-stop)，并且δ表示容许弥散 圆（permissible circle of confusion)直径(mm)。
[0094] 例如，在透镜的焦距被取为50mm、全开光圈时的透镜的光圈值为2.8、并且容许弥 散圆直径为0.03328mm的情况下，超焦距是大约26.8m，并且前方景深是大约13.4m。在运种 情况下，距离大于约13.4m的区域是"背景区域"。在利用全开光圈使最远被摄体对焦、并且 前方景深中的某一被摄体被对焦的情况下，结果该范围内的所有被摄体均被对焦。因为运 样，通过将运些被摄体的区域显示为一个"背景区域"，能够向用户清楚地表明，该区域中的 被摄体不能被分类为被对焦的区域和未对焦的区域。
[0095] 在步骤S303,在针对诸如强制闪光/闪光禁止/自动等的各种设置、存在预定的用 户操作的情况下，系统控制单元208进行相应的设置。
[0096] 在步骤S304,系统控制单元20如角定是否存在来自用户的改变显示模式的指令。在 存在改变显示模式的指令的情况下，过程进入到步骤S305。另一方面，在不存在改变显示模 式的指令的情况下，过程返回到步骤S302。
[0097] 在步骤S305,系统控制单元208检测拍摄图像中包括的被摄体。作为用于检测拍摄 图像内的被摄体的方法，可W应用诸如在日本特开1997-186931号公报中公开的方法等的 各种方法。图5是示出从图4中所示的二维图像中、分别将人、侧向的汽车、交通标志及建筑 物检测为被摄体的状态的图。在图5中，树丛、邮箱及朝向正面的汽车各被摄体被认为是位 于光圈全开时的超焦距的1/2或更远的距离处，因而连同作为最远被摄体的"天空"一起，被 包括在上述的"背景区域"中。
[0098] 在步骤S306,系统控制单元208获取拍摄的二维图像的距离信息(到从二维图像中 检测到的各被摄体的距离的信息）。在此，距离信息是与二维图像的坐标相关联地记录的、 到二维图像中的各被摄体的距离的信息，并且例如对应于"距离图像(距离图Γ，在该距离 图像中，用灰色浓淡度(shade of gray)来代表坐标的深度的大小(离照相机的距离）。作为 用于获得拍摄图像的距离信息的方法，可W应用诸如在日本特开2001-169308号公报中公 开的方法等的各种方法。图6示出了针对图4中所示的二维图像而生成的距离图像的示例。 在图6中的距离图像中，用根据各距离而浓度不同的灰度级的图像，来表现人、侧向的汽车、 交通标志及建筑物运4个被摄体的区域(用最深的灰色浓淡度来表现距离最近的人，并用最 浅的灰色浓淡度来表现建筑物）。比建筑物远的诸如树丛等的被摄体被包括在如上所述的 背景的一部分中，因此，运些被摄体在此不被视为"被摄体"。
[0099] 在步骤S307中，系统控制单元208基于在步骤S305检测到的被摄体W及在步骤 S306获取到的距离信息，来进行用来提取在下一步骤S308要经历移位处理的被摄体区域的 处理。该被摄体区域提取处理也可W说成是针对各固定距离来分离被摄体区域的处理。例 如，在步骤S305检测到的、但不包括在背景区域中的被摄体之中，将固定距离的范围内（例 如，lm±50cm)的部分提取作为被摄体区域的单位之一。图7是示出从图4中所示的二维图像 中提取出被摄体区域的状态的图，并且，用虚线表示的部分(人、侧向的汽车、交通标志及建 筑物的各区域)代表提取出的各被摄体区域。
[0100] 在步骤S308,系统控制单元208依照在步骤S306获取到的距离信息，进行用来改变 (移位)在步骤S307提取出的各被摄体区域的位置(坐标)的处理，从而生成各被摄体区域在 固定方向上被移位的"移位图像"。例如，在到图7中所示的4个被摄体区域的距离分别对应 于lm、3m、5m及8m的情况下，生成如下的图像，在该图像中，各被摄体区域的坐标在水平方向 上W及在垂直方向上被分别移位预定量(例如，分别移位100像素、33像素、20像素和13像 素）。在"移位图像生成"中的移位量不一定必须与距离成反比例，并且，二者可W成对数比， 或者，预先准备距离和移位量的对应表，并且可W通过应用该表来确定移位量。此时，为了 使各区域的移位方向相同，而使水平方向上的移位量与垂直方向上的移位量之比恒定。作 为另一选择，也可W通过如下所示的处理，来确定水平方向与垂直方向的移位量之比。
[0101] 图8是示出用来确定水平方向与垂直方向的移位量之比的处理的流程的流程图。
[0102] 在步骤S801，系统控制单元208生成W预定比率进行了移位的图像。在紧接在处理 开始之后的阶段中，生成W预定初始值(例如，:1的比率)进行了移位的移位图像。
[0103] 在步骤S802,系统控制单元20如角定在步骤S801获得的移位图像内、是否存在被摄 体区域的重叠。在存在被摄体区域的重叠的情况下，过程进入到步骤S803。另一方面，在不 存在被摄体区域的重叠的情况下，过程进入到步骤S805。
[0104] 在步骤S803,系统控制单元208确定如下的比例是否超过预定阔值(例如，50%)， 所述比例中的一方是在被摄体区域上重叠的另一被摄体区域后面要显示的被摄体区域的 隐藏部分的面积，另一方是在所述另一被摄体区域后面要显示的被摄体区域的面积。在运 种情况下，要在后面显示的被摄体区域的隐藏部分的面积的比例越小，则越能够让用户适 当地掌握被摄体。预定阔值是考虑到运一点而被预先确定的。在隐藏部分的面积的比例超 过阔值的情况下，过程进入到步骤S804。另一方面，在隐藏部分的面积的比例不超过阔值的 情况下，过程进入到步骤S805。
[0105] 在步骤S804,系统控制单元208改变在水平方向与垂直方向上进行移位的比率，并 且过程返回到步骤S801。亦即，改变比率，使得如下的比例变小，所述比例中的一方是在被 摄体区域上重叠的另一被摄体区域后面要显示的被摄体区域的隐藏部分的面积，另一方是 要在后面显示的被摄体区域的面积;然后，生成依照改变后的比率而进行了移位的移位图 像。
[0106] 在步骤S805,系统控制单元20如角定在要在后面显示的被摄体区域的隐藏区域的 比例变为低于阔值的情况下的比率，作为用于显示的正式比率。将依照如上所述确定的比 率的移位量，确定为移位图像生成中的移位量。
[0107] 在移位图像生成处理中，期望在如下的方向上将被摄体区域移位，在所述方向上， 与近距离的被摄体相对应的被摄体区域(第一被摄体区域)看起来低于与远距离的被摄体 相对应的被摄体区域(第二被摄体区域）。运是因为，由此能够产生由用户从前方俯视场景 的、并且适合于用户的感觉的显示。此外，将上述背景区域(在快口的光圈全开的情况下、使 二维图像中的最远距离的被摄体对焦时的前方景深中包括的区域)作为对位置(坐标)进行 移位时的基准。之所W将"背景区域"作为基准来进行移位，是出于W下的原因。本发明的目 的是使用户容易地掌握哪个被摄体被取焦，并且即使在光圈值被改变的情况下，在最远距 离的被摄体对焦的情况下的、在光圈全开时的被摄体深度中包括的区域也被辨识为对焦。 图9是示出对提取出4个被摄体区域的图像(参见图7)进行移位图像生成处理的结果的图， 并且已知依照各被摄体区域的距离，来对该被摄体区域的位置(坐标)进行移位。在图9中的 示例中，为了使对各被摄体区域进行移位的方向相同，而使水平方向与垂直方向的移位量 之比恒定。
[0108] 返回到图3中的流程图的说明。
[0109] 在步骤S309,系统控制单元208对通过步骤S308的移位图像生成处理而生成的"移 位图像"中的各被摄体区域进行剪切处理(斜变形处理），使得水平方向发生倾斜。通过进行 该剪切处理，使得能够产生更适合于用户从斜前方观察场景的感觉的显示。通过预先确定 的剪切角度，来确定在何种程度上应用斜变形。图10是示出对移位图像中的各被摄体区域 (参见图9)进行剪切处理的结果的图。通过该剪切处理，使得用户能够更容易地掌握被摄体 之间的距离间隔。剪切角度可W是预先确定的给定角度，或者，也可W使用户能够任意地指 定剪切角度。
[0110] 在步骤S310,系统控制单元208基于移位方向及剪切角度，来进行叠加(组合)网格 图案的处理。例如，生成包括与移位方向相同方向的线段、w及与剪切(斜变形)方向相同方 向的线段的地面网格图案，并且将该地面网格图案叠加在图像上。图11是示出在经历了剪 切处理的图10中的图像上叠加网格图案的结果的图。由此，使得用户能够更加容易地掌握 被摄体之间的距离间隔。在图11中的示例中，重叠并显示总共两种网格图案:地面网格图案 1101及壁面网格图案1102。由此，使得能够产生更加适合于用户从斜前方观察场景的感觉 的显示。也可W将"背景区域"显示为"壁"，并且不显示与更远距离相对应的网格图案。由 此，使得用户能够直观地掌握景深等的改变的极限（亦即，对于被显示为"壁"的部分，聚焦 距离或景深不能改变）。
[0111] 在步骤S311，系统控制单元208由拍摄图像的图像拍摄条件(焦点、曝光、白平衡 等），来推导前方景深和后方景深。例如，通过利用下面的式(2)及式(3)进行算术运算，分别 推导出前方景深和后方景深。
[0112] 前方景深(111111) = (3~2*8.。)/矿2+1?*8.。）*..式（2)
[0113] 后方景深(mm) = (R~2 · δ · F)/(f ~2-R · δ · F) · · ·式(3)
[0114] 在上述的式（2)及式(3)中，R表示与对焦被摄体(但不是无限远）的距离(mm)，f表 示透镜的焦距(mm)，F表示透镜的光圈值，并且δ表示容许弥散圆直径(mm)。
[0115] 容许弥散圆直径是由图像感测元件的对角线长度推导出的特征值，并且例如对于 具有36mm的宽度、24mm的高度及43.27mm的对角线长度的图像感测元件，使用0.03328mm的 值。
[0116] 在步骤S312,系统控制单元208进行如下的处理:在拍摄图像上，叠加（组合)表示 与对焦被摄体的距离（W下称为"聚焦距离"）、W及表示在步骤S311推导出的前方景深和后 方景深的指标。亦即，在步骤S310叠加的地面网格图案上的、与运些距离相对应的位置，叠 加充当指标的图像。图12是示出在组合有网格图案的图11中的图像上、叠加聚焦距离的指 标W及景深的指标(前方景深的指标和后方景深的指标）的结果的图。在图12中，指标1201 表示人(被摄体P)沿地面网格图案所处的位置在深度方向上的距离（聚焦距离），从而代表 人(被摄体P)对焦。指标1202及1203分别表示沿地面网格图案的前方景深和后方景深，从而 代表侧向的汽车(被摄体C)在景深中（能够辨识出被摄体C在拍摄图像中对焦）。
[0117] 在步骤S313,系统控制单元208在显示单元101上，显示在步骤S312组合了各指标 的拍摄图像。然后，如后所述，通过由用户对组合的指标给出指令并进行操作，能够控制图 像拍摄透镜201、快口202的光圈等，W改变聚焦距离及景深。此时，也可W依照用来移动指 标的用户操作，产生与指标的位置相对应的网格线的突出显示，或者与其他被摄体的区域 的显示不同地，显示与该位置相对应的被摄体的区域。由此，用户能够更清楚地掌握哪个被 摄体被对焦，或者哪个被摄体在景深中。
[0118] 在步骤S314,系统控制单元20如角定是否存在用户在显示单元101上的触摸操作。 在存在用户的触摸操作的情况下，过程进入到步骤S315。另一方面，在不存在用户的触摸操 作的情况下，过程返回到步骤S305。
[0119] 在步骤S315,系统控制单元20如角定用户的触摸操作是否为"在聚焦距离的指标附 近进行触摸着屏然后进行移动"的操作。在用户的触摸操作是"在聚焦距离的指标附近进行 触摸着屏然后进行移动"的操作的情况下，过程进入到步骤S316。另一方面，在用户的触摸 操作是"在聚焦距离的指标附近进行触摸着屏然后进行移动"的操作之外的操作的情况下， 过程进入到步骤S318。
[0120] 在步骤S316,系统控制单元208控制图像拍摄透镜201，使得与用户触摸的位置相 对应的距离的被摄体被对焦，从而调整焦点。
[0121] 在步骤S317,系统控制单元208将表示聚焦距离的指标的显示位置，移动到用户触 摸的位置。
[0122] 在步骤S318,系统控制单元20如角定用户的触摸操作是否为"在景深的指标附近进 行触摸着屏然后进行双指捏合或双指分开"的操作。在用户的触摸操作是"在景深的指标附 近进行触摸着屏然后进行双指捏合或双指分开"的操作的情况下，过程进入到步骤S319。另 一方面，在用户的触摸操作是"在景深的指标附近进行触摸着屏然后进行双指捏合或双指 分开"的操作之外的操作的情况下，过程进入到步骤S321。
[0123] 在步骤S319,系统控制单元208控制图像拍摄透镜201及快口 202,使得分别与用户 的两个手指(接触的手指)相对应的距离之间的被摄体被对焦，从而调整景深。已知在诸如 焦距及容许弥散圆直径等的条件被固定的情况下，景深通过减小光圈而增加。能够通过使 用ND(中性密度)滤波器，或者通过增大或减小图像感测元件的灵敏度，来调整由于光圈值 的改变而导致的光量的增加或减少。
[0124] 在步骤S320,系统控制单元208将表示景深的两个指标的显示位置，分别移动到用 户的两个手指接触的位置。
[0125] 在步骤S321，系统控制单元208进行与用户的触摸操作的内容相对应的处理。例 如，在从拍摄图像中提取出的区域中的任何区域被用户触摸的情况下，系统控制单元208控 制图像拍摄透镜201使得与该区域相对应的距离被对焦，并且将表示聚焦距离的指标的显 示位置移动到相应的位置。
[0126] 在步骤S314 ,系统控制单元208依照诸如用户关闭电源等的预定结束操作，而退出 本处理。
[0127] 如上所述，通过应用了根据本实施例的图像处理装置的数字照相机，使得用户能 够在图像接近实际图像的状态下，在该数字照相机的UI上直观地掌握哪个被摄体被对焦。 [012引[第二实施例]
[0129] 接下来，说明如下的方面作为第二实施例，在该方面中，根据本发明的图像处理装 置被应用于处置光场数据的信息处理装置。与第一实施例共同的部分的说明被简化或省 略，并且，在此主要说明不同点。
[0130] 首先，说明光场数据。
[0131] 光场数据(光线信息)是针对光线路径来记录光量的数据。具体而言，在该数据中， 针对穿过两个平行平面上的坐标(第一平面上的坐标(u，v)和第二平面上的坐标(x，y))的 光线，用作为u、v、x及y的函数的1^(11，￥，^，7)来表示该光线的光量1^。与此相反，用单个平面 上的坐标(x，y)处的光线的光量，来表示二维图像。例如，记录图像感测元件的坐标(x，y)处 的光量的是拍摄图像的二维图像。换言之，W与第一平面上的坐标的个数相对应的数量使 二维图像成束的是光场数据。
[0132] 作为用于通过图像拍摄装置来获取光场数据的方法，可W提及的有在图像感测元 件的前面布置微透镜阵列的方法、控制光圈的开口位置的方法等。总之，能够通过与相平行 的平面上的坐标(例如，各微透镜的位置的坐标)相对应地记录图像感测元件的坐标处的光 量，来获得光场数据。
[0133] 通过针对上述第一平面上的坐标(u，v)的部分或全部、对光场数据L(u，v，x，y)求 积分(计算总和），而获得能够在二维显示器上显示的二维图像。亦即，使得能够通过叠加构 成光场数据的、与上述第一平面上的固定范围内的坐标相对应的多个二维图像，而在二维 显示器上显示所述多个二维图像。
[0134] 通过叠加构成光场数据的二维图像、使得在叠加运些二维图像时特定距离的被摄 体的位置与自身一致，能够获得该距离的被摄体对焦的二维图像。相反，构成光场数据的二 维图像各自具有与上述第一平面上的坐标之间的分隔距离相对应的视差，因此，所述特定 距离之外的距离的被摄体在位置移位的情况下被叠加，结果运些被摄体的图像在获得的二 维图像上发生模糊。
[0135] 通过W与上述第一平面上的小范围内的坐标相对应的量、叠加构成光场数据的二 维图像，使得各二维图像的视差被限定，因此，能够获得具有大的景深的二维图像。亦即，通 过改变与要叠加的二维图像相对应的上述第一平面上的范围，使得能够改变通过叠加而获 得的二维图像的景深。
[0136] 还能够通过应用"图像相关方法"，W如下的方式由光场数据获得距离图像。亦即， 从上述第一平面中选择两个坐标，并且比较与运两个坐标相对应的两个二维图像。针对两 个二维图像中的一个图像中的任意像素周围的小区域，在其他二维图像中指定具有相似图 案的小区域，并且计算两个相应小区域在两个二维图像之间的移动量。该移动量是所谓的 "视差"，并且与在所述坐标处显示的被摄体的距离成反比例。结果，通过由针对各坐标的视 差求出与被摄体的距离，并将该距离反映在该坐标处的像素的颜色(例如，灰色浓淡度）中， 而获得距离图像。
[0137] 图13是示出处置光场数据的、诸如一般个人计算机下称为"PC'）及平板终端等 进行信息处理的装置的内部结构的示例的图。
[0138] 在图13中，装置1300包括CPU 1301、硬盘化0)1302、存储器1303、显示控制单元 1304、输入单元1305、驱动设备1306及通信I/F 1307,并且运些单元通过内部总线1308而相 互连接。连接到内部总线1308的各单元能够经由内部总线1308来相互发送和接收数据。
[0139] 在硬盘1302中，存储了图像数据、其他数据、使CPU 1301工作的各种程序。存储器 1303包括例如RAM。作为显示控制单元、改变单元及计算单元的CPU 1301依照例如存储在硬 盘1302中的程序，使用存储器1303作为工作存储器来控制装置1300的各单元。使CPU 1301 工作的程序不局限于存储在硬盘1302中的程序，并且，也可W将程序预先存储在例如未示 意性地示出的ROM中。
[0140] 输入单元1305接收用户操作，并依照该操作而生成控制信号，然后将该信号供给 至CPU 1301。例如，输入单元1305具有诸如键盘等的字符信息输入设备、诸如鼠标及触摸板 等的指点设备等，作为被配置为接收用户操作的输入设备。触摸板是如下的输入设备，通过 该输入设备，输出依照被配置为例如平面形状的输入单元1305上的触摸位置的坐标信息。 CPU 1301基于响应于对输入设备进行的用户操作而由输入单元1305生成并供给的控制信 号，依照程序来控制装置1300的各单元。由此，能够使装置1300依照用户操作来进行操作。
[0141] 显示控制单元1304输出用于使显示器1310显示图像的显示信号。例如，向显示控 制单元1304,供给由CPU 1301依照程序而生成的显示控制信号。显示控制单元1304基于显 示控制信号而生成显示信号，并将该信号输出至显示器1310。例如，显示控制单元1304基于 由CPU 1301生成的显示控制信号，而使显示器1310显示构成GUI (图像用户界面）的GUI画 面。
[0142] 在将触摸板用作输入单元1305的情况下，也可W-体地配置输入单元1305和显示 器1310。
[0143] 在驱动设备1306上，能够安装诸如CD及DVD等的外部存储介质1320,并且驱动设备 1306基于CPU 1301的控制，从安装在驱动设备1306上的外部存储介质1320中读取数据、W 及将数据写入至外部存储介质1320。能够在驱动设备1306上安装的外部存储介质1320不局 限于诸如CD及DVD等的盘存储介质，并且，可W将诸如存储卡等的非易失性半导体存储器安 装在驱动设备1306上。通信接口（I/F)1307基于CPU 1301的控制，而与诸如LAN及互联网等 的网络1330通信。
[0144] 图14是示出在根据本实施例的处置光场数据的装置中进行的图像处理的流程的 流程图。通过由CPU 1301将记录在硬盘1302或者未示意性地示出的ROM中的程序展开到存 储器1303上，并执行运些程序，来实现运一系列处理。
[0145] 首先，由通过图像拍摄装置获得的光场数据，来生成二维图像(步骤S1401)，并且 由显示控制单元1304在显示器1310上显示所生成的二维图像(步骤S1402)。
[0146] 然后，确定是否存在来自用户的改变显示模式的指令，并且在存在改变显示模式 的指令的情况下，过程进入到步骤S1404,而在不存在改变显示模式的指令的情况下，过程 返回到步骤S1402 (步骤S1403)。
[0147] 后续的步骤S1404至步骤S1412的各处理对应于第一实施例中的步骤S305至步骤 S313。亦即，进行W下的各处理。
[0148] ?检测二维图像中包括的被摄体的处理(步骤S1404)
[0149] ?获取二维图像的距离信息(距离图像)的处理(步骤S1405)
[0150] ?基于在步骤S1404检测到的被摄体W及在步骤S1405获取到的距离信息来提取 被摄体区域的处理(步骤S1406)
[0151] ?针对提取出的各被摄体区域、依照距离信息来生成移位图像的处理（步骤 S1407)
[0152] ?在生成的移位图像上进行用来使水平方向倾斜的剪切处理的处理(步骤S1408)
[0153] ?基于移位方向及剪切角度来叠加网格图案的处理(步骤S1409)
[0154] ?推导二维图像的前方景深和后方景深的处理(步骤S1410)
[0155] ?将各自表示与对焦被摄体的距离(对焦距离）、前方景深和后方景深的指标与二 维图像组合的处理(步骤S1411)
[0156] .在显示器1310上显示组合了指标的二维图像的处理(步骤S1412)
[0157] 在上述的各处理之后，在步骤S1413,确定针对在显示器1310上显示的图像内的各 指标是否存在用户指令/操作。在运种情况下，针对指标的用户指令/操作在一般PC的情况 下使用鼠标来输入，并且在具有触摸板的平板终端的情况下通过与第一实施例中相同的触 摸操作来输入。在存在针对指标的用户指令/操作的情况下，过程进入到步骤S1414,而在不 存在用户指令/操作的情况下，过程返回到步骤S1404。
[0158] 然后，依照由用户指定的指标的新位置，利用前述的光场数据来进行用来改变聚 焦距离和/或景深的处理(步骤S1414)。相伴随地，将表示聚焦距离或景深的指标的显示位 置移动到用户指定的新位置(步骤S1415)。
[0159] 在用户进行了预定的退出操作、例如给出了退出应用的指令的情况下，退出本处 理（步骤S1416)。
[0160] 在本实施例中同样地，在上述的步骤S1405,作为距离信息，例如生成如同图6中一 样的距离图像，并且通过步骤S1407的移位图像生成处理，获得如同图9中一样使各被摄体 区域的位置移位的"移位图像"。亦即，与仅基于光场数据而改变视点的图像(在运种情况 下，W立体方式来表现各被摄体)不同，在此获得各被摄体区域被表现为用作背景幕布(舞 台布景）的一部分的便携绘图（各被摄体区域不具有深度并且W平面方式来表现）的图像。 由此，使用户更容易地掌握对各被摄体的距离感。
[0161] 如上所述，通过根据本实施例的装置，同样使得用户能够在图像接近实际图像的 状态下，在PC等的显示器上直观地掌握哪个被摄体被对焦。
[0162] [第S实施例]
[0163] 在第一及第二实施例中，使得能够通过依照各被摄体区域的距离而使各被摄体区 域的位置移位的、并且接近实际图像的图像(移位图像），来直观地掌握能够进行再聚焦的 范围。在第Ξ及后续实施例中，说明了如下的方面:使得能够利用依照各被摄体区域的距离 而改变了各被摄体区域的坐标(布置)的图像，来直观地掌握能够进行再聚焦的范围。
[0164] 图15是示出根据本实施例的照相机阵列图像拍摄装置(也简称为"照相机阵列"， 如通常所说的照相机阵列系统及多镜头照相机等）的内部结构的框图。图像拍摄单元1500 通过由图像感测元件接收被摄体的光信息，并通过对接收到的信号进行A/D转换，来获取图 像数据(数字数据）。在从用户接收到进行图像拍摄的指令时，所述图像数据被作为拍摄图 像数据保存在诸如SD卡等的存储介质中。由根据本实施例的图像拍摄单元1500获取的图像 数据，是从多个视点捕捉被摄体空间的、并且具有视差的图像的数据下称为"视差图像 数据"）。由图像拍摄单元1500获取的图像数据也被用于所谓的实时取景（live view)功能 中，W在配设于图像拍摄装置的背面的显示单元1506上，实时地依次显示图像。在下文中， 响应于来自用户的进行图像拍摄的指令而被保存在存储介质中的图像被称为记录图像，并 且在实时取景显示中实时显示的图像被称为实时取景图像。
[0165] 中央处理单元(CPUH501对W下描述的各单元进行总体控制。RAM1502用作主存储 器、工作区等。ROM 1503存储在CPU 1501中执行的控制程序等。总线1504是各种数据的传送 路径，并且例如，由图像拍摄单元1500获取的数字数据经由总线1504而被发送到预定处理 单元。被配置为接收用户的指令的操作单元1505包括按钮、模式转盘等。在被配置为显示图 像及字符的显示单元1506中，例如使用液晶显示器。显示单元1506可W具有触摸屏功能，并 且在运种情况下，也可W将使用触摸屏的用户指示作为向操作单元1505的输入。在本实施 例中，在显示能够进行再聚焦的范围、并且指定再聚焦时的聚焦位置的情况下，通过经由运 种触摸屏的用户输入来指定运样的位置。
[0166] 显示控制单元1507进行在显示单元1506上显示的图像及字符的显示控制。图像拍 摄单元控制单元1508基于来自CPU 1501的指令，来进行图像拍摄系统的控制，诸如聚焦、快 口打开/关闭W及孔径光阔调整等。数字信号处理单元1509对经由总线1504接收到的数字 数据，进行诸如白平衡处理、伽玛处理及噪声降低处理等的各种处理。编码器单元1510进行 用来将数字数据转换为诸如肝EG及MPEG等的文件格式的处理。外部存储器控制单元1511是 被配置为连接到PC及其他介质(例如，硬盘、存储卡、CF卡、SD卡、USB存储器)的接口。图像处 理单元1512对由图像拍摄单元1500获取到的图像数据，或者从数字信号处理单元1509输出 的图像数据，进行后述的诸如再聚焦处理等的图像处理。稍后将描述图像处理单元1512的 详情。曝光状态预测单元1513预测在图像拍摄时的图像拍摄单元1500的曝光状态。存在除 上面所述之外的图像拍摄装置的构成要素，然而，运些构成要素不是本发明的主要目的，因 此省略说明。
[0167]首先，详细说明图像拍摄单元1500的结构。
[016引如上所述，图像拍摄单元1500获取视差图像数据，即光场数据。在图16至图19中示 出了图像拍摄单元1500的结构示例。其中，图16至图18各自示出了在图像形成光学系统的 图像侧布置了透镜阵列的结构，并且图19示出了布置多个图像形成光学系统的结构（照相 机阵列）。作为图像拍摄单元的结构，期望采用如图16至图19所示的、能够同时获得来自多 个视点的图像的照相机阵列结构。运是因为，通过使用单照相机图像拍摄装置、在改变位置 的同时多次进行图像拍摄的方法，所获得的是在不同时间拍摄的被摄体空间的图像的视差 图像数据，并且在被摄体空间中存在移动物体的情况下，无法获得准确的视差信息。
[0169] 通过进行像素的提取、再布置、组合等的处理，能够对由具有图16至图19中所示的 结构的图像拍摄单元1500获取到的视差图像数据，进行再聚焦、景深控制、视点改变等。在 下文中，如上所述的处理被称为图像组合处理，并且通过图像组合处理而生成的图像被称 为组合图像。也可W对组合图像进行诸如噪声降低等的处理、W及诸如景深控制等的处理。 此外，在被摄体空间中能够进行再聚焦的范围被称为"焦点控制范围"。
[0170] 在此，详细说明图16中所示的图像拍摄单元1500的内部结构。
[0171] 透镜阵列1603被布置在图像形成光学系统1602的、相对于被摄体面1601的图像侧 共辆面上。此外，透镜阵列1603被配置为使得图像形成光学系统1602的出射光瞳和图像感 测元件1604大致建立起共辆关系。来自被摄体面1601的光线经由图像形成光学系统1602及 透镜阵列1603,依照该光线在被摄体面1601上的位置及角度，而入射至图像感测元件1604 的不同像素。由此，获取到视差图像数据(光场数据）。在此，透镜阵列1603具有如下的作用： 防止已穿过被摄体面1601上的不同位置的光线入射至同一像素。结果，在图像感测元件 1604中获取到如下的图像，在该图像中，并排布置了从多个视点捕捉的被摄体面1601上的 同一区域的像素组。
[0172] 诸如人及建筑物等的物体不一定必须存在于图16至图19中的被摄体面1601上。运 是因为，能够通过图像拍摄后的再聚焦，来聚焦存在于被摄体面1601后面或前面的人或建 筑物。
[0173] <再聚焦的原理>
[0174] 在下文中，说明再聚焦处理。在"Fourier Slice 曲otography"by Ren Ng,2005 ACM Trans.Gra地.24，p735 to 744(《傅立叶切片摄影》，Ren Ng撰，《ACM图形学汇刊》2005 年第24期，第735至744页）中详细说明了再聚焦，因此，运里给出简要说明。再聚焦的基本原 理在图16至图19中的各结构中是共通的。在此，说明图16中的结构作为示例。在图16中，图 像形成光学系统的光瞳被W二维方式划分为9个光瞳（一个维度上为3个），因此，结果获取 到来自9个视点的图像。在此，与某一划分出的光瞳相对应的图像称为单视点图像。9个单视 点图像彼此间具有视差，因此，图像上的被摄体的相对位置关系依照被摄体距离而改变。在 对单视点图像进行组合、使得某一被摄体自身重叠的情况下，位于不同被摄体距离处的被 摄体在移位状态下被组合。因为该移位，使得位于不同被摄体距离处的被摄体发生模糊。此 时的模糊取决于与用于组合的单视点图像相对应的光瞳，并且在组合了全部9个单视点图 像的情况下，能够再现由图像形成光学系统1602获取到的图像的模糊。与单视点图像相组 合的在自身上重叠的被摄体是任意的，因此，能够再现在图像形成光学系统1602中使任意 被摄体对焦的图像。运就是图像拍摄后的焦点控制，即 再聚焦的原理。
[0175] 在此，说明在本实施例中用于生成单视点图像的方法。图20是描绘图16中的透镜 阵列1603与图像感测元件1604之间的关系的图。虚线圆圈2001代表已穿过构成透镜阵列 1603的一个透镜(微透镜）的光线入射到的像素的区域。图20对应于W网格的形式布置了多 个微透镜的情况，然而，微透镜的布置不局限于此。例如，所述布置可W具有六角对称性(蜂 窝结构）。也可W将各微透镜从规则布置稍微移位。图20中的斜线区域2002代表已穿过图像 形成光学系统1602的同一光瞳区域的光线入射到的像素。结果，通过提取斜线区域1602中 的像素，能够生成在从图像形成光学系统1602的光瞳下方观察被摄体空间的情况下的单视 点图像。同样，通过提取相对于虚线圆圈2001的相对位置相同的像素，也能够生成另一单视 点图像。
[0176] <焦点控制范围>
[0Π 7]接下来，说明能够进行再聚焦的焦点控制范围。
[0178] 通过叠加单视点图像来进行再聚焦，因此，无法对各单视点图像内发生模糊的被 摄体进行再聚焦。运是因为，即使通过叠加模糊图像，也不能获得高频分量，并且图像仍然 模糊。
[0179] 随着光瞳被划分为较小的光瞳，各单视点图像中的景深变深，因此，焦点控制范围 扩大。亦即，焦点控制范围依赖于图像形成光学系统1602的划分后的光瞳。然而，单视点图 像中的景深不一定与焦点控制范围一致。运是因为，依据单视点图像与通过组合单视点图 像而获得的组合图像的分辨率之比，焦点控制范围会有改变。例如，在组合图像的分辨率低 于来自各视点的单视点图像的分辨率的情况下，组合图像中的空间分量的采样间距相对于 单视点图像中而变大。因为运样，组合图像的景深变为比单视点图像深，并且相伴随地，焦 点控制范围扩大。相反，在组合图像的分辨率高于单视点图像的情况下，焦点控制范围变为 窄于单视点图像的景深。
[0180] 作为用于使组合图像的分辨率高于单视点图像的方法，可W设想使用基于像素移 位的超析像(super-resolution)等。如前所述，在再聚焦中，通过使单视点图像彼此间相对 移位来进行组合。在此时的移位量不是单视点图像的像素间距的整数倍的情况下，能够进 行基于像素移位的超析像，并且组合图像的分辨率能够被提高。
[0181] 从到目前为止的讨论中，能够知道有必要考虑到在组合单视点图像时的条件，W 便获取组合图像中的准确焦点控制范围。
[0182] 接下来，说明如何推导组合图像的焦点控制范围。考虑与组合图像的景深相对应 的焦点深度。焦点深度的容许弥散圆被取为ε，并且光线的角分量的采样间距被取为Au。此 时，再聚焦的系数〇±由^下的式(4)来给出。
[0183]
[0184] 与使用式(4)表示的在图像侧能够进行再聚焦的范围a+s2至a-s2共辆的范围（相 对于图像形成光学系统1602共辆的范围），是作为在物体侧能够进行再聚焦的范围的焦点 控制范围。图21示意性地示出了式(4)的关系，并且能够进行再聚焦的范围的中屯、位置是图 像形成光学系统1602的焦点位置(在运种情况下，透镜阵列1603的位置是能够进行再聚焦 的范围的中屯、位置）。在此，s2是图像形成光学系统1602的图像侧主平面与相对于被摄体面 1601的图像形成光学系统1602的图像侧共辆面之间的间隔。在图21中，图像侧焦点控制范 围是指与经由图像形成光学系统1602的焦点控制范围共辆的范围。此外，Ay是光的二维强 度分布的采样间距，并且在图16中的结构中，Ay等于透镜阵列1603的间距Ala。式(4)的关 系在图16至图19中的各结构中也成立。
[0185] 然后，因为与图像形成光学系统1602的出射光瞳距离P相比，图像感测元件1604的 像素间距A足够小，因此，式(4)可W近似为下面的式(5)。
[0186] a、.x:二'、: +NFi； · · ·'武巧)
[0187] 在此，图像形成光学系统1602的出射光瞳距离P是W下两者之间的间隔，其中一者 是图像形成光学系统1602的出射光瞳面，另一者是相对于被摄体面1601的图像形成光学系 统1602的图像侧共辆面。另外，N是图像形成光学系统1602的一维划分的光瞳数，并且F是图 像形成光学系统1602的F数。能够由图像形成光学系统1602的焦距f及透镜有效直径D，通过 W下的式(6)来推导F数。
[0188] F = f/D. · ·式(6)
[0189] 亦即，根据图像形成光学系统的一维划分的光瞳数、W及由图像形成光学系统的 焦距和透镜有效直径限定的视场角的范围，来确定能够进行再聚焦的范围（焦点控制范 围）。此外，根据后述的组合图像数据的分辨率，来确定能够进行再聚焦的范围。
[0190] <图像处理单元>
[0191 ]接下来，详细说明图像处理单元的结构。
[0192] 图22是示出根据本实施例的图像处理单元1512的内部结构的框图。
[0193] 视差图像数据获取单元2201获取从图像拍摄单元1500等供给的视差图像数据。
[0194] 光学参数获取单元2202获取距离推导单元2203及焦点控制范围推导单元2207所 必需的图像拍摄单元1500的光学参数。在此，光学参数是指图像拍摄单元1500的结构、光圈 等的曝光状态、焦点位置、变焦透镜的焦距等。
[0195] 距离推导单元2203推导到场景中的被摄体的距离的信息。使用从视差图像数据获 取单元2201供给的视差图像数据、W及从光学参数获取单元2202供给的光学参数，来推导 到被摄体的距离。稍后将描述距离推导的详情。
[0196] 被摄体区域提取单元2204进行如下的处理:基于场景中的被摄体W及从距离推导 单元2203供给的距离信息，来提取要经历再布置图像生成单元2205中的处理的被摄体区 域。该被摄体区域提取处理也可W说成是针对各固定距离来分离被摄体区域的处理。
[0197] 再布置图像生成单元2205进行如下的处理:依照从距离推导单元2203供给的距离 信息，来改变在被摄体区域提取单元2204中提取的各被摄体区域的位置(坐标）。通过该处 理，生成如下的图像，在该图像中，依照距图像拍摄装置的距离而对各被摄体区域进行再布 置（w下称为"再布置图像"），并且通过该图像，使得能够容易地掌握对各被摄体区域的距 离感。
[0198] 图像组合参数获取单元2206获取图像组合所需的参数(组合后的分辨率、视点、焦 点位置、景深等）。
[0199] 焦点控制范围推导单元2207使用从光学参数获取单元2202供给的光学参数、W及 从图像组合参数获取单元2206供给的图像组合参数，来推导焦点控制范围。
[0200] 焦点位置获取单元2208基于经由操作单元1505的用户输入，来获取图像组合时的 焦点位置。在本实施例的情况下，由用户基于由再布置图像生成单元2205生成的再布置图 像、并经由作为操作单元1505的触摸屏而指定的距离，被指定作为焦点位置。关于指定的焦 点位置的信息被发送到显示图像生成单元2209。
[0201] 显示图像生成单元2209生成如下的图像，在该图像中，针对在再布置图像生成单 元2205中生成的再布置图像，而反映了关于聚焦状态的信息(焦点位置、焦点控制范围、景 深等）（W下称为"聚焦信息显示图像"）。在进行生成时，使用从上述各单元供给的光学参 数、图像组合参数、焦点控制范围及焦点位置。可W针对图像拍摄前的实时取景图像，或者 针对图像拍摄后的记录图像，来进行聚焦信息显示图像的生成。另外，聚焦信息显示图像可 W基于视差图像中包括的任意单视点图像，或者可W基于通过组合多个单视点图像而获得 的组合图像。生成的聚焦信息显示图像的数据被输出到显示单元1506。假设根据本实施例 的显示图像生成单元2209还使用视差图像数据，依照图像组合参数来进行图像组合处理， 然而，也可W与显示图像生成单元2209独立地，来配设被配置为进行图像组合处理的处理 单元。
[0202] 图23是示出根据本实施例的图像处理单元1512中的处理的流程的流程图。通过在 将描述了 W下所示的过程的计算机可执行程序从ROM 1503中读取到RAM 1502上之后，由 CPU 1501执行该程序，来进行运一系列处理。
[0203] 在步骤S2301，视差图像数据获取单元2201获取由图像拍摄单元1500获取的视差 图像数据。如上所述，在此获取的视差图像数据可W是作为实时取景图像的视差图像数据， 或者可W是作为记录图像的视差图像数据。
[0204] 在步骤S2302,光学参数获取单元2202和图像组合参数获取单元2206分别获取光 学参数和图像组合参数。
[020引在步骤S2303,距离推导单元2203推导整个场景中的距离信息。具体而言，距离推 导单元2203通过用于在视差图像中包括的单视点图像之间进行立体匹配的方法等，来推导 场景的距离。例如，在立体匹配方法中，首先，将充当基准的单视点图像(例如，与穿过光瞳 的中屯、附近的光线相对应的单视点图像)划分为多个块，并且在其他单视点图像之中，检测 距目标块最近的块位置。然后，通过利用两个块之间的位置关系、相应光瞳之间的位置关系 W及各光瞳的视场角，由Ξ角测量来推导目标块的距离。作为充当基准的单视点图像，也可 W选择视点位置在中屯、之外的单视点图像。另外，作为用于获取距离信息的方法，除了上述 的立体匹配方法之外，还存在诸如DFD(散焦测距，Depth From Defocus)等的方法、W及使 用利用红外线等的测距单元来进行测量的方法。
[0206]图24A是示出单视点图像的示例的图，并且图24B示出了作为针对图24A中的单视 点图像而推导出的距离信息的距离图。在图24A中所示的单视点图像中获得的场景中，3种 被摄体(人，建筑物，山）存在于W图像拍摄装置作为基准的不同距离处。图24B中所示的距 离图是依照离图像拍摄装置的距离而通过色调来显示的，并且图像拍摄装置附近的被摄体 "人"用最深色调的颜色来显示，远离图像拍摄装置的被摄体"山"用最浅色调的颜色来显 示，并且位于人与山之间的被摄体"建筑物"用中间色调的颜色来显示。如上所述，在该步 骤，推导出场景中的被摄体的距离信息。
[0207] 返回到图23中的流程图的说明。
[0208] 在步骤S2304,被摄体区域提取单元2204进行如下的处理:基于在步骤S2303推导 出的整个场景的距离图，来提取被摄体区域。该被摄体区域提取处理也可W说成是针对各 固定距离来分离被摄体区域的处理。对具有大致相同距离的图像区域进行分组，并且将分 组的图像区域提取作为被摄体区域。作为用于提取被摄体区域的方法，除了使用被摄体的 距离信息的方法之外，可W提及的例如还有如下的方法。
[0209] 1)通过对视差图像数据应用诸如面部辨识等的技术，来识别存在人、动物、植物等 的区域，并且将识别出的人等提取作为被摄体区域。
[0210] 2)预先准备诸如人、动物及植物等代表性的关注物体的图像数据作为模板，并且 通过与该模板的匹配处理来提取被摄体区域。
[0211] 3)如同在神经网络中一样进行预先学习，并且通过利用学习结果识别主要物体， 来提取被摄体区域。
[0212] 除了使用被摄体的距离信息的方法之外，还可W通过应用如上述的1)至3)中所述 的各种公知方法，来实现本实施例中的被摄体区域的提取。
[0213] 图25A和图25B分别是示出从图24B中所示的距离图中提取被摄体区域的结果的示 例的图，并且，图25A示出了在沿各被摄体的轮廓提取出被摄体区域的情况下的图，并且图 25B示出了在各被摄体外接的矩形区域被提取作为被摄体区域的情况下的图。在图25A及图 25B中，用虚线包围的各区域分别是与"人"、"建筑物"及"山"相对应的被摄体区域。作为用 于提取被摄体区域的方法，也可W应用其他方法，只要区域被设置为包括主要被摄体即可。 例如，也可W用诸如圆形、楠圆形、Ξ角形及多边形等的任意形状，来定义被摄体区域。
[0214] 返回到图23中的流程图的说明。
[0215] 在步骤S2305,再布置图像生成单元2205利用在步骤S2303推导出的整个场景中的 距离信息、W及在步骤S2304提取出的场景中的被摄体区域，来生成场景的再布置图像。
[0216] 图26A至图2抓分别是示出在从正上方俯视图24A中所示的单视点图像的场景的情 况下的再布置图像的示例的图。图24A至图24D中的"被摄体距离"不一定必须是到实际被摄 体的按比例缩小的距离，并且例如，可W用倒数比或对数比来表示被摄体距离，或者也可W 通过预先准备实际距离和相应的值彼此关联的对应表，而应用该表格。在通过按比例缩小 实际距离进行再布置、来显示实际距离可能达到数千米或更多的诸如"山"等的远景、W及 实际距离是数米至数十米的"人"及"建筑物"的情况下，与远景中的被摄体相比，近景中的 被摄体在小的区域中被密集地显示。然而，"被摄体距离"充当指导，W让用户掌握被摄体的 聚焦状态或者改变被摄体的聚焦状态，因此，聚焦状态一般不同的近景中的被摄体被密集 地显示的情况是不适当的，因为运使得用户难W掌握或改变被摄体的聚焦状态。此外，与近 距离的被摄体相比，由于远景中的被摄体的距离而导致的聚焦状态之间的差异非常轻微， 因此，即使在远景中的被摄体被密集地显示的情况下，在用户掌握远景中的被摄体的聚焦 状态方面，也不会出现任何问题。因此，在图像拍摄装置的显示单元上能够显示的一边的像 素数是640、并且诸如"山"、"建筑物"及"人"等的被摄体分别位于例如离图像拍摄装置 10km、8m及2m的距离处的情况下，通过产生分别在从显示区域的端部移动0像素、80像素及 320像素的位置对被摄体进行再布置的显示，被摄体在显示单元上被显示得更加稀疏，因 此，该显示便于用户掌握或改变聚焦状态。
[0217] 在图26A至图26D各图中，距图像拍摄装置较近的位置被显示在下部，并且离图像 拍摄装置较远的位置被显示在上部，因此，"人"因为位于距图像拍摄装置最近的位置，而被 布置在下部，并且"山"因为位于离图像拍摄装置最远的位置，而被布置在上部。图26A是如 下的再布置图像，在该再布置图像中，在与各被摄体距离相对应的位置，再布置了沿在步骤 S2304提取出的被摄体区域(参见上述的图25A)而从上述单视点图像中切出的图像区域。在 该再布置图像的情况下，与被摄体距离相关联地布置了单视点图像的一部分，因此，在图 26A至图26D之中，运是最接近实际图像的再布置图像。图26B是如下的再布置图像，在该再 布置图像中，在与各被摄体距离相对应的位置，再布置了从在步骤S2303推导出的距离图 (参见图24B)中沿上述被摄体区域提取的图像区域。在该再布置图像的情况下，用与距离相 对应的浓淡度来显示各图像区域，因此，在该再布置图像中，被摄体距离被强调。图26C及图 26D分别是如下的再布置图像，在该再布置图像中，在与各被摄体距离相对应的位置，对在 步骤S2304提取出的被摄体区域的边框(参见上述的图25A及图25B)进行了再布置。在运些 再布置图像的情况下，再布置图像更加简化。
[0218] 返回到图23中的流程图的说明。
[0219] 在步骤S2306,焦点控制范围推导单元2207通过使用在步骤S2302获取到的光学参 数及图像组合参数，来推导在对在步骤S2301获取到的视差图像进行了图像组合的情况下 的焦点控制范围。下面给出详细说明。
[0220] 如前所述，焦点控制范围依据各单视点图像与组合图像的分辨率之比而改变，然 而，在此为了简化说明，考虑分辨率之比是1的情况。在图像侧焦点控制范围在由上述式巧） 表示的范围内的情况下，能够断定，已经获取到能够进行焦点控制的区域。因此，相对于被 摄体面1601的图像形成光学系统1602的图像侧共辆面和图像侧焦点控制范围drefocus仅需 要满足W下的式(7)。
[0221] -ΝΡε <dnf〇cus<NFe · · ·式（7)
[0222] 图27是示出图16中所示的图像拍摄单元1500的结构中的光学布置的图，并且，曰是 透镜阵列1603的图像侧主平面与图像感测元件1604之间的间隔。在图27中，从中屯、的微透 镜两端延伸的两条平行虚线代表与运些微透镜相对应的图像感测元件1604的区域，并且， 图像感测元件1604内的带斜线的像素代表无光线入射的死区。在本实施例中，透镜阵列 1603被配置为能够防止死区产生，并且在运种情况下，Ala= ΔΝ成立。然而，所述结构不局 限于此，并且可W存在死区。从图27中，能够知道NF = 〇/A在几何学的角度成立。通过用空 间分量的采样间距A y= Ala来表征决定焦点深度的容许弥散 圆的大小，能够将式(7)改写 为下面的式(8)。
[0223]
[0224]
[0225] 接下来，考虑如下的一般情况:单视点图像与组合图像的分辨率之比不为1。组合 图像和用于组合的单视点图像的视场角是相同的，因此，在分辨率之比不为1的情况下，Ay 在两者之间是不同的。一般而言，A y越小，则容许弥散圆越小，而Δ y越大，则容许弥散圆越 大。因为运样，能够通过虑及单视点图像与组合图像的Ay之比，而将上述的式(8)扩展为下 面的式(9)。
[0226]
[0227]在此，Rm。。。表示用于组合的单视点图像的分辨率，并且Rcomb表示组合图像的分辨 率。通过计算Rm。。。与Rwmb之比的平方根，而获得Ay之比。从图27中能够知道，单视点图像的 分辨率Rm。。。用下面的式(10 )来表示。
[022引
[0229] 在此，Rtntai表示图像感测元件1604的有效像素数。由式(9)及式（10)，获得图像侧 焦点控制范围需要满足的如下条件表达式(11)。
[0230]
[0231] 在上述的条件表达式（11)中，范围被设置在±10.0之间，然而，通过将范围设置在 ±6.0之间，能够获得更清晰的组合图像。更理想的是，通过将范围设置在±3.0之间，能够 获得还要更加清晰的组合图像。
[0232] 在下文中，示出了各值的具体示例。
[023引 ?图像感ii元件1604的有效像素数Rt0tai:46.7X 106(pix)
[0234] ?透镜阵列1603的图像侧主平面与图像感测元件1604之间的间隔〇:〇.〇374(mm)
[0235] ?图像感测元件1604的像素间距Δ :〇.〇〇43(mm)
[0236] ?透镜阵列 1603的间距 ALA:0.0129(mm)
[0237] ?图像形成光学系统1602的焦距：14.0(mm)
[023引·F数：2.9
[0239] ?一维划分的光瞳数N: 3
[0240] ?每个单视点图像的分辨率Rm〇n〇:5.2X106(pix)
[0241] .条件表达式（11)的范围、与条件表达式（11)的各范围相对应的组合图像的分辨 率Rcomb W及与组合图像的各分辨率相对应的山ef DCUS例如如下面的表(1 )所示。
[0242]
[024引 表(1)
[0244] 通过经由操作单元1505的用户输入，例如从上述3种类型之中选择组合图像的分 辨率Rcomb。
[024引在上述示例中，已知因为每个单视点图像的分辨率Rmnn。是5.2X106pix，所W为了 生成例如8.0X106pix的组合图像，需要通过基于像素移位的超析像等来提高分辨率。上述 的组合图像的各分辨率RcDmb的值是作为示例，并且种类数不局限于巧巾。仅需要适当地确定 满足上述条件表达式（11 )的Rcomb及山ef OCUS。
[0246] 能够通过利用图像侧焦点控制范围W及图像形成光学系统1602的焦距及焦点位 置，由图像形成公式来计算焦点控制范围。W运种方式获取的焦点控制范围的信息可W作 为标签信息，被附加至视差图像数据或组合图像数据，并且被存储在ROM 1503中。作为另一 选择，也可W创建与各种条件相对应的焦点控制范围的表格，并将该表格存储在ROM 1503 中，然后读取与输入的条件相对应的数据，而不是进行上述的算术运算来推导焦点控制范 围。
[0247] 作为用于获取焦点控制范围的另一方法，可W设想如下的方法:通过实际生成进 行了再聚焦的组合图像，来评价存在于焦点位置的被摄体的对比度等。然而，利用该方法， 需要在移动焦点位置的同时生成组合图像，并依次确定是否能够成功进行再聚焦，因此，要 花费时间来进行处理。此外，在进行再聚焦的焦点位置不存在被摄体的情况下，不能实施评 价，因此，无法获取准确的焦点控制范围。因此，期望使用前述的方法，W便获取焦点控制范 围。
[0248] 返回到图23中的流程图的说明。
[0249] 在步骤S2307,显示图像生成单元2209生成作为在步骤S2305生成的再布置图像 的、并且反映了关于聚焦状态的信息(焦点位置、焦点控制范围、景深等)的聚焦信息显示图 像。在进行生成时，使用在步骤S2302获取到的光学参数及图像组合参数、W及在步骤S2306 推导出的焦点控制范围。
[0250] 图28A及图28B分别是基于图26A中所示的再布置图像而生成的聚焦信息显示图像 的示例，并且，显示了焦点位置2801、焦点控制范围2802及景深2803各信息。在滑动条上用 矩形黑色标记表示的焦点位置2801表示光学参数中包括的在图像拍摄时的透镜的焦点位 置，或是后述的通过用户输入而指定的焦点位置。分别地，在图28A中的聚焦信息显示图像 中，将焦点位置2801设置在被摄体距离do的位置(人的位置），并且在图28B中的聚焦信息显 示图像中，将焦点位置2801设置在被摄体距离do '的位置(建筑物的位置）。在滑动条上用斜 线表示的焦点控制范围2802表示从被摄体距离dl(dl'）到被摄体距离d2(d2'）的范围，并且 在本实施例中，已知"人"和"建筑物"位于该焦点控制范围内的距离处。在下文中，假设在简 单地称作"焦点控制范围"的情况下，是指该物体侧焦点控制范围。在再布置图像上用斜线 表示的景深2803是从被摄体距离d3(d3'）到被摄体距离d4(d4'）的范围，并且，在图28A中的 聚焦信息显示图像中，示出了人对焦的焦点位置do的景深，并且在图28B中的聚焦信息显示 图像中，示出了建筑物对焦的焦点位置do'的景深。
[0251] 通过如上所述显示聚焦信息显示图像，使得用户能够直观地掌握关于场景中的被 摄体的信息和关于聚焦状态的信息运两者。在图28A及图28B中，为了便于说明，还示出了图 像拍摄装置的示意图、w及能够通过图像拍摄装置进行图像拍摄的视野范围（视场角） 2804,然而，在该步骤生成的聚焦信息显示图像中，不一定必须包括运些信息。
[0252] 返回到图23中的流程图的说明。
[0253] 在步骤S2308，显示图像生成单元2209向显示单元1506，输出在步骤S2307生成的 聚焦信息显示图像的数据。
[0254] 在步骤S2309，CPU 1501确定是否新进行了与再聚焦处理时的焦点位置相关的用 户输入。经由触摸屏或者图像拍摄装置的操作单元1505,来进行运种情况下的用户输入。例 如，可W设想在再布置图像上直接指定被期望新对焦的被摄体的方法、直接指定到新焦点 位置的被摄体距离的方法，或者通过操作滑动条上表示焦点位置2801的标记来进行指定的 方法。在进行了新焦点位置的输入的情况下，过程返回到步骤S2307,并且重复在步骤S2307 至步骤S2309的运一系列处理。例如，在显示了 "人"被设置在焦点位置的聚焦信息显示图像 (图28A)的状态下、进行了用来将"建筑物"设置为新焦点位置的用户输入的情况下，结果新 显示前述的图28B中所示的聚焦信息显示图像。如前所述，在图28B中，景深2803也依照新设 置的焦点位置(被摄体距离do'）而改变。亦即，在输入了再聚焦处理时的新焦点位置的情况 下，结果焦点控制范围2802不改变，而主要是聚焦位置2801W及该焦点位置的景深2803改 变。
[0255] 可W设想新输入的焦点位置超出焦点控制范围的情况。在运种情况下，也可W进 行警告通知，W提示用户输入焦点控制范围内的焦点位置。作为另一选择，也可W限制用户 能够输入的范围，W便不接收超出焦点控制范围的焦点位置。
[0256] 另一方面，在不存在新焦点位置的输入的情况下，退出本处理。
[0257] 在上述的示例中，说明了基于从正上方俯视场景的再布置图像的聚焦信息显示图 像。然而，聚焦信息显示图像不局限于上述的示例，并且可W设想各种方面。图29A至图29C 分别示出了聚焦信息显示图像的变化的示例。图29A是基于从横向俯视场景的再布置图像 的聚焦信息显示图像。图29B是基于从斜上方俯视场景的再布置图像的聚焦信息显示图像。 图29C是基于从斜横方向俯视场景的再布置图像的聚焦信息显示图像。如上所述，充当聚焦 信息显示图像的基础的再布置图像，可W是基于距离信息而在深度方向上按次序布置了被 摄体的任何图像。
[0巧引在步骤S2308,显示聚焦信息显示图像，并且此时，也可W同时显示由拍摄单元 1500获取的单视点图像、W及/或者在显示图像生成单元2209中组合的组合图像。图30A至 图30C分别示出了在聚焦信息显示图像中一起显示了单视点图像和/或组合图像的情况的 示例。
[0259]图30A示出了如下的情况:除了基于从横向俯视场景的再布置图像的聚焦信息显 示图像(参见前述的图29A)之外，还显示了单视点图像和两种组合图像。图30A中的组合图 像1是在通过将"人"作为关注被摄体而设置了焦点位置的状态(作为关注被摄体之外的被 摄体的"建筑物"及"山"因为位于景深范围之外而处于模糊状态)下的组合图像。图30A中的 组合图像2是在通过将"建筑物"作为关注被摄体而设置了焦点位置的状态(作为关注被摄 体之外的被摄体的"人"及"山"因为在景深范围之外而处于模糊状态）下的组合图像。在诸 如此类的再聚焦后的组合图像被同时显示的情况下，通过仅有关注被摄体对焦的组合图 像，使得用户能够更直观地检查指定的关注被摄体。在图30A中，从横向俯视场景的再布置 图像被用作基础，然而毫无疑问，可W将任何类型的再布置图像用作基础。此外，在图30A中 的示例中，显示了两种组合图像，然而，也可W显示仅一种组合图像，或者Ξ种或更多种组 合图像。
[0260] 图30B示出了如下的情况:除了基于从正上方俯视场景的再布置图像的聚焦信息 显示图像之外，还在通过将"人"作为关注被摄体而设置了焦点位置的情况下显示了组合图 像。通过W运种方式产生显示，使得能够在有限的显示画面内，高效地显示再布置图像、关 于聚焦状态的信息W及组合图像。图30B中的聚焦信息显示图像是基于图26A中所示的从正 上方俯视场景的再布置图像，其中省略了横向方向上的信息，并且仅保留了深度方向上的 信息。图30C示出了如下的情况:除了基于从正上方俯视场景的再布置图像的聚焦信息显示 图像之外，还显示了单视点图像。通过W运种方式同时显示单视点图像，能够在检测图像拍 摄时的图像的同时，直观地掌握聚焦状态。图30C中的聚焦信息显示图像是基于图26D中所 示的从正上方俯视场景的再布置图像，其中用矩形包围了被摄体区域，省略了横向方向上 的信息，并且仅保留了深度方向上的信息。
[0261] 如同上述，也可W连同聚焦信息显示图像一起，显示单视点图像及组合图像。
[0262] 在图28至图30中所示的聚焦信息显示图像中，能够与关于聚焦状态的信息同时 地，了解焦点位置、焦点控制范围及景深各信息。然而，没有必要同时示出所有信息，并且运 些信息可W单独显示。例如，也可W在开始时仅显示焦点位置及景深，然后响应于用户的指 令而显示焦点控制范围的信息。
[0263] 如上所述，根据本实施例，在图像拍摄时或者在编辑图像时，基于在深度方向上按 次序布置了被摄体的再布置图像，来显示关于聚焦状态的信息，诸如图像组合时的焦点位 置、焦点控制范围及景深等。由此，能够让用户在图像拍摄时W及/或者在编辑图像时，直观 地掌握被摄体的聚焦状态。
[0264] [第四实施例]
[0265] 在第Ξ实施例中，W图像拍摄装置包括具有图16中所示的结构的图像拍摄单元为 前提，而给出了说明。接下来，说明W图像拍摄装置包括具有图17及图18中所示的结构的图 像拍摄单元为前提的方面，作为第四实施例。在下文中，主要说明本实施例的特有之处。
[0266] 通过图17及图18中所示的结构，由图像感测元件1604来获取视差图像的数据，在 该视差图像的数据中，按次序布置了来自不同图像拍摄视点并且具有不同图像拍摄范围的 多个小图像。在图17中的结构中，透镜阵列1603被布置在图像形成光学系统与图像侧共辆 面之间（图像侧共辆面的左侧）。相反，在图18中的结构中，透镜阵列1603不是被布置在图像 形成光学系统与图像侧共辆面之间，而是布置在外面（图像侧共辆面的右侧）。因为运样，在 图18中的结构的情况下，透镜阵列1603将由图像形成光学系统1602形成的图像视为真实物 体，并且在图像感测元件1604上再次形成图像。然而，在运两种结构中，透镜阵列1603均将 由图像形成光学系统1602形成的图像视为物体，并在图像感测元件1604上形成该物体的图 像，因此，运两种结构在本质上是相同的。在下文中，说明图17中的结构作为示例，然而，该 说明的内容同样适用于图18中的结构。
[0267] 首先，说明本实施例中的图像组合(再聚焦)处理。
[0268] 定性地讲，该处理与第Ξ实施例中类似，并且在该处理中，W与被期望对焦的被摄 体的距离相对应的移位量，将图像形成光学系统1602的划分的光瞳的图像彼此叠加。
[0269]图31是作为图17中的结构中的主要部分的、透镜阵列1603及图像感测元件1604的 部分的放大图。在本实施例中，由物体侧的面是平的并且图像侧的面是凸面的微透镜，构成 透镜阵列1603。当然，透镜阵列1603的形状不局限于此。在图31中，单点划线代表各微透镜 的视场角。通过将由图像感测元件1604获得的像素值，经由与各像素相对应的微透镜投影 到虚拟图像形成面上，并组合运些像素值，能够生成虚拟图像形成面对焦的组合图像。在 此，虚拟图像形成面是指与被期望通过图像组合而被对焦的物体侧的面共辆的面(经由图 像形成光学系统1602共辆的面）。例如，为了在图17中生成被摄体面1601对焦的图像，将虚 拟图像形成面设置为图像侧共辆面1701。在图31中，为了易于理解，用W各微透镜的视场角 为单位移位的虚线，来代表在组合图像生成时投影的像素。也可W通过用于通过平移各像 素来组合图像的方法来生成组合图像，只要W与上述方法(将由图像感测元件1604获得的 像素值经由与各像素相对应的微透镜投影到虚拟图像形成面上的组合方法)相同的方式使 像素彼此叠加即可。此时，在入射于像素上的光束所穿过的透镜阵列1603的区域相同的情 况下，运些像素的平移量是相同的。亦即，依照入射于像素上的光束所穿过的透镜阵列1603 的区域，来确定在图17及图18中的组合图像生成时的像素的操作。
[0270]接下来，说明本实施例中的焦点控制范围。
[0271] 也通过与第Ξ实施例中相同的式(4)，来描述本实施例中的焦点控制范围。亦即， 与使用前述式(4)表示的图像侧的再聚焦范围a+s2至a-s2共辆的范围（相对于图像形成光 学系统1602共辆的范围），是作为物体侧的再聚焦范围的焦点控制范围。图32是与根据第Ξ 实施例的图21相对应的图。图32中的Ay代表光的二维强度分布的采样间距，并且Δγ=Δ σι/〇2成立(01:图像侧共辆面1701与透镜阵列1603的物体侧主平面之间的间隔，02:透镜阵 列1603的图像侧主平面与图像感测元件1604之间的间隔）。运是因为，透镜阵列1603将由图 像形成光学系统1602形成的图像视为虚拟物体，因而W〇2/〇i的倍率在图像感测元件1604上 形成缩小图像。然后，在本实施例中同样地，因为A <<P(P:图像形成光学系统1602的出射 光瞳距离），所W式(4)可W近似为式(5)。
[0272] 根据本实施例的图像处理单元1512中的处理的流程与根据第Ξ实施例的图23中 的流程图中相同，然而，图像拍摄单元1500的结构是不同的，因此，焦点控制范围被推导如 下（步骤S2306)。
[0273] 从图32中明显能够看出，NF = 〇i/ Δ laW及Δ y= Δ 〇ι/σ油几何学的角度成立，因 此，下面的式（12)成立。
[0274]
[0275] 由式（12)等，求出本实施例中的图像侧焦点控制范围drefwus应当满足的条件表达 式(13)。
[0276]
[0277] 如同在第Ξ实施例中一样，通过将上述条件表达式（13)中的±10.0的范围替换为 ± 6.0或± 3.0，能够获得更清晰的组合图像。
[0278] 在下文中，示出具体示例。
[0279] ?图像感 ii 元件 1604 的有效像素数 RtDtai:150.0X 106(pix)
[0280] . 〇i；〇.3712(mm)
[0281] · (52:0.0740(mm)
[0282] ?图像感测元件1604的像素间距Δ :〇.〇〇24(mm)
[028引 ?透镜阵列1603的间距ALA:0.0256(mm)
[0284] ?图像形成光学系统1602的广角端的焦距村:72.2(mm)
[028引 ?图像形成光学系统1602的远摄端的焦距fT: 194.0(mm)
[0286] · F数(从广角端到远摄端）：2.9
[0287] · 一维划分的光瞳数N: 5
[0288] ?每个单视点图像的分辨率Rm〇n〇:6.0X106pix
[0289] .条件表达式（13)的范围、与条件表达式（13)表示的各范围相对应的组合图像的 分辨率RcDmb W及与组合图像的各分辨率相对应的山ef DCUS例如如下面的表(2 )所示。
[0290]
[0291] 表(2)
[0292] 如同在第Ξ实施例中一样，通过经由操作单元1505的用户输入，例如从上述Ξ种 类型之中选择组合图像的分辨率Rcnmb。
[0293] 在上述示例中，已知每个单视点图像的分辨率Rmnn。是6.0 X 106pix，因此，为了生成 例如10.0X106pix的组合图像，有必要通过基于像素移位的超析像等来提高分辨率。
[0294] [第五实施例]
[0295] 接下来，说明W图像拍摄装置包括具有图19中所示的结构（照相机阵列）的图像拍 摄单元为前提的方面，作为第五实施例。在下文中，主要说明本实施例的特有之处。
[0296] 图33是在从正面(物体侧)观察图像拍摄单元1500的情况下的、根据本实施例的具 有图19中的照相机阵列的结构的图像拍摄单元1500的图，并且，示出了7个图像拍摄模块各 自中的图像形成光学系统1602a至1602gW及图像感测元件1604a至160?的布置。在图像拍 摄单元1500的情况下，照相机阵列具有W图像形成光学系统1602b的光轴作为旋转轴的六 角对称性。然而，照相机阵列的结构不局限于此，并且图像形成光学系统的数量和排列是任 意的。此外，与各图像形成光学系统1602a至1602g相对应地排列各图像感测元件1604a至 1604g，然而，在能够获取由各图像形成光学系统1602a至160?形成的图像的情况下，图像 感测元件的数量可W是一个。
[0297] 在具有图33中所示的结构的图像拍摄单元1500中，由各图像形成光学系统1602a 至160?折射的光线被相对应的各图像感测元件1604a至16(Mg接收。由图像感测元件1604a 至160?获取到的多个图像，是从不同视点观察的被摄体空间的视差图像。通过使用所述多 个视差图像进行图像组合，能够获得被摄体空间的光场。
[0298] 图％是从侧面观察的图像形成光学系统1602a及图像感测元件1604a的图（截面 图）。其他图像形成光学系统1602b至1602gW及图像感测元件1604b至160?是相同的，然 而，各图像形成光学系统的结构也可W彼此不同。图像形成光学系统1602a是单焦点透镜， 并且通过改变图像形成光学系统1602a与图像感测元件1604a之间的间隔，来进行再聚焦。
[0299] 如同在第Ξ实施例中一样，在本实施例中的图像组合处理中，同样W与被期望对 焦的被摄体的距离相对应的移位量，使来自各视点的图像彼此叠加。焦点控制范围也与由 前述式(4)所表示的相同。图35是与第Ξ实施例的图21相对应的图，并且在本实施例的情况 下，Ay=ΔW及Au二Pm。n。/Fm。n。成ΛZ。在此,Fm。n。代表各图像形成光学系统1602a至1602g的 F数，并且Pm。。。代表与各图像形成光学系统相对应的出射光瞳距离。然后，在本实施例中，Δ <<PmDn。，因此，式(4)可W近似为下面的式（14)。
[0300]
[0301] 根据本实施例的图像处理单元1512中的处理的流程与根据第Ξ实施例的图23中 的流程图中相同，然而，图像拍摄单元1500的结构是不同的，因此，焦点控制范围被推导如 下（步骤S2302及步骤S2306)。
[0302] 在本实施例的情况下，构成图像拍摄单元1500的各图像形成光学系统1602a至 1602g具有光圈值可变的光圈。因为运样，在步骤S2302,获取图像拍摄时的各图像形成光学 系统的光圈值作为光学参数。
[0303] 在步骤S2306,基于与第Ξ实施例相同的构思，在步骤S2302获得的图像拍摄时的 各图像形成光学系统1602a至160?的F数被代入为Fm。。。，并且推导出焦点控制范围。在此， 通过将由具有Fm。。。的F数的图像形成光学系统形成的图像的分辨率作为Rm。。。，而求出山efDcus 应当满足的条件表达式(15)。
[0304]
[030引如同在第Ξ实施例中一样，通过将上述条件表达式（15)中的±10.0的范围替换为 ± 6.0或± 3.0，能够获得更清晰的组合图像。
[0306] 在下文中，示出具体示例。
[0307] .各图像感测元件1604a至160?的有效像素数RmDnD:19.3X106(pix)
[030引?像素间距 Δ :0.0012(mm)
[0309].各图像形成光学系统160^1至160?的焦距:50.0(mm)
[0引0] · F数（Fmono):1.8
[0311] ?条件表达式（15)的范围、与条件表达式（15)表示的各范围相对应的组合图像的 分辨率RcDmbW及与组合图像的各分辨率相对应的山efDcus例如如下面的表(3)所示。
[0312]
[0313] 表(3)
[0314] 然后，如同在第Ξ实施例中一样，通过经由操作单元1505的用户输入，例如从上述 Ξ种类型之中选择组合图像的分辨率Rcnmb。
[0315] 在图像拍摄时的F数是不同F数的情况下，确定山efecusW便满足条件表达式(15)。 [0316][第六实施例]
[0317] 通过使用由具有图16至图19中所示的图像拍摄单元的图像拍摄装置获取的、W及 通过从多个不同视点进行图像拍摄而获得的视差图像，而实现了第Ξ实施例至第五实施例 中说明的图像组合处理。图像组合处理不局限于使用视差图像的图像组合处理。也可W在 后来通过图像处理，来调整来自单个视点的拍摄图像的数据的焦点位置及景深。
[0318] 例如，作为用于通过图像处理来改变焦点位置的方法，已知有如下的方法:依照与 焦点位置的相对距离来对拍摄图像数据进行滤波处理。在运种情况下，首先，获取具有深的 景深的拍摄图像的数据、W及场景的距离信息。通过独立于图像拍摄装置配设距离传感器， 或者通过分析图像拍摄装置的拍摄图像数据，来获取距离信息。接下来，针对被期望对焦的 被摄体(或被摄体距离），不进行滤波处理而使用原始的拍摄图像数据，并且针对被期望对 焦的被摄体之外的区域，由距离信息来求出与该被摄体的相对距离。然后，针对与被期望对 焦的被摄体的相对距离近的区域，进行用来减小模糊量的滤波处理(例如，用来相对地减小 滤波器尺寸的设置）。另一方面，针对与被期望对焦的被摄体的相对距离远的区域，进行用 来增大模糊量的滤波处理(例如，用来相对地增大滤波器尺寸的设置）。通过诸如此类的方 法，可W改变焦点位置。
[0319] 如上所述，通过用于针对单视点图像、依照与焦点位置的相对距离来对拍摄图像 数据进行滤波处理的方法，使得焦点控制范围为获取单视点图像时的景深。
[0320] 也能够使用与上述类似的方法，通过图像处理来调整景深的程度。亦即，在对拍摄 图像数据的滤波处理中，通过用来增大滤波器尺寸的设置，使得模糊量增大，并且能够生成 具有窄的景深的图像的数据。相反，为了生成具有深的景深的图像的数据，将滤波器尺寸减 小。
[0321] [第屯实施例]
[0322] 在第Ξ实施例至第六实施例中，通过对来自多个视点的图像或者来自单个视点的 图像进行图像组合处理，而生成焦点位置等被改变的图像。然而，能够在无需进行图像组合 处理的情况下，获得焦点位置等被改变的图像。
[0323] 例如，已知有用于获取多个拍摄图像数据的如下方法，该方法在慢慢地改变图像 拍摄参数的同时，通过包围图像拍摄来获取多个图像。具体而言，获取到如下的拍摄图像的 数据，在该拍摄图像的数据中，图像拍摄装置中包括的焦点调整环和光圈调整环被逐步地 改变。假设在通过包围图像拍摄而拍摄的图像数据中，图像拍摄时的参数被与拍摄图像一 体地保持。亦即，在第Ξ实施例至第五实施例中，由包括来自多个视点的图像的一个拍摄图 像数据，通过算术运算来生成焦点位置等被改变的组合图像，然而，在本实施例中，从通过 包围图像拍摄而获得的多个拍摄图像数据中，选择并显示期望的拍摄图像。
[0324] 在焦点位置被逐步改变的包围图像拍摄(焦点包围图像拍摄）中，在使用图像拍摄 装置中包括的、被配置为进行焦点调整的操作单元的同时，逐步地改变焦点位置，从而多次 进行图像拍摄。在前述的图26A中，在与图像拍摄装置不同的距离处存在巧巾被摄体(人，建 筑物，山），并且分别地，"人"位于距图像拍摄装置最近的位置，"建筑物"位于中间距离的位 置，并且"山"位于最远的位置。在本实施例中，通过连续地改变焦点位置，W便包括位于最 近位置到最远位置的被摄体，而获取到各焦点位置的拍摄图像数据。由此，能够获得"人"、 "建筑物"及"山"各被摄体对焦的拍摄图像。在实际的焦点包围图像拍摄中，还拍摄到无主 要被摄体存在的部分（例如，人与建筑物之间）对焦的图像。然后，在获得的拍摄图像数据 中，图像拍摄时的焦点位置的信息与拍摄图像相关联地被记录为距离信息。与在第六实施 例中一样，也可W通过独立于图像拍摄装置配设距离传感器，或者通过分析图像拍摄装置 的拍摄图像数据，来获取场景的距离信息。
[0325] 如上所述，通过包围图像拍摄，在不进行图像组合处理的情况下，显示了焦点位置 被逐步改变的拍摄图像的数据。在运种情况下，在包围图像拍摄时被改变的焦点位置之中， 焦点控制范围是从距图像拍摄装置最近的焦点位置到最远的焦点位置。另外，能够将景深 视为大致等同于在包围图像拍摄时通过图像拍摄装置的光圈调整环而确定的景深。
[0326] 此外，在如同在前述的图30A及图30B中一样、除了聚焦信息显示图像之外还显示 焦点位置被改变的图像的情况下，依照从焦点位置获取单元2208供给的焦点位置，来选择 并显示所需的拍摄图像。
[0327] 也可W如上面所说明的，使用通过包围图像拍摄而获得的多个拍摄图像数据，来 获得焦点位置被改变的图像的数据。
[0328] 其他实施方式
[0329] 另外，可W通过读出并执行记录在存储介质（例如，非临时性计算机可读存储介 质）上的计算机可执行指令、W执行本发明的上述实施例中的一个或更多实施例的功能的 系统或装置的计算机，来实现本发明的各实施例，并且，可W利用由通过例如读出并执行来 自存储介质的计算机可执行指令、W执行上述实施例中的一个或更多实施例的功能的系统 或装置的计算机来执行的方法，来实现本发明的各实施例。所述计算机可W包括中央处理 单元(CPU)、微处理单元(MPU)或其他电路中的一者或更多，并且可W包括分开的计算机或 分开的计算机处理器的网络。所述计算机可执行指令可W例如从网络或存储介质被提供给 计算机。所述存储介质可W包括例如硬盘、随机存取存储器(ram)、只读存储器(ROM)、分布 式计算系统的存储器、光盘(诸如压缩盘仰）、数字多用途盘化VD)或蓝光盘(BD)?)、闪存设 备、存储卡等中的一者或更多。
[0330] 虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不局限于所 公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，W使所述范围涵盖所 有的此类变型例W及等同结构和功能。
【主权项】
1. 一种图像处理装置，该图像处理装置包括： 获取单元，其被配置为获取包括多个被摄体区域的图像以及与所述多个被摄体区域相 对应的距离信息； 第一生成单元，其被配置为基于所述距离信息，来生成在所述图像中对所述多个被摄 体区域进行了再布置的再布置图像;以及 第二生成单元，其被配置为生成包括所述再布置图像的图像，其中，在所述再布置图像 中反映了关于用来改变包括所述多个被摄体区域的图像的聚焦状态的图像组合处理的聚 焦状态的信息。2. 根据权利要求1所述的图像处理装置，其中， 所述关于聚焦状态的信息包括焦点位置、景深及焦点控制范围中的至少一者。3. 根据权利要求1所述的图像处理装置，其中， 所述第一生成单元以如下的方式进行所述再布置，使得依照所述距离信息，而在深度 方向上按次序布置所述多个被摄体区域。4. 根据权利要求1所述的图像处理装置，其中， 所述距离信息是表示从已拍摄包括所述多个被摄体区域的图像的图像拍摄装置分别 距多个被摄体的距离的信息，并且， 所述图像处理装置还包括距离推导单元，该距离推导单元被配置为推导所述距离信 息。5. 根据权利要求4所述的图像处理装置，其中， 所述获取单元获取作为表示包括所述多个被摄体区域的图像的图像数据的、通过从多 个视点拍摄图像而获得的并且由分别与各个视点相对应的多个单视点图像构成的视差图 像数据，并且， 所述距离推导单元通过在所述多个单视点图像之间进行立体匹配，来推导所述距离信 息。6. 根据权利要求5所述的图像处理装置，其中， 所述获取单元获取作为表示包括所述多个被摄体区域的图像的图像数据的、通过从多 个视点拍摄图像而获得的并且由分别与各个视点相对应的多个单视点图像构成的视差图 像数据，并且， 所述第二生成单元基于所述多个单视点图像中的一个单视点图像，生成包括所述再布 置图像的图像，其中，在所述再布置图像中反映了关于所述图像组合处理的聚焦状态的信 息。7. 根据权利要求6所述的图像处理装置，其中， 所述获取单元获取作为表示包括所述多个被摄体区域的图像的图像数据的、通过从多 个视点拍摄图像而获得的并且由分别与各个视点相对应的多个单视点图像构成的视差图 像数据，并且， 所述第二生成单元基于通过所述图像组合处理而生成的图像，生成包括所述再布置图 像的图像，其中，在所述再布置图像中反映了关于所述图像组合处理的聚焦状态的信息。8. 根据权利要求1所述的图像处理装置，其中， 所述图像组合处理是用来组合通过从多个不同视点拍摄所述多个被摄体区域而获得 的多个视差图像的处理。9. 根据权利要求1所述的图像处理装置，其中， 所述图像组合处理是对包括所述多个被摄体区域的图像的滤波处理。10. 根据权利要求1所述的图像处理装置，该图像处理装置还包括提取单元，该提取单 元被配置为基于所述距离信息，从包括所述多个被摄体区域的图像中提取被摄体区域，其 中， 所述第一生成单元通过对由所述提取单元提取出的被摄体区域进行再布置，来生成所 述再布置图像。11. 根据权利要求10所述的图像处理装置，其中， 所述提取单元提取沿被摄体的轮廓的区域或者包括被摄体的任意形状的区域，作为所 述被摄体区域。12. -种具有根据权利要求1所述的图像处理装置的图像拍摄装置，该图像拍摄装置包 括： 接收单元，其被配置为接收用户指令； 显示单元，其被配置为显示反映了关于聚焦状态的信息的图像；以及 调整单元，其被配置为基于所述用户指令，来调整在所述显示单元中显示的图像的聚 焦状态。13. 根据权利要求12所述的具有所述图像处理装置的图像拍摄装置，其中， 所述显示单元具有实时取景功能，并且在实时取景中显示反映了关于聚焦状态的信息 的图像。14. 一种图像处理方法，该图像处理方法包括以下步骤： 获取包括多个被摄体区域的图像以及与所述多个被摄体区域相对应的距离信息； 基于所述距离信息，来生成在所述图像中对所述多个被摄体区域进行了再布置的再布 置图像；以及 生成包括所述再布置图像的图像，其中，在所述再布置图像中反映了关于用来改变包 括所述多个被摄体区域的图像的聚焦状态的图像组合处理的聚焦状态的信息。
【专利摘要】本发明提供一种图像处理装置、图像拍摄装置及图像处理方法。传统上，未清楚地指定在图像拍摄时或者在编辑图像时、在哪个范围内的被摄体上能够进行再聚焦，因此，用户难以通过自己预期的方式来拍摄图像或者编辑图像。所述图像处理装置具有：获取单元，其被配置为获取包括多个被摄体区域的图像以及与所述多个被摄体区域相对应的距离信息；以及生成单元，其被配置为基于所述距离信息，来生成在所述图像中对所述多个被摄体区域的位置进行了移位的移位图像。
【IPC分类】H04N5/232
【公开号】CN105491294
【申请号】CN201610015181
【发明人】堤正平
【申请人】佳能株式会社
【公开日】2016年4月13日
【申请日】2014年3月5日
【公告号】CN104038690A, US9270902, US20140253760, US20160134807
最新回复(0)