图像处理装置、图像处理方法、图像处理程序以及记录介质的制作方法
图像处理装置、图像处理方法、图像处理程序以及记录介质的制作方法
【专利摘要】图像处理装置具备输入部、选择部、匹配部、估计部以及合成部。输入部依次输入图像。选择部从已输入图像中选择基准图像。匹配部计算基准图像的特征点与对象图像的特征点之间的对应关系。估计部设基准图像与对象图像之间的运动仅为摄像元件的旋转运动，采用由匹配部算出了对应关系的特征点的特征点对的位置信息，估计使基准图像的坐标系与对象图像的坐标系对应的变换式。合成部根据变换式来合成已输入图像与对象图像，生成合成图像。
【专利说明】图像处理装置、图像处理方法、图像处理程序以及记录介质
【技术领域】
[0001]本发明涉及图像处理装置、图像处理方法、图像处理程序以及记录介质。
【背景技术】
[0002]目前，作为图像处理装置已知有将摄像的图像联结而形成一张广角的静态图像即全景静态图像的装置(例如，参照专利文献I)。专利文献I所述的图像处理装置将从同一地点拍摄不同方位而得的多个图像进行合成。具体地说，将使用变换矩阵将两个图像各自的坐标系统一而合成两个图像。该变换矩阵通过最小平方法来算出。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本特开平11-73492号公报
【发明内容】
[0006]发明所要解决的课题
[0007]但是，在专利文献I所述的图像处理装置中，没有特别限定变换矩阵的分量，所以当采用例如最小平方法求取使变换后的两张之间的位置误差最小的变换矩阵时，存在向缩小方向变更图像大小的矩阵成为解的倾向。这样，在专利文献I所述的图像处理装置中，当依次输入在不同方位拍摄的对象图像并逐次将已输入的基准图像与对象图像合成而生成全景图像时，所输入的对象图像以缩小的方式被合成，以该缩小的对象图像为基准来估计下次的对象图像的变换矩阵。因此，每次合成时都会累积误差，结果是，有可能无法获得画质良好的全景图像。
[0008]在本【技术领域】中，当依次联结所输入的图像时，即使在包含摄像方位不同的图像时，也希望能够抑制误差的积蓄，获得画质良好的全景图像。
[0009]解决问题的手段
[0010]S卩，本发明一侧面的图像处理装置是依次输入摄像元件所摄像的图像，并且在每次输入时将其联结起来而生成合成图像的图像处理装置。该装置具备输入部、选择部、匹配部、估计部以及合成部。输入部依次输入图像。选择部从已输入图像中选择基准图像，该已输入图像由在对象图像之前由输入部输入的I个或多个图像构成，所述对象图像是由输入部新输入的作为处理对象的图像。匹配部计算基准图像的特征点与对象图像的特征点之间的对应关系。估计部设基准图像与对象图像之间的运动仅为摄像元件的旋转运动，采用由匹配部算出了对应关系的特征点的特征点对的位置信息，估计使基准图像的坐标系与对象图像的坐标系对应的变换式。合成部根据变换式，使基准图像与对象图像联结起来而生成合成图像。
[0011]在本发明一侧面的图像处理装置中，假设基准图像与对象图像之间的运动仅由于摄像元件的旋转运动而引起，估计使两个图像的坐标系对应的变换式。因此，在变换式中不含有放大、缩小、平行移动等的参数，所以能够避免所输入的对象图像被缩小等而产生误差。此外，由于限定仅为旋转分量，可以避免将缩小等的对象图像作为下次以后的基准图像，所以可避免误差的积蓄。由此，在依次合并输入的图像时，即使在包含摄像方位不同的图像的情况下，也能够抑制误差的积蓄，并获得画质良好的全景图像。
[0012]在一个实施方式中，估计部估计仅由以摄像元件的位置作为原点的三维坐标系的各轴的旋转分量构成的变换式。
[0013]在一个实施方式中，估计部可以准备包含了采用变换式进行变换后的特征点对各自的位置信息的差分的目标函数，采用最优化方法按照使目标函数成为最小值的方式进行收敛运算，由此估计变换式。通过这样的结构，可高精度地估计使基准图像与对象图像之间的坐标系对应的变换式。
[0014]在一个实施方式中，当存在多个在对象图像之前由输入部输入的图像时，估计部采用在对象图像之前刚由输入部输入的图像的变换式作为收敛运算的初始值。通过这样的结构，因为运算的收敛变快，所以能够实现计算成本的抑制和运算速度的提高。
[0015]在一个实施方式中，估计部可将通过匹配部算出了对应关系的特征点对投影到球面上，采用投影后的特征点对的位置信息来估计使基准图像的坐标系与对象图像的坐标系对应的变换式。通过这样的结构，可成为在采用变换式之后的坐标中不包含变量的除法运算的形式，所以能够实现计算成本的抑制和运算速度的提高。
[0016]在一个实施方式中，当存在多个在对象图像之前由输入部输入的图像、而且在对象图像之前由输入部输入的图像中的至少I个与基准图像以及对象图像重叠时，估计部采用基准图像、与基准图像重叠的图像以及对象图像各自的特征点的特征点对，相互关联地估计使基准图像的坐标系和与基准图像重叠的图像的坐标系对应的变换式、以及使基准图像的坐标系和对象图像的坐标系对应的变换式。通过这样的结构，不仅仅基准图像与对象图像的位置关系，还在考虑了基准图像与其它图像的位置关系之后，估计这些图像的位置关系，因此能够提高变换式的精度。
[0017]在一个实施方式中，选择部在基准图像与对象图像的距离是预定值以上的情况下，选择该对象图像作为输入部在下次以后新输入的成为处理对象的图像即对象图像的基准图像。通过这样进行选择，可选择与对象图像的重叠面积大的基准图像。
[0018]在一个实施方式中，选择部在对象图像与之前的基准图像的距离小于对象图像与基准图像的距离时，选择之前的基准图像作为在下次以后新输入的成为处理对象的图像即对象图像的基准图像。通过这样进行选择，可选择与对象图像的重叠面积大的基准图像。
[0019]在一个实施方式中，匹配部在对象图像与之前的基准图像的距离是预定值以下时，进一步计算之前的基准图像的特征点与对象图像的特征点的对应关系，估计部还采用之前的基准图像与对象图像的特征点对的位置信息，来估计使之前的基准图像的坐标系与对象图像的坐标系对应的变换式，采用使基准图像的坐标系与对象图像的坐标系对应的变换式、使之前的基准图像的坐标系与对象图像的坐标系对应的变换式，来使基准图像与之前的基准图像相对应。通过这样的结构，可经由对象图像来匹配原来重叠非常少的基准图像彼此，所以能够进一步获得画质良好的全景图像。
[0020]在一个实施方式中，图像处理装置还具备引导部，该引导部与用于显示图像的显示部相连，使所述显示部显示引导用户的照相机操作的引导显示，估计部使估计出了变换式的基准图像与对象图像连接，并记录为是已决定相对位置的对，合成部向显示部输出合成图像，当存在如下第I图像时，引导部使显示部显示将摄像位置从当前的摄像位置引导至第I图像的图像位置的引导显示，所述第I图像是指已决定相对位置的对中的、与本次的基准图像的跳跃段数是预定值以上而且与本次的基准图像不重叠的图像。可通过这样的结构来提示用户操作，使得经由多张图像相对地决定第I图像与基准图像的位置关系，从而避免在误差积蓄的状态下进行合成的状况。
[0021]本发明其它侧面的图像处理方法是依次输入摄像元件所摄像的图像并且在每次输入时将其联结起来而生成合成图像的图像处理方法。该方法具备输入步骤、选择步骤、匹配步骤、估计步骤以及合成步骤。输入步骤依次输入图像。选择步骤从已输入图像中选择基准图像，该已输入图像由在对象图像之前通过所述输入步骤输入的I个或多个图像构成，所述对象图像是通过所述输入步骤新输入的作为处理对象的图像。匹配步骤计算基准图像的特征点与对象图像的特征点的对应关系。在估计步骤中，设基准图像与对象图像之间的运动仅为摄像元件的旋转运动，采用通过匹配步骤算出了对应关系的特征点的特征点对的位置信息，估计使基准图像的坐标系与对象图像的坐标系对应的变换式。在合成步骤中，根据变换式，使基准图像与对象图像联结起来而生成所述合成图像。
[0022]根据该图像处理方法，实现与上述本发明一侧面的图像处理装置同样的效果。
[0023]本发明其它侧面的图像处理程序使计算机发挥功能，使得依次输入摄像元件所摄像的图像并且在每次输入时将其联结起来而生成合成图像。该程序使计算机作为输入部、选择部、匹配部、估计部以及合成部发挥功能。输入部依次输入图像。选择部从已输入图像中选择基准图像，该已输入图像由在对象图像之前通过输入部输入的I个或多个图像构成，所述对象图像是由输入部新输入的作为处理对象的图像。匹配部计算基准图像的特征点与对象图像的特征点之间的对应关系。估计部设基准图像与对象图像之间的运动仅为摄像元件的旋转运动，采用由匹配部算出了对应关系的特征点的特征点对的位置信息，估计使基准图像的坐标系与对象图像的坐标系对应的变换式。合成部根据变换式使基准图像与对象图像联结起来而生成合成图像。
[0024]根据该图像处理程序，起到与上述本发明一侧面的图像处理装置同样的效果。
[0025]本发明其它侧面的记录介质是记录有图像处理程序的计算机可读的记录介质，该图像处理程序使计算机发挥功能，使得依次输入摄像元件所摄像的图像并且在每次输入时将其联结起来而生成合成图像。该程序使计算机作为输入部、选择部、匹配部、估计部以及合成部发挥功能。输入部依次输入图像。选择部从已输入图像中选择基准图像，该已输入图像由在对象图像之前通过输入部输入的I个或多个图像构成，所述对象图像是由输入部新输入的作为处理对象的图像。匹配部计算基准图像的特征点与对象图像的特征点之间的对应关系。估计部设基准图像与对象图像之间的运动仅为摄像元件的旋转运动，采用由匹配部算出了对应关系的特征点的特征点对的位置信息，估计使基准图像的坐标系与对象图像的坐标系对应的变换式。合成部根据变换式将基准图像与对象图像合成而生成合成图像。
[0026]根据该记录介质，起到与上述本发明一侧面的图像处理装置同样的效果。
[0027]发明效果
[0028]根据本发明的各种侧面以及实施方式，可提供如下图像处理装置、图像处理方法、图像处理程序以及记录介质，当依次联结所输入的图像时，即使在包含摄像方位不同的图像的情况下也能够抑制误差的积蓄并获得画质良好的全景图像。
【专利附图】
【附图说明】
[0029]图1是搭载有实施方式的图像处理装置的便携终端的功能框图。
[0030]图2是搭载有实施方式的图像处理装置的便携终端的硬件结构图。
[0031]图3是说明广角全景合成图像的概要图。
[0032]图4是说明对象图像合成时的变形的概要图。
[0033]图5是说明基准图像与对象图像的对位的概要图。
[0034]图6是根据照相机旋转来说明对象图像合成时的变形的概要图。
[0035]图7是说明基准图像与对象图像的对应点的概要图。
[0036]图8是详细说明基准图像与对象图像的对位的概要图。
[0037]图9是说明多个图像的对位的概要图。
[0038]图10是说明基准图像的选择条件的概要图。
[0039]图11是说明同时估计多个图像的运动的情况的概要图。
[0040]图12是说明基准图像彼此间的对位的概要图。
[0041]图13是说明引导显示的概要图。
[0042]图14是说明合成处理的概要图。
[0043]图15是说明实施方式的图像处理装置的动作的流程图。
[0044]图16是说明实施方式的图像处理装置的动作的流程图。
【具体实施方式】
[0045]以下，参照附图来说明本发明的实施方式。此外，在各图中对同一或相当的部分附加同一符号，并省略重复的说明。
[0046]本实施方式的图像处理装置是每次输入时将输入图像联结起来而逐次作成一张图像的装置，例如适合在实时联结连续摄像的多个图像而生成比I张摄像图像更广角的全景图像的情况下采用本实施方式的图像处理装置。本实施方式的图像处理装置适合搭载在例如便携电话、数字照相机、PDA(Personal Digital Assistant:个人数字处理)等资源有限制的移动终端上，但不仅限于此，例如也可以搭载在通常的计算机系统上。此外，以下考虑到说明理解的容易性，作为本发明的图像处理装置的一例，说明在具有照相机功能的便携终端上搭载的图像处理装置。
[0047]图1是具备本实施方式的图像处理装置I的便携终端2的功能框图。图1所示的便携终端2是例如由用户携带的移动终端，具有图2所示的硬件结构。图2是便携终端2的硬件结构图。如图2所示，便携终端2在物理上构成为包含CPU (Central ProcessingUnit:中央处理器)100、ROM (Read Only Memory:只读存储器)101 以及 RAM (Random AccessMemory:随机存取存储器)102等主存储装置、照相机或键盘等输入设备103、显示器等输出设备104、硬盘等辅助存储装置105之类的通常的计算机系统。通过在CPU100、R0M10URAM102等硬件上读入预定的计算机软件，来基于CPU100的控制而使输入设备103以及输出设备104进行动作，并且进行主存储装置或辅助存储装置105中的数据读出以及写入，由此来实现后述的便携终端2以及图像处理装置I的各个功能。此外，上述说明作为便携终端2的硬件结构进行了说明，但图像处理装置I可构成为包含CPU100、R0M101以及RAM102等主存储装置、输入设备103、输出设备104、辅助存储装置105等的通常计算机系统。另外，便携终端2可具备通信模块等。
[0048]如图1所示，便携终端2具备照相机20、图像处理装置I以及显示部21。照相机20具有对图像进行摄像的功能。例如，采用摄像元件等作为照相机20。照相机20具有例如从通过用户操作等指定的时刻起以预定间隔反复进行摄像的连续摄像功能。用户例如能够使照相机20滑动或以预定位置为原点进行旋转，至少对在上下左右重叠的连续图像进行摄像。而且，照相机20具有例如在每次摄像时向图像处理装置I输出所摄像的图像的功能。显示部21是可显示合成图像等的显示器装置。
[0049]图像处理装置I具有依次联结所摄像的图像来生成广角的全景合成图像的功能。通常照相机的视角大约是50?65度(对角线视场角)，不过图像处理装置I通过具有后述的功能，将输入图像合并而生成65度以上的视场角的图像。例如图3所示，在照相机20的摄像方向如箭头K所示进行变化时，合并依次输入的图像，在合成平面Sp上依次描绘合成图像。当例如本次输入的图像是Ic时，图像Ic与目前为止的合成图像It被合成而生成一张合成图像。此外，图像处理装置I不仅仅将作为要合成的处理对象的对象图像Ic与合成图像It进行联结，还在实施变形处理之后进行联结。例如图4所示，图像处理装置I将对象图像Ic以㈧放大/缩小、⑶平行四边形(横方向)、(C)平行四边形(纵方向)、(D)旋转、(E)平行移动(横方向)、(F)平行移动(纵方向)、(G)梯形(横方向)、⑶梯形(纵方向)的方式进行变形。向合成平面Sp描绘已实施这些变形处理或组合的变形处理的对象图像Ic。通过采用㈧?⑶这8个自由度的变形，使在图像的联结点上难以产生偏差，从而能够获得自然的广角全景。
[0050]以下，详细地说明图像处理装置I。图像处理装置I具备输入部10、选择部11、匹配部12、估计部13、合成部14以及引导部15。
[0051]输入部10具有输入照相机20所摄像的图像的功能。输入部10具有在每次摄像时输入例如由照相机20所摄像的图像的功能。另外，输入部10具有将最初输入的图像保存到便携终端2所具备的第I临时存储区域(输出图像用缓存器)的功能。另外，输入部10具有将下次之后连续输入的图像保存到便携终端所具备的第2临时存储区域(输入图像用缓存器)的功能。此外，当在第2临时存储区域中保存有图像时，进行该图像的定位并且判断该图像是否是描绘对象，在判断为是描绘对象的图像时，通过合成来更新第I临时存储区域中存储的输出图像并进行覆盖保存。以下，设第I临时存储区域中存储的图像为合成图像It，设第2临时存储区域中存储的图像为对象图像Ic (输入图像)来进行说明。
[0052]选择部11具有选择对位用的基准图像的功能。所谓基准图像是作为对象图像Ic的对位的基准的图像。例如，选择部11构成为可参照存储了与已输入图像有关的信息的存储器18。已输入图像是在对象图像Ic之前由输入部10输入的图像，可以是I个或多个图像。SP，当设第η个对象图像Ic为Ic (η-1)时，已输入图像为Ic (n-2)、Ic (n-3)、…IcO。选择部11在已输入图像是I张的情况下，选择该图像Icl作为对象图像Ic2的基准图像IrO0以后，除了满足预定条件的情况之外，选择部11不变更该基准图像。所谓预定条件就是基准图像与对象图像Ic (η)之间的距离相距预定值以上的情况。在此情况下，选择部11选择对象图像Ic(n)作为下次的新对象图像Ic(n+1)的基准图像Ir (k)，并将与对象图像Ic (η)有关的信息保存到存储器18内。所谓与对象图像Ic(n)有关的信息，例如可以仅是由后述的匹配部12导出的特征点的像素值以及位置信息。这样，通过限制存储器18中记录的信息，与保存基准图像Ir自身的情况相比，能够削减使用存储器容量。并且，选择部11在输入对象图像Ic(n+1)时，参照存储器18选择对象图像Ic (η)作为基准图像Ir(k)。以上，选择部11按照每个对象图像Ic来选择I个基准图像Ir。在一个实施方式中，选择部11在满足预定条件的情况下，还可以针对对象图像Ic(n)选择临时基准图像。临时基准图像是从已输入图像中选择的图像，是临时的基准图像。后面将详细地叙述临时基准图像的选择处理。选择部11向匹配部12输出与基准图像Ir有关的图像信息(至少包含特征点的像素信息以及位置信息的信息)。
[0053]匹配部12取得基准图像Ir以及对象图像Ic的对应关系。匹配部12取得与基准图像Ir的特征点以及对象图像Ic的特征点有关的信息。匹配部12例如根据特征点的像素值来取得基准图像Ir以及对象图像Ic的对应关系。作为匹配方法可采用块匹配法等现有的方法。在一个实施方式中，匹配部12可以在将基准图像Ir以及对象图像Ic多分辨率化后进行匹配。例如，匹配部12分别阶段性地变更基准图像Ir以及对象图像Ic的分辨率，生成分辨率不同的多个图像。然后，匹配部12可以在分辨率最小的图像间取得特征点的平行移动量，在分辨率更大的图像间进行特征点的像素单位的匹配。在此情况下，能够降低处理高速化以及运算成本。
[0054]匹配部12取得已算出基准图像Ir与对象图像Ic之间的对应关系的特征点对的位置信息(坐标信息)。即，匹配部12成对地取得基准图像Ir的某特征点的位置信息和对应于该特征点的对象图像Ic的特征点的位置信息。匹配部12为了后述的对位处理而取得多个特征点对。匹配部12向估计部13输出所取得的特征点对。此外，如上所述，在选择部11追加该对象图像Ic作为下次以后的基准图像Ir时，匹配部12向选择部11输出对象图像Ic的特征点的像素值以及位置信息。
[0055]估计部13具有根据基准图像Ir与对象图像Ic的对应关系进行基准图像Ir与对象图像Ic的对位的功能。图5是概括说明基准图像与对象图像Ic的对位的概要图。例如图5(A)所示，在仅输入第一张图像的情况下，选择该图像作为基准图像IrO。然后，在输入第二张图像(对象图像Ic)的情况下，估计部13以基准图像IrO的位置为基准使对象图像Ic进行对位。所谓对位是指如图5(B)所示地决定基准图像IrO的预定点(这里是中心CO)与对象图像Ic的预定点(这里是中心Cl)的相对位置。估计部13搜索由匹配部12取得的特征点对彼此最重合的位置。然后如图5(C)所示，在利用估计部13结束了基准图像IrO与对象图像Ic的对位的情况下，记录位置关系已相互连接的情况(连接(Iink)Rel)。此外如上所述，当利用估计部13结束对位并且基准图像IrO与对象图像Ic的相对距离成为预定值以上时，选择部11需要追加该对象图像Ic作为下次以后的基准图像Irl，因此，匹配部12向选择部11输出对象图像Ic的特征点的像素值以及位置信息。
[0056]估计部13考虑照相机的运动而进行基准图像Ir与对象图像Ic的对位。图6是说明基于照相机20的旋转的摄像面的概要图。例如图6所示，当将旋转前的照相机20的摄像面设为SO、将旋转后的照相机20的摄像面设为SI时，摄像面SO和摄像面SI不存在于同一平面内。因此，通过平行移动来重叠特征点对的位置与原来的重合位置不同。即，在进行对位的情况下，需要考虑到照相机的运动来进行对位，使得基准图像Ir的特征点的位置与对象图像Ic的特征点的位置在同一三维坐标系上一致。
[0057]由此，估计部13估计使基准图像IrO的三维坐标系与对象图像Ic的三维坐标系一致的变换式。如图7所示，当设基准图像IrO的特征点的坐标为(X(l、yc1、l)、设与该特征点对应的对象图像Ic的特征点的坐标为(Xpy1U)时,估计部13估计(Xc^ytlU)与(XpypI) 一致的变换式。这里，关于照相机的自由度是7个自由度:焦点距离是I个自由度，照相机的运动(向xy方向的平行移动、基于向z方向移动的放大缩小)是3个自由度，照相机的旋转(向X方向、y方向的图像失真(梯形))以及z轴上的图像旋转是3个自由度。当考虑滚动快门失真(焦平面失真)近似为8个自由度时，用以下的数式I进行表述。
[0058]【数式I】
(X0) (Q1 bY ?Λ Γ X1 ^
[0059]J0 = dx B1 Z1.J1…(I)
J J U h 1J I1J
[0060]上述变换矩阵(变换式)的参数?Ill是与上述8个自由度有关的参数。估计部13可利用基于最优化方法的收敛运算来求出多个特征点对能够满足上述关系的变换矩阵的参数。具体地说，进行收敛运算，使得包含基准图像Ir的特征点位置(Χ(1、％、1)与变换了对象图像Ic的特征点位置(Xl、y1、l)之后的位置之间的差分的目标函数为最小值。最优化方法可采用牛顿法或高斯牛顿法等公知的方法。
[0061]这里，估计部13具有如下功能:设基准图像Ir与对象图像Ic之间的运动仅是照相机20的旋转运动而将照相机20的运动限定为3个自由度，并采用特征点对的位置信息来估计变换式。例如图7所示，当将照相机20的摄像位置作为原点时，将照相机的自由度限定仅为X轴、Y轴、Z轴的旋转。当将各轴的参数设为(β、α、Y)时，可如以下来表述变换矩阵R。
[0062]【数式2】
R = R2-Rs-Ry
(COSfj) -sin(f) (? (I OO ^ (cos(a) O sin(or)'
[0063],
=siii(x) cos(x) 0 ■ 0 cos(//} -sm(/i) 0 I 0
v 00 lj \0 sin(彡)cos(y^) J Iv-Sin(Cr) 0 COs(Or)y
[0064]S卩，可以采用变换矩阵R如下面的数式2那样使基准图像Ir的特征点位置(X(l、yQ、I)与对象图像Ic的特征点位置(Xl、y1、l)对应。
[0065]【数式3】
/ \ / \
/ -V* 一\f γ 一 r* \
-aI
[0066]J0 - Cy =R- y1-Cy…(2)
FF
V J \ J
[0067]这里，(Cx、Cy)是使基准图像Ir以及对象图像Ic的图像尺寸相同时各自的中心坐标。另外，F是焦点距离。此外，焦点距离F可应用根据照相机20的各种信息获得的值。
[0068]如数式I那样，在采用考虑了缩小分量的变换矩阵而且还优先使误差变小地进行收敛运算时，因为缩小图像的一方误差相对变小，所以存在缩小分量的程度变大的变换矩阵成为解的倾向。在此情况下，每当逐次合成时都会积蓄误差，结果没有成为画质良好的全景图像。与此相对，如数式2所示，将变换矩阵R仅限定于旋转分量，由此在基于最优化方法的收敛运算时没有考虑缩小分量，所以能够避免误差的积蓄，可生成画质良好的全景合成图像。此外，可采用上次的对象图像Ic的变换矩阵作为高斯牛顿法等最优化方法的收敛运算的初始值。在此情况下，收敛运算容易更快地进行收敛，从而能够提高运算速度。
[0069]在一个实施方式中，估计部13在对数式2进行收敛运算而估计变换矩阵时，将特征点的二维坐标投影到三维空间Sp的球面，并采用投影的坐标的对应关系来估计变换矩阵。图8是详细说明基准图像Ir与对象图像Ic的对位的概要图。如图8(A)、(B)所示，估计部13将二维坐标系的基准图像Ir的特征点位置(Xt^yciU)和二维坐标系的对象图像Ic的位置(Xl、y1、l)透视射影至三维空间Sp的球面。当将Xn-Cx设为矢量Xn、将yn_cx设为矢量7?、将投影后的坐标设为(Xn、Yn、Zn)时，关于坐标(Xl、y1、F)例如通过下面的数式3来进行射影投影。
[0070]【数式4】
f Y Λλ
I^vt
I'
[0071]Y1 =...........................................................................................J1…(3)
Z ^xl2+y:+F2 F
、厶I JKrJ
[0072]另外，能够如以下这样地表述基于变换矩阵R的变换后的坐标点。
[0073]【数式5】
[0074]RiYi) =R- Y1
KR(ZX)y KZX j
[0075]因此，收敛运算的目标函数包含以下的差分r。
[0076]【数式6】
[0077]rx = R(X1)-X0
[0078]ry = R(Y1)-Y0
[0079]rz = R(Z1)-Z0
[0080]此外，在假定对象图像Ic与基准图像Ir之间的距离较近时，可省略数式3的变换。在此情况下，上述差分r成为不包含除法运算的形式，所以不需要考虑除法运算中的落位(桁落)。因此，在例如利用基于高斯牛顿法等的最优化处理对目标函数进行收敛运算时，可容易地进行运算。由此，在向三维空间的球面射影而进行运算时，可降低运算成本。
[0081]估计部13利用上述处理来估计变换矩阵R，并进行基准图像Ir与对象图像Ic的对位。估计部13使选择部11选择出的基准图像Ir和所输入的对象图像Ic进行逐次对位，并生成连接(图8(C))。图9示出进行8张输入图像间的定位的连接。如图9所示，8张输入图像的中心CO?C7之间被连接(连接Rel?Re7)。通过反复进行选择部11选择基准图像、估计部13形成连接这样的动作，可如图9所示地，一边使图像对位一边进行联结。
[0082]此外，估计部13由于投影到球面而估计变换矩阵R，并使基准图像与对象图像对位，所以当二维平面与球面的坐标变换时，考虑例如图4所示的8个自由度的图像变形。换言之，估计部13可通过在球面上进行定位，当后述的合成部14从球面向平面进行投影时，能够进行图4所示的图像变形。
[0083]以下，说明选择部11以及估计部13的变形例。在一个实施方式中，选择部11还可采用临时基准图像Itr而不仅仅是基准图像Ir。图10是说明基准图像Ir以及临时基准图像Itr的概要图。首先，如图10(A)所示，在输入了图像的情况下，该图像成为下次以后的基准图像Ir。接着，图10⑶所示，假设输入了距离基准图像Ir为一定值以上的对象图像Ic。在此情况下，如图10(C)所示，将对象图像Ic设为下次以后的临时的基准图像即临时基准图像Itr。临时基准图像Itr是不作为历史保存的临时基准图像。接着，如图10(D)所示，假设输入了与临时基准图像Itr分离的对象图像Ic，如图10(E)所示，输入了距离临时基准图像Itr为一定值以上的对象图像Ic。在此情况下，如图10(F)、(G)所示，抛弃在本次之前的临时基准图像Itr，将对象图像Ic作为下次以后的临时的基准图像即临时基准图像Itr。接着，如图10(H)所示，输入了不仅与临时基准图像Itr，还与基准图像Ir也距离一定值以上的对象图像Ic。在此情况下，如图10(1)所示，抛弃本次之前的临时基准图像Itr，将对象图像Ic作为下次以后的基准图像Ir。这里，将本次之前的基准图像即第I个基准图像设为IrO，将下次以后的基准图像设为Irl。与基准图像IrO、Irl的特征点有关的信息被保存用于进行对位。接着，如图1O(J)所示，输入了距离基准图像Irl也为一定值以上的对象图像Ic。在此情况下，与图10(C)同样，如图1O(K)所示，将对象图像Ic作为下次以后的临时的基准图像即临时基准图像Itr。接着，如图1O(L)所示，假设输入了与临时基准图像Itr相比靠近于基准图像IrO的对象图像Ic。在此情况下，抛弃本次之前的临时基准图像Itr，将下次以后的基准图像设为基准图像IrO。这样，通过预先保持基准图像的信息，即使在照相机20返回到初始位置的情况下也能够以之前的基准图像为基准使对象图像进行对位。另外，通过采用临时基准图像Itr和基准图像Ir，能够将需要预先记录的数据限制为最少。
[0084]另外，在一个实施方式中，估计部13在多个图像重叠的情况下，可同时估计多个图像间的运动。例如图11所示，假设基准图像Ir与对象图像Ic之间存在重叠的图像(之前的对象图像Ipl)。假设已经导出基准图像Ir和之前的对象图像Ipl之间被定位的状态即变换矩阵R1。而且，将基准图像Ir的特征点坐标设为(Xt^yciU)，将之前的对象图像Ipl的特征点坐标设为(Xl、y1、l)，将对象图像Ic的特征点坐标设为(x2、y2、l)。这里，当导出使基准图像Ir的坐标系与对象图像Ic的坐标系对应的变换矩阵R2时，设定以下的条件。
[0085]【数式7】
〔V
[0086]y0 =R1- Ji(ο)
TI
V-O J V /
[-V
[0087]y() ^R2- V,…(6)
τI
J KlJ
rXl λ Cx2
[0088]R1.J1 二 R2- J2 '■.(7)
Iu 10
[0089]根据数式7，使变换式Rl和变换式R2进行关联。估计部13根据最优化方法的收敛运算来同时估计可满足上述数式5?7的Rl、R2。在此情况下，能够避免使与基准图像Ir和之前的对象图像Ipl的特征点对有关的信息无效。另外，通过同时估计多个图像之间，与连接按照串联的方式相连的情况相比，可抑制误差的积蓄。
[0090]另外，在一个实施方式中，估计部13在对象图像Ic接近于之前的基准图像Ir的情况下，进行不仅与当前的基准图像Ir，还与之前的基准图像Ir的对位。例如图13(A)所示，图像中心为C13的对象图像Icl3铺设图像中心为C12的基准图像Irl2以及连接Rel3，并决定相对位置。这里，如图13⑶所示，估计部13在对象图像Icl3与图像中心Cl的之前的基准图像Irl接近的情况下，进行基准图像Irl与对象图像Icl3的对位。由此，在基准图像Irl与对象图像Icl3之间铺设连接Rel4。S卩，可采用对象图像Icl3进行基准图像Irl与基准图像Irl2的对位。这样，通过采用对象图像Ic实现基准图像Ir彼此间的对位，可进行原来重叠较少的基准图像Ir彼此间的定位。
[0091]另外，在一个实施方式中，估计部13可具有调整整体位置的功能。所谓调整整体位置是指，对描绘对象的图像(输出用图像缓存器中写出的图像)的整体的位置关系进行调整。例如，在基准图像Ir之间铺设新的连接的时刻、或通过同时估计多个图像的运动而更新多个之前的变换矩阵的时刻，可对全部描绘对象图像的整体位置进行微调整。即，重新计算全部描绘对象图像的变换矩阵R。整体位置不采用由匹配部12输出的特征点，而是基于对位的结果随机地提取或从预定位置提取图像至图像之间的对应点，并根据所提取的点的位置信息来进行整体的对位。在此情况下，由于无需保存之前的特征点对，因此能够削减存储器使用量。
[0092]接着，说明引导部15。引导部15具有引导用户操作的功能。引导部15与用于显示图像的显示部21相连，在显示部21上显示了用于引导用户的照相机操作的引导显示。例如，当存在已决定相对位置的基准图像Ir和对象图像Ic对中的、与本次基准图像Ir的跳跃(hop)段数是预定值以上而且与本次的基准图像Ir不重叠的第I图像时，引导部15使显示部显示将摄像位置从当前的摄像位置引导至第I图像的图像位置的引导显示。例如，图13 (A)所示，引导部15对图像中心CO的图像(第I图像)与图像中心CS的当前基准图像之间的跳跃段数(连接Re的数量)进行累计。然后，引导部15算出图像中心CO的图像与图像中心CS的当前基准图像之间的距离。并且，在累计数是预定值以上且距离小于预定值时(例如不重叠的情况)，引导部15判断为图像以串联的方式长长地相连。在以串联的方式长长地联结图像的情况下，容易积蓄误差。因此，如图13(B)所示，引导部15显示引导显示Ga，使得照相机20的摄像位置朝向图像中心CO的图像(第I图像)。引导显示Ga可采用框、箭头或图标等，并被附加了声音。用户根据引导显示Ga中的引导来改变照相机20的摄像方向，由此如图13(C)所示，可在图像中心CO的图像与图像中心C8的图像之间形成连接而进行位置调整。这样，引导部15通过引导用户来避免误差的积蓄。
[0093]接着，说明合成部14。合成部14与显示部21相连，具有在显示部21上描绘合成图像的功能。合成部14根据估计部13估计出的变换矩阵将在三维空间的球面上对位的图像组(描绘对象的图像)投影到二维平面上。在从球面向平面的投影时，进行例如图4所示的图像变形。然后，将描绘对象的图像作为一张合成图像记录至输出图像用缓存器。例如，图14所示，设合成平面Sp被分割成格状。合成部14在投影至合成平面Sp的图像Id上描绘含有四角的单元。另外，合成部14利用图像间的分界线来调整混合比等。这样，将多个描绘对象的图像Id投影至合成平面Sp，并生成合成图像。
[0094]接着，说明本实施方式的图像处理装置I的动作。图15、图16是示出本实施方式的图像处理装置I的动作的流程图。图15、图16所示的控制处理例如在便携终端2的摄像功能开启的时刻执行，并在预定的周期内反复执行。此外，考虑到说明理解的容易性，假设对象图像Ic是第2个之后的输入图像。
[0095]如图15所示，首先图像处理装置I执行图像输入处理(S10:输入步骤)。在SlO的处理中，输入部10从照相机20输入对象图像Ic。当结束SlO的处理时，转移至对位处理(S12)。
[0096]在S12的处理中，选择部11、匹配部12以及估计部13进行基准图像Ir与对象图像Ic的相对对位。该处理的详细情况为图16。首先，选择部11从已输入图像中选择基准图像Ir (S30:选择步骤)。接着，匹配部12以及估计部13进行基准图像Ir与对象图像Ic的对位(S32:匹配步骤以及估计步骤)。接着，估计部13判定之前(或其它)的基准图像Ir和对象图像Ic是否能够进行比较(S34)。在S34的处理中，当估计部13判断为能够比较时，进行之前的基准图像Ir与对象图像Ic的对位(S36、例如图12(B))。然后，估计部13将重绘标志设置为1，以用于整体位置的调整(S38)。然后，选择部11判断对象图像Ic与之前的基准图像Ir之间的距离是否是预定值以上(S40)。在S40的处理中，当利用选择部11判定为距离是预定值以上时，将对象图像Ic记录到基准图像列表，使得成为下次以后的基准图像IHS42)。所谓基准图像列表是用于参照记录有基准图像的特征点的像素值以及坐标的数据的列表。当S42的处理结束时，结束图16所示的对位处理。
[0097]另一方面，在S34的处理中，当估计部13判断为不能够比较时，转移至判断对象图像Ic与之前的基准图像Ir之间的距离的处理(S40)。另一方面，在S40的处理中，当利用选择部11判定为距离不是预定值以上时，结束图16所示的对位处理。
[0098]返回至图15，当S12的处理结束时向判定处理进行转移(S14)。
[0099]在S14的处理中，合成部14判定是否将在SlO的处理中输入的对象图像Ic追加作为描绘用图像。例如，合成部14构成为可参照描绘用图像列表，该描绘用图像列表可参照应该描绘的图像的图像信息，当与记载于该列表内的图像中的位置最近的图像的距离是预定值以上时，将SlO的处理中输入的对象图像Ic追加至描绘用图像中。在S14的处理中，当判断为追加时，转移至保存处理(S16)。
[0100]在S16的处理中，合成部14在描绘用列表中追加该对象图像Ic，保存对象图像Ic0当S16的处理结束时，转移至重绘判定处理(S18)。
[0101]在S18的处理中，估计部13判定是否是重绘标志=O。在S18的处理中，当重绘标志=I时，转移至描绘位置的重新计算处理(S20)。
[0102]在S20的处理中，估计部13进行整体对位的处理。估计部13采用更新后的变换矩阵来调整全部描绘用图像的位置。当S20的处理结束时，转移至预览图像描绘处理(S22)。
[0103]在S22的处理中，合成部14例如从描绘用图像列表中确定应该描绘的图像，将其从三维空间的球面投影到二维平面，生成预览用的合成图像(S22:合成步骤)。然后，输出预览用的图像，并显示在显示部21等上(S24)。当S24的处理结束时，转移至图像输入的判定处理(S26)。
[0104]另一方面，在S14的处理中，当合成部14未判断为追加时，转移至重绘判定处理(S18)。另外，在S18的处理中，在重绘标志=O的情况下，转移至预览图像描绘处理(S22)。
[0105]在S26的处理中，输入部10判定对象图像Ic的输入是否已结束。在S26的处理中，当对象图像Ic的输入没有结束时，再次转移至SlO的处理。另一方面，当对象图像Ic的输入结束时，转移至结果图像输出处理(S28)。
[0106]在S28的处理中，合成部14在显示部21等上显示合成图像。以上结束图15、16所示的控制处理。通过执行图15、16所示的控制处理，可避免误差的积蓄，获得画质良好的全景合成图像。
[0107]接着，说明用于使便携终端(计算机)2作为上述图像处理装置I发挥功能的图像处理程序。
[0108]图像处理程序具备主模块、输入模块以及运算处理模块。主模块是统括地控制图像处理的部分。输入模块为了取得输入图像而使便携终端2进行动作。运算处理模块具备选择模块、匹配模块、估计模块、合成模块以及引导模块。通过执行主模块、输入模块以及运算处理模块实现的功能与上述图像处理装置I的输入部10、选择部11、匹配部12、估计部13、合成部14以及引导部15的功能分别相同。
[0109]例如，图像处理程序可通过ROM等记录介质或半导体存储器来提供。另外，图像处理程序也可经由网络作为数据信号来提供。
[0110]以上，根据本实施方式的图像处理装置1、图像处理方法以及图像处理程序，设基准图像Ir与对象图像Ic之间的运动仅由照相机20的旋转运动引起而估计使两个图像的坐标系对应的变换矩阵R。因此，在变换矩阵R中不包含放大、缩小、平行移动等参数，所以能够避免输入的对象图像Ic被缩小等而产生误差。此外，通过仅限定为旋转分量，可以避免将被缩小等的对象图像Ic设为下次以后的基准图像Ir，因此能够避免误差的积蓄。从而，在依次合并输入的图像时，即使是包含摄像方位不同的图像，也能够抑制误差的积蓄，并获得画质良好的全景图像。
[0111]此外，上述的实施方式示出本发明的图像处理装置的一例。本发明的图像处理装置不仅限于实施方式的图像处理装置I，在不变更各权利要求记载的主旨的范围内，可以对实施方式的图像处理装置进行变形，或将其应用于其它装置。
[0112]例如，在上述实施方式中说明了照相机20连续摄像静态图像的例子，但是，照相机20也可以对动态图像进行摄像。在此情况下，输入部10也可以具有从摄像的动态图像中提取连续的图像的功能。另外，输入部10所输入的图像可以是从其它设备经由网络发送的图像。
[0113]另外，在上述实施方式中说明了由照相机20摄像的图像的大小相同，但所摄像的图像的大小可以是每次摄像时不同的大小。
[0114]另外，在上述的实施方式中说明了具备输入部10、选择部11、匹配部12、估计部13、合成部14以及引导部15的情况，但也可以根据所需要的性能适当进行变更。例如，根据需要可不具有引导部15。
[0115]此外，在上述实施方式中还说明了以图5所示的8个自由度来将图像进行变形的情况，但不仅限于8个自由度，例如可以是图5中的㈧?(F)所示的6个自由度。
[0116]符号说明
[0117]I…图像处理装置，10…输入部，11…选择部，12…匹配部，13…估计部，14…合成部，15...引导部，20...照相机，21...显示部。
【权利要求】
1.一种图像处理装置，其依次输入摄像元件所摄像的图像，并且在每次输入时将其联结起来而生成合成图像，该图像处理装置的特征在于，具备: 输入部，其依次输入所述图像； 选择部，其从已输入图像中选择基准图像，该已输入图像由在对象图像之前由所述输入部输入的I个或多个图像构成，所述对象图像是由所述输入部新输入的作为处理对象的图像； 匹配部，其计算所述基准图像的特征点与所述对象图像的特征点之间的对应关系； 估计部，其设所述基准图像与所述对象图像之间的运动仅为所述摄像元件的旋转运动，采用由所述匹配部算出了所述对应关系的所述特征点的特征点对的位置信息，估计使所述基准图像的坐标系与所述对象图像的坐标系对应的变换式；以及 合成部，其根据所述变换式，使所述基准图像与所述对象图像联结起来而生成所述合成图像。
2.根据权利要求1所述的图像处理装置，其中， 所述估计部估计仅由以所述摄像元件的位置作为原点的三维坐标系的各轴的旋转分量构成的变换式。
3.根据权利要求1或2所述的图像处理装置，其中， 所述估计部准备包含了采用所述变换式进行变换后的所述特征点对各自的位置信息的差分的目标函数，采用最优化方法按照使所述目标函数成为最小值的方式进行收敛运算，由此估计所述变换式。
4.根据权利要求3所述的图像处理装置，其中， 当存在多个在所述对象图像之前由所述输入部输入的图像时，所述估计部采用在所述对象图像之前刚由所述输入部输入的图像的所述变换式作为收敛运算的初始值。
5.根据权利要求3所述的图像处理装置，其中， 所述估计部将通过所述匹配部算出了所述对应关系的所述特征点对投影到球面上，采用投影后的所述特征点对的位置信息来估计使所述基准图像的坐标系与所述对象图像的坐标系对应的变换式。
6.根据权利要求1?5中任意一项所述的图像处理装置，其中， 当存在多个在所述对象图像之前由所述输入部输入的图像、而且在所述对象图像之前由所述输入部输入的图像中的至少I个与所述基准图像以及所述对象图像重叠时，所述估计部采用所述基准图像、与所述基准图像重叠的图像以及所述对象图像各自的特征点的特征点对，相互关联地估计使所述基准图像的坐标系和与所述基准图像重叠的图像的坐标系对应的变换式、以及使所述基准图像的坐标系和所述对象图像的坐标系对应的变换式。
7.根据权利要求1?6中任意一项所述的图像处理装置，其中， 所述选择部在所述基准图像与所述对象图像的距离是预定值以上的情况下，选择该对象图像作为所述输入部在下次以后新输入的成为处理对象的图像即对象图像的所述基准图像。
8.根据权利要求7所述的图像处理装置，其中， 所述选择部在所述对象图像与之前的所述基准图像的距离小于所述对象图像与所述基准图像的距离时，选择之前的基准图像作为在下次以后新输入的成为处理对象的图像即对象图像的所述基准图像。
9.根据权利要求8所述的图像处理装置，其中， 所述匹配部在所述对象图像与之前的所述基准图像的距离是预定值以下时，进一步计算之前的所述基准图像的特征点与所述对象图像的特征点的对应关系， 所述估计部还采用之前的所述基准图像与所述对象图像的所述特征点对的位置信息，来估计使之前的所述基准图像的坐标系与所述对象图像的坐标系对应的变换式， 采用使所述基准图像的坐标系与所述对象图像的坐标系对应的变换式、使之前的所述基准图像的坐标系与所述对象图像的坐标系对应的变换式，来使所述基准图像与之前的所述基准图像相对应。
10.根据权利要求1?9中任意一项所述的图像处理装置，其中， 所述图像处理装置还具备引导部，该引导部与用于显示图像的显示部相连，使所述显示部显示引导用户的照相机操作的引导显示， 所述估计部使估计出了所述变换式的所述基准图像与所述对象图像连接，并记录为是已决定相对位置的对， 所述合成部向所述显示部输出所述合成图像， 当存在如下第I图像时，所述引导部使所述显示部显示将摄像位置从当前的摄像位置引导至所述第I图像的图像位置的所述引导显示，所述第I图像是指已决定所述相对位置的对中的、与本次的所述基准图像的跳跃段数是预定值以上而且与本次的所述基准图像不重叠的图像。
11.一种图像处理方法，依次输入摄像元件所摄像的图像，并且在每次输入时将其联结起来而生成合成图像，该图像处理方法具备以下步骤: 输入步骤，依次输入所述图像； 选择步骤，从已输入图像中选择基准图像，该已输入图像由在对象图像之前通过所述输入步骤输入的I个或多个图像构成，所述对象图像是通过所述输入步骤新输入的作为处理对象的图像； 匹配步骤，计算所述基准图像的特征点与所述对象图像的特征点的对应关系； 估计步骤，设所述基准图像与所述对象图像之间的运动仅为所述摄像元件的旋转运动，采用通过所述匹配步骤算出了所述对应关系的所述特征点的特征点对的位置信息，估计使所述基准图像的坐标系与所述对象图像的坐标系对应的变换式；以及 合成步骤，根据所述变换式，使所述基准图像与所述对象图像联结起来而生成所述合成图像。
12.—种图像处理程序，其使计算机发挥功能，使得依次输入摄像元件所摄像的图像并且在每次输入时将其联结起来而生成合成图像，其中， 该图像处理程序使所述计算机作为以下的部件发挥功能: 输入部，其依次输入所述图像； 选择部，其从已输入图像中选择基准图像，该已输入图像由在对象图像之前通过所述输入部输入的I个或多个图像构成，所述对象图像是由所述输入部新输入的作为处理对象的图像； 匹配部，其计算所述基准图像的特征点与所述对象图像的特征点之间的对应关系； 估计部，其设所述基准图像与所述对象图像之间的运动仅为所述摄像元件的旋转运动，采用由所述匹配部算出了所述对应关系的所述特征点的特征点对的位置信息，估计使所述基准图像的坐标系与所述对象图像的坐标系对应的变换式；以及 合成部，其根据所述变换式，使所述基准图像与所述对象图像联结起来而生成所述合成图像。
13.一种计算机可读的记录介质，其记录有令计算机发挥功能的图像处理程序，该图像处理程序使得依次输入摄像元件所摄像的图像并且在每次输入时将其联结起来而生成合成图像，其中， 该图像处理程序使所述计算机作为以下的部件发挥功能: 输入部，其依次输入所述图像； 选择部，其从已输入图像中选择基准图像，该已输入图像由在对象图像之前通过所述输入部输入的I个或多个图像构成，所述对象图像是由所述输入部新输入的作为处理对象的图像； 匹配部，其计算所述基准图像的特征点与所述对象图像的特征点之间的对应关系；估计部，其设所述基准图像与所述对象图像之间的运动仅为所述摄像元件的旋转运动，采用由所述匹配部算出了所述对应关系的所述特征点的特征点对的位置信息，估计使所述基准图像的坐标系与所述对象图像的坐标系对应的变换式；以及 合成部，其根据所述变换式，使所述基准图像与所述对象图像联结起来而生成所述合成图像。
【文档编号】H04N1/387GK104272344SQ201280072705
【公开日】2015年1月7日 申请日期:2012年10月24日 优先权日:2012年10月24日
【发明者】泽井省吾, 平贺督基, 三浦健 申请人:株式会社 摩如富
【专利摘要】图像处理装置具备输入部、选择部、匹配部、估计部以及合成部。输入部依次输入图像。选择部从已输入图像中选择基准图像。匹配部计算基准图像的特征点与对象图像的特征点之间的对应关系。估计部设基准图像与对象图像之间的运动仅为摄像元件的旋转运动，采用由匹配部算出了对应关系的特征点的特征点对的位置信息，估计使基准图像的坐标系与对象图像的坐标系对应的变换式。合成部根据变换式来合成已输入图像与对象图像，生成合成图像。
【专利说明】图像处理装置、图像处理方法、图像处理程序以及记录介质
【技术领域】
[0001]本发明涉及图像处理装置、图像处理方法、图像处理程序以及记录介质。
【背景技术】
[0002]目前，作为图像处理装置已知有将摄像的图像联结而形成一张广角的静态图像即全景静态图像的装置(例如，参照专利文献I)。专利文献I所述的图像处理装置将从同一地点拍摄不同方位而得的多个图像进行合成。具体地说，将使用变换矩阵将两个图像各自的坐标系统一而合成两个图像。该变换矩阵通过最小平方法来算出。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本特开平11-73492号公报
【发明内容】
[0006]发明所要解决的课题
[0007]但是，在专利文献I所述的图像处理装置中，没有特别限定变换矩阵的分量，所以当采用例如最小平方法求取使变换后的两张之间的位置误差最小的变换矩阵时，存在向缩小方向变更图像大小的矩阵成为解的倾向。这样，在专利文献I所述的图像处理装置中，当依次输入在不同方位拍摄的对象图像并逐次将已输入的基准图像与对象图像合成而生成全景图像时，所输入的对象图像以缩小的方式被合成，以该缩小的对象图像为基准来估计下次的对象图像的变换矩阵。因此，每次合成时都会累积误差，结果是，有可能无法获得画质良好的全景图像。
[0008]在本【技术领域】中，当依次联结所输入的图像时，即使在包含摄像方位不同的图像时，也希望能够抑制误差的积蓄，获得画质良好的全景图像。
[0009]解决问题的手段
[0010]S卩，本发明一侧面的图像处理装置是依次输入摄像元件所摄像的图像，并且在每次输入时将其联结起来而生成合成图像的图像处理装置。该装置具备输入部、选择部、匹配部、估计部以及合成部。输入部依次输入图像。选择部从已输入图像中选择基准图像，该已输入图像由在对象图像之前由输入部输入的I个或多个图像构成，所述对象图像是由输入部新输入的作为处理对象的图像。匹配部计算基准图像的特征点与对象图像的特征点之间的对应关系。估计部设基准图像与对象图像之间的运动仅为摄像元件的旋转运动，采用由匹配部算出了对应关系的特征点的特征点对的位置信息，估计使基准图像的坐标系与对象图像的坐标系对应的变换式。合成部根据变换式，使基准图像与对象图像联结起来而生成合成图像。
[0011]在本发明一侧面的图像处理装置中，假设基准图像与对象图像之间的运动仅由于摄像元件的旋转运动而引起，估计使两个图像的坐标系对应的变换式。因此，在变换式中不含有放大、缩小、平行移动等的参数，所以能够避免所输入的对象图像被缩小等而产生误差。此外，由于限定仅为旋转分量，可以避免将缩小等的对象图像作为下次以后的基准图像，所以可避免误差的积蓄。由此，在依次合并输入的图像时，即使在包含摄像方位不同的图像的情况下，也能够抑制误差的积蓄，并获得画质良好的全景图像。
[0012]在一个实施方式中，估计部估计仅由以摄像元件的位置作为原点的三维坐标系的各轴的旋转分量构成的变换式。
[0013]在一个实施方式中，估计部可以准备包含了采用变换式进行变换后的特征点对各自的位置信息的差分的目标函数，采用最优化方法按照使目标函数成为最小值的方式进行收敛运算，由此估计变换式。通过这样的结构，可高精度地估计使基准图像与对象图像之间的坐标系对应的变换式。
[0014]在一个实施方式中，当存在多个在对象图像之前由输入部输入的图像时，估计部采用在对象图像之前刚由输入部输入的图像的变换式作为收敛运算的初始值。通过这样的结构，因为运算的收敛变快，所以能够实现计算成本的抑制和运算速度的提高。
[0015]在一个实施方式中，估计部可将通过匹配部算出了对应关系的特征点对投影到球面上，采用投影后的特征点对的位置信息来估计使基准图像的坐标系与对象图像的坐标系对应的变换式。通过这样的结构，可成为在采用变换式之后的坐标中不包含变量的除法运算的形式，所以能够实现计算成本的抑制和运算速度的提高。
[0016]在一个实施方式中，当存在多个在对象图像之前由输入部输入的图像、而且在对象图像之前由输入部输入的图像中的至少I个与基准图像以及对象图像重叠时，估计部采用基准图像、与基准图像重叠的图像以及对象图像各自的特征点的特征点对，相互关联地估计使基准图像的坐标系和与基准图像重叠的图像的坐标系对应的变换式、以及使基准图像的坐标系和对象图像的坐标系对应的变换式。通过这样的结构，不仅仅基准图像与对象图像的位置关系，还在考虑了基准图像与其它图像的位置关系之后，估计这些图像的位置关系，因此能够提高变换式的精度。
[0017]在一个实施方式中，选择部在基准图像与对象图像的距离是预定值以上的情况下，选择该对象图像作为输入部在下次以后新输入的成为处理对象的图像即对象图像的基准图像。通过这样进行选择，可选择与对象图像的重叠面积大的基准图像。
[0018]在一个实施方式中，选择部在对象图像与之前的基准图像的距离小于对象图像与基准图像的距离时，选择之前的基准图像作为在下次以后新输入的成为处理对象的图像即对象图像的基准图像。通过这样进行选择，可选择与对象图像的重叠面积大的基准图像。
[0019]在一个实施方式中，匹配部在对象图像与之前的基准图像的距离是预定值以下时，进一步计算之前的基准图像的特征点与对象图像的特征点的对应关系，估计部还采用之前的基准图像与对象图像的特征点对的位置信息，来估计使之前的基准图像的坐标系与对象图像的坐标系对应的变换式，采用使基准图像的坐标系与对象图像的坐标系对应的变换式、使之前的基准图像的坐标系与对象图像的坐标系对应的变换式，来使基准图像与之前的基准图像相对应。通过这样的结构，可经由对象图像来匹配原来重叠非常少的基准图像彼此，所以能够进一步获得画质良好的全景图像。
[0020]在一个实施方式中，图像处理装置还具备引导部，该引导部与用于显示图像的显示部相连，使所述显示部显示引导用户的照相机操作的引导显示，估计部使估计出了变换式的基准图像与对象图像连接，并记录为是已决定相对位置的对，合成部向显示部输出合成图像，当存在如下第I图像时，引导部使显示部显示将摄像位置从当前的摄像位置引导至第I图像的图像位置的引导显示，所述第I图像是指已决定相对位置的对中的、与本次的基准图像的跳跃段数是预定值以上而且与本次的基准图像不重叠的图像。可通过这样的结构来提示用户操作，使得经由多张图像相对地决定第I图像与基准图像的位置关系，从而避免在误差积蓄的状态下进行合成的状况。
[0021]本发明其它侧面的图像处理方法是依次输入摄像元件所摄像的图像并且在每次输入时将其联结起来而生成合成图像的图像处理方法。该方法具备输入步骤、选择步骤、匹配步骤、估计步骤以及合成步骤。输入步骤依次输入图像。选择步骤从已输入图像中选择基准图像，该已输入图像由在对象图像之前通过所述输入步骤输入的I个或多个图像构成，所述对象图像是通过所述输入步骤新输入的作为处理对象的图像。匹配步骤计算基准图像的特征点与对象图像的特征点的对应关系。在估计步骤中，设基准图像与对象图像之间的运动仅为摄像元件的旋转运动，采用通过匹配步骤算出了对应关系的特征点的特征点对的位置信息，估计使基准图像的坐标系与对象图像的坐标系对应的变换式。在合成步骤中，根据变换式，使基准图像与对象图像联结起来而生成所述合成图像。
[0022]根据该图像处理方法，实现与上述本发明一侧面的图像处理装置同样的效果。
[0023]本发明其它侧面的图像处理程序使计算机发挥功能，使得依次输入摄像元件所摄像的图像并且在每次输入时将其联结起来而生成合成图像。该程序使计算机作为输入部、选择部、匹配部、估计部以及合成部发挥功能。输入部依次输入图像。选择部从已输入图像中选择基准图像，该已输入图像由在对象图像之前通过输入部输入的I个或多个图像构成，所述对象图像是由输入部新输入的作为处理对象的图像。匹配部计算基准图像的特征点与对象图像的特征点之间的对应关系。估计部设基准图像与对象图像之间的运动仅为摄像元件的旋转运动，采用由匹配部算出了对应关系的特征点的特征点对的位置信息，估计使基准图像的坐标系与对象图像的坐标系对应的变换式。合成部根据变换式使基准图像与对象图像联结起来而生成合成图像。
[0024]根据该图像处理程序，起到与上述本发明一侧面的图像处理装置同样的效果。
[0025]本发明其它侧面的记录介质是记录有图像处理程序的计算机可读的记录介质，该图像处理程序使计算机发挥功能，使得依次输入摄像元件所摄像的图像并且在每次输入时将其联结起来而生成合成图像。该程序使计算机作为输入部、选择部、匹配部、估计部以及合成部发挥功能。输入部依次输入图像。选择部从已输入图像中选择基准图像，该已输入图像由在对象图像之前通过输入部输入的I个或多个图像构成，所述对象图像是由输入部新输入的作为处理对象的图像。匹配部计算基准图像的特征点与对象图像的特征点之间的对应关系。估计部设基准图像与对象图像之间的运动仅为摄像元件的旋转运动，采用由匹配部算出了对应关系的特征点的特征点对的位置信息，估计使基准图像的坐标系与对象图像的坐标系对应的变换式。合成部根据变换式将基准图像与对象图像合成而生成合成图像。
[0026]根据该记录介质，起到与上述本发明一侧面的图像处理装置同样的效果。
[0027]发明效果
[0028]根据本发明的各种侧面以及实施方式，可提供如下图像处理装置、图像处理方法、图像处理程序以及记录介质，当依次联结所输入的图像时，即使在包含摄像方位不同的图像的情况下也能够抑制误差的积蓄并获得画质良好的全景图像。
【专利附图】
【附图说明】
[0029]图1是搭载有实施方式的图像处理装置的便携终端的功能框图。
[0030]图2是搭载有实施方式的图像处理装置的便携终端的硬件结构图。
[0031]图3是说明广角全景合成图像的概要图。
[0032]图4是说明对象图像合成时的变形的概要图。
[0033]图5是说明基准图像与对象图像的对位的概要图。
[0034]图6是根据照相机旋转来说明对象图像合成时的变形的概要图。
[0035]图7是说明基准图像与对象图像的对应点的概要图。
[0036]图8是详细说明基准图像与对象图像的对位的概要图。
[0037]图9是说明多个图像的对位的概要图。
[0038]图10是说明基准图像的选择条件的概要图。
[0039]图11是说明同时估计多个图像的运动的情况的概要图。
[0040]图12是说明基准图像彼此间的对位的概要图。
[0041]图13是说明引导显示的概要图。
[0042]图14是说明合成处理的概要图。
[0043]图15是说明实施方式的图像处理装置的动作的流程图。
[0044]图16是说明实施方式的图像处理装置的动作的流程图。
【具体实施方式】
[0045]以下，参照附图来说明本发明的实施方式。此外，在各图中对同一或相当的部分附加同一符号，并省略重复的说明。
[0046]本实施方式的图像处理装置是每次输入时将输入图像联结起来而逐次作成一张图像的装置，例如适合在实时联结连续摄像的多个图像而生成比I张摄像图像更广角的全景图像的情况下采用本实施方式的图像处理装置。本实施方式的图像处理装置适合搭载在例如便携电话、数字照相机、PDA(Personal Digital Assistant:个人数字处理)等资源有限制的移动终端上，但不仅限于此，例如也可以搭载在通常的计算机系统上。此外，以下考虑到说明理解的容易性，作为本发明的图像处理装置的一例，说明在具有照相机功能的便携终端上搭载的图像处理装置。
[0047]图1是具备本实施方式的图像处理装置I的便携终端2的功能框图。图1所示的便携终端2是例如由用户携带的移动终端，具有图2所示的硬件结构。图2是便携终端2的硬件结构图。如图2所示，便携终端2在物理上构成为包含CPU (Central ProcessingUnit:中央处理器)100、ROM (Read Only Memory:只读存储器)101 以及 RAM (Random AccessMemory:随机存取存储器)102等主存储装置、照相机或键盘等输入设备103、显示器等输出设备104、硬盘等辅助存储装置105之类的通常的计算机系统。通过在CPU100、R0M10URAM102等硬件上读入预定的计算机软件，来基于CPU100的控制而使输入设备103以及输出设备104进行动作，并且进行主存储装置或辅助存储装置105中的数据读出以及写入，由此来实现后述的便携终端2以及图像处理装置I的各个功能。此外，上述说明作为便携终端2的硬件结构进行了说明，但图像处理装置I可构成为包含CPU100、R0M101以及RAM102等主存储装置、输入设备103、输出设备104、辅助存储装置105等的通常计算机系统。另外，便携终端2可具备通信模块等。
[0048]如图1所示，便携终端2具备照相机20、图像处理装置I以及显示部21。照相机20具有对图像进行摄像的功能。例如，采用摄像元件等作为照相机20。照相机20具有例如从通过用户操作等指定的时刻起以预定间隔反复进行摄像的连续摄像功能。用户例如能够使照相机20滑动或以预定位置为原点进行旋转，至少对在上下左右重叠的连续图像进行摄像。而且，照相机20具有例如在每次摄像时向图像处理装置I输出所摄像的图像的功能。显示部21是可显示合成图像等的显示器装置。
[0049]图像处理装置I具有依次联结所摄像的图像来生成广角的全景合成图像的功能。通常照相机的视角大约是50?65度(对角线视场角)，不过图像处理装置I通过具有后述的功能，将输入图像合并而生成65度以上的视场角的图像。例如图3所示，在照相机20的摄像方向如箭头K所示进行变化时，合并依次输入的图像，在合成平面Sp上依次描绘合成图像。当例如本次输入的图像是Ic时，图像Ic与目前为止的合成图像It被合成而生成一张合成图像。此外，图像处理装置I不仅仅将作为要合成的处理对象的对象图像Ic与合成图像It进行联结，还在实施变形处理之后进行联结。例如图4所示，图像处理装置I将对象图像Ic以㈧放大/缩小、⑶平行四边形(横方向)、(C)平行四边形(纵方向)、(D)旋转、(E)平行移动(横方向)、(F)平行移动(纵方向)、(G)梯形(横方向)、⑶梯形(纵方向)的方式进行变形。向合成平面Sp描绘已实施这些变形处理或组合的变形处理的对象图像Ic。通过采用㈧?⑶这8个自由度的变形，使在图像的联结点上难以产生偏差，从而能够获得自然的广角全景。
[0050]以下，详细地说明图像处理装置I。图像处理装置I具备输入部10、选择部11、匹配部12、估计部13、合成部14以及引导部15。
[0051]输入部10具有输入照相机20所摄像的图像的功能。输入部10具有在每次摄像时输入例如由照相机20所摄像的图像的功能。另外，输入部10具有将最初输入的图像保存到便携终端2所具备的第I临时存储区域(输出图像用缓存器)的功能。另外，输入部10具有将下次之后连续输入的图像保存到便携终端所具备的第2临时存储区域(输入图像用缓存器)的功能。此外，当在第2临时存储区域中保存有图像时，进行该图像的定位并且判断该图像是否是描绘对象，在判断为是描绘对象的图像时，通过合成来更新第I临时存储区域中存储的输出图像并进行覆盖保存。以下，设第I临时存储区域中存储的图像为合成图像It，设第2临时存储区域中存储的图像为对象图像Ic (输入图像)来进行说明。
[0052]选择部11具有选择对位用的基准图像的功能。所谓基准图像是作为对象图像Ic的对位的基准的图像。例如，选择部11构成为可参照存储了与已输入图像有关的信息的存储器18。已输入图像是在对象图像Ic之前由输入部10输入的图像，可以是I个或多个图像。SP，当设第η个对象图像Ic为Ic (η-1)时，已输入图像为Ic (n-2)、Ic (n-3)、…IcO。选择部11在已输入图像是I张的情况下，选择该图像Icl作为对象图像Ic2的基准图像IrO0以后，除了满足预定条件的情况之外，选择部11不变更该基准图像。所谓预定条件就是基准图像与对象图像Ic (η)之间的距离相距预定值以上的情况。在此情况下，选择部11选择对象图像Ic(n)作为下次的新对象图像Ic(n+1)的基准图像Ir (k)，并将与对象图像Ic (η)有关的信息保存到存储器18内。所谓与对象图像Ic(n)有关的信息，例如可以仅是由后述的匹配部12导出的特征点的像素值以及位置信息。这样，通过限制存储器18中记录的信息，与保存基准图像Ir自身的情况相比，能够削减使用存储器容量。并且，选择部11在输入对象图像Ic(n+1)时，参照存储器18选择对象图像Ic (η)作为基准图像Ir(k)。以上，选择部11按照每个对象图像Ic来选择I个基准图像Ir。在一个实施方式中，选择部11在满足预定条件的情况下，还可以针对对象图像Ic(n)选择临时基准图像。临时基准图像是从已输入图像中选择的图像，是临时的基准图像。后面将详细地叙述临时基准图像的选择处理。选择部11向匹配部12输出与基准图像Ir有关的图像信息(至少包含特征点的像素信息以及位置信息的信息)。
[0053]匹配部12取得基准图像Ir以及对象图像Ic的对应关系。匹配部12取得与基准图像Ir的特征点以及对象图像Ic的特征点有关的信息。匹配部12例如根据特征点的像素值来取得基准图像Ir以及对象图像Ic的对应关系。作为匹配方法可采用块匹配法等现有的方法。在一个实施方式中，匹配部12可以在将基准图像Ir以及对象图像Ic多分辨率化后进行匹配。例如，匹配部12分别阶段性地变更基准图像Ir以及对象图像Ic的分辨率，生成分辨率不同的多个图像。然后，匹配部12可以在分辨率最小的图像间取得特征点的平行移动量，在分辨率更大的图像间进行特征点的像素单位的匹配。在此情况下，能够降低处理高速化以及运算成本。
[0054]匹配部12取得已算出基准图像Ir与对象图像Ic之间的对应关系的特征点对的位置信息(坐标信息)。即，匹配部12成对地取得基准图像Ir的某特征点的位置信息和对应于该特征点的对象图像Ic的特征点的位置信息。匹配部12为了后述的对位处理而取得多个特征点对。匹配部12向估计部13输出所取得的特征点对。此外，如上所述，在选择部11追加该对象图像Ic作为下次以后的基准图像Ir时，匹配部12向选择部11输出对象图像Ic的特征点的像素值以及位置信息。
[0055]估计部13具有根据基准图像Ir与对象图像Ic的对应关系进行基准图像Ir与对象图像Ic的对位的功能。图5是概括说明基准图像与对象图像Ic的对位的概要图。例如图5(A)所示，在仅输入第一张图像的情况下，选择该图像作为基准图像IrO。然后，在输入第二张图像(对象图像Ic)的情况下，估计部13以基准图像IrO的位置为基准使对象图像Ic进行对位。所谓对位是指如图5(B)所示地决定基准图像IrO的预定点(这里是中心CO)与对象图像Ic的预定点(这里是中心Cl)的相对位置。估计部13搜索由匹配部12取得的特征点对彼此最重合的位置。然后如图5(C)所示，在利用估计部13结束了基准图像IrO与对象图像Ic的对位的情况下，记录位置关系已相互连接的情况(连接(Iink)Rel)。此外如上所述，当利用估计部13结束对位并且基准图像IrO与对象图像Ic的相对距离成为预定值以上时，选择部11需要追加该对象图像Ic作为下次以后的基准图像Irl，因此，匹配部12向选择部11输出对象图像Ic的特征点的像素值以及位置信息。
[0056]估计部13考虑照相机的运动而进行基准图像Ir与对象图像Ic的对位。图6是说明基于照相机20的旋转的摄像面的概要图。例如图6所示，当将旋转前的照相机20的摄像面设为SO、将旋转后的照相机20的摄像面设为SI时，摄像面SO和摄像面SI不存在于同一平面内。因此，通过平行移动来重叠特征点对的位置与原来的重合位置不同。即，在进行对位的情况下，需要考虑到照相机的运动来进行对位，使得基准图像Ir的特征点的位置与对象图像Ic的特征点的位置在同一三维坐标系上一致。
[0057]由此，估计部13估计使基准图像IrO的三维坐标系与对象图像Ic的三维坐标系一致的变换式。如图7所示，当设基准图像IrO的特征点的坐标为(X(l、yc1、l)、设与该特征点对应的对象图像Ic的特征点的坐标为(Xpy1U)时,估计部13估计(Xc^ytlU)与(XpypI) 一致的变换式。这里，关于照相机的自由度是7个自由度:焦点距离是I个自由度，照相机的运动(向xy方向的平行移动、基于向z方向移动的放大缩小)是3个自由度，照相机的旋转(向X方向、y方向的图像失真(梯形))以及z轴上的图像旋转是3个自由度。当考虑滚动快门失真(焦平面失真)近似为8个自由度时，用以下的数式I进行表述。
[0058]【数式I】
(X0) (Q1 bY ?Λ Γ X1 ^
[0059]J0 = dx B1 Z1.J1…(I)
J J U h 1J I1J
[0060]上述变换矩阵(变换式)的参数?Ill是与上述8个自由度有关的参数。估计部13可利用基于最优化方法的收敛运算来求出多个特征点对能够满足上述关系的变换矩阵的参数。具体地说，进行收敛运算，使得包含基准图像Ir的特征点位置(Χ(1、％、1)与变换了对象图像Ic的特征点位置(Xl、y1、l)之后的位置之间的差分的目标函数为最小值。最优化方法可采用牛顿法或高斯牛顿法等公知的方法。
[0061]这里，估计部13具有如下功能:设基准图像Ir与对象图像Ic之间的运动仅是照相机20的旋转运动而将照相机20的运动限定为3个自由度，并采用特征点对的位置信息来估计变换式。例如图7所示，当将照相机20的摄像位置作为原点时，将照相机的自由度限定仅为X轴、Y轴、Z轴的旋转。当将各轴的参数设为(β、α、Y)时，可如以下来表述变换矩阵R。
[0062]【数式2】
R = R2-Rs-Ry
(COSfj) -sin(f) (? (I OO ^ (cos(a) O sin(or)'
[0063],
=siii(x) cos(x) 0 ■ 0 cos(//} -sm(/i) 0 I 0
v 00 lj \0 sin(彡)cos(y^) J Iv-Sin(Cr) 0 COs(Or)y
[0064]S卩，可以采用变换矩阵R如下面的数式2那样使基准图像Ir的特征点位置(X(l、yQ、I)与对象图像Ic的特征点位置(Xl、y1、l)对应。
[0065]【数式3】
/ \ / \
/ -V* 一\f γ 一 r* \
-aI
[0066]J0 - Cy =R- y1-Cy…(2)
FF
V J \ J
[0067]这里，(Cx、Cy)是使基准图像Ir以及对象图像Ic的图像尺寸相同时各自的中心坐标。另外，F是焦点距离。此外，焦点距离F可应用根据照相机20的各种信息获得的值。
[0068]如数式I那样，在采用考虑了缩小分量的变换矩阵而且还优先使误差变小地进行收敛运算时，因为缩小图像的一方误差相对变小，所以存在缩小分量的程度变大的变换矩阵成为解的倾向。在此情况下，每当逐次合成时都会积蓄误差，结果没有成为画质良好的全景图像。与此相对，如数式2所示，将变换矩阵R仅限定于旋转分量，由此在基于最优化方法的收敛运算时没有考虑缩小分量，所以能够避免误差的积蓄，可生成画质良好的全景合成图像。此外，可采用上次的对象图像Ic的变换矩阵作为高斯牛顿法等最优化方法的收敛运算的初始值。在此情况下，收敛运算容易更快地进行收敛，从而能够提高运算速度。
[0069]在一个实施方式中，估计部13在对数式2进行收敛运算而估计变换矩阵时，将特征点的二维坐标投影到三维空间Sp的球面，并采用投影的坐标的对应关系来估计变换矩阵。图8是详细说明基准图像Ir与对象图像Ic的对位的概要图。如图8(A)、(B)所示，估计部13将二维坐标系的基准图像Ir的特征点位置(Xt^yciU)和二维坐标系的对象图像Ic的位置(Xl、y1、l)透视射影至三维空间Sp的球面。当将Xn-Cx设为矢量Xn、将yn_cx设为矢量7?、将投影后的坐标设为(Xn、Yn、Zn)时，关于坐标(Xl、y1、F)例如通过下面的数式3来进行射影投影。
[0070]【数式4】
f Y Λλ
I^vt
I'
[0071]Y1 =...........................................................................................J1…(3)
Z ^xl2+y:+F2 F
、厶I JKrJ
[0072]另外，能够如以下这样地表述基于变换矩阵R的变换后的坐标点。
[0073]【数式5】
[0074]RiYi) =R- Y1
KR(ZX)y KZX j
[0075]因此，收敛运算的目标函数包含以下的差分r。
[0076]【数式6】
[0077]rx = R(X1)-X0
[0078]ry = R(Y1)-Y0
[0079]rz = R(Z1)-Z0
[0080]此外，在假定对象图像Ic与基准图像Ir之间的距离较近时，可省略数式3的变换。在此情况下，上述差分r成为不包含除法运算的形式，所以不需要考虑除法运算中的落位(桁落)。因此，在例如利用基于高斯牛顿法等的最优化处理对目标函数进行收敛运算时，可容易地进行运算。由此，在向三维空间的球面射影而进行运算时，可降低运算成本。
[0081]估计部13利用上述处理来估计变换矩阵R，并进行基准图像Ir与对象图像Ic的对位。估计部13使选择部11选择出的基准图像Ir和所输入的对象图像Ic进行逐次对位，并生成连接(图8(C))。图9示出进行8张输入图像间的定位的连接。如图9所示，8张输入图像的中心CO?C7之间被连接(连接Rel?Re7)。通过反复进行选择部11选择基准图像、估计部13形成连接这样的动作，可如图9所示地，一边使图像对位一边进行联结。
[0082]此外，估计部13由于投影到球面而估计变换矩阵R，并使基准图像与对象图像对位，所以当二维平面与球面的坐标变换时，考虑例如图4所示的8个自由度的图像变形。换言之，估计部13可通过在球面上进行定位，当后述的合成部14从球面向平面进行投影时，能够进行图4所示的图像变形。
[0083]以下，说明选择部11以及估计部13的变形例。在一个实施方式中，选择部11还可采用临时基准图像Itr而不仅仅是基准图像Ir。图10是说明基准图像Ir以及临时基准图像Itr的概要图。首先，如图10(A)所示，在输入了图像的情况下，该图像成为下次以后的基准图像Ir。接着，图10⑶所示，假设输入了距离基准图像Ir为一定值以上的对象图像Ic。在此情况下，如图10(C)所示，将对象图像Ic设为下次以后的临时的基准图像即临时基准图像Itr。临时基准图像Itr是不作为历史保存的临时基准图像。接着，如图10(D)所示，假设输入了与临时基准图像Itr分离的对象图像Ic，如图10(E)所示，输入了距离临时基准图像Itr为一定值以上的对象图像Ic。在此情况下，如图10(F)、(G)所示，抛弃在本次之前的临时基准图像Itr，将对象图像Ic作为下次以后的临时的基准图像即临时基准图像Itr。接着，如图10(H)所示，输入了不仅与临时基准图像Itr，还与基准图像Ir也距离一定值以上的对象图像Ic。在此情况下，如图10(1)所示，抛弃本次之前的临时基准图像Itr，将对象图像Ic作为下次以后的基准图像Ir。这里，将本次之前的基准图像即第I个基准图像设为IrO，将下次以后的基准图像设为Irl。与基准图像IrO、Irl的特征点有关的信息被保存用于进行对位。接着，如图1O(J)所示，输入了距离基准图像Irl也为一定值以上的对象图像Ic。在此情况下，与图10(C)同样，如图1O(K)所示，将对象图像Ic作为下次以后的临时的基准图像即临时基准图像Itr。接着，如图1O(L)所示，假设输入了与临时基准图像Itr相比靠近于基准图像IrO的对象图像Ic。在此情况下，抛弃本次之前的临时基准图像Itr，将下次以后的基准图像设为基准图像IrO。这样，通过预先保持基准图像的信息，即使在照相机20返回到初始位置的情况下也能够以之前的基准图像为基准使对象图像进行对位。另外，通过采用临时基准图像Itr和基准图像Ir，能够将需要预先记录的数据限制为最少。
[0084]另外，在一个实施方式中，估计部13在多个图像重叠的情况下，可同时估计多个图像间的运动。例如图11所示，假设基准图像Ir与对象图像Ic之间存在重叠的图像(之前的对象图像Ipl)。假设已经导出基准图像Ir和之前的对象图像Ipl之间被定位的状态即变换矩阵R1。而且，将基准图像Ir的特征点坐标设为(Xt^yciU)，将之前的对象图像Ipl的特征点坐标设为(Xl、y1、l)，将对象图像Ic的特征点坐标设为(x2、y2、l)。这里，当导出使基准图像Ir的坐标系与对象图像Ic的坐标系对应的变换矩阵R2时，设定以下的条件。
[0085]【数式7】
〔V
[0086]y0 =R1- Ji(ο)
TI
V-O J V /
[-V
[0087]y() ^R2- V,…(6)
τI
J KlJ
rXl λ Cx2
[0088]R1.J1 二 R2- J2 '■.(7)
Iu 10
[0089]根据数式7，使变换式Rl和变换式R2进行关联。估计部13根据最优化方法的收敛运算来同时估计可满足上述数式5?7的Rl、R2。在此情况下，能够避免使与基准图像Ir和之前的对象图像Ipl的特征点对有关的信息无效。另外，通过同时估计多个图像之间，与连接按照串联的方式相连的情况相比，可抑制误差的积蓄。
[0090]另外，在一个实施方式中，估计部13在对象图像Ic接近于之前的基准图像Ir的情况下，进行不仅与当前的基准图像Ir，还与之前的基准图像Ir的对位。例如图13(A)所示，图像中心为C13的对象图像Icl3铺设图像中心为C12的基准图像Irl2以及连接Rel3，并决定相对位置。这里，如图13⑶所示，估计部13在对象图像Icl3与图像中心Cl的之前的基准图像Irl接近的情况下，进行基准图像Irl与对象图像Icl3的对位。由此，在基准图像Irl与对象图像Icl3之间铺设连接Rel4。S卩，可采用对象图像Icl3进行基准图像Irl与基准图像Irl2的对位。这样，通过采用对象图像Ic实现基准图像Ir彼此间的对位，可进行原来重叠较少的基准图像Ir彼此间的定位。
[0091]另外，在一个实施方式中，估计部13可具有调整整体位置的功能。所谓调整整体位置是指，对描绘对象的图像(输出用图像缓存器中写出的图像)的整体的位置关系进行调整。例如，在基准图像Ir之间铺设新的连接的时刻、或通过同时估计多个图像的运动而更新多个之前的变换矩阵的时刻，可对全部描绘对象图像的整体位置进行微调整。即，重新计算全部描绘对象图像的变换矩阵R。整体位置不采用由匹配部12输出的特征点，而是基于对位的结果随机地提取或从预定位置提取图像至图像之间的对应点，并根据所提取的点的位置信息来进行整体的对位。在此情况下，由于无需保存之前的特征点对，因此能够削减存储器使用量。
[0092]接着，说明引导部15。引导部15具有引导用户操作的功能。引导部15与用于显示图像的显示部21相连，在显示部21上显示了用于引导用户的照相机操作的引导显示。例如，当存在已决定相对位置的基准图像Ir和对象图像Ic对中的、与本次基准图像Ir的跳跃(hop)段数是预定值以上而且与本次的基准图像Ir不重叠的第I图像时，引导部15使显示部显示将摄像位置从当前的摄像位置引导至第I图像的图像位置的引导显示。例如，图13 (A)所示，引导部15对图像中心CO的图像(第I图像)与图像中心CS的当前基准图像之间的跳跃段数(连接Re的数量)进行累计。然后，引导部15算出图像中心CO的图像与图像中心CS的当前基准图像之间的距离。并且，在累计数是预定值以上且距离小于预定值时(例如不重叠的情况)，引导部15判断为图像以串联的方式长长地相连。在以串联的方式长长地联结图像的情况下，容易积蓄误差。因此，如图13(B)所示，引导部15显示引导显示Ga，使得照相机20的摄像位置朝向图像中心CO的图像(第I图像)。引导显示Ga可采用框、箭头或图标等，并被附加了声音。用户根据引导显示Ga中的引导来改变照相机20的摄像方向，由此如图13(C)所示，可在图像中心CO的图像与图像中心C8的图像之间形成连接而进行位置调整。这样，引导部15通过引导用户来避免误差的积蓄。
[0093]接着，说明合成部14。合成部14与显示部21相连，具有在显示部21上描绘合成图像的功能。合成部14根据估计部13估计出的变换矩阵将在三维空间的球面上对位的图像组(描绘对象的图像)投影到二维平面上。在从球面向平面的投影时，进行例如图4所示的图像变形。然后，将描绘对象的图像作为一张合成图像记录至输出图像用缓存器。例如，图14所示，设合成平面Sp被分割成格状。合成部14在投影至合成平面Sp的图像Id上描绘含有四角的单元。另外，合成部14利用图像间的分界线来调整混合比等。这样，将多个描绘对象的图像Id投影至合成平面Sp，并生成合成图像。
[0094]接着，说明本实施方式的图像处理装置I的动作。图15、图16是示出本实施方式的图像处理装置I的动作的流程图。图15、图16所示的控制处理例如在便携终端2的摄像功能开启的时刻执行，并在预定的周期内反复执行。此外，考虑到说明理解的容易性，假设对象图像Ic是第2个之后的输入图像。
[0095]如图15所示，首先图像处理装置I执行图像输入处理(S10:输入步骤)。在SlO的处理中，输入部10从照相机20输入对象图像Ic。当结束SlO的处理时，转移至对位处理(S12)。
[0096]在S12的处理中，选择部11、匹配部12以及估计部13进行基准图像Ir与对象图像Ic的相对对位。该处理的详细情况为图16。首先，选择部11从已输入图像中选择基准图像Ir (S30:选择步骤)。接着，匹配部12以及估计部13进行基准图像Ir与对象图像Ic的对位(S32:匹配步骤以及估计步骤)。接着，估计部13判定之前(或其它)的基准图像Ir和对象图像Ic是否能够进行比较(S34)。在S34的处理中，当估计部13判断为能够比较时，进行之前的基准图像Ir与对象图像Ic的对位(S36、例如图12(B))。然后，估计部13将重绘标志设置为1，以用于整体位置的调整(S38)。然后，选择部11判断对象图像Ic与之前的基准图像Ir之间的距离是否是预定值以上(S40)。在S40的处理中，当利用选择部11判定为距离是预定值以上时，将对象图像Ic记录到基准图像列表，使得成为下次以后的基准图像IHS42)。所谓基准图像列表是用于参照记录有基准图像的特征点的像素值以及坐标的数据的列表。当S42的处理结束时，结束图16所示的对位处理。
[0097]另一方面，在S34的处理中，当估计部13判断为不能够比较时，转移至判断对象图像Ic与之前的基准图像Ir之间的距离的处理(S40)。另一方面，在S40的处理中，当利用选择部11判定为距离不是预定值以上时，结束图16所示的对位处理。
[0098]返回至图15，当S12的处理结束时向判定处理进行转移(S14)。
[0099]在S14的处理中，合成部14判定是否将在SlO的处理中输入的对象图像Ic追加作为描绘用图像。例如，合成部14构成为可参照描绘用图像列表，该描绘用图像列表可参照应该描绘的图像的图像信息，当与记载于该列表内的图像中的位置最近的图像的距离是预定值以上时，将SlO的处理中输入的对象图像Ic追加至描绘用图像中。在S14的处理中，当判断为追加时，转移至保存处理(S16)。
[0100]在S16的处理中，合成部14在描绘用列表中追加该对象图像Ic，保存对象图像Ic0当S16的处理结束时，转移至重绘判定处理(S18)。
[0101]在S18的处理中，估计部13判定是否是重绘标志=O。在S18的处理中，当重绘标志=I时，转移至描绘位置的重新计算处理(S20)。
[0102]在S20的处理中，估计部13进行整体对位的处理。估计部13采用更新后的变换矩阵来调整全部描绘用图像的位置。当S20的处理结束时，转移至预览图像描绘处理(S22)。
[0103]在S22的处理中，合成部14例如从描绘用图像列表中确定应该描绘的图像，将其从三维空间的球面投影到二维平面，生成预览用的合成图像(S22:合成步骤)。然后，输出预览用的图像，并显示在显示部21等上(S24)。当S24的处理结束时，转移至图像输入的判定处理(S26)。
[0104]另一方面，在S14的处理中，当合成部14未判断为追加时，转移至重绘判定处理(S18)。另外，在S18的处理中，在重绘标志=O的情况下，转移至预览图像描绘处理(S22)。
[0105]在S26的处理中，输入部10判定对象图像Ic的输入是否已结束。在S26的处理中，当对象图像Ic的输入没有结束时，再次转移至SlO的处理。另一方面，当对象图像Ic的输入结束时，转移至结果图像输出处理(S28)。
[0106]在S28的处理中，合成部14在显示部21等上显示合成图像。以上结束图15、16所示的控制处理。通过执行图15、16所示的控制处理，可避免误差的积蓄，获得画质良好的全景合成图像。
[0107]接着，说明用于使便携终端(计算机)2作为上述图像处理装置I发挥功能的图像处理程序。
[0108]图像处理程序具备主模块、输入模块以及运算处理模块。主模块是统括地控制图像处理的部分。输入模块为了取得输入图像而使便携终端2进行动作。运算处理模块具备选择模块、匹配模块、估计模块、合成模块以及引导模块。通过执行主模块、输入模块以及运算处理模块实现的功能与上述图像处理装置I的输入部10、选择部11、匹配部12、估计部13、合成部14以及引导部15的功能分别相同。
[0109]例如，图像处理程序可通过ROM等记录介质或半导体存储器来提供。另外，图像处理程序也可经由网络作为数据信号来提供。
[0110]以上，根据本实施方式的图像处理装置1、图像处理方法以及图像处理程序，设基准图像Ir与对象图像Ic之间的运动仅由照相机20的旋转运动引起而估计使两个图像的坐标系对应的变换矩阵R。因此，在变换矩阵R中不包含放大、缩小、平行移动等参数，所以能够避免输入的对象图像Ic被缩小等而产生误差。此外，通过仅限定为旋转分量，可以避免将被缩小等的对象图像Ic设为下次以后的基准图像Ir，因此能够避免误差的积蓄。从而，在依次合并输入的图像时，即使是包含摄像方位不同的图像，也能够抑制误差的积蓄，并获得画质良好的全景图像。
[0111]此外，上述的实施方式示出本发明的图像处理装置的一例。本发明的图像处理装置不仅限于实施方式的图像处理装置I，在不变更各权利要求记载的主旨的范围内，可以对实施方式的图像处理装置进行变形，或将其应用于其它装置。
[0112]例如，在上述实施方式中说明了照相机20连续摄像静态图像的例子，但是，照相机20也可以对动态图像进行摄像。在此情况下，输入部10也可以具有从摄像的动态图像中提取连续的图像的功能。另外，输入部10所输入的图像可以是从其它设备经由网络发送的图像。
[0113]另外，在上述实施方式中说明了由照相机20摄像的图像的大小相同，但所摄像的图像的大小可以是每次摄像时不同的大小。
[0114]另外，在上述的实施方式中说明了具备输入部10、选择部11、匹配部12、估计部13、合成部14以及引导部15的情况，但也可以根据所需要的性能适当进行变更。例如，根据需要可不具有引导部15。
[0115]此外，在上述实施方式中还说明了以图5所示的8个自由度来将图像进行变形的情况，但不仅限于8个自由度，例如可以是图5中的㈧?(F)所示的6个自由度。
[0116]符号说明
[0117]I…图像处理装置，10…输入部，11…选择部，12…匹配部，13…估计部，14…合成部，15...引导部，20...照相机，21...显示部。
【权利要求】
1.一种图像处理装置，其依次输入摄像元件所摄像的图像，并且在每次输入时将其联结起来而生成合成图像，该图像处理装置的特征在于，具备: 输入部，其依次输入所述图像； 选择部，其从已输入图像中选择基准图像，该已输入图像由在对象图像之前由所述输入部输入的I个或多个图像构成，所述对象图像是由所述输入部新输入的作为处理对象的图像； 匹配部，其计算所述基准图像的特征点与所述对象图像的特征点之间的对应关系； 估计部，其设所述基准图像与所述对象图像之间的运动仅为所述摄像元件的旋转运动，采用由所述匹配部算出了所述对应关系的所述特征点的特征点对的位置信息，估计使所述基准图像的坐标系与所述对象图像的坐标系对应的变换式；以及 合成部，其根据所述变换式，使所述基准图像与所述对象图像联结起来而生成所述合成图像。
2.根据权利要求1所述的图像处理装置，其中， 所述估计部估计仅由以所述摄像元件的位置作为原点的三维坐标系的各轴的旋转分量构成的变换式。
3.根据权利要求1或2所述的图像处理装置，其中， 所述估计部准备包含了采用所述变换式进行变换后的所述特征点对各自的位置信息的差分的目标函数，采用最优化方法按照使所述目标函数成为最小值的方式进行收敛运算，由此估计所述变换式。
4.根据权利要求3所述的图像处理装置，其中， 当存在多个在所述对象图像之前由所述输入部输入的图像时，所述估计部采用在所述对象图像之前刚由所述输入部输入的图像的所述变换式作为收敛运算的初始值。
5.根据权利要求3所述的图像处理装置，其中， 所述估计部将通过所述匹配部算出了所述对应关系的所述特征点对投影到球面上，采用投影后的所述特征点对的位置信息来估计使所述基准图像的坐标系与所述对象图像的坐标系对应的变换式。
6.根据权利要求1?5中任意一项所述的图像处理装置，其中， 当存在多个在所述对象图像之前由所述输入部输入的图像、而且在所述对象图像之前由所述输入部输入的图像中的至少I个与所述基准图像以及所述对象图像重叠时，所述估计部采用所述基准图像、与所述基准图像重叠的图像以及所述对象图像各自的特征点的特征点对，相互关联地估计使所述基准图像的坐标系和与所述基准图像重叠的图像的坐标系对应的变换式、以及使所述基准图像的坐标系和所述对象图像的坐标系对应的变换式。
7.根据权利要求1?6中任意一项所述的图像处理装置，其中， 所述选择部在所述基准图像与所述对象图像的距离是预定值以上的情况下，选择该对象图像作为所述输入部在下次以后新输入的成为处理对象的图像即对象图像的所述基准图像。
8.根据权利要求7所述的图像处理装置，其中， 所述选择部在所述对象图像与之前的所述基准图像的距离小于所述对象图像与所述基准图像的距离时，选择之前的基准图像作为在下次以后新输入的成为处理对象的图像即对象图像的所述基准图像。
9.根据权利要求8所述的图像处理装置，其中， 所述匹配部在所述对象图像与之前的所述基准图像的距离是预定值以下时，进一步计算之前的所述基准图像的特征点与所述对象图像的特征点的对应关系， 所述估计部还采用之前的所述基准图像与所述对象图像的所述特征点对的位置信息，来估计使之前的所述基准图像的坐标系与所述对象图像的坐标系对应的变换式， 采用使所述基准图像的坐标系与所述对象图像的坐标系对应的变换式、使之前的所述基准图像的坐标系与所述对象图像的坐标系对应的变换式，来使所述基准图像与之前的所述基准图像相对应。
10.根据权利要求1?9中任意一项所述的图像处理装置，其中， 所述图像处理装置还具备引导部，该引导部与用于显示图像的显示部相连，使所述显示部显示引导用户的照相机操作的引导显示， 所述估计部使估计出了所述变换式的所述基准图像与所述对象图像连接，并记录为是已决定相对位置的对， 所述合成部向所述显示部输出所述合成图像， 当存在如下第I图像时，所述引导部使所述显示部显示将摄像位置从当前的摄像位置引导至所述第I图像的图像位置的所述引导显示，所述第I图像是指已决定所述相对位置的对中的、与本次的所述基准图像的跳跃段数是预定值以上而且与本次的所述基准图像不重叠的图像。
11.一种图像处理方法，依次输入摄像元件所摄像的图像，并且在每次输入时将其联结起来而生成合成图像，该图像处理方法具备以下步骤: 输入步骤，依次输入所述图像； 选择步骤，从已输入图像中选择基准图像，该已输入图像由在对象图像之前通过所述输入步骤输入的I个或多个图像构成，所述对象图像是通过所述输入步骤新输入的作为处理对象的图像； 匹配步骤，计算所述基准图像的特征点与所述对象图像的特征点的对应关系； 估计步骤，设所述基准图像与所述对象图像之间的运动仅为所述摄像元件的旋转运动，采用通过所述匹配步骤算出了所述对应关系的所述特征点的特征点对的位置信息，估计使所述基准图像的坐标系与所述对象图像的坐标系对应的变换式；以及 合成步骤，根据所述变换式，使所述基准图像与所述对象图像联结起来而生成所述合成图像。
12.—种图像处理程序，其使计算机发挥功能，使得依次输入摄像元件所摄像的图像并且在每次输入时将其联结起来而生成合成图像，其中， 该图像处理程序使所述计算机作为以下的部件发挥功能: 输入部，其依次输入所述图像； 选择部，其从已输入图像中选择基准图像，该已输入图像由在对象图像之前通过所述输入部输入的I个或多个图像构成，所述对象图像是由所述输入部新输入的作为处理对象的图像； 匹配部，其计算所述基准图像的特征点与所述对象图像的特征点之间的对应关系； 估计部，其设所述基准图像与所述对象图像之间的运动仅为所述摄像元件的旋转运动，采用由所述匹配部算出了所述对应关系的所述特征点的特征点对的位置信息，估计使所述基准图像的坐标系与所述对象图像的坐标系对应的变换式；以及 合成部，其根据所述变换式，使所述基准图像与所述对象图像联结起来而生成所述合成图像。
13.一种计算机可读的记录介质，其记录有令计算机发挥功能的图像处理程序，该图像处理程序使得依次输入摄像元件所摄像的图像并且在每次输入时将其联结起来而生成合成图像，其中， 该图像处理程序使所述计算机作为以下的部件发挥功能: 输入部，其依次输入所述图像； 选择部，其从已输入图像中选择基准图像，该已输入图像由在对象图像之前通过所述输入部输入的I个或多个图像构成，所述对象图像是由所述输入部新输入的作为处理对象的图像； 匹配部，其计算所述基准图像的特征点与所述对象图像的特征点之间的对应关系；估计部，其设所述基准图像与所述对象图像之间的运动仅为所述摄像元件的旋转运动，采用由所述匹配部算出了所述对应关系的所述特征点的特征点对的位置信息，估计使所述基准图像的坐标系与所述对象图像的坐标系对应的变换式；以及 合成部，其根据所述变换式，使所述基准图像与所述对象图像联结起来而生成所述合成图像。
【文档编号】H04N1/387GK104272344SQ201280072705
【公开日】2015年1月7日 申请日期:2012年10月24日 优先权日:2012年10月24日
【发明者】泽井省吾, 平贺督基, 三浦健 申请人:株式会社 摩如富
最新回复(0)