图像显示装置及图像显示方法
专利名称：图像显示装置及图像显示方法
技术领域：
本发明涉及图像显示装置及图像显示方法。
背景技术：
以前，公开有用光栅片对多个方向显示立体图像的装置。此外，公知的有通过操作从不同角度拍摄的现实影像来对追加映像进行插补的技术(比如，參照专利文献I)。专利文献I :日本特开平5-210181号公报
发明内容
可是，通过根据现实映像进行插补而生成与多视点相対的追加映像时，要计算出在每个预先设定的象素区域的运动矢量等的繁杂的处理。因此，在生成多视点用的图像时要花费时间。特别是，在连续播送像动态图像等的多个多视点图像时，来不及进行各帧的图像处理。因此，在本发明的I个侧面中，以提供能够解决上述课题的图像显示装置及图像显示方法作为目的。该目的通过独立权利要求记载的特征的组合而达成。从属权利要求规定了本发明的更有利的具体例。根据本发明的第I方式，提供图像显示装置及使用了该图像显示装置的图像显示方法，该图像显示装置是将多组右眼用图像及左眼用图像，朝向各自对应的视点进行显示的图像显示装置，具有多视点图像生成部，其接收与预先设定的2个视点对应的右图像及左图像，通过将接收到的右图像及左图像整体分别位移，来生成相对于多个视点的右眼用图像及左眼用图像；和显示部，其将多视点图像生成部所生成的右眼用图像及左眼用图像朝向各自对应的视点进行显示。另外，上述发明的概要，并未列举出本发明必要的特征的全部，这些特征群的辅助组合也能成为发明。
图I是表示I个实施方式的图像显示装置100的构成例的图。图2是表示图像处理部10的构成例的图。图3表示图像取得部12取得的左图像及右图像的一例的图。图4是表示多视点图像生成部14的动作例的图。图5是表示显示部50的动作例的图。图6是表示显示部50的构成例的图。图7是表示图像处理部10的其他构成例的图。图8是表示在左右图像生成部16中的处理例的图。图9是表示多视点图像生成部14的构成例的图。 图10是表示显示部50的其他构成例的图。
图11是表示图像处理部10的其他构成例的图。图12是表示图像处理部10的其他构成例的图。
具体实施例方式以下，通过发明的实施方式说明本发明的(一)侧面，不过，以下的实施方式并非限定权カ要求所涉及的发明，另外，在实施方式中被说明的特征的组合未必全部是发明的解决手段所必须的。图I是表示I个实施方式所涉及的图像显示装置100的构成例的图。图像显示装置100，从各自对应的视点I朝向视点η来显示多组的右图像及左图像，I个视点比如与利用者的右眼或左眼的位置对应。也就是，图像显示装置100将ー组的右图像及左图像，对邻接的2个视点显示。此外，图像显示装置100，从被给予的2维图像生成与各视点对应的右图像或左图像。 本例的图像显示装置100，具有图像处理部10及显示部50。图像处理部10取得2维图像。图像处理部10可以取得与I个视点对应的I个2维图像，此外，也可以取得与2个视点对应的2个2维图像。为后者的情况时，2个2维图像，是从根据人的双眼的位置的2个位置拍摄的被拍摄对象的立体图像。图像处理部10，根据所取得的2维图像生成与η个(比如4以上的偶数)视点对应的η个图像。比如图像处理部10生成η/2个右眼用图像和η/2个左眼用图像。在这里，所谓右眼用图像，是应该对利用者的右眼显示的图像，所谓的左眼用图像，是应该对利用者的左眼显示的图像。显示部50把图像处理部10生成的η个的图像朝向η个视点进行显示。比如，显示部50，通过光栅方式或根据视差屏障方式，把η个图像朝向η个视点来显示。本例的显示部50，把对应的右眼用图像及左眼用图像，朝向邻接的视点来显示，由此对多视点显示立体的图像。图2是表示图像处理部10的构成例的图。本例的图像处理部10取得相对于被预先设定的2个视点的右图像及左图像。所谓的被预先设定的2个视点，可以是与利用者的右眼及左眼对应的视点。也就是，该右图像及左图像，可以是上述的立体图像。本例的图像处理部10具有图像取得部12及多视点图像生成部14。图像取得部12，取得相对于被预先设定的2个视点的右图像及左图像。图像取得部12，可以通过从外部的装置取得右图像及左图像，也可以从不同的2个位置拍摄被拍摄对象，来取得右图像及左图像。多视点图像生成部14，从图像取得部12接收相对于预先设定的2个视点的右图像及左图像，通过将接收到的右图像及左图像的整体分别位移，而生成与所规定的2个视点不同的视点的右眼用图像及左眼用图像。也就是，显示部50对每个视点显示被拍摄对象被错位后的立体的图像。根据这个，能显示与各视点应对的立体的图像。本例的多视点图像生成部14，与从图像取得部12接收的右图像及左图像对合，对显示部50供给与η个视点相対的右眼用图像及左眼用图像。具体，多视点图像生成部14，对显示部50供给相对于η/2个视点的右眼用图像及相对于η/2个视点的左眼用图像。显示部50接收图像取得部12接收到的右图像及左图像，和在多视点图像生成部14中被生成的图像，朝向各自对应的视点而显示。显示部50可以并行显示各自的图像。图3是表示图像取得部12取得的左图像及右图像的一个例子的图。本例的左图像及右图像，是从与人的双眼对应的不同的2个位置拍摄的同一个被拍摄对象而得到的立体图像。或者，在左图像及右图像中的被拍摄对象，具有从拍摄装置到被拍摄对象的距离对应的视差。在图3中，被拍摄对象62在左右图像间有视差dl，被拍摄对象64在左右图像间有视差d2。图4，是表示多视点图像生成部14动作例的图。图4中，说明基于从图像取得部 12接收的左图像，生成n/2个左眼用图像的情况，不过，如果基于从图像取得部12接收的右图像，生成n/2个右眼用图像时也同样。多视点图像生成部14通过以所规定的位移量依次位移所接收的左图像的整体， 而生成n/2个左眼用图像。比如，多视点图像生成部14，将所接收的左图像的整体，生成按照位移量da依次向右方向一个一个位移后的多个右移左眼用图像，和生成按照位移量da 一个一个依次向左方向位移后的多个左移左眼用图像。 图4，作为视点数η= 14，表示生成7个左眼用图像的例子。在这种情况下，如图4 所示，多视点图像生成部14，除了原来的左图像之外，可以生成3个右位移左眼用图像和3 个左位移左眼用图像。此外，多视点图像生成部14，除了原来的左图像之外，可以生成6个右位移左眼用图像，还可以生成6个左位移左眼用图像。图5是表示显示部50动作例子的图。本例的显示部50,将多视点图像生成部14 所生成的多个右眼用图像及多个左眼用图像以同一帧并行显示。如，显示部50，如图4 所示，在原来的左图像整体在X轴方向依次位移得到的多个左眼用图像中，提取X轴上的同样位置的象素列(本例，为从L从(_3)L提取(3))。同样，显示部50，在原来的右图像整体沿X轴方向依次位移后的多个右眼用图像中，提取X轴上的同样位置的象素列(本例，为从 R(_3)R提取(3))。或者，对于象素列，X轴方向幅度可以是I个象素，也可以是多个象素。显示部50，在显示面中，在与该X轴上的位置对应的区域，按照预先设定的排列， 显示多个左眼用图像及右眼用图像中的X轴上的同样位置的区域。比如，显示部50，以预先设定的列数交替显示多个左眼用图像及右眼用图像中的各象素列。图5例，显示部50，各I 个交替显示左眼用图像及右眼用图像的各象素列。同样，关于显示面的其他区域，用预先设定配列，显示多个右眼用图像及左眼用图像中对应的区域。图6是表示显示部50的构成例的图。本例的显示部50具有透镜阵列54及显示单元52。显示单元52，与图5相关联说明的那样，用预先决定的排列显示多个左眼用图像及右眼用图像的各象素列。透镜阵列54具有多个透镜，是用预先设定的图案被排列的。透镜阵列54，可以是具有沿着X轴方向以预先设定的间距被排列的半圆柱状的多个透镜的柱状透镜阵列。在透镜阵列54中各透镜被设置在每个与视点数对应的规定数目的象素列上。比如,如图4及图5所示,视点数η = 14时,各透镜被设置在显示单元52的表示面中的14个
象素列的每个上。各透镜使各象素列朝向所对应的视点(本例中的视点1、2、......k-2、
k_l、k、k+1、k+2、......>13-, 14)显不。根据以上的构成，能够从所给予的I组右图像及左图像，较容易地生成多视点用的左眼用图像及右眼用图像。此外，能将所生成的多视点用的左眼用图像及右眼用图像在对应的视点显示。或者，本例的显示部50说明了采用光栅方式时的情况，不过，显示部50也可以是视差屏障方式。此外，多视点图像生成部14，优选从图像取得部12取得的右图像及左图像分别生成的图像间的位移量的最大值，比该右图像及左图像之间的最大视差量小地生成相对于各视点的位移图像。比如，采用图3及图4的例子说明时，多视点图像生成部14，设定单位位移量da为左端的左眼用图像和右端的左眼用图像之间的位移量6da比最大视差量dl还足够的小。同样多视点图像生成部14，设定单位位移量da为右眼用图像的位移量的最大值6da变成比最大视差量dl还足够的小。在本例中，右眼用图像及左眼用图像中，各自的単位位移量da是相同的。或者，在上述的例子中，多视点图像生成部14，生成以均一的位移量da，依次位移了原来的左图像及右图像得到的左眼用图像及右眼用图像，不过，在其他的例子中，多视点图像生成部14，也可以生成以非均一的位移量依次位移了原来的图像得到的左眼用图像及 右眼用图像。tヒ如，关于在多个视点里面，对应于中央附近的视点的左眼用图像及右眼用图像，将相对于邻接的左眼用图像及右眼用图像的位移量減少到比较小，关于对应于边部附近的视点的左眼用图像及右眼用图像，将相对于邻接的左眼用图像及右眼用图像的位移量加大到比较大。此时，当在多个视点中的中央附近，利用者的视点已切换的时候，由于被显示的图像之差较小，所以能够平滑地进行图像转换。此外，多个视点中，对于与中央附近的视点对应的左眼用图像及右眼用图像，将邻接的左眼用图像及右眼用图像的位移量加到较大，对于与边部附近的视点对应的左眼用图像及右眼用图像，将邻接的左眼用图像及右眼用图像的位移量减小。该情况下，在多视点中的边部附近中，利用者的视点已切换时，能将图像平滑地转换。图7是表不图像处通部10的其他构成例的图。本例的图像处通部10,具有图像取得部12、左右图像生成部16，及多视点图像生成部14。图像取得部12，取得I个2维图像。图像取得部12可以从外部的装置取得2维图像，也可以通过拍摄被拍摄对象取得2维图像。左右图像生成部16，通过位移图像取得部12所取得的2维图像的整体，而生成与多个视点中邻接的2个视点相対的右图像及左图像，输入到多视点图像生成部14。左右图像生成部16可以根据人的双眼的间隔的两眼宽度位移量，进行2维图像的整体的位移。比如，左右图像生成部16，位移2维图像的整体而生成右图像及左图像，以使被生成的右图像及左图像之间的位移量为6. 5cm左右的两眼宽度位移量。多视点图像生成部14，基于从左右图像生成部16接收的右图像及左图像，生成各η/2个右眼用图像及左眼用图像。多视点图像生成部14用于生成多个右眼用图像及左眼用图像的处理，可以和在图2中的相关说明的多视点图像生成部14同样。根据这样的构成，能够容易地从I个2维图像生成多视点用的左眼用图像及右眼用图像。图8是表示在左右图像生成部16中的处理例的图。左右图像生成部16，基于所接收到的2维图像生成图像整体相对X轴方向只位移被预先设定的眼宽度位移量d的左图像及右图像。通过对利用者的左眼及右眼选择性地显示该左图像及右图像，能够提供如同各被拍摄对象无限远地存在一祥的立体的图像。或者，多视点图像生成部14优选生成与各视点对应的右图像及左图像，以使从左图像及右图像生成的左眼用图像及右眼用图像的各自的位移量的最大值，变得比左右图像生成部16中的眼宽度位移量d充分地小。此外，多视点图像生成部14，与图2相关联地说明的多视点图像生成部14同样，可以生成以非均一的位移量依次位移左右图像后得到的左眼用图像及右眼用图像。图9是表示多视点图像生成部14构成例的图。本例的多视点图像生成部14，具有存储器30、多个延迟部32、输出部34、及控制部36。还有，在图9中，对多视点图像生成部14的构成中的、处理左图像或右图像的一方的构成进行了说明，不过，多视点图像生成部14，为了处理左图像或右图像的另一方而还具有与图9同样的构成。存储器30，存储右图像或左图像，从边缘的象素列按顺序输出以象素列为单位的数据。该象素列，是指沿着与上述的X轴方向垂直的方向的象素列。级联连接设置与视点数对应的个数(本例n/2个)的延迟部32。即，多个延迟部32与相对于左图像或右图像而多视点图像生成部14输出的n/2个左眼用图像或右眼用图像相对应。控制部36，根据与所对应的左眼用图像中的位移量设定在各自的延迟部32中的延迟量。如，对于与相对于近前的左眼用图像或右眼用图像的位移量是10象素列的左眼用图像或右眼用图像对应的延迟部32，控制部36设定从存储器30读出10象素列的时间为延迟时间。控制部36，如以上所述，可以与均一的位移量对应地设定均一的延迟量，也可以与非均一的位移量对应地设定不均匀的延迟量。输出部34，并列接收多个延迟部32输出的象素列的数据。如上所述，各自的延迟部32以与位移量对应的延迟量 使来自存储器30的数据延迟，输出部34并列接收在图4所示的象素列L(3)、L(2).......那样的，图像中的位置向X轴方向位移后的象素列的数据。输出部34，将以预先设定的顺序排列并列接收的象素列的合成数据向显示部50 供给。此外，因为显示部50在I个画面显示多个视点用的图像，所以I个视点相对的图像， 与原来的图像相比对象素列进行了间隔剔除。输出部34，可以在每个从存储器30读出与视点的数对应的列数的象素列的期间，通过生成I个合成数据并朝显示部50供给，生成按照视点数对象素列进行间隔剔除而得到的数据。根据这样的构成，能够使显示部50容易地显示按照视点数对象素列进行间隔剔除后的多个左眼用图像及右眼用图像。此外，能够容易地调整左眼用图像及右眼用图像的位移量。图10是表示显示部50的其他构成例的图。本例的显示部50,具有显示单元52及屏障部56。屏障部56以预先设定的排列图案排列用于透过光的透过部及用于遮蔽光的遮蔽部。屏障部56，矩阵状形成对于透过光与否进行控制的快门单元，通过对各自的快门单元控制是否使光透过，能够变更排列图案，屏障部56可以具有液晶面板。显示单元52，可以和图6中相关说明的显示单元52同样。显示单元52，朝向屏障部56显示与各自的位移图像的，在屏障部56中的透过部及遮蔽部的排列图案对应的区域。 屏障部56可以在与显示单元52对置的区域，从显示单元52上端到下端交替配置具有被预先设定的宽度的短条状的透过部及遮蔽部。该情况下，显示单元52，从各自的位移图像提取具有用视屏障部56的透过部的宽度除以视点数而得到的宽度的短条状的象素列，并按照预先设定的排列顺序显示各自的位移图像的象素列。此外，显示单元52，可以按照在屏障部56中的透过部及遮蔽部的排列图案的变更，来变更分别从左眼用图像及右眼用图像提取的区域的图案。比如，在屏障部56的短条状的透过部的宽度被变更时，按照变更后的透过部的宽度调整分别从左眼用图像及右眼用图像提取的象素列的宽度。此外，屏障部56的透过部及遮蔽部的排列图案，可以具有多样的图案。屏障部56的透过部及遮蔽部，可以从显示単元52的上端到下端被倾斜地设置，也可以从显示単元52的右端到左端设置。此外，屏障部56的透过部及遮蔽部，可以被排列成锯齿状。也就是，屏障部56的透过部及遮蔽部，也可以在显示単元52的上下方向及左右方向的任何一个中被交替配置。显示单元52，可以按照这些屏障部56的透过部及遮蔽部的排列图案，制定从各自的左眼用图像及右眼用图像提取的区域的形状。图11是表示图像处理部10的其他构成例的图。本例的图像处理部10，除了图I至图10相关说明的任何一个图像处理部10的构成之外，还包括视点设定部20。图11中，说明在图2中说明过的图像处理部10的构成上，追加了视点设定部20的构成。
视点设定部20，对多视点图像生成部14设定视点数η。视点设定部20，可以根据使用者等设定的视点数，对多视点图像生成部14设定视点数η。多视点图像生成部14，按照被设定的视点数η，生成与各自的视点对应的位移图像。此外，多视点图像生成部14，可以按照被设定的视点数η，变更在左眼用图像及右眼用图像中的位移量。比如，多视点图像生成部14，通过将预先设定的总位移量除以与被设定的视点数对应的数，而计算出左眼用图像及右眼用图像的各自的位移量。此外，视点设定部20，可以具有被拍摄对象判断部22，其基于图像取得部12取得的图像中包含的被拍摄对象，对多视点图像生成部14设定视点数。被拍摄对象判断部22，可以在图像中包含希望以更高的分辨率显示图像的被拍摄对象时，可以将在多视点图像生成部14中的视点数降低到比较少。更具体，被拍摄对象判断部22，可以在图像取得部12所取得的图像中包含的被拍摄对象的空间频率更高的情况下，将在多视点图像生成部14中的视点数減少到更少。另外，视点设定部20可以具有距离取得部24，其取得包含在图像取得部12所取得的图像中的被拍摄对象的距离信息，根据所取得的距离信息，在多视点图像生成部14设定视点数。距离取得部24可以取得被添加于该图像中的摄影条件的数据。此外，图像取得部12在取得立体的右图像及左图像时，距离取得部24可以按照右图像及左图像中包含的被拍摄对象的视差量，取得被拍摄对象的距离信息。距离取得部24，在离被拍摄对象的距离更近的情况时，可以让多视点图像生成部14中的视点数更多。此外，视点设定部20，可以组合被拍摄对象判断部22及距离取得部24，设定在多视点图像生成部14中的视点数。此外，多视点图像生成部14，也可以基于利用者的位置，使相对于左眼用图像及右眼用图像的、邻接的左眼用图像及右眼用图像的位移量发生变化。tヒ如，针对与更接近于利用者的位置的视点对应的左眼用图像及右眼用图像，将位移量減少到更小。由此，在利用者的位置附近的视点，图像的运动能平滑地进行。图像处理部10，还可以具有位置检测部，该位置检测部检测出利用者的位置，并通知给多视点图像生成部14。位置检测部，比如具有CXD元件等的拍摄装置。图12是表示图像处理部10的其他构成例的图。本例的图像处理部10，在图I至图11中已说明的任何一个图像处理部10的构成的基础上，还具有图像评价部40及插补图像生成部38。图12中，表示在图2相关说明的图像处理部10的构成上追加了图像评价部 40及插补图像生成部38后的构成。其他的构成，也可以是与图I至图11的相关说明的任何一个图像处理部10相同。插补图像生成部38，根据多视点图像生成部14给与的右图像及左图像的对应点的关系，生成与多视点图像生成部14不同的、相对于多个视点的右眼用图像及左眼用图像。插补图像生成部38，可以算出在右图像及左图像的对应点之间的运动矢量，也可以算出视差。插补图像生成部38，基于各视点的位置进行插补并算出相对于该右图像或该左图像各视点的图像应该有的运动矢量或视差。该插补包含基于2个视点的值对2个视点内侧的视点的值进行插补的处理、和基于2个视点的值对2个视点外侧的视点的值进行外插的处理。比如，插补图像生成部38，计算出将该右图像及左图像的视点的位置差，和该右图像的视点及其他的视点的位置差之比，乘以该右图像及该左图像之间的运动矢量或视差得到的插补矢量或插补视差。并且，插补图像生成部38，作为与该其他的视点对应的图像生成相对于该右图像，具有插补矢量或插补视差的图像。同样，通过生成在各视点中的插补矢量或插补视差，插补图像生成部38，能够从被给予的右图像及左图像生成与多个视点对应的图像。图像评价部40评价被插补图像生成部38生成的右眼用图像及左眼用图像。在这里，所谓评价是指是否能够通过该右眼用图像及左眼用图像提供恰当的立体的图像的评价。图像评价部40，可以按照插补图像生成部38给予的右图像及左图像进行该评价，也可以根据插补图像生成部38生成的右眼用图像及左眼用图像进行该评价，也可以基于在插补图像生成部38中的图像处理的过程中检测出的参数进行该评价。 作为一个例子，插补图像生成部38，在被给予的右图像及左图像中，检测出多个被拍摄的同一个被拍摄对象的对应点，根据各自的对应点间的运动矢量或视差，推定图像整体的运动矢量或视差。因此，插补图像生成部38检测出的对应点的数越多，则越能够高精度地推定图像整体的运动矢量或视差。或者，插补图像生成部38，可以通过比较右图像及左图像的边缘成分等检测出对应点。由此，不一定能检测出充分的数目的对应点。图像评价部40，在插补图像生成部38 所检测出的对应点数小于等于预先设定值时，可以判定被插补图像生成部38生成的右眼用图像及左眼用图像，不能提供恰当的立体图像。此外，插补图像生成部38检测出的对应点，越是在图像整体毫无遗漏地分布，越是能够高精度地推定图像整体的运动矢量或视差。图像评价部40，可以按照插补图像生成部38所检测出的对应点的分布，评价被插补图像生成部38生成的右眼用图像及左眼用图像。比如，图像评价部40，在各自的对应点之间的距离的最大值在预先设定值以上的情况下，评价插补图像生成部38生成的右眼用图像及左眼用图像，不能提供恰当的立体图像。显示部50，在图像评价部40的评价结果为预先设定的水平以下的情况时，显示多视点图像生成部14生成的右眼用图像及左眼用图像。此外，显示部50，在图像评价部40的评价结果比该水平高的情况时，显示插补图像生成部38生成的右眼用图像及左眼用图像。
如，当由插补图像生成部38生成的右眼用图像及左眼用图像，被评价为不能提供恰当的立体的图像时，显示部50显示多视点图像生成部14所生成的右眼用图像及左眼用图像。多视点图像生成部14及插补图像生成部38可以并行生成图像。另外，在其他的动作例中，多视点图像生成部14，在图像评价部40的评价结果为该水平以下的情况时，可以生成右眼用图像及左眼用图像。也就是，在被插补图像生成部38生成的右眼用图像及左眼用图像，被评价为能够提供恰当的立体的图像时，多视点图像生成部14也可以不生成右眼用图像及左眼用图像。此外，插补图像生成部38，在右图像及左图像中的对应点的数或分布的评价，是在预先设定的水平以下的情况时，也可以不生成右眼用图像及左眼用图像。该情况下，如上所述，由多视点图像生成部14对显示部50提供多视点用的右眼用图像及左眼用图像。图像评价部40可以控制是否让多视点图像生成部14及插补图像生成部38生成右眼用图像及左眼用图像。另外，图像评价部40，将插补图像生成部38生成的多组右眼用图像和左眼用图像之间的视差的最大值，与预先设定值进行比较，评价该右眼用图像及可以左眼用图像。该视 差的最大值，是指针对每个右眼用图像及左眼用图像的组合计算出所对应的右眼用图像及左眼用图像中的各对应点的视差，所计算出的全部的视差中的最大值。图像评价部40，在该视差的最大值是所定价值以上时，可以评价右眼用图像及左眼用图像，不能提供恰当的立体的图像。此外，图像评价部40，也可以接收利用者的评价结果的信息。此外，从图I到图12说明的图像取得部12，可以取得包含多个图像的动态图像。在该情况下，图像处理部10针对动态图像的各帧的图像，通过从图I到图12相关说明的处理，生成多个左眼用图像及右眼用图像。图像处理部10，因为通过简易的处理能够生成多个左眼用图像及右眼用图像，当动态图像被连续播送(Streaming)时,在动态图像的各巾贞中能逐次生成多个左眼用图像及右眼用图像。此外，以在图I至图12说明过的多视点图像生成部14，其在左图像及右图像之间， 用各自同样的位移量，生成各自的左眼用图像及右眼用图像。在其他的例子中，多视点图像生成部14，也可以在左图像及右图像之间，用不同的位移量，生成各自的左眼用图像及可以右眼用图像。也就是，可以在左眼用图像及右眼用图像中，使左右间对应的图像间的位移量根据不同的视点位置而不同。由此，按照视点位置能够显示进深感变化的图像。以上，通过实施方式说明了本发明，但是本发明的技术范围不限定于上述实施方式所记载的范围。另外，本行业专业人员明白，能够对上述实施例加以多种多祥的改良和变更。根据权利要求书的记载可以明确，实施了这样的变更和改良的实施方式也包含在本发明的技术范围之内。应留意的是，关于在权利要求书、说明书和附图中表示的装置、系统、程序，和方法中的动作、次序、步骤，和阶段等的各处理的执行顺序，只要没有特别注明“比...先，，、“在...之前”等，或者只要不是后边的处理必须使用前面的处理的输出，就可以以任意的顺序实施。有关权利要求书、说明书和图纸中的动作流程，为了说明上的方便，说明中使用了“首先”、“其次”、等字样，但即使这样也不意味着必须按照这个顺序实施。符号说明10...图像处理部；12...图像取得部；14...多视点图像生成部；16...左右图像生成部；20...视点设定部；22...被拍摄对象判断部；24...距离取得部；30...存储器；32...延迟部；34...输出部；36...控制部；38...插补图像生成部； 40...图像评价部；50...显示部；52...显示单元；54...透镜阵列；56...屏障部；62 ；64...被拍摄对象； 100...图像显示装置。
权利要求
1.一种图像显示装置，该图像显示装置将多组右眼用图像及左眼用图像朝向各自对应的视点来显示， 该图像显示装置具备 多视点图像生成部，其接收与预先设定的2个视点对应的右图像及左图像，通过使所接收的所述右图像及所述左图像的整体分别位移，生成相对于多个视点的所述右眼用图像及所述左眼用图像；以及 显示部，其把所述多视点图像生成部生成的所述右眼用图像及所述左眼用图像朝向各自对应的视点进行显示。
2.根据权利要求I所述的图像显示装置，其中， 所述多视点图像生成部，取得从不同的位置拍摄的2维图像作为相对于所述预先设定的2个视点的所述右图像及所述左图像。
3.根据权利要求2所述的图像显示装置，其中， 所述多视点图像生成部，以所述左眼用图像及所述右眼用图像的位移量的最大值变为比相对于所述预先设定的2个视点的所述右图像及所述左图像之间的最大视差量小的方式，生成所述左眼用图像及所述右眼用图像。
4.根据权利要求I所述的图像显示装置，其中， 所述图像显示装置还具备左右图像生成部，该左右图像生成部通过位移所给予的2维图像的整体，生成相对于所述预先设定的2个视点的所述右图像及所述左图像，并输入到所述多视点图像生成部中。
5.根据权利要求4所述的图像显示装置，其中， 所述左右图像生成部，通过以预先设定的两眼宽度位移量来位移所述2维图像的整体，而生成相对于多个视点中的邻接的2个视点的所述右图像及所述左图像； 所述多视点图像生成部，以所述左眼用图像及所述右眼用图像的位移量的最大值变为比所述两眼宽度位移量小的方式，生成所述左眼用图像及所述右眼用图像。
6.根据权利要求I至5中任何一项所述的图像显示装置，其中， 所述多视点图像生成部，生成以非均一的位移量依次位移了相对于所述预先设定的2个视点的所述右图像及所述左图像的整体后得到的所述左眼用图像及所述右眼用图像。
7.根据权利要求6所述的图像显示装置，其中， 所述多视点图像生成部，按照利用者的位置分别使所述左眼用图像及所述右眼用图像的位移量发生变化。
8.根据权利要求I至7中任何一项所述的图像显示装置，其中， 所述显示部具有 屏障部，按照预先设定的排列图案排列用于透过光的透过部及用于遮蔽光的遮蔽部；以及 显示单元，将各个所述左眼用图像及所述右眼用图像的与所述排列图案对应的区域朝向所述屏障部进行显示。
9.根据权利要求8所述的图像显示装置，其中， 所述屏障部的用于控制透过光与否的快门单元以矩阵状形成，该屏蔽部能够通过对各个所述快门单元进行是否使之透过光的控制而变更所述排列图案；所述显示单元，根据所述排列图案的变更来变更对于各个所述左眼用图像及所述右眼用图像显示的区域的形状。
10.根据权利要求I至9中任何一项所述的图像显示装置，其中， 所述多视点图像生成部，根据所设定的视点数，生成与各个视点对应的所述左眼用图像及所述右眼用图像。
11.根据权利要求10所述的图像显示装置，其中， 所述图像显示装置还具备被拍摄对象判断部，该被拍摄对象判断部基于图像中包含的被拍摄对象，对所述多视点图像生成部设定所述视点数。
12.根据权利要求10所述的图像显示装置，其中， 所述图像显示装置还具备距离取得部，该距离取得部取得图像中包含的被拍摄对象的距离信息，按照所取得的所述被拍摄对象的距离信息，对所述多视点图像生成部设定所述视点数。
13.根据权利要求I至12中任何一项所述的图像显示装置，其中， 所述图像显示装置还具备 插补图像生成部，其基于在所述右图像及所述左图像中的对应点的关系，与所述多视点图像生成部不同地，生成相对于所述多个视点的所述右眼用图像及所述左眼用图像；以及 图像评价部，其评价被所述插补图像生成部生成的所述右眼用图像及所述左眼用图像； 所述显示部，在所述图像评价部的评价结果在预先设定的水平以下时，显示所述多视点图像生成部生成的所述右眼用图像及所述左眼用图像。
14.根据权利要求13所述的图像显示装置，其中， 所述多视点图像生成部，在所述图像评价部中的评价结果在所述预先设定的水平以下时，生成所述右眼用图像及所述左眼用图像。
15.根据权利要求13或14所述的图像显示装置，其中， 所述插补图像生成部，在所述右图像及所述左图像中检测出多个拍摄了同一被拍摄对象的所述对应点，基于各所述对应点，生成相对于所述多个视点的所述右眼用图像及所述左眼用图像； 所述图像评价部，基于所述插补图像生成部检测出的所述对应点的数目，评价被所述插补图像生成部生成的所述右眼用图像及所述左眼用图像。
16.根据权利要求13或14所述的图像显示装置，其中， 所述插补图像生成部，在所述右图像及所述左图像中检测出多个拍摄了同一个被拍摄对象的所述对应点，基于各所述对应点，生成相对于所述多个视点的所述右眼用图像及所述左眼用图像； 所述图像评价部，基于所述插补图像生成部检测出的所述对应点的分布，评价被所述插补图像生成部生成的所述右眼用图像及所述左眼用图像。
17.根据权利要求15或16所述的图像显示装置，其中， 所述插补图像生成部，在所述图像评价部的评价结果在所述预先决定的水平以下的情况下，不生成所述右眼用图像及所述左眼用图像。
18.根据权利要求13或14所述的图像显示装置，其中， 所述图像评价部，将所述插补图像生成部生成的多组所述右眼用图像及所述左眼用图像之间的视差的最大值与预先设定值进行比较，来评价所述插补图像生成部所生成的所述右眼用图像及所述左眼用图像。
19.一种图像显示方法，是将多组右眼用图像及左眼用图像朝向各自对应的视点来显示的图像显示方法， 该图像显示方法具备 多视点图像生成步骤，通过接收相对于预先设定的2个视点的右图像及左图像，并将所接收的所述右图像及所述左图像的整体分别位移，生成相对于多个视点的所述左眼用图像及所述右眼用图像；以及 显示步骤，把在所述多视点图像生成步骤生成的所述左眼用图像及所述右眼用图像，朝向各自对应的视点来显示。
全文摘要
本发明提供图像显示装置，是将n/2组右眼用图像及左眼用图像朝向各自对应的视点来显示的图像显示装置，包括多视点图像生成部(14)，其接收与预先设定的2个视点对应的右图像及左图像，并通过将所接收的右图像及左图像的整体分别位移，生成相对于n/2个视点的右眼用图像及相对于n/2个视点的左眼用图像；以及显示部(50)，将上述多视点图像生成部(14)生成的右眼用图像及左眼用图像朝向各自对应的视点进行显示。
文档编号G09G5/36GK102714030SQ20108004544
公开日2012年10月3日 申请日期2010年9月17日 优先权日2009年10月8日
发明者市原裕, 潮嘉次郎 申请人:株式会社尼康
技术领域：
本发明涉及图像显示装置及图像显示方法。
背景技术：
以前，公开有用光栅片对多个方向显示立体图像的装置。此外，公知的有通过操作从不同角度拍摄的现实影像来对追加映像进行插补的技术(比如，參照专利文献I)。专利文献I :日本特开平5-210181号公报
发明内容
可是，通过根据现实映像进行插补而生成与多视点相対的追加映像时，要计算出在每个预先设定的象素区域的运动矢量等的繁杂的处理。因此，在生成多视点用的图像时要花费时间。特别是，在连续播送像动态图像等的多个多视点图像时，来不及进行各帧的图像处理。因此，在本发明的I个侧面中，以提供能够解决上述课题的图像显示装置及图像显示方法作为目的。该目的通过独立权利要求记载的特征的组合而达成。从属权利要求规定了本发明的更有利的具体例。根据本发明的第I方式，提供图像显示装置及使用了该图像显示装置的图像显示方法，该图像显示装置是将多组右眼用图像及左眼用图像，朝向各自对应的视点进行显示的图像显示装置，具有多视点图像生成部，其接收与预先设定的2个视点对应的右图像及左图像，通过将接收到的右图像及左图像整体分别位移，来生成相对于多个视点的右眼用图像及左眼用图像；和显示部，其将多视点图像生成部所生成的右眼用图像及左眼用图像朝向各自对应的视点进行显示。另外，上述发明的概要，并未列举出本发明必要的特征的全部，这些特征群的辅助组合也能成为发明。
图I是表示I个实施方式的图像显示装置100的构成例的图。图2是表示图像处理部10的构成例的图。图3表示图像取得部12取得的左图像及右图像的一例的图。图4是表示多视点图像生成部14的动作例的图。图5是表示显示部50的动作例的图。图6是表示显示部50的构成例的图。图7是表示图像处理部10的其他构成例的图。图8是表示在左右图像生成部16中的处理例的图。图9是表示多视点图像生成部14的构成例的图。 图10是表示显示部50的其他构成例的图。
图11是表示图像处理部10的其他构成例的图。图12是表示图像处理部10的其他构成例的图。
具体实施例方式以下，通过发明的实施方式说明本发明的(一)侧面，不过，以下的实施方式并非限定权カ要求所涉及的发明，另外，在实施方式中被说明的特征的组合未必全部是发明的解决手段所必须的。图I是表示I个实施方式所涉及的图像显示装置100的构成例的图。图像显示装置100，从各自对应的视点I朝向视点η来显示多组的右图像及左图像，I个视点比如与利用者的右眼或左眼的位置对应。也就是，图像显示装置100将ー组的右图像及左图像，对邻接的2个视点显示。此外，图像显示装置100，从被给予的2维图像生成与各视点对应的右图像或左图像。 本例的图像显示装置100，具有图像处理部10及显示部50。图像处理部10取得2维图像。图像处理部10可以取得与I个视点对应的I个2维图像，此外，也可以取得与2个视点对应的2个2维图像。为后者的情况时，2个2维图像，是从根据人的双眼的位置的2个位置拍摄的被拍摄对象的立体图像。图像处理部10，根据所取得的2维图像生成与η个(比如4以上的偶数)视点对应的η个图像。比如图像处理部10生成η/2个右眼用图像和η/2个左眼用图像。在这里，所谓右眼用图像，是应该对利用者的右眼显示的图像，所谓的左眼用图像，是应该对利用者的左眼显示的图像。显示部50把图像处理部10生成的η个的图像朝向η个视点进行显示。比如，显示部50，通过光栅方式或根据视差屏障方式，把η个图像朝向η个视点来显示。本例的显示部50，把对应的右眼用图像及左眼用图像，朝向邻接的视点来显示，由此对多视点显示立体的图像。图2是表示图像处理部10的构成例的图。本例的图像处理部10取得相对于被预先设定的2个视点的右图像及左图像。所谓的被预先设定的2个视点，可以是与利用者的右眼及左眼对应的视点。也就是，该右图像及左图像，可以是上述的立体图像。本例的图像处理部10具有图像取得部12及多视点图像生成部14。图像取得部12，取得相对于被预先设定的2个视点的右图像及左图像。图像取得部12，可以通过从外部的装置取得右图像及左图像，也可以从不同的2个位置拍摄被拍摄对象，来取得右图像及左图像。多视点图像生成部14，从图像取得部12接收相对于预先设定的2个视点的右图像及左图像，通过将接收到的右图像及左图像的整体分别位移，而生成与所规定的2个视点不同的视点的右眼用图像及左眼用图像。也就是，显示部50对每个视点显示被拍摄对象被错位后的立体的图像。根据这个，能显示与各视点应对的立体的图像。本例的多视点图像生成部14，与从图像取得部12接收的右图像及左图像对合，对显示部50供给与η个视点相対的右眼用图像及左眼用图像。具体，多视点图像生成部14，对显示部50供给相对于η/2个视点的右眼用图像及相对于η/2个视点的左眼用图像。显示部50接收图像取得部12接收到的右图像及左图像，和在多视点图像生成部14中被生成的图像，朝向各自对应的视点而显示。显示部50可以并行显示各自的图像。图3是表示图像取得部12取得的左图像及右图像的一个例子的图。本例的左图像及右图像，是从与人的双眼对应的不同的2个位置拍摄的同一个被拍摄对象而得到的立体图像。或者，在左图像及右图像中的被拍摄对象，具有从拍摄装置到被拍摄对象的距离对应的视差。在图3中，被拍摄对象62在左右图像间有视差dl，被拍摄对象64在左右图像间有视差d2。图4，是表示多视点图像生成部14动作例的图。图4中，说明基于从图像取得部 12接收的左图像，生成n/2个左眼用图像的情况，不过，如果基于从图像取得部12接收的右图像，生成n/2个右眼用图像时也同样。多视点图像生成部14通过以所规定的位移量依次位移所接收的左图像的整体， 而生成n/2个左眼用图像。比如，多视点图像生成部14，将所接收的左图像的整体，生成按照位移量da依次向右方向一个一个位移后的多个右移左眼用图像，和生成按照位移量da 一个一个依次向左方向位移后的多个左移左眼用图像。 图4，作为视点数η= 14，表示生成7个左眼用图像的例子。在这种情况下，如图4 所示，多视点图像生成部14，除了原来的左图像之外，可以生成3个右位移左眼用图像和3 个左位移左眼用图像。此外，多视点图像生成部14，除了原来的左图像之外，可以生成6个右位移左眼用图像，还可以生成6个左位移左眼用图像。图5是表示显示部50动作例子的图。本例的显示部50,将多视点图像生成部14 所生成的多个右眼用图像及多个左眼用图像以同一帧并行显示。如，显示部50，如图4 所示，在原来的左图像整体在X轴方向依次位移得到的多个左眼用图像中，提取X轴上的同样位置的象素列(本例，为从L从(_3)L提取(3))。同样，显示部50，在原来的右图像整体沿X轴方向依次位移后的多个右眼用图像中，提取X轴上的同样位置的象素列(本例，为从 R(_3)R提取(3))。或者，对于象素列，X轴方向幅度可以是I个象素，也可以是多个象素。显示部50，在显示面中，在与该X轴上的位置对应的区域，按照预先设定的排列， 显示多个左眼用图像及右眼用图像中的X轴上的同样位置的区域。比如，显示部50，以预先设定的列数交替显示多个左眼用图像及右眼用图像中的各象素列。图5例，显示部50，各I 个交替显示左眼用图像及右眼用图像的各象素列。同样，关于显示面的其他区域，用预先设定配列，显示多个右眼用图像及左眼用图像中对应的区域。图6是表示显示部50的构成例的图。本例的显示部50具有透镜阵列54及显示单元52。显示单元52，与图5相关联说明的那样，用预先决定的排列显示多个左眼用图像及右眼用图像的各象素列。透镜阵列54具有多个透镜，是用预先设定的图案被排列的。透镜阵列54，可以是具有沿着X轴方向以预先设定的间距被排列的半圆柱状的多个透镜的柱状透镜阵列。在透镜阵列54中各透镜被设置在每个与视点数对应的规定数目的象素列上。比如,如图4及图5所示,视点数η = 14时,各透镜被设置在显示单元52的表示面中的14个
象素列的每个上。各透镜使各象素列朝向所对应的视点(本例中的视点1、2、......k-2、
k_l、k、k+1、k+2、......>13-, 14)显不。根据以上的构成，能够从所给予的I组右图像及左图像，较容易地生成多视点用的左眼用图像及右眼用图像。此外，能将所生成的多视点用的左眼用图像及右眼用图像在对应的视点显示。或者，本例的显示部50说明了采用光栅方式时的情况，不过，显示部50也可以是视差屏障方式。此外，多视点图像生成部14，优选从图像取得部12取得的右图像及左图像分别生成的图像间的位移量的最大值，比该右图像及左图像之间的最大视差量小地生成相对于各视点的位移图像。比如，采用图3及图4的例子说明时，多视点图像生成部14，设定单位位移量da为左端的左眼用图像和右端的左眼用图像之间的位移量6da比最大视差量dl还足够的小。同样多视点图像生成部14，设定单位位移量da为右眼用图像的位移量的最大值6da变成比最大视差量dl还足够的小。在本例中，右眼用图像及左眼用图像中，各自的単位位移量da是相同的。或者，在上述的例子中，多视点图像生成部14，生成以均一的位移量da，依次位移了原来的左图像及右图像得到的左眼用图像及右眼用图像，不过，在其他的例子中，多视点图像生成部14，也可以生成以非均一的位移量依次位移了原来的图像得到的左眼用图像及 右眼用图像。tヒ如，关于在多个视点里面，对应于中央附近的视点的左眼用图像及右眼用图像，将相对于邻接的左眼用图像及右眼用图像的位移量減少到比较小，关于对应于边部附近的视点的左眼用图像及右眼用图像，将相对于邻接的左眼用图像及右眼用图像的位移量加大到比较大。此时，当在多个视点中的中央附近，利用者的视点已切换的时候，由于被显示的图像之差较小，所以能够平滑地进行图像转换。此外，多个视点中，对于与中央附近的视点对应的左眼用图像及右眼用图像，将邻接的左眼用图像及右眼用图像的位移量加到较大，对于与边部附近的视点对应的左眼用图像及右眼用图像，将邻接的左眼用图像及右眼用图像的位移量减小。该情况下，在多视点中的边部附近中，利用者的视点已切换时，能将图像平滑地转换。图7是表不图像处通部10的其他构成例的图。本例的图像处通部10,具有图像取得部12、左右图像生成部16，及多视点图像生成部14。图像取得部12，取得I个2维图像。图像取得部12可以从外部的装置取得2维图像，也可以通过拍摄被拍摄对象取得2维图像。左右图像生成部16，通过位移图像取得部12所取得的2维图像的整体，而生成与多个视点中邻接的2个视点相対的右图像及左图像，输入到多视点图像生成部14。左右图像生成部16可以根据人的双眼的间隔的两眼宽度位移量，进行2维图像的整体的位移。比如，左右图像生成部16，位移2维图像的整体而生成右图像及左图像，以使被生成的右图像及左图像之间的位移量为6. 5cm左右的两眼宽度位移量。多视点图像生成部14，基于从左右图像生成部16接收的右图像及左图像，生成各η/2个右眼用图像及左眼用图像。多视点图像生成部14用于生成多个右眼用图像及左眼用图像的处理，可以和在图2中的相关说明的多视点图像生成部14同样。根据这样的构成，能够容易地从I个2维图像生成多视点用的左眼用图像及右眼用图像。图8是表示在左右图像生成部16中的处理例的图。左右图像生成部16，基于所接收到的2维图像生成图像整体相对X轴方向只位移被预先设定的眼宽度位移量d的左图像及右图像。通过对利用者的左眼及右眼选择性地显示该左图像及右图像，能够提供如同各被拍摄对象无限远地存在一祥的立体的图像。或者，多视点图像生成部14优选生成与各视点对应的右图像及左图像，以使从左图像及右图像生成的左眼用图像及右眼用图像的各自的位移量的最大值，变得比左右图像生成部16中的眼宽度位移量d充分地小。此外，多视点图像生成部14，与图2相关联地说明的多视点图像生成部14同样，可以生成以非均一的位移量依次位移左右图像后得到的左眼用图像及右眼用图像。图9是表示多视点图像生成部14构成例的图。本例的多视点图像生成部14，具有存储器30、多个延迟部32、输出部34、及控制部36。还有，在图9中，对多视点图像生成部14的构成中的、处理左图像或右图像的一方的构成进行了说明，不过，多视点图像生成部14，为了处理左图像或右图像的另一方而还具有与图9同样的构成。存储器30，存储右图像或左图像，从边缘的象素列按顺序输出以象素列为单位的数据。该象素列，是指沿着与上述的X轴方向垂直的方向的象素列。级联连接设置与视点数对应的个数(本例n/2个)的延迟部32。即，多个延迟部32与相对于左图像或右图像而多视点图像生成部14输出的n/2个左眼用图像或右眼用图像相对应。控制部36，根据与所对应的左眼用图像中的位移量设定在各自的延迟部32中的延迟量。如，对于与相对于近前的左眼用图像或右眼用图像的位移量是10象素列的左眼用图像或右眼用图像对应的延迟部32，控制部36设定从存储器30读出10象素列的时间为延迟时间。控制部36，如以上所述，可以与均一的位移量对应地设定均一的延迟量，也可以与非均一的位移量对应地设定不均匀的延迟量。输出部34，并列接收多个延迟部32输出的象素列的数据。如上所述，各自的延迟部32以与位移量对应的延迟量 使来自存储器30的数据延迟，输出部34并列接收在图4所示的象素列L(3)、L(2).......那样的，图像中的位置向X轴方向位移后的象素列的数据。输出部34，将以预先设定的顺序排列并列接收的象素列的合成数据向显示部50 供给。此外，因为显示部50在I个画面显示多个视点用的图像，所以I个视点相对的图像， 与原来的图像相比对象素列进行了间隔剔除。输出部34，可以在每个从存储器30读出与视点的数对应的列数的象素列的期间，通过生成I个合成数据并朝显示部50供给，生成按照视点数对象素列进行间隔剔除而得到的数据。根据这样的构成，能够使显示部50容易地显示按照视点数对象素列进行间隔剔除后的多个左眼用图像及右眼用图像。此外，能够容易地调整左眼用图像及右眼用图像的位移量。图10是表示显示部50的其他构成例的图。本例的显示部50,具有显示单元52及屏障部56。屏障部56以预先设定的排列图案排列用于透过光的透过部及用于遮蔽光的遮蔽部。屏障部56，矩阵状形成对于透过光与否进行控制的快门单元，通过对各自的快门单元控制是否使光透过，能够变更排列图案，屏障部56可以具有液晶面板。显示单元52，可以和图6中相关说明的显示单元52同样。显示单元52，朝向屏障部56显示与各自的位移图像的，在屏障部56中的透过部及遮蔽部的排列图案对应的区域。 屏障部56可以在与显示单元52对置的区域，从显示单元52上端到下端交替配置具有被预先设定的宽度的短条状的透过部及遮蔽部。该情况下，显示单元52，从各自的位移图像提取具有用视屏障部56的透过部的宽度除以视点数而得到的宽度的短条状的象素列，并按照预先设定的排列顺序显示各自的位移图像的象素列。此外，显示单元52，可以按照在屏障部56中的透过部及遮蔽部的排列图案的变更，来变更分别从左眼用图像及右眼用图像提取的区域的图案。比如，在屏障部56的短条状的透过部的宽度被变更时，按照变更后的透过部的宽度调整分别从左眼用图像及右眼用图像提取的象素列的宽度。此外，屏障部56的透过部及遮蔽部的排列图案，可以具有多样的图案。屏障部56的透过部及遮蔽部，可以从显示単元52的上端到下端被倾斜地设置，也可以从显示単元52的右端到左端设置。此外，屏障部56的透过部及遮蔽部，可以被排列成锯齿状。也就是，屏障部56的透过部及遮蔽部，也可以在显示単元52的上下方向及左右方向的任何一个中被交替配置。显示单元52，可以按照这些屏障部56的透过部及遮蔽部的排列图案，制定从各自的左眼用图像及右眼用图像提取的区域的形状。图11是表示图像处理部10的其他构成例的图。本例的图像处理部10，除了图I至图10相关说明的任何一个图像处理部10的构成之外，还包括视点设定部20。图11中，说明在图2中说明过的图像处理部10的构成上，追加了视点设定部20的构成。
视点设定部20，对多视点图像生成部14设定视点数η。视点设定部20，可以根据使用者等设定的视点数，对多视点图像生成部14设定视点数η。多视点图像生成部14，按照被设定的视点数η，生成与各自的视点对应的位移图像。此外，多视点图像生成部14，可以按照被设定的视点数η，变更在左眼用图像及右眼用图像中的位移量。比如，多视点图像生成部14，通过将预先设定的总位移量除以与被设定的视点数对应的数，而计算出左眼用图像及右眼用图像的各自的位移量。此外，视点设定部20，可以具有被拍摄对象判断部22，其基于图像取得部12取得的图像中包含的被拍摄对象，对多视点图像生成部14设定视点数。被拍摄对象判断部22，可以在图像中包含希望以更高的分辨率显示图像的被拍摄对象时，可以将在多视点图像生成部14中的视点数降低到比较少。更具体，被拍摄对象判断部22，可以在图像取得部12所取得的图像中包含的被拍摄对象的空间频率更高的情况下，将在多视点图像生成部14中的视点数減少到更少。另外，视点设定部20可以具有距离取得部24，其取得包含在图像取得部12所取得的图像中的被拍摄对象的距离信息，根据所取得的距离信息，在多视点图像生成部14设定视点数。距离取得部24可以取得被添加于该图像中的摄影条件的数据。此外，图像取得部12在取得立体的右图像及左图像时，距离取得部24可以按照右图像及左图像中包含的被拍摄对象的视差量，取得被拍摄对象的距离信息。距离取得部24，在离被拍摄对象的距离更近的情况时，可以让多视点图像生成部14中的视点数更多。此外，视点设定部20，可以组合被拍摄对象判断部22及距离取得部24，设定在多视点图像生成部14中的视点数。此外，多视点图像生成部14，也可以基于利用者的位置，使相对于左眼用图像及右眼用图像的、邻接的左眼用图像及右眼用图像的位移量发生变化。tヒ如，针对与更接近于利用者的位置的视点对应的左眼用图像及右眼用图像，将位移量減少到更小。由此，在利用者的位置附近的视点，图像的运动能平滑地进行。图像处理部10，还可以具有位置检测部，该位置检测部检测出利用者的位置，并通知给多视点图像生成部14。位置检测部，比如具有CXD元件等的拍摄装置。图12是表示图像处理部10的其他构成例的图。本例的图像处理部10，在图I至图11中已说明的任何一个图像处理部10的构成的基础上，还具有图像评价部40及插补图像生成部38。图12中，表示在图2相关说明的图像处理部10的构成上追加了图像评价部 40及插补图像生成部38后的构成。其他的构成，也可以是与图I至图11的相关说明的任何一个图像处理部10相同。插补图像生成部38，根据多视点图像生成部14给与的右图像及左图像的对应点的关系，生成与多视点图像生成部14不同的、相对于多个视点的右眼用图像及左眼用图像。插补图像生成部38，可以算出在右图像及左图像的对应点之间的运动矢量，也可以算出视差。插补图像生成部38，基于各视点的位置进行插补并算出相对于该右图像或该左图像各视点的图像应该有的运动矢量或视差。该插补包含基于2个视点的值对2个视点内侧的视点的值进行插补的处理、和基于2个视点的值对2个视点外侧的视点的值进行外插的处理。比如，插补图像生成部38，计算出将该右图像及左图像的视点的位置差，和该右图像的视点及其他的视点的位置差之比，乘以该右图像及该左图像之间的运动矢量或视差得到的插补矢量或插补视差。并且，插补图像生成部38，作为与该其他的视点对应的图像生成相对于该右图像，具有插补矢量或插补视差的图像。同样，通过生成在各视点中的插补矢量或插补视差，插补图像生成部38，能够从被给予的右图像及左图像生成与多个视点对应的图像。图像评价部40评价被插补图像生成部38生成的右眼用图像及左眼用图像。在这里，所谓评价是指是否能够通过该右眼用图像及左眼用图像提供恰当的立体的图像的评价。图像评价部40，可以按照插补图像生成部38给予的右图像及左图像进行该评价，也可以根据插补图像生成部38生成的右眼用图像及左眼用图像进行该评价，也可以基于在插补图像生成部38中的图像处理的过程中检测出的参数进行该评价。 作为一个例子，插补图像生成部38，在被给予的右图像及左图像中，检测出多个被拍摄的同一个被拍摄对象的对应点，根据各自的对应点间的运动矢量或视差，推定图像整体的运动矢量或视差。因此，插补图像生成部38检测出的对应点的数越多，则越能够高精度地推定图像整体的运动矢量或视差。或者，插补图像生成部38，可以通过比较右图像及左图像的边缘成分等检测出对应点。由此，不一定能检测出充分的数目的对应点。图像评价部40，在插补图像生成部38 所检测出的对应点数小于等于预先设定值时，可以判定被插补图像生成部38生成的右眼用图像及左眼用图像，不能提供恰当的立体图像。此外，插补图像生成部38检测出的对应点，越是在图像整体毫无遗漏地分布，越是能够高精度地推定图像整体的运动矢量或视差。图像评价部40，可以按照插补图像生成部38所检测出的对应点的分布，评价被插补图像生成部38生成的右眼用图像及左眼用图像。比如，图像评价部40，在各自的对应点之间的距离的最大值在预先设定值以上的情况下，评价插补图像生成部38生成的右眼用图像及左眼用图像，不能提供恰当的立体图像。显示部50，在图像评价部40的评价结果为预先设定的水平以下的情况时，显示多视点图像生成部14生成的右眼用图像及左眼用图像。此外，显示部50，在图像评价部40的评价结果比该水平高的情况时，显示插补图像生成部38生成的右眼用图像及左眼用图像。
如，当由插补图像生成部38生成的右眼用图像及左眼用图像，被评价为不能提供恰当的立体的图像时，显示部50显示多视点图像生成部14所生成的右眼用图像及左眼用图像。多视点图像生成部14及插补图像生成部38可以并行生成图像。另外，在其他的动作例中，多视点图像生成部14，在图像评价部40的评价结果为该水平以下的情况时，可以生成右眼用图像及左眼用图像。也就是，在被插补图像生成部38生成的右眼用图像及左眼用图像，被评价为能够提供恰当的立体的图像时，多视点图像生成部14也可以不生成右眼用图像及左眼用图像。此外，插补图像生成部38，在右图像及左图像中的对应点的数或分布的评价，是在预先设定的水平以下的情况时，也可以不生成右眼用图像及左眼用图像。该情况下，如上所述，由多视点图像生成部14对显示部50提供多视点用的右眼用图像及左眼用图像。图像评价部40可以控制是否让多视点图像生成部14及插补图像生成部38生成右眼用图像及左眼用图像。另外，图像评价部40，将插补图像生成部38生成的多组右眼用图像和左眼用图像之间的视差的最大值，与预先设定值进行比较，评价该右眼用图像及可以左眼用图像。该视 差的最大值，是指针对每个右眼用图像及左眼用图像的组合计算出所对应的右眼用图像及左眼用图像中的各对应点的视差，所计算出的全部的视差中的最大值。图像评价部40，在该视差的最大值是所定价值以上时，可以评价右眼用图像及左眼用图像，不能提供恰当的立体的图像。此外，图像评价部40，也可以接收利用者的评价结果的信息。此外，从图I到图12说明的图像取得部12，可以取得包含多个图像的动态图像。在该情况下，图像处理部10针对动态图像的各帧的图像，通过从图I到图12相关说明的处理，生成多个左眼用图像及右眼用图像。图像处理部10，因为通过简易的处理能够生成多个左眼用图像及右眼用图像，当动态图像被连续播送(Streaming)时,在动态图像的各巾贞中能逐次生成多个左眼用图像及右眼用图像。此外，以在图I至图12说明过的多视点图像生成部14，其在左图像及右图像之间， 用各自同样的位移量，生成各自的左眼用图像及右眼用图像。在其他的例子中，多视点图像生成部14，也可以在左图像及右图像之间，用不同的位移量，生成各自的左眼用图像及可以右眼用图像。也就是，可以在左眼用图像及右眼用图像中，使左右间对应的图像间的位移量根据不同的视点位置而不同。由此，按照视点位置能够显示进深感变化的图像。以上，通过实施方式说明了本发明，但是本发明的技术范围不限定于上述实施方式所记载的范围。另外，本行业专业人员明白，能够对上述实施例加以多种多祥的改良和变更。根据权利要求书的记载可以明确，实施了这样的变更和改良的实施方式也包含在本发明的技术范围之内。应留意的是，关于在权利要求书、说明书和附图中表示的装置、系统、程序，和方法中的动作、次序、步骤，和阶段等的各处理的执行顺序，只要没有特别注明“比...先，，、“在...之前”等，或者只要不是后边的处理必须使用前面的处理的输出，就可以以任意的顺序实施。有关权利要求书、说明书和图纸中的动作流程，为了说明上的方便，说明中使用了“首先”、“其次”、等字样，但即使这样也不意味着必须按照这个顺序实施。符号说明10...图像处理部；12...图像取得部；14...多视点图像生成部；16...左右图像生成部；20...视点设定部；22...被拍摄对象判断部；24...距离取得部；30...存储器；32...延迟部；34...输出部；36...控制部；38...插补图像生成部； 40...图像评价部；50...显示部；52...显示单元；54...透镜阵列；56...屏障部；62 ；64...被拍摄对象； 100...图像显示装置。
权利要求
1.一种图像显示装置，该图像显示装置将多组右眼用图像及左眼用图像朝向各自对应的视点来显示， 该图像显示装置具备 多视点图像生成部，其接收与预先设定的2个视点对应的右图像及左图像，通过使所接收的所述右图像及所述左图像的整体分别位移，生成相对于多个视点的所述右眼用图像及所述左眼用图像；以及 显示部，其把所述多视点图像生成部生成的所述右眼用图像及所述左眼用图像朝向各自对应的视点进行显示。
2.根据权利要求I所述的图像显示装置，其中， 所述多视点图像生成部，取得从不同的位置拍摄的2维图像作为相对于所述预先设定的2个视点的所述右图像及所述左图像。
3.根据权利要求2所述的图像显示装置，其中， 所述多视点图像生成部，以所述左眼用图像及所述右眼用图像的位移量的最大值变为比相对于所述预先设定的2个视点的所述右图像及所述左图像之间的最大视差量小的方式，生成所述左眼用图像及所述右眼用图像。
4.根据权利要求I所述的图像显示装置，其中， 所述图像显示装置还具备左右图像生成部，该左右图像生成部通过位移所给予的2维图像的整体，生成相对于所述预先设定的2个视点的所述右图像及所述左图像，并输入到所述多视点图像生成部中。
5.根据权利要求4所述的图像显示装置，其中， 所述左右图像生成部，通过以预先设定的两眼宽度位移量来位移所述2维图像的整体，而生成相对于多个视点中的邻接的2个视点的所述右图像及所述左图像； 所述多视点图像生成部，以所述左眼用图像及所述右眼用图像的位移量的最大值变为比所述两眼宽度位移量小的方式，生成所述左眼用图像及所述右眼用图像。
6.根据权利要求I至5中任何一项所述的图像显示装置，其中， 所述多视点图像生成部，生成以非均一的位移量依次位移了相对于所述预先设定的2个视点的所述右图像及所述左图像的整体后得到的所述左眼用图像及所述右眼用图像。
7.根据权利要求6所述的图像显示装置，其中， 所述多视点图像生成部，按照利用者的位置分别使所述左眼用图像及所述右眼用图像的位移量发生变化。
8.根据权利要求I至7中任何一项所述的图像显示装置，其中， 所述显示部具有 屏障部，按照预先设定的排列图案排列用于透过光的透过部及用于遮蔽光的遮蔽部；以及 显示单元，将各个所述左眼用图像及所述右眼用图像的与所述排列图案对应的区域朝向所述屏障部进行显示。
9.根据权利要求8所述的图像显示装置，其中， 所述屏障部的用于控制透过光与否的快门单元以矩阵状形成，该屏蔽部能够通过对各个所述快门单元进行是否使之透过光的控制而变更所述排列图案；所述显示单元，根据所述排列图案的变更来变更对于各个所述左眼用图像及所述右眼用图像显示的区域的形状。
10.根据权利要求I至9中任何一项所述的图像显示装置，其中， 所述多视点图像生成部，根据所设定的视点数，生成与各个视点对应的所述左眼用图像及所述右眼用图像。
11.根据权利要求10所述的图像显示装置，其中， 所述图像显示装置还具备被拍摄对象判断部，该被拍摄对象判断部基于图像中包含的被拍摄对象，对所述多视点图像生成部设定所述视点数。
12.根据权利要求10所述的图像显示装置，其中， 所述图像显示装置还具备距离取得部，该距离取得部取得图像中包含的被拍摄对象的距离信息，按照所取得的所述被拍摄对象的距离信息，对所述多视点图像生成部设定所述视点数。
13.根据权利要求I至12中任何一项所述的图像显示装置，其中， 所述图像显示装置还具备 插补图像生成部，其基于在所述右图像及所述左图像中的对应点的关系，与所述多视点图像生成部不同地，生成相对于所述多个视点的所述右眼用图像及所述左眼用图像；以及 图像评价部，其评价被所述插补图像生成部生成的所述右眼用图像及所述左眼用图像； 所述显示部，在所述图像评价部的评价结果在预先设定的水平以下时，显示所述多视点图像生成部生成的所述右眼用图像及所述左眼用图像。
14.根据权利要求13所述的图像显示装置，其中， 所述多视点图像生成部，在所述图像评价部中的评价结果在所述预先设定的水平以下时，生成所述右眼用图像及所述左眼用图像。
15.根据权利要求13或14所述的图像显示装置，其中， 所述插补图像生成部，在所述右图像及所述左图像中检测出多个拍摄了同一被拍摄对象的所述对应点，基于各所述对应点，生成相对于所述多个视点的所述右眼用图像及所述左眼用图像； 所述图像评价部，基于所述插补图像生成部检测出的所述对应点的数目，评价被所述插补图像生成部生成的所述右眼用图像及所述左眼用图像。
16.根据权利要求13或14所述的图像显示装置，其中， 所述插补图像生成部，在所述右图像及所述左图像中检测出多个拍摄了同一个被拍摄对象的所述对应点，基于各所述对应点，生成相对于所述多个视点的所述右眼用图像及所述左眼用图像； 所述图像评价部，基于所述插补图像生成部检测出的所述对应点的分布，评价被所述插补图像生成部生成的所述右眼用图像及所述左眼用图像。
17.根据权利要求15或16所述的图像显示装置，其中， 所述插补图像生成部，在所述图像评价部的评价结果在所述预先决定的水平以下的情况下，不生成所述右眼用图像及所述左眼用图像。
18.根据权利要求13或14所述的图像显示装置，其中， 所述图像评价部，将所述插补图像生成部生成的多组所述右眼用图像及所述左眼用图像之间的视差的最大值与预先设定值进行比较，来评价所述插补图像生成部所生成的所述右眼用图像及所述左眼用图像。
19.一种图像显示方法，是将多组右眼用图像及左眼用图像朝向各自对应的视点来显示的图像显示方法， 该图像显示方法具备 多视点图像生成步骤，通过接收相对于预先设定的2个视点的右图像及左图像，并将所接收的所述右图像及所述左图像的整体分别位移，生成相对于多个视点的所述左眼用图像及所述右眼用图像；以及 显示步骤，把在所述多视点图像生成步骤生成的所述左眼用图像及所述右眼用图像，朝向各自对应的视点来显示。
全文摘要
本发明提供图像显示装置，是将n/2组右眼用图像及左眼用图像朝向各自对应的视点来显示的图像显示装置，包括多视点图像生成部(14)，其接收与预先设定的2个视点对应的右图像及左图像，并通过将所接收的右图像及左图像的整体分别位移，生成相对于n/2个视点的右眼用图像及相对于n/2个视点的左眼用图像；以及显示部(50)，将上述多视点图像生成部(14)生成的右眼用图像及左眼用图像朝向各自对应的视点进行显示。
文档编号G09G5/36GK102714030SQ20108004544
公开日2012年10月3日 申请日期2010年9月17日 优先权日2009年10月8日
发明者市原裕, 潮嘉次郎 申请人:株式会社尼康
最新回复(0)