立体图像显示装置及方法

xiaoxiao2020-6-26  17

专利名称:立体图像显示装置及方法
技术领域
本发明的实施方式涉及立体图像显示装置及方法。
背景技术
不使用专用眼镜的立体图像显示装置因为能够立体视的范围(以下称为“视域”)受到限定,所以根据视听者和立体图像显示装置的相对位置关系,存在良好的立体视困难 的情況。进而,即使视听者最初容纳视域内,也存在因视听者的移动而离开视域的情況。因此,优选与视听者的位置相应地改变立体图像显示的状态,以能够立体视。[专利文献I]日本特开平8-328170号公报另外,优先改变立体图像显示的状态,以能够在多个视听者正在进行视听等的条件下也能够与此相应地进行立体视。

发明内容
根据实施方式,提供显示多视点图像的立体图像显示装置。在该装置中,人物信息取得部取得包含欣赏立体影像的各人物的位置的人物信息。加权计算部根据上述人物信息和显示參数,关于各人物计算在显示按照上述显示參数的多视点图像时推定的表示立体视的良好程度的权重。图像决定部选择通过上述加权计算部计算出的各人物的权重的总和为最大的上述显示參数,输出依据所选择出的显示參数的多视点图像。图像显示部显示从上述图像决定部输出的多视点图像。


图I是ー实施方式的立体图像显示装置的方框图。图2是概略地表示图像显示部的结构的一例的立体图。图3是表示加权计算部以及图像决定部的概略构成的方框图。图4是表示人物信息取得部的构成的方框图。图5是表示加权计算部的构成的方框图。图6是用于说明根据能够立体视的区域面积计算权重的图。图7是用于说明根据光线密度计算权重的图。图8是表示通过加权计算部计算出的权重的映射例子的图。图9是表示图像决定部的构成的方框图。图10是用于说明对视域进行控制的显示參数的图。图11是用于说明对视域进行控制的显示參数的图。图12是用于说明相邻的视域的图。图13是用于说明基于像素的排列(像素间距)进行的控制的图。图14是用于说明基于图像显示部的移动、旋转或者变形进行的视域控制的图。图15是用于说明视差数量不同的情况的光线密度的图。
具体实施例方式如图I所示,本实施方式的立体图像显示装置10具备人物信息取得部101、加权计算部102、图像决定部103以及图像显示部104,能够与视听者的位置相应地改变立体图像显示的状态,例如,多个视听者能够同时欣赏良好的立体影像。人物信息取得部101检测欣赏立体图像显示装置10显示的立体影像的视听者(以下称为“人物”)的位置。在本实施方式中,还对应于作为对象的视听者为多个的情况,检测各人物的位置。人物信息取得部101输出表示所检测到的各人物的位置的人物信息。例如,可以通过照相机等检测部检测人物的位置,并根据该结果求视听者i和立体图像显示装置10的相对位置坐标(以下称为位置坐标(Xi,Yi))。加权计算部102根据包含由人物信息取得部101取得的各人物的位置的人物信息,关于各人物求出表示立体视的良好程度的权重。图像决定部103选择由加权计算部102计算出的各人物的权重的总和为最大的显示參数,输出依据所选择的显示參数的多视点图像。图像显示部104显示从图像决定部103输出的多视点图像。
图像显示部104是显示由图像决定部103生成的多视点图像的设备。图2是概略地表示图像显示部104的结构一例的立体图。在此,以视点数η = 18进行说明。如图2所示,图像显示部104具备显示元件阵列114、配置在显示元件阵列114前表面的开ロ控制部115。作为显示元件阵列114例如能够使用LCD (Liquid Crystal Display :液晶显示器)。开ロ控制部115是限制透过的光线使光线朝向规定方向射出的光线控制元件。如图2所示,作为开ロ控制部115也可以使用双凸透镜(lenticular)片。双凸透镜片是控制入射光线以及射出光线使光线朝向规定方向的透镜段(segment)的阵列板。作为开ロ控制部115还能够使用适宜地设置了光透过区域的狭缝等阵列板。这些光透过区域以及透镜段具有仅选择地射出从显示元件阵列114朝向其前方发射的光线中的朝向特定方向的光线的功能。以下统一将透镜段以及光透过区域称为“光学开ロ部”。作为开ロ控制部115例如使用在显示元件阵列114的画面的垂直方向具有母线的作为透镜的阵列板的双凸透镜片。透镜段的各光学开ロ部116、116、...与像素对应地配置。开ロ控制部115不限于上述双凸透镜片和集成了光透过区域的阵列板,还能够利用IXD作为能够改变光透过区域的位置以及形状的光快门。在此,在一般的FPD中,I个像素由RGB各色的子像素构成。设I个显示像素对应于I个子像素。在图2的例子中,在显示像素阵列114中将纵横比为3 I的显示像素(子像素140、141、···)排列成矩阵形状,以使像素为正方形。各子像素分别担当R(红)、G(绿)、B (蓝)的某ー个。对于行方向,将在行方向上排列视差的数量的各子像素的像素群中显示的图像、即在与射出光瞳(光学开ロ部116)对应的子像素単位中显示的视差图像的集合称为要素图像。另外,子像素并不限于R、G、B。对于列方向,在图2的例子中,通过在列方向上排列的6个子像素的组构成要素图像。即,在通过行方向上18像素、列方向上6像素表示I个要素图像141 (在图2内附加框表示)。在图2中,在水平方向上能够进行提供18视差的立体显示,另外通过将列方向设为6像素,要素图像即立体显示用的像素变成正方形。而且,I个有效像素内的水平方向的像素的位置和开ロ控制部115对应,和射出的光线的角度有相关关系。将表示光线方向的地址称为视差地址。视差地址与I实效像素内的水平方向的像素位置对应。视差地址朝向画面的右方向増大。开ロ控制部115中的光学开ロ部116、116...与要素图像的位置对应设置。在图2的例子中,使光学开ロ部116的宽度(透镜间距)Ps和I要素图像的宽度一致。图3表示加权计算部102以及图像决定部103的概略构成。加权计算部102具备计算部300,该计算部300输入包含由人物信息取得部101取得的各人物的位置的人物信息200以及决定图像的參数群201,关于各人物计算表示立体视的良好程度的权重,输出各人物的权重以及对应的显示參数203。如果将立体视的良好程度设为权重W,则该权重W是根据人物信息200而关于与显示在立体图像显示装置10中的多视点图像(S卩,显示的像素的排列的组合)、立体图像显示装置10的硬件设计有关的显示參数群201的显示參数的每ー个而计算出的值,其值越大立体视的效果越好。权重W至少反映各人物的位置,但如何改变是任意的。例如,可以改变权 重W使得视听者与可以选择的几个视听模式对应。另外,在后通过显示參数对显示的像素的排列组合等能够控制的对象进行详细说明。在本实施方式中,计算与能够立体视的显示区域的面积、光线密度、预先指定的位置相应的权重(称为“位置权重”)。因此,需要能够通过某种手段取得各人物的位置信息。另外,在本实施方式中,除了位置权重外,还计算与各人物的属性相应的权重(称为“属性权重”)。权重W是通过合成这些位置权重的值和属性权重的值而计算的。图像决定部103具备參数选择部301,输入各人物的权重以及对应的显示參数203,选择由加权计算部102计算出的各人物的权重的总和为最大的显示參数;以及图像输出部302,输出依据由该參数选择部301选择出的显示參数的多视点图像。以下,说明本实施方式的立体图像显示装置10的更具体的构成例子。图4表示人物信息取得部101的构成。人物信息取得部101具备检测部303,输入照相机图像等204并检测各人物的位置,输出表示各人物的位置以及属性的人物信息200 ;跟踪部304,根据来自该检测部303的输出跟踪在规定时间同一人物的位置变化、即各人物的移动。在位置检测中使用的图像并不限于来自照相机的图像,例如也可以使用从雷达提供的信号。另外在位置检测中,也可以检测脸、头、人物整体、标识器等能够判定为人的任意的对象。作为各人物的属性,可以列举各人物的名字、大人和孩子的区别、视听时间、是否是遥控持有者等的信息。这些可以通过某些手段检测,或者也可以是视听者等明示输入。另外,也可以具备人物位置变换部305,关于人物信息取得部101输出的各人物的位置信息,将照相机坐标系统中的坐标值变换为实际空间坐标系中的坐标值。另外,也可以代替在人物信息取得部101中设置人物位置变换部305,而将它设置在加权计算部102中。图5表示加权计算部102的构成。加权计算部102具备计算部300,输入人物信息200和决定图像的參数群201,计算并输出各人物的权重以及对应的显示參数203。计算部300具备位置加权计算部306,根据人物位置204以及决定图像的參数群201计算位置权重;属性加权计算部307,从人物属性205计算属性权重;以及计算部308,计算所计算出的位置权重和属性权重的和或者积。而且,当设为使用某一个权重的构成的情况下,能够省略和或者积的计算。位置加权计算部306根据能够立体视的显示器的区域205、光线密度206、预先指定的位置权重207等计算位置权重。通过各个人的位置(即和立体图像显示装置10的显示画面的相对位置)和多视点图像决定能够立体视的区域205的面积。如果该面积大,则位置权重的值也变大。另外,通过距离立体图像显示装置10的显示画面的距离和视点数量决定光线密度206。如果该光线密度206密,则位置权重变大。关于预先指定的位置的权重207对稳定地进行视听的位置提供比其他位置还大的权重。位置加权计算部306计算对于能够立体视的显示器的区域205、光线密度206、预 先指定的位置的权重207等分别计算出的权重的值的和或者积并输出。另外,当设为使用其某ー个权重的结构情况下,能够省略位直权重的和或者积。另外,此外也可以追加能够表现与观看有关的权重的项。
属性加权计算部307根据视听时间或者开始顺序208、特定的 人物209、遥控器的持有者210、人物之间的位置关系211等的属性的值计算属性权重。对于视听时间或者开始顺序208,以长时间视听的人物、最先开始视听的人物优先的方式增大权重值。同样,以特定的人物209、遥控器持有者210优先的方式增加权重值。对于人物间的位置关系211,在全体人员中,在显示器的正面或者越接近的人增大权重的值。属性加权计算部307计算关于视听时间或者开始顺序208、特定的人物209、遥控器的持有者210、人物间的位置关系211等分别计算出的权重的值的和或者积并输出。另外,当设为使用某一个的权重的构成的情况下,能够省略和或者积的计算。另外,此外也可以追加能够表现与视听者的属性有关的权重的项。进而,计算部308计算从位置加权计算部306输出的位置权重的值、从属性计算部307输出的属性权重的值的和或者积。另外,除了只根据特定的人物209的信息进行參数选择的情况外,至少需要计算位置权重。另外,对于包含在决定图像的參数群201中的多个显示參数的每ー个计算各人物的权重。另外,原则上对全部的人物计算权重(只根据特定的人物209的信息进行參数选择的情况外除外)。在此,參照图6说明根据能够立体视的区域205的面积进行的权重的计算。“看得见”的图能够用用几何方式求出,并能够计算。在视域设定距离截取连结人物20和图像显示部104(显示器)的两端的每ー个的线的图案21和显示器的“看得见”一致。在该图6的例子中,图案21中的区域22是能够立体视的区域,区域23是不能立体视的区域。能够将能够立体视的区域22占图案21的全部区域的面积的比例计算为权重。例如,如果能够立体视的区域22的比例是100%,则能够立体视全部,作为最大值例如设为“I”。接着,说明根据光线密度206的权重的计算,在将视差数设为N,将光线的宽度设为2 Θ,将从显示器104到人物20的距离设为Z,将人物20的眼间距离设置为d吋,能够按照[式I]计算光线密度206的权重。[式I]
权利要求
1.一种立体图像显示装置,具备 人物信息取得部,取得包含欣赏立体影像的各人物的位置的人物信息; 加权计算部,根据上述人物信息和显示参数,对各人物计算表示在显示依据上述显示参数的多视点图像时推定的立体视的良好程度的权重; 图像决定部,选择由上述加权计算部计算出的各人物的权重的总和为最大的上述显示参数,输出依据所选择的显示参数的多视点图像;以及 图像显示部,显示从上述图像决定部输出的多视点图像。
2.根据权利要求I所述的立体图像显示装置,其特征在于, 上述加权计算部计算与在各人物的位置能够立体视的区域的面积相应的权重。
3.根据权利要求I所述的立体图像显示装置,其特征在于, 上述加权计算部关于各人物的位置计算与从上述图像显示部的各像素射出的光线的光线密度相应的权重。
4.根据权利要求I所述的立体图像显示装置,其特征在于, 上述加权计算部计算与在各人物的位置能够立体视的区域的面积相应的第I权重、与各人物的位置的光线密度相应的第2权重,并通过使用了上述第I权重和上述第2权重的运算计算出各人物的权重。
5.根据权利要求4所述的立体图像显示装置,其特征在于, 上述加权计算部通过上述第I权重和上述第2权重的和或者积而计算出上述各人物的权重。
6.根据权利要求2 4中的任意一项所述的立体图像显示装置,其特征在于, 上述人物信息取得部进一步取得识别上述各人物的识别信息, 上述加权计算部计算与上述各人物的位置以及上述识别信息相应的权重。
7.根据权利要求2 4中的任意一项所述的立体图像显示装置,其特征在于, 在上述总和不大于等于基准值的情况下,上述图像决定部输出2D图像。
8.根据权利要求I所述的立体图像显示装置,其特征在于, 上述显示参数包含使显示在上述图像显示部中的上述多视点图像的像素排列变化的参数。
9.一种立体图像显示方法,包括 取得包含欣赏立体影像的各人物的位置的人物信息; 根据上述人物信息和显示参数,对各人物计算表示显示依据上述显示参数的多视点图像时推定的立体视的良好程度的权重; 选择各人物的上述权重的总和为最大的上述显示参数,输出依据所选择的显示参数的多视点图像;以及 显示所输出的上述多视点图像。
全文摘要
根据实施方式,提供一种显示多视点图像的立体图像显示装置。在该装置中,人物信息取得部,取得包含欣赏立体影像的各人物的位置的人物信息。加权计算部,根据上述人物信息和显示参数,对各人物计算表示显示依据上述显示参数的多视点图像时推定的立体视的良好程度的权重;图像决定部,选择由上述加权计算部计算出的各人物的权重的总和为最大的上述显示参数,输出依据所选择的显示参数的多视点图像;图像显示部,显示从上述图像决定部输出的多视点图像。
文档编号G09G5/00GK102668576SQ20108002672
公开日2012年9月12日 申请日期2010年11月22日 优先权日2010年11月22日
发明者三田雄志, 下山贤一, 平井隆介, 爰岛快行, 福岛理惠子, 马场雅裕 申请人:株式会社东芝

最新回复(0)