三维图像处理装置及其控制方法
专利名称：三维图像处理装置及其控制方法
技术领域：
本发明涉及三维图像处理装置及其控制方法，尤其涉及生成用于使缩略图或字幕等对象改变与其他对象的进深间距来进行显示的图像信号的三维图像处理装置及其控制方法。
背景技术：
以往，已知有一种二维图像处理装置，该二维图像处理装置生成重叠了多个照片的缩略图等对象的图像信号。图30是表示以往的二维图像处理装置的结构的一例的框图。 二维图像处理装置300包含解码器310、第1存储器321、第2存储器322、第3存储器323、 显示位置控制部331 333和合成部350。解码器310通过解码对第1 第3对象的图像信号进行了编码的编码数据，生成第1 第3对象的图像信号。第1存储器321 第3存储器323分别存储解码器310所生成的第1 第3对象的图像信号。显示位置控制部331 333分别决定存储在第1存储器 321 第3存储器323中的第1 第3对象的显示位置。合成部350生成对显示位置控制部331 333分别决定了显示位置的第1 第3对象进行了合成的图像信号，并显示所生成的图像信号。例如，第1 第3对象分别是缩略图A C，如图31 (a)所示，假设在缩略图A和C 上重叠显示缩略图B。此时，在根据来自用户的指示输入等选择了缩略图A时，如图31(b) 所示，通过显示位置控制部331来决定缩略图A的显示位置，使得将所选择的缩略图A显示为最大。并且，合成部350如在缩略图C和B上显示缩略图A那样，在各像素中决定缩略图 A、B和C的混合率。然后，合成部350在各像素中根据混合率来进行缩略图的合成。例如， 在重叠有缩略图A、B和C的像素中，决定按照缩略图A、B、C的顺序变大的混合率。由此， 生成缩略图A显示在最前面的图像信号。另一方面，已知有一种三维图像显示装置(例如，参照专利文献1)，该三维图像显示装置显示视听者立体感受的二维图像、即三维图像。并且，近年来，具有显示这种三维图像的功能的家用电视正在实现。该三维图像显示装置通过显示相互具有视差的右眼用图像和左眼用图像，显示视听者立体感受的图像。例如，三维图像显示装置按照每1帧交替显示右眼用图像和左眼用图像。先行技术文献专利文献专利文献1日本特开2009-1M768号公报
发明内容
发明的概要发明要解决的课题
然而，当在以往的三维图像显示装置中应用在以往的二维图像处理装置300中使用的合成技术时，存在显示对于视听者来说具有不舒适感的图像的问题。使用图32对该问题进行说明。如图32(a)所示，假设在缩略图A和C上重叠显示缩略图B。在该情况下，为了立体地显示各缩略图，假设按照在左眼用图像和右眼用图像之间设置视差的方式预先进行各缩略图的显示控制。在本图中，为了出现立体感，对各缩略图附上实施了影线的阴影，该阴影的宽度越大，视差越大。以下的图也进行同样的表现。此时，在选择缩略图A时，与以往同样，决定使缩略图A显示为最大的显示位置，并且决定使缩略图A显示在最前面的混合率。由此，显示图32(b)所示的图像。在该图像中， 在重叠有缩略图A和B的像素位置，由于缩略图A的混合率比缩略图B的混合率大，所以与缩略图B的图像相比，强调显示缩略图A的图像。另一方面，缩略图A的视差比缩略图B的视差小。因此，本来应当位于后侧的缩略图B浮出到缩略图A的前面来进行显示。因此，显示出对于视听者来说具有不舒适感的图像。本发明正是为了解决上述课题而完成的，其目的在于提供一种能够生成对于视听者来说不会有不舒适感的图像的图像信号的三维图像处理装置及其控制方法。用于解决课题的手段为了达成上述目的，本发明的某个方面的三维图像处理装置生成立体视用的多个视点的图像信号，该三维图像处理装置具备混合率决定部，在各视点的图像信号的各像素位置，根据对象的各视点的图像信号间的位置偏离量即偏移，决定互相重叠显示的多个对象的每一个的图像合成时的混合率；以及合成部，在各视点的图像信号的各像素位置，根据所述混合率决定部所决定的所述混合率，合成所述多个对象的像素值，由此生成各视点的图像信号。根据该结构，根据偏移来决定混合率。因此，能够生成对于视听者来说不会有不舒适感的图像的图像信号。优选的是，所述多个视点的图像信号包含立体视用的左眼用图像信号和右眼用图像信号，所述混合率决定部在左眼用图像信号和右眼用图像信号的各像素位置，根据对象的左眼用图像和右眼用图像之间的位置偏离量即偏移，决定互相重叠显示的多个对象的每一个的图像合成时的混合率；所述合成部在所述左眼用图像信号和所述右眼用图像信号的各像素位置，根据所述混合率决定部所决定的所述混合率，合成所述多个对象的像素值，由此分别生成所述左眼用图像信号和所述右眼用图像信号。另外，优选的是，所述混合率决定部在左眼用图像信号和右眼用图像信号的各像素位置，决定互相重叠显示的多个对象的每一个的图像合成时的混合率，使得对象的左眼用图像和右眼用图像之间的位置偏离量即偏移越大该混合率越大。根据该结构，使对象的偏移和混合率联动，在偏移大的情况下，进行增大混合率的控制。因此，能够生成对于视听者来说不会有不舒适感的图像的图像信号。优选的是，所述混合率决定部在所述左眼用图像信号和所述右眼用图像信号的各像素位置，将互相重叠显示的多个对象中的偏移最大的对象的混合率决定为100%、将其他对象的混合率决定为0%。根据该结构，进行只显示偏移最大的对象的控制。因此，能够生成对于视听者来说不会有不舒适感的图像的图像信号。
5
另外，优选的是，所述三维图像处理装置还具备偏移控制部，该偏移控制部根据进行三维显示时的进深来决定所述多个对象的每一个的所述偏移，所述混合率决定部根据所述偏移控制部所决定的所述偏移来决定所述混合率。另外，优选的是，所述偏移控制部决定所述多个对象的每一个的所述偏移，使得在进行三维显示时，越是显示在前面的对象，所述偏移越大。根据该结构，能够根据多个对象的前后位置关系来决定各对象的偏移和混合率。另外，优选的是，所述偏移控制部具有选择输入接受部，该选择输入接受部接受对象的选择输入，所述偏移控制部决定所述接受到的对象的偏移，使得所述选择输入接受部所接受的对象的偏移最大。根据该结构，能够使所选择的对象显示在最前面。另外，优选的是，所述偏移控制部在进行三维显示时，在第1对象从第2对象的里侧迁移到前面进行显示的情况下，分阶段地将所述第1对象的所述偏移变大。根据该结构，能够向视听者提供将所选择的对象渐渐显示在前面这样的视觉效
果ο另外，优选的是，所述三维图像处理装置还具备限制部，该限制部在对象的显示区域存在于所述左眼用图像信号或所述右眼用图像信号的可显示区域外的情况下，将所述对象的显示区域限制在所述可显示的区域内。另外，优选的是，所述限制部在对象的显示区域存在于所述左眼用图像信号和所述右眼用图像信号中的一方的图像信号的可显示区域外的情况下，在所述一方的图像信号上，使所述对象的显示区域移动到所述一方的图像信号的可显示区域内，并且在另一方的图像信号上，将所述对象的显示区域向与在所述一方的图像信号上移动的方向相反的方向移动与在所述一方的图像信号上移动的量相同的移动量。根据该结构，由于左眼用图像信号和右眼用图像信号之间的视差变小，所以对象之间的前后位置关系有可能混乱，但能够显示对象的整体，能够生成在进行三维显示时对于视听者来说不会有不舒适感的图像的图像信号。并且，所述限制部可以在对象的显示区域存在于所述左眼用图像信号或所述右眼用图像信号的可显示区域外的情况下，将所述可显示区域外的所述对象的区域从所述左眼用图像信号和所述右眼用图像信号中删除。根据该结构，在进行三维显示时删除缩略图的一部分来进行显示，但能够使缩略图之间的前后位置关系不混乱地显示缩略图，能够生成在进行三维显示时对于视听者来说不会有不舒适感的图像的图像信号。另外，优选的是，所述多个对象包含具有多个偏移的动态图像对象，在所述动态图像对象的偏移比在进行三维显示时显示在所述动态图像对象的前面的对象的偏移大的情况下，将所述动态图像对象的偏移更新为显示在所述前面的对象的偏移。根据该结构，不会将背面对象的一部分区域显示在前面对象的前面，能够生成对于视听者来说不会有不舒适感的图像的图像信号。另外，本发明不仅能够实现为具备这种特征性的处理部的三维图像处理装置，还能够实现为将三维图像处理装置所包含的特征性的处理部设为步骤的三维图像处理装置的控制方法。并且，还能够实现为使计算机执行三维图像处理装置的控制方法所包含的特征性的步骤的程序。并且，该程序当然能够经由CD-ROM (Compact Disc-Read Only Memory) 等计算机能够读取的记录介质和互联网等通信网络来进行流通。另外，本发明能够实现为实现这种三维图像处理装置的功能的一部分或全部的半导体集成电路(LSI)，或者能够实现为具备这种三维图像处理装置的数字电视机等三维图像显示装置，或者能够实现为包含这种三维图像显示装置的三维图像显示系统。发明效果根据本发明，能够提供一种能够生成对于视听者来说不会有不舒适感的图像的图像信号的三维图像处理装置及其控制方法。
图1是表示本发明的实施方式1所涉及的三维图像显示系统的结构的框图。图2A是表示包含左眼用图像和右眼用图像的图像数据的输出三维图像数据的一例的图。图2B是表示包含左眼用图像和右眼用图像的图像数据的输出三维图像数据的另一例的图。图3是表示左眼用图像和右眼用图像的一例的图。图4是表示本发明的实施方式1所涉及的三维图像处理装置的结构的框图。图5是表示偏移控制部的结构的框图。图6是表示混合率决定部的进一步详细结构的框图。图7是表示缩略图的偏移和显示位置的迁移的图。图8是偏移控制部在图7所示的迁移时执行的处理的时间图。图9是表示缩略图的偏移和显示位置的迁移的图。图10是偏移控制部在图9所示的迁移时执行的处理的时间图。图11是表示缩略图的偏移和显示位置的迁移的图。图12是偏移控制部在图11所示的迁移时执行的处理的时间图。图13是表示显示在显示面板上的图像的一例的图。图14是混合率控制部执行的处理的时间图。图15是L/R混合率合成部的L混合率生成部执行的处理的时间图。图16是表示缩略图的偏移和显示位置的迁移的图。图17是表示本发明的实施方式1的变形例所涉及的混合率决定部的结构的框图。图18是前后信息生成部执行的处理的时间图。图19是表示本发明的实施方式2所涉及的三维图像处理装置的结构的框图。图20是表示三维显示的缩略图的显示位置的变化的图。图21是L显示位置限制控制部和R显示位置限制控制部执行的处理的时间图。图22是偏移减法控制部执行的处理的时间图。图23是表示三维显示的缩略图的显示位置的变化的图。图M是本发明的实施方式2的变形例所涉及的L显示位置限制控制部和R显示位置限制控制部执行的处理的时间图。图25是表示本发明的实施方式3所涉及的三维图像显示系统的结构的框图。
图沈是表示本发明的实施方式3所涉及的三维图像处理装置的结构的框图。图27是表示字幕的图形偏移比视频偏移大的情况下的输出三维图像数据的一例的图。图观是表示字幕数据的图形偏移比视频偏移小的区域的图。图四是表示字幕的图形偏移比视频偏移小的情况下的输出三维图像数据的一例的图。图30是表示以往的二维图像处理装置的结构的一例的框图。图31是表示缩略图的显示位置的迁移的图。图32是用于说明以往的课题的图。
具体实施例方式以下，参照附图对本发明所涉及的三维图像处理装置的实施方式进行详细说明。(实施方式1)本发明的实施方式1所涉及的三维图像处理装置在重叠显示多个以照片的缩略图为代表的对象的情况下，生成对于视听者来说没有不舒适感的立体视用的图像信号。首先，对包含本发明的实施方式1所涉及的三维图像处理装置的三维图像显示系统的结构进行说明。图1是表示本发明的实施方式1所涉及的三维图像显示系统的结构的框图。图1所示的三维图像显示系统11包含缩略图显示装置15和快门眼镜43。缩略图显示装置15根据记录在BD (蓝光盘)等光盘41中的照片数据等二维图像数据或三维图像数据生成缩略图，并转换为能够进行三维显示的形式，显示变换后的三维图像数据。缩略图显示装置15具备输入部31、三维图像处理装置100、显示面板沈和发射机 27。输入部31取得记录在光盘41中的编码二维图像数据50。编码二维图像数据50 是对照片数据进行了编码的数据。另外，所编码的数据不限于照片数据，也可以是影像数据等其他数据。三维图像处理装置100通过将输入部31所取得的编码二维图像数据50包含的照片数据的缩略图变换为能够进行三维显示的形式，生成输出三维图像数据58，并将该输出三维图像数据58输出。显示面板沈对三维图像处理装置100所输出的输出三维图像数据58进行显示。如图2A所示，输出三维图像数据58包含左眼用图像58L和右眼用图像58R的图像数据。以下，在称作左眼用图像58L的情况下，也适当表示左眼用图像58L的图像数据。 右眼用图像58R也同样。三维图像处理装置100生成交替配置有只包含左眼用图像58L的帧和只包含右眼用图像58R的帧的输出三维图像数据58。该输出三维图像数据58例如是 60p (帧频是60fps (frames per second)的累进方式)的图像数据。发射机27使用无线通信来控制快门眼镜43。快门眼镜43例如是视听者配戴的液晶快门眼镜，具备左眼用液晶快门和右眼用液晶快门。发射机27按照左眼用图像58L和右眼用图像58R的显示定时来控制左眼用液
8晶快门和右眼用液晶快门的开闭。具体来讲，在显示左眼用图像58L的期间，发射机27打开快门眼镜43的左眼用液晶快门，并且关闭右眼用液晶快门。并且，在显示右眼用图像58R 的期间，发射机27关闭快门眼镜43的左眼用液晶快门，并且打开右眼用液晶快门。通过这种显示定时和快门开闭定时的控制，分别选择性地向视听者的左眼入射左眼用图像58L的图像，向右眼入射右眼用图像58R的图像。另外，选择性地向视听者的左眼和右眼入射左眼用图像58L和右眼用图像58R的方法不限于该方法，也可以使用其以外的方法。例如，如图2B所示，输出三维图像数据58可以在各帧内呈棋盘状配置左眼用图像 58L和右眼用图像58R。在该情况下，通过在显示面板沈上配备形成在左眼用的像素上的左眼用偏光膜和形成在右眼用的像素上的右眼用偏光膜，对左眼用图像58L和右眼用图像 58R施加不同的偏光(直线偏光和圆偏光)。另外，也可以代替快门眼镜43，通过使用具备分别与上述偏光对应的左眼用和右眼用的偏光膜的偏光眼镜，使左眼用图像58L和右眼用图像58R入射到视听者的左眼和右眼。图3是表示左眼用图像58L和右眼用图像58R的一例的图。如图3所示，左眼用图像58L和右眼用图像58R所包含的对象具有与对象距摄影位置的距离对应的视差。以下，将该视差称为“偏移”。在进行三维显示时，偏移越大，对象越显示在前面(靠近视听者的位置)，偏移越小，对象越显示在后面(远离视听者的位置)。接着，对三维图像处理装置100的结构进行说明。图4是表示三维图像处理装置100的结构的框图。如图4所示，三维图像处理装置100包含解码器110、存储部120、显示位置控制部 130、偏移控制部140、混合率决定部150、合成部160、L/R切换控制部170以及选择器180。解码器110通过对输入部31所取得的编码二维图像数据50进行解码，生成多个照片数据。存储部120存储解码器110所生成的多个照片数据。显示位置控制部130对应于照片数据而设置，决定照片数据的显示位置。偏移控制部140根据多个照片数据的前后位置关系，决定各照片数据的偏移。前后位置关系是重叠显示了多个照片时的位置关系。混合率决定部150根据显示位置控制部130所决定的各照片数据的显示位置和偏移控制部140所决定的各照片数据的偏移，决定各照片数据的混合率。合成部160根据混合率决定部150所决定的混合率来合成多个照片数据的像素值，由此生成左眼用图像58L和右眼用图像58R，并输出所生成的左眼用图像58L和右眼用图像58R。选择器180根据来自L/R切换控制部170的控制信号，选择合成部160所输出的左眼用图像58L和右眼用图像58R中的任意一方，并输出所选择的图像。L/R切换控制部170生成控制信号，使得从选择器180中按照60p交替输出左眼用图像58L和右眼用图像58R，并将该控制信号输出给选择器180。通过L/R切换控制部170 和选择器180的处理，从选择器180中生成交替配置有左眼用图像58L和右眼用图像58R 的输出三维图像数据58。该输出三维图像数据58是60p的图像数据。接着，对存储部120的详细结构进行说明。
如图4所示，存储部120包含第1存储器121、第2存储器122和第3存储器123。 第1存储器121 第3存储器123分别逐一存储解码器110所解码的照片数据。另外，这些存储器准备与照片数据的张数对应的数量。在本实施方式中，假设照片数据具有3个来进行说明。接着，对显示位置控制部130的详细结构进行说明。如图4所示，显示位置控制部130设置与照片数据的张数相同的数量，包含L显示位置控制部132L和R显示位置控制部132R。另外，为了图示方便，图4图示了 2个显示位置控制部130。以下，对连接在第1存储器121上的显示位置控制部130进行说明，但连接在第2存储器122或第3存储器123上的显示位置控制部130也执行同样的处理。因此， 不重复其详细说明。L显示位置控制部132L根据存储在第1存储器121中的照片数据，通过缩小该照片数据生成缩略图，根据偏移控制部140所决定的偏移，决定左眼用图像58L中所生成的缩略图的显示位置。R显示位置控制部132R根据存储在第1存储器121中的照片数据，通过缩小该照片数据生成缩略图，根据偏移控制部140所决定的偏移，决定右眼用图像58R中所生成的缩略图的显示位置。接着，对混合率决定部150的详细结构进行说明。图4所示的混合率决定部150包含多个L/R混合率合成部152和混合率控制部 156。混合率控制部156根据偏移控制部140所决定的各缩略图的偏移，决定缩略图的合成顺序。所谓合成顺序是指在进行三维显示时越显示在靠前(视听者附近)越上位、越显示在视听者的远处越下位。L/R混合率合成部152与显示位置控制部130 —对一地对应设置。L/R混合率合成部152根据L显示位置控制部132L和R显示位置控制部132R所决定的缩略图的显示位置、以及混合率控制部156所决定的缩略图的合成顺序，决定左眼用图像58L和右眼用图像 58R各自的各像素位置的缩略图的混合率。接着，对合成部160的详细结构进行说明。合成部160包含L合成部162L和R合成部162R。L合成部162L在左眼用图像58L的各像素位置，根据由多个L/R混合率合成部152 分别求出的多个缩略图的混合率，合成多个缩略图的像素值，由此生成左眼用图像58L。L 合成部162L将所生成的左眼用图像58L输出给选择器180。R合成部162R在右眼用图像58R的各像素位置，根据由多个L/R混合率合成部152 分别求出的多个缩略图的混合率，合成多个缩略图的像素值，由此生成右眼用图像58R。R 合成部162R将所生成的右眼用图像58R输出给选择器180。接着，对偏移控制部140的详细结构进行说明。图5是表示偏移控制部140的结构的框图。偏移控制部140包含偏移存储部141、选择输入接受部142、前后位置关系控制部 143、偏移加法控制部144和偏移输出部145。偏移存储部141存储预先设定的固定偏移1 N。
选择输入接受部142从视听者接受缩略图的选择输入。例如，在使用遥控器或键盘等输入设备选择了缩略图的情况下，接受所选择的缩略图的标识符作为缩略图的选择输入。前后位置关系控制部143根据按照每个缩略图预先设定的前后位置关系，选择存储在偏移存储部141中的固定偏移。并且，前后位置关系控制部143在通过选择输入接受部142接受到缩略图的标识符的情况下，通过将由所接受的标识符确定的缩略图的前后位置移动到最前面，变更各缩略图的前后位置关系。在前后位置关系变更后，前后位置关系控制部143再次选择存储在偏移存储部141中的固定偏移。偏移加法控制部144在前后位置关系控制部143中产生了使值增加的偏移变更的情况下，从前后位置关系控制部143接受变更前的偏移和变更后的偏移，按照预定定时在变更前的偏移上累加预定值，直到成为变更后的偏移为止。偏移输出部145将前后位置关系控制部143所选择的偏移或者由偏移加法控制部144累加后的偏移输出给L显示位置控制部132L、R显示位置控制部132R以及混合率控制部156。接着，对混合率决定部150的详细结构进行说明。图6是表示混合率决定部150的进一步详细结构的框图。混合率决定部150包含 L/R混合率合成部152和混合率控制部156。在图6中，为了图示方便，只记载了 1个L/R 混合率合成部152，但如使用图4说明的那样，实际上存在与显示位置控制部130对应的数量。混合率控制部156包含比较控制部157和合成顺序生成部158。比较控制部157比较偏移控制部140所决定的各缩略图的偏移，决定偏移的大小关系。合成顺序生成部158根据比较控制部157所决定的偏移的大小关系，生成缩略图的合成顺序。即，偏移值越大，合成顺序生成部158越将合成顺序设为上位。所谓合成顺序是指合成多个缩略图的像素值时的混合率的顺序，在L/R混合率合成部152中进行合成顺序越高使混合率越高的控制。L/R混合率合成部152包含混合率存储部153、L混合率生成部154L和R混合率生成部154R。混合率存储部153存储预先设定的固定混合率1 M。这里，假设固定混合率j(j =1 Μ)在j的值越小的情况下越大。L混合率生成部154L根据L显示位置控制部132L所决定的左眼用图像58L中的缩略图的显示位置和合成顺序生成部158所决定的缩略图的合成顺序，在左眼用图像58L 的各像素位置，选择存储在混合率存储部153中的固定混合率。即，L混合率生成部154L 在重叠了多个缩略图的像素位置，合成顺序生成部158所决定的缩略图的合成顺序越高， 从存储在混合率存储部153中的固定混合率中选择越大值的固定混合率。L混合率生成部 154L将所选择的固定混合率输出给L合成部162L。同样，L混合率生成部154L根据R显示位置控制部13 所决定的右眼用图像58R 中的缩略图的显示位置和合成顺序生成部158所决定的缩略图的合成顺序，在右眼用图像 58R的各像素位置，选择存储在混合率存储部153中的固定混合率。即，R混合率生成部 154R在重叠了多个缩略图的像素位置，合成顺序生成部158所决定的缩略图的合成顺序越高，从存储在混合率存储部153中的固定混合率中选择越大值的固定混合率。R混合率生成部154R将所选择的固定混合率输出给R合成部162R。接着，对各处理部的处理进行详细说明。在以下的说明中，假设在第1存储器121至第3存储器123中存储了 3张照片数据，将这3张照片数据的缩略图叫作缩略图A、B和C。首先，对偏移控制部140执行的3个处理(偏移控制部140进行的第1处理 第 3处理)进行详细说明。(偏移控制部140进行的第1处理)图7是表示缩略图的偏移和显示位置的迁移的图。并且，图8是偏移控制部140 在图7所示的迁移时执行的处理的时间图。如图7(a)所示，假设从最前面开始按照缩略图B、A、C的顺序预先设定缩略图A C的前后位置关系(合成顺序)。因此，前后位置关系控制部143从偏移存储部141中选择偏移，使其按照缩略图B、A、C的顺序变大。例如，如图8所示，假设L/R切换控制部170根据垂直同步信号，按照每一垂直同步期间，切换L控制信号(图中记载为“L”)或R控制信号(图中记载为“R”)。在L控制信号的输出定时，从选择器180输出L合成部162L所生成的左眼用图像58L，在R控制信号的输出定时，从选择器180输出R合成部162R所生成的右眼用图像58R。并且，前后位置关系控制部143例如选择了固定偏移1 (例如，大小30) 作为缩略图A的偏移(图中记载为“前后位置关系控制”)。于是，偏移输出部145将前后位置关系控制部143选择的固定偏移1输出给L显示位置控制部132L、R显示位置控制部 132R和混合率控制部156(图中记载为“偏移_A”)。接着，在选择输入接受部142中假设从视听者接受到缩略图A的选择输入。在该情况下，前后位置关系控制部143进行偏移的重新选择，使得所选择的缩略图A的偏移最大。 即，前后位置关系控制部143进行偏移的重新选择，使得偏移的大小为缩略图A、B、C的顺序。例如，如图8所示，前后位置关系控制部143代替固定偏移1，重新选择值比固定偏移 1大的固定偏移2 (例如，大小44)。由此，变更按照缩略图B、A、C的顺序设定的合成顺序， 使得缩略图A第1。即，如图7(b)所示，按照缩略图A、B、C的顺序变更合成顺序。并且，偏移输出部145将前后位置关系控制部143重新选择的固定偏移2输出给L显示位置控制部 132L、R显示位置控制部132R和混合率控制部156。根据图7和图8所示的偏移控制部140进行的第1处理，视听者在进行缩略图的选择时，能够将所选择的缩略图的偏移变为最大。因此，能够使三维显示时的不舒适感消失。 并且，能够将所选择的缩略图立即显示在前面。并且，L显示位置控制部132L进行缩略图A的左眼用图像58L中的显示位置控制， 使得与固定偏移1的情况相比，固定偏移2的情况下缩略图A显示较大。同样，R显示位置控制部132R进行缩略图A的右眼用图像58R中的显示位置控制，使得与固定偏移1的情况相比，固定偏移2的情况下缩略图A显示较大。(偏移控制部140进行的第2处理)在偏移控制部140进行的第1处理中，在进行缩略图的选择输入时，也立即进行了偏移的切换。偏移控制部140也可以代替第1处理而执行以下说明的第2处理。在第2处理中，在进行缩略图的选择输入时，不立即切换偏移，而是渐渐进行切换。
12
图9是表示缩略图的偏移和显示位置的迁移的图。并且，图10是偏移控制部140 在图9所示的迁移时执行的处理的时间图。如图9 (a)所示，假设从最前面开始按照缩略图B、A、C的顺序预先设定缩略图A C的合成顺序。因此，前后位置关系控制部143从偏移存储部141中选择偏移，使其按照缩略图B、A、C的顺序变大。例如，如图10所示，假设L/R切换控制部170根据垂直同步信号， 按照每一垂直同步期间，切换L控制信号(图中记载为“L”)或R控制信号(图中记载为 “R”)。并且，前后位置关系控制部143例如选择了固定偏移1(例如，大小30)作为缩略图 A的偏移(图中记载为“前后位置关系控制”)。于是，偏移输出部145将前后位置关系控制部143选择的固定偏移1输出给L显示位置控制部132L、R显示位置控制部132R和混合率控制部156 (图中记载为“偏移_A” )。接着，在选择输入接受部142中假设从视听者接受到缩略图A的选择输入。在该情况下，前后位置关系控制部143进行偏移的重新选择，使得所选择的缩略图A的偏移最大。 即，前后位置关系控制部143进行偏移的重新选择，使得偏移的大小为缩略图A、B、C的顺序。例如，如图10所示，前后位置关系控制部143代替固定偏移1，重新选择值比固定偏移 1大的固定偏移2 (例如，大小44)。偏移加法控制部144按照每两个垂直同步期间，在选择前的固定偏移1上累加预定值，直到成为在前后位置关系控制部143中重新选择的固定偏移2为止。例如，如图10 所示，前后位置关系控制部143按照每两个垂直同步期间，在固定偏移1(大小30)上累加预定值2，直到成为固定偏移2 (大小44)为止。其结果，按照30、32、34、36、38、40、42、44的顺序来更新偏移。图9(b)和图9(c)示出偏移从30迁移到44的途中的缩略图，示出了缩略图A的面积渐渐变大，并且偏移渐渐变大。并且，示出了缩略图A的合成顺序渐渐提高。如图10所示，缩略图A的偏移最终变成固定偏移2 (44)。伴随于此，如图9(d)所示，缩略图A的合成顺序为第1。根据图9和图10所示的偏移控制部140进行的第2处理，视听者在进行缩略图的选择时，能够将所选择的缩略图的偏移设为最大。因此，能够使三维显示时的不舒适感消失。并且，能够向视听者提供将所选择的缩略图渐渐显示在前面这样的视觉效果。(偏移控制部140进行的第3处理)在偏移控制部140进行的第1处理中，在进行缩略图的选择输入时，进行了偏移的切换。偏移控制部140也可以代替第1处理而执行以下说明的第3处理。第3处理在进行缩略图的选择输入时，进行偏移的切换，这一点与第1处理相同。但是，在第3处理中，将选择输入的缩略图用的偏移存储在偏移存储部141中，在选择输入时，选择该偏移，这一点与第1处理不同。图11是表示缩略图的偏移和显示位置的迁移的图。并且，图12是偏移控制部140 在图11所示的迁移时执行的处理的时间图。例如，预先分别对缩略图A、B和C分配固定偏移1、2和3。并且，假设固定偏移1、 2和3的大小分别为40、60和20。此时，如图11(a)所示，在选择输入接受部142中，假设接受到缩略图A的选择输入(图12的“选择信息提取”)。于是，如图12所示，前后位置关系控制部143从偏移存储部141中选择固定偏移m (例如，大小140)作为缩略图A的偏移 (图12的“偏移_々”)。在以下的说明中，假设固定偏移Ni、N2和N3是选择输入的缩略图用的偏移。并且，固定偏移Ni、N2和N3是比通常的偏移(固定偏移1、2、3)大的值。如图11(b)所示，在没有来自选择输入接受部142的选择输入的情况下，如图12 所示，前后位置关系控制部143分别对缩略图A、B和C分配固定偏移1、2和3。如图11 (c)所示，在选择输入接受部142中，假设接受到缩略图C的选择输入。于是，如图12所示，前后位置关系控制部143从偏移存储部141中选择固定偏移N3(例如，大小120)作为缩略图C的偏移(图12的“偏移_(”)。另外，如图11(d)所示，在选择输入接受部142中，假设接受到缩略图B的选择输入。于是，如图12所示，前后位置关系控制部143从偏移存储部141中选择固定偏移N2 (例如，大小160)作为缩略图B的偏移(图12的“偏移_8”)。根据图11和图12所示的偏移控制部140进行的第3处理，视听者在进行缩略图的选择时，能够将所选择的缩略图的偏移设为最大。因此，能够使三维显示时的不舒适感消失。另外，偏移控制部140进行的第1处理 第3处理可以组合。例如，偏移控制部 140可以执行对第2处理和第3处理进行了组合的处理。(混合率决定部150进行的处理)接着，对混合率决定部150执行的处理进行详细说明。首先，参照图13和图14对混合率控制部156执行的处理进行说明。图13是表示显示在显示面板沈上的图像的一例的图。在某1个水平同步期间， 进行扫描线1301上的图像显示。图14是混合率控制部156执行的处理的时间图。“水平显示”是在扫描线1301上从左到右扫描时的水平扫描信号，High时表示有效期间，Low时表示消隐期间。“缩略图_々”表示在High区间描绘缩略图A，在Low区间不描绘缩略图A。同样， “缩略图_B”表示在High区间描绘缩略图B，在Low区间不描绘缩略图B。并且，“缩略图_ C”表示在High区间描绘缩略图C，在Low区间不描绘缩略图C。“比较控制”表示在比较控制部157中具有成为比较对象的偏移的缩略图。即，当在扫描线1301上从左开始扫描时，最初不存在成为比较对象的偏移，只显示缩略图C，所以只有缩略图C的偏移成为比较对象。接着，由于重叠显示缩略图A和C，所以缩略图A和C 的偏移成为比较对象。接着，由于重叠显示缩略图A C，所以缩略图A C的偏移成为比较对象。然后，由于重叠显示缩略图A和B，所以缩略图A和B的偏移成为比较对象。接着， 由于只显示缩略图B，所以只有缩略图B的偏移成为比较对象。最后，由于不显示任何缩略图，所以没有比较对象。比较控制部157在这些成为比较对象的偏移内，决定偏移的大小关系。合成顺序生成部158根据比较控制部157所决定的偏移的大小关系，决定缩略图的合成顺序，使得偏移的值越大合成顺序越上位。图14的“合成顺序生成”表示合成顺序的结果。合成顺序生成1表示合成顺序第1的缩略图，合成顺序生成2表示合成顺序第2的缩略图，合成顺序生成3表示合成顺序第3的缩略图。S卩，首先，从对任何缩略图都没附加合成顺序的状态开始，设缩略图C的合成顺序第1。然后，合成顺序按照缩略图A、C的顺序变更。然后，合成顺序按照缩略图B、A、C的顺序变更。接着，合成顺序按照缩略图B、A的顺序变更。接着，合成顺序按照缩略图B的顺序变更。最后，迁移到对任何缩略图都没附加合成顺序的状态。接着，对L/R混合率合成部152执行的处理进行说明。图15是L/R混合率合成部152的L混合率生成部154L执行的处理的时间图。该图与图14的时间图同样，表示显示图13所示的扫描线1301上的图像时的时间图。以下， 对L混合率生成部154L的处理进行说明，但R混合率生成部154R的处理也同样。因此，不重复其详细说明。图15的水平显示和合成顺序生成与图14所示的水平显示和合成顺序生成相同。 因此，不重复其详细说明。图15的“L混合率生成”表示L混合率生成部154L所生成的缩略图A C的混合率。L混合率生成部154L在扫描线1301上的各像素位置，从合成顺序生成部158接收合成顺序，从混合率存储部153选择固定混合率1，并将固定混合率1分配给合成顺序第1的缩略图。同样，L混合率生成部154L从混合率存储部153选择固定混合率2，并将固定混合率 2分配给合成顺序第2的缩略图。另外，L混合率生成部154L从混合率存储部153选择固定混合率3，并将固定混合率3分配给合成顺序第3的缩略图。如图15所示，首先，当从没附加合成顺序的状态开始将缩略图C的合成顺序设为第1时，向缩略图C分配固定混合率1。接着，当按照缩略图A、C的顺序来变更合成顺序时， 分别向缩略图A、C分配固定混合率1、2。接着，当按照缩略图B、A、C的顺序来变更合成顺序时，分别向缩略图B、A、C分配固定混合率1、2、3。接着，当按照缩略图B、A的顺序来变更合成顺序时，分别向缩略图B、A分配固定混合率1、2。另外，当按照缩略图B的顺序来变更合成顺序时，向缩略图B分配固定混合率1。最终，当迁移到没有附加合成顺序的状态时，不向任何缩略图分配固定混合率。在L合成部162L中，按照每个像素，根据L混合率生成部154L所决定的混合率合成缩略图的像素值，生成左眼用图像58L。例如，将η张缩略图Si(i = 1 η)的混合率设为Bi(i = i η)。并且，在将像素位置(χ，y)的缩略图Si的像素值设为Si (X，y)时，该像素位置处的合成后的图像SS的像素值SS(x，y)根据下式(1)算出。另外，R合成部162R 也同样进行缩略图的像素值的合成，生成右眼用图像58R。算式1
权利要求
1.一种三维图像处理装置，其生成立体视用的多个视点的图像信号，该三维图像处理装置具备混合率决定部，在各视点的图像信号的各像素位置，根据对象的各视点的图像信号间的位置偏离量即偏移，决定互相重叠显示的多个对象的每一个的图像合成时的混合率；以及合成部，在各视点的图像信号的各像素位置，根据所述混合率决定部所决定的所述混合率，合成所述多个对象的像素值，由此生成各视点的图像信号。
2.根据权利要求1所述的三维图像处理装置，其中，所述多个视点的图像信号包含立体视用的左眼用图像信号和右眼用图像信号，所述混合率决定部在左眼用图像信号和右眼用图像信号的各像素位置，根据对象的左眼用图像和右眼用图像之间的位置偏离量即偏移，决定互相重叠显示的多个对象的每一个的图像合成时的混合率；所述合成部在所述左眼用图像信号和所述右眼用图像信号的各像素位置，根据所述混合率决定部所决定的所述混合率，合成所述多个对象的像素值，由此分别生成所述左眼用图像信号和所述右眼用图像信号。
3.根据权利要求2所述的三维图像处理装置，其中，所述混合率决定部在左眼用图像信号和右眼用图像信号的各像素位置，决定互相重叠显示的多个对象的每一个的图像合成时的混合率，使得对象的左眼用图像和右眼用图像之间的位置偏离量即偏移越大该混合率越大。
4.根据权利要求3所述的三维图像处理装置，其中，所述混合率决定部在所述左眼用图像信号和所述右眼用图像信号的各像素位置，将互相重叠显示的所述多个对象中的偏移最大的对象的混合率决定为100%、将其他对象的混合率决定为0%。
5.根据权利要求4所述的三维图像处理装置，其中，所述多个对象包含字幕的对象。
6.根据权利要求3 5中的任意一项所述的三维图像处理装置，其中，所述三维图像处理装置还具备偏移控制部，该偏移控制部根据进行三维显示时的进深来决定所述多个对象的每一个的所述偏移，所述混合率决定部根据所述偏移控制部所决定的所述偏移来决定所述混合率。
7.根据权利要求6所述的三维图像处理装置，其中，所述偏移控制部决定所述多个对象的每一个的所述偏移，使得在进行三维显示时，越是显示在前面的对象，所述偏移越大。
8.根据权利要求7所述的三维图像处理装置，其中，所述偏移控制部具有选择输入接受部，该选择输入接受部接受对象的选择输入，所述偏移控制部决定接受到的所述对象的偏移，使得所述选择输入接受部所接受的对象的偏移最大。
9.根据权利要求7或8所述的三维图像处理装置，其中，所述偏移控制部在进行三维显示时，在第1对象从第2对象的里侧迁移到前面进行显示的情况下，分阶段地将所述第1对象的所述偏移变大。
10.根据权利要求3 9中的任意一项所述的三维图像处理装置，其中，所述三维图像处理装置还具备限制部，该限制部在对象的显示区域存在于所述左眼用图像信号或所述右眼用图像信号的可显示区域外的情况下，将所述对象的显示区域限制在所述可显示区域内。
11.根据权利要求10所述的三维图像处理装置，其中，所述限制部在对象的显示区域存在于所述左眼用图像信号和所述右眼用图像信号中的一方的图像信号的可显示区域外的情况下，在所述一方的图像信号上，使所述对象的显示区域移动到所述一方的图像信号的可显示区域内，并且在另一方的图像信号上，将所述对象的显示区域向与在所述一方的图像信号上移动的方向相反的方向移动与在所述一方的图像信号上移动的量相同的移动量。
12.根据权利要求11所述的三维图像处理装置，其中，所述限制部进一步将移动了显示区域的所述对象的偏移更新为比现在的值小的值。
13.根据权利要求10所述的三维图像处理装置，其中，所述限制部在对象的显示区域存在于所述左眼用图像信号或所述右眼用图像信号的可显示区域外的情况下，将所述可显示区域外的所述对象的区域从所述左眼用图像信号和所述右眼用图像信号中删除。
14.根据权利要求3 13中的任意一项所述的三维图像处理装置，其中，所述多个对象包含具有多个所述偏移的动态图像的对象，在所述动态图像的对象的偏移比在进行三维显示时显示在所述动态图像的对象的前面的对象的偏移大的情况下，将所述动态图像对象的偏移更新为显示在所述前面的对象的偏移。
15.一种三维图像处理装置的控制方法，该三维图像处理装置生成立体视用的左眼用图像信号和右眼用图像信号，所述控制方法包含如下步骤混合率决定步骤，在该步骤中，混合率决定部在左眼用图像信号和右眼用图像信号的各像素位置多个对象被重叠显示的情况下，决定重叠显示的所述多个对象的每一个的图像合成时的混合率，使得对象的左眼用图像和右眼用图像之间的位置偏离量即偏移越大该混合率越大；以及合成步骤，在该步骤中，合成部在所述左眼用图像信号和所述右眼用图像信号的各像素位置，根据所述混合率决定步骤所决定的所述混合率，合成所述多个对象的像素值，由此分别生成所述左眼用图像信号和所述右眼用图像信号。
全文摘要
生成立体视用的左眼用图像信号和右眼用图像信号的三维图像处理装置(100)具备混合率决定部(150)，在左眼用图像信号和右眼用图像信号的各像素位置，决定互相重叠显示的多个对象的每一个的图像合成时的混合率，使得对象的左眼用图像和右眼用图像之间的位置偏离量即偏移越大该混合率越大；合成部(160)，在左眼用图像信号和右眼用图像信号的各像素位置，根据混合率决定部(150)所决定的混合率，合成多个对象的像素值，由此分别生成左眼用图像信号和右眼用图像信号。
文档编号G09G5/14GK102293002SQ201080005149
公开日2011年12月21日 申请日期2010年8月11日 优先权日2009年9月25日
发明者北岛修孝, 山名章文, 桥本勉, 西山淳 申请人:松下电器产业株式会社
技术领域：
本发明涉及三维图像处理装置及其控制方法，尤其涉及生成用于使缩略图或字幕等对象改变与其他对象的进深间距来进行显示的图像信号的三维图像处理装置及其控制方法。
背景技术：
以往，已知有一种二维图像处理装置，该二维图像处理装置生成重叠了多个照片的缩略图等对象的图像信号。图30是表示以往的二维图像处理装置的结构的一例的框图。 二维图像处理装置300包含解码器310、第1存储器321、第2存储器322、第3存储器323、 显示位置控制部331 333和合成部350。解码器310通过解码对第1 第3对象的图像信号进行了编码的编码数据，生成第1 第3对象的图像信号。第1存储器321 第3存储器323分别存储解码器310所生成的第1 第3对象的图像信号。显示位置控制部331 333分别决定存储在第1存储器 321 第3存储器323中的第1 第3对象的显示位置。合成部350生成对显示位置控制部331 333分别决定了显示位置的第1 第3对象进行了合成的图像信号，并显示所生成的图像信号。例如，第1 第3对象分别是缩略图A C，如图31 (a)所示，假设在缩略图A和C 上重叠显示缩略图B。此时，在根据来自用户的指示输入等选择了缩略图A时，如图31(b) 所示，通过显示位置控制部331来决定缩略图A的显示位置，使得将所选择的缩略图A显示为最大。并且，合成部350如在缩略图C和B上显示缩略图A那样，在各像素中决定缩略图 A、B和C的混合率。然后，合成部350在各像素中根据混合率来进行缩略图的合成。例如， 在重叠有缩略图A、B和C的像素中，决定按照缩略图A、B、C的顺序变大的混合率。由此， 生成缩略图A显示在最前面的图像信号。另一方面，已知有一种三维图像显示装置(例如，参照专利文献1)，该三维图像显示装置显示视听者立体感受的二维图像、即三维图像。并且，近年来，具有显示这种三维图像的功能的家用电视正在实现。该三维图像显示装置通过显示相互具有视差的右眼用图像和左眼用图像，显示视听者立体感受的图像。例如，三维图像显示装置按照每1帧交替显示右眼用图像和左眼用图像。先行技术文献专利文献专利文献1日本特开2009-1M768号公报
发明内容
发明的概要发明要解决的课题
然而，当在以往的三维图像显示装置中应用在以往的二维图像处理装置300中使用的合成技术时，存在显示对于视听者来说具有不舒适感的图像的问题。使用图32对该问题进行说明。如图32(a)所示，假设在缩略图A和C上重叠显示缩略图B。在该情况下，为了立体地显示各缩略图，假设按照在左眼用图像和右眼用图像之间设置视差的方式预先进行各缩略图的显示控制。在本图中，为了出现立体感，对各缩略图附上实施了影线的阴影，该阴影的宽度越大，视差越大。以下的图也进行同样的表现。此时，在选择缩略图A时，与以往同样，决定使缩略图A显示为最大的显示位置，并且决定使缩略图A显示在最前面的混合率。由此，显示图32(b)所示的图像。在该图像中， 在重叠有缩略图A和B的像素位置，由于缩略图A的混合率比缩略图B的混合率大，所以与缩略图B的图像相比，强调显示缩略图A的图像。另一方面，缩略图A的视差比缩略图B的视差小。因此，本来应当位于后侧的缩略图B浮出到缩略图A的前面来进行显示。因此，显示出对于视听者来说具有不舒适感的图像。本发明正是为了解决上述课题而完成的，其目的在于提供一种能够生成对于视听者来说不会有不舒适感的图像的图像信号的三维图像处理装置及其控制方法。用于解决课题的手段为了达成上述目的，本发明的某个方面的三维图像处理装置生成立体视用的多个视点的图像信号，该三维图像处理装置具备混合率决定部，在各视点的图像信号的各像素位置，根据对象的各视点的图像信号间的位置偏离量即偏移，决定互相重叠显示的多个对象的每一个的图像合成时的混合率；以及合成部，在各视点的图像信号的各像素位置，根据所述混合率决定部所决定的所述混合率，合成所述多个对象的像素值，由此生成各视点的图像信号。根据该结构，根据偏移来决定混合率。因此，能够生成对于视听者来说不会有不舒适感的图像的图像信号。优选的是，所述多个视点的图像信号包含立体视用的左眼用图像信号和右眼用图像信号，所述混合率决定部在左眼用图像信号和右眼用图像信号的各像素位置，根据对象的左眼用图像和右眼用图像之间的位置偏离量即偏移，决定互相重叠显示的多个对象的每一个的图像合成时的混合率；所述合成部在所述左眼用图像信号和所述右眼用图像信号的各像素位置，根据所述混合率决定部所决定的所述混合率，合成所述多个对象的像素值，由此分别生成所述左眼用图像信号和所述右眼用图像信号。另外，优选的是，所述混合率决定部在左眼用图像信号和右眼用图像信号的各像素位置，决定互相重叠显示的多个对象的每一个的图像合成时的混合率，使得对象的左眼用图像和右眼用图像之间的位置偏离量即偏移越大该混合率越大。根据该结构，使对象的偏移和混合率联动，在偏移大的情况下，进行增大混合率的控制。因此，能够生成对于视听者来说不会有不舒适感的图像的图像信号。优选的是，所述混合率决定部在所述左眼用图像信号和所述右眼用图像信号的各像素位置，将互相重叠显示的多个对象中的偏移最大的对象的混合率决定为100%、将其他对象的混合率决定为0%。根据该结构，进行只显示偏移最大的对象的控制。因此，能够生成对于视听者来说不会有不舒适感的图像的图像信号。
5
另外，优选的是，所述三维图像处理装置还具备偏移控制部，该偏移控制部根据进行三维显示时的进深来决定所述多个对象的每一个的所述偏移，所述混合率决定部根据所述偏移控制部所决定的所述偏移来决定所述混合率。另外，优选的是，所述偏移控制部决定所述多个对象的每一个的所述偏移，使得在进行三维显示时，越是显示在前面的对象，所述偏移越大。根据该结构，能够根据多个对象的前后位置关系来决定各对象的偏移和混合率。另外，优选的是，所述偏移控制部具有选择输入接受部，该选择输入接受部接受对象的选择输入，所述偏移控制部决定所述接受到的对象的偏移，使得所述选择输入接受部所接受的对象的偏移最大。根据该结构，能够使所选择的对象显示在最前面。另外，优选的是，所述偏移控制部在进行三维显示时，在第1对象从第2对象的里侧迁移到前面进行显示的情况下，分阶段地将所述第1对象的所述偏移变大。根据该结构，能够向视听者提供将所选择的对象渐渐显示在前面这样的视觉效
果ο另外，优选的是，所述三维图像处理装置还具备限制部，该限制部在对象的显示区域存在于所述左眼用图像信号或所述右眼用图像信号的可显示区域外的情况下，将所述对象的显示区域限制在所述可显示的区域内。另外，优选的是，所述限制部在对象的显示区域存在于所述左眼用图像信号和所述右眼用图像信号中的一方的图像信号的可显示区域外的情况下，在所述一方的图像信号上，使所述对象的显示区域移动到所述一方的图像信号的可显示区域内，并且在另一方的图像信号上，将所述对象的显示区域向与在所述一方的图像信号上移动的方向相反的方向移动与在所述一方的图像信号上移动的量相同的移动量。根据该结构，由于左眼用图像信号和右眼用图像信号之间的视差变小，所以对象之间的前后位置关系有可能混乱，但能够显示对象的整体，能够生成在进行三维显示时对于视听者来说不会有不舒适感的图像的图像信号。并且，所述限制部可以在对象的显示区域存在于所述左眼用图像信号或所述右眼用图像信号的可显示区域外的情况下，将所述可显示区域外的所述对象的区域从所述左眼用图像信号和所述右眼用图像信号中删除。根据该结构，在进行三维显示时删除缩略图的一部分来进行显示，但能够使缩略图之间的前后位置关系不混乱地显示缩略图，能够生成在进行三维显示时对于视听者来说不会有不舒适感的图像的图像信号。另外，优选的是，所述多个对象包含具有多个偏移的动态图像对象，在所述动态图像对象的偏移比在进行三维显示时显示在所述动态图像对象的前面的对象的偏移大的情况下，将所述动态图像对象的偏移更新为显示在所述前面的对象的偏移。根据该结构，不会将背面对象的一部分区域显示在前面对象的前面，能够生成对于视听者来说不会有不舒适感的图像的图像信号。另外，本发明不仅能够实现为具备这种特征性的处理部的三维图像处理装置，还能够实现为将三维图像处理装置所包含的特征性的处理部设为步骤的三维图像处理装置的控制方法。并且，还能够实现为使计算机执行三维图像处理装置的控制方法所包含的特征性的步骤的程序。并且，该程序当然能够经由CD-ROM (Compact Disc-Read Only Memory) 等计算机能够读取的记录介质和互联网等通信网络来进行流通。另外，本发明能够实现为实现这种三维图像处理装置的功能的一部分或全部的半导体集成电路(LSI)，或者能够实现为具备这种三维图像处理装置的数字电视机等三维图像显示装置，或者能够实现为包含这种三维图像显示装置的三维图像显示系统。发明效果根据本发明，能够提供一种能够生成对于视听者来说不会有不舒适感的图像的图像信号的三维图像处理装置及其控制方法。
图1是表示本发明的实施方式1所涉及的三维图像显示系统的结构的框图。图2A是表示包含左眼用图像和右眼用图像的图像数据的输出三维图像数据的一例的图。图2B是表示包含左眼用图像和右眼用图像的图像数据的输出三维图像数据的另一例的图。图3是表示左眼用图像和右眼用图像的一例的图。图4是表示本发明的实施方式1所涉及的三维图像处理装置的结构的框图。图5是表示偏移控制部的结构的框图。图6是表示混合率决定部的进一步详细结构的框图。图7是表示缩略图的偏移和显示位置的迁移的图。图8是偏移控制部在图7所示的迁移时执行的处理的时间图。图9是表示缩略图的偏移和显示位置的迁移的图。图10是偏移控制部在图9所示的迁移时执行的处理的时间图。图11是表示缩略图的偏移和显示位置的迁移的图。图12是偏移控制部在图11所示的迁移时执行的处理的时间图。图13是表示显示在显示面板上的图像的一例的图。图14是混合率控制部执行的处理的时间图。图15是L/R混合率合成部的L混合率生成部执行的处理的时间图。图16是表示缩略图的偏移和显示位置的迁移的图。图17是表示本发明的实施方式1的变形例所涉及的混合率决定部的结构的框图。图18是前后信息生成部执行的处理的时间图。图19是表示本发明的实施方式2所涉及的三维图像处理装置的结构的框图。图20是表示三维显示的缩略图的显示位置的变化的图。图21是L显示位置限制控制部和R显示位置限制控制部执行的处理的时间图。图22是偏移减法控制部执行的处理的时间图。图23是表示三维显示的缩略图的显示位置的变化的图。图M是本发明的实施方式2的变形例所涉及的L显示位置限制控制部和R显示位置限制控制部执行的处理的时间图。图25是表示本发明的实施方式3所涉及的三维图像显示系统的结构的框图。
图沈是表示本发明的实施方式3所涉及的三维图像处理装置的结构的框图。图27是表示字幕的图形偏移比视频偏移大的情况下的输出三维图像数据的一例的图。图观是表示字幕数据的图形偏移比视频偏移小的区域的图。图四是表示字幕的图形偏移比视频偏移小的情况下的输出三维图像数据的一例的图。图30是表示以往的二维图像处理装置的结构的一例的框图。图31是表示缩略图的显示位置的迁移的图。图32是用于说明以往的课题的图。
具体实施例方式以下，参照附图对本发明所涉及的三维图像处理装置的实施方式进行详细说明。(实施方式1)本发明的实施方式1所涉及的三维图像处理装置在重叠显示多个以照片的缩略图为代表的对象的情况下，生成对于视听者来说没有不舒适感的立体视用的图像信号。首先，对包含本发明的实施方式1所涉及的三维图像处理装置的三维图像显示系统的结构进行说明。图1是表示本发明的实施方式1所涉及的三维图像显示系统的结构的框图。图1所示的三维图像显示系统11包含缩略图显示装置15和快门眼镜43。缩略图显示装置15根据记录在BD (蓝光盘)等光盘41中的照片数据等二维图像数据或三维图像数据生成缩略图，并转换为能够进行三维显示的形式，显示变换后的三维图像数据。缩略图显示装置15具备输入部31、三维图像处理装置100、显示面板沈和发射机 27。输入部31取得记录在光盘41中的编码二维图像数据50。编码二维图像数据50 是对照片数据进行了编码的数据。另外，所编码的数据不限于照片数据，也可以是影像数据等其他数据。三维图像处理装置100通过将输入部31所取得的编码二维图像数据50包含的照片数据的缩略图变换为能够进行三维显示的形式，生成输出三维图像数据58，并将该输出三维图像数据58输出。显示面板沈对三维图像处理装置100所输出的输出三维图像数据58进行显示。如图2A所示，输出三维图像数据58包含左眼用图像58L和右眼用图像58R的图像数据。以下，在称作左眼用图像58L的情况下，也适当表示左眼用图像58L的图像数据。 右眼用图像58R也同样。三维图像处理装置100生成交替配置有只包含左眼用图像58L的帧和只包含右眼用图像58R的帧的输出三维图像数据58。该输出三维图像数据58例如是 60p (帧频是60fps (frames per second)的累进方式)的图像数据。发射机27使用无线通信来控制快门眼镜43。快门眼镜43例如是视听者配戴的液晶快门眼镜，具备左眼用液晶快门和右眼用液晶快门。发射机27按照左眼用图像58L和右眼用图像58R的显示定时来控制左眼用液
8晶快门和右眼用液晶快门的开闭。具体来讲，在显示左眼用图像58L的期间，发射机27打开快门眼镜43的左眼用液晶快门，并且关闭右眼用液晶快门。并且，在显示右眼用图像58R 的期间，发射机27关闭快门眼镜43的左眼用液晶快门，并且打开右眼用液晶快门。通过这种显示定时和快门开闭定时的控制，分别选择性地向视听者的左眼入射左眼用图像58L的图像，向右眼入射右眼用图像58R的图像。另外，选择性地向视听者的左眼和右眼入射左眼用图像58L和右眼用图像58R的方法不限于该方法，也可以使用其以外的方法。例如，如图2B所示，输出三维图像数据58可以在各帧内呈棋盘状配置左眼用图像 58L和右眼用图像58R。在该情况下，通过在显示面板沈上配备形成在左眼用的像素上的左眼用偏光膜和形成在右眼用的像素上的右眼用偏光膜，对左眼用图像58L和右眼用图像 58R施加不同的偏光(直线偏光和圆偏光)。另外，也可以代替快门眼镜43，通过使用具备分别与上述偏光对应的左眼用和右眼用的偏光膜的偏光眼镜，使左眼用图像58L和右眼用图像58R入射到视听者的左眼和右眼。图3是表示左眼用图像58L和右眼用图像58R的一例的图。如图3所示，左眼用图像58L和右眼用图像58R所包含的对象具有与对象距摄影位置的距离对应的视差。以下，将该视差称为“偏移”。在进行三维显示时，偏移越大，对象越显示在前面(靠近视听者的位置)，偏移越小，对象越显示在后面(远离视听者的位置)。接着，对三维图像处理装置100的结构进行说明。图4是表示三维图像处理装置100的结构的框图。如图4所示，三维图像处理装置100包含解码器110、存储部120、显示位置控制部 130、偏移控制部140、混合率决定部150、合成部160、L/R切换控制部170以及选择器180。解码器110通过对输入部31所取得的编码二维图像数据50进行解码，生成多个照片数据。存储部120存储解码器110所生成的多个照片数据。显示位置控制部130对应于照片数据而设置，决定照片数据的显示位置。偏移控制部140根据多个照片数据的前后位置关系，决定各照片数据的偏移。前后位置关系是重叠显示了多个照片时的位置关系。混合率决定部150根据显示位置控制部130所决定的各照片数据的显示位置和偏移控制部140所决定的各照片数据的偏移，决定各照片数据的混合率。合成部160根据混合率决定部150所决定的混合率来合成多个照片数据的像素值，由此生成左眼用图像58L和右眼用图像58R，并输出所生成的左眼用图像58L和右眼用图像58R。选择器180根据来自L/R切换控制部170的控制信号，选择合成部160所输出的左眼用图像58L和右眼用图像58R中的任意一方，并输出所选择的图像。L/R切换控制部170生成控制信号，使得从选择器180中按照60p交替输出左眼用图像58L和右眼用图像58R，并将该控制信号输出给选择器180。通过L/R切换控制部170 和选择器180的处理，从选择器180中生成交替配置有左眼用图像58L和右眼用图像58R 的输出三维图像数据58。该输出三维图像数据58是60p的图像数据。接着，对存储部120的详细结构进行说明。
如图4所示，存储部120包含第1存储器121、第2存储器122和第3存储器123。 第1存储器121 第3存储器123分别逐一存储解码器110所解码的照片数据。另外，这些存储器准备与照片数据的张数对应的数量。在本实施方式中，假设照片数据具有3个来进行说明。接着，对显示位置控制部130的详细结构进行说明。如图4所示，显示位置控制部130设置与照片数据的张数相同的数量，包含L显示位置控制部132L和R显示位置控制部132R。另外，为了图示方便，图4图示了 2个显示位置控制部130。以下，对连接在第1存储器121上的显示位置控制部130进行说明，但连接在第2存储器122或第3存储器123上的显示位置控制部130也执行同样的处理。因此， 不重复其详细说明。L显示位置控制部132L根据存储在第1存储器121中的照片数据，通过缩小该照片数据生成缩略图，根据偏移控制部140所决定的偏移，决定左眼用图像58L中所生成的缩略图的显示位置。R显示位置控制部132R根据存储在第1存储器121中的照片数据，通过缩小该照片数据生成缩略图，根据偏移控制部140所决定的偏移，决定右眼用图像58R中所生成的缩略图的显示位置。接着，对混合率决定部150的详细结构进行说明。图4所示的混合率决定部150包含多个L/R混合率合成部152和混合率控制部 156。混合率控制部156根据偏移控制部140所决定的各缩略图的偏移，决定缩略图的合成顺序。所谓合成顺序是指在进行三维显示时越显示在靠前(视听者附近)越上位、越显示在视听者的远处越下位。L/R混合率合成部152与显示位置控制部130 —对一地对应设置。L/R混合率合成部152根据L显示位置控制部132L和R显示位置控制部132R所决定的缩略图的显示位置、以及混合率控制部156所决定的缩略图的合成顺序，决定左眼用图像58L和右眼用图像 58R各自的各像素位置的缩略图的混合率。接着，对合成部160的详细结构进行说明。合成部160包含L合成部162L和R合成部162R。L合成部162L在左眼用图像58L的各像素位置，根据由多个L/R混合率合成部152 分别求出的多个缩略图的混合率，合成多个缩略图的像素值，由此生成左眼用图像58L。L 合成部162L将所生成的左眼用图像58L输出给选择器180。R合成部162R在右眼用图像58R的各像素位置，根据由多个L/R混合率合成部152 分别求出的多个缩略图的混合率，合成多个缩略图的像素值，由此生成右眼用图像58R。R 合成部162R将所生成的右眼用图像58R输出给选择器180。接着，对偏移控制部140的详细结构进行说明。图5是表示偏移控制部140的结构的框图。偏移控制部140包含偏移存储部141、选择输入接受部142、前后位置关系控制部 143、偏移加法控制部144和偏移输出部145。偏移存储部141存储预先设定的固定偏移1 N。
选择输入接受部142从视听者接受缩略图的选择输入。例如，在使用遥控器或键盘等输入设备选择了缩略图的情况下，接受所选择的缩略图的标识符作为缩略图的选择输入。前后位置关系控制部143根据按照每个缩略图预先设定的前后位置关系，选择存储在偏移存储部141中的固定偏移。并且，前后位置关系控制部143在通过选择输入接受部142接受到缩略图的标识符的情况下，通过将由所接受的标识符确定的缩略图的前后位置移动到最前面，变更各缩略图的前后位置关系。在前后位置关系变更后，前后位置关系控制部143再次选择存储在偏移存储部141中的固定偏移。偏移加法控制部144在前后位置关系控制部143中产生了使值增加的偏移变更的情况下，从前后位置关系控制部143接受变更前的偏移和变更后的偏移，按照预定定时在变更前的偏移上累加预定值，直到成为变更后的偏移为止。偏移输出部145将前后位置关系控制部143所选择的偏移或者由偏移加法控制部144累加后的偏移输出给L显示位置控制部132L、R显示位置控制部132R以及混合率控制部156。接着，对混合率决定部150的详细结构进行说明。图6是表示混合率决定部150的进一步详细结构的框图。混合率决定部150包含 L/R混合率合成部152和混合率控制部156。在图6中，为了图示方便，只记载了 1个L/R 混合率合成部152，但如使用图4说明的那样，实际上存在与显示位置控制部130对应的数量。混合率控制部156包含比较控制部157和合成顺序生成部158。比较控制部157比较偏移控制部140所决定的各缩略图的偏移，决定偏移的大小关系。合成顺序生成部158根据比较控制部157所决定的偏移的大小关系，生成缩略图的合成顺序。即，偏移值越大，合成顺序生成部158越将合成顺序设为上位。所谓合成顺序是指合成多个缩略图的像素值时的混合率的顺序，在L/R混合率合成部152中进行合成顺序越高使混合率越高的控制。L/R混合率合成部152包含混合率存储部153、L混合率生成部154L和R混合率生成部154R。混合率存储部153存储预先设定的固定混合率1 M。这里，假设固定混合率j(j =1 Μ)在j的值越小的情况下越大。L混合率生成部154L根据L显示位置控制部132L所决定的左眼用图像58L中的缩略图的显示位置和合成顺序生成部158所决定的缩略图的合成顺序，在左眼用图像58L 的各像素位置，选择存储在混合率存储部153中的固定混合率。即，L混合率生成部154L 在重叠了多个缩略图的像素位置，合成顺序生成部158所决定的缩略图的合成顺序越高， 从存储在混合率存储部153中的固定混合率中选择越大值的固定混合率。L混合率生成部 154L将所选择的固定混合率输出给L合成部162L。同样，L混合率生成部154L根据R显示位置控制部13 所决定的右眼用图像58R 中的缩略图的显示位置和合成顺序生成部158所决定的缩略图的合成顺序，在右眼用图像 58R的各像素位置，选择存储在混合率存储部153中的固定混合率。即，R混合率生成部 154R在重叠了多个缩略图的像素位置，合成顺序生成部158所决定的缩略图的合成顺序越高，从存储在混合率存储部153中的固定混合率中选择越大值的固定混合率。R混合率生成部154R将所选择的固定混合率输出给R合成部162R。接着，对各处理部的处理进行详细说明。在以下的说明中，假设在第1存储器121至第3存储器123中存储了 3张照片数据，将这3张照片数据的缩略图叫作缩略图A、B和C。首先，对偏移控制部140执行的3个处理(偏移控制部140进行的第1处理 第 3处理)进行详细说明。(偏移控制部140进行的第1处理)图7是表示缩略图的偏移和显示位置的迁移的图。并且，图8是偏移控制部140 在图7所示的迁移时执行的处理的时间图。如图7(a)所示，假设从最前面开始按照缩略图B、A、C的顺序预先设定缩略图A C的前后位置关系(合成顺序)。因此，前后位置关系控制部143从偏移存储部141中选择偏移，使其按照缩略图B、A、C的顺序变大。例如，如图8所示，假设L/R切换控制部170根据垂直同步信号，按照每一垂直同步期间，切换L控制信号(图中记载为“L”)或R控制信号(图中记载为“R”)。在L控制信号的输出定时，从选择器180输出L合成部162L所生成的左眼用图像58L，在R控制信号的输出定时，从选择器180输出R合成部162R所生成的右眼用图像58R。并且，前后位置关系控制部143例如选择了固定偏移1 (例如，大小30) 作为缩略图A的偏移(图中记载为“前后位置关系控制”)。于是，偏移输出部145将前后位置关系控制部143选择的固定偏移1输出给L显示位置控制部132L、R显示位置控制部 132R和混合率控制部156(图中记载为“偏移_A”)。接着，在选择输入接受部142中假设从视听者接受到缩略图A的选择输入。在该情况下，前后位置关系控制部143进行偏移的重新选择，使得所选择的缩略图A的偏移最大。 即，前后位置关系控制部143进行偏移的重新选择，使得偏移的大小为缩略图A、B、C的顺序。例如，如图8所示，前后位置关系控制部143代替固定偏移1，重新选择值比固定偏移 1大的固定偏移2 (例如，大小44)。由此，变更按照缩略图B、A、C的顺序设定的合成顺序， 使得缩略图A第1。即，如图7(b)所示，按照缩略图A、B、C的顺序变更合成顺序。并且，偏移输出部145将前后位置关系控制部143重新选择的固定偏移2输出给L显示位置控制部 132L、R显示位置控制部132R和混合率控制部156。根据图7和图8所示的偏移控制部140进行的第1处理，视听者在进行缩略图的选择时，能够将所选择的缩略图的偏移变为最大。因此，能够使三维显示时的不舒适感消失。 并且，能够将所选择的缩略图立即显示在前面。并且，L显示位置控制部132L进行缩略图A的左眼用图像58L中的显示位置控制， 使得与固定偏移1的情况相比，固定偏移2的情况下缩略图A显示较大。同样，R显示位置控制部132R进行缩略图A的右眼用图像58R中的显示位置控制，使得与固定偏移1的情况相比，固定偏移2的情况下缩略图A显示较大。(偏移控制部140进行的第2处理)在偏移控制部140进行的第1处理中，在进行缩略图的选择输入时，也立即进行了偏移的切换。偏移控制部140也可以代替第1处理而执行以下说明的第2处理。在第2处理中，在进行缩略图的选择输入时，不立即切换偏移，而是渐渐进行切换。
12
图9是表示缩略图的偏移和显示位置的迁移的图。并且，图10是偏移控制部140 在图9所示的迁移时执行的处理的时间图。如图9 (a)所示，假设从最前面开始按照缩略图B、A、C的顺序预先设定缩略图A C的合成顺序。因此，前后位置关系控制部143从偏移存储部141中选择偏移，使其按照缩略图B、A、C的顺序变大。例如，如图10所示，假设L/R切换控制部170根据垂直同步信号， 按照每一垂直同步期间，切换L控制信号(图中记载为“L”)或R控制信号(图中记载为 “R”)。并且，前后位置关系控制部143例如选择了固定偏移1(例如，大小30)作为缩略图 A的偏移(图中记载为“前后位置关系控制”)。于是，偏移输出部145将前后位置关系控制部143选择的固定偏移1输出给L显示位置控制部132L、R显示位置控制部132R和混合率控制部156 (图中记载为“偏移_A” )。接着，在选择输入接受部142中假设从视听者接受到缩略图A的选择输入。在该情况下，前后位置关系控制部143进行偏移的重新选择，使得所选择的缩略图A的偏移最大。 即，前后位置关系控制部143进行偏移的重新选择，使得偏移的大小为缩略图A、B、C的顺序。例如，如图10所示，前后位置关系控制部143代替固定偏移1，重新选择值比固定偏移 1大的固定偏移2 (例如，大小44)。偏移加法控制部144按照每两个垂直同步期间，在选择前的固定偏移1上累加预定值，直到成为在前后位置关系控制部143中重新选择的固定偏移2为止。例如，如图10 所示，前后位置关系控制部143按照每两个垂直同步期间，在固定偏移1(大小30)上累加预定值2，直到成为固定偏移2 (大小44)为止。其结果，按照30、32、34、36、38、40、42、44的顺序来更新偏移。图9(b)和图9(c)示出偏移从30迁移到44的途中的缩略图，示出了缩略图A的面积渐渐变大，并且偏移渐渐变大。并且，示出了缩略图A的合成顺序渐渐提高。如图10所示，缩略图A的偏移最终变成固定偏移2 (44)。伴随于此，如图9(d)所示，缩略图A的合成顺序为第1。根据图9和图10所示的偏移控制部140进行的第2处理，视听者在进行缩略图的选择时，能够将所选择的缩略图的偏移设为最大。因此，能够使三维显示时的不舒适感消失。并且，能够向视听者提供将所选择的缩略图渐渐显示在前面这样的视觉效果。(偏移控制部140进行的第3处理)在偏移控制部140进行的第1处理中，在进行缩略图的选择输入时，进行了偏移的切换。偏移控制部140也可以代替第1处理而执行以下说明的第3处理。第3处理在进行缩略图的选择输入时，进行偏移的切换，这一点与第1处理相同。但是，在第3处理中，将选择输入的缩略图用的偏移存储在偏移存储部141中，在选择输入时，选择该偏移，这一点与第1处理不同。图11是表示缩略图的偏移和显示位置的迁移的图。并且，图12是偏移控制部140 在图11所示的迁移时执行的处理的时间图。例如，预先分别对缩略图A、B和C分配固定偏移1、2和3。并且，假设固定偏移1、 2和3的大小分别为40、60和20。此时，如图11(a)所示，在选择输入接受部142中，假设接受到缩略图A的选择输入(图12的“选择信息提取”)。于是，如图12所示，前后位置关系控制部143从偏移存储部141中选择固定偏移m (例如，大小140)作为缩略图A的偏移 (图12的“偏移_々”)。在以下的说明中，假设固定偏移Ni、N2和N3是选择输入的缩略图用的偏移。并且，固定偏移Ni、N2和N3是比通常的偏移(固定偏移1、2、3)大的值。如图11(b)所示，在没有来自选择输入接受部142的选择输入的情况下，如图12 所示，前后位置关系控制部143分别对缩略图A、B和C分配固定偏移1、2和3。如图11 (c)所示，在选择输入接受部142中，假设接受到缩略图C的选择输入。于是，如图12所示，前后位置关系控制部143从偏移存储部141中选择固定偏移N3(例如，大小120)作为缩略图C的偏移(图12的“偏移_(”)。另外，如图11(d)所示，在选择输入接受部142中，假设接受到缩略图B的选择输入。于是，如图12所示，前后位置关系控制部143从偏移存储部141中选择固定偏移N2 (例如，大小160)作为缩略图B的偏移(图12的“偏移_8”)。根据图11和图12所示的偏移控制部140进行的第3处理，视听者在进行缩略图的选择时，能够将所选择的缩略图的偏移设为最大。因此，能够使三维显示时的不舒适感消失。另外，偏移控制部140进行的第1处理 第3处理可以组合。例如，偏移控制部 140可以执行对第2处理和第3处理进行了组合的处理。(混合率决定部150进行的处理)接着，对混合率决定部150执行的处理进行详细说明。首先，参照图13和图14对混合率控制部156执行的处理进行说明。图13是表示显示在显示面板沈上的图像的一例的图。在某1个水平同步期间， 进行扫描线1301上的图像显示。图14是混合率控制部156执行的处理的时间图。“水平显示”是在扫描线1301上从左到右扫描时的水平扫描信号，High时表示有效期间，Low时表示消隐期间。“缩略图_々”表示在High区间描绘缩略图A，在Low区间不描绘缩略图A。同样， “缩略图_B”表示在High区间描绘缩略图B，在Low区间不描绘缩略图B。并且，“缩略图_ C”表示在High区间描绘缩略图C，在Low区间不描绘缩略图C。“比较控制”表示在比较控制部157中具有成为比较对象的偏移的缩略图。即，当在扫描线1301上从左开始扫描时，最初不存在成为比较对象的偏移，只显示缩略图C，所以只有缩略图C的偏移成为比较对象。接着，由于重叠显示缩略图A和C，所以缩略图A和C 的偏移成为比较对象。接着，由于重叠显示缩略图A C，所以缩略图A C的偏移成为比较对象。然后，由于重叠显示缩略图A和B，所以缩略图A和B的偏移成为比较对象。接着， 由于只显示缩略图B，所以只有缩略图B的偏移成为比较对象。最后，由于不显示任何缩略图，所以没有比较对象。比较控制部157在这些成为比较对象的偏移内，决定偏移的大小关系。合成顺序生成部158根据比较控制部157所决定的偏移的大小关系，决定缩略图的合成顺序，使得偏移的值越大合成顺序越上位。图14的“合成顺序生成”表示合成顺序的结果。合成顺序生成1表示合成顺序第1的缩略图，合成顺序生成2表示合成顺序第2的缩略图，合成顺序生成3表示合成顺序第3的缩略图。S卩，首先，从对任何缩略图都没附加合成顺序的状态开始，设缩略图C的合成顺序第1。然后，合成顺序按照缩略图A、C的顺序变更。然后，合成顺序按照缩略图B、A、C的顺序变更。接着，合成顺序按照缩略图B、A的顺序变更。接着，合成顺序按照缩略图B的顺序变更。最后，迁移到对任何缩略图都没附加合成顺序的状态。接着，对L/R混合率合成部152执行的处理进行说明。图15是L/R混合率合成部152的L混合率生成部154L执行的处理的时间图。该图与图14的时间图同样，表示显示图13所示的扫描线1301上的图像时的时间图。以下， 对L混合率生成部154L的处理进行说明，但R混合率生成部154R的处理也同样。因此，不重复其详细说明。图15的水平显示和合成顺序生成与图14所示的水平显示和合成顺序生成相同。 因此，不重复其详细说明。图15的“L混合率生成”表示L混合率生成部154L所生成的缩略图A C的混合率。L混合率生成部154L在扫描线1301上的各像素位置，从合成顺序生成部158接收合成顺序，从混合率存储部153选择固定混合率1，并将固定混合率1分配给合成顺序第1的缩略图。同样，L混合率生成部154L从混合率存储部153选择固定混合率2，并将固定混合率 2分配给合成顺序第2的缩略图。另外，L混合率生成部154L从混合率存储部153选择固定混合率3，并将固定混合率3分配给合成顺序第3的缩略图。如图15所示，首先，当从没附加合成顺序的状态开始将缩略图C的合成顺序设为第1时，向缩略图C分配固定混合率1。接着，当按照缩略图A、C的顺序来变更合成顺序时， 分别向缩略图A、C分配固定混合率1、2。接着，当按照缩略图B、A、C的顺序来变更合成顺序时，分别向缩略图B、A、C分配固定混合率1、2、3。接着，当按照缩略图B、A的顺序来变更合成顺序时，分别向缩略图B、A分配固定混合率1、2。另外，当按照缩略图B的顺序来变更合成顺序时，向缩略图B分配固定混合率1。最终，当迁移到没有附加合成顺序的状态时，不向任何缩略图分配固定混合率。在L合成部162L中，按照每个像素，根据L混合率生成部154L所决定的混合率合成缩略图的像素值，生成左眼用图像58L。例如，将η张缩略图Si(i = 1 η)的混合率设为Bi(i = i η)。并且，在将像素位置(χ，y)的缩略图Si的像素值设为Si (X，y)时，该像素位置处的合成后的图像SS的像素值SS(x，y)根据下式(1)算出。另外，R合成部162R 也同样进行缩略图的像素值的合成，生成右眼用图像58R。算式1
权利要求
1.一种三维图像处理装置，其生成立体视用的多个视点的图像信号，该三维图像处理装置具备混合率决定部，在各视点的图像信号的各像素位置，根据对象的各视点的图像信号间的位置偏离量即偏移，决定互相重叠显示的多个对象的每一个的图像合成时的混合率；以及合成部，在各视点的图像信号的各像素位置，根据所述混合率决定部所决定的所述混合率，合成所述多个对象的像素值，由此生成各视点的图像信号。
2.根据权利要求1所述的三维图像处理装置，其中，所述多个视点的图像信号包含立体视用的左眼用图像信号和右眼用图像信号，所述混合率决定部在左眼用图像信号和右眼用图像信号的各像素位置，根据对象的左眼用图像和右眼用图像之间的位置偏离量即偏移，决定互相重叠显示的多个对象的每一个的图像合成时的混合率；所述合成部在所述左眼用图像信号和所述右眼用图像信号的各像素位置，根据所述混合率决定部所决定的所述混合率，合成所述多个对象的像素值，由此分别生成所述左眼用图像信号和所述右眼用图像信号。
3.根据权利要求2所述的三维图像处理装置，其中，所述混合率决定部在左眼用图像信号和右眼用图像信号的各像素位置，决定互相重叠显示的多个对象的每一个的图像合成时的混合率，使得对象的左眼用图像和右眼用图像之间的位置偏离量即偏移越大该混合率越大。
4.根据权利要求3所述的三维图像处理装置，其中，所述混合率决定部在所述左眼用图像信号和所述右眼用图像信号的各像素位置，将互相重叠显示的所述多个对象中的偏移最大的对象的混合率决定为100%、将其他对象的混合率决定为0%。
5.根据权利要求4所述的三维图像处理装置，其中，所述多个对象包含字幕的对象。
6.根据权利要求3 5中的任意一项所述的三维图像处理装置，其中，所述三维图像处理装置还具备偏移控制部，该偏移控制部根据进行三维显示时的进深来决定所述多个对象的每一个的所述偏移，所述混合率决定部根据所述偏移控制部所决定的所述偏移来决定所述混合率。
7.根据权利要求6所述的三维图像处理装置，其中，所述偏移控制部决定所述多个对象的每一个的所述偏移，使得在进行三维显示时，越是显示在前面的对象，所述偏移越大。
8.根据权利要求7所述的三维图像处理装置，其中，所述偏移控制部具有选择输入接受部，该选择输入接受部接受对象的选择输入，所述偏移控制部决定接受到的所述对象的偏移，使得所述选择输入接受部所接受的对象的偏移最大。
9.根据权利要求7或8所述的三维图像处理装置，其中，所述偏移控制部在进行三维显示时，在第1对象从第2对象的里侧迁移到前面进行显示的情况下，分阶段地将所述第1对象的所述偏移变大。
10.根据权利要求3 9中的任意一项所述的三维图像处理装置，其中，所述三维图像处理装置还具备限制部，该限制部在对象的显示区域存在于所述左眼用图像信号或所述右眼用图像信号的可显示区域外的情况下，将所述对象的显示区域限制在所述可显示区域内。
11.根据权利要求10所述的三维图像处理装置，其中，所述限制部在对象的显示区域存在于所述左眼用图像信号和所述右眼用图像信号中的一方的图像信号的可显示区域外的情况下，在所述一方的图像信号上，使所述对象的显示区域移动到所述一方的图像信号的可显示区域内，并且在另一方的图像信号上，将所述对象的显示区域向与在所述一方的图像信号上移动的方向相反的方向移动与在所述一方的图像信号上移动的量相同的移动量。
12.根据权利要求11所述的三维图像处理装置，其中，所述限制部进一步将移动了显示区域的所述对象的偏移更新为比现在的值小的值。
13.根据权利要求10所述的三维图像处理装置，其中，所述限制部在对象的显示区域存在于所述左眼用图像信号或所述右眼用图像信号的可显示区域外的情况下，将所述可显示区域外的所述对象的区域从所述左眼用图像信号和所述右眼用图像信号中删除。
14.根据权利要求3 13中的任意一项所述的三维图像处理装置，其中，所述多个对象包含具有多个所述偏移的动态图像的对象，在所述动态图像的对象的偏移比在进行三维显示时显示在所述动态图像的对象的前面的对象的偏移大的情况下，将所述动态图像对象的偏移更新为显示在所述前面的对象的偏移。
15.一种三维图像处理装置的控制方法，该三维图像处理装置生成立体视用的左眼用图像信号和右眼用图像信号，所述控制方法包含如下步骤混合率决定步骤，在该步骤中，混合率决定部在左眼用图像信号和右眼用图像信号的各像素位置多个对象被重叠显示的情况下，决定重叠显示的所述多个对象的每一个的图像合成时的混合率，使得对象的左眼用图像和右眼用图像之间的位置偏离量即偏移越大该混合率越大；以及合成步骤，在该步骤中，合成部在所述左眼用图像信号和所述右眼用图像信号的各像素位置，根据所述混合率决定步骤所决定的所述混合率，合成所述多个对象的像素值，由此分别生成所述左眼用图像信号和所述右眼用图像信号。
全文摘要
生成立体视用的左眼用图像信号和右眼用图像信号的三维图像处理装置(100)具备混合率决定部(150)，在左眼用图像信号和右眼用图像信号的各像素位置，决定互相重叠显示的多个对象的每一个的图像合成时的混合率，使得对象的左眼用图像和右眼用图像之间的位置偏离量即偏移越大该混合率越大；合成部(160)，在左眼用图像信号和右眼用图像信号的各像素位置，根据混合率决定部(150)所决定的混合率，合成多个对象的像素值，由此分别生成左眼用图像信号和右眼用图像信号。
文档编号G09G5/14GK102293002SQ201080005149
公开日2011年12月21日 申请日期2010年8月11日 优先权日2009年9月25日
发明者北岛修孝, 山名章文, 桥本勉, 西山淳 申请人:松下电器产业株式会社
最新回复(0)