图像处理装置、图像处理方法及计算机程序的制作方法
图像处理装置、图像处理方法及计算机程序的制作方法
【专利摘要】[问题]要提供一种图像处理装置，由此可以防止在多个3D图像的合成期间生成具有矛盾的图像，以避免用户眼睛疲劳。[解决方案]提供了一种图像处理装置，包括：视差检测器，被配置成接收多个3D图像并且检测3D图像中的每个3D图像的视差；差分析器，被配置成使用由视差检测器检测的每个3D图像的视差来生成关于每个3D图像的视差的统计信息；以及视差控制器，被配置成以3D图像不交叠的方式使用由视差分析器生成的关于每个3D图像的视差的统计信息来转换视差，使得视差的范围在预定范围内。
【专利说明】图像处理装置、图像处理方法及计算机程序
【技术领域】
[0001]本公开内容涉及图像处理装置、图像处理方法以及计算机程序。
【背景技术】
[0002]用于使得观者能够体验图像的立体视图的3D图像显示的技术已得到广泛发展。此外，用于组合和显示多个3D图像的技术也已被报道(参见专利文献I)。在专利文献I中，公开了一种技术，其意在缓解当组合3D副图像与3D主图像并且显示所产生的组合图像时可能引起的眼睛紧张，如果3D主图像在垂直于3D主图像的屏幕的深度方向上的位置被放置得距离副图像在深度方向上的位置过远或过近，这使用户的眼睛紧张。
[0003]引用列表
[0004]专用文献
[0005]专利文献I JP 2011-166761A
【发明内容】
[0006]技术问题
[0007]在专利文献I公开的技术中，使用3D主图像和副图像中每个的统计信息来校正主图像和副图像，使得主图像和副图像在深度方向上的位置之间的距离在预定范围内。
[0008]然而，当通过使图像整体向深度方向偏移来校正3D主图像和副图像时，并没有相应改变每个图像的视差的动态范围，从而在一些情况下造成其中3D图像被显示并沉降到另一 3D图像中的矛盾的图像的问题。
[0009]因此，本公开内容是鉴于这样的问题而作出的，并且提供了新颖且改进的图像处理装置、图像处理方法及计算机程序，其能够防止在多个3D图像被组合时生成矛盾的图像，从而使用户眼睛的紧张和疲劳小得多。
[0010]问题的解决方案
[0011]根据本公开内容，提供了一种图像处理装置，包括:视差检测器，被配置成接收多个3D图像并且检测每个3D图像的视差；视差分析器，被配置成使用由视差检测器检测的每个3D图像的视差来生成关于每个3D图像的视差的统计信息；以及视差控制器，被配置成以3D图像不交叠的方式使用由视差分析器生成的关于每个3D图像的视差的统计信息来转换视差，使得视差的范围在预定范围内。
[0012]根据上述实施方式，视差检测器检测所提供的多个3D图像中的每个的视差，并且视差分析器使用由视差检测器检测到的每个3D图像的视差来生成每个3D图像的视差统计信息。视差控制器以3D图像不交叠的方式使用由视差分析器生成的每个3D图像的视差统计信息来转换视差，使得视差的范围在预定范围内。因此，图像处理装置能够防止在多个3D图像被组合时生成矛盾的图像，从而使用户眼睛的紧张和疲劳小得多。
[0013]根据本公开内容，提供了一种图像处理方法，包括:接收多个3D图像并且检测3D图像中的每个的视差；使用所检测的每个3D图像的视差生成关于每个3D图像的视差的统计信息；以及以3D图像不交叠的方式使用所生成的关于每个3D图像的视差的统计信息来转换视差，使得视差的范围在预定范围内。
[0014]根据本公开内容，提供了一种计算机程序，其用于使计算机执行:接收多个3D图像并且检测每个3D图像的视差；使用所检测的每个3D图像的视差来生成关于每个3D图像的视差的统计信息；以及以3D图像不交叠的方式使用所生成的关于每个3D图像的视差的统计信息来转换视差，使得视差的范围在预定范围内。
[0015]本发明的有益效果
[0016]根据上述本公开内容的一个或更多个实施方式，可以提供新颖且改进的图像处理装置、图像处理方法及计算机程序，其能够防止在多个3D图像被组合时生成矛盾的图像，从而使用户眼睛的紧张和疲劳小得多。
【专利附图】
【附图说明】
[0017][图1]是用于说明根据本公开内容的第一实施方式的图像处理装置的功能配置的示意图。
[0018][图2]是用于说明由视差分析器120a和120b生成的视差统计信息的示例的示意图。
[0019][图3]是示出根据本公开内容的第一实施方式的图像处理装置100的操作的流程图。
[0020][图4]是示出根据本公开内容的第一实施方式的图像处理装置100的操作的流程图。
[0021][图5]是用于说明其中视差控制器130将3D图像的视差统计信息转换成与每个显示尺寸对应的统计信息的示例的示意图。
[0022][图6]是用于说明由视差分析器120a和120b确定的统计信息的示例的示意图。
[0023][图7]是用于说明由视差分析器120a和120b确定的统计信息的示例的示意图。
[0024][图8]是用于说明计算校正量使得针对每个3D图像确定的视差的范围不与其他3D图像的视差的范围交叠的示例的示意图。
[0025][图9]是用于说明针对每个3D图像计算校正量的示例的示意图。
[0026][图10]是用于说明针对每个3D图像计算校正量的示例的示意图。
[0027][图11]是用于说明原始3D图像与disp_min和disp_max中的每个之间的关系的示例的示意图。
[0028][图12]是用于说明其中使3D图像经历2D到3D转换从而该3D图像的视差的范围在disp_min和disp_max的值的范围内的示例的示意图。
[0029][图13]是用于说明根据本公开内容的第二实施方式的图像处理装置的功能配置的示意图。
[0030][图14]是示出根据本公开内容的第二实施方式的图像处理装置100的操作的流程图。
[0031][图15]是用于说明3D图像中的对象之间的位置关系的示例的示意图。
【具体实施方式】
[0032]下文中，将参照附图详细描述本发明的优选实施方式。注意，在本说明书和附图中，用相同的附图标记表示具有基本上相同的功能和结构的元件，并且省略重复的说明。
[0033]将以下列顺序进行说明。
[0034](1.第一实施方式〉
[0035][图像处理装置的示例性配置]
[0036](2.第二实施方式〉
[0037][图像处理装置的示例性配置]
[0038][图像处理装置的操作]
[0039](3.总结〉
[0040](1.第一实施方式〉
[0041][图像处理装置的示例性配置]
[0042]首先将描述根据本公开内容的第一实施方式的图像处理装置的示例性功能配置。图1是用于说明根据本公开内容的第一实施方式的图像处理装置的功能配置的示意图。现在参照图1来描述根据本公开内容的第一实施方式的图像处理装置的功能配置。
[0043]图像处理装置100接收从记录介质例如BD(Blu-ray?盘)中读出的或通过网络等从外部设备传输的主图像数据、副图像数据等。如本文中所使用的，术语“主图像数据”指对于一个屏幕具有预定尺寸的3D主图像的图像数据，术语“副图像数据”指对于一个屏幕具有预定尺寸的3D副图像的图像数据。例如，主图像数据是可以被视为3D图像的主要分量的图像。副图像可以是包括被附加到被视为主要分量的图像然后被显示的字幕、特效等的图像。此外，副图像可以是在主图像的一部分中显示的图像。图像处理装置100将3D主图像与3D副图像组合以生成组合图像数据。
[0044]如图1所示，图像处理装置100被配置成包括视差检测器IlOa和110b、视差分析器120a和120b、视差控制器130、图像转换器140a和140b、图像叠加单元150以及显示器160。
[0045]视差检测器IlOa使用构成从外部输入的主图像数据的左眼主图像的图像数据和右眼主图像的图像数据来针对每个像素检测3D主图像的视差。例如，对视差的检测可以采用JP 2011-055022A中所公开的技术。当针对每个像素检测3D主图像的视差时，视差检测器IlOa将关于所检测到的视差的数据提供给视差分析器120a。可以根据包括多个像素的块而不是根据单个像素来检测视差。
[0046]类似地，视差检测器IlOb使用构成从外部输入的副图像数据的左眼主图像的图像数据和右眼副图像的图像数据来针对每个像素检测3D副图像的视差。当检测3D副图像的视差时，视差检测器IlOb将关于所检测到的视差的数据提供给视差分析器120b。
[0047]视差分析器120a分析由视差检测器IlOa检测的3D主图像的视差信息，并且生成3D主图像的视差统计信息。例如，通过采用JP 2011-055022A中所公开的技术或者指示主图像的每个像素的视差的视差图，视差分析器120a可以生成视差分布作为视差统计信息。视差图的生成可以采用例如JP 2006-114023A中所公开的技术。当生成3D主图像的视差统计信息时，视差分析器120a将所生成的视差统计信息提供给视差控制器130。
[0048]类似地，视差分析器120b分析由视差检测器IlOb检测的3D副图像的视差信息，并且生成视差统计信息。当生成3D副图像的视差统计信息时，视差分析器120b将所生成的视差统计信息提供给视差控制器130。
[0049]图2是用于说明由视差分析器120a和120b生成的视差统计信息的示例的示意图。视差分析器120a和120b分析3D主图像和副图像的视差信息，并且生成如图2所示的视差统计信息。图2示出了其中在显示表面的深度侧存在最频繁视差的示例。
[0050]视差控制器130接收从外部输入的3D主图像的图像尺寸、显示尺寸以及显示位置。此外，视差控制器130接收从外部输入的3D副图像的图像尺寸、显示尺寸以及显示位置。指示作为3D图像不允许被超过的前侧和深度侧的视差的参考值的信息被作为关于显示位置的信息提供给视差控制器130。
[0051]其中屏幕深度侧的视差比眼睛之间的距离大的3D图像无法由人眼观看。因此，至少在3D主图像中，屏幕深度侧的视差必须不超过眼睛之间的距离。此外，为使人用眼睛将图像视觉上融合为3D图像，必须考虑屏幕前侧的视差量。虽然由于个体差异无法统一确定该视差量，但是根据由3D协会建立的针对3D视频的安全指南(3DC安全指南)，如果在能显示3D视频的电视机中将3D视频的视差角度设置在I度内，则3D视频变得使眼睛舒适(http://www.3dc.gr.jp/jp/scmt_wg_rep/guide_index.html)。换句话说，3D 图像的视差必须在某个范围内。将关于该范围的信息提供给视差控制器130。如本文中使用的，将不允许超过的屏幕前侧的视差的参考值设置为disp_min，并且将屏幕深度侧的视差的参考值设置为 disp_max。
[0052]视差控制器130确定用于调整相应主图像和副图像的视差(深度)使得不会出现矛盾例如沉降的校正方法和校正量。视差控制器130进行的确定基于由视差分析器120a提供的3D主图像的统计信息和由视差分析器120b提供的3D副图像的统计信息。后面将详细描述确定用于使得视差控制器130能够调整相应主图像和副图像的视差(深度)的校正方法和校正量的方式。当视差控制器130确定用于调整相应3D主图像和副图像的视差(深度)的校正方法和校正量时，视差控制器130将关于校正方法和校正量的信息提供给图像转换器140a和140b。后面将详细描述用于校正3D主图像和副图像的校正方法。
[0053]图像转换器140a基于用于调整3D主图像的视差(深度)并且由视差控制器130确定的校正方法和校正量来处理3D主图像。当处理3D主图像时，图像转换器140a将经处理的3D主图像提供给图像叠加单元150。
[0054]类似地，图像转换器140b基于用于调整3D副图像的视差(深度)并且由视差控制器130确定的校正方法和校正量来处理3D副图像。当处理3D副图像时，图像转换器140b将经处理的3D副图像提供给图像叠加单元150。
[0055]图像叠加单元150将由图像转换器140a处理的3D主图像和由图像转换器140b处理的3D副图像叠加。当叠加3D主图像和副图像时，图像叠加单元150将通过叠加所获得的要显示的图像数据提供给显示器160。
[0056]显示器160由能够显示3D图像的3D显示器构成。显示器160使用从图像叠加单元150提供的要显示的图像数据以时分方式显示左眼屏幕和右眼屏幕。在这种情况下，用户例如通过佩戴具有与左眼屏幕和右眼屏幕之间的切换同步的快门的眼镜来观看在显示器160上显示的图像。用户仅使用左眼来观看左眼屏幕，并且仅使用右眼来观看右眼屏幕。从而，用户可以观看其中3D主图像和3D副图像彼此叠加的3D图像。
[0057]显示器160可以由使得用户能够使用裸眼来识别3D图像的3D显示器构成。例如，这样的3D显示器采用视差(parallax)屏障系统(视差(disparity)屏障系统)、透镜系统等。
[0058]如上所述，已参照图1描述了根据本公开内容的第一实施方式的图像处理装置的功能配置。接着，将描述根据本公开内容的第一实施方式的图像处理装置的操作。
[0059][图像处理装置的操作]
[0060]图3是示出了根据本公开内容的第一实施方式的图像处理装置100的操作的流程图。参照图3描述根据本公开内容的第一实施方式的图像处理装置100的操作。
[0061]当接收多个3D图像数据(例如，3D主图像数据和3D副图像数据)时，根据本公开内容的第一实施方式的图像处理装置100计算相应3D图像的视差(步骤S101)。由视差检测器IlOa和IlOb执行3D图像的视差的计算。例如，视差的检测可以采用上述JP2011-055022A中公开的技术。如果根据与3D图像数据一起被接收的信息中了解了视差信息，则可以跳过步骤SlOl中的视差计算处理。
[0062]如果在步骤SlOl中对于多个3D图像数据计算每个3D图像的视差，则图像处理装置100分析每个3D图像的视差信息，并且生成3D图像的视差统计信息(步骤S102)。由视差分析器120a和120b执行3D图像的视差统计信息的生成。例如，视差分析器120a和120b可以利用在JP2011-055022A中所公开的技术或指示主图像的每个像素的视差的视差图来生成视差分布作为视差统计信息。视差图的生成可以采用例如在JP2006-114023A中所公开的技术。
[0063]如果在步骤S102中通过对于多个3D图像数据分析3D图像的视差信息来生成3D图像的视差统计信息，则图像处理装置100计算用于利用视差统计信息和包括3D图像的图像尺寸、显示尺寸以及显示位置的信息来校正3D图像的校正方法和校正量(步骤S103)。由视差控制器130执行用于校正每个3D图像的校正方法和校正量的计算。
[0064]如果在步骤S103中计算用于校正每个3D图像的校正方法和校正量，则图像处理装置100基于在步骤S103中计算的每个3D图像的校正方法和校正量来转换3D图像(步骤S104)。由图像转换器140a和140b执行3D图像的转换。
[0065]如果在步骤S104中基于在步骤S103中计算的3D图像的校正方法和校正量转换每个3D图像，则图像处理装置100将多个3D图像组合并且生成用于将它们显示为一个3D图像的显示图像数据(步骤S105)。
[0066]根据本公开内容的第一实施方式的图像处理装置100执行如图3所示的操作，从而使得能够防止当多个3D图像被组合时生成可能出现的矛盾的图像，由此使用户眼睛的紧张和疲劳小得多。
[0067]接着，将详细描述步骤S103中用于计算用来校正3D图像的校正方法和校正量的方法。
[0068]图4是示出了根据本公开内容的第一实施方式的图像处理装置100的操作的流程图。图4的流程图详细示出了图3的步骤S103中所示的用来校正3D图像的校正方法和校正量的计算。在下文中，在假设视差控制器130执行图4中所示的操作的情况下进行描述。参照图4来描述根据本公开内容的第一实施方式的图像处理装置100的操作。
[0069]为计算用来校正3D图像的校正方法和校正量，视差控制器130首先将多个3D图像的视差统计信息转换成与每个显示尺寸对应的统计信息(步骤S111)。例如，如果显示尺寸是图像尺寸的两倍，则视差统计信息(视差量)变成两倍。
[0070]图5是用于说明视差控制器130将3D图像的视差统计信息转换成与每个显示尺寸对应的统计信息的示例的示意图。例如，当如图5左边的曲线图所示由视差分析器120a(或视差分析器120b)获得视差统计信息时，如果显示尺寸是原始图像尺寸的两倍，则视差控制器130将视差统计信息中的视差量转换成如图5右边所示的双倍。视差控制器130对于所有3D图像执行统计信息的转换处理。
[0071]如果在步骤Slll中视差控制器130将多个3D图像的视差统计信息转换成与每个显示尺寸对应的统计信息，则视差控制器130在转换之后确定多个3D图像中的每个的视差的范围(步骤S112)。视差的范围表示从最前侧的视差到最深侧的视差的范围，并且与深度的动态范围对应。如果由视差分析器120a和120b确定的统计信息是视差分布，则视差分布的水平轴中的有效宽度变成视差的范围。如果由视差分析器120a和120b确定的视差统计信息是视差图，则视差图的最前侧的视差和最深侧的视差变成视差的范围。
[0072]视差控制器130可以在考虑噪声影响、视差检测准确度或者在确定视差的范围时对视差的错误检测的情况下确定视差的范围。例如，如果由视差分析器120a和120b确定的统计信息是视差分布，则视差控制器130可以执行阈值处理，该阈值处理考虑噪声等的影响从视差的范围中排除频率等于或小于给定值的视差或其频率在整个频率中的比率等于或小于给定值的视差。此外，视差控制器130可以执行排除处理，该排除处理从视差的范围中排除与主要视差分布分离的视差分布。
[0073]图6是用于说明由视差分析器120a和120b确定的统计信息的示例的示意图。图6示出了在由视差分析器120a和120b确定的统计信息中如何存在与主要视差分布分离的视差分布。视差控制器130可以执行排除处理，该排除处理从视差的范围中排除与主要视差分布分离的视差分布。
[0074]此外，当确定视差的范围时，视差控制器130可以执行最频繁中心处理，该处理优先选择最频繁视差并且确定在优选的最频繁视差附近给定范围的视差的范围。这是因为考虑到主要被摄体等更可能被包括在具有最频繁视差的图像中。
[0075]图7是用于说明由视差分析器120a和120b确定的统计信息的示例的示意图。图7示出了在由视差分析器120a和120b确定的统计信息中如何确定最频繁视差周围的给定范围的视差的范围。
[0076]如果由视差分析器120a和120b确定的统计信息是视差图，则可以使用阈值处理、排除处理或最频繁中心处理来类似地确定视差的范围。
[0077]如果在步骤SI 12中视差控制器130在转换之后确定多个3D图像中的每个的视差范围，则视差控制器130计算校正量，使得针对每个3D图像确定的视差的范围不与其他3D图像的视差的范围交叠(步骤S113)。
[0078]图8是用于说明计算校正量使得针对每个3D图像确定的视差的范围不与其他3D图像的视差的范围交叠的示例的示意图。例如，如图8所示，当显示通过在3D主图像前组合3D副图像而获得的3D图像时，如果主图像数据的视差的范围是从-10至30，并且副图像数据的视差的范围是从-20至0，则从-10至O的视差的范围交叠。
[0079]因此，视差控制器130校正3D主图像向深度侧偏移10，并且校正3D副图像向前侧偏移-10。或者，视差控制器130可以校正主图像向深度侧偏移，并且校正副图像向前侧偏移，使得主图像和副图像的校正总量为10。可以偏移3D主图像的视差而不偏移3D副图像的视差。
[0080]该校正量表示允许左图像和右图像沿垂直于显示表面的方向偏移的视差的值。视差控制器130通过将整个3D图像沿垂直于显示表面的方向偏移来改变视差。
[0081]然而，人们无法观看其中屏幕的深度侧的视差比眼睛之间的距离更大的3D图像。因此，至少在3D主图像中，屏幕的深度侧的视差必须不能超过眼睛之间的距离。此外，为了使人用眼睛将图像视觉地融合为3D图像，需要考虑屏幕前侧的视差量。因此，即使当校正量被计算使得针对每个3D图像确定的视差的范围不与其他3D图像的视差的范围交叠时，如果组合图像视觉上不再被识别为3D图像，则这样的计算可能是无用的。因此，优选的是确定校正量，使得组合图像可以被视觉上识别为3D图像。
[0082]如果在步骤S113中视差控制器130计算校正量使得针对每个3D图像确定的视差的范围不与其他3D图像的视差的范围交叠，则视差控制器130获得作为3D图像不允许超过的屏幕前侧的视差的参考值disp_min和屏幕深度侧的视差的参考值dispjnax (步骤S114)。
[0083]根据显示器160的尺寸和用户观看3D图像的观看环境来近似地设置disp_min和disp_max的值。此外,可以由用户来近似地设置disp_min和disp_max的值。
[0084]如果在步骤SI 14中视差控制器130获得disp_min和disp_max的值，则视差控制器130确定利用在步骤SI 13中确定的校正量校正的3D图像的视差的范围是否在所获得的disp_min和disp_max的值的范围内(步骤SI 15)。
[0085]根据步骤S115中的确定，如果确定利用步骤S113中确定的校正量校正的3D图像的视差的范围会在disp_min和disp_max的值的范围内，则视差控制器130计算校正量,使得其在disp_min和disp_max的值的范围内。
[0086]图9和图10是用于说明以下不例的不意图:计算校正量，使得针对每个3D图像确定的视差的范围不与其他3D图像的视差的范围交叠，并且不允许超过disp_min和disp_max的范围。
[0087]例如，如图9所示，当显示通过在3D主图像前组合3D副图像而获得的3D图像时，假设主图像数据的视差的范围被设置为-10至30，副图像数据的视差的范围被设置为-20至O, disp_min被设置为-20,并且disp_max被设置为50。在这种情况下,如果将副图像向前侧偏移，则所产生的图像将在前侧中超过disp_min显示。因此，在这样的情况下，视差控制器130仅控制主图像向深度侧偏移10。
[0088]此外，例如，如图10所示，当显示通过在3D主图像前组合3D副图像而获得的3D图像时，假设主图像数据的视差的范围被设置为-10至30，副图像数据的视差的范围被设置为-20至O, disp_min被设置为-30,并且disp_max被设置为30。在这种情况下,如果将主图像向深度侧偏移，则所产生的图像将在深度侧中超过disp_max显示。因此，在这样的情况下，视差控制器130仅控制副图像向前侧偏移10。
[0089]此外，视差控制器130可以通过改变disp_min和disp_max的值来控制主图像和副图像中的一个图像的视差固定而变化另一图像的视差。
[0090]另一方面，根据步骤S115中的确定，如果确定多个3D图像的视差无法不交叠，并且利用步骤S113中确定的校正量校正的3D图像的视差的范围无法在disp_min和disp_max的值的范围内，则无法采用通过将整个图像向垂直于显示器160的显示表面的方向偏移来校正视差的校正方法。因此，在这种情况下，视差控制器130确定2D到3D转换被用作校正方法(步骤S117)。2D到3D转换是以伪方式来根据2D图像生成3D图像的处理。在本实施方式中，从3D图像中的任何一个图像的视点来看，视差控制器130以伪方式生成3D图像。
[0091]2D到3D转换可以在没有任何限制的情况下改变视差(深度)的动态范围，由此视差的范围可以在disp_min和disp_max的值的范围内。图11是用于说明原始3D图像与disp_min和di sp_max中的每个之间的关系的示例的示意图。图11示出了原始3D图像的视差的范围无法在disp_min和disp_max的值的范围内的状态。在这种情况下，视差控制器130执行2D到3D转换以使得3D图像的视差的范围能够在disp_min和disp_max的值的范围内。
[0092]图12是用于说明原始3D图像经历2D到3D转换从而3D图像的视差的范围在disp_min和disp_max的值的范围内的示例的示意图。图12示出了左眼图像被转换成3D图像使得视差的范围在disp_min和disp_max的值的范围内的状态。以这种方式，2D到3D转换可以在没有任何限制的情况下改变视差(深度)的动态范围，从而即使当原始3D图像的视差的范围无法在disp_min和disp_max的值的范围内时，视差的范围也可以在disp_min和disp_max的值的范围内。
[0093]可以对主图像和副图像中的任何一个图像或者可以对两者执行2D到3D转换。当执行2D到3D转换时，2D图像可以被转换成3D图像，同时维持视差统计信息的分布。
[0094]如上所述，已参照图4描述了根据本公开内容的第一实施方式的图像处理装置100的操作。以这种方式，3D图像的视差的校正可以防止在组合多个3D图像时生成矛盾的图像，从而使用户眼睛的紧张和疲劳小得多。
[0095]在本实施方式中，视差控制器130获取disp_min和disp_max，并且将3D图像的视差校正为在disp_min和disp_max的范围内，但是本公开内容不限于本实施方式。例如，据说适合于3D观看的观看距离取决于显示器160的屏幕尺寸，并且适合于3D观看的观看距离是屏幕的竖直侧的长度的三倍。因此，当校正3D图像的视差时，视差控制器130可以考虑关于屏幕尺寸的信息，特别是显示器160的竖直侧的长度、眼睛之间的距离(具体地，两个眼睛的瞳孔之间的距离)以及视差角度。
[0096]如上所述，当组合多个3D图像以生成一个3D图像时，根据本公开内容的第一实施方式的图像处理装置100获取每个3D图像的视差的统计信息，基于该统计信息获取每个3D图像的视差的范围，以及确定使每个3D图像的视差的范围不交叠的校正方法和校正方法。当确定校正方法和校正量时，校正方法和校正量被确定为在作为3D图像不允许超过的从屏幕前侧的视差的参考值disp_min到屏幕深度侧的视差的参考值disp_max的范围内。
[0097]以这种方式，确定每个3D图像的校正方法和校正量，并且组合每个3D图像，从而可以生成使用户眼睛的紧张和疲劳小得多的3D图像，并且可以防止生成其中3D图像被显示但与其他3D图像交叠并且沉降到其他3D图像中的矛盾的图像。
[0098](2.第二实施方式〉
[0099]在上述本公开内容的第一实施方式中，通过使整个图像的视差偏移来防止生成具有沉降部分的矛盾的图像。在本公开内容的第二实施方式中，将描述针对每个图像通过检测对象(例如，包含在屏幕中的被摄体)的区域并且通过以对象为单位执行视差的分析和控制来防止生成具有沉降部分的矛盾的图像的方法。
[0100]图13是用于说明根据本公开内容的第二实施方式的图像处理装置的功能配置的示意图。参照图13描述根据本公开内容的第二实施方式的图像处理装置的功能配置。
[0101]类似于根据本公开内容的第一实施方式的图像处理装置100，图像处理装置200接收从记录介质例如BD(Blu-ray?盘)读出的或通过网络等从外部设备传输的主图像数据、副图像数据等。图像处理装置200将3D主图像与3D副图像组合以生成组合图像数据。
[0102]如图13所示，图像处理装置200被配置成包括视差检测器210a和210b、对象区域检测器215a和215b、视差分析器220a和220b、视差控制器230、图像转换器240a和240b、图像叠加单元250以及显示器260。
[0103]类似于视差检测器110a，视差检测器210a利用构成从外部输入的主图像数据的左眼主图像和右眼主图像的图像数据来针对每个像素检测3D主图像的视差。类似于视差检测器110b，视差检测器210b利用构成从外部输入的副图像数据的左眼主图像的图像数据和右眼副图像的图像数据来针对每个像素检测3D副图像的视差。
[0104]对象区域检测器215a检测从外部输入的主图像数据的对象例如被摄体的区域。例如，对象区域检测器215a通过采用在JP 2011-34178A等中公开的使用图割法的分割技术来检测对象的区域。对象区域检测器215a将关于被检测的主图像的对象区域的信息发送给视差分析器220a。
[0105]类似地，对象区域检测器215b检测从外部输入的副图像数据的对象例如被摄体的区域。对象区域检测器215b将关于被检测的副图像的对象区域的信息发送给视差分析器 220b ο
[0106]视差分析器220a以由对象区域检测器215a检测的主图像的对象为单位来分析由视差检测器210a检测的3D主图像的视差信息，并且以主图像的对象为单位生成3D主图像的视差统计信息。类似于视差分析器120a，视差分析器220a例如可以利用JP2011-055022A中公开的技术或指示主图像的每个像素的视差的视差图来生成视差分布作为视差统计信息。视差图的生成可以采用例如JP 2006-114023A中公开的技术。当以主图像的对象为单位生成3D主图像的视差统计信息时，视差分析器220a将生成的视差统计信息提供给视差控制器230。
[0107]类似地，视差分析器220b以由对象区域检测器215b检测的副图像的对象为单位分析由视差检测器210b检测的3D副图像的视差信息，以生成视差统计信息。当以对象为单位生成3D副图像的视差统计信息时，视差分析器220b将生成的视差统计信息提供给视差控制器230。
[0108]类似于视差控制器130，视差控制器230接收从外部输入的3D主图像的图像尺寸、显示尺寸以及显示位置。此外，类似于视差控制器130，视差控制器230接收从外部输入的3D副图像的图像尺寸、显示尺寸以及显示位置。指示作为3D图像不允许超过的前侧和深度侧的视差的参考值的信息被作为关于显示位置的信息提供给视差控制器230。
[0109]基于由视差分析器220a提供的以3D主图像的对象为单位的视差统计信息和由视差分析器220b提供的以3D副图像的对象为单位的视差统计信息，视差控制器230确定用于调整相应主图像和副图像的视差(深度)的校正方法和校正量，使得对于每个图像不以对象为单位出现矛盾例如沉降。
[0110]视差控制器230确定用于调整相应主图像和副图像的视差(深度)的校正方法和校正量的方式基本上类似于视差控制器130进行的处理。然而，视差控制器230与视差控制器130的不同之处在于:视差控制器230以图像为单位和以对象为单位来确定校正方法和校正量。当确定用于以对象为单位调整相应3D主图像和副图像的视差(深度)的校正方法和校正量时，视差控制器230将关于确定的校正方法和校正量的信息提供给图像转换器 240a 和 240b ο
[0111]类似于图像转换器140a，图像转换器240a基于用于以对象为单位调整3D主图像的视差(深度)并且由视差控制器230确定的校正方法和校正量来处理3D主图像。当处理3D主图像时，图像转换器240a将经处理的3D主图像提供给图像叠加单元250。
[0112]类似于图像转换器240a，图像转换器240b基于用于以对象为单位调整3D副图像的视差(深度)并且由视差控制器230确定的校正方法和校正量来处理3D副图像。当处理3D副图像时，图像转换器240b将经处理的3D副图像提供给图像叠加单元250。
[0113]类似于图像叠加单元150，图像叠加单元250将由图像转换器240a处理的3D主图像和由图像转换器240b处理的3D副图像叠加。当叠加3D主图像和副图像时，图像叠加单元250将通过叠加获得的显示图像数据提供给显示器260。
[0114]显示器260由能够显示3D图像的3D显示器构成。类似于显示器160，显示器260利用由图像叠加单元250提供的显示图像数据以时分方式来显示左眼屏幕和右眼屏幕。在这种情况下，用户例如通过佩戴具有与左眼屏幕和右眼屏幕之间的切换同步的快门的眼镜来观看在显示器260上显示的图像。用户仅通过左眼来观看左眼屏幕，并且仅通过右眼来观看右眼屏幕。因此，用户可以观看其中3D主图像和副图像彼此叠加的3D图像。
[0115]显示器260可以由使得用户能够使用裸眼来识别3D图像的3D显示器构成。这样的3D显示器采用例如视差屏障系统、透镜系统等。
[0116]如上所述，已参照图13描述了根据本公开内容的第二实施方式的图像处理装置的功能配置。接着，将描述根据本公开内容的第二实施方式的图像处理装置的操作。
[0117][图像处理装置的操作]
[0118]图14是示出根据本公开内容的第二实施方式的图像处理装置200的操作的流程图。参照图14描述根据本公开内容的第二实施方式的图像处理装置200的操作。
[0119]当接收多个3D图像数据(例如，3D主图像和副图像数据)时，根据本公开内容的第二实施方式的图像处理装置200计算包括在每个3D图像中的对象的区域(步骤S201)。由对象区域检测器215a和215b执行对象的区域的计算。
[0120]此外，在步骤S201中的对象区域的计算之后、之前或期间，图像处理装置200计算每个3D图像的视差(步骤S202)。由视差检测器210a和210b执行每个3D图像的视差的计算。
[0121]如果在步骤S201中获得了多个3D图像数据的每个对象区域，并且在步骤S202中计算了多个3D图像数据的每个3D图像的视差，则图像处理装置200以对象为单位分析每个3D图像的视差信息，以便以对象为单位生成3D图像的视差统计信息(步骤S203)。由视差分析器220a和220b执行3D图像的视差统计信息的生成。
[0122]如果在步骤S203中通过以对象为单位分析多个3D图像数据的3D图像的视差信息来以对象为单位生成了 3D图像的视差统计信息，则图像处理装置200计算用于基于3D图像的视差统计信息和包括3D图像的图像尺寸、显示尺寸以及显示位置的信息来以对象为单位校正3D图像的校正方法和校正量(步骤S204)。由视差控制器230执行用于以对象为单位校正每个3D图像的校正方法和校正量的计算。
[0123]在本实施方式中，以对象为单位确定校正方法和校正量，因此将详细描述与第一实施方式不同的处理。无论视差的范围在每个3D图像中改变多少，在图像平面上不交叠的对象都不会引起矛盾例如沉降。因此，在本实施方式中，视差控制器230确定校正方法和校正量，使得对于一组在图像平面上具有交叠区域的对象来说不存在矛盾例如沉降。
[0124]此外，例如，当存在三个对象A、B和C时，如果对象A和B没有彼此交叠的区域，并且对象C具有与对象A和B交叠的区域，则视差控制器230可以首先确定针对交叠部分大于其它对象的对象C的校正方法和校正量，然后确定针对对象A和B的校正方法和校正量。
[0125]此外，当以对象为单位确定校正方法和校正量时，视差控制器230可以通过考虑每个对象之间在深度方向上的位置关系来确定校正方法和校正量。例如，当在3D图像中示出两个对象A和B时，如果存在其中对象A不允许被放置在对象B后的场景，则视差控制器230可以确定校正方法和校正量，使得对象A不允许被放置在对象B的后面，或者对象B不允许被放置在对象A的前面。
[0126]图15是用于说明3D图像中的对象之间的位置关系的示例的示意图。图15的左侧示出了显示在显示器260上的屏幕图像，并且图15的右侧示出了当从显示器260的上侧向下看3D图像中的对象之间的位置关系时的图像。
[0127]图15示出了房屋和花作为对象。对象之间的位置关系被假设成房屋不允许被放置在花的前方。在这种情况下，视差控制器230确定校正方法和校正量，使得花不允许被放置在房屋的后面，或者房屋不允许被放置在花的前面。
[0128]关于位置关系的信息可以与图像数据一起提供给视差控制器230，或者可以通过允许视差控制器230执行对图像数据的场景分析来获得。
[0129]如果在步骤S204中以对象为单位计算针对每个3D图像的校正方法和校正量，则图像处理装置200基于在步骤S204中计算的以3D图像的对象为单位的校正方法和校正量来转换3D图像(步骤S205)。由图像转换器240a和240b执行3D图像的转换。
[0130]如果校正方法是沿垂直于显示器260的显示表面的方向的偏移校正，则根据每个对象的偏移校正的量来偏移图像中的对象的区域。此外，如果校正方法是2D到3D转换，则图像中的对象的区域经历2D到3D转换。当然，可以同时执行这两种校正方法。
[0131]此外，在两种校正方法中，出现对象之间的边界中的不存在的区域(遮挡区)，因此这可以根据其他视点的图像信息来补充，可以根据同一视点的时间方向上的图像信息来补充，或者可以根据当前图像的空间方向上的信息(相邻图像信息)来补充(图像修复)。
[0132]如果在步骤S205中基于在步骤S204中计算的以3D图像的对象为单位的校正方法和校正量来针对每个3D图像执行转换，则图像处理装置200组合多个3D图像并且生成被用于要显示为一个3D图像的显示图像数据(步骤S206)。
[0133]执行如图14所示的操作的根据本公开内容的第二实施方式的图像处理装置200使得能够防止在多个3D图像被组合时生成矛盾的图像，由此使用户眼睛的紧张和疲劳小得多。此外，根据本公开内容的第二实施方式的图像处理装置200以对象为单位来计算校正方法和校正量，从而更灵活地改变图像的视差范围。
[0134](3.总结〉
[0135]如上所述，根据本公开内容的一个或更多个实施方式，可以防止在多个3D图像被组合时生成矛盾的图像，从而使用户眼睛的紧张和疲劳小得多。在本公开内容的第一实施方式中，以屏幕为单位来针对每个3D图像确定校正方法和校正量。此外，在本公开内容的第二实施方式中，以屏幕为单位和以对象为单位来针对每个3D图像确定校正方法和校正量。在这些情况下，它们被确定为在作为3D图像不允许被超过的从屏幕前侧的视差的参考值到屏幕深度侧的视差的参考值的范围内，因此可以在执行组合时生成没有交叠和沉降部分的自然的3D图像。
[0136]在上述实施方式中，虽然已经示出了当两个3D图像即3D主图像和3D副图像被组合时要使用的处理，但是本公开内容不限于此。可以类似地甚至将三个或更多个3D图像应用于组合图像的情况，尽管没有使用户眼睛的紧张和疲劳小得多。
[0137]此外，在上述实施方式中，虽然已分别描述了包括显示器160和260的图像处理装置100和200，但本公开内容不限于此。可以由图像处理装置执行3D图像的组合，并且可以由其他设备执行3D图像的显示。此外，可以通过连接至经由网络来显示3D图像的3D显示器的服务器组来执行由图像处理装置100或200执行的处理，并且可以由3D显示器经由网络从服务器组接收通过组合3D图像而获得的图像数据。
[0138]此外，可以由硬件来执行或可以由软件来执行上述实施方式中描述的处理。当由软件来执行上述实施方式中描述的处理时，例如合并在图像处理装置100或200中的控制器如CPU可以顺序地读出并且执行记录介质如ROM、HDD以及SSD中存储的计算机程序。
[0139]以上已参照附图描述了本发明的优选实施方式，然而当然本发明不限于以上示例。本领域的技术人员可以在所附权利要求的范围内发现各种替代和修改，并且应理解的是，他们将自然在本发明的技术范围内。
[0140]此外，本技术还可以被配置如下。
[0141](I) 一种图像处理装置，包括:
[0142]视差检测器，被配置成:接收多个3D图像并且检测所述3D图像中的每个3D图像的视差；
[0143]视差分析器，被配置成:使用由所述视差检测器检测的每个3D图像的视差来生成关于每个3D图像的视差的统计信息；以及
[0144]视差控制器，被配置成:以所述3D图像不交叠的方式使用由所述视差分析器生成的关于每个3D图像的视差的所述统计信息来转换所述视差，使得所述视差的范围在预定范围内。
[0145](2)根据(I)所述的图像处理装置，还包括:
[0146]图像转换器，被配置成:当由所述视差控制器转换的所述视差的范围不在所述预定范围内时，对所述多个3D图像中的至少一个3D图像执行2D至3D的转换处理。
[0147](3)根据⑴所述的图像处理装置，还包括:
[0148]对象区域检测器，被配置成检测每个所提供的3D图像中的对象的区域，
[0149]其中，所述视差分析器以由所述对象区域检测器检测的每个3D图像的对象为单位生成关于视差的统计信息，并且所述视差控制器以每个3D图像中包含的对象不交叠的方式使用由所述视差分析器生成的以对象为单位的关于视差的所述统计信息来转换所述视差，使得所述视差的范围在预定范围内。
[0150](4)根据(3)所述的图像处理装置，还包括:
[0151]图像转换器，被配置成:当由所述视差控制器转换的所述视差的范围不在所述预定范围内时，对由所述对象区域检测器检测到的所述对象中的至少之一执行2D至3D的转换处理。
[0152](5)根据(I)至(4)中任一项所述的图像处理装置，其中，当显示3D图像时，所述视差控制器在前侧和深度侧的视差范围内转换所述视差，不允许超出该视差范围。
[0153](6)根据(I)至(5)中任一项所述的图像处理装置，其中，所述视差控制器通过考虑要显示3D图像的屏幕的尺寸来转换所述视差。
[0154](7)根据(6)所述的图像处理装置，其中，所述视差控制器通过考虑要显示3D图像的屏幕的竖直侧的长度来转换所述视差。
[0155](8) —种图像处理方法，包括:
[0156]接收多个3D图像，并且检测所述3D图像中的每个3D图像的视差；
[0157]使用所检测的每个3D图像的视差来生成关于每个3D图像的视差的统计信息；以及
[0158]以所述3D图像不交叠的方式使用所生成的关于每个3D图像的视差的统计信息来转换所述视差，使得所述视差的范围在预定范围内。
[0159](9) 一种计算机程序，用于使计算机执行:
[0160]接收多个3D图像，并且检测所述3D图像中的每个3D图像的视差；
[0161]使用所检测的每个3D图像的视差来生成关于每个3D图像的视差的统计信息；以及
[0162]以所述3D图像不交叠的方式使用所生成的关于每个3D图像的视差的统计信息来转换所述视差，使得所述视差的范围在预定范围内。
[0163]附图标记列表
[0164]100图像处理装置
[0165]IlOa视差检测器
[0166]IlOb视差检测器
[0167]120a视差分析器
[0168]120b视差分析器
[0169]130视差控制器
[0170]140a图像转换器
[0171]140b图像转换器
[0172]150图像叠加单元
[0173]160 显示器
[0174]200图像处理装置
[0175]210a视差检测器
[0176]210b视差检测器
[0177]215a对象区域检测器
[0178]215b对象区域检测器
[0179]220a视差分析器
[0180]220b视差分析器
[0181]230视差控制器
[0182]240a图像转换器
[0183]240b图像转换器
[0184]250图像叠加单元
[0185]260显示器
【权利要求】
1.一种图像处理装置，包括: 视差检测器，被配置成:接收多个3D图像并且检测所述3D图像中的每个3D图像的视差; 视差分析器，被配置成:使用由所述视差检测器检测的每个3D图像的视差来生成关于每个3D图像的视差的统计信息；以及 视差控制器，被配置成:以所述3D图像不交叠的方式使用由所述视差分析器生成的关于每个3D图像的视差的所述统计信息来转换所述视差，使得所述视差的范围在预定范围内。
2.根据权利要求1所述的图像处理装置，还包括: 图像转换器，被配置成:当由所述视差控制器转换的所述视差的范围不在所述预定范围内时，对所述多个3D图像中的至少一个3D图像执行2D至3D的转换处理。
3.根据权利要求1所述的图像处理装置，还包括: 对象区域检测器，被配置成检测每个所提供的3D图像中的对象的区域， 其中，所述视差分析器以由所述对象区域检测器检测的每个3D图像的对象为单位生成关于视差的统计信息，并且所述视差控制器以每个3D图像中包含的对象不交叠的方式使用由所述视差分析器生成的以对象为单位的关于视差的所述统计信息来转换所述视差，使得所述视差的范围在预定范围内。
4.根据权利要求3所述的图像处理装置，还包括: 图像转换器，被配置成:当由所述视差控制器转换的所述视差的范围不在所述预定范围内时，对由所述对象区域检测器检测到的所述对象中的至少之一执行2D至3D的转换处理。
5.根据权利要求1所述的图像处理装置，其中，当显示3D图像时，所述视差控制器在前侧和深度侧的视差范围内转换所述视差，不允许超出该视差范围。
6.根据权利要求1所述的图像处理装置，其中，所述视差控制器通过考虑要显示3D图像的屏幕的尺寸来转换所述视差。
7.根据权利要求6所述的图像处理装置，其中，所述视差控制器通过考虑要显示3D图像的屏幕的竖直侧的长度来转换所述视差。
8.—种图像处理方法，包括: 接收多个3D图像，并且检测所述3D图像中的每个3D图像的视差； 使用所检测的每个3D图像的视差来生成关于每个3D图像的视差的统计信息；以及以所述3D图像不交叠的方式使用所生成的关于每个3D图像的视差的统计信息来转换所述视差，使得所述视差的范围在预定范围内。
9.一种计算机程序，用于使计算机执行: 接收多个3D图像，并且检测所述3D图像中的每个3D图像的视差； 使用所检测的每个3D图像的视差来生成关于每个3D图像的视差的统计信息；以及以所述3D图像不交叠的方式使用所生成的关于每个3D图像的视差的统计信息来转换所述视差，使得所述视差的范围在预定范围内。
【文档编号】H04N13/04GK104137537SQ201280070231
【公开日】2014年11月5日 申请日期:2012年12月25日 优先权日:2012年2月27日
【发明者】染谷清登, 宫本浩平, 泉伸明, 隈智, 安藤裕司 申请人:索尼公司
【专利摘要】[问题]要提供一种图像处理装置，由此可以防止在多个3D图像的合成期间生成具有矛盾的图像，以避免用户眼睛疲劳。[解决方案]提供了一种图像处理装置，包括：视差检测器，被配置成接收多个3D图像并且检测3D图像中的每个3D图像的视差；差分析器，被配置成使用由视差检测器检测的每个3D图像的视差来生成关于每个3D图像的视差的统计信息；以及视差控制器，被配置成以3D图像不交叠的方式使用由视差分析器生成的关于每个3D图像的视差的统计信息来转换视差，使得视差的范围在预定范围内。
【专利说明】图像处理装置、图像处理方法及计算机程序
【技术领域】
[0001]本公开内容涉及图像处理装置、图像处理方法以及计算机程序。
【背景技术】
[0002]用于使得观者能够体验图像的立体视图的3D图像显示的技术已得到广泛发展。此外，用于组合和显示多个3D图像的技术也已被报道(参见专利文献I)。在专利文献I中，公开了一种技术，其意在缓解当组合3D副图像与3D主图像并且显示所产生的组合图像时可能引起的眼睛紧张，如果3D主图像在垂直于3D主图像的屏幕的深度方向上的位置被放置得距离副图像在深度方向上的位置过远或过近，这使用户的眼睛紧张。
[0003]引用列表
[0004]专用文献
[0005]专利文献I JP 2011-166761A
【发明内容】
[0006]技术问题
[0007]在专利文献I公开的技术中，使用3D主图像和副图像中每个的统计信息来校正主图像和副图像，使得主图像和副图像在深度方向上的位置之间的距离在预定范围内。
[0008]然而，当通过使图像整体向深度方向偏移来校正3D主图像和副图像时，并没有相应改变每个图像的视差的动态范围，从而在一些情况下造成其中3D图像被显示并沉降到另一 3D图像中的矛盾的图像的问题。
[0009]因此，本公开内容是鉴于这样的问题而作出的，并且提供了新颖且改进的图像处理装置、图像处理方法及计算机程序，其能够防止在多个3D图像被组合时生成矛盾的图像，从而使用户眼睛的紧张和疲劳小得多。
[0010]问题的解决方案
[0011]根据本公开内容，提供了一种图像处理装置，包括:视差检测器，被配置成接收多个3D图像并且检测每个3D图像的视差；视差分析器，被配置成使用由视差检测器检测的每个3D图像的视差来生成关于每个3D图像的视差的统计信息；以及视差控制器，被配置成以3D图像不交叠的方式使用由视差分析器生成的关于每个3D图像的视差的统计信息来转换视差，使得视差的范围在预定范围内。
[0012]根据上述实施方式，视差检测器检测所提供的多个3D图像中的每个的视差，并且视差分析器使用由视差检测器检测到的每个3D图像的视差来生成每个3D图像的视差统计信息。视差控制器以3D图像不交叠的方式使用由视差分析器生成的每个3D图像的视差统计信息来转换视差，使得视差的范围在预定范围内。因此，图像处理装置能够防止在多个3D图像被组合时生成矛盾的图像，从而使用户眼睛的紧张和疲劳小得多。
[0013]根据本公开内容，提供了一种图像处理方法，包括:接收多个3D图像并且检测3D图像中的每个的视差；使用所检测的每个3D图像的视差生成关于每个3D图像的视差的统计信息；以及以3D图像不交叠的方式使用所生成的关于每个3D图像的视差的统计信息来转换视差，使得视差的范围在预定范围内。
[0014]根据本公开内容，提供了一种计算机程序，其用于使计算机执行:接收多个3D图像并且检测每个3D图像的视差；使用所检测的每个3D图像的视差来生成关于每个3D图像的视差的统计信息；以及以3D图像不交叠的方式使用所生成的关于每个3D图像的视差的统计信息来转换视差，使得视差的范围在预定范围内。
[0015]本发明的有益效果
[0016]根据上述本公开内容的一个或更多个实施方式，可以提供新颖且改进的图像处理装置、图像处理方法及计算机程序，其能够防止在多个3D图像被组合时生成矛盾的图像，从而使用户眼睛的紧张和疲劳小得多。
【专利附图】
【附图说明】
[0017][图1]是用于说明根据本公开内容的第一实施方式的图像处理装置的功能配置的示意图。
[0018][图2]是用于说明由视差分析器120a和120b生成的视差统计信息的示例的示意图。
[0019][图3]是示出根据本公开内容的第一实施方式的图像处理装置100的操作的流程图。
[0020][图4]是示出根据本公开内容的第一实施方式的图像处理装置100的操作的流程图。
[0021][图5]是用于说明其中视差控制器130将3D图像的视差统计信息转换成与每个显示尺寸对应的统计信息的示例的示意图。
[0022][图6]是用于说明由视差分析器120a和120b确定的统计信息的示例的示意图。
[0023][图7]是用于说明由视差分析器120a和120b确定的统计信息的示例的示意图。
[0024][图8]是用于说明计算校正量使得针对每个3D图像确定的视差的范围不与其他3D图像的视差的范围交叠的示例的示意图。
[0025][图9]是用于说明针对每个3D图像计算校正量的示例的示意图。
[0026][图10]是用于说明针对每个3D图像计算校正量的示例的示意图。
[0027][图11]是用于说明原始3D图像与disp_min和disp_max中的每个之间的关系的示例的示意图。
[0028][图12]是用于说明其中使3D图像经历2D到3D转换从而该3D图像的视差的范围在disp_min和disp_max的值的范围内的示例的示意图。
[0029][图13]是用于说明根据本公开内容的第二实施方式的图像处理装置的功能配置的示意图。
[0030][图14]是示出根据本公开内容的第二实施方式的图像处理装置100的操作的流程图。
[0031][图15]是用于说明3D图像中的对象之间的位置关系的示例的示意图。
【具体实施方式】
[0032]下文中，将参照附图详细描述本发明的优选实施方式。注意，在本说明书和附图中，用相同的附图标记表示具有基本上相同的功能和结构的元件，并且省略重复的说明。
[0033]将以下列顺序进行说明。
[0034](1.第一实施方式〉
[0035][图像处理装置的示例性配置]
[0036](2.第二实施方式〉
[0037][图像处理装置的示例性配置]
[0038][图像处理装置的操作]
[0039](3.总结〉
[0040](1.第一实施方式〉
[0041][图像处理装置的示例性配置]
[0042]首先将描述根据本公开内容的第一实施方式的图像处理装置的示例性功能配置。图1是用于说明根据本公开内容的第一实施方式的图像处理装置的功能配置的示意图。现在参照图1来描述根据本公开内容的第一实施方式的图像处理装置的功能配置。
[0043]图像处理装置100接收从记录介质例如BD(Blu-ray?盘)中读出的或通过网络等从外部设备传输的主图像数据、副图像数据等。如本文中所使用的，术语“主图像数据”指对于一个屏幕具有预定尺寸的3D主图像的图像数据，术语“副图像数据”指对于一个屏幕具有预定尺寸的3D副图像的图像数据。例如，主图像数据是可以被视为3D图像的主要分量的图像。副图像可以是包括被附加到被视为主要分量的图像然后被显示的字幕、特效等的图像。此外，副图像可以是在主图像的一部分中显示的图像。图像处理装置100将3D主图像与3D副图像组合以生成组合图像数据。
[0044]如图1所示，图像处理装置100被配置成包括视差检测器IlOa和110b、视差分析器120a和120b、视差控制器130、图像转换器140a和140b、图像叠加单元150以及显示器160。
[0045]视差检测器IlOa使用构成从外部输入的主图像数据的左眼主图像的图像数据和右眼主图像的图像数据来针对每个像素检测3D主图像的视差。例如，对视差的检测可以采用JP 2011-055022A中所公开的技术。当针对每个像素检测3D主图像的视差时，视差检测器IlOa将关于所检测到的视差的数据提供给视差分析器120a。可以根据包括多个像素的块而不是根据单个像素来检测视差。
[0046]类似地，视差检测器IlOb使用构成从外部输入的副图像数据的左眼主图像的图像数据和右眼副图像的图像数据来针对每个像素检测3D副图像的视差。当检测3D副图像的视差时，视差检测器IlOb将关于所检测到的视差的数据提供给视差分析器120b。
[0047]视差分析器120a分析由视差检测器IlOa检测的3D主图像的视差信息，并且生成3D主图像的视差统计信息。例如，通过采用JP 2011-055022A中所公开的技术或者指示主图像的每个像素的视差的视差图，视差分析器120a可以生成视差分布作为视差统计信息。视差图的生成可以采用例如JP 2006-114023A中所公开的技术。当生成3D主图像的视差统计信息时，视差分析器120a将所生成的视差统计信息提供给视差控制器130。
[0048]类似地，视差分析器120b分析由视差检测器IlOb检测的3D副图像的视差信息，并且生成视差统计信息。当生成3D副图像的视差统计信息时，视差分析器120b将所生成的视差统计信息提供给视差控制器130。
[0049]图2是用于说明由视差分析器120a和120b生成的视差统计信息的示例的示意图。视差分析器120a和120b分析3D主图像和副图像的视差信息，并且生成如图2所示的视差统计信息。图2示出了其中在显示表面的深度侧存在最频繁视差的示例。
[0050]视差控制器130接收从外部输入的3D主图像的图像尺寸、显示尺寸以及显示位置。此外，视差控制器130接收从外部输入的3D副图像的图像尺寸、显示尺寸以及显示位置。指示作为3D图像不允许被超过的前侧和深度侧的视差的参考值的信息被作为关于显示位置的信息提供给视差控制器130。
[0051]其中屏幕深度侧的视差比眼睛之间的距离大的3D图像无法由人眼观看。因此，至少在3D主图像中，屏幕深度侧的视差必须不超过眼睛之间的距离。此外，为使人用眼睛将图像视觉上融合为3D图像，必须考虑屏幕前侧的视差量。虽然由于个体差异无法统一确定该视差量，但是根据由3D协会建立的针对3D视频的安全指南(3DC安全指南)，如果在能显示3D视频的电视机中将3D视频的视差角度设置在I度内，则3D视频变得使眼睛舒适(http://www.3dc.gr.jp/jp/scmt_wg_rep/guide_index.html)。换句话说，3D 图像的视差必须在某个范围内。将关于该范围的信息提供给视差控制器130。如本文中使用的，将不允许超过的屏幕前侧的视差的参考值设置为disp_min，并且将屏幕深度侧的视差的参考值设置为 disp_max。
[0052]视差控制器130确定用于调整相应主图像和副图像的视差(深度)使得不会出现矛盾例如沉降的校正方法和校正量。视差控制器130进行的确定基于由视差分析器120a提供的3D主图像的统计信息和由视差分析器120b提供的3D副图像的统计信息。后面将详细描述确定用于使得视差控制器130能够调整相应主图像和副图像的视差(深度)的校正方法和校正量的方式。当视差控制器130确定用于调整相应3D主图像和副图像的视差(深度)的校正方法和校正量时，视差控制器130将关于校正方法和校正量的信息提供给图像转换器140a和140b。后面将详细描述用于校正3D主图像和副图像的校正方法。
[0053]图像转换器140a基于用于调整3D主图像的视差(深度)并且由视差控制器130确定的校正方法和校正量来处理3D主图像。当处理3D主图像时，图像转换器140a将经处理的3D主图像提供给图像叠加单元150。
[0054]类似地，图像转换器140b基于用于调整3D副图像的视差(深度)并且由视差控制器130确定的校正方法和校正量来处理3D副图像。当处理3D副图像时，图像转换器140b将经处理的3D副图像提供给图像叠加单元150。
[0055]图像叠加单元150将由图像转换器140a处理的3D主图像和由图像转换器140b处理的3D副图像叠加。当叠加3D主图像和副图像时，图像叠加单元150将通过叠加所获得的要显示的图像数据提供给显示器160。
[0056]显示器160由能够显示3D图像的3D显示器构成。显示器160使用从图像叠加单元150提供的要显示的图像数据以时分方式显示左眼屏幕和右眼屏幕。在这种情况下，用户例如通过佩戴具有与左眼屏幕和右眼屏幕之间的切换同步的快门的眼镜来观看在显示器160上显示的图像。用户仅使用左眼来观看左眼屏幕，并且仅使用右眼来观看右眼屏幕。从而，用户可以观看其中3D主图像和3D副图像彼此叠加的3D图像。
[0057]显示器160可以由使得用户能够使用裸眼来识别3D图像的3D显示器构成。例如，这样的3D显示器采用视差(parallax)屏障系统(视差(disparity)屏障系统)、透镜系统等。
[0058]如上所述，已参照图1描述了根据本公开内容的第一实施方式的图像处理装置的功能配置。接着，将描述根据本公开内容的第一实施方式的图像处理装置的操作。
[0059][图像处理装置的操作]
[0060]图3是示出了根据本公开内容的第一实施方式的图像处理装置100的操作的流程图。参照图3描述根据本公开内容的第一实施方式的图像处理装置100的操作。
[0061]当接收多个3D图像数据(例如，3D主图像数据和3D副图像数据)时，根据本公开内容的第一实施方式的图像处理装置100计算相应3D图像的视差(步骤S101)。由视差检测器IlOa和IlOb执行3D图像的视差的计算。例如，视差的检测可以采用上述JP2011-055022A中公开的技术。如果根据与3D图像数据一起被接收的信息中了解了视差信息，则可以跳过步骤SlOl中的视差计算处理。
[0062]如果在步骤SlOl中对于多个3D图像数据计算每个3D图像的视差，则图像处理装置100分析每个3D图像的视差信息，并且生成3D图像的视差统计信息(步骤S102)。由视差分析器120a和120b执行3D图像的视差统计信息的生成。例如，视差分析器120a和120b可以利用在JP2011-055022A中所公开的技术或指示主图像的每个像素的视差的视差图来生成视差分布作为视差统计信息。视差图的生成可以采用例如在JP2006-114023A中所公开的技术。
[0063]如果在步骤S102中通过对于多个3D图像数据分析3D图像的视差信息来生成3D图像的视差统计信息，则图像处理装置100计算用于利用视差统计信息和包括3D图像的图像尺寸、显示尺寸以及显示位置的信息来校正3D图像的校正方法和校正量(步骤S103)。由视差控制器130执行用于校正每个3D图像的校正方法和校正量的计算。
[0064]如果在步骤S103中计算用于校正每个3D图像的校正方法和校正量，则图像处理装置100基于在步骤S103中计算的每个3D图像的校正方法和校正量来转换3D图像(步骤S104)。由图像转换器140a和140b执行3D图像的转换。
[0065]如果在步骤S104中基于在步骤S103中计算的3D图像的校正方法和校正量转换每个3D图像，则图像处理装置100将多个3D图像组合并且生成用于将它们显示为一个3D图像的显示图像数据(步骤S105)。
[0066]根据本公开内容的第一实施方式的图像处理装置100执行如图3所示的操作，从而使得能够防止当多个3D图像被组合时生成可能出现的矛盾的图像，由此使用户眼睛的紧张和疲劳小得多。
[0067]接着，将详细描述步骤S103中用于计算用来校正3D图像的校正方法和校正量的方法。
[0068]图4是示出了根据本公开内容的第一实施方式的图像处理装置100的操作的流程图。图4的流程图详细示出了图3的步骤S103中所示的用来校正3D图像的校正方法和校正量的计算。在下文中，在假设视差控制器130执行图4中所示的操作的情况下进行描述。参照图4来描述根据本公开内容的第一实施方式的图像处理装置100的操作。
[0069]为计算用来校正3D图像的校正方法和校正量，视差控制器130首先将多个3D图像的视差统计信息转换成与每个显示尺寸对应的统计信息(步骤S111)。例如，如果显示尺寸是图像尺寸的两倍，则视差统计信息(视差量)变成两倍。
[0070]图5是用于说明视差控制器130将3D图像的视差统计信息转换成与每个显示尺寸对应的统计信息的示例的示意图。例如，当如图5左边的曲线图所示由视差分析器120a(或视差分析器120b)获得视差统计信息时，如果显示尺寸是原始图像尺寸的两倍，则视差控制器130将视差统计信息中的视差量转换成如图5右边所示的双倍。视差控制器130对于所有3D图像执行统计信息的转换处理。
[0071]如果在步骤Slll中视差控制器130将多个3D图像的视差统计信息转换成与每个显示尺寸对应的统计信息，则视差控制器130在转换之后确定多个3D图像中的每个的视差的范围(步骤S112)。视差的范围表示从最前侧的视差到最深侧的视差的范围，并且与深度的动态范围对应。如果由视差分析器120a和120b确定的统计信息是视差分布，则视差分布的水平轴中的有效宽度变成视差的范围。如果由视差分析器120a和120b确定的视差统计信息是视差图，则视差图的最前侧的视差和最深侧的视差变成视差的范围。
[0072]视差控制器130可以在考虑噪声影响、视差检测准确度或者在确定视差的范围时对视差的错误检测的情况下确定视差的范围。例如，如果由视差分析器120a和120b确定的统计信息是视差分布，则视差控制器130可以执行阈值处理，该阈值处理考虑噪声等的影响从视差的范围中排除频率等于或小于给定值的视差或其频率在整个频率中的比率等于或小于给定值的视差。此外，视差控制器130可以执行排除处理，该排除处理从视差的范围中排除与主要视差分布分离的视差分布。
[0073]图6是用于说明由视差分析器120a和120b确定的统计信息的示例的示意图。图6示出了在由视差分析器120a和120b确定的统计信息中如何存在与主要视差分布分离的视差分布。视差控制器130可以执行排除处理，该排除处理从视差的范围中排除与主要视差分布分离的视差分布。
[0074]此外，当确定视差的范围时，视差控制器130可以执行最频繁中心处理，该处理优先选择最频繁视差并且确定在优选的最频繁视差附近给定范围的视差的范围。这是因为考虑到主要被摄体等更可能被包括在具有最频繁视差的图像中。
[0075]图7是用于说明由视差分析器120a和120b确定的统计信息的示例的示意图。图7示出了在由视差分析器120a和120b确定的统计信息中如何确定最频繁视差周围的给定范围的视差的范围。
[0076]如果由视差分析器120a和120b确定的统计信息是视差图，则可以使用阈值处理、排除处理或最频繁中心处理来类似地确定视差的范围。
[0077]如果在步骤SI 12中视差控制器130在转换之后确定多个3D图像中的每个的视差范围，则视差控制器130计算校正量，使得针对每个3D图像确定的视差的范围不与其他3D图像的视差的范围交叠(步骤S113)。
[0078]图8是用于说明计算校正量使得针对每个3D图像确定的视差的范围不与其他3D图像的视差的范围交叠的示例的示意图。例如，如图8所示，当显示通过在3D主图像前组合3D副图像而获得的3D图像时，如果主图像数据的视差的范围是从-10至30，并且副图像数据的视差的范围是从-20至0，则从-10至O的视差的范围交叠。
[0079]因此，视差控制器130校正3D主图像向深度侧偏移10，并且校正3D副图像向前侧偏移-10。或者，视差控制器130可以校正主图像向深度侧偏移，并且校正副图像向前侧偏移，使得主图像和副图像的校正总量为10。可以偏移3D主图像的视差而不偏移3D副图像的视差。
[0080]该校正量表示允许左图像和右图像沿垂直于显示表面的方向偏移的视差的值。视差控制器130通过将整个3D图像沿垂直于显示表面的方向偏移来改变视差。
[0081]然而，人们无法观看其中屏幕的深度侧的视差比眼睛之间的距离更大的3D图像。因此，至少在3D主图像中，屏幕的深度侧的视差必须不能超过眼睛之间的距离。此外，为了使人用眼睛将图像视觉地融合为3D图像，需要考虑屏幕前侧的视差量。因此，即使当校正量被计算使得针对每个3D图像确定的视差的范围不与其他3D图像的视差的范围交叠时，如果组合图像视觉上不再被识别为3D图像，则这样的计算可能是无用的。因此，优选的是确定校正量，使得组合图像可以被视觉上识别为3D图像。
[0082]如果在步骤S113中视差控制器130计算校正量使得针对每个3D图像确定的视差的范围不与其他3D图像的视差的范围交叠，则视差控制器130获得作为3D图像不允许超过的屏幕前侧的视差的参考值disp_min和屏幕深度侧的视差的参考值dispjnax (步骤S114)。
[0083]根据显示器160的尺寸和用户观看3D图像的观看环境来近似地设置disp_min和disp_max的值。此外,可以由用户来近似地设置disp_min和disp_max的值。
[0084]如果在步骤SI 14中视差控制器130获得disp_min和disp_max的值，则视差控制器130确定利用在步骤SI 13中确定的校正量校正的3D图像的视差的范围是否在所获得的disp_min和disp_max的值的范围内(步骤SI 15)。
[0085]根据步骤S115中的确定，如果确定利用步骤S113中确定的校正量校正的3D图像的视差的范围会在disp_min和disp_max的值的范围内，则视差控制器130计算校正量,使得其在disp_min和disp_max的值的范围内。
[0086]图9和图10是用于说明以下不例的不意图:计算校正量，使得针对每个3D图像确定的视差的范围不与其他3D图像的视差的范围交叠，并且不允许超过disp_min和disp_max的范围。
[0087]例如，如图9所示，当显示通过在3D主图像前组合3D副图像而获得的3D图像时，假设主图像数据的视差的范围被设置为-10至30，副图像数据的视差的范围被设置为-20至O, disp_min被设置为-20,并且disp_max被设置为50。在这种情况下,如果将副图像向前侧偏移，则所产生的图像将在前侧中超过disp_min显示。因此，在这样的情况下，视差控制器130仅控制主图像向深度侧偏移10。
[0088]此外，例如，如图10所示，当显示通过在3D主图像前组合3D副图像而获得的3D图像时，假设主图像数据的视差的范围被设置为-10至30，副图像数据的视差的范围被设置为-20至O, disp_min被设置为-30,并且disp_max被设置为30。在这种情况下,如果将主图像向深度侧偏移，则所产生的图像将在深度侧中超过disp_max显示。因此，在这样的情况下，视差控制器130仅控制副图像向前侧偏移10。
[0089]此外，视差控制器130可以通过改变disp_min和disp_max的值来控制主图像和副图像中的一个图像的视差固定而变化另一图像的视差。
[0090]另一方面，根据步骤S115中的确定，如果确定多个3D图像的视差无法不交叠，并且利用步骤S113中确定的校正量校正的3D图像的视差的范围无法在disp_min和disp_max的值的范围内，则无法采用通过将整个图像向垂直于显示器160的显示表面的方向偏移来校正视差的校正方法。因此，在这种情况下，视差控制器130确定2D到3D转换被用作校正方法(步骤S117)。2D到3D转换是以伪方式来根据2D图像生成3D图像的处理。在本实施方式中，从3D图像中的任何一个图像的视点来看，视差控制器130以伪方式生成3D图像。
[0091]2D到3D转换可以在没有任何限制的情况下改变视差(深度)的动态范围，由此视差的范围可以在disp_min和disp_max的值的范围内。图11是用于说明原始3D图像与disp_min和di sp_max中的每个之间的关系的示例的示意图。图11示出了原始3D图像的视差的范围无法在disp_min和disp_max的值的范围内的状态。在这种情况下，视差控制器130执行2D到3D转换以使得3D图像的视差的范围能够在disp_min和disp_max的值的范围内。
[0092]图12是用于说明原始3D图像经历2D到3D转换从而3D图像的视差的范围在disp_min和disp_max的值的范围内的示例的示意图。图12示出了左眼图像被转换成3D图像使得视差的范围在disp_min和disp_max的值的范围内的状态。以这种方式，2D到3D转换可以在没有任何限制的情况下改变视差(深度)的动态范围，从而即使当原始3D图像的视差的范围无法在disp_min和disp_max的值的范围内时，视差的范围也可以在disp_min和disp_max的值的范围内。
[0093]可以对主图像和副图像中的任何一个图像或者可以对两者执行2D到3D转换。当执行2D到3D转换时，2D图像可以被转换成3D图像，同时维持视差统计信息的分布。
[0094]如上所述，已参照图4描述了根据本公开内容的第一实施方式的图像处理装置100的操作。以这种方式，3D图像的视差的校正可以防止在组合多个3D图像时生成矛盾的图像，从而使用户眼睛的紧张和疲劳小得多。
[0095]在本实施方式中，视差控制器130获取disp_min和disp_max，并且将3D图像的视差校正为在disp_min和disp_max的范围内，但是本公开内容不限于本实施方式。例如，据说适合于3D观看的观看距离取决于显示器160的屏幕尺寸，并且适合于3D观看的观看距离是屏幕的竖直侧的长度的三倍。因此，当校正3D图像的视差时，视差控制器130可以考虑关于屏幕尺寸的信息，特别是显示器160的竖直侧的长度、眼睛之间的距离(具体地，两个眼睛的瞳孔之间的距离)以及视差角度。
[0096]如上所述，当组合多个3D图像以生成一个3D图像时，根据本公开内容的第一实施方式的图像处理装置100获取每个3D图像的视差的统计信息，基于该统计信息获取每个3D图像的视差的范围，以及确定使每个3D图像的视差的范围不交叠的校正方法和校正方法。当确定校正方法和校正量时，校正方法和校正量被确定为在作为3D图像不允许超过的从屏幕前侧的视差的参考值disp_min到屏幕深度侧的视差的参考值disp_max的范围内。
[0097]以这种方式，确定每个3D图像的校正方法和校正量，并且组合每个3D图像，从而可以生成使用户眼睛的紧张和疲劳小得多的3D图像，并且可以防止生成其中3D图像被显示但与其他3D图像交叠并且沉降到其他3D图像中的矛盾的图像。
[0098](2.第二实施方式〉
[0099]在上述本公开内容的第一实施方式中，通过使整个图像的视差偏移来防止生成具有沉降部分的矛盾的图像。在本公开内容的第二实施方式中，将描述针对每个图像通过检测对象(例如，包含在屏幕中的被摄体)的区域并且通过以对象为单位执行视差的分析和控制来防止生成具有沉降部分的矛盾的图像的方法。
[0100]图13是用于说明根据本公开内容的第二实施方式的图像处理装置的功能配置的示意图。参照图13描述根据本公开内容的第二实施方式的图像处理装置的功能配置。
[0101]类似于根据本公开内容的第一实施方式的图像处理装置100，图像处理装置200接收从记录介质例如BD(Blu-ray?盘)读出的或通过网络等从外部设备传输的主图像数据、副图像数据等。图像处理装置200将3D主图像与3D副图像组合以生成组合图像数据。
[0102]如图13所示，图像处理装置200被配置成包括视差检测器210a和210b、对象区域检测器215a和215b、视差分析器220a和220b、视差控制器230、图像转换器240a和240b、图像叠加单元250以及显示器260。
[0103]类似于视差检测器110a，视差检测器210a利用构成从外部输入的主图像数据的左眼主图像和右眼主图像的图像数据来针对每个像素检测3D主图像的视差。类似于视差检测器110b，视差检测器210b利用构成从外部输入的副图像数据的左眼主图像的图像数据和右眼副图像的图像数据来针对每个像素检测3D副图像的视差。
[0104]对象区域检测器215a检测从外部输入的主图像数据的对象例如被摄体的区域。例如，对象区域检测器215a通过采用在JP 2011-34178A等中公开的使用图割法的分割技术来检测对象的区域。对象区域检测器215a将关于被检测的主图像的对象区域的信息发送给视差分析器220a。
[0105]类似地，对象区域检测器215b检测从外部输入的副图像数据的对象例如被摄体的区域。对象区域检测器215b将关于被检测的副图像的对象区域的信息发送给视差分析器 220b ο
[0106]视差分析器220a以由对象区域检测器215a检测的主图像的对象为单位来分析由视差检测器210a检测的3D主图像的视差信息，并且以主图像的对象为单位生成3D主图像的视差统计信息。类似于视差分析器120a，视差分析器220a例如可以利用JP2011-055022A中公开的技术或指示主图像的每个像素的视差的视差图来生成视差分布作为视差统计信息。视差图的生成可以采用例如JP 2006-114023A中公开的技术。当以主图像的对象为单位生成3D主图像的视差统计信息时，视差分析器220a将生成的视差统计信息提供给视差控制器230。
[0107]类似地，视差分析器220b以由对象区域检测器215b检测的副图像的对象为单位分析由视差检测器210b检测的3D副图像的视差信息，以生成视差统计信息。当以对象为单位生成3D副图像的视差统计信息时，视差分析器220b将生成的视差统计信息提供给视差控制器230。
[0108]类似于视差控制器130，视差控制器230接收从外部输入的3D主图像的图像尺寸、显示尺寸以及显示位置。此外，类似于视差控制器130，视差控制器230接收从外部输入的3D副图像的图像尺寸、显示尺寸以及显示位置。指示作为3D图像不允许超过的前侧和深度侧的视差的参考值的信息被作为关于显示位置的信息提供给视差控制器230。
[0109]基于由视差分析器220a提供的以3D主图像的对象为单位的视差统计信息和由视差分析器220b提供的以3D副图像的对象为单位的视差统计信息，视差控制器230确定用于调整相应主图像和副图像的视差(深度)的校正方法和校正量，使得对于每个图像不以对象为单位出现矛盾例如沉降。
[0110]视差控制器230确定用于调整相应主图像和副图像的视差(深度)的校正方法和校正量的方式基本上类似于视差控制器130进行的处理。然而，视差控制器230与视差控制器130的不同之处在于:视差控制器230以图像为单位和以对象为单位来确定校正方法和校正量。当确定用于以对象为单位调整相应3D主图像和副图像的视差(深度)的校正方法和校正量时，视差控制器230将关于确定的校正方法和校正量的信息提供给图像转换器 240a 和 240b ο
[0111]类似于图像转换器140a，图像转换器240a基于用于以对象为单位调整3D主图像的视差(深度)并且由视差控制器230确定的校正方法和校正量来处理3D主图像。当处理3D主图像时，图像转换器240a将经处理的3D主图像提供给图像叠加单元250。
[0112]类似于图像转换器240a，图像转换器240b基于用于以对象为单位调整3D副图像的视差(深度)并且由视差控制器230确定的校正方法和校正量来处理3D副图像。当处理3D副图像时，图像转换器240b将经处理的3D副图像提供给图像叠加单元250。
[0113]类似于图像叠加单元150，图像叠加单元250将由图像转换器240a处理的3D主图像和由图像转换器240b处理的3D副图像叠加。当叠加3D主图像和副图像时，图像叠加单元250将通过叠加获得的显示图像数据提供给显示器260。
[0114]显示器260由能够显示3D图像的3D显示器构成。类似于显示器160，显示器260利用由图像叠加单元250提供的显示图像数据以时分方式来显示左眼屏幕和右眼屏幕。在这种情况下，用户例如通过佩戴具有与左眼屏幕和右眼屏幕之间的切换同步的快门的眼镜来观看在显示器260上显示的图像。用户仅通过左眼来观看左眼屏幕，并且仅通过右眼来观看右眼屏幕。因此，用户可以观看其中3D主图像和副图像彼此叠加的3D图像。
[0115]显示器260可以由使得用户能够使用裸眼来识别3D图像的3D显示器构成。这样的3D显示器采用例如视差屏障系统、透镜系统等。
[0116]如上所述，已参照图13描述了根据本公开内容的第二实施方式的图像处理装置的功能配置。接着，将描述根据本公开内容的第二实施方式的图像处理装置的操作。
[0117][图像处理装置的操作]
[0118]图14是示出根据本公开内容的第二实施方式的图像处理装置200的操作的流程图。参照图14描述根据本公开内容的第二实施方式的图像处理装置200的操作。
[0119]当接收多个3D图像数据(例如，3D主图像和副图像数据)时，根据本公开内容的第二实施方式的图像处理装置200计算包括在每个3D图像中的对象的区域(步骤S201)。由对象区域检测器215a和215b执行对象的区域的计算。
[0120]此外，在步骤S201中的对象区域的计算之后、之前或期间，图像处理装置200计算每个3D图像的视差(步骤S202)。由视差检测器210a和210b执行每个3D图像的视差的计算。
[0121]如果在步骤S201中获得了多个3D图像数据的每个对象区域，并且在步骤S202中计算了多个3D图像数据的每个3D图像的视差，则图像处理装置200以对象为单位分析每个3D图像的视差信息，以便以对象为单位生成3D图像的视差统计信息(步骤S203)。由视差分析器220a和220b执行3D图像的视差统计信息的生成。
[0122]如果在步骤S203中通过以对象为单位分析多个3D图像数据的3D图像的视差信息来以对象为单位生成了 3D图像的视差统计信息，则图像处理装置200计算用于基于3D图像的视差统计信息和包括3D图像的图像尺寸、显示尺寸以及显示位置的信息来以对象为单位校正3D图像的校正方法和校正量(步骤S204)。由视差控制器230执行用于以对象为单位校正每个3D图像的校正方法和校正量的计算。
[0123]在本实施方式中，以对象为单位确定校正方法和校正量，因此将详细描述与第一实施方式不同的处理。无论视差的范围在每个3D图像中改变多少，在图像平面上不交叠的对象都不会引起矛盾例如沉降。因此，在本实施方式中，视差控制器230确定校正方法和校正量，使得对于一组在图像平面上具有交叠区域的对象来说不存在矛盾例如沉降。
[0124]此外，例如，当存在三个对象A、B和C时，如果对象A和B没有彼此交叠的区域，并且对象C具有与对象A和B交叠的区域，则视差控制器230可以首先确定针对交叠部分大于其它对象的对象C的校正方法和校正量，然后确定针对对象A和B的校正方法和校正量。
[0125]此外，当以对象为单位确定校正方法和校正量时，视差控制器230可以通过考虑每个对象之间在深度方向上的位置关系来确定校正方法和校正量。例如，当在3D图像中示出两个对象A和B时，如果存在其中对象A不允许被放置在对象B后的场景，则视差控制器230可以确定校正方法和校正量，使得对象A不允许被放置在对象B的后面，或者对象B不允许被放置在对象A的前面。
[0126]图15是用于说明3D图像中的对象之间的位置关系的示例的示意图。图15的左侧示出了显示在显示器260上的屏幕图像，并且图15的右侧示出了当从显示器260的上侧向下看3D图像中的对象之间的位置关系时的图像。
[0127]图15示出了房屋和花作为对象。对象之间的位置关系被假设成房屋不允许被放置在花的前方。在这种情况下，视差控制器230确定校正方法和校正量，使得花不允许被放置在房屋的后面，或者房屋不允许被放置在花的前面。
[0128]关于位置关系的信息可以与图像数据一起提供给视差控制器230，或者可以通过允许视差控制器230执行对图像数据的场景分析来获得。
[0129]如果在步骤S204中以对象为单位计算针对每个3D图像的校正方法和校正量，则图像处理装置200基于在步骤S204中计算的以3D图像的对象为单位的校正方法和校正量来转换3D图像(步骤S205)。由图像转换器240a和240b执行3D图像的转换。
[0130]如果校正方法是沿垂直于显示器260的显示表面的方向的偏移校正，则根据每个对象的偏移校正的量来偏移图像中的对象的区域。此外，如果校正方法是2D到3D转换，则图像中的对象的区域经历2D到3D转换。当然，可以同时执行这两种校正方法。
[0131]此外，在两种校正方法中，出现对象之间的边界中的不存在的区域(遮挡区)，因此这可以根据其他视点的图像信息来补充，可以根据同一视点的时间方向上的图像信息来补充，或者可以根据当前图像的空间方向上的信息(相邻图像信息)来补充(图像修复)。
[0132]如果在步骤S205中基于在步骤S204中计算的以3D图像的对象为单位的校正方法和校正量来针对每个3D图像执行转换，则图像处理装置200组合多个3D图像并且生成被用于要显示为一个3D图像的显示图像数据(步骤S206)。
[0133]执行如图14所示的操作的根据本公开内容的第二实施方式的图像处理装置200使得能够防止在多个3D图像被组合时生成矛盾的图像，由此使用户眼睛的紧张和疲劳小得多。此外，根据本公开内容的第二实施方式的图像处理装置200以对象为单位来计算校正方法和校正量，从而更灵活地改变图像的视差范围。
[0134](3.总结〉
[0135]如上所述，根据本公开内容的一个或更多个实施方式，可以防止在多个3D图像被组合时生成矛盾的图像，从而使用户眼睛的紧张和疲劳小得多。在本公开内容的第一实施方式中，以屏幕为单位来针对每个3D图像确定校正方法和校正量。此外，在本公开内容的第二实施方式中，以屏幕为单位和以对象为单位来针对每个3D图像确定校正方法和校正量。在这些情况下，它们被确定为在作为3D图像不允许被超过的从屏幕前侧的视差的参考值到屏幕深度侧的视差的参考值的范围内，因此可以在执行组合时生成没有交叠和沉降部分的自然的3D图像。
[0136]在上述实施方式中，虽然已经示出了当两个3D图像即3D主图像和3D副图像被组合时要使用的处理，但是本公开内容不限于此。可以类似地甚至将三个或更多个3D图像应用于组合图像的情况，尽管没有使用户眼睛的紧张和疲劳小得多。
[0137]此外，在上述实施方式中，虽然已分别描述了包括显示器160和260的图像处理装置100和200，但本公开内容不限于此。可以由图像处理装置执行3D图像的组合，并且可以由其他设备执行3D图像的显示。此外，可以通过连接至经由网络来显示3D图像的3D显示器的服务器组来执行由图像处理装置100或200执行的处理，并且可以由3D显示器经由网络从服务器组接收通过组合3D图像而获得的图像数据。
[0138]此外，可以由硬件来执行或可以由软件来执行上述实施方式中描述的处理。当由软件来执行上述实施方式中描述的处理时，例如合并在图像处理装置100或200中的控制器如CPU可以顺序地读出并且执行记录介质如ROM、HDD以及SSD中存储的计算机程序。
[0139]以上已参照附图描述了本发明的优选实施方式，然而当然本发明不限于以上示例。本领域的技术人员可以在所附权利要求的范围内发现各种替代和修改，并且应理解的是，他们将自然在本发明的技术范围内。
[0140]此外，本技术还可以被配置如下。
[0141](I) 一种图像处理装置，包括:
[0142]视差检测器，被配置成:接收多个3D图像并且检测所述3D图像中的每个3D图像的视差；
[0143]视差分析器，被配置成:使用由所述视差检测器检测的每个3D图像的视差来生成关于每个3D图像的视差的统计信息；以及
[0144]视差控制器，被配置成:以所述3D图像不交叠的方式使用由所述视差分析器生成的关于每个3D图像的视差的所述统计信息来转换所述视差，使得所述视差的范围在预定范围内。
[0145](2)根据(I)所述的图像处理装置，还包括:
[0146]图像转换器，被配置成:当由所述视差控制器转换的所述视差的范围不在所述预定范围内时，对所述多个3D图像中的至少一个3D图像执行2D至3D的转换处理。
[0147](3)根据⑴所述的图像处理装置，还包括:
[0148]对象区域检测器，被配置成检测每个所提供的3D图像中的对象的区域，
[0149]其中，所述视差分析器以由所述对象区域检测器检测的每个3D图像的对象为单位生成关于视差的统计信息，并且所述视差控制器以每个3D图像中包含的对象不交叠的方式使用由所述视差分析器生成的以对象为单位的关于视差的所述统计信息来转换所述视差，使得所述视差的范围在预定范围内。
[0150](4)根据(3)所述的图像处理装置，还包括:
[0151]图像转换器，被配置成:当由所述视差控制器转换的所述视差的范围不在所述预定范围内时，对由所述对象区域检测器检测到的所述对象中的至少之一执行2D至3D的转换处理。
[0152](5)根据(I)至(4)中任一项所述的图像处理装置，其中，当显示3D图像时，所述视差控制器在前侧和深度侧的视差范围内转换所述视差，不允许超出该视差范围。
[0153](6)根据(I)至(5)中任一项所述的图像处理装置，其中，所述视差控制器通过考虑要显示3D图像的屏幕的尺寸来转换所述视差。
[0154](7)根据(6)所述的图像处理装置，其中，所述视差控制器通过考虑要显示3D图像的屏幕的竖直侧的长度来转换所述视差。
[0155](8) —种图像处理方法，包括:
[0156]接收多个3D图像，并且检测所述3D图像中的每个3D图像的视差；
[0157]使用所检测的每个3D图像的视差来生成关于每个3D图像的视差的统计信息；以及
[0158]以所述3D图像不交叠的方式使用所生成的关于每个3D图像的视差的统计信息来转换所述视差，使得所述视差的范围在预定范围内。
[0159](9) 一种计算机程序，用于使计算机执行:
[0160]接收多个3D图像，并且检测所述3D图像中的每个3D图像的视差；
[0161]使用所检测的每个3D图像的视差来生成关于每个3D图像的视差的统计信息；以及
[0162]以所述3D图像不交叠的方式使用所生成的关于每个3D图像的视差的统计信息来转换所述视差，使得所述视差的范围在预定范围内。
[0163]附图标记列表
[0164]100图像处理装置
[0165]IlOa视差检测器
[0166]IlOb视差检测器
[0167]120a视差分析器
[0168]120b视差分析器
[0169]130视差控制器
[0170]140a图像转换器
[0171]140b图像转换器
[0172]150图像叠加单元
[0173]160 显示器
[0174]200图像处理装置
[0175]210a视差检测器
[0176]210b视差检测器
[0177]215a对象区域检测器
[0178]215b对象区域检测器
[0179]220a视差分析器
[0180]220b视差分析器
[0181]230视差控制器
[0182]240a图像转换器
[0183]240b图像转换器
[0184]250图像叠加单元
[0185]260显示器
【权利要求】
1.一种图像处理装置，包括: 视差检测器，被配置成:接收多个3D图像并且检测所述3D图像中的每个3D图像的视差; 视差分析器，被配置成:使用由所述视差检测器检测的每个3D图像的视差来生成关于每个3D图像的视差的统计信息；以及 视差控制器，被配置成:以所述3D图像不交叠的方式使用由所述视差分析器生成的关于每个3D图像的视差的所述统计信息来转换所述视差，使得所述视差的范围在预定范围内。
2.根据权利要求1所述的图像处理装置，还包括: 图像转换器，被配置成:当由所述视差控制器转换的所述视差的范围不在所述预定范围内时，对所述多个3D图像中的至少一个3D图像执行2D至3D的转换处理。
3.根据权利要求1所述的图像处理装置，还包括: 对象区域检测器，被配置成检测每个所提供的3D图像中的对象的区域， 其中，所述视差分析器以由所述对象区域检测器检测的每个3D图像的对象为单位生成关于视差的统计信息，并且所述视差控制器以每个3D图像中包含的对象不交叠的方式使用由所述视差分析器生成的以对象为单位的关于视差的所述统计信息来转换所述视差，使得所述视差的范围在预定范围内。
4.根据权利要求3所述的图像处理装置，还包括: 图像转换器，被配置成:当由所述视差控制器转换的所述视差的范围不在所述预定范围内时，对由所述对象区域检测器检测到的所述对象中的至少之一执行2D至3D的转换处理。
5.根据权利要求1所述的图像处理装置，其中，当显示3D图像时，所述视差控制器在前侧和深度侧的视差范围内转换所述视差，不允许超出该视差范围。
6.根据权利要求1所述的图像处理装置，其中，所述视差控制器通过考虑要显示3D图像的屏幕的尺寸来转换所述视差。
7.根据权利要求6所述的图像处理装置，其中，所述视差控制器通过考虑要显示3D图像的屏幕的竖直侧的长度来转换所述视差。
8.—种图像处理方法，包括: 接收多个3D图像，并且检测所述3D图像中的每个3D图像的视差； 使用所检测的每个3D图像的视差来生成关于每个3D图像的视差的统计信息；以及以所述3D图像不交叠的方式使用所生成的关于每个3D图像的视差的统计信息来转换所述视差，使得所述视差的范围在预定范围内。
9.一种计算机程序，用于使计算机执行: 接收多个3D图像，并且检测所述3D图像中的每个3D图像的视差； 使用所检测的每个3D图像的视差来生成关于每个3D图像的视差的统计信息；以及以所述3D图像不交叠的方式使用所生成的关于每个3D图像的视差的统计信息来转换所述视差，使得所述视差的范围在预定范围内。
【文档编号】H04N13/04GK104137537SQ201280070231
【公开日】2014年11月5日 申请日期:2012年12月25日 优先权日:2012年2月27日
【发明者】染谷清登, 宫本浩平, 泉伸明, 隈智, 安藤裕司 申请人:索尼公司
最新回复(0)