图像处理设备、图像处理方法和程序的制作方法
专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本公开涉及图像处理设备、图像处理方法和程序。更详细地，公开涉及例如关于图像执行校正处理的图像处理设备、图像处理方法和程序，该图像包括诸如左眼图像和右眼图像之类的多个不同的图像，该左眼图像和右眼图像构成三维图像(3D图像)。
背景技术：
在过去，已开发并使用了诸如电视、PC等能够显示三维图像(3D图像)的显示设备以及能够记录三维图像(3D图像)的视频相机、静止相机等。显示处理被执行，其中，3D图像利用从不同视角所捕获的图像(即，左眼图像和右眼图像)。因此，在三维图像被记录在介质上的情形中，需要记录作为一个图像集的左眼图像和右眼图像，并且，在再现处理时， 利用图像集来执行再现。存在各种用于记录和发送三维图像数据的处理方法的方法。例如，作为有代表性的方法，已知帧序列方法、并排(side by side)方法以及上下(top and bottom)方法。帧序列方法是左眼图像(L图像)和右眼图像(R图像)的帧被如L、R、L、R，…， 被交替记录和发送的方法。并排方法是LR图像被分割到一帧的左部和右部中并被记录和发送的方法。上下方法是LR图像被分割到一帧图像中的顶部和底部并被记录和发送的方法。在以上方法中，在并排方法以及上下方法中，L图像和R图像被包括在设置在一个图像帧中的分割区域(并排或上下)中并被发送。在显示设备中执行处理，其中，例如所发送的数据被接收、L图像和R图像从一帧图像被包括，并且，LR图像被交替输出。此处，例如，通常的情形是通过诸如视频相机之类的成像设备所捕获并在诸如 HD的介质中被记录的3D图像的分辨率与显示设备的分辨率通常彼此各不相同。因此，在利用成像设备对记录在介质上的3D图像进行显示处理时，图像校正处理被执行，其中，3D图像根据显示设备的分辨率被放大或缩小。在图像校正处理中，插值处理等被执行，其中，例如当确定在输出图像中的像素的像素值时，构成输入图像的像素的像素值被参考。作为用于像素值插值处理的技术，可以使用过去已知的插值处理，诸如，线性插值处理、双线性处理、或双立体处理。但是，在上述的并排方法以及上下方法中，LR图像被设置在一个图像帧的分割区域(并排或上下)中，并且，被如上述地发送。关于这种图像，当插值处理被执行时，当外围像素是参考像素时，在LR图像的边界部分的插值处理中存在问题。例如，在对L图像的插值处理在L图像和R图像的边界附近执行的情形中，存在如下现象邻接L图像的R图像的像素值被参考。通过同样的方式，关于R图像，还存在如下现象与LR图像的边界附近的R图像相邻接的L图像的像素值被参考，并且，插值像素值被确定。当插值基于诸如此的错误的参考处理而被执行时，从根本上存在如下问题与将要设置的像素值显著不同的像素值被设置，并且，包括噪声的像素被输出。通过这种方式，当图像校正(诸如关于图像的放大或缩小)被执行时，其中，多个图像利用诸如上述并排方法以及上下方法被布置在相同的帧图像中，当在左眼图像和右眼图像的边界附近校正时，存在来自另一图像的像素的影响。作为在提出解决这种问题的技术的现有技术中的技术，存在例如日本未审查的专利申请公布No. 2008-236526。日本未审查的专利申请公布No. 2008-236526公开了一种配置，其中，对包括在图像中的边缘模式的检测被执行，并且，根据所检测的边缘模式，插值处理方法被切换。但是，即便该技术被应用，仍旧存在当插值时外围像素被用作参考像素的情形，并且，不可能执行处理，使得左眼图像和优选图像被可靠区分。另外，日本未审查的专利申请公布No. 7-79418公开了一种配置，其中，准确的分辨率变换通过在时间方向上利用像素来被执行。但是，即便在该技术中，外围像素被用作参考像素，并且，不可以完全阻止关于在左眼图像和右眼图像的边界附近的像素的不同图像之间的参考处理。通过这种方式，如在现有技术中的问题，存在以下所描述的问题。由于当放大或缩小图像时存在来自在左眼图像和右眼图像的边界附近的相反眼图像的影响，因此在图像的上下方法中，在屏幕的顶部和底部处存在屏幕上的噪声，并且， 在图像的并排方法中，在屏幕的左边和右边出存在屏幕上的噪声。作为其结果，存在3D图像的图像质量的劣化，该3D图像在校正处理后利用图像，并且，关于利用3D图像的图像分析函数，准确性也降低了。
发明内容
希望提供一种图像处理设备、图像处理方法和程序，其中，可以防止在诸如LR图像的边界处之类的图像边界部分中的错误的校正处理，并且，可以以一种配置来生成高质量的图像，其中，校正处理关于例如包括构成三维图像(3D图像)的多个诸如左眼图像(L 图像)和右眼图像(R图像)的图像而被执行。根据公开的第一实施例，一种图像处理设备具有视频信号输出部件，该视频信号输出部件执行对图像的分辨率变换，其中，在多个不同图像被包括在作为分辨率变换对象的输入图像中的情形中，在对图像边界附近的输出图像的像素值计算时，视频信号输出部件利用图像边缘处理来执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且，通过利用使用图像边缘处理而设置的参考像素的像素值，确定在图像边界附近的输出像素的像素值。另外，在根据公开的第一实施例的图像处理设备中，理想的是在对图像边界附近的输出图像的像素值计算时，视频信号输出部件设置虚拟像素作为参考像素，该虚拟像素是通过利用在输入图像的图像边界部分中的像素镜像处理生成的。另外，在根据公开的第一实施例的图像处理设备中，理想的是在对图像边界附近的输出图像的像素值计算时，视频信号输出部件设置虚拟像素作为参考像素，该虚拟像素是通过利用在输入图像的图像边界部分中的像素复制处理生成的。另外，在根据公开的第一实施例的图像处理设备中，理想的是在对图像边界附近的输出图像的像素值计算时，视频信号输出部件根据输出像素和参考像素的像素位置之间的距离来设置加权系数，并且利用已经应用了加权系数的参考像素的像素值计算来计算所述输出像素的像素值。另外，在根据公开的第一实施例的图像处理设备中，理想的是视频信号输出部件具有水平方向分辨率变换部件，该水平方向分辨率变换部件在对在图像的水平方向中的图像边界附近的输出像素的像素值计算时，利用图像边缘处理来执行对输出像素的像素值的设置；以及垂直方向分辨率变换部件，该垂直方向分辨率变换部件在对在图像的垂直方向中的图像边界附近的输出像素的像素值计算时，利用图像边缘处理来执行对输出像素的像素值的设置。另外，在根据公开的第一实施例的图像处理设备中，理想的是视频信号输出部件判断是否存在基于示出了在输出图像中每个像素位置的相位信息而需要执行图像边缘处理的图像边界部分附近的像素。另外，在根据公开的第一实施例的图像处理设备中，理想的是在关于应用到三维图像显示的带有并排格式的图像或带有上下格式的图像的分辨率变换处理时，视频信号输出部件在对参考像素的设置处理中执行图像边缘处理，该参考像素是被应用于对左眼图像和右眼图像的图像边界附近的输出图像的像素值计算中的参考像素。另外，在根据公开的第一实施例的图像处理设备中，理想的是视频信号输出部件关于多个不同的像素信号并行地执行分辨率变换。另外，在根据公开的第一实施例的图像处理设备中，理想的是多个不同的像素信号是YCbCr信号中的每个信号。另外，在根据公开的第一实施例的图像处理设备中，理想的是视频信号输出部件并行地执行与具有不同分辨率的多个显示部分对应的分辨率变换。根据公开的第二实施例的一种图像显示设备具有视频信号输出部件，该视频信号输出部件执行对图像的分辨率变换；以及显示部件，该显示部件显示视频信号输出部件所生成的视频信号，其中，在多个不同图像被包括在作为分辨率变换对象的输入图像中的情形中，在对图像边界附近的输出图像的像素值计算时，视频信号输出部件执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且，通过利用使用图像边缘处理而设置的参考像素的像素值，确定在图像边界附近的输出像素的像素值。一种根据第三实施例的由图像处理设备执行的图像处理方法，该图像处理设备包括执行对图像的分辨率变换的视频信号输出部件，该方法包括在多个不同图像被包括在作为视频信号输出部件中的分辨率变换对象的输入图像中的情形中，通过利用视频信号输出部件，在对图像边界附近的输出图像的像素值计算时，利用图像边缘处理来执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且，通过利用使用图像边缘处理而设置的参考像素的像素值，确定在图像边界附近的输出像素的像素值。一种根据公开的第四实施例的使得图像处理设备执行图像处理的程序，该图像处理设备包括执行对图像的分辨率变换的视频信号输出部件，处理包括在多个不同图像被包括在作为分辨率变换对象的输入图像中的情形中，在对图像边界附近的输出图像的像素值计算时，使得所述视频信号输出部件利用图像边缘处理来执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且，利用使用图像边缘处理而设置的参考像素的像素值，确定所述图像边界附近的输出像素的像素值。此处，根据公开的实施例的程序是例如通过利用关于信息处理设备或能够执行各种程序和代码的计算机系统的记录介质而被提供的程序。根据程序的处理通过使得程序被在信息处理设备或计算机系统上的程序执行部件执行而被实现。由于基于以下所描述的公开的实施例和附图的更加详细的描述，公开的其他目标、特点和优点将更加清楚。此处，在公开中的系统是多个设备的逻辑集合的配置，并且，并不限于在相同外壳下的每个配置的设备。根据公开的实施例，实现了一种配置，其中，在关于图像的分辨率变换中，在图像边界部分的噪声生成被防止，其中，多个邻接图像被记录。具体地，在这样一种情形中，例如，其中，多个不同的图像被包括在作为分辨率变换对象的输入图像中，在多个不同图像被包括在作为分辨率变换对象的输入图像中的情形中，在对图像边界附近的输出图像的像素值计算时刻，利用图像边缘处理来执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且，通过利用使用图像边缘处理而设置的参考像素的像素值，确定在图像边界附近的输出像素的像素值。例如，虚拟像素(其利用对在于输出图像相同的输入图像的图像边界部分中的像素的镜像处理或复制处理而被生成)被设置为参考像素，并且，在图像边界附近的输出像素的像素值被确定。由于该处理，图像边界部分的附近的输出图像的像素值被计算，而无需参考邻近不同图像的像素值，并且，生成带有高图像质量的输出图像是可能的，其防止由于在边界部分中的另一图像的影响而导致的噪声的生成。
图1是描述了根据本公开的实施例的图像处理设备的配置示例的示图；图2是描述了多图片格式标准的示图；图3是描述了带有并排格式的图像的示图；图4是描述了根据输出设备所执行的分辨率变换处理的示图；图5是描述了基于3D显示命令的3D显示处理和基于2D显示命令的2D显示处理的示图；图6是示出了视频信号输出部件的详细配置的框图；图7是描述了从像素数据分割部件到像素数据整合部件的处理流的示图；图8是示出了分辨率变换部件的配置示例的框图；图9是示出了流程图的示图，该流程图描述了在图8中所示出的分辨率变换部件中所执行的分辨率变换处理序列；图10是描述了在输入图像的水平方向分辨率是1440且在分辨率变换之后的水平方向分辨率是1920的情形中的对应像素和处理的示图；图11是描述了计算像素选择部件的详细配置示例的示图；图12A和12B是描述了图像边缘处理的示例的示图；图13A和1 是描述了在带有并排格式的图像示例的边界部分中的噪声生成的示图；图14A到14C是描述了在LR图像的边界部分中的输出像素生成处理的具体示例的示图；图15是描述了利用线性插值处理的输出像素的像素值计算处理的示图；图16是描述了利用线性插值处理的输出像素的像素值计算处理的示例的示图；图17是描述了利用线性插值处理的输出像素的像素值计算处理的示例的示图；图18是描述了利用线性插值处理的输出像素的像素值计算处理的示例的示图；图19A和19B是描述了在带有上下格式的图像示例的边界部分中的噪声生成的示图；图20是描述了包括来自一个图像帧的多个视角的图像的示例的示图；以及图21是描述了根据公开的实施例的图像处理设备的硬件配置示例的示图。
具体实施例方式以下，将参照图来描述公开的图像处理设备、图像处理方法和程序的细节。描述将根据以下的项目而被执行。1.图像处理设备的配置和处理2.分辨率变换处理的细节3.当图像具有上下格式时的处理示例4.带有多个视角的图像的分辨率变换处理5.在三维图像(3D)和二维图像QD)之间的切换处理6.图像处理设备的硬件配置示例1.图像处理设备的配置和处理将参照图1来描述公开的图像处理设备的配置和处理。公开的图像处理设备解决在关于图像的图像校正处理中的问题，其中，在上述的一图像帧中存在诸如左眼图像(L图像)和右眼图像(R图像)之类的多个图像。具体地，公开的图像处理设备解决在分辨率变换(诸如，放大处理或缩小处理)时刻的问题。即，防止设置由于参考另一邻近图像的像素而导致的设置图像值，该另一邻近图像不会在LR图像的边界部分的附近被参考。如上所述，以下方法是在一图像帧中存在左眼图像(L图像)和右眼图像(R图像) 并且图像被记录和发送的方法。(1)并排方法LR图像被分割到一帧图像的左部和右部并且被记录和发送的方法。(2)上下方法LR图像被分割到一帧图像的顶部和底部并且被记录和发送的方法。首先，在以下的实施例中，将描述利用并排方法来发送图像的情形中的处理示例。图1是示出了根据公开的实施例的图像处理设备的框图。如在图1中所示，图像处理设备100具有记录介质读出部件101、解密部件102、图像数据临时记录部件103、视频信号输出部件104、控制部件105、输入部件106和内置显示部件107。输入部件106从用户接收指令输入。所接收的指令被发送到控制部件105。以下， 将描述在从用户接收到“在外部监视器上显示记录在记录介质上的带有3D格式的图像”的指令的情形中的处理示例。
控制部件105分析经由输入部件106所接收的输入指令，作为其结果，命令被向外发送到每个部件。记录介质读出部件101由于来自控制部件105的记录介质读出命令执行从记录介质的数据读出。作为记录介质，除了内置闪存存储器或内置HDD之外，可使用诸如存储卡的格式、能够被插入并弹出的CD-R或DVD-R之类的光盘、或在网络上的记录设备。通过记录介质读出部件101被记录在记录介质读出上的数据被发送到解密部件102。解密部件102由于来自控制部件105的解密命令而执行对所接收数据的解密。如上所述，带有3D格式的图像被记录在记录介质中，带有3D格式的图像通过记录介质读出部件101被从记录介质读出，并且，被提供给解密部件102。此处，例如，存在一种多图片格式标准，该多图片格式标准已被CIPA标准化为用于三维图像显示器存储带有诸如左眼图像(L图像)和右眼图像(R图像)之类的多视角的图像的格式。例如，根据多图片格式标准，带有3D格式的图像被记录在记录介质上。多图片格式标准是这样一种格式其可以记录入带有与通过“Exif” (其被定义为通过通常的相机所捕获的图像的记录格式)规定的JPEG压缩数据的相同配置的个体图像， 并且，记录以使得多个个体图像如在图2中所示地彼此相关联。属于多图片格式的信息(诸如，左眼图像(L图像)和右眼图像(R图像)的关联信息)是一种格式，其被设置以使得记录成为可能。在解密部件102中，被记录在记录介质中并根据多图片格式被存储在数据中的带有两个视角的[左眼图像(L图像)和右眼图像(R图像)]的JPEG图像被读出，JPEG图像被解密并被读出为例如YCbCr 422图像数据，并且，被发送到图像数据临时记录部件103。 在发送时，所读出的图像数据在该示例利用如在图3中所示的并排格式被发送，并且，被记录在图像数据临时记录部件103中。此处，YCbCr 422图像数据是照明信号Y、颜色差异信号Cb和Cr的抽样比率为 4:2: 2时所获得的数据。存在一种抽样方法，其中，Cb和Cr信号值中的一个是通过关于对应于在水平方向上的两个像素的Y信号所获得的。根据该方法，例如，关于一个像素的 RGB信号的每个8比特的M比特的总和能够在YCbCr 422格式中被表示为16比特，并且， 可以增加存储器(图像数据临时记录部件10 的使用效率。图像数据临时记录部件103通过诸如DDR SDRAM(双数据率同步动态随机访问存储器)之类的存储器构成，并且，临时记录所接收的图像数据。当稍后阶段的视频信号输出部件104能够输出时，关于图像数据临时记录介质103的图像数据输出命令被从控制部件 105接收。然后，图像数据被发送到视频信号输出部件104。当视频信号输出部件104从控制部件105接收外部输出命令时，适于内置显示部件107或外部监视器的显示部件配置的输出数据被创建，并且，基于从图像数据临时记录部件103读出的图像数据(带有并排格式的图像数据)，输出被执行。例如，在图4中所示的情形中，其中，外部监视器是能够显示带有1920 X 1080像素的图像数据的显示器，视频信号输出部件104执行分辨率变换，其中，从图像数据临时记录部件103输入的并排图像被设置为带有1920X 1080像素的图像数据，并且，图像数据被输出ο根据该处理，在例如3D电视(外部监视器)中，对3D图像的显示和观看可通过执行控制而被执行，使得L图像和R图像根据电视的分辨率被交替显示，并且，存在一种配置， 使得例如戴有快门眼镜的观看者仅用左眼看到L图像并且用右眼看到R图像。另外，在内置显示部件107是输出目的地并且内置显示部件107具有能够输出带有640X480像素的图像数据的配置的情形中，分辨率变换被执行，使得所输入的并排图像被设置为带有640 X 480像素的图像数据，并且，该图像数据被输出。由于该处理，3D图像可被显示在内置显示部件107上。此处，作为在外部监视器或内置显示部件中的3D图像显示方法，可以使用各种方法，并不限于必须要有快门眼镜的方法，诸如，使用利用偏振片的眼睛的方法、使用能够用裸眼观看3D图像的显示器的方法，等等。在图4中，示出了一个示例，其中，从图像数据临时记录部件103被输入到视频信号输出部件104的并排图像被设置为带有1440X540像素的图像数据。在视频信号输出部件104中，根据关于带有1440X540像素的图像数据的放大处理或缩小处理，图像校正被执行，适于外部监视器的带有1920X1080像素的图像数据被生成，另外，适于内置显示部件 107的带有640X480像素的图像数据被生成。此处，将在稍后阶段更加详细地描述视频信号输出部件104的详细配置和详细处理。内置显示部件107通过例如利用液晶面板构成。当3D图像显示命令被从控制部件105接收时，内置显示部件107基于在图5的(a) 中所示的并排图像数据显示通过视频信号输出部件104生成的3D图像。另外，当2D图像显示命令被从控制部件105接收时，并排图像被如图5的(b)中所显示的那样被显示。艮口， 作为并排图像显示，其中，L图像和R图像被设置在一帧图像中。图6是示出了视频信号输出部件104的详细配置的框图。将利用图6来描述视频信号输出部件104的详细配置和详细处理。如在图6中所示，视频信号输出部件104具有图像数据输入部件201、像素数据分割单元202、水平方向分辨率变换部件203到208、垂直方向分辨率变换部件209到214、像素数据整合部件215、信号处理部件216和217、外部输出部件218和内置显示部件输出部件219，以及控制部件220。控制部件220从上述参照图1的图像处理设备的主体的控制部件105接收命令， 并且，关于在图6中所示的视频信号输出部件104的构成部件发送出命令。虽然未示出，但为了防止复杂化示图，存在从控制部件220到部件中的每一个的命令路径。像素数据输入部件201通过利用控制部件220经由控制部件105将图像数据输出命令发送到向数据临时记录部件103来输入记录在图像数据临时记录部件103中的3D图像数据。此处，如上所述，带有并排图像格式的数据(其中，L图像和R图像被设置在一帧图像中)被作为YCbCr 422图像数据记录在图像数据临时记录部件103中。在图6中所示的视频信号输出部件104的图像数据输入部件201从图像数据临时记录部件103输入YCbCr 422图像数据。图像数据从左上像素被按次序发送。所输入的像素被发送到像素数据分割部件202。由于图像格式是YCbCr 422并且在实施例中存在外部监视器和内置显示部件107的输出目的地的两种系统，因此，在像素数据分割部件202中，当分割命令从控制部件220 被接收时，分割处理被执行，其中，如在图6中所示地被接收的图像数据针对每个像素分量 (Y、Cb、Cr)被分割成六个，以便在稍后的阶段执行分辨率变换处理。所分割的数据中的每一个在稍后阶段被发送到水平方向分辨率变换部件203到 208。图像数据分割部件202针对外部监视器将Y信号发送到水平方向分辨率变换部件203、 针对外部监视器将Cb信号发送到水平方向分辨率变换部件204、针对外部监视器将Cr信号发送到水平防线分辨率变换部件205、针对内置显示部件将Y信号发送到水平方向分辨率变换部件206、针对内置显示部件将Cb信号发送到水平方向分辨率变换部件207、以及针对内置显示部件将Cr信号发送到水平防线分辨率变换部件208。此时，由于存在外部监视器和内置显示部件107的输出目的地的两条路径，因此，必须执行分割成六个系统，但是，当输出路径增加时，必须分割成在YCbCr 422格式的情形中的路径数量的三倍的数量。水平方向分辨率变换部件203到208从控制部件220接收作为分辨率变换命令的放大或缩小命令。例如，在存在使得输入图像的水平方向分辨率为1440、输出图像的外部监视器的水平方向的分辨率是1920，并且，内置显示部件107的水平方向分辨率是640的设置的情形中，必须根据关于所输入图像的输出目的地中的每一个的显示部件的分辨率来执行分辨率变换。控制部件220根据输出目的地发送出用于分辨率变换的放大或缩小命令。当在水平方向分辨率变换部件203到208中的水平方向分辨率变换处理所需的像素数被输入时，针对像素分量(Y、Cb、Cr)中的每一个，水平方向分辨率变换处理被执行。稍后将描述分辨率变换处理的细节。当在水平方向分辨率变换部件203到208中的水平方向分辨率变换处理被完成时，已实施了水平方向分辨率变换处理的图像数据被发送到垂直方向分辨率变换部件209到214。垂直方向分辨率变换部件209到214还根据来自控制部件220的输出目的地接收用于分辨率变换的放大或缩小命令。例如，例如，在存在使得输入图像的垂直方向分辨率为 M0、输出图像的外部监视器的垂直方向的分辨率是1080，并且，内置显示部件107的垂直方向分辨率是480的设置的情形中，必须根据关于所输入图像的输出目的地中的每一个的显示部件的分辨率来执行分辨率变换。控制部件220根据输出目的地发送出用于分辨率变换的放大或缩小命令。当在垂直方向分辨率变换部件209到214中的垂直方向分辨率变换处理所需的行数被输入时，针对像素分量的每一个，垂直方向分辨率变换处理被执行。该处理是分辨率变换方向不同于水平方向分辨率变换的处理。当垂直方向分辨率变换处理被完成时，已实施了分辨率变换的图像数据被发送到图像数据整合部件215。图像数据的整合在图像数据整合部件215中执行。通过分辨率变换处理(针对 YCbCr的每个信号单元，在分辨率变换部件203到214中被独立地执行)所生成的图像分量数据根据来自控制部件220的图像整合命令而被整合，并且，用于输出的图像数据被生成。 由于在实施例中存在向外部监视器和内置显示部件107两个系统的输出，因此，针对外部监视器已整合的图像数据被发送到信号处理部件216，并且，针对内置显示部件107所已整合的图像数据被发送到信号处理部件217。图7示出了描述了从像素数据分割部件202到像素数据整合部件215的处理流的示图。
像素数据分割部件202从图像数据输入部件201获得YCbCr 251信号，并且，生成 Y信号沈1、Cb信号262和Cr信号沈3。针对每个YCbCr信号单元，分辨率变换部件203到214独立地执行分辨率变换处理。分辨率处理被作为根据输出目的地(在实施例中的外部监视器和内置显示部件107) 的分辨率的变换处理而被执行。由于分辨率变换处理，外部监视器Y信号271、外部监视器Cb信号272、外部监视器Cr信号273、内置显示部件Y信号274、内置显示部件Cb信号275、以及内置显示部件Cr 信号276的信号被生成。信号给输入到像素数据整合部件215。像素数据整合部件215执行对外部监视器 Y信号271、外部监视器Cb信号272和外部监视器Cr信号273的三个信号的整合处理，并且，外部监视器YCbCr信号281被生成，并且，被输出到在图6中所示的信号处理部件216。另外，像素数据整合部件215执行对内置显示部件Y信号274、内置显示部件Cb信号275、以及内置显示部件Cr信号276的三个信号的整合处理，并且，内置显示部件YCbCr 信号282被生成，并且，被输出到在图6中所示的信号处理部件217。信号处理部件216和217从控制部件220接收每种类型的信号处理执行命令，在稍后阶段处，诸如伽马校正之类的各种图像处理根据输出设备被执行，并且，发送到外部输出部件218和内置显示部件输出部件219。在稍后阶段处，外部输出部件218和内置显示部件输出部件219根据输出设备对接口信号执行变换。例如，在向外部监视器输出的信号的情形中，图像输出通过HDMI (高清多媒体接口)格式被执行，而在向内置显示部件107输出的信号的情形中，图像输出通过 MIPI (移动工业处理器接口)被执行。2.分辨率变换处理的细节接下来，将详细描述通过水平方向分辨率变换部件203到208以及垂直方向分辨率变换部件209到214所执行的分辨率变换处理。图8示出了框图，该框图示出了分辨率变换部件300。在图8中所示的分辨率变换部件300是在图6中所示的分辨率变换部件，即，图8是示出了水平方向分辨率变换部件 203到208以及垂直方向分辨率变换部件209到214的各自分辨率变换部件的一个配置示例的示图。水平方向分辨率变换部件203到208以及垂直方向分辨率变换部件209到214中的每一个具有在图8中所示的分辨率变换部件300的配置。另外，图9示出了描述了在图8中的分辨率变换部件300中所执行的分辨率变换处理的序列的流程图。将参照图8和9来描述在分辨率变换部件300中所执行的分辨率变换处理的细节。此处，由于分辨率变换方向不同的水平方向分辨率变换和垂直方向分辨率变换的基本处理是相同的，因此，此处将描述水平方向的分辨率变换。如在图8中所示，分辨率变换部件300具有像素数据输入部件301、输出相位计算部件302、计算像素选择部件303、系数计算部件304、卷积计算部件305、系数总和计算部件 306、正规化(normalization)部件307、像素数据输出部件308，以及控制部件309。
控制部件309从在图1中所示的设备的主体的控制部件105接收命令，并且，将命令发送到在图8中所示的分辨率变换部件300的每个部件。虽然为了防止复杂化示图而未示出，但是，存在从控制部件309到每个部件的命令路径。当输入图像的水平方向分辨率和在放大或缩小处理之后的水平方向分辨率被从控制部件105接收时，根据图9的分辨率变换处理流的处理被启动。此处，作为示例，以下所描述的分辨率变换处理示例将被描述成如下的处理示例 水平方向分辨率变换被以某种设置执行，其中，输入图像的水平方向分辨率是1440，并且， 在分辨率变换之后的水平方向分辨率是1920。S卩，分辨率变换被执行，使得关于在水平方向上的像素数为1440像素的输入图像，在水平方向上的像素数为1920像素的输出图像被生成。对输出相位的计算被在图9中所示的流的步骤SlOl中执行。在图8中所示的输出相位计算部件302从控制部件309接收输入图像的水平方向分辨率信息(=1440)和在放大或缩小处理之后水平方向分辨率信息(=1920)，并且，基于输入信息，在输出像素上执行相位计算。具体地，当输入图像的水平方向分辨率是1440并且在分辨率变换之后的水平方向分辨率是1920时，如在图10中所示的位置关系通过计算像素的布置而被计算。图10示出了具有如下不同分辨率的输入和输出像素的像素定位(a)输入像素(水平方向分辨率=1440)以及(b)输出像素(水平方向分辨率=1920)。在图8中所示的输出相位计算部件302计算出例如输出像素的第零个像素的相位位置必须被生成在关于在图10中所示的输入像素的第零个像素的-0. 125的位置中。输出像素的像素0的相位(关于输入像素0的相位)是-0. 125。此处，通过将输入像素的像素0的相位作为零，左方向被设置为“_”，右方向被设置为“+”，并且，输入像素的临近像素之间的距离被设置为带有等于1的相位。例如，带有在图I0中所示的输入像素(a)的像素号718的像素具有等于718的相位。
输出相位计算部件302计算对应于从输入像素的第零个像素(像素0)的位置处的偏离量的相位信息，并且，将所计算的相位信息输出到计算像素选择部件303。当相位信息输出被完成时，处理移动到不知S102。在步骤S102中，像素数据被输入到像素数据输入部件301，并且，输入像素被输出到计算像素选择部件303。当发送完成时，处理移动到步骤S103。在步骤S103中，计算像素选择部件303执行对计算输出像素的像素值所需的像素是否已被输入的分析，并且，如果确定必要的像素已被输入，则执行对在计算(其中，输出像素的像素值被从输入像素中计算出来)中所使用的像素(参考像素)的选择。此处，对用于计算输出像素的像素值所需的像素是否已被输入的分析处理以及参考像素选择处理被在图11中所示的必要像素确定部件401中执行，该图11示出了计算像素选择部件303的详细配置。必要像素确定部件401确认用于计算(其从接收自输出相位计算部件302的相位来生成输出像素)所需的输入像素，并且，确定该像素是否已被从像素数据输入部件301发送到计算像素选择部件303。例如，在带有539. 5的相位的输出像素必须从包括在输入像素中的两个像素生成的情形中，必须基于输入像素的像素值来计算输出像素的像素值。被用在对带有539. 5的相位的输出像素的像素值计算中的参考像素例如是输入像素的像素539和像素540的两个像素。在该情形中，必要像素确定部件401确定像素540是否已被从像素数据输入部件301 发送到计算像素选择部件303。此处，当输入图像的水平方向分辨率是1440并且在分辨率变换之后的水平方向分辨率是1920时，由于在图10中所示的输出像素的第零个像素具有-0. 125的相位，因此， 如果输入像素的第零个像素被发送到计算像素选择部件303，则确定必要像素已被输入。在必要像素确定部件401确定必要像素已被输入到计算像素选择部件303的情形中，处理移动到步骤S104。另外，如果未确定必要像素已被输入，则处理再次移动到步骤 S102,并且，下一个像素被输入。在步骤S104中，计算像素选择部件303判断在图11中所示的图像边缘相位确定部件402中图像边缘处理是否必要。此处，在实施例中的图像边缘处理具有对参考信号的设置和确定处理的意味，该处理在确定诸如图像的边缘部分之类的输出像素的像素值的情形中被执行。如上所述，在带有539. 5的相位的输出像素的像素值被计算的情形中，可以使用输入像素的像素539和像素540的两个像素作为在像素值计算中所使用的参考像素。但是， 在图10的设置中，在输出像素中的左边缘处的像素(输出像素0)的相位是-0. 125，并且， 不存在更靠近对应于该相位的左边位置的输入像素。因此，关于输出像素0，利用在输出像素的位置之间的两个输入像素作为参考像素的算法的像素值计算处理对于上述带有539. 5 的相位的输出像素的像素值计算处理是不可行的。通过同样的方式，关于在图10中所示的输出像素的右边缘处的输出像素1919，在输出像素1919的右边没有输入像素，并且，利用在输出像素的位置之间的两个输入像素作为参考像素的算法的像素值计算处理是不可行的。因此，关于在边缘部分的像素，使用特定于图像边缘部分(图像边缘)的像素值估计算法，该算法不同于利用输出像素位置的左边和右边的两个输入像素作为参考像素的算法。对利用特定于图像边缘的像素值估计算法而被在像素值设置处理中所使用的参考像素的设置和确定处理被称为图像边缘处理。在没有可在输出像素的相位的左位置和右位置中参考的输入像素的情形中，确定图像边缘处理是需要的，并且，处理移动到步骤S105。如果确定出不需要像素边缘处理，则处理移动到步骤S106。在没有可在输出像素的相位的左位置和右位置中参考的输入像素并且确定出需要图像边缘处理的情形中，在图11中所示的计算像素选择部件303的图像边缘处理执行部件404在步骤S105中执行图像边缘处理。图像边缘处理是这样一种处理，其中，存在对参考信号的设置和确定，该参考信号在如上述的输出像素的像素位置的两边上不存在用于计算输出像素的像素值所需的输入像素的情形中被用在对输出像素的像素值计算中。将参照图12A和12B来描述图像边缘处理的示例。
图12A和12B示出了两个以下的图像边缘处理示例。(a)镜像处理(b)复制处理在图12A中所示的镜像处理是这样一种处理，其中，虚拟像素(像素0’、1’、2’和 3’ )用如同图像边缘部分的像素(像素0、1、2和幻沿着在图中所示的边界被在镜子中反射一样的形成方式形成。在图12B中所示的复制处理是这样一种处理，其中，虚拟像素(像素0’、1’、2’和 3’ )通过复制图像边缘部分的像素(像素0)而形成。通过利用虚拟输入像素作为参考像素来计算输出像素的像素值。此处，由于此处所描述的示例是利用输入像素的两个像素作为参考像素来设置输出像素的像素值的示例，因此，作为输出像素的像素值所计算的值与在图12A中所示的镜像处理的情形中所计算的值形同，并且，与在使用了图12B中所示的复制处理的情形中所计算的值相同。参考信号并不限于两个像素，并且，诸如四个像素之类的更多个像素被用作参考像素中的技术是可能的。在该情形中，所计算的输出像素的像素值不同于使用在图12A中所示的镜像处理的情形中所计算的值，并且，不同于使用在图12B中所示的复制处理的情形中所计算的值。此处，在示例中镜像处理和复制处理被描述为图像边缘处理示例，但是，可以根据另一图像边缘处理来执行像素值估计。如果图像边缘处理在图9中所示的流传那个图的步骤S105中完成，则处理移动到步骤S106。在步骤S106中，在图11中所示的计算像素选择部件303的边界相位确定部件403 指定对如下的确定左眼图像和右眼图像的两个不同图像的像素是否被包括在作为对输出像素的像素值计算中参考的输入像素中。如上所述，在利用并排格式的图像发送格式中，其中，三维(3D)图像通过左眼图像(L图像)和右眼图像(R图像)构成，左眼图像(L图像)和右眼图像(R图像)被包括在如图13A中所示的一图像帧的左区域和右区域中。并排图像是这样一种格式，其中，如在图13A中所示，左眼图像(L图像)和右眼图像(R图像)在左边和右边相连接。关于这种图像，在执行利用多个像素来生成输出像素的分辨率变换处理的情形中，在在两个图像(L图像和R图像)的边界部分中生成输出像素的情形中，当利用左眼图像(L图像)和右眼图像(R图像)的两个不同图像的像素来执行对输出像素的像素值的计算处理时，存在完全不同的图像区域的像素值的影响。当利用L图像和R图像(其通过以该方式执行对用像素来设置输出像素的像素值而被生成，该像素将另一图像配置为参考像素)来执行三维图像显示时，如图13B所示的图像的两个边缘中的像素的像素值是包括相当大噪声的像素，这与在图像内部的像素的像素值显著不同。当生成LR图像的边界部分中的L图像时，通过设置输出像素(其利用R图像的像素作为参考像素而被执行)的像素值所生成的是噪声。通过同样的方式，当生成R图像时，通过利用L图像的像素作为参考像素，类似的噪声被生成。由于对左眼图像和右眼图像的两个不同图像的像素是否被包括在被在对输出像素的像素值计算中所参考的输入像素中的确定，在图11中所示的计算像素选择部件303的边界相位确定部件403利用以下所示(式1)来执行确定处理。噪声生成输出像素的范围(输出图像分辨率-生成输出像素所需的像素数)/2 (输出图像分辨率+生成输出像素所需的像素数_2~) /2…(式1)。此处，用于生成输出像素所需的像素数是当生成输出像素时被参考的输入像素的像素数。利用上式所计算的输出像素示出了输出像素的水平方向中的位置，其中，最小值是等于零的左边边缘像素，而最大值是等于根据分辨率(例如，1919)的值的右边边缘像
ο关于利用上述(式1)所计算的输出像素位置所示出的输出像素，确定左眼图像和右眼图像的两个不同图像的像素值作为所参考的输入像素被包括。在利用两个像素来生成输出像素的情形中，其中，在图10中所示的输入图像的水平方向分辨率是1440，而在分辨率变换之后的水平方向的分辨率是1920，当输出像素的相位是像素959和像素960时，所描述的(式1)被满足。艮P，(1920-2)/2 (1920+2—2)/2= (1918)/2 (1920)/2= 959 960并且，其导致如下的可能性左眼图像和右眼图像的两个不同图像的像素被设置为在对输出像素959和输出像素960的像素值计算处理中的参考像素。在图9中所示的流程图的步骤S106中，当在图11中所示的边界相位确定部件403 利用上述(式1)执行图像边界相位确定处理并且确定存在输出像素位置(其中，存在如下可能性左眼图像和右眼图像的两个不同图像的像素被设置为在对输出像素的像素值计算处理中的参考像素)时，在步骤S106中的确定是是，并且，处理进行到步骤S107。在另一方面，当确定不存在输出像素位置(其中，存在如下可能性左眼图像和右眼图像的两个不同图像的像素被设置为在对输出像素的像素值计算处理中的参考像素) 时，在步骤S106中的确定是否，并且，处理进行到步骤S108。在步骤S107中，在图11中所示的计算像素选择部件303的图像边缘处理执行部件404在图像边界处执行图像边缘处理。S卩，在执行像素值计算的输出像素的位置在上述(式1)的方位内的情形中，确定输出像素是边界部分像素，其中，存在上述的另一图像的影响，并且，关于边界部分，图像边缘处理也以与在图像边界部分中的像素相同的方式被执行，以便防止生成噪声。例如，图像边缘处理是参照图12A和12B的之前所描述的处理，并且是如下处理(a)镜像处理(b)复制处理由于该处理，对在计算处理(其确定输出像素的像素值)中所使用的参考像素的设置处理，即，图像边缘处理被执行。即便在LR图像的边界部分中，通过以与图像边缘部分相同的方式执行图像边缘处理，对输出像素的像素值的设置是可能的，其中，当确定在LR图像的边界部分中的输出像素时，另一图像的像素值的影响被移除。即，执行处理，其中，在在L图像中的输出像素的像素值被计算的情形中，仅在L图像区域中的输入像素被用作参考像素，并且，在在R图像中的输出像素的像素值被计算的情形中，仅在R图像区域中的输入像素被用作参考像素。作为其结果，对输出像素的像素值计算被执行，而无需使用不同图像的像素值作为参考像素，并且，图像生成是可能的，其中，参照图13B，如之前所描述的，图像质量被提高，同时没有生成噪声。将参照图14A到14C来描述在LR图像的边界部分中的输出像素生成处理的具体示例。例如，将描述一种情形的示例，其中，当在图10中所示的输入凸显的水平方向分辨率是1440并且在分辨率变换之后的水平方向分辨率是1920时，输出像素959被生成。在左眼图像(L图像)的输出像素959被生成的情形中，例如在如图14A中所示的参考信号的正常选择处理中，即，当在输出像素位置的左边和右边的输入像素(像素719和像素720)被设置为参考像素时，像素719在输入图像中的L图像中，而像素720在输入图像中的R图像中。因此，两个不同图像的像素被用作参考像素。在LR图像的边界部分中，正常的处理未被执行，并且，诸如在图14B中所示的处理被执行。如在图14B中所示，通过利用之前所描述的参照图12A和12B的镜像处理或复制处理，虚拟像素719’被在像素719上生成，该像素719是在输入图像的左眼图像中的边界像素，并且，利用像素719和像素719’作为参考像素，对输出像素959的像素值计算被执行。通过相同的方式，如在图14C中所示，在R图像中的输出像素960被在LR图像的边界部分中生成的情形中，通过利用之前所描述的参照图12A和12B的镜像处理或复制处理，虚拟像素720’被在像素720上生成，该像素720是在输入图像的右眼图像中的边界像素，并且，利用像素720和像素720’作为参考像素，对输出像素960的像素值计算被执行。在图9中所示的流程图中的步骤S107处，当在边界部分生成输出像素时，在图11 中所示的计算像素选择部件303的图像边缘处理执行部件404通过这种方式执行图像边缘处理。当图像边缘处理在步骤S107中被执行时，处理移动到步骤S108。在步骤S108中，对像素的实际选择处理由像素选择部件405在计算对输出像素的像素值的设置中被使用。即，对参考像素的选择被执行。例如，在输出像素利用两个输入像素被计算的情形中，像素选择按以下执行。(a)在图10中的示例中的输出像素的第零个像素被生成的情形中，基于输入像素0并在诸如步骤S105中所执行的镜像处理或复制处理之类的图像边缘处理中所生成的虚拟像素0’和输入像素0被选为参考像素。(b)在输出像素的第二个像素被生成的情形中，输入像素的像素1和输入像素的像素2被选为参考像素。(c)在输出像素的第959个像素被生成的情形中，基于输入像素719并在诸如步骤S107中所执行的镜像处理或复制处理之类的图像边缘处理中所生成的虚拟像素719’和输入像素719被选为参考像素。
像素选择处理被以这种方式执行。像素选择部件405通过这种方式根据输出像素的位置来执行参考像素选择处理。 所选择的像素被发送到在图8中所示的卷积计算部件305。当发送完成时，处理移动到在图 9中所示的流程图中的步骤S109。在步骤S109中，系数计算部件304执行系数计算(其等同于对多个所选择的参考像素的加权)，以便基于从输出相位计算部件302所接收的输出相位信息来计算输出像素的像素值。在利用输出像素的像素位置附近的输入像素的插值方法中，存在各种方法，但是，在实施例中描述了利用在附近的两个像素的线性插值的示例。存在这种处理，其中，通过利用将两个像素作为参考像素的线性插值来计算输出像素的像素值。此处，还可以使用其他技术。将参照图15来描述利用线性插值的对输出像素的像素值计算处理的示例。在输出像素A如在图15中所示地被生成的情形中，使用靠近输出像素A的两个附近像素。两个附近像素通过输入像素或基于输入像素所生成的虚拟像素来配置。在关于图像边缘部分或图像边界不放你的图像边缘处理被执行的情形中，虚拟像素被包括。输入像素Ml (最靠近负方向(在图15中的左方向))与在图15中所示的生成了输出像素A的相位之间的相位差异被设置为相位差异=P在输入像素中的像素之间的间隔被设置为1，输入像素Pl(最靠近正方向(在图 15中的右方向))与生成了输出像素A的相位之间的相位差异被设置为相位差异=I-P输出像素A的像素值通过利用以下示出的(式幻而被计算。输出像素A 的像素值=(f(a)XMl+f(b)XPl)/(f(a)+f(b))...(式 2)此处，f(x)= 1-x，a = P，并且b = I-P。(式幻上述是这样一种等式，其中，等同于根据输出像素和参考像素之间的距离的加权的系数f (a)和f(b)被设置，并且，通过利用基于两个参考像素的像素值Ml和Pl的线性插值处理来计算输出像素A的像素值。此处，针对线性插值，f(x) = 1-x。系数是在式2中的f(a)和f(b)，并且，系数是根据输出像素和参考像素之间的距离(相位差异)的值。将参照图16来描述系数计算的示例。在图16中所示的示例示出了对在图10中所示的输出像素的第零个像素的像素值计算处理的示例。作为像素值计算的对象的输出像素0的相位是-0. 125。在对输出像素0的像素值计算中所使用的参考像素是在图16中所示的输入像素 0和通过利用基于输入像素0的诸如镜像处理或复制处理之类的图像边缘处理所生成的虚拟像素0’。当确定在该情形中的系数时，f (a) = I-(P) = 1-0.875 = 0. 125，并且f (b) = I-(I-P) = 1-0. 125 = 0. 875。
18
另外，通过参照图17来描述在图10中所示的输出像素的像素2的像素值计算处理的示例。作为像素值计算的对象的输出像素2的相位是0.75X2-0.125 = 1.375。在对输出像素2的像素值计算中所使用的参考像素是图17中所示的输入像素1 和在输入像素2。当确定在该情形中的系数时，f (a) = I-(P) = 1-(0. 375) = 0.625，并且f (b) = I-(I-P) = 1-0. 625 = 0. 375。另外，参照图18描述了在图10中所示的输出像素的像素959的像素值计算处理的示例。作为像素值计算的对象的输出像素959的相位是0. 75X959-0. 125 = 719. 125。在对输出像素959的像素值计算中所使用的参考像素是在图18中所示的输入像素719和通过利用基于输入像素719的诸如镜像处理或复制处理之类的图像边缘处理所生成的虚拟像素719’。当确定在该情形中的系数时，f (a) = I-(P) = 1-0. 125 = 0.875，并且f (b) = I-(I-P) = 1-0. 875 = 0. 125。通过这种方式，在图9中所示的流程图的步骤S109中，系数总和计算部件306根据输出像素和参考像素之间的距离(相位差异)来计算系数。当系数计算在步骤S109中完成时，所确定的系数值被输出到卷积计算部件305和系数总和计算部件306。在系数总和计算部件306中，从系数计算部件304所接收的系数的总和被计算，并且，上述(式幻的分母值被计算。艮P，输出像素A 的像素值=(f(a) XMl+f(b) XPl)/(f(a)+f(b))...(式 2)在上述(式2)中的分母所示的系数的总和，即，系数的总和=(f(a)+f(b))被计算。此处，在该示例中，由于线性插值，系数(f (a)+f (b))的总和一般为1。当对系数的总和的计算完成时，处理移动到在图9中所示的流程图的步骤S110。在步骤SllO中，卷积计算部件305执行卷积计算。上述(式幻的分子值通过利用由在计算像素选择部件303中的像素选择部件405所选择的参考像素的像素值以及由系数计算部件304所确定的系数值(f (a)和f(b))在卷积计算部件305中被计算。即，输出像素A 的像素值=(f(a) XMl+f(b) XPl)/(f(a)+f(b))...(式 2)在上述(式2)中的分子中所示的值，即(f (a) XMl+f (b) XPl)被计算。例如，在参照图17所描述的输出像素2的像素值计算处理的示例中，作为参考像素的输入像素1的系数f(a) = 0.625，并且
作为参考像素的输入像素2的系数f (b) = 0. 375。此时，在输入像素1的像素值是75并且输入像素2的像素值是200的情形中，在上述(式2)的分子中所示的值，即，(f(a) XMl+f(b) XPl)被按以下计算。f (a) XMl+f (b) XPl= 0. 625 X 75+0. 375 X 200= 121.875。当在图9中所示的流程图的步骤SllO的计算处理被完成时，计算结果被发送到正规化部件307，并且，处理移动到步骤Sl 11。在步骤Slll中，正规化部件307利用来自卷积计算部件305的卷积计算结果以及来自系数总和计算部件306的系数总和计算结果来执行正规化处理。在实施例中，正规化处理是这样一种处理，其中，输出像素的像素值根据上述式2来计算。在该线性插值的示例中，由于系数的总和一般为1，因此，卷积计算的结果是在步骤Slll中的计算结果。当正规化处理被完成时，计算结果被发送到像素数据输出部件308，并且，处理移动到步骤S112。在图9中所示的流程图的步骤S112中，针对某数量的像素中的每一个，通过利用像素数据输出部件308来执行输出。当确定处理已完成至最后一个像素时，处理结束。另夕卜，在未确定处理已完成至最后一个像素的情形中，处理移动到步骤S101，并且，针对下一输出像素，生成处理再次继续。通过这种方式，在公开的处理中，针对图像边缘部分，图像边缘处理在对LR图像的边界部分中的输出像素的像素值计算处理中被执行。由于在图像边界部分中的图像边缘处理，对L图像的输出像素的像素值的设置仅用在输入像素的L图像的像素作为参考像素来执行。通过相同的方式，对R图像的输出像素的像素值的设置仅用在输入像素的R图像的像素作为参考像素来执行。由于该处理，防止了如下处理不同图像的像素值被参考，并且，高质量的图像生成是可能的，其中，在LR图像的边界部分中没有噪声生成。具体地，在并排图像被输出到3D 监视器的情形中，不存在来自相对眼的像素的影响的绝佳的图像输出是可能的。3.当图像具有上下格式时的处理示例上述实施例描述了在分辨率变换关于带有并排格式的图像数据被在图像处理设备中执行的情形中的处理示例。带有并排格式的图像使用左眼图像(L图像)和右眼图像(R图像)被设置在一个图像帧的左区域和右区域中的方法。除了这之外，作为3D图像数据发送的方法，存在上下格式，其中，左眼图像(L图像)和右眼图像(R图像)被设置在一个图像帧的顶部区域和底部区域中。例如，在图19A中所示的数据的格式是上下格式。在根据公开的处理未被执行的情形中，当以3D显示时的噪声的位置是如图1 所示的在并排情形中的两边，但是，在上下情形中，噪声的位置是如在图19B中所示的顶部和底部。这是因为图像的边界是垂直方向的。通过这种方式，即便在上下格式中，也存在L图像和R图像的边界部分，并且，图像生成是可能的，其中，通过利用公开的处理，噪声被减少。
关于带有上下格式的处理基本上与上述关于带有并排格式的图像的处理相同，并且，通过在LR图像的边界部分执行图像边缘处理并且仅从与输出图像相同的图像来选择参考像素，处理被执行。在关于带有并排格式的图像的处理中，在图6中所示的水平方向分辨率变换部件 203到208中，处理被以与利用在图11中所示的边界相位确定部件403在图像边界处的图像边缘处理相同的方式被执行。在另一方面，在关于带有上下格式的图像的处理中，在图6中所示的垂直方向分辨率变换209到214中，处理被以与利用在图14中所示的边界相位确定部件403在图像边界处的图像边缘处理相同的方式被执行。由于处理，分辨率变换是可能的，其中，当顶部和底部图像被输出到3D监视器时， 相反眼图像(关于左眼图像的右眼图像以及关于右眼图像的左眼图像)的像素的影响被防止。4.对带有多视角的图像的分辨率变换处理公开的图像处理设备不仅在关于图像(其中，存在构成三维图像的左眼图像(L图像)和右眼图像(R图像))的处理的情形中有效，还在例如关于包括带有多视角(其如图 20中所示被包括在一图像帧中)的图像的处理中的情形中有效。在图20中所示的图像通过如下图像中的每一个构成(1)在右方向上的左眼图像(2)在右方向上的右眼图像(3)在左方向上的左眼图像，以及(4)在左方向上的右眼图像通过例如用户选择在左侧或右侧上的优选的方向中的图像，诸如此的图像可被以 3D显示在专用监视器上。如果存在这样一种设置，其中，多个不同的图像被以这种方式记录在一图像帧中， 则针对每个图像存在边界。关于边界部分，通过执行上述的图像边缘处理，即，仅与输出图像相同的输入图像的像素被设置为参考像素的图像边缘处理，可以生成高质量的图像。S卩，当在图像边界部分处执行分辨率变换等的过程中计算输出像素的像素值时， 可以通过仅参考与输出图像相同的输入图像的像素值来设置输出像素的像素值，而不参考不同于输出图像的图像的像素。在诸如在图20中所示的带有四个分割的图像的情形中，在图6中所示的水平方向分辨率变换部件203到208以及垂直方向分辨率变换部件209到214 二者中，利用在图11 中所示的边界相位确定部件403来以与在图像边界处的图像边缘处理相同的方式执行处
理是需要的。即便在分割的数量增加的情形中，图像边界被以相同的方式确定并且处理被以与在图像边界处的图像边缘处理相同的方式被执行是需要的。5.在三维图像(3D)和二维图像QD)之间的切换处理例如，关于在图1中所示的图像处理设备100的内置显示部件107，由于处理(其中，二维OD)图像显示命令被从控制部件105输出，或者，外部监视器被设置为2D显示器)，2D图像可被显示。
在当数据(其被从记录介质读出部件101中读出)被在解密部件102中解码时所接收的数据仅是JPEG图像并且不是表示诸如多图片格式等之类的多视角的格式的情形中，JPEG图像已被接收被从解密部件102通知到控制部件105，并且，控制部件105在每个部件中执行用于2D显示器的处理。具体地，除了向内置显示部件107发送2D显示命令以夕卜，处理被执行，其中，一般在图9的流程中所示的步骤S106中的分辨率变换中确定“另一图像的像素未被包括”，并且，处理移动到步骤S108。在该情形中，图像边缘处理未被在图像边界部分执行。6.图像处理设备的硬件配置示例接下来，将参照图21来描述执行上述处理的图像处理设备的硬件配置示例。图21 是描述了根据公开的实施例的图像处理设备400的配置示例的框图。图像处理设备400是执行处理的设备，其中，数据从介质410读出，诸如上述的分辨率变换之类的图像处理被执行，并且，输出图像被生成。具体地，图像处理设备400例如是诸如电视、再现设备、视频相机、PC等之类的设备。CPU(中央处理单元)701用作根据存储在R0M(只读存储器)702或存储部件708 中的程序来执行各种处理的数据处理部件。例如，图像生成处理等被执行，其涉及在上述每个实施例中所描述的分辨率变换。由CPU701、数据等执行的程序被适当地存储在在RAM(随机访问存储器)703中。 CPU701、R0M702和RAM703经由总线704彼此相连接。CPU701经由总线704被连接到输入/输出接口 705，并且，从各种类型的开关、键盘、鼠标、麦克风等形成的输入部件706和从显示器、扬声器等形成的输出部件707被连接在输入/输出接口 705中。CPU701执行对应于从输入部件706所输入的命令的各种处理， 并且，将处理的结果输出到例如输出部件707。被连接到输入/输出接口 705的存储部件708从例如硬盘形成，并且，存储由 CPU701所执行的程序和各种类型的数据。通信部件709经由网络(诸如，因特网、局域网等)与外部设备通信。被连接到输入/输出接口 705的驱动器710驱动诸如磁盘、光盘、磁光盘、半导体存储器等之类的可移动介质711，并且，获得各种类型的数据，诸如，所记录的内容、程序等。以上，已参照具体实施例描述了公开。但是，对于本领域技术人员而言，很清楚，对实施例的修改和替换是可能的，只要不偏离公开的概念即可。即，实施例是用于公开公开的，并且，不被解释为限制性的。为了确定公开的概念，要参照权利要求的范围。另外，在说明书中的一系列所描述的处理可利用硬件、软件或二者的组合的配置来执行。在处理通过利用软件来执行的情形中，记录处理序列的程序(其被安装在带有内置专用硬件的计算机的存储器中)被执行，或者，安装在能够执行各种处理的通用计算机中的程序被执行。例如，程序可预先被记录在记录机制上。除了从记录介质被安装在计算机中的程序之外，程序可经由诸如LAN(局域网)或因特网之类的网络被接收，并且，被安装在诸如内置硬盘之类的记录介质中。此处，在说明书中所描述的各种处理不仅可根据描述在时间系列中执行，还可依赖于执行处理的设备的处理能力或所需来并行或单独执行。另外，在说明书中的系统是多个设备的逻辑集合的配置，并且，并不限于在相同外壳中的每个配置的设备。
本申请包括与2010年10月22日向日本专利局递交的日本优先权专利申请 JP2010-237883公开的内容有关的主题，其全部内容通过引用被结合于此。本领域技术人员应当理解，取决于设计要求和其他因素，可以发生各种修改、组合、子组合和变更，只要它们在权利要求或其等同物的范围内即可。
权利要求
1.一种图像处理设备，包括视频信号输出部件，该视频信号输出部件执行对图像的分辨率变换，其中，在作为分辨率变换对象的输入图像中包括多个不同图像的情形中，在对图像边界附近的输出图像的像素值计算时，所述视频信号输出部件利用图像边缘处理来执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且，所述图像边界附近的输出像素的像素值通过利用使用所述图像边缘处理而设置的参考像素的像素值来确定。
2.如权利要求1所述的图像处理设备，其中，在对所述图像边界附近的输出图像的像素值计算时，所述视频信号输出部件设置虚拟像素作为参考像素，该虚拟像素是利用在所述输入图像的图像边界部分中的像素镜像处理而生成的。
3.如权利要求1所述的图像处理设备，其中，在对所述图像边界附近的输出图像的像素值计算时，所述视频信号输出部件设置虚拟像素作为参考像素，该虚拟像素是利用在所述输入图像的图像边界部分中的像素复制处理而生成的。
4.如权利要求1所述的图像处理设备，其中，在对所述图像边界附近的输出图像的像素值计算时，所述视频信号输出部件根据所述输出像素和所述参考像素的像素位置之间的距离来设置加权系数，并且利用已经应用了加权系数的参考像素的像素值计算来计算所述输出像素的像素值。
5.如权利要求1所述的图像处理设备，还包括水平方向分辨率变换部件，在对图像的水平方向中的图像边界附近的输出图像的像素值计算时，该水平方向分辨率变换部件利用所述图像边缘处理来执行对所述输出像素的像素值的设置；以及垂直方向分辨率变换部件，在对图像的垂直方向中的图像边界附近的输出图像的像素值计算时，该垂直方向分辨率变换部件利用所述图像边缘处理来执行对所述输出像素的像素值的设置。
6.如权利要求1所述的图像处理设备，其中，所述视频信号输出部件执行对是否存在基于示出了所述输出图像中每个像素位置的相位信息而需要执行所述图像边缘处理的图像边界部分附近的像素的判断。
7.如权利要求1所述的图像处理设备，其中，在关于应用到三维图像显示的具有并排格式的图像或具有上下格式的图像的分辨率变换处理时，所述视频信号输出部件在对应用于左眼图像和右眼图像的图像边界附近的输出图像的像素值计算的所述参考像素的设置处理中执行所述图像边缘处理。
8.如权利要求1所述的图像处理设备，其中，所述视频信号输出部件对于多个不同的像素信号并行地执行分辨率变换。
9.如权利要求8所述的图像处理设备，其中，所述多个不同的像素信号是YCbCr信号中的每个信号。
10.如权利要求1所述的图像处理设备，其中，所述视频信号输出部件并行地执行与具有不同分辨率的多个显示部分相对应的分辨率变换。
11.一种图像显示设备，包括视频信号输出部件，该视频信号输出部件执行对图像的分辨率变换；以及显示部件，该显示部件显示所述视频信号输出部件的生成了的视频信号，其中，在作为分辨率变换对象的输入图像中包括多个不同图像的情形中，在对图像边界附近的输出图像的像素值计算时，所述视频信号输出部件执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且，所述图像边界附近的输出像素的像素值通过利用使用图像边缘处理而设置的参考像素的像素值来确定。
12.—种由图像处理设备执行的图像处理方法，该图像处理设备包括执行对图像的分辨率变换的视频信号输出部件，该方法包括在作为所述视频信号输出部件中的分辨率变换对象的输入图像中包括多个不同图像的情形中，在对图像边界附近的输出图像的像素值计算时，使用所述视频信号输出部件来利用图像边缘处理来执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且，利用使用所述图像边缘处理而设置的参考像素的像素值，确定所述图像边界附近的输出像素的像素值。
13.一种使得图像处理设备执行图像处理的程序，该图像处理设备包括执行对图像的分辨率变换的视频信号输出部件，所述处理包括在多个不同图像被包括在作为分辨率变换对象的输入图像中的情形中，在对图像边界附近的输出图像的像素值计算时，使得所述视频信号输出部件利用图像边缘处理来执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且， 利用使用所述图像边缘处理而设置的参考像素的像素值，确定所述图像边界附近的输出像素的像素值。
全文摘要
本发明公开了图像处理设备、图像处理方法和程序。一种图像处理设备，包括视频信号输出部件，该视频信号输出部件执行对图像的分辨率变换，其中，在多个不同图像被包括在作为分辨率变换对象的输入图像中的情形中，视频信号输出部件在对图像边界附近的输出图像的像素值计算时刻执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且，通过利用使用图像边缘处理而设置的参考像素的像素值，确定在图像边界附近的输出像素的像素值。
文档编号H04N15/00GK102547330SQ20111032003
公开日2012年7月4日 申请日期2011年10月17日 优先权日2010年10月22日
发明者山口祯 申请人:索尼公司
技术领域：
本公开涉及图像处理设备、图像处理方法和程序。更详细地，公开涉及例如关于图像执行校正处理的图像处理设备、图像处理方法和程序，该图像包括诸如左眼图像和右眼图像之类的多个不同的图像，该左眼图像和右眼图像构成三维图像(3D图像)。
背景技术：
在过去，已开发并使用了诸如电视、PC等能够显示三维图像(3D图像)的显示设备以及能够记录三维图像(3D图像)的视频相机、静止相机等。显示处理被执行，其中，3D图像利用从不同视角所捕获的图像(即，左眼图像和右眼图像)。因此，在三维图像被记录在介质上的情形中，需要记录作为一个图像集的左眼图像和右眼图像，并且，在再现处理时， 利用图像集来执行再现。存在各种用于记录和发送三维图像数据的处理方法的方法。例如，作为有代表性的方法，已知帧序列方法、并排(side by side)方法以及上下(top and bottom)方法。帧序列方法是左眼图像(L图像)和右眼图像(R图像)的帧被如L、R、L、R，…， 被交替记录和发送的方法。并排方法是LR图像被分割到一帧的左部和右部中并被记录和发送的方法。上下方法是LR图像被分割到一帧图像中的顶部和底部并被记录和发送的方法。在以上方法中，在并排方法以及上下方法中，L图像和R图像被包括在设置在一个图像帧中的分割区域(并排或上下)中并被发送。在显示设备中执行处理，其中，例如所发送的数据被接收、L图像和R图像从一帧图像被包括，并且，LR图像被交替输出。此处，例如，通常的情形是通过诸如视频相机之类的成像设备所捕获并在诸如 HD的介质中被记录的3D图像的分辨率与显示设备的分辨率通常彼此各不相同。因此，在利用成像设备对记录在介质上的3D图像进行显示处理时，图像校正处理被执行，其中，3D图像根据显示设备的分辨率被放大或缩小。在图像校正处理中，插值处理等被执行，其中，例如当确定在输出图像中的像素的像素值时，构成输入图像的像素的像素值被参考。作为用于像素值插值处理的技术，可以使用过去已知的插值处理，诸如，线性插值处理、双线性处理、或双立体处理。但是，在上述的并排方法以及上下方法中，LR图像被设置在一个图像帧的分割区域(并排或上下)中，并且，被如上述地发送。关于这种图像，当插值处理被执行时，当外围像素是参考像素时，在LR图像的边界部分的插值处理中存在问题。例如，在对L图像的插值处理在L图像和R图像的边界附近执行的情形中，存在如下现象邻接L图像的R图像的像素值被参考。通过同样的方式，关于R图像，还存在如下现象与LR图像的边界附近的R图像相邻接的L图像的像素值被参考，并且，插值像素值被确定。当插值基于诸如此的错误的参考处理而被执行时，从根本上存在如下问题与将要设置的像素值显著不同的像素值被设置，并且，包括噪声的像素被输出。通过这种方式，当图像校正(诸如关于图像的放大或缩小)被执行时，其中，多个图像利用诸如上述并排方法以及上下方法被布置在相同的帧图像中，当在左眼图像和右眼图像的边界附近校正时，存在来自另一图像的像素的影响。作为在提出解决这种问题的技术的现有技术中的技术，存在例如日本未审查的专利申请公布No. 2008-236526。日本未审查的专利申请公布No. 2008-236526公开了一种配置，其中，对包括在图像中的边缘模式的检测被执行，并且，根据所检测的边缘模式，插值处理方法被切换。但是，即便该技术被应用，仍旧存在当插值时外围像素被用作参考像素的情形，并且，不可能执行处理，使得左眼图像和优选图像被可靠区分。另外，日本未审查的专利申请公布No. 7-79418公开了一种配置，其中，准确的分辨率变换通过在时间方向上利用像素来被执行。但是，即便在该技术中，外围像素被用作参考像素，并且，不可以完全阻止关于在左眼图像和右眼图像的边界附近的像素的不同图像之间的参考处理。通过这种方式，如在现有技术中的问题，存在以下所描述的问题。由于当放大或缩小图像时存在来自在左眼图像和右眼图像的边界附近的相反眼图像的影响，因此在图像的上下方法中，在屏幕的顶部和底部处存在屏幕上的噪声，并且， 在图像的并排方法中，在屏幕的左边和右边出存在屏幕上的噪声。作为其结果，存在3D图像的图像质量的劣化，该3D图像在校正处理后利用图像，并且，关于利用3D图像的图像分析函数，准确性也降低了。
发明内容
希望提供一种图像处理设备、图像处理方法和程序，其中，可以防止在诸如LR图像的边界处之类的图像边界部分中的错误的校正处理，并且，可以以一种配置来生成高质量的图像，其中，校正处理关于例如包括构成三维图像(3D图像)的多个诸如左眼图像(L 图像)和右眼图像(R图像)的图像而被执行。根据公开的第一实施例，一种图像处理设备具有视频信号输出部件，该视频信号输出部件执行对图像的分辨率变换，其中，在多个不同图像被包括在作为分辨率变换对象的输入图像中的情形中，在对图像边界附近的输出图像的像素值计算时，视频信号输出部件利用图像边缘处理来执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且，通过利用使用图像边缘处理而设置的参考像素的像素值，确定在图像边界附近的输出像素的像素值。另外，在根据公开的第一实施例的图像处理设备中，理想的是在对图像边界附近的输出图像的像素值计算时，视频信号输出部件设置虚拟像素作为参考像素，该虚拟像素是通过利用在输入图像的图像边界部分中的像素镜像处理生成的。另外，在根据公开的第一实施例的图像处理设备中，理想的是在对图像边界附近的输出图像的像素值计算时，视频信号输出部件设置虚拟像素作为参考像素，该虚拟像素是通过利用在输入图像的图像边界部分中的像素复制处理生成的。另外，在根据公开的第一实施例的图像处理设备中，理想的是在对图像边界附近的输出图像的像素值计算时，视频信号输出部件根据输出像素和参考像素的像素位置之间的距离来设置加权系数，并且利用已经应用了加权系数的参考像素的像素值计算来计算所述输出像素的像素值。另外，在根据公开的第一实施例的图像处理设备中，理想的是视频信号输出部件具有水平方向分辨率变换部件，该水平方向分辨率变换部件在对在图像的水平方向中的图像边界附近的输出像素的像素值计算时，利用图像边缘处理来执行对输出像素的像素值的设置；以及垂直方向分辨率变换部件，该垂直方向分辨率变换部件在对在图像的垂直方向中的图像边界附近的输出像素的像素值计算时，利用图像边缘处理来执行对输出像素的像素值的设置。另外，在根据公开的第一实施例的图像处理设备中，理想的是视频信号输出部件判断是否存在基于示出了在输出图像中每个像素位置的相位信息而需要执行图像边缘处理的图像边界部分附近的像素。另外，在根据公开的第一实施例的图像处理设备中，理想的是在关于应用到三维图像显示的带有并排格式的图像或带有上下格式的图像的分辨率变换处理时，视频信号输出部件在对参考像素的设置处理中执行图像边缘处理，该参考像素是被应用于对左眼图像和右眼图像的图像边界附近的输出图像的像素值计算中的参考像素。另外，在根据公开的第一实施例的图像处理设备中，理想的是视频信号输出部件关于多个不同的像素信号并行地执行分辨率变换。另外，在根据公开的第一实施例的图像处理设备中，理想的是多个不同的像素信号是YCbCr信号中的每个信号。另外，在根据公开的第一实施例的图像处理设备中，理想的是视频信号输出部件并行地执行与具有不同分辨率的多个显示部分对应的分辨率变换。根据公开的第二实施例的一种图像显示设备具有视频信号输出部件，该视频信号输出部件执行对图像的分辨率变换；以及显示部件，该显示部件显示视频信号输出部件所生成的视频信号，其中，在多个不同图像被包括在作为分辨率变换对象的输入图像中的情形中，在对图像边界附近的输出图像的像素值计算时，视频信号输出部件执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且，通过利用使用图像边缘处理而设置的参考像素的像素值，确定在图像边界附近的输出像素的像素值。一种根据第三实施例的由图像处理设备执行的图像处理方法，该图像处理设备包括执行对图像的分辨率变换的视频信号输出部件，该方法包括在多个不同图像被包括在作为视频信号输出部件中的分辨率变换对象的输入图像中的情形中，通过利用视频信号输出部件，在对图像边界附近的输出图像的像素值计算时，利用图像边缘处理来执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且，通过利用使用图像边缘处理而设置的参考像素的像素值，确定在图像边界附近的输出像素的像素值。一种根据公开的第四实施例的使得图像处理设备执行图像处理的程序，该图像处理设备包括执行对图像的分辨率变换的视频信号输出部件，处理包括在多个不同图像被包括在作为分辨率变换对象的输入图像中的情形中，在对图像边界附近的输出图像的像素值计算时，使得所述视频信号输出部件利用图像边缘处理来执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且，利用使用图像边缘处理而设置的参考像素的像素值，确定所述图像边界附近的输出像素的像素值。此处，根据公开的实施例的程序是例如通过利用关于信息处理设备或能够执行各种程序和代码的计算机系统的记录介质而被提供的程序。根据程序的处理通过使得程序被在信息处理设备或计算机系统上的程序执行部件执行而被实现。由于基于以下所描述的公开的实施例和附图的更加详细的描述，公开的其他目标、特点和优点将更加清楚。此处，在公开中的系统是多个设备的逻辑集合的配置，并且，并不限于在相同外壳下的每个配置的设备。根据公开的实施例，实现了一种配置，其中，在关于图像的分辨率变换中，在图像边界部分的噪声生成被防止，其中，多个邻接图像被记录。具体地，在这样一种情形中，例如，其中，多个不同的图像被包括在作为分辨率变换对象的输入图像中，在多个不同图像被包括在作为分辨率变换对象的输入图像中的情形中，在对图像边界附近的输出图像的像素值计算时刻，利用图像边缘处理来执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且，通过利用使用图像边缘处理而设置的参考像素的像素值，确定在图像边界附近的输出像素的像素值。例如，虚拟像素(其利用对在于输出图像相同的输入图像的图像边界部分中的像素的镜像处理或复制处理而被生成)被设置为参考像素，并且，在图像边界附近的输出像素的像素值被确定。由于该处理，图像边界部分的附近的输出图像的像素值被计算，而无需参考邻近不同图像的像素值，并且，生成带有高图像质量的输出图像是可能的，其防止由于在边界部分中的另一图像的影响而导致的噪声的生成。
图1是描述了根据本公开的实施例的图像处理设备的配置示例的示图；图2是描述了多图片格式标准的示图；图3是描述了带有并排格式的图像的示图；图4是描述了根据输出设备所执行的分辨率变换处理的示图；图5是描述了基于3D显示命令的3D显示处理和基于2D显示命令的2D显示处理的示图；图6是示出了视频信号输出部件的详细配置的框图；图7是描述了从像素数据分割部件到像素数据整合部件的处理流的示图；图8是示出了分辨率变换部件的配置示例的框图；图9是示出了流程图的示图，该流程图描述了在图8中所示出的分辨率变换部件中所执行的分辨率变换处理序列；图10是描述了在输入图像的水平方向分辨率是1440且在分辨率变换之后的水平方向分辨率是1920的情形中的对应像素和处理的示图；图11是描述了计算像素选择部件的详细配置示例的示图；图12A和12B是描述了图像边缘处理的示例的示图；图13A和1 是描述了在带有并排格式的图像示例的边界部分中的噪声生成的示图；图14A到14C是描述了在LR图像的边界部分中的输出像素生成处理的具体示例的示图；图15是描述了利用线性插值处理的输出像素的像素值计算处理的示图；图16是描述了利用线性插值处理的输出像素的像素值计算处理的示例的示图；图17是描述了利用线性插值处理的输出像素的像素值计算处理的示例的示图；图18是描述了利用线性插值处理的输出像素的像素值计算处理的示例的示图；图19A和19B是描述了在带有上下格式的图像示例的边界部分中的噪声生成的示图；图20是描述了包括来自一个图像帧的多个视角的图像的示例的示图；以及图21是描述了根据公开的实施例的图像处理设备的硬件配置示例的示图。
具体实施例方式以下，将参照图来描述公开的图像处理设备、图像处理方法和程序的细节。描述将根据以下的项目而被执行。1.图像处理设备的配置和处理2.分辨率变换处理的细节3.当图像具有上下格式时的处理示例4.带有多个视角的图像的分辨率变换处理5.在三维图像(3D)和二维图像QD)之间的切换处理6.图像处理设备的硬件配置示例1.图像处理设备的配置和处理将参照图1来描述公开的图像处理设备的配置和处理。公开的图像处理设备解决在关于图像的图像校正处理中的问题，其中，在上述的一图像帧中存在诸如左眼图像(L图像)和右眼图像(R图像)之类的多个图像。具体地，公开的图像处理设备解决在分辨率变换(诸如，放大处理或缩小处理)时刻的问题。即，防止设置由于参考另一邻近图像的像素而导致的设置图像值，该另一邻近图像不会在LR图像的边界部分的附近被参考。如上所述，以下方法是在一图像帧中存在左眼图像(L图像)和右眼图像(R图像) 并且图像被记录和发送的方法。(1)并排方法LR图像被分割到一帧图像的左部和右部并且被记录和发送的方法。(2)上下方法LR图像被分割到一帧图像的顶部和底部并且被记录和发送的方法。首先，在以下的实施例中，将描述利用并排方法来发送图像的情形中的处理示例。图1是示出了根据公开的实施例的图像处理设备的框图。如在图1中所示，图像处理设备100具有记录介质读出部件101、解密部件102、图像数据临时记录部件103、视频信号输出部件104、控制部件105、输入部件106和内置显示部件107。输入部件106从用户接收指令输入。所接收的指令被发送到控制部件105。以下， 将描述在从用户接收到“在外部监视器上显示记录在记录介质上的带有3D格式的图像”的指令的情形中的处理示例。
控制部件105分析经由输入部件106所接收的输入指令，作为其结果，命令被向外发送到每个部件。记录介质读出部件101由于来自控制部件105的记录介质读出命令执行从记录介质的数据读出。作为记录介质，除了内置闪存存储器或内置HDD之外，可使用诸如存储卡的格式、能够被插入并弹出的CD-R或DVD-R之类的光盘、或在网络上的记录设备。通过记录介质读出部件101被记录在记录介质读出上的数据被发送到解密部件102。解密部件102由于来自控制部件105的解密命令而执行对所接收数据的解密。如上所述，带有3D格式的图像被记录在记录介质中，带有3D格式的图像通过记录介质读出部件101被从记录介质读出，并且，被提供给解密部件102。此处，例如，存在一种多图片格式标准，该多图片格式标准已被CIPA标准化为用于三维图像显示器存储带有诸如左眼图像(L图像)和右眼图像(R图像)之类的多视角的图像的格式。例如，根据多图片格式标准，带有3D格式的图像被记录在记录介质上。多图片格式标准是这样一种格式其可以记录入带有与通过“Exif” (其被定义为通过通常的相机所捕获的图像的记录格式)规定的JPEG压缩数据的相同配置的个体图像， 并且，记录以使得多个个体图像如在图2中所示地彼此相关联。属于多图片格式的信息(诸如，左眼图像(L图像)和右眼图像(R图像)的关联信息)是一种格式，其被设置以使得记录成为可能。在解密部件102中，被记录在记录介质中并根据多图片格式被存储在数据中的带有两个视角的[左眼图像(L图像)和右眼图像(R图像)]的JPEG图像被读出，JPEG图像被解密并被读出为例如YCbCr 422图像数据，并且，被发送到图像数据临时记录部件103。 在发送时，所读出的图像数据在该示例利用如在图3中所示的并排格式被发送，并且，被记录在图像数据临时记录部件103中。此处，YCbCr 422图像数据是照明信号Y、颜色差异信号Cb和Cr的抽样比率为 4:2: 2时所获得的数据。存在一种抽样方法，其中，Cb和Cr信号值中的一个是通过关于对应于在水平方向上的两个像素的Y信号所获得的。根据该方法，例如，关于一个像素的 RGB信号的每个8比特的M比特的总和能够在YCbCr 422格式中被表示为16比特，并且， 可以增加存储器(图像数据临时记录部件10 的使用效率。图像数据临时记录部件103通过诸如DDR SDRAM(双数据率同步动态随机访问存储器)之类的存储器构成，并且，临时记录所接收的图像数据。当稍后阶段的视频信号输出部件104能够输出时，关于图像数据临时记录介质103的图像数据输出命令被从控制部件 105接收。然后，图像数据被发送到视频信号输出部件104。当视频信号输出部件104从控制部件105接收外部输出命令时，适于内置显示部件107或外部监视器的显示部件配置的输出数据被创建，并且，基于从图像数据临时记录部件103读出的图像数据(带有并排格式的图像数据)，输出被执行。例如，在图4中所示的情形中，其中，外部监视器是能够显示带有1920 X 1080像素的图像数据的显示器，视频信号输出部件104执行分辨率变换，其中，从图像数据临时记录部件103输入的并排图像被设置为带有1920X 1080像素的图像数据，并且，图像数据被输出ο根据该处理，在例如3D电视(外部监视器)中，对3D图像的显示和观看可通过执行控制而被执行，使得L图像和R图像根据电视的分辨率被交替显示，并且，存在一种配置， 使得例如戴有快门眼镜的观看者仅用左眼看到L图像并且用右眼看到R图像。另外，在内置显示部件107是输出目的地并且内置显示部件107具有能够输出带有640X480像素的图像数据的配置的情形中，分辨率变换被执行，使得所输入的并排图像被设置为带有640 X 480像素的图像数据，并且，该图像数据被输出。由于该处理，3D图像可被显示在内置显示部件107上。此处，作为在外部监视器或内置显示部件中的3D图像显示方法，可以使用各种方法，并不限于必须要有快门眼镜的方法，诸如，使用利用偏振片的眼睛的方法、使用能够用裸眼观看3D图像的显示器的方法，等等。在图4中，示出了一个示例，其中，从图像数据临时记录部件103被输入到视频信号输出部件104的并排图像被设置为带有1440X540像素的图像数据。在视频信号输出部件104中，根据关于带有1440X540像素的图像数据的放大处理或缩小处理，图像校正被执行，适于外部监视器的带有1920X1080像素的图像数据被生成，另外，适于内置显示部件 107的带有640X480像素的图像数据被生成。此处，将在稍后阶段更加详细地描述视频信号输出部件104的详细配置和详细处理。内置显示部件107通过例如利用液晶面板构成。当3D图像显示命令被从控制部件105接收时，内置显示部件107基于在图5的(a) 中所示的并排图像数据显示通过视频信号输出部件104生成的3D图像。另外，当2D图像显示命令被从控制部件105接收时，并排图像被如图5的(b)中所显示的那样被显示。艮口， 作为并排图像显示，其中，L图像和R图像被设置在一帧图像中。图6是示出了视频信号输出部件104的详细配置的框图。将利用图6来描述视频信号输出部件104的详细配置和详细处理。如在图6中所示，视频信号输出部件104具有图像数据输入部件201、像素数据分割单元202、水平方向分辨率变换部件203到208、垂直方向分辨率变换部件209到214、像素数据整合部件215、信号处理部件216和217、外部输出部件218和内置显示部件输出部件219，以及控制部件220。控制部件220从上述参照图1的图像处理设备的主体的控制部件105接收命令， 并且，关于在图6中所示的视频信号输出部件104的构成部件发送出命令。虽然未示出，但为了防止复杂化示图，存在从控制部件220到部件中的每一个的命令路径。像素数据输入部件201通过利用控制部件220经由控制部件105将图像数据输出命令发送到向数据临时记录部件103来输入记录在图像数据临时记录部件103中的3D图像数据。此处，如上所述，带有并排图像格式的数据(其中，L图像和R图像被设置在一帧图像中)被作为YCbCr 422图像数据记录在图像数据临时记录部件103中。在图6中所示的视频信号输出部件104的图像数据输入部件201从图像数据临时记录部件103输入YCbCr 422图像数据。图像数据从左上像素被按次序发送。所输入的像素被发送到像素数据分割部件202。由于图像格式是YCbCr 422并且在实施例中存在外部监视器和内置显示部件107的输出目的地的两种系统，因此，在像素数据分割部件202中，当分割命令从控制部件220 被接收时，分割处理被执行，其中，如在图6中所示地被接收的图像数据针对每个像素分量 (Y、Cb、Cr)被分割成六个，以便在稍后的阶段执行分辨率变换处理。所分割的数据中的每一个在稍后阶段被发送到水平方向分辨率变换部件203到 208。图像数据分割部件202针对外部监视器将Y信号发送到水平方向分辨率变换部件203、 针对外部监视器将Cb信号发送到水平方向分辨率变换部件204、针对外部监视器将Cr信号发送到水平防线分辨率变换部件205、针对内置显示部件将Y信号发送到水平方向分辨率变换部件206、针对内置显示部件将Cb信号发送到水平方向分辨率变换部件207、以及针对内置显示部件将Cr信号发送到水平防线分辨率变换部件208。此时，由于存在外部监视器和内置显示部件107的输出目的地的两条路径，因此，必须执行分割成六个系统，但是，当输出路径增加时，必须分割成在YCbCr 422格式的情形中的路径数量的三倍的数量。水平方向分辨率变换部件203到208从控制部件220接收作为分辨率变换命令的放大或缩小命令。例如，在存在使得输入图像的水平方向分辨率为1440、输出图像的外部监视器的水平方向的分辨率是1920，并且，内置显示部件107的水平方向分辨率是640的设置的情形中，必须根据关于所输入图像的输出目的地中的每一个的显示部件的分辨率来执行分辨率变换。控制部件220根据输出目的地发送出用于分辨率变换的放大或缩小命令。当在水平方向分辨率变换部件203到208中的水平方向分辨率变换处理所需的像素数被输入时，针对像素分量(Y、Cb、Cr)中的每一个，水平方向分辨率变换处理被执行。稍后将描述分辨率变换处理的细节。当在水平方向分辨率变换部件203到208中的水平方向分辨率变换处理被完成时，已实施了水平方向分辨率变换处理的图像数据被发送到垂直方向分辨率变换部件209到214。垂直方向分辨率变换部件209到214还根据来自控制部件220的输出目的地接收用于分辨率变换的放大或缩小命令。例如，例如，在存在使得输入图像的垂直方向分辨率为 M0、输出图像的外部监视器的垂直方向的分辨率是1080，并且，内置显示部件107的垂直方向分辨率是480的设置的情形中，必须根据关于所输入图像的输出目的地中的每一个的显示部件的分辨率来执行分辨率变换。控制部件220根据输出目的地发送出用于分辨率变换的放大或缩小命令。当在垂直方向分辨率变换部件209到214中的垂直方向分辨率变换处理所需的行数被输入时，针对像素分量的每一个，垂直方向分辨率变换处理被执行。该处理是分辨率变换方向不同于水平方向分辨率变换的处理。当垂直方向分辨率变换处理被完成时，已实施了分辨率变换的图像数据被发送到图像数据整合部件215。图像数据的整合在图像数据整合部件215中执行。通过分辨率变换处理(针对 YCbCr的每个信号单元，在分辨率变换部件203到214中被独立地执行)所生成的图像分量数据根据来自控制部件220的图像整合命令而被整合，并且，用于输出的图像数据被生成。 由于在实施例中存在向外部监视器和内置显示部件107两个系统的输出，因此，针对外部监视器已整合的图像数据被发送到信号处理部件216，并且，针对内置显示部件107所已整合的图像数据被发送到信号处理部件217。图7示出了描述了从像素数据分割部件202到像素数据整合部件215的处理流的示图。
像素数据分割部件202从图像数据输入部件201获得YCbCr 251信号，并且，生成 Y信号沈1、Cb信号262和Cr信号沈3。针对每个YCbCr信号单元，分辨率变换部件203到214独立地执行分辨率变换处理。分辨率处理被作为根据输出目的地(在实施例中的外部监视器和内置显示部件107) 的分辨率的变换处理而被执行。由于分辨率变换处理，外部监视器Y信号271、外部监视器Cb信号272、外部监视器Cr信号273、内置显示部件Y信号274、内置显示部件Cb信号275、以及内置显示部件Cr 信号276的信号被生成。信号给输入到像素数据整合部件215。像素数据整合部件215执行对外部监视器 Y信号271、外部监视器Cb信号272和外部监视器Cr信号273的三个信号的整合处理，并且，外部监视器YCbCr信号281被生成，并且，被输出到在图6中所示的信号处理部件216。另外，像素数据整合部件215执行对内置显示部件Y信号274、内置显示部件Cb信号275、以及内置显示部件Cr信号276的三个信号的整合处理，并且，内置显示部件YCbCr 信号282被生成，并且，被输出到在图6中所示的信号处理部件217。信号处理部件216和217从控制部件220接收每种类型的信号处理执行命令，在稍后阶段处，诸如伽马校正之类的各种图像处理根据输出设备被执行，并且，发送到外部输出部件218和内置显示部件输出部件219。在稍后阶段处，外部输出部件218和内置显示部件输出部件219根据输出设备对接口信号执行变换。例如，在向外部监视器输出的信号的情形中，图像输出通过HDMI (高清多媒体接口)格式被执行，而在向内置显示部件107输出的信号的情形中，图像输出通过 MIPI (移动工业处理器接口)被执行。2.分辨率变换处理的细节接下来，将详细描述通过水平方向分辨率变换部件203到208以及垂直方向分辨率变换部件209到214所执行的分辨率变换处理。图8示出了框图，该框图示出了分辨率变换部件300。在图8中所示的分辨率变换部件300是在图6中所示的分辨率变换部件，即，图8是示出了水平方向分辨率变换部件 203到208以及垂直方向分辨率变换部件209到214的各自分辨率变换部件的一个配置示例的示图。水平方向分辨率变换部件203到208以及垂直方向分辨率变换部件209到214中的每一个具有在图8中所示的分辨率变换部件300的配置。另外，图9示出了描述了在图8中的分辨率变换部件300中所执行的分辨率变换处理的序列的流程图。将参照图8和9来描述在分辨率变换部件300中所执行的分辨率变换处理的细节。此处，由于分辨率变换方向不同的水平方向分辨率变换和垂直方向分辨率变换的基本处理是相同的，因此，此处将描述水平方向的分辨率变换。如在图8中所示，分辨率变换部件300具有像素数据输入部件301、输出相位计算部件302、计算像素选择部件303、系数计算部件304、卷积计算部件305、系数总和计算部件 306、正规化(normalization)部件307、像素数据输出部件308，以及控制部件309。
控制部件309从在图1中所示的设备的主体的控制部件105接收命令，并且，将命令发送到在图8中所示的分辨率变换部件300的每个部件。虽然为了防止复杂化示图而未示出，但是，存在从控制部件309到每个部件的命令路径。当输入图像的水平方向分辨率和在放大或缩小处理之后的水平方向分辨率被从控制部件105接收时，根据图9的分辨率变换处理流的处理被启动。此处，作为示例，以下所描述的分辨率变换处理示例将被描述成如下的处理示例 水平方向分辨率变换被以某种设置执行，其中，输入图像的水平方向分辨率是1440，并且， 在分辨率变换之后的水平方向分辨率是1920。S卩，分辨率变换被执行，使得关于在水平方向上的像素数为1440像素的输入图像，在水平方向上的像素数为1920像素的输出图像被生成。对输出相位的计算被在图9中所示的流的步骤SlOl中执行。在图8中所示的输出相位计算部件302从控制部件309接收输入图像的水平方向分辨率信息(=1440)和在放大或缩小处理之后水平方向分辨率信息(=1920)，并且，基于输入信息，在输出像素上执行相位计算。具体地，当输入图像的水平方向分辨率是1440并且在分辨率变换之后的水平方向分辨率是1920时，如在图10中所示的位置关系通过计算像素的布置而被计算。图10示出了具有如下不同分辨率的输入和输出像素的像素定位(a)输入像素(水平方向分辨率=1440)以及(b)输出像素(水平方向分辨率=1920)。在图8中所示的输出相位计算部件302计算出例如输出像素的第零个像素的相位位置必须被生成在关于在图10中所示的输入像素的第零个像素的-0. 125的位置中。输出像素的像素0的相位(关于输入像素0的相位)是-0. 125。此处，通过将输入像素的像素0的相位作为零，左方向被设置为“_”，右方向被设置为“+”，并且，输入像素的临近像素之间的距离被设置为带有等于1的相位。例如，带有在图I0中所示的输入像素(a)的像素号718的像素具有等于718的相位。
输出相位计算部件302计算对应于从输入像素的第零个像素(像素0)的位置处的偏离量的相位信息，并且，将所计算的相位信息输出到计算像素选择部件303。当相位信息输出被完成时，处理移动到不知S102。在步骤S102中，像素数据被输入到像素数据输入部件301，并且，输入像素被输出到计算像素选择部件303。当发送完成时，处理移动到步骤S103。在步骤S103中，计算像素选择部件303执行对计算输出像素的像素值所需的像素是否已被输入的分析，并且，如果确定必要的像素已被输入，则执行对在计算(其中，输出像素的像素值被从输入像素中计算出来)中所使用的像素(参考像素)的选择。此处，对用于计算输出像素的像素值所需的像素是否已被输入的分析处理以及参考像素选择处理被在图11中所示的必要像素确定部件401中执行，该图11示出了计算像素选择部件303的详细配置。必要像素确定部件401确认用于计算(其从接收自输出相位计算部件302的相位来生成输出像素)所需的输入像素，并且，确定该像素是否已被从像素数据输入部件301发送到计算像素选择部件303。例如，在带有539. 5的相位的输出像素必须从包括在输入像素中的两个像素生成的情形中，必须基于输入像素的像素值来计算输出像素的像素值。被用在对带有539. 5的相位的输出像素的像素值计算中的参考像素例如是输入像素的像素539和像素540的两个像素。在该情形中，必要像素确定部件401确定像素540是否已被从像素数据输入部件301 发送到计算像素选择部件303。此处，当输入图像的水平方向分辨率是1440并且在分辨率变换之后的水平方向分辨率是1920时，由于在图10中所示的输出像素的第零个像素具有-0. 125的相位，因此， 如果输入像素的第零个像素被发送到计算像素选择部件303，则确定必要像素已被输入。在必要像素确定部件401确定必要像素已被输入到计算像素选择部件303的情形中，处理移动到步骤S104。另外，如果未确定必要像素已被输入，则处理再次移动到步骤 S102,并且，下一个像素被输入。在步骤S104中，计算像素选择部件303判断在图11中所示的图像边缘相位确定部件402中图像边缘处理是否必要。此处，在实施例中的图像边缘处理具有对参考信号的设置和确定处理的意味，该处理在确定诸如图像的边缘部分之类的输出像素的像素值的情形中被执行。如上所述，在带有539. 5的相位的输出像素的像素值被计算的情形中，可以使用输入像素的像素539和像素540的两个像素作为在像素值计算中所使用的参考像素。但是， 在图10的设置中，在输出像素中的左边缘处的像素(输出像素0)的相位是-0. 125，并且， 不存在更靠近对应于该相位的左边位置的输入像素。因此，关于输出像素0，利用在输出像素的位置之间的两个输入像素作为参考像素的算法的像素值计算处理对于上述带有539. 5 的相位的输出像素的像素值计算处理是不可行的。通过同样的方式，关于在图10中所示的输出像素的右边缘处的输出像素1919，在输出像素1919的右边没有输入像素，并且，利用在输出像素的位置之间的两个输入像素作为参考像素的算法的像素值计算处理是不可行的。因此，关于在边缘部分的像素，使用特定于图像边缘部分(图像边缘)的像素值估计算法，该算法不同于利用输出像素位置的左边和右边的两个输入像素作为参考像素的算法。对利用特定于图像边缘的像素值估计算法而被在像素值设置处理中所使用的参考像素的设置和确定处理被称为图像边缘处理。在没有可在输出像素的相位的左位置和右位置中参考的输入像素的情形中，确定图像边缘处理是需要的，并且，处理移动到步骤S105。如果确定出不需要像素边缘处理，则处理移动到步骤S106。在没有可在输出像素的相位的左位置和右位置中参考的输入像素并且确定出需要图像边缘处理的情形中，在图11中所示的计算像素选择部件303的图像边缘处理执行部件404在步骤S105中执行图像边缘处理。图像边缘处理是这样一种处理，其中，存在对参考信号的设置和确定，该参考信号在如上述的输出像素的像素位置的两边上不存在用于计算输出像素的像素值所需的输入像素的情形中被用在对输出像素的像素值计算中。将参照图12A和12B来描述图像边缘处理的示例。
图12A和12B示出了两个以下的图像边缘处理示例。(a)镜像处理(b)复制处理在图12A中所示的镜像处理是这样一种处理，其中，虚拟像素(像素0’、1’、2’和 3’ )用如同图像边缘部分的像素(像素0、1、2和幻沿着在图中所示的边界被在镜子中反射一样的形成方式形成。在图12B中所示的复制处理是这样一种处理，其中，虚拟像素(像素0’、1’、2’和 3’ )通过复制图像边缘部分的像素(像素0)而形成。通过利用虚拟输入像素作为参考像素来计算输出像素的像素值。此处，由于此处所描述的示例是利用输入像素的两个像素作为参考像素来设置输出像素的像素值的示例，因此，作为输出像素的像素值所计算的值与在图12A中所示的镜像处理的情形中所计算的值形同，并且，与在使用了图12B中所示的复制处理的情形中所计算的值相同。参考信号并不限于两个像素，并且，诸如四个像素之类的更多个像素被用作参考像素中的技术是可能的。在该情形中，所计算的输出像素的像素值不同于使用在图12A中所示的镜像处理的情形中所计算的值，并且，不同于使用在图12B中所示的复制处理的情形中所计算的值。此处，在示例中镜像处理和复制处理被描述为图像边缘处理示例，但是，可以根据另一图像边缘处理来执行像素值估计。如果图像边缘处理在图9中所示的流传那个图的步骤S105中完成，则处理移动到步骤S106。在步骤S106中，在图11中所示的计算像素选择部件303的边界相位确定部件403 指定对如下的确定左眼图像和右眼图像的两个不同图像的像素是否被包括在作为对输出像素的像素值计算中参考的输入像素中。如上所述，在利用并排格式的图像发送格式中，其中，三维(3D)图像通过左眼图像(L图像)和右眼图像(R图像)构成，左眼图像(L图像)和右眼图像(R图像)被包括在如图13A中所示的一图像帧的左区域和右区域中。并排图像是这样一种格式，其中，如在图13A中所示，左眼图像(L图像)和右眼图像(R图像)在左边和右边相连接。关于这种图像，在执行利用多个像素来生成输出像素的分辨率变换处理的情形中，在在两个图像(L图像和R图像)的边界部分中生成输出像素的情形中，当利用左眼图像(L图像)和右眼图像(R图像)的两个不同图像的像素来执行对输出像素的像素值的计算处理时，存在完全不同的图像区域的像素值的影响。当利用L图像和R图像(其通过以该方式执行对用像素来设置输出像素的像素值而被生成，该像素将另一图像配置为参考像素)来执行三维图像显示时，如图13B所示的图像的两个边缘中的像素的像素值是包括相当大噪声的像素，这与在图像内部的像素的像素值显著不同。当生成LR图像的边界部分中的L图像时，通过设置输出像素(其利用R图像的像素作为参考像素而被执行)的像素值所生成的是噪声。通过同样的方式，当生成R图像时，通过利用L图像的像素作为参考像素，类似的噪声被生成。由于对左眼图像和右眼图像的两个不同图像的像素是否被包括在被在对输出像素的像素值计算中所参考的输入像素中的确定，在图11中所示的计算像素选择部件303的边界相位确定部件403利用以下所示(式1)来执行确定处理。噪声生成输出像素的范围(输出图像分辨率-生成输出像素所需的像素数)/2 (输出图像分辨率+生成输出像素所需的像素数_2~) /2…(式1)。此处，用于生成输出像素所需的像素数是当生成输出像素时被参考的输入像素的像素数。利用上式所计算的输出像素示出了输出像素的水平方向中的位置，其中，最小值是等于零的左边边缘像素，而最大值是等于根据分辨率(例如，1919)的值的右边边缘像
ο关于利用上述(式1)所计算的输出像素位置所示出的输出像素，确定左眼图像和右眼图像的两个不同图像的像素值作为所参考的输入像素被包括。在利用两个像素来生成输出像素的情形中，其中，在图10中所示的输入图像的水平方向分辨率是1440，而在分辨率变换之后的水平方向的分辨率是1920，当输出像素的相位是像素959和像素960时，所描述的(式1)被满足。艮P，(1920-2)/2 (1920+2—2)/2= (1918)/2 (1920)/2= 959 960并且，其导致如下的可能性左眼图像和右眼图像的两个不同图像的像素被设置为在对输出像素959和输出像素960的像素值计算处理中的参考像素。在图9中所示的流程图的步骤S106中，当在图11中所示的边界相位确定部件403 利用上述(式1)执行图像边界相位确定处理并且确定存在输出像素位置(其中，存在如下可能性左眼图像和右眼图像的两个不同图像的像素被设置为在对输出像素的像素值计算处理中的参考像素)时，在步骤S106中的确定是是，并且，处理进行到步骤S107。在另一方面，当确定不存在输出像素位置(其中，存在如下可能性左眼图像和右眼图像的两个不同图像的像素被设置为在对输出像素的像素值计算处理中的参考像素) 时，在步骤S106中的确定是否，并且，处理进行到步骤S108。在步骤S107中，在图11中所示的计算像素选择部件303的图像边缘处理执行部件404在图像边界处执行图像边缘处理。S卩，在执行像素值计算的输出像素的位置在上述(式1)的方位内的情形中，确定输出像素是边界部分像素，其中，存在上述的另一图像的影响，并且，关于边界部分，图像边缘处理也以与在图像边界部分中的像素相同的方式被执行，以便防止生成噪声。例如，图像边缘处理是参照图12A和12B的之前所描述的处理，并且是如下处理(a)镜像处理(b)复制处理由于该处理，对在计算处理(其确定输出像素的像素值)中所使用的参考像素的设置处理，即，图像边缘处理被执行。即便在LR图像的边界部分中，通过以与图像边缘部分相同的方式执行图像边缘处理，对输出像素的像素值的设置是可能的，其中，当确定在LR图像的边界部分中的输出像素时，另一图像的像素值的影响被移除。即，执行处理，其中，在在L图像中的输出像素的像素值被计算的情形中，仅在L图像区域中的输入像素被用作参考像素，并且，在在R图像中的输出像素的像素值被计算的情形中，仅在R图像区域中的输入像素被用作参考像素。作为其结果，对输出像素的像素值计算被执行，而无需使用不同图像的像素值作为参考像素，并且，图像生成是可能的，其中，参照图13B，如之前所描述的，图像质量被提高，同时没有生成噪声。将参照图14A到14C来描述在LR图像的边界部分中的输出像素生成处理的具体示例。例如，将描述一种情形的示例，其中，当在图10中所示的输入凸显的水平方向分辨率是1440并且在分辨率变换之后的水平方向分辨率是1920时，输出像素959被生成。在左眼图像(L图像)的输出像素959被生成的情形中，例如在如图14A中所示的参考信号的正常选择处理中，即，当在输出像素位置的左边和右边的输入像素(像素719和像素720)被设置为参考像素时，像素719在输入图像中的L图像中，而像素720在输入图像中的R图像中。因此，两个不同图像的像素被用作参考像素。在LR图像的边界部分中，正常的处理未被执行，并且，诸如在图14B中所示的处理被执行。如在图14B中所示，通过利用之前所描述的参照图12A和12B的镜像处理或复制处理，虚拟像素719’被在像素719上生成，该像素719是在输入图像的左眼图像中的边界像素，并且，利用像素719和像素719’作为参考像素，对输出像素959的像素值计算被执行。通过相同的方式，如在图14C中所示，在R图像中的输出像素960被在LR图像的边界部分中生成的情形中，通过利用之前所描述的参照图12A和12B的镜像处理或复制处理，虚拟像素720’被在像素720上生成，该像素720是在输入图像的右眼图像中的边界像素，并且，利用像素720和像素720’作为参考像素，对输出像素960的像素值计算被执行。在图9中所示的流程图中的步骤S107处，当在边界部分生成输出像素时，在图11 中所示的计算像素选择部件303的图像边缘处理执行部件404通过这种方式执行图像边缘处理。当图像边缘处理在步骤S107中被执行时，处理移动到步骤S108。在步骤S108中，对像素的实际选择处理由像素选择部件405在计算对输出像素的像素值的设置中被使用。即，对参考像素的选择被执行。例如，在输出像素利用两个输入像素被计算的情形中，像素选择按以下执行。(a)在图10中的示例中的输出像素的第零个像素被生成的情形中，基于输入像素0并在诸如步骤S105中所执行的镜像处理或复制处理之类的图像边缘处理中所生成的虚拟像素0’和输入像素0被选为参考像素。(b)在输出像素的第二个像素被生成的情形中，输入像素的像素1和输入像素的像素2被选为参考像素。(c)在输出像素的第959个像素被生成的情形中，基于输入像素719并在诸如步骤S107中所执行的镜像处理或复制处理之类的图像边缘处理中所生成的虚拟像素719’和输入像素719被选为参考像素。
像素选择处理被以这种方式执行。像素选择部件405通过这种方式根据输出像素的位置来执行参考像素选择处理。 所选择的像素被发送到在图8中所示的卷积计算部件305。当发送完成时，处理移动到在图 9中所示的流程图中的步骤S109。在步骤S109中，系数计算部件304执行系数计算(其等同于对多个所选择的参考像素的加权)，以便基于从输出相位计算部件302所接收的输出相位信息来计算输出像素的像素值。在利用输出像素的像素位置附近的输入像素的插值方法中，存在各种方法，但是，在实施例中描述了利用在附近的两个像素的线性插值的示例。存在这种处理，其中，通过利用将两个像素作为参考像素的线性插值来计算输出像素的像素值。此处，还可以使用其他技术。将参照图15来描述利用线性插值的对输出像素的像素值计算处理的示例。在输出像素A如在图15中所示地被生成的情形中，使用靠近输出像素A的两个附近像素。两个附近像素通过输入像素或基于输入像素所生成的虚拟像素来配置。在关于图像边缘部分或图像边界不放你的图像边缘处理被执行的情形中，虚拟像素被包括。输入像素Ml (最靠近负方向(在图15中的左方向))与在图15中所示的生成了输出像素A的相位之间的相位差异被设置为相位差异=P在输入像素中的像素之间的间隔被设置为1，输入像素Pl(最靠近正方向(在图 15中的右方向))与生成了输出像素A的相位之间的相位差异被设置为相位差异=I-P输出像素A的像素值通过利用以下示出的(式幻而被计算。输出像素A 的像素值=(f(a)XMl+f(b)XPl)/(f(a)+f(b))...(式 2)此处，f(x)= 1-x，a = P，并且b = I-P。(式幻上述是这样一种等式，其中，等同于根据输出像素和参考像素之间的距离的加权的系数f (a)和f(b)被设置，并且，通过利用基于两个参考像素的像素值Ml和Pl的线性插值处理来计算输出像素A的像素值。此处，针对线性插值，f(x) = 1-x。系数是在式2中的f(a)和f(b)，并且，系数是根据输出像素和参考像素之间的距离(相位差异)的值。将参照图16来描述系数计算的示例。在图16中所示的示例示出了对在图10中所示的输出像素的第零个像素的像素值计算处理的示例。作为像素值计算的对象的输出像素0的相位是-0. 125。在对输出像素0的像素值计算中所使用的参考像素是在图16中所示的输入像素 0和通过利用基于输入像素0的诸如镜像处理或复制处理之类的图像边缘处理所生成的虚拟像素0’。当确定在该情形中的系数时，f (a) = I-(P) = 1-0.875 = 0. 125，并且f (b) = I-(I-P) = 1-0. 125 = 0. 875。
18
另外，通过参照图17来描述在图10中所示的输出像素的像素2的像素值计算处理的示例。作为像素值计算的对象的输出像素2的相位是0.75X2-0.125 = 1.375。在对输出像素2的像素值计算中所使用的参考像素是图17中所示的输入像素1 和在输入像素2。当确定在该情形中的系数时，f (a) = I-(P) = 1-(0. 375) = 0.625，并且f (b) = I-(I-P) = 1-0. 625 = 0. 375。另外，参照图18描述了在图10中所示的输出像素的像素959的像素值计算处理的示例。作为像素值计算的对象的输出像素959的相位是0. 75X959-0. 125 = 719. 125。在对输出像素959的像素值计算中所使用的参考像素是在图18中所示的输入像素719和通过利用基于输入像素719的诸如镜像处理或复制处理之类的图像边缘处理所生成的虚拟像素719’。当确定在该情形中的系数时，f (a) = I-(P) = 1-0. 125 = 0.875，并且f (b) = I-(I-P) = 1-0. 875 = 0. 125。通过这种方式，在图9中所示的流程图的步骤S109中，系数总和计算部件306根据输出像素和参考像素之间的距离(相位差异)来计算系数。当系数计算在步骤S109中完成时，所确定的系数值被输出到卷积计算部件305和系数总和计算部件306。在系数总和计算部件306中，从系数计算部件304所接收的系数的总和被计算，并且，上述(式幻的分母值被计算。艮P，输出像素A 的像素值=(f(a) XMl+f(b) XPl)/(f(a)+f(b))...(式 2)在上述(式2)中的分母所示的系数的总和，即，系数的总和=(f(a)+f(b))被计算。此处，在该示例中，由于线性插值，系数(f (a)+f (b))的总和一般为1。当对系数的总和的计算完成时，处理移动到在图9中所示的流程图的步骤S110。在步骤SllO中，卷积计算部件305执行卷积计算。上述(式幻的分子值通过利用由在计算像素选择部件303中的像素选择部件405所选择的参考像素的像素值以及由系数计算部件304所确定的系数值(f (a)和f(b))在卷积计算部件305中被计算。即，输出像素A 的像素值=(f(a) XMl+f(b) XPl)/(f(a)+f(b))...(式 2)在上述(式2)中的分子中所示的值，即(f (a) XMl+f (b) XPl)被计算。例如，在参照图17所描述的输出像素2的像素值计算处理的示例中，作为参考像素的输入像素1的系数f(a) = 0.625，并且
作为参考像素的输入像素2的系数f (b) = 0. 375。此时，在输入像素1的像素值是75并且输入像素2的像素值是200的情形中，在上述(式2)的分子中所示的值，即，(f(a) XMl+f(b) XPl)被按以下计算。f (a) XMl+f (b) XPl= 0. 625 X 75+0. 375 X 200= 121.875。当在图9中所示的流程图的步骤SllO的计算处理被完成时，计算结果被发送到正规化部件307，并且，处理移动到步骤Sl 11。在步骤Slll中，正规化部件307利用来自卷积计算部件305的卷积计算结果以及来自系数总和计算部件306的系数总和计算结果来执行正规化处理。在实施例中，正规化处理是这样一种处理，其中，输出像素的像素值根据上述式2来计算。在该线性插值的示例中，由于系数的总和一般为1，因此，卷积计算的结果是在步骤Slll中的计算结果。当正规化处理被完成时，计算结果被发送到像素数据输出部件308，并且，处理移动到步骤S112。在图9中所示的流程图的步骤S112中，针对某数量的像素中的每一个，通过利用像素数据输出部件308来执行输出。当确定处理已完成至最后一个像素时，处理结束。另夕卜，在未确定处理已完成至最后一个像素的情形中，处理移动到步骤S101，并且，针对下一输出像素，生成处理再次继续。通过这种方式，在公开的处理中，针对图像边缘部分，图像边缘处理在对LR图像的边界部分中的输出像素的像素值计算处理中被执行。由于在图像边界部分中的图像边缘处理，对L图像的输出像素的像素值的设置仅用在输入像素的L图像的像素作为参考像素来执行。通过相同的方式，对R图像的输出像素的像素值的设置仅用在输入像素的R图像的像素作为参考像素来执行。由于该处理，防止了如下处理不同图像的像素值被参考，并且，高质量的图像生成是可能的，其中，在LR图像的边界部分中没有噪声生成。具体地，在并排图像被输出到3D 监视器的情形中，不存在来自相对眼的像素的影响的绝佳的图像输出是可能的。3.当图像具有上下格式时的处理示例上述实施例描述了在分辨率变换关于带有并排格式的图像数据被在图像处理设备中执行的情形中的处理示例。带有并排格式的图像使用左眼图像(L图像)和右眼图像(R图像)被设置在一个图像帧的左区域和右区域中的方法。除了这之外，作为3D图像数据发送的方法，存在上下格式，其中，左眼图像(L图像)和右眼图像(R图像)被设置在一个图像帧的顶部区域和底部区域中。例如，在图19A中所示的数据的格式是上下格式。在根据公开的处理未被执行的情形中，当以3D显示时的噪声的位置是如图1 所示的在并排情形中的两边，但是，在上下情形中，噪声的位置是如在图19B中所示的顶部和底部。这是因为图像的边界是垂直方向的。通过这种方式，即便在上下格式中，也存在L图像和R图像的边界部分，并且，图像生成是可能的，其中，通过利用公开的处理，噪声被减少。
关于带有上下格式的处理基本上与上述关于带有并排格式的图像的处理相同，并且，通过在LR图像的边界部分执行图像边缘处理并且仅从与输出图像相同的图像来选择参考像素，处理被执行。在关于带有并排格式的图像的处理中，在图6中所示的水平方向分辨率变换部件 203到208中，处理被以与利用在图11中所示的边界相位确定部件403在图像边界处的图像边缘处理相同的方式被执行。在另一方面，在关于带有上下格式的图像的处理中，在图6中所示的垂直方向分辨率变换209到214中，处理被以与利用在图14中所示的边界相位确定部件403在图像边界处的图像边缘处理相同的方式被执行。由于处理，分辨率变换是可能的，其中，当顶部和底部图像被输出到3D监视器时， 相反眼图像(关于左眼图像的右眼图像以及关于右眼图像的左眼图像)的像素的影响被防止。4.对带有多视角的图像的分辨率变换处理公开的图像处理设备不仅在关于图像(其中，存在构成三维图像的左眼图像(L图像)和右眼图像(R图像))的处理的情形中有效，还在例如关于包括带有多视角(其如图 20中所示被包括在一图像帧中)的图像的处理中的情形中有效。在图20中所示的图像通过如下图像中的每一个构成(1)在右方向上的左眼图像(2)在右方向上的右眼图像(3)在左方向上的左眼图像，以及(4)在左方向上的右眼图像通过例如用户选择在左侧或右侧上的优选的方向中的图像，诸如此的图像可被以 3D显示在专用监视器上。如果存在这样一种设置，其中，多个不同的图像被以这种方式记录在一图像帧中， 则针对每个图像存在边界。关于边界部分，通过执行上述的图像边缘处理，即，仅与输出图像相同的输入图像的像素被设置为参考像素的图像边缘处理，可以生成高质量的图像。S卩，当在图像边界部分处执行分辨率变换等的过程中计算输出像素的像素值时， 可以通过仅参考与输出图像相同的输入图像的像素值来设置输出像素的像素值，而不参考不同于输出图像的图像的像素。在诸如在图20中所示的带有四个分割的图像的情形中，在图6中所示的水平方向分辨率变换部件203到208以及垂直方向分辨率变换部件209到214 二者中，利用在图11 中所示的边界相位确定部件403来以与在图像边界处的图像边缘处理相同的方式执行处
理是需要的。即便在分割的数量增加的情形中，图像边界被以相同的方式确定并且处理被以与在图像边界处的图像边缘处理相同的方式被执行是需要的。5.在三维图像(3D)和二维图像QD)之间的切换处理例如，关于在图1中所示的图像处理设备100的内置显示部件107，由于处理(其中，二维OD)图像显示命令被从控制部件105输出，或者，外部监视器被设置为2D显示器)，2D图像可被显示。
在当数据(其被从记录介质读出部件101中读出)被在解密部件102中解码时所接收的数据仅是JPEG图像并且不是表示诸如多图片格式等之类的多视角的格式的情形中，JPEG图像已被接收被从解密部件102通知到控制部件105，并且，控制部件105在每个部件中执行用于2D显示器的处理。具体地，除了向内置显示部件107发送2D显示命令以夕卜，处理被执行，其中，一般在图9的流程中所示的步骤S106中的分辨率变换中确定“另一图像的像素未被包括”，并且，处理移动到步骤S108。在该情形中，图像边缘处理未被在图像边界部分执行。6.图像处理设备的硬件配置示例接下来，将参照图21来描述执行上述处理的图像处理设备的硬件配置示例。图21 是描述了根据公开的实施例的图像处理设备400的配置示例的框图。图像处理设备400是执行处理的设备，其中，数据从介质410读出，诸如上述的分辨率变换之类的图像处理被执行，并且，输出图像被生成。具体地，图像处理设备400例如是诸如电视、再现设备、视频相机、PC等之类的设备。CPU(中央处理单元)701用作根据存储在R0M(只读存储器)702或存储部件708 中的程序来执行各种处理的数据处理部件。例如，图像生成处理等被执行，其涉及在上述每个实施例中所描述的分辨率变换。由CPU701、数据等执行的程序被适当地存储在在RAM(随机访问存储器)703中。 CPU701、R0M702和RAM703经由总线704彼此相连接。CPU701经由总线704被连接到输入/输出接口 705，并且，从各种类型的开关、键盘、鼠标、麦克风等形成的输入部件706和从显示器、扬声器等形成的输出部件707被连接在输入/输出接口 705中。CPU701执行对应于从输入部件706所输入的命令的各种处理， 并且，将处理的结果输出到例如输出部件707。被连接到输入/输出接口 705的存储部件708从例如硬盘形成，并且，存储由 CPU701所执行的程序和各种类型的数据。通信部件709经由网络(诸如，因特网、局域网等)与外部设备通信。被连接到输入/输出接口 705的驱动器710驱动诸如磁盘、光盘、磁光盘、半导体存储器等之类的可移动介质711，并且，获得各种类型的数据，诸如，所记录的内容、程序等。以上，已参照具体实施例描述了公开。但是，对于本领域技术人员而言，很清楚，对实施例的修改和替换是可能的，只要不偏离公开的概念即可。即，实施例是用于公开公开的，并且，不被解释为限制性的。为了确定公开的概念，要参照权利要求的范围。另外，在说明书中的一系列所描述的处理可利用硬件、软件或二者的组合的配置来执行。在处理通过利用软件来执行的情形中，记录处理序列的程序(其被安装在带有内置专用硬件的计算机的存储器中)被执行，或者，安装在能够执行各种处理的通用计算机中的程序被执行。例如，程序可预先被记录在记录机制上。除了从记录介质被安装在计算机中的程序之外，程序可经由诸如LAN(局域网)或因特网之类的网络被接收，并且，被安装在诸如内置硬盘之类的记录介质中。此处，在说明书中所描述的各种处理不仅可根据描述在时间系列中执行，还可依赖于执行处理的设备的处理能力或所需来并行或单独执行。另外，在说明书中的系统是多个设备的逻辑集合的配置，并且，并不限于在相同外壳中的每个配置的设备。
本申请包括与2010年10月22日向日本专利局递交的日本优先权专利申请 JP2010-237883公开的内容有关的主题，其全部内容通过引用被结合于此。本领域技术人员应当理解，取决于设计要求和其他因素，可以发生各种修改、组合、子组合和变更，只要它们在权利要求或其等同物的范围内即可。
权利要求
1.一种图像处理设备，包括视频信号输出部件，该视频信号输出部件执行对图像的分辨率变换，其中，在作为分辨率变换对象的输入图像中包括多个不同图像的情形中，在对图像边界附近的输出图像的像素值计算时，所述视频信号输出部件利用图像边缘处理来执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且，所述图像边界附近的输出像素的像素值通过利用使用所述图像边缘处理而设置的参考像素的像素值来确定。
2.如权利要求1所述的图像处理设备，其中，在对所述图像边界附近的输出图像的像素值计算时，所述视频信号输出部件设置虚拟像素作为参考像素，该虚拟像素是利用在所述输入图像的图像边界部分中的像素镜像处理而生成的。
3.如权利要求1所述的图像处理设备，其中，在对所述图像边界附近的输出图像的像素值计算时，所述视频信号输出部件设置虚拟像素作为参考像素，该虚拟像素是利用在所述输入图像的图像边界部分中的像素复制处理而生成的。
4.如权利要求1所述的图像处理设备，其中，在对所述图像边界附近的输出图像的像素值计算时，所述视频信号输出部件根据所述输出像素和所述参考像素的像素位置之间的距离来设置加权系数，并且利用已经应用了加权系数的参考像素的像素值计算来计算所述输出像素的像素值。
5.如权利要求1所述的图像处理设备，还包括水平方向分辨率变换部件，在对图像的水平方向中的图像边界附近的输出图像的像素值计算时，该水平方向分辨率变换部件利用所述图像边缘处理来执行对所述输出像素的像素值的设置；以及垂直方向分辨率变换部件，在对图像的垂直方向中的图像边界附近的输出图像的像素值计算时，该垂直方向分辨率变换部件利用所述图像边缘处理来执行对所述输出像素的像素值的设置。
6.如权利要求1所述的图像处理设备，其中，所述视频信号输出部件执行对是否存在基于示出了所述输出图像中每个像素位置的相位信息而需要执行所述图像边缘处理的图像边界部分附近的像素的判断。
7.如权利要求1所述的图像处理设备，其中，在关于应用到三维图像显示的具有并排格式的图像或具有上下格式的图像的分辨率变换处理时，所述视频信号输出部件在对应用于左眼图像和右眼图像的图像边界附近的输出图像的像素值计算的所述参考像素的设置处理中执行所述图像边缘处理。
8.如权利要求1所述的图像处理设备，其中，所述视频信号输出部件对于多个不同的像素信号并行地执行分辨率变换。
9.如权利要求8所述的图像处理设备，其中，所述多个不同的像素信号是YCbCr信号中的每个信号。
10.如权利要求1所述的图像处理设备，其中，所述视频信号输出部件并行地执行与具有不同分辨率的多个显示部分相对应的分辨率变换。
11.一种图像显示设备，包括视频信号输出部件，该视频信号输出部件执行对图像的分辨率变换；以及显示部件，该显示部件显示所述视频信号输出部件的生成了的视频信号，其中，在作为分辨率变换对象的输入图像中包括多个不同图像的情形中，在对图像边界附近的输出图像的像素值计算时，所述视频信号输出部件执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且，所述图像边界附近的输出像素的像素值通过利用使用图像边缘处理而设置的参考像素的像素值来确定。
12.—种由图像处理设备执行的图像处理方法，该图像处理设备包括执行对图像的分辨率变换的视频信号输出部件，该方法包括在作为所述视频信号输出部件中的分辨率变换对象的输入图像中包括多个不同图像的情形中，在对图像边界附近的输出图像的像素值计算时，使用所述视频信号输出部件来利用图像边缘处理来执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且，利用使用所述图像边缘处理而设置的参考像素的像素值，确定所述图像边界附近的输出像素的像素值。
13.一种使得图像处理设备执行图像处理的程序，该图像处理设备包括执行对图像的分辨率变换的视频信号输出部件，所述处理包括在多个不同图像被包括在作为分辨率变换对象的输入图像中的情形中，在对图像边界附近的输出图像的像素值计算时，使得所述视频信号输出部件利用图像边缘处理来执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且， 利用使用所述图像边缘处理而设置的参考像素的像素值，确定所述图像边界附近的输出像素的像素值。
全文摘要
本发明公开了图像处理设备、图像处理方法和程序。一种图像处理设备，包括视频信号输出部件，该视频信号输出部件执行对图像的分辨率变换，其中，在多个不同图像被包括在作为分辨率变换对象的输入图像中的情形中，视频信号输出部件在对图像边界附近的输出图像的像素值计算时刻执行参考像素设置处理，该参考像素设置处理与对图像边缘部分的参考像素设置处理相同，并且，通过利用使用图像边缘处理而设置的参考像素的像素值，确定在图像边界附近的输出像素的像素值。
文档编号H04N15/00GK102547330SQ20111032003
公开日2012年7月4日 申请日期2011年10月17日 优先权日2010年10月22日
发明者山口祯 申请人:索尼公司
最新回复(0)