三维图像数据处理的制作方法
专利名称：三维图像数据处理的制作方法
技术领域：
本发明涉及一种包括三维视频图像数据的三维图像数据。
背景技术：
三维显示通过向观看者的眼睛提供正被观看的场景的不同视图来将第三维添加到观看体验。用于表示三维图像的流行方式是使用一个或多个二维(2D)图像加提供第三维的信息的深度表示。这样的方式提供了许多优点，包括允许利用相对低的复杂度来产生三维视图并且提供有效的数据表示，由此降低例如对于三维(3D)图像(和视频)信号的存储和通信资源需求。该方式还允许产生与在3D图像数据中包括的2D图像相比具有不同视点和视角的2D图像。通过单个2D图像和相关联的深度信息来表示3D图像的缺点是其不包括关于被前景对象遮挡的背景图像区域的信息。相应地，如果场景是为不同视点呈现的，则不能在前景对象后面显露信息。相应地，已经提出了使用多层图像和深度表示，包括多个具有相关联的深度信息的二维图像(例如，前景图像和背景图像)。可以在Meven J. Gortler 与 Li-wei He 的可在 http://research.microsoft.com/research/pubs/view. aspx type=Technical%20Report&id=20 得到 的 Rendering Layered Depth Images, Microsoft Technical Report MSTR-TR-97-09，a. o.和例如美国专利申请 US20070057944 中找到如何从这样的信息呈现新视图的描述。在使用多于一层(S卩，多个重叠的2D图像)的方式中，已经提出允许层是半透明的。在计算机图形领域中，在例如Norman P. Jouppi与Chun-Fa Chang，"An Economical Hardware Technique for High-Quality Antialiasing and Transparency〃， Proceedings of Euro graph i c s/S i ggr aph workshop on graphics hardware 1999 中描样的方式0 这样的方式允许使半透明材料(例如，水、烟雾、火焰)可视化并且还允许处于不同深度的对象的边缘的改进的抗混叠(anti-aliasing)。具体地，其允许边缘的更渐进的转变(more gradual transition)。因此，透明度可以不仅仅被用于表示半透明对象，而且还可以通过使边缘半透明允许前景对象的边缘的抗混叠，使得透明度值表示像素有多少应当是前景以及有多少背景应当可见。这样的方式的示例可以在C. Lawrence Zitnick Sing Bing Kang Matthew Uyttendaele Simon Winder Richard Szeliski, "High-quality video view interpolation using a layered representation", Proceedings of Siggraph 2004 中找到。然而，这样的方式的问题是后向兼容性是次最优的。具体地，为了产生2D图像， 必须通过能够理解三维格式的算法来处理3D图像数据。相应地，不能在不具有这样的功能性的传统系统中使用该信号。而且，该方式的另一缺点是在一些情形下，其不能提供最优的图像质量。具体地， 在一些实施例中，图像与相关联的深度和透明度信息的处理将导致所呈现的前景图像对象的边缘失真。
因此，3D图像数据处理的改进方式将是有利的，并且具体地允许增加的灵活性、改进的后向兼容性、提高的图像质量、便利的实现方式和/或提高的性能的方式将是有利的。
发明内容
相应地，本发明寻求单个地或以任何组合地优选地减轻、缓解或消除一个或多个上述缺点。根据本发明一方面，提供了提供三维图像数据的方法，该方法包括提供第一图像；提供作为该第一图像和第二图像的组合的混合图像，该第二图像是相对于该第一图像的前景图像，所述组合是响应于用于该第二图像的透明度数据而进行的；提供与该混合图像有关的透明度图，该透明度图包括用于该混合图像的像素的透明度值；提供用于该混合图像的第一深度指示图，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及提供包括第一图像、混合图像、透明度图和第一深度指示图的三维图像数据。依据本发明提供的图像数据可以被用来呈现表示三维图像数据的视图的诸如视图的像素之类的图像元素和/或整个图像。本发明还可允许改进的3D图像处理和/或性能。具体地，在许多实施例中，3D图像数据可以提供改进的后向兼容性。具体地，一起提供包括允许进行3D处理的深度和透明度信息的3D图像数据的优点、与可以被作为常规2D图像处理以提供该图像的适当2D表示的信息。具体地，混合图像可以例如被2D表现设备直接表现为2D图像。具体地，在一些实施例中，图像的前景和背景不被分离地存储为不同的图像，而是背景、与前景和背景的混合版本(根据透明度混合)可以一起存储。该2D图像然后可以直接被2D表现设备使用，这是由于其对应于包括背景和前景这两者的常规2D图像。然而，同时，2D图像可以被3D表现设备用来产生表示其它视角的3D图像或2D图像。第一深度指示图提供用于该混合图像的与深度有关的信息。因此，该第一深度指示图可以是包括用于第一和第二图像两者的像素的深度指示值的混合深度指示图。3D图像数据可以用于图像序列中的图像。具体地，3D图像数据可以用于包括多个 3D图像的视频序列中的图像。第一图像可以具体地是背景图像，而第二图像可以具体地是前景图像。与混合图像有关的透明度图可以具体地对应于用于第二图像的透明度图，并且因此透明度图可以是用于第二图像的透明度图。具体地，透明度图可以典型地是前景透明度图。根据本发明的可选特征，该方法还包括产生包括三维图像数据的图像信号。该图像信号可以具体地是包括一个或多个图像的经编码的图像信号。例如，该图像信号可以是包括视频帧形式的多个图像的视频信号。该方式还允许产生、存储和分发图像信号，其允许有效的3D处理以及对常规2D设备的后向兼容性这两者。根据本发明的可选特征，该方法还包括响应于三维图像数据为与第一和第二图像的视角不同的视角呈现视图。该方式可允许通过适当装备的装置呈现不同视角，同时还提供后向兼容性。根据本发明的可选特征，本方法还包括响应于三维图像数据呈现三维图像。该方式可以允许通过适当装备的装置呈现3D图像，同时还提供后向兼容性。
根据本发明的可选特征，该方法还包括响应于来自一组值集合的第二值集合的值来修改来自该组值集合的第一值集合的值，该组值集合包括与透明度图的透明度值相对应的值集合和与第一深度指示图的深度指示值相对应的值集合。在许多实施例和情形下，这可以允许提高的图像质量。具体地，在许多情形下，其可以在第一图像的图像对象的边缘周围提供提高的图像质量。发明人已经特别地认识到 通过将透明度值和深度指示值相对彼此进行调整，可以实现改进的(相对)前景图像对象的呈现。根据本发明的可选特征，该方法还包括检测与图像对象边缘相对应的图像区域， 并且其中修改值包括修改用于该图像区域的值。发明人已经认识到如果具体地处理图像对象边缘，则对于基于用于混合图像/ 前景图像的深度指示值和透明度值呈现的图像，可以实现提高的图像质量。对象边缘可以对应于用于混合图像的透明度值和/或深度指示值的转变(transition)。根据本发明的可选特征，该方法还包括修改一个图像区域中的透明度图的透明度值与第一深度指示图的深度指示值之间的关系。在许多实施例和情形下，这可以允许提高的图像质量。具体地，在许多情形下，其可以在第一图像的图像对象的边缘周围提供提高的图像质量。发明人已经特别地认识到 通过将透明度值和深度指示值相对彼此进行调整，可以实现改进的(相对)前景图像对象的呈现。根据本发明的可选特征，修改所述关系包括沿着图像方向对准透明度图的透明度转变和沿着图像方向对准第一深度指示图的深度转变。在许多实施例中，这可以促进实现和/或提高性能。具体地，通过对准透明度和深度转变，可以获得由(相对)前景图像对象边缘的3D处理引入的图像伪像的减少。根据本发明的可选特征，该方法还包括响应于第一深度指示图的深度指示值来修改透明度图的透明度值。在许多实施例和情形下，这可以允许提高的图像质量。具体地，在许多情形下，其可以在第一图像的图像对象的边缘周围提供提高的图像质量。发明人已经特别地认识到 通过将透明度值和深度指示值相对彼此进行调整，可以实现改进的(相对)前景图像对象的呈现。根据本发明的可选特征，修改透明度值包括作为透明度图中透明度转变的部分而非第一深度转变图中深度转变的部分，在图像区域中将透明度图的透明度值朝向更高透明度偏置。这可以允许有利的实现和/或可以提供对于3D处理的提高的图像质量。该特征可以特别地使由3D处理对图像对象边缘引入的图像伪像不那么明显。根据本发明的可选特征，修改透明度值包括通过以下来修改包括沿着图像方向的深度转变和透明度转变的图像区域的至少一部分中的透明度值响应于沿着图像方向的第一深度指示图的深度指示值来确定第一深度转变点；对于沿着图像方向的如下间隔 (interval)的像素，将沿着图像方向的透明度图的透明度值朝向更高的透明度偏置，所述间隔是沿着更高透明度和更低深度中的至少一个的方向从第一深度转变点延伸。这可以允许有利的实现和/或可以提供对于3D处理的提高的图像质量。该特征可以特别地使得由3D处理对图像对象边缘引入的图像伪像不那么明显。根据本发明的可选特征，该方法还包括响应于沿着图像方向的第一透明度图的透明度值来确定第一透明度转变点，并且其中所述间隔从第一透明度点延伸到第一深度转变点ο这可以允许便利的实现，同时提供高效的性能和高的图像质量。具体地，其可以允许用于在图像对象边缘周围适配3D性能的实际且高效的方式。根据本发明的可选特征，该方法还包括将第一透明度转变点确定为在沿着更高透明度和更低深度中的至少一个的方向从深度转变点延伸的评估间隔(evaluat i on interval)中沿着图像方向具有最高透明度值的点。这可以允许有利的实现和/或可以提供对于3D处理的提高的图像质量。该特征可以特别地使得由3D处理对图像对象边缘引入的图像伪像不那么明显。根据本发明的可选特征，偏置包括将该间隔的所有透明度值中的透明度值设置为偏置之前的该间隔的最高透明度值。这可以允许降低的复杂度的实现和/或可以进一步降低或最小化由3D处理对图像对象边缘引入的图像伪像的可察觉性。根据本发明的可选特征，该方法还包括提供用于第一图像的第二深度指示图，该第二深度指示图包括用于第一图像的像素的深度指示值；并且其中确定第一深度转变点进一步包括响应于第二深度指示图的深度指示值来确定第一深度转变点。这可以允许确定深度转变点的特别合适的方式，并且可以实际上被用来确定深度指示值的转变的存在性。因此，该方式可以允许图像对象边缘的可靠检测。该方式特别适合于使用混合图像的方式，因为第一图像和混合图像之间的相对深度信息提供指示第一图像和第二图像分别何时在混合图像中占优势的直接信息。根据本发明的可选特征，确定深度转变点包括响应于第一深度指示图的深度指示值和第二深度指示图的深度指示值的比较，确定深度转变点。这可以允许深度转变点的高效和/或准确的确定。根据本发明的可选特征，确定深度转变点包括将深度转变点确定为沿着图像方向在第二深度指示图的深度指示值和第一深度指示图的深度指示值之差跨越阈值的点。这可以允许深度转变点的高效和/或准确的确定。根据本发明的可选特征，图像方向对应于扫描线方向。这可以允许特别适当的实现，并且可以特别地允许低复杂度的处理以便导致透明度值和深度值的转变的准确检测、以及低复杂度而相当高效的透明度值和/或深度指示值的适配。根据本发明的可选特征，该方法还包括响应于透明度图的透明度值来修改第一深度指示图的深度指示值。在许多实施例和情形下，这可以允许提高的图像质量。具体地，在许多情形下，其可以在第一图像的图像对象的边缘周围提供提高的图像质量。发明人已经特别地认识到 通过将透明度值和深度指示值相对彼此进行调整，可以实现改进的(相对)前景图像对象的呈现。根据本发明的可选特征，修改深度指示值包括在与透明度图中的透明度转变相对应的图像区域中，将第一深度指示图的深度指示值朝向前景深度指示值进行偏置。这可以允许有利的实现和/或可以允许对于3D处理的提高的图像质量。该特征可以特别提供增加的如下概率包括来自第二图像的图像对象的贡献的像素被假设为具有与该对象相对应的深度。作为具体示例，其可以允许具有来自前景图像的部分贡献的像素被3D处理当作前景的一部分，由此降低误差并减少伪像。根据本发明的可选特征，修改深度指示值包括通过以下来修改包括沿着图像方向的深度转变和透明度转变的图像区域的至少一部分中的深度指示值响应于沿着图像方向的透明度图的透明度值和第一深度指示图的深度指示值中的至少一个，确定第一转变点； 对于沿着图像方向的如下间隔的像素，将沿着图像方向的第一深度指示图的深度指示值朝向前景深度指示值进行偏置，所述间隔在第一透明度转变点处结束且从第一透明度点沿着更低透明度方向延伸。这可以允许有利的实现和/或可以允许对于3D处理的提高的图像质量。该特征可以特别提供增加的如下概率包括来自第二图像的图像对象的贡献的像素被假设为具有与该对象相对应的深度。作为具体示例，其可以允许具有来自前景图像的部分贡献的像素被3D处理当作前景的一部分，由此降低误差并减少伪像。根据本发明的可选特征，第一转变点是响应于透明度图的透明度值而确定的第一透明度转变点，并且该方法进一步包括响应于沿着图像方向的透明度图的透明度指示值， 确定第二透明度转变点，该第二透明度转变点对应于比第一透明度点低的透明度；并且其中该间隔从第一深度转变点延伸到第二深度转变点。这可以允许改进的对于在其中执行偏置的间隔的确定。根据本发明的可选特征，第一转变点是响应于透明度图的透明度值而确定的第一透明度转变点，并且该方法进一步包括响应于沿着图像方向的第一深度指示图的深度指示值，确定第一深度转变点；响应于该第一深度转变点，确定透明度搜索间隔；并且其中确定第一透明度点包括响应于透明度搜索间隔中的透明度值来确定第一透明度点。这可以允许用于确定在其中执行偏置的间隔的特别的有利方式。根据本发明的可选特征，将深度指示值进行偏置包括将该间隔的所有深度指示值设置为与偏置之前的该间隔的最远的前景深度指示值相对应的深度指示值。这可以允许降低复杂度的实现和/或可以提供提高的图像质量。根据本发明的可选特征，图像方向对应于扫描线方向。这可以允许特别适当的实现，并且可以特别地允许低复杂度的处理以便导致透明度值和深度值中的转变的准确检测、以及低复杂度而相当高效的透明度值和/或深度指示值的适配。根据本发明的另一方面，提供了一种编码图像信号的方法，该方法包括提供第一图像；提供作为该第一图像和第二图像的组合的混合图像，第二图像是相对于该第一图像的前景图像，所述组合是响应于用于该第二图像的透明度值而进行的；提供与该混合图像有关的透明度图，该透明度图包括用于该混合图像的像素的透明度值；提供用于该混合图像的第一深度指示图，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及产生包括表示第一图像、混合图像、透明度图和第一深度指示图的经编码数据的图像信号。根据本发明的可选特征，该方法进一步包括响应于第一深度指示图的深度指示值来修改透明度图的透明度值。根据本发明的可选特征，该方法进一步包括响应于透明度图的透明度值来修改第一深度指示图的深度指示值。根据本发明的一个方面，提供了一种呈现图像的方法，该方法包括提供第一图像；提供作为第一图像和第二图像的组合的混合图像，第二图像是相对于该第一图像的前景图像，所述组合是响应于用于该第二图像的透明度值而进行的；提供与该混合图像有关的透明度图，该透明度图包括用于该混合图像的像素的透明度值；提供用于混合图像的第一深度指示图，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及响应于第一图像、混合图像、透明度图和第一深度指示图来呈现图像。根据本发明的可选特征，呈现包括呈现作为与不同于第一图像和第二图像的视角的视角相对应的图像的图像。根据本发明的可选特征，该方法进一步包括响应于第一深度指示图的深度指示值来修改透明度图的透明度值。根据本发明的可选特征，该方法进一步包括响应于透明度图的透明度值来修改第一深度指示图的深度指示值。根据本发明的另一方面，提供了一种图像信号编码器，包括用于提供第一图像的装置；用于提供作为第一图像和第二图像的组合的混合图像的装置，第二图像是相对于第一图像的前景图像，所述组合是响应于用于第二图像的透明度值而进行的；用于提供与混合图像有关的透明度图的装置，该透明度图包括用于混合图像的像素的透明度值；用于提供用于混合图像的第一深度指示图的装置，该第一深度指示图包括用于混合图像的像素的深度指示值；以及用于产生包括表示第一图像、混合图像、透明度图和第一深度指示图的经编码数据的图像信号的装置。根据本发明的可选特征，该图像信号编码器进一步包括用于响应于第一深度指示图的深度指示值来修改透明度图的透明度值的装置。根据本发明的可选特征，该图像信号编码器进一步包括用于响应于透明度图的透明度值来修改第一深度指示图的深度指示值的装置。根据本发明的另一方面，提供了一种图像呈现单元，包括用于提供第一图像的装置；用于提供作为第一图像和第二图像的组合的混合图像的装置，该第二图像是相对于第一图像的前景图像，所述组合是响应于用于第二图像的透明度值而进行的；用于提供与混合图像有关的透明度图的装置，该透明度图包括用于混合图像的像素的透明度值；用于提供用于混合图像的第一深度指示图的装置，第一深度指示图包括用于该混合图像的像素的深度指示值；以及用于响应于第一图像、混合图像、透明度图和第一深度指示图而呈现图像的装置。根据本发明的可选特征，该图像呈现单元进一步包括用于响应于第一深度指示图的深度指示值来修改透明度图的透明度值的装置。根据本发明的可选特征，该图像呈现单元进一步包括用于响应于透明度图的透明度值来修改第一深度指示图的深度指示值的装置。根据本发明的另一方面，提供了一种图像信号，该图像信号包括表示第一图像的数据；表示作为第一图像和第二图像的组合的混合图像的数据，第二图像是相对于第一图像的前景图像，所述组合是响应于用于该第二图像的透明度值而进行的；表示与该混合图像有关的透明度图的数据，该透明度图包括用于该混合图像的像素的透明度值；表示用于该混合图像的第一深度指示图的数据，第一深度指示图包括用于混合图像的像素的深度指示值。本发明的这些和其他方面、特征和优点将根据下文描述的实施例变得清楚明白， 并且将参考下文描述的实施例来说明本发明的这些和其它方面、特征和优点。
将参考附图仅作为示例来描述本发明的实施例，在附图中
图1图示了根据本发明的一些实施例的用于提供3D图像数据的方法的示例； 图2图示了根据本发明的一些实施例的3D图像数据的元素的示例； 图3图示了根据本发明的一些实施例的图像信号编码器的示例； 图4图示了根据本发明的一些实施例的图像信号编码器的示例； 图5图示了根据本发明的一些实施例的呈现单元的示例；
图6图示了沿着给定图像方向的用于混合的背景和前景图像的深度和透明度转变的示例；
图7图示了根据本发明的一些实施例的用于提供3D图像数据的方法的示例； 图8图示了根据本发明的一些实施例的呈现单元的示例；
图9图示了沿着给定图像方向的用于混合的背景和前景图像的深度和透明度转变的示例；以及
图10图示了沿着给定图像方向的用于混合的背景和前景图像的深度和透明度转变的示例。
具体实施例方式以下描述集中在本发明的实施例上，该实施例可应用于可以被应用到视频信号的单个帧的3D图像信息表示。然而，应理解本发明不限于此应用，而是可以应用到包括例如静止图像、动画等的许多其它图像类型。图1图示了用于提供三维(3D)图像数据的方法。3D图像数据可以例如被用来产生3D图像或者产生用于场景的不同的二维(2D)图像的不同视点。在示例中，产生并入了两个图像、深度信息和透明度信息的3D图像数据。将理解在其它实施例中，3D数据可以包括与多层相对应的更多2D图像。具体地，3D图像数据包括背景图像、包含来自该背景图像和前景图像的贡献的混合图像、以及与该混合图像有关的深度和透明度信息。另外，3D图像数据可以包括用于背景图像数据的深度信息。该方法在步骤101开始，其中提供第一图像。在该示例中，该第一图像是背景图像。步骤101之后接着步骤103，其中提供作为该第一图像和第二图像的组合的混合图像， 该第二图像是前景图像。因此，背景图像和前景图像是同一场景的重叠图像。前景图像可以包括或包含例如处于背景图像的前景中的图像对象、添加的文本、字幕、屏上显示信息等。混合图像因此表示可能出现在背景中的图像对象以及可能出现在前景中的图像对象这两者。前景图像分量和背景图像分量的组合考虑了前景图像对象的透明度。因此， 对于透明度值对应于无透明度(完全不透明)的像素，选择像素值作为前景图像的像素值。 相反，对于透明度值对应于全透明度(无不透明度)的像素，选择像素值作为背景图像的像素值。对于像素值为半透明，可以通过将前景的像素值和背景的像素值组合来计算混合图像。例如，用于像素η的混合图像像素值y可以被简单地计算为
权利要求
1.一种提供三维图像数据的方法，该三维图像数据用于呈现该三维图像数据的至少一个视图的图像元素，该方法包括提供(101)第一图像；提供(103)作为第一图像和第二图像的组合的混合图像，第二图像是相对于第一图像的前景图像，所述组合是响应于用于第二图像的透明度数据而进行的；提供(105)与该混合图像有关的透明度图，该透明度图包括用于该混合图像的像素的透明度值；提供(107)用于该混合图像的第一深度指示图，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及提供(111)包括第一图像、混合图像、透明度图和第一深度指示图的三维图像数据。
2.如权利要求1所述的方法，还包括产生包括三维图像数据的图像信号。
3.如权利要求1所述的方法，还包括响应于该三维图像数据针对与第一和第二图像的视角不同的视角呈现视图。
4.如权利要求3所述的方法，还包括响应于该三维图像数据呈现与用于使三维图像可视化的、三维图像数据的多个视图的图像元素相对应的图像元素。
5.如权利要求1所述的方法，还包括响应于来自一组值集合的第二值集合的值来修改(701)来自该组值集合的第一值集合的值，该组值集合包括与透明度图的透明度值相对应的值集合、以及与第一深度指示图的深度指示值相对应的值集合。
6.如权利要求5所述的方法，还包括检测与图像对象边缘相对应的图像区域，并且其中修改值包括修改用于该图像区域的值。
7.如权利要求1所述的方法，还包括修改(701)图像区域中的透明度图的透明度值与第一深度指示图的深度指示值之间的关系。
8.如权利要求7所述的方法，其中修改(701)所述关系包括对准沿着图像方向的透明度图的透明度转变和沿着图像方向的第一深度指示图的深度转变。
9.如权利要求1所述的方法，还包括响应于第一深度指示图的深度指示值来修改 (701)透明度图的透明度值。
10.如权利要求9所述的方法，其中，修改(701)透明度值包括作为透明度图中透明度转变的部分而非第一深度转变图中深度转变的部分，在图像区域中将透明度图的透明度值朝向更高透明度偏置。
11.如权利要求9所述的方法，其中，修改(701)透明度值包括通过以下来修改包括沿着图像方向的深度转变和透明度转变的图像区域的至少一部分中的透明度值响应于沿着图像方向的第一深度转变图的深度指示值来确定第一深度转变点；对于沿着图像方向的如下间隔中的像素，将沿着图像方向的透明度图的透明度值朝向更高的透明度偏置，所述间隔沿着更高透明度和更低深度中的至少一个的方向从第一深度转变点延伸。
12.如权利要求11所述的方法，还包括响应于沿着图像方向的第一透明度图的透明度值来确定第一透明度转变点，并且其中所述间隔从第一透明度点延伸到第一深度转变点ο
13.如权利要求12所述的方法，还包括将第一透明度转变点确定为在从深度转变点沿着更高透明度和更低深度中的至少一个的方向延伸的评估间隔中沿着图像方向具有最高透明度值的点。
14.如权利要求11所述的方法，其中，偏置包括将该间隔的所有透明度值中的透明度值设置为偏置之前的该间隔的最高透明度值。
15.如权利要求11所述的方法，还包括提供用于第一图像的第二深度指示图，该第二深度指示图包括用于第一图像中的像素的深度指示值；并且其中确定第一深度转变点进一步包括响应于第二深度指示图的深度指示值来确定第一深度转变点。
16.如权利要求15所述的方法，其中，确定深度转变点包括响应于第一深度指示图的深度指示值和第二深度指示图的深度指示值的比较，确定深度转变点。
17.如权利要求15所述的方法，其中确定深度转变点包括将深度转变点确定为沿着图像方向在第二深度指示图的深度指示值和第一深度指示图的深度指示值之间的差跨越阈值的点。
18.如权利要求1所述的方法，还包括响应于透明度图的透明度值来修改(701)第一深度指示图的深度指示值。
19.如权利要求18所述的方法，其中，修改(701)深度指示值包括在与透明度图中的透明度转变相对应的图像区域中，将第一深度指示图的深度指示值朝向前景深度指示值进行偏置。
20.如权利要求18所述的方法，其中，修改(701)深度指示值包括通过以下来修改包括沿着图像方向的深度转变和透明度转变的图像区域的至少一部分中的深度指示值响应于沿着图像方向的透明度图的透明度值和第一深度指示图的深度指示值中的至少一个，确定第一转变点；对于沿着图像方向的如下间隔中的像素，将沿着图像方向的第一深度指示图中的深度指示值朝向前景深度指示值进行偏置，所述间隔在第一透明度转变点处结束且从第一透明度点沿着更低透明度方向延伸。
21.如权利要求20所述的方法，其中，第一转变点是响应于透明度图的透明度值而确定的第一透明度转变点，并且该方法进一步包括响应于沿着图像方向的透明度图的透明度指示值，确定第二透明度转变点，该第二透明度转变点对应于比第一透明度点更低的透明度；并且其中该间隔从第一深度转变点延伸到第二深度转变点。
22.如权利要求20所述的方法，其中，第一转变点是响应于透明度图的透明度值而确定的第一透明度转变点，并且该方法进一步包括响应于沿着图像方向的第一深度指示图的深度指示值，确定第一深度转变点；响应于该第一深度转变点，确定透明度搜索间隔；并且其中确定第一透明度点包括响应于透明度搜索间隔中的透明度值来确定第一透明度点。
23.如权利要求20所述的方法，其中，将深度指示值进行偏置包括将该间隔的所有深度指示值设置为与偏置之前的该间隔的最远的前景深度指示值相对应的深度指示值。
24.一种编码图像信号的方法，该方法包括提供(101)第一图像；提供(103)作为该第一图像和第二图像的组合的混合图像，该第二图像是相对于该第一图像的前景图像，该组合是响应于用于该第二图像的透明度值而进行的；提供(105)与该混合图像有关的透明度图，该透明度图包括用于该混合图像的像素的透明度值；提供(107)用于该混合图像的第一深度指示图，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及产生(111)包括表示第一图像、混合图像、透明度图和第一深度指示图的经编码数据的图像信号。
25.如权利要求M所述的方法，进一步包括响应于第一深度指示图的深度指示值来修改(701)透明度图的透明度值。
26.如权利要求M所述的方法，进一步包括响应于透明度图的透明度值来修改(701) 第一深度指示图的深度指示值。
27.—种呈现图像的方法，该方法包括 提供(101)第一图像；提供(103)作为第一图像和第二图像的组合的混合图像，第二图像是相对于第一图像的前景图像，该组合是响应于用于该第二图像的透明度值而进行的；提供(105)与混合图像有关的透明度图，该透明度图包括用于该混合图像的像素的透明度值；提供(107)用于该混合图像的第一深度指示图，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及响应于第一图像、混合图像、透明度图和第一深度指示图来呈现(111)图像。
28.一种图像信号编码器，包括 用于提供第一图像的装置(303)；用于提供作为第一图像和第二图像的组合的混合图像的装置(405)，该第二图像是相对于第一图像的前景图像，该组合是响应于用于该第二图像的透明度值而进行的；用于提供与该混合图像有关的透明度图的装置(409)，该透明度图包括用于该混合图像的像素的透明度值；用于提供用于该混合图像的第一深度指示图的装置(407)，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及用于产生包括表示第一图像、混合图像、透明度图和第一深度指示图的经编码数据的图像信号的装置(307)。
29.一种图像呈现单元，包括 用于提供第一图像的装置(505)；用于提供作为第一图像和第二图像的组合的混合图像的装置(507)，该第二图像是相对于第一图像的前景图像，该组合是响应于用于该第二图像的透明度值而进行的；用于提供与该混合图像有关的透明度图的装置(513)，该透明度图包括用于该混合图像的像素的透明度值；用于提供用于该混合图像的第一深度指示图的装置(511)，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及用于响应于第一图像、混合图像、透明度图和第一深度指示图而呈现图像的装置(515)。
30.一种图像信号，包括 表示第一图像的数据；表示作为第一图像和第二图像的组合的混合图像的数据，第二图像是相对于第一图像的前景图像，该组合是响应于用于第二图像的透明度值而进行的；表示与该混合图像有关的透明度图的数据，该透明度图包括用于该混合图像的像素的透明度值；表示用于该混合图像的第一深度指示图的数据，该第一深度指示图包括用于该混合图像的像素的深度指示值。
31.一种计算机程序，其使得处理器能够执行如权利要求1、27和30中任一项所述的方法。
全文摘要
提供了包括表示具体地可以是背景图像的第一图像的数据的三维图像数据。作为第一图像和具体地可以是前景图像的第二图像的组合的混合图像，与该混合图像有关的包括用于该混合图像的像素的透明度值的透明度图，以及用于该混合图像的包括用于该混合图像的像素的深度指示值的深度指示图。混合图像的使用可以允许三维处理，且同时允许2D后向兼容性。可以通过响应于深度指示值来修改透明度值和/或响应于透明度值来修改深度指示值，提高图像对象周围的图像质量。具体地，改进的深度指示值和透明度值的转变的对准可以提供改进的三维前景图像对象边缘数据。
文档编号G06T15/20GK102165496SQ200980137747
公开日2011年8月24日 申请日期2009年9月23日 优先权日2008年9月25日
发明者B·A·M·茨瓦恩斯, B·G·B·巴伦布鲁格, H·H·A·范沃尔科姆 申请人:皇家飞利浦电子股份有限公司
技术领域：
本发明涉及一种包括三维视频图像数据的三维图像数据。
背景技术：
三维显示通过向观看者的眼睛提供正被观看的场景的不同视图来将第三维添加到观看体验。用于表示三维图像的流行方式是使用一个或多个二维(2D)图像加提供第三维的信息的深度表示。这样的方式提供了许多优点，包括允许利用相对低的复杂度来产生三维视图并且提供有效的数据表示，由此降低例如对于三维(3D)图像(和视频)信号的存储和通信资源需求。该方式还允许产生与在3D图像数据中包括的2D图像相比具有不同视点和视角的2D图像。通过单个2D图像和相关联的深度信息来表示3D图像的缺点是其不包括关于被前景对象遮挡的背景图像区域的信息。相应地，如果场景是为不同视点呈现的，则不能在前景对象后面显露信息。相应地，已经提出了使用多层图像和深度表示，包括多个具有相关联的深度信息的二维图像(例如，前景图像和背景图像)。可以在Meven J. Gortler 与 Li-wei He 的可在 http://research.microsoft.com/research/pubs/view. aspx type=Technical%20Report&id=20 得到 的 Rendering Layered Depth Images, Microsoft Technical Report MSTR-TR-97-09，a. o.和例如美国专利申请 US20070057944 中找到如何从这样的信息呈现新视图的描述。在使用多于一层(S卩，多个重叠的2D图像)的方式中，已经提出允许层是半透明的。在计算机图形领域中，在例如Norman P. Jouppi与Chun-Fa Chang，"An Economical Hardware Technique for High-Quality Antialiasing and Transparency〃， Proceedings of Euro graph i c s/S i ggr aph workshop on graphics hardware 1999 中描样的方式0 这样的方式允许使半透明材料(例如，水、烟雾、火焰)可视化并且还允许处于不同深度的对象的边缘的改进的抗混叠(anti-aliasing)。具体地，其允许边缘的更渐进的转变(more gradual transition)。因此，透明度可以不仅仅被用于表示半透明对象，而且还可以通过使边缘半透明允许前景对象的边缘的抗混叠，使得透明度值表示像素有多少应当是前景以及有多少背景应当可见。这样的方式的示例可以在C. Lawrence Zitnick Sing Bing Kang Matthew Uyttendaele Simon Winder Richard Szeliski, "High-quality video view interpolation using a layered representation", Proceedings of Siggraph 2004 中找到。然而，这样的方式的问题是后向兼容性是次最优的。具体地，为了产生2D图像， 必须通过能够理解三维格式的算法来处理3D图像数据。相应地，不能在不具有这样的功能性的传统系统中使用该信号。而且，该方式的另一缺点是在一些情形下，其不能提供最优的图像质量。具体地， 在一些实施例中，图像与相关联的深度和透明度信息的处理将导致所呈现的前景图像对象的边缘失真。
因此，3D图像数据处理的改进方式将是有利的，并且具体地允许增加的灵活性、改进的后向兼容性、提高的图像质量、便利的实现方式和/或提高的性能的方式将是有利的。
发明内容
相应地，本发明寻求单个地或以任何组合地优选地减轻、缓解或消除一个或多个上述缺点。根据本发明一方面，提供了提供三维图像数据的方法，该方法包括提供第一图像；提供作为该第一图像和第二图像的组合的混合图像，该第二图像是相对于该第一图像的前景图像，所述组合是响应于用于该第二图像的透明度数据而进行的；提供与该混合图像有关的透明度图，该透明度图包括用于该混合图像的像素的透明度值；提供用于该混合图像的第一深度指示图，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及提供包括第一图像、混合图像、透明度图和第一深度指示图的三维图像数据。依据本发明提供的图像数据可以被用来呈现表示三维图像数据的视图的诸如视图的像素之类的图像元素和/或整个图像。本发明还可允许改进的3D图像处理和/或性能。具体地，在许多实施例中，3D图像数据可以提供改进的后向兼容性。具体地，一起提供包括允许进行3D处理的深度和透明度信息的3D图像数据的优点、与可以被作为常规2D图像处理以提供该图像的适当2D表示的信息。具体地，混合图像可以例如被2D表现设备直接表现为2D图像。具体地，在一些实施例中，图像的前景和背景不被分离地存储为不同的图像，而是背景、与前景和背景的混合版本(根据透明度混合)可以一起存储。该2D图像然后可以直接被2D表现设备使用，这是由于其对应于包括背景和前景这两者的常规2D图像。然而，同时，2D图像可以被3D表现设备用来产生表示其它视角的3D图像或2D图像。第一深度指示图提供用于该混合图像的与深度有关的信息。因此，该第一深度指示图可以是包括用于第一和第二图像两者的像素的深度指示值的混合深度指示图。3D图像数据可以用于图像序列中的图像。具体地，3D图像数据可以用于包括多个 3D图像的视频序列中的图像。第一图像可以具体地是背景图像，而第二图像可以具体地是前景图像。与混合图像有关的透明度图可以具体地对应于用于第二图像的透明度图，并且因此透明度图可以是用于第二图像的透明度图。具体地，透明度图可以典型地是前景透明度图。根据本发明的可选特征，该方法还包括产生包括三维图像数据的图像信号。该图像信号可以具体地是包括一个或多个图像的经编码的图像信号。例如，该图像信号可以是包括视频帧形式的多个图像的视频信号。该方式还允许产生、存储和分发图像信号，其允许有效的3D处理以及对常规2D设备的后向兼容性这两者。根据本发明的可选特征，该方法还包括响应于三维图像数据为与第一和第二图像的视角不同的视角呈现视图。该方式可允许通过适当装备的装置呈现不同视角，同时还提供后向兼容性。根据本发明的可选特征，本方法还包括响应于三维图像数据呈现三维图像。该方式可以允许通过适当装备的装置呈现3D图像，同时还提供后向兼容性。
根据本发明的可选特征，该方法还包括响应于来自一组值集合的第二值集合的值来修改来自该组值集合的第一值集合的值，该组值集合包括与透明度图的透明度值相对应的值集合和与第一深度指示图的深度指示值相对应的值集合。在许多实施例和情形下，这可以允许提高的图像质量。具体地，在许多情形下，其可以在第一图像的图像对象的边缘周围提供提高的图像质量。发明人已经特别地认识到 通过将透明度值和深度指示值相对彼此进行调整，可以实现改进的(相对)前景图像对象的呈现。根据本发明的可选特征，该方法还包括检测与图像对象边缘相对应的图像区域， 并且其中修改值包括修改用于该图像区域的值。发明人已经认识到如果具体地处理图像对象边缘，则对于基于用于混合图像/ 前景图像的深度指示值和透明度值呈现的图像，可以实现提高的图像质量。对象边缘可以对应于用于混合图像的透明度值和/或深度指示值的转变(transition)。根据本发明的可选特征，该方法还包括修改一个图像区域中的透明度图的透明度值与第一深度指示图的深度指示值之间的关系。在许多实施例和情形下，这可以允许提高的图像质量。具体地，在许多情形下，其可以在第一图像的图像对象的边缘周围提供提高的图像质量。发明人已经特别地认识到 通过将透明度值和深度指示值相对彼此进行调整，可以实现改进的(相对)前景图像对象的呈现。根据本发明的可选特征，修改所述关系包括沿着图像方向对准透明度图的透明度转变和沿着图像方向对准第一深度指示图的深度转变。在许多实施例中，这可以促进实现和/或提高性能。具体地，通过对准透明度和深度转变，可以获得由(相对)前景图像对象边缘的3D处理引入的图像伪像的减少。根据本发明的可选特征，该方法还包括响应于第一深度指示图的深度指示值来修改透明度图的透明度值。在许多实施例和情形下，这可以允许提高的图像质量。具体地，在许多情形下，其可以在第一图像的图像对象的边缘周围提供提高的图像质量。发明人已经特别地认识到 通过将透明度值和深度指示值相对彼此进行调整，可以实现改进的(相对)前景图像对象的呈现。根据本发明的可选特征，修改透明度值包括作为透明度图中透明度转变的部分而非第一深度转变图中深度转变的部分，在图像区域中将透明度图的透明度值朝向更高透明度偏置。这可以允许有利的实现和/或可以提供对于3D处理的提高的图像质量。该特征可以特别地使由3D处理对图像对象边缘引入的图像伪像不那么明显。根据本发明的可选特征，修改透明度值包括通过以下来修改包括沿着图像方向的深度转变和透明度转变的图像区域的至少一部分中的透明度值响应于沿着图像方向的第一深度指示图的深度指示值来确定第一深度转变点；对于沿着图像方向的如下间隔 (interval)的像素，将沿着图像方向的透明度图的透明度值朝向更高的透明度偏置，所述间隔是沿着更高透明度和更低深度中的至少一个的方向从第一深度转变点延伸。这可以允许有利的实现和/或可以提供对于3D处理的提高的图像质量。该特征可以特别地使得由3D处理对图像对象边缘引入的图像伪像不那么明显。根据本发明的可选特征，该方法还包括响应于沿着图像方向的第一透明度图的透明度值来确定第一透明度转变点，并且其中所述间隔从第一透明度点延伸到第一深度转变点ο这可以允许便利的实现，同时提供高效的性能和高的图像质量。具体地，其可以允许用于在图像对象边缘周围适配3D性能的实际且高效的方式。根据本发明的可选特征，该方法还包括将第一透明度转变点确定为在沿着更高透明度和更低深度中的至少一个的方向从深度转变点延伸的评估间隔(evaluat i on interval)中沿着图像方向具有最高透明度值的点。这可以允许有利的实现和/或可以提供对于3D处理的提高的图像质量。该特征可以特别地使得由3D处理对图像对象边缘引入的图像伪像不那么明显。根据本发明的可选特征，偏置包括将该间隔的所有透明度值中的透明度值设置为偏置之前的该间隔的最高透明度值。这可以允许降低的复杂度的实现和/或可以进一步降低或最小化由3D处理对图像对象边缘引入的图像伪像的可察觉性。根据本发明的可选特征，该方法还包括提供用于第一图像的第二深度指示图，该第二深度指示图包括用于第一图像的像素的深度指示值；并且其中确定第一深度转变点进一步包括响应于第二深度指示图的深度指示值来确定第一深度转变点。这可以允许确定深度转变点的特别合适的方式，并且可以实际上被用来确定深度指示值的转变的存在性。因此，该方式可以允许图像对象边缘的可靠检测。该方式特别适合于使用混合图像的方式，因为第一图像和混合图像之间的相对深度信息提供指示第一图像和第二图像分别何时在混合图像中占优势的直接信息。根据本发明的可选特征，确定深度转变点包括响应于第一深度指示图的深度指示值和第二深度指示图的深度指示值的比较，确定深度转变点。这可以允许深度转变点的高效和/或准确的确定。根据本发明的可选特征，确定深度转变点包括将深度转变点确定为沿着图像方向在第二深度指示图的深度指示值和第一深度指示图的深度指示值之差跨越阈值的点。这可以允许深度转变点的高效和/或准确的确定。根据本发明的可选特征，图像方向对应于扫描线方向。这可以允许特别适当的实现，并且可以特别地允许低复杂度的处理以便导致透明度值和深度值的转变的准确检测、以及低复杂度而相当高效的透明度值和/或深度指示值的适配。根据本发明的可选特征，该方法还包括响应于透明度图的透明度值来修改第一深度指示图的深度指示值。在许多实施例和情形下，这可以允许提高的图像质量。具体地，在许多情形下，其可以在第一图像的图像对象的边缘周围提供提高的图像质量。发明人已经特别地认识到 通过将透明度值和深度指示值相对彼此进行调整，可以实现改进的(相对)前景图像对象的呈现。根据本发明的可选特征，修改深度指示值包括在与透明度图中的透明度转变相对应的图像区域中，将第一深度指示图的深度指示值朝向前景深度指示值进行偏置。这可以允许有利的实现和/或可以允许对于3D处理的提高的图像质量。该特征可以特别提供增加的如下概率包括来自第二图像的图像对象的贡献的像素被假设为具有与该对象相对应的深度。作为具体示例，其可以允许具有来自前景图像的部分贡献的像素被3D处理当作前景的一部分，由此降低误差并减少伪像。根据本发明的可选特征，修改深度指示值包括通过以下来修改包括沿着图像方向的深度转变和透明度转变的图像区域的至少一部分中的深度指示值响应于沿着图像方向的透明度图的透明度值和第一深度指示图的深度指示值中的至少一个，确定第一转变点； 对于沿着图像方向的如下间隔的像素，将沿着图像方向的第一深度指示图的深度指示值朝向前景深度指示值进行偏置，所述间隔在第一透明度转变点处结束且从第一透明度点沿着更低透明度方向延伸。这可以允许有利的实现和/或可以允许对于3D处理的提高的图像质量。该特征可以特别提供增加的如下概率包括来自第二图像的图像对象的贡献的像素被假设为具有与该对象相对应的深度。作为具体示例，其可以允许具有来自前景图像的部分贡献的像素被3D处理当作前景的一部分，由此降低误差并减少伪像。根据本发明的可选特征，第一转变点是响应于透明度图的透明度值而确定的第一透明度转变点，并且该方法进一步包括响应于沿着图像方向的透明度图的透明度指示值， 确定第二透明度转变点，该第二透明度转变点对应于比第一透明度点低的透明度；并且其中该间隔从第一深度转变点延伸到第二深度转变点。这可以允许改进的对于在其中执行偏置的间隔的确定。根据本发明的可选特征，第一转变点是响应于透明度图的透明度值而确定的第一透明度转变点，并且该方法进一步包括响应于沿着图像方向的第一深度指示图的深度指示值，确定第一深度转变点；响应于该第一深度转变点，确定透明度搜索间隔；并且其中确定第一透明度点包括响应于透明度搜索间隔中的透明度值来确定第一透明度点。这可以允许用于确定在其中执行偏置的间隔的特别的有利方式。根据本发明的可选特征，将深度指示值进行偏置包括将该间隔的所有深度指示值设置为与偏置之前的该间隔的最远的前景深度指示值相对应的深度指示值。这可以允许降低复杂度的实现和/或可以提供提高的图像质量。根据本发明的可选特征，图像方向对应于扫描线方向。这可以允许特别适当的实现，并且可以特别地允许低复杂度的处理以便导致透明度值和深度值中的转变的准确检测、以及低复杂度而相当高效的透明度值和/或深度指示值的适配。根据本发明的另一方面，提供了一种编码图像信号的方法，该方法包括提供第一图像；提供作为该第一图像和第二图像的组合的混合图像，第二图像是相对于该第一图像的前景图像，所述组合是响应于用于该第二图像的透明度值而进行的；提供与该混合图像有关的透明度图，该透明度图包括用于该混合图像的像素的透明度值；提供用于该混合图像的第一深度指示图，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及产生包括表示第一图像、混合图像、透明度图和第一深度指示图的经编码数据的图像信号。根据本发明的可选特征，该方法进一步包括响应于第一深度指示图的深度指示值来修改透明度图的透明度值。根据本发明的可选特征，该方法进一步包括响应于透明度图的透明度值来修改第一深度指示图的深度指示值。根据本发明的一个方面，提供了一种呈现图像的方法，该方法包括提供第一图像；提供作为第一图像和第二图像的组合的混合图像，第二图像是相对于该第一图像的前景图像，所述组合是响应于用于该第二图像的透明度值而进行的；提供与该混合图像有关的透明度图，该透明度图包括用于该混合图像的像素的透明度值；提供用于混合图像的第一深度指示图，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及响应于第一图像、混合图像、透明度图和第一深度指示图来呈现图像。根据本发明的可选特征，呈现包括呈现作为与不同于第一图像和第二图像的视角的视角相对应的图像的图像。根据本发明的可选特征，该方法进一步包括响应于第一深度指示图的深度指示值来修改透明度图的透明度值。根据本发明的可选特征，该方法进一步包括响应于透明度图的透明度值来修改第一深度指示图的深度指示值。根据本发明的另一方面，提供了一种图像信号编码器，包括用于提供第一图像的装置；用于提供作为第一图像和第二图像的组合的混合图像的装置，第二图像是相对于第一图像的前景图像，所述组合是响应于用于第二图像的透明度值而进行的；用于提供与混合图像有关的透明度图的装置，该透明度图包括用于混合图像的像素的透明度值；用于提供用于混合图像的第一深度指示图的装置，该第一深度指示图包括用于混合图像的像素的深度指示值；以及用于产生包括表示第一图像、混合图像、透明度图和第一深度指示图的经编码数据的图像信号的装置。根据本发明的可选特征，该图像信号编码器进一步包括用于响应于第一深度指示图的深度指示值来修改透明度图的透明度值的装置。根据本发明的可选特征，该图像信号编码器进一步包括用于响应于透明度图的透明度值来修改第一深度指示图的深度指示值的装置。根据本发明的另一方面，提供了一种图像呈现单元，包括用于提供第一图像的装置；用于提供作为第一图像和第二图像的组合的混合图像的装置，该第二图像是相对于第一图像的前景图像，所述组合是响应于用于第二图像的透明度值而进行的；用于提供与混合图像有关的透明度图的装置，该透明度图包括用于混合图像的像素的透明度值；用于提供用于混合图像的第一深度指示图的装置，第一深度指示图包括用于该混合图像的像素的深度指示值；以及用于响应于第一图像、混合图像、透明度图和第一深度指示图而呈现图像的装置。根据本发明的可选特征，该图像呈现单元进一步包括用于响应于第一深度指示图的深度指示值来修改透明度图的透明度值的装置。根据本发明的可选特征，该图像呈现单元进一步包括用于响应于透明度图的透明度值来修改第一深度指示图的深度指示值的装置。根据本发明的另一方面，提供了一种图像信号，该图像信号包括表示第一图像的数据；表示作为第一图像和第二图像的组合的混合图像的数据，第二图像是相对于第一图像的前景图像，所述组合是响应于用于该第二图像的透明度值而进行的；表示与该混合图像有关的透明度图的数据，该透明度图包括用于该混合图像的像素的透明度值；表示用于该混合图像的第一深度指示图的数据，第一深度指示图包括用于混合图像的像素的深度指示值。本发明的这些和其他方面、特征和优点将根据下文描述的实施例变得清楚明白， 并且将参考下文描述的实施例来说明本发明的这些和其它方面、特征和优点。
将参考附图仅作为示例来描述本发明的实施例，在附图中
图1图示了根据本发明的一些实施例的用于提供3D图像数据的方法的示例； 图2图示了根据本发明的一些实施例的3D图像数据的元素的示例； 图3图示了根据本发明的一些实施例的图像信号编码器的示例； 图4图示了根据本发明的一些实施例的图像信号编码器的示例； 图5图示了根据本发明的一些实施例的呈现单元的示例；
图6图示了沿着给定图像方向的用于混合的背景和前景图像的深度和透明度转变的示例；
图7图示了根据本发明的一些实施例的用于提供3D图像数据的方法的示例； 图8图示了根据本发明的一些实施例的呈现单元的示例；
图9图示了沿着给定图像方向的用于混合的背景和前景图像的深度和透明度转变的示例；以及
图10图示了沿着给定图像方向的用于混合的背景和前景图像的深度和透明度转变的示例。
具体实施例方式以下描述集中在本发明的实施例上，该实施例可应用于可以被应用到视频信号的单个帧的3D图像信息表示。然而，应理解本发明不限于此应用，而是可以应用到包括例如静止图像、动画等的许多其它图像类型。图1图示了用于提供三维(3D)图像数据的方法。3D图像数据可以例如被用来产生3D图像或者产生用于场景的不同的二维(2D)图像的不同视点。在示例中，产生并入了两个图像、深度信息和透明度信息的3D图像数据。将理解在其它实施例中，3D数据可以包括与多层相对应的更多2D图像。具体地，3D图像数据包括背景图像、包含来自该背景图像和前景图像的贡献的混合图像、以及与该混合图像有关的深度和透明度信息。另外，3D图像数据可以包括用于背景图像数据的深度信息。该方法在步骤101开始，其中提供第一图像。在该示例中，该第一图像是背景图像。步骤101之后接着步骤103，其中提供作为该第一图像和第二图像的组合的混合图像， 该第二图像是前景图像。因此，背景图像和前景图像是同一场景的重叠图像。前景图像可以包括或包含例如处于背景图像的前景中的图像对象、添加的文本、字幕、屏上显示信息等。混合图像因此表示可能出现在背景中的图像对象以及可能出现在前景中的图像对象这两者。前景图像分量和背景图像分量的组合考虑了前景图像对象的透明度。因此， 对于透明度值对应于无透明度(完全不透明)的像素，选择像素值作为前景图像的像素值。 相反，对于透明度值对应于全透明度(无不透明度)的像素，选择像素值作为背景图像的像素值。对于像素值为半透明，可以通过将前景的像素值和背景的像素值组合来计算混合图像。例如，用于像素η的混合图像像素值y可以被简单地计算为
权利要求
1.一种提供三维图像数据的方法，该三维图像数据用于呈现该三维图像数据的至少一个视图的图像元素，该方法包括提供(101)第一图像；提供(103)作为第一图像和第二图像的组合的混合图像，第二图像是相对于第一图像的前景图像，所述组合是响应于用于第二图像的透明度数据而进行的；提供(105)与该混合图像有关的透明度图，该透明度图包括用于该混合图像的像素的透明度值；提供(107)用于该混合图像的第一深度指示图，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及提供(111)包括第一图像、混合图像、透明度图和第一深度指示图的三维图像数据。
2.如权利要求1所述的方法，还包括产生包括三维图像数据的图像信号。
3.如权利要求1所述的方法，还包括响应于该三维图像数据针对与第一和第二图像的视角不同的视角呈现视图。
4.如权利要求3所述的方法，还包括响应于该三维图像数据呈现与用于使三维图像可视化的、三维图像数据的多个视图的图像元素相对应的图像元素。
5.如权利要求1所述的方法，还包括响应于来自一组值集合的第二值集合的值来修改(701)来自该组值集合的第一值集合的值，该组值集合包括与透明度图的透明度值相对应的值集合、以及与第一深度指示图的深度指示值相对应的值集合。
6.如权利要求5所述的方法，还包括检测与图像对象边缘相对应的图像区域，并且其中修改值包括修改用于该图像区域的值。
7.如权利要求1所述的方法，还包括修改(701)图像区域中的透明度图的透明度值与第一深度指示图的深度指示值之间的关系。
8.如权利要求7所述的方法，其中修改(701)所述关系包括对准沿着图像方向的透明度图的透明度转变和沿着图像方向的第一深度指示图的深度转变。
9.如权利要求1所述的方法，还包括响应于第一深度指示图的深度指示值来修改 (701)透明度图的透明度值。
10.如权利要求9所述的方法，其中，修改(701)透明度值包括作为透明度图中透明度转变的部分而非第一深度转变图中深度转变的部分，在图像区域中将透明度图的透明度值朝向更高透明度偏置。
11.如权利要求9所述的方法，其中，修改(701)透明度值包括通过以下来修改包括沿着图像方向的深度转变和透明度转变的图像区域的至少一部分中的透明度值响应于沿着图像方向的第一深度转变图的深度指示值来确定第一深度转变点；对于沿着图像方向的如下间隔中的像素，将沿着图像方向的透明度图的透明度值朝向更高的透明度偏置，所述间隔沿着更高透明度和更低深度中的至少一个的方向从第一深度转变点延伸。
12.如权利要求11所述的方法，还包括响应于沿着图像方向的第一透明度图的透明度值来确定第一透明度转变点，并且其中所述间隔从第一透明度点延伸到第一深度转变点ο
13.如权利要求12所述的方法，还包括将第一透明度转变点确定为在从深度转变点沿着更高透明度和更低深度中的至少一个的方向延伸的评估间隔中沿着图像方向具有最高透明度值的点。
14.如权利要求11所述的方法，其中，偏置包括将该间隔的所有透明度值中的透明度值设置为偏置之前的该间隔的最高透明度值。
15.如权利要求11所述的方法，还包括提供用于第一图像的第二深度指示图，该第二深度指示图包括用于第一图像中的像素的深度指示值；并且其中确定第一深度转变点进一步包括响应于第二深度指示图的深度指示值来确定第一深度转变点。
16.如权利要求15所述的方法，其中，确定深度转变点包括响应于第一深度指示图的深度指示值和第二深度指示图的深度指示值的比较，确定深度转变点。
17.如权利要求15所述的方法，其中确定深度转变点包括将深度转变点确定为沿着图像方向在第二深度指示图的深度指示值和第一深度指示图的深度指示值之间的差跨越阈值的点。
18.如权利要求1所述的方法，还包括响应于透明度图的透明度值来修改(701)第一深度指示图的深度指示值。
19.如权利要求18所述的方法，其中，修改(701)深度指示值包括在与透明度图中的透明度转变相对应的图像区域中，将第一深度指示图的深度指示值朝向前景深度指示值进行偏置。
20.如权利要求18所述的方法，其中，修改(701)深度指示值包括通过以下来修改包括沿着图像方向的深度转变和透明度转变的图像区域的至少一部分中的深度指示值响应于沿着图像方向的透明度图的透明度值和第一深度指示图的深度指示值中的至少一个，确定第一转变点；对于沿着图像方向的如下间隔中的像素，将沿着图像方向的第一深度指示图中的深度指示值朝向前景深度指示值进行偏置，所述间隔在第一透明度转变点处结束且从第一透明度点沿着更低透明度方向延伸。
21.如权利要求20所述的方法，其中，第一转变点是响应于透明度图的透明度值而确定的第一透明度转变点，并且该方法进一步包括响应于沿着图像方向的透明度图的透明度指示值，确定第二透明度转变点，该第二透明度转变点对应于比第一透明度点更低的透明度；并且其中该间隔从第一深度转变点延伸到第二深度转变点。
22.如权利要求20所述的方法，其中，第一转变点是响应于透明度图的透明度值而确定的第一透明度转变点，并且该方法进一步包括响应于沿着图像方向的第一深度指示图的深度指示值，确定第一深度转变点；响应于该第一深度转变点，确定透明度搜索间隔；并且其中确定第一透明度点包括响应于透明度搜索间隔中的透明度值来确定第一透明度点。
23.如权利要求20所述的方法，其中，将深度指示值进行偏置包括将该间隔的所有深度指示值设置为与偏置之前的该间隔的最远的前景深度指示值相对应的深度指示值。
24.一种编码图像信号的方法，该方法包括提供(101)第一图像；提供(103)作为该第一图像和第二图像的组合的混合图像，该第二图像是相对于该第一图像的前景图像，该组合是响应于用于该第二图像的透明度值而进行的；提供(105)与该混合图像有关的透明度图，该透明度图包括用于该混合图像的像素的透明度值；提供(107)用于该混合图像的第一深度指示图，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及产生(111)包括表示第一图像、混合图像、透明度图和第一深度指示图的经编码数据的图像信号。
25.如权利要求M所述的方法，进一步包括响应于第一深度指示图的深度指示值来修改(701)透明度图的透明度值。
26.如权利要求M所述的方法，进一步包括响应于透明度图的透明度值来修改(701) 第一深度指示图的深度指示值。
27.—种呈现图像的方法，该方法包括 提供(101)第一图像；提供(103)作为第一图像和第二图像的组合的混合图像，第二图像是相对于第一图像的前景图像，该组合是响应于用于该第二图像的透明度值而进行的；提供(105)与混合图像有关的透明度图，该透明度图包括用于该混合图像的像素的透明度值；提供(107)用于该混合图像的第一深度指示图，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及响应于第一图像、混合图像、透明度图和第一深度指示图来呈现(111)图像。
28.一种图像信号编码器，包括 用于提供第一图像的装置(303)；用于提供作为第一图像和第二图像的组合的混合图像的装置(405)，该第二图像是相对于第一图像的前景图像，该组合是响应于用于该第二图像的透明度值而进行的；用于提供与该混合图像有关的透明度图的装置(409)，该透明度图包括用于该混合图像的像素的透明度值；用于提供用于该混合图像的第一深度指示图的装置(407)，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及用于产生包括表示第一图像、混合图像、透明度图和第一深度指示图的经编码数据的图像信号的装置(307)。
29.一种图像呈现单元，包括 用于提供第一图像的装置(505)；用于提供作为第一图像和第二图像的组合的混合图像的装置(507)，该第二图像是相对于第一图像的前景图像，该组合是响应于用于该第二图像的透明度值而进行的；用于提供与该混合图像有关的透明度图的装置(513)，该透明度图包括用于该混合图像的像素的透明度值；用于提供用于该混合图像的第一深度指示图的装置(511)，该第一深度指示图包括用于该混合图像的像素的深度指示值；以及用于响应于第一图像、混合图像、透明度图和第一深度指示图而呈现图像的装置(515)。
30.一种图像信号，包括 表示第一图像的数据；表示作为第一图像和第二图像的组合的混合图像的数据，第二图像是相对于第一图像的前景图像，该组合是响应于用于第二图像的透明度值而进行的；表示与该混合图像有关的透明度图的数据，该透明度图包括用于该混合图像的像素的透明度值；表示用于该混合图像的第一深度指示图的数据，该第一深度指示图包括用于该混合图像的像素的深度指示值。
31.一种计算机程序，其使得处理器能够执行如权利要求1、27和30中任一项所述的方法。
全文摘要
提供了包括表示具体地可以是背景图像的第一图像的数据的三维图像数据。作为第一图像和具体地可以是前景图像的第二图像的组合的混合图像，与该混合图像有关的包括用于该混合图像的像素的透明度值的透明度图，以及用于该混合图像的包括用于该混合图像的像素的深度指示值的深度指示图。混合图像的使用可以允许三维处理，且同时允许2D后向兼容性。可以通过响应于深度指示值来修改透明度值和/或响应于透明度值来修改深度指示值，提高图像对象周围的图像质量。具体地，改进的深度指示值和透明度值的转变的对准可以提供改进的三维前景图像对象边缘数据。
文档编号G06T15/20GK102165496SQ200980137747
公开日2011年8月24日 申请日期2009年9月23日 优先权日2008年9月25日
发明者B·A·M·茨瓦恩斯, B·G·B·巴伦布鲁格, H·H·A·范沃尔科姆 申请人:皇家飞利浦电子股份有限公司
最新回复(0)