用于生成和接收立体-2d反向兼容视频流的系统及其方法
用于生成和接收立体-2d反向兼容视频流的系统及其方法
【专利摘要】本发明涉及用于生成和接收立体-2D反向兼容视频流的系统（1;1’），所述系统（1;1’）包括：第一接收装置（10;10’），特别是包括非立体解码器的第一接收装置，用于接收适于在可视化装置（2;2’)上显示的第一图像序列（L山’);关联至所述第一接收装置（10;10’)的第一存储装置(11;11’），用于存储所述第一图像序列（L;L’)；第二接收装置（20;20’），用于接收数据信号（R；R’），该数据信号（R;R’)包括能够以第二图像序列（R;R’)来转换并且与所述第一图像序列（L；L’)一起使得能够重构立体视频流的信息；关联至所述第二接收装置（20;20’)的第二存储装置(21;21’），用于存储与所述第二序列（R;R’)相关的所述数据信号，所述第一序列（L;L’）和所述数据信号（R;R’)包括多个数据包（DP)，每个数据包（DP)至少包括报头（H)和包括音频/视频数据的有效载荷（P)。本发明的特征在于每个数据包（DP)的所述报头（H)包括第一数据字段（DF1)和至少第二数据字段（DF2)，该第一数据字段包括标识内容的服务的第一信息，该第二数据字段包括标识节目开始时间和/或节目名称的第二信息。此外，本发明的特征在于，所述系统（1;1’)包括同步装置（30;30’），用于基于所述第一数据字段（DF1)和所述至少第二数据字段（DF2)将所述第一记录装置（12;12’)存储的所述第一图像序列（L;L’）的每个数据包（DP)与所述第二记录装置（22;22’）存储的与所述第二序列（R;R’）相关的所述数据信号的每个数据包（DP)进行组合，以生成表示适于在所述可视化装置（2;2’)上显示的3D图像的复合序列（LR;L’R’)。
【专利说明】用于生成和接收立体-2D反向兼容视频流的系统及其方法
[0001] 本发明涉及根据权利要求1的前序部分的一种用于生成和接收立体-2D反向兼容 视频流的系统。
[0002] 本发明还涉及一种用于生成和接收立体-2D反向兼容视频流的方法。
[0003] 在本说明书中，"立体-2D反向兼容视频流"实质上是指如下视频流：当在3D接收 和可视化装置中被适当处理时，其产生观看者感知是三维的图像序列，而当在常规2D接收 装置（MPEG 2或MPEG 4)中被处理时，其使得观看者能够在关联至所述接收装置的整个屏 辱上观看完整的2D图像。
[0004] 因此，根据本发明的系统和方法使得具有常规的非立体解码器或者电视机或可视 化装置的用户能够即使图像以3D格式被传送也能对该图像进行2D显示，同时使得用户能 够在他/她具有立体显示设备的情况下观看3D内容。
[0005] 近年来，电影制作领域非常关注立体3D内容的制作并且向其投入了巨大的资源， 特别是在新数字技术可利用的新制作工具的刺激下。
[0006] 所关注的3D现在正延伸至家用，即用于在电视机、膝上型计算机或类似的可视化 装置上显示图像。例如，一些付费电视运营商已经开始播放3D节目。
[0007] 呈现立体视频内容的常见方法包括分别显示预期针对右眼和左眼的两个独立视 频流，这两个独立视频流然后被大脑重编成三维对象。
[0008] 在该框架中，必须在制作过程期间采取许多措施以便减少内容传输和完成所需的 码率。
[0009] 然后，压缩包括复合巾贞（composite frame)的立体视频流以便在将其分发在广播 网络、IP网络或海量存储介质上之前减小其传送码率。
[0010]目前最常用于分发视频内容的压缩技术为由MPEG 2标准和MPEG4标准（或 H. 264/AVC标准）定义的压缩技术；具体地，在市场上目前可用的高清电视机都配备有支持 高达1080p格式的格式解码的H. 264/AVC解码器。
[0011] 各种服务提供商（尤其是公共服务广播公司）关注的最重要需求之一是立体信号 的反向兼容性。
[0012] 实际上，期望3D内容可以由2D和3D电视机以及监视器二者来显示，并且该结果 可以通过同时播放一个节目的2D版本和3D版本二者来实现；当然，被称为同时联播的该选 项涉及浪费带宽，这是服务提供商宁愿回避的一件事情。
[0013] 在本领域中，用于生成反向兼容立体流的一些技术是公知的。
[0014] 这些技术之一涉及所谓的"深度图"的应用，如例如在美国专利申请第US 2002/0048395号和第US 2004/0101043号所描述的那样。
[0015] 另一种反向兼容立体流编码技术为例如被称为"多视点"的技术。
[0016] 这两种技术的共同特征是如下事实：将立体视频流压缩成基本层（2D基本流）外 加传送第二视图的增强层。
[0017] 编码流的语法确保2D视频也可以由老一代解码器解码，只要它们符合MPEG2或 H. 264/AVC标准即可，这样创建了反向兼容性。不幸的是，增强层所需的带宽类似于2D基本 流所需的带宽，从而呈现与同时联播传输几乎相同的缺点。
[0018] 因此，在本领域中公知的技术未以有效的方式使得具有常规（符合MPEG2或MPEG4 标准）的非立体解码器或电视机或可视化装置的用户能够即使图像以3D格式被传送也能 对图像进行2D显示，同时使得用户能够在他/她具有立体显示设备的情况下观看3D内容。 [0019] 此外，在本领域中已提出如下系统，该系统包括：
[0020]-第一接收装置，特别是包括非立体解码器的第一接收装置，用于接收适于在可视 化装置上显示的第一图像序列；
[0021] -第二接收装置，用于接收数据信号，该数据信号包括能够以第二图像序列来转 换、与所述第一图像序列一起使得能够重构立体视频流的信息。
[0022] 所述已知系统的缺点在于如下事实：其未包括适于使所述第一图像序列和第二序 列同步以恰当地重构立体视频流的装置。
[0023] 实际上，必须使所述第一图像序列和第二图像序列正确地同步以便适当地显示立 体视频流，即必须使第一图像序列中的每幅图像与第二图像序列中的对应图像正确地同步 并且耦合；如果这未发生，则在来自所述第一图像序列和第二图像序列的图像的组合的小 差别（仅一帧偏移）足以使人眼察觉所得到的图像质量差并且未感知到所得到的图像是立 体的。
[0024] 在该框架中，本发明的目的是克服上述缺点并且提供用于生成和接收立体-2D反 向兼容视频流的系统和方法。
[0025] 具体地，本发明的目的在于指出如下有效的系统和方法：其用于使得具有常规的 非立体可视化装置（即，仅配备了 MPEG 2或MPEG 4标准的解码器和电视机）的用户即使 图像以3D格式被传送也能够对这些图像进行2D显示，同时使得用户能够在他/她具有立 体显示设备的情况下观看3D内容。
[0026] 本发明的另一目的是指出如下用于生成和接收立体-2D反向兼容视频流的系统 和方法：其包括在3D传输的情况下适于使第一图像序列和第二图像序列正确地同步以恰 当地重构立体视频流的装置。
[0027] 本发明的又一目的在于提供如下系统和方法：其适于在接收侧重建可以由播送器 以针对2D视图的常规方式分发的3D视频流，而无需使用用于第二立体视图的附加带宽，而 第二视图是通过与第一传输信道不同的另外的传输通道提供的。
[0028] 这些目的是由本发明通过结合所附权利要求中阐述的特征的、用于生成和接收立 体-2D反向兼容视频流的系统和方法来实现的，其被规定为本说明书的一个组成部分。
[0029] 根据作为非限制性示例提供的以下详细描述和附图，本发明的其他目的、特征和 优点将变得明显。
[0030] 图1示出了根据本发明的、用于生成和接收立体和2D反向兼容视频流的系统的第 一实施例的框图；
[0031] 图2示出了根据本发明的系统和方法的数据包；以及
[0032] 图3示出了根据本发明的用于生成和接收立体和2D反向兼容视频流的系统的第 二实施例的框图。
[0033] 在图1中，附图标记1表示根据本发明的、用于生成和接收立体-2D反向兼容视频 流的系统的第一实施例。
[0034] 所述系统1包括第一接收装置10,特别地包括非立体解码器，该第一接收装置10 用于接收适于在3D可视化装置2上显示的第一图像序列L。
[0035] 具体地，所述非立体解码器符合MPEG 2(或者甚至MPEG 4)标准，并且所述第一图 像序列L可以包括2D视频流或立体视频流的2D内容。
[0036] 此外，所述系统1包括：
[0037] -关联至所述第一接收装置10的第一存储装置11，用于特别是逐帧地存储所述第 一图像序列L;
[0038] -第二接收装置20,用于接收数据信号R，该数据信号R包括能够以第二图像序列 来转换、与所述第一图像序列L 一起使得能够重构立体视频流的信息；所述第二接收装置 20因此重构与图像序列R相关的第二视频流；
[0039] -关联至所述第二接收装置20的第二存储装置21，用于特别是逐帧地存储与所述 第二序列R相关的所述数据信号。
[0040] 所述第一序列L和所述数据信号R包括多个数据包DP，每个数据包DP均与视频帧 相关并且至少包括报头Η和包括音频/视频数据的有效载荷P ;在这方面，必须注意的是， 图2涉及根据本发明的数据包DP的示例性实施例。
[0041] 根据本发明，每个数据包DP的所述报头Η包括第一数据字段DF1和至少第二数据 字段DF2,该第一数据字段DF1包括标识内容的服务（例如，电视一台（Das Erste)、ZDF、 RTL等）的第一信息，该第二数据字段DF2包括标识节目开始日期和时间以及/或者节目名 称和计时器的第二信息。使得计时器数据自节目开始以后对自相关节目开始以来的秒的一 小部分（例如每秒25帧或50帧）、秒、分和时进行计数。以此方式，完全地标识立体图像的 每一中贞。
[0042] 关于在相关帧的确切时刻可以如何布置数据字段DF1和DF2的示例如下：
[0043] -DF1:电视一台
[0044] -DF2 :开始时间：07:03:2012-20:15-20(帧）45(秒）10(分）1(小时）或"Die Nonne und der Kommissar-Verflucht" 20 (巾贞）45 (秒）10 (分）1 (小时）。
[0045] 此外，根据本发明，所述系统1包括：同步装置30,用于基于所述第一数据字段DF1 和所述至少第二数据字段DF2而将所述第一存储装置11存储的所述第一图像序列L的每 个数据包DP与所述第二存储装置21存储的所述数据信号R的每个数据包DP进行组合，以 便生成表示适于在所述3D可视化装置2上显示的3D图像的复合序列LR。
[0046] 必须指出的是，根据本发明，所述第二数据字段DF2不必是具有完全准确的日计 时的计时器，因为与节目开始时间相关的所述信息（同样地如与内容的服务相关的所述信 息）仅需要包含如下数据或信息：该数据或信息用于使得同步装置30能够明确地标识来自 所述第一序列L和来自所述数据信号R的同一视频流的帧，以便正确地生成表示3D图像的 复合图像序列LR。
[0047] 在优选实施例中，每个数据包DP的所述报头Η还包括第三数据字段DF3，该第三数 据字段DF3包括标识数据包编号（S卩，每一帧）的第三信息。因此，自某一视频节目开始以 后，对每个字段从〇开始直到所述视频节目的最后帧编号进行编号。
[0048] 很显然，所述第三数据字段DF3利于所述同步装置30在将所述第一存储装置11 存储的所述第一图像序列L的每个数据包DP与所述第二存储装置21存储的所述数据信号 R的每个数据包DP进行组合中的工作，以便生成表示适于在所述可视化装置2上显示的3D 图像的复合图像序列LR。
[0049] 优选地，所述第一图像序列L包括预期针对左眼的视频流；此外，所述数据信号R 可以包括预期针对右眼的视频流。
[0050] 因此，很显然，根据本发明的系统1使得能够使所述第一图像序列L与从数据信号 R获得的所述第二序列R正确地同步以恰当地提供并显示立体视频流。
[0051] 实际上，第一图像序列L的每个数据包DP均正确地被标识并且与数据信号R的对 应数据包DP同步和耦合；因此，由于本发明的特有配置，用户察觉不到来自所述两个不同 源的图像的任何差异，并且他/她可以正确地感知到所得到的图像是立体的并且具有良好 质量。
[0052] 此外，根据本发明的系统1使得具有常规的非立体解码器（即符合MPEG 2或MPEG 4标准的解码器）但具有3D显示设备的用户不仅能够在可视化装置上以2D的形式显示图 像，而且能够以3D或立体形式显示从L和R两个图像流获得的图像。
[0053] 实际上，所述第一接收装置10接收例如预期针对左眼的第一图像序列L，并且所 述第二接收装置20接收数据信号R，例如预期针对右眼的第二图像序列。然后，所述第一存 储装置11存储所述第一图像序列L并且所述第二存储装置21存储与所述第二序列R相关 的所述数据信号R ;此后，所述同步装置30将第一图像序列L与所述第二序列R进行混合 以便生成表示要显示在所述可视化装置2上的3D图像的复合图像序列LR。
[0054] 然而，很显然的是，根据本发明的系统1还可以用于对图像进行2D显示，原因在于 所述同步装置30可以向所述可视化装置2仅发送第一图像序列L或由数据信号R得到的 图像。
[0055] 由此可见，根据本发明的系统1是通用的，原因是其使得可视化装置2具有多种不 同用途，尤其在用户仅可利用常规的2D接收装置（MPEG2或MPEG4)时，其允许观看者在关 联至所述接收装置的整个屏幕上观看完整的2D图像。
[0056] 很显然，对于根据本发明的方法和系统，还能够在不使用系统1的情况下用简单 的MPEG TV接收器接收和观看以MPEG 2或MPEG 4格式播放的部分。
[0057] 此外，必须指出的是，根据本发明的系统1可以是与可视化装置2(例如，电视机） 分离的机顶盒，或者其可以内置在可视化装置2本身中。
[0058] 在一个优选实施例中，所述第二接收装置20包括能够接收互联网信号（例如，来 自路由器、Wi-Fi接入点等）的装置。
[0059] 此外，所述第一存储装置11包括第一缓冲存储器12 (图1中未示出），并且所述第 二存储装置21包括第二缓冲存储器22 (图1中未示出），以分别存储所述第一图像序列L 和所述数据信号R。
[0060] 所述系统1还可以包括提取装置40,该提取装置40用于使在所述可视化装置2上 显示的3D图像恰当地可视化。
[0061] 特别地，所述提取装置40可以包括专用眼镜，该专用眼镜包括同步的IXD快门、偏 光器、滤色器或者适于选择性地阻断复合序列LR中的所述第一图像序列L或所述第二序列 R的类似装置；该配置使得能够使在所述可视化装置2上显示的3D图像恰当地可视化。
[0062] 因此，所述提取装置40优选地与同步装置30相关联，以使提取装置40的快门速 度与从所述同步装置30赋予的混合速度同步。
[0063] 特别地，所述提取装置40通过控制线路41与同步装置30相关联。
[0064] 此外，根据本发明的系统1可以包括电子节目指南（在本领域中也被称为"EPG")， 该电子节目指南允许选择包括要被下载作为第一图像序列L和作为与所述第二序列R相 关的数据信号的音频/视频数据的内容以便自动地开始所述内容的下载，具体地借助于键 (例如，通过按压远程控制器的键和/或通过启动所述EPG的键）。在这种情况下，系统1 的所述EPG可以有利地包括适于提供完成下载所需的时间的特征。明显的是，通过设置例 如EPG节目安排工具，可以在3D节目实际开始之前的几小时或几天开始下载，使得当播放 第一序列L时，接收器（根据互联网连接速度全部地或部分地）下载了另一序列R，并且3D 再现极佳地实行。
[0065] 图3示出了根据本发明的用于生成和接收立体-兼容视频流的方法和系统的第二 实施例的框图。
[0066] 在图3所示的实施例中，通过添加单引号（'）使用与图1相同的附图标记。
[0067] 图3所示的系统Γ包括：
[0068] -第一接收装置10'，特别地包括非立体解码器，该第一接收装置10'用于接收适 于在可视化装置2'上显示的第一图像序列L' ；
[0069] -关联至所述第一接收装置10'的第一存储装置11'，用于存储所述第一图像序列 L，；
[0070] -第二接收装置20'，用于接收与所述第二序列R'相关的数据信号，所述数据信号 包括与所述第一图像序列L' 一起使得能够重构立体视频流的信息；
[0071] -关联至所述第二接收装置20'的第二存储装置21'，用于存储与所述第二序列R' 相关的所述数据信号；
[0072] -同步装置30'，用于基于所述第一数据字段DF1和所述至少第二数据字段DF2以 及/或者DF3,将所述第一记录装置12'存储的所述第一图像序列L'的每个数据包DP与所 述第二记录装置22'存储的与所述第二序列R'相关的所述数据信号的每个数据包DP进行 组合，以便生成表示适于在所述可视化装置2'上显示的3D图像的复合图像序列L' R'。
[0073] 在图3所示的实施例中，所述第一存储装置包括固态存储器M'的至少第一部分 12'，所述第一部分12'适于存储所述第一图像序列L' ；此外，所述第二存储装置包括所述 固态存储器M'的至少第二部分22'，所述第二部分22'适于存储与所述第二序列R'相关的 所述数据信号。显而易见的是，所述第一部分12'和所述第二部分22'也可以由两个分离 的固态存储器M'构成（在附图中未示出）。
[0074] 在所述第二接收装置20'包括能够接收互联网信号的装置的情况下，提供固态存 储器M'是特别有用的；实际上，在该情况下，可能存在以足够快的比特率接收与所述数据 信号R'相关的信号的问题。尤其存储器的所述第二部分22'的大小可以是几十千兆字节 以存储数小时的完整娱乐节目。利用256千兆字节的硬盘，因此可以存储几十个事件。
[0075] 特别地，必须强调的是，同样在图3所示的实施例中，为了在所述可视化装置2'上 恰当地显示3D图像，需要如针对图1所示的实施例所描述的那样使所述第一图像序列L' 和所述第二序列R'适当地同步。实际上，两个信号的错误同步（即使所述错误同步涉及单 个帧）危及并且损害所得到的3D图像的效率。
[0076] 因此，根据本发明，所述第一图像序列L'和与所述第二序列R'相关的所述数据信 号分别存储在固态存储器M'的所述至少第一部分12'和第二部分22'达预定时段，所述预 定时段基本上取决于互联网比特率。
[0077] 实际上，如果互联网比特率足够高，所述时段可以是几秒钟或几分钟。相反，如果 互联网比特率低，则所述时段可以具有几分钟的持续时间或与数据信号R、R'的整个下载相 对应的持续时间。
[0078] 因此，由于提供了固态存储器M'，同步装置30'具有足够的时间来接收所下载的 所述数据信号R'并且如先前参照图1的实施例所描述的那样使所述第一图像序列L'和第 二序列R'适当地同步。
[0079] 根据本发明，用于生成和接收立体-兼容视频流的方法包括以下步骤：a)借助于 第一接收装置10、10'，特别是包括非立体解码器的第一接收装置，接收适于在可视化装置 2、2'上显示的第一图像序列L、L'。
[0080] b)将所述第一图像序列L、L'存储在关联至所述第一接收装置10、10'的第一存 储装置11、11'中；
[0081] C)借助于第二接收装置20、20'来接收数据信号R、R'，所述数据信号R、R'包括 能够以第二图像序列R，R'来转换、与所述第一图像序列L、L' 一起使得能够重构立体视频 流；
[0082] d)将与所述第二序列R，R'相关的所述数据信号存储在关联至所述第二接收装置 20、20'的第二存储装置21、21'中，
[0083] 其中，所述第一序列L、L'和与所述第二序列R、R'相关的所述数据信号包括多个 数据包DP，每个数据包DP均至少包括报头Η和包括音频/视频数据的有效载荷P。
[0084] 根据本发明，所述方法还包括如下步骤e):借助于同步装置30、30'将所述第一序 列L、L'和与所述第二序列R、R'相关的所述数据信号进行组合，所述同步装置30、30'适于 生成表示适于在所述可视化装置2、2'上显示的3D图像的复合序列LR、L' R'，所述组合步 骤e)是基于每个数据包DP的所述报头Η的第一数据字段DF1和每个数据包DP的所述报 头Η的至少第二数据字段DF2来执行的，所述第一数据字段DF1包括标识内容的服务（例 如，RAI1、RAI2、LA7等）的第一信息，所述第二数据字段DF2包括标识节目开始时间和/或 节目名称的第二信息。在优选的实施例中，特别地，所述步骤e)还可以基于每个数据包DP 的所述报头Η的第三数据字段DF3来执行，所述第三数据字段DF3包括标识数据包编号的 第二?目息。
[0085] 此外，根据本发明的方法：
[0086] -接收数据信号R、R'的所述步骤C)可以借助于互联网信号接收装置来执行； [0087]-所述步骤b)可以由适于存储所述第一图像序列L的第一缓冲存储器12执行，或 者由适于存储所述第一图像序列L'的固态存储器M'的至少第一部分12'执行。
[0088] -所述步骤d)可以由适于存储与所述第二序列R相关的所述数据信号的第二缓冲 存储器22执行，或者由所述固态存储器M'的至少第二部分22'执行，所述第二部分22'适 于存储所述第二数据信号R'。
[0089] 根据本发明的方法还可以包括如下步骤f):借助于提取装置40、40'使在所述可 视化装置2、2'上显示的3D图像可视化，特别地，所述可视化步骤f)是通过如下方式来执 行的：将所述提取装置40、40'与所述同步装置30、30'相关联以使所述提取装置40、40'的 快门速度与从所述同步装置30、30'赋予的混合速度同步。
[0090] 此外，根据本发明的方法可以包括如下步骤g):从电子节目指南（"EPG"）中选择 包括要通过互联网下载的且要被接收作为第一图像序列L、L'和作为与所述第二序列R、R' 相关的数据信号的音频/视频数据的内容，以便自动地开始所述内容中与所述第二序列R、 R'相关的下载，具体地借助于键（例如，通过按压远程控制器的键和/或通过启动所述EPG 的键）。
[0091] 有利地，所述步骤g)可以由系统1、1'以提供完成下载所需的时间的方式来执行。
[0092] 根据上述描述，根据本发明的用于生成立体-兼容视频流的系统和方法提供的优 点是明显的。
[0093] 特别地，第一优点在于如下事实：根据本发明的系统1、1'使得所述第一图像序列 L、L'和与所述第二序列R、R'相关的所述数据信号能够正确地同步以便恰当地显示立体视 频流，原因是第一图像序列L、L'的每个数据包DP与所述数据信号R、R'的对应数据包DP 正确地同步并且耦合。
[0094] 因此，由于本发明的特有配置，用户察觉不到来自所述两个不同源的图像的任何 差异，并且他能够察觉到所得到的复合图像为立体的并且具有良好质量。
[0095] 此外，系统1、1'使得具有常规的非立体接收器（即符合MPEG 2或MPEG 4标准的 解码器）的用户能够允许观看者在关联至所述接收装置的整个屏幕上观看完整的2D图像， 即使该图像是以3D格式传送的，同时允许用户在他/她具有立体显示设备的情况下观看3D 内容。
[0096] 根据本发明的系统和方法的又一优点在于如下事实：其允许重建可以由播送器分 发的视频流而不浪费带宽，特别是使用2D流所需的基本上相同的带宽。实际上，由于根据 本发明的系统和方法，播送器处于单独地播放预期针对左眼的第一视频流和预期针对右眼 的第二视频流的位置，并且该选项使得能够避免浪费带宽。
[0097] 根据本发明的系统和方法的又一优点在于如下事实：系统1、1'是通用的，原因是 它使得可视化装置2、2'具有多种不同用途。实际上，根据本发明的系统1、1'也可以用于 以2D的形式显示图像，原因是所述同步装置30、30'可以向所述可视化装置2、2'仅发送第 一图像序列L、L'或者由数据信号R、R'得到的图像。
[0098] 因此，根据本发明的系统和方法允许显示2D图像和具有良好质量的3D图像二者。
[0099] 本文通过示例描述的系统和方法可以在不背离本发明构思的新颖性精神的情况 下经受许多可能的变型；同样显而易见的是，在本发明的实际实现中，所示的细节可以具有 不同的装置或由其他技术性等同元件来替换以及提供不同顺序的步骤。
[0100] 因此，可以很容易地理解，本发明并不限于上述系统和方法，而是可以在不背离如 所附权利要求中清楚指明的发明构思的情况下经受许多修改、改进或等同部件和元件的替 换。
【权利要求】
1. 一种用于生成和接收立体-2D反向兼容视频流的系统（1 ;Γ)，所述系统（1 ;Γ)包 括： -第一接收装置（10 ;1〇'），特别是包括非立体解码器的第一接收装置，所述第一接收 装置（10 ;1〇'）用于接收适于在可视化装置（2 ;2'）上显示的第一图像序列（L ;L'）； -关联至所述第一接收装置（10 ;1〇'）的第一存储装置（11 ;1Γ )，用于存储所述第一 图像序列（L ;L'）； -第二接收装置（20;20'），用于接收数据信号（R;R'），所述数据信号（R;R'）包括能 够以第二图像序列（R ;R'）来转换并且与所述第一图像序列（L ;L'）一起使得能够重构立 体视频流的信息； -关联至所述第二接收装置（20 ;20'）的第二存储装置（21 ;21'），用于存储与所述第 二序列（R ;R'）相关的所述数据信号， 所述第一序列（L ;L'）和与所述第二序列（R ;R'）相关的所述数据信号包括多个数据 包（DP)，每个数据包（DP)均至少包括报头（H)和包括音频/视频数据的有效载荷（P)， 其特征在于， 每个数据包（DP)的所述报头（H)包括第一数据字段（DF1)和至少第二数据字段 (DF2)，所述第一数据字段（DF1)包括标识内容的服务的第一信息，所述第二数据字段 (DF2)包括标识节目开始时间和/或节目名称的第二信息， 并且其特征在于， 所述系统（1 ;1'）包括同步装置（30 ;30'），所述同步装置（30 ;30'）用于基于所述第 一数据字段（DF1)和所述至少第二数据字段（DF2)，将所述第一记录装置（12 ;12'）存储的 所述第一图像序列（L ;L'）的每个数据包（DP)与所述第二记录装置（22 ;22'）存储的与所 述第二序列（R;R'）相关的所述数据信号的每个数据包（DP)进行组合，以便生成表示适于 在所述可视化装置（2 ;2'）上显示的3D图像的复合序列（LR ;L' R'）。
2. 根据权利要求1所述的系统（1 ;1'），其特征在于，每个数据包（DP)的所述报头（H) 还包括第三数据字段（DF3)，所述第三数据字段（DF3)包括标识数据包编号的第三信息。
3. 根据权利要求1所述的系统（1 ;1'），其特征在于，所述第二接收装置（20 ;20'）包 括能够接收互联网信号的装置。
4. 根据前述权利要求中的一项或多项所述的系统（1 ;1'），其特征在于，所述第一存储 装置（12 ;12'）包括第一缓冲存储器（12)并且所述第二存储装置（22 ;22'）包括第二缓冲 存储器（22)，以分别存储所述第一图像序列（L)和与所述第二序列（R)相关的所述数据信 号。
5. 根据前述权利要求1至3中的一项或多项所述的系统（1 ;1'），其特征在于，所述第 一存储装置（12 ;12'）包括固态存储器（M'）的至少第一部分（12'），所述第一部分（12'） 适于存储所述第一图像序列（L'）。
6. 根据权利要求5所述的系统（1 ;1'），其特征在于，所述第二存储装置（22 ;22'）包 括所述固态存储器（M'）的至少第二部分（22'），所述第二部分（22'）适于存储与所述第 二图像序列（R'）相关的所述数据信号。
7. 根据前述权利要求中的一项或多项所述的系统（1 ;1'），其特征在于，所述系统（1 ; Γ )包括提取装置（40 ;40'），所述提取装置（40 ;40'）用于使所述可视化装置（2 ;2'）上 显示的3D图像恰当地可视化，特别地，所述提取装置（40 ;40'）与所述同步装置（30 ;30'） 相关联以使所述提取装置（40 ;40'）的快门速度与从所述同步装置（30 ;30'）赋予的混合 速度同步。
8. 根据前述权利要求中的一项或多项所述的系统（1 ;1'），其特征在于，所述系统（1 ; Γ )包括电子节目指南，所述电子节目指南使得能够选择包括要通过互联网下载的并且要 被接收作为第一图像序列L，L'和作为与所述第二序列R，R'相关的数据信号的音频/视频 数据的内容，以便自动地开始所述内容的下载，特别是借助于键。
9. 根据权利要求8所述的系统（1 ;1'），其特征在于，所述系统1的所述电子节目指南 包括适于提供完成所述下载所需的时间的特征。
10. -种用于生成和接收立体-2D反向兼容视频流的方法，所述方法包括以下步骤： a) 借助于第一接收装置（10 ;10'），特别是包括非立体解码器的第一接收装置，接收适 于在可视化装置（2 ;2'）上显示的第一图像序列（L ;L'）； b) 将所述第一图像序列（L ;L'）存储在关联至所述第一接收装置（10 ;10'）的第一存 储装置（11 ;11'）中； c) 借助于第二接收装置（20 ;20'）来接收数据信号（R ;R'），所述数据信号（R ;R'）包 括能够以第二图像序列（R ;R'）来转换并且与所述第一图像序列（L ;L'）一起使得能够重 构立体视频流的信息； d) 将与所述第二序列（R;R'）相关的所述数据信号存储在关联至所述第二接收装置 (20 ;20'）的第二存储装置（21 ;21'）中， 所述第一序列（L ;L'）和与所述第二序列（R ;R'）相关的所述数据信号包括多个数据 包（DP)，每个数据包（DP)均至少包括报头（H)和包括音频/视频数据的有效载荷（P)， 所述方法的特征在于，其还包括步骤e):借助于同步装置（30 ;30'）将所述第一图 像序列（L;L'）和与所述第二序列（R;R'）相关的所述数据信号进行组合，所述同步装置 (30 ;30'）适于生成表示适于在所述可视化装置（2 ;2'）上显示的3D图像的复合序列（LR ; L' R'），所述组合步骤e)基于每个数据包（DP)的所述报头（H)的第一数据字段（DF1)和 每个数据包（DP)的所述报头（H)的至少第二数据字段（DF2)来执行，所述第一数据字段 (DF1)包括标识内容的服务的第一信息，所述第二数据字段（DF2)包括标识节目开始时间 和/或节目名称的第二信息。
11. 根据权利要求10所述的方法，其特征在于，所述步骤e)还基于每个数据包（DP)的 所述报头（H)的第三数据字段（DF3)来执行，所述第三数据字段（DF3)包括标识数据包编 号的第三信息。
12. 根据权利要求10所述的方法，其特征在于，所述步骤c)是借助于互联网信号接收 装置来执行的。
13. 根据前述权利要求10至12中的一项或多项所述的方法，其特征在于，所述步骤b) 由适于存储所述第一图像序列（L)的第一缓冲存储器（12)执行或者由固态存储器（Μ'）的 至少第一部分（12'）执行，所述第一部分（12'）适于存储所述第一图像序列（L'）。
14. 根据前述权利要求10至13中的一项或多项所述的方法，其特征在于，所述步骤d) 由适于存储所述数据信号（R)的第二缓冲存储器（22)执行或者由所述固态存储器（Μ'）的 至少第二部分（22'）执行，所述第二部分（22'）适于存储与所述第二序列（R'）相关的所 述数据信号。
15. 根据前述权利要求10至14中的一项或多项所述的方法，其特征在于，还包括步骤 f):借助于提取装置（40 ;40'）使所述可视化装置（2 ;2'）上显示的所述3D图像可视化， 特别地，所述步骤f)是通过如下方式来执行的：将所述提取装置（40 ;40'）与所述同步装 置（30 ;30'）相关联以使所述提取装置（40 ;40'）的快门速度与从所述同步装置（30 ;30'） 赋予的混合速度同步。
16. 根据前述权利要求10至15中的一项或多项所述的方法，其特征在于，还包括步 骤g):从电子节目指南选择包括要通过互联网下载的并且要被接收作为第一图像序列（L; L'）和作为与所述第二序列（R;R'）相关的数据信号的音频/视频数据的内容，以便自动 地开始所述内容的下载，特别是借助于键。
17. 根据前述权利要求16所述的方法，其特征在于，所述步骤g)是通过所述系统 (1，Γ )提供完成所述下载所需的时间来执行的。
【文档编号】H04N21/81GK104221367SQ201280072178
【公开日】2014年12月17日 申请日期:2012年4月4日 优先权日:2012年4月4日
【发明者】鲁伊斯·罗德里格斯·埃塞基耶尔 申请人:拿索斯财务有限公司
【专利摘要】本发明涉及用于生成和接收立体-2D反向兼容视频流的系统（1;1’），所述系统（1;1’）包括：第一接收装置（10;10’），特别是包括非立体解码器的第一接收装置，用于接收适于在可视化装置（2;2’)上显示的第一图像序列（L山’);关联至所述第一接收装置（10;10’)的第一存储装置(11;11’），用于存储所述第一图像序列（L;L’)；第二接收装置（20;20’），用于接收数据信号（R；R’），该数据信号（R;R’)包括能够以第二图像序列（R;R’)来转换并且与所述第一图像序列（L；L’)一起使得能够重构立体视频流的信息；关联至所述第二接收装置（20;20’)的第二存储装置(21;21’），用于存储与所述第二序列（R;R’)相关的所述数据信号，所述第一序列（L;L’）和所述数据信号（R;R’)包括多个数据包（DP)，每个数据包（DP)至少包括报头（H)和包括音频/视频数据的有效载荷（P)。本发明的特征在于每个数据包（DP)的所述报头（H)包括第一数据字段（DF1)和至少第二数据字段（DF2)，该第一数据字段包括标识内容的服务的第一信息，该第二数据字段包括标识节目开始时间和/或节目名称的第二信息。此外，本发明的特征在于，所述系统（1;1’)包括同步装置（30;30’），用于基于所述第一数据字段（DF1)和所述至少第二数据字段（DF2)将所述第一记录装置（12;12’)存储的所述第一图像序列（L;L’）的每个数据包（DP)与所述第二记录装置（22;22’）存储的与所述第二序列（R;R’）相关的所述数据信号的每个数据包（DP)进行组合，以生成表示适于在所述可视化装置（2;2’)上显示的3D图像的复合序列（LR;L’R’)。
【专利说明】用于生成和接收立体-2D反向兼容视频流的系统及其方法
[0001] 本发明涉及根据权利要求1的前序部分的一种用于生成和接收立体-2D反向兼容 视频流的系统。
[0002] 本发明还涉及一种用于生成和接收立体-2D反向兼容视频流的方法。
[0003] 在本说明书中，"立体-2D反向兼容视频流"实质上是指如下视频流：当在3D接收 和可视化装置中被适当处理时，其产生观看者感知是三维的图像序列，而当在常规2D接收 装置（MPEG 2或MPEG 4)中被处理时，其使得观看者能够在关联至所述接收装置的整个屏 辱上观看完整的2D图像。
[0004] 因此，根据本发明的系统和方法使得具有常规的非立体解码器或者电视机或可视 化装置的用户能够即使图像以3D格式被传送也能对该图像进行2D显示，同时使得用户能 够在他/她具有立体显示设备的情况下观看3D内容。
[0005] 近年来，电影制作领域非常关注立体3D内容的制作并且向其投入了巨大的资源， 特别是在新数字技术可利用的新制作工具的刺激下。
[0006] 所关注的3D现在正延伸至家用，即用于在电视机、膝上型计算机或类似的可视化 装置上显示图像。例如，一些付费电视运营商已经开始播放3D节目。
[0007] 呈现立体视频内容的常见方法包括分别显示预期针对右眼和左眼的两个独立视 频流，这两个独立视频流然后被大脑重编成三维对象。
[0008] 在该框架中，必须在制作过程期间采取许多措施以便减少内容传输和完成所需的 码率。
[0009] 然后，压缩包括复合巾贞（composite frame)的立体视频流以便在将其分发在广播 网络、IP网络或海量存储介质上之前减小其传送码率。
[0010]目前最常用于分发视频内容的压缩技术为由MPEG 2标准和MPEG4标准（或 H. 264/AVC标准）定义的压缩技术；具体地，在市场上目前可用的高清电视机都配备有支持 高达1080p格式的格式解码的H. 264/AVC解码器。
[0011] 各种服务提供商（尤其是公共服务广播公司）关注的最重要需求之一是立体信号 的反向兼容性。
[0012] 实际上，期望3D内容可以由2D和3D电视机以及监视器二者来显示，并且该结果 可以通过同时播放一个节目的2D版本和3D版本二者来实现；当然，被称为同时联播的该选 项涉及浪费带宽，这是服务提供商宁愿回避的一件事情。
[0013] 在本领域中，用于生成反向兼容立体流的一些技术是公知的。
[0014] 这些技术之一涉及所谓的"深度图"的应用，如例如在美国专利申请第US 2002/0048395号和第US 2004/0101043号所描述的那样。
[0015] 另一种反向兼容立体流编码技术为例如被称为"多视点"的技术。
[0016] 这两种技术的共同特征是如下事实：将立体视频流压缩成基本层（2D基本流）外 加传送第二视图的增强层。
[0017] 编码流的语法确保2D视频也可以由老一代解码器解码，只要它们符合MPEG2或 H. 264/AVC标准即可，这样创建了反向兼容性。不幸的是，增强层所需的带宽类似于2D基本 流所需的带宽，从而呈现与同时联播传输几乎相同的缺点。
[0018] 因此，在本领域中公知的技术未以有效的方式使得具有常规（符合MPEG2或MPEG4 标准）的非立体解码器或电视机或可视化装置的用户能够即使图像以3D格式被传送也能 对图像进行2D显示，同时使得用户能够在他/她具有立体显示设备的情况下观看3D内容。 [0019] 此外，在本领域中已提出如下系统，该系统包括：
[0020]-第一接收装置，特别是包括非立体解码器的第一接收装置，用于接收适于在可视 化装置上显示的第一图像序列；
[0021] -第二接收装置，用于接收数据信号，该数据信号包括能够以第二图像序列来转 换、与所述第一图像序列一起使得能够重构立体视频流的信息。
[0022] 所述已知系统的缺点在于如下事实：其未包括适于使所述第一图像序列和第二序 列同步以恰当地重构立体视频流的装置。
[0023] 实际上，必须使所述第一图像序列和第二图像序列正确地同步以便适当地显示立 体视频流，即必须使第一图像序列中的每幅图像与第二图像序列中的对应图像正确地同步 并且耦合；如果这未发生，则在来自所述第一图像序列和第二图像序列的图像的组合的小 差别（仅一帧偏移）足以使人眼察觉所得到的图像质量差并且未感知到所得到的图像是立 体的。
[0024] 在该框架中，本发明的目的是克服上述缺点并且提供用于生成和接收立体-2D反 向兼容视频流的系统和方法。
[0025] 具体地，本发明的目的在于指出如下有效的系统和方法：其用于使得具有常规的 非立体可视化装置（即，仅配备了 MPEG 2或MPEG 4标准的解码器和电视机）的用户即使 图像以3D格式被传送也能够对这些图像进行2D显示，同时使得用户能够在他/她具有立 体显示设备的情况下观看3D内容。
[0026] 本发明的另一目的是指出如下用于生成和接收立体-2D反向兼容视频流的系统 和方法：其包括在3D传输的情况下适于使第一图像序列和第二图像序列正确地同步以恰 当地重构立体视频流的装置。
[0027] 本发明的又一目的在于提供如下系统和方法：其适于在接收侧重建可以由播送器 以针对2D视图的常规方式分发的3D视频流，而无需使用用于第二立体视图的附加带宽，而 第二视图是通过与第一传输信道不同的另外的传输通道提供的。
[0028] 这些目的是由本发明通过结合所附权利要求中阐述的特征的、用于生成和接收立 体-2D反向兼容视频流的系统和方法来实现的，其被规定为本说明书的一个组成部分。
[0029] 根据作为非限制性示例提供的以下详细描述和附图，本发明的其他目的、特征和 优点将变得明显。
[0030] 图1示出了根据本发明的、用于生成和接收立体和2D反向兼容视频流的系统的第 一实施例的框图；
[0031] 图2示出了根据本发明的系统和方法的数据包；以及
[0032] 图3示出了根据本发明的用于生成和接收立体和2D反向兼容视频流的系统的第 二实施例的框图。
[0033] 在图1中，附图标记1表示根据本发明的、用于生成和接收立体-2D反向兼容视频 流的系统的第一实施例。
[0034] 所述系统1包括第一接收装置10,特别地包括非立体解码器，该第一接收装置10 用于接收适于在3D可视化装置2上显示的第一图像序列L。
[0035] 具体地，所述非立体解码器符合MPEG 2(或者甚至MPEG 4)标准，并且所述第一图 像序列L可以包括2D视频流或立体视频流的2D内容。
[0036] 此外，所述系统1包括：
[0037] -关联至所述第一接收装置10的第一存储装置11，用于特别是逐帧地存储所述第 一图像序列L;
[0038] -第二接收装置20,用于接收数据信号R，该数据信号R包括能够以第二图像序列 来转换、与所述第一图像序列L 一起使得能够重构立体视频流的信息；所述第二接收装置 20因此重构与图像序列R相关的第二视频流；
[0039] -关联至所述第二接收装置20的第二存储装置21，用于特别是逐帧地存储与所述 第二序列R相关的所述数据信号。
[0040] 所述第一序列L和所述数据信号R包括多个数据包DP，每个数据包DP均与视频帧 相关并且至少包括报头Η和包括音频/视频数据的有效载荷P ;在这方面，必须注意的是， 图2涉及根据本发明的数据包DP的示例性实施例。
[0041] 根据本发明，每个数据包DP的所述报头Η包括第一数据字段DF1和至少第二数据 字段DF2,该第一数据字段DF1包括标识内容的服务（例如，电视一台（Das Erste)、ZDF、 RTL等）的第一信息，该第二数据字段DF2包括标识节目开始日期和时间以及/或者节目名 称和计时器的第二信息。使得计时器数据自节目开始以后对自相关节目开始以来的秒的一 小部分（例如每秒25帧或50帧）、秒、分和时进行计数。以此方式，完全地标识立体图像的 每一中贞。
[0042] 关于在相关帧的确切时刻可以如何布置数据字段DF1和DF2的示例如下：
[0043] -DF1:电视一台
[0044] -DF2 :开始时间：07:03:2012-20:15-20(帧）45(秒）10(分）1(小时）或"Die Nonne und der Kommissar-Verflucht" 20 (巾贞）45 (秒）10 (分）1 (小时）。
[0045] 此外，根据本发明，所述系统1包括：同步装置30,用于基于所述第一数据字段DF1 和所述至少第二数据字段DF2而将所述第一存储装置11存储的所述第一图像序列L的每 个数据包DP与所述第二存储装置21存储的所述数据信号R的每个数据包DP进行组合，以 便生成表示适于在所述3D可视化装置2上显示的3D图像的复合序列LR。
[0046] 必须指出的是，根据本发明，所述第二数据字段DF2不必是具有完全准确的日计 时的计时器，因为与节目开始时间相关的所述信息（同样地如与内容的服务相关的所述信 息）仅需要包含如下数据或信息：该数据或信息用于使得同步装置30能够明确地标识来自 所述第一序列L和来自所述数据信号R的同一视频流的帧，以便正确地生成表示3D图像的 复合图像序列LR。
[0047] 在优选实施例中，每个数据包DP的所述报头Η还包括第三数据字段DF3，该第三数 据字段DF3包括标识数据包编号（S卩，每一帧）的第三信息。因此，自某一视频节目开始以 后，对每个字段从〇开始直到所述视频节目的最后帧编号进行编号。
[0048] 很显然，所述第三数据字段DF3利于所述同步装置30在将所述第一存储装置11 存储的所述第一图像序列L的每个数据包DP与所述第二存储装置21存储的所述数据信号 R的每个数据包DP进行组合中的工作，以便生成表示适于在所述可视化装置2上显示的3D 图像的复合图像序列LR。
[0049] 优选地，所述第一图像序列L包括预期针对左眼的视频流；此外，所述数据信号R 可以包括预期针对右眼的视频流。
[0050] 因此，很显然，根据本发明的系统1使得能够使所述第一图像序列L与从数据信号 R获得的所述第二序列R正确地同步以恰当地提供并显示立体视频流。
[0051] 实际上，第一图像序列L的每个数据包DP均正确地被标识并且与数据信号R的对 应数据包DP同步和耦合；因此，由于本发明的特有配置，用户察觉不到来自所述两个不同 源的图像的任何差异，并且他/她可以正确地感知到所得到的图像是立体的并且具有良好 质量。
[0052] 此外，根据本发明的系统1使得具有常规的非立体解码器（即符合MPEG 2或MPEG 4标准的解码器）但具有3D显示设备的用户不仅能够在可视化装置上以2D的形式显示图 像，而且能够以3D或立体形式显示从L和R两个图像流获得的图像。
[0053] 实际上，所述第一接收装置10接收例如预期针对左眼的第一图像序列L，并且所 述第二接收装置20接收数据信号R，例如预期针对右眼的第二图像序列。然后，所述第一存 储装置11存储所述第一图像序列L并且所述第二存储装置21存储与所述第二序列R相关 的所述数据信号R ;此后，所述同步装置30将第一图像序列L与所述第二序列R进行混合 以便生成表示要显示在所述可视化装置2上的3D图像的复合图像序列LR。
[0054] 然而，很显然的是，根据本发明的系统1还可以用于对图像进行2D显示，原因在于 所述同步装置30可以向所述可视化装置2仅发送第一图像序列L或由数据信号R得到的 图像。
[0055] 由此可见，根据本发明的系统1是通用的，原因是其使得可视化装置2具有多种不 同用途，尤其在用户仅可利用常规的2D接收装置（MPEG2或MPEG4)时，其允许观看者在关 联至所述接收装置的整个屏幕上观看完整的2D图像。
[0056] 很显然，对于根据本发明的方法和系统，还能够在不使用系统1的情况下用简单 的MPEG TV接收器接收和观看以MPEG 2或MPEG 4格式播放的部分。
[0057] 此外，必须指出的是，根据本发明的系统1可以是与可视化装置2(例如，电视机） 分离的机顶盒，或者其可以内置在可视化装置2本身中。
[0058] 在一个优选实施例中，所述第二接收装置20包括能够接收互联网信号（例如，来 自路由器、Wi-Fi接入点等）的装置。
[0059] 此外，所述第一存储装置11包括第一缓冲存储器12 (图1中未示出），并且所述第 二存储装置21包括第二缓冲存储器22 (图1中未示出），以分别存储所述第一图像序列L 和所述数据信号R。
[0060] 所述系统1还可以包括提取装置40,该提取装置40用于使在所述可视化装置2上 显示的3D图像恰当地可视化。
[0061] 特别地，所述提取装置40可以包括专用眼镜，该专用眼镜包括同步的IXD快门、偏 光器、滤色器或者适于选择性地阻断复合序列LR中的所述第一图像序列L或所述第二序列 R的类似装置；该配置使得能够使在所述可视化装置2上显示的3D图像恰当地可视化。
[0062] 因此，所述提取装置40优选地与同步装置30相关联，以使提取装置40的快门速 度与从所述同步装置30赋予的混合速度同步。
[0063] 特别地，所述提取装置40通过控制线路41与同步装置30相关联。
[0064] 此外，根据本发明的系统1可以包括电子节目指南（在本领域中也被称为"EPG")， 该电子节目指南允许选择包括要被下载作为第一图像序列L和作为与所述第二序列R相 关的数据信号的音频/视频数据的内容以便自动地开始所述内容的下载，具体地借助于键 (例如，通过按压远程控制器的键和/或通过启动所述EPG的键）。在这种情况下，系统1 的所述EPG可以有利地包括适于提供完成下载所需的时间的特征。明显的是，通过设置例 如EPG节目安排工具，可以在3D节目实际开始之前的几小时或几天开始下载，使得当播放 第一序列L时，接收器（根据互联网连接速度全部地或部分地）下载了另一序列R，并且3D 再现极佳地实行。
[0065] 图3示出了根据本发明的用于生成和接收立体-兼容视频流的方法和系统的第二 实施例的框图。
[0066] 在图3所示的实施例中，通过添加单引号（'）使用与图1相同的附图标记。
[0067] 图3所示的系统Γ包括：
[0068] -第一接收装置10'，特别地包括非立体解码器，该第一接收装置10'用于接收适 于在可视化装置2'上显示的第一图像序列L' ；
[0069] -关联至所述第一接收装置10'的第一存储装置11'，用于存储所述第一图像序列 L，；
[0070] -第二接收装置20'，用于接收与所述第二序列R'相关的数据信号，所述数据信号 包括与所述第一图像序列L' 一起使得能够重构立体视频流的信息；
[0071] -关联至所述第二接收装置20'的第二存储装置21'，用于存储与所述第二序列R' 相关的所述数据信号；
[0072] -同步装置30'，用于基于所述第一数据字段DF1和所述至少第二数据字段DF2以 及/或者DF3,将所述第一记录装置12'存储的所述第一图像序列L'的每个数据包DP与所 述第二记录装置22'存储的与所述第二序列R'相关的所述数据信号的每个数据包DP进行 组合，以便生成表示适于在所述可视化装置2'上显示的3D图像的复合图像序列L' R'。
[0073] 在图3所示的实施例中，所述第一存储装置包括固态存储器M'的至少第一部分 12'，所述第一部分12'适于存储所述第一图像序列L' ；此外，所述第二存储装置包括所述 固态存储器M'的至少第二部分22'，所述第二部分22'适于存储与所述第二序列R'相关的 所述数据信号。显而易见的是，所述第一部分12'和所述第二部分22'也可以由两个分离 的固态存储器M'构成（在附图中未示出）。
[0074] 在所述第二接收装置20'包括能够接收互联网信号的装置的情况下，提供固态存 储器M'是特别有用的；实际上，在该情况下，可能存在以足够快的比特率接收与所述数据 信号R'相关的信号的问题。尤其存储器的所述第二部分22'的大小可以是几十千兆字节 以存储数小时的完整娱乐节目。利用256千兆字节的硬盘，因此可以存储几十个事件。
[0075] 特别地，必须强调的是，同样在图3所示的实施例中，为了在所述可视化装置2'上 恰当地显示3D图像，需要如针对图1所示的实施例所描述的那样使所述第一图像序列L' 和所述第二序列R'适当地同步。实际上，两个信号的错误同步（即使所述错误同步涉及单 个帧）危及并且损害所得到的3D图像的效率。
[0076] 因此，根据本发明，所述第一图像序列L'和与所述第二序列R'相关的所述数据信 号分别存储在固态存储器M'的所述至少第一部分12'和第二部分22'达预定时段，所述预 定时段基本上取决于互联网比特率。
[0077] 实际上，如果互联网比特率足够高，所述时段可以是几秒钟或几分钟。相反，如果 互联网比特率低，则所述时段可以具有几分钟的持续时间或与数据信号R、R'的整个下载相 对应的持续时间。
[0078] 因此，由于提供了固态存储器M'，同步装置30'具有足够的时间来接收所下载的 所述数据信号R'并且如先前参照图1的实施例所描述的那样使所述第一图像序列L'和第 二序列R'适当地同步。
[0079] 根据本发明，用于生成和接收立体-兼容视频流的方法包括以下步骤：a)借助于 第一接收装置10、10'，特别是包括非立体解码器的第一接收装置，接收适于在可视化装置 2、2'上显示的第一图像序列L、L'。
[0080] b)将所述第一图像序列L、L'存储在关联至所述第一接收装置10、10'的第一存 储装置11、11'中；
[0081] C)借助于第二接收装置20、20'来接收数据信号R、R'，所述数据信号R、R'包括 能够以第二图像序列R，R'来转换、与所述第一图像序列L、L' 一起使得能够重构立体视频 流；
[0082] d)将与所述第二序列R，R'相关的所述数据信号存储在关联至所述第二接收装置 20、20'的第二存储装置21、21'中，
[0083] 其中，所述第一序列L、L'和与所述第二序列R、R'相关的所述数据信号包括多个 数据包DP，每个数据包DP均至少包括报头Η和包括音频/视频数据的有效载荷P。
[0084] 根据本发明，所述方法还包括如下步骤e):借助于同步装置30、30'将所述第一序 列L、L'和与所述第二序列R、R'相关的所述数据信号进行组合，所述同步装置30、30'适于 生成表示适于在所述可视化装置2、2'上显示的3D图像的复合序列LR、L' R'，所述组合步 骤e)是基于每个数据包DP的所述报头Η的第一数据字段DF1和每个数据包DP的所述报 头Η的至少第二数据字段DF2来执行的，所述第一数据字段DF1包括标识内容的服务（例 如，RAI1、RAI2、LA7等）的第一信息，所述第二数据字段DF2包括标识节目开始时间和/或 节目名称的第二信息。在优选的实施例中，特别地，所述步骤e)还可以基于每个数据包DP 的所述报头Η的第三数据字段DF3来执行，所述第三数据字段DF3包括标识数据包编号的 第二?目息。
[0085] 此外，根据本发明的方法：
[0086] -接收数据信号R、R'的所述步骤C)可以借助于互联网信号接收装置来执行； [0087]-所述步骤b)可以由适于存储所述第一图像序列L的第一缓冲存储器12执行，或 者由适于存储所述第一图像序列L'的固态存储器M'的至少第一部分12'执行。
[0088] -所述步骤d)可以由适于存储与所述第二序列R相关的所述数据信号的第二缓冲 存储器22执行，或者由所述固态存储器M'的至少第二部分22'执行，所述第二部分22'适 于存储所述第二数据信号R'。
[0089] 根据本发明的方法还可以包括如下步骤f):借助于提取装置40、40'使在所述可 视化装置2、2'上显示的3D图像可视化，特别地，所述可视化步骤f)是通过如下方式来执 行的：将所述提取装置40、40'与所述同步装置30、30'相关联以使所述提取装置40、40'的 快门速度与从所述同步装置30、30'赋予的混合速度同步。
[0090] 此外，根据本发明的方法可以包括如下步骤g):从电子节目指南（"EPG"）中选择 包括要通过互联网下载的且要被接收作为第一图像序列L、L'和作为与所述第二序列R、R' 相关的数据信号的音频/视频数据的内容，以便自动地开始所述内容中与所述第二序列R、 R'相关的下载，具体地借助于键（例如，通过按压远程控制器的键和/或通过启动所述EPG 的键）。
[0091] 有利地，所述步骤g)可以由系统1、1'以提供完成下载所需的时间的方式来执行。
[0092] 根据上述描述，根据本发明的用于生成立体-兼容视频流的系统和方法提供的优 点是明显的。
[0093] 特别地，第一优点在于如下事实：根据本发明的系统1、1'使得所述第一图像序列 L、L'和与所述第二序列R、R'相关的所述数据信号能够正确地同步以便恰当地显示立体视 频流，原因是第一图像序列L、L'的每个数据包DP与所述数据信号R、R'的对应数据包DP 正确地同步并且耦合。
[0094] 因此，由于本发明的特有配置，用户察觉不到来自所述两个不同源的图像的任何 差异，并且他能够察觉到所得到的复合图像为立体的并且具有良好质量。
[0095] 此外，系统1、1'使得具有常规的非立体接收器（即符合MPEG 2或MPEG 4标准的 解码器）的用户能够允许观看者在关联至所述接收装置的整个屏幕上观看完整的2D图像， 即使该图像是以3D格式传送的，同时允许用户在他/她具有立体显示设备的情况下观看3D 内容。
[0096] 根据本发明的系统和方法的又一优点在于如下事实：其允许重建可以由播送器分 发的视频流而不浪费带宽，特别是使用2D流所需的基本上相同的带宽。实际上，由于根据 本发明的系统和方法，播送器处于单独地播放预期针对左眼的第一视频流和预期针对右眼 的第二视频流的位置，并且该选项使得能够避免浪费带宽。
[0097] 根据本发明的系统和方法的又一优点在于如下事实：系统1、1'是通用的，原因是 它使得可视化装置2、2'具有多种不同用途。实际上，根据本发明的系统1、1'也可以用于 以2D的形式显示图像，原因是所述同步装置30、30'可以向所述可视化装置2、2'仅发送第 一图像序列L、L'或者由数据信号R、R'得到的图像。
[0098] 因此，根据本发明的系统和方法允许显示2D图像和具有良好质量的3D图像二者。
[0099] 本文通过示例描述的系统和方法可以在不背离本发明构思的新颖性精神的情况 下经受许多可能的变型；同样显而易见的是，在本发明的实际实现中，所示的细节可以具有 不同的装置或由其他技术性等同元件来替换以及提供不同顺序的步骤。
[0100] 因此，可以很容易地理解，本发明并不限于上述系统和方法，而是可以在不背离如 所附权利要求中清楚指明的发明构思的情况下经受许多修改、改进或等同部件和元件的替 换。
【权利要求】
1. 一种用于生成和接收立体-2D反向兼容视频流的系统（1 ;Γ)，所述系统（1 ;Γ)包 括： -第一接收装置（10 ;1〇'），特别是包括非立体解码器的第一接收装置，所述第一接收 装置（10 ;1〇'）用于接收适于在可视化装置（2 ;2'）上显示的第一图像序列（L ;L'）； -关联至所述第一接收装置（10 ;1〇'）的第一存储装置（11 ;1Γ )，用于存储所述第一 图像序列（L ;L'）； -第二接收装置（20;20'），用于接收数据信号（R;R'），所述数据信号（R;R'）包括能 够以第二图像序列（R ;R'）来转换并且与所述第一图像序列（L ;L'）一起使得能够重构立 体视频流的信息； -关联至所述第二接收装置（20 ;20'）的第二存储装置（21 ;21'），用于存储与所述第 二序列（R ;R'）相关的所述数据信号， 所述第一序列（L ;L'）和与所述第二序列（R ;R'）相关的所述数据信号包括多个数据 包（DP)，每个数据包（DP)均至少包括报头（H)和包括音频/视频数据的有效载荷（P)， 其特征在于， 每个数据包（DP)的所述报头（H)包括第一数据字段（DF1)和至少第二数据字段 (DF2)，所述第一数据字段（DF1)包括标识内容的服务的第一信息，所述第二数据字段 (DF2)包括标识节目开始时间和/或节目名称的第二信息， 并且其特征在于， 所述系统（1 ;1'）包括同步装置（30 ;30'），所述同步装置（30 ;30'）用于基于所述第 一数据字段（DF1)和所述至少第二数据字段（DF2)，将所述第一记录装置（12 ;12'）存储的 所述第一图像序列（L ;L'）的每个数据包（DP)与所述第二记录装置（22 ;22'）存储的与所 述第二序列（R;R'）相关的所述数据信号的每个数据包（DP)进行组合，以便生成表示适于 在所述可视化装置（2 ;2'）上显示的3D图像的复合序列（LR ;L' R'）。
2. 根据权利要求1所述的系统（1 ;1'），其特征在于，每个数据包（DP)的所述报头（H) 还包括第三数据字段（DF3)，所述第三数据字段（DF3)包括标识数据包编号的第三信息。
3. 根据权利要求1所述的系统（1 ;1'），其特征在于，所述第二接收装置（20 ;20'）包 括能够接收互联网信号的装置。
4. 根据前述权利要求中的一项或多项所述的系统（1 ;1'），其特征在于，所述第一存储 装置（12 ;12'）包括第一缓冲存储器（12)并且所述第二存储装置（22 ;22'）包括第二缓冲 存储器（22)，以分别存储所述第一图像序列（L)和与所述第二序列（R)相关的所述数据信 号。
5. 根据前述权利要求1至3中的一项或多项所述的系统（1 ;1'），其特征在于，所述第 一存储装置（12 ;12'）包括固态存储器（M'）的至少第一部分（12'），所述第一部分（12'） 适于存储所述第一图像序列（L'）。
6. 根据权利要求5所述的系统（1 ;1'），其特征在于，所述第二存储装置（22 ;22'）包 括所述固态存储器（M'）的至少第二部分（22'），所述第二部分（22'）适于存储与所述第 二图像序列（R'）相关的所述数据信号。
7. 根据前述权利要求中的一项或多项所述的系统（1 ;1'），其特征在于，所述系统（1 ; Γ )包括提取装置（40 ;40'），所述提取装置（40 ;40'）用于使所述可视化装置（2 ;2'）上 显示的3D图像恰当地可视化，特别地，所述提取装置（40 ;40'）与所述同步装置（30 ;30'） 相关联以使所述提取装置（40 ;40'）的快门速度与从所述同步装置（30 ;30'）赋予的混合 速度同步。
8. 根据前述权利要求中的一项或多项所述的系统（1 ;1'），其特征在于，所述系统（1 ; Γ )包括电子节目指南，所述电子节目指南使得能够选择包括要通过互联网下载的并且要 被接收作为第一图像序列L，L'和作为与所述第二序列R，R'相关的数据信号的音频/视频 数据的内容，以便自动地开始所述内容的下载，特别是借助于键。
9. 根据权利要求8所述的系统（1 ;1'），其特征在于，所述系统1的所述电子节目指南 包括适于提供完成所述下载所需的时间的特征。
10. -种用于生成和接收立体-2D反向兼容视频流的方法，所述方法包括以下步骤： a) 借助于第一接收装置（10 ;10'），特别是包括非立体解码器的第一接收装置，接收适 于在可视化装置（2 ;2'）上显示的第一图像序列（L ;L'）； b) 将所述第一图像序列（L ;L'）存储在关联至所述第一接收装置（10 ;10'）的第一存 储装置（11 ;11'）中； c) 借助于第二接收装置（20 ;20'）来接收数据信号（R ;R'），所述数据信号（R ;R'）包 括能够以第二图像序列（R ;R'）来转换并且与所述第一图像序列（L ;L'）一起使得能够重 构立体视频流的信息； d) 将与所述第二序列（R;R'）相关的所述数据信号存储在关联至所述第二接收装置 (20 ;20'）的第二存储装置（21 ;21'）中， 所述第一序列（L ;L'）和与所述第二序列（R ;R'）相关的所述数据信号包括多个数据 包（DP)，每个数据包（DP)均至少包括报头（H)和包括音频/视频数据的有效载荷（P)， 所述方法的特征在于，其还包括步骤e):借助于同步装置（30 ;30'）将所述第一图 像序列（L;L'）和与所述第二序列（R;R'）相关的所述数据信号进行组合，所述同步装置 (30 ;30'）适于生成表示适于在所述可视化装置（2 ;2'）上显示的3D图像的复合序列（LR ; L' R'），所述组合步骤e)基于每个数据包（DP)的所述报头（H)的第一数据字段（DF1)和 每个数据包（DP)的所述报头（H)的至少第二数据字段（DF2)来执行，所述第一数据字段 (DF1)包括标识内容的服务的第一信息，所述第二数据字段（DF2)包括标识节目开始时间 和/或节目名称的第二信息。
11. 根据权利要求10所述的方法，其特征在于，所述步骤e)还基于每个数据包（DP)的 所述报头（H)的第三数据字段（DF3)来执行，所述第三数据字段（DF3)包括标识数据包编 号的第三信息。
12. 根据权利要求10所述的方法，其特征在于，所述步骤c)是借助于互联网信号接收 装置来执行的。
13. 根据前述权利要求10至12中的一项或多项所述的方法，其特征在于，所述步骤b) 由适于存储所述第一图像序列（L)的第一缓冲存储器（12)执行或者由固态存储器（Μ'）的 至少第一部分（12'）执行，所述第一部分（12'）适于存储所述第一图像序列（L'）。
14. 根据前述权利要求10至13中的一项或多项所述的方法，其特征在于，所述步骤d) 由适于存储所述数据信号（R)的第二缓冲存储器（22)执行或者由所述固态存储器（Μ'）的 至少第二部分（22'）执行，所述第二部分（22'）适于存储与所述第二序列（R'）相关的所 述数据信号。
15. 根据前述权利要求10至14中的一项或多项所述的方法，其特征在于，还包括步骤 f):借助于提取装置（40 ;40'）使所述可视化装置（2 ;2'）上显示的所述3D图像可视化， 特别地，所述步骤f)是通过如下方式来执行的：将所述提取装置（40 ;40'）与所述同步装 置（30 ;30'）相关联以使所述提取装置（40 ;40'）的快门速度与从所述同步装置（30 ;30'） 赋予的混合速度同步。
16. 根据前述权利要求10至15中的一项或多项所述的方法，其特征在于，还包括步 骤g):从电子节目指南选择包括要通过互联网下载的并且要被接收作为第一图像序列（L; L'）和作为与所述第二序列（R;R'）相关的数据信号的音频/视频数据的内容，以便自动 地开始所述内容的下载，特别是借助于键。
17. 根据前述权利要求16所述的方法，其特征在于，所述步骤g)是通过所述系统 (1，Γ )提供完成所述下载所需的时间来执行的。
【文档编号】H04N21/81GK104221367SQ201280072178
【公开日】2014年12月17日 申请日期:2012年4月4日 优先权日:2012年4月4日
【发明者】鲁伊斯·罗德里格斯·埃塞基耶尔 申请人:拿索斯财务有限公司
最新回复(0)