已编码视频流的混合的制作方法
已编码视频流的混合的制作方法
【专利摘要】本公开描述了一种根据已编码主视频流和至少一个已编码从视频流来生成已混合编码视频流的视频流混合器，已编码主视频流与主窗口相关联，每个已编码从视频流与小于主窗口的相应从窗口相关联。混合器包括以下组件：视频流分割器(20)，被配置为将已编码主视频流分割为已编码非混合子流和已编码补充子流，已编码非混合子流与主窗口中的子窗口相关联且不涉及混合，已编码补充子流与主窗口中形成对其他子窗口的补充的子窗口相关联并涉及混合；视频流解码器(22)，被配置为解码补充子流和每个从视频流；视频信号混合器(24)，被配置为混合已解码补充子流和每个已解码从视频流，以形成已混合视频信号；视频编码器(26)，被配置为将已混合视频信号编码为已编码混合子流；视频流组合器(28)，被配置为组合已编码非混合子流与已编码混合子流。
【专利说明】已编码视频流的混合
【技术领域】
[0001] 本公开涉及已编码视频流的混合。
【背景技术】
[0002] 在对已编码视频流进行混合的现有方案中，所有的流均被完全解码。之后，对已解 码视频流进行混合，最后，将已混合帧编码为已混合编码视频流。即使在与整个帧相比，要 混合的区域相对较小的情况下，也使用相同的过程。
【发明内容】
[0003] 本公开的目的在于更有效地混合已编码视频流。
[0004] 这一目的可根据所附的权利要求来实现。
[0005] 本公开的第一方案涉及一种根据已编码主视频流和至少一个已编码从视频流来 生成已混合编码视频流的方法，已编码主视频流与主窗口相关联，每个已编码从视频流与 小于主窗口的相应从窗口相关联。该方法包括以下步骤：
[0006] ?将已编码主视频流分割为已编码非混合子流和已编码补充子流，其中已编码非 混合子流与主窗口中的子窗口相关联且不涉及混合，已编码补充子流与主窗口中形成对其 他子窗口的补充的子窗口相关联并涉及混合。
[0007] ?解码补充子流和每个从视频流。
[0008] ?混合已解码补充子流和每个已解码从视频流，以形成已混合视频信号。
[0009] ?将已混合视频信号编码（S4)为已编码混合子流。
[0010] ?组合已编码非混合子流与已编码混合子流。
[0011] 本公开的第二方案涉及一种视频流混合器，用于根据已编码主视频流和至少一个 已编码从视频流来生成已混合编码视频流，已编码主视频流与主窗口相关联，每个已编码 从视频流与小于主窗口的相应从窗口相关联。该视频流混合器包括以下组件：
[0012] ?视频流分割器，被配置为将已编码主视频流分割为已编码非混合子流和已编码 补充子流，其中已编码非混合子流与主窗口中的子窗口相关联且不涉及混合，已编码补充 子流与主窗口中形成对其他子窗口的补充的子窗口相关联并涉及混合；
[0013] ?视频流解码器，被配置为解码补充子流和每个从视频流；
[0014] ?视频信号混合器，被配置为混合已解码补充子流和每个已解码从视频流，形成已 混合视频信号；
[0015] ?视频编码器，被配置为将已混合视频信号编码为已编码混合子流；
[0016] ?视频流组合器，被配置为组合已编码非混合子流与已编码混合子流。
[0017] 本公开的第三方案涉及一种媒体资源功能处理器，其包括根据第二方案所述的视 频流混合器。
[0018] 本公开的第四方案涉及一种媒体资源功能，其包括根据第三方案所述的媒体资源 功能处理器。
[0019] 本公开的第五方案涉及一种视频会议系统，其包括根据第四方案所述的媒体资源 功能。
[0020] 本公开的第六方案涉及一种视频会议系统，其包括根据第二方案所述的视频流混 合器。
[0021] 本公开的优点在于，与现有技术方案相比，需要较少的处理功率。尤其是诸如视频 会议等应用的情形，其中，将相同的已编码主视频流与多个已编码从视频流以不同的组合 方式进行混合。
【专利附图】
【附图说明】
[0022] 参考以下结合附图的描述，可以更好地理解本公开及其目的和优点，其中：
[0023] 图1是示出了基于IP(互联网协议）网络的视频会议系统的示意图。
[0024] 图2是示出了视频会议系统中的相互连接的方框图。
[0025] 图3示出了现有技术视频会议系统中对已编码视频流的混合。
[0026] 图4示出了基于本公开的视频会议系统中对已编码视频流的混合的示例。
[0027] 图5示出了根据本公开对已编码视频流的混合的示例。
[0028] 图6是根据本公开生成已混合编码视频流的方法的流程图。
[0029] 图7示出了已编码视频流的示例的结构。
[0030] 图8A-C示出了多种视频帧配置。
[0031] 图9是根据本公开的视频流混合器的实施例的方框图。
[0032] 图10是根据本公开的视频流混合器的实施例的方框图。
[0033] 图11是视频流分割器的实施例的方框图。
[0034] 图12是视频流组合器的实施例的方框图。
[0035] 图13是根据本公开的视频流混合器的实施例的方框图。
[0036] 图14是示出了基于本公开的视频会议系统的示意图。
【具体实施方式】
[0037] 以下的说明描述了在视频会议上下文中对已编码视频流的混合。然而，可以理解， 相同的原理可用于需要对已编码视频流进行混合的其他应用中。一个例子是广告，其中与 不同的小的个性化的广告（对不同用户是不同的）一起提供公共视频。
[0038] 此外，以下说明基于ITU-T标准H. 264。然而，可以理解，相同的原理可用于但不限 于其他标准，诸如H. 263、MPEG4、VP8等。
[0039] 将参考IMS (IP多媒体子系统）网络的媒体资源功能（MRF)描述本公开。然而，应 当理解，相同的原理可应用于针对视频会议的其他视频混合器。
[0040] 图1是示出了基于IP网络的视频会议系统的示意图。该示例中，使用视频会议设 备的两个参会者A和B通过IP网络与使用计算机的参会者C和使用移动电话的参会者D 相连。视频会议由媒体资源功能MRF管理，MRF包括由媒体资源功能控制器MRFC控制的媒 体资源功能处理器MRFP。
[0041] 图2是更详细地示出了视频会议系统中的相互连接的方框图。在该示例中，假设 参会方A是当前活跃的发言人。这意味着对应的已编码视频流A将与来自其他参会者的已 编码视频流B、C、D以多种组合方式进行混合。该混合由媒体资源功能处理器MRFP执行，使 得其他参会者接收活跃发言人A占据大部分而其他参会者以小窗口显示的视频。例如，参 会者D接收活跃发言人A占据大部分而参会者B和C以小窗口显示的视频。参会者不会在 接收到的视频中看到自己。当前活跃的发言人参会者A接收其他参会者之一（典型地，第 二活跃的发言人，示例中为参会者B)占据大部分的视频。可以使用发言权控制协议来协调 其他参会者所看到的人选。
[0042] 图3示出了现有技术视频会议系统中对已编码视频流的混合。已编码主视频流A 用作放置已编码从视频流的背景（canvas)。现有技术的方法从解码所有视频流A-D开始。 然后，按照A+B+C、A+B+D、A+C+D的组合方式混合已解码视频。参考图2的示例，虽然图3未 示出，也生成了 B+C+D的组合。混合后，将已混合视频编码为已编码混合视频流10、12、14。
[0043] 图4示出了基于本公开的视频会议系统中对已编码视频流的混合的示例。在图3 示出的现有技术方法中，可以看到视频流A的绝大部分在混合后并未改变。然而，对于每次 混合，仍必须解码和重编码整个视频流。在图4中，将已编码主视频流分割为不涉及混合的 已编码部分16和涉及混合的已编码部分18。后一部分18被解码并与已解码从视频流B、 C、D混合。对不同的混合进行编码，并与已编码部分16组合。
[0044] 图5示出了根据本公开对已编码视频流的混合（不必是来自视频会议系统）的示 例。将已编码主视频流分割为不涉及混合的已编码部分16和涉及混合的已编码部分18。 后一部分18被解码并与已解码从视频流B、C混合。对混合进行编码，并与已编码部分16 组合。
[0045] 图6是根据本公开生成已混合编码视频流的方法的流程图。该方法根据已编码主 视频流和至少一个已编码从视频流生成已混合编码视频流，已编码主视频流与主窗口相关 联，每个已编码从视频流与小于主窗口的相应从窗口相关联。步骤S1将已编码主视频流 (例如，图5中的流A)分割为 ：
[0046] ?已编码非混合子流，与主窗口中的子窗口（例如，图5中的窗口 16)相关联且不 涉及混合，以及
[0047] ?已编码补充子流，与主窗口中形成对其他子窗口的补充的子窗口（例如，图5中 的窗口 18)相关联并涉及混合。
[0048] 步骤S2解码补充子流和每个从视频流，例如，图5中的B和C。步骤S3混合已解 码补充子流和每个已解码从视频流，以形成已混合视频信号。步骤S4将已混合视频信号编 码为已编码混合子流。步骤S5组合已编码非混合子流与已编码混合子流。从解码器的角 度看，已组合视频与现有技术相同。
[0049] 至此，说明书并未明确地参照任何编码标准。现在，将参考ITU-T标准H. 264来描 述示例实施例。
[0050] 图7示出了根据H. 264进行编码的视频流的结构。该示例中，视频帧被编码为以IP 分组发送的切片。每个分组除了包括有效载荷（包含实际切片信息）外还包括IP、UDP(用 户数据报文协议）、RTP (实时传输协议）报头。其他配置也是可行的，但该示例足以用来解 释本公开的构思）。切片包括切片报头和实际数据。切片报头包括参数集合，其中一个参 数为"fir St_mb_in_Slice"（切片中的第一个宏块）。这里"mb"指代宏块，其典型地表示为 16X16像素。在参考文献[1]中可以找到更为详细的内容。
[0051] 在本公开的一个实施例中，确定涉及混合的宏块和不涉及混合的宏块。之后，将已 编码主视频流（例如，图5中的A)分为不涉及混合的宏块的至少一个非混合切片、以及涉 及混合的宏块的至少一个补充切片。
[0052] 在本公开的一个实施例中，在解码前对每个补充切片的宏块重新编号。在混合和 编码后，重置已重新编号的宏块的编号。
[0053] 当按这里所描述的方式分割主视频流时，非混合子流和补充子流应当相互"绝 缘"。这意味着一个子流中的任何部分不参照另一子流中的任何部分。例如，必须限制编码 期间的运动矢量搜索，使其不会参照分界线另一侧的宏块。换句话说，属于部分18中的宏 块的运动向量不应当参照属于部分16的帧区域（反之亦然）。一种实现这种不同部分之间 相互"绝缘"的方法是将边界线的位置告知创建主视频流的创始编码器，例如，通过信号发 送底部部分18的第一个宏块的索引。然后，创始编码器对主视频流编码，使宏块不会参照 边界线另一侧的区域。然后，视频流分割器20可将主视频流分为两个独立的流。如果创始 编码器没有收到该告知信息，将改为对流进行转码（解码和编码），以包括相互"绝缘"的两 部分。这仅需要执行一次，因而如果要产生多个混合，该实施例仍比现有技术有效。
[0054] 图8A-C示出了多种视频帧配置。在所有情形中，假设顶部和底部如上所描述那样 相互"绝缘"，或者是通过在创始编码器以分界线编码，或者是通过在视频流分割器之前进 行转码。
[0055] 图8A的示例包括以直线边界（虚线）分隔的顶部切片和底部切片。这种情况下， 可以简单地通过设置底部切片的first-mb_in_sli ce参数来"骗"过解码器，让其认为该帧 仅包括底部切片，而对底部切片进行解码。例如，如果底部切片的第一个宏块的编号为66， 将其设置为1(假定解码器认为该编号为第一个宏块）。在混合和编码后，将第一个宏块重 置为66,从而可将已编码混合作为底部切片添加至已编码顶部切片（并未被解码）。所有 其他参数与原始主流相同。
[0056] 图8B的示例包括以非直线分界线分隔的顶部切片和底部切片。然而，由于宏块的 大小以及整个视频帧的高度、宽度是已知的，这种情况下也可唯一地确定边界。因而，如图 8A那样执行解码、混合、编码。
[0057] 图8C的示例包括一个顶部切片和两个底部切片。顶部切片和底部切片以非直线 分界线分隔。这种情况下，在解码前，在两个底部切片中，first_mb_in_sli ce参数必须分别 设置为1以及1+上方底部切片中的宏块数。类似地，混合和编码后，重置两个底部切片的 编号。
[0058] 图9是根据本公开的视频流混合器60的实施例的方框图。接收已编码主视频流 (例如，图5中的流A)的视频流分割器20被配置为将已编码主视频流分割为 ：
[0059] ?已编码非混合子流，与主窗口中的子窗口（16)相关联且不涉及混合，以及
[0060] ?已编码补充子流，与主窗口中形成对其他子窗口的补充的子窗口（18)相关联并 涉及混合。
[0061] 视频流解码器22被配置为解码补充子流和每个从视频流（例如，图5中的流B、 C)。视频信号混合器24被配置为混合已解码补充子流和每个已解码从视频流，形成已混合 视频信号。（假设已解码从视频流混合前已被缩放为"小"窗口）。视频编码器26被配置 为将已混合视频信号编码为已编码混合子流。视频流组合器28被配置为组合已编码非混 合子流与已编码混合子流。
[0062] 图10是根据本公开的视频流混合器60的实施例的方框图。混合区域检测器32 被配置为确定涉及混合的宏块和不涉及混合的宏块。切片分离器34被配置为将主视频流 (例如，图5中的流A)分为不涉及混合的宏块的至少一个非混合切片和涉及混合的宏块的 至少一个补充切片。
[0063] 图11是视频流分割器20的实施例的方框图。在该实施例中，切片分离器34包括 被配置为在解码前对每个补充切片的宏块重新编号的宏块重编号单元36。开关SW将涉及 混合的切片引导至宏块重编号单元36,将不涉及混合的切片引导至视频流组合器28。
[0064] 图12是视频流组合器28的实施例的方框图。宏块编号重置单元38被配置为在 混合和编码后重置已重新编号的宏块的编号，切片组合器40被配置为组合非混合切片和 已混合切片。
[0065] 这里所描述的步骤、功能、程序和/或模块可使用任何常规技术在硬件中实现，诸 如，分立的电路或集成电路技术，包括通用电子电路和专用电路。
[0066] 替代地，这里所描述的步骤、功能、程序和/或模块中的至少一部分可由通过合适 的处理装置执行的软件来实现。例如，处理装置可包括：一个或多个微处理器、一个或多个 数字信号处理器（DSP)、一个或多个应用专用集成电路（ASIC)、视频加速硬件或一个或多 个合适的可编程逻辑器件，例如，现场可编程门阵列（FPGA)。这些处理元件的组合也是可行 的。
[0067] 同样，可以理解，可以重用媒体资源功能中已有的通用处理能力。例如，可通过重 新编程已有软件或增加新的软件组件来实现。
[0068] 图13是根据本公开的视频流混合器60的实施例的方框图。该实施例基于处理 器11〇(例如，微处理器），其执行用于分割已编码主视频流的软件120,用于解码补充子流 和每个从视频流的软件130,用于混合已解码流的软件140,用于编码已混合视频信号的软 件150,以及用于组合已编码非混合子流和已编码混合子流的软件160。软件存储在存储器 170中。处理器110通过系统总线与存储器通信。通过与处理器110和存储器130相连的 控制输入输出（I/O)总线的I/O控制器180接收输入的主视频流和从视频流。在该实施例 中，将I/O控制器180所接收的切片存储在存储器170中，并在此由软件120-160处理。软 件120可实现视频流分割器20的功能。软件130可实现视频流解码器22的功能。软件140 可实现视频信号混合器24的功能。软件150可实现视频编码器26的功能。软件160可实 现视频流组合器28的功能。从软件160获得的已组合编码视频流由I/O控制器180从存 储器170通过I/O总线输出。
[0069] 图14是示出了基于本公开的视频会议系统的示意图。其包括具有媒体资源功能 处理器MRFP的媒体资源功能MRF，MRFP包括根据本公开的视频流混合器60。
[0070] 本公开对于处理功率和存储资源有限的的情形是有益的，如大多数DSP平台。本 公开提出了一种将系统所需要的总处理功率降低为现有技术暴力方式所需处理功率的一 部分的方法。特别是对于生成多个混合的视频会议的情形。确切的处理增益取决于视频帧 中不涉及混合的那部分的大小以及要生成的混合的数量。
[0071] 本公开对在相同处理器中没有足够功率来完全解码所有帧、创建多个混合以及编 码较大混合的情形特别有利。在现有技术中，如果一个处理器只能执行一次编码且不是所 有处理器都能访问相同的存储器，则需要执行多次解码。
[0072] 本公开的另一个优点在于其环境友好的，因为较少的处理和存储需求直接对应于 较少的能耗。
[0073] 可以理解，本领域技术人员可以在不脱离随附权利要求定义的本公开的范围的前 提下，对本公开进行多种修改和改变。
[0074] 参考文献
[0075] [1]ITU-T H264 "Slice header semantics"section 7. 4. 3
[0076] 缩略语
[0077] ASIC应用专用集成电路；
[0078] DSP数字信号处理器；
[0079] FPGA现场可编程门阵列；
[0080] MS IP多媒体子系统；
[0081] IP 互联网协议；
[0082] MRF媒体资源功能；
[0083] RTP实时传输协议；
[0084] UDP用户数据报文协议。
【权利要求】
1. 一种根据已编码主视频流和至少一个已编码从视频流来生成已混合编码视频流的 方法，已编码主视频流与主窗口相关联，每个已编码从视频流与小于主窗口的相应从窗口 相关联，所述方法包括以下步骤： 将已编码主视频流（A)分割（S1)为 -已编码非混合子流，与主窗口中的子窗口（16)相关联且不涉及混合，和 -已编码补充子流，与主窗口中形成对其他子窗口的补充的子窗口（18)相关联并涉及 混合； 解码（S2)补充子流和每个从视频流（B，C); 混合（S3)已解码补充子流和每个已解码从视频流，以形成已混合视频信号； 将已混合视频信号编码（S4)为已编码混合子流； 组合（S5)已编码非混合子流与已编码混合子流。
2. 根据权利要求1所述的方法，包括步骤： 确定涉及混合的宏块和不涉及混合的宏块； 将已编码主视频流（A)分为不涉及混合的宏块的至少一个非混合切片、和涉及混合的 宏块的至少一个补充切片。
3. 根据权利要求2所述的方法，包括步骤： 在解码前，对每个补充切片的宏块重新编号； 在混合和编码后，重置已重新编号的宏块的编号。
4. 一种视频流混合器，用于根据已编码主视频流和至少一个已编码从视频流来生成已 混合编码视频流，已编码主视频流与主窗口相关联，每个已编码从视频流与小于主窗口的 相应从窗口相关联，所述视频流混合器包括： 视频流分割器（20)，被配置为将已编码主视频流（A)分割为 -已编码非混合子流，与主窗口中的子窗口（16)相关联且不涉及混合，和 -已编码补充子流，与主窗口中形成对其他子窗口的补充的子窗口（18)相关联并涉及 混合； 视频流解码器（22)，被配置为解码补充子流和每个从视频流（B，C); 视频信号混合器（24)，被配置为混合已解码补充子流和每个已解码从视频流，以形成 已混合视频信号； 视频编码器（26)，被配置为将已混合视频信号编码为已编码混合子流； 视频流组合器（28)，被配置为组合已编码非混合子流与已编码混合子流。
5. 根据权利要求4所述的视频流混合器，包括： 混合区域检测器（32)，被配置为确定涉及混合的宏块和不涉及混合的宏块； 切片分离器（34)，被配置为将已编码主视频流（A)分为不涉及混合的宏块的至少一个 非混合切片、和涉及混合的宏块的至少一个补充切片。
6. 根据权利要求5所述的视频流混合器，其中所述切片分离器（34)包括宏块重编号单 元（36)，被配置为在解码前，对每个补充切片的宏块重新编号。
7. 根据权利要求6所述的视频流混合器，其中所述视频流组合器（28)包括： 宏块编号重置单元（38)，被配置为在混合和编码后，重置已重新编号的宏块的编号； 切片组合器（40)，被配置为组合非混合切片和已混合切片。
8. -种媒体资源功能处理器（MRFP)，包括根据权利要求4-7任一项所述的视频流混合 器（60)。
9. 一种媒体资源功能（MRF)，包括根据权利要求8所述的媒体资源功能处理器（MRFP)。
10. -种视频会议系统，包括根据权利要求9所述的媒体资源功能（MRF)。
11. 一种视频会议系统，包括根据权利要求4-7任一项所述的视频流混合器（60)。
【文档编号】H04N5/265GK104160694SQ201280071124
【公开日】2014年11月19日 申请日期:2012年3月13日 优先权日:2012年3月13日
【发明者】尤西·耶尔维宁, 阿托·马孔恩, 迪特马尔·菲德勒 申请人:瑞典爱立信有限公司
【专利摘要】本公开描述了一种根据已编码主视频流和至少一个已编码从视频流来生成已混合编码视频流的视频流混合器，已编码主视频流与主窗口相关联，每个已编码从视频流与小于主窗口的相应从窗口相关联。混合器包括以下组件：视频流分割器(20)，被配置为将已编码主视频流分割为已编码非混合子流和已编码补充子流，已编码非混合子流与主窗口中的子窗口相关联且不涉及混合，已编码补充子流与主窗口中形成对其他子窗口的补充的子窗口相关联并涉及混合；视频流解码器(22)，被配置为解码补充子流和每个从视频流；视频信号混合器(24)，被配置为混合已解码补充子流和每个已解码从视频流，以形成已混合视频信号；视频编码器(26)，被配置为将已混合视频信号编码为已编码混合子流；视频流组合器(28)，被配置为组合已编码非混合子流与已编码混合子流。
【专利说明】已编码视频流的混合
【技术领域】
[0001] 本公开涉及已编码视频流的混合。
【背景技术】
[0002] 在对已编码视频流进行混合的现有方案中，所有的流均被完全解码。之后，对已解 码视频流进行混合，最后，将已混合帧编码为已混合编码视频流。即使在与整个帧相比，要 混合的区域相对较小的情况下，也使用相同的过程。
【发明内容】
[0003] 本公开的目的在于更有效地混合已编码视频流。
[0004] 这一目的可根据所附的权利要求来实现。
[0005] 本公开的第一方案涉及一种根据已编码主视频流和至少一个已编码从视频流来 生成已混合编码视频流的方法，已编码主视频流与主窗口相关联，每个已编码从视频流与 小于主窗口的相应从窗口相关联。该方法包括以下步骤：
[0006] ?将已编码主视频流分割为已编码非混合子流和已编码补充子流，其中已编码非 混合子流与主窗口中的子窗口相关联且不涉及混合，已编码补充子流与主窗口中形成对其 他子窗口的补充的子窗口相关联并涉及混合。
[0007] ?解码补充子流和每个从视频流。
[0008] ?混合已解码补充子流和每个已解码从视频流，以形成已混合视频信号。
[0009] ?将已混合视频信号编码（S4)为已编码混合子流。
[0010] ?组合已编码非混合子流与已编码混合子流。
[0011] 本公开的第二方案涉及一种视频流混合器，用于根据已编码主视频流和至少一个 已编码从视频流来生成已混合编码视频流，已编码主视频流与主窗口相关联，每个已编码 从视频流与小于主窗口的相应从窗口相关联。该视频流混合器包括以下组件：
[0012] ?视频流分割器，被配置为将已编码主视频流分割为已编码非混合子流和已编码 补充子流，其中已编码非混合子流与主窗口中的子窗口相关联且不涉及混合，已编码补充 子流与主窗口中形成对其他子窗口的补充的子窗口相关联并涉及混合；
[0013] ?视频流解码器，被配置为解码补充子流和每个从视频流；
[0014] ?视频信号混合器，被配置为混合已解码补充子流和每个已解码从视频流，形成已 混合视频信号；
[0015] ?视频编码器，被配置为将已混合视频信号编码为已编码混合子流；
[0016] ?视频流组合器，被配置为组合已编码非混合子流与已编码混合子流。
[0017] 本公开的第三方案涉及一种媒体资源功能处理器，其包括根据第二方案所述的视 频流混合器。
[0018] 本公开的第四方案涉及一种媒体资源功能，其包括根据第三方案所述的媒体资源 功能处理器。
[0019] 本公开的第五方案涉及一种视频会议系统，其包括根据第四方案所述的媒体资源 功能。
[0020] 本公开的第六方案涉及一种视频会议系统，其包括根据第二方案所述的视频流混 合器。
[0021] 本公开的优点在于，与现有技术方案相比，需要较少的处理功率。尤其是诸如视频 会议等应用的情形，其中，将相同的已编码主视频流与多个已编码从视频流以不同的组合 方式进行混合。
【专利附图】
【附图说明】
[0022] 参考以下结合附图的描述，可以更好地理解本公开及其目的和优点，其中：
[0023] 图1是示出了基于IP(互联网协议）网络的视频会议系统的示意图。
[0024] 图2是示出了视频会议系统中的相互连接的方框图。
[0025] 图3示出了现有技术视频会议系统中对已编码视频流的混合。
[0026] 图4示出了基于本公开的视频会议系统中对已编码视频流的混合的示例。
[0027] 图5示出了根据本公开对已编码视频流的混合的示例。
[0028] 图6是根据本公开生成已混合编码视频流的方法的流程图。
[0029] 图7示出了已编码视频流的示例的结构。
[0030] 图8A-C示出了多种视频帧配置。
[0031] 图9是根据本公开的视频流混合器的实施例的方框图。
[0032] 图10是根据本公开的视频流混合器的实施例的方框图。
[0033] 图11是视频流分割器的实施例的方框图。
[0034] 图12是视频流组合器的实施例的方框图。
[0035] 图13是根据本公开的视频流混合器的实施例的方框图。
[0036] 图14是示出了基于本公开的视频会议系统的示意图。
【具体实施方式】
[0037] 以下的说明描述了在视频会议上下文中对已编码视频流的混合。然而，可以理解， 相同的原理可用于需要对已编码视频流进行混合的其他应用中。一个例子是广告，其中与 不同的小的个性化的广告（对不同用户是不同的）一起提供公共视频。
[0038] 此外，以下说明基于ITU-T标准H. 264。然而，可以理解，相同的原理可用于但不限 于其他标准，诸如H. 263、MPEG4、VP8等。
[0039] 将参考IMS (IP多媒体子系统）网络的媒体资源功能（MRF)描述本公开。然而，应 当理解，相同的原理可应用于针对视频会议的其他视频混合器。
[0040] 图1是示出了基于IP网络的视频会议系统的示意图。该示例中，使用视频会议设 备的两个参会者A和B通过IP网络与使用计算机的参会者C和使用移动电话的参会者D 相连。视频会议由媒体资源功能MRF管理，MRF包括由媒体资源功能控制器MRFC控制的媒 体资源功能处理器MRFP。
[0041] 图2是更详细地示出了视频会议系统中的相互连接的方框图。在该示例中，假设 参会方A是当前活跃的发言人。这意味着对应的已编码视频流A将与来自其他参会者的已 编码视频流B、C、D以多种组合方式进行混合。该混合由媒体资源功能处理器MRFP执行，使 得其他参会者接收活跃发言人A占据大部分而其他参会者以小窗口显示的视频。例如，参 会者D接收活跃发言人A占据大部分而参会者B和C以小窗口显示的视频。参会者不会在 接收到的视频中看到自己。当前活跃的发言人参会者A接收其他参会者之一（典型地，第 二活跃的发言人，示例中为参会者B)占据大部分的视频。可以使用发言权控制协议来协调 其他参会者所看到的人选。
[0042] 图3示出了现有技术视频会议系统中对已编码视频流的混合。已编码主视频流A 用作放置已编码从视频流的背景（canvas)。现有技术的方法从解码所有视频流A-D开始。 然后，按照A+B+C、A+B+D、A+C+D的组合方式混合已解码视频。参考图2的示例，虽然图3未 示出，也生成了 B+C+D的组合。混合后，将已混合视频编码为已编码混合视频流10、12、14。
[0043] 图4示出了基于本公开的视频会议系统中对已编码视频流的混合的示例。在图3 示出的现有技术方法中，可以看到视频流A的绝大部分在混合后并未改变。然而，对于每次 混合，仍必须解码和重编码整个视频流。在图4中，将已编码主视频流分割为不涉及混合的 已编码部分16和涉及混合的已编码部分18。后一部分18被解码并与已解码从视频流B、 C、D混合。对不同的混合进行编码，并与已编码部分16组合。
[0044] 图5示出了根据本公开对已编码视频流的混合（不必是来自视频会议系统）的示 例。将已编码主视频流分割为不涉及混合的已编码部分16和涉及混合的已编码部分18。 后一部分18被解码并与已解码从视频流B、C混合。对混合进行编码，并与已编码部分16 组合。
[0045] 图6是根据本公开生成已混合编码视频流的方法的流程图。该方法根据已编码主 视频流和至少一个已编码从视频流生成已混合编码视频流，已编码主视频流与主窗口相关 联，每个已编码从视频流与小于主窗口的相应从窗口相关联。步骤S1将已编码主视频流 (例如，图5中的流A)分割为 ：
[0046] ?已编码非混合子流，与主窗口中的子窗口（例如，图5中的窗口 16)相关联且不 涉及混合，以及
[0047] ?已编码补充子流，与主窗口中形成对其他子窗口的补充的子窗口（例如，图5中 的窗口 18)相关联并涉及混合。
[0048] 步骤S2解码补充子流和每个从视频流，例如，图5中的B和C。步骤S3混合已解 码补充子流和每个已解码从视频流，以形成已混合视频信号。步骤S4将已混合视频信号编 码为已编码混合子流。步骤S5组合已编码非混合子流与已编码混合子流。从解码器的角 度看，已组合视频与现有技术相同。
[0049] 至此，说明书并未明确地参照任何编码标准。现在，将参考ITU-T标准H. 264来描 述示例实施例。
[0050] 图7示出了根据H. 264进行编码的视频流的结构。该示例中，视频帧被编码为以IP 分组发送的切片。每个分组除了包括有效载荷（包含实际切片信息）外还包括IP、UDP(用 户数据报文协议）、RTP (实时传输协议）报头。其他配置也是可行的，但该示例足以用来解 释本公开的构思）。切片包括切片报头和实际数据。切片报头包括参数集合，其中一个参 数为"fir St_mb_in_Slice"（切片中的第一个宏块）。这里"mb"指代宏块，其典型地表示为 16X16像素。在参考文献[1]中可以找到更为详细的内容。
[0051] 在本公开的一个实施例中，确定涉及混合的宏块和不涉及混合的宏块。之后，将已 编码主视频流（例如，图5中的A)分为不涉及混合的宏块的至少一个非混合切片、以及涉 及混合的宏块的至少一个补充切片。
[0052] 在本公开的一个实施例中，在解码前对每个补充切片的宏块重新编号。在混合和 编码后，重置已重新编号的宏块的编号。
[0053] 当按这里所描述的方式分割主视频流时，非混合子流和补充子流应当相互"绝 缘"。这意味着一个子流中的任何部分不参照另一子流中的任何部分。例如，必须限制编码 期间的运动矢量搜索，使其不会参照分界线另一侧的宏块。换句话说，属于部分18中的宏 块的运动向量不应当参照属于部分16的帧区域（反之亦然）。一种实现这种不同部分之间 相互"绝缘"的方法是将边界线的位置告知创建主视频流的创始编码器，例如，通过信号发 送底部部分18的第一个宏块的索引。然后，创始编码器对主视频流编码，使宏块不会参照 边界线另一侧的区域。然后，视频流分割器20可将主视频流分为两个独立的流。如果创始 编码器没有收到该告知信息，将改为对流进行转码（解码和编码），以包括相互"绝缘"的两 部分。这仅需要执行一次，因而如果要产生多个混合，该实施例仍比现有技术有效。
[0054] 图8A-C示出了多种视频帧配置。在所有情形中，假设顶部和底部如上所描述那样 相互"绝缘"，或者是通过在创始编码器以分界线编码，或者是通过在视频流分割器之前进 行转码。
[0055] 图8A的示例包括以直线边界（虚线）分隔的顶部切片和底部切片。这种情况下， 可以简单地通过设置底部切片的first-mb_in_sli ce参数来"骗"过解码器，让其认为该帧 仅包括底部切片，而对底部切片进行解码。例如，如果底部切片的第一个宏块的编号为66， 将其设置为1(假定解码器认为该编号为第一个宏块）。在混合和编码后，将第一个宏块重 置为66,从而可将已编码混合作为底部切片添加至已编码顶部切片（并未被解码）。所有 其他参数与原始主流相同。
[0056] 图8B的示例包括以非直线分界线分隔的顶部切片和底部切片。然而，由于宏块的 大小以及整个视频帧的高度、宽度是已知的，这种情况下也可唯一地确定边界。因而，如图 8A那样执行解码、混合、编码。
[0057] 图8C的示例包括一个顶部切片和两个底部切片。顶部切片和底部切片以非直线 分界线分隔。这种情况下，在解码前，在两个底部切片中，first_mb_in_sli ce参数必须分别 设置为1以及1+上方底部切片中的宏块数。类似地，混合和编码后，重置两个底部切片的 编号。
[0058] 图9是根据本公开的视频流混合器60的实施例的方框图。接收已编码主视频流 (例如，图5中的流A)的视频流分割器20被配置为将已编码主视频流分割为 ：
[0059] ?已编码非混合子流，与主窗口中的子窗口（16)相关联且不涉及混合，以及
[0060] ?已编码补充子流，与主窗口中形成对其他子窗口的补充的子窗口（18)相关联并 涉及混合。
[0061] 视频流解码器22被配置为解码补充子流和每个从视频流（例如，图5中的流B、 C)。视频信号混合器24被配置为混合已解码补充子流和每个已解码从视频流，形成已混合 视频信号。（假设已解码从视频流混合前已被缩放为"小"窗口）。视频编码器26被配置 为将已混合视频信号编码为已编码混合子流。视频流组合器28被配置为组合已编码非混 合子流与已编码混合子流。
[0062] 图10是根据本公开的视频流混合器60的实施例的方框图。混合区域检测器32 被配置为确定涉及混合的宏块和不涉及混合的宏块。切片分离器34被配置为将主视频流 (例如，图5中的流A)分为不涉及混合的宏块的至少一个非混合切片和涉及混合的宏块的 至少一个补充切片。
[0063] 图11是视频流分割器20的实施例的方框图。在该实施例中，切片分离器34包括 被配置为在解码前对每个补充切片的宏块重新编号的宏块重编号单元36。开关SW将涉及 混合的切片引导至宏块重编号单元36,将不涉及混合的切片引导至视频流组合器28。
[0064] 图12是视频流组合器28的实施例的方框图。宏块编号重置单元38被配置为在 混合和编码后重置已重新编号的宏块的编号，切片组合器40被配置为组合非混合切片和 已混合切片。
[0065] 这里所描述的步骤、功能、程序和/或模块可使用任何常规技术在硬件中实现，诸 如，分立的电路或集成电路技术，包括通用电子电路和专用电路。
[0066] 替代地，这里所描述的步骤、功能、程序和/或模块中的至少一部分可由通过合适 的处理装置执行的软件来实现。例如，处理装置可包括：一个或多个微处理器、一个或多个 数字信号处理器（DSP)、一个或多个应用专用集成电路（ASIC)、视频加速硬件或一个或多 个合适的可编程逻辑器件，例如，现场可编程门阵列（FPGA)。这些处理元件的组合也是可行 的。
[0067] 同样，可以理解，可以重用媒体资源功能中已有的通用处理能力。例如，可通过重 新编程已有软件或增加新的软件组件来实现。
[0068] 图13是根据本公开的视频流混合器60的实施例的方框图。该实施例基于处理 器11〇(例如，微处理器），其执行用于分割已编码主视频流的软件120,用于解码补充子流 和每个从视频流的软件130,用于混合已解码流的软件140,用于编码已混合视频信号的软 件150,以及用于组合已编码非混合子流和已编码混合子流的软件160。软件存储在存储器 170中。处理器110通过系统总线与存储器通信。通过与处理器110和存储器130相连的 控制输入输出（I/O)总线的I/O控制器180接收输入的主视频流和从视频流。在该实施例 中，将I/O控制器180所接收的切片存储在存储器170中，并在此由软件120-160处理。软 件120可实现视频流分割器20的功能。软件130可实现视频流解码器22的功能。软件140 可实现视频信号混合器24的功能。软件150可实现视频编码器26的功能。软件160可实 现视频流组合器28的功能。从软件160获得的已组合编码视频流由I/O控制器180从存 储器170通过I/O总线输出。
[0069] 图14是示出了基于本公开的视频会议系统的示意图。其包括具有媒体资源功能 处理器MRFP的媒体资源功能MRF，MRFP包括根据本公开的视频流混合器60。
[0070] 本公开对于处理功率和存储资源有限的的情形是有益的，如大多数DSP平台。本 公开提出了一种将系统所需要的总处理功率降低为现有技术暴力方式所需处理功率的一 部分的方法。特别是对于生成多个混合的视频会议的情形。确切的处理增益取决于视频帧 中不涉及混合的那部分的大小以及要生成的混合的数量。
[0071] 本公开对在相同处理器中没有足够功率来完全解码所有帧、创建多个混合以及编 码较大混合的情形特别有利。在现有技术中，如果一个处理器只能执行一次编码且不是所 有处理器都能访问相同的存储器，则需要执行多次解码。
[0072] 本公开的另一个优点在于其环境友好的，因为较少的处理和存储需求直接对应于 较少的能耗。
[0073] 可以理解，本领域技术人员可以在不脱离随附权利要求定义的本公开的范围的前 提下，对本公开进行多种修改和改变。
[0074] 参考文献
[0075] [1]ITU-T H264 "Slice header semantics"section 7. 4. 3
[0076] 缩略语
[0077] ASIC应用专用集成电路；
[0078] DSP数字信号处理器；
[0079] FPGA现场可编程门阵列；
[0080] MS IP多媒体子系统；
[0081] IP 互联网协议；
[0082] MRF媒体资源功能；
[0083] RTP实时传输协议；
[0084] UDP用户数据报文协议。
【权利要求】
1. 一种根据已编码主视频流和至少一个已编码从视频流来生成已混合编码视频流的 方法，已编码主视频流与主窗口相关联，每个已编码从视频流与小于主窗口的相应从窗口 相关联，所述方法包括以下步骤： 将已编码主视频流（A)分割（S1)为 -已编码非混合子流，与主窗口中的子窗口（16)相关联且不涉及混合，和 -已编码补充子流，与主窗口中形成对其他子窗口的补充的子窗口（18)相关联并涉及 混合； 解码（S2)补充子流和每个从视频流（B，C); 混合（S3)已解码补充子流和每个已解码从视频流，以形成已混合视频信号； 将已混合视频信号编码（S4)为已编码混合子流； 组合（S5)已编码非混合子流与已编码混合子流。
2. 根据权利要求1所述的方法，包括步骤： 确定涉及混合的宏块和不涉及混合的宏块； 将已编码主视频流（A)分为不涉及混合的宏块的至少一个非混合切片、和涉及混合的 宏块的至少一个补充切片。
3. 根据权利要求2所述的方法，包括步骤： 在解码前，对每个补充切片的宏块重新编号； 在混合和编码后，重置已重新编号的宏块的编号。
4. 一种视频流混合器，用于根据已编码主视频流和至少一个已编码从视频流来生成已 混合编码视频流，已编码主视频流与主窗口相关联，每个已编码从视频流与小于主窗口的 相应从窗口相关联，所述视频流混合器包括： 视频流分割器（20)，被配置为将已编码主视频流（A)分割为 -已编码非混合子流，与主窗口中的子窗口（16)相关联且不涉及混合，和 -已编码补充子流，与主窗口中形成对其他子窗口的补充的子窗口（18)相关联并涉及 混合； 视频流解码器（22)，被配置为解码补充子流和每个从视频流（B，C); 视频信号混合器（24)，被配置为混合已解码补充子流和每个已解码从视频流，以形成 已混合视频信号； 视频编码器（26)，被配置为将已混合视频信号编码为已编码混合子流； 视频流组合器（28)，被配置为组合已编码非混合子流与已编码混合子流。
5. 根据权利要求4所述的视频流混合器，包括： 混合区域检测器（32)，被配置为确定涉及混合的宏块和不涉及混合的宏块； 切片分离器（34)，被配置为将已编码主视频流（A)分为不涉及混合的宏块的至少一个 非混合切片、和涉及混合的宏块的至少一个补充切片。
6. 根据权利要求5所述的视频流混合器，其中所述切片分离器（34)包括宏块重编号单 元（36)，被配置为在解码前，对每个补充切片的宏块重新编号。
7. 根据权利要求6所述的视频流混合器，其中所述视频流组合器（28)包括： 宏块编号重置单元（38)，被配置为在混合和编码后，重置已重新编号的宏块的编号； 切片组合器（40)，被配置为组合非混合切片和已混合切片。
8. -种媒体资源功能处理器（MRFP)，包括根据权利要求4-7任一项所述的视频流混合 器（60)。
9. 一种媒体资源功能（MRF)，包括根据权利要求8所述的媒体资源功能处理器（MRFP)。
10. -种视频会议系统，包括根据权利要求9所述的媒体资源功能（MRF)。
11. 一种视频会议系统，包括根据权利要求4-7任一项所述的视频流混合器（60)。
【文档编号】H04N5/265GK104160694SQ201280071124
【公开日】2014年11月19日 申请日期:2012年3月13日 优先权日:2012年3月13日
【发明者】尤西·耶尔维宁, 阿托·马孔恩, 迪特马尔·菲德勒 申请人:瑞典爱立信有限公司
最新回复(0)