用于使用参考画面信息进行并行视频编码的方法和设备以及用于使用参考画面信息进行...的制作方法
用于使用参考画面信息进行并行视频编码的方法和设备以及用于使用参考画面信息进行 ...的制作方法
【技术领域】
[0001] 一个或更多个示例性实施例设及视频的并行编码和并行解码方案。
【背景技术】
[0002] 最近，随着数字显示技术的发展W及高质量数字TV的广泛使用，提出了用于处理 大量视频数据的新编解码器。另外，最近，随着硬件性能的发展，用于执行视频图像处理的 CPU或GPU被形成为多核，从而允许同时进行并行图像数据处理。
【发明内容】
[0003] -个或更多个示例性实施例包括将关于画面之间的参考关系的信息包括在预定 数据传输单元中W被发送。
[0004] 另外的方面将在随后的描述中部分地被阐述，并且部分将通过所述描述变得清 楚，或者可通过所提出的示例性实施例的实践而被获知。
[0005] 根据一个或更多个示例性实施例，一种用于并行处理的视频编码方法包括：对画 面组（G0P)中包括的画面执行帖间预测和帖内预测，并确定G0P中包括的画面之间的编码 顺序和参考依赖关系；产生包括参考关系信息的预定数据单元，其中，参考关系信息是基于 G0P中包括的画面之间的编码顺序和参考依赖关系而产生的。
[0006] 根据一个或更多个示例性实施例，一种用于并行处理的视频编码设备包括：图像 编码器，对画面组（G0P)中包括的画面执行帖间预测和帖内预测，并确定G0P中包括的画 面之间的编码顺序和参考依赖关系；输出单元，产生包括参考关系信息的预定数据单元，其 中，参考关系信息是基于G0P中包括的画面之间的编码顺序和参考依赖关系而产生的。
[0007] 根据一个或更多个示例性实施例，一种用于并行处理的视频解码方法包括：获得 包括参考关系信息的预定数据单元，其中，参考关系信息是基于画面组（G0P)中包括的画 面之间的解码顺序和参考依赖关系而产生的；基于所述数据单元中包括的参考关系信息， 在G0P中包括的画面之中确定可被并行处理的画面；对确定的画面进行并行解码。
[0008] 根据一个或更多个示例性实施例，一种用于并行处理的视频解码设备包括：接收 器，获得包括参考关系信息的预定数据单元，其中，参考关系信息是基于画面组（G0P)中包 括的画面之间的解码顺序和参考依赖关系而产生的；图像解码器，基于所述数据单元中包 括的参考关系信息，在G0P中包括的画面之中确定可被并行处理的画面，并且对确定的画 面进行并行解码。
【附图说明】
[0009] 从W下结合附图对示例性实施例的描述，该些和/或其它方面将变得明显和更易 于理解，其中；
[0010] 图1是根据本发明的实施例的基于树结构的编码单元的视频编码设备的框图。
[0011] 图2是根据本发明的实施例的基于树结构的编码单元的视频解码设备的框图。
[0012] 图3示出根据本发明的实施例的编码单元的构思。
[0013] 图4是根据本发明的实施例的基于编码单元的图像编码器的框图。
[0014] 图5是根据本发明的实施例的基于编码单元的图像解码器的框图。
[0015] 图6示出根据本发明的实施例的根据深度的编码单元W及分区。
[0016] 图7示出根据本发明的实施例的编码单元和变换单元之间的关系。
[0017] 图8示出根据本发明的实施例的根据深度的编码信息。
[001引图9示出根据本发明的实施例的根据深度的编码单元。
[0019] 图10、图11和图12示出根据本发明的实施例的编码单元、预测单元和变换单元之 间的关系。
[0020] 图13示出根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关 系。
[0021] 图14是根据本发明的实施例的用于并行处理的视频编码设备的框图。
[002引图15示出根据本发明的实施例的NAL单元的类型。
[0023] 图16示出根据本发明的实施例的分层G0P结构。
[0024] 图17示出用于图16的分层G0P结构中所包括的画面的参考依赖树（RDT)。
[0025] 图18是示出根据本发明的实施例的用于并行处理的视频编码方法的流程图。
[0026] 图19是根据本发明的实施例的用于并行处理的视频解码设备的框图。
[0027] 图20是示出根据本发明的实施例的用于并行处理的视频解码方法的流程图。
[0028] 图21示出根据本发明的实施例的用于并行处理的多线程程序。
[0029] 图22示出多线程程序中的使用锁（lock)或信号量（semaphore)的线程执行处 理。
[0030] 图23是示出根据本发明的实施例的多线程程序的同步处理的流程图。
【具体实施方式】
[0031] 现在将详细描述附图中示出的示例性实施例，其中，相同的参考标号始终指示相 同元件。在该方面，本示例性实施例可具有不同形式，且不应被解释为受限于在此阐述的描 述。因此，在下面仅通过参照附图描述示例性实施例来解释本描述的各个方面。当诸如"… 中的至少一个"在一列元件之后时，修饰整列元件，而不修饰所述列中的单个元件。
[0032] 在下文中，将参照图1至图13来描述根据本发明的实施例的基于树结构的编码单 元的视频编码方案和视频解码方案。另外，将参照图14至图23来描述根据本发明的实施 例的用于并行处理的对视频进行编码和解码的方案。
[0033] 首先，将参照图1至图13来描述基于树结构的编码单元的视频编码方案和视频解 码方案。
[0034] 图1是根据本发明的实施例的基于树结构的编码单元的视频编码设备100的框 图。
[0035] 根据本发明的实施例的设及基于根据树结构的编码单元的视频预测的视频编码 设备100包括最大编码单元划分器110、编码单元确定器120和输出单元130。在下文中， 为便于解释，根据本发明的实施例的设及基于根据树结构的编码单元的视频预测的视频编 码设备100将被称为视频编码设备100。
[0036] 最大编码单元划分器110可基于图像的当前画面的最大编码单元来获得当前画 面，其中，最大编码单元是最大尺寸的编码单元。如果当前画面大于最大编码单元，则可将 当前画面的图像数据划分为至少一个最大编码单元。根据本发明的实施例的最大编码单元 可W是诸如32X32、64X64、128X128或256X256的数据单元，并且可W是长度和宽度的 尺寸为2的若干次方的正方形的数据单元。图像数据可通过至少一个最大编码单元被输出 到编码单元确定器120。
[0037] 根据本发明的实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元被 空间划分的次数，并且随着深度加深，根据深度的编码单元可从最大编码单元被划分到最 小编码单元。最大编码单元的深度为最高深度，最小编码单元可被定义为最低层的编码单 元。针对最大编码单元，随着深度加深，根据深度的编码单元的尺寸减小，因此更高深度的 编码单元可包括多个更低深度的编码单元。
[0038] 如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单 元，并且每个最大编码单元可包括根据深度被划分的编码单元。根据深度对根据本发明的 实施例的最大编码单元进行划分，因此可根据深度对包括在最大编码单元中的空间域的图 像数据进行分层分类。
[0039] 可预先设置编码单元的最大尺寸和最大深度，其中，所述最大深度限制对最大编 码单元的高度和宽度进行分层划分的总次数。
[0040] 编码单元确定器120对通过根据深度对最大编码单元的区域进行划分而获得的 至少一个划分区域进行编码，W根据至少一个划分区域来确定输出最终编码结果的深度。 也就是说，编码单元确定器120针对当前画面的每个最大编码单元W根据深度的编码单元 对图像数据进行编码，并选择产生最小编码误差的深度，来确定编码深度。将根据最大编码 单元的图像数据W及确定的编码深度输出到输出单元130。
[0041] 根据小于最大深度的至少一个深度，基于根据深度的编码单元对最大编码单元中 的图像数据进行编码，并且，对基于根据深度的编码单元的编码结果进行比较。作为根据深 度的编码单元中的编码误差的结果，可选择具有最小编码误差的深度。可针对各个最大编 码单元确定至少一个编码深度。
[0042] 通过随着深度加深而对编码单元进行分层划分，最大编码单元的尺寸被划分，并 且编码单元的数量增加。另外，即使对于包括在一个最大编码单元中的相同深度的编码单 元，仍测量针对各个数据的编码误差，并确定是否将编码单元划分到更低深度。因此，即使 包括在一个最大编码单元中的数据也会根据位置而具有不同的基于深度的编码误差，并因 此编码深度可被不同地确定。因此，可针对一个最大编码单元设置一个或更多个深度，并且 可根据一个或更多个编码深度的编码单元来对最大编码单元的数据进行划分。
[0043] 因此，根据发明的实施例的编码单元确定器120可确定包括在当前最大编码单元 中的根据树结构的编码单元。根据本发明的实施例的根据树结构的编码单元包括在当前最 大编码单元中所包括的所有深度的编码单元之中的被确定为编码深度的深度的编码单元。 可根据最大编码单元的相同区域中的深度分层地确定编码深度的编码单元，并可在最大编 码单元中的其它区域中独立地确定编码深度的编码单元。类似地，当前区域的编码深度可 独立于其它区域的编码深度被确定。
[0044] 根据本发明的实施例的最大深度是与从最大编码单元到最小编码单元的划分次 数相关的索引。根据本发明的实施例的第一最大深度可表示从最大编码单元到最小编码单 元的划分总次数。根据本发明的实施例的第二最大深度可表示从最大编码单元到最小编码 单元的深度等级的总数。例如，当最大编码单元的深度是0时，对最大编码单元划分一次的 编码单元的深度可被确定为1，对最大编码单元划分两次的编码单元的深度可被确定为2。 该里，如果从最大编码单元划分四次的编码单元是最小编码单元，则存在深度0、1、2、3和4 的深度等级，并因此第一最大深度可被设置为4,第二最大深度可被设置为5。
[0045] 可执行最大编码单元的预测编码和变换。还可针对每个最大编码单元，针对小于 最大深度的每个深度的根据深度的编码单元来执行预测编码和变换。
[0046] 每当根据深度对最大编码单元进行划分时，根据深度的编码单元的数量增加，并 因此需要对随着深度加深而产生的所有深度的所有编码单元执行预测编码和变换。在下文 中，为了便于解释，在一个或更多个最大编码单元中，将基于当前深度的编码单元来描述预 测编码和变换。
[0047] 根据本发明的实施例的视频编码设备100可不同地选择用于对图像数据进行编 码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和滴编码 的操作，并且，可针对所有操作使用相同的数据单元，或者可针对不同操作使用不同的数据 单元。
[0048] 例如，视频编码设备100不仅可选择用于对图像数据进行编码的编码单元，还可 选择不同于编码单元的数据单元，来对编码单元中的图像数据执行预测编码。
[0049] 为了对最大编码单元执行预测编码，可基于编码深度的编码单元（即，基于根据 本发明的实施例的不再被划分的编码单元）来执行预测编码。W下，不再被划分且成为预 测编码的基础的编码单元被称为预测单元。通过划分预测单元得到的分区可包括预测单元 W及通过对预测单元的高度和宽度中的至少一个进行划分而得到的数据单元。分区可W是 处于对编码单元的预测单元进行划分的形式的数据单元，预测单元可W是尺寸与编码单元 的尺寸相同的分区。
[0050] 例如，当尺寸为2NX2N(其中，N是正整数）的编码单元不再被划分时，预测单元 尺寸成为2NX2N，并且分区尺寸可W是2NX2N、2NXN、NX2N、NXN等。根据本发明的实施 例的分区类型可选择性地包括通过按照预测单元的高度或宽度的对称比率被划分出的对 称分区、通过按照诸如1;n或n:l的非对称比率被划分出的分区、W几何形状被划分出的分 区、W及处于任意形状的分区。
[0051] 预测单元的预测模式可W是帖内模式、帖间模式和跳过模式中的至少一个。例如， 可对尺寸为2NX2N、2NXN、NX2N和NXN的分区 执行帖内模式或帖间模式。另外，可仅对 尺寸为2NX2N的分区执行跳过模式。可对编码单元中的每一个预测单元独立地执行编码， 从而可选择具有最小编码误差的预测模式。
[0052] 另外，根据本发明的实施例的视频编码设备100不仅可基于用于对图像数据进行 编码的编码单元还可基于与编码单元不同的数据单元，来对编码单元中的图像数据执行变 换。为了对编码单元进行变换，可基于尺寸小于编码单元的尺寸的变换单元或者尺寸与编 码单元的尺寸相同的变换单元来执行变换。例如，变换单元可包括用于帖内模式的数据单 元和用于帖间模式的变换单元。
[0053] 按照与根据本发明的实施例的根据树结构的编码单元中的方案类似的方案，编码 单元中的变换单元可被递归地划分为更小尺寸的变换单元，并且，可基于根据变换深度的 根据树结构的变换单元，对编码单元中的残差数据进行划分。
[0054] 甚至可针对根据本发明的实施例的变换单元设置变换深度，其中，变换深度指示 通过对编码单元的高度和宽度进行划分而达到变换单元的划分次数。例如，如果尺寸为 2NX2N的当前编码单元的变换单元的尺寸为2NX2N，则变换深度可被设置为0,如果变换 单元的尺寸为NXN，则变换深度可被设置为1，如果变换单元的尺寸为N/2XN/2,则变换深 度可被设置为2。也就是说，针对变换单元，可根据变换深度设置根据树结构的变换单元。 [00巧]针对用于各个编码深度的编码信息，除了需要编码深度之外，还需要与预测相关 的信息和与变换相关的信息。因此，编码单元确定器120除了可确定产生最小编码误差的 编码深度之外，还可确定预测单元被划分所根据的分区类型、用于各个预测单元的预测模 式W及用于变换的变换单元的尺寸。
[0056] 将参照图3至图12描述确定根据本发明的实施例的最大编码单元中的根据树结 构的编码单元、预测单元/分区和变换单元的方案。
[0057] 编码单元确定器120可通过使用基于拉格朗日乘数的率失真优化方案，来测量根 据深度的编码单元的编码误差。
[0058] 输出单元130W比特流的形式基于至少一个编码深度输出最大编码单元的编码 的图像数据和关于用于各个深度的编码模式的信息，其中，所述至少一个编码深度在编码 单元确定器120中被确定。
[0059] 编码的图像数据可W是对图像的残差数据进行编码的结果。
[0060] 关于根据深度的编码模式的信息可包括编码深度信息、预测单元的分区类型信 息、预测模式信息和变换单元的尺寸信息。
[0061] 可通过使用根据深度的划分信息来定义编码深度信息，其中，根据深度的划分信 息指示是否在更低深度的编码单元中进行编码而不是根据当前深度进行编码。如果当前编 码单元的当前深度是编码深度，则在当前深度的编码单元中对当前编码单元进行编码，因 此可将当前深度的划分信息定义为不再将当前深度划分到更低深度。相反，如果当前编码 单元的当前深度不是编码深度，则可能需要尝试通过使用更低深度的编码单元进行编码， 并因此可将当前深度的划分信息定义为将当前编码单元划分为更低深度的编码单元。
[0062] 如果当前深度不是编码深度，则对被划分为更低深度的编码单元的编码单元执行 编码。在当前深度的编码单元中存在更低深度的一个或更多个编码单元，并因此对每个更 低深度的每个编码单元重复地执行编码，并因此可对相同深度的每个编码单元执行递归编 码。
[0063] 确定一个最大编码单元中的树结构的编码单元，并且需要确定与用于编码深度的 每个编码单元的至少一个编码模式有关的信息，并因此可针对一个最大编码度单元确定关 于至少一个编码模式的信息。另外，可根据深度对最大编码单元的数据进行分层划分，并且 编码深度可根据位置而不同，并因此可针对数据设置关于编码深度和编码模式的信息。
[0064] 因此，在根据本发明的实施例的输出单元130中，可将关于编码深度和编码模式 的编码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一 个。
[0065] 根据本发明的实施例的最小单元是通过将处于最低编码深度的最小编码单元的 尺寸划分为4份而获得的矩形数据单元。根据本发明的实施例的最小单元可W是该样的最 大尺寸的正方形数据单元；该最大尺寸的正方形数据单元可被包括在最大编码单元中所包 括的所有编码单元、预测单元、分区单元和变换单元中。
[0066] 例如，通过输出单元130输出的编码信息可被分类为用于根据深度的各个编码单 元的编码信息和用于各个预测单元的编码信息。用于根据深度的各个编码单元的编码信息 可包括预测模式信息和分区尺寸信息。通过预测单元传送的编码信息可包括关于帖间模式 的估计方向的信息、关于帖间模式的参考图像索引的信息、关于运动矢量的信息、关于帖内 模式的色度分量的信息、W及关于帖内模式的插值方案的信息。
[0067] 针对各个画面、条带或G0P定义的关于编码单元的最大尺寸的信息和关于最大深 度的信息可被插入到比特流的头、序列参数集或画面参数集中。
[0068] 另外，对于当前视频允许的关于变换单元的最大尺寸的信息和关于变换单元的最 小尺寸的信息也可通过比特流的头、序列参数集或画面参数集被输出。输出单元130可对 参照图1至图6描述的与预测相关的参考信息、预测信息、单方向预测信息W及条带类型信 息（包括四个条带类型）等进行编码W便随后被输出。
[0069] 根据视频编码设备100的最简化的形式的实施例，用于各个深度的编码单元是具 有更高一层深度的编码单元的高度和宽度的一半尺寸的编码单元。也就是说，如果当前 深度的编码单元的尺寸是2NX2N，则更低深度的编码单元的尺寸是NXN。另外，尺寸为 2NX2N的当前编码单元可包括最多4个尺寸为NXN的更低深度的编码单元。
[0070] 因此，视频编码设备100可基于考虑当前画面的特征而确定的最大编码单元尺寸 和最大深度，针对各个最大编码单元确定具有最优形状和尺寸的编码单元，W形成根据树 结构的编码单元。另外，可用于各个最大编码单元的各种预测模式和变换方案来执行 编码，并因此可考虑各种图像尺寸的编码单元的图像特征来确定最优编码模式。
[0071] 因此，如果W现有宏块单元对具有很高的分辨率或很大数据量的图像进行编码， 则每个画面的宏块的数量变得过大。因此，针对每个宏块产生的压缩信息也会增加，因此压 缩信息的传输负荷会增加，并且压缩效率会降低。因此，根据本发明的实施例的视频编码设 备可考虑图像尺寸来增加编码单元的最大尺寸，并考虑图像特征来调整编码单元，并因此 可提高图像压缩效率。
[0072] 图2是根据本发明的实施例的基于树结构的编码单元的视频解码设备的框图。
[0073] 设及基于根据树结构的编码单元的视频预测的视频解码设备200包括接收器 210、图像数据和编码信息提取器220W及图像数据解码器230。为了便于解释，在下文中， 设及基于根据树结构的编码单元的视频预测的视频解码设备200将被称为视频解码设备 200。
[0074] 用于视频解码设备200的解码操作的诸如编码单元的各种术语（诸如深度、预测 单元、变换单元和关于各种编码模式的信息）的定义已在上面参照图1和视频编码设备100 被描述。
[00巧]接收器210接收和解析关于编码视频的比特流。图像数据和编码信息提取器220 从解析的比特流，基于针对各个最大编码单元的根据树结构的编码单元，针对各个最大编 码单元提取编码图像数据，W将提取的图像数据输出到解码器230。图像数据和编码信息提 取器220可从关于当前画面的头、序列参数集或画面参数集提取关于当前画面的编码单元 的最大尺寸的信息。
[0076] 另外，图像数据和编码信息提取器220从解析的比特流，针对各个最大编码单元， 提取关于根据树结构的编码单元的编码深度和编码模式的信息。提取的关于编码深度和编 码模式的信息被输出到解码器230。也就是说，比特流中的图像数据可被划分为最大编码单 元，使得图像数据解码器230可针对各个最大编码单元对图像数据进行解码。
[0077] 可针对一个或更多个编码深度信息集设置针对各个最大编码单元的关于编码深 度和编码模式的信息，关于用于各个编码深度的编码模式的信息可包括编码单元的分区类 型信息、预测模式信息和变换单元的尺寸信息。另外，根据深度的划分信息可被提取为编码 深度信息。
[0078] 由图像数据和编码信息提取器220提取的针对各个最大编码单元的关于编码深 度和编码模式的信息是关于该样的编码深度和编码模式的信息：该编码深度和编码模式被 确定为通过按照最大编码单元和深度针对各个编码单元重复地执行编码时产生最小编码 误差。因此，视频解码设备200可根据产生最小编码误差的编码方案对数据进行解码来恢 复图像。
[0079] 根据本发明的实施例的关于编码深度和编码模式的编码信息可被分配给编码单 元、预测单元和最小单元中的预定数据单元，并因此图像数据和编码信息提取器220可针 对各个确定的数据单元，提取关于编码深度和编码模式的信息。如果关于最大编码单元的 编码深度和编码模式的信息已针对各个数据单元被记录，则可将具有关于相同编码深度和 编码模式的信息的预定数据单元推断为是包括在同一最大编码单元中的数据单元。
[0080] 图像数据解码器230基于针对各个最大编码单元的关于编码深度和编码模式的 信息，对各个最大编码单元的图像数据进行解码，来恢复当前画面。也就是说，图像数据解 码器230可基于读取出的针对包括在最大编码单元中的根据树结构的编码单元之中的各 个编码单元的分区类型、预测模式和变换单元，对已被编码的图像数据进行解码。解码处理 可包括预测处理（包含帖内预测和运动补偿）和逆变换处理。
[0081] 图像数据解码器230可基于针对各个编码深度的编码单元的预测单元的分区类 型信息和预测模式信息，根据针对各个编码单元的各个分区和预测模式，执行帖内预测和 运动补偿。
[0082] 此外，针对各个最大编码单元，图像数据解码器230可针对各个编码单元读取根 据树结构的变换单元信息，并基于用于逆变换的变换单元来执行逆变换。通过逆变换，可恢 复编码单元的空间域的像素值。
[0083] 图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编码单元 的编码深度。如果划分信息指示在当前深度中未示出进一步的划分，则当前深度是编码深 度。因此，图像数据解码器230可通过使用预测单元的分区类型、预测模式和变换单元尺寸 信息，针对当前最大编码单元的图像数据，对当前深度的编码单元进行解码。
[0084] 也就是说，观察针对编码单元、预测单元和预定数据单元设置的编码信息集，具有 包括相同划分信息的编码信息的数据单元被收集，并且收集的数据单元可被认为是将由图 像数据解码器230按相同编码模式解码的一个数据单元。W此方式，可通过获得关于针对 各个确定的编码单元的编码模式的信息来对当前编码单元执行解码。
[0085] 因此，视频解码设备200可获得关于在编码处理中通过对各个最大编码单元递归 地执行编码而产生最小编码误差的编码单元的信息，W在对当前画面进行解码中使用。也 就是说，对根据树结构的编码单元的编码图像数据的解码成为可能，其中，所述编码图像数 据在针对各个最大编码单元的最佳编码单元中被确定。
[0086] 因此，即使是高分辨率的图像和大数据量的图像，也可通过根据编码模式和编码 单元尺寸有效地对图像数据进行恢复来被恢复，其中，所述编码模式和编码单元尺寸通过 使用发送自编码终端的关于最优编码模式的信息被自适应地确定为图像的特性。
[0087] 图3示出根据本发明的实施例的编码单元的构思。
[008引编码单元的示例被表示为宽度X高度，并且32X32U6X16和8X8可被包括 在尺寸为64X64的编码单元中。尺寸为64X64的编码单元可被划分为64X64、64X32、 32X64和32X32的分区，尺寸为32X32的编码单元可被划分为32X32、32X16、16X32和 16X16的分区，尺寸为16X16的编码单元可被划分为16X16、16X8、8X16和8X8的分 区，尺寸为8X8的编码单元可被划分为8X8、8X4、4X8和4X4的分区。
[0089] 对于视频数据310,分辨率被设置为1920X108 0,编码单元的最大尺寸被设置为 64,最大深度被设置为2。对于视频数据320,分辨率被设置为1920X1080,编码单元的最大 尺寸被设置为64,最大深度被设置为3。对于视频数据330,分辨率被设置为352X288,编 码单元的最大尺寸被设置为16,最大深度被设置为1。图9中示出的最大深度表示从最大 编码单元到最小解码单元的划分总次数。
[0090] 当分辨率高或数据量大时，优选的是，最大编码尺寸较大，W便除了提高编码效率 之外，还准确地反映图像的特征。因此，具有比视频数据330的分辨率更高分辨率的视频数 据310和320的最大编码尺寸可被设置为64。
[0091] 视频数据310的最大深度是2,并因此当进行两次划分并且深度变高两层时，视频 数据310的编码单元可包括从长轴尺寸为64的最大编码单元至长轴尺寸为32和16的编 码单元。相比之下，视频数据330的最大深度是1，并因此当进行一次划分并且深度变高一 层时，视频数据330的编码单元335可包括从长轴尺寸为16的编码单元到长轴尺寸为8的 编码单元。
[0092] 视频数据320的最大深度是3,并因此当进行=次划分并且深度变高=层时，视频 数据320的编码单元325可包括从长轴尺寸为64的最大编码单元到长轴尺寸为32、16和 8的编码单元。随着深度变高，表达详细信息的能力可被提高。
[0093] 图4是根据本发明的实施例的基于编码单元的图像编码器的框图。
[0094] 根据本发明的实施例的图像编码器400包括在视频编码设备100的编码单元确定 器120中执行W对图像数据进行编码的操作。也就是说，帖内预测器410对当前帖405中 的帖内模式的编码单元执行帖内预测，运动估计器420和运动补偿器425通过使用帖间模 式的当前帖405和参考帖495,执行帖间估计和运动补偿。
[0095] 从帖内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430 和量化器440被输出为变换系数。量化后的变换系数通过反量化器460和频率逆变换器470 被恢复为空间域的数据，恢复的空间域的数据通过去块单元480和偏移调整单元490被后 处理W便被输出为参考帖495。量化后的变换系数可通过滴编码器450被输出为比特流。
[0096] 为了被应用于根据本发明的实施例的视频编码设备100,作为图像编码器400的 元件的所有的帖内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、滴 编码器450、反量化器460、频率逆变换器470、去块单元480和偏移调整单元490需要在考 虑用于各个最大编码单元的最大深度的情况下，基于根据树结构的编码单元中的各个编码 单元执行操作。
[0097] 具体地，帖内预测器410、运动估计器420和运动补偿器425在考虑当前最大编码 单元的最大尺寸和最大深度的情况下确定根据树结构的编码单元中的各个编码单元的分 区和预测模式，变换器430需要确定根据树结构的编码单元中的各个编码单元内的变换单 元的尺寸。
[009引图5是根据本发明的实施例的基于编码单元的图像解码器的框图。
[0099] 解码所需的关于编码的信息W及作为解码的对象的编码图像数据在比特流505 经过解析器510时被解析。编码图像数据通过解码器520和反量化器530被输出为反量化 的数据，空间域的图像数据通过频率逆变换器540被恢复。
[0100] 对于空间域的图像数据，帖内预测器550对帖内模式的编码单元执行帖内预测， 运动补偿器560通过使用参考帖585对帖间模式的编码单元执行运动补偿。
[0101] 经过帖内预测器550和运动补偿器560的空间域的数据可通过去块单元570和偏 移调整单元580被后处理W被输出为恢复帖595。另外，通过去块单元570和偏移调整单元 580后处理的数据可被输出为参考帖585。
[0102] 为了在视频解码设备200的图像数据解码器230中对图像数据进行解码，可执行 根据本发明的实施例的图像解码器500的解析器510之后的操作。
[0103] 为了被应用于根据本发明的实施例的视频解码设备200,所有的解析器510、滴解 码器520、反量化器530、频率逆变换器540、帖内预测器550、运动补偿器560、去块单元570 和偏移调整单元580需要针对各个最大编码单元基于根据树结构的编码单元执行操作。
[0104] 具体地，运动补偿器560针对根据树结构的各个编码单元确定分区和预测模式， 频率逆变换器540需要针对各个编码单元确定变换单元的尺寸。
[0105] 图6示出根据本发明的实施例的根据深度的编码单元和分区。
[0106] 根据本发明的实施例的视频编码设备100和根据本发明的实施例的视频解码设 备200使用分层编码单元W考虑图像特征。可根据图像的特征自适应地确定编码单元的最 大高度、最大宽度和最大深度，并可根据用户的要求不同地设置编码单元的最大高度、最大 宽度和最大深度。可根据预定编码单元的最大尺寸来确定根据深度的编码单元的尺寸。
[0107] 根据本发明的实施例的编码单元的分层结构600示出了W下情况；编码单元的最 大高度和最大宽度是64,并且最大深度是3。此时，最大深度是指从最大编码单元到最小编 码单元的划分总次数。深度沿着根据本发明的实施例的编码单元的分层结构600的垂直轴 变高，并因此每个深度的编码单元的高度和宽度被分别划分。另外，预测单元和分区沿着编 码单元的分层结构600的水平轴被示出，其中，所述预测单元和分区成为对根据深度的编 码单元进行预测编码的基础。
[010引也就是说，在编码单元的分层结构600中，编码单元610是最大编码单元，深度为 0,并且编码单元的尺寸（即，高度和宽度）为64X64。深度沿着垂直轴变得更高，存在尺寸 为32X32且深度为1的编码单元620、尺寸为16X16且深度为2的编码单元630、尺寸为 8X8且深度为3的编码单元640。尺寸为8X8且深度为3的编码单元640是最小编码单 yn0
[0109] 编码单元的预测单元和分区针对各个深度沿着水平轴被排列。也就是说，如果尺 寸为64X64且深度为0的编码单元610是预测单元，则可将预测单元划分成包括在尺寸为 64X64的编码单元610中的尺寸为64X64的分区610、尺寸为64X32的分区612、尺寸为 32X64的分区614和尺寸为32X32的分区616。
[0110] 类似地，可将尺寸为32X32且深度为1的编码单元的预测单元划分成包括在尺寸 为32X32的编码单元620中的尺寸为32X32的分区、尺寸为32X16的分区622、尺寸为 16X32的分区624和尺寸为16X16的分区626。
[0111] 可将尺寸为16X16且深度为2的编码单元630的预测单元划分成包括在尺寸为 16X16的编码单元630中的尺寸为16X16的分区630、尺寸为16X8的分区632、尺寸为 8X16的分区634和尺寸为8X8的分区636。
[0112] 可将尺寸为8X8且深度为3的编码单元640的预测单元划分成包括在尺寸为 8X8的编码单元640中的尺寸为8X8的分区、尺寸为8X4的分区642、尺寸为4X8的分 区644和尺寸为4X4的分区。
[0113] 最后，尺寸为8X8且深度为3的编码单元640是最小编码单元和最低深度的编码 单元。
[0114] 为了确定最大编码单元610的编码深度，根据本发明的实施例的视频编码设备 100的编码单元确定器120需要对包括在最大编码单元610中的各个深度的各个编码单元 执行编码。
[0115] 随着深度增加，包括相同范围和相同尺寸的数据的根据深度的编码单元的数量增 加。例如，对于包括在深度为1的一个编码单元中的数据，可需要深度为2的4个编码单 元。因此，为了根据深度比较对相同数据进行编码的结果，需要分别使用深度为1的一个编 码单元和深度为2的四个编码单元来执行编码。
[0116] 为了针对各个深度进行编码，可沿着分层结构600的水平轴，针对各个深度的编 码单元的各个预测单元执行编码，从而可选择具有最小编码误差的代表性的编码误差。另 夕F，深度沿着编码单元的分层结构600的水平轴变高，可针对各个深度执行编码，并且可通 过比较根据深度的代表性误差来捜索最小编码误差。在最大编码单元610中的具有最小编 码误差的深度和分区可被选为最大编码单元610的编码深度和分区类型。
[0117] 图7示出根据本发明的实施例的编码单元和变换单元之间的关系。
[0118] 根据本发明的实施例的视频编码设备100或根据本发明的实施例的视频解码设 备200针对各个最大编码单元，按照尺寸小于最大编码单元的尺寸或与最大编码单元的尺 寸相同的编码单元，对图像进行编码或解码。可基于不大于各个编码单元的数据单元，来选 择用于在编码处理期间进行变换的变换单元的尺寸。
[0119] 例如，在根据本发明的实施例的视频编码设备100或根据本发明的实施例的视频 解码设备200中，在当前编码单元710的尺寸为64X64时，可通过使用尺寸为32X32的变 换单元720来执行变换。
[0120] 此外，可将尺寸为64X64的编码单元710的数据分别转换为尺寸为32X32、 16X16、8X8和4X4的变换单元，并然后可选择具有与原始数据单元相比最小的误差的变 换单元。
[0121] 图8示出根据本发明的实施例的根据深度的编码信息。
[0122] 根据本发明的实施例的视频编码设备100的输出单元130可对各个编码深度的各 个编码单元的关于分区类型的信息800、关于预测模式的信息810W及关于变换单元尺寸 的信息820进行编码，并将信息800、信息810和信息820作为关于编码模式的信息来发送。
[0123] 关于分区类型的信息800指示关于当前编码单元的预测单元被划分出的分区的 形状的信息，其中，分区作为用于对当前编码单元进行预测编码的数据单元。例如，可将尺 寸为2NX2N的当前编码单元CU_0划分成W下分区中的一个；尺寸为2NX2N的分区802、尺 寸为2NXN的分区804、尺寸为NX2N的分区806和尺寸为NXN的分区808。在此情况下， 关于当前编码单元的分区类型的信息800可被设置为指示W下分区之一；尺寸为2NX2N的 分区802、尺寸为2NXN的分区804、尺寸为NX2N的分区806和尺寸为NXN的分区808。
[0124] 关于预测模式的信息810指示针对各个分区的预测模式。例如，通过关于预测模 式的信息810,可设置是否按照帖内模式812、帖间模式814和跳过模式816中的一种对由 关于分区类型的信息800指示的分区执行预测编码。
[0125] 另外，关于变换单元尺寸的信息820指示成为对当前编码单元进行变换的基础的 变换单元。例如，变换单元可W是第一帖内变换单元尺寸822、第二帖内变换单元尺寸824、 第一帖间变换单元尺寸826和第二帖间变换单元尺寸828之一。
[0126] 视频解码设备200的图像数据和编码信息提取器210可针对各个深度的各个编码 单元提取关于分区类型的信息800、关于预测模式的信息810和关于变换单元尺寸的信息 820,W便在解码过程中被使用。
[0127] 图9示出根据本发明的实施例的根据深度的编码单元。
[012引划分信息可用来指示深度的改变。划分信息指示当前深度的编码单元是否被划分 成更低深度的编码单元。
[0129] 用于对深度为0且尺寸为2N_0X2N_0的编码单元900进行预测编码的预测单元 910可包括尺寸为2N_0X2N_0的分区类型912、尺寸为2N_0XN_0的分区类型914、尺寸为 N_0X2N_0的分区类型916和尺寸为N_0XN_0的分区类型918。仅示出了按照对称比率划 分预测单元910而获得的分区类型912、914、916和918,但如上所述，分区类型不限于此，并 可包括非对称分区、任意形状的分区和几何形状的分区。
[0130]对于每种分区类型，需要对尺寸为2N_0X2N_0的一个分区、尺寸为2N_0XN_0的 两个分区、尺寸为N_0X2N_0的两个分区和尺寸为N_0XN_0的四个分区重复地执行预测编 码。对于尺寸 为2N_0X2N_0的分区、尺寸为N_0X2N_0的分区、尺寸为2N_0XN_0的分区 和尺寸为N_0XN_0的分区，可按照帖内模式和帖间模式执行预测编码。可按照跳过模式仅 对2N_0X2N_0的分区执行预测编码。
[013。如果根据尺寸为2N_0X2N_0的分区类型912、尺寸为2N_0XN_0的分区类型914和尺寸为N_0X2N_0的分区类型916中的一个分区类型的编码误差最小，则不需要更低深 度的分区。
[013引如果根据尺寸为N_0XN_0的分区类型918的编码误差最小，则深度0改变为1，执 行划分巧20)，并对深度为2且尺寸为N_0XN_0的分区类型的编码单元930重复地执行编 码W捜索最小编码误差。
[013引用于对深度为1且尺寸为2N_1X2N_1( =N_0XN_0)的编码单元930进行预测编 码的预测单元944可包括尺寸为2N_1X2N_1的分区类型942、尺寸为2N_1XN_1的分区类 型944、尺寸为N_1X2N_1的分区类型946W及尺寸为N_1XN_1的分区类型948。
[0134] 另外，如果根据尺寸为N_1XN_1的分区类型948的编码误差最小，则深度1改变 成2,执行划分巧50)，并对深度为2且尺寸为N_2XN_2的编码单元960重复执行编码W捜 索最小误差。
[0135] 如果最大深度是山则根据深度的编码单元被设置直到深度为d-1时为止，并且划 分信息可被设置直到深度为d-2时为止。也就是说，如果划分970从深度d-2开始并且编码 被执行甚至直到d-1，则用于对深度为d-1且尺寸为2N_(d-l)X2N_(d-l)的编码单元980 进行预测编码的预测单元990可包括尺寸为2N_(d-l)X2N_(d-l)的分区类型992、尺寸为 2N_(d-l)XN_(d-l)的分区类型994、尺寸为N_(d-l)X2N_(d-l)的分区类型996和尺寸为 N_(d-l)XN_(d-l)的分区类型 998。
[0136] 可对分区类型中的尺寸为2N_(d-1)X2N_(d-1)的一个分区、尺寸为2N_ (d-1)XN_ (d-1)的两个分区、尺寸为N_ (d-1)X2N_ (d-1)的两个分区W及尺寸为N_ (d-1)XN_(d-1)的四个分区执行通过预测编码的编码，使得可捜索具有最小编码误差的分 区类型。
[0137] 虽然根据尺寸为N_(d-1)XN_(d-1)的分区类型998的编码误差最小，但是最大深 度是d，并因此深度为d-1的编码单元CU_(d-1)也不再经过更低深度的划分处理。另外，用 于当前最大编码单元900的编码深度被确定为d-1，并且分区类型可被确定为N_ (d-1)XN_ (d-1)。此外，最大深度是d，并因此不设置用于深度为d-1的编码单元952的划分信息。 [013引数据单元999可被称为用于当前最大编码单元的最小单元。根据本发明的实施例 的最小单元可W是该样的正方形数据单元，该正方形数据单元的大小是作为最低编码深度 的最小编码单元的1/4。通过该样的重复编码处理，根据本发明的实施例的视频编码设备 100比较根据编码单元900的深度的编码误差来选择出现最小编码误差的深度W确定编码 深度，并且，分区类型和预测模式可被确定为编码深度的编码模式。
[0139] 根据深度0、1、…、d-1和d中的所有深度对最小编码误差进行比较，使得具有最 小误差的深度可被选择并被确定为编码深度。编码深度、预测单元的分区类型和预测模式 可作为关于编码模式的信息被编码W便随后被发送。另外，需要将编码单元从深度0划分 到编码深度，并因此仅将编码深度的划分信息设置为0,并且需要将用于除了编码深度W外 的各个深度的划分信息设置为1。
[0140] 根据本发明的实施例的视频解码设备200的图像数据和编码信息提取器220可被 用在提取关于编码深度和预测单元的信息的过程中W及对编码单元912进行解码的过程 中。根据本发明的实施例的视频解码设备200可通过使用用于各个深度的划分信息来识别 划分信息为0的深度，并且在解码过程中使用针对深度的关于解码模式的信息。
[0141] 图10、图11和图12示出根据本发明的实施例的在编码单元、预测单元和变换单元 之间的关系。
[0142] 编码单元1010是针对各个编码深度的编码单元，其中，针对各个编码深度的编码 单元由根据本发明的实施例的视频编码设备100确定。预测单元1060是编码单元1010中 的针对各个编码深度的编码单元的预测单元的分区，变换单元1070是针对各个编码深度 的编码单元的变换单元。
[0143] 对于针对各个深度的编码单元1010,如果最大编码单元的深度为0,则编码单元 1012和1054的深度为1，编码单元1014、1016、1018、1028、1050和1052的深度为2,编码 单元 1020、1022、1024、1026、1030、1032 和 1048 的深度为 3,编码单元 1040、1042、1044 和 1046的深度为4。
[0144]在预测单元 1060 中，一些分区 1014、1016、1022、1032、1048、1050、1052 和 1054 处 于对编码单元划分的形式。也就是说，分区1014、1022、1050和1054是2NXN的分区类型， 分区1016、1048和1052是NX2N的分区类型，分区1032是NXN的分区类型。针对各个深 度的编码单元1010的分区和预测单元与各个编码单元相同，或者小于各个编码单元。
[0145] 对于变换单元1070中的一些变换单元1052的图像数据，可在尺寸小于编码单元 的尺寸的数据单元中执行变换或逆变换。另外，如果与预测单元1060中的预测单元和分区 比较，变换单元1014、1016、1022、1032、1048、1050、1052和1054是不同尺寸或形状的数据 单元。也就是说，根据本发明的实施例的视频编码设备100和根据本发明的实施例的视频 解码设备200可基于各个数据单元，对同一编码单元执行帖内预测/运动估计/运动补偿 操作W及变换/逆变换操作。
[0146] 因此，对各个编码单元的各个区域中的分层结构的各个编码单元递归地执行编 码，从而确定最优编码单元。因此，可形成根据递归树结构的编码单元。编码信息可包括用 于编码单元的划分信息、分区类型信息、预测模式信息和变换单元尺寸信息。表1在下面示 出可在根据本发明的实施例的视频编码设备100和根据本发明的实施例的视频解码设备 200中设置的示例。
[0147][表U [014引
[0150] 根据本发明的实施例的视频编码设备100的输出单元130可输出用于根据树结构 的编码单元的编码信息，根据本发明的实施例的视频解码设备200的编码信息提取器220 可从接收到的比特流提取用于根据树结构的编码单元的编码信息。
[0151] 划分信息指示是否将当前编码单元划分成更低深度的编码单元。如果当前深度d 的划分信息是0,则当前编码单元不再被划分成更低编码单元的深度是编码深度，并因此可 针对所述编码深度来定义分区类型信息、预测模式信息和变换单元尺寸信息。当需要根据 划分信息进行再一次划分时，需要对更低深度的4个划分编码单元独立地执行编码。
[0152] 预测模式可被指示为帖内模式、帖间模式和跳过模式中的一种。可在所有分区类 型中定义帖内模式和帖间模式，并且可仅在分区类型2NX2N中定义跳过模式。
[0153] 分区类型信息可指示对称分区类型2NX2N、2NXN、NX2N和NXNW及非对称分区 类型2NX加、2NX址、化X2N和nRX2N，其中，在对称分区类型中按照对称比率划分预测单 元的高度或宽度，在非对称分区类型中按照非对称比率划分预测单元的高度或宽度。非对 称分区类型2NXnU和2NXnD指示该样的形状；在该形状中按1:3和3:1来划分各个类型 的高度；非对称分区类型化X2N和nRX2N指示该样的形状；在该形状中按1:3和3:1来划 分各个类型的宽度。
[0154] 可将变换单元尺寸设置成帖内模式下的两种类型的尺寸，并且可将变换单元尺寸 设置成帖间模式下的两种类型的尺寸。也就是说，如果变换单元划分信息是0,则变换单元 的尺寸被设置为2NX2N，即当前编码单元的尺寸。如果变换单元划分信息是1，则可设置对 当前编码单元进行划分的尺寸的变换单元。另外，如果尺寸为2NX2N的当前编码单元的分 区类型是对称分区类型，则变换单元的尺寸可被设置为NXN，如果分区类型是非对称分区 类型，则尺寸可被设置为N/2XN/2。
[0155] 根据本发明的实施例的根据树结构的编码单元的编码信息可被分配给编码深度 的编码单元、预测单元和最小单元中的至少一个。编码深度的编码单元可包括含有相同编 码信息的预测单元和最小单元中的一个或更多个。
[0156] 因此，如果邻近数据单元含有的编码信息被检查，则可检查邻近数据单元是否被 包括在相同编码深度的编码单元中。另外，如果由数据单元含有的编码信息被使用，则可检 查相应编码深度的编码单元，并因此可推断在最大编码单元中编码深度的分区。
[0157] 因此，在此情况下，如果参考周围数据单元无法对当前编码单元进行预测，则在与 当前编码单元邻近的根据深度的编码单元内的数据单元中的编码信息可被直接参考W被 使用。
[0158] 可选地，如果参考周围编码单元对当前编码单元执行预测编码，则当通过使用根 据深度的邻近编码单元的编码信息在根据深度的编码单元内捜索与当前数据单元邻近的 数据时，可参考周围数据单元。
[0159] 图13示出根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关 系。
[0160] 最大编码单元1300包括多个编码深度的编码单元1302、1304、1306、1312、1314、 1316和1318。该里，一个编码单元1318是编码深度的编码单元，并因此划分信息可被设 置成0。可将尺寸为2NX2N的编码单元1318的分区类型信息设置成W下分区类型中的 一种：分区类型2NX2N1322、分区类型2NXN1324、分区类型NX2N1326、分区类型NXN 1328、分区类型2NXnU1332、分区类型2NXnD1334、分区类型nLX2N1336W及分区类型 nRX2N1338〇
[0161] 变换单元划分信息（TU尺寸标记）是一种类型的变换索引，并且与变换索引相应 的变换单元的尺寸可根据编码单元的预测单元类型或分区类型而改变。
[0162] 例如，当分区类型信息被设置为对称分区类型2NX2N1322、2NXN1324、NX2N 1326和NXN1328中的一个时，如果变换单元划分信息是0,则设置尺寸为2NX2N的变换 单元1342,如果变换单元划分信息是1，则可设置尺寸为NXN的变换单元1344。
[0163] 当分区类型信息被设置为非对称分区类型2NXnU1332、2NXnD1334、化X2N 1336或nRX2N1338中的一个时，如果变换单元划分信息（TU尺寸标记）是0,则设置尺寸 为2NX2N的变换单元1352,如果变换单元划分信息是1，则可设置尺寸为N/2XN/2的变换 单元1354。
[0164] 参照图13描述的变换单元划分信息（TU尺寸标记）是具有值0或1的标记，但是 根据本发明的实施例的变换单元划分信息不限于1比特的标记，并且变换单元可在划分信 息从0开始增加到1、2、3等时被分层划分。变换单元划分信息可被用作变换索引的实施例。
[0165] 在该种情况下，如果根据本发明的实施例的变换单元的变换单元划分信息与变换 单元的最大尺寸和变换单元的最小尺寸一起使用，则可表示实际上已使用的变换单元的尺 寸。根据本发明的实施例的视频编码设备100可对最大变换单元尺寸信息、最小变换单元 尺寸信息和最大变换单元划分信息进行编码。编码的最大变换单元尺寸信息、最小变换单 元尺寸信息和最大变换单元划分信息可被插入SPS。根据本发明的实施例的视频解码设备 200可在视频解码中使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元 划分信息。
[0166] 例如，（a)如果当前编码单元的尺寸是64X64并且最大变换单元尺寸是32X32， 则（a-1)当变换单元划分信息为0时，变换单元尺寸可被设置为32X32,（a -2)当变换单元 划分信息为1时，变换单元尺寸可被设置为16X16,（a-3)当变换单元划分信息为2时，变 换单元尺寸可被设置为8X8。
[0167] 作为另一示例，化）如果当前编码单元尺寸是32X32并且最小变换单元尺寸是 32X32,则化-1)当变换单元划分信息为0时，变换单元尺寸可被设置为32X32,并且，由于 变换单元尺寸不能够小于32X32,因此不能设置进一步的变换单元划分信息。
[016引作为另一示例，（C)如果当前编码单元尺寸是64X64并且最大变换单元划分信息 为1，则变换单元划分信息可W是0或1，并且不能设置其它的变换单元划分信息。
[0169] 因此，当最大变换单元划分信息被定义为"MaxTransformSizeIndex"，最小变 换单元尺寸被定义为"MinTransformSize"，并且在变换单元划分信息为0情况下的变 换单元尺寸被定义为"Root化Size"时，在当前编码单元中可能的最小变换单元尺寸 "化rrMin化Size"可被定义为W下等式1中所示：
[0170]CurrMinTuSize=max(MinTransformSize,RootTuSize/ (2-MaxTransformSizeIndex)) (1)
[017。 通过与在当前编码单元中可能的最小变换单元尺寸"化rrMin化Size"相比，当 变换单元划分信息为0时变换单元尺寸"Root化Size"可指示可根据系统自适应的最大 变换单元尺寸。也就是说，根据等式1，"R00tI'uSize/"(2'MaxTransformSizeIndex)"是 作为在变换单元尺寸"Root化Size"被划分了与最大变换单元划分信息相应的次数之后 的尺寸的变换单元尺寸，"MinTransformSize"是最小变换尺寸，并因此，"Root化Size/ (2'MaxTransformSizeIndex)"和"MinTransformSize"中较小的值可W是作为在当前编码 单元中可能的最小变换单元尺寸的"化rrMin化Size"。
[0172] 根据本发明的实施例的最大变换单元尺寸Root化Size可根据预测模式而改变。
[017引例如，如果当前预测模式是帖间模式，则可根据W下的等式2来确定Root化Size。 在等式2中，"MaxTrans化rmSize"指示最大变换单元尺寸，叩USize"指示当前预测单元尺 寸。
[0174] RootI\iSize=min(MaxTransformSize,PUSize)......(2)
[0175] 也就是说，如果当前预测模式是帖间模式，则作为当变换单元划分信息为0时的 变换单元尺寸的Root化Size可被设置为最大变换单元尺寸和当前预测单元尺寸中较小的 值。
[0176] 如果当前分区单元的预测模式是帖内模式，则可根据W下的等式3来确定 "RootI\iSize"。"PartitionSize"指示当前分区单元的尺寸。
[0177] RootTuSize=min(MaxTransformSize,PartitionSize)......(3)
[0178] 也就是说，如果当前预测模式是帖内模式，则作为当变换单元划分信息为0时的 变换单元尺寸的"Root化Size"可被设置为最大变换单元尺寸和当前分区单元尺寸之中较 小的值。
[0179] 然而，根据分区单元的预测模式而改变且作为根据本发明的实施例的当前最大变 换单元尺寸的"Root化Size"仅是实施例，并且用于确定当前最大变换单元尺寸的因素不限 于此实施例。
[0180] W上参照图1至图13描述的包括树结构的编码单元的最大编码单元也被称为编 码块树、块树、根块树、编码树、编码根、树干等。
[0181] 如上所述，根据本发明的实施例的视频编码设备100和视频解码设备200将最大 编码单元划分为与最大编码单元相同或小于最大编码单元的编码单元，W执行编码和解 码。为了提高图像的解码处理的处理速度，可并行执行图像解码处理。然而，当任意画面参 考另一画面时，所述任意画面不能在被参考的画面的解码处理完成之前被解码。可被并行 解码的画面必须是不被彼此参考的画面。另外，当参考其它参考画面对可被并行解码的画 面进行预测时，在并行解码的时间点对参考画面的解码需要被完成。因此，为了确定能够并 行解码的画面，需要确定对画面进行解码的顺序W及画面之间的参考关系。在根据本发明 的实施例的用于并行处理的视频解码方案中，在画面组（G0P)中包括的参考关系信息是基 于画面的编码顺序和参考依赖关系而产生的，并且参考关系信息被包括在预定数据单元中 W被发送。在根据本发明的实施例的视频解码方案中，在G0P中包括的画面之间的解码顺 序和参考依赖关系基于预定数据单元中包括的参考关系信息被确定，并且可被并行处理的 画面基于解码顺序和参考依赖关系被确定。另外，在根据本发明的实施例的视频解码方案 中，对可被并行处理的画面进行并行解码。
[0182] 在下文中，将参照图14至图23描述用于并行处理的视频编码/解码方案。解码 顺序和编码顺序分别是指在解码端和编码端的基础上处理画面的顺序，并且画面的编码顺 序与解码顺序相同。因此，在下面描述本发明的实施例时，编码顺序可表示解码顺序，解码 顺序也可表示编码顺序。
[0183] 图14是根据本发明的实施例的用于并行处理的视频编码设备的框图。
[0184] 参照图14,视频编码设备1400包括图像编码器1410和输出单元1420。如图4的 图像编码器400,图像编码器1410通过使用根据树结构的编码单元对形成视频序列的每个 画面执行预测编码。图像编码器1410通过帖间预测和帖内预测对画面进行编码，W便输出 关于残差数据、运动矢量和预测模式的信息。具体地，根据本发明的实施例的图像编码器 1410对G0P中包括的画面执行帖间预测和帖内预测，并确定G0P中包括的画面之间的编码 顺序和参考依赖关系。参考依赖关系指示G0P中包括的画面之间的参考关系，并可W是参 考画面集（RP巧。WS指示参考画面的画面顺序计数（P0C)信息。例如，当任意B画面的RPS 是[0, 2]时，B画面将P0C为0的画面和P0C为2的画面用作参考画面。因此，B画面是依 赖于P0C为0的画面W及P0C为2的画面的画面。B画面不能在P0C为0的画面和P0C为 2的画面的解码处理完成之前被解码。
[0185] 输出单元1420产生并输出包括编码的视频数据和附加信息的NAL单元。具体地， 根据本发明的实施例的输出单元1420基于G0P中包括的画面之间的编码顺序和参考依赖 关系来产生参考关系信息，并产生包括产生的参考关系信息的NAL单元。可通过使用诸如 有限确定自动机值FA)的数据结构来指示W分层画面结构解码的画面的顺序和参考依赖 关系。例如，根据本发明的实施例的输出单元1620可将参考依赖树（RDT)用作参考关系信 息，其中，参考依赖树指示G0P内的画面之间的编码顺序和参考依赖关系。
[0186] 可通过基于编码顺序和参考依赖关系将由G0P内的画面参考的画面放置在父节 点并将参考父节点的画面的画面放置在子节点来产生RDT。当能够对参考父节点的画面的 多个画面进行并行处理时，通过允许多个画面包括在相同层的子节点中来形成RDT。假设 由I条带组成的画面可形成将被放置在最上方根节点的RDT，其中，I条带不参考G0P中包 括的画面中的其它画面。随后将参照图16和图17来描述具体的RDT产生方案。
[0187] 输出单元1420将参考关系信息包括在NAL单元中W被输出。参考关系信息可被 包括在NAL单元之中的包含附加信息的补充增强信息（SEI)消息中。
[018引图15示出根据本发明的实施例的NAL单元的类型。
[0189] 视频编码/解码处理可被分类为在处理视频编码处理本身的视频编码层（VCL)中 的编码/解码处理W及在产生或接收附加信息（诸如图像数据和参数集）的网络抽象层中 的编码/解码处理，其中，图像数据和参数集在V化与发送并存储编码的图像数据的更下 层系统之间根据预定格式被编码为比特流。关于VCL的编码图像的编码数据被映射在VCL NAL单元中，用于对编码数据进行解码的参数集的附加信息被映射在非VCLNAL单元中。
[0190] 参照图15,非VCLNAL单元可包括视频参数集（VP巧、序列参数集（SP巧和画面参 数集（PPS)W及SEI，其中，VPS、SPS和PPS包含视频编码设备1400中使用的参数信息，SEI包含图像解码处理中需要的附加信息。V化NAL单元包括关于编码的图像数据的信息。 [01W] ML单元头可具有总共2字节的长度。ML单元头是用于识别ML单元的比特，并 包括值为0的f〇rbidden_zero_bit、指示NAL单元的类型的标识符（nalunittype)、针 对未来使用而保留的区域（reserved_ze;ro_6bits)和时间标识符（temporal_id)。标识符 (nalunittype)和针对未来使用而保留的区域（reserved_ze;ro_6bits)分别由6比特形 成，时间标识符（temporal_id)可由3比特组成。NAL单元中所包括的信息的类型根据nal_ unit_type的值来区分。
[0192]例如，瞬时解码刷新（IDR)画面、纯净随机访问（CRA)画面、SPS、PPS、SEI、自适应 参数集（APS)、被保留W用于未来扩展的ML单元、未定义的ML单元等可根据nal_unit_type被分类。表2是根据nal_unit_type的值指示ML单元的类型的示例。然而，根据 nal_unit_type的NAL单元的类型不限于表2的示例。
[0193][表引
[0194]
[0195]
[0196] 图16示出根据本发明的实施例的分层GOP结构，图17示出用于在图16的分层 G0P结构中包括的画面的参考依赖树（RDT)。图16的分层G0P结构也被称为分层B画面结 构。
[0197] 参照图16,假设在分层G0P结构中，较低时间层的画面被限制为不参考较高时间 层的画面。此外，箭头方向指示参考方向。例如，在图16中，P8画面参考10画面，B4画面 通过参考10画面和P8画面被预测。
[019引如上所述，可通过基于编码顺序和参考依赖关系将由G0P内的画面参考的画面放 置在父节点并将参考父节点的画面的画面放置在子节点来产生RDT。被放置在子节点的画 面是通过参考父节点和被放置在父节点的上一层中的另一画面而被预测的画面。当能对参 考父节点的画面的多个画面进行并行处理时，通过允许多个画面被包括在相同层的子节点 中来形成RDT。
[0199]参照图16和图17,作为在G0P中被首先编码的IDR画面的10被放置在最上方节 点中。接下来，在10之后参考10而被编码的P8画面被编码，并被放置在10的子节点中。 参考10和P8的B4被放置在P8的子节点中。在图16中，B2参考10和B4,B6参考B4和 P8,并且，B2和B6两者相应于可在B4被解码的情况下被并行解码的画面相应。因此，B2和 B6两者被放置在B4的子节点中。类似地，B1参考10和B2,B3参考B2和B4。另外，B5参 考B4和B6,B7参考B6和P8。因此，B1和B3被放置在B2的子节点中，B5和B7被放置在 B6的子节点中。可针对第一G0P之后的G0P类似地形成RDT。然而，第一G0P中的P8与第 二GOP中的被首先编码（或解码）的参考画面P16相应，并因此，P16被放置在P8的子节 点中。如果P16参考10而不是参考P8,则P8和P16与10的子节点具有相同的层。
[0200] 在图17中，如果用于G0P的RDT被形成，则被放置在相同层的子节点不相互参考， 并因此与允许并行处理的画面相应。例如，在图17中，B2和B61710是可在对B4的编码 (或解码）完成之后被并行处理的画面。另外，B1、B3、B5和B71720是可在对B2和B6的 处理完成之后被并行处理的画面。
[0201] 图18是示出根据本发明的实施例的用于并行处理的视频编码方法的流程图。
[0202] 参照图18,在操作1810,图像编码器1410对G0P中包括的画面执行帖间预测和帖 内预测，并确定G0P中包括的 画面之间的编码顺序和参考依赖关系。
[0203] 在操作1820中，输出单元1420基于G0P中包括的画面之间的编码顺序和参考依 赖关系来产生参考关系信息，并产生包括产生的参考关系信息的NAL单元。如上所述，畑T 可被用作参考关系信息，其中，RDT指示G0P中的画面之间的编码顺序和参考依赖关系。
[0204] 另外，输出单元1420可将参考关系信息包括在包含补充增强信息（SEI)消息的 NAL单元中，W被发送到视频解码设备。
[0205] 图19是根据本发明的实施例的用于并行处理的视频解码设备的框图。
[0206] 参照图19,视频解码设备1900包括接收器1910和图像解码器1920。接收器1910 获得包括参考关系信息的NAL单元，其中，参考关系信息基于G0P中包括的画面之间的解码 顺序和参考依赖关系。如上所述，RDT可被用作参考关系信息，并且RDT可通过包括沈I消 息的NAL单元被获得。
[0207] 图像解码器1920基于沈I消息中包括的畑T，在G0P中包括的画面之中确定可被 并行处理的画面。如图17中所示，被放置在RDT中所布置的节点之中的相同层上的画面是 允许不相互参考的并行处理的画面。图像解码器1920可对能够并行处理的画面进行并行 解码。图像解码器1920可基于如图5的图像解码器400中的树结构的解码器来执行解码。 [020引图20是示出根据本发明的实施例的用于并行处理的视频解码方法的流程图。
[0209] 参照图20,在操作2010,接收器1910获得包括参考关系信息的NAL单元，其中，参 考关系信息是基于G0P中包括的画面之间的解码顺序和参考依赖关系而产生的。如上所 述，参考关系信息可W是诸如RDT的数据结构。
[0210] 在操作2020,图像解码器2020基于SEINAL单元中所包括的参考关系信息，在G0P 中包括的画面之中确定允许并行处理的画面。如上所述，被放置在RDT中所布置的节点之 中的相同层上的画面是不被相互参考的画面，并因此该些画面是能够并行处理的画面。
[0211] 在操作2030,图像解码器1920通过对能够并行处理的画面进行并行解码来提高 解码处理速度。可从VPS、SPS、PPS和VCLNAL单元中获得在并行处理中需要的图像数据和 附加信息。
[0212] 根据本发明的一些实施例，能够并行处理的画面可通过经由SEI消息发送G0P中 包括的画面之间的参考关系信息而在解码端中被确定。因此，根据本发明的一些实施例，在 视频解码处理中能够对没有相互依赖关系的画面进行并行解码。
[0213] 另外，上述并行处理编码或解码操作可通过多核系统或多线程来实现。多线程用 于允许程序内的并行处理，并且即使在单个进程中也可进行并行处理。
[0214] 图21示出根据本发明的实施例的用于并行处理的多线程程序。
[0215] 根据本发明的实施例的并行处理编码/解码操作可通过W下步骤来实现无需单 独的同步处理的并行处理；分析各个画面之间的参考依赖关系，将各个画面的编码/解码 处理划分成多个单独任务，并通过依赖自由执行模型来处理各个任务。
[0216] 参照图21，在多线程程序中对每个画面的编码/解码处理可被划分成n个线程 2110和线程2120。线程是指在进程中被执行的流的单位。多线程可共享在共享存储器中 的共享变量2130。一般地，在多线程程序中，如果共享变量2130被使用，则线程之间的同步 通过使用锁（lock)或信号量（sema地ore)或者通过单独的模块（诸如调度器）而被实现。 例如，当第一线程2110使用共享变量2130时，其它线程2120在第一线程2110对与共享变 量2130相关的锁或信号量的使用结束之前处于等待状态，并且其它线程2120的执行被调 度器停止。
[0217] 图22示出使用锁或信号量的多线程程序中的线程执行处理。
[021引参照图22,在程序开始2210之后，线程保持程序的连续执行2220,直到状态通过 同步变为等待状态2230为止。如果状态通过同步变为等待状态，则调度器将线程改变为等 待状态2230,并且线程在锁或信号量变为可用之前处于等待状态2230。如果锁或信号量变 为可用并且调度器被执行，则调度器将线程重新改变为可操作状态，如果线程根据调度策 略再次进入可执行状态，则处理器的所有权被交给线程，使得程序可被执行2220。类似地， 在使用锁或信号量的多线程程序中，需要单独的调度器，并且等待时间被延长直到线程被 调度器重新执行为止。
[0219] 可通过自旋等待（spin-wait)方案来解决该种等待时间问题。自旋等待方案是该 样的方案；在该方案中，持续检查共享变量的改变并且保持线程的执行状态直到共享变量 被改变为止。该种自旋等待方案可提高同步反应性（即，速度），但为了持续检查共享变量 的改变，处理器需要保持活跃状态，而不是空闲状态。因此，由于用于对共享存储器的共享 变量进行确认的指令被持续执行，因此自旋等待方案会增加处理器的功耗。
[0220] 因此，根据本发明的实施例的多线程程序使共享变量的值在同步处理（使用共享 存储器的共享变量）中通过共享存储器被传送到线程之前线程的等待时间最小化，并尝试 将处理保持在空闲状态W减少处理器的功耗。
[0221] 图23是示出根据本发明的实施例的多线程程序的同步处理的流程图。
[0222] 参照图23,在操作2310,开始同步语法。在操作2320,检查共享变量是否被改变， 并且，当共享变量没有改变时，在操作2330,执行处理器停止命令。如果执行了处理器停止 命令，则处理器被保持在空闲状态直到中断发生为止，并因此处理器的功耗减少。处理器停 止命令可由中断停止，并且能够进行调度，使得可执行其它线程和处理。当处理器处于空闲 状态时，可在通过在系统中被周期性执行的定时器中断而离开空闲状态之后，检查共享变 量是否被改变。也就是说，通过允许在不需要单独的调度处理的情况下周期性地检查共享 变量是否被改变，处理器可被保持在空闲状态。基于根据本发明的实施例的多线程程序的 同步处理，通过在由于调度而使延迟未减少的情况下检查共享变量针对各个最小调度周期 是否被改变，处理器的功耗可减少。另外，与使用信号量的同步方案相比，可通过用允许例 如针对各个定时器中断周期进行调度的最小时间标准来检查共享变量是否被改变，W确保 快速反应性。
[0223] 如上所述，根据W上示例性实施例中的一个或更多个示例性实施例，通过识别在 视频解码处理中可被并行处理的画面并且对该种画面进行并行解码，可提高视频解码处理 的速度。
[0224] 本发明可被实现为可由计算机读取的计算机记录介质中的代码。计算机可读记录 介质包括存储可由计算机系统读取的数据的所有类型的记录装置。计算机可读记录介质的 一些示例是R0M、RAM、CD-R0M、磁带、软盘和光数据存储装置。另外，计算机可读记录介质可 分布在通过网络连接的计算机系统中，并且可作为由可被计算机读取的代码W分布式方式 被存储和执行。
[0225] 应理解，在此描述的示例性实施例应仅在描述性意义上被考虑，而非为了限制的 目的。在每个示例性实施例中的特征或方面的描述通常应被理解为可用于其它示例性实施 例中的其它类似特征或方面。虽然已参照附图描述了一个或更多个示例性实施例，但是本 领域的普通技术人员将理解，可在不脱离由权利要求限定的精神和范围的情况下，对其做 出形式上和细节上的各种改变。
【主权项】
1. 一种用于并行处理的视频编码方法，所述视频编码方法包括： 对画面组（GOP)中包括的画面执行帧间预测和帧内预测，并确定GOP中包括的画面之 间的编码顺序和参考依赖关系； 产生包括参考关系信息的预定数据单元，其中，参考关系信息是基于GOP中包括的画 面之间的编码顺序和参考依赖关系而产生的。2. 如权利要求1所述的视频编码方法，其中，参考关系信息是参考依赖树，其中，参考 依赖树是通过基于编码顺序和参考依赖关系将由GOP中的画面参考的画面放置在父节点 并将参考父节点的画面的画面放置在子节点而产生的。3. 如权利要求2所述的视频编码方法，其中，当参考父节点的画面的多个画面能够被 并行处理时，参考依赖树被形成为使得所述多个画面被包括在相同层的子节点中。4. 如权利要求1所述的视频编码方法，其中，所述预定数据单元是网络适应层（NAL)单 元，参考关系信息被包括在NAL单元之中的包含附加信息的补充增强信息消息（SEI)中。5. -种用于并行处理的视频编码设备，所述视频编码设备包括： 图像编码器，对画面组（GOP)中包括的画面执行帧间预测和帧内预测，并确定GOP中包 括的画面之间的编码顺序和参考依赖关系； 输出单元，产生包括参考关系信息的预定数据单元，其中，参考关系信息是基于GOP中 包括的画面之间的编码顺序和参考依赖关系而产生的。6. 如权利要求5所述的视频编码设备，其中，参考关系信息是参考依赖树，其中，参考 依赖树是通过基于编码顺序和参考依赖关系将由GOP中的画面参考的画面放置在父节点 并将参考父节点的画面的画面放置在子节点而产生的。7. 如权利要求5所述的视频编码设备，其中，所述预定数据单元是网络适应层（NAL)单 元，参考关系信息被包括在NAL单元之中的包含附加信息的补充增强信息消息（SEI)中。8. -种用于并行处理的视频解码方法，所述视频解码方法包括： 获取包括参考关系信息的预定数据单元，其中，参考关系信息是基于画面组（GOP)中 包括的画面之间的解码顺序和参考依赖关系而产生的； 基于所述数据单元中包括的参考关系信息，在GOP中包括的画面之中确定能够被并行 处理的画面； 对确定的画面进行并行解码。9. 如权利要求8所述的视频解码方法，其中，参考关系信息是参考依赖树，其中，参考 依赖树是通过基于编码顺序和参考依赖关系将由GOP中的画面参考的画面放置在父节点 并将参考父节点的画面的画面放置在子节点而产生的。10. 如权利要求8所述的视频解码方法，其中，确定能够被并行处理的画面的步骤包 括：将被包括在父节点的下层中并被包括在相同层的子节点中的画面确定为能够被并行处 理的画面。11. 如权利要求8所述的视频解码方法，其中，所述预定数据单元是网络适应层（NAL) 单元，参考关系信息被包括在NAL单元之中的包含附加信息的补充增强信息消息（SEI)中。12. -种用于并行处理的视频解码设备，所述视频解码设备包括： 接收器，获取包括参考关系信息的预定数据单元，其中，参考关系信息是基于画面组 (GOP)中包括的画面之间的解码顺序和参考依赖关系而产生的； 图像解码器，基于所述数据单元中包括的参考关系信息，在GOP中包括的画面之中确 定能够被并行处理的画面，并且对确定的画面进行并行解码。13. 如权利要求12所述的视频解码设备，其中，参考关系信息是参考依赖树，其中，参 考依赖树是通过基于编码顺序和参考依赖关系将由GOP中的画面参考的画面放置在父节 点并将参考父节点的画面的画面放置在子节点而产生的。14. 如权利要求12所述的视频解码设备，其中，确定能够被并行处理的画面的步骤包 括：将被包括在父节点的下层中并被包括在相同层的子节点中的画面确定为能够被并行处 理的画面。15. 如权利要求12所述的视频解码设备，其中，所述预定数据单元是网络适应层（NAL) 单元，参考关系信息被包括在NAL单元之中的包含附加信息的补充增强信息消息（SEI)中。
【专利摘要】提供一种用于并行处理的视频编码方法。所述视频编码方法包括：对画面组(GOP)中包括的画面执行帧间预测和帧内预测，并确定GOP中包括的画面之间的编码顺序和参考依赖关系；产生包括参考关系信息的预定数据单元，其中，参考关系信息是基于GOP中包括的画面之间的所述编码顺序和参考依赖关系而产生的。
【IPC分类】H04N19/00, H04N19/50
【公开号】CN104904202
【申请号】CN201380062307
【发明人】朴永五, 崔光杓, 金赞烈, 崔秉斗, 鲁元宇, 金京儿, 金德镐, 金敃宇
【申请人】三星电子株式会社, 延世大学校产学协力团
【公开日】2015年9月9日
【申请日】2013年9月30日
【公告号】US20150288970, WO2014051409A1
【技术领域】
[0001] 一个或更多个示例性实施例设及视频的并行编码和并行解码方案。
【背景技术】
[0002] 最近，随着数字显示技术的发展W及高质量数字TV的广泛使用，提出了用于处理 大量视频数据的新编解码器。另外，最近，随着硬件性能的发展，用于执行视频图像处理的 CPU或GPU被形成为多核，从而允许同时进行并行图像数据处理。
【发明内容】
[0003] -个或更多个示例性实施例包括将关于画面之间的参考关系的信息包括在预定 数据传输单元中W被发送。
[0004] 另外的方面将在随后的描述中部分地被阐述，并且部分将通过所述描述变得清 楚，或者可通过所提出的示例性实施例的实践而被获知。
[0005] 根据一个或更多个示例性实施例，一种用于并行处理的视频编码方法包括：对画 面组（G0P)中包括的画面执行帖间预测和帖内预测，并确定G0P中包括的画面之间的编码 顺序和参考依赖关系；产生包括参考关系信息的预定数据单元，其中，参考关系信息是基于 G0P中包括的画面之间的编码顺序和参考依赖关系而产生的。
[0006] 根据一个或更多个示例性实施例，一种用于并行处理的视频编码设备包括：图像 编码器，对画面组（G0P)中包括的画面执行帖间预测和帖内预测，并确定G0P中包括的画 面之间的编码顺序和参考依赖关系；输出单元，产生包括参考关系信息的预定数据单元，其 中，参考关系信息是基于G0P中包括的画面之间的编码顺序和参考依赖关系而产生的。
[0007] 根据一个或更多个示例性实施例，一种用于并行处理的视频解码方法包括：获得 包括参考关系信息的预定数据单元，其中，参考关系信息是基于画面组（G0P)中包括的画 面之间的解码顺序和参考依赖关系而产生的；基于所述数据单元中包括的参考关系信息， 在G0P中包括的画面之中确定可被并行处理的画面；对确定的画面进行并行解码。
[0008] 根据一个或更多个示例性实施例，一种用于并行处理的视频解码设备包括：接收 器，获得包括参考关系信息的预定数据单元，其中，参考关系信息是基于画面组（G0P)中包 括的画面之间的解码顺序和参考依赖关系而产生的；图像解码器，基于所述数据单元中包 括的参考关系信息，在G0P中包括的画面之中确定可被并行处理的画面，并且对确定的画 面进行并行解码。
【附图说明】
[0009] 从W下结合附图对示例性实施例的描述，该些和/或其它方面将变得明显和更易 于理解，其中；
[0010] 图1是根据本发明的实施例的基于树结构的编码单元的视频编码设备的框图。
[0011] 图2是根据本发明的实施例的基于树结构的编码单元的视频解码设备的框图。
[0012] 图3示出根据本发明的实施例的编码单元的构思。
[0013] 图4是根据本发明的实施例的基于编码单元的图像编码器的框图。
[0014] 图5是根据本发明的实施例的基于编码单元的图像解码器的框图。
[0015] 图6示出根据本发明的实施例的根据深度的编码单元W及分区。
[0016] 图7示出根据本发明的实施例的编码单元和变换单元之间的关系。
[0017] 图8示出根据本发明的实施例的根据深度的编码信息。
[001引图9示出根据本发明的实施例的根据深度的编码单元。
[0019] 图10、图11和图12示出根据本发明的实施例的编码单元、预测单元和变换单元之 间的关系。
[0020] 图13示出根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关 系。
[0021] 图14是根据本发明的实施例的用于并行处理的视频编码设备的框图。
[002引图15示出根据本发明的实施例的NAL单元的类型。
[0023] 图16示出根据本发明的实施例的分层G0P结构。
[0024] 图17示出用于图16的分层G0P结构中所包括的画面的参考依赖树（RDT)。
[0025] 图18是示出根据本发明的实施例的用于并行处理的视频编码方法的流程图。
[0026] 图19是根据本发明的实施例的用于并行处理的视频解码设备的框图。
[0027] 图20是示出根据本发明的实施例的用于并行处理的视频解码方法的流程图。
[0028] 图21示出根据本发明的实施例的用于并行处理的多线程程序。
[0029] 图22示出多线程程序中的使用锁（lock)或信号量（semaphore)的线程执行处 理。
[0030] 图23是示出根据本发明的实施例的多线程程序的同步处理的流程图。
【具体实施方式】
[0031] 现在将详细描述附图中示出的示例性实施例，其中，相同的参考标号始终指示相 同元件。在该方面，本示例性实施例可具有不同形式，且不应被解释为受限于在此阐述的描 述。因此，在下面仅通过参照附图描述示例性实施例来解释本描述的各个方面。当诸如"… 中的至少一个"在一列元件之后时，修饰整列元件，而不修饰所述列中的单个元件。
[0032] 在下文中，将参照图1至图13来描述根据本发明的实施例的基于树结构的编码单 元的视频编码方案和视频解码方案。另外，将参照图14至图23来描述根据本发明的实施 例的用于并行处理的对视频进行编码和解码的方案。
[0033] 首先，将参照图1至图13来描述基于树结构的编码单元的视频编码方案和视频解 码方案。
[0034] 图1是根据本发明的实施例的基于树结构的编码单元的视频编码设备100的框 图。
[0035] 根据本发明的实施例的设及基于根据树结构的编码单元的视频预测的视频编码 设备100包括最大编码单元划分器110、编码单元确定器120和输出单元130。在下文中， 为便于解释，根据本发明的实施例的设及基于根据树结构的编码单元的视频预测的视频编 码设备100将被称为视频编码设备100。
[0036] 最大编码单元划分器110可基于图像的当前画面的最大编码单元来获得当前画 面，其中，最大编码单元是最大尺寸的编码单元。如果当前画面大于最大编码单元，则可将 当前画面的图像数据划分为至少一个最大编码单元。根据本发明的实施例的最大编码单元 可W是诸如32X32、64X64、128X128或256X256的数据单元，并且可W是长度和宽度的 尺寸为2的若干次方的正方形的数据单元。图像数据可通过至少一个最大编码单元被输出 到编码单元确定器120。
[0037] 根据本发明的实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元被 空间划分的次数，并且随着深度加深，根据深度的编码单元可从最大编码单元被划分到最 小编码单元。最大编码单元的深度为最高深度，最小编码单元可被定义为最低层的编码单 元。针对最大编码单元，随着深度加深，根据深度的编码单元的尺寸减小，因此更高深度的 编码单元可包括多个更低深度的编码单元。
[0038] 如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单 元，并且每个最大编码单元可包括根据深度被划分的编码单元。根据深度对根据本发明的 实施例的最大编码单元进行划分，因此可根据深度对包括在最大编码单元中的空间域的图 像数据进行分层分类。
[0039] 可预先设置编码单元的最大尺寸和最大深度，其中，所述最大深度限制对最大编 码单元的高度和宽度进行分层划分的总次数。
[0040] 编码单元确定器120对通过根据深度对最大编码单元的区域进行划分而获得的 至少一个划分区域进行编码，W根据至少一个划分区域来确定输出最终编码结果的深度。 也就是说，编码单元确定器120针对当前画面的每个最大编码单元W根据深度的编码单元 对图像数据进行编码，并选择产生最小编码误差的深度，来确定编码深度。将根据最大编码 单元的图像数据W及确定的编码深度输出到输出单元130。
[0041] 根据小于最大深度的至少一个深度，基于根据深度的编码单元对最大编码单元中 的图像数据进行编码，并且，对基于根据深度的编码单元的编码结果进行比较。作为根据深 度的编码单元中的编码误差的结果，可选择具有最小编码误差的深度。可针对各个最大编 码单元确定至少一个编码深度。
[0042] 通过随着深度加深而对编码单元进行分层划分，最大编码单元的尺寸被划分，并 且编码单元的数量增加。另外，即使对于包括在一个最大编码单元中的相同深度的编码单 元，仍测量针对各个数据的编码误差，并确定是否将编码单元划分到更低深度。因此，即使 包括在一个最大编码单元中的数据也会根据位置而具有不同的基于深度的编码误差，并因 此编码深度可被不同地确定。因此，可针对一个最大编码单元设置一个或更多个深度，并且 可根据一个或更多个编码深度的编码单元来对最大编码单元的数据进行划分。
[0043] 因此，根据发明的实施例的编码单元确定器120可确定包括在当前最大编码单元 中的根据树结构的编码单元。根据本发明的实施例的根据树结构的编码单元包括在当前最 大编码单元中所包括的所有深度的编码单元之中的被确定为编码深度的深度的编码单元。 可根据最大编码单元的相同区域中的深度分层地确定编码深度的编码单元，并可在最大编 码单元中的其它区域中独立地确定编码深度的编码单元。类似地，当前区域的编码深度可 独立于其它区域的编码深度被确定。
[0044] 根据本发明的实施例的最大深度是与从最大编码单元到最小编码单元的划分次 数相关的索引。根据本发明的实施例的第一最大深度可表示从最大编码单元到最小编码单 元的划分总次数。根据本发明的实施例的第二最大深度可表示从最大编码单元到最小编码 单元的深度等级的总数。例如，当最大编码单元的深度是0时，对最大编码单元划分一次的 编码单元的深度可被确定为1，对最大编码单元划分两次的编码单元的深度可被确定为2。 该里，如果从最大编码单元划分四次的编码单元是最小编码单元，则存在深度0、1、2、3和4 的深度等级，并因此第一最大深度可被设置为4,第二最大深度可被设置为5。
[0045] 可执行最大编码单元的预测编码和变换。还可针对每个最大编码单元，针对小于 最大深度的每个深度的根据深度的编码单元来执行预测编码和变换。
[0046] 每当根据深度对最大编码单元进行划分时，根据深度的编码单元的数量增加，并 因此需要对随着深度加深而产生的所有深度的所有编码单元执行预测编码和变换。在下文 中，为了便于解释，在一个或更多个最大编码单元中，将基于当前深度的编码单元来描述预 测编码和变换。
[0047] 根据本发明的实施例的视频编码设备100可不同地选择用于对图像数据进行编 码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和滴编码 的操作，并且，可针对所有操作使用相同的数据单元，或者可针对不同操作使用不同的数据 单元。
[0048] 例如，视频编码设备100不仅可选择用于对图像数据进行编码的编码单元，还可 选择不同于编码单元的数据单元，来对编码单元中的图像数据执行预测编码。
[0049] 为了对最大编码单元执行预测编码，可基于编码深度的编码单元（即，基于根据 本发明的实施例的不再被划分的编码单元）来执行预测编码。W下，不再被划分且成为预 测编码的基础的编码单元被称为预测单元。通过划分预测单元得到的分区可包括预测单元 W及通过对预测单元的高度和宽度中的至少一个进行划分而得到的数据单元。分区可W是 处于对编码单元的预测单元进行划分的形式的数据单元，预测单元可W是尺寸与编码单元 的尺寸相同的分区。
[0050] 例如，当尺寸为2NX2N(其中，N是正整数）的编码单元不再被划分时，预测单元 尺寸成为2NX2N，并且分区尺寸可W是2NX2N、2NXN、NX2N、NXN等。根据本发明的实施 例的分区类型可选择性地包括通过按照预测单元的高度或宽度的对称比率被划分出的对 称分区、通过按照诸如1;n或n:l的非对称比率被划分出的分区、W几何形状被划分出的分 区、W及处于任意形状的分区。
[0051] 预测单元的预测模式可W是帖内模式、帖间模式和跳过模式中的至少一个。例如， 可对尺寸为2NX2N、2NXN、NX2N和NXN的分区 执行帖内模式或帖间模式。另外，可仅对 尺寸为2NX2N的分区执行跳过模式。可对编码单元中的每一个预测单元独立地执行编码， 从而可选择具有最小编码误差的预测模式。
[0052] 另外，根据本发明的实施例的视频编码设备100不仅可基于用于对图像数据进行 编码的编码单元还可基于与编码单元不同的数据单元，来对编码单元中的图像数据执行变 换。为了对编码单元进行变换，可基于尺寸小于编码单元的尺寸的变换单元或者尺寸与编 码单元的尺寸相同的变换单元来执行变换。例如，变换单元可包括用于帖内模式的数据单 元和用于帖间模式的变换单元。
[0053] 按照与根据本发明的实施例的根据树结构的编码单元中的方案类似的方案，编码 单元中的变换单元可被递归地划分为更小尺寸的变换单元，并且，可基于根据变换深度的 根据树结构的变换单元，对编码单元中的残差数据进行划分。
[0054] 甚至可针对根据本发明的实施例的变换单元设置变换深度，其中，变换深度指示 通过对编码单元的高度和宽度进行划分而达到变换单元的划分次数。例如，如果尺寸为 2NX2N的当前编码单元的变换单元的尺寸为2NX2N，则变换深度可被设置为0,如果变换 单元的尺寸为NXN，则变换深度可被设置为1，如果变换单元的尺寸为N/2XN/2,则变换深 度可被设置为2。也就是说，针对变换单元，可根据变换深度设置根据树结构的变换单元。 [00巧]针对用于各个编码深度的编码信息，除了需要编码深度之外，还需要与预测相关 的信息和与变换相关的信息。因此，编码单元确定器120除了可确定产生最小编码误差的 编码深度之外，还可确定预测单元被划分所根据的分区类型、用于各个预测单元的预测模 式W及用于变换的变换单元的尺寸。
[0056] 将参照图3至图12描述确定根据本发明的实施例的最大编码单元中的根据树结 构的编码单元、预测单元/分区和变换单元的方案。
[0057] 编码单元确定器120可通过使用基于拉格朗日乘数的率失真优化方案，来测量根 据深度的编码单元的编码误差。
[0058] 输出单元130W比特流的形式基于至少一个编码深度输出最大编码单元的编码 的图像数据和关于用于各个深度的编码模式的信息，其中，所述至少一个编码深度在编码 单元确定器120中被确定。
[0059] 编码的图像数据可W是对图像的残差数据进行编码的结果。
[0060] 关于根据深度的编码模式的信息可包括编码深度信息、预测单元的分区类型信 息、预测模式信息和变换单元的尺寸信息。
[0061] 可通过使用根据深度的划分信息来定义编码深度信息，其中，根据深度的划分信 息指示是否在更低深度的编码单元中进行编码而不是根据当前深度进行编码。如果当前编 码单元的当前深度是编码深度，则在当前深度的编码单元中对当前编码单元进行编码，因 此可将当前深度的划分信息定义为不再将当前深度划分到更低深度。相反，如果当前编码 单元的当前深度不是编码深度，则可能需要尝试通过使用更低深度的编码单元进行编码， 并因此可将当前深度的划分信息定义为将当前编码单元划分为更低深度的编码单元。
[0062] 如果当前深度不是编码深度，则对被划分为更低深度的编码单元的编码单元执行 编码。在当前深度的编码单元中存在更低深度的一个或更多个编码单元，并因此对每个更 低深度的每个编码单元重复地执行编码，并因此可对相同深度的每个编码单元执行递归编 码。
[0063] 确定一个最大编码单元中的树结构的编码单元，并且需要确定与用于编码深度的 每个编码单元的至少一个编码模式有关的信息，并因此可针对一个最大编码度单元确定关 于至少一个编码模式的信息。另外，可根据深度对最大编码单元的数据进行分层划分，并且 编码深度可根据位置而不同，并因此可针对数据设置关于编码深度和编码模式的信息。
[0064] 因此，在根据本发明的实施例的输出单元130中，可将关于编码深度和编码模式 的编码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一 个。
[0065] 根据本发明的实施例的最小单元是通过将处于最低编码深度的最小编码单元的 尺寸划分为4份而获得的矩形数据单元。根据本发明的实施例的最小单元可W是该样的最 大尺寸的正方形数据单元；该最大尺寸的正方形数据单元可被包括在最大编码单元中所包 括的所有编码单元、预测单元、分区单元和变换单元中。
[0066] 例如，通过输出单元130输出的编码信息可被分类为用于根据深度的各个编码单 元的编码信息和用于各个预测单元的编码信息。用于根据深度的各个编码单元的编码信息 可包括预测模式信息和分区尺寸信息。通过预测单元传送的编码信息可包括关于帖间模式 的估计方向的信息、关于帖间模式的参考图像索引的信息、关于运动矢量的信息、关于帖内 模式的色度分量的信息、W及关于帖内模式的插值方案的信息。
[0067] 针对各个画面、条带或G0P定义的关于编码单元的最大尺寸的信息和关于最大深 度的信息可被插入到比特流的头、序列参数集或画面参数集中。
[0068] 另外，对于当前视频允许的关于变换单元的最大尺寸的信息和关于变换单元的最 小尺寸的信息也可通过比特流的头、序列参数集或画面参数集被输出。输出单元130可对 参照图1至图6描述的与预测相关的参考信息、预测信息、单方向预测信息W及条带类型信 息（包括四个条带类型）等进行编码W便随后被输出。
[0069] 根据视频编码设备100的最简化的形式的实施例，用于各个深度的编码单元是具 有更高一层深度的编码单元的高度和宽度的一半尺寸的编码单元。也就是说，如果当前 深度的编码单元的尺寸是2NX2N，则更低深度的编码单元的尺寸是NXN。另外，尺寸为 2NX2N的当前编码单元可包括最多4个尺寸为NXN的更低深度的编码单元。
[0070] 因此，视频编码设备100可基于考虑当前画面的特征而确定的最大编码单元尺寸 和最大深度，针对各个最大编码单元确定具有最优形状和尺寸的编码单元，W形成根据树 结构的编码单元。另外，可用于各个最大编码单元的各种预测模式和变换方案来执行 编码，并因此可考虑各种图像尺寸的编码单元的图像特征来确定最优编码模式。
[0071] 因此，如果W现有宏块单元对具有很高的分辨率或很大数据量的图像进行编码， 则每个画面的宏块的数量变得过大。因此，针对每个宏块产生的压缩信息也会增加，因此压 缩信息的传输负荷会增加，并且压缩效率会降低。因此，根据本发明的实施例的视频编码设 备可考虑图像尺寸来增加编码单元的最大尺寸，并考虑图像特征来调整编码单元，并因此 可提高图像压缩效率。
[0072] 图2是根据本发明的实施例的基于树结构的编码单元的视频解码设备的框图。
[0073] 设及基于根据树结构的编码单元的视频预测的视频解码设备200包括接收器 210、图像数据和编码信息提取器220W及图像数据解码器230。为了便于解释，在下文中， 设及基于根据树结构的编码单元的视频预测的视频解码设备200将被称为视频解码设备 200。
[0074] 用于视频解码设备200的解码操作的诸如编码单元的各种术语（诸如深度、预测 单元、变换单元和关于各种编码模式的信息）的定义已在上面参照图1和视频编码设备100 被描述。
[00巧]接收器210接收和解析关于编码视频的比特流。图像数据和编码信息提取器220 从解析的比特流，基于针对各个最大编码单元的根据树结构的编码单元，针对各个最大编 码单元提取编码图像数据，W将提取的图像数据输出到解码器230。图像数据和编码信息提 取器220可从关于当前画面的头、序列参数集或画面参数集提取关于当前画面的编码单元 的最大尺寸的信息。
[0076] 另外，图像数据和编码信息提取器220从解析的比特流，针对各个最大编码单元， 提取关于根据树结构的编码单元的编码深度和编码模式的信息。提取的关于编码深度和编 码模式的信息被输出到解码器230。也就是说，比特流中的图像数据可被划分为最大编码单 元，使得图像数据解码器230可针对各个最大编码单元对图像数据进行解码。
[0077] 可针对一个或更多个编码深度信息集设置针对各个最大编码单元的关于编码深 度和编码模式的信息，关于用于各个编码深度的编码模式的信息可包括编码单元的分区类 型信息、预测模式信息和变换单元的尺寸信息。另外，根据深度的划分信息可被提取为编码 深度信息。
[0078] 由图像数据和编码信息提取器220提取的针对各个最大编码单元的关于编码深 度和编码模式的信息是关于该样的编码深度和编码模式的信息：该编码深度和编码模式被 确定为通过按照最大编码单元和深度针对各个编码单元重复地执行编码时产生最小编码 误差。因此，视频解码设备200可根据产生最小编码误差的编码方案对数据进行解码来恢 复图像。
[0079] 根据本发明的实施例的关于编码深度和编码模式的编码信息可被分配给编码单 元、预测单元和最小单元中的预定数据单元，并因此图像数据和编码信息提取器220可针 对各个确定的数据单元，提取关于编码深度和编码模式的信息。如果关于最大编码单元的 编码深度和编码模式的信息已针对各个数据单元被记录，则可将具有关于相同编码深度和 编码模式的信息的预定数据单元推断为是包括在同一最大编码单元中的数据单元。
[0080] 图像数据解码器230基于针对各个最大编码单元的关于编码深度和编码模式的 信息，对各个最大编码单元的图像数据进行解码，来恢复当前画面。也就是说，图像数据解 码器230可基于读取出的针对包括在最大编码单元中的根据树结构的编码单元之中的各 个编码单元的分区类型、预测模式和变换单元，对已被编码的图像数据进行解码。解码处理 可包括预测处理（包含帖内预测和运动补偿）和逆变换处理。
[0081] 图像数据解码器230可基于针对各个编码深度的编码单元的预测单元的分区类 型信息和预测模式信息，根据针对各个编码单元的各个分区和预测模式，执行帖内预测和 运动补偿。
[0082] 此外，针对各个最大编码单元，图像数据解码器230可针对各个编码单元读取根 据树结构的变换单元信息，并基于用于逆变换的变换单元来执行逆变换。通过逆变换，可恢 复编码单元的空间域的像素值。
[0083] 图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编码单元 的编码深度。如果划分信息指示在当前深度中未示出进一步的划分，则当前深度是编码深 度。因此，图像数据解码器230可通过使用预测单元的分区类型、预测模式和变换单元尺寸 信息，针对当前最大编码单元的图像数据，对当前深度的编码单元进行解码。
[0084] 也就是说，观察针对编码单元、预测单元和预定数据单元设置的编码信息集，具有 包括相同划分信息的编码信息的数据单元被收集，并且收集的数据单元可被认为是将由图 像数据解码器230按相同编码模式解码的一个数据单元。W此方式，可通过获得关于针对 各个确定的编码单元的编码模式的信息来对当前编码单元执行解码。
[0085] 因此，视频解码设备200可获得关于在编码处理中通过对各个最大编码单元递归 地执行编码而产生最小编码误差的编码单元的信息，W在对当前画面进行解码中使用。也 就是说，对根据树结构的编码单元的编码图像数据的解码成为可能，其中，所述编码图像数 据在针对各个最大编码单元的最佳编码单元中被确定。
[0086] 因此，即使是高分辨率的图像和大数据量的图像，也可通过根据编码模式和编码 单元尺寸有效地对图像数据进行恢复来被恢复，其中，所述编码模式和编码单元尺寸通过 使用发送自编码终端的关于最优编码模式的信息被自适应地确定为图像的特性。
[0087] 图3示出根据本发明的实施例的编码单元的构思。
[008引编码单元的示例被表示为宽度X高度，并且32X32U6X16和8X8可被包括 在尺寸为64X64的编码单元中。尺寸为64X64的编码单元可被划分为64X64、64X32、 32X64和32X32的分区，尺寸为32X32的编码单元可被划分为32X32、32X16、16X32和 16X16的分区，尺寸为16X16的编码单元可被划分为16X16、16X8、8X16和8X8的分 区，尺寸为8X8的编码单元可被划分为8X8、8X4、4X8和4X4的分区。
[0089] 对于视频数据310,分辨率被设置为1920X108 0,编码单元的最大尺寸被设置为 64,最大深度被设置为2。对于视频数据320,分辨率被设置为1920X1080,编码单元的最大 尺寸被设置为64,最大深度被设置为3。对于视频数据330,分辨率被设置为352X288,编 码单元的最大尺寸被设置为16,最大深度被设置为1。图9中示出的最大深度表示从最大 编码单元到最小解码单元的划分总次数。
[0090] 当分辨率高或数据量大时，优选的是，最大编码尺寸较大，W便除了提高编码效率 之外，还准确地反映图像的特征。因此，具有比视频数据330的分辨率更高分辨率的视频数 据310和320的最大编码尺寸可被设置为64。
[0091] 视频数据310的最大深度是2,并因此当进行两次划分并且深度变高两层时，视频 数据310的编码单元可包括从长轴尺寸为64的最大编码单元至长轴尺寸为32和16的编 码单元。相比之下，视频数据330的最大深度是1，并因此当进行一次划分并且深度变高一 层时，视频数据330的编码单元335可包括从长轴尺寸为16的编码单元到长轴尺寸为8的 编码单元。
[0092] 视频数据320的最大深度是3,并因此当进行=次划分并且深度变高=层时，视频 数据320的编码单元325可包括从长轴尺寸为64的最大编码单元到长轴尺寸为32、16和 8的编码单元。随着深度变高，表达详细信息的能力可被提高。
[0093] 图4是根据本发明的实施例的基于编码单元的图像编码器的框图。
[0094] 根据本发明的实施例的图像编码器400包括在视频编码设备100的编码单元确定 器120中执行W对图像数据进行编码的操作。也就是说，帖内预测器410对当前帖405中 的帖内模式的编码单元执行帖内预测，运动估计器420和运动补偿器425通过使用帖间模 式的当前帖405和参考帖495,执行帖间估计和运动补偿。
[0095] 从帖内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430 和量化器440被输出为变换系数。量化后的变换系数通过反量化器460和频率逆变换器470 被恢复为空间域的数据，恢复的空间域的数据通过去块单元480和偏移调整单元490被后 处理W便被输出为参考帖495。量化后的变换系数可通过滴编码器450被输出为比特流。
[0096] 为了被应用于根据本发明的实施例的视频编码设备100,作为图像编码器400的 元件的所有的帖内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、滴 编码器450、反量化器460、频率逆变换器470、去块单元480和偏移调整单元490需要在考 虑用于各个最大编码单元的最大深度的情况下，基于根据树结构的编码单元中的各个编码 单元执行操作。
[0097] 具体地，帖内预测器410、运动估计器420和运动补偿器425在考虑当前最大编码 单元的最大尺寸和最大深度的情况下确定根据树结构的编码单元中的各个编码单元的分 区和预测模式，变换器430需要确定根据树结构的编码单元中的各个编码单元内的变换单 元的尺寸。
[009引图5是根据本发明的实施例的基于编码单元的图像解码器的框图。
[0099] 解码所需的关于编码的信息W及作为解码的对象的编码图像数据在比特流505 经过解析器510时被解析。编码图像数据通过解码器520和反量化器530被输出为反量化 的数据，空间域的图像数据通过频率逆变换器540被恢复。
[0100] 对于空间域的图像数据，帖内预测器550对帖内模式的编码单元执行帖内预测， 运动补偿器560通过使用参考帖585对帖间模式的编码单元执行运动补偿。
[0101] 经过帖内预测器550和运动补偿器560的空间域的数据可通过去块单元570和偏 移调整单元580被后处理W被输出为恢复帖595。另外，通过去块单元570和偏移调整单元 580后处理的数据可被输出为参考帖585。
[0102] 为了在视频解码设备200的图像数据解码器230中对图像数据进行解码，可执行 根据本发明的实施例的图像解码器500的解析器510之后的操作。
[0103] 为了被应用于根据本发明的实施例的视频解码设备200,所有的解析器510、滴解 码器520、反量化器530、频率逆变换器540、帖内预测器550、运动补偿器560、去块单元570 和偏移调整单元580需要针对各个最大编码单元基于根据树结构的编码单元执行操作。
[0104] 具体地，运动补偿器560针对根据树结构的各个编码单元确定分区和预测模式， 频率逆变换器540需要针对各个编码单元确定变换单元的尺寸。
[0105] 图6示出根据本发明的实施例的根据深度的编码单元和分区。
[0106] 根据本发明的实施例的视频编码设备100和根据本发明的实施例的视频解码设 备200使用分层编码单元W考虑图像特征。可根据图像的特征自适应地确定编码单元的最 大高度、最大宽度和最大深度，并可根据用户的要求不同地设置编码单元的最大高度、最大 宽度和最大深度。可根据预定编码单元的最大尺寸来确定根据深度的编码单元的尺寸。
[0107] 根据本发明的实施例的编码单元的分层结构600示出了W下情况；编码单元的最 大高度和最大宽度是64,并且最大深度是3。此时，最大深度是指从最大编码单元到最小编 码单元的划分总次数。深度沿着根据本发明的实施例的编码单元的分层结构600的垂直轴 变高，并因此每个深度的编码单元的高度和宽度被分别划分。另外，预测单元和分区沿着编 码单元的分层结构600的水平轴被示出，其中，所述预测单元和分区成为对根据深度的编 码单元进行预测编码的基础。
[010引也就是说，在编码单元的分层结构600中，编码单元610是最大编码单元，深度为 0,并且编码单元的尺寸（即，高度和宽度）为64X64。深度沿着垂直轴变得更高，存在尺寸 为32X32且深度为1的编码单元620、尺寸为16X16且深度为2的编码单元630、尺寸为 8X8且深度为3的编码单元640。尺寸为8X8且深度为3的编码单元640是最小编码单 yn0
[0109] 编码单元的预测单元和分区针对各个深度沿着水平轴被排列。也就是说，如果尺 寸为64X64且深度为0的编码单元610是预测单元，则可将预测单元划分成包括在尺寸为 64X64的编码单元610中的尺寸为64X64的分区610、尺寸为64X32的分区612、尺寸为 32X64的分区614和尺寸为32X32的分区616。
[0110] 类似地，可将尺寸为32X32且深度为1的编码单元的预测单元划分成包括在尺寸 为32X32的编码单元620中的尺寸为32X32的分区、尺寸为32X16的分区622、尺寸为 16X32的分区624和尺寸为16X16的分区626。
[0111] 可将尺寸为16X16且深度为2的编码单元630的预测单元划分成包括在尺寸为 16X16的编码单元630中的尺寸为16X16的分区630、尺寸为16X8的分区632、尺寸为 8X16的分区634和尺寸为8X8的分区636。
[0112] 可将尺寸为8X8且深度为3的编码单元640的预测单元划分成包括在尺寸为 8X8的编码单元640中的尺寸为8X8的分区、尺寸为8X4的分区642、尺寸为4X8的分 区644和尺寸为4X4的分区。
[0113] 最后，尺寸为8X8且深度为3的编码单元640是最小编码单元和最低深度的编码 单元。
[0114] 为了确定最大编码单元610的编码深度，根据本发明的实施例的视频编码设备 100的编码单元确定器120需要对包括在最大编码单元610中的各个深度的各个编码单元 执行编码。
[0115] 随着深度增加，包括相同范围和相同尺寸的数据的根据深度的编码单元的数量增 加。例如，对于包括在深度为1的一个编码单元中的数据，可需要深度为2的4个编码单 元。因此，为了根据深度比较对相同数据进行编码的结果，需要分别使用深度为1的一个编 码单元和深度为2的四个编码单元来执行编码。
[0116] 为了针对各个深度进行编码，可沿着分层结构600的水平轴，针对各个深度的编 码单元的各个预测单元执行编码，从而可选择具有最小编码误差的代表性的编码误差。另 夕F，深度沿着编码单元的分层结构600的水平轴变高，可针对各个深度执行编码，并且可通 过比较根据深度的代表性误差来捜索最小编码误差。在最大编码单元610中的具有最小编 码误差的深度和分区可被选为最大编码单元610的编码深度和分区类型。
[0117] 图7示出根据本发明的实施例的编码单元和变换单元之间的关系。
[0118] 根据本发明的实施例的视频编码设备100或根据本发明的实施例的视频解码设 备200针对各个最大编码单元，按照尺寸小于最大编码单元的尺寸或与最大编码单元的尺 寸相同的编码单元，对图像进行编码或解码。可基于不大于各个编码单元的数据单元，来选 择用于在编码处理期间进行变换的变换单元的尺寸。
[0119] 例如，在根据本发明的实施例的视频编码设备100或根据本发明的实施例的视频 解码设备200中，在当前编码单元710的尺寸为64X64时，可通过使用尺寸为32X32的变 换单元720来执行变换。
[0120] 此外，可将尺寸为64X64的编码单元710的数据分别转换为尺寸为32X32、 16X16、8X8和4X4的变换单元，并然后可选择具有与原始数据单元相比最小的误差的变 换单元。
[0121] 图8示出根据本发明的实施例的根据深度的编码信息。
[0122] 根据本发明的实施例的视频编码设备100的输出单元130可对各个编码深度的各 个编码单元的关于分区类型的信息800、关于预测模式的信息810W及关于变换单元尺寸 的信息820进行编码，并将信息800、信息810和信息820作为关于编码模式的信息来发送。
[0123] 关于分区类型的信息800指示关于当前编码单元的预测单元被划分出的分区的 形状的信息，其中，分区作为用于对当前编码单元进行预测编码的数据单元。例如，可将尺 寸为2NX2N的当前编码单元CU_0划分成W下分区中的一个；尺寸为2NX2N的分区802、尺 寸为2NXN的分区804、尺寸为NX2N的分区806和尺寸为NXN的分区808。在此情况下， 关于当前编码单元的分区类型的信息800可被设置为指示W下分区之一；尺寸为2NX2N的 分区802、尺寸为2NXN的分区804、尺寸为NX2N的分区806和尺寸为NXN的分区808。
[0124] 关于预测模式的信息810指示针对各个分区的预测模式。例如，通过关于预测模 式的信息810,可设置是否按照帖内模式812、帖间模式814和跳过模式816中的一种对由 关于分区类型的信息800指示的分区执行预测编码。
[0125] 另外，关于变换单元尺寸的信息820指示成为对当前编码单元进行变换的基础的 变换单元。例如，变换单元可W是第一帖内变换单元尺寸822、第二帖内变换单元尺寸824、 第一帖间变换单元尺寸826和第二帖间变换单元尺寸828之一。
[0126] 视频解码设备200的图像数据和编码信息提取器210可针对各个深度的各个编码 单元提取关于分区类型的信息800、关于预测模式的信息810和关于变换单元尺寸的信息 820,W便在解码过程中被使用。
[0127] 图9示出根据本发明的实施例的根据深度的编码单元。
[012引划分信息可用来指示深度的改变。划分信息指示当前深度的编码单元是否被划分 成更低深度的编码单元。
[0129] 用于对深度为0且尺寸为2N_0X2N_0的编码单元900进行预测编码的预测单元 910可包括尺寸为2N_0X2N_0的分区类型912、尺寸为2N_0XN_0的分区类型914、尺寸为 N_0X2N_0的分区类型916和尺寸为N_0XN_0的分区类型918。仅示出了按照对称比率划 分预测单元910而获得的分区类型912、914、916和918,但如上所述，分区类型不限于此，并 可包括非对称分区、任意形状的分区和几何形状的分区。
[0130]对于每种分区类型，需要对尺寸为2N_0X2N_0的一个分区、尺寸为2N_0XN_0的 两个分区、尺寸为N_0X2N_0的两个分区和尺寸为N_0XN_0的四个分区重复地执行预测编 码。对于尺寸 为2N_0X2N_0的分区、尺寸为N_0X2N_0的分区、尺寸为2N_0XN_0的分区 和尺寸为N_0XN_0的分区，可按照帖内模式和帖间模式执行预测编码。可按照跳过模式仅 对2N_0X2N_0的分区执行预测编码。
[013。如果根据尺寸为2N_0X2N_0的分区类型912、尺寸为2N_0XN_0的分区类型914和尺寸为N_0X2N_0的分区类型916中的一个分区类型的编码误差最小，则不需要更低深 度的分区。
[013引如果根据尺寸为N_0XN_0的分区类型918的编码误差最小，则深度0改变为1，执 行划分巧20)，并对深度为2且尺寸为N_0XN_0的分区类型的编码单元930重复地执行编 码W捜索最小编码误差。
[013引用于对深度为1且尺寸为2N_1X2N_1( =N_0XN_0)的编码单元930进行预测编 码的预测单元944可包括尺寸为2N_1X2N_1的分区类型942、尺寸为2N_1XN_1的分区类 型944、尺寸为N_1X2N_1的分区类型946W及尺寸为N_1XN_1的分区类型948。
[0134] 另外，如果根据尺寸为N_1XN_1的分区类型948的编码误差最小，则深度1改变 成2,执行划分巧50)，并对深度为2且尺寸为N_2XN_2的编码单元960重复执行编码W捜 索最小误差。
[0135] 如果最大深度是山则根据深度的编码单元被设置直到深度为d-1时为止，并且划 分信息可被设置直到深度为d-2时为止。也就是说，如果划分970从深度d-2开始并且编码 被执行甚至直到d-1，则用于对深度为d-1且尺寸为2N_(d-l)X2N_(d-l)的编码单元980 进行预测编码的预测单元990可包括尺寸为2N_(d-l)X2N_(d-l)的分区类型992、尺寸为 2N_(d-l)XN_(d-l)的分区类型994、尺寸为N_(d-l)X2N_(d-l)的分区类型996和尺寸为 N_(d-l)XN_(d-l)的分区类型 998。
[0136] 可对分区类型中的尺寸为2N_(d-1)X2N_(d-1)的一个分区、尺寸为2N_ (d-1)XN_ (d-1)的两个分区、尺寸为N_ (d-1)X2N_ (d-1)的两个分区W及尺寸为N_ (d-1)XN_(d-1)的四个分区执行通过预测编码的编码，使得可捜索具有最小编码误差的分 区类型。
[0137] 虽然根据尺寸为N_(d-1)XN_(d-1)的分区类型998的编码误差最小，但是最大深 度是d，并因此深度为d-1的编码单元CU_(d-1)也不再经过更低深度的划分处理。另外，用 于当前最大编码单元900的编码深度被确定为d-1，并且分区类型可被确定为N_ (d-1)XN_ (d-1)。此外，最大深度是d，并因此不设置用于深度为d-1的编码单元952的划分信息。 [013引数据单元999可被称为用于当前最大编码单元的最小单元。根据本发明的实施例 的最小单元可W是该样的正方形数据单元，该正方形数据单元的大小是作为最低编码深度 的最小编码单元的1/4。通过该样的重复编码处理，根据本发明的实施例的视频编码设备 100比较根据编码单元900的深度的编码误差来选择出现最小编码误差的深度W确定编码 深度，并且，分区类型和预测模式可被确定为编码深度的编码模式。
[0139] 根据深度0、1、…、d-1和d中的所有深度对最小编码误差进行比较，使得具有最 小误差的深度可被选择并被确定为编码深度。编码深度、预测单元的分区类型和预测模式 可作为关于编码模式的信息被编码W便随后被发送。另外，需要将编码单元从深度0划分 到编码深度，并因此仅将编码深度的划分信息设置为0,并且需要将用于除了编码深度W外 的各个深度的划分信息设置为1。
[0140] 根据本发明的实施例的视频解码设备200的图像数据和编码信息提取器220可被 用在提取关于编码深度和预测单元的信息的过程中W及对编码单元912进行解码的过程 中。根据本发明的实施例的视频解码设备200可通过使用用于各个深度的划分信息来识别 划分信息为0的深度，并且在解码过程中使用针对深度的关于解码模式的信息。
[0141] 图10、图11和图12示出根据本发明的实施例的在编码单元、预测单元和变换单元 之间的关系。
[0142] 编码单元1010是针对各个编码深度的编码单元，其中，针对各个编码深度的编码 单元由根据本发明的实施例的视频编码设备100确定。预测单元1060是编码单元1010中 的针对各个编码深度的编码单元的预测单元的分区，变换单元1070是针对各个编码深度 的编码单元的变换单元。
[0143] 对于针对各个深度的编码单元1010,如果最大编码单元的深度为0,则编码单元 1012和1054的深度为1，编码单元1014、1016、1018、1028、1050和1052的深度为2,编码 单元 1020、1022、1024、1026、1030、1032 和 1048 的深度为 3,编码单元 1040、1042、1044 和 1046的深度为4。
[0144]在预测单元 1060 中，一些分区 1014、1016、1022、1032、1048、1050、1052 和 1054 处 于对编码单元划分的形式。也就是说，分区1014、1022、1050和1054是2NXN的分区类型， 分区1016、1048和1052是NX2N的分区类型，分区1032是NXN的分区类型。针对各个深 度的编码单元1010的分区和预测单元与各个编码单元相同，或者小于各个编码单元。
[0145] 对于变换单元1070中的一些变换单元1052的图像数据，可在尺寸小于编码单元 的尺寸的数据单元中执行变换或逆变换。另外，如果与预测单元1060中的预测单元和分区 比较，变换单元1014、1016、1022、1032、1048、1050、1052和1054是不同尺寸或形状的数据 单元。也就是说，根据本发明的实施例的视频编码设备100和根据本发明的实施例的视频 解码设备200可基于各个数据单元，对同一编码单元执行帖内预测/运动估计/运动补偿 操作W及变换/逆变换操作。
[0146] 因此，对各个编码单元的各个区域中的分层结构的各个编码单元递归地执行编 码，从而确定最优编码单元。因此，可形成根据递归树结构的编码单元。编码信息可包括用 于编码单元的划分信息、分区类型信息、预测模式信息和变换单元尺寸信息。表1在下面示 出可在根据本发明的实施例的视频编码设备100和根据本发明的实施例的视频解码设备 200中设置的示例。
[0147][表U [014引
[0150] 根据本发明的实施例的视频编码设备100的输出单元130可输出用于根据树结构 的编码单元的编码信息，根据本发明的实施例的视频解码设备200的编码信息提取器220 可从接收到的比特流提取用于根据树结构的编码单元的编码信息。
[0151] 划分信息指示是否将当前编码单元划分成更低深度的编码单元。如果当前深度d 的划分信息是0,则当前编码单元不再被划分成更低编码单元的深度是编码深度，并因此可 针对所述编码深度来定义分区类型信息、预测模式信息和变换单元尺寸信息。当需要根据 划分信息进行再一次划分时，需要对更低深度的4个划分编码单元独立地执行编码。
[0152] 预测模式可被指示为帖内模式、帖间模式和跳过模式中的一种。可在所有分区类 型中定义帖内模式和帖间模式，并且可仅在分区类型2NX2N中定义跳过模式。
[0153] 分区类型信息可指示对称分区类型2NX2N、2NXN、NX2N和NXNW及非对称分区 类型2NX加、2NX址、化X2N和nRX2N，其中，在对称分区类型中按照对称比率划分预测单 元的高度或宽度，在非对称分区类型中按照非对称比率划分预测单元的高度或宽度。非对 称分区类型2NXnU和2NXnD指示该样的形状；在该形状中按1:3和3:1来划分各个类型 的高度；非对称分区类型化X2N和nRX2N指示该样的形状；在该形状中按1:3和3:1来划 分各个类型的宽度。
[0154] 可将变换单元尺寸设置成帖内模式下的两种类型的尺寸，并且可将变换单元尺寸 设置成帖间模式下的两种类型的尺寸。也就是说，如果变换单元划分信息是0,则变换单元 的尺寸被设置为2NX2N，即当前编码单元的尺寸。如果变换单元划分信息是1，则可设置对 当前编码单元进行划分的尺寸的变换单元。另外，如果尺寸为2NX2N的当前编码单元的分 区类型是对称分区类型，则变换单元的尺寸可被设置为NXN，如果分区类型是非对称分区 类型，则尺寸可被设置为N/2XN/2。
[0155] 根据本发明的实施例的根据树结构的编码单元的编码信息可被分配给编码深度 的编码单元、预测单元和最小单元中的至少一个。编码深度的编码单元可包括含有相同编 码信息的预测单元和最小单元中的一个或更多个。
[0156] 因此，如果邻近数据单元含有的编码信息被检查，则可检查邻近数据单元是否被 包括在相同编码深度的编码单元中。另外，如果由数据单元含有的编码信息被使用，则可检 查相应编码深度的编码单元，并因此可推断在最大编码单元中编码深度的分区。
[0157] 因此，在此情况下，如果参考周围数据单元无法对当前编码单元进行预测，则在与 当前编码单元邻近的根据深度的编码单元内的数据单元中的编码信息可被直接参考W被 使用。
[0158] 可选地，如果参考周围编码单元对当前编码单元执行预测编码，则当通过使用根 据深度的邻近编码单元的编码信息在根据深度的编码单元内捜索与当前数据单元邻近的 数据时，可参考周围数据单元。
[0159] 图13示出根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关 系。
[0160] 最大编码单元1300包括多个编码深度的编码单元1302、1304、1306、1312、1314、 1316和1318。该里，一个编码单元1318是编码深度的编码单元，并因此划分信息可被设 置成0。可将尺寸为2NX2N的编码单元1318的分区类型信息设置成W下分区类型中的 一种：分区类型2NX2N1322、分区类型2NXN1324、分区类型NX2N1326、分区类型NXN 1328、分区类型2NXnU1332、分区类型2NXnD1334、分区类型nLX2N1336W及分区类型 nRX2N1338〇
[0161] 变换单元划分信息（TU尺寸标记）是一种类型的变换索引，并且与变换索引相应 的变换单元的尺寸可根据编码单元的预测单元类型或分区类型而改变。
[0162] 例如，当分区类型信息被设置为对称分区类型2NX2N1322、2NXN1324、NX2N 1326和NXN1328中的一个时，如果变换单元划分信息是0,则设置尺寸为2NX2N的变换 单元1342,如果变换单元划分信息是1，则可设置尺寸为NXN的变换单元1344。
[0163] 当分区类型信息被设置为非对称分区类型2NXnU1332、2NXnD1334、化X2N 1336或nRX2N1338中的一个时，如果变换单元划分信息（TU尺寸标记）是0,则设置尺寸 为2NX2N的变换单元1352,如果变换单元划分信息是1，则可设置尺寸为N/2XN/2的变换 单元1354。
[0164] 参照图13描述的变换单元划分信息（TU尺寸标记）是具有值0或1的标记，但是 根据本发明的实施例的变换单元划分信息不限于1比特的标记，并且变换单元可在划分信 息从0开始增加到1、2、3等时被分层划分。变换单元划分信息可被用作变换索引的实施例。
[0165] 在该种情况下，如果根据本发明的实施例的变换单元的变换单元划分信息与变换 单元的最大尺寸和变换单元的最小尺寸一起使用，则可表示实际上已使用的变换单元的尺 寸。根据本发明的实施例的视频编码设备100可对最大变换单元尺寸信息、最小变换单元 尺寸信息和最大变换单元划分信息进行编码。编码的最大变换单元尺寸信息、最小变换单 元尺寸信息和最大变换单元划分信息可被插入SPS。根据本发明的实施例的视频解码设备 200可在视频解码中使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元 划分信息。
[0166] 例如，（a)如果当前编码单元的尺寸是64X64并且最大变换单元尺寸是32X32， 则（a-1)当变换单元划分信息为0时，变换单元尺寸可被设置为32X32,（a -2)当变换单元 划分信息为1时，变换单元尺寸可被设置为16X16,（a-3)当变换单元划分信息为2时，变 换单元尺寸可被设置为8X8。
[0167] 作为另一示例，化）如果当前编码单元尺寸是32X32并且最小变换单元尺寸是 32X32,则化-1)当变换单元划分信息为0时，变换单元尺寸可被设置为32X32,并且，由于 变换单元尺寸不能够小于32X32,因此不能设置进一步的变换单元划分信息。
[016引作为另一示例，（C)如果当前编码单元尺寸是64X64并且最大变换单元划分信息 为1，则变换单元划分信息可W是0或1，并且不能设置其它的变换单元划分信息。
[0169] 因此，当最大变换单元划分信息被定义为"MaxTransformSizeIndex"，最小变 换单元尺寸被定义为"MinTransformSize"，并且在变换单元划分信息为0情况下的变 换单元尺寸被定义为"Root化Size"时，在当前编码单元中可能的最小变换单元尺寸 "化rrMin化Size"可被定义为W下等式1中所示：
[0170]CurrMinTuSize=max(MinTransformSize,RootTuSize/ (2-MaxTransformSizeIndex)) (1)
[017。 通过与在当前编码单元中可能的最小变换单元尺寸"化rrMin化Size"相比，当 变换单元划分信息为0时变换单元尺寸"Root化Size"可指示可根据系统自适应的最大 变换单元尺寸。也就是说，根据等式1，"R00tI'uSize/"(2'MaxTransformSizeIndex)"是 作为在变换单元尺寸"Root化Size"被划分了与最大变换单元划分信息相应的次数之后 的尺寸的变换单元尺寸，"MinTransformSize"是最小变换尺寸，并因此，"Root化Size/ (2'MaxTransformSizeIndex)"和"MinTransformSize"中较小的值可W是作为在当前编码 单元中可能的最小变换单元尺寸的"化rrMin化Size"。
[0172] 根据本发明的实施例的最大变换单元尺寸Root化Size可根据预测模式而改变。
[017引例如，如果当前预测模式是帖间模式，则可根据W下的等式2来确定Root化Size。 在等式2中，"MaxTrans化rmSize"指示最大变换单元尺寸，叩USize"指示当前预测单元尺 寸。
[0174] RootI\iSize=min(MaxTransformSize,PUSize)......(2)
[0175] 也就是说，如果当前预测模式是帖间模式，则作为当变换单元划分信息为0时的 变换单元尺寸的Root化Size可被设置为最大变换单元尺寸和当前预测单元尺寸中较小的 值。
[0176] 如果当前分区单元的预测模式是帖内模式，则可根据W下的等式3来确定 "RootI\iSize"。"PartitionSize"指示当前分区单元的尺寸。
[0177] RootTuSize=min(MaxTransformSize,PartitionSize)......(3)
[0178] 也就是说，如果当前预测模式是帖内模式，则作为当变换单元划分信息为0时的 变换单元尺寸的"Root化Size"可被设置为最大变换单元尺寸和当前分区单元尺寸之中较 小的值。
[0179] 然而，根据分区单元的预测模式而改变且作为根据本发明的实施例的当前最大变 换单元尺寸的"Root化Size"仅是实施例，并且用于确定当前最大变换单元尺寸的因素不限 于此实施例。
[0180] W上参照图1至图13描述的包括树结构的编码单元的最大编码单元也被称为编 码块树、块树、根块树、编码树、编码根、树干等。
[0181] 如上所述，根据本发明的实施例的视频编码设备100和视频解码设备200将最大 编码单元划分为与最大编码单元相同或小于最大编码单元的编码单元，W执行编码和解 码。为了提高图像的解码处理的处理速度，可并行执行图像解码处理。然而，当任意画面参 考另一画面时，所述任意画面不能在被参考的画面的解码处理完成之前被解码。可被并行 解码的画面必须是不被彼此参考的画面。另外，当参考其它参考画面对可被并行解码的画 面进行预测时，在并行解码的时间点对参考画面的解码需要被完成。因此，为了确定能够并 行解码的画面，需要确定对画面进行解码的顺序W及画面之间的参考关系。在根据本发明 的实施例的用于并行处理的视频解码方案中，在画面组（G0P)中包括的参考关系信息是基 于画面的编码顺序和参考依赖关系而产生的，并且参考关系信息被包括在预定数据单元中 W被发送。在根据本发明的实施例的视频解码方案中，在G0P中包括的画面之间的解码顺 序和参考依赖关系基于预定数据单元中包括的参考关系信息被确定，并且可被并行处理的 画面基于解码顺序和参考依赖关系被确定。另外，在根据本发明的实施例的视频解码方案 中，对可被并行处理的画面进行并行解码。
[0182] 在下文中，将参照图14至图23描述用于并行处理的视频编码/解码方案。解码 顺序和编码顺序分别是指在解码端和编码端的基础上处理画面的顺序，并且画面的编码顺 序与解码顺序相同。因此，在下面描述本发明的实施例时，编码顺序可表示解码顺序，解码 顺序也可表示编码顺序。
[0183] 图14是根据本发明的实施例的用于并行处理的视频编码设备的框图。
[0184] 参照图14,视频编码设备1400包括图像编码器1410和输出单元1420。如图4的 图像编码器400,图像编码器1410通过使用根据树结构的编码单元对形成视频序列的每个 画面执行预测编码。图像编码器1410通过帖间预测和帖内预测对画面进行编码，W便输出 关于残差数据、运动矢量和预测模式的信息。具体地，根据本发明的实施例的图像编码器 1410对G0P中包括的画面执行帖间预测和帖内预测，并确定G0P中包括的画面之间的编码 顺序和参考依赖关系。参考依赖关系指示G0P中包括的画面之间的参考关系，并可W是参 考画面集（RP巧。WS指示参考画面的画面顺序计数（P0C)信息。例如，当任意B画面的RPS 是[0, 2]时，B画面将P0C为0的画面和P0C为2的画面用作参考画面。因此，B画面是依 赖于P0C为0的画面W及P0C为2的画面的画面。B画面不能在P0C为0的画面和P0C为 2的画面的解码处理完成之前被解码。
[0185] 输出单元1420产生并输出包括编码的视频数据和附加信息的NAL单元。具体地， 根据本发明的实施例的输出单元1420基于G0P中包括的画面之间的编码顺序和参考依赖 关系来产生参考关系信息，并产生包括产生的参考关系信息的NAL单元。可通过使用诸如 有限确定自动机值FA)的数据结构来指示W分层画面结构解码的画面的顺序和参考依赖 关系。例如，根据本发明的实施例的输出单元1620可将参考依赖树（RDT)用作参考关系信 息，其中，参考依赖树指示G0P内的画面之间的编码顺序和参考依赖关系。
[0186] 可通过基于编码顺序和参考依赖关系将由G0P内的画面参考的画面放置在父节 点并将参考父节点的画面的画面放置在子节点来产生RDT。当能够对参考父节点的画面的 多个画面进行并行处理时，通过允许多个画面包括在相同层的子节点中来形成RDT。假设 由I条带组成的画面可形成将被放置在最上方根节点的RDT，其中，I条带不参考G0P中包 括的画面中的其它画面。随后将参照图16和图17来描述具体的RDT产生方案。
[0187] 输出单元1420将参考关系信息包括在NAL单元中W被输出。参考关系信息可被 包括在NAL单元之中的包含附加信息的补充增强信息（SEI)消息中。
[018引图15示出根据本发明的实施例的NAL单元的类型。
[0189] 视频编码/解码处理可被分类为在处理视频编码处理本身的视频编码层（VCL)中 的编码/解码处理W及在产生或接收附加信息（诸如图像数据和参数集）的网络抽象层中 的编码/解码处理，其中，图像数据和参数集在V化与发送并存储编码的图像数据的更下 层系统之间根据预定格式被编码为比特流。关于VCL的编码图像的编码数据被映射在VCL NAL单元中，用于对编码数据进行解码的参数集的附加信息被映射在非VCLNAL单元中。
[0190] 参照图15,非VCLNAL单元可包括视频参数集（VP巧、序列参数集（SP巧和画面参 数集（PPS)W及SEI，其中，VPS、SPS和PPS包含视频编码设备1400中使用的参数信息，SEI包含图像解码处理中需要的附加信息。V化NAL单元包括关于编码的图像数据的信息。 [01W] ML单元头可具有总共2字节的长度。ML单元头是用于识别ML单元的比特，并 包括值为0的f〇rbidden_zero_bit、指示NAL单元的类型的标识符（nalunittype)、针 对未来使用而保留的区域（reserved_ze;ro_6bits)和时间标识符（temporal_id)。标识符 (nalunittype)和针对未来使用而保留的区域（reserved_ze;ro_6bits)分别由6比特形 成，时间标识符（temporal_id)可由3比特组成。NAL单元中所包括的信息的类型根据nal_ unit_type的值来区分。
[0192]例如，瞬时解码刷新（IDR)画面、纯净随机访问（CRA)画面、SPS、PPS、SEI、自适应 参数集（APS)、被保留W用于未来扩展的ML单元、未定义的ML单元等可根据nal_unit_type被分类。表2是根据nal_unit_type的值指示ML单元的类型的示例。然而，根据 nal_unit_type的NAL单元的类型不限于表2的示例。
[0193][表引
[0194]
[0195]
[0196] 图16示出根据本发明的实施例的分层GOP结构，图17示出用于在图16的分层 G0P结构中包括的画面的参考依赖树（RDT)。图16的分层G0P结构也被称为分层B画面结 构。
[0197] 参照图16,假设在分层G0P结构中，较低时间层的画面被限制为不参考较高时间 层的画面。此外，箭头方向指示参考方向。例如，在图16中，P8画面参考10画面，B4画面 通过参考10画面和P8画面被预测。
[019引如上所述，可通过基于编码顺序和参考依赖关系将由G0P内的画面参考的画面放 置在父节点并将参考父节点的画面的画面放置在子节点来产生RDT。被放置在子节点的画 面是通过参考父节点和被放置在父节点的上一层中的另一画面而被预测的画面。当能对参 考父节点的画面的多个画面进行并行处理时，通过允许多个画面被包括在相同层的子节点 中来形成RDT。
[0199]参照图16和图17,作为在G0P中被首先编码的IDR画面的10被放置在最上方节 点中。接下来，在10之后参考10而被编码的P8画面被编码，并被放置在10的子节点中。 参考10和P8的B4被放置在P8的子节点中。在图16中，B2参考10和B4,B6参考B4和 P8,并且，B2和B6两者相应于可在B4被解码的情况下被并行解码的画面相应。因此，B2和 B6两者被放置在B4的子节点中。类似地，B1参考10和B2,B3参考B2和B4。另外，B5参 考B4和B6,B7参考B6和P8。因此，B1和B3被放置在B2的子节点中，B5和B7被放置在 B6的子节点中。可针对第一G0P之后的G0P类似地形成RDT。然而，第一G0P中的P8与第 二GOP中的被首先编码（或解码）的参考画面P16相应，并因此，P16被放置在P8的子节 点中。如果P16参考10而不是参考P8,则P8和P16与10的子节点具有相同的层。
[0200] 在图17中，如果用于G0P的RDT被形成，则被放置在相同层的子节点不相互参考， 并因此与允许并行处理的画面相应。例如，在图17中，B2和B61710是可在对B4的编码 (或解码）完成之后被并行处理的画面。另外，B1、B3、B5和B71720是可在对B2和B6的 处理完成之后被并行处理的画面。
[0201] 图18是示出根据本发明的实施例的用于并行处理的视频编码方法的流程图。
[0202] 参照图18,在操作1810,图像编码器1410对G0P中包括的画面执行帖间预测和帖 内预测，并确定G0P中包括的 画面之间的编码顺序和参考依赖关系。
[0203] 在操作1820中，输出单元1420基于G0P中包括的画面之间的编码顺序和参考依 赖关系来产生参考关系信息，并产生包括产生的参考关系信息的NAL单元。如上所述，畑T 可被用作参考关系信息，其中，RDT指示G0P中的画面之间的编码顺序和参考依赖关系。
[0204] 另外，输出单元1420可将参考关系信息包括在包含补充增强信息（SEI)消息的 NAL单元中，W被发送到视频解码设备。
[0205] 图19是根据本发明的实施例的用于并行处理的视频解码设备的框图。
[0206] 参照图19,视频解码设备1900包括接收器1910和图像解码器1920。接收器1910 获得包括参考关系信息的NAL单元，其中，参考关系信息基于G0P中包括的画面之间的解码 顺序和参考依赖关系。如上所述，RDT可被用作参考关系信息，并且RDT可通过包括沈I消 息的NAL单元被获得。
[0207] 图像解码器1920基于沈I消息中包括的畑T，在G0P中包括的画面之中确定可被 并行处理的画面。如图17中所示，被放置在RDT中所布置的节点之中的相同层上的画面是 允许不相互参考的并行处理的画面。图像解码器1920可对能够并行处理的画面进行并行 解码。图像解码器1920可基于如图5的图像解码器400中的树结构的解码器来执行解码。 [020引图20是示出根据本发明的实施例的用于并行处理的视频解码方法的流程图。
[0209] 参照图20,在操作2010,接收器1910获得包括参考关系信息的NAL单元，其中，参 考关系信息是基于G0P中包括的画面之间的解码顺序和参考依赖关系而产生的。如上所 述，参考关系信息可W是诸如RDT的数据结构。
[0210] 在操作2020,图像解码器2020基于SEINAL单元中所包括的参考关系信息，在G0P 中包括的画面之中确定允许并行处理的画面。如上所述，被放置在RDT中所布置的节点之 中的相同层上的画面是不被相互参考的画面，并因此该些画面是能够并行处理的画面。
[0211] 在操作2030,图像解码器1920通过对能够并行处理的画面进行并行解码来提高 解码处理速度。可从VPS、SPS、PPS和VCLNAL单元中获得在并行处理中需要的图像数据和 附加信息。
[0212] 根据本发明的一些实施例，能够并行处理的画面可通过经由SEI消息发送G0P中 包括的画面之间的参考关系信息而在解码端中被确定。因此，根据本发明的一些实施例，在 视频解码处理中能够对没有相互依赖关系的画面进行并行解码。
[0213] 另外，上述并行处理编码或解码操作可通过多核系统或多线程来实现。多线程用 于允许程序内的并行处理，并且即使在单个进程中也可进行并行处理。
[0214] 图21示出根据本发明的实施例的用于并行处理的多线程程序。
[0215] 根据本发明的实施例的并行处理编码/解码操作可通过W下步骤来实现无需单 独的同步处理的并行处理；分析各个画面之间的参考依赖关系，将各个画面的编码/解码 处理划分成多个单独任务，并通过依赖自由执行模型来处理各个任务。
[0216] 参照图21，在多线程程序中对每个画面的编码/解码处理可被划分成n个线程 2110和线程2120。线程是指在进程中被执行的流的单位。多线程可共享在共享存储器中 的共享变量2130。一般地，在多线程程序中，如果共享变量2130被使用，则线程之间的同步 通过使用锁（lock)或信号量（sema地ore)或者通过单独的模块（诸如调度器）而被实现。 例如，当第一线程2110使用共享变量2130时，其它线程2120在第一线程2110对与共享变 量2130相关的锁或信号量的使用结束之前处于等待状态，并且其它线程2120的执行被调 度器停止。
[0217] 图22示出使用锁或信号量的多线程程序中的线程执行处理。
[021引参照图22,在程序开始2210之后，线程保持程序的连续执行2220,直到状态通过 同步变为等待状态2230为止。如果状态通过同步变为等待状态，则调度器将线程改变为等 待状态2230,并且线程在锁或信号量变为可用之前处于等待状态2230。如果锁或信号量变 为可用并且调度器被执行，则调度器将线程重新改变为可操作状态，如果线程根据调度策 略再次进入可执行状态，则处理器的所有权被交给线程，使得程序可被执行2220。类似地， 在使用锁或信号量的多线程程序中，需要单独的调度器，并且等待时间被延长直到线程被 调度器重新执行为止。
[0219] 可通过自旋等待（spin-wait)方案来解决该种等待时间问题。自旋等待方案是该 样的方案；在该方案中，持续检查共享变量的改变并且保持线程的执行状态直到共享变量 被改变为止。该种自旋等待方案可提高同步反应性（即，速度），但为了持续检查共享变量 的改变，处理器需要保持活跃状态，而不是空闲状态。因此，由于用于对共享存储器的共享 变量进行确认的指令被持续执行，因此自旋等待方案会增加处理器的功耗。
[0220] 因此，根据本发明的实施例的多线程程序使共享变量的值在同步处理（使用共享 存储器的共享变量）中通过共享存储器被传送到线程之前线程的等待时间最小化，并尝试 将处理保持在空闲状态W减少处理器的功耗。
[0221] 图23是示出根据本发明的实施例的多线程程序的同步处理的流程图。
[0222] 参照图23,在操作2310,开始同步语法。在操作2320,检查共享变量是否被改变， 并且，当共享变量没有改变时，在操作2330,执行处理器停止命令。如果执行了处理器停止 命令，则处理器被保持在空闲状态直到中断发生为止，并因此处理器的功耗减少。处理器停 止命令可由中断停止，并且能够进行调度，使得可执行其它线程和处理。当处理器处于空闲 状态时，可在通过在系统中被周期性执行的定时器中断而离开空闲状态之后，检查共享变 量是否被改变。也就是说，通过允许在不需要单独的调度处理的情况下周期性地检查共享 变量是否被改变，处理器可被保持在空闲状态。基于根据本发明的实施例的多线程程序的 同步处理，通过在由于调度而使延迟未减少的情况下检查共享变量针对各个最小调度周期 是否被改变，处理器的功耗可减少。另外，与使用信号量的同步方案相比，可通过用允许例 如针对各个定时器中断周期进行调度的最小时间标准来检查共享变量是否被改变，W确保 快速反应性。
[0223] 如上所述，根据W上示例性实施例中的一个或更多个示例性实施例，通过识别在 视频解码处理中可被并行处理的画面并且对该种画面进行并行解码，可提高视频解码处理 的速度。
[0224] 本发明可被实现为可由计算机读取的计算机记录介质中的代码。计算机可读记录 介质包括存储可由计算机系统读取的数据的所有类型的记录装置。计算机可读记录介质的 一些示例是R0M、RAM、CD-R0M、磁带、软盘和光数据存储装置。另外，计算机可读记录介质可 分布在通过网络连接的计算机系统中，并且可作为由可被计算机读取的代码W分布式方式 被存储和执行。
[0225] 应理解，在此描述的示例性实施例应仅在描述性意义上被考虑，而非为了限制的 目的。在每个示例性实施例中的特征或方面的描述通常应被理解为可用于其它示例性实施 例中的其它类似特征或方面。虽然已参照附图描述了一个或更多个示例性实施例，但是本 领域的普通技术人员将理解，可在不脱离由权利要求限定的精神和范围的情况下，对其做 出形式上和细节上的各种改变。
【主权项】
1. 一种用于并行处理的视频编码方法，所述视频编码方法包括： 对画面组（GOP)中包括的画面执行帧间预测和帧内预测，并确定GOP中包括的画面之 间的编码顺序和参考依赖关系； 产生包括参考关系信息的预定数据单元，其中，参考关系信息是基于GOP中包括的画 面之间的编码顺序和参考依赖关系而产生的。2. 如权利要求1所述的视频编码方法，其中，参考关系信息是参考依赖树，其中，参考 依赖树是通过基于编码顺序和参考依赖关系将由GOP中的画面参考的画面放置在父节点 并将参考父节点的画面的画面放置在子节点而产生的。3. 如权利要求2所述的视频编码方法，其中，当参考父节点的画面的多个画面能够被 并行处理时，参考依赖树被形成为使得所述多个画面被包括在相同层的子节点中。4. 如权利要求1所述的视频编码方法，其中，所述预定数据单元是网络适应层（NAL)单 元，参考关系信息被包括在NAL单元之中的包含附加信息的补充增强信息消息（SEI)中。5. -种用于并行处理的视频编码设备，所述视频编码设备包括： 图像编码器，对画面组（GOP)中包括的画面执行帧间预测和帧内预测，并确定GOP中包 括的画面之间的编码顺序和参考依赖关系； 输出单元，产生包括参考关系信息的预定数据单元，其中，参考关系信息是基于GOP中 包括的画面之间的编码顺序和参考依赖关系而产生的。6. 如权利要求5所述的视频编码设备，其中，参考关系信息是参考依赖树，其中，参考 依赖树是通过基于编码顺序和参考依赖关系将由GOP中的画面参考的画面放置在父节点 并将参考父节点的画面的画面放置在子节点而产生的。7. 如权利要求5所述的视频编码设备，其中，所述预定数据单元是网络适应层（NAL)单 元，参考关系信息被包括在NAL单元之中的包含附加信息的补充增强信息消息（SEI)中。8. -种用于并行处理的视频解码方法，所述视频解码方法包括： 获取包括参考关系信息的预定数据单元，其中，参考关系信息是基于画面组（GOP)中 包括的画面之间的解码顺序和参考依赖关系而产生的； 基于所述数据单元中包括的参考关系信息，在GOP中包括的画面之中确定能够被并行 处理的画面； 对确定的画面进行并行解码。9. 如权利要求8所述的视频解码方法，其中，参考关系信息是参考依赖树，其中，参考 依赖树是通过基于编码顺序和参考依赖关系将由GOP中的画面参考的画面放置在父节点 并将参考父节点的画面的画面放置在子节点而产生的。10. 如权利要求8所述的视频解码方法，其中，确定能够被并行处理的画面的步骤包 括：将被包括在父节点的下层中并被包括在相同层的子节点中的画面确定为能够被并行处 理的画面。11. 如权利要求8所述的视频解码方法，其中，所述预定数据单元是网络适应层（NAL) 单元，参考关系信息被包括在NAL单元之中的包含附加信息的补充增强信息消息（SEI)中。12. -种用于并行处理的视频解码设备，所述视频解码设备包括： 接收器，获取包括参考关系信息的预定数据单元，其中，参考关系信息是基于画面组 (GOP)中包括的画面之间的解码顺序和参考依赖关系而产生的； 图像解码器，基于所述数据单元中包括的参考关系信息，在GOP中包括的画面之中确 定能够被并行处理的画面，并且对确定的画面进行并行解码。13. 如权利要求12所述的视频解码设备，其中，参考关系信息是参考依赖树，其中，参 考依赖树是通过基于编码顺序和参考依赖关系将由GOP中的画面参考的画面放置在父节 点并将参考父节点的画面的画面放置在子节点而产生的。14. 如权利要求12所述的视频解码设备，其中，确定能够被并行处理的画面的步骤包 括：将被包括在父节点的下层中并被包括在相同层的子节点中的画面确定为能够被并行处 理的画面。15. 如权利要求12所述的视频解码设备，其中，所述预定数据单元是网络适应层（NAL) 单元，参考关系信息被包括在NAL单元之中的包含附加信息的补充增强信息消息（SEI)中。
【专利摘要】提供一种用于并行处理的视频编码方法。所述视频编码方法包括：对画面组(GOP)中包括的画面执行帧间预测和帧内预测，并确定GOP中包括的画面之间的编码顺序和参考依赖关系；产生包括参考关系信息的预定数据单元，其中，参考关系信息是基于GOP中包括的画面之间的所述编码顺序和参考依赖关系而产生的。
【IPC分类】H04N19/00, H04N19/50
【公开号】CN104904202
【申请号】CN201380062307
【发明人】朴永五, 崔光杓, 金赞烈, 崔秉斗, 鲁元宇, 金京儿, 金德镐, 金敃宇
【申请人】三星电子株式会社, 延世大学校产学协力团
【公开日】2015年9月9日
【申请日】2013年9月30日
【公告号】US20150288970, WO2014051409A1
最新回复(0)