用于视频译码中的随机存取的视频缓冲操作的制作方法
用于视频译码中的随机存取的视频缓冲操作的制作方法
【专利说明】用于视频语码中的随机存取的视频缓冲操作
[0001] 本申请案主张2013年1月7日申请的美国临时申请案第61/749,820号的权利， 所述申请案的全部内容W引用的方式并入本文中。
技术领域
[0002] 本发明设及视频译码，且更特定来说，设及用于控制视频解码器的视频缓冲操作 的技术。
【背景技术】
[0003] 数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系 统、无线广播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板型计算机、电子书阅 读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式 或卫星无线电电话、所谓的"智能型手机"、视频电传会议装置、视频流式传输装置，和其类 似者。数字视频装置实施视频压缩技术，例如描述于W下各者中的那些技术：由MPEG-2、 MPEG-4、ITU-TH. 263JTU-T比264/MPEG-4第10部分（先进视频译码（AVC))定义的标准、 目前在开发中的高效率视频译码（肥VC)标准，和该些标准的扩展。视频装置可通过实施该 些视频压缩技术而较有效率地发射、接收、编码、解码和/或存储数字视频信息。
[0004] 视频压缩技术执行空间（图片内）预测和/或时间（图片间）预测，W减少或去 除视频序列中所固有的冗余。对于基于块的视频译码来说，可将视频切片（即，视频帖或视 频帖的一部分）分割成视频块，所述视频块也可被称作树型块、译码单元（CU)和/或译码 节点。使用相对于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帖内译码 (I)切片中的视频块。图片的经帖间译码（P或B)切片中的视频块可使用相对于同一图片 中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图 片可被称作帖，且参考图片可被称作参考帖。
[0005] 空间预测或时间预测利用预测性块。残余数据表示待译码的原始块与预测性块之 间的像素差。根据指向形成预测性块的参考样本的块的运动向量和指示经译码块与预测性 块之间的差异的残余数据来编码经帖间译码块。根据帖内译码模式和残余数据来编码经帖 内译码块。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而产生可接着进行 量化的残余变换系数。可扫描最初排列成二维阵列的经量化的变换系数，W便产生变换系 数的一维向量，且可应用滴译码W达成甚至更多的压缩。
【发明内容】
[0006] 大体来说，本发明描述用于针对具有丢弃前置图片的随机存取点（RAP)图片而控 制视频解码器中的缓冲操作的技术。在一些实例中，当位流包含在初始RAP图片之后的后 续RAP图片时，解码器可经配置W在不存在所述后续RAP图片的前置图片（例如，随机存取 跳过前置（RA化）图片）时移位在所述后续RAP图片之后的存取单元的经译码图片缓冲器 (CPB)去除时间。
[0007] 在本发明的一个实例中，一种处理视频数据的方法包含；在视频位流中接收具有 第一随机存取点（RAP)图片的存取单元；在所述位流中的所述存取单元之后，在所述视频 位流中接收具有第二RAP图片的后续存取单元；和在所述所接收的位流中不存在所述后续 存取单元的一或多个随机存取跳过前置（RA化）图片的状况下，基于图片缓冲器去除延迟 偏移将图片缓冲器去除时间移位得较早。
[000引在本发明的另一实例中，一种处理视频数据的方法包含；在对假想参考解码器 (HRD)进行较早初始化之后，接收存取单元，所述存取单元具有随机存取点（RAP)图片，其 中不接收含有随机存取跳过前置（RA化）图片的相关联的存取单元；和响应于接收所述存 取单元而不接收含有RA化图片的所述相关联的存取单元，重新初始化图片缓冲器去除时 间和图片缓冲器去除延迟偏移。
[0009] 在另一实例中，本发明描述一种用于处理视频数据的装置，其包含处理器，所述处 理器经配置W进行W下操作：在视频位流中接收具有RAP图片的存取单元；在所述位流中 的所述存取单元之后，在所述视频位流中接收具有第二RAP图片的后续存取单元；和在所 述所接收的位流中不存在所述后续存取单元的一或多个随机存取跳过前置（RASL)图片的 状况下，基于图片缓冲器去除延迟偏移将图片缓冲器去除时间移位得较早。
[0010] 在另一实例中，本发明描述一种用于处理视频数据的装置，其包含处理器，所述处 理器经配置W进行W下操作；在对假想参考解码器（HRD)进行较早初始化之后，接收存取 单元，所述存取单元具有RAP图片，其中不接收含有RA化图片的相关联的存取单元讯响应 于接收所述存取单元而不接收含有RA化图片的所述相关联的存取单元，重新初始化所述 HRD，所述重新初始化包含重新初始化图片缓冲器去除时间和图片缓冲器去除延迟偏移。
[0011] 在另一实例中，本发明描述一种用于处理视频数据的装置，其包含；用于在视频位 流中接收具有RAP图片的存取单元的装置；用于在所述位流中的所述存取单元之后在所述 视频位流中接收具有第二RAP图片的后续存取单元的装置；和用于在所述后续存取单元的 一或多个随机存取跳过前置（RA化）图片的状况下基于图片缓冲器去除延迟偏移将图片缓 冲器去除时间移位得较早的装置。
[0012] 在另一实例中，本发明描述一种用于处理视频数据的装置，其包含；用于在对假想 参考解码器（HRD)进行较早初始化之后接收一存取单元的装置，所述存取单元具有RAP图 片，其中不接收含有RASL图片的相关联的存取单元；和用于响应于接收所述存取单元而不 接收含有RASL图片的所述相关联的存取单元来重新初始化所述HRD的装置，所述重新初始 化包含重新初始化图片缓冲器去除时间和图片缓冲器去除延迟偏移。
[0013] 在另一实例中，本发明描述一种计算机可读存储媒体。所述计算机可读存储媒体 上存储有在执行后使一或多个处理器进行W下操作的指令：在视频位流中接收具有RAP图 片的存取单元；在所述位流中的所述存取单元之后，在所述视频位流中接收具有第二RAP 图片的后续存取单元；在所述所接收的位流中不存在所述后续存取单元的一或多个随机存 取跳过前置（RA化）图片的状况下，基于图片缓冲器去除延迟偏移将图片缓冲器去除时间 移位得较早。
[0014] 在另一实例中，本发明描述一种计算机可读存储媒体。所述计算机可读存储媒体 上存储有在执行后使一或多个处理器进行W下操作的指令；在对假想参考解码器（H畑）进 行较早初始化之后，接收存取单元，所述存取单元具有随机存取点（RAP)图片，其中不接收 含有随机存取跳过前置（RA化）图片的相关联的存取单元；和响应于接收所述存取单元而 不接收含有RA化图片的所述相关联的存取单元，重新初始化所述HRD，所述重新初始化包 含重新初始化图片缓冲器去除时间和图片缓冲器去除延迟偏移。
[0015] 在另一实例中，本发明描述一种处理视频数据的方法，其包含：针对每一CRA或 BLA存取单元用信号发送(PB去除延迟偏移；针对所相关联的RA化图片不存在的每一CRA 或BLA存取单元，将按解码次序在所述CRA存取单元或所述BLA存取单元之后的存取单元 中的每一者的CBP去除时间移位得早出所述(PB去除延迟偏移；不管H畑是否在所述CRA 存取单元或所述BLA存取单元处初始化。
[0016] 在一些实例中，本发明描述各种方法。广泛多种处理器、处理单元和设备可经配置 W实施所述实例方法。本发明也描述可经配置W执行所述实例方法中的任何一或多者的功 能的计算机可读存储媒体。
[0017] 一或多个实例的细节阐述于随附图式和W下描述中。其它特征、目标和优势将从 所述描述和所述图式W及从权利要求书显而易见。
[0018] 一或多个实例的细节阐述于随附图式和W下描述中。其它特征、目标和优势将从 所述描述和所述图式W及从权利要求书显而易见。
【附图说明】
[0019] 图1为说明可利用本发明中所描述的技术的实例视频编码和解码系统的框图。
[0020] 图2为说明可实施本发明中所描述的技术的实例视频编码器的框图。
[0021] 图3为说明可实施本发明中所描述的技术的实例视频解码器的框图。
[0022] 图4为说明根据本发明中所描述的一或多个实例的实例方法的流程图。
[0023] 图5为说明根据本发明中所描述的一或多个实例的实例方法的流程图。
【具体实施方式】
[0024] 本发明描述用于针对具有丢弃前置图片的随机存取点（RAP)图片来控制视频解 码器中的缓冲操作的各种技术。所述技术可支持改善的假想参考解码器（HRD)操作，所述 操作可跨越含有清洁随机存取（CRA)图片或断链存取炬LA)图片的中间存取单元（AU)而 被应用，针对所述图片丢弃相关联的随机存取跳过前置（RASL)存取单元。CRA图片仅含有 I切片，且按解码次序可为位流中的第一图片，或可出现于位流中稍后处。CRA图片可具有 相关联的RADL或RA化图片。当CRA图片按解码次序为位流中的第一图片时，CRA图片按 解码次序为经译码视频序列的第一图片，且解码器并不输出任何相关联的RA化图片，且所 述图片可能不可解码，该是因为其可含有对不存在于位流中的图片的参考。BLA图片仅含有 I切片，且按解码次序可为位流中的第一图片，或可出现于位流中稍后处。每一BLA图片开 始新的经译码视频序列，且对解码过程具有与IDR图片相同的效应。然而，BLA图片含有指 定非空参考图片集的语法元素。RA化图片为相关联的BLA或CRA图片的前置图片。所有 RA化图片为相关联的BLA或CRA图片之前置图片。当相关联的RAP图片为BLA图片，或为 位流中的第一经译码图片时，并不输出RA化图片，且RA化图片可能不可正确解码，该是因 为RASL图片可含有对不存在于位流中的图片的参考。RASL图片并不用作非RASL图片的解 码过程的参考图片。当存在时，所有RA化图片按解码次序在同一相关联的RAP图片的所有 尾随图片之前。
[0025]视频译码标准包含口U-TH. 261、ISO/IECMPEG-lVisual、口U-T比 262 或ISO/ IECMPEG-2Visual、ITU-TH. 263、IS0/IECMPEG-4Visual和口U-TH. 264(也称为ISO/ lECMPEG-4AVC)，所述标准包含其可调式视频译码（SVC)和多视图视频译码（MVC)扩展。
[0026] 另外，存在由ITU-T视频译码专家组（VCEG)和IS0/IEC运动图片专家组（MPEG)的 视频译码联合合作小组（JCT-VC)开发的新视频译码标准，即，高效率视频译码（肥VC)。从 2013 年1月 7 日起，可从http://phenix.int-evrv.fr/ict/docenduser/documents/11 化311址31/讯311/1(：17(：-1(1003-￥13.21〇巧得肥￥〔的工作草案（WD)(布罗斯等人的"高 效率视频译码（肥VC)文本规范草案9(Hi曲Efficien巧VideoCoding(肥VC)text specification化aft9)"且下文称作肥VCWD9)。
[0027] 肥VC标准的新近草案（称作"肥VC工作草案10"或"WDIO")描述于布罗斯等人 的"高效率视频译码（肥VC)文本规范草案10 (针对抑IS和最后通话）（化曲efficiency videocoding(肥VC)textspecification化aft10(for抑IS&Last化11))"中（ITU-T SG16WP3和ISO/IECJTC1/SC29/WG11的视频译码联合合作小组（JCT-VC)在2013年1月14 日到23日举行的第12次会议（瑞：t日内瓦）），所述草案可从hUp://phenix.int-evry. fr/ict/docenduser/do州ments/12Geneva/wRll/'TCTYC-L1003-v34.zip下裁。
[0028] 肥VC标准的另一草案（在本文中称作"WDIO修订版"）描述于Bross等人的"编辑 提议的对肥VC版本 1 的校正巧ditors'proposedcorrectionsto肥VCversion1)"中 (ITU-TSG16WP3 和ISO/IECJTC1/SC29/WG11 的视频译码联合合作小组（JCT-VC)在 2013 年4月举行的第13次会议（韩国仁川）），所述草案从2013年6月7日起可从ht化：// phenix.int-evrv.fr/ict/docenduser/documents/13Incheon/wgll/.TCTVC-M0432-v3. 过&获得。
[0029] 肥VC标准化努力是基于称为肥VC测试模型（HM)的视频译码装置的模型。歷假 设当前视频译码装置相对于在其它先前视频译码标准（例如，ITU-TH.264/AVC)的开发期 间可用的视频译码装置的能力改善。例如，比264提供九个帖内预测编码模式，而肥VC提 供多达S十五个帖内预测编码模式。肥VCWD9和肥VCWD10的全部内容W引用的方式并入 本文中。
[0030] 视频译码标准通常包含视频缓冲模型的规范。在AVC和肥VC中，缓冲模型被称作 假想参考解码器（HRD)，其包含经译码图片缓冲器（CPB)和经解码图片缓冲器值PB)两者的 缓冲模型。W数学方式指定(PB和DPB行为。HRD直接对不同时序、缓冲器大小和位速率强 加约束，且间接地对位流特性和统计强加约束。H畑参数的完整集合包含五个基本参数：初 始CPB去除延迟、CPB大小、位速率、初始DPB输出延迟和DPB大小。
[003U在AVC和肥VC中，将位流符合性和解码器符合性指定为H畑规范的部分。尽管将HRD称为解码器，但在编码器侧通常需要HRD规范，W保证位流符合性。指定两种类型的位 流符合性或HRD符合性，即，类型I和类型II。另外，指定两种类型的解码器符合性（输出 时序解码器符合性和输出次序解码器符合性）。
[0032] 通常在随机存取点（RAP)图片处初始化H畑。在肥VC和AVC两者中，一旦初始化 H畑，那么无需重新初始化，其便能继续操作直到位流的结尾为止。
[0033] 在肥VCWD9中，如果H畑在CRA或BLA存取单元处初始化（此初始存取单元被称 作存取单元0)，那么取决于是否存在与存取单元0相关联的RA化存取单元，选择与初始存 取单元0相关联的默认初始(PB去除延迟和延迟偏移，抑或与初始存取单元0相关联的替 代性初始(PB去除延迟和延迟偏移，W用于H畑操作中。如果不存在与存取单元0相关联 的RA化存取单元，那么（例如）由视频解码器选择替代性初始(PB去除延迟和延迟偏移； 否则（即，存在与存取单元0相关联的RASL存取单元），（例如）由视频解码器选择默认初 始(PB去除延迟和延迟偏移。接着，（例如）由视频解码器使用初始(PB去除延迟和延迟 偏移的选定集合，直到位流的结尾为止。
[0034] 在美国专利公开案2013/0107953 (在2012年10月30日申请，公开日期为2013 年5月2日，其全部内容W引用的方式并入本文中）中，描述W下方法。可针对每一CRA存 取单元用信号发送(PB去除延迟偏移。如果HRD在此CRA存取单元（其也被称作存取单元 0)处初始化，且不存在相关联的RA化图片，那么将按解码次序在CRA存取单元之后的存取 单元中的每一者的(PB去除时间移位得早出CPB去除延迟偏移。
[0035] 如肥VCWD9中所描述的H畑技术展现W下问题。首先，假定将初始(PB去除延迟 和延迟偏移的选定集合应用于如下状况；其中位流中按解码次序在存取单元0之后的所有 CRA或BLA存取单元（如果存在）的相关联的RA化存取单元存在。仅在位流中不存在按解 码次序在存取单元0之后且所相关联的RA化存取单元不存在的CRA或BLA存取单元的情 况下，肥VCWD9的当前技术才将正确地起作用。然而，如果位流中存在此CRA或BLA存取 单元，那么(PB可在第一此CRA或BLA存取单元之后溢位，且因此可发生超出预期的解码结 果。
[0036] 类似地，假定初始(PB去除延迟和延迟偏移的选定集合应用于如下状况；其中位 流中按解码次序在存取单元0之后的所有CRA或BLA存取单元（如果存在）的相关联的 RASL存取单元不存在。仅在位流中不存在按解码次序在存取单元0之后的CRA或BLA存取 单元且存在存取单元0的相关联的RA化存取单元的情况下，肥VCWD9的当前技术才将正 确地起作用，且在位流中存在此CRA或BLA存取单元的情况下，所述技术将无法正确地起作 用。在针对肥VCWD9所提出的技术下，此情形在将初始(PB去除延迟和延迟偏移的选定集 合应用于如下状况时适用于任何CRA或BLA存取单元；其中位流中按解码次序上在存取单 元0之后的所有CRA或BLA存取单元（如果存在）的相关联的RA化存取单元不存在。
[0037] 关于初始(PB去除延迟和延迟偏移的选定集合的其它假定也可导致不正确的解 码。例如，只要关于紧跟着的CRA或BLA存取单元的相关联的RA化存取单元的存在和缺乏 的假定不成立，那么也可能无法正确地解码W下情形：在存取单元0之后的一些CRA或BLA 存取单元的相关联的RA化存取单元存在，且在存取单元0之后的其它CRA或BLA存取单元 的相关联的RASL存取单元不存在。
[003引在一些状况下，归因于丢弃与存取单元0相关联的RA化存取单元，（PB去除延迟 偏移可仅补偿在存取单元0之后的存取单元的(PB去除时间。如果位流中存在按解码次序 在存取单元0之后且所相关联的RA化存取单元已被丢弃的一个或一个W上CRA或BLA存 取单元，那么(PB可在第一此CRA或BLA存取单元之后溢位，且因此可发生超出预期的解码 结果。
[0039] 如下为与肥VCWD9中的方法相关联的另一问题。当前，当存取单元（AU)0为CRA AU或BLAAU时，如果存在相关联的RA化AU，那么使用默认初始(PB去除延迟和延迟偏移； 否则使用替代性初始(PB去除延迟和延迟偏移。然而，初始(PB去除延迟和延迟偏移的改变 并不改变AUO的（标称）解码时间与按解码次序在AUO之后的第一非RA化AU的（标称） 解码时间之间的持续时间。例如，假定原始位流中存在按解码次序紧跟在AUO之后且紧跟 有尾随图片的10个RA化图片。在此情形下，当解码原始位流时，(PB去除时间等于每一AU 的标称(PB去除时间，且任何两个连续AU的解码时间之间的持续时间为一个时钟刻度。根 据肥VCWD9,不管是否丢弃RA化图片，AU0的解码时间与第一尾随图片的解码时间之间的 持续时间皆将是相同的（11个时钟刻度）。因此，对于原始位流来说，解码是连续的，但当丢 弃RA化图片时情况那么并非如此。
[0040] 鉴于该些问题，本发明提供用于改善视频缓冲（例如，改善肥VCWD9的皿D)的各 种方法和技术。将参考肥VCWD9描述各种实例。可假定未特定提及的任何H畑技术与当 前在肥VCWD9或其它肥VC规范中所指定的技术相同。
[0041] 在本发明的一个实例中，由视频编码器针对每一CRA或BLA存取单元用信号发送 (PB去除延迟偏移。对于所相关联的RA化图片不存在的每一CRA或BLA存取单元来说，不 管HRD(例如，视频解码器）是否在CRA或BLA存取单元处初始化，视频解码器皆将按解码 次序在CRA或BLA存取单元之后的存取单元中的每一者的(PB去除时间移位得早出(PB去 除延迟偏移。在一个实例中，偏移可为累积偏移。可应用此偏移，W将按解码次序在CRA或 BLA存取单元之后的存取单元中的每一者的(PB去除时间移位得早出累积量。另外，当归因 于每一"遗漏RA化图片"的偏移相同时，偏移可为每图片偏移。在此实例中，可将偏移乘W 遗漏图片的数目。可W与肥VCWD9中相同的方式来执行在存取单元0的替代性初始CPB 去除延迟和延迟偏移与默认初始(PB去除延迟和延迟偏移之间的选择。在另一实例中，始 终选择（即，始终由视频解码器使用）存取单元0的默认初始(PB去除延迟和延迟偏移，且 因此除非存在子图片层级(PB参数且接着替代性初始(PB去除延迟和延迟偏移是用于子图 片层级HRD操作的目的，否则编码器并不针对CRA或BLA存取单元而用信号发送替代性初 始(PB去除延迟和延迟偏移。
[0042] 在处理视频数据的实例方法中，解码器可在视频位流中接收具有随机存取点 (RA巧图片的第一存取单元。在具有RAP图片的存取单元之后，解码器也可接收具有RAP图 片的一或多个后续存取单元。例如，解码器可接收一或多个CRA或BLA图片。在所接收的 位流中不存在所述一或多个后续存取单元中的一后续存取单元的一或多个RA化图片的状 况下，解码器可基于图片缓冲器去除延迟偏移将经译码图片缓冲器（CPG)的图片缓冲器去 除时间移位得较早。如上文所提及，[可再次关于如何获得或选择]图片缓冲器去除延迟 偏移而描述图片缓冲器去除延迟偏移。
[0043] 在处理视频数据的另一实例方法中，解码器可接收具有RAP图片的存取单元，其 中不接收含有RA化图片的相关联的存取单元。响应于接收存取单元而不接收含有RA化 图片的相关联的存取单元，解码器可初始化图片缓冲器去除时间和图片缓冲器去除延迟偏 移。
[0044] 在本发明的另一实例中，HRD指定视频解码器在所相关联的RA化存取单元不存在 的每一CRA或BLA存取单元处初始化或重新初始化。在上文关于基于图片缓冲器去除延 迟偏移将图片缓冲器去除时间移位得较早的实例中，此初始化或重新初始化可能并非必要 的。
[0045] 图1为说明可利用本发明中所描述的技术的实例视频编码和解码系统10的框图。 如图1中所展示，系统10包含源装置12,源装置12产生待由目的地装置14稍后解码的经 编码视频数据。源装置12和目的地装置14可包括广泛范围的装置中的任一者，包含桌上型 计算机、笔记型（即，膝上型）计算机、平板型计算机、机顶盒、电话手机（例如，所谓的"智 能型"手机、所谓的"智能型"板）、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制 台、视频流式传输装置或其类似者。在一些状况下，源装置12和目的地装置14可为无线通 信而装备。
[0046]目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能 够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个 实例中，链路16可包括用W使源装置12能够将经编码视频数据直接实时地传输到目的地 装置14的通信媒体。可根据通信标准（例如，无线通信协议）调制经编码视频数据，和将 经编码视频数据传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射 频（R巧频谱或一或多个物理传输线。通信媒体可形成基于封包的网络（例如，局域网、广 域网或例如因特网的全球网络）的部分。通信媒体可包含路由器、交换器、基站，或可用W 促进从源装置12到目的地装置14的通信的任何其它装备。
[0047] 替代地，可将经编码数据从输出接口 22输出到存储装置34。类似地，可由输入接 口 28从存储装置34存取经编码数据。存储装置34可包含多种分散式或本地存取式数据 存储媒体中的任一者，例如，硬盘机、藍光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失 性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存 储装置34可对应于可保存由源装置12产生的经编码视频的文件服务器或另一中间存储装 置。目的地装置14可经由流式传输或下载从存储装置34存取所存储的视频数据。文件服 务器可为能够存储经编码视频数据和将彼经编码视频数据传输到目的地装置14的任何类 型的服务器。实例文件服务器包含web服务器（例如，用于网站）、FTP服务器、网络附接存 储（NA巧装置或本地磁盘机。目的地装置14可经由任何标准数据连接（包含因特网连接） 而存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频 数据的无线信道（例如，Wi-Fi连接）、有线连接（例如，DSL、缆线调制解调器等），或两者 的组合。经编码视频数据从存储装置34的传输可为流式传输、下载传输或两者的组合。
[0048] 本发明的技术未必限于无线应用或设定。所述技术可应用于支持多种多媒体应用 中的任一者的视频译码，所述多媒体应用例如空中（over-the-air)电视广播、有线电视传 输、卫星电视传输、流式传输视频传输（例如，经由因特网）、待存储于数据存储媒体上的数 字视频的编码、存储于数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系 统10可经配置W支持单向或双向视频传输，W支持例如视频流式传输、视频播放、视频广 播和/或视频电话的应用。
[0049]在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口 22。在一 些状况下，输出接口 22可包含调制器/解调制器（调制解调器）和/或发射器。在源装置 12中，视频源18可包含例如W下各者的源；视频俘获装置（例如，摄像机）、含有先前所俘 获的视频的视频存档、用W从视频内容提供者接收视频的视频馈送接口，和/或用于产生 作为源视频的计算机图形数据的计算机图形系统，或该些源的组合。作为一个实例，如果视 频源18为摄像机，那么源装置12与目的地装置14可形成所谓的摄影机电话或视频电话。 然而，大体来说，本发明中所描述的技术可适用于视频译码，且可应用于无线和/或有线应 用。
[0化0] 可由视频编码器20编码经俘获、经预先俘获或经计算机产生的视频。可经由源装 置12的输出接口 22将经编码视频数据直接传输到目的地装置14。也可（或替代地）将经 编码视频数据存储到存储装置34上W由目的地装置14或其它装置稍后存取，W用于解码 和/或播放。
[005U在AVC和肥VC中，将位流符合性和解码器符合性指定为H畑规范的部分。在视频 编码器20侧处通常需要HRDW保证位流符合性，而在解码器侧处通常不需要HRD。指定两 种类型的位流符合性或HRD符合性，即，类型I和类型II。另外，指定两种类型的解码器符 合性；输出时序解码器符合性和输出次序解码器符合性。
[0化2] 目的地装置14包含输入接口 28、视频解码器30和显示装置32。在一些状况下， 输入接口 28可包含接收器和/或调制解调器。目的地装置14的输入接口 28经由链路16 接收经编码视频数据。经由链路16传达或在存储装置34上提供的经编码视频数据可包含 由视频编码器20产生的多种语法元素，W供例如视频解码器30的视频解码器在解码视频 数据时使用。该些语法元素可包含于在通信媒体上传输、存储于存储媒体上或存储于文件 服务器上的经编码视频数据中。
[0化3] 显示装置32可与目的地装置14集成，或在目的地装置14外部。在一些实例中， 目的地装置14可包含集成式显示装置，且也经配置W与外部显示装置介接。在其它实例 中，目的地装置14可为显示装置。大体来说，显示装置32向用户显示经解码视频数据，且 可包括多种显示装置中的任一者，例如，液晶显示器（LCD)、等离子显示器、有机发光二极管 (OLED)显示器或另一类型的显示装置。
[0化4]视频编码器20和视频解码器30可根据视频压缩标准（例如，目前在开发中的高 效率视频译码（肥VC)标准）而操作，且可符合肥VC测试模型（HM)。替代地，视频编码器 20和视频解码器30可根据例如口U-TH. 264标准（替代地被称作MPEG-4第10部分（先 进视频译码（AVC))的其它专有或行业标准或该些标准的扩展而操作。然而，本发明的技术 并不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和口U-TH. 263。 [0化5]尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音 频编码器和解码器集成，且可包含适当MUX-DEMW(单元或其它硬件和软件，W处置共同数 据流或单独数据流中的音频和视频两者的编码。如果适用，那么在一些实例中，MUX-DEMUX 单元可符合口UH. 223多路复用器协议，或例如用户数据报协议扣D巧的其它协议。
[0化6] 视频编码器20和视频解码器30可各自实施为各种合适编码器电路中的任一者， 例如，一或多个微处理器、数字信号处理器值SP)、专用集成电路（ASIC)、现场可编程口阵 列（FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当W软件中部分地实施所述技术时， 装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或 多个处理器来执行所述指令W执行本发明的技术。视频编码器20和视频解码器30中的每 一者可包含于一或多个编码器或解码器中，其中的任一者可集成为相应装置中的组合式编 码器/解码器（CODEC)的部分。
[0化7]如上文所论述，JCT-VC已开发肥VC标准。肥VC标准化努力是基于视频译码装置的 演进模型，其被称作肥VC测试模型（HM)。歷假设视频译码装置相对于根据（例如）ITU-T 比264/AVC的现有装置的若干额外能力。例如，比264提供九个帖内预测编码模式，而歷可 提供多达=十立个帖内预测编码模式。
[005引大体来说，HM的工作模型描述视频帖或图片可划分成包含亮度样本和色度样本两 者的树型块或最大译码单元（LCU)序列。树型块具有与H. 264标准的宏块的目的类似的目 的。切片包含按译码次序的数个连续树型块。可将视频帖或图片分割成一或多个切片。每 一树型块可根据四分树而分裂成多个译码单元（CU)。例如，树型块（作为四分树的根节点） 可分裂成四个子代节点，且每一子代节点可又为亲代节点，并分裂成另外四个子代节点。最 终未分裂的子代节点（作为四分树的叶节点）包含译码节点，即，经译码视频块。与经译 码位流相关联的语法数据可定义树型块可分裂的最大次数，且也可定义译码节点的最小大 小。
[0059]CU包含译码节点，和与译码节点相关联的预测单元（PU)和变换单元（TU)。CU的 大小大体上对应于译码节点的大小，且形状通常必须为正方形。CU的大小的范围可从8X8 像素直到具有最大64X64像素或大于64X64像素的树型块的大小。每一CU可含有一或 多个PU和一或多个TU。与CU相关联的语法数据可描述（例如）CU到一或多个PU的分割。 分割模式可视CU是经跳过或直接模式编码、经帖内预测模式编码抑或经帖间预测模式编 码而不同。PU可经分割成非正方形形状。与CU相关联的语法数据也可描述（例如）CU根 据四分树到一或多个TU的分割。TU的形状可为正方形或非正方形。
[0060] 肥VC标准允许根据TU的变换，所述变换对于不同CU可不同。通常基于针对经分 割LCU所定义的给定CU内的PU的大小而设定TU的大小，但可能并非总是如此状况。TU通 常具有与PU相同的大小，或小于PU。在一些实例中，可使用称为"残余四分树"（RQT)的四 分树结构而将对应于CU的残余样本再分为较小的单元。RQT的叶节点可被称作变换单元 (TU)。可变换与TU相关联的像素差值，W产生可被量化的变换系数。
[0061] 大体来说，PU包含与预测过程有关的数据。例如，当W帖内模式编码PU时，PU可 包含描述所述PU的帖内预测模式的数据。作为另一实例，当W帖间模式编码PU时，PU可包 含定义所述PU的运动向量的数据。定义PU的运动向量的数据可描述（例如）运动向量的 水平分量、运动向量的垂直分量、运动向量的分辨率（例如，四分之一像素精度或八分之一 像素精度）、运动向量所指向的参考图片，和/或运动向量的参考图片列表（例如，列表0、 列表1或列表0。
[006引大体来说，TU用于变换过程和量化过程。具有一或多个PU的给定CU也可包含一 或多个变换单元（TU)。在预测之后，视频编码器20可根据PU从通过译码节点识别的视频 块计算残余值。接着，更新译码节点W参考残余值而非原始视频块。残余值包括像素差值， 可使用TU中所指定的变换和其它变换信息将所述残余差值变换成变换系数，将其量化和 扫描W产生串列化变换系数W用于滴译码。可再次更新译码节点，W参考该些串列化变换 系数。本发明通常使用术语"视频块"来指CU的译码节点。在一些特定状况下，本发明也 可使用术语"视频块"来指包含译码节点W及多个PU和TU的树型块（即，LCU或CU)。
[0063] 视频序列通常包含一系列视频帖或图片。图片群组佑0巧通常包含一系列一或多 个视频图片。G0P可在G0P的标头中、图片中的一或多者的标头中或在别处包含语法数据， 所述语法数据描述包含于G0P中的图片的数目。图片的每一切片可包含描述所述相应切片 的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作，W 便编码视频数据。视频块可对应于cu内的译码节点。视频块可具有固定或变化的大小，且 可根据指定译码标准而在大小方面不同。
[0064] 作为一实例，歷支持W各种PU大小进行预测。假定特定CU的大小为2NX2N，那么HM支持W2NX2N或NXN的PU大小进行帖内预巧U，和W2NX2N、2NXN、NX2N或NXN的对 称PU大小进行帖间预测。歷也支持不对称分割从而W2NXnU、2NXnD、化X2N和nRX2N 的PU大小进行帖间预测。在不对称分割中，未对CU的一个方向进行分割，而将另一方向 分割成25%和75%。CU的对应于25%分割的部分由"n"继之上师）"、"下值own)"、 "左（Left)"或"右胞曲t)"的指示来指示。因此，例如，"2NXnU"指在水平方向上W顶部 2NX0. 5NPU和底部 2NX1. 5NPU分害d的 2NX2N抓。
[0065] 在本发明中，"NXN"与"N乘N"可互换地使用，W指视频块在垂直尺寸与水平尺 寸上的像素尺寸，例如，16X16像素或16乘16像素。大体来说，16X16块在垂直方向上将 具有16个像素（y= 16)，且在水平方向上将具有16个像素（x= 16)。同样地，NXN块通 常在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。可 按行和列来排列块中的像素。此外，块未必需要在水平方向上与在垂直方向上具有相同数 目个像素。例如，块可包括NXM个像素，其中M未必等于N。
[0066]在使用CU的PU进行帖内预测性译码或帖间预测性译码之后，视频编码器20可计 算应用由CU的TU指定的变换的残余数据。残余数据可对应于未经编码图片的像素与对应 于CU的预测值之间的像素差。视频编码器20可形成CU的残余数据，且接着变换所述残余 数据W产生变换系数。
[0067]在进行任何变换W产生变换系数之后，视频编码器20可执行变换系数的量化。量 化大体指如下过程；将变换系数量化W可能地减少用W表示所述系数的数据的量，从而提 供进一步压缩。量化过程可减少与所述系数中的一些或所有相关联的位深度。例如，可在 量化期间将n位值降值舍位到m位值，其中n大于m。
[0068]在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数，W产生可经滴编码的串列化向量。在其它实例中，视频编码器20可执行自适应性扫描。在 扫描经量化 的变换系数W形成一维向量之后，视频编码器20可（例如）根据上下文自适应 性可变长度译码（CAVLC)、上下文自适应性二进制算术译码（CABAC)、基于语法的上下文自 适应性二进制算术译码（SBAC)、概率区间分割滴（PIP巧译码或另一滴编码方法来滴编码 一维向量。视频编码器20也可滴编码与经编码视频数据相关联的语法元素，W由视频解码 器30在解码视频数据时使用。
[0069] 为了执行CABAC，视频编码器20可将上下文模型内的上下文指派给待传输的符 号。所述上下文可设及（例如）符号的相邻值是否为非零。为了执行CAVLC，视频编码器 20可针对待传输的符号选择可变长度码。可将VLC中的码字构建成使得相对较短码对应于 更有可能的符号，而较长码对应于较不可能的符号。W此方式，使用VLC可达成位节省（与 (例如）针对待传输的每一符号使用相等长度码字相比较）。概率确定可基于指派给符号 的上下文而进行。
[0070]在一些实例中，目的地装置14可实施处理视频数据的方法。例如，视频解码器30 可接收具有RAP图片的存取单元。视频解码器也可在具有RAP图片的存取单元之后接收一 或多个后续存取单元。在一或多个后续存取单元中的一后续存取单元不具有相关联的RA化 图片的状况下，视频解码器30基于图片缓冲器去除延迟偏移将图片缓冲器去除时间移位 得较早。例如，缓冲周期SEI消息可包含CPB延迟偏移值，例如，指定针对第i个CPB而待 使用的偏移的cptdelay_offset[i]。当与相关联于缓冲周期SEI消息的CRA或BLA存取 单元相关联的RASL存取单元不存在时，所述偏移可用于（例如）导出按解码次序在CRA或 BLA存取单元之后的存取单元的标称(PB去除时间。语法元素可具有W位为单位的由au_ cpb_removal_delay_length_minusl+l给定的长度，且可（例如）W90曲Z时钟为单位。
[0071] 在其它实例中，目的地装置14可实施处理视频数据的另一方法。例如，视频解码 器30可接收具有RAP图片的存取单元，其中不接收含有随机存取跳过前置（RA化）图片的 相关联的存取单元。响应于接收存取单元而不接收含有RA化图片的相关联的存取单元，视 频解码器30可初始化图片缓冲器去除时间和图片缓冲器去除延迟偏移。
[0072] 在另一实例中，视频解码器30可接收具有RAP图片的存取单元，其中不接收含有 RASL图片的相关联的存取单元。响应于接收存取单元而不接收含有RASL图片的相关联的 存取单元，视频解码器30也可初始化图片缓冲器去除时间和图片缓冲器去除延迟偏移。
[0073] 图2为说明可实施本发明中所描述的技术的实例视频编码器20的框图。视频编 码器20可执行视频切片内的视频块的帖内译码和帖间译码。帖内译码依赖于空间预测，W 减少或去除给定视频帖或图片内的视频的空间冗余。帖间译码依赖于时间预测，W减少或 去除视频序列的邻近帖或图片内的视频的时间冗余。帖内模式（I模式）可指若干基于空 间的压缩模式中的任一者。例如单向预测（P模式）或双向预测炬模式）的帖间模式可指 若干基于时间的压缩模式中的任一者。
[0074] 在图2的实例中，视频编码器20包含分割单元35、预测处理单元41、参考图片存 储器64、求和器50、变换处理单元52、量化单元54和滴编码单元56。预测处理单元41包 含运动估计单元42、运动补偿单元44和帖内预测处理单元46。对于视频块重构建，视频编 码器20也包含反量化单元58、反变换处理单元60和求和器62。也可包含解块滤波器（图 2中未展示），W对块边界进行滤波从而从经重构建视频去除成块效应伪影。如果需要，那 么所述解块滤波器将通常对求和器62的输出进行滤波。除解块滤波器W外，也可使用额外 回路滤波器（回路内或回路后）。
[007引如图2中所展示，视频编码器20接收视频数据，且分割单元35将数据分割成多个 视频块。此分割也可包含分割成切片、图像块或其它较大单元，W及（例如）根据LCU和 CU的四分树结构的视频块分割。视频编码器20大体上说明编码待编码的视频切片内的视 频块的组件。可将切片划分成多个视频块（且可能将其划分成被称作图像块的视频块的集 合）。预测处理单元41可基于误差结果（例如，译码速率和失真程度）而针对当前视频块 选择多个可能译码模式中的一者，例如，多个帖内译码模式中的一者或多个帖间译码模式 中的一者。预测处理单元41可将所得的经帖内译码块或经帖间译码块提供到求和器50,W 产生残余块数据，和提供到求和器62,W重构建经编码块W用作参考图片。
[0076] 预测处理单元41内的帖内预测处理单元46可执行当前视频块相对于在与待译码 的当前块相同的帖或切片中的一或多个相邻块的帖内预测性译码，W提供空间压缩。预测 处理单元41内的运动估计单元42和运动补偿单元44执行当前视频块相对于一或多个参 考图片中的一或多个预测性块的帖间预测性译码，W提供时间压缩。
[0077] 运动估计单元42可经配置W根据视频序列的预定型样确定视频切片的帖间预测 模式。预定型样可将序列中的视频切片指定为P切片或B切片。运动估计单元42与运动 补偿单元44可高度集成，但出于概念性目的而分别说明。由运动估计单元42执行的运动 估计为产生运动向量的过程，运动向量估计视频块的运动。运动向量（例如）可指示当前 视频帖或图片内的视频块的PU相对于参考图片内的预测性块的位移。
[007引预测性块为被发现与待译码的视频块在像素差方面紧密匹配的块，像素差可由绝 对差和（SAD)、平方差和（SSD)或其它差度量来确定。在一些实例中，视频编码器20可计算 存储于参考图片存储器64中的参考图片的子整数像素位置的值。例如，视频编码器20可 内插参考图片的四分之一像素位置、八分之一像素位置或其它分率像素位置的值。因此，运 动估计单元42可执行相对于全像素位置和分率像素位置的运动捜索，和W分率像素精度 输出运动向量。
[0079] 运动估计单元42通过比较经帖间译码切片中的视频块的PU的位置与参考图片的 预测性块的位置而计算PU的运动向量。参考图片可选从第一参考图片列表（列表0)或第 二参考图片列表（列表1)，所述列表中的每一者识别存储于参考图片存储器64中的一或多 个参考图片。运动估计单元42将计算出的运动向量发送到滴编码单元56和运动补偿单元 44。
[0080] 由运动补偿单元44执行的运动补偿可设及基于由运动估计所确定的运动向量来 提取或产生预测性块，从而可能执行到子像素精度的内插。在接收到当前视频块的PU的运 动向量后，运动补偿单元44可将运动向量所指向的预测性块定位于参考图片列表中的一 者中。视频编码器20通过从正经译码的当前视频块的像素值减去预测性块的像素值来形 成残余视频块，从而形成像素差值。像素差值形成块的残余数据，且可包含亮度差分量与色 度差分量两者。求和器50表示执行此减法运算的一或多个组件。运动补偿单元44也可产 生与视频块和视频切片相关联的语法元素，W供视频解码器30在解码视频切片的视频块 时使用。
[0081] 如上文所描述，作为由运动估计单元42和运动补偿单元44执行的帖间预测的替 代，帖内预测处理单元46可对当前块进行帖内预巧U。明确地说，帖内预测处理单元46可确 定用W编码当前块的帖内预测模式。在一些实例中，帖内预测处理单元46可（例如）在单 独编码遍次期间使用各种帖内预测模式来编码当前块，且帖内预测处理单元46(或在一些 实例中，模式选择单元40)可从经测试模式选择将使用的适当帖内预测模式。例如，帖内预 测处理单元46可使用用于各种经测试的帖内预测模式的速率-失真分析而计算速率-失 真值，且在经测试模式当中选择具有最佳速率-失真特性的帖内预测模式。速率-失真分 析大体确定经编码块与经编码W产生经编码块的原始未经编码块之间的失真（或误差）的 量，W及用W产生经编码块的位速率（即，位数目）。帖内预测处理单元46可根据各种经编 码块的失真和速率计算比率，W确定哪一帖内预测模式展现块的最佳速率-失真值。
[0082] 在任何状况下，在选择用于块的帖内预测模式之后，帖内预测处理单元46可将指 示用于块的选定帖内预测模式的信息提供到滴编码单元56。滴编码单元56可根据本发明 的技术来编码指示选定帖内预测模式的信息。视频编码器20可在所传输的位流中包含配 置数据，所述配置数据可包含多个帖内预测模式索引表和多个经修改帖内预测模式索引表 (也称作码字映射表）、各种块的编码上下文的定义，和用于上下文中的每一者的最大概率 帖内预测模式、帖内预测模式索引表和经修改帖内预测模式索引表的指示。
[0083] 在预测处理单元41经由帖间预测抑或帖内预测产生当前视频块的预测性块之 后，视频编码器20通过从当前视频块减去预测性块而形成残余视频块。残余块中的残余视 频数据可包含于一或多个TU中，且应用于变换处理单元52。变换处理单元52使用例如离 散余弦变换值CT)或概念上类似的变换的变换将残余视频数据变换成残余变换系数。变换 处理单元52可将残余视频数据从像素域转换到变换域，例如频域。
[0084] 变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系 数W进一步减少位速率。量化过程可减少与系数中的一些或全部系数相关联的位深度。可 通过调整量化参数而修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化 的变换系数的矩阵的扫描。替代地，滴编码单元56可执行所述扫描。
[0085] 在量化之后，滴编码单元56滴编码经量化的变换系数。例如，滴编码单元56可 执行上下文自适应性可变长度译码（CAVLC)、上下文自适应性二进制算术译码（CABAC)、基 于语法的上下文自适应性二进制算术译码（SBAC)、概率区间分割滴（PIP巧译码或另一滴 编码方法或技术。在由滴编码单元56进行滴编码之后，可将经编码位流传输到视频解码器 30,或加W存档W供稍后传输或由视频解码器30俘获。滴编码单元56也可滴编码正经译 码的当前视频切片的运动向量和其它语法元素。
[0086] 反量化单元58和反变换处理单元60分别应用反量化和反变换，W在像素域中重 构建残余块W供稍后用作参考图片的参考块。运动补偿单元44可通过将残余块加到参考 图片列表中的一者内的参考图片中的一者的预测性块来计算参考块。运动补偿单元44也 可将一或多个内插滤波器应用于经重构建的残余块，W计算子整数像素值W供在运动估计 中使用。求和器62将所述经重构建的残余块加到由运动补偿单元44所产生的经运动补偿 的预测块，W产生参考块W存储于参考图片存储器64 (有时称作经解码图片缓冲器值PB)) 中。参考块可由运动估计单元42和运动补偿单元44用作参考块W帖间预测后续视频帖或 图片中的块。
[0087] 如上文所论述，在AVC和肥VC中，将位流符合性和解码器符合性指定为H畑规范 的部分。尽管将HRD称作某种解码器，但在视频编码器20处通常需要HRD，W保证位流符合 性，而在解码器侧处通常不需要HRD。指定两种类型的位流符合性或HRD符合性，即，类型I 和类型II。另外，指定两种类型的解码器符合性；输出时序解码器符合性和输出次序解码 器符合性。
[0088] 通常在随机存取点（RAP)图片处初始化皿D。在肥VC和AVC两者中，一旦初始化 H畑，那么无需重新初始化，其便能继续操作直到位流的结尾为止。
[0089] 在肥VCWD9中，如果H畑在CRA或BLA存取单元处初始化，那么将此存取单元称 作存取单元0。在一些实例中，视频编码器20可传输或存储与存取单元0相关联的默认初 始CPB去除延迟和延迟偏移W及替代性初始(PB去除延迟和延迟偏移W用于H畑操作中。 视频编码器20可接着用信号发送与存取单元0相关联的默认初始(PB去除延迟和延迟偏 移W及替代性初始CPB去除延迟和延迟偏移。如果不存在与存取单元0相关联的RA化存 取单元，那么选择替代性初始(PB去除延迟和延迟偏移，否则（存在与存取单元0相关联的 RA化存取单元），选择默认初始(PB去除延迟和延迟偏移。接着，可在位流中用信号发送初 始(PB去除延迟和延迟偏移的选定集合。也可接着使用初始(PB去除延迟和延迟偏移的选 定集合，直到位流的结尾为止。可使用包含(PB延迟偏移值（例如，指定针对第i个(PB而 待使用的偏移的cptdelay_offset[i])的缓冲周期SEI消息（例如）从视频编码器20用 信号发送此信息。
[0090] 在一实例中，视频编码器20可针对每一CRA或BLA存取单元用信号发送(PB去除 延迟偏移。对于所相关联的RA化图片不存在的每一CRA或BLA存取单元来说，不管H畑是 否在CRA或BLA存取单元处初始化，（例如）在视频解码器30处皆将按解码次序在CRA或 BLA存取单元之后的存取单元中的每一者的CBP去除时间移位得早出（PB去除延迟偏移。 W与肥VCWD9中相同的方式执行在存取单元0的替代性初始(PB去除延迟和延迟偏移与 默认初始(PB去除延迟和延迟偏移之间的选择。替代地，始终选择存取单元0的默认初始 (PB去除延迟和延迟偏移，且因此除非存在子图片层级(PB参数且接着替代性初始(PB去除 延迟和延迟偏移（例如）由视频解码器30用于子图片层级H畑操作的目的，否则并不针对 CRA或BLA存取单元而用信号发送替代性初始(PB去除延迟和延迟偏移。
[OOW] 在一些实例中，视频编码器20可（例如）通过如肥VCWD9的子条款C. 2. 3 (解码 单元去除的时序和解码单元的解码）中所描述的语法和语义来编码缓冲周期补充增强信 息（SEI)消息。视频编码器20可结合（例如）肥VCWD9实施本文中所描述的改变。未提 及的其它部分可与肥VCWD9或其它肥VC标准（例如，后续肥VC标准）中的部分相同。
[0092] 图3为说明可实施本发明中所描述的技术的实例视频解码器30的框图。在图3的 实例中，视频解码器30包含经译码图片缓冲器（CPB) 78、滴解码单元80、预测处理单元81、 反量化单元86、反变换处理单元88、求和器90和经解码图片缓冲器值PB) 92。预测处理单 元81包含运动补偿单元82和帖内预测处理单元84。在一些实例中，视频解码器30可执行 与关于来自图2的视频编码器20所描述的编码编次大体上互反的解码编次。
[0093]CPB78存储来自经编码图片位流的经译码图片。在一个实例中，CPB78为含有按 解码次序的存取单元（AU)的先进先出缓冲器。AU为网络抽象层（NAL)单元的集合，所述 NAL单元根据指定分类规则而彼此相关联，按解码次序为连续的且含有仅一个经译码图片。 解码次序为解码图片的次序，且可不同于显示图片的次序（即，显示次序）。在肥VCWD9 中，可由假想参考解码器化RD)指定CPB的操作。
[0094] 在解码过程期间，视频解码器30从视频编码器20接收经编码视频位流，所述经编 码视频位流表示经编码视频切片的视频块和相关联的语法元素。视频解码器30的滴解码 单元80滴解码所述位流，W产生经量化的系数、运动向量和其它语法元素。滴解码单元80 将运动向量和其它语法元素转递到预测处理单元81。视频解码器30可在视频切片层级和 /或视频块层级处接收语法元素。
[0095] 当将视频切片译码为经帖内译码（I)切片时，预测处理单元81的帖内预测处理单 元84可基于用信号发送的帖内预测模式和来自当前帖或图片的先前经解码块的数据而产 生当前视频切片的视频块的预测数据。当将视频帖译码为经帖间译码（即，B、P或GPB)切 片时，预测处理单元81的运动补偿单元82基于从滴解码单元80所接收的运动向量和其它 语法元素而产生当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考 图片中的一者产生预测性块。视频解码器30可基于存储于DPB92中的参考图片使用默认 构建技术来构建参考帖列表（列表0和列表1)。
[0096] 运动补偿单元82通过剖析运动向量和其它语法元素而确定当前视频切片的视频 块的预测信息，且使用所述预测信息产生正经解码的当前视频块的预测性块。例如，运动补 偿单元82使用所接收的语法元素中的一些语法元素确定用W译码视频切片的视频块的预 测模式（例如，帖内预测或帖间预测）、帖间预测切片类型（例如，B切片、P切片或GTO切 片）、切片的参考图片列表中的一或多者的构建信息、切片的每一经帖间编码视频块的运动 向量、切片的每一经帖间译码视频块的帖间预测状态，和用W解码当前视频切片中的视频 块的其它信息。
[0097] 运动补偿单元82也可基于内插滤波器执行内插。运动补偿单元82可使用如由视 频编码器20在视频块的编码期间所使用的内插滤波器，W计算参考块的子整数像素的内 插值。在此状况下，运动补偿单元82可从所接收的语法元素确定由视频编码器20所使用 的内插滤波器，且使用内插滤波器来产生预测性块。
[009引反量化单元86反量化（即，解量化）位流中所提供且由滴解码单元80解码的经 量化的变换系数。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块 计算的量化参数，W确定量化的程度和（同样地）应所述应用的反量化的程度。反变换处 理单元88将反变换（例如，反DCT、反整数变换或概念上类似的反变换过程）应用于变换系 数，W便在像素域中产生残余块。
[0099] 在运动补偿单元82基于运动向量和其它语法元素产生当前视频块的预测性块之 后，视频解码器30通过对来自反变换处理单元88的残余块与由运动补偿单元82所产生的 对应预测性块求和，而形成经解码视频块。求和器90 表示执行此求和运算的一或多个组 件。如果需要，也可应用解块滤波器来对经解码块进行滤波，W便去除成块效应伪影。其它 回路滤波器（译码回路中或译码回路后）也可用W使像素转变平滑，或W其它方式改善视 频质量。接着，将给定帖或图片中的经解码视频块存储于DPB92中，所述DPB92存储用于 后续运动补偿的参考图片。DPB92也存储经解码视频，W用于稍后在显示装置（例如，图1 的显示装置32)上呈现。在一个实例中，类似于CPB78,在HVECWD9中，可由H畑指定DPB 92的操作。CPB78和DPB92可包括存储器单元模块，或可包括分割成多个不同区W界定 CPB78和DPB92的同一存储器。
[0100] 本发明的接下来的章节将论述随机存取、位流切换和随机存取点（RAP)图片的 肥VC特征。
[0101] 随机存取指从并非视频位流中的第一经译码图片的经译码图片开始的所述位流 的解码。许多视频应用（例如，广播和流式传输）中需要对位流的随机存取，（例如）W供 用户在任何时间调谐进入节目、在不同信道之间切换、跳转到视频的特定部分，或切换到不 同位流W达成流式传输调适（例如，位速率、帖速率、空间分辨率等的调适）。通过W规则间 隔多次将随机存取图片或随机存取点（RA巧插入到视频位流来实现随机存取。
[0102] 位流拼接指两个或两个W上位流或其部分的串连。例如，可使第一位流附加有第 二位流，可能对所述位流中的一者或两者作出一些修改W产生经拼接的位流。第二位流中 的第一经译码图片也被称作拼接点。因此，经拼接的位流中在拼接点之后的图片是源自第 二位流，而经拼接的位流中在拼接点之前的图片是源自第一位流。
[0103] 由位流拼接器执行位流的拼接。位流拼接器常常为轻型的（即，不太复杂或处理 能力较差），且远不如视频编码器20智能。例如，位流拼接器可未装备有滴解码和编码能 力。
[0104] 可在自适应性流式传输环境中使用位流切换。在切入位流中的某些图片处的位流 切换操作实际上为位流拼接操作，其中拼接点为位流切换点，即，切入位流中的第一图片。
[0105]W下章节将论述RAP图片。RAP图片的一个实例为瞬时解码再新（IDR)图片。如 AVC或肥VC中所指定，IDR图片中可用于随机存取。然而，由于按解码次序在IDR图片之 后的图片不能将在IDR图片之前解码的图片用作参考（例如，对于帖间预测），因此依赖于 IDR图片来随机存取的位流可具有显著较低的译码效率。
[0106] 为改善译码效率，在肥VC中引入清洁随机存取（CRA)图片的概念，W允许按解码 次序在CRA图片之后但按输出次序在CRA图片之前的图片将在CRA图片之前解码的图片用 作参考。按解码次序在CRA图片之后但按输出次序在CRA图片之前的图片被称作与CRA图 片相关联的前置图片（或CRA图片的前置图片）。如果解码从当前CRA图片之前的IDR或 CRA图片开始，那么CRA图片的前置图片可正确解码。然而，当发生从CRA图片的随机存取 时，CRA图片的前置图片可能不可解码；因此在随机存取解码期间通常丢弃前置图片。为防 止从取决于解码开始处而可能不可用的参考图片的错误传播，HEVC的一个提议指定；按解 码次序和输出次序两者在CRA图片之后的所有图片不得将按解码次序抑或输出次序在CRA 图片之前的任何图片（其包含前置图片）用作参考。
[0107] 在引入CRA图片之后，在肥VC中进一步引入断链存取炬LA)图片的概念，且所述 概念是基于CRA图片的概念。BLA图片通常源自在CRA图片的位置处的位流拼接，且在经拼 接的位流中，拼接点CRA图片经改变成BLA图片。
[010引 IDR图片、CRA图片和BLA图片被统称为随机存取点（RAP)图片。如下为BLA图 片与CRA图片之间的一个显著差异。对于CRA图片，如果解码从按解码次序在CRA图片之 前的RAP图片开始，那么相关联的前置图片可正确解码，且在发生从CRA图片的随机存取时 (即，在解码从CRA图片开始时，或换句话说，在CRA图片为位流中的第一图片时），相关联 的前置图片可能不可正确解码。对于BLA图片，在所有状况下，相关联的前置图片可能不可 解码，甚至在解码从按解码次序在BLA图片之前的RAP图片开始时也如此。
[0109] 对于特定CRA或BLA图片，相关联的前置图片中的一些前置图片可正确解码，甚至 在CRA或BLA图片为位流中的第一图片时也如此。该些前置图片被称作可解码前置图片 值L巧或随机存取可解码前置（RADL)图片。其它前置图片被称作非可解码前置图片（NLP)、 加标签为丢弃（T抑）图片或随机存取跳过前置（RA化）图片。
[0110] 肥VC WD9将位流的概念指定为形成经编码图片和相关联的数据的表示的位序列， 经译码图片和相关联的数据形成一或多个经译码视频序列。位流为用于指NAL单元流式传 输抑或字节流式传输的集合性术语。肥VC WD9将基本流式传输巧巧的概念指定为一或多 个位流的序列。
[0111] 将通常通过将两个或两个W上位流（或其部分）拼接在一起而形成由两个或两个 W上位流组成的基本流式传输。如果基本流式传输含有多个位流，那么除了最后位流之外， 在其它位流中的每一者的结尾处通常存在位流结尾（endofbitstream,EOS)NAL单元。
[0112] 视频译码标准通常包含视频缓冲模型的规范。在AVC和肥VC中，缓冲模型被称作 假想参考解码器（HRD)，其包含经译码图片缓冲器（CPB)和经解码图片缓冲器值PB)两者的 缓冲模型。W数学方式指定(PB和DPB行为。HRD直接对不同时序、缓冲器大小和位速率强 加约束，且间接地对位流特性和统计强加约束。H畑参数的完整集合包含五个基本参数：初 始CPB去除延迟、CPB大小、位速率、初始DPB输出延迟和DPB大小。
[0113] 在AVC和肥VC中，将位流符合性和解码器符合性指定为H畑规范的部分。尽管将 HRD称为解码器，但在编码器侧处通常需要HRD规范，W保证位流符合性。指定两种类型的 位流符合性或HRD符合性，即，类型I和类型II。另外，指定两种类型的解码器符合性（输 出时序解码器符合性和输出次序解码器符合性）。
[0114] 通常在随机存取点图片处初始化H畑。在肥VC和AVC两者中，一旦初始化H畑，那 么无需重新初始化，其便能继续操作直到位流的结尾为止。
[0115] 在肥VCWD9中，如果H畑在CRA或BLA存取单元处初始化（此存取单元被称作存 取单元0)，那么取决于是否存在与存取单元0相关联的RA化存取单元，选择与存取单元0 相关联的默认初始CPB去除延迟和延迟偏移抑或替代性初始CPB去除延迟和延迟偏移，W 用于HRD操作中。如果不存在与存取单元0相关联的RA化存取单元，那么选择替代性初始 (PB去除延迟和延迟偏移；否则（即，存在与存取单元0相关联的RA化存取单元），选择默 认初始(PB去除延迟和延迟偏移。接着，由视频解码器30使用初始(PB去除延迟和延迟偏 移的选定集合，直到位流的结尾为止。
[0116] 在美国专利申请案第13/664, 279号（在2012年10月30日申请，其全部内容W 引用的方式并入本文中）中，描述W下方法。可针对每一CRA存取单元用信号发送(PB去 除延迟偏移。如果H畑在此CRA存取单元（其也被称作存取单元0)处初始化，且不存在相 关联的RA化图片，那么将按解码次序在CRA存取单元之后的存取单元中的每一者的(PB去 除时间移位得早出(PB去除延迟偏移。
[0117] 肥VCWD9中的H畑技术展现W下问题。首先，假定将初始(PB去除延迟和延迟偏移 的选定集合应用于如下状况；其中位流中按解码次序在存取单元0之后的所有CRA或BLA 存取单元（如果存在）的相关联的RA化存取单元存在。仅在位流中不存在按解码次序在 存取单元0之后且所相关联的RA化存取单元不存在的CRA或BLA存取单元的情况下，肥VC WD9的当前技术才将正确地起作用。然而，如果位流中存在此CRA或BLA存取单元，那么CPB 可在第一此CRA或BLA存取单元之后溢位，且因此可发生超出预期的解码结果。
[0118] 类似地，假定初始(PB去除延迟和延迟偏移的选定集合应用于如下状况；其中位 流中按解码次序在存取单元0之后的所有CRA或BLA存取单元（如果存在）的相关联的 RASL存取单元不存在。仅在位流中不存在按解码次序在存取单元0之后且所相关联的RASL 存取单元存在的CRA或BLA存取单元的情况下，肥VCWD9的当前技术才将正确地起作用， 且在位流中存在此CRA或BLA存取单元的情况下，所述技术将无法正确地起作用。
[0119] 关于初始(PB去除延迟和延迟偏移的选定集合的其它假定也可导致不正确的解 码。例如，只要关于紧跟着的CRA或BLA存取单元的相关联的RA化存取单元的存在和缺乏 的假定不成立，那么也可能无法正确地解码W下情形：在存取单元0之后的一些CRA或BLA 存取单元的相关联的RA化存取单元存在，且在存取单元0之后的其它CRA或BLA存取单元 的相关联的RASL存取单元不存在。
[0120] 归因于丢弃与存取单元0相关联的RA化存取单元，(PB去除延迟偏移可仅补偿在 存取单元0之后的存取单元的(PB去除时间。如果位流中存在按解码次序在存取单元0之 后且所相关联的RA化存取单元已被丢弃的一个或一个W上CRA或BLA存取单元，那么CPB 可在第一此CRA或BLA存取单元之后溢位，且因此可发生超出预期的解码结果。
[012U 如下为与肥VCWD9中的方法相关联的另一问题。当前，当存取单元（AU)0为CRA AU或BLAAU时，如果存在相关联的RA化AU，那么使用默认初始(PB去除延迟和延迟偏移； 否则使用替代性初始(PB去除延迟和延迟偏移。然而，初始(PB去除延迟和延迟偏移的改变 并不改变AUO的（标称）解码时间与按解码次序在AUO之后的第一非RA化AU的（标称） 解码时间之间的持续时间。例如，假定原始位流中存在按解码次序紧跟在AUO之后且紧跟 有尾随图片的10个RA化图片。在此情形下，当解码原始位流时，(PB去除时间等于每一AU 的标称(PB去除时间，且任何两个连续AU的解码时间之间的持续时间为一个时钟刻度。根 据肥VCWD9,不管是否丢弃RA化图片，AU0的解码时间与第一尾随图片的解码时间之间的 持续时间皆将是相同的（11个时钟刻度）。因此，对于原始位流来说，解码是连续的，但当丢 弃RA化图片时情况那么并非如此。
[0122] 鉴于该些问题，本发明提供用于改善视频缓冲（例如，改善肥VCWD9的皿D)的W 下方法和技术。将参考肥VCWD9描述W下实例。未特定提及的任何H畑技术可与当前在 肥VCWD9或其它肥VC标准（例如，后续肥VC标准）中所指定的技术相同。
[0123] 在本发明的第一实例中，由视频编码器20针对每一CRA或BLA存取单元用信号发 送(PB去除延迟偏移。对于所相关联的RA化图片不存在的每一CRA或BLA存取单元来说， 不管HRD(例如，视频解码器30)是否在CRA或BLA存取单元处初始化，视频解码器30皆将 按解码次序在CRA或BLA存取单元之后的存取单元中的每一者的(PB去除时间移位得早 出（PB去除延迟偏移。如上文所描述，缓冲周期SEI消息可包含(PB延迟偏移值，例如，指 定针对第i个CPB而待使用的偏移的cptdelay_offset[i]。当与相关联于缓冲周期SEI 消息的CRA或BLA存取单元相关联的RA化存取单元不存在时，所述偏移可用于（例如）导 出按解码次序在CRA或BLA存取单元之后的存取单元的标称(PB去除时间。语法元素可具 有W位为单位的由au_cpb_removal_delay_length_minusl+l给定的长度，且可（例如）W 90曲Z时钟为单位。
[0124] 可W与（例如）肥VCWD9中相同的方式来执行在存取单元0的替代性初始CPB去 除延迟和延迟偏移与默认初始(PB去除延迟和延迟偏移之间的选择。在另一实例中，始终 选择（例如，在视频编码器20处选择W供视频解码器30使用）存取单元0的默认初始CPB 去除延迟和延迟偏移。因此，除非存在子图片层级(PB参数且接着替代性初始(PB去除延 迟和延迟偏移是用于子图片层级H畑操作的目的，否则视频编码器20并不针对CRA或BLA 存取单元而用信号发送替代性初始(PB去除延迟和延迟偏移。可使用具有本文中所描述的 语法的缓冲周期SEI消息来用信号发送替代性初始(PB去除延迟和延迟偏移。
[0125] 在本发明的第二实例中，HRD指定视频解码器（例如，视频解码器30)在所相关联 的RA化存取单元不存在的每一CRA或BLA存取单元处初始化或重新初始化，所述不存在 (例如）如由W下条件中的任一者为真所识别：
[0126] a.nal_unit_type等于CRA_NUT或BLA_W_LP，且UseAltCpbParamsFlag等于 1 ;
[0127] b.nal_unit_type等于BLA_W_DLP或BLA_N_LP。
[0128] 语法元素nal_unit_type指定含于网络抽象层（ML)单元中的原始字节序列有效 负载伽S巧数据结构的类型。CRA_NUT为CRA图片的经译码切片区段的NAL类型。BLA_ W_LP为BLA图片的经译码切片区段的ML类型。具有等于BLA_W_LP的nal_unit_type的 BLA图片可具有存在于位流中的相关联的RA化或RADL图片。具有等于BLA_W_DLP的nal_ unit_type的BLA图片不具有存在于位流中的相关联的RA化图片，但在位流中可具有相关 联的RADL图片。因此，当BLA图片具有等于BLA_W_LP的nal_unit_type(其又可具有存在 于位流中的相关联的RA化或RADL图片）时，视频解码器30可在每一CRA或BLA存取处初 始化或重新初始化。具有等于BLA_N_LP的nal_unit_type的BLA图片并不具有存在于位流 中的相关联的前置图片。因此，当BLA图片具有等于BLA_N_LP的nal_unit_type时，视频解 码器30大体上不在每一CRA或BLA存取处初始化或重新初始化。化eAltCpbParamsFlag指 示是否使用替代性(PB参数。如果使用替代性CPG参数，那么视频解码器30可使用由CPB 延迟偏移值（例如，指定针对第i个CPB而待使用的偏移的cpb_delay_offset[i])指定的 偏移。
[0129] 在本发明的第S实例中，（例如）由视频解码器30将所相关联的RA化存取单元 不存在（例如，如由W下条件中的任一者为真所识别）的每一CRA或BLA存取单元视为位 流中的第一存取单元（即，此存取单元开始新的位流），且因此并不要求位流结尾NAL单元 存在于并非基本流式传输中的最后位流的每一位流的结尾处：
[0130] a.nal_unit_type等于CRA_NUT或BLA_W_LP，且UseAltCpbParamsFlag等于 1;
[013Ub.nal_unit_type等于BLA_W_DLP或BLA_N_LP。
[0132] 因此，在实施H畑模型时，视频解码器30根据（例如）肥VC标准在存取单元处初 始化或重新初始化H畑。在此第S实例中，如上文所论述，将所相关联的RA化存取单元不存 在的每一CRA或BLA存取单元视为位流中的第一存取单元。
[013引在本发明的第四实例中，对于所相关联的RA化存取单元不存在（例如，如由W下 条件中的任一者为真所识别）的每一CRA或BLA存取单元来说，要求存在按解码次序紧接 在存取单元中的第一NAL单元之前的位流结尾NAL单元：
[0134]a.nal_unit_type等于CRA_NUT或BLA_W_LP，且UseAltCpbParamsFlag等于 1;
[01巧]b.nal_unit_type等于BLA_W_DLP或BLA_N_LP。
[0136] 因此，在实施H畑模型时，视频解码器30可根据（例如）肥VC标准在存取单元处 初始化或重新初始化HRD。
[0137] 上文的第二、第S和第四实例的共同之处在于；在一些实例中，当视频解码器30 在CRA或BLA存取单元处初始化或重新初始化时，取决于与存取单元相关联的RASL存取单 元是否存在，可由视频解码器30传输或存储与存取单元相关联的默认初始(PB去除延迟和 延迟偏移与替代性初始(PB去除延迟和延迟偏移两者，W用于H畑操作中。如果不存在与 存取单元相关联的RA化存取单元（例如，当上文的两个条件a或b中的任一者为真时）， 那么选择替代性初始(PB去除延迟和延迟偏移；否则（存在与存取单元相关联的RASL存取 单元），选择默认初始(PB去除延迟和延迟偏移。接着，由视频解码器30使用初始(PB去 除延迟和延迟偏移的选定集合，直到重新初始化H畑或位流的结尾为止。在一个实例中，当 此CRA或BLA存取单元并非位流中的第一存取单元（即，并非存取单元0)时，仅重新初始 化CPB，而不重新初始化DPB。在另一实例中，当此CRA或BLA存取单元并非位流中的第一 存取单元（即，并非存取单元0)时，(PB和DPB两者皆不被重新初始化，而是W类似于上文 的描述的方式在替代性初始(PB去除延迟和延迟偏移或默认初始(PB去除延迟和延迟偏移 之间作出选择。例如，视频解码器30可在替代性初始(PB去除延迟和延迟偏移或默认初始 (PB去除延迟和延迟偏移之间选择，且接着可由（例如）视频解码器30使用选定替代性初 始CPB去除延迟和延 迟偏移，直到重新初始化H畑或位流的结尾为止。
[0138] W下提供对第一实例技术的论述。W下对条款和子条款的任何参考参照肥VC WD9。除非特定陈述，否则所有语法元素的操作和含义在肥VCWD9中被定义，且可大体上适 用于后续肥VC扩展。
[0139] 根据本文中所描述的系统和方法，可如下改变（例如）肥VCWD9中的肥VCWD9的 子条款C. 2. 3 (解码单元去除的时序和解码单元的解码）中的缓冲周期SEI消息语法和语 义。视频解码器30可（例如）使用肥VCWD9的子条款C. 2. 3的缓冲周期沈I消息语法和 语义的一些或所有方面来实施解码。用粗体表示经更新的语法元素。未提及的其它部分可 与肥VCWD9或后续肥VC标准中的部分相同。
[0140] 表1-缓冲周期SEI消息语法
[0141]
[0143] 缓冲周期补充增强信息（SEI)消息提供用于按解码次序在相关联的存取单元的 位置处初始化H畑的初始CPB去除延迟和初始(PB去除延迟偏移信息。
[0144] W下情形适用于缓冲周期沈I消息语法和语义。首先，从虹d_parameters0语 法结构中的语法元素，在（例如）视频解码器30中获得或在（例如）视频解码器30处 导出语法兀素initial_cpb_removal_delay_length_minusl、au_cpb_removal_delay_length-minusl和sub_pic_cpb_params_present_flagW及变量NalHrdBpPresentFlag和 Vcl化地pPresentFlag，所述语法结构适用于应用缓冲周期沈I消息的操作点中的至少一 者。其次，在（例如）视频解码器30处从在S址i_layer_hrd_parameters〇语法结构中获 得的语法元素导出变量CpbSize[i]、BitRate[i]和Cpb化t，所述语法结构适用于应用缓 冲周期SEI消息的操作点中的至少一者。第S，应用缓冲周期SEI消息的具有不同化Tid 值tIdA和tl地的任何两个操作点指示译码于虹d_parameters()语法结构中的cptcnt_ minusl[tIdA]和cpb_cnt_minusl[tl地]的值相同，所述语法结构适用于所述两个操作点。 第四，应用缓冲周期沈I消息的具有不同化LayerldSet值layerldSetA和layerldSetB的 任何两个操作点指示分别用于两个虹d_parameters()语法结构的naljird_parameters_ present_flag和vcljird_parameters_present_flag的值相同，所述两个语法结构适用于 所述两个操作点。最后，位流（或其部分）指与应用缓冲周期SEI消息的操作点中的任一 者相关联的位流子集（或其部分）。
[0145] 如果语法元素化1化地pPresentFlag或VclHr地pPresentFlag等于1，那么适用于 指定操作点的缓冲周期SEI消息可与经译码视频序列中的任何存取单元相关联，且适用于 指定操作点的缓冲周期SEI消息将与每一RAP存取单元相关联，与相关联于回复点SEI消 息的每一存取单元相关联。否则（化1化地pPresentFlag和Vcl化地pPresentFlag皆等于 0)，在此实例中，经译码视频序列中无存取单元将与适用于指定操作点的缓冲周期SEI消 息相关联。
[0146] 对于一些应用，缓冲周期SEI消息的频繁存在可为需要的。
[0147] 当存在含有缓冲周期沈I消息且具有等于0的nuh_reservetze;ro_6bits的SEI NAL单元时，SEINAL单元按解码次序将在存取单元中的第一V化NAL单元之前。
[0148] 语法元素bp_seq_parameter_set_id指定对与缓冲周期SEI消息相关联的经译码 图片有效的序列参数集的sps_seq_parameter_set_id。bp_seq_parameter_set_id的值将 等于图片参数集中的pps_seq_parameter_set_id的值，所述图片参数集由与缓冲周期SEI 消息相关联的经译码图片的切片区段标头的slice_pic_parameter_set_id引用。bp_seq_ parameter_set_id的值将在0到15 (包含0和15)的范围中。
[0149]等于 1 的语法元素rap_cpb_params_present_flag指定存在initial_alt_cpb_ removal_delay[i]和initial_alt_cpb_removal_offset[i]语法元素。当W上两者不存在 时，推断rap_cpb_params_present_flag的值等于0。当相关联的图片既非CRA图片也非 BLA图片时，rap_cpb_params_present_flag的值将等于 0。
[0150] 语法元素initial_cpb_removal_delay[i]和initial_alt_cpb_removal_ delay[i]分别指定第i个CPB的默认初始CPB去除延迟和替代性初始CPB去除延 迟。语法元素具有W位为单位的由initial_cpb_removal_delay_length_minusl+l 给定的长度，且W90曲Z时钟为单位。语法元素的值将不等于0,且将小于或等于 90000*(CpbSize[i]今BitRate[i])(W90曲Z时钟为单位的CPB大小的时间当量）。
[0151] 语法元素initial_cpb_removal_offset[i]和initial_alt_cpb_removal_ offset[i]分别指定第i个CPB的默认初始CPB去除偏移和替代性初始CPB去除偏移，从而 指定经译码数据单元到(PB的初始递送时间。语法元素具有W位为单位的由initial_cpb_ removal_delay_length_minusl+l给定的长度，且W90曲z时钟为单位。
[0152]在整个经译码视频序列上，对于每一i值，initial_cpb_removal_delay[i]与initial_cpb_removal_offset[i]的总和将为恒定的，且对于每一i值，initial_alt_cpb_ removal_delay[i]与initial_alt_cpb_removal_offset[i]的总和将为恒定的。
[015引语法元素cpb_delay_offset[i]指定针对第i个CPB而待使用的偏移，当不存在 与CRA或BLA存取单元相关联的RASL存取单元时，所述偏移将用于导出按解码次序在与缓 冲周期SEI消息相关联的CRA或BLA存取单元之后的存取单元的标称(PB去除时间。语 法元素具有W位为单位的由au_cpb_removal_delay_length_minusl+l给定的长度，且W 90曲Z时钟为单位。
[0154] 在一些实例中，建议视频编码器 20 不将initial_alt_cpb_removal_delay[i]、 initial_alt_cpb_removal_offset[i]和cpb_delay_offset[i]包含在与CRA或BLA图片 相关联的缓冲周期SEI消息中，CRA或BLA图片具有按解码次序交错的相关联的RA化和 RADL图片。
[0155] 接下来的章节将论述解码单元去除的时序和解码单元的解码。如下导出变量 InitCpbRemovalDelay[SchedSelldx]、InitCpbRemovalDelayOffset[SchedSelldx]和 cpbDelayOffset[SchedSelIdx]。首先，如果W下所呈现的条件（A)和条件炬）中的一 或多者为真，那么将InitCpbRemovalDelay[SchedSelIdx]、InitCpbRemovalDelayOffse t[SchedSelIdx]和cpbDelayOffset[SchedSelIdx]设定为分别等于缓冲周期沈I消息 语法兀素initial_alt_cpb_removal_delay[SchedSelldx]、initial_alt_cpb_removal_ offset[SchedSelIdx]和cpti_delay_offset[SchedSelldx]的值，所述缓冲周期SEI消 息语法元素是取决于如HVECWD9的子条款C. 1中所指定的化1化dModeFlag而选择。条 件（A)为：存取单元0为经译码图片具有等于BLA_W_DLP或BLA_N_LP的nal_unit_type 的BLA存取单元，且缓冲周期沈I消息的rap_cpb_params_present_flag的值等于1。条 件做为：存取单元0为经译码图片具有等于BLA_W_LP的nal_unit_type的BLA存取 单元，或为CRA存取单元，且缓冲周期沈I消息的rap_cpb_params_present_flag的值 等于1，且W下条件中的一或多者为真；（1)存取单元0的化eAltCpbParamsFlag等于1。 DefaultlnitCpbParamsFlag等于 0，（2)否贝！J，将InitCpbRemovalDelay[SchedSelIdx] 和InitCpbRemovalDelayOffset[SchedSelldx]设定为分别等于缓冲周期沈I消息 语法 兀素initial_cpb_removal_delay[SchedSelldx]和initial_cpb_removal_ offset[SchedSelldx]的值，且将cpbDelayOffset[SchedSelldx]设定为等于 0,所述缓冲 周期沈I消息语法元素是取决于如子条款C. 1中所指定的化1化dModeFlag而选择。
[0156] 如下指定存取单元n从CPB的标称去除时间。首先，如果存取单元n为n等于0 的存取单元（初始化HRD的存取单元），那么由如下等式指定存取单元从(PB的标称去除时 间：
[0157] NominalRemovalTime(0) =InitCpbRemovalDelay[SchedSelldx]/90000 (C-9) [015引否则，当存取单元n为并不初始化H畑的缓冲周期的第一存取单元时，W下情形适 用。由如下等式指定存取单元n从CPB的标称去除时间：
[0159]NominalRemovalTime(n) =NominalRemovalTime(firstPicInPrevBuffPeriod)
[0160] +ClockTick*((AuCpbRemovalDelayVal(n))-cpbDelayOffset[SchedSelldx]) (c-10)
[0161]其中NominalRemovalTime(firs巧icin化evBuffPeriod)为先前缓冲周期的第一 存取单元的标称去除时间，且AuCpbRemovalDelayVal(n)为根据图片时序沈I消息中的au_ wb_removal_delay_minusl而导出、如子条款C. 1中所指定而选择、与存取单元n相关联的 AuCpbRemovalDelayVal的值。
[0162] 在导出存取单元n的标称CPB去除时间么后，如下更新 邱bDelayOffset[SchedSelIdx]的值。如果臥下条件中的一或多者为真，那么将 邱bDelayOffset[SchedSelldx]设定为等于缓冲周期沈I消息语法元素cpb_removal_ delay_offset[SchedSelIdx]的值，所述缓冲周期沈I消息语法元素取决于如HVECWD9 的子条款C. 1中所指定的NaWrdModeFlag而选择。存取单元n为经译码图片具有等于 BLA_W_DLP或BLA_N_LP的nal_unit_type的BLA存取单元，且缓冲周期沈I消息的rap_ Wb_params_present_flag的值等于1。存取单元n为经译码图片具有等于BLA_W_LP的 nal_unit_type的BLA存取单元，或为CRA存取单元，且缓冲周期沈I消息的rap_wb_ params_present_flag的值等于1，且存取单元n的UseAltCpbParamsFlag等于1。否则，将 邱bDelayOffset[SchedSelIdx]设定为等于0。当存取单元n并非缓冲周期的第一存取单 元时，由如下等式指定存取单元n从CPB的标称去除时间；
[0163]Nominal民emovalTime(n) =Nominal民emovalTime(firstPicInCurrBuffPeriod)+
[0164] ClockTick* ((AuCpbRemovalDelayVal(n))-cpbDelayoffset[SchedSeIIdx] (C-11)
[01<5日]其中NominalRemovalTime(firs巧icInCurrBuffPeriod)为当前缓冲周期的第一 存取单元的标称去除时间。
[0166] 当sub_pic_wb_params_present_flag等于1时，臥下情形适用。如下导出变量 cpb民emovalDelayInc(m)。女日果sub_pic_cpb_params_in_pic_timing_sei_flag等于 0,那 么将变量cpbRemovalDelaylnc(m)设定为解码单元信息沈I消息中的如子条款C. 1中所 指定而选择、与解码单元m相关联的du_spt_wb_removal_delay_increment的值。否则， 如果du_common_cpb_removal_delay_flag等于 0,那么将变量cpbRemovalDelaylnc(m)设 定为图片时序SEI消息中的用于解码单元m的如子条款C. 1中所指定而选择、与存取单元 n相关联的du_wb_removal_delay_increment_minusl[i]+l的值，其中对于含有解码单 元m的存取单元中么前num_nalus_in_du_minusl[0]+1个连续NAL单元，i的值为0 ;对于 同一存取单元中的后续num_nalus_in_du_minusl[1]+1个NAL单元，i的值为1 ;对于同 一存取单元中的后续num_nalus_in_du_minusl口]+1个NAL单元，i的值为2 ;等等。否 贝Ij，将变量cpbRemovalDelaylnc(m)设定为图片时序沈I消息中的如子条款C. 1中所指定 而选择、与存取单兀n相关联的du_common_cpb_removal_delay_increment_minusl+l的 值。如下指定解码单元m从CPB的标称去除时间，其中NominalRemovalTime(n)为存取单 元n的标称去除时间。如果解码单元m为存取单元n中的最后解码单元，那么将解码单元 m的标称去除时间NominalRemovalTime(m)设定为NominalRemovalTime(n)。否则（即， 解码单元m并非存取单元n中的最后解码单元），如下导出解码单元m的标称去除时间 Nominal民emovalTime(m)。
[0167]If(sub_pic_cpb_params_in_pic_timing_sei_flag) ;Nominal民emovalTime(m)
[0168] NominalRemovalTime(m+1)-ClockSubTick*cpbRemovalDelayInc(m)(C-12)
[0169] else
[0170] NominalRemovalTime(m) =NominalRemovalTime(n)-ClockSubTick*
[0171] cpbRemovalDelayInc(m)
[0172] 如下指定存取单元n从CPB的去除时间，其中FinalArrivalTime(m)和 NominalRemovalTime(m)分别为存取单元n中的最后解码单元的最终到达时间和标称去除 时间，且FinalArrivalTime(n)和NominalRemovalTime(n)分别为存取单元n的最终到达 时间和标称去除时间。
[0173]
[0174] 当SubPicCpbFlag等于1时，如果解码单元m为存取单元n的最后解码单元，那么 将变量lastDuInAuFlag设定为等于1，否则设定为等于0,且如下指定解码单元m从CPB的 去除时间。
[0175]
[0176] 当low_delayJi;rd_flag出i曲estTid]等于 1 且NominalRemovalTime(m)〈FinalAr rivalTime(m)时，解码单元m的大小大到使得其防止在标称去除时间进行去除。在解码单 元m的(PB去除时间，对解码单元进行瞬时解码。当解码图片的最后解码单元时，将图片n 视为经解码。也可由视频编码器20实施上文所描述的改变，（例如）W使用缓冲周期SEI消息语法和语义的一些或所有方面W及肥VCWD9的子条款C. 2. 3而编码位流，使得可由视 频解码器30解码位流。
[0177] 图4为说明根据本发明中所描述的一或多个实例的实例方法的流程图。目的地装 置14可实施处理视频数据的方法。例如，视频解码器30可在视频位流中接收具有RAP图 片的存取单元（400)。在所述存取单元之后，视频解码器也可在位流中接 收具有RAP图片的 后续存取单元（402)。在所接收的位流中不存在后续存取单元的一或多个随机存取跳过前 置（RASL)图片的状况下，基于图片缓冲器去除延迟偏移将图片缓冲器去除时间移位得较 早（404)。
[0178] 在一些实例中，图片缓冲器包含经译码图片缓冲器（CPB)，且图片缓冲器去除延迟 偏移包含(PB去除延迟偏移。在其它实例中，图片缓冲器包含经解码图片缓冲器值PB)，且 图片缓冲器去除延迟偏移包含DPB去除延迟偏移。
[0179] 视频解码器30可接收存取单元的图片缓冲器去除延迟偏移。在一些实例中，视频 解码器30可在缓冲周期SEI消息中接收图片缓冲器去除延迟偏移。在一些实例中，RAP图 片包含清洁随机存取（CRA)图片和断链存取炬LA)图片中的一者。
[0180] 图5为说明根据本发明中所描述的一或多个实例的实例方法的流程图。目的地装 置14可实施处理视频数据的方法。例如，视频解码器30可（例如）在较早的初始化之后 接收存取单元，所述存取单元具有随机存取点（RA巧图片。此单元可（例如）在初始化HRD 的RAP存取单元之后。不接收可含有随机存取跳过前置（RA化）图片的相关联的存取单元 (500)。响应于接收存取单元和不接收含有RA化图片的相关联的存取单元，视频解码器30 可初始化图片缓冲器去除时间和图片缓冲器去除延迟偏移巧02)。
[0181] 图片缓冲器去除时间包含经译码图片缓冲器（CPB)去除时间，且图片缓冲器去除 延迟偏移包含(PB去除延迟偏移。图片缓冲器去除时间包含经解码图片缓冲器值PB)去除 时间，且图片缓冲器去除延迟偏移包含DPB去除延迟偏移。在一实例中，视频解码器30可 在缓冲周期SEI消息中接收图片缓冲器去除延迟偏移。
[01間在一实例中，RAP图片为清洁随机存取（CRA)图片。在另一实例中，RAP图片为可具 有相关联的RA化图片或随机存取跳过可解码（RADL)图片的断链存取炬LA)图片。RAP图 片为W下各者中的一者：不具有相关联的RASL图片但可具有RADL图片的断链存取炬LA) 图片；和不具有相关联的前置图片的BLA图片。一实例可进一步包含将所接收的存取单元 指定为位流中的第一存取单元。
[0183] 在处理视频数据的另一实例方法中，例如视频编码器20或视频解码器30的视频 译码器可针对每一CRA或BLA存取单元用信号发送一 (PB去除延迟偏移。不管HRD是否在 CRA或BLA存取单元处初始化，视频译码器皆也可针对所相关联的RA化图片不存在的每一 CRA或BLA存取单元将按解码次序在CRA或BLA存取单元之后的存取单元中的每一者的CBP 去除时间移位得早出CPB去除延迟偏移。
[0184] 在处理视频数据的另一实例方法中，视频译码器可针对每一CRA或BLA存取单元 用信号发送(PB去除延迟偏移。视频译码器也可选择存取单元0的默认初始(PB去除延迟 和延迟偏移，使得除非存在子图片层级(PB参数，否则并不针对CRA或BLA存取单元而用信 号发送替代性初始CPB去除延迟和延迟偏移。在一实例中，替代性初始CPB去除延迟和延 迟偏移可用于子图片层级H畑操作。
[0185] 在一或多个实例中，所描述的功能可W硬件、软件、固件或其任何组合实施。如果 W软件实施，那么功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算 机可读媒体而传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存 储媒体（其对应于例如数据存储媒体的有形媒体）或通信媒体，通信媒体包含（例如）根 据通信协议促进计算机程序从一处传送到另一处的任何媒体。W此方式，计算机可读媒体 大体上可对应于（1)非暂时性的有形计算机可读存储媒体，或（2)例如信号或载波的通信 媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取W检索指令、代码和 /或数据结构W用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含 计算机可读媒体。
[0186] 通过实例而非限制，该些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM 或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用W存储呈指 令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。另外，将任何连 接适当地称为计算机可读媒体。例如，如果使用同轴电缆、光纤缆线、双绞线、数字用户线 值SL)或无线技术（例如，红外线、无线电和微波）而从网站、服务器或其它远端源传输指 令，那么同轴电缆、光纤缆线、双绞线、D化或无线技术（例如，红外线、无线电和微波）包含 于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信 号或其它暂时性媒体，而是有关于非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包 含压缩光盘（CD)、激光光盘、光学光盘、数字影音光盘值VD)、软盘和藍光炬lu-ray)光盘， 其中磁盘通常W磁性方式再现数据，而光盘用激光W光学方式再现数据。W上各物的组合 也应包含于计算机可读媒体的范围内。
[0187] 可由例如一或多个数字信号处理器值SP)、通用微处理器、专用集成电路（ASIC)、 现场可编程逻辑阵列（FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行指 令。因此，如本文中所使用的术语"处理器"可指上述结构或适于实施本文中所描述的技术 的任何其它结构中的任一者。另外，在一些方面中，可将本文中所描述的功能性提供于经配 置W用于编码和解码的专用硬件和/或软件模块内，或并入于组合式编解码器中。又，所述 技术可完全实施于一或多个电路或逻辑元件中。
[0188] 本发明的技术可W广泛多种装置或设备实施，所述装置或设备包含无线手机、集 成电路（1C)或1C的集合（例如，巧片组）。在本发明中描述各种组件、模块或单元W强调 经配置W执行所揭示的技术的装置的功能性方面，但未必要求由不同硬件单元来实现。更 确切来说，如上文所描述，可将各种单元组合于编解码器硬件单元中，或结合合适的软件和 /或固件由交互操作的硬件单元（包含如上文所描述的一或多个处理器）的集合来提供所 述单元。
[0189] 已描述各种实例。该些和其它实例在W下权利要求书的范围内。
【主权项】
1. 一种处理视频数据的方法，所述方法包括： 在视频位流中接收具有第一随机存取点RAP图片的存取单元； 在所述位流中的所述存取单元之后，在所述视频位流中接收具有第二RAP图片的后续 存取单元；以及 在所述所接收的视频位流中不存在所述后续存取单元的一或多个随机存取跳过前置RASL图片的状况下，基于图片缓冲器去除延迟偏移将图片缓冲器的图片缓冲器去除时间移 位得较早。2. 根据权利要求1所述的方法，其中所述图片缓冲器包括经译码图片缓冲器CPB，且所 述图片缓冲器去除延迟偏移包括CPB去除延迟偏移。3. 根据权利要求2所述的方法，其中所述CPB去除延迟偏移是针对所述后续存取单元 的所述RAP图片而用信号发送。4. 根据权利要求1所述的方法，其中所述图片缓冲器包括经解码图片缓冲器DPB，且所 述图片缓冲器去除延迟偏移包括DPB去除延迟偏移。5. 根据权利要求1所述的方法，其进一步包括接收所述存取单元的所述图片缓冲器去 除延迟偏移。6. 根据权利要求1所述的方法，其进一步包括在缓冲周期SEI消息中接收所述图片缓 冲器去除延迟偏移。7. 根据权利要求1所述的方法，其中所述RAP图片包含清洁随机存取CRA图片和断链 存取BLA图片中的一者。8. -种处理视频数据的方法，所述方法包括： 在对假想参考解码器HRD进行较早初始化之后接收存取单元，所述存取单元具有随机 存取点RAP图片，其中不接收含有随机存取跳过前置RASL图片的相关联的存取单元；以及 响应于接收所述存取单元而不接收含有RASL图片的所述相关联的存取单元，重新初 始化所述HRD，所述重新初始化包含重新初始化图片缓冲器去除时间和图片缓冲器去除延 迟偏移。9. 根据权利要求8所述的方法，其中所述图片缓冲器去除时间包括经译码图片缓冲器 CPB去除时间，且所述图片缓冲器去除延迟偏移包括CPB去除延迟偏移。10. 根据权利要求9所述的方法，其中所述CPB去除延迟偏移是针对后续存取单元的所 述RAP图片而用信号发送。11. 根据权利要求8所述的方法，其中所述图片缓冲器去除时间包括经解码图片缓冲 器DPB去除时间，且所述图片缓冲器去除延迟偏移包括DPB去除延迟偏移。12. 根据权利要求8所述的方法，其中所述RAP图片为清洁随机存取CRA图片。13. 根据权利要求8所述的方法，其中所述RAP图片为可具有相关联的RASL图片或随 机存取跳过可解码RADL图片的断链存取BLA图片。14. 根据权利要求8所述的方法，其中所述RAP图片为以下各者中的一者：不具有相关 联的RASL图片，但可具有RADL图片的断链存取BLA图片；和不具有相关联的前置图片的 BLA图片。15. 根据权利要求8所述的方法，其进一步包括将所述所接收的存取单元作为位流中 的第一存取单元来处理。16. 根据权利要求8所述的方法，其进一步包括在缓冲周期SEI消息中接收所述图片缓 冲器去除延迟偏移。17. -种用于处理视频数据的装置，其包括： 处理器，其经配置以进行以下操作： 在视频位流中接收具有第一随机存取点RAP图片的存取单元； 在所述位流中的所述存取单元之后，在所述视频位流中接收具有第二RAP图片的后续 存取单元；以及 在所述所接收的视频位流中不存在所述后续存取单元的一或多个随机存取跳过前置RASL图片的状况下，基于图片缓冲器去除延迟偏移将图片缓冲器的图片缓冲器去除时间移 位得较早。18. 根据权利要求17所述的装置，其中所述图片缓冲器包括经译码图片缓冲器CPB，且 所述图片缓冲器去除延迟偏移包括CPB去除延迟偏移。19. 根据权利要求18所述的装置，其中所述CPB去除延迟偏移是针对所述后续存取单 元的所述RAP图片而用信号发送。20. 根据权利要求17所述的装置，其中所述图片缓冲器包括经解码图片缓冲器DPB，且 所述图片缓冲器去除延迟偏移包括DPB去除延迟偏移。21. 根据权利要求17所述的装置，其中所述处理器经进一步配置以接收所述存取单元 的所述图片缓冲器去除延迟偏移。22. 根据权利要求17所述的装置，其进一步包括在缓冲周期SEI消息中接收所述图片 缓冲器去除延迟偏移。23. 根据权利要求17所述的装置，其中所述RAP图片包含清洁随机存取CRA图片和断 链存取BLA图片中的一者。24. -种用于处理视频数据的装置，其包括： 处理器，其经配置以进行以下操作： 在对假想参考解码器HRD进行较早初始化之后接收存取单元，所述存取单元具有随机 存取点RAP图片，其中不接收含有随机存取跳过前置RASL图片的相关联的存取单元；以及 响应于接收所述存取单元而不接收含有RASL图片的所述相关联的存取单元，重新初 始化所述HRD，所述重新初始化包含重新初始化图片缓冲器去除时间和图片缓冲器去除延 迟偏移。25. 根据权利要求24所述的装置，其中所述图片缓冲器去除时间包括经译码图片缓冲 器CPB去除时间，且所述图片缓冲器去除延迟偏移包括CPB去除延迟偏移。26. 根据权利要求25所述的装置，其中所述CPB去除延迟偏移是针对后续存取单元的 所述RAP图片而用信号发送。27. 根据权利要求24所述的装置，其中所述图片缓冲器去除时间包括经解码图片缓冲 器DPB去除时间，且所述图片缓冲器去除延迟偏移包括DPB去除延迟偏移。28. 根据权利要求24所述的装置，其中所述RAP图片为清洁随机存取CRA图片。29. 根据权利要求24所述的装置，其中所述RAP图片为可具有相关联的RASL图片或随 机存取跳过可解码RADL图片的断链存取BLA图片。30. 根据权利要求24所述的装置，其中所述RAP图片为以下各者中的一者：不具有相 关联的RASL图片，但可具有RADL图片的断链存取BLA图片；和不具有相关联的前置图片的BLA图片。31. 根据权利要求24所述的装置，其中所述处理器经进一步配置以将所述所接收的存 取单元指定为位流中的第一存取单元。32. 根据权利要求24所述的装置，其进一步包括在缓冲周期SEI消息中接收所述图片 缓冲器去除延迟偏移。33. -种用于处理视频数据的装置，其包括： 用于在视频位流中接收具有第一随机存取点RAP图片的存取单元的装置； 用于在所述位流中的所述存取单元之后在所述视频位流中接收具有第二RAP图片的 后续存取单元的装置；以及 用于在所述所接收的视频位流中不存在所述后续存取单元的一或多个随机存取跳过 前置RASL图片的状况下基于图片缓冲器去除延迟偏移将图片缓冲器的图片缓冲器去除时 间移位得较早的装置。34. 根据权利要求33所述的装置，其中所述图片缓冲器包括经译码图片缓冲器CPB，且 所述图片缓冲器去除延迟偏移包括CPB去除延迟偏移。35. 根据权利要求33所述的装置，其中所述图片缓冲器包括经解码图片缓冲器DPB，且 所述图片缓冲器去除延迟偏移包括DPB去除延迟偏移。36. 根据权利要求33所述的装置，其进一步包括用于接收所述存取单元的所述图片缓 冲器去除延迟偏移的装置。37. 根据权利要求33所述的装置，其进一步包括在缓冲周期SEI消息中接收所述图片 缓冲器去除延迟偏移。38. 根据权利要求33所述的装置，其中所述RAP图片包含清洁随机存取CRA图片和断 链存取BLA图片中的一者。39. -种用于处理视频数据的装置，其包括： 用于在对假想参考解码器HRD进行较早初始化之后接收存取单元的装置，所述存取单 元具有随机存取点RAP图片，其中不接收含有随机存取跳过前置RASL图片的相关联的存取 单元；以及 用于响应于接收所述存取单元而不接收含有RASL图片的所述相关联的存取单元来重 新初始化所述HRD的装置，所述重新初始化包含重新初始化图片缓冲器去除时间和图片缓 冲器去除延迟偏移。40. 根据权利要求39所述的装置，其中所述图片缓冲器去除时间包括经译码图片缓冲 器CPB去除时间，且所述图片缓冲器去除延迟偏移包括CPB去除延迟偏移。41. 根据权利要求39所述的装置，其中所述图片缓冲器去除时间包括经解码图片缓冲 器DPB去除时间，且所述图片缓冲器去除延迟偏移包括DPB去除延迟偏移。42. 根据权利要求39所述的装置，其中所述RAP图片为清洁随机存取CRA图片。43. 根据权利要求39的装置，其中所述RAP图片为可具有相关联的RASL图片或随机存 取跳过可解码RADL图片的断链存取BLA图片。44. 根据权利要求39所述的装置，其中所述RAP图片为以下各者中的一者：不具有相 关联的RASL图片，但可具有RADL图片的断链存取BLA图片；和不具有相关联的前置图片的 BLA图片。45. 根据权利要求39所述的装置，其进一步包括用于将所述所接收的存取单元作为位 流中的第一存取单元来处理的装置。46. 根据权利要求39所述的装置，其进一步包括在缓冲周期SEI消息中接收所述图片 缓冲器去除延迟偏移。47. -种存储有指令的非暂时性计算机可读存储媒体，所述指令在由一或多个处理器 执行时使所述一或多个处理器进行以下操作： 在位流中接收具有第一随机存取点RAP图片的存取单元； 在所述位流中的所述存取单元之后，在所述视频位流中接收具有第二RAP图片的后续 存取单元；以及 在所述所接收的视频位流中不存在所述后续存取单元的一或多个随机存取跳过前置RASL图片的状况下，基于图片缓冲器去除延迟偏移将图片缓冲器的图片缓冲器去除时间移 位得较早。48. -种存储有指令的非暂时性计算机可读存储媒体，所述指令在由一或多个处理器 执行时使所述一或多个处理器进行以下操作： 接收具有随机存取点RAP图片的存取单元，其中不接收含有随机存取跳过前置RASL图 片的相关联的存取单元；以及 响应于接收所述存取单元而不接收含有RASL图片的所述相关联的存取单元，重新初 始化所述HRD，所述重新初始化包含重新初始化图片缓冲器去除时间和图片缓冲器去除延 迟偏移。49. 一种处理视频数据的方法，其包括： 针对每一CRA或BLA存取单元用信号发送CPB去除延迟偏移； 对于所相关联的RASL图片不存在的每一CRA或BLA存取单元，将按解码次序在所述CRA存取单元或所述BLA存取单元之后的存取单元中的每一者的CBP去除时间移位得早出 所述CPB去除延迟偏移；以及 不管HRD是否在所述CRA存取单元或所述BLA存取单元处初始化。
【专利摘要】在一实例中，本发明提供：在视频位流中接收具有第一随机存取点RAP图片的存取单元；和在所述位流中的所述存取单元之后，在所述视频位流中接收具有第二RAP图片的后续存取单元。在所述所接收的视频位流中不存在所述后续存取单元的一或多个随机存取跳过前置RASL图片的状况下，基于图片缓冲器去除延迟偏移将图片缓冲器去除时间移位得较早。另一实例提供在对假想参考解码器HRD进行较早初始化之后接收存取单元，所述存取单元具有RAP图片，其中不接收含有RASL图片的相关联的存取单元；和响应于接收所述存取单元而不接收含有RASL图片的所述相关联的存取单元，初始化图片缓冲器去除时间和图片缓冲器去除延迟偏移。
【IPC分类】H04N19/107, H04N19/70
【公开号】CN104904208
【申请号】CN201380069314
【发明人】王益魁, 阿达许·克里许纳·瑞玛苏布雷蒙尼安, 陈颖
【申请人】高通股份有限公司
【公开日】2015年9月9日
【申请日】2013年11月26日
【公告号】EP2941869A1, US20140192882, WO2014107250A1
【专利说明】用于视频语码中的随机存取的视频缓冲操作
[0001] 本申请案主张2013年1月7日申请的美国临时申请案第61/749,820号的权利， 所述申请案的全部内容W引用的方式并入本文中。
技术领域
[0002] 本发明设及视频译码，且更特定来说，设及用于控制视频解码器的视频缓冲操作 的技术。
【背景技术】
[0003] 数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系 统、无线广播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板型计算机、电子书阅 读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式 或卫星无线电电话、所谓的"智能型手机"、视频电传会议装置、视频流式传输装置，和其类 似者。数字视频装置实施视频压缩技术，例如描述于W下各者中的那些技术：由MPEG-2、 MPEG-4、ITU-TH. 263JTU-T比264/MPEG-4第10部分（先进视频译码（AVC))定义的标准、 目前在开发中的高效率视频译码（肥VC)标准，和该些标准的扩展。视频装置可通过实施该 些视频压缩技术而较有效率地发射、接收、编码、解码和/或存储数字视频信息。
[0004] 视频压缩技术执行空间（图片内）预测和/或时间（图片间）预测，W减少或去 除视频序列中所固有的冗余。对于基于块的视频译码来说，可将视频切片（即，视频帖或视 频帖的一部分）分割成视频块，所述视频块也可被称作树型块、译码单元（CU)和/或译码 节点。使用相对于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帖内译码 (I)切片中的视频块。图片的经帖间译码（P或B)切片中的视频块可使用相对于同一图片 中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图 片可被称作帖，且参考图片可被称作参考帖。
[0005] 空间预测或时间预测利用预测性块。残余数据表示待译码的原始块与预测性块之 间的像素差。根据指向形成预测性块的参考样本的块的运动向量和指示经译码块与预测性 块之间的差异的残余数据来编码经帖间译码块。根据帖内译码模式和残余数据来编码经帖 内译码块。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而产生可接着进行 量化的残余变换系数。可扫描最初排列成二维阵列的经量化的变换系数，W便产生变换系 数的一维向量，且可应用滴译码W达成甚至更多的压缩。
【发明内容】
[0006] 大体来说，本发明描述用于针对具有丢弃前置图片的随机存取点（RAP)图片而控 制视频解码器中的缓冲操作的技术。在一些实例中，当位流包含在初始RAP图片之后的后 续RAP图片时，解码器可经配置W在不存在所述后续RAP图片的前置图片（例如，随机存取 跳过前置（RA化）图片）时移位在所述后续RAP图片之后的存取单元的经译码图片缓冲器 (CPB)去除时间。
[0007] 在本发明的一个实例中，一种处理视频数据的方法包含；在视频位流中接收具有 第一随机存取点（RAP)图片的存取单元；在所述位流中的所述存取单元之后，在所述视频 位流中接收具有第二RAP图片的后续存取单元；和在所述所接收的位流中不存在所述后续 存取单元的一或多个随机存取跳过前置（RA化）图片的状况下，基于图片缓冲器去除延迟 偏移将图片缓冲器去除时间移位得较早。
[000引在本发明的另一实例中，一种处理视频数据的方法包含；在对假想参考解码器 (HRD)进行较早初始化之后，接收存取单元，所述存取单元具有随机存取点（RAP)图片，其 中不接收含有随机存取跳过前置（RA化）图片的相关联的存取单元；和响应于接收所述存 取单元而不接收含有RA化图片的所述相关联的存取单元，重新初始化图片缓冲器去除时 间和图片缓冲器去除延迟偏移。
[0009] 在另一实例中，本发明描述一种用于处理视频数据的装置，其包含处理器，所述处 理器经配置W进行W下操作：在视频位流中接收具有RAP图片的存取单元；在所述位流中 的所述存取单元之后，在所述视频位流中接收具有第二RAP图片的后续存取单元；和在所 述所接收的位流中不存在所述后续存取单元的一或多个随机存取跳过前置（RASL)图片的 状况下，基于图片缓冲器去除延迟偏移将图片缓冲器去除时间移位得较早。
[0010] 在另一实例中，本发明描述一种用于处理视频数据的装置，其包含处理器，所述处 理器经配置W进行W下操作；在对假想参考解码器（HRD)进行较早初始化之后，接收存取 单元，所述存取单元具有RAP图片，其中不接收含有RA化图片的相关联的存取单元讯响应 于接收所述存取单元而不接收含有RA化图片的所述相关联的存取单元，重新初始化所述 HRD，所述重新初始化包含重新初始化图片缓冲器去除时间和图片缓冲器去除延迟偏移。
[0011] 在另一实例中，本发明描述一种用于处理视频数据的装置，其包含；用于在视频位 流中接收具有RAP图片的存取单元的装置；用于在所述位流中的所述存取单元之后在所述 视频位流中接收具有第二RAP图片的后续存取单元的装置；和用于在所述后续存取单元的 一或多个随机存取跳过前置（RA化）图片的状况下基于图片缓冲器去除延迟偏移将图片缓 冲器去除时间移位得较早的装置。
[0012] 在另一实例中，本发明描述一种用于处理视频数据的装置，其包含；用于在对假想 参考解码器（HRD)进行较早初始化之后接收一存取单元的装置，所述存取单元具有RAP图 片，其中不接收含有RASL图片的相关联的存取单元；和用于响应于接收所述存取单元而不 接收含有RASL图片的所述相关联的存取单元来重新初始化所述HRD的装置，所述重新初始 化包含重新初始化图片缓冲器去除时间和图片缓冲器去除延迟偏移。
[0013] 在另一实例中，本发明描述一种计算机可读存储媒体。所述计算机可读存储媒体 上存储有在执行后使一或多个处理器进行W下操作的指令：在视频位流中接收具有RAP图 片的存取单元；在所述位流中的所述存取单元之后，在所述视频位流中接收具有第二RAP 图片的后续存取单元；在所述所接收的位流中不存在所述后续存取单元的一或多个随机存 取跳过前置（RA化）图片的状况下，基于图片缓冲器去除延迟偏移将图片缓冲器去除时间 移位得较早。
[0014] 在另一实例中，本发明描述一种计算机可读存储媒体。所述计算机可读存储媒体 上存储有在执行后使一或多个处理器进行W下操作的指令；在对假想参考解码器（H畑）进 行较早初始化之后，接收存取单元，所述存取单元具有随机存取点（RAP)图片，其中不接收 含有随机存取跳过前置（RA化）图片的相关联的存取单元；和响应于接收所述存取单元而 不接收含有RA化图片的所述相关联的存取单元，重新初始化所述HRD，所述重新初始化包 含重新初始化图片缓冲器去除时间和图片缓冲器去除延迟偏移。
[0015] 在另一实例中，本发明描述一种处理视频数据的方法，其包含：针对每一CRA或 BLA存取单元用信号发送(PB去除延迟偏移；针对所相关联的RA化图片不存在的每一CRA 或BLA存取单元，将按解码次序在所述CRA存取单元或所述BLA存取单元之后的存取单元 中的每一者的CBP去除时间移位得早出所述(PB去除延迟偏移；不管H畑是否在所述CRA 存取单元或所述BLA存取单元处初始化。
[0016] 在一些实例中，本发明描述各种方法。广泛多种处理器、处理单元和设备可经配置 W实施所述实例方法。本发明也描述可经配置W执行所述实例方法中的任何一或多者的功 能的计算机可读存储媒体。
[0017] 一或多个实例的细节阐述于随附图式和W下描述中。其它特征、目标和优势将从 所述描述和所述图式W及从权利要求书显而易见。
[0018] 一或多个实例的细节阐述于随附图式和W下描述中。其它特征、目标和优势将从 所述描述和所述图式W及从权利要求书显而易见。
【附图说明】
[0019] 图1为说明可利用本发明中所描述的技术的实例视频编码和解码系统的框图。
[0020] 图2为说明可实施本发明中所描述的技术的实例视频编码器的框图。
[0021] 图3为说明可实施本发明中所描述的技术的实例视频解码器的框图。
[0022] 图4为说明根据本发明中所描述的一或多个实例的实例方法的流程图。
[0023] 图5为说明根据本发明中所描述的一或多个实例的实例方法的流程图。
【具体实施方式】
[0024] 本发明描述用于针对具有丢弃前置图片的随机存取点（RAP)图片来控制视频解 码器中的缓冲操作的各种技术。所述技术可支持改善的假想参考解码器（HRD)操作，所述 操作可跨越含有清洁随机存取（CRA)图片或断链存取炬LA)图片的中间存取单元（AU)而 被应用，针对所述图片丢弃相关联的随机存取跳过前置（RASL)存取单元。CRA图片仅含有 I切片，且按解码次序可为位流中的第一图片，或可出现于位流中稍后处。CRA图片可具有 相关联的RADL或RA化图片。当CRA图片按解码次序为位流中的第一图片时，CRA图片按 解码次序为经译码视频序列的第一图片，且解码器并不输出任何相关联的RA化图片，且所 述图片可能不可解码，该是因为其可含有对不存在于位流中的图片的参考。BLA图片仅含有 I切片，且按解码次序可为位流中的第一图片，或可出现于位流中稍后处。每一BLA图片开 始新的经译码视频序列，且对解码过程具有与IDR图片相同的效应。然而，BLA图片含有指 定非空参考图片集的语法元素。RA化图片为相关联的BLA或CRA图片的前置图片。所有 RA化图片为相关联的BLA或CRA图片之前置图片。当相关联的RAP图片为BLA图片，或为 位流中的第一经译码图片时，并不输出RA化图片，且RA化图片可能不可正确解码，该是因 为RASL图片可含有对不存在于位流中的图片的参考。RASL图片并不用作非RASL图片的解 码过程的参考图片。当存在时，所有RA化图片按解码次序在同一相关联的RAP图片的所有 尾随图片之前。
[0025]视频译码标准包含口U-TH. 261、ISO/IECMPEG-lVisual、口U-T比 262 或ISO/ IECMPEG-2Visual、ITU-TH. 263、IS0/IECMPEG-4Visual和口U-TH. 264(也称为ISO/ lECMPEG-4AVC)，所述标准包含其可调式视频译码（SVC)和多视图视频译码（MVC)扩展。
[0026] 另外，存在由ITU-T视频译码专家组（VCEG)和IS0/IEC运动图片专家组（MPEG)的 视频译码联合合作小组（JCT-VC)开发的新视频译码标准，即，高效率视频译码（肥VC)。从 2013 年1月 7 日起，可从http://phenix.int-evrv.fr/ict/docenduser/documents/11 化311址31/讯311/1(：17(：-1(1003-￥13.21〇巧得肥￥〔的工作草案（WD)(布罗斯等人的"高 效率视频译码（肥VC)文本规范草案9(Hi曲Efficien巧VideoCoding(肥VC)text specification化aft9)"且下文称作肥VCWD9)。
[0027] 肥VC标准的新近草案（称作"肥VC工作草案10"或"WDIO")描述于布罗斯等人 的"高效率视频译码（肥VC)文本规范草案10 (针对抑IS和最后通话）（化曲efficiency videocoding(肥VC)textspecification化aft10(for抑IS&Last化11))"中（ITU-T SG16WP3和ISO/IECJTC1/SC29/WG11的视频译码联合合作小组（JCT-VC)在2013年1月14 日到23日举行的第12次会议（瑞：t日内瓦）），所述草案可从hUp://phenix.int-evry. fr/ict/docenduser/do州ments/12Geneva/wRll/'TCTYC-L1003-v34.zip下裁。
[0028] 肥VC标准的另一草案（在本文中称作"WDIO修订版"）描述于Bross等人的"编辑 提议的对肥VC版本 1 的校正巧ditors'proposedcorrectionsto肥VCversion1)"中 (ITU-TSG16WP3 和ISO/IECJTC1/SC29/WG11 的视频译码联合合作小组（JCT-VC)在 2013 年4月举行的第13次会议（韩国仁川）），所述草案从2013年6月7日起可从ht化：// phenix.int-evrv.fr/ict/docenduser/documents/13Incheon/wgll/.TCTVC-M0432-v3. 过&获得。
[0029] 肥VC标准化努力是基于称为肥VC测试模型（HM)的视频译码装置的模型。歷假 设当前视频译码装置相对于在其它先前视频译码标准（例如，ITU-TH.264/AVC)的开发期 间可用的视频译码装置的能力改善。例如，比264提供九个帖内预测编码模式，而肥VC提 供多达S十五个帖内预测编码模式。肥VCWD9和肥VCWD10的全部内容W引用的方式并入 本文中。
[0030] 视频译码标准通常包含视频缓冲模型的规范。在AVC和肥VC中，缓冲模型被称作 假想参考解码器（HRD)，其包含经译码图片缓冲器（CPB)和经解码图片缓冲器值PB)两者的 缓冲模型。W数学方式指定(PB和DPB行为。HRD直接对不同时序、缓冲器大小和位速率强 加约束，且间接地对位流特性和统计强加约束。H畑参数的完整集合包含五个基本参数：初 始CPB去除延迟、CPB大小、位速率、初始DPB输出延迟和DPB大小。
[003U在AVC和肥VC中，将位流符合性和解码器符合性指定为H畑规范的部分。尽管将HRD称为解码器，但在编码器侧通常需要HRD规范，W保证位流符合性。指定两种类型的位 流符合性或HRD符合性，即，类型I和类型II。另外，指定两种类型的解码器符合性（输出 时序解码器符合性和输出次序解码器符合性）。
[0032] 通常在随机存取点（RAP)图片处初始化H畑。在肥VC和AVC两者中，一旦初始化 H畑，那么无需重新初始化，其便能继续操作直到位流的结尾为止。
[0033] 在肥VCWD9中，如果H畑在CRA或BLA存取单元处初始化（此初始存取单元被称 作存取单元0)，那么取决于是否存在与存取单元0相关联的RA化存取单元，选择与初始存 取单元0相关联的默认初始(PB去除延迟和延迟偏移，抑或与初始存取单元0相关联的替 代性初始(PB去除延迟和延迟偏移，W用于H畑操作中。如果不存在与存取单元0相关联 的RA化存取单元，那么（例如）由视频解码器选择替代性初始(PB去除延迟和延迟偏移； 否则（即，存在与存取单元0相关联的RASL存取单元），（例如）由视频解码器选择默认初 始(PB去除延迟和延迟偏移。接着，（例如）由视频解码器使用初始(PB去除延迟和延迟 偏移的选定集合，直到位流的结尾为止。
[0034] 在美国专利公开案2013/0107953 (在2012年10月30日申请，公开日期为2013 年5月2日，其全部内容W引用的方式并入本文中）中，描述W下方法。可针对每一CRA存 取单元用信号发送(PB去除延迟偏移。如果HRD在此CRA存取单元（其也被称作存取单元 0)处初始化，且不存在相关联的RA化图片，那么将按解码次序在CRA存取单元之后的存取 单元中的每一者的(PB去除时间移位得早出CPB去除延迟偏移。
[0035] 如肥VCWD9中所描述的H畑技术展现W下问题。首先，假定将初始(PB去除延迟 和延迟偏移的选定集合应用于如下状况；其中位流中按解码次序在存取单元0之后的所有 CRA或BLA存取单元（如果存在）的相关联的RA化存取单元存在。仅在位流中不存在按解 码次序在存取单元0之后且所相关联的RA化存取单元不存在的CRA或BLA存取单元的情 况下，肥VCWD9的当前技术才将正确地起作用。然而，如果位流中存在此CRA或BLA存取 单元，那么(PB可在第一此CRA或BLA存取单元之后溢位，且因此可发生超出预期的解码结 果。
[0036] 类似地，假定初始(PB去除延迟和延迟偏移的选定集合应用于如下状况；其中位 流中按解码次序在存取单元0之后的所有CRA或BLA存取单元（如果存在）的相关联的 RASL存取单元不存在。仅在位流中不存在按解码次序在存取单元0之后的CRA或BLA存取 单元且存在存取单元0的相关联的RA化存取单元的情况下，肥VCWD9的当前技术才将正 确地起作用，且在位流中存在此CRA或BLA存取单元的情况下，所述技术将无法正确地起作 用。在针对肥VCWD9所提出的技术下，此情形在将初始(PB去除延迟和延迟偏移的选定集 合应用于如下状况时适用于任何CRA或BLA存取单元；其中位流中按解码次序上在存取单 元0之后的所有CRA或BLA存取单元（如果存在）的相关联的RA化存取单元不存在。
[0037] 关于初始(PB去除延迟和延迟偏移的选定集合的其它假定也可导致不正确的解 码。例如，只要关于紧跟着的CRA或BLA存取单元的相关联的RA化存取单元的存在和缺乏 的假定不成立，那么也可能无法正确地解码W下情形：在存取单元0之后的一些CRA或BLA 存取单元的相关联的RA化存取单元存在，且在存取单元0之后的其它CRA或BLA存取单元 的相关联的RASL存取单元不存在。
[003引在一些状况下，归因于丢弃与存取单元0相关联的RA化存取单元，（PB去除延迟 偏移可仅补偿在存取单元0之后的存取单元的(PB去除时间。如果位流中存在按解码次序 在存取单元0之后且所相关联的RA化存取单元已被丢弃的一个或一个W上CRA或BLA存 取单元，那么(PB可在第一此CRA或BLA存取单元之后溢位，且因此可发生超出预期的解码 结果。
[0039] 如下为与肥VCWD9中的方法相关联的另一问题。当前，当存取单元（AU)0为CRA AU或BLAAU时，如果存在相关联的RA化AU，那么使用默认初始(PB去除延迟和延迟偏移； 否则使用替代性初始(PB去除延迟和延迟偏移。然而，初始(PB去除延迟和延迟偏移的改变 并不改变AUO的（标称）解码时间与按解码次序在AUO之后的第一非RA化AU的（标称） 解码时间之间的持续时间。例如，假定原始位流中存在按解码次序紧跟在AUO之后且紧跟 有尾随图片的10个RA化图片。在此情形下，当解码原始位流时，(PB去除时间等于每一AU 的标称(PB去除时间，且任何两个连续AU的解码时间之间的持续时间为一个时钟刻度。根 据肥VCWD9,不管是否丢弃RA化图片，AU0的解码时间与第一尾随图片的解码时间之间的 持续时间皆将是相同的（11个时钟刻度）。因此，对于原始位流来说，解码是连续的，但当丢 弃RA化图片时情况那么并非如此。
[0040] 鉴于该些问题，本发明提供用于改善视频缓冲（例如，改善肥VCWD9的皿D)的各 种方法和技术。将参考肥VCWD9描述各种实例。可假定未特定提及的任何H畑技术与当 前在肥VCWD9或其它肥VC规范中所指定的技术相同。
[0041] 在本发明的一个实例中，由视频编码器针对每一CRA或BLA存取单元用信号发送 (PB去除延迟偏移。对于所相关联的RA化图片不存在的每一CRA或BLA存取单元来说，不 管HRD(例如，视频解码器）是否在CRA或BLA存取单元处初始化，视频解码器皆将按解码 次序在CRA或BLA存取单元之后的存取单元中的每一者的(PB去除时间移位得早出(PB去 除延迟偏移。在一个实例中，偏移可为累积偏移。可应用此偏移，W将按解码次序在CRA或 BLA存取单元之后的存取单元中的每一者的(PB去除时间移位得早出累积量。另外，当归因 于每一"遗漏RA化图片"的偏移相同时，偏移可为每图片偏移。在此实例中，可将偏移乘W 遗漏图片的数目。可W与肥VCWD9中相同的方式来执行在存取单元0的替代性初始CPB 去除延迟和延迟偏移与默认初始(PB去除延迟和延迟偏移之间的选择。在另一实例中，始 终选择（即，始终由视频解码器使用）存取单元0的默认初始(PB去除延迟和延迟偏移，且 因此除非存在子图片层级(PB参数且接着替代性初始(PB去除延迟和延迟偏移是用于子图 片层级HRD操作的目的，否则编码器并不针对CRA或BLA存取单元而用信号发送替代性初 始(PB去除延迟和延迟偏移。
[0042] 在处理视频数据的实例方法中，解码器可在视频位流中接收具有随机存取点 (RA巧图片的第一存取单元。在具有RAP图片的存取单元之后，解码器也可接收具有RAP图 片的一或多个后续存取单元。例如，解码器可接收一或多个CRA或BLA图片。在所接收的 位流中不存在所述一或多个后续存取单元中的一后续存取单元的一或多个RA化图片的状 况下，解码器可基于图片缓冲器去除延迟偏移将经译码图片缓冲器（CPG)的图片缓冲器去 除时间移位得较早。如上文所提及，[可再次关于如何获得或选择]图片缓冲器去除延迟 偏移而描述图片缓冲器去除延迟偏移。
[0043] 在处理视频数据的另一实例方法中，解码器可接收具有RAP图片的存取单元，其 中不接收含有RA化图片的相关联的存取单元。响应于接收存取单元而不接收含有RA化 图片的相关联的存取单元，解码器可初始化图片缓冲器去除时间和图片缓冲器去除延迟偏 移。
[0044] 在本发明的另一实例中，HRD指定视频解码器在所相关联的RA化存取单元不存在 的每一CRA或BLA存取单元处初始化或重新初始化。在上文关于基于图片缓冲器去除延 迟偏移将图片缓冲器去除时间移位得较早的实例中，此初始化或重新初始化可能并非必要 的。
[0045] 图1为说明可利用本发明中所描述的技术的实例视频编码和解码系统10的框图。 如图1中所展示，系统10包含源装置12,源装置12产生待由目的地装置14稍后解码的经 编码视频数据。源装置12和目的地装置14可包括广泛范围的装置中的任一者，包含桌上型 计算机、笔记型（即，膝上型）计算机、平板型计算机、机顶盒、电话手机（例如，所谓的"智 能型"手机、所谓的"智能型"板）、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制 台、视频流式传输装置或其类似者。在一些状况下，源装置12和目的地装置14可为无线通 信而装备。
[0046]目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能 够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个 实例中，链路16可包括用W使源装置12能够将经编码视频数据直接实时地传输到目的地 装置14的通信媒体。可根据通信标准（例如，无线通信协议）调制经编码视频数据，和将 经编码视频数据传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射 频（R巧频谱或一或多个物理传输线。通信媒体可形成基于封包的网络（例如，局域网、广 域网或例如因特网的全球网络）的部分。通信媒体可包含路由器、交换器、基站，或可用W 促进从源装置12到目的地装置14的通信的任何其它装备。
[0047] 替代地，可将经编码数据从输出接口 22输出到存储装置34。类似地，可由输入接 口 28从存储装置34存取经编码数据。存储装置34可包含多种分散式或本地存取式数据 存储媒体中的任一者，例如，硬盘机、藍光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失 性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存 储装置34可对应于可保存由源装置12产生的经编码视频的文件服务器或另一中间存储装 置。目的地装置14可经由流式传输或下载从存储装置34存取所存储的视频数据。文件服 务器可为能够存储经编码视频数据和将彼经编码视频数据传输到目的地装置14的任何类 型的服务器。实例文件服务器包含web服务器（例如，用于网站）、FTP服务器、网络附接存 储（NA巧装置或本地磁盘机。目的地装置14可经由任何标准数据连接（包含因特网连接） 而存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频 数据的无线信道（例如，Wi-Fi连接）、有线连接（例如，DSL、缆线调制解调器等），或两者 的组合。经编码视频数据从存储装置34的传输可为流式传输、下载传输或两者的组合。
[0048] 本发明的技术未必限于无线应用或设定。所述技术可应用于支持多种多媒体应用 中的任一者的视频译码，所述多媒体应用例如空中（over-the-air)电视广播、有线电视传 输、卫星电视传输、流式传输视频传输（例如，经由因特网）、待存储于数据存储媒体上的数 字视频的编码、存储于数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系 统10可经配置W支持单向或双向视频传输，W支持例如视频流式传输、视频播放、视频广 播和/或视频电话的应用。
[0049]在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口 22。在一 些状况下，输出接口 22可包含调制器/解调制器（调制解调器）和/或发射器。在源装置 12中，视频源18可包含例如W下各者的源；视频俘获装置（例如，摄像机）、含有先前所俘 获的视频的视频存档、用W从视频内容提供者接收视频的视频馈送接口，和/或用于产生 作为源视频的计算机图形数据的计算机图形系统，或该些源的组合。作为一个实例，如果视 频源18为摄像机，那么源装置12与目的地装置14可形成所谓的摄影机电话或视频电话。 然而，大体来说，本发明中所描述的技术可适用于视频译码，且可应用于无线和/或有线应 用。
[0化0] 可由视频编码器20编码经俘获、经预先俘获或经计算机产生的视频。可经由源装 置12的输出接口 22将经编码视频数据直接传输到目的地装置14。也可（或替代地）将经 编码视频数据存储到存储装置34上W由目的地装置14或其它装置稍后存取，W用于解码 和/或播放。
[005U在AVC和肥VC中，将位流符合性和解码器符合性指定为H畑规范的部分。在视频 编码器20侧处通常需要HRDW保证位流符合性，而在解码器侧处通常不需要HRD。指定两 种类型的位流符合性或HRD符合性，即，类型I和类型II。另外，指定两种类型的解码器符 合性；输出时序解码器符合性和输出次序解码器符合性。
[0化2] 目的地装置14包含输入接口 28、视频解码器30和显示装置32。在一些状况下， 输入接口 28可包含接收器和/或调制解调器。目的地装置14的输入接口 28经由链路16 接收经编码视频数据。经由链路16传达或在存储装置34上提供的经编码视频数据可包含 由视频编码器20产生的多种语法元素，W供例如视频解码器30的视频解码器在解码视频 数据时使用。该些语法元素可包含于在通信媒体上传输、存储于存储媒体上或存储于文件 服务器上的经编码视频数据中。
[0化3] 显示装置32可与目的地装置14集成，或在目的地装置14外部。在一些实例中， 目的地装置14可包含集成式显示装置，且也经配置W与外部显示装置介接。在其它实例 中，目的地装置14可为显示装置。大体来说，显示装置32向用户显示经解码视频数据，且 可包括多种显示装置中的任一者，例如，液晶显示器（LCD)、等离子显示器、有机发光二极管 (OLED)显示器或另一类型的显示装置。
[0化4]视频编码器20和视频解码器30可根据视频压缩标准（例如，目前在开发中的高 效率视频译码（肥VC)标准）而操作，且可符合肥VC测试模型（HM)。替代地，视频编码器 20和视频解码器30可根据例如口U-TH. 264标准（替代地被称作MPEG-4第10部分（先 进视频译码（AVC))的其它专有或行业标准或该些标准的扩展而操作。然而，本发明的技术 并不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和口U-TH. 263。 [0化5]尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音 频编码器和解码器集成，且可包含适当MUX-DEMW(单元或其它硬件和软件，W处置共同数 据流或单独数据流中的音频和视频两者的编码。如果适用，那么在一些实例中，MUX-DEMUX 单元可符合口UH. 223多路复用器协议，或例如用户数据报协议扣D巧的其它协议。
[0化6] 视频编码器20和视频解码器30可各自实施为各种合适编码器电路中的任一者， 例如，一或多个微处理器、数字信号处理器值SP)、专用集成电路（ASIC)、现场可编程口阵 列（FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当W软件中部分地实施所述技术时， 装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或 多个处理器来执行所述指令W执行本发明的技术。视频编码器20和视频解码器30中的每 一者可包含于一或多个编码器或解码器中，其中的任一者可集成为相应装置中的组合式编 码器/解码器（CODEC)的部分。
[0化7]如上文所论述，JCT-VC已开发肥VC标准。肥VC标准化努力是基于视频译码装置的 演进模型，其被称作肥VC测试模型（HM)。歷假设视频译码装置相对于根据（例如）ITU-T 比264/AVC的现有装置的若干额外能力。例如，比264提供九个帖内预测编码模式，而歷可 提供多达=十立个帖内预测编码模式。
[005引大体来说，HM的工作模型描述视频帖或图片可划分成包含亮度样本和色度样本两 者的树型块或最大译码单元（LCU)序列。树型块具有与H. 264标准的宏块的目的类似的目 的。切片包含按译码次序的数个连续树型块。可将视频帖或图片分割成一或多个切片。每 一树型块可根据四分树而分裂成多个译码单元（CU)。例如，树型块（作为四分树的根节点） 可分裂成四个子代节点，且每一子代节点可又为亲代节点，并分裂成另外四个子代节点。最 终未分裂的子代节点（作为四分树的叶节点）包含译码节点，即，经译码视频块。与经译 码位流相关联的语法数据可定义树型块可分裂的最大次数，且也可定义译码节点的最小大 小。
[0059]CU包含译码节点，和与译码节点相关联的预测单元（PU)和变换单元（TU)。CU的 大小大体上对应于译码节点的大小，且形状通常必须为正方形。CU的大小的范围可从8X8 像素直到具有最大64X64像素或大于64X64像素的树型块的大小。每一CU可含有一或 多个PU和一或多个TU。与CU相关联的语法数据可描述（例如）CU到一或多个PU的分割。 分割模式可视CU是经跳过或直接模式编码、经帖内预测模式编码抑或经帖间预测模式编 码而不同。PU可经分割成非正方形形状。与CU相关联的语法数据也可描述（例如）CU根 据四分树到一或多个TU的分割。TU的形状可为正方形或非正方形。
[0060] 肥VC标准允许根据TU的变换，所述变换对于不同CU可不同。通常基于针对经分 割LCU所定义的给定CU内的PU的大小而设定TU的大小，但可能并非总是如此状况。TU通 常具有与PU相同的大小，或小于PU。在一些实例中，可使用称为"残余四分树"（RQT)的四 分树结构而将对应于CU的残余样本再分为较小的单元。RQT的叶节点可被称作变换单元 (TU)。可变换与TU相关联的像素差值，W产生可被量化的变换系数。
[0061] 大体来说，PU包含与预测过程有关的数据。例如，当W帖内模式编码PU时，PU可 包含描述所述PU的帖内预测模式的数据。作为另一实例，当W帖间模式编码PU时，PU可包 含定义所述PU的运动向量的数据。定义PU的运动向量的数据可描述（例如）运动向量的 水平分量、运动向量的垂直分量、运动向量的分辨率（例如，四分之一像素精度或八分之一 像素精度）、运动向量所指向的参考图片，和/或运动向量的参考图片列表（例如，列表0、 列表1或列表0。
[006引大体来说，TU用于变换过程和量化过程。具有一或多个PU的给定CU也可包含一 或多个变换单元（TU)。在预测之后，视频编码器20可根据PU从通过译码节点识别的视频 块计算残余值。接着，更新译码节点W参考残余值而非原始视频块。残余值包括像素差值， 可使用TU中所指定的变换和其它变换信息将所述残余差值变换成变换系数，将其量化和 扫描W产生串列化变换系数W用于滴译码。可再次更新译码节点，W参考该些串列化变换 系数。本发明通常使用术语"视频块"来指CU的译码节点。在一些特定状况下，本发明也 可使用术语"视频块"来指包含译码节点W及多个PU和TU的树型块（即，LCU或CU)。
[0063] 视频序列通常包含一系列视频帖或图片。图片群组佑0巧通常包含一系列一或多 个视频图片。G0P可在G0P的标头中、图片中的一或多者的标头中或在别处包含语法数据， 所述语法数据描述包含于G0P中的图片的数目。图片的每一切片可包含描述所述相应切片 的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作，W 便编码视频数据。视频块可对应于cu内的译码节点。视频块可具有固定或变化的大小，且 可根据指定译码标准而在大小方面不同。
[0064] 作为一实例，歷支持W各种PU大小进行预测。假定特定CU的大小为2NX2N，那么HM支持W2NX2N或NXN的PU大小进行帖内预巧U，和W2NX2N、2NXN、NX2N或NXN的对 称PU大小进行帖间预测。歷也支持不对称分割从而W2NXnU、2NXnD、化X2N和nRX2N 的PU大小进行帖间预测。在不对称分割中，未对CU的一个方向进行分割，而将另一方向 分割成25%和75%。CU的对应于25%分割的部分由"n"继之上师）"、"下值own)"、 "左（Left)"或"右胞曲t)"的指示来指示。因此，例如，"2NXnU"指在水平方向上W顶部 2NX0. 5NPU和底部 2NX1. 5NPU分害d的 2NX2N抓。
[0065] 在本发明中，"NXN"与"N乘N"可互换地使用，W指视频块在垂直尺寸与水平尺 寸上的像素尺寸，例如，16X16像素或16乘16像素。大体来说，16X16块在垂直方向上将 具有16个像素（y= 16)，且在水平方向上将具有16个像素（x= 16)。同样地，NXN块通 常在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。可 按行和列来排列块中的像素。此外，块未必需要在水平方向上与在垂直方向上具有相同数 目个像素。例如，块可包括NXM个像素，其中M未必等于N。
[0066]在使用CU的PU进行帖内预测性译码或帖间预测性译码之后，视频编码器20可计 算应用由CU的TU指定的变换的残余数据。残余数据可对应于未经编码图片的像素与对应 于CU的预测值之间的像素差。视频编码器20可形成CU的残余数据，且接着变换所述残余 数据W产生变换系数。
[0067]在进行任何变换W产生变换系数之后，视频编码器20可执行变换系数的量化。量 化大体指如下过程；将变换系数量化W可能地减少用W表示所述系数的数据的量，从而提 供进一步压缩。量化过程可减少与所述系数中的一些或所有相关联的位深度。例如，可在 量化期间将n位值降值舍位到m位值，其中n大于m。
[0068]在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数，W产生可经滴编码的串列化向量。在其它实例中，视频编码器20可执行自适应性扫描。在 扫描经量化 的变换系数W形成一维向量之后，视频编码器20可（例如）根据上下文自适应 性可变长度译码（CAVLC)、上下文自适应性二进制算术译码（CABAC)、基于语法的上下文自 适应性二进制算术译码（SBAC)、概率区间分割滴（PIP巧译码或另一滴编码方法来滴编码 一维向量。视频编码器20也可滴编码与经编码视频数据相关联的语法元素，W由视频解码 器30在解码视频数据时使用。
[0069] 为了执行CABAC，视频编码器20可将上下文模型内的上下文指派给待传输的符 号。所述上下文可设及（例如）符号的相邻值是否为非零。为了执行CAVLC，视频编码器 20可针对待传输的符号选择可变长度码。可将VLC中的码字构建成使得相对较短码对应于 更有可能的符号，而较长码对应于较不可能的符号。W此方式，使用VLC可达成位节省（与 (例如）针对待传输的每一符号使用相等长度码字相比较）。概率确定可基于指派给符号 的上下文而进行。
[0070]在一些实例中，目的地装置14可实施处理视频数据的方法。例如，视频解码器30 可接收具有RAP图片的存取单元。视频解码器也可在具有RAP图片的存取单元之后接收一 或多个后续存取单元。在一或多个后续存取单元中的一后续存取单元不具有相关联的RA化 图片的状况下，视频解码器30基于图片缓冲器去除延迟偏移将图片缓冲器去除时间移位 得较早。例如，缓冲周期SEI消息可包含CPB延迟偏移值，例如，指定针对第i个CPB而待 使用的偏移的cptdelay_offset[i]。当与相关联于缓冲周期SEI消息的CRA或BLA存取 单元相关联的RASL存取单元不存在时，所述偏移可用于（例如）导出按解码次序在CRA或 BLA存取单元之后的存取单元的标称(PB去除时间。语法元素可具有W位为单位的由au_ cpb_removal_delay_length_minusl+l给定的长度，且可（例如）W90曲Z时钟为单位。
[0071] 在其它实例中，目的地装置14可实施处理视频数据的另一方法。例如，视频解码 器30可接收具有RAP图片的存取单元，其中不接收含有随机存取跳过前置（RA化）图片的 相关联的存取单元。响应于接收存取单元而不接收含有RA化图片的相关联的存取单元，视 频解码器30可初始化图片缓冲器去除时间和图片缓冲器去除延迟偏移。
[0072] 在另一实例中，视频解码器30可接收具有RAP图片的存取单元，其中不接收含有 RASL图片的相关联的存取单元。响应于接收存取单元而不接收含有RASL图片的相关联的 存取单元，视频解码器30也可初始化图片缓冲器去除时间和图片缓冲器去除延迟偏移。
[0073] 图2为说明可实施本发明中所描述的技术的实例视频编码器20的框图。视频编 码器20可执行视频切片内的视频块的帖内译码和帖间译码。帖内译码依赖于空间预测，W 减少或去除给定视频帖或图片内的视频的空间冗余。帖间译码依赖于时间预测，W减少或 去除视频序列的邻近帖或图片内的视频的时间冗余。帖内模式（I模式）可指若干基于空 间的压缩模式中的任一者。例如单向预测（P模式）或双向预测炬模式）的帖间模式可指 若干基于时间的压缩模式中的任一者。
[0074] 在图2的实例中，视频编码器20包含分割单元35、预测处理单元41、参考图片存 储器64、求和器50、变换处理单元52、量化单元54和滴编码单元56。预测处理单元41包 含运动估计单元42、运动补偿单元44和帖内预测处理单元46。对于视频块重构建，视频编 码器20也包含反量化单元58、反变换处理单元60和求和器62。也可包含解块滤波器（图 2中未展示），W对块边界进行滤波从而从经重构建视频去除成块效应伪影。如果需要，那 么所述解块滤波器将通常对求和器62的输出进行滤波。除解块滤波器W外，也可使用额外 回路滤波器（回路内或回路后）。
[007引如图2中所展示，视频编码器20接收视频数据，且分割单元35将数据分割成多个 视频块。此分割也可包含分割成切片、图像块或其它较大单元，W及（例如）根据LCU和 CU的四分树结构的视频块分割。视频编码器20大体上说明编码待编码的视频切片内的视 频块的组件。可将切片划分成多个视频块（且可能将其划分成被称作图像块的视频块的集 合）。预测处理单元41可基于误差结果（例如，译码速率和失真程度）而针对当前视频块 选择多个可能译码模式中的一者，例如，多个帖内译码模式中的一者或多个帖间译码模式 中的一者。预测处理单元41可将所得的经帖内译码块或经帖间译码块提供到求和器50,W 产生残余块数据，和提供到求和器62,W重构建经编码块W用作参考图片。
[0076] 预测处理单元41内的帖内预测处理单元46可执行当前视频块相对于在与待译码 的当前块相同的帖或切片中的一或多个相邻块的帖内预测性译码，W提供空间压缩。预测 处理单元41内的运动估计单元42和运动补偿单元44执行当前视频块相对于一或多个参 考图片中的一或多个预测性块的帖间预测性译码，W提供时间压缩。
[0077] 运动估计单元42可经配置W根据视频序列的预定型样确定视频切片的帖间预测 模式。预定型样可将序列中的视频切片指定为P切片或B切片。运动估计单元42与运动 补偿单元44可高度集成，但出于概念性目的而分别说明。由运动估计单元42执行的运动 估计为产生运动向量的过程，运动向量估计视频块的运动。运动向量（例如）可指示当前 视频帖或图片内的视频块的PU相对于参考图片内的预测性块的位移。
[007引预测性块为被发现与待译码的视频块在像素差方面紧密匹配的块，像素差可由绝 对差和（SAD)、平方差和（SSD)或其它差度量来确定。在一些实例中，视频编码器20可计算 存储于参考图片存储器64中的参考图片的子整数像素位置的值。例如，视频编码器20可 内插参考图片的四分之一像素位置、八分之一像素位置或其它分率像素位置的值。因此，运 动估计单元42可执行相对于全像素位置和分率像素位置的运动捜索，和W分率像素精度 输出运动向量。
[0079] 运动估计单元42通过比较经帖间译码切片中的视频块的PU的位置与参考图片的 预测性块的位置而计算PU的运动向量。参考图片可选从第一参考图片列表（列表0)或第 二参考图片列表（列表1)，所述列表中的每一者识别存储于参考图片存储器64中的一或多 个参考图片。运动估计单元42将计算出的运动向量发送到滴编码单元56和运动补偿单元 44。
[0080] 由运动补偿单元44执行的运动补偿可设及基于由运动估计所确定的运动向量来 提取或产生预测性块，从而可能执行到子像素精度的内插。在接收到当前视频块的PU的运 动向量后，运动补偿单元44可将运动向量所指向的预测性块定位于参考图片列表中的一 者中。视频编码器20通过从正经译码的当前视频块的像素值减去预测性块的像素值来形 成残余视频块，从而形成像素差值。像素差值形成块的残余数据，且可包含亮度差分量与色 度差分量两者。求和器50表示执行此减法运算的一或多个组件。运动补偿单元44也可产 生与视频块和视频切片相关联的语法元素，W供视频解码器30在解码视频切片的视频块 时使用。
[0081] 如上文所描述，作为由运动估计单元42和运动补偿单元44执行的帖间预测的替 代，帖内预测处理单元46可对当前块进行帖内预巧U。明确地说，帖内预测处理单元46可确 定用W编码当前块的帖内预测模式。在一些实例中，帖内预测处理单元46可（例如）在单 独编码遍次期间使用各种帖内预测模式来编码当前块，且帖内预测处理单元46(或在一些 实例中，模式选择单元40)可从经测试模式选择将使用的适当帖内预测模式。例如，帖内预 测处理单元46可使用用于各种经测试的帖内预测模式的速率-失真分析而计算速率-失 真值，且在经测试模式当中选择具有最佳速率-失真特性的帖内预测模式。速率-失真分 析大体确定经编码块与经编码W产生经编码块的原始未经编码块之间的失真（或误差）的 量，W及用W产生经编码块的位速率（即，位数目）。帖内预测处理单元46可根据各种经编 码块的失真和速率计算比率，W确定哪一帖内预测模式展现块的最佳速率-失真值。
[0082] 在任何状况下，在选择用于块的帖内预测模式之后，帖内预测处理单元46可将指 示用于块的选定帖内预测模式的信息提供到滴编码单元56。滴编码单元56可根据本发明 的技术来编码指示选定帖内预测模式的信息。视频编码器20可在所传输的位流中包含配 置数据，所述配置数据可包含多个帖内预测模式索引表和多个经修改帖内预测模式索引表 (也称作码字映射表）、各种块的编码上下文的定义，和用于上下文中的每一者的最大概率 帖内预测模式、帖内预测模式索引表和经修改帖内预测模式索引表的指示。
[0083] 在预测处理单元41经由帖间预测抑或帖内预测产生当前视频块的预测性块之 后，视频编码器20通过从当前视频块减去预测性块而形成残余视频块。残余块中的残余视 频数据可包含于一或多个TU中，且应用于变换处理单元52。变换处理单元52使用例如离 散余弦变换值CT)或概念上类似的变换的变换将残余视频数据变换成残余变换系数。变换 处理单元52可将残余视频数据从像素域转换到变换域，例如频域。
[0084] 变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系 数W进一步减少位速率。量化过程可减少与系数中的一些或全部系数相关联的位深度。可 通过调整量化参数而修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化 的变换系数的矩阵的扫描。替代地，滴编码单元56可执行所述扫描。
[0085] 在量化之后，滴编码单元56滴编码经量化的变换系数。例如，滴编码单元56可 执行上下文自适应性可变长度译码（CAVLC)、上下文自适应性二进制算术译码（CABAC)、基 于语法的上下文自适应性二进制算术译码（SBAC)、概率区间分割滴（PIP巧译码或另一滴 编码方法或技术。在由滴编码单元56进行滴编码之后，可将经编码位流传输到视频解码器 30,或加W存档W供稍后传输或由视频解码器30俘获。滴编码单元56也可滴编码正经译 码的当前视频切片的运动向量和其它语法元素。
[0086] 反量化单元58和反变换处理单元60分别应用反量化和反变换，W在像素域中重 构建残余块W供稍后用作参考图片的参考块。运动补偿单元44可通过将残余块加到参考 图片列表中的一者内的参考图片中的一者的预测性块来计算参考块。运动补偿单元44也 可将一或多个内插滤波器应用于经重构建的残余块，W计算子整数像素值W供在运动估计 中使用。求和器62将所述经重构建的残余块加到由运动补偿单元44所产生的经运动补偿 的预测块，W产生参考块W存储于参考图片存储器64 (有时称作经解码图片缓冲器值PB)) 中。参考块可由运动估计单元42和运动补偿单元44用作参考块W帖间预测后续视频帖或 图片中的块。
[0087] 如上文所论述，在AVC和肥VC中，将位流符合性和解码器符合性指定为H畑规范 的部分。尽管将HRD称作某种解码器，但在视频编码器20处通常需要HRD，W保证位流符合 性，而在解码器侧处通常不需要HRD。指定两种类型的位流符合性或HRD符合性，即，类型I 和类型II。另外，指定两种类型的解码器符合性；输出时序解码器符合性和输出次序解码 器符合性。
[0088] 通常在随机存取点（RAP)图片处初始化皿D。在肥VC和AVC两者中，一旦初始化 H畑，那么无需重新初始化，其便能继续操作直到位流的结尾为止。
[0089] 在肥VCWD9中，如果H畑在CRA或BLA存取单元处初始化，那么将此存取单元称 作存取单元0。在一些实例中，视频编码器20可传输或存储与存取单元0相关联的默认初 始CPB去除延迟和延迟偏移W及替代性初始(PB去除延迟和延迟偏移W用于H畑操作中。 视频编码器20可接着用信号发送与存取单元0相关联的默认初始(PB去除延迟和延迟偏 移W及替代性初始CPB去除延迟和延迟偏移。如果不存在与存取单元0相关联的RA化存 取单元，那么选择替代性初始(PB去除延迟和延迟偏移，否则（存在与存取单元0相关联的 RA化存取单元），选择默认初始(PB去除延迟和延迟偏移。接着，可在位流中用信号发送初 始(PB去除延迟和延迟偏移的选定集合。也可接着使用初始(PB去除延迟和延迟偏移的选 定集合，直到位流的结尾为止。可使用包含(PB延迟偏移值（例如，指定针对第i个(PB而 待使用的偏移的cptdelay_offset[i])的缓冲周期SEI消息（例如）从视频编码器20用 信号发送此信息。
[0090] 在一实例中，视频编码器20可针对每一CRA或BLA存取单元用信号发送(PB去除 延迟偏移。对于所相关联的RA化图片不存在的每一CRA或BLA存取单元来说，不管H畑是 否在CRA或BLA存取单元处初始化，（例如）在视频解码器30处皆将按解码次序在CRA或 BLA存取单元之后的存取单元中的每一者的CBP去除时间移位得早出（PB去除延迟偏移。 W与肥VCWD9中相同的方式执行在存取单元0的替代性初始(PB去除延迟和延迟偏移与 默认初始(PB去除延迟和延迟偏移之间的选择。替代地，始终选择存取单元0的默认初始 (PB去除延迟和延迟偏移，且因此除非存在子图片层级(PB参数且接着替代性初始(PB去除 延迟和延迟偏移（例如）由视频解码器30用于子图片层级H畑操作的目的，否则并不针对 CRA或BLA存取单元而用信号发送替代性初始(PB去除延迟和延迟偏移。
[OOW] 在一些实例中，视频编码器20可（例如）通过如肥VCWD9的子条款C. 2. 3 (解码 单元去除的时序和解码单元的解码）中所描述的语法和语义来编码缓冲周期补充增强信 息（SEI)消息。视频编码器20可结合（例如）肥VCWD9实施本文中所描述的改变。未提 及的其它部分可与肥VCWD9或其它肥VC标准（例如，后续肥VC标准）中的部分相同。
[0092] 图3为说明可实施本发明中所描述的技术的实例视频解码器30的框图。在图3的 实例中，视频解码器30包含经译码图片缓冲器（CPB) 78、滴解码单元80、预测处理单元81、 反量化单元86、反变换处理单元88、求和器90和经解码图片缓冲器值PB) 92。预测处理单 元81包含运动补偿单元82和帖内预测处理单元84。在一些实例中，视频解码器30可执行 与关于来自图2的视频编码器20所描述的编码编次大体上互反的解码编次。
[0093]CPB78存储来自经编码图片位流的经译码图片。在一个实例中，CPB78为含有按 解码次序的存取单元（AU)的先进先出缓冲器。AU为网络抽象层（NAL)单元的集合，所述 NAL单元根据指定分类规则而彼此相关联，按解码次序为连续的且含有仅一个经译码图片。 解码次序为解码图片的次序，且可不同于显示图片的次序（即，显示次序）。在肥VCWD9 中，可由假想参考解码器化RD)指定CPB的操作。
[0094] 在解码过程期间，视频解码器30从视频编码器20接收经编码视频位流，所述经编 码视频位流表示经编码视频切片的视频块和相关联的语法元素。视频解码器30的滴解码 单元80滴解码所述位流，W产生经量化的系数、运动向量和其它语法元素。滴解码单元80 将运动向量和其它语法元素转递到预测处理单元81。视频解码器30可在视频切片层级和 /或视频块层级处接收语法元素。
[0095] 当将视频切片译码为经帖内译码（I)切片时，预测处理单元81的帖内预测处理单 元84可基于用信号发送的帖内预测模式和来自当前帖或图片的先前经解码块的数据而产 生当前视频切片的视频块的预测数据。当将视频帖译码为经帖间译码（即，B、P或GPB)切 片时，预测处理单元81的运动补偿单元82基于从滴解码单元80所接收的运动向量和其它 语法元素而产生当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考 图片中的一者产生预测性块。视频解码器30可基于存储于DPB92中的参考图片使用默认 构建技术来构建参考帖列表（列表0和列表1)。
[0096] 运动补偿单元82通过剖析运动向量和其它语法元素而确定当前视频切片的视频 块的预测信息，且使用所述预测信息产生正经解码的当前视频块的预测性块。例如，运动补 偿单元82使用所接收的语法元素中的一些语法元素确定用W译码视频切片的视频块的预 测模式（例如，帖内预测或帖间预测）、帖间预测切片类型（例如，B切片、P切片或GTO切 片）、切片的参考图片列表中的一或多者的构建信息、切片的每一经帖间编码视频块的运动 向量、切片的每一经帖间译码视频块的帖间预测状态，和用W解码当前视频切片中的视频 块的其它信息。
[0097] 运动补偿单元82也可基于内插滤波器执行内插。运动补偿单元82可使用如由视 频编码器20在视频块的编码期间所使用的内插滤波器，W计算参考块的子整数像素的内 插值。在此状况下，运动补偿单元82可从所接收的语法元素确定由视频编码器20所使用 的内插滤波器，且使用内插滤波器来产生预测性块。
[009引反量化单元86反量化（即，解量化）位流中所提供且由滴解码单元80解码的经 量化的变换系数。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块 计算的量化参数，W确定量化的程度和（同样地）应所述应用的反量化的程度。反变换处 理单元88将反变换（例如，反DCT、反整数变换或概念上类似的反变换过程）应用于变换系 数，W便在像素域中产生残余块。
[0099] 在运动补偿单元82基于运动向量和其它语法元素产生当前视频块的预测性块之 后，视频解码器30通过对来自反变换处理单元88的残余块与由运动补偿单元82所产生的 对应预测性块求和，而形成经解码视频块。求和器90 表示执行此求和运算的一或多个组 件。如果需要，也可应用解块滤波器来对经解码块进行滤波，W便去除成块效应伪影。其它 回路滤波器（译码回路中或译码回路后）也可用W使像素转变平滑，或W其它方式改善视 频质量。接着，将给定帖或图片中的经解码视频块存储于DPB92中，所述DPB92存储用于 后续运动补偿的参考图片。DPB92也存储经解码视频，W用于稍后在显示装置（例如，图1 的显示装置32)上呈现。在一个实例中，类似于CPB78,在HVECWD9中，可由H畑指定DPB 92的操作。CPB78和DPB92可包括存储器单元模块，或可包括分割成多个不同区W界定 CPB78和DPB92的同一存储器。
[0100] 本发明的接下来的章节将论述随机存取、位流切换和随机存取点（RAP)图片的 肥VC特征。
[0101] 随机存取指从并非视频位流中的第一经译码图片的经译码图片开始的所述位流 的解码。许多视频应用（例如，广播和流式传输）中需要对位流的随机存取，（例如）W供 用户在任何时间调谐进入节目、在不同信道之间切换、跳转到视频的特定部分，或切换到不 同位流W达成流式传输调适（例如，位速率、帖速率、空间分辨率等的调适）。通过W规则间 隔多次将随机存取图片或随机存取点（RA巧插入到视频位流来实现随机存取。
[0102] 位流拼接指两个或两个W上位流或其部分的串连。例如，可使第一位流附加有第 二位流，可能对所述位流中的一者或两者作出一些修改W产生经拼接的位流。第二位流中 的第一经译码图片也被称作拼接点。因此，经拼接的位流中在拼接点之后的图片是源自第 二位流，而经拼接的位流中在拼接点之前的图片是源自第一位流。
[0103] 由位流拼接器执行位流的拼接。位流拼接器常常为轻型的（即，不太复杂或处理 能力较差），且远不如视频编码器20智能。例如，位流拼接器可未装备有滴解码和编码能 力。
[0104] 可在自适应性流式传输环境中使用位流切换。在切入位流中的某些图片处的位流 切换操作实际上为位流拼接操作，其中拼接点为位流切换点，即，切入位流中的第一图片。
[0105]W下章节将论述RAP图片。RAP图片的一个实例为瞬时解码再新（IDR)图片。如 AVC或肥VC中所指定，IDR图片中可用于随机存取。然而，由于按解码次序在IDR图片之 后的图片不能将在IDR图片之前解码的图片用作参考（例如，对于帖间预测），因此依赖于 IDR图片来随机存取的位流可具有显著较低的译码效率。
[0106] 为改善译码效率，在肥VC中引入清洁随机存取（CRA)图片的概念，W允许按解码 次序在CRA图片之后但按输出次序在CRA图片之前的图片将在CRA图片之前解码的图片用 作参考。按解码次序在CRA图片之后但按输出次序在CRA图片之前的图片被称作与CRA图 片相关联的前置图片（或CRA图片的前置图片）。如果解码从当前CRA图片之前的IDR或 CRA图片开始，那么CRA图片的前置图片可正确解码。然而，当发生从CRA图片的随机存取 时，CRA图片的前置图片可能不可解码；因此在随机存取解码期间通常丢弃前置图片。为防 止从取决于解码开始处而可能不可用的参考图片的错误传播，HEVC的一个提议指定；按解 码次序和输出次序两者在CRA图片之后的所有图片不得将按解码次序抑或输出次序在CRA 图片之前的任何图片（其包含前置图片）用作参考。
[0107] 在引入CRA图片之后，在肥VC中进一步引入断链存取炬LA)图片的概念，且所述 概念是基于CRA图片的概念。BLA图片通常源自在CRA图片的位置处的位流拼接，且在经拼 接的位流中，拼接点CRA图片经改变成BLA图片。
[010引 IDR图片、CRA图片和BLA图片被统称为随机存取点（RAP)图片。如下为BLA图 片与CRA图片之间的一个显著差异。对于CRA图片，如果解码从按解码次序在CRA图片之 前的RAP图片开始，那么相关联的前置图片可正确解码，且在发生从CRA图片的随机存取时 (即，在解码从CRA图片开始时，或换句话说，在CRA图片为位流中的第一图片时），相关联 的前置图片可能不可正确解码。对于BLA图片，在所有状况下，相关联的前置图片可能不可 解码，甚至在解码从按解码次序在BLA图片之前的RAP图片开始时也如此。
[0109] 对于特定CRA或BLA图片，相关联的前置图片中的一些前置图片可正确解码，甚至 在CRA或BLA图片为位流中的第一图片时也如此。该些前置图片被称作可解码前置图片 值L巧或随机存取可解码前置（RADL)图片。其它前置图片被称作非可解码前置图片（NLP)、 加标签为丢弃（T抑）图片或随机存取跳过前置（RA化）图片。
[0110] 肥VC WD9将位流的概念指定为形成经编码图片和相关联的数据的表示的位序列， 经译码图片和相关联的数据形成一或多个经译码视频序列。位流为用于指NAL单元流式传 输抑或字节流式传输的集合性术语。肥VC WD9将基本流式传输巧巧的概念指定为一或多 个位流的序列。
[0111] 将通常通过将两个或两个W上位流（或其部分）拼接在一起而形成由两个或两个 W上位流组成的基本流式传输。如果基本流式传输含有多个位流，那么除了最后位流之外， 在其它位流中的每一者的结尾处通常存在位流结尾（endofbitstream,EOS)NAL单元。
[0112] 视频译码标准通常包含视频缓冲模型的规范。在AVC和肥VC中，缓冲模型被称作 假想参考解码器（HRD)，其包含经译码图片缓冲器（CPB)和经解码图片缓冲器值PB)两者的 缓冲模型。W数学方式指定(PB和DPB行为。HRD直接对不同时序、缓冲器大小和位速率强 加约束，且间接地对位流特性和统计强加约束。H畑参数的完整集合包含五个基本参数：初 始CPB去除延迟、CPB大小、位速率、初始DPB输出延迟和DPB大小。
[0113] 在AVC和肥VC中，将位流符合性和解码器符合性指定为H畑规范的部分。尽管将 HRD称为解码器，但在编码器侧处通常需要HRD规范，W保证位流符合性。指定两种类型的 位流符合性或HRD符合性，即，类型I和类型II。另外，指定两种类型的解码器符合性（输 出时序解码器符合性和输出次序解码器符合性）。
[0114] 通常在随机存取点图片处初始化H畑。在肥VC和AVC两者中，一旦初始化H畑，那 么无需重新初始化，其便能继续操作直到位流的结尾为止。
[0115] 在肥VCWD9中，如果H畑在CRA或BLA存取单元处初始化（此存取单元被称作存 取单元0)，那么取决于是否存在与存取单元0相关联的RA化存取单元，选择与存取单元0 相关联的默认初始CPB去除延迟和延迟偏移抑或替代性初始CPB去除延迟和延迟偏移，W 用于HRD操作中。如果不存在与存取单元0相关联的RA化存取单元，那么选择替代性初始 (PB去除延迟和延迟偏移；否则（即，存在与存取单元0相关联的RA化存取单元），选择默 认初始(PB去除延迟和延迟偏移。接着，由视频解码器30使用初始(PB去除延迟和延迟偏 移的选定集合，直到位流的结尾为止。
[0116] 在美国专利申请案第13/664, 279号（在2012年10月30日申请，其全部内容W 引用的方式并入本文中）中，描述W下方法。可针对每一CRA存取单元用信号发送(PB去 除延迟偏移。如果H畑在此CRA存取单元（其也被称作存取单元0)处初始化，且不存在相 关联的RA化图片，那么将按解码次序在CRA存取单元之后的存取单元中的每一者的(PB去 除时间移位得早出(PB去除延迟偏移。
[0117] 肥VCWD9中的H畑技术展现W下问题。首先，假定将初始(PB去除延迟和延迟偏移 的选定集合应用于如下状况；其中位流中按解码次序在存取单元0之后的所有CRA或BLA 存取单元（如果存在）的相关联的RA化存取单元存在。仅在位流中不存在按解码次序在 存取单元0之后且所相关联的RA化存取单元不存在的CRA或BLA存取单元的情况下，肥VC WD9的当前技术才将正确地起作用。然而，如果位流中存在此CRA或BLA存取单元，那么CPB 可在第一此CRA或BLA存取单元之后溢位，且因此可发生超出预期的解码结果。
[0118] 类似地，假定初始(PB去除延迟和延迟偏移的选定集合应用于如下状况；其中位 流中按解码次序在存取单元0之后的所有CRA或BLA存取单元（如果存在）的相关联的 RASL存取单元不存在。仅在位流中不存在按解码次序在存取单元0之后且所相关联的RASL 存取单元存在的CRA或BLA存取单元的情况下，肥VCWD9的当前技术才将正确地起作用， 且在位流中存在此CRA或BLA存取单元的情况下，所述技术将无法正确地起作用。
[0119] 关于初始(PB去除延迟和延迟偏移的选定集合的其它假定也可导致不正确的解 码。例如，只要关于紧跟着的CRA或BLA存取单元的相关联的RA化存取单元的存在和缺乏 的假定不成立，那么也可能无法正确地解码W下情形：在存取单元0之后的一些CRA或BLA 存取单元的相关联的RA化存取单元存在，且在存取单元0之后的其它CRA或BLA存取单元 的相关联的RASL存取单元不存在。
[0120] 归因于丢弃与存取单元0相关联的RA化存取单元，(PB去除延迟偏移可仅补偿在 存取单元0之后的存取单元的(PB去除时间。如果位流中存在按解码次序在存取单元0之 后且所相关联的RA化存取单元已被丢弃的一个或一个W上CRA或BLA存取单元，那么CPB 可在第一此CRA或BLA存取单元之后溢位，且因此可发生超出预期的解码结果。
[012U 如下为与肥VCWD9中的方法相关联的另一问题。当前，当存取单元（AU)0为CRA AU或BLAAU时，如果存在相关联的RA化AU，那么使用默认初始(PB去除延迟和延迟偏移； 否则使用替代性初始(PB去除延迟和延迟偏移。然而，初始(PB去除延迟和延迟偏移的改变 并不改变AUO的（标称）解码时间与按解码次序在AUO之后的第一非RA化AU的（标称） 解码时间之间的持续时间。例如，假定原始位流中存在按解码次序紧跟在AUO之后且紧跟 有尾随图片的10个RA化图片。在此情形下，当解码原始位流时，(PB去除时间等于每一AU 的标称(PB去除时间，且任何两个连续AU的解码时间之间的持续时间为一个时钟刻度。根 据肥VCWD9,不管是否丢弃RA化图片，AU0的解码时间与第一尾随图片的解码时间之间的 持续时间皆将是相同的（11个时钟刻度）。因此，对于原始位流来说，解码是连续的，但当丢 弃RA化图片时情况那么并非如此。
[0122] 鉴于该些问题，本发明提供用于改善视频缓冲（例如，改善肥VCWD9的皿D)的W 下方法和技术。将参考肥VCWD9描述W下实例。未特定提及的任何H畑技术可与当前在 肥VCWD9或其它肥VC标准（例如，后续肥VC标准）中所指定的技术相同。
[0123] 在本发明的第一实例中，由视频编码器20针对每一CRA或BLA存取单元用信号发 送(PB去除延迟偏移。对于所相关联的RA化图片不存在的每一CRA或BLA存取单元来说， 不管HRD(例如，视频解码器30)是否在CRA或BLA存取单元处初始化，视频解码器30皆将 按解码次序在CRA或BLA存取单元之后的存取单元中的每一者的(PB去除时间移位得早 出（PB去除延迟偏移。如上文所描述，缓冲周期SEI消息可包含(PB延迟偏移值，例如，指 定针对第i个CPB而待使用的偏移的cptdelay_offset[i]。当与相关联于缓冲周期SEI 消息的CRA或BLA存取单元相关联的RA化存取单元不存在时，所述偏移可用于（例如）导 出按解码次序在CRA或BLA存取单元之后的存取单元的标称(PB去除时间。语法元素可具 有W位为单位的由au_cpb_removal_delay_length_minusl+l给定的长度，且可（例如）W 90曲Z时钟为单位。
[0124] 可W与（例如）肥VCWD9中相同的方式来执行在存取单元0的替代性初始CPB去 除延迟和延迟偏移与默认初始(PB去除延迟和延迟偏移之间的选择。在另一实例中，始终 选择（例如，在视频编码器20处选择W供视频解码器30使用）存取单元0的默认初始CPB 去除延迟和延迟偏移。因此，除非存在子图片层级(PB参数且接着替代性初始(PB去除延 迟和延迟偏移是用于子图片层级H畑操作的目的，否则视频编码器20并不针对CRA或BLA 存取单元而用信号发送替代性初始(PB去除延迟和延迟偏移。可使用具有本文中所描述的 语法的缓冲周期SEI消息来用信号发送替代性初始(PB去除延迟和延迟偏移。
[0125] 在本发明的第二实例中，HRD指定视频解码器（例如，视频解码器30)在所相关联 的RA化存取单元不存在的每一CRA或BLA存取单元处初始化或重新初始化，所述不存在 (例如）如由W下条件中的任一者为真所识别：
[0126] a.nal_unit_type等于CRA_NUT或BLA_W_LP，且UseAltCpbParamsFlag等于 1 ;
[0127] b.nal_unit_type等于BLA_W_DLP或BLA_N_LP。
[0128] 语法元素nal_unit_type指定含于网络抽象层（ML)单元中的原始字节序列有效 负载伽S巧数据结构的类型。CRA_NUT为CRA图片的经译码切片区段的NAL类型。BLA_ W_LP为BLA图片的经译码切片区段的ML类型。具有等于BLA_W_LP的nal_unit_type的 BLA图片可具有存在于位流中的相关联的RA化或RADL图片。具有等于BLA_W_DLP的nal_ unit_type的BLA图片不具有存在于位流中的相关联的RA化图片，但在位流中可具有相关 联的RADL图片。因此，当BLA图片具有等于BLA_W_LP的nal_unit_type(其又可具有存在 于位流中的相关联的RA化或RADL图片）时，视频解码器30可在每一CRA或BLA存取处初 始化或重新初始化。具有等于BLA_N_LP的nal_unit_type的BLA图片并不具有存在于位流 中的相关联的前置图片。因此，当BLA图片具有等于BLA_N_LP的nal_unit_type时，视频解 码器30大体上不在每一CRA或BLA存取处初始化或重新初始化。化eAltCpbParamsFlag指 示是否使用替代性(PB参数。如果使用替代性CPG参数，那么视频解码器30可使用由CPB 延迟偏移值（例如，指定针对第i个CPB而待使用的偏移的cpb_delay_offset[i])指定的 偏移。
[0129] 在本发明的第S实例中，（例如）由视频解码器30将所相关联的RA化存取单元 不存在（例如，如由W下条件中的任一者为真所识别）的每一CRA或BLA存取单元视为位 流中的第一存取单元（即，此存取单元开始新的位流），且因此并不要求位流结尾NAL单元 存在于并非基本流式传输中的最后位流的每一位流的结尾处：
[0130] a.nal_unit_type等于CRA_NUT或BLA_W_LP，且UseAltCpbParamsFlag等于 1;
[013Ub.nal_unit_type等于BLA_W_DLP或BLA_N_LP。
[0132] 因此，在实施H畑模型时，视频解码器30根据（例如）肥VC标准在存取单元处初 始化或重新初始化H畑。在此第S实例中，如上文所论述，将所相关联的RA化存取单元不存 在的每一CRA或BLA存取单元视为位流中的第一存取单元。
[013引在本发明的第四实例中，对于所相关联的RA化存取单元不存在（例如，如由W下 条件中的任一者为真所识别）的每一CRA或BLA存取单元来说，要求存在按解码次序紧接 在存取单元中的第一NAL单元之前的位流结尾NAL单元：
[0134]a.nal_unit_type等于CRA_NUT或BLA_W_LP，且UseAltCpbParamsFlag等于 1;
[01巧]b.nal_unit_type等于BLA_W_DLP或BLA_N_LP。
[0136] 因此，在实施H畑模型时，视频解码器30可根据（例如）肥VC标准在存取单元处 初始化或重新初始化HRD。
[0137] 上文的第二、第S和第四实例的共同之处在于；在一些实例中，当视频解码器30 在CRA或BLA存取单元处初始化或重新初始化时，取决于与存取单元相关联的RASL存取单 元是否存在，可由视频解码器30传输或存储与存取单元相关联的默认初始(PB去除延迟和 延迟偏移与替代性初始(PB去除延迟和延迟偏移两者，W用于H畑操作中。如果不存在与 存取单元相关联的RA化存取单元（例如，当上文的两个条件a或b中的任一者为真时）， 那么选择替代性初始(PB去除延迟和延迟偏移；否则（存在与存取单元相关联的RASL存取 单元），选择默认初始(PB去除延迟和延迟偏移。接着，由视频解码器30使用初始(PB去 除延迟和延迟偏移的选定集合，直到重新初始化H畑或位流的结尾为止。在一个实例中，当 此CRA或BLA存取单元并非位流中的第一存取单元（即，并非存取单元0)时，仅重新初始 化CPB，而不重新初始化DPB。在另一实例中，当此CRA或BLA存取单元并非位流中的第一 存取单元（即，并非存取单元0)时，(PB和DPB两者皆不被重新初始化，而是W类似于上文 的描述的方式在替代性初始(PB去除延迟和延迟偏移或默认初始(PB去除延迟和延迟偏移 之间作出选择。例如，视频解码器30可在替代性初始(PB去除延迟和延迟偏移或默认初始 (PB去除延迟和延迟偏移之间选择，且接着可由（例如）视频解码器30使用选定替代性初 始CPB去除延迟和延 迟偏移，直到重新初始化H畑或位流的结尾为止。
[0138] W下提供对第一实例技术的论述。W下对条款和子条款的任何参考参照肥VC WD9。除非特定陈述，否则所有语法元素的操作和含义在肥VCWD9中被定义，且可大体上适 用于后续肥VC扩展。
[0139] 根据本文中所描述的系统和方法，可如下改变（例如）肥VCWD9中的肥VCWD9的 子条款C. 2. 3 (解码单元去除的时序和解码单元的解码）中的缓冲周期SEI消息语法和语 义。视频解码器30可（例如）使用肥VCWD9的子条款C. 2. 3的缓冲周期沈I消息语法和 语义的一些或所有方面来实施解码。用粗体表示经更新的语法元素。未提及的其它部分可 与肥VCWD9或后续肥VC标准中的部分相同。
[0140] 表1-缓冲周期SEI消息语法
[0141]
[0143] 缓冲周期补充增强信息（SEI)消息提供用于按解码次序在相关联的存取单元的 位置处初始化H畑的初始CPB去除延迟和初始(PB去除延迟偏移信息。
[0144] W下情形适用于缓冲周期沈I消息语法和语义。首先，从虹d_parameters0语 法结构中的语法元素，在（例如）视频解码器30中获得或在（例如）视频解码器30处 导出语法兀素initial_cpb_removal_delay_length_minusl、au_cpb_removal_delay_length-minusl和sub_pic_cpb_params_present_flagW及变量NalHrdBpPresentFlag和 Vcl化地pPresentFlag，所述语法结构适用于应用缓冲周期沈I消息的操作点中的至少一 者。其次，在（例如）视频解码器30处从在S址i_layer_hrd_parameters〇语法结构中获 得的语法元素导出变量CpbSize[i]、BitRate[i]和Cpb化t，所述语法结构适用于应用缓 冲周期SEI消息的操作点中的至少一者。第S，应用缓冲周期SEI消息的具有不同化Tid 值tIdA和tl地的任何两个操作点指示译码于虹d_parameters()语法结构中的cptcnt_ minusl[tIdA]和cpb_cnt_minusl[tl地]的值相同，所述语法结构适用于所述两个操作点。 第四，应用缓冲周期沈I消息的具有不同化LayerldSet值layerldSetA和layerldSetB的 任何两个操作点指示分别用于两个虹d_parameters()语法结构的naljird_parameters_ present_flag和vcljird_parameters_present_flag的值相同，所述两个语法结构适用于 所述两个操作点。最后，位流（或其部分）指与应用缓冲周期SEI消息的操作点中的任一 者相关联的位流子集（或其部分）。
[0145] 如果语法元素化1化地pPresentFlag或VclHr地pPresentFlag等于1，那么适用于 指定操作点的缓冲周期SEI消息可与经译码视频序列中的任何存取单元相关联，且适用于 指定操作点的缓冲周期SEI消息将与每一RAP存取单元相关联，与相关联于回复点SEI消 息的每一存取单元相关联。否则（化1化地pPresentFlag和Vcl化地pPresentFlag皆等于 0)，在此实例中，经译码视频序列中无存取单元将与适用于指定操作点的缓冲周期SEI消 息相关联。
[0146] 对于一些应用，缓冲周期SEI消息的频繁存在可为需要的。
[0147] 当存在含有缓冲周期沈I消息且具有等于0的nuh_reservetze;ro_6bits的SEI NAL单元时，SEINAL单元按解码次序将在存取单元中的第一V化NAL单元之前。
[0148] 语法元素bp_seq_parameter_set_id指定对与缓冲周期SEI消息相关联的经译码 图片有效的序列参数集的sps_seq_parameter_set_id。bp_seq_parameter_set_id的值将 等于图片参数集中的pps_seq_parameter_set_id的值，所述图片参数集由与缓冲周期SEI 消息相关联的经译码图片的切片区段标头的slice_pic_parameter_set_id引用。bp_seq_ parameter_set_id的值将在0到15 (包含0和15)的范围中。
[0149]等于 1 的语法元素rap_cpb_params_present_flag指定存在initial_alt_cpb_ removal_delay[i]和initial_alt_cpb_removal_offset[i]语法元素。当W上两者不存在 时，推断rap_cpb_params_present_flag的值等于0。当相关联的图片既非CRA图片也非 BLA图片时，rap_cpb_params_present_flag的值将等于 0。
[0150] 语法元素initial_cpb_removal_delay[i]和initial_alt_cpb_removal_ delay[i]分别指定第i个CPB的默认初始CPB去除延迟和替代性初始CPB去除延 迟。语法元素具有W位为单位的由initial_cpb_removal_delay_length_minusl+l 给定的长度，且W90曲Z时钟为单位。语法元素的值将不等于0,且将小于或等于 90000*(CpbSize[i]今BitRate[i])(W90曲Z时钟为单位的CPB大小的时间当量）。
[0151] 语法元素initial_cpb_removal_offset[i]和initial_alt_cpb_removal_ offset[i]分别指定第i个CPB的默认初始CPB去除偏移和替代性初始CPB去除偏移，从而 指定经译码数据单元到(PB的初始递送时间。语法元素具有W位为单位的由initial_cpb_ removal_delay_length_minusl+l给定的长度，且W90曲z时钟为单位。
[0152]在整个经译码视频序列上，对于每一i值，initial_cpb_removal_delay[i]与initial_cpb_removal_offset[i]的总和将为恒定的，且对于每一i值，initial_alt_cpb_ removal_delay[i]与initial_alt_cpb_removal_offset[i]的总和将为恒定的。
[015引语法元素cpb_delay_offset[i]指定针对第i个CPB而待使用的偏移，当不存在 与CRA或BLA存取单元相关联的RASL存取单元时，所述偏移将用于导出按解码次序在与缓 冲周期SEI消息相关联的CRA或BLA存取单元之后的存取单元的标称(PB去除时间。语 法元素具有W位为单位的由au_cpb_removal_delay_length_minusl+l给定的长度，且W 90曲Z时钟为单位。
[0154] 在一些实例中，建议视频编码器 20 不将initial_alt_cpb_removal_delay[i]、 initial_alt_cpb_removal_offset[i]和cpb_delay_offset[i]包含在与CRA或BLA图片 相关联的缓冲周期SEI消息中，CRA或BLA图片具有按解码次序交错的相关联的RA化和 RADL图片。
[0155] 接下来的章节将论述解码单元去除的时序和解码单元的解码。如下导出变量 InitCpbRemovalDelay[SchedSelldx]、InitCpbRemovalDelayOffset[SchedSelldx]和 cpbDelayOffset[SchedSelIdx]。首先，如果W下所呈现的条件（A)和条件炬）中的一 或多者为真，那么将InitCpbRemovalDelay[SchedSelIdx]、InitCpbRemovalDelayOffse t[SchedSelIdx]和cpbDelayOffset[SchedSelIdx]设定为分别等于缓冲周期沈I消息 语法兀素initial_alt_cpb_removal_delay[SchedSelldx]、initial_alt_cpb_removal_ offset[SchedSelIdx]和cpti_delay_offset[SchedSelldx]的值，所述缓冲周期SEI消 息语法元素是取决于如HVECWD9的子条款C. 1中所指定的化1化dModeFlag而选择。条 件（A)为：存取单元0为经译码图片具有等于BLA_W_DLP或BLA_N_LP的nal_unit_type 的BLA存取单元，且缓冲周期沈I消息的rap_cpb_params_present_flag的值等于1。条 件做为：存取单元0为经译码图片具有等于BLA_W_LP的nal_unit_type的BLA存取 单元，或为CRA存取单元，且缓冲周期沈I消息的rap_cpb_params_present_flag的值 等于1，且W下条件中的一或多者为真；（1)存取单元0的化eAltCpbParamsFlag等于1。 DefaultlnitCpbParamsFlag等于 0，（2)否贝！J，将InitCpbRemovalDelay[SchedSelIdx] 和InitCpbRemovalDelayOffset[SchedSelldx]设定为分别等于缓冲周期沈I消息 语法 兀素initial_cpb_removal_delay[SchedSelldx]和initial_cpb_removal_ offset[SchedSelldx]的值，且将cpbDelayOffset[SchedSelldx]设定为等于 0,所述缓冲 周期沈I消息语法元素是取决于如子条款C. 1中所指定的化1化dModeFlag而选择。
[0156] 如下指定存取单元n从CPB的标称去除时间。首先，如果存取单元n为n等于0 的存取单元（初始化HRD的存取单元），那么由如下等式指定存取单元从(PB的标称去除时 间：
[0157] NominalRemovalTime(0) =InitCpbRemovalDelay[SchedSelldx]/90000 (C-9) [015引否则，当存取单元n为并不初始化H畑的缓冲周期的第一存取单元时，W下情形适 用。由如下等式指定存取单元n从CPB的标称去除时间：
[0159]NominalRemovalTime(n) =NominalRemovalTime(firstPicInPrevBuffPeriod)
[0160] +ClockTick*((AuCpbRemovalDelayVal(n))-cpbDelayOffset[SchedSelldx]) (c-10)
[0161]其中NominalRemovalTime(firs巧icin化evBuffPeriod)为先前缓冲周期的第一 存取单元的标称去除时间，且AuCpbRemovalDelayVal(n)为根据图片时序沈I消息中的au_ wb_removal_delay_minusl而导出、如子条款C. 1中所指定而选择、与存取单元n相关联的 AuCpbRemovalDelayVal的值。
[0162] 在导出存取单元n的标称CPB去除时间么后，如下更新 邱bDelayOffset[SchedSelIdx]的值。如果臥下条件中的一或多者为真，那么将 邱bDelayOffset[SchedSelldx]设定为等于缓冲周期沈I消息语法元素cpb_removal_ delay_offset[SchedSelIdx]的值，所述缓冲周期沈I消息语法元素取决于如HVECWD9 的子条款C. 1中所指定的NaWrdModeFlag而选择。存取单元n为经译码图片具有等于 BLA_W_DLP或BLA_N_LP的nal_unit_type的BLA存取单元，且缓冲周期沈I消息的rap_ Wb_params_present_flag的值等于1。存取单元n为经译码图片具有等于BLA_W_LP的 nal_unit_type的BLA存取单元，或为CRA存取单元，且缓冲周期沈I消息的rap_wb_ params_present_flag的值等于1，且存取单元n的UseAltCpbParamsFlag等于1。否则，将 邱bDelayOffset[SchedSelIdx]设定为等于0。当存取单元n并非缓冲周期的第一存取单 元时，由如下等式指定存取单元n从CPB的标称去除时间；
[0163]Nominal民emovalTime(n) =Nominal民emovalTime(firstPicInCurrBuffPeriod)+
[0164] ClockTick* ((AuCpbRemovalDelayVal(n))-cpbDelayoffset[SchedSeIIdx] (C-11)
[01<5日]其中NominalRemovalTime(firs巧icInCurrBuffPeriod)为当前缓冲周期的第一 存取单元的标称去除时间。
[0166] 当sub_pic_wb_params_present_flag等于1时，臥下情形适用。如下导出变量 cpb民emovalDelayInc(m)。女日果sub_pic_cpb_params_in_pic_timing_sei_flag等于 0,那 么将变量cpbRemovalDelaylnc(m)设定为解码单元信息沈I消息中的如子条款C. 1中所 指定而选择、与解码单元m相关联的du_spt_wb_removal_delay_increment的值。否则， 如果du_common_cpb_removal_delay_flag等于 0,那么将变量cpbRemovalDelaylnc(m)设 定为图片时序SEI消息中的用于解码单元m的如子条款C. 1中所指定而选择、与存取单元 n相关联的du_wb_removal_delay_increment_minusl[i]+l的值，其中对于含有解码单 元m的存取单元中么前num_nalus_in_du_minusl[0]+1个连续NAL单元，i的值为0 ;对于 同一存取单元中的后续num_nalus_in_du_minusl[1]+1个NAL单元，i的值为1 ;对于同 一存取单元中的后续num_nalus_in_du_minusl口]+1个NAL单元，i的值为2 ;等等。否 贝Ij，将变量cpbRemovalDelaylnc(m)设定为图片时序沈I消息中的如子条款C. 1中所指定 而选择、与存取单兀n相关联的du_common_cpb_removal_delay_increment_minusl+l的 值。如下指定解码单元m从CPB的标称去除时间，其中NominalRemovalTime(n)为存取单 元n的标称去除时间。如果解码单元m为存取单元n中的最后解码单元，那么将解码单元 m的标称去除时间NominalRemovalTime(m)设定为NominalRemovalTime(n)。否则（即， 解码单元m并非存取单元n中的最后解码单元），如下导出解码单元m的标称去除时间 Nominal民emovalTime(m)。
[0167]If(sub_pic_cpb_params_in_pic_timing_sei_flag) ;Nominal民emovalTime(m)
[0168] NominalRemovalTime(m+1)-ClockSubTick*cpbRemovalDelayInc(m)(C-12)
[0169] else
[0170] NominalRemovalTime(m) =NominalRemovalTime(n)-ClockSubTick*
[0171] cpbRemovalDelayInc(m)
[0172] 如下指定存取单元n从CPB的去除时间，其中FinalArrivalTime(m)和 NominalRemovalTime(m)分别为存取单元n中的最后解码单元的最终到达时间和标称去除 时间，且FinalArrivalTime(n)和NominalRemovalTime(n)分别为存取单元n的最终到达 时间和标称去除时间。
[0173]
[0174] 当SubPicCpbFlag等于1时，如果解码单元m为存取单元n的最后解码单元，那么 将变量lastDuInAuFlag设定为等于1，否则设定为等于0,且如下指定解码单元m从CPB的 去除时间。
[0175]
[0176] 当low_delayJi;rd_flag出i曲estTid]等于 1 且NominalRemovalTime(m)〈FinalAr rivalTime(m)时，解码单元m的大小大到使得其防止在标称去除时间进行去除。在解码单 元m的(PB去除时间，对解码单元进行瞬时解码。当解码图片的最后解码单元时，将图片n 视为经解码。也可由视频编码器20实施上文所描述的改变，（例如）W使用缓冲周期SEI消息语法和语义的一些或所有方面W及肥VCWD9的子条款C. 2. 3而编码位流，使得可由视 频解码器30解码位流。
[0177] 图4为说明根据本发明中所描述的一或多个实例的实例方法的流程图。目的地装 置14可实施处理视频数据的方法。例如，视频解码器30可在视频位流中接收具有RAP图 片的存取单元（400)。在所述存取单元之后，视频解码器也可在位流中接 收具有RAP图片的 后续存取单元（402)。在所接收的位流中不存在后续存取单元的一或多个随机存取跳过前 置（RASL)图片的状况下，基于图片缓冲器去除延迟偏移将图片缓冲器去除时间移位得较 早（404)。
[0178] 在一些实例中，图片缓冲器包含经译码图片缓冲器（CPB)，且图片缓冲器去除延迟 偏移包含(PB去除延迟偏移。在其它实例中，图片缓冲器包含经解码图片缓冲器值PB)，且 图片缓冲器去除延迟偏移包含DPB去除延迟偏移。
[0179] 视频解码器30可接收存取单元的图片缓冲器去除延迟偏移。在一些实例中，视频 解码器30可在缓冲周期SEI消息中接收图片缓冲器去除延迟偏移。在一些实例中，RAP图 片包含清洁随机存取（CRA)图片和断链存取炬LA)图片中的一者。
[0180] 图5为说明根据本发明中所描述的一或多个实例的实例方法的流程图。目的地装 置14可实施处理视频数据的方法。例如，视频解码器30可（例如）在较早的初始化之后 接收存取单元，所述存取单元具有随机存取点（RA巧图片。此单元可（例如）在初始化HRD 的RAP存取单元之后。不接收可含有随机存取跳过前置（RA化）图片的相关联的存取单元 (500)。响应于接收存取单元和不接收含有RA化图片的相关联的存取单元，视频解码器30 可初始化图片缓冲器去除时间和图片缓冲器去除延迟偏移巧02)。
[0181] 图片缓冲器去除时间包含经译码图片缓冲器（CPB)去除时间，且图片缓冲器去除 延迟偏移包含(PB去除延迟偏移。图片缓冲器去除时间包含经解码图片缓冲器值PB)去除 时间，且图片缓冲器去除延迟偏移包含DPB去除延迟偏移。在一实例中，视频解码器30可 在缓冲周期SEI消息中接收图片缓冲器去除延迟偏移。
[01間在一实例中，RAP图片为清洁随机存取（CRA)图片。在另一实例中，RAP图片为可具 有相关联的RA化图片或随机存取跳过可解码（RADL)图片的断链存取炬LA)图片。RAP图 片为W下各者中的一者：不具有相关联的RASL图片但可具有RADL图片的断链存取炬LA) 图片；和不具有相关联的前置图片的BLA图片。一实例可进一步包含将所接收的存取单元 指定为位流中的第一存取单元。
[0183] 在处理视频数据的另一实例方法中，例如视频编码器20或视频解码器30的视频 译码器可针对每一CRA或BLA存取单元用信号发送一 (PB去除延迟偏移。不管HRD是否在 CRA或BLA存取单元处初始化，视频译码器皆也可针对所相关联的RA化图片不存在的每一 CRA或BLA存取单元将按解码次序在CRA或BLA存取单元之后的存取单元中的每一者的CBP 去除时间移位得早出CPB去除延迟偏移。
[0184] 在处理视频数据的另一实例方法中，视频译码器可针对每一CRA或BLA存取单元 用信号发送(PB去除延迟偏移。视频译码器也可选择存取单元0的默认初始(PB去除延迟 和延迟偏移，使得除非存在子图片层级(PB参数，否则并不针对CRA或BLA存取单元而用信 号发送替代性初始CPB去除延迟和延迟偏移。在一实例中，替代性初始CPB去除延迟和延 迟偏移可用于子图片层级H畑操作。
[0185] 在一或多个实例中，所描述的功能可W硬件、软件、固件或其任何组合实施。如果 W软件实施，那么功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算 机可读媒体而传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存 储媒体（其对应于例如数据存储媒体的有形媒体）或通信媒体，通信媒体包含（例如）根 据通信协议促进计算机程序从一处传送到另一处的任何媒体。W此方式，计算机可读媒体 大体上可对应于（1)非暂时性的有形计算机可读存储媒体，或（2)例如信号或载波的通信 媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取W检索指令、代码和 /或数据结构W用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含 计算机可读媒体。
[0186] 通过实例而非限制，该些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM 或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用W存储呈指 令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。另外，将任何连 接适当地称为计算机可读媒体。例如，如果使用同轴电缆、光纤缆线、双绞线、数字用户线 值SL)或无线技术（例如，红外线、无线电和微波）而从网站、服务器或其它远端源传输指 令，那么同轴电缆、光纤缆线、双绞线、D化或无线技术（例如，红外线、无线电和微波）包含 于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信 号或其它暂时性媒体，而是有关于非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包 含压缩光盘（CD)、激光光盘、光学光盘、数字影音光盘值VD)、软盘和藍光炬lu-ray)光盘， 其中磁盘通常W磁性方式再现数据，而光盘用激光W光学方式再现数据。W上各物的组合 也应包含于计算机可读媒体的范围内。
[0187] 可由例如一或多个数字信号处理器值SP)、通用微处理器、专用集成电路（ASIC)、 现场可编程逻辑阵列（FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行指 令。因此，如本文中所使用的术语"处理器"可指上述结构或适于实施本文中所描述的技术 的任何其它结构中的任一者。另外，在一些方面中，可将本文中所描述的功能性提供于经配 置W用于编码和解码的专用硬件和/或软件模块内，或并入于组合式编解码器中。又，所述 技术可完全实施于一或多个电路或逻辑元件中。
[0188] 本发明的技术可W广泛多种装置或设备实施，所述装置或设备包含无线手机、集 成电路（1C)或1C的集合（例如，巧片组）。在本发明中描述各种组件、模块或单元W强调 经配置W执行所揭示的技术的装置的功能性方面，但未必要求由不同硬件单元来实现。更 确切来说，如上文所描述，可将各种单元组合于编解码器硬件单元中，或结合合适的软件和 /或固件由交互操作的硬件单元（包含如上文所描述的一或多个处理器）的集合来提供所 述单元。
[0189] 已描述各种实例。该些和其它实例在W下权利要求书的范围内。
【主权项】
1. 一种处理视频数据的方法，所述方法包括： 在视频位流中接收具有第一随机存取点RAP图片的存取单元； 在所述位流中的所述存取单元之后，在所述视频位流中接收具有第二RAP图片的后续 存取单元；以及 在所述所接收的视频位流中不存在所述后续存取单元的一或多个随机存取跳过前置RASL图片的状况下，基于图片缓冲器去除延迟偏移将图片缓冲器的图片缓冲器去除时间移 位得较早。2. 根据权利要求1所述的方法，其中所述图片缓冲器包括经译码图片缓冲器CPB，且所 述图片缓冲器去除延迟偏移包括CPB去除延迟偏移。3. 根据权利要求2所述的方法，其中所述CPB去除延迟偏移是针对所述后续存取单元 的所述RAP图片而用信号发送。4. 根据权利要求1所述的方法，其中所述图片缓冲器包括经解码图片缓冲器DPB，且所 述图片缓冲器去除延迟偏移包括DPB去除延迟偏移。5. 根据权利要求1所述的方法，其进一步包括接收所述存取单元的所述图片缓冲器去 除延迟偏移。6. 根据权利要求1所述的方法，其进一步包括在缓冲周期SEI消息中接收所述图片缓 冲器去除延迟偏移。7. 根据权利要求1所述的方法，其中所述RAP图片包含清洁随机存取CRA图片和断链 存取BLA图片中的一者。8. -种处理视频数据的方法，所述方法包括： 在对假想参考解码器HRD进行较早初始化之后接收存取单元，所述存取单元具有随机 存取点RAP图片，其中不接收含有随机存取跳过前置RASL图片的相关联的存取单元；以及 响应于接收所述存取单元而不接收含有RASL图片的所述相关联的存取单元，重新初 始化所述HRD，所述重新初始化包含重新初始化图片缓冲器去除时间和图片缓冲器去除延 迟偏移。9. 根据权利要求8所述的方法，其中所述图片缓冲器去除时间包括经译码图片缓冲器 CPB去除时间，且所述图片缓冲器去除延迟偏移包括CPB去除延迟偏移。10. 根据权利要求9所述的方法，其中所述CPB去除延迟偏移是针对后续存取单元的所 述RAP图片而用信号发送。11. 根据权利要求8所述的方法，其中所述图片缓冲器去除时间包括经解码图片缓冲 器DPB去除时间，且所述图片缓冲器去除延迟偏移包括DPB去除延迟偏移。12. 根据权利要求8所述的方法，其中所述RAP图片为清洁随机存取CRA图片。13. 根据权利要求8所述的方法，其中所述RAP图片为可具有相关联的RASL图片或随 机存取跳过可解码RADL图片的断链存取BLA图片。14. 根据权利要求8所述的方法，其中所述RAP图片为以下各者中的一者：不具有相关 联的RASL图片，但可具有RADL图片的断链存取BLA图片；和不具有相关联的前置图片的 BLA图片。15. 根据权利要求8所述的方法，其进一步包括将所述所接收的存取单元作为位流中 的第一存取单元来处理。16. 根据权利要求8所述的方法，其进一步包括在缓冲周期SEI消息中接收所述图片缓 冲器去除延迟偏移。17. -种用于处理视频数据的装置，其包括： 处理器，其经配置以进行以下操作： 在视频位流中接收具有第一随机存取点RAP图片的存取单元； 在所述位流中的所述存取单元之后，在所述视频位流中接收具有第二RAP图片的后续 存取单元；以及 在所述所接收的视频位流中不存在所述后续存取单元的一或多个随机存取跳过前置RASL图片的状况下，基于图片缓冲器去除延迟偏移将图片缓冲器的图片缓冲器去除时间移 位得较早。18. 根据权利要求17所述的装置，其中所述图片缓冲器包括经译码图片缓冲器CPB，且 所述图片缓冲器去除延迟偏移包括CPB去除延迟偏移。19. 根据权利要求18所述的装置，其中所述CPB去除延迟偏移是针对所述后续存取单 元的所述RAP图片而用信号发送。20. 根据权利要求17所述的装置，其中所述图片缓冲器包括经解码图片缓冲器DPB，且 所述图片缓冲器去除延迟偏移包括DPB去除延迟偏移。21. 根据权利要求17所述的装置，其中所述处理器经进一步配置以接收所述存取单元 的所述图片缓冲器去除延迟偏移。22. 根据权利要求17所述的装置，其进一步包括在缓冲周期SEI消息中接收所述图片 缓冲器去除延迟偏移。23. 根据权利要求17所述的装置，其中所述RAP图片包含清洁随机存取CRA图片和断 链存取BLA图片中的一者。24. -种用于处理视频数据的装置，其包括： 处理器，其经配置以进行以下操作： 在对假想参考解码器HRD进行较早初始化之后接收存取单元，所述存取单元具有随机 存取点RAP图片，其中不接收含有随机存取跳过前置RASL图片的相关联的存取单元；以及 响应于接收所述存取单元而不接收含有RASL图片的所述相关联的存取单元，重新初 始化所述HRD，所述重新初始化包含重新初始化图片缓冲器去除时间和图片缓冲器去除延 迟偏移。25. 根据权利要求24所述的装置，其中所述图片缓冲器去除时间包括经译码图片缓冲 器CPB去除时间，且所述图片缓冲器去除延迟偏移包括CPB去除延迟偏移。26. 根据权利要求25所述的装置，其中所述CPB去除延迟偏移是针对后续存取单元的 所述RAP图片而用信号发送。27. 根据权利要求24所述的装置，其中所述图片缓冲器去除时间包括经解码图片缓冲 器DPB去除时间，且所述图片缓冲器去除延迟偏移包括DPB去除延迟偏移。28. 根据权利要求24所述的装置，其中所述RAP图片为清洁随机存取CRA图片。29. 根据权利要求24所述的装置，其中所述RAP图片为可具有相关联的RASL图片或随 机存取跳过可解码RADL图片的断链存取BLA图片。30. 根据权利要求24所述的装置，其中所述RAP图片为以下各者中的一者：不具有相 关联的RASL图片，但可具有RADL图片的断链存取BLA图片；和不具有相关联的前置图片的BLA图片。31. 根据权利要求24所述的装置，其中所述处理器经进一步配置以将所述所接收的存 取单元指定为位流中的第一存取单元。32. 根据权利要求24所述的装置，其进一步包括在缓冲周期SEI消息中接收所述图片 缓冲器去除延迟偏移。33. -种用于处理视频数据的装置，其包括： 用于在视频位流中接收具有第一随机存取点RAP图片的存取单元的装置； 用于在所述位流中的所述存取单元之后在所述视频位流中接收具有第二RAP图片的 后续存取单元的装置；以及 用于在所述所接收的视频位流中不存在所述后续存取单元的一或多个随机存取跳过 前置RASL图片的状况下基于图片缓冲器去除延迟偏移将图片缓冲器的图片缓冲器去除时 间移位得较早的装置。34. 根据权利要求33所述的装置，其中所述图片缓冲器包括经译码图片缓冲器CPB，且 所述图片缓冲器去除延迟偏移包括CPB去除延迟偏移。35. 根据权利要求33所述的装置，其中所述图片缓冲器包括经解码图片缓冲器DPB，且 所述图片缓冲器去除延迟偏移包括DPB去除延迟偏移。36. 根据权利要求33所述的装置，其进一步包括用于接收所述存取单元的所述图片缓 冲器去除延迟偏移的装置。37. 根据权利要求33所述的装置，其进一步包括在缓冲周期SEI消息中接收所述图片 缓冲器去除延迟偏移。38. 根据权利要求33所述的装置，其中所述RAP图片包含清洁随机存取CRA图片和断 链存取BLA图片中的一者。39. -种用于处理视频数据的装置，其包括： 用于在对假想参考解码器HRD进行较早初始化之后接收存取单元的装置，所述存取单 元具有随机存取点RAP图片，其中不接收含有随机存取跳过前置RASL图片的相关联的存取 单元；以及 用于响应于接收所述存取单元而不接收含有RASL图片的所述相关联的存取单元来重 新初始化所述HRD的装置，所述重新初始化包含重新初始化图片缓冲器去除时间和图片缓 冲器去除延迟偏移。40. 根据权利要求39所述的装置，其中所述图片缓冲器去除时间包括经译码图片缓冲 器CPB去除时间，且所述图片缓冲器去除延迟偏移包括CPB去除延迟偏移。41. 根据权利要求39所述的装置，其中所述图片缓冲器去除时间包括经解码图片缓冲 器DPB去除时间，且所述图片缓冲器去除延迟偏移包括DPB去除延迟偏移。42. 根据权利要求39所述的装置，其中所述RAP图片为清洁随机存取CRA图片。43. 根据权利要求39的装置，其中所述RAP图片为可具有相关联的RASL图片或随机存 取跳过可解码RADL图片的断链存取BLA图片。44. 根据权利要求39所述的装置，其中所述RAP图片为以下各者中的一者：不具有相 关联的RASL图片，但可具有RADL图片的断链存取BLA图片；和不具有相关联的前置图片的 BLA图片。45. 根据权利要求39所述的装置，其进一步包括用于将所述所接收的存取单元作为位 流中的第一存取单元来处理的装置。46. 根据权利要求39所述的装置，其进一步包括在缓冲周期SEI消息中接收所述图片 缓冲器去除延迟偏移。47. -种存储有指令的非暂时性计算机可读存储媒体，所述指令在由一或多个处理器 执行时使所述一或多个处理器进行以下操作： 在位流中接收具有第一随机存取点RAP图片的存取单元； 在所述位流中的所述存取单元之后，在所述视频位流中接收具有第二RAP图片的后续 存取单元；以及 在所述所接收的视频位流中不存在所述后续存取单元的一或多个随机存取跳过前置RASL图片的状况下，基于图片缓冲器去除延迟偏移将图片缓冲器的图片缓冲器去除时间移 位得较早。48. -种存储有指令的非暂时性计算机可读存储媒体，所述指令在由一或多个处理器 执行时使所述一或多个处理器进行以下操作： 接收具有随机存取点RAP图片的存取单元，其中不接收含有随机存取跳过前置RASL图 片的相关联的存取单元；以及 响应于接收所述存取单元而不接收含有RASL图片的所述相关联的存取单元，重新初 始化所述HRD，所述重新初始化包含重新初始化图片缓冲器去除时间和图片缓冲器去除延 迟偏移。49. 一种处理视频数据的方法，其包括： 针对每一CRA或BLA存取单元用信号发送CPB去除延迟偏移； 对于所相关联的RASL图片不存在的每一CRA或BLA存取单元，将按解码次序在所述CRA存取单元或所述BLA存取单元之后的存取单元中的每一者的CBP去除时间移位得早出 所述CPB去除延迟偏移；以及 不管HRD是否在所述CRA存取单元或所述BLA存取单元处初始化。
【专利摘要】在一实例中，本发明提供：在视频位流中接收具有第一随机存取点RAP图片的存取单元；和在所述位流中的所述存取单元之后，在所述视频位流中接收具有第二RAP图片的后续存取单元。在所述所接收的视频位流中不存在所述后续存取单元的一或多个随机存取跳过前置RASL图片的状况下，基于图片缓冲器去除延迟偏移将图片缓冲器去除时间移位得较早。另一实例提供在对假想参考解码器HRD进行较早初始化之后接收存取单元，所述存取单元具有RAP图片，其中不接收含有RASL图片的相关联的存取单元；和响应于接收所述存取单元而不接收含有RASL图片的所述相关联的存取单元，初始化图片缓冲器去除时间和图片缓冲器去除延迟偏移。
【IPC分类】H04N19/107, H04N19/70
【公开号】CN104904208
【申请号】CN201380069314
【发明人】王益魁, 阿达许·克里许纳·瑞玛苏布雷蒙尼安, 陈颖
【申请人】高通股份有限公司
【公开日】2015年9月9日
【申请日】2013年11月26日
【公告号】EP2941869A1, US20140192882, WO2014107250A1
最新回复(0)