基于视差向量导出的三维视频编码装置及方法
基于视差向量导出的三维视频编码装置及方法
【专利说明】基于视差向量导出的H维视频编码装置及方法
[0001] 相关秦的香叉引用
[0002] 本发明要求主张编号为PCT/CN2013/070278,于2013年1月9日提出申请且发明 名称为"视差向量（DisparityVector,DV)导出（derivation)方法"的PCT专利申请的优 先权。在此引用并合并参考该PCT专利申请的全部内容。
技术领域
[0003] 本发明是有关于视频编码（videocoding)，更具体地，本发明是有关于S 维（T虹ee-Dimensional, 3D)视频编码和多视点（multi-view)视频编码中的视点间 (inter-view)运动预测（motionprediction),视点间残差预测（residualprediction) 或视差补偿的预测（Disparit5f-CompensatedPrediction,DCP)块的视差向量预测的视差 向重导出。
【背景技术】
[0004]=维电视已成为近年来的技术趋势，其目的在于为观看者带来感官上的观看体 验。多视点视频是一种抓取并实现3D视频的技术。典型的多视点视频通过同时使用多个 相机来抓取一个场景（scene)而创建，其中，多个相机适当排布W便每个相机从一个视角 (viewpoint)抓取场景。具有与多个视点（views)有关的大量视频序列的多视点视频代表 大量数据。相应地，多视点视频将需要大量用于储存的存储空间及/或较高的传输带宽。因 此，在本领域中对多视点视频编码技术进行开发W减少所需的存储空间和传输带宽。一种 直接的方式是可简单将传统视频编码技术单独应用于每个单一视点的视频序列，并忽视不 同视点之间的关联。该种直接的技术可导致较差的编码性能。为了改善多视点视频编码的 效率，多视点视频编码总是利用视点间冗余。两个视点间的视差是由两个不同相机的位置 和角度造成的。
[0005] 为了共享相邻视点之前已编码的纹理（texture)信息，一种称为DCP的技 术已包含于基于高效视频编码（化曲Efficien巧VideoCoding,肥VC)的测试模型 (肥VC-basedTestModel，HTM)软件测试平台中，作为另一种选择W用于运动补偿预测 (Motion-CompensatedPrediction,MCP)。MCP指图像间预测，使用相同视点的之前已编 码的图像，而DCP指图像间预测，使用在同一个接入单元中其它视点的之前已编码的图像。 图1为结合MCP和DCP的3D视频编码系统的示例的示意图。用于DCP的向量（110)也称 为视差向量，类似于用于MCP的运动向量（MotionVector，MV)。图1显示与MCP有关的S 个运动向量（120,130和140)。此外，DCP块的DV也可通过由相邻块或时域（temporal) 共生块（collocatedblocks)导出的（derived)视差矢量预测器（DisparityVector Predictor,DVF〇候选（candidate)进行预测，其中该相邻块或该时域共生块也使用视点间 参考图像。
[0006] 为了共享参考视点之前已编码的运动信息，HTM-5. 0使用了一种编码工具，叫做视 点间运动预测。根据视点间运动预测，当前块的视差向量先导出，且参考视点中已编码图像 中的预测块通过在当前块的位置上加入视差向量来定位。若预测块使用MCP进行编码，贝U预测块的有关运动参数可用作当前视点中当前块的候选运动参数。导出的DV也可直接用 作DCP的候选DV。
[0007] 视点间残差预测是HTM-5. 0中使用的另一种编码工具。为了共享参考视点的之前 已编码的残差（resi化al)信息，当前块的残差信号可通过参考视点中对应块的参考信号 来预测。参考视点中的对应块可通过DV来定位。
[0008] 对于HTM-5. 0中的合并模式（MergeMode)，候选导出也包含视点间运动向量。先 构建合并候选列表（Mergecandidatelist),然后具有最小率失真（Rate-Disto;rtion,畑） 代价的合并候选的运动信息选择作为合并模式的运动信息。对于纹理分量（component)，导 出合并候选的顺序为：时域视点间运动向量合并候选，左（空域（spatial))，上（空域），右 上（空域），视差视点间运动向量合并候选，左下（空域），左上（空域），时域及另外的双向 预测（bi-predictive)候选。为时域视点间运动向量合并候选导出DV，W及直接将导出的 DV用作不同的视点间运动向量合并候选。
[0009] 如上所述，各种编码工具使用导出的DV。因此，对于视点间运动预测，视点间残差 预测，DCP或需要指示视点间图像间对应关系的任意其它工具，DV在3D视频编码中是很关 键的。在HTM版本5.0中，块的DV可导出W便该块可使用DV来明确视点间参考图像中对 应块的位置，W用于视点间运动预测和视点间残差预测。DV是根据预定义的顺序由空域和 时域相邻块中导出的。DV导出可使用的空域相邻块如图2A所示。如图2A所示，五个空域 相邻块可使用。空域相邻块的捜索顺序为Ai(左侧），Bi(上方），B。（右上方），A。（左下方） 及Bz(左上方）。
[0010] 如图2B所示，基于时域对应块，两个时域块（中屯、块CT和右下块RB/左上块化） 可用于导出DV。中屯、块（CT)位于当前块的中屯、。BR块对应于跨越（across)当前块的右 下角的右下块。若BR块不可用（unavail油le)，则使用左上（Top-Left,TL)块。来自当前 视点的最多两个时域共位（collocated)图像可被捜索W定位可用的DV。第一个共位图像 与肥VC中时域运动向量预测（TemporalMotionVectorPrediction,TMVP)所使用的共位 图像相同，该共位图像在片头（sliceheader)中传送信号。第二图像与TMVP中所使用的 共位图像不同，第二图像是从参考图像列表中导出的，其中在该参考列表中，参考图像索引 (indices)W升序排列。将由时域对应块所导出的DV加入候选列表。
[0011] 第二图像选择描述如下：
[0012] (i)捜索参考图像列表中的随机接入点（RadomAccess化int，RAP)。若找到RAP， 则使用RAP作为第二图像并结束导出处理。当RAP对于当前图像（州rrentpicture)不可 用时，则转至步骤（U)。
[0013] (ii)选择具有最低时域识别码（temporallD,TID)的图像，作为第二时域图像。若 存在多个图像具有相同的最低TID，则转至步骤（iii)。
[0014] (iii)在具有相同的最低TID的多个图像中，选择与当前图像具有最小图像顺序 计数（P0C)差异的图像。
[0015] 若在上述空域和时域相邻块中未找到任何DCP编码块，则可使用由基于视差向量 的运动补偿预测（DisparityVectorbasedMotionCompensatedPrediction,DV-MCP)块 所取得的视差信息。图3为DV-MCP的示例的示意图。确定与从视点中的当前图像320的 当前块322有关的视差向量（314)。视差向量（314)用于寻找在参考视点（例如，基准视 点）中的视点间参考图像（310)的对应参考块（312)。参考视点中的参考块（312)的MV用 作当前块（322)的视点间运动向量预测候选。视差向量（314)可从相邻块的视差向量或者 对应深度点（cbpthpoint)的深度值导出。DV-MCP块中所使用的视差向量表示当前图像与 视点间参考图像之间的运动对应关系。
[0016] 为了指示MCP块是否使用DV-MCP编码W及保存与用于视点间运动参数预测 的视差向量有关的数据，增加了两个变量W储存每个块的运动向量信息；dvMcpFlag与 dvMcpDisparity。当dvMcpFlag等于1，dvMcpDisparity设置为用于视点间运动参数预测 的视差向量。在高阶运动向量预测（AdvancedMotionVectorPrediction,AMVP)及合并 候选列表构建操作中，仅当候选为通过视点间运动参数预测所产生时，候选的dvMcpFlag 设置为1。当块使用跳过编码（Skipcoded)时，不传送运动向量差（MotionVector Difference,MVD)数据和残差数据的信号。因此，在HTM-5.0中，只有来自跳过编码的 DV-MCP块的视差向量可用于DV导出。此外，只有空域相邻DV-MCP块使用如下捜索顺序 进行捜索；A0,A1，B0,B1及B2。选择dvMcpFlag等于1的第一个块，并且该第一个块的 dvMcpDisparity将用作当前块的导出的DV。
[0017] 在HTM-5. 0中，时域DV导出对于不同的从视点使用不同的检测顺序。图4为用 于时域DV导出的时域DV候选检测顺序的较佳流程图。在步骤410中，先检测视点识别码 (即，view_Id)。若视点识别码大于1，则操作转至步骤420W检测时域块BR是否位于图 像边界之外。若时域块位于边界之内，则操作转至步骤422W检测时域块BR是否具有DV。 若时域块BR存在DV，则将该DV用作时域DV。否则，操作转至步骤426。若时域块BR位于 边界之外，则操作转至步骤424W检测时域块化是否具有DV。若时域块化存在DV，则将 该DV用作时域DV。否则，操作转至步骤426。在步骤426中，操作检测时域块CT是否具有 DV。若时域块CT存在DV，则将该DV用作时域DV。否则，时域DV不可用。之后，时域DV导 出结束。
[001引若视点对应于图4中的视点1，则在步骤430中，操作检测时域块CT是否具有DV。 若存在DV，则将该DV用作时域DV。否则，操作转至步骤432W检测时域块BR是否位于图 像边界之外。若时域块位于边界之内，则操作转至步骤434W检测时域块BR是否具有DV。 若时域块BR存在DV，则将该DV用作时域DV。否则，时域DV不可用，且操作终止。若时域 块BR位于边界之外，则操作转至步骤436W检测时域块 化是否具有DV，若时域块化存在 DV，则将该DV用作时域DV。否则，时域DV不可用，且之后操作终止。
[0019] 图5A和图5B分别为视点1和视点索引大于1的视点的时域DV导出之间的比较 的示意图。对于视点1，先捜索中屯、块（即CT)，接着捜索右下块（即BR)。若块BR位于图 像边界之外，则使用左上块（即化）。对于视点索引大于1的视点，先捜索块BR，接着捜索 块CT。若块BR位于图像边界之外，则使用块化。不同从视点的不同检测顺序的使用将增 加系统的复杂度。
[0020] 图6为根据HTM-5. 0的总体DV导出操作的示意图。如步骤610中所示，DV导出 操作先捜索空域DV候选W选择空域DV。五个空域DV候选（即（A。，Al，B。，Bl和B2))的使 用如图2A所示。若没有相邻块具有有效DV，则捜索操作移至下一步（即，步骤620)，W捜 索时域DV候选。如图2B所示，时域DV候选包含块CT和块BR。若块BR位于图像边界之 夕F，则使用块化。若时域DV候选中也没有DV可导出，则如步骤630中所示，操作使用由对 应深度块的深度数据导出的DV。
[0021]在HTM-5.0中，如图7A所示，当由时域相邻块中导出DV时，允许存取属于较低的 编码树单元（CodingTree化it,CTU)行的RB时域块。用于对应编码单元/预测单元的BR 块由阴影表示的BR方块来指示。然而，用于合并模式和AMVP模式的时域MVP导出禁止使用 如图7B所示的当前CTU行之下的CTU行中的BR块。例如，下方相邻CTU的两个BR块（由 交叉线所指示）和右下相邻CTU的一个BR块（由交叉线所指示）不会被当前CTU中的编 码单元/预测单元所使用。
[002引在HTM-5. 0中，当BR块位于图像边界之外时，用于合并模式和AMVP模式的DV导 出操作（图8A)和时域MVP导出操作（图8B)均不会使用位于图像边界之外的BR块。如 前所述，当如图8A所示RB位于图像边界之外时，DV导出操作将使用时域相邻块TL。例如， 在图8A中有五个BR块位于图像边界之外。因此，五个对应的化块将用于取代五个BR块。 块810对于PU0而言为内部BR块，对于P呪而言为化块。
[002引DV导出操作根据视点识别码而变化。同样，当BR块位于图像边界之外时，对于合 并/AMVP模式而言，化块的使用范围（usage)在DV导出操作和时域MVP导出操作之间是 不同的。在现行的HTM-5.0中的导出操作也很复杂。因而需要在尽可能维持性能的同时简 化操作。
【发明内容】
[0024] 本发明提供一种=维视频编码和多视点视频编码装置及方法。根据本发明的多个 实施例基于空域和时域相邻块确定导出的视差向量，时域相邻块根据时域捜索顺序进行捜 索，W及时域捜索顺序对于所有从视点而言是相同的。此外，在时域捜索顺序中，省略当前 CTU行之下的CTU中的任意时域相邻块。在AMVP模式，跳过模式（Skipmode)或合并模式 中，导出的DV可用于指示参考视点中的预测块，W用于当前块的视点间运动预测。导出的 DV也可用于指示参考视点中的对应块，W用于当前块的视点间残差预测。在AMVP模式，跳 过模式或合并模式中，导出的DV也可用于为当前块预测DCP块的DV。时域相邻块可对应于 时域CT块和时域BR块。在一个实施例中，时域捜索顺序先检测时域BR块，接着检测时域 CT块。空域相邻块可对应于当前块的左侧块，上方块，右上块，左下块和左上块中的至少一 个。
[0025] 在一个实施例中，若时域BR块位于较低的CTU中，则从时域捜索顺序中省略时域 BR块。在另一实施例中，时域化块未包含于时域相邻块中。在另一实施例中，用于确定导 出的DV的时域相邻块也用于确定用于AMVP模式或合并模式的MVP候选。在另一实施例 中，时域相邻块，时域捜索顺序及用于确定导出的DV的时域相邻块上的任何限制也用于导 出用于AMVP模式或合并模式的MVP候选。
[0026] 本发明的一方面提出在空域相邻块和时域相邻块之间采用空时结合 (spatia^temporal)捜索顺序。例如，先检测时域相邻块的DV，接着检测空域相邻块的DV， W及最后检测用于视点间运动预测的空域相邻块所使用的DV。
【附图说明】
[0027]图1为使用了运动补偿预测和视差补偿预测的S维编码和多视点编码的示例的 示意图。
[002引图2A-图2B分别为HTM-5. 0所使用的用于导出视差向量的空域相邻块和时域相 邻块的示意图。
[0029] 图3为DV-MCP块中视差向量的示意图。
[0030] 图4为为视点索引等于1的当前从视点和视点索引大于1的当前从视点确定导出 的视差向量的较佳导出操作的示意图。
[0031] 图5A-图5B为在视点索引等于1的视点与视点索引大于1的视点之间的时域相 邻块的不同时域捜索顺序的示意图。
[0032] 图6为根据HTM-5. 0的用于导出视差向量的空域相邻块和时域相邻块的检测顺序 的不意图。
[0033] 图7A为根据HTM-5. 0的用W导出视差向量的与围绕CTU边界的CTU的编码单元 /预测单元有关的时域BR块位置的示例的示意图。
[0034] 图7B为根据HTM-5. 0的用W在AMVP模式，合并模式或跳过模式中导出TMVP的与 围绕CTU边界的CTU的编码单元/预测单元有关的时域BR块位置的示例的示意图。
[00巧]图8A为根据HTM-5. 0的用W导出视差向量的与围绕图像边界的CTU的编码单元 /预测单元有关的时域BR块位置的示例的示意图。
[003引图8B为根据HTM-5. 0的用W在AMWP模式，合并模式或跳过模式中导出TMVP的与 围绕图像边界的CTU的编码单元/预测单元有关的时域BR块位置的示例的示意图。
[0037] 图9A为根据HTM-5. 0的用W在AMVP模式，合并模式或跳过模式中导出视差向量 和TMVP的与围绕CTU边界的CTU的编码单元/预测单元有关的统一的（unified)时域BR 块位置的示例的示意图。
[0038] 图9B为根据HTM-5. 0的用W在AMVP模式，合并模式或跳过模式中导出视差向量 和TMVP的与围绕图像边界的CTU的编码单元/预测单元有关的统一的时域BR块位置的示 例的示意图。
[0039] 图10A-图10D为根据本发明实施例的用于为视点索引等于1和大于1的从视点 导出视差向量的多种空时结合捜索顺序的示意图。
[0040] 图11为在DV导出过程中使用统一的时域捜索顺序的3D或多视点编码系统的较 佳流程图，其中，相同的时域捜索顺序用于视点索引等于1和大于1的从视点。
[0041] 图12为在DV导出过程中使用时时结合（temporal-temporal)捜索顺序的3D或 多视点编码系统的较佳流程图，其中，时域相邻块是在空域相邻块之前进行捜索的。
【具体实施方式】
[004引如上所述，在基于肥VC的3D/多视点视频编码中，3D和多视点视频编码的DV导 出和MVP导出存在各种问题。基于HTM版本5.0化TM-5.0)，本发明的多个实施例简化了3D 和多视点视频编码中的DV导出和时域MVP导出。
[004引在一个实施例中，简化了用于DV导出的时域共位图像的选择。用于DV导出的时 域共位图像可在比特流中W序列级别（sequencelevel) (SPS)，视点级别（viewlevel) (VP巧，图像级别（pic化relevel) (PP巧或片断级别（SliceLevel)(片头）进行信号传送。 根据本发明一实施例的用于DV导出的时域共位图像是通过如下操作在编码端（encoder side)和解码端（decoderside)所导出的；
[0044] (1)在参考图像列表中捜索RAP。若找到RAP，则将该RAP用作时域图像并结束导 出操作。在RAP对当前图像不可用的情形下，转至步骤（2)。
[0045] (2)将具有最低TID的图像设为时域图像。若存在多个图像具有相同的最低TID， 则转至步骤（3)。
[0046] (3)在具有相同的最低TID的多个图像中，选择具有与当前图像最小P0C差的图 像。
[0047] 用于DV导出的时域共位图像也可使用如下操作在编码端和解码端导出：
[004引 （1)在参考图像列表中捜索RAP。若找到RAP，则将该RAP作为用于DV导出的时域 图像。在RAP对当前图像不可用的情形下，转至步骤（2)。
[0049] (2)将用于在肥VC中定义的TMVP的共位图像作为用于DV导出的时域图像。
[0050] 在本发明的另一实施例中，对不同从视点的捜索顺序是统一的。统一的捜索顺序 可对应于先捜索时域BR块、再捜索时域CT块的捜索顺序。统一的捜索顺序也可对应于先 捜索时域CT块、再捜索时域BR块的捜索顺序。其它统一的捜索顺序也可用于实现本发明。
[0051] 如表1所示，将根据本发明一实施例的对所有从视点结合统一捜索顺序（先BR后 CT)的3D/多视点视频编码系统的性能与使用基于传统HTM-5. 0的捜索顺序的系统的性能 进行了比较。该性能比较是基于第一列中所列出的不同组的测试数据。视点Uvideo1) 和视点2(video2)中纹理图像的BD率差异进行了显示。BD率中的负值表示本发明具有更 好的性能。如表1所示，使用统一捜索顺序编码的视点1和视点2中的纹理图像的BD率与 传统HTM-5.0的抓率相同。第二组性能是仅纹理视频（Videoonly)的比特率测量，合成 纹理视频（Synth,only)的总体比特率，W及已编码和合成视频（Code化synth.)的总体比 特率。如表1所示，本组的平均性能也是跟传统HTM-5.0差不多相同。对于操作时间（编 码时间，解码时间及生成时间）也进行了比较。如表1所示，编码时间，解码时间和生成均 显示有所改进（0. 4~1. 1% )。相应地，在上述实施例中，具有统一捜索顺序的系统实现了 与传统HTM-5. 0差不多相同的性能。
[0052]表1
[0053] [0054]
[005引在本发明的另一实施例中，将时域化块从DV导出操作中移除，W便导出操作能够 与合并/AMVP模式中的时域MVP导出操作对齐。
[0056] 根据本发明一实施例的将化块移除的3D/多视点视频编码系统的性能与基于 允许化块的HTM-5.0的系统性能进行了比较，如表2所示。视点Uvideo1)和视点 2(video2)中纹理图像的抓率差异进行显示。如表2所示，将化块移除后的视点1和视 点2中的纹理图像的抓率与传统HTM-5. 0差不多相同。第二组性能为仅纹理视频（Video only)的比特率测量，合成纹理视频（Synth,only)的总体比特率，W及已编码和合成视频 (Code化synth.)的总体比特率。如表2所示，该组中的平均性能与传统HTM-5. 0也差不多 相同。对于处理时间（编码时间，解码时间和生成时间）也进行了比较。如表2所示，编码 时间，解码时间和生成时间显示有所改进（1. 2~1. 6% )。相应地，在上述实施例中，化块 移除后的系统实现了与传统HTM-5. 0差不多相同的性能。
[0057]表2
[0058]
[0059]
[0060] 在本发明的另一实施例中，揭示在合并/AMVP模式中用于DV导出和时域MVP导出 的统一时域块的使用范围。若BR块如图9A所示位于当前CTU行之下的CTU行中，则统一 时域块的使用范围可禁止BR的使用范围。在此情形下，若时域BR块位于当前CTU行之下 的CTU行中，则该时域BR块视为不可用。若BR块如图9B所示位于图像边界之外，则统一 时域块的使用范围也可将该BR块视为不可用。在此情形下，仅使用CT块。
[0061] 根据本发明一实施例的结合统一BR块使用范围的3D/多视点视频编码系统的性 能与基于传统HTM-5. 0的系统的性能进行了比较，如表3所示。视点1(video1)和视点 2(video2)中纹理图像的抓率差异进行了显示。如表3所示，使用统一BR块使用范围进 行编码的视点1中纹理图像的抓率与传统HTM-5. 0的抓率相同。与传统HTM-5. 0的抓 率相比，使用统一BR块使用范围进行编码的视点2中纹理图像的抓率引发了 0.3%的损 失（loss)。第二组性能是仅纹理视频（Videoonly)的比特率测量，合成纹理视频（Synth, only)的总体比特率，W及已编码和合成视频（Code化synth.)的总体比特率。如表3所示， 除在videoonly的情形下引发0. 1 %的损失之外，本组的平均性能同样与传统HTM-5. 0差 不多相同。处理时间（编码时间，解码时间和生成时间）也进行了比较。如表3所示，编码 时间，解码时间和生成时间显示有所改进（0. 6~1. 4% )。相应地，在上述实施例中，使用 统一BR块使用范围的系统实现了与传统HTM-5. 0差不多相同的性能。
[0062]表 3
[0063]
[0064]
[0065] 如表4所示，结合组合简化的系统的性能与HTM-5. 0的性能进行了比较，其中，组 合简化包括用于所有从视点的统一捜索顺序（先BR后CT)，移除化块W及统一的BR块使 用范围。视点Uvideo1)和视点2(video2)中纹理图像的BD率差异进行了显示。如表 4所示，使用统一的BR块使用范围进行编码的视点1中的纹理图像的抓率与传统HTM-5. 0 的BD率相同。与传统HTM-5. 0的BD率相比，使用组合简化进行编码的视点2中的纹理图 像的抓率引发了 0.2%的损失。第二组性能是仅纹理视频（Videoonly)的比特率测量，合 成纹理视频（Synth,only)的总体比特率，W及已编码和合成视频（Code化synth.)的总体 比特率。如表4所示，除在videoonly的情形下引发0. 1 %的损失之外，本组的平均性能与 传统HTM-5.0的性能也差不多相同。处理时间（编码时间，解码时间和生成时间）也进行 了比较。如表4所示，编码时间，解码时间和生成时间显示有所改进（0. 5~1. 7% )。相应 地，在上述实施例中，使用组合简化的系统实现了与传统HTM-5. 0差不多相同的性能。
[0066] 表 4
[0067]
[0068]
[0069] 在本发明另一实施例中，揭示一种用于DV导出的新的候选检测顺序。如图lOA所 示，DV导出的候选检测顺序可对应于时域DV，空域DV(Ai，Bi，B。，A。，B2)与空域DV-MCP(A。， Ai，B。，Bi，B2)。如图lOB所示，DV导出的候选检测顺序可对应于第一时域图像的DV，空域 DV(Ai，Bi，B。，A。，B2)，第二时域图像的DV，空域DV-MCP(A。，Ai，B。，Bi，B2)。如图 10C所示，DV 导出的候选检测顺序可对应于空域DV(Ai，Bi)，时域DV，空域DV炬。，A。，B2)，空域DV-MCP(A。， Ai，B。，Bi，B2)。如图10D所示，DV导出的候选检测顺序可对应于空域DV(Ai，Bi)，第一时域 图像的DV，空域DV炬。，A。，B2)，第二时域图像的DV，空域DV-MCP(Ai，Bi)。
[0070] 本发明的另一实施例适应性地将视差视点间运动向量合并候选（disparity inter-viewmotionvectorMergecandidate)放在了合并候选列表中的位置。在第一实 施例中，若时域相邻块具有DV，则将视差视点间运动向量合并候选放置于合并候选列表的 第一个位置（即，索引为0的位置）。否则，将候选放置在合并候选列表的第四个位置。在 第二实施例中，若第一时域图像中的时域相邻块具有DV，则将视差视点间运动向量合并候 选放置于合并候选列表的第一个位置。否则，将候选放置于合并候选列表的第四个位置。在 第S实施例中，若空域相邻块具有DV，则将视差视点间运动向量合并候选放置于合并候选 列表的第一个位置。否则，将候选放置于合并候选列表的第四个位置。在第四实施例中，若 空域相邻块或在第一时域图像中的时域相邻块具有DV，则将视差视点间运动向量合并候选 放置于合并候选列表的第一个位置。否则，将候选放置于合并候选列表的第四个位置。在 第五实施例中，若空域相邻块或时域相邻块具有DV，则将视差视点间运动向量合并候选放 置于合并候选列表的第一个位置。否则，将候选放置于合并候选列表的第四个位置。本发 明同样支持适应性地将视差视点间运动向量合并候选放置于合并候选列表中的位置W用 于纹理编码的其它方法。
[0071] 图11为根据本发明一实施例的结合统一时域捜索顺序的S维/多视点编码系统 的较佳流程图。如步骤1110中所示，系统接收与当前从视点中的当前CTU的当前块有关的 输入数据。对于编码，与当前块有关的输入数据对应于待编码的原始像素数据，深度数据或 与当前块有关的其它信息（例如，运动向量，视差向量，运动向量差或视差向量差）。对于解 码，输入数据对应于与从视点中的当前块有关的已编码数据。输入数据可从诸如计算机存 储器，缓冲器（随机存取存储器RAM或动态随机存取存储器DRAM)或其它媒介的存储器中 获取。输入数据也可从处理器处接收，例如控制器，中央处理单元，数字信号处理器或可产 生输入数据的电子电路等。如步骤1120中所示，识别当前块的空域相邻块和时域相邻块。 如步骤1130中所示，捜索空域相邻块和时域相邻块W确定导出的DV，其中，时域相邻块是 根据时域捜索顺序进行捜索的，时域捜索顺序对于所有从视点而言是相同的，W及在时域 捜索顺序中，省略位于当前CTU行之下的CTU中的任意时域相邻块。然后，如步骤1140中 所示，使用导出的DV对输入数据应用视频编码或解码，其中，导出的DV用于由第一组中所 选出的编码工具。导出的DV可用于在AMVP模式，跳过模式或合并模式中指示参考视点中 的预测块，W用于当前块的视点间运动预测。导出的DV可用于指示参考视点中的对应块， W用于当前块的视点间残差预测。导出的DV也可用于在AMVP模式，跳过模式或合并模式 中为当前块预测DCP块的DV。
[0072] 图12为根据本发明一实施例的结合统一空时结合捜索顺序的S维/多视点编码 系统的另一较佳流程图。如步骤1210中所示，系统接收与当前从视点中的当前CTU的当前 块有关的输入数据。如步骤1220中所示，识别当前块的空域相邻块和时域相邻块。如步 骤1230中所示，根据空时结合捜索顺序捜索空域相邻块和时域相邻块W确定导出的DV，其 中，时域相邻块是在空域相邻块之前进行捜索的。然后，如步骤1240中所示，使用导出的DV 对输入数据应用视频编码或解码，其中，导出的DV用于由一群组中所选出的编码工具。导 出的DV可用于在AMVP模式，跳过模式或合并模式中指示参考视点中的预测块，W用于当前 块的视点间运动预测。导出的DV可用于指示参考视点中的对应块，W用于当前块的视点间 残差预测。导出的DV也可用于在AMVP模式，跳过模式或合并模式中为当前块预测DCP块 的DV。
[0073] 如上所示的流程图目的在于显示简化的/统一的捜索顺序的多个实施例。在不脱 离本发明的精神范围内，本领域技术人员可修改每个步骤，重新安排该些步骤，切分某个步 骤或组合多个步骤来实施本发明。
[0074]W上描述能够令本领域技术人员根据文中所提供的特定应用及需求来实施本发 明。本领域技术人员容易想到上述多个实施例的多种变形，且此处所定义的基本原则可应 用于其它实施例。因此，本发明并不仅限于此处所描述及显示的特定实施例，而是符合此处 所揭示的该原则和新特征的最广范围。在W上详细描述中，记载了多种具体细节，其目的在 于提供有关本发明的全面理解。然而，本领域技术人员能够理解本发明可W实施。
[00巧]本发明的上述实施例可W各种硬件，软件代码或二者的组合来实施。例如，本发明 的实施例可W是集成在视频压缩巧片中的电路或者集成在视频压缩软件中用W执行此处 所述处理的程序代码。本发明的实施例也可W是由数字信号处理器执行W实现此处所述处 理的程序代码。本发明也可包含一些可由计算机处理器、数字信号处理器、微处理器或场效 可编程口阵列（FieldProgramm油leGateArray,FPGA)所执行的一些功能。通过执行定 义了本 发明所体现的特定方法的机器可读软件代码或固件代码，该些处理器可根据本发明 配置用于执行特定任务。软件代码或固件代码可W不同程序语言和不同格式或类型进行开 发。软件代码也可在不同的目标平台上进行编译。然而，不同的代码格式，软件代码的类型 和语言W及配置代码W执行根据本发明的任务的其它方式均未脱离本发明的精神和范围。
[0076]本发明可W在不脱离本发明精神或实质性特征的情况下W其它特定形式来体现。 已描述的多个实施例可在各方面仅视为说明，而并非限制。因此本发明的保护范围当视后 附的权利要求为准，而不是前面的描述。在不脱离本发明的权利要求书的精神和等效范围 内所作的所有改变，均视为落入本发明的权利要求保护范围。
【主权项】
1. 一种块编码方法，使用导出的视差向量，适用于三维或多视点视频编码系统，所述方 法包含： 接收与当前从视点中的当前编码树单元的当前块有关的输入数据； 识别所述当前块的一个或多个空域相邻块以及一个或多个时域相邻块； 搜索所述一个或多个空域相邻块及所述一个或多个时域相邻块以确定所述导出的视 差向量，其中，所述一个或多个时域相邻块是根据时域搜索顺序进行搜索的，所述时域搜索 顺序对于所有从视点而言是相同的，以及在所述时域搜索顺序中，省略位于当前编码树单 元行之下的编码树单元中的任意时域相邻块；以及 使用所述导出的视差向量对所述输入数据应用视频编码或解码，其中，所述导出的视 差向量用于由第一群组中选出的编码工具，所述第一群组包含： a) 在高阶运动向量预测模式，跳过模式或合并模式中，在一个参考视点中指示一个预 测块，以用于所述当前块的视点间运动预测； b) 在一个参考视点中指示一个对应块，以用于所述当前块的视点间残差预测；以及 c) 在所述高阶运动向量预测模式、所述跳过模式或所述合并模式中，预测所述当前块 的视差补偿的预测块的一个视差向量。2. 根据权利要求1所述的方法，其特征在于，所述一个或多个时域相邻块对应于时域 中心块与时域右下块，其中，所述时域中心块对应于与所述当前块有关的共位中心块，以及 所述时域右下块对应于跨越所述当前块的右下角的共位右下块，其中，所述中心块位于所 述当前块的中心点的左上方，右上方，左下方或右下方位置。3. 根据权利要求2所述的方法，其特征在于，所述时域搜索顺序先检测所述时域右下 块，然后检测所述时域中心块。4. 根据权利要求1所述的方法，其特征在于，所述一个或多个空域块对应于所述当前 块的左侧块，上方块，右上块，左下块与左上块中的至少一个。5. 根据权利要求1所述的方法，其特征在于，所述一个或多个时域相邻块包含时域右 下块，若所述时域右下块与所述当前编码树单元位于同一个编码树单元行，则所述时域右 下块包含于所述时域搜索顺序中，若所述时域右下块位于所述当前编码树单元行之下的编 码树单元中，则将所述时域右下块由所述时域搜索顺序中省略，以及其中，所述时域右下块 对应于跨越所述当前块的右下角的共位右下块。6. 根据权利要求1所述的方法，其特征在于，所述一个或多个时域相邻块不包含时域 左上块，其中，所述时域左上块对应于所述当前块的共位左上块。7. 根据权利要求1所述的方法，其特征在于，用于确定所述导出的视差向量的所述一 个或多个时域相邻块，也可用于确定运动向量预测候选，以用于所述高阶运动向量预测模 式或所述合并模式。8. 根据权利要求1所述的方法，其特征在于，用于确定所述导出的视差向量的所述一 个或多个时域相邻块，所述时域搜索顺序以及所述一个或多个时域相邻块上的任何限制， 也可用于产生运动向量预测候选，以用于所述高阶运动向量预测模式或所述合并模式。9. 根据权利要求1所述的方法，其特征在于，搜索所述一个或多个空域相邻块及所述 一个或多个时域相邻块以确定所述导出的视差向量的步骤是根据由第二群组中选择的空 时结合搜索顺序进行的，所述空时结合搜索顺序包含： a) 检测所述一个或多个空域相邻块的第一视差向量，然后检查所述一个或多个时域 相邻块的第二视差向量，以及接下来检测所述一个或多个空域相邻块所使用的第三视差向 量，以用于视点间运动预测； b) 检测所述一个或多个时域相邻块的所述第二视差向量，然后检测所述一个或多个空 域相邻块的所述第一视差向量，以及接下来检测所述一个或多个空域相邻块所使用的所述 第三视差向量，以用于所述视点间运动补偿；以及 c) 检测第一时域图像的一个或多个第一时域相邻块的第四视差向量，再检测所述一个 或多个空域相邻块的所述第一视差向量，然后检测一个第一时域图像的一个或多个第二时 域相邻块的第五视差向量，以及接下来检测所述一个或多个空域相邻块所使用的所述第三 视差向量，以用于视点间运动预测。10. -种块编码方法，使用导出的视差向量，适用于三维或多视点视频编码系统，所述 方法包含： 接收与当前从视点中的当前编码树单元的当前块有关的输入数据； 识别所述当前块的一个或多个空域相邻块与一个或多个时域相邻块； 根据空时结合搜索顺序，搜索所述一个或多个空域相邻块与所述一个或多个时域相邻 块以确定所述导出的视差向量，其中所述一个或多个时域相邻块是在所述一个或多个空域 相邻块之前进行搜索的；以及 使用所述导出的视差向量，对所述输入数据应用视频编码或解码，其中，所述导出的视 差向量用于由第一群组中选出的编码工具，所述第一群组包含： a) 在高阶运动向量预测模式，跳过模式或合并模式中，在第一参考视点中指示第一预 测块，以用于所述当前块的视点间运动预测； b) 在第二参考视点中指示第二预测块，以用于所述当前块的视点间残差预测；以及 c) 在所述高阶运动向量预测模式，所述跳过模式或所述合并模式中，预测所述当前块 的视差补偿的预测块的第一视差向量。11. 根据权利要求10所述的方法，其特征在于，所述一个或多个时域相邻块是根据时 域搜索顺序进行检测的，以及所述时域搜索顺序对于所有从视点而言都相同。12. 根据权利要求11所述的方法，其特征在于，所述一个或多个时域相邻块包含时域 右下块，若所述时域右下块位于与所述当前编码树单元相同的编码树单元行中，则所述时 域右下块包含于所述时域搜索顺序，以及若所述时域右下块位于当前编码树单元行之下的 所述编码树单元中，则将所述时域右下块从所述时域搜索顺序中省略，以及其中，所述时域 右下块对应于跨越所述当前块的右下角的共位右下块。13. 根据权利要求10所述的方法，其特征在于，所述空时结合搜索顺序先检测所述一 个或多个空域相邻块的第一视差向量，然后检测所述一个或多个空域相邻块所使用的第二 视差向量，以用于视点间运动预测。14. 根据权利要求10所述的方法，其特征在于，所述一个或多个时域相邻块不包含时 域左上块，其中，所述时域左上块对应于所述当前块的共位左上块。15. 根据权利要求10所述的方法，其特征在于，所述一个或多个时域相邻块对应于与 所述当前块有关的共位中心块和跨越所述当前块的右下角的共位右下块，以及其中，所述 一个或多个空域相邻块度英语所述当前块的左侧块，上方块，右上块，左下块及左上块中的 至少一个，以及其中，所述中心块位于所述当前块的中心点的左上方，右上方，左下方或右 下方位置。16. -种块编码装置，使用导出的视差向量，适用于三维或多视点视频编码系统，所述 装置包含一个或多个电子电路，其中，所述一个或多个电子电路配置用于： 接收与当前从视点中的当前块有关的输入数据； 识别所述当前块的一个或多个空域相邻块以及一个或多个时域相邻块； 搜索所述一个或多个空域相邻块及所述一个或多个时域相邻块以确定所述导出的视 差向量，其中，所述一个或多个时域相邻块是根据时域搜索顺序进行搜索的，所述时域搜索 顺序对于所有从视点而言是相同的，以及在所述时域搜索顺序中，省略位于当前编码树单 元行之下的编码树单元中的任意时域相邻块；以及 对由第一群组中选出的编码工具使用所述导出的视差向量，以对所述输入数据应用视 频编码或解码，所述第一群组包含： a) 在高阶运动向量预测模式，跳过模式或合并模式中，在第一参考视点中指示第一预 测块，以用于所述当前块的视点间运动预测； b) 在第二参考视点中指示第二预测块，以用于所述当前块的视点间残差预测；以及 c) 在所述高阶运动向量预测模式、所述跳过模式或所述合并模式中，预测所述当前块 的视差补偿的预测块的第一视差向量。17. -种块编码装置，使用导出的视差向量，适用于三维或多视点视频编码系统，所述 装置包含一个或多个电子电路，其中，所述一个或多个电子电路配置用于： 接收与当前从视点中的当前块有关的输入数据； 识别所述当前块的一个或多个空域相邻块与一个或多个时域相邻块； 根据空时结合搜索顺序，搜索所述一个或多个空域相邻块与所述一个或多个时域相邻 块以确定所述导出的视差向量，其中所述一个或多个时域相邻块是在所述一个或多个空域 相邻块之前进行搜索的；以及 对由第一群组中选出的编码工具使用所述导出的视差向量，以对所述输入数据应用视 频编码或解码，所述第一群组包含： a) 在高阶运动向量预测模式，跳过模式或合并模式中，在第一参考视点中指示第一预 测块，以用于所述当前块的视点间运动预测； b) 在第二参考视点中指示第二预测块，以用于所述当前块的视点间残差预测；以及 c) 在所述高阶运动向量预测模式，所述跳过模式或所述合并模式中，预测所述当前块 的视差补偿的预测块的第一视差向量。
【专利摘要】导出的视差向量是基于当前块的空域相邻块和时域相邻块来确定的。时域相邻块是根据时域搜索顺序进行搜索的，以及时域搜索顺序对于所有从视点而言都是相同的。在时域搜索顺序中，可省略位于当前编码树单元行之下的编码树单元中的任意时域相邻块。导出的视差向量也可用于在高阶运动矢量预测模式，跳过模式或合并模式中预测当前块的视差补偿的预测块的视差向量。时域相邻块可对应于时域CT块和时域BR块。在一实施例中，时域搜索顺序先检测时域BR块，接着检测时域CT块。
【IPC分类】H04N19/597
【公开号】CN104904219
【申请号】CN201380069811
【发明人】张娜, 陈渏纹, 林建良, 安基程, 张凯
【申请人】联发科技（新加坡）私人有限公司
【公开日】2015年9月9日
【申请日】2013年12月13日
【专利说明】基于视差向量导出的H维视频编码装置及方法
[0001] 相关秦的香叉引用
[0002] 本发明要求主张编号为PCT/CN2013/070278,于2013年1月9日提出申请且发明 名称为"视差向量（DisparityVector,DV)导出（derivation)方法"的PCT专利申请的优 先权。在此引用并合并参考该PCT专利申请的全部内容。
技术领域
[0003] 本发明是有关于视频编码（videocoding)，更具体地，本发明是有关于S 维（T虹ee-Dimensional, 3D)视频编码和多视点（multi-view)视频编码中的视点间 (inter-view)运动预测（motionprediction),视点间残差预测（residualprediction) 或视差补偿的预测（Disparit5f-CompensatedPrediction,DCP)块的视差向量预测的视差 向重导出。
【背景技术】
[0004]=维电视已成为近年来的技术趋势，其目的在于为观看者带来感官上的观看体 验。多视点视频是一种抓取并实现3D视频的技术。典型的多视点视频通过同时使用多个 相机来抓取一个场景（scene)而创建，其中，多个相机适当排布W便每个相机从一个视角 (viewpoint)抓取场景。具有与多个视点（views)有关的大量视频序列的多视点视频代表 大量数据。相应地，多视点视频将需要大量用于储存的存储空间及/或较高的传输带宽。因 此，在本领域中对多视点视频编码技术进行开发W减少所需的存储空间和传输带宽。一种 直接的方式是可简单将传统视频编码技术单独应用于每个单一视点的视频序列，并忽视不 同视点之间的关联。该种直接的技术可导致较差的编码性能。为了改善多视点视频编码的 效率，多视点视频编码总是利用视点间冗余。两个视点间的视差是由两个不同相机的位置 和角度造成的。
[0005] 为了共享相邻视点之前已编码的纹理（texture)信息，一种称为DCP的技 术已包含于基于高效视频编码（化曲Efficien巧VideoCoding,肥VC)的测试模型 (肥VC-basedTestModel，HTM)软件测试平台中，作为另一种选择W用于运动补偿预测 (Motion-CompensatedPrediction,MCP)。MCP指图像间预测，使用相同视点的之前已编 码的图像，而DCP指图像间预测，使用在同一个接入单元中其它视点的之前已编码的图像。 图1为结合MCP和DCP的3D视频编码系统的示例的示意图。用于DCP的向量（110)也称 为视差向量，类似于用于MCP的运动向量（MotionVector，MV)。图1显示与MCP有关的S 个运动向量（120,130和140)。此外，DCP块的DV也可通过由相邻块或时域（temporal) 共生块（collocatedblocks)导出的（derived)视差矢量预测器（DisparityVector Predictor,DVF〇候选（candidate)进行预测，其中该相邻块或该时域共生块也使用视点间 参考图像。
[0006] 为了共享参考视点之前已编码的运动信息，HTM-5. 0使用了一种编码工具，叫做视 点间运动预测。根据视点间运动预测，当前块的视差向量先导出，且参考视点中已编码图像 中的预测块通过在当前块的位置上加入视差向量来定位。若预测块使用MCP进行编码，贝U预测块的有关运动参数可用作当前视点中当前块的候选运动参数。导出的DV也可直接用 作DCP的候选DV。
[0007] 视点间残差预测是HTM-5. 0中使用的另一种编码工具。为了共享参考视点的之前 已编码的残差（resi化al)信息，当前块的残差信号可通过参考视点中对应块的参考信号 来预测。参考视点中的对应块可通过DV来定位。
[0008] 对于HTM-5. 0中的合并模式（MergeMode)，候选导出也包含视点间运动向量。先 构建合并候选列表（Mergecandidatelist),然后具有最小率失真（Rate-Disto;rtion,畑） 代价的合并候选的运动信息选择作为合并模式的运动信息。对于纹理分量（component)，导 出合并候选的顺序为：时域视点间运动向量合并候选，左（空域（spatial))，上（空域），右 上（空域），视差视点间运动向量合并候选，左下（空域），左上（空域），时域及另外的双向 预测（bi-predictive)候选。为时域视点间运动向量合并候选导出DV，W及直接将导出的 DV用作不同的视点间运动向量合并候选。
[0009] 如上所述，各种编码工具使用导出的DV。因此，对于视点间运动预测，视点间残差 预测，DCP或需要指示视点间图像间对应关系的任意其它工具，DV在3D视频编码中是很关 键的。在HTM版本5.0中，块的DV可导出W便该块可使用DV来明确视点间参考图像中对 应块的位置，W用于视点间运动预测和视点间残差预测。DV是根据预定义的顺序由空域和 时域相邻块中导出的。DV导出可使用的空域相邻块如图2A所示。如图2A所示，五个空域 相邻块可使用。空域相邻块的捜索顺序为Ai(左侧），Bi(上方），B。（右上方），A。（左下方） 及Bz(左上方）。
[0010] 如图2B所示，基于时域对应块，两个时域块（中屯、块CT和右下块RB/左上块化） 可用于导出DV。中屯、块（CT)位于当前块的中屯、。BR块对应于跨越（across)当前块的右 下角的右下块。若BR块不可用（unavail油le)，则使用左上（Top-Left,TL)块。来自当前 视点的最多两个时域共位（collocated)图像可被捜索W定位可用的DV。第一个共位图像 与肥VC中时域运动向量预测（TemporalMotionVectorPrediction,TMVP)所使用的共位 图像相同，该共位图像在片头（sliceheader)中传送信号。第二图像与TMVP中所使用的 共位图像不同，第二图像是从参考图像列表中导出的，其中在该参考列表中，参考图像索引 (indices)W升序排列。将由时域对应块所导出的DV加入候选列表。
[0011] 第二图像选择描述如下：
[0012] (i)捜索参考图像列表中的随机接入点（RadomAccess化int，RAP)。若找到RAP， 则使用RAP作为第二图像并结束导出处理。当RAP对于当前图像（州rrentpicture)不可 用时，则转至步骤（U)。
[0013] (ii)选择具有最低时域识别码（temporallD,TID)的图像，作为第二时域图像。若 存在多个图像具有相同的最低TID，则转至步骤（iii)。
[0014] (iii)在具有相同的最低TID的多个图像中，选择与当前图像具有最小图像顺序 计数（P0C)差异的图像。
[0015] 若在上述空域和时域相邻块中未找到任何DCP编码块，则可使用由基于视差向量 的运动补偿预测（DisparityVectorbasedMotionCompensatedPrediction,DV-MCP)块 所取得的视差信息。图3为DV-MCP的示例的示意图。确定与从视点中的当前图像320的 当前块322有关的视差向量（314)。视差向量（314)用于寻找在参考视点（例如，基准视 点）中的视点间参考图像（310)的对应参考块（312)。参考视点中的参考块（312)的MV用 作当前块（322)的视点间运动向量预测候选。视差向量（314)可从相邻块的视差向量或者 对应深度点（cbpthpoint)的深度值导出。DV-MCP块中所使用的视差向量表示当前图像与 视点间参考图像之间的运动对应关系。
[0016] 为了指示MCP块是否使用DV-MCP编码W及保存与用于视点间运动参数预测 的视差向量有关的数据，增加了两个变量W储存每个块的运动向量信息；dvMcpFlag与 dvMcpDisparity。当dvMcpFlag等于1，dvMcpDisparity设置为用于视点间运动参数预测 的视差向量。在高阶运动向量预测（AdvancedMotionVectorPrediction,AMVP)及合并 候选列表构建操作中，仅当候选为通过视点间运动参数预测所产生时，候选的dvMcpFlag 设置为1。当块使用跳过编码（Skipcoded)时，不传送运动向量差（MotionVector Difference,MVD)数据和残差数据的信号。因此，在HTM-5.0中，只有来自跳过编码的 DV-MCP块的视差向量可用于DV导出。此外，只有空域相邻DV-MCP块使用如下捜索顺序 进行捜索；A0,A1，B0,B1及B2。选择dvMcpFlag等于1的第一个块，并且该第一个块的 dvMcpDisparity将用作当前块的导出的DV。
[0017] 在HTM-5. 0中，时域DV导出对于不同的从视点使用不同的检测顺序。图4为用 于时域DV导出的时域DV候选检测顺序的较佳流程图。在步骤410中，先检测视点识别码 (即，view_Id)。若视点识别码大于1，则操作转至步骤420W检测时域块BR是否位于图 像边界之外。若时域块位于边界之内，则操作转至步骤422W检测时域块BR是否具有DV。 若时域块BR存在DV，则将该DV用作时域DV。否则，操作转至步骤426。若时域块BR位于 边界之外，则操作转至步骤424W检测时域块化是否具有DV。若时域块化存在DV，则将 该DV用作时域DV。否则，操作转至步骤426。在步骤426中，操作检测时域块CT是否具有 DV。若时域块CT存在DV，则将该DV用作时域DV。否则，时域DV不可用。之后，时域DV导 出结束。
[001引若视点对应于图4中的视点1，则在步骤430中，操作检测时域块CT是否具有DV。 若存在DV，则将该DV用作时域DV。否则，操作转至步骤432W检测时域块BR是否位于图 像边界之外。若时域块位于边界之内，则操作转至步骤434W检测时域块BR是否具有DV。 若时域块BR存在DV，则将该DV用作时域DV。否则，时域DV不可用，且操作终止。若时域 块BR位于边界之外，则操作转至步骤436W检测时域块 化是否具有DV，若时域块化存在 DV，则将该DV用作时域DV。否则，时域DV不可用，且之后操作终止。
[0019] 图5A和图5B分别为视点1和视点索引大于1的视点的时域DV导出之间的比较 的示意图。对于视点1，先捜索中屯、块（即CT)，接着捜索右下块（即BR)。若块BR位于图 像边界之外，则使用左上块（即化）。对于视点索引大于1的视点，先捜索块BR，接着捜索 块CT。若块BR位于图像边界之外，则使用块化。不同从视点的不同检测顺序的使用将增 加系统的复杂度。
[0020] 图6为根据HTM-5. 0的总体DV导出操作的示意图。如步骤610中所示，DV导出 操作先捜索空域DV候选W选择空域DV。五个空域DV候选（即（A。，Al，B。，Bl和B2))的使 用如图2A所示。若没有相邻块具有有效DV，则捜索操作移至下一步（即，步骤620)，W捜 索时域DV候选。如图2B所示，时域DV候选包含块CT和块BR。若块BR位于图像边界之 夕F，则使用块化。若时域DV候选中也没有DV可导出，则如步骤630中所示，操作使用由对 应深度块的深度数据导出的DV。
[0021]在HTM-5.0中，如图7A所示，当由时域相邻块中导出DV时，允许存取属于较低的 编码树单元（CodingTree化it,CTU)行的RB时域块。用于对应编码单元/预测单元的BR 块由阴影表示的BR方块来指示。然而，用于合并模式和AMVP模式的时域MVP导出禁止使用 如图7B所示的当前CTU行之下的CTU行中的BR块。例如，下方相邻CTU的两个BR块（由 交叉线所指示）和右下相邻CTU的一个BR块（由交叉线所指示）不会被当前CTU中的编 码单元/预测单元所使用。
[002引在HTM-5. 0中，当BR块位于图像边界之外时，用于合并模式和AMVP模式的DV导 出操作（图8A)和时域MVP导出操作（图8B)均不会使用位于图像边界之外的BR块。如 前所述，当如图8A所示RB位于图像边界之外时，DV导出操作将使用时域相邻块TL。例如， 在图8A中有五个BR块位于图像边界之外。因此，五个对应的化块将用于取代五个BR块。 块810对于PU0而言为内部BR块，对于P呪而言为化块。
[002引DV导出操作根据视点识别码而变化。同样，当BR块位于图像边界之外时，对于合 并/AMVP模式而言，化块的使用范围（usage)在DV导出操作和时域MVP导出操作之间是 不同的。在现行的HTM-5.0中的导出操作也很复杂。因而需要在尽可能维持性能的同时简 化操作。
【发明内容】
[0024] 本发明提供一种=维视频编码和多视点视频编码装置及方法。根据本发明的多个 实施例基于空域和时域相邻块确定导出的视差向量，时域相邻块根据时域捜索顺序进行捜 索，W及时域捜索顺序对于所有从视点而言是相同的。此外，在时域捜索顺序中，省略当前 CTU行之下的CTU中的任意时域相邻块。在AMVP模式，跳过模式（Skipmode)或合并模式 中，导出的DV可用于指示参考视点中的预测块，W用于当前块的视点间运动预测。导出的 DV也可用于指示参考视点中的对应块，W用于当前块的视点间残差预测。在AMVP模式，跳 过模式或合并模式中，导出的DV也可用于为当前块预测DCP块的DV。时域相邻块可对应于 时域CT块和时域BR块。在一个实施例中，时域捜索顺序先检测时域BR块，接着检测时域 CT块。空域相邻块可对应于当前块的左侧块，上方块，右上块，左下块和左上块中的至少一 个。
[0025] 在一个实施例中，若时域BR块位于较低的CTU中，则从时域捜索顺序中省略时域 BR块。在另一实施例中，时域化块未包含于时域相邻块中。在另一实施例中，用于确定导 出的DV的时域相邻块也用于确定用于AMVP模式或合并模式的MVP候选。在另一实施例 中，时域相邻块，时域捜索顺序及用于确定导出的DV的时域相邻块上的任何限制也用于导 出用于AMVP模式或合并模式的MVP候选。
[0026] 本发明的一方面提出在空域相邻块和时域相邻块之间采用空时结合 (spatia^temporal)捜索顺序。例如，先检测时域相邻块的DV，接着检测空域相邻块的DV， W及最后检测用于视点间运动预测的空域相邻块所使用的DV。
【附图说明】
[0027]图1为使用了运动补偿预测和视差补偿预测的S维编码和多视点编码的示例的 示意图。
[002引图2A-图2B分别为HTM-5. 0所使用的用于导出视差向量的空域相邻块和时域相 邻块的示意图。
[0029] 图3为DV-MCP块中视差向量的示意图。
[0030] 图4为为视点索引等于1的当前从视点和视点索引大于1的当前从视点确定导出 的视差向量的较佳导出操作的示意图。
[0031] 图5A-图5B为在视点索引等于1的视点与视点索引大于1的视点之间的时域相 邻块的不同时域捜索顺序的示意图。
[0032] 图6为根据HTM-5. 0的用于导出视差向量的空域相邻块和时域相邻块的检测顺序 的不意图。
[0033] 图7A为根据HTM-5. 0的用W导出视差向量的与围绕CTU边界的CTU的编码单元 /预测单元有关的时域BR块位置的示例的示意图。
[0034] 图7B为根据HTM-5. 0的用W在AMVP模式，合并模式或跳过模式中导出TMVP的与 围绕CTU边界的CTU的编码单元/预测单元有关的时域BR块位置的示例的示意图。
[00巧]图8A为根据HTM-5. 0的用W导出视差向量的与围绕图像边界的CTU的编码单元 /预测单元有关的时域BR块位置的示例的示意图。
[003引图8B为根据HTM-5. 0的用W在AMWP模式，合并模式或跳过模式中导出TMVP的与 围绕图像边界的CTU的编码单元/预测单元有关的时域BR块位置的示例的示意图。
[0037] 图9A为根据HTM-5. 0的用W在AMVP模式，合并模式或跳过模式中导出视差向量 和TMVP的与围绕CTU边界的CTU的编码单元/预测单元有关的统一的（unified)时域BR 块位置的示例的示意图。
[0038] 图9B为根据HTM-5. 0的用W在AMVP模式，合并模式或跳过模式中导出视差向量 和TMVP的与围绕图像边界的CTU的编码单元/预测单元有关的统一的时域BR块位置的示 例的示意图。
[0039] 图10A-图10D为根据本发明实施例的用于为视点索引等于1和大于1的从视点 导出视差向量的多种空时结合捜索顺序的示意图。
[0040] 图11为在DV导出过程中使用统一的时域捜索顺序的3D或多视点编码系统的较 佳流程图，其中，相同的时域捜索顺序用于视点索引等于1和大于1的从视点。
[0041] 图12为在DV导出过程中使用时时结合（temporal-temporal)捜索顺序的3D或 多视点编码系统的较佳流程图，其中，时域相邻块是在空域相邻块之前进行捜索的。
【具体实施方式】
[004引如上所述，在基于肥VC的3D/多视点视频编码中，3D和多视点视频编码的DV导 出和MVP导出存在各种问题。基于HTM版本5.0化TM-5.0)，本发明的多个实施例简化了3D 和多视点视频编码中的DV导出和时域MVP导出。
[004引在一个实施例中，简化了用于DV导出的时域共位图像的选择。用于DV导出的时 域共位图像可在比特流中W序列级别（sequencelevel) (SPS)，视点级别（viewlevel) (VP巧，图像级别（pic化relevel) (PP巧或片断级别（SliceLevel)(片头）进行信号传送。 根据本发明一实施例的用于DV导出的时域共位图像是通过如下操作在编码端（encoder side)和解码端（decoderside)所导出的；
[0044] (1)在参考图像列表中捜索RAP。若找到RAP，则将该RAP用作时域图像并结束导 出操作。在RAP对当前图像不可用的情形下，转至步骤（2)。
[0045] (2)将具有最低TID的图像设为时域图像。若存在多个图像具有相同的最低TID， 则转至步骤（3)。
[0046] (3)在具有相同的最低TID的多个图像中，选择具有与当前图像最小P0C差的图 像。
[0047] 用于DV导出的时域共位图像也可使用如下操作在编码端和解码端导出：
[004引 （1)在参考图像列表中捜索RAP。若找到RAP，则将该RAP作为用于DV导出的时域 图像。在RAP对当前图像不可用的情形下，转至步骤（2)。
[0049] (2)将用于在肥VC中定义的TMVP的共位图像作为用于DV导出的时域图像。
[0050] 在本发明的另一实施例中，对不同从视点的捜索顺序是统一的。统一的捜索顺序 可对应于先捜索时域BR块、再捜索时域CT块的捜索顺序。统一的捜索顺序也可对应于先 捜索时域CT块、再捜索时域BR块的捜索顺序。其它统一的捜索顺序也可用于实现本发明。
[0051] 如表1所示，将根据本发明一实施例的对所有从视点结合统一捜索顺序（先BR后 CT)的3D/多视点视频编码系统的性能与使用基于传统HTM-5. 0的捜索顺序的系统的性能 进行了比较。该性能比较是基于第一列中所列出的不同组的测试数据。视点Uvideo1) 和视点2(video2)中纹理图像的BD率差异进行了显示。BD率中的负值表示本发明具有更 好的性能。如表1所示，使用统一捜索顺序编码的视点1和视点2中的纹理图像的BD率与 传统HTM-5.0的抓率相同。第二组性能是仅纹理视频（Videoonly)的比特率测量，合成 纹理视频（Synth,only)的总体比特率，W及已编码和合成视频（Code化synth.)的总体比 特率。如表1所示，本组的平均性能也是跟传统HTM-5.0差不多相同。对于操作时间（编 码时间，解码时间及生成时间）也进行了比较。如表1所示，编码时间，解码时间和生成均 显示有所改进（0. 4~1. 1% )。相应地，在上述实施例中，具有统一捜索顺序的系统实现了 与传统HTM-5. 0差不多相同的性能。
[0052]表1
[0053] [0054]
[005引在本发明的另一实施例中，将时域化块从DV导出操作中移除，W便导出操作能够 与合并/AMVP模式中的时域MVP导出操作对齐。
[0056] 根据本发明一实施例的将化块移除的3D/多视点视频编码系统的性能与基于 允许化块的HTM-5.0的系统性能进行了比较，如表2所示。视点Uvideo1)和视点 2(video2)中纹理图像的抓率差异进行显示。如表2所示，将化块移除后的视点1和视 点2中的纹理图像的抓率与传统HTM-5. 0差不多相同。第二组性能为仅纹理视频（Video only)的比特率测量，合成纹理视频（Synth,only)的总体比特率，W及已编码和合成视频 (Code化synth.)的总体比特率。如表2所示，该组中的平均性能与传统HTM-5. 0也差不多 相同。对于处理时间（编码时间，解码时间和生成时间）也进行了比较。如表2所示，编码 时间，解码时间和生成时间显示有所改进（1. 2~1. 6% )。相应地，在上述实施例中，化块 移除后的系统实现了与传统HTM-5. 0差不多相同的性能。
[0057]表2
[0058]
[0059]
[0060] 在本发明的另一实施例中，揭示在合并/AMVP模式中用于DV导出和时域MVP导出 的统一时域块的使用范围。若BR块如图9A所示位于当前CTU行之下的CTU行中，则统一 时域块的使用范围可禁止BR的使用范围。在此情形下，若时域BR块位于当前CTU行之下 的CTU行中，则该时域BR块视为不可用。若BR块如图9B所示位于图像边界之外，则统一 时域块的使用范围也可将该BR块视为不可用。在此情形下，仅使用CT块。
[0061] 根据本发明一实施例的结合统一BR块使用范围的3D/多视点视频编码系统的性 能与基于传统HTM-5. 0的系统的性能进行了比较，如表3所示。视点1(video1)和视点 2(video2)中纹理图像的抓率差异进行了显示。如表3所示，使用统一BR块使用范围进 行编码的视点1中纹理图像的抓率与传统HTM-5. 0的抓率相同。与传统HTM-5. 0的抓 率相比，使用统一BR块使用范围进行编码的视点2中纹理图像的抓率引发了 0.3%的损 失（loss)。第二组性能是仅纹理视频（Videoonly)的比特率测量，合成纹理视频（Synth, only)的总体比特率，W及已编码和合成视频（Code化synth.)的总体比特率。如表3所示， 除在videoonly的情形下引发0. 1 %的损失之外，本组的平均性能同样与传统HTM-5. 0差 不多相同。处理时间（编码时间，解码时间和生成时间）也进行了比较。如表3所示，编码 时间，解码时间和生成时间显示有所改进（0. 6~1. 4% )。相应地，在上述实施例中，使用 统一BR块使用范围的系统实现了与传统HTM-5. 0差不多相同的性能。
[0062]表 3
[0063]
[0064]
[0065] 如表4所示，结合组合简化的系统的性能与HTM-5. 0的性能进行了比较，其中，组 合简化包括用于所有从视点的统一捜索顺序（先BR后CT)，移除化块W及统一的BR块使 用范围。视点Uvideo1)和视点2(video2)中纹理图像的BD率差异进行了显示。如表 4所示，使用统一的BR块使用范围进行编码的视点1中的纹理图像的抓率与传统HTM-5. 0 的BD率相同。与传统HTM-5. 0的BD率相比，使用组合简化进行编码的视点2中的纹理图 像的抓率引发了 0.2%的损失。第二组性能是仅纹理视频（Videoonly)的比特率测量，合 成纹理视频（Synth,only)的总体比特率，W及已编码和合成视频（Code化synth.)的总体 比特率。如表4所示，除在videoonly的情形下引发0. 1 %的损失之外，本组的平均性能与 传统HTM-5.0的性能也差不多相同。处理时间（编码时间，解码时间和生成时间）也进行 了比较。如表4所示，编码时间，解码时间和生成时间显示有所改进（0. 5~1. 7% )。相应 地，在上述实施例中，使用组合简化的系统实现了与传统HTM-5. 0差不多相同的性能。
[0066] 表 4
[0067]
[0068]
[0069] 在本发明另一实施例中，揭示一种用于DV导出的新的候选检测顺序。如图lOA所 示，DV导出的候选检测顺序可对应于时域DV，空域DV(Ai，Bi，B。，A。，B2)与空域DV-MCP(A。， Ai，B。，Bi，B2)。如图lOB所示，DV导出的候选检测顺序可对应于第一时域图像的DV，空域 DV(Ai，Bi，B。，A。，B2)，第二时域图像的DV，空域DV-MCP(A。，Ai，B。，Bi，B2)。如图 10C所示，DV 导出的候选检测顺序可对应于空域DV(Ai，Bi)，时域DV，空域DV炬。，A。，B2)，空域DV-MCP(A。， Ai，B。，Bi，B2)。如图10D所示，DV导出的候选检测顺序可对应于空域DV(Ai，Bi)，第一时域 图像的DV，空域DV炬。，A。，B2)，第二时域图像的DV，空域DV-MCP(Ai，Bi)。
[0070] 本发明的另一实施例适应性地将视差视点间运动向量合并候选（disparity inter-viewmotionvectorMergecandidate)放在了合并候选列表中的位置。在第一实 施例中，若时域相邻块具有DV，则将视差视点间运动向量合并候选放置于合并候选列表的 第一个位置（即，索引为0的位置）。否则，将候选放置在合并候选列表的第四个位置。在 第二实施例中，若第一时域图像中的时域相邻块具有DV，则将视差视点间运动向量合并候 选放置于合并候选列表的第一个位置。否则，将候选放置于合并候选列表的第四个位置。在 第S实施例中，若空域相邻块具有DV，则将视差视点间运动向量合并候选放置于合并候选 列表的第一个位置。否则，将候选放置于合并候选列表的第四个位置。在第四实施例中，若 空域相邻块或在第一时域图像中的时域相邻块具有DV，则将视差视点间运动向量合并候选 放置于合并候选列表的第一个位置。否则，将候选放置于合并候选列表的第四个位置。在 第五实施例中，若空域相邻块或时域相邻块具有DV，则将视差视点间运动向量合并候选放 置于合并候选列表的第一个位置。否则，将候选放置于合并候选列表的第四个位置。本发 明同样支持适应性地将视差视点间运动向量合并候选放置于合并候选列表中的位置W用 于纹理编码的其它方法。
[0071] 图11为根据本发明一实施例的结合统一时域捜索顺序的S维/多视点编码系统 的较佳流程图。如步骤1110中所示，系统接收与当前从视点中的当前CTU的当前块有关的 输入数据。对于编码，与当前块有关的输入数据对应于待编码的原始像素数据，深度数据或 与当前块有关的其它信息（例如，运动向量，视差向量，运动向量差或视差向量差）。对于解 码，输入数据对应于与从视点中的当前块有关的已编码数据。输入数据可从诸如计算机存 储器，缓冲器（随机存取存储器RAM或动态随机存取存储器DRAM)或其它媒介的存储器中 获取。输入数据也可从处理器处接收，例如控制器，中央处理单元，数字信号处理器或可产 生输入数据的电子电路等。如步骤1120中所示，识别当前块的空域相邻块和时域相邻块。 如步骤1130中所示，捜索空域相邻块和时域相邻块W确定导出的DV，其中，时域相邻块是 根据时域捜索顺序进行捜索的，时域捜索顺序对于所有从视点而言是相同的，W及在时域 捜索顺序中，省略位于当前CTU行之下的CTU中的任意时域相邻块。然后，如步骤1140中 所示，使用导出的DV对输入数据应用视频编码或解码，其中，导出的DV用于由第一组中所 选出的编码工具。导出的DV可用于在AMVP模式，跳过模式或合并模式中指示参考视点中 的预测块，W用于当前块的视点间运动预测。导出的DV可用于指示参考视点中的对应块， W用于当前块的视点间残差预测。导出的DV也可用于在AMVP模式，跳过模式或合并模式 中为当前块预测DCP块的DV。
[0072] 图12为根据本发明一实施例的结合统一空时结合捜索顺序的S维/多视点编码 系统的另一较佳流程图。如步骤1210中所示，系统接收与当前从视点中的当前CTU的当前 块有关的输入数据。如步骤1220中所示，识别当前块的空域相邻块和时域相邻块。如步 骤1230中所示，根据空时结合捜索顺序捜索空域相邻块和时域相邻块W确定导出的DV，其 中，时域相邻块是在空域相邻块之前进行捜索的。然后，如步骤1240中所示，使用导出的DV 对输入数据应用视频编码或解码，其中，导出的DV用于由一群组中所选出的编码工具。导 出的DV可用于在AMVP模式，跳过模式或合并模式中指示参考视点中的预测块，W用于当前 块的视点间运动预测。导出的DV可用于指示参考视点中的对应块，W用于当前块的视点间 残差预测。导出的DV也可用于在AMVP模式，跳过模式或合并模式中为当前块预测DCP块 的DV。
[0073] 如上所示的流程图目的在于显示简化的/统一的捜索顺序的多个实施例。在不脱 离本发明的精神范围内，本领域技术人员可修改每个步骤，重新安排该些步骤，切分某个步 骤或组合多个步骤来实施本发明。
[0074]W上描述能够令本领域技术人员根据文中所提供的特定应用及需求来实施本发 明。本领域技术人员容易想到上述多个实施例的多种变形，且此处所定义的基本原则可应 用于其它实施例。因此，本发明并不仅限于此处所描述及显示的特定实施例，而是符合此处 所揭示的该原则和新特征的最广范围。在W上详细描述中，记载了多种具体细节，其目的在 于提供有关本发明的全面理解。然而，本领域技术人员能够理解本发明可W实施。
[00巧]本发明的上述实施例可W各种硬件，软件代码或二者的组合来实施。例如，本发明 的实施例可W是集成在视频压缩巧片中的电路或者集成在视频压缩软件中用W执行此处 所述处理的程序代码。本发明的实施例也可W是由数字信号处理器执行W实现此处所述处 理的程序代码。本发明也可包含一些可由计算机处理器、数字信号处理器、微处理器或场效 可编程口阵列（FieldProgramm油leGateArray,FPGA)所执行的一些功能。通过执行定 义了本 发明所体现的特定方法的机器可读软件代码或固件代码，该些处理器可根据本发明 配置用于执行特定任务。软件代码或固件代码可W不同程序语言和不同格式或类型进行开 发。软件代码也可在不同的目标平台上进行编译。然而，不同的代码格式，软件代码的类型 和语言W及配置代码W执行根据本发明的任务的其它方式均未脱离本发明的精神和范围。
[0076]本发明可W在不脱离本发明精神或实质性特征的情况下W其它特定形式来体现。 已描述的多个实施例可在各方面仅视为说明，而并非限制。因此本发明的保护范围当视后 附的权利要求为准，而不是前面的描述。在不脱离本发明的权利要求书的精神和等效范围 内所作的所有改变，均视为落入本发明的权利要求保护范围。
【主权项】
1. 一种块编码方法，使用导出的视差向量，适用于三维或多视点视频编码系统，所述方 法包含： 接收与当前从视点中的当前编码树单元的当前块有关的输入数据； 识别所述当前块的一个或多个空域相邻块以及一个或多个时域相邻块； 搜索所述一个或多个空域相邻块及所述一个或多个时域相邻块以确定所述导出的视 差向量，其中，所述一个或多个时域相邻块是根据时域搜索顺序进行搜索的，所述时域搜索 顺序对于所有从视点而言是相同的，以及在所述时域搜索顺序中，省略位于当前编码树单 元行之下的编码树单元中的任意时域相邻块；以及 使用所述导出的视差向量对所述输入数据应用视频编码或解码，其中，所述导出的视 差向量用于由第一群组中选出的编码工具，所述第一群组包含： a) 在高阶运动向量预测模式，跳过模式或合并模式中，在一个参考视点中指示一个预 测块，以用于所述当前块的视点间运动预测； b) 在一个参考视点中指示一个对应块，以用于所述当前块的视点间残差预测；以及 c) 在所述高阶运动向量预测模式、所述跳过模式或所述合并模式中，预测所述当前块 的视差补偿的预测块的一个视差向量。2. 根据权利要求1所述的方法，其特征在于，所述一个或多个时域相邻块对应于时域 中心块与时域右下块，其中，所述时域中心块对应于与所述当前块有关的共位中心块，以及 所述时域右下块对应于跨越所述当前块的右下角的共位右下块，其中，所述中心块位于所 述当前块的中心点的左上方，右上方，左下方或右下方位置。3. 根据权利要求2所述的方法，其特征在于，所述时域搜索顺序先检测所述时域右下 块，然后检测所述时域中心块。4. 根据权利要求1所述的方法，其特征在于，所述一个或多个空域块对应于所述当前 块的左侧块，上方块，右上块，左下块与左上块中的至少一个。5. 根据权利要求1所述的方法，其特征在于，所述一个或多个时域相邻块包含时域右 下块，若所述时域右下块与所述当前编码树单元位于同一个编码树单元行，则所述时域右 下块包含于所述时域搜索顺序中，若所述时域右下块位于所述当前编码树单元行之下的编 码树单元中，则将所述时域右下块由所述时域搜索顺序中省略，以及其中，所述时域右下块 对应于跨越所述当前块的右下角的共位右下块。6. 根据权利要求1所述的方法，其特征在于，所述一个或多个时域相邻块不包含时域 左上块，其中，所述时域左上块对应于所述当前块的共位左上块。7. 根据权利要求1所述的方法，其特征在于，用于确定所述导出的视差向量的所述一 个或多个时域相邻块，也可用于确定运动向量预测候选，以用于所述高阶运动向量预测模 式或所述合并模式。8. 根据权利要求1所述的方法，其特征在于，用于确定所述导出的视差向量的所述一 个或多个时域相邻块，所述时域搜索顺序以及所述一个或多个时域相邻块上的任何限制， 也可用于产生运动向量预测候选，以用于所述高阶运动向量预测模式或所述合并模式。9. 根据权利要求1所述的方法，其特征在于，搜索所述一个或多个空域相邻块及所述 一个或多个时域相邻块以确定所述导出的视差向量的步骤是根据由第二群组中选择的空 时结合搜索顺序进行的，所述空时结合搜索顺序包含： a) 检测所述一个或多个空域相邻块的第一视差向量，然后检查所述一个或多个时域 相邻块的第二视差向量，以及接下来检测所述一个或多个空域相邻块所使用的第三视差向 量，以用于视点间运动预测； b) 检测所述一个或多个时域相邻块的所述第二视差向量，然后检测所述一个或多个空 域相邻块的所述第一视差向量，以及接下来检测所述一个或多个空域相邻块所使用的所述 第三视差向量，以用于所述视点间运动补偿；以及 c) 检测第一时域图像的一个或多个第一时域相邻块的第四视差向量，再检测所述一个 或多个空域相邻块的所述第一视差向量，然后检测一个第一时域图像的一个或多个第二时 域相邻块的第五视差向量，以及接下来检测所述一个或多个空域相邻块所使用的所述第三 视差向量，以用于视点间运动预测。10. -种块编码方法，使用导出的视差向量，适用于三维或多视点视频编码系统，所述 方法包含： 接收与当前从视点中的当前编码树单元的当前块有关的输入数据； 识别所述当前块的一个或多个空域相邻块与一个或多个时域相邻块； 根据空时结合搜索顺序，搜索所述一个或多个空域相邻块与所述一个或多个时域相邻 块以确定所述导出的视差向量，其中所述一个或多个时域相邻块是在所述一个或多个空域 相邻块之前进行搜索的；以及 使用所述导出的视差向量，对所述输入数据应用视频编码或解码，其中，所述导出的视 差向量用于由第一群组中选出的编码工具，所述第一群组包含： a) 在高阶运动向量预测模式，跳过模式或合并模式中，在第一参考视点中指示第一预 测块，以用于所述当前块的视点间运动预测； b) 在第二参考视点中指示第二预测块，以用于所述当前块的视点间残差预测；以及 c) 在所述高阶运动向量预测模式，所述跳过模式或所述合并模式中，预测所述当前块 的视差补偿的预测块的第一视差向量。11. 根据权利要求10所述的方法，其特征在于，所述一个或多个时域相邻块是根据时 域搜索顺序进行检测的，以及所述时域搜索顺序对于所有从视点而言都相同。12. 根据权利要求11所述的方法，其特征在于，所述一个或多个时域相邻块包含时域 右下块，若所述时域右下块位于与所述当前编码树单元相同的编码树单元行中，则所述时 域右下块包含于所述时域搜索顺序，以及若所述时域右下块位于当前编码树单元行之下的 所述编码树单元中，则将所述时域右下块从所述时域搜索顺序中省略，以及其中，所述时域 右下块对应于跨越所述当前块的右下角的共位右下块。13. 根据权利要求10所述的方法，其特征在于，所述空时结合搜索顺序先检测所述一 个或多个空域相邻块的第一视差向量，然后检测所述一个或多个空域相邻块所使用的第二 视差向量，以用于视点间运动预测。14. 根据权利要求10所述的方法，其特征在于，所述一个或多个时域相邻块不包含时 域左上块，其中，所述时域左上块对应于所述当前块的共位左上块。15. 根据权利要求10所述的方法，其特征在于，所述一个或多个时域相邻块对应于与 所述当前块有关的共位中心块和跨越所述当前块的右下角的共位右下块，以及其中，所述 一个或多个空域相邻块度英语所述当前块的左侧块，上方块，右上块，左下块及左上块中的 至少一个，以及其中，所述中心块位于所述当前块的中心点的左上方，右上方，左下方或右 下方位置。16. -种块编码装置，使用导出的视差向量，适用于三维或多视点视频编码系统，所述 装置包含一个或多个电子电路，其中，所述一个或多个电子电路配置用于： 接收与当前从视点中的当前块有关的输入数据； 识别所述当前块的一个或多个空域相邻块以及一个或多个时域相邻块； 搜索所述一个或多个空域相邻块及所述一个或多个时域相邻块以确定所述导出的视 差向量，其中，所述一个或多个时域相邻块是根据时域搜索顺序进行搜索的，所述时域搜索 顺序对于所有从视点而言是相同的，以及在所述时域搜索顺序中，省略位于当前编码树单 元行之下的编码树单元中的任意时域相邻块；以及 对由第一群组中选出的编码工具使用所述导出的视差向量，以对所述输入数据应用视 频编码或解码，所述第一群组包含： a) 在高阶运动向量预测模式，跳过模式或合并模式中，在第一参考视点中指示第一预 测块，以用于所述当前块的视点间运动预测； b) 在第二参考视点中指示第二预测块，以用于所述当前块的视点间残差预测；以及 c) 在所述高阶运动向量预测模式、所述跳过模式或所述合并模式中，预测所述当前块 的视差补偿的预测块的第一视差向量。17. -种块编码装置，使用导出的视差向量，适用于三维或多视点视频编码系统，所述 装置包含一个或多个电子电路，其中，所述一个或多个电子电路配置用于： 接收与当前从视点中的当前块有关的输入数据； 识别所述当前块的一个或多个空域相邻块与一个或多个时域相邻块； 根据空时结合搜索顺序，搜索所述一个或多个空域相邻块与所述一个或多个时域相邻 块以确定所述导出的视差向量，其中所述一个或多个时域相邻块是在所述一个或多个空域 相邻块之前进行搜索的；以及 对由第一群组中选出的编码工具使用所述导出的视差向量，以对所述输入数据应用视 频编码或解码，所述第一群组包含： a) 在高阶运动向量预测模式，跳过模式或合并模式中，在第一参考视点中指示第一预 测块，以用于所述当前块的视点间运动预测； b) 在第二参考视点中指示第二预测块，以用于所述当前块的视点间残差预测；以及 c) 在所述高阶运动向量预测模式，所述跳过模式或所述合并模式中，预测所述当前块 的视差补偿的预测块的第一视差向量。
【专利摘要】导出的视差向量是基于当前块的空域相邻块和时域相邻块来确定的。时域相邻块是根据时域搜索顺序进行搜索的，以及时域搜索顺序对于所有从视点而言都是相同的。在时域搜索顺序中，可省略位于当前编码树单元行之下的编码树单元中的任意时域相邻块。导出的视差向量也可用于在高阶运动矢量预测模式，跳过模式或合并模式中预测当前块的视差补偿的预测块的视差向量。时域相邻块可对应于时域CT块和时域BR块。在一实施例中，时域搜索顺序先检测时域BR块，接着检测时域CT块。
【IPC分类】H04N19/597
【公开号】CN104904219
【申请号】CN201380069811
【发明人】张娜, 陈渏纹, 林建良, 安基程, 张凯
【申请人】联发科技（新加坡）私人有限公司
【公开日】2015年9月9日
【申请日】2013年12月13日
最新回复(0)