视频信号处理方法和设备的制造方法
视频信号处理方法和设备的制造方法
【技术领域】
[0001] 本发明设及用于编译视频信号的方法和装置。
【背景技术】
[0002] 压缩指的是用于经由通信线路发送数字信息，或者W适用于存储介质的形式存储 数字信息的信号处理技术。压缩的对象包括音频、视频和文字信息。特别地，压缩图像的技 术称作视频压缩。多视图视频具有空间冗余、时间冗余和视图间冗余的特征。
【发明内容】
[0003] 技术问题
[0004] 本发明的一个目的是改善视频信号编译效率。
[000引技术方案
[0006] 一种根据本发明用于处理视频信号的方法，包括：基于来自当前块的空间邻近块 的内部预测模式，产生当前块的候选模式列表；基于来自当前块的邻近视图的内部预测模 式，修改候选模式列表；基于修改的候选模式列表，推导当前块的内部预测模式；和使用所 推导的内部预测模式预测当前块。
[0007] 根据本发明的空间邻近块包括当前块的左邻近块和上邻近块中的至少一个。
[000引根据本发明的候选模式列表的修改包括；获得当前块的视差矢量；基于视差矢量 获得邻近视图的参考块；检查参考块是否是W内部模式编译的块；和当参考块是W内部块 编译的块的时候，使用参考块的内部预测模式修改候选模式列表。
[0009] 根据本发明的当前块的视差矢量是使用当前块的左、上、左下、右上和左上邻近块 中的至少一个的视差矢量获得的。
[0010] 根据本发明的当前块的视差矢量是从对应于当前块的深度数据中推导的。
[0011] 根据本发明的候选模式列表限定可用于当前块的多个内部预测模式和分别对应 于多个内部预测模式的列表索引信息，其中列表索引信息指定顺序地排列在候选模式列表 中的多个内部预测模式的位置。
[0012] 根据本发明的候选模式列表的修改包括；改变对应于与来自邻近视图的内部预测 模式相同的内部预测模式的列表索引信息，W便当候选模式列表包括与来自邻近视图的内 部预测模式相同的内部预测模式的时候，重新排列候选模式列表。
[0013] 根据本发明的候选模式列表的修改包括；通过来自邻近视图的内部预测模式替换 在候选模式列表中的多个内部预测模式的一个。
[0014] 根据本发明的候选模式列表的修改包括；将来自邻近视图的内部预测模式增加给 基于空间邻近块的内部预测模式产生的候选模式列表。
[00巧]有益效果
[0016]本发明可W通过从当前块的空间邻近块的内部预测模式产生候选模式列表，并且 使用候选模式列表推导当前块的内部预测模式，获得更加精确的内部预测模式。此外，通过 推导精确的内部预测模式，编码当前块的残留所需的比特数减少。
[0017] 此外，本发明可W考虑到视图的相似性，通过在邻近视图上不仅使用空间邻近块， 而且使用来自参考块的内部预测模式，改善当前块的内部预测的编译效率。
【附图说明】
[001引图1是根据本发明适用于其的一个实施例的视频解码器的方框图。
[0019] 图2是根据本发明适用于其的一个实施例的视频解码器适用于其的广播接收机 的方框图。
[0020] 图3图示根据本发明适用于其的一个实施例的内部预测模式类型。
[0021]图4是图示根据本发明适用于其的一个实施例用于产生当前块的候选模式列表 的方法的流程图。
[0022] 图5是图示根据本发明适用于其的一个实施例用于产生包括邻近视图的参考块 的内部预测模式的候选模式列表的方法的流程图。
[0023] 图6图示根据本发明适用于其的一个实施例用于使用邻近视图的参考块的内部 预测模式产生修改的候选模式列表的方法。
[0024] 图7是图示根据本发明适用于其的一个实施例用于使用候选模式列表推导当前 块的内部预测模式的方法的流程图。
【具体实施方式】
[0025] 为了实现本发明的目的，提供了一种用于处理视频信号的方法，包括：基于来自当 前块的空间邻近块的内部预测模式，产生当前块的候选模式列表；基于来自当前块的邻近 视图的内部预测模式，修改候选模式列表；基于修改的候选模式列表，推导当前块的内部预 测模式；和使用推导出的内部预测模式预测当前块。
[0026] 空间邻近块可W包括当前块的左邻近块和上邻近块的至少一个。
[0027] 候选模式列表的修改可W包括；获得当前块的视差矢量；基于视差矢量获得邻近 视图的参考块；检查是否参考块是W内部模式编译的块；W及当参考块是W内部块编译的 块的时候，使用参考块的内部预测模式修改候选模式列表。
[002引当前块的视差矢量可W是使用当前块的左、上、左下、右上和左上邻近块的至少一 个的视差矢量获得的。
[0029] 当前块的视差矢量可W是从对应于当前块的深度数据中推导出的。
[0030] 候选模式列表可W限定可用于当前块的多个内部预测模式和分别对应于多个内 部预测模式的列表索引信息，其中列表索引信息指定顺序地排列在候选模式列表中的多个 内部预测模式的位置。
[0031] 候选模式列表的修改可W包括；改变对应于与来自邻近视图的内部预测模式相同 的内部预测模式的列表索引信息，W便当候选模式列表包括与来自邻近视图的内部预测模 式相同的内部预测模式的时候，重新排列候选模式列表。
[0032] 修改候选模式列表可W包括在候选模式列表中通过来自邻近视图的内部预测模 式替换多个内部预测模式的一个。
[0033] 修改候选模式列表可W包括将来自邻近视图的内部预测模式增加给基于空间邻 近块的内部预测模式产生的候选模式列表。
[0034] 用于发明的模式
[0035] 现在将参考附图给出根据在此处公开的示范的实施例的详细描述。在描述本发明 之前，应当注意，在本发明中公开的大多数术语对应于在该领域中公知的常规术语，但是， 某些术语已经由申请人根据需要选择，并且将在本发明的W下的描述中在下文中公开。因 此，优选地，由申请人定义的术语在本发明中基于其含义理解。在本说明书中描述的实施例 和在附图中示出的特点因此在所有方面中解释为说明性的和非限制性的。本发明的范围将 由所附的权利要求及其合法的等效，不由W上的描述确定，并且落在所附的权利要求的含 义和等效范围内的所有变化意欲包含在其中。
[0036] 图1是根据本发明适用于其的一个实施例的视频解码器的方框图。
[0037] 参考图1，视频解码器可W包括NAL分析解析单元100、滴解码单元110、反量化/ 反变换单元120、内部预测单元130、环内滤波单元环内滤波单元140、解码的图片缓存单元 解码图片缓存单元150和中间预测单元160。NAL分析解析单元100可W接收包括多视图 纹理数据的比特流。此外，当深度数据是为纹理数据编码所必需的时候，NAL分析解析单元 100可W进一步接收包括编码的深度数据的比特流。输入纹理数据和深度数据可W作为一 个比特流发送，或者作为单独的比特流发送。NAL分析解析单元100可W在NAL基础上执行 分析解析W便解码输入的比特流。当输入的比特流是多视图相关的数据（例如，3维视频） 的时候，输入的比特流可W进一步包括相机参数。相机参数可W包括本征固有相机参数和 非本征固有相机参数，并且本征固有相机参数可W包括焦距、长宽比、像主点等等，W及非 本征固有相机参数可W包括在全局坐标系统中的相机位置信息等等。
[003引滴解码单元110可W经由滴解码提取量化的变换系数、用于纹理图片预测的编译 信息等等。反量化/反变换单元120可W通过将量化参数适用于量化的变换系数获得变换 系数，并且通过反向地变换该变换系数解码纹理数据或者深度数据。在该里，解码的纹理数 据或者深度数据根据预测可W包括残留数据。此外，用于深度块的量化参数可W考虑到纹 理数据的复杂度设置。例如，当对应于深度块的纹理块具有高的复杂度的时候，可W设置低 的量化参数，并且当纹理块具有低的复杂度的时候，可W设置高的量化参数。纹理块的复杂 度可W基于在重建的纹理图片中在邻近像素之间的差值确定，如由公式1表示的。
[0039][公式U
[0040 ]
[0041] 在公式1中，E表示纹理数据的复杂度，C表示重建的纹理数据，并且N表示在将对 其计算复杂度的纹理数据区中像素的数目。参考公式1，纹理数据的复杂度可W使用在对应 于点（X，y)的纹理数据和对应于点（X-1，y)的纹理数据之间的差值，W及在对应于点（X， y)的纹理数据和对应于点（x+l，y)的纹理数据之间的差值计算。此外，可W对于纹理图片 和纹理块的每个计算复杂度，并且量化参数可W使用该复杂度推导出，如由公式2表示的。 [00创[公式引
[0043]
[0044]参考公式2,用于深度块的量化参数可W基于纹理图片的复杂度对纹理块的复杂 度的比确定。在公式2中，a和P可W是由解码器推导出的可变整数，或者可W是在解码 器中预先确定的整数。
[0045] 内部预测单元130可W使用在当前的纹理图片中重建的纹理数据执行内部预测。 特别地，当前块的采样可W使用当前块的内部预测模式和当前块的邻近采样预测。在该里， 当前块的内部预测模式可W使用候选模式列表推导出，该将参考图4至7详细描述。此外， 内部预测可与对于纹理图片相同的方式对于深度图片执行。例如，用于纹理图片的内 部预测的编译信息可W同样地用于深度图片。用于内部预测的编译信息可W包括内部预测 模式和内部预测的分割信息。
[0046]环内滤波单元140可W将环内滤波适用于每个编码块W便减小块失真。滤波器可W平滑块的边缘W便改善解码的图片的质量。滤波的纹理图片或者深度图片可W输出或者 存储在解码图片缓存单元150中W用作参考图片。当纹理数据和深度数据被使用相同的环 内滤波器编译的时候，由于纹理数据和深度数据具有不同的特征，编译效率可能降低。因 此，可W限定用于深度数据的单独的环内滤波器。将给出作为基于区域的自适应环路滤波 和=角形环路滤波能够有效地编码深度数据的环内滤波方法的描述。
[0047]在基于区域的自适应环路滤波的情况下，其可W基于深度块的变化确定是否适用 基于区域的自适应环路滤波。深度块的变化可W限定为在深度块中的最大像素值和最小像 素值之间的差值。通过将深度块的变化与预先确定的阔值比较能够确定是否适用滤波。例 如，当深度块的变化大于或等于预先确定的阔值的时候，其指的是在深度块中的最大像素 值和最小像素值之间的差值大，可W确定适用基于区域的自适应环路滤波。相反地，当深度 块的变化小于预先确定的阔值的时候，可W确定不适用基于区域的自适应环路滤波。当根 据比较结果适用基于区域的自适应环路滤波的时候，可W通过将预先确定的权重适用于邻 近像素值推导出滤波的深度块的像素值。在该里，预先确定的权重可W基于在当前滤波的 像素和邻近像素之间的位置差异，和/或在当前滤波的像素值和邻近像素值之间的差值确 定。邻近像素值可W指的是在包括在深度块中的像素值之中除当前滤波的像素值W外的像 素值的一个。
[0048]根据本发明的S角形环路滤波类似于基于区域的自适应环路滤波，但是，不同于 基于区域的自适应环路滤波，因为前者另外考虑纹理数据。特别地，=角形环路滤波可W提 取邻近像素的深度数据，其满足W下的=个条件。
[0049] 条件 1. |p-q|《。1
[0050]条件2.ID(P)-D (q)I《。2
[0051]条件3. lAKp)-V(q)I《。3
[0化2] 条件1将在深度块中的当前像素P和邻近像素q之间的位置差异与预先确定的参 数比较，条件2将在当前像素P的深度数据和邻近像素q的深度数据之间的差值与预先确 定的参数比较，W及条件3将在当前像素P的纹理数据和邻近像素q的纹理数据之间的差 值与预先确定的参数比较。
[0化3]=角形环路滤波可W提取满足=个条件的邻近像素，并且滤波具有邻近像素的深 度数据的中间值或者平均值的当前像素P。
[0化4] 解码图片缓存单元150可W存储或者开放先前编译的纹理图片或者深度图片W 便执行中间预测。为了在解码图片缓存单元150存储先前编译的纹理图片或者深度图片或 者开放该图片，可W使用frame_num和每个图片的图片顺序计数（POC)。此外，由于先前编 译的图片包括对应于不同于在深度编译时当前的深度图片的视点的视点的深度图片，所W 可W使用用于识别深度图片视点的视点识别信息，W便将对应于不同的视点的深度图片用 作参考图片。解码图片缓存器单元150可W使用自适应的存储管理控制操作方法和滑动窗 口方法管理参考图片W便更加灵活地实现中间预测。该允许参考图片存储器和非参考图片 存储器合并成一个存储器W便实现小的存储器的有效管理。在深度编译时，深度图片可W 被标记W与在解码图片缓存单元中的纹理图片区别，并且在标记过程期间可W使用用于识 别每个深度图片的信息。
[0055] 中间预测单元160可W使用存储在解码的图片缓存器单元150中的参考图片和运 动信息执行当前块的运动补偿。在本说明书中，从广义来说，运动信息可W包括运动矢量和 参考索引信息。此外，中间预测单元160可W执行用于运动补偿的时间中间预测。时间中 间预测可W指的是使用参考图片和当前纹理块的运动信息的中间预测，其对应于与当前纹 理块相同的视点，同时对应于不同于当前纹理块的时间周期。在通过多个相机获得的多视 图图像的情况下，除了时间中间预测之外，还可W执行视图间中间预测。视图间中间预测可 W指的是使用对应于不同于当前纹理块的视点的参考图片和当前纹理块的运动信息的中 间预测。为了方便起见，用于视图间预测的运动信息称为视图间运动矢量和视图间参考索 引信息。因此，在本说明书中运动信息可W灵活地解释为包括视图间运动矢量和视图间参 考索引信息的信息。
[0056]图2是根据本发明适用于其的一个实施例的视频解码器适用于其的广播接收机 的方框图。
[0057] 根据当前的实施例的广播接收机接收陆地广播信号W再现图像。广播接收机可W 使用接收的深度相关的信息产生=维内容。广播接收机包括调谐器200、解调器/信道解码 器202、传输多路分解器204、解组器206、音频解码器208、视频解码器210、PSI/PSIP处理 器214、3D擅染器216、格式器220和显示器222。
[0化引调谐器200选择在经由天线（未示出）输入的多个广播信号之中由用户调谐的信 道的广播信号，并且输出选择的广播信号。解调器/信道解码器202解调来自调谐器200的 广播信号，并且对解调的信号执行纠错解码W输出传输流TS。传输多路分解器204多路分 解传输流，W便将传输流划分为视频阳S和音频PES，并且提取PSI/PSIP信息。解组器206 对视频PES和音频PES解组W恢复视频ES和音频ES。音频解码器208通过解码音频ES 输出音频比特流。该音频比特流由数字模拟转换器（未示出）转换为模拟音频信号，由放 大器（未示出）放大，并且然后经由扬声器（未示出）输出。视频解码器210解码视频ES W恢复原始图像。音频解码器208和视频解码器210的解码过程可W基于由PSI/PSIP处 理器214确认的分组ID(PID)执行。在解码过程期间，视频解码器210可W提取深度信息。 此外，视频解码器210可W提取对产生虚拟相机视图的图像说来必需的附加信息，例如，相 机信息，或者用于估计由前面的目标隐藏的闭塞的信息（例如，几何信息，诸如目标轮廓、 目标透明度信息和颜色信息），并且将附加信息提供给3D擅染器216。但是，深度信息和/ 或附加信息在本发明的其它的实施例中可W通过传输多路分解器204相互分离。
[0059]PSI/PSIP处理器214从传输多路分解器204接收PSI/PSIP信息，解析PSI/PSIP 信息，并且在存储器（未示出）或者寄存器中存储解析的PSI/PSIP信息，W便允许基于存 储的信息广播。3D擅染器216可W在虚拟的相机位置上，使用恢复的图像、深度信息、附加 信息和相机参数产生颜色信息、深度信息等等。
[0060] 此外，3D擅染器216在虚拟的相机位置上，通过使用恢复的图像和关于恢复的图 像的深度信息，执行3D扭曲产生虚拟的图像。虽然3D擅染器116在当前的实施例中被配 置为与视频解码器210分离的块，但该仅仅是一个示例，并且3D擅染器216可W包括在视 频解码器210中。
[0061] 格式器220 格式化在解码过程中恢复的图像，也就是说，由相机捕捉的真实的图 像，和由3D擅染器216根据广播接收机的显示模式产生的虚拟的图像，使得3D图像经由显 示器222显示。在该里，在虚拟的相机上由3D擅染器216的深度信息和虚拟的图像的合成， 和由格式器220的图像格式化可W响应于用户命令有选择地执行。也就是说，用户可W操 纵远程控制器（未示出），使得合成的图像不显示，并且指定图像合成时间。
[0062] 如上所述，用于产生3D图像的深度信息由3D擅染器216使用。但是，该深度信息 在其它的实施例中可W由视频解码器210使用。将给出视频解码器210使用深度信息的各 种实施例的描述。
[0063] 图3图示根据本发明适用于其的一个实施例的内部预测模式类型。
[0064] 参考图3,内部预测模式包括平面模式Intra_Planar、DC模式Intra_DC和角度模 式Intra_Angular。平面模式是权重适用于布置在当前块的上端、左、左下端和右上端的邻 近采样，W便预测当前块的采样的模式。特别地，根据在当前块的上端和左下端上布置的邻 近采样的双线性内插获得的值，和根据在当前块的左和右上端上布置的邻近采样的双线性 内插获得的值被分别计算，并且计算值的平均值用作当前块的预测采样。DC模式是当前块 的采样使用位于当前块的上端、左和左上端上的邻近采样的平均值预测的模式。角度模式 是当前块的采样在预测方向的角度上使用邻近采样预测的模式。角度模式可W被限定为包 括垂直模式和水平模式的33个内部预测模式，如图3所示。
[00化]图4是图示根据本发明适用于其的一个实施例用于产生当前块的候选模式列表 方法的流程图。
[0066] 候选模式列表限定可W由当前块使用的多个内部预测模式，和对应于每个内部预 测模式的列表索引信息。在该里，多个内部预测模式可由当前块使用的可能性递减的 顺序连续地排列。列表索引信息可W指定顺序地排列在候选模式列表中的内部预测模式的 位置。将给出参考图4用于产生候选模式列表方法的描述。
[0067]可W获得邻近块的内部预测模式（S400)。在该里，邻近块可W包括当前块的左邻 近块和上邻近块。当邻近块不存在，或者邻近块没有W内部模式编译的时候，相应的邻近块 不能分配内部预测模式。在该种情况下，邻近块的内部预测模式可W通过将预先确定的内 部预测模式（例如，DC模式）分配给邻近块获得。
[0068] 其可W检查是否在步骤S400中获得的左邻近块的内部预测模式IntraModeleft和上邻近块的内部预测模式IntraModetop彼此相同（S410)。该是为了防止在候选模式列 表中相同的内部预测模式的冗余内含的目的。
[0069] 当在步骤S410中两个邻近块的内部预测模式彼此相同的时候可W检查是否左邻 近块的内部预测模式是平面模式或者DC模式（S420)。
[0070] 当左邻近块的内部预测模式对应于平面模式和DC模式的一个的时候，候选模式 列表可W包括平面模式、DC模式和垂直模式（S430)。特别地，在候选模式列表中，平面模式 可W分配给对应于列表索引信息0的位置，DC模式可W分配给对应于列表索引信息1的位 置，并且垂直模式可W分配给对应于列表索引信息2的位置。
[0071] 当左邻近块的内部预测模式不对应于平面模式和DC模式的一个的时候，候选模 式列表可W包括左邻近块的内部预测模式和从其中推导出的内部预测模式（S440)。
[0072] 特别地，左邻近块的内部预测模式可W分配给对应于列表索引信息0的位置。然 后，对应于通过从左邻近块的内部预测模式的值中减去1获得的值的内部预测模式可W分 配给对应于列表索引信息1的位置，并且对应于通过对左邻近块的内部预测模式的值增加 1获得的值的内部预测模式可W分配给对应于列表索引信息2的位置。例如，当左邻近块的 内部预测模式的值是10的时候，具有值9和11的内部预测模式可W包括在候选模式列表 中。
[0073] 当在步骤S410中两个邻近块的内部预测模式彼此不相同的时候，候选模式列表 可W包括左邻近块的内部预测模式和上邻近块的内部预测模式（S450)。
[0074] 特别地，左邻近块的内部预测模式和上邻近块的内部预测模式可W分别被分配给 对应于列表索引信息0的位置和对应于列表索引信息1的位置。此外，考虑到左/上邻近 块的内部预测模式预先确定的内部预测模式可W分配给对应于列表索引信息2的位置。例 如，平面模式、DC模式和垂直模式不对应于左/上邻近块的内部预测模式的一个，可W被选 择和分配给对应于列表索引信息2的位置。在该里，基于平面模式、DC模式和垂直模式的 优先级，能够检查是否平面模式、DC模式和垂直模式对应于左/上邻近块的内部预测模式。 该个过程可W执行直到检测到不对应于左/上邻近块的内部预测模式的模式为止。
[0075] 邻近视图的参考块的内部预测模式W及空间邻近块的内部预测模式可W被增加 给候选模式列表，将参考图5和6进行描述。
[0076] 图5是图示用于产生包括邻近视图的参考块的内部预测模式的候选模式列表方 法的流程图。
[0077] 参考图5,可W获得当前视图的当前块的视差矢量（S500)。在该里，视差矢量可W 指的是在视图方向指定对应于当前块的参考块的运动矢量。当前块的视差矢量可W从邻近 块的视差矢量中推导出。在该里，邻近块可W包括当前块的左、上、左下、右上和左上邻近块 的至少一个。例如，邻近块的视差矢量可W被设置为当前块的视差矢量。另外，当前块的视 差矢量可W从对应于当前块的深度数据中推导出。现在将参考公式3和4描述推导当前的 纹理块的视差矢量的详细方法。
[007引[公式引
[0079]
[0080] 在公式3中，Z表示在相应的像素和相机之间的距离，D是通过量化Z获得的值，并 且对应于深度数据，并且Z。。。,和Z分别表示对当前视图限定的Z的最小值和最大值。Z。。" 和Zf"可W经由序列参数集、片头等等从比特流中提取，并且可W是在解码器中预先确定的 信息。因此，当在相应的像素和相机之间的距离Z在256的等级上量化的时候，Z可W被使 用如由公式3表示的深度数据2。。"和Z重建。随后，用于当前的纹理块的视差矢量可W如由公式4表示的使用重建的Z推导出。
[0081] [公式 4]
[0082]
[0083] 在公式4中，d表示视差矢量，f表示相机的焦距，并且B表示在相机之间的距离。 可W假设所有相机具有相同的f和B，并且因此，f和B可W是在解码器中预先确定的信息。
[0084] 邻近视图的参考块可W基于当前块的视差矢量获得（S510)。在该里，邻近视图可 W指的是除当前视图W外的视图。否则，邻近视图可W指的是不对其执行视图间预测的与 其它视图无关地编译的基本视图。参考块可W指的是基于当前块的位置由视差矢量指定的 块。
[0085] 可W检查是否参考块是W内部模式编译的块（S520)。换句话说，可W检查是否参 考块具有内部预测模式。
[0086] 当在步骤S520中参考块是W内部模式编译的块的时候，修改的候选模式列表可 W使用参考块的内部预测模式产生（S530)。将参考图6描述用于产生修改的候选模式列表 的详细方法。
[0087] 图6图示根据本发明适用于其的一个实施例用于使用邻近视图的参考块的内部 预测模式产生修改的候选模式列表的方法。
[008引 1.候选模式列表的重新排列
[0089] 能够检查是否邻近视图的参考块的内部预测模式与包括在候选模式列表中的内 部预测模式相同。当候选模式列表包括与邻近视图的参考块的内部预测模式相同的内部预 测模式的时候，存在当前块从候选模式列表中选择与邻近视图的参考块的内部预测模式相 同的内部预测模式的高的可能性。在该种情况下，可W通过改变在候选模式列表中对应于 内部预测模式的列表索引信息重新排列候选模式列表，其与相对于邻近视图的内部预测模 式相同。例如，候选模式列表可W通过交换与来自邻近视图的内部预测模式相同的内部预 测模式的位置，和对应于列表索引信息0的内部预测模式的位置重新排列。但是，当与来自 邻近视图的内部预测模式相同的内部预测模式已 经排列在对应于列表索引信息0的位置 中的时候，重新排列过程被跳过。
[0090] 参考图6(a)，当相对于邻近视图的内部预测模式MPMyi。，与在候选模式列表中布置 在对应于列表索引信息2的位置的内部预测模式MPM2相同的时候，例如，对应于列表索引 信息2的位置的内部预测模式MPM2的位置和对应于列表索引信息0的位置的内部预测模 式MPM0的位置可W交换。对编译在候选模式列表中指定当前块的内部预测模式的所有索 引信息必需的比特数可W通过在对应于列表索引信息0的位置排列具有高的被选择的可 能性的内部预测模式来减小。
[0091] 2.内部预测模式的替换
[0092] 在候选模式列表中的多个内部预测模式MPM0、MPM1和MPM2的一个可W由相对于 邻近视图的内部预测模式MPMyi。，替换。因为在候选模式列表中，在内部预测模式之中与列 表索引信息2的位置相对应的内部预测模式MPM2具有最低的选择性，所W在多个内部预测 模式之中对应于列表索引信息2的位置的内部预测模式MPM2可W通过相对于邻近视图的 内部预测模式MPMyi。，替换。
[0093] 3.内部预测模式的增加
[0094] 来自邻近视图的内部预测模式可W被增加给从空间邻近块的内部预测模式中推 导出的候选模式列表。
[0095] 参考图6(c)，来自邻近视图的内部预测模式可W被布置在候选模式列表的底部。 也就是说，来自邻近视图的内部预测模式可W被增加给对应于列表索引信息3的位置。甚 至当内部预测模式被增加给在候选模式列表中对应于列表索引信息3的位置时，MPM0至 MPM3可W仍然编译为2比特。
[0096] 在本发明的一个实施例中，来自邻近视图的内部预测模式可W被布置在候选模式 列表的顶部。也就是说，来自邻近视图的内部预测模式可W被增加给对应于列表索引信息0 的位置。在该种情况下，对应于列表索引信息0的位置的内部预测模式可W重新排列为列 表索引信息1的位置，对应于列表索引信息1的位置的内部预测模式可W重新排列为列表 索引信息2的位置，并且对应于列表索引信息2的位置的内部预测模式可W重新排列为列 表索引信息3的位置。
[0097] 在本发明适用于其的一个实施例中，当内部预测模式是平面模式或者DC模式，或 者否则排列在候选模式列表的下端上的时候（当角度模式的内部预测模式的时候），来自 邻近视图的内部预测模式可W被排列在候选模式列表的上端。
[009引为了自适应地使用产生修改的候选模式列表的过程，可W限定基本模式使用标 记。在该里，基本模式使用标记可W指的是表示在产生用于当前块的候选模式列表时是否 使用来自邻近视图的内部预测模式的信息。因此，只有当基本模式使用标记表示使用来自 邻近视图的内部预测模式时，内部预测模式可W从邻近视图的参考块中获得。
[0099] 前面提到的候选模式列表重新排列、内部预测模式替换和内部预测模式增加的一 个可W通过将来自邻近视图的内部预测模式与在产生的候选模式列表中的内部预测模式 比较指定。当产生的候选模式列表包括与来自邻近视图的内部预测模式相同的内部预测模 式的时候，内部预测模式替换或者内部预测模式增加不是有益的。因此，当产生的候选模式 列表包括与相对于邻近视图的内部预测模式相同的内部预测模式的时候，可W使用候选模 式列表重新排列，并且否则可W使用内部预测模式替换或者内部预测模式增加。
[0100] 图7是图示根据本发明适用于其的一个实施例用于使用候选模式列表推导当前 块的内部预测模式方法的流程图。
[0101] 在该里，候选模式列表可W理解为包括使用相对于邻近视图的内部预测模式修改 的候选模式列表W及使用空间邻近块推导出的候选模式列表。
[0102] 参考图7,候选模式标记可W从比特流中获得（S700)。在该里，候选模式标记可W 指的是表示是否当前块使用来自候选模式列表的内部预测模式的信息。
[0103]当获得的候选模式标记表示当前块使用来自候选模式列表的内部预测模式的时 候，内部模式索引信息可W从比特流中获得（S710)。在该里，内部模式索引信息可W指的是 在候选模式列表中指定用于当前块的内部预测的内部预测模式的信息。
[0104] 因此，对应于内部模式索引信息的内部预测模式可W从候选模式列表中获得 (S720)〇
[0105]当获得的候选模式标记表示当前块不使用来自候选模式列表的内部预测模式的 时候，内部预测模式可W从比特流中获得（S730)。从比特流中提取的内部预测模式指定在 35个内部预测模式之中除包括在候选模式列表中的内部预测模式W外的内部预测模式的 一个。因此，当前块的内部预测模式可W基于提取的内部预测模式推导出（S740)。
[0106] W上描述的实施例是本发明的要素和特点的组合。除非另作说明，要素或者特点 可W选择性的考虑。每个要素或者特点可W无需与其他的要素或者特点结合实践。此外， 本发明的一个实施例可W通过合成要素和/或特点的一部分构成。在本发明的实施例中描 述的操作顺序可W重新安排。任何一个实施例的某些结构可W包括在另一个实施例中，并 且可另一个实施例的相应的结构替换。
[0107] 工业实用性
[010引本发明可用于编译视频信号。
【主权项】
1. 一种用于处理视频信号的方法，包括： 基于来自当前块的空间邻近块的内部预测模式，产生所述当前块的候选模式列表； 基于来自所述当前块的邻近视图的内部预测模式，修改所述候选模式列表； 基于所修改的候选模式列表，推导所述当前块的内部预测模式；和 使用所推导的内部预测模式预测所述当前块。2. 根据权利要求1所述的方法，其中，所述空间邻近块包括所述当前块的左邻近块和 上邻近块中的至少一个。3. 根据权利要求1所述的方法，其中，修改所述候选模式列表包括： 获得所述当前块的视差矢量； 基于所述视差矢量获得所述邻近视图的参考块； 检查所述参考块是否是以内部模式编译的块；和 当所述参考块是以内部块编译的块的时候，使用所述参考块的内部预测模式修改所述 候选模式列表。4. 根据权利要求3所述的方法，其中，所述当前块的所述视差矢量是使用所述当前块 的左、上、左下、右上和左上邻近块中的至少一个的视差矢量获得的。5. 根据权利要求3所述的方法，其中，所述当前块的所述视差矢量是从对应于所述当 前块的深度数据中推导的。6. 根据权利要求1所述的方法，其中，所述候选模式列表限定可用于所述当前块的多 个内部预测模式和分别对应于所述多个内部预测模式的列表索引信息， 其中，所述列表索引信息指定顺序地排列在所述候选模式列表中的所述多个内部预测 模式的位置。7. 根据权利要求6所述的方法，其中，修改所述候选模式列表包括改变对应于与来自 所述邻近视图的内部预测模式相同的内部预测模式的列表索引信息，以便当所述候选模式 列表包括与来自所述邻近视图的内部预测模式相同的内部预测模式的时候，重新排列所述 候选模式列表。8. 根据权利要求6所述的方法，其中，修改所述候选模式列表包括通过来自所述邻近 视图的内部预测模式替换在所述候选模式列表中的所述多个内部预测模式的一个。9. 根据权利要求6所述的方法，其中，修改所述候选模式列表包括将来自所述邻近视 图的内部预测模式增加给基于所述空间邻近块的内部预测模式产生的所述候选模式列表。
【专利摘要】根据本发明的视频信号处理方法，包括：基于来自当前块的空间邻近块的内部预测模式，产生当前块的候选模式列表；基于来自当前块的邻近视图的内部预测模式，修改候选模式列表；基于修改的候选模式列表，导出当前块的内部预测模式；和通过使用导出的内部预测模式预测当前块。
【IPC分类】H04N19/593, H04N19/11
【公开号】CN104904209
【申请号】CN201480004166
【发明人】许镇, 郑志旭, 芮世薰, 具文模, 金兑燮, 成宰源, 孙银庸
【申请人】Lg电子株式会社
【公开日】2015年9月9日
【申请日】2014年1月7日
【公告号】EP2942955A1, US20150350657, WO2014107083A1
【技术领域】
[0001] 本发明设及用于编译视频信号的方法和装置。
【背景技术】
[0002] 压缩指的是用于经由通信线路发送数字信息，或者W适用于存储介质的形式存储 数字信息的信号处理技术。压缩的对象包括音频、视频和文字信息。特别地，压缩图像的技 术称作视频压缩。多视图视频具有空间冗余、时间冗余和视图间冗余的特征。
【发明内容】
[0003] 技术问题
[0004] 本发明的一个目的是改善视频信号编译效率。
[000引技术方案
[0006] 一种根据本发明用于处理视频信号的方法，包括：基于来自当前块的空间邻近块 的内部预测模式，产生当前块的候选模式列表；基于来自当前块的邻近视图的内部预测模 式，修改候选模式列表；基于修改的候选模式列表，推导当前块的内部预测模式；和使用所 推导的内部预测模式预测当前块。
[0007] 根据本发明的空间邻近块包括当前块的左邻近块和上邻近块中的至少一个。
[000引根据本发明的候选模式列表的修改包括；获得当前块的视差矢量；基于视差矢量 获得邻近视图的参考块；检查参考块是否是W内部模式编译的块；和当参考块是W内部块 编译的块的时候，使用参考块的内部预测模式修改候选模式列表。
[0009] 根据本发明的当前块的视差矢量是使用当前块的左、上、左下、右上和左上邻近块 中的至少一个的视差矢量获得的。
[0010] 根据本发明的当前块的视差矢量是从对应于当前块的深度数据中推导的。
[0011] 根据本发明的候选模式列表限定可用于当前块的多个内部预测模式和分别对应 于多个内部预测模式的列表索引信息，其中列表索引信息指定顺序地排列在候选模式列表 中的多个内部预测模式的位置。
[0012] 根据本发明的候选模式列表的修改包括；改变对应于与来自邻近视图的内部预测 模式相同的内部预测模式的列表索引信息，W便当候选模式列表包括与来自邻近视图的内 部预测模式相同的内部预测模式的时候，重新排列候选模式列表。
[0013] 根据本发明的候选模式列表的修改包括；通过来自邻近视图的内部预测模式替换 在候选模式列表中的多个内部预测模式的一个。
[0014] 根据本发明的候选模式列表的修改包括；将来自邻近视图的内部预测模式增加给 基于空间邻近块的内部预测模式产生的候选模式列表。
[00巧]有益效果
[0016]本发明可W通过从当前块的空间邻近块的内部预测模式产生候选模式列表，并且 使用候选模式列表推导当前块的内部预测模式，获得更加精确的内部预测模式。此外，通过 推导精确的内部预测模式，编码当前块的残留所需的比特数减少。
[0017] 此外，本发明可W考虑到视图的相似性，通过在邻近视图上不仅使用空间邻近块， 而且使用来自参考块的内部预测模式，改善当前块的内部预测的编译效率。
【附图说明】
[001引图1是根据本发明适用于其的一个实施例的视频解码器的方框图。
[0019] 图2是根据本发明适用于其的一个实施例的视频解码器适用于其的广播接收机 的方框图。
[0020] 图3图示根据本发明适用于其的一个实施例的内部预测模式类型。
[0021]图4是图示根据本发明适用于其的一个实施例用于产生当前块的候选模式列表 的方法的流程图。
[0022] 图5是图示根据本发明适用于其的一个实施例用于产生包括邻近视图的参考块 的内部预测模式的候选模式列表的方法的流程图。
[0023] 图6图示根据本发明适用于其的一个实施例用于使用邻近视图的参考块的内部 预测模式产生修改的候选模式列表的方法。
[0024] 图7是图示根据本发明适用于其的一个实施例用于使用候选模式列表推导当前 块的内部预测模式的方法的流程图。
【具体实施方式】
[0025] 为了实现本发明的目的，提供了一种用于处理视频信号的方法，包括：基于来自当 前块的空间邻近块的内部预测模式，产生当前块的候选模式列表；基于来自当前块的邻近 视图的内部预测模式，修改候选模式列表；基于修改的候选模式列表，推导当前块的内部预 测模式；和使用推导出的内部预测模式预测当前块。
[0026] 空间邻近块可W包括当前块的左邻近块和上邻近块的至少一个。
[0027] 候选模式列表的修改可W包括；获得当前块的视差矢量；基于视差矢量获得邻近 视图的参考块；检查是否参考块是W内部模式编译的块；W及当参考块是W内部块编译的 块的时候，使用参考块的内部预测模式修改候选模式列表。
[002引当前块的视差矢量可W是使用当前块的左、上、左下、右上和左上邻近块的至少一 个的视差矢量获得的。
[0029] 当前块的视差矢量可W是从对应于当前块的深度数据中推导出的。
[0030] 候选模式列表可W限定可用于当前块的多个内部预测模式和分别对应于多个内 部预测模式的列表索引信息，其中列表索引信息指定顺序地排列在候选模式列表中的多个 内部预测模式的位置。
[0031] 候选模式列表的修改可W包括；改变对应于与来自邻近视图的内部预测模式相同 的内部预测模式的列表索引信息，W便当候选模式列表包括与来自邻近视图的内部预测模 式相同的内部预测模式的时候，重新排列候选模式列表。
[0032] 修改候选模式列表可W包括在候选模式列表中通过来自邻近视图的内部预测模 式替换多个内部预测模式的一个。
[0033] 修改候选模式列表可W包括将来自邻近视图的内部预测模式增加给基于空间邻 近块的内部预测模式产生的候选模式列表。
[0034] 用于发明的模式
[0035] 现在将参考附图给出根据在此处公开的示范的实施例的详细描述。在描述本发明 之前，应当注意，在本发明中公开的大多数术语对应于在该领域中公知的常规术语，但是， 某些术语已经由申请人根据需要选择，并且将在本发明的W下的描述中在下文中公开。因 此，优选地，由申请人定义的术语在本发明中基于其含义理解。在本说明书中描述的实施例 和在附图中示出的特点因此在所有方面中解释为说明性的和非限制性的。本发明的范围将 由所附的权利要求及其合法的等效，不由W上的描述确定，并且落在所附的权利要求的含 义和等效范围内的所有变化意欲包含在其中。
[0036] 图1是根据本发明适用于其的一个实施例的视频解码器的方框图。
[0037] 参考图1，视频解码器可W包括NAL分析解析单元100、滴解码单元110、反量化/ 反变换单元120、内部预测单元130、环内滤波单元环内滤波单元140、解码的图片缓存单元 解码图片缓存单元150和中间预测单元160。NAL分析解析单元100可W接收包括多视图 纹理数据的比特流。此外，当深度数据是为纹理数据编码所必需的时候，NAL分析解析单元 100可W进一步接收包括编码的深度数据的比特流。输入纹理数据和深度数据可W作为一 个比特流发送，或者作为单独的比特流发送。NAL分析解析单元100可W在NAL基础上执行 分析解析W便解码输入的比特流。当输入的比特流是多视图相关的数据（例如，3维视频） 的时候，输入的比特流可W进一步包括相机参数。相机参数可W包括本征固有相机参数和 非本征固有相机参数，并且本征固有相机参数可W包括焦距、长宽比、像主点等等，W及非 本征固有相机参数可W包括在全局坐标系统中的相机位置信息等等。
[003引滴解码单元110可W经由滴解码提取量化的变换系数、用于纹理图片预测的编译 信息等等。反量化/反变换单元120可W通过将量化参数适用于量化的变换系数获得变换 系数，并且通过反向地变换该变换系数解码纹理数据或者深度数据。在该里，解码的纹理数 据或者深度数据根据预测可W包括残留数据。此外，用于深度块的量化参数可W考虑到纹 理数据的复杂度设置。例如，当对应于深度块的纹理块具有高的复杂度的时候，可W设置低 的量化参数，并且当纹理块具有低的复杂度的时候，可W设置高的量化参数。纹理块的复杂 度可W基于在重建的纹理图片中在邻近像素之间的差值确定，如由公式1表示的。
[0039][公式U
[0040 ]
[0041] 在公式1中，E表示纹理数据的复杂度，C表示重建的纹理数据，并且N表示在将对 其计算复杂度的纹理数据区中像素的数目。参考公式1，纹理数据的复杂度可W使用在对应 于点（X，y)的纹理数据和对应于点（X-1，y)的纹理数据之间的差值，W及在对应于点（X， y)的纹理数据和对应于点（x+l，y)的纹理数据之间的差值计算。此外，可W对于纹理图片 和纹理块的每个计算复杂度，并且量化参数可W使用该复杂度推导出，如由公式2表示的。 [00创[公式引
[0043]
[0044]参考公式2,用于深度块的量化参数可W基于纹理图片的复杂度对纹理块的复杂 度的比确定。在公式2中，a和P可W是由解码器推导出的可变整数，或者可W是在解码 器中预先确定的整数。
[0045] 内部预测单元130可W使用在当前的纹理图片中重建的纹理数据执行内部预测。 特别地，当前块的采样可W使用当前块的内部预测模式和当前块的邻近采样预测。在该里， 当前块的内部预测模式可W使用候选模式列表推导出，该将参考图4至7详细描述。此外， 内部预测可与对于纹理图片相同的方式对于深度图片执行。例如，用于纹理图片的内 部预测的编译信息可W同样地用于深度图片。用于内部预测的编译信息可W包括内部预测 模式和内部预测的分割信息。
[0046]环内滤波单元140可W将环内滤波适用于每个编码块W便减小块失真。滤波器可W平滑块的边缘W便改善解码的图片的质量。滤波的纹理图片或者深度图片可W输出或者 存储在解码图片缓存单元150中W用作参考图片。当纹理数据和深度数据被使用相同的环 内滤波器编译的时候，由于纹理数据和深度数据具有不同的特征，编译效率可能降低。因 此，可W限定用于深度数据的单独的环内滤波器。将给出作为基于区域的自适应环路滤波 和=角形环路滤波能够有效地编码深度数据的环内滤波方法的描述。
[0047]在基于区域的自适应环路滤波的情况下，其可W基于深度块的变化确定是否适用 基于区域的自适应环路滤波。深度块的变化可W限定为在深度块中的最大像素值和最小像 素值之间的差值。通过将深度块的变化与预先确定的阔值比较能够确定是否适用滤波。例 如，当深度块的变化大于或等于预先确定的阔值的时候，其指的是在深度块中的最大像素 值和最小像素值之间的差值大，可W确定适用基于区域的自适应环路滤波。相反地，当深度 块的变化小于预先确定的阔值的时候，可W确定不适用基于区域的自适应环路滤波。当根 据比较结果适用基于区域的自适应环路滤波的时候，可W通过将预先确定的权重适用于邻 近像素值推导出滤波的深度块的像素值。在该里，预先确定的权重可W基于在当前滤波的 像素和邻近像素之间的位置差异，和/或在当前滤波的像素值和邻近像素值之间的差值确 定。邻近像素值可W指的是在包括在深度块中的像素值之中除当前滤波的像素值W外的像 素值的一个。
[0048]根据本发明的S角形环路滤波类似于基于区域的自适应环路滤波，但是，不同于 基于区域的自适应环路滤波，因为前者另外考虑纹理数据。特别地，=角形环路滤波可W提 取邻近像素的深度数据，其满足W下的=个条件。
[0049] 条件 1. |p-q|《。1
[0050]条件2.ID(P)-D (q)I《。2
[0051]条件3. lAKp)-V(q)I《。3
[0化2] 条件1将在深度块中的当前像素P和邻近像素q之间的位置差异与预先确定的参 数比较，条件2将在当前像素P的深度数据和邻近像素q的深度数据之间的差值与预先确 定的参数比较，W及条件3将在当前像素P的纹理数据和邻近像素q的纹理数据之间的差 值与预先确定的参数比较。
[0化3]=角形环路滤波可W提取满足=个条件的邻近像素，并且滤波具有邻近像素的深 度数据的中间值或者平均值的当前像素P。
[0化4] 解码图片缓存单元150可W存储或者开放先前编译的纹理图片或者深度图片W 便执行中间预测。为了在解码图片缓存单元150存储先前编译的纹理图片或者深度图片或 者开放该图片，可W使用frame_num和每个图片的图片顺序计数（POC)。此外，由于先前编 译的图片包括对应于不同于在深度编译时当前的深度图片的视点的视点的深度图片，所W 可W使用用于识别深度图片视点的视点识别信息，W便将对应于不同的视点的深度图片用 作参考图片。解码图片缓存器单元150可W使用自适应的存储管理控制操作方法和滑动窗 口方法管理参考图片W便更加灵活地实现中间预测。该允许参考图片存储器和非参考图片 存储器合并成一个存储器W便实现小的存储器的有效管理。在深度编译时，深度图片可W 被标记W与在解码图片缓存单元中的纹理图片区别，并且在标记过程期间可W使用用于识 别每个深度图片的信息。
[0055] 中间预测单元160可W使用存储在解码的图片缓存器单元150中的参考图片和运 动信息执行当前块的运动补偿。在本说明书中，从广义来说，运动信息可W包括运动矢量和 参考索引信息。此外，中间预测单元160可W执行用于运动补偿的时间中间预测。时间中 间预测可W指的是使用参考图片和当前纹理块的运动信息的中间预测，其对应于与当前纹 理块相同的视点，同时对应于不同于当前纹理块的时间周期。在通过多个相机获得的多视 图图像的情况下，除了时间中间预测之外，还可W执行视图间中间预测。视图间中间预测可 W指的是使用对应于不同于当前纹理块的视点的参考图片和当前纹理块的运动信息的中 间预测。为了方便起见，用于视图间预测的运动信息称为视图间运动矢量和视图间参考索 引信息。因此，在本说明书中运动信息可W灵活地解释为包括视图间运动矢量和视图间参 考索引信息的信息。
[0056]图2是根据本发明适用于其的一个实施例的视频解码器适用于其的广播接收机 的方框图。
[0057] 根据当前的实施例的广播接收机接收陆地广播信号W再现图像。广播接收机可W 使用接收的深度相关的信息产生=维内容。广播接收机包括调谐器200、解调器/信道解码 器202、传输多路分解器204、解组器206、音频解码器208、视频解码器210、PSI/PSIP处理 器214、3D擅染器216、格式器220和显示器222。
[0化引调谐器200选择在经由天线（未示出）输入的多个广播信号之中由用户调谐的信 道的广播信号，并且输出选择的广播信号。解调器/信道解码器202解调来自调谐器200的 广播信号，并且对解调的信号执行纠错解码W输出传输流TS。传输多路分解器204多路分 解传输流，W便将传输流划分为视频阳S和音频PES，并且提取PSI/PSIP信息。解组器206 对视频PES和音频PES解组W恢复视频ES和音频ES。音频解码器208通过解码音频ES 输出音频比特流。该音频比特流由数字模拟转换器（未示出）转换为模拟音频信号，由放 大器（未示出）放大，并且然后经由扬声器（未示出）输出。视频解码器210解码视频ES W恢复原始图像。音频解码器208和视频解码器210的解码过程可W基于由PSI/PSIP处 理器214确认的分组ID(PID)执行。在解码过程期间，视频解码器210可W提取深度信息。 此外，视频解码器210可W提取对产生虚拟相机视图的图像说来必需的附加信息，例如，相 机信息，或者用于估计由前面的目标隐藏的闭塞的信息（例如，几何信息，诸如目标轮廓、 目标透明度信息和颜色信息），并且将附加信息提供给3D擅染器216。但是，深度信息和/ 或附加信息在本发明的其它的实施例中可W通过传输多路分解器204相互分离。
[0059]PSI/PSIP处理器214从传输多路分解器204接收PSI/PSIP信息，解析PSI/PSIP 信息，并且在存储器（未示出）或者寄存器中存储解析的PSI/PSIP信息，W便允许基于存 储的信息广播。3D擅染器216可W在虚拟的相机位置上，使用恢复的图像、深度信息、附加 信息和相机参数产生颜色信息、深度信息等等。
[0060] 此外，3D擅染器216在虚拟的相机位置上，通过使用恢复的图像和关于恢复的图 像的深度信息，执行3D扭曲产生虚拟的图像。虽然3D擅染器116在当前的实施例中被配 置为与视频解码器210分离的块，但该仅仅是一个示例，并且3D擅染器216可W包括在视 频解码器210中。
[0061] 格式器220 格式化在解码过程中恢复的图像，也就是说，由相机捕捉的真实的图 像，和由3D擅染器216根据广播接收机的显示模式产生的虚拟的图像，使得3D图像经由显 示器222显示。在该里，在虚拟的相机上由3D擅染器216的深度信息和虚拟的图像的合成， 和由格式器220的图像格式化可W响应于用户命令有选择地执行。也就是说，用户可W操 纵远程控制器（未示出），使得合成的图像不显示，并且指定图像合成时间。
[0062] 如上所述，用于产生3D图像的深度信息由3D擅染器216使用。但是，该深度信息 在其它的实施例中可W由视频解码器210使用。将给出视频解码器210使用深度信息的各 种实施例的描述。
[0063] 图3图示根据本发明适用于其的一个实施例的内部预测模式类型。
[0064] 参考图3,内部预测模式包括平面模式Intra_Planar、DC模式Intra_DC和角度模 式Intra_Angular。平面模式是权重适用于布置在当前块的上端、左、左下端和右上端的邻 近采样，W便预测当前块的采样的模式。特别地，根据在当前块的上端和左下端上布置的邻 近采样的双线性内插获得的值，和根据在当前块的左和右上端上布置的邻近采样的双线性 内插获得的值被分别计算，并且计算值的平均值用作当前块的预测采样。DC模式是当前块 的采样使用位于当前块的上端、左和左上端上的邻近采样的平均值预测的模式。角度模式 是当前块的采样在预测方向的角度上使用邻近采样预测的模式。角度模式可W被限定为包 括垂直模式和水平模式的33个内部预测模式，如图3所示。
[00化]图4是图示根据本发明适用于其的一个实施例用于产生当前块的候选模式列表 方法的流程图。
[0066] 候选模式列表限定可W由当前块使用的多个内部预测模式，和对应于每个内部预 测模式的列表索引信息。在该里，多个内部预测模式可由当前块使用的可能性递减的 顺序连续地排列。列表索引信息可W指定顺序地排列在候选模式列表中的内部预测模式的 位置。将给出参考图4用于产生候选模式列表方法的描述。
[0067]可W获得邻近块的内部预测模式（S400)。在该里，邻近块可W包括当前块的左邻 近块和上邻近块。当邻近块不存在，或者邻近块没有W内部模式编译的时候，相应的邻近块 不能分配内部预测模式。在该种情况下，邻近块的内部预测模式可W通过将预先确定的内 部预测模式（例如，DC模式）分配给邻近块获得。
[0068] 其可W检查是否在步骤S400中获得的左邻近块的内部预测模式IntraModeleft和上邻近块的内部预测模式IntraModetop彼此相同（S410)。该是为了防止在候选模式列 表中相同的内部预测模式的冗余内含的目的。
[0069] 当在步骤S410中两个邻近块的内部预测模式彼此相同的时候可W检查是否左邻 近块的内部预测模式是平面模式或者DC模式（S420)。
[0070] 当左邻近块的内部预测模式对应于平面模式和DC模式的一个的时候，候选模式 列表可W包括平面模式、DC模式和垂直模式（S430)。特别地，在候选模式列表中，平面模式 可W分配给对应于列表索引信息0的位置，DC模式可W分配给对应于列表索引信息1的位 置，并且垂直模式可W分配给对应于列表索引信息2的位置。
[0071] 当左邻近块的内部预测模式不对应于平面模式和DC模式的一个的时候，候选模 式列表可W包括左邻近块的内部预测模式和从其中推导出的内部预测模式（S440)。
[0072] 特别地，左邻近块的内部预测模式可W分配给对应于列表索引信息0的位置。然 后，对应于通过从左邻近块的内部预测模式的值中减去1获得的值的内部预测模式可W分 配给对应于列表索引信息1的位置，并且对应于通过对左邻近块的内部预测模式的值增加 1获得的值的内部预测模式可W分配给对应于列表索引信息2的位置。例如，当左邻近块的 内部预测模式的值是10的时候，具有值9和11的内部预测模式可W包括在候选模式列表 中。
[0073] 当在步骤S410中两个邻近块的内部预测模式彼此不相同的时候，候选模式列表 可W包括左邻近块的内部预测模式和上邻近块的内部预测模式（S450)。
[0074] 特别地，左邻近块的内部预测模式和上邻近块的内部预测模式可W分别被分配给 对应于列表索引信息0的位置和对应于列表索引信息1的位置。此外，考虑到左/上邻近 块的内部预测模式预先确定的内部预测模式可W分配给对应于列表索引信息2的位置。例 如，平面模式、DC模式和垂直模式不对应于左/上邻近块的内部预测模式的一个，可W被选 择和分配给对应于列表索引信息2的位置。在该里，基于平面模式、DC模式和垂直模式的 优先级，能够检查是否平面模式、DC模式和垂直模式对应于左/上邻近块的内部预测模式。 该个过程可W执行直到检测到不对应于左/上邻近块的内部预测模式的模式为止。
[0075] 邻近视图的参考块的内部预测模式W及空间邻近块的内部预测模式可W被增加 给候选模式列表，将参考图5和6进行描述。
[0076] 图5是图示用于产生包括邻近视图的参考块的内部预测模式的候选模式列表方 法的流程图。
[0077] 参考图5,可W获得当前视图的当前块的视差矢量（S500)。在该里，视差矢量可W 指的是在视图方向指定对应于当前块的参考块的运动矢量。当前块的视差矢量可W从邻近 块的视差矢量中推导出。在该里，邻近块可W包括当前块的左、上、左下、右上和左上邻近块 的至少一个。例如，邻近块的视差矢量可W被设置为当前块的视差矢量。另外，当前块的视 差矢量可W从对应于当前块的深度数据中推导出。现在将参考公式3和4描述推导当前的 纹理块的视差矢量的详细方法。
[007引[公式引
[0079]
[0080] 在公式3中，Z表示在相应的像素和相机之间的距离，D是通过量化Z获得的值，并 且对应于深度数据，并且Z。。。,和Z分别表示对当前视图限定的Z的最小值和最大值。Z。。" 和Zf"可W经由序列参数集、片头等等从比特流中提取，并且可W是在解码器中预先确定的 信息。因此，当在相应的像素和相机之间的距离Z在256的等级上量化的时候，Z可W被使 用如由公式3表示的深度数据2。。"和Z重建。随后，用于当前的纹理块的视差矢量可W如由公式4表示的使用重建的Z推导出。
[0081] [公式 4]
[0082]
[0083] 在公式4中，d表示视差矢量，f表示相机的焦距，并且B表示在相机之间的距离。 可W假设所有相机具有相同的f和B，并且因此，f和B可W是在解码器中预先确定的信息。
[0084] 邻近视图的参考块可W基于当前块的视差矢量获得（S510)。在该里，邻近视图可 W指的是除当前视图W外的视图。否则，邻近视图可W指的是不对其执行视图间预测的与 其它视图无关地编译的基本视图。参考块可W指的是基于当前块的位置由视差矢量指定的 块。
[0085] 可W检查是否参考块是W内部模式编译的块（S520)。换句话说，可W检查是否参 考块具有内部预测模式。
[0086] 当在步骤S520中参考块是W内部模式编译的块的时候，修改的候选模式列表可 W使用参考块的内部预测模式产生（S530)。将参考图6描述用于产生修改的候选模式列表 的详细方法。
[0087] 图6图示根据本发明适用于其的一个实施例用于使用邻近视图的参考块的内部 预测模式产生修改的候选模式列表的方法。
[008引 1.候选模式列表的重新排列
[0089] 能够检查是否邻近视图的参考块的内部预测模式与包括在候选模式列表中的内 部预测模式相同。当候选模式列表包括与邻近视图的参考块的内部预测模式相同的内部预 测模式的时候，存在当前块从候选模式列表中选择与邻近视图的参考块的内部预测模式相 同的内部预测模式的高的可能性。在该种情况下，可W通过改变在候选模式列表中对应于 内部预测模式的列表索引信息重新排列候选模式列表，其与相对于邻近视图的内部预测模 式相同。例如，候选模式列表可W通过交换与来自邻近视图的内部预测模式相同的内部预 测模式的位置，和对应于列表索引信息0的内部预测模式的位置重新排列。但是，当与来自 邻近视图的内部预测模式相同的内部预测模式已 经排列在对应于列表索引信息0的位置 中的时候，重新排列过程被跳过。
[0090] 参考图6(a)，当相对于邻近视图的内部预测模式MPMyi。，与在候选模式列表中布置 在对应于列表索引信息2的位置的内部预测模式MPM2相同的时候，例如，对应于列表索引 信息2的位置的内部预测模式MPM2的位置和对应于列表索引信息0的位置的内部预测模 式MPM0的位置可W交换。对编译在候选模式列表中指定当前块的内部预测模式的所有索 引信息必需的比特数可W通过在对应于列表索引信息0的位置排列具有高的被选择的可 能性的内部预测模式来减小。
[0091] 2.内部预测模式的替换
[0092] 在候选模式列表中的多个内部预测模式MPM0、MPM1和MPM2的一个可W由相对于 邻近视图的内部预测模式MPMyi。，替换。因为在候选模式列表中，在内部预测模式之中与列 表索引信息2的位置相对应的内部预测模式MPM2具有最低的选择性，所W在多个内部预测 模式之中对应于列表索引信息2的位置的内部预测模式MPM2可W通过相对于邻近视图的 内部预测模式MPMyi。，替换。
[0093] 3.内部预测模式的增加
[0094] 来自邻近视图的内部预测模式可W被增加给从空间邻近块的内部预测模式中推 导出的候选模式列表。
[0095] 参考图6(c)，来自邻近视图的内部预测模式可W被布置在候选模式列表的底部。 也就是说，来自邻近视图的内部预测模式可W被增加给对应于列表索引信息3的位置。甚 至当内部预测模式被增加给在候选模式列表中对应于列表索引信息3的位置时，MPM0至 MPM3可W仍然编译为2比特。
[0096] 在本发明的一个实施例中，来自邻近视图的内部预测模式可W被布置在候选模式 列表的顶部。也就是说，来自邻近视图的内部预测模式可W被增加给对应于列表索引信息0 的位置。在该种情况下，对应于列表索引信息0的位置的内部预测模式可W重新排列为列 表索引信息1的位置，对应于列表索引信息1的位置的内部预测模式可W重新排列为列表 索引信息2的位置，并且对应于列表索引信息2的位置的内部预测模式可W重新排列为列 表索引信息3的位置。
[0097] 在本发明适用于其的一个实施例中，当内部预测模式是平面模式或者DC模式，或 者否则排列在候选模式列表的下端上的时候（当角度模式的内部预测模式的时候），来自 邻近视图的内部预测模式可W被排列在候选模式列表的上端。
[009引为了自适应地使用产生修改的候选模式列表的过程，可W限定基本模式使用标 记。在该里，基本模式使用标记可W指的是表示在产生用于当前块的候选模式列表时是否 使用来自邻近视图的内部预测模式的信息。因此，只有当基本模式使用标记表示使用来自 邻近视图的内部预测模式时，内部预测模式可W从邻近视图的参考块中获得。
[0099] 前面提到的候选模式列表重新排列、内部预测模式替换和内部预测模式增加的一 个可W通过将来自邻近视图的内部预测模式与在产生的候选模式列表中的内部预测模式 比较指定。当产生的候选模式列表包括与来自邻近视图的内部预测模式相同的内部预测模 式的时候，内部预测模式替换或者内部预测模式增加不是有益的。因此，当产生的候选模式 列表包括与相对于邻近视图的内部预测模式相同的内部预测模式的时候，可W使用候选模 式列表重新排列，并且否则可W使用内部预测模式替换或者内部预测模式增加。
[0100] 图7是图示根据本发明适用于其的一个实施例用于使用候选模式列表推导当前 块的内部预测模式方法的流程图。
[0101] 在该里，候选模式列表可W理解为包括使用相对于邻近视图的内部预测模式修改 的候选模式列表W及使用空间邻近块推导出的候选模式列表。
[0102] 参考图7,候选模式标记可W从比特流中获得（S700)。在该里，候选模式标记可W 指的是表示是否当前块使用来自候选模式列表的内部预测模式的信息。
[0103]当获得的候选模式标记表示当前块使用来自候选模式列表的内部预测模式的时 候，内部模式索引信息可W从比特流中获得（S710)。在该里，内部模式索引信息可W指的是 在候选模式列表中指定用于当前块的内部预测的内部预测模式的信息。
[0104] 因此，对应于内部模式索引信息的内部预测模式可W从候选模式列表中获得 (S720)〇
[0105]当获得的候选模式标记表示当前块不使用来自候选模式列表的内部预测模式的 时候，内部预测模式可W从比特流中获得（S730)。从比特流中提取的内部预测模式指定在 35个内部预测模式之中除包括在候选模式列表中的内部预测模式W外的内部预测模式的 一个。因此，当前块的内部预测模式可W基于提取的内部预测模式推导出（S740)。
[0106] W上描述的实施例是本发明的要素和特点的组合。除非另作说明，要素或者特点 可W选择性的考虑。每个要素或者特点可W无需与其他的要素或者特点结合实践。此外， 本发明的一个实施例可W通过合成要素和/或特点的一部分构成。在本发明的实施例中描 述的操作顺序可W重新安排。任何一个实施例的某些结构可W包括在另一个实施例中，并 且可另一个实施例的相应的结构替换。
[0107] 工业实用性
[010引本发明可用于编译视频信号。
【主权项】
1. 一种用于处理视频信号的方法，包括： 基于来自当前块的空间邻近块的内部预测模式，产生所述当前块的候选模式列表； 基于来自所述当前块的邻近视图的内部预测模式，修改所述候选模式列表； 基于所修改的候选模式列表，推导所述当前块的内部预测模式；和 使用所推导的内部预测模式预测所述当前块。2. 根据权利要求1所述的方法，其中，所述空间邻近块包括所述当前块的左邻近块和 上邻近块中的至少一个。3. 根据权利要求1所述的方法，其中，修改所述候选模式列表包括： 获得所述当前块的视差矢量； 基于所述视差矢量获得所述邻近视图的参考块； 检查所述参考块是否是以内部模式编译的块；和 当所述参考块是以内部块编译的块的时候，使用所述参考块的内部预测模式修改所述 候选模式列表。4. 根据权利要求3所述的方法，其中，所述当前块的所述视差矢量是使用所述当前块 的左、上、左下、右上和左上邻近块中的至少一个的视差矢量获得的。5. 根据权利要求3所述的方法，其中，所述当前块的所述视差矢量是从对应于所述当 前块的深度数据中推导的。6. 根据权利要求1所述的方法，其中，所述候选模式列表限定可用于所述当前块的多 个内部预测模式和分别对应于所述多个内部预测模式的列表索引信息， 其中，所述列表索引信息指定顺序地排列在所述候选模式列表中的所述多个内部预测 模式的位置。7. 根据权利要求6所述的方法，其中，修改所述候选模式列表包括改变对应于与来自 所述邻近视图的内部预测模式相同的内部预测模式的列表索引信息，以便当所述候选模式 列表包括与来自所述邻近视图的内部预测模式相同的内部预测模式的时候，重新排列所述 候选模式列表。8. 根据权利要求6所述的方法，其中，修改所述候选模式列表包括通过来自所述邻近 视图的内部预测模式替换在所述候选模式列表中的所述多个内部预测模式的一个。9. 根据权利要求6所述的方法，其中，修改所述候选模式列表包括将来自所述邻近视 图的内部预测模式增加给基于所述空间邻近块的内部预测模式产生的所述候选模式列表。
【专利摘要】根据本发明的视频信号处理方法，包括：基于来自当前块的空间邻近块的内部预测模式，产生当前块的候选模式列表；基于来自当前块的邻近视图的内部预测模式，修改候选模式列表；基于修改的候选模式列表，导出当前块的内部预测模式；和通过使用导出的内部预测模式预测当前块。
【IPC分类】H04N19/593, H04N19/11
【公开号】CN104904209
【申请号】CN201480004166
【发明人】许镇, 郑志旭, 芮世薰, 具文模, 金兑燮, 成宰源, 孙银庸
【申请人】Lg电子株式会社
【公开日】2015年9月9日
【申请日】2014年1月7日
【公告号】EP2942955A1, US20150350657, WO2014107083A1
最新回复(0)