用于深度图像的编码设备和解码设备以及编码方法和解码方法
用于深度图像的编码设备和解码设备以及编码方法和解码方法
【技术领域】
[0001] W下实施例设及当深度图像被编码或解码时基于简化深度编码（SDC)模式对深 度图像的处理。具体地说，实施例可被应用于深度图像的比特率由于有限的带宽而需要被 减小的视频压缩领域。
【背景技术】
[0002] 为了对深度图像进行编码或解码，可使用帖内预测或帖间预测。可基于编码单元 之间的空间相关性来执行帖内预测，可基于编码单元之间的时间相关性来执行帖间预测方 案。
[0003] 在根据现有技术的压缩方案中，为了执行对深度图像的帖内预测，可设置多种模 式，并可对编码单元应用具有最低代价的编码模式。然而，由于深度图像具有"0"至"255" 的灰度级之中的特定灰度级，可能需要设置更多的有效编码模式来减小当深度图像被发送 时所需的比特率。
【发明内容】
[0004] 技术目标
[0005] 实施例的一方面提供一种用于当基于帖内预测模式对深度图像进行编码或解 码时基于简化深度编码（SDC)模式中的深度编码值C)模式、平面模式和深度建模模式 UDMM1)之中的一个代表性模式来对编码单元进行处理的方法和设备。该里，DC模式被定 义为直流分量模式，SDC模式被定义为智能区段（Segment-wise)直流分量模式。
[0006] 实施例的另一方面提供了一种用于当基于帖内预测模式对深度图像进行编码或 解码时基于SDC模式中的平面模式和DMM1之中的一个代表性模式来对编码单元进行处理 的方法和设备。
[0007] 实施例的另一方面提供了一种用于基于邻近于与深度图像的编码单元相应的当 前块的上侧块或左侧块的SDC模式对与深度图像的编码单元相应的当前块进行编码或解 码的方法和设备。
[0008] 技术方案
[0009] 根据一方面，提供了一种对深度图像进行编码的方法，所述方法包括；基于简化深 度编码（SDC)模式对深度图像的编码单元进行编码；产生包括应用于编码单元的SDC模式 和编码单元的残差信息的比特流，其中，SDC模式包括平面模式或深度建模模式1值匪1)。
[0010] 编码步骤可包括：基于邻近于与编码单元相应的当前块的上侧块或左侧块的SDC 模式，对编码单元进行编码。
[0011] 编码单元的残差信息可基于针对深度图像的每个帖产生的深度查找表值LT)被 映射到索引。
[0012] 根据另一方面，提供了一种对深度图像进行编码的方法，所述方法包括：基于简化 深度编码（SDC)模式来对深度图像的编码单元进行编码；产生包括应用于编码单元的SDC模式和编码单元的残差信息的比特流，其中，SDC模式包括深度编码值C)模式、平面模式或 DMMlo
[0013] 编码步骤可包括：基于邻近于与编码单元相应的当前块的上侧块或左侧块的SDC模式，对编码单元进行编码。
[0014] 编码单元的残差信息可基于针对深度图像的每个帖产生的DLT被映射到索引。
[0015] 根据另一方面，提供了一种对深度图像进行解码的方法，所述方法包括：确定与应 用于深度图像的编码单元的帖内预测相关的SDC模式；基于SDC模式对编码单元进行解码， 其中，SDC模式包括平面模式或DMM1。
[0016] 平面模式可W是使用原始深度值和预测深度值的SDC模式，其中，所述预测深度 值基于编码单元中包括的多个样点之中的左上样点、右上样点、左下样点和右下样点。
[0017] DMM1可W是使用每个区段的原始深度值和每个区段的预测深度值的SDC模式，其 中，每个区段的预测深度值是从属于编码单元中的同一区段的左上样点、右上样点、左下样 点和右下样点得到的。
[0018] 根据另一方面，提供了一种对深度图像进行解码的方法，所述方法包括：确定与应 用于深度图像的编码单元的帖内预测相关的SDC模式；基于SDC模式对编码单元进行解码， 其中，SDC模式包括DC模式、平面模式或DMM1。
[0019] 平面模式可W是使用原始深度值和预测深度值的SDC模式，其中，所述预测深度 值基于编码单元中包括的多个样点之中的左上样点、右上样点、左下样点和右下样点。
[0020] DMM1可W是使用每个区段的原始深度值和每个区段的预测深度值的SDC模式，其 中，每个区段的预测深度值是从属于编码单元中的同一区段的左上样点、右上样点、左下样 点和右下样点得到的。
[0021] 根据另一方面，提供了一种对深度图像进行解码的方法，所述方法包括：确定与应 用于深度图像的编码单元的帖内预测相关的SDC模式；基于SDC模式对编码单元进行解码， 其中，SDC模式包括平面模式、深度建模模式UDMM1)和深度建模模式2值匪2)，其中，深度 编码值C)模式不包括在SDC模式中。
[0022] 根据另一方面，提供了一种对深度图像进行解码的方法，所述方法包括：确定与应 用于深度图像的编码单元的帖内预测相关的SDC模式；基于SDC模式对编码单元进行解码， 其中，SDC模式包括平面模式、深度建模模式l(DMMl)，其中，深度编码值C)模式和深度建模 模式2值匪2)不包括在SDC模式中。
[0023] 根据另一方面，提供了一种用于对深度图像进行编码的设备，所述设备包括处理 器，其中，处理器执行：基于SDC模式来对深度图像的编码单元进行编码；产生包括应用 于编码单元的SDC模式和编码单元的残差信息的比特流，其中，SDC模式包括平面模式或 DMM1。
[0024] 根据另一方面，提供了一种用于对深度图像进行编码的设备，所述设备包括处理 器，其中，处理器执行：基于SDC模式来对深度图像的编码单元进行编码；产生包括应用于 编码单元的SDC模式和编码单元的残差信息的比特流，其中，SDC模式包括DC模式、平面模 式或DMM1。
[00巧]根据另一方面，一种用于对深度图像进行解码的设备，所述设备包括处理器，其 中，处理器执行：确定与应用于深度图像的编码单元的帖内预测相关的SDC模式；基于SDC模式对编码单元进行解码，其中，SDC模式包括平面模式或DMM1。
[0026] 根据另一方面，提供了一种用于对深度图像进行解码的设备，所述设备包括处理 器，其中，处理器执行：确定与应用于深度图像的编码单元的帖内预测相关的SDC模式；基 于SDC模式对编码单元进行解码，其中，SDC模式包括DC模式、平面模式或DMM1。
[0027] 根据另一方面，提供了一种用于对深度图像进行解码的设备，所述设备包括处理 器，其中，处理器执行：确定与应用于深度图像的编码单元的帖内预测相关的SDC模式；基 于SDC模式对编码单元进行解码，其中，SDC模式包括平面模式、深度建模模式UDMM1)和 深度建模模式2值匪2)，其中，深度编码值C)模式不包括在SDC模式中。
[0028] 根据另一方面，提供了一种用于对深度图像进行解码的设备，所述设备包括处理 器，其中，处理器执行：确定与应用于深度图像的编码单元的帖内预测相关的SDC模式；基 于SDC模式对编码单元进行解码，其中，SDC模式包括平面模式、深度建模模式1值匪1)，其 中，深度编码值C)模式和深度建模模式2值匪2)不包括在SDC模式中。
[0029] 本发明的效果
[0030] 根据实施例，当基于帖内预测模式对深度图像进行编码或解码时，可基于简化深 度编码（SDC)模式中的深度编码值C)模式、平面模式和深度建模模式UDMM1)之中的一个 代表性模式对编码单元进行处理，因此，可提高对编码单元进行处理的效率。
[0031] 另外，根据实施例，当基于帖内预测模式对深度图像进行编码或解码时，可基于 SDC模式中的平面模式和DMM1之中的一个代表性模式对编码单元进行处理，因此，可提高 对编码单元进行处理的效率。
[0032] 另外，根据实施例，可基于邻近于与深度图像的编码单元相应的当前块的上侧块 或左侧块的SDC模式来对与深度图像的编码单元相应的当前块进行编码或解码，因此，可 更有效地反映深度图像的特征。
【附图说明】
[0033] 图1是示出根据实施例的编码设备和解码设备的示图。
[0034] 图2是示出根据实施例的编码设备的操作的流程图。
[0035] 图3是示出根据实施例的解码设备的操作的流程图。
[0036] 图4是被提供用于解释根据实施例的深度建模模式1值匪1)的示图。
[0037] 图5是示出根据实施例的基于平面模式（planarmode)获得预测值的处理的示 图。
[003引图6是示出根据实施例的基于DMM1获得预测值的处理的示图。
[0039] 图7是示出根据实施例的确定当前块的编码模式的处理的示图。
[0040] 图8是示出根据实施例的用于补偿深度查找表值LT)的en油le_flag的示图。
[0041] 图9是示出根据实施例的条带头中的DLT的示例的示图。
[0042] 图10是示出根据实施例的条带头中的DLT的另一示例的示图。
【具体实施方式】
[0043] 通过参照附图提供W下详细描述W解释实施例。
[0044] 图1是示出根据实施例的编码设备和解码设备的示图。
[0045] 参照图1，编码 设备101可将通过对深度图像进行编码而产生的比特流发送到解 码设备102。可选地，编码设备101可对深度图像进行编码，并可将深度图像存储在记录介 质中或W分离的文件格式来存储深度图像。解码设备102可从比特流获得深度图像，并可 重放S维（3D)图像。由于被用于发送比特流的带宽是有限的，因此深度图像的比特率会需 要被减小。深度图像可被表示为深度图（depthmap)。
[0046] 例如，编码设备101可使用帖内预测来对深度图像进行编码。编码设备101可基 于图像压缩方案（例如，H. 264/先进视频编码（AVC)、H. 264/多视点视频编码（MVC)或高 效视频编码（肥VC))来对深度图像进行编码。编码设备101可将单个深度图像划分为多个 编码单元，并可基于编码单元之间的空间相关性来执行帖内预测，或基于编码单元之间的 时间相关性来执行帖间预测。
[0047] 帖内预测可W是从与将被编码的编码单元邻近的像素的像素值来预测将被编码 的编码单元的像素值。通过帖内预测而计算的编码单元的预测值可基于编码单元的尺寸W 及参考用于预测的邻近像素的方案而不同。
[0048] 在图像压缩方案中，帖内预测模式的类型可基于编码单元的尺寸和参考邻近像素 的方案而被定义。编码设备101可选择在图像压缩方案中定义的多个帖内预测模式中的一 个帖内预测模式，并可对编码单元进行编码。编码设备101可选择使得用于对编码单元进 行编码的比特率和解码的编码单元的失真最小化的帖内预测模式。例如，编码设备101可 基于在图像压缩方案中定义的所有帖内预测模式来执行编码，并可选择具有用于编码的最 低代价的帖内预测模式作为编码单元的编码模式。
[0049] 当基于帖内预测对深度图像进行编码时，编码设备101可产生深度查找表值LT)。 DLT可基于深度图像的特征通过索引表示特定灰度级。通过使用索引表示编码单元的残差 信息和像素值来提高编码效率的方案可被定义为简化深度编码（SDC)。深度图像可包括与 "0"至"255"的灰度级之中的特定灰度级相应的像素，因此，当基于SDC模式执行编码时可 提局编码效率。
[0050] 编码设备101可使用在SDC模式中定义的代表性模式来对深度图像进行编码。代 表性模式可包括例如深度编码值C)模式、深度建模模式1值匪1)、深度建模模式2值匪2)和 平面模式。例如，编码设备101可基于四个代表性模式之中的除了DMM2之外的=个代表性 模式来执行编码。另外，编码设备101可基于四个代表性模式之中的除了DC模式和DMM2 之外的两个代表性模式来执行编码。
[0051] 编码设备101可对编码单元设置代表性模式。编码设备101可将代表性模式和残 差信息发送到解码设备102。残差信息可W是通过对编码单元进行预测而获得的结果。
[0052] 图2是示出根据实施例的编码设备的操作的流程图。
[0053] 在操作201，编码设备101可基于SDC模式对编码单元进行编码。为了基于SDC模 式对深度图像进行编码，编码设备101可使用一些代表性模式，而不是使用在肥VC中通常 使用的35种帖内预测模式。深度图像的复杂度可比彩色图像更低，深度图像的灰度级可被 分布中预定范围中，因此，能够基于简单代表性模式来进行最多的预测。
[0054]SDC模式可与用于对深度图像进行编码W重放3D视频的帖内预测模式相关联。 在示例中，为了对深度图像进行编码，编码设备101可使用SDC模式之中的除了DC模式和 DMM2之外的平面模式和DMMl中的一个。换句话说，平面模式和DMMl可W是SDC模式中的 代表性模式。
[00巧]在另一示例中，为了对深度图像进行编码，编码设备101可使用SDC模式之中的除 了DMM2之外的DC模式、平面模式和DMM1中的一个。换句话说，DC模式、平面模式和DMM1 可W是SDC模式之中的代表性模式。编码设备101可基于SDC模式中的代表性模式之中的 具有最高可能性的代表性模式来对编码单元进行预测和编码。
[0056]DC模式可指示根据现有技术的深度图像压缩方案中的方向性帖内预测。DMM模式 可被用于在对深度图像的不连续性进行建模期间执行合成（synthesis)的时间点提高失 真率和比特率。换句话说，编码设备101可基于排除了一部分代表性模式的SDC模式来对 深度图像进行编码，因此，可提高编码效率。
[0057] 当用于编码单元的SDC模式被选择时，可基于选择的SDC模式的代表性模式来对 编码单元进行预测。由于针对每个编码单元在一个或两个深度区段（segment)中基于SDC 模式执行预测，因此可针对每个深度区域，对单个残差DC深度值进行编码。深度区段可包 括多个像素。当SDC模式被使用时，可在像素域对残差信息进行编码，因此振铃效应可被去 除。
[0058] SDC模式可被用于深度图像的帖内预测。可另外使用指示SDC模式被应用到编码 单元的SDC标志。例如，当基于SDC模式对编码单元进行编码时，编码单元的尺寸可被确定 为"2NX2N"。当基于SDC模式执行编码时，编码单元的代表性模式和区段类型可被编码。
[0059] <代表性模式/区段类型〉
[0060] DC(1个区段）
[0061]DMM模式1-显式模波（Wedgelets) (2个区段）
[0062] DMM模式2-帖内预测的模波（2个区段）
[0063] 平面（1个区段）
[0064] 对于每个区段，在比特流中可使用信号发送像素域中的残差信息。在编码之前，可 使用DLT将残差信息映射到未编码的深度图像的原始深度值。因此，可通过用信号发送化T 中的索引来对残差信息进行编码。
[0065] 编码设备101可通过从深度图像的多个帖提取预定数量的帖来分析直方图，并可 确定灰度级。编码设备101可基于确定的灰度级产生下面示出的化T。
[0066]
[0067] 例如，编码设备101可在SDC模式下对编码单元进行编码。在该示例中，编码设备 101可将DLT组合，并可用信号发送针对每个区段设置的残差信息，W减小所需的比特率。 DLT可W是将深度图像的原始深度值映射到索引的结果。可通过对输入的深度图像的序列 中的特定数量的帖进行分析来产生化T。DLT可在编码处理中被使用W减小残差信息的比 特深度。
[0068] 编码设备101可对深度图像的序列之中的特定数量的帖进行分析。可对帖进行编 码，并可针对所有深度值，对所有像素进行扫描。在分析期间，编码设备101可基于没被压 缩的原始深度图像将深度值映射到有效深度值，并可产生映射表。
[0069] 然而，当通过对预定数量的帖进行分析而不是对深度图像中的所有帖进行分析来 产生DLT时，该DLT是否代表深度图像会是个问题。例如，编码设备101可通过对深度图像 进行分析来产生化T，并可将DLT记录在序列参数集（SP巧中。记录在SPS中的DLT可被发 送到解码设备102。
[0070] 可基于下面的处理来产生化T:
[ocm] 输入；在时间示例t的NXM个像素的深度图D_t
[0072] 输出；深度查找表D(.)
[0073] 索引查找表1(.)
[0074] 深度映射表M(.)
[00巧]有效深度值的数量cLvalid
[0076] < 算法〉
[0077] 初始化
[0078] 对于所有深度值d，布尔矢量化ooleanvector)B(d) =FALSE [007引索引计数器i=0
[0080] 针对多个时间示例t，处理D_t中的每个像素位置p:
[0081] 设置B〇)_t(P)) =TR肥W标记有效深度值
[0082] 在B(d) ?cLvalid中对TURE值的数量进行计数
[0083] 对于每个B(d) = =TR肥的d;
[0084] 设置D(;L) =d
[00财设置M(d)=d[008引 设置I(d) =i
[0087] i=i+1
[0088] 对于每个B(d) = =FALSE的d;
[0089] 寻找d□ =argminId-d□IandB(d□ ) = =TRUE
[0090] 设置M(d) =d□
[00川设置I(d)=I(dQ)
[0092] 编码设备101可将深度图像映射到与深度值相应的索引，而不是针对给定编码单 元对深度图像的残差信息进行编码。映射表可被发送到解码设备102,其中，解码设备102 被配置为通过DLT的逆来从索引获得深度值。
[0093] 输入；原始深度值d_orig
[0094] 预测深度值d_pred
[0095] 索引查找表I(.)
[0096] 有效深度值的数量cLvalid
[0097] 输出；将被编码的残差索引i_resi [009引算法；
[0099] i_resi = I(d_orig)-I(d_pred)
[0100] 可使用标志来对残差信息的索引i_resi进行编码。
[0101] 编码设备101可使用邻近于与编码单元相应的当前块的块来确定将被应用于与 编码单元相应的当前块的SDC模式。例如，编码设 备101可确定与当前块邻近的上侧块或 左侧块的SDC模式，并可确定当前块的SDC模式。当使用帖间预测模式或帖内预测模式而 不是使用SDC模式来对所述上侧块或左侧块进行编码时，编码设备101可执行例外处理。
[0102] 在操作202,编码设备101可将包括编码单元的残差信息和应用到编码单元的SDC 模式的比特流发送到解码设备102。
[0103] 图3是示出根据实施例的解码设备的操作的流程图。
[0104] 在操作301，解码设备102可确定被应用于编码单元的SDC模式。在示例中，解码 设备102可确定在SDC模式中的除了DMM2和DC模式之外的平面模式和DMM1中的一个是 否被应用于编码单元。换句话说，DMM1和平面模式可W是SDC模式中的代表性模式。
[0105] 在另一示例中，解码设备102可确定在SDC模式中的除了DMM2之外的DC模式、平 面模式和DMM1中的一个是否被应用于编码单元W对深度图像进行编码。换句话说，DC模 式、DMM1和平面模式可W是SDC模式中的代表性模式。
[0106] 在操作302,解码设备102可基于应用到编码单元的SDC模式对编码单元进行解 码。
[0107] 图4是被提供用于解释根据实施例的DMM1的示图。
[0108] 深度图像可主要包括表示对象边界的锐利边缘W及表示对象区域的近乎不变或 缓慢变化的样值。为了清楚地表示深度图像中的对象边界，可加入针对深度图像的帖内预 测模式。深度图像的块401可被划分为两个非矩形区域，每个非矩形区域可由常数表示。与 每个非矩形区域相应的样点可由常数指示，并且每个非矩形区域可由恒定划分值（CPV)表 示。模波划分方案和轮廓（Contour)划分方案可被用作划分方案，DMM1可基于模波划分方 案。
[0109] 基于SDC模式，指示原始深度值和预定深度值之间的差的残差信息可被发送。在 深度图像的块中，可基于DMM确定预测深度值。在模波划分方案中，深度图像的块401可被 直线划分为两个区域P1和P2。深度图像的块402可包括多个样点（uBXvB)，每个样点可 属于该两个区域中的一个区域。
[0110] 另外，深度图像的块403中的样点可基于块403中的每个样点所属的区域由二进 制信息标识。DMM1可基于模波划分方案，划分信息可通过比特流发送到解码设备102。解 码设备102可基于划分信息来恢复深度图像的块。
[0111] 可由编码设备101将划分信息发送到解码设备102,而不是由解码设备102来预测 划分信息。基于模波划分方案的边界可被确定为使属于由模波划分方案获得的区域的原始 深度值和预测值之间的失真最小化。
[0112] 图5是示出根据实施例的基于平面模式获得预测值的处理的示图。
[0113] SDC模式可代替深度图像的帖内预测模式。深度图像的深度帖内参数可指示编码 单元是否在SDC模式下被用信号发送。在SDC模式下，可基于SDC模式中包括的平面模式 和DMM1中的一个来对与深度图像的编码单元相应的块进行预测。此外，在SDC模式下，可 基于SDC模式中包括的平面模式、DC模式和DMM1中的一个来对与深度图像的编码单元相 应的块进行预测。
[0114] 包括基于SDC模式预测的预测单元的编码单元可具有"2NX2N"的划分尺寸。残 差信息可通过量化的变换系数来编码，并且指示一个或两个常数的残差信息可被用信号发 送。
[0115] 可基于W下信息来用信号发送基于SDC模式编码的块：
[0116] DMM模式1-显式模波（2个区段）
[0117] 平面（1个区段）
[0118] 在编码之前，残差信息可基于DLT被映射到深度图像的原始深度值。可通过用信 号发送DLT中的索引来对残差信息进行编码。表示映射表的DLT可被发送到解码设备102。
[0119] 编码设备101可使用深度图像的预测深度值dpud和原始深度值的平均值。在 平面模式下，预测深度值dpud可被计算为预测块中的左上样点501、左下样点502、右上样点 503和右下样点504的平均值。
[0120] 图6是示出根据实施例的基于DMM1获得预测值的处理的示图。
[0121] 在DMM1下，与区域相应的预测深度值dpud可被确定为预测块中的属于该区域的 样点的平均值。例如，与包括白色样点的区域相应的预测深度值dpud可被确定为左上样点 601。另外，与包括黑色样点的区域相应的预测深度值dpud可被计算为左下样点602、右上 样点603和右下样点604的平均值。区域可与区段相应。
[0122] DLT可被用于使用索引将原始深度值映射到预测深度值。残差索引可被发送 到解码设备102,并可基于下面的等式1来确定：
[0123] [等式 1]
[01 24]iresi=I(d〇邮）-I(dpred)，
[012引该里，I(.)表示化T。在解码设备102中，可基于下面的等式2来确定恢复的原始 深度值的平均值：
[0126] [等式 2]
[0127]
[0128] 该里，ri(.)表示逆化T。可基于下面的等式3来确定平均残差信息：
[0129] [等式 3]
[0130]
[0131] 可基于下面的等式4来确定恢复的样点;
[0132] [等式 4]
[0133]
[0134] 可用标志来对计算出的残差信息ifwi进行编码。
[0135] 图7是示出根据实施例的确定当前块的编码模式的处理的示图。
[0136] 如上面参照图2所述的，编码设备101可确定与编码单元相应的当前块X701的 编码模式。编码设备101可基于应用于与当前块701邻近的左侧块A702或上侧块B703 的SDC模式，确定当前块701的编码模式。
[0137] 例如，当SDC模式中的DC模式被应用于左侧块702时，DC模式可被应用于当前块 701。当SDC模式中的DMM1被应用于左侧块702时，DMM1可被应用于当前块701。当SDC 模式中的平面模式被应用于左侧块702时，平面模式可被应用于当前块701。与应用于上侧 块703的模式相同的模式可被应用于当前块701。
[013引当除了SDC模式之外的帖间预测模式或帖内预测模式被应用于左侧块702或上侧 块703时，DC模式可被应用于当前块701。
[0139] 图8是示出根据实施例的用于补偿DLT的en油le_flag的示图。
[0140] 编码设备101可从将被编码的深度图像的序列提取预设数量的帖，并可分析直方 图。编码设备101可通过分析直方图来确定灰度级，并可基于确定的灰度级来产生化T。
[0141] 为了反映除了预设数量的帖之外的帖的特征，编码设备101可确定并记录针对深 度图像的每个帖的en油le_flag。
[0142] DLT可被记录在SPS中。SPS中记录的DLT可被发送到解码设备102。解码设备 102可通过对深度图像的当前帖进行分析来产生深度图像的当前帖的化T。编码设备101可 将SPS中记录的DLT的灰度级与产生的DLT的灰度级进行比较。当灰度级之间的相似度等 于或大于参考值时，编码设备101可使用SPS中记录的化T(而不改变该化T)，基于SDC模 式来执行编码。类似地，解码设备102可将SPS中记录的化T的灰度级与产生的化T的灰 度级进行比较。当灰度级之间的相似度等于或大于参考值时，解码设备102可使用SPS中 记录的化T(而不改变该化T)，基于SDC模式来执行编码。
[0143] 当相似度小于参考值时，编码设备101可不基于SDC模式对深度图像的编码单元 进行处理。类似地，当相似度小于参考值时，解码设备102可不基于SDC模式对深度图像的 编码单元进行处理。
[0144] 当通过当前帖的DLT和SPS中记录的DLT之间的比较确定当前帖的DLT和SPS中 记录的DLT之间的相似度等于或大于参考值时，dlt_en油le_flag可W是"1"，并且编码设 备101或解码设备102可基于SDC模式对编码单元进行处理。相反，当通过当前帖的DLT和 SPS中记录的DLT之间的比较确定当前帖的DLT和SPS中记录的DLT之间的相似度小于参 考值时，dlt_en油le_flag可W是"0"，并且编码设备101或解码设备102可不基于SDC模 式对编码单元进行处理。
[0145] 图9是示出根据实施例的在条带头中的DLT的示例的示图。
[0146] 可针对每个帖产生图8的化T，并且图8的DLT可被记录在条带头中而不是SPS 中。
[0147] 图10是示出根据实施例的在条带头中的DLT的另一示例的示图。
[014引在图10中，DLT可被记录在SPS和条带头两者中。当通过与帖关联的DLT和SPS中记录的DLT之间的比较确定与帖关联的DLT和SPS中记录的DLT之间的相似度等于或大 于参考值时，与帖关联的DLT可被记录在SPS中，而不是条带头中。
[0149] 换句话说，当通过当前帖的DLT和SPS中记录的DLT之间的比较确定当前帖的化T 和SPS中记录的DLT之间的相似度等于或大于参考值时，dlt_en油le_flag可W是"1"，并 且SPS中记录的DLT可被使用。相反，当相似度被确定为小于参考值时，dlt_en油le_flag 可W是"0"，并且SPS中记录的DLT可不被使用。
[0150] 可使用硬件组件、软件组件和/或它们的组合来实现该里描述的单元。可使用一 个或更多个通用计算机或专用计算机（诸如，例如处理器、控制器和算术逻辑单元（ALU)、 数字信号处理器、微计算机、场可编程阵列（FPA)、可编程逻辑单元（PLU)、微处理器或能够 按照限定方式响应并执行指令的任何其它装置）来实现单元和组件。处理装置可运行操作 系数（0巧W及在0S上运行的一个或更多个软件应用。处理装置还可响应于软件的执行来 访问、存储、操作、处理和创建数据。为了简化的目的，对处理装置的描述使用单数形式，然 而本领域的技术人员将理解，处理装置可包括多个处理元件W及多种类型的处理元件。例 如，处理装置可包括多个处理器或者单个处理器和控制器。此外，不同的处理配置是可能 的，诸如并行处理器。
[0151] 软件可包括计算机程序、一段代码、指令或它们的部分组合，W独立地或共同地指 示或配置处理装置按照所期望地进行操作。软件和/或数据可被永久地或临时地实现在任 何类型的机器、组件、物理或虚拟设备、计算器存储介质或装置中，或者被实现在能够将指 示或数据提供给处理装置或能够由处理装置解释的传播信号波中。软件还可被分布在联网 的计算机系统上，使得软件W分布式方式被存储和执行。可由一个或更多个非暂时性计算 机可读记录介质来存储软件和数据。
[0152] 根据上述实施例的方法可被记录在非暂时性计算机可读介质中，其中，非暂时性 计算机可读介质包括用于实现由计算机执行的各种操作的程序指令。该介质还可单独地包 括数据文件、数据结构等或与程序指令组合地包括数据文件、数据结构等。记录在介质上的 程序指令可W是那些专口为实施例的目的而设计和构造的程序指令，或者程序指令可W是 对于计算机软件领域的技术人员来说公知并可用的程序指令。非暂时性计算机可读介质的 示例包括磁介质（诸如硬盘、软盘和磁带）、光学介质（诸如CDROM盘和DVD)、磁光介质 (诸如光盘）、W及专口配置为存储和执行程序指令的硬件装置（诸如只读存储器（ROM)、 随机存取存储器（RAM)、闪存）等。程序指令的示例包括机器代码（诸如由编译器产生的） 和包含可由计算机使用解释器执行的高级代码的文件两者。描述的硬件装置可被配置为用 作一个或更多个软件模块W执行上述实施例的操作，或反之亦然。
[0153] 虽然在上面W及附图中描述了各个实施例，但是应该理解它们仅作为示例被呈 现，并不作为限制。应该理解，可由本领域的普通技术人员进行各种修改。例如，如果W不 同的顺序执行描述的技术，并且/或如果描述的系统、构造、装置或电路中的组件W不同的 方式组合和/或由其它组件或它们的等同物来代替或补充，可达到适当的结果。因此，其它 实现方式在权利要求的范围内。
【主权项】
1. 一种对深度图像进行编码的方法，所述方法包括： 在简化深度编码（SDC)模式下对深度图像的编码单元进行编码； 产生包括应用于编码单元的SDC模式和编码单元的残差信息的比特流， 其中，SDC模式包括平面模式或深度建模模式I(DMMl)。2. 如权利要求1所述的方法，其中，编码步骤包括：基于邻近于与编码单元相应的当前 块的上侧块或左侧块的SDC模式，对编码单元进行编码。3. 如权利要求1所述的方法，其中，编码单元的残差信息基于针对深度图像的每个帧 产生的深度查找表（DLT)被映射到索引。4. 一种对深度图像进行编码的方法，所述方法包括： 基于简化深度编码（SDC)模式来对深度图像的编码单元进行编码； 产生包括应用于编码单元的SDC模式和编码单元的残差信息的比特流， 其中，SDC模式包括深度编码（DC)模式、平面模式或深度建模模式I(DMMl)。5. 如权利要求4所述的方法，其中，编码步骤包括：基于邻近于与编码单元相应的当前 块的上侧块或左侧块的SDC模式，对编码单元进行编码。6. 如权利要求4所述的方法，其中，编码单元的残差信息基于针对深度图像的每个帧 产生的深度查找表（DLT)被映射到索引。7. -种对深度图像进行解码的方法，所述方法包括： 确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码（SDC)模式； 基于SDC模式对编码单元进行解码， 其中，SDC模式包括平面模式或深度建模模式I(DMMl)。8. 如权利要求7所述的方法，其中，平面模式是使用原始深度值和预测深度值的SDC模 式，其中，所述预测深度值基于编码单元中包括的多个样点之中的左上样点、右上样点、左 下样点和右下样点。9. 如权利要求7所述的方法，其中，DMMl是使用每个区段的原始深度值和每个区段的 预测深度值的SDC模式，其中，每个区段的预测深度值是从属于编码单元中的同一区段的 左上样点、右上样点、左下样点和右下样点得到的。10. -种对深度图像进行解码的方法，所述方法包括： 确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码（SDC)模式； 基于SDC模式对编码单元进行解码， 其中，SDC模式包括深度编码（DC)模式、平面模式或深度建模模式I(DMMl)。11. 如权利要求10所述的方法，其中，平面模式是使用原始深度值和预测深度值的SDC 模式，其中，所述预测深度值基于编码单元中包括的多个样点之中的左上样点、右上样点、 左下样点和右下样点。12. 如权利要求10所述的方法，其中，DMMl是使用每个区段的原始深度值和每个区段 的预测深度值的SDC模式，其中，每个区段的预测深度值是从属于编码单元中的同一区段 的左上样点、右上样点、左下样点和右下样点得到的。13. -种对深度图像进行解码的方法，所述方法包括： 确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码（SDC)模式； 基于SDC模式对编码单元进行解码， 其中，SDC模式包括平面模式、深度建模模式I(DMMl)和深度建模模式2 (DMM2)， 其中，深度编码（DC)模式未包括在SDC模式中。14. 一种对深度图像进行解码的方法，所述方法包括： 确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码（SDC)模式； 基于SDC模式对编码单元进行解码， 其中，SDC模式包括平面模式和深度建模模式I(DMMl)， 其中，深度编码（DC)模式和深度建模模式2 (DMM2)未包括在SDC模式中。15. -种用于对深度图像进行编码的设备，所述设备包括处理器， 其中，处理器执行以下操作： 基于简化深度编码（SDC)模式来对深度图像的编码单元进行编码； 产生包括应用于编码单元的SDC模式和编码单元的残差信息的比特流， 其中，SDC模式包括平面模式或深度建模模式I(DMMl)。16. -种用于对深度图像进行编码的设备，所述设备包括处理器， 其中，处理器执行以下操作： 基于简化深度编码（SDC)模式来对深度图像的编码单元进行编码； 产生包括应用于编码单元的SDC模式和编码单元的残差信息的比特流， 其中，SDC模式包括深度编码（DC)模式、平面模式或深度建模模式I(DMMl)。17. -种用于对深度图像进行解码的设备，所述设备包括处理器， 其中，处理器执行以下操作： 确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码（SDC)模式； 基于SDC模式对编码单元进行解码， 其中，SDC模式包括平面模式或深度建模模式I(DMMl)。18. -种用于对深度图像进行解码的设备，所述设备包括处理器， 其中，处理器执行以下操作： 确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码（SDC)模式； 基于SDC模式对编码单元进行解码， 其中，SDC模式包括深度编码（DC)模式、平面模式或深度建模模式I(DMMl)。19. 一种用于对深度图像进行解码的设备，所述设备包括处理器， 其中，处理器执行以下操作： 确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码（SDC)模式； 基于SDC模式对编码单元进行解码， 其中，SDC模式包括平面模式、深度建模模式I(DMMl)和深度建模模式2 (DMM2)， 其中，深度编码（DC)模式未包括在SDC模式中。20. -种用于对深度图像进行解码的设备，所述设备包括处理器， 其中，处理器执行以下操作： 确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码（SDC)模式； 基于SDC模式对编码单元进行解码， 其中，SDC模式包括平面模式和深度建模模式I(DMMl)， 其中，深度编码（DC)模式和深度建模模式2 (DMM2)未包括在SDC模式中。
【专利摘要】公开了一种用于深度图像的编码设备和解码设备以及编码方法和解码方法。为了根据帧内预测模式对深度图像进行处理，编码设备或解码设备可使用SDC模式的DC模式、平面模式或DMM1中的代表性模式。此外，为了根据帧内预测模式对深度图像进行处理，编码设备或解码设备可使用平面模式或DMM1之中的代表性模式。
【IPC分类】H04N19/597, H04N19/593
【公开号】CN104904220
【申请号】CN201480004107
【发明人】任一淳, 吴秉泰, 魏浩千
【申请人】三星电子株式会社
【公开日】2015年9月9日
【申请日】2014年1月3日
【公告号】US20150350677
【技术领域】
[0001] W下实施例设及当深度图像被编码或解码时基于简化深度编码（SDC)模式对深 度图像的处理。具体地说，实施例可被应用于深度图像的比特率由于有限的带宽而需要被 减小的视频压缩领域。
【背景技术】
[0002] 为了对深度图像进行编码或解码，可使用帖内预测或帖间预测。可基于编码单元 之间的空间相关性来执行帖内预测，可基于编码单元之间的时间相关性来执行帖间预测方 案。
[0003] 在根据现有技术的压缩方案中，为了执行对深度图像的帖内预测，可设置多种模 式，并可对编码单元应用具有最低代价的编码模式。然而，由于深度图像具有"0"至"255" 的灰度级之中的特定灰度级，可能需要设置更多的有效编码模式来减小当深度图像被发送 时所需的比特率。
【发明内容】
[0004] 技术目标
[0005] 实施例的一方面提供一种用于当基于帖内预测模式对深度图像进行编码或解 码时基于简化深度编码（SDC)模式中的深度编码值C)模式、平面模式和深度建模模式 UDMM1)之中的一个代表性模式来对编码单元进行处理的方法和设备。该里，DC模式被定 义为直流分量模式，SDC模式被定义为智能区段（Segment-wise)直流分量模式。
[0006] 实施例的另一方面提供了一种用于当基于帖内预测模式对深度图像进行编码或 解码时基于SDC模式中的平面模式和DMM1之中的一个代表性模式来对编码单元进行处理 的方法和设备。
[0007] 实施例的另一方面提供了一种用于基于邻近于与深度图像的编码单元相应的当 前块的上侧块或左侧块的SDC模式对与深度图像的编码单元相应的当前块进行编码或解 码的方法和设备。
[0008] 技术方案
[0009] 根据一方面，提供了一种对深度图像进行编码的方法，所述方法包括；基于简化深 度编码（SDC)模式对深度图像的编码单元进行编码；产生包括应用于编码单元的SDC模式 和编码单元的残差信息的比特流，其中，SDC模式包括平面模式或深度建模模式1值匪1)。
[0010] 编码步骤可包括：基于邻近于与编码单元相应的当前块的上侧块或左侧块的SDC 模式，对编码单元进行编码。
[0011] 编码单元的残差信息可基于针对深度图像的每个帖产生的深度查找表值LT)被 映射到索引。
[0012] 根据另一方面，提供了一种对深度图像进行编码的方法，所述方法包括：基于简化 深度编码（SDC)模式来对深度图像的编码单元进行编码；产生包括应用于编码单元的SDC模式和编码单元的残差信息的比特流，其中，SDC模式包括深度编码值C)模式、平面模式或 DMMlo
[0013] 编码步骤可包括：基于邻近于与编码单元相应的当前块的上侧块或左侧块的SDC模式，对编码单元进行编码。
[0014] 编码单元的残差信息可基于针对深度图像的每个帖产生的DLT被映射到索引。
[0015] 根据另一方面，提供了一种对深度图像进行解码的方法，所述方法包括：确定与应 用于深度图像的编码单元的帖内预测相关的SDC模式；基于SDC模式对编码单元进行解码， 其中，SDC模式包括平面模式或DMM1。
[0016] 平面模式可W是使用原始深度值和预测深度值的SDC模式，其中，所述预测深度 值基于编码单元中包括的多个样点之中的左上样点、右上样点、左下样点和右下样点。
[0017] DMM1可W是使用每个区段的原始深度值和每个区段的预测深度值的SDC模式，其 中，每个区段的预测深度值是从属于编码单元中的同一区段的左上样点、右上样点、左下样 点和右下样点得到的。
[0018] 根据另一方面，提供了一种对深度图像进行解码的方法，所述方法包括：确定与应 用于深度图像的编码单元的帖内预测相关的SDC模式；基于SDC模式对编码单元进行解码， 其中，SDC模式包括DC模式、平面模式或DMM1。
[0019] 平面模式可W是使用原始深度值和预测深度值的SDC模式，其中，所述预测深度 值基于编码单元中包括的多个样点之中的左上样点、右上样点、左下样点和右下样点。
[0020] DMM1可W是使用每个区段的原始深度值和每个区段的预测深度值的SDC模式，其 中，每个区段的预测深度值是从属于编码单元中的同一区段的左上样点、右上样点、左下样 点和右下样点得到的。
[0021] 根据另一方面，提供了一种对深度图像进行解码的方法，所述方法包括：确定与应 用于深度图像的编码单元的帖内预测相关的SDC模式；基于SDC模式对编码单元进行解码， 其中，SDC模式包括平面模式、深度建模模式UDMM1)和深度建模模式2值匪2)，其中，深度 编码值C)模式不包括在SDC模式中。
[0022] 根据另一方面，提供了一种对深度图像进行解码的方法，所述方法包括：确定与应 用于深度图像的编码单元的帖内预测相关的SDC模式；基于SDC模式对编码单元进行解码， 其中，SDC模式包括平面模式、深度建模模式l(DMMl)，其中，深度编码值C)模式和深度建模 模式2值匪2)不包括在SDC模式中。
[0023] 根据另一方面，提供了一种用于对深度图像进行编码的设备，所述设备包括处理 器，其中，处理器执行：基于SDC模式来对深度图像的编码单元进行编码；产生包括应用 于编码单元的SDC模式和编码单元的残差信息的比特流，其中，SDC模式包括平面模式或 DMM1。
[0024] 根据另一方面，提供了一种用于对深度图像进行编码的设备，所述设备包括处理 器，其中，处理器执行：基于SDC模式来对深度图像的编码单元进行编码；产生包括应用于 编码单元的SDC模式和编码单元的残差信息的比特流，其中，SDC模式包括DC模式、平面模 式或DMM1。
[00巧]根据另一方面，一种用于对深度图像进行解码的设备，所述设备包括处理器，其 中，处理器执行：确定与应用于深度图像的编码单元的帖内预测相关的SDC模式；基于SDC模式对编码单元进行解码，其中，SDC模式包括平面模式或DMM1。
[0026] 根据另一方面，提供了一种用于对深度图像进行解码的设备，所述设备包括处理 器，其中，处理器执行：确定与应用于深度图像的编码单元的帖内预测相关的SDC模式；基 于SDC模式对编码单元进行解码，其中，SDC模式包括DC模式、平面模式或DMM1。
[0027] 根据另一方面，提供了一种用于对深度图像进行解码的设备，所述设备包括处理 器，其中，处理器执行：确定与应用于深度图像的编码单元的帖内预测相关的SDC模式；基 于SDC模式对编码单元进行解码，其中，SDC模式包括平面模式、深度建模模式UDMM1)和 深度建模模式2值匪2)，其中，深度编码值C)模式不包括在SDC模式中。
[0028] 根据另一方面，提供了一种用于对深度图像进行解码的设备，所述设备包括处理 器，其中，处理器执行：确定与应用于深度图像的编码单元的帖内预测相关的SDC模式；基 于SDC模式对编码单元进行解码，其中，SDC模式包括平面模式、深度建模模式1值匪1)，其 中，深度编码值C)模式和深度建模模式2值匪2)不包括在SDC模式中。
[0029] 本发明的效果
[0030] 根据实施例，当基于帖内预测模式对深度图像进行编码或解码时，可基于简化深 度编码（SDC)模式中的深度编码值C)模式、平面模式和深度建模模式UDMM1)之中的一个 代表性模式对编码单元进行处理，因此，可提高对编码单元进行处理的效率。
[0031] 另外，根据实施例，当基于帖内预测模式对深度图像进行编码或解码时，可基于 SDC模式中的平面模式和DMM1之中的一个代表性模式对编码单元进行处理，因此，可提高 对编码单元进行处理的效率。
[0032] 另外，根据实施例，可基于邻近于与深度图像的编码单元相应的当前块的上侧块 或左侧块的SDC模式来对与深度图像的编码单元相应的当前块进行编码或解码，因此，可 更有效地反映深度图像的特征。
【附图说明】
[0033] 图1是示出根据实施例的编码设备和解码设备的示图。
[0034] 图2是示出根据实施例的编码设备的操作的流程图。
[0035] 图3是示出根据实施例的解码设备的操作的流程图。
[0036] 图4是被提供用于解释根据实施例的深度建模模式1值匪1)的示图。
[0037] 图5是示出根据实施例的基于平面模式（planarmode)获得预测值的处理的示 图。
[003引图6是示出根据实施例的基于DMM1获得预测值的处理的示图。
[0039] 图7是示出根据实施例的确定当前块的编码模式的处理的示图。
[0040] 图8是示出根据实施例的用于补偿深度查找表值LT)的en油le_flag的示图。
[0041] 图9是示出根据实施例的条带头中的DLT的示例的示图。
[0042] 图10是示出根据实施例的条带头中的DLT的另一示例的示图。
【具体实施方式】
[0043] 通过参照附图提供W下详细描述W解释实施例。
[0044] 图1是示出根据实施例的编码设备和解码设备的示图。
[0045] 参照图1，编码 设备101可将通过对深度图像进行编码而产生的比特流发送到解 码设备102。可选地，编码设备101可对深度图像进行编码，并可将深度图像存储在记录介 质中或W分离的文件格式来存储深度图像。解码设备102可从比特流获得深度图像，并可 重放S维（3D)图像。由于被用于发送比特流的带宽是有限的，因此深度图像的比特率会需 要被减小。深度图像可被表示为深度图（depthmap)。
[0046] 例如，编码设备101可使用帖内预测来对深度图像进行编码。编码设备101可基 于图像压缩方案（例如，H. 264/先进视频编码（AVC)、H. 264/多视点视频编码（MVC)或高 效视频编码（肥VC))来对深度图像进行编码。编码设备101可将单个深度图像划分为多个 编码单元，并可基于编码单元之间的空间相关性来执行帖内预测，或基于编码单元之间的 时间相关性来执行帖间预测。
[0047] 帖内预测可W是从与将被编码的编码单元邻近的像素的像素值来预测将被编码 的编码单元的像素值。通过帖内预测而计算的编码单元的预测值可基于编码单元的尺寸W 及参考用于预测的邻近像素的方案而不同。
[0048] 在图像压缩方案中，帖内预测模式的类型可基于编码单元的尺寸和参考邻近像素 的方案而被定义。编码设备101可选择在图像压缩方案中定义的多个帖内预测模式中的一 个帖内预测模式，并可对编码单元进行编码。编码设备101可选择使得用于对编码单元进 行编码的比特率和解码的编码单元的失真最小化的帖内预测模式。例如，编码设备101可 基于在图像压缩方案中定义的所有帖内预测模式来执行编码，并可选择具有用于编码的最 低代价的帖内预测模式作为编码单元的编码模式。
[0049] 当基于帖内预测对深度图像进行编码时，编码设备101可产生深度查找表值LT)。 DLT可基于深度图像的特征通过索引表示特定灰度级。通过使用索引表示编码单元的残差 信息和像素值来提高编码效率的方案可被定义为简化深度编码（SDC)。深度图像可包括与 "0"至"255"的灰度级之中的特定灰度级相应的像素，因此，当基于SDC模式执行编码时可 提局编码效率。
[0050] 编码设备101可使用在SDC模式中定义的代表性模式来对深度图像进行编码。代 表性模式可包括例如深度编码值C)模式、深度建模模式1值匪1)、深度建模模式2值匪2)和 平面模式。例如，编码设备101可基于四个代表性模式之中的除了DMM2之外的=个代表性 模式来执行编码。另外，编码设备101可基于四个代表性模式之中的除了DC模式和DMM2 之外的两个代表性模式来执行编码。
[0051] 编码设备101可对编码单元设置代表性模式。编码设备101可将代表性模式和残 差信息发送到解码设备102。残差信息可W是通过对编码单元进行预测而获得的结果。
[0052] 图2是示出根据实施例的编码设备的操作的流程图。
[0053] 在操作201，编码设备101可基于SDC模式对编码单元进行编码。为了基于SDC模 式对深度图像进行编码，编码设备101可使用一些代表性模式，而不是使用在肥VC中通常 使用的35种帖内预测模式。深度图像的复杂度可比彩色图像更低，深度图像的灰度级可被 分布中预定范围中，因此，能够基于简单代表性模式来进行最多的预测。
[0054]SDC模式可与用于对深度图像进行编码W重放3D视频的帖内预测模式相关联。 在示例中，为了对深度图像进行编码，编码设备101可使用SDC模式之中的除了DC模式和 DMM2之外的平面模式和DMMl中的一个。换句话说，平面模式和DMMl可W是SDC模式中的 代表性模式。
[00巧]在另一示例中，为了对深度图像进行编码，编码设备101可使用SDC模式之中的除 了DMM2之外的DC模式、平面模式和DMM1中的一个。换句话说，DC模式、平面模式和DMM1 可W是SDC模式之中的代表性模式。编码设备101可基于SDC模式中的代表性模式之中的 具有最高可能性的代表性模式来对编码单元进行预测和编码。
[0056]DC模式可指示根据现有技术的深度图像压缩方案中的方向性帖内预测。DMM模式 可被用于在对深度图像的不连续性进行建模期间执行合成（synthesis)的时间点提高失 真率和比特率。换句话说，编码设备101可基于排除了一部分代表性模式的SDC模式来对 深度图像进行编码，因此，可提高编码效率。
[0057] 当用于编码单元的SDC模式被选择时，可基于选择的SDC模式的代表性模式来对 编码单元进行预测。由于针对每个编码单元在一个或两个深度区段（segment)中基于SDC 模式执行预测，因此可针对每个深度区域，对单个残差DC深度值进行编码。深度区段可包 括多个像素。当SDC模式被使用时，可在像素域对残差信息进行编码，因此振铃效应可被去 除。
[0058] SDC模式可被用于深度图像的帖内预测。可另外使用指示SDC模式被应用到编码 单元的SDC标志。例如，当基于SDC模式对编码单元进行编码时，编码单元的尺寸可被确定 为"2NX2N"。当基于SDC模式执行编码时，编码单元的代表性模式和区段类型可被编码。
[0059] <代表性模式/区段类型〉
[0060] DC(1个区段）
[0061]DMM模式1-显式模波（Wedgelets) (2个区段）
[0062] DMM模式2-帖内预测的模波（2个区段）
[0063] 平面（1个区段）
[0064] 对于每个区段，在比特流中可使用信号发送像素域中的残差信息。在编码之前，可 使用DLT将残差信息映射到未编码的深度图像的原始深度值。因此，可通过用信号发送化T 中的索引来对残差信息进行编码。
[0065] 编码设备101可通过从深度图像的多个帖提取预定数量的帖来分析直方图，并可 确定灰度级。编码设备101可基于确定的灰度级产生下面示出的化T。
[0066]
[0067] 例如，编码设备101可在SDC模式下对编码单元进行编码。在该示例中，编码设备 101可将DLT组合，并可用信号发送针对每个区段设置的残差信息，W减小所需的比特率。 DLT可W是将深度图像的原始深度值映射到索引的结果。可通过对输入的深度图像的序列 中的特定数量的帖进行分析来产生化T。DLT可在编码处理中被使用W减小残差信息的比 特深度。
[0068] 编码设备101可对深度图像的序列之中的特定数量的帖进行分析。可对帖进行编 码，并可针对所有深度值，对所有像素进行扫描。在分析期间，编码设备101可基于没被压 缩的原始深度图像将深度值映射到有效深度值，并可产生映射表。
[0069] 然而，当通过对预定数量的帖进行分析而不是对深度图像中的所有帖进行分析来 产生DLT时，该DLT是否代表深度图像会是个问题。例如，编码设备101可通过对深度图像 进行分析来产生化T，并可将DLT记录在序列参数集（SP巧中。记录在SPS中的DLT可被发 送到解码设备102。
[0070] 可基于下面的处理来产生化T:
[ocm] 输入；在时间示例t的NXM个像素的深度图D_t
[0072] 输出；深度查找表D(.)
[0073] 索引查找表1(.)
[0074] 深度映射表M(.)
[00巧]有效深度值的数量cLvalid
[0076] < 算法〉
[0077] 初始化
[0078] 对于所有深度值d，布尔矢量化ooleanvector)B(d) =FALSE [007引索引计数器i=0
[0080] 针对多个时间示例t，处理D_t中的每个像素位置p:
[0081] 设置B〇)_t(P)) =TR肥W标记有效深度值
[0082] 在B(d) ?cLvalid中对TURE值的数量进行计数
[0083] 对于每个B(d) = =TR肥的d;
[0084] 设置D(;L) =d
[00财设置M(d)=d[008引 设置I(d) =i
[0087] i=i+1
[0088] 对于每个B(d) = =FALSE的d;
[0089] 寻找d□ =argminId-d□IandB(d□ ) = =TRUE
[0090] 设置M(d) =d□
[00川设置I(d)=I(dQ)
[0092] 编码设备101可将深度图像映射到与深度值相应的索引，而不是针对给定编码单 元对深度图像的残差信息进行编码。映射表可被发送到解码设备102,其中，解码设备102 被配置为通过DLT的逆来从索引获得深度值。
[0093] 输入；原始深度值d_orig
[0094] 预测深度值d_pred
[0095] 索引查找表I(.)
[0096] 有效深度值的数量cLvalid
[0097] 输出；将被编码的残差索引i_resi [009引算法；
[0099] i_resi = I(d_orig)-I(d_pred)
[0100] 可使用标志来对残差信息的索引i_resi进行编码。
[0101] 编码设备101可使用邻近于与编码单元相应的当前块的块来确定将被应用于与 编码单元相应的当前块的SDC模式。例如，编码设 备101可确定与当前块邻近的上侧块或 左侧块的SDC模式，并可确定当前块的SDC模式。当使用帖间预测模式或帖内预测模式而 不是使用SDC模式来对所述上侧块或左侧块进行编码时，编码设备101可执行例外处理。
[0102] 在操作202,编码设备101可将包括编码单元的残差信息和应用到编码单元的SDC 模式的比特流发送到解码设备102。
[0103] 图3是示出根据实施例的解码设备的操作的流程图。
[0104] 在操作301，解码设备102可确定被应用于编码单元的SDC模式。在示例中，解码 设备102可确定在SDC模式中的除了DMM2和DC模式之外的平面模式和DMM1中的一个是 否被应用于编码单元。换句话说，DMM1和平面模式可W是SDC模式中的代表性模式。
[0105] 在另一示例中，解码设备102可确定在SDC模式中的除了DMM2之外的DC模式、平 面模式和DMM1中的一个是否被应用于编码单元W对深度图像进行编码。换句话说，DC模 式、DMM1和平面模式可W是SDC模式中的代表性模式。
[0106] 在操作302,解码设备102可基于应用到编码单元的SDC模式对编码单元进行解 码。
[0107] 图4是被提供用于解释根据实施例的DMM1的示图。
[0108] 深度图像可主要包括表示对象边界的锐利边缘W及表示对象区域的近乎不变或 缓慢变化的样值。为了清楚地表示深度图像中的对象边界，可加入针对深度图像的帖内预 测模式。深度图像的块401可被划分为两个非矩形区域，每个非矩形区域可由常数表示。与 每个非矩形区域相应的样点可由常数指示，并且每个非矩形区域可由恒定划分值（CPV)表 示。模波划分方案和轮廓（Contour)划分方案可被用作划分方案，DMM1可基于模波划分方 案。
[0109] 基于SDC模式，指示原始深度值和预定深度值之间的差的残差信息可被发送。在 深度图像的块中，可基于DMM确定预测深度值。在模波划分方案中，深度图像的块401可被 直线划分为两个区域P1和P2。深度图像的块402可包括多个样点（uBXvB)，每个样点可 属于该两个区域中的一个区域。
[0110] 另外，深度图像的块403中的样点可基于块403中的每个样点所属的区域由二进 制信息标识。DMM1可基于模波划分方案，划分信息可通过比特流发送到解码设备102。解 码设备102可基于划分信息来恢复深度图像的块。
[0111] 可由编码设备101将划分信息发送到解码设备102,而不是由解码设备102来预测 划分信息。基于模波划分方案的边界可被确定为使属于由模波划分方案获得的区域的原始 深度值和预测值之间的失真最小化。
[0112] 图5是示出根据实施例的基于平面模式获得预测值的处理的示图。
[0113] SDC模式可代替深度图像的帖内预测模式。深度图像的深度帖内参数可指示编码 单元是否在SDC模式下被用信号发送。在SDC模式下，可基于SDC模式中包括的平面模式 和DMM1中的一个来对与深度图像的编码单元相应的块进行预测。此外，在SDC模式下，可 基于SDC模式中包括的平面模式、DC模式和DMM1中的一个来对与深度图像的编码单元相 应的块进行预测。
[0114] 包括基于SDC模式预测的预测单元的编码单元可具有"2NX2N"的划分尺寸。残 差信息可通过量化的变换系数来编码，并且指示一个或两个常数的残差信息可被用信号发 送。
[0115] 可基于W下信息来用信号发送基于SDC模式编码的块：
[0116] DMM模式1-显式模波（2个区段）
[0117] 平面（1个区段）
[0118] 在编码之前，残差信息可基于DLT被映射到深度图像的原始深度值。可通过用信 号发送DLT中的索引来对残差信息进行编码。表示映射表的DLT可被发送到解码设备102。
[0119] 编码设备101可使用深度图像的预测深度值dpud和原始深度值的平均值。在 平面模式下，预测深度值dpud可被计算为预测块中的左上样点501、左下样点502、右上样点 503和右下样点504的平均值。
[0120] 图6是示出根据实施例的基于DMM1获得预测值的处理的示图。
[0121] 在DMM1下，与区域相应的预测深度值dpud可被确定为预测块中的属于该区域的 样点的平均值。例如，与包括白色样点的区域相应的预测深度值dpud可被确定为左上样点 601。另外，与包括黑色样点的区域相应的预测深度值dpud可被计算为左下样点602、右上 样点603和右下样点604的平均值。区域可与区段相应。
[0122] DLT可被用于使用索引将原始深度值映射到预测深度值。残差索引可被发送 到解码设备102,并可基于下面的等式1来确定：
[0123] [等式 1]
[01 24]iresi=I(d〇邮）-I(dpred)，
[012引该里，I(.)表示化T。在解码设备102中，可基于下面的等式2来确定恢复的原始 深度值的平均值：
[0126] [等式 2]
[0127]
[0128] 该里，ri(.)表示逆化T。可基于下面的等式3来确定平均残差信息：
[0129] [等式 3]
[0130]
[0131] 可基于下面的等式4来确定恢复的样点;
[0132] [等式 4]
[0133]
[0134] 可用标志来对计算出的残差信息ifwi进行编码。
[0135] 图7是示出根据实施例的确定当前块的编码模式的处理的示图。
[0136] 如上面参照图2所述的，编码设备101可确定与编码单元相应的当前块X701的 编码模式。编码设备101可基于应用于与当前块701邻近的左侧块A702或上侧块B703 的SDC模式，确定当前块701的编码模式。
[0137] 例如，当SDC模式中的DC模式被应用于左侧块702时，DC模式可被应用于当前块 701。当SDC模式中的DMM1被应用于左侧块702时，DMM1可被应用于当前块701。当SDC 模式中的平面模式被应用于左侧块702时，平面模式可被应用于当前块701。与应用于上侧 块703的模式相同的模式可被应用于当前块701。
[013引当除了SDC模式之外的帖间预测模式或帖内预测模式被应用于左侧块702或上侧 块703时，DC模式可被应用于当前块701。
[0139] 图8是示出根据实施例的用于补偿DLT的en油le_flag的示图。
[0140] 编码设备101可从将被编码的深度图像的序列提取预设数量的帖，并可分析直方 图。编码设备101可通过分析直方图来确定灰度级，并可基于确定的灰度级来产生化T。
[0141] 为了反映除了预设数量的帖之外的帖的特征，编码设备101可确定并记录针对深 度图像的每个帖的en油le_flag。
[0142] DLT可被记录在SPS中。SPS中记录的DLT可被发送到解码设备102。解码设备 102可通过对深度图像的当前帖进行分析来产生深度图像的当前帖的化T。编码设备101可 将SPS中记录的DLT的灰度级与产生的DLT的灰度级进行比较。当灰度级之间的相似度等 于或大于参考值时，编码设备101可使用SPS中记录的化T(而不改变该化T)，基于SDC模 式来执行编码。类似地，解码设备102可将SPS中记录的化T的灰度级与产生的化T的灰 度级进行比较。当灰度级之间的相似度等于或大于参考值时，解码设备102可使用SPS中 记录的化T(而不改变该化T)，基于SDC模式来执行编码。
[0143] 当相似度小于参考值时，编码设备101可不基于SDC模式对深度图像的编码单元 进行处理。类似地，当相似度小于参考值时，解码设备102可不基于SDC模式对深度图像的 编码单元进行处理。
[0144] 当通过当前帖的DLT和SPS中记录的DLT之间的比较确定当前帖的DLT和SPS中 记录的DLT之间的相似度等于或大于参考值时，dlt_en油le_flag可W是"1"，并且编码设 备101或解码设备102可基于SDC模式对编码单元进行处理。相反，当通过当前帖的DLT和 SPS中记录的DLT之间的比较确定当前帖的DLT和SPS中记录的DLT之间的相似度小于参 考值时，dlt_en油le_flag可W是"0"，并且编码设备101或解码设备102可不基于SDC模 式对编码单元进行处理。
[0145] 图9是示出根据实施例的在条带头中的DLT的示例的示图。
[0146] 可针对每个帖产生图8的化T，并且图8的DLT可被记录在条带头中而不是SPS 中。
[0147] 图10是示出根据实施例的在条带头中的DLT的另一示例的示图。
[014引在图10中，DLT可被记录在SPS和条带头两者中。当通过与帖关联的DLT和SPS中记录的DLT之间的比较确定与帖关联的DLT和SPS中记录的DLT之间的相似度等于或大 于参考值时，与帖关联的DLT可被记录在SPS中，而不是条带头中。
[0149] 换句话说，当通过当前帖的DLT和SPS中记录的DLT之间的比较确定当前帖的化T 和SPS中记录的DLT之间的相似度等于或大于参考值时，dlt_en油le_flag可W是"1"，并 且SPS中记录的DLT可被使用。相反，当相似度被确定为小于参考值时，dlt_en油le_flag 可W是"0"，并且SPS中记录的DLT可不被使用。
[0150] 可使用硬件组件、软件组件和/或它们的组合来实现该里描述的单元。可使用一 个或更多个通用计算机或专用计算机（诸如，例如处理器、控制器和算术逻辑单元（ALU)、 数字信号处理器、微计算机、场可编程阵列（FPA)、可编程逻辑单元（PLU)、微处理器或能够 按照限定方式响应并执行指令的任何其它装置）来实现单元和组件。处理装置可运行操作 系数（0巧W及在0S上运行的一个或更多个软件应用。处理装置还可响应于软件的执行来 访问、存储、操作、处理和创建数据。为了简化的目的，对处理装置的描述使用单数形式，然 而本领域的技术人员将理解，处理装置可包括多个处理元件W及多种类型的处理元件。例 如，处理装置可包括多个处理器或者单个处理器和控制器。此外，不同的处理配置是可能 的，诸如并行处理器。
[0151] 软件可包括计算机程序、一段代码、指令或它们的部分组合，W独立地或共同地指 示或配置处理装置按照所期望地进行操作。软件和/或数据可被永久地或临时地实现在任 何类型的机器、组件、物理或虚拟设备、计算器存储介质或装置中，或者被实现在能够将指 示或数据提供给处理装置或能够由处理装置解释的传播信号波中。软件还可被分布在联网 的计算机系统上，使得软件W分布式方式被存储和执行。可由一个或更多个非暂时性计算 机可读记录介质来存储软件和数据。
[0152] 根据上述实施例的方法可被记录在非暂时性计算机可读介质中，其中，非暂时性 计算机可读介质包括用于实现由计算机执行的各种操作的程序指令。该介质还可单独地包 括数据文件、数据结构等或与程序指令组合地包括数据文件、数据结构等。记录在介质上的 程序指令可W是那些专口为实施例的目的而设计和构造的程序指令，或者程序指令可W是 对于计算机软件领域的技术人员来说公知并可用的程序指令。非暂时性计算机可读介质的 示例包括磁介质（诸如硬盘、软盘和磁带）、光学介质（诸如CDROM盘和DVD)、磁光介质 (诸如光盘）、W及专口配置为存储和执行程序指令的硬件装置（诸如只读存储器（ROM)、 随机存取存储器（RAM)、闪存）等。程序指令的示例包括机器代码（诸如由编译器产生的） 和包含可由计算机使用解释器执行的高级代码的文件两者。描述的硬件装置可被配置为用 作一个或更多个软件模块W执行上述实施例的操作，或反之亦然。
[0153] 虽然在上面W及附图中描述了各个实施例，但是应该理解它们仅作为示例被呈 现，并不作为限制。应该理解，可由本领域的普通技术人员进行各种修改。例如，如果W不 同的顺序执行描述的技术，并且/或如果描述的系统、构造、装置或电路中的组件W不同的 方式组合和/或由其它组件或它们的等同物来代替或补充，可达到适当的结果。因此，其它 实现方式在权利要求的范围内。
【主权项】
1. 一种对深度图像进行编码的方法，所述方法包括： 在简化深度编码（SDC)模式下对深度图像的编码单元进行编码； 产生包括应用于编码单元的SDC模式和编码单元的残差信息的比特流， 其中，SDC模式包括平面模式或深度建模模式I(DMMl)。2. 如权利要求1所述的方法，其中，编码步骤包括：基于邻近于与编码单元相应的当前 块的上侧块或左侧块的SDC模式，对编码单元进行编码。3. 如权利要求1所述的方法，其中，编码单元的残差信息基于针对深度图像的每个帧 产生的深度查找表（DLT)被映射到索引。4. 一种对深度图像进行编码的方法，所述方法包括： 基于简化深度编码（SDC)模式来对深度图像的编码单元进行编码； 产生包括应用于编码单元的SDC模式和编码单元的残差信息的比特流， 其中，SDC模式包括深度编码（DC)模式、平面模式或深度建模模式I(DMMl)。5. 如权利要求4所述的方法，其中，编码步骤包括：基于邻近于与编码单元相应的当前 块的上侧块或左侧块的SDC模式，对编码单元进行编码。6. 如权利要求4所述的方法，其中，编码单元的残差信息基于针对深度图像的每个帧 产生的深度查找表（DLT)被映射到索引。7. -种对深度图像进行解码的方法，所述方法包括： 确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码（SDC)模式； 基于SDC模式对编码单元进行解码， 其中，SDC模式包括平面模式或深度建模模式I(DMMl)。8. 如权利要求7所述的方法，其中，平面模式是使用原始深度值和预测深度值的SDC模 式，其中，所述预测深度值基于编码单元中包括的多个样点之中的左上样点、右上样点、左 下样点和右下样点。9. 如权利要求7所述的方法，其中，DMMl是使用每个区段的原始深度值和每个区段的 预测深度值的SDC模式，其中，每个区段的预测深度值是从属于编码单元中的同一区段的 左上样点、右上样点、左下样点和右下样点得到的。10. -种对深度图像进行解码的方法，所述方法包括： 确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码（SDC)模式； 基于SDC模式对编码单元进行解码， 其中，SDC模式包括深度编码（DC)模式、平面模式或深度建模模式I(DMMl)。11. 如权利要求10所述的方法，其中，平面模式是使用原始深度值和预测深度值的SDC 模式，其中，所述预测深度值基于编码单元中包括的多个样点之中的左上样点、右上样点、 左下样点和右下样点。12. 如权利要求10所述的方法，其中，DMMl是使用每个区段的原始深度值和每个区段 的预测深度值的SDC模式，其中，每个区段的预测深度值是从属于编码单元中的同一区段 的左上样点、右上样点、左下样点和右下样点得到的。13. -种对深度图像进行解码的方法，所述方法包括： 确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码（SDC)模式； 基于SDC模式对编码单元进行解码， 其中，SDC模式包括平面模式、深度建模模式I(DMMl)和深度建模模式2 (DMM2)， 其中，深度编码（DC)模式未包括在SDC模式中。14. 一种对深度图像进行解码的方法，所述方法包括： 确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码（SDC)模式； 基于SDC模式对编码单元进行解码， 其中，SDC模式包括平面模式和深度建模模式I(DMMl)， 其中，深度编码（DC)模式和深度建模模式2 (DMM2)未包括在SDC模式中。15. -种用于对深度图像进行编码的设备，所述设备包括处理器， 其中，处理器执行以下操作： 基于简化深度编码（SDC)模式来对深度图像的编码单元进行编码； 产生包括应用于编码单元的SDC模式和编码单元的残差信息的比特流， 其中，SDC模式包括平面模式或深度建模模式I(DMMl)。16. -种用于对深度图像进行编码的设备，所述设备包括处理器， 其中，处理器执行以下操作： 基于简化深度编码（SDC)模式来对深度图像的编码单元进行编码； 产生包括应用于编码单元的SDC模式和编码单元的残差信息的比特流， 其中，SDC模式包括深度编码（DC)模式、平面模式或深度建模模式I(DMMl)。17. -种用于对深度图像进行解码的设备，所述设备包括处理器， 其中，处理器执行以下操作： 确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码（SDC)模式； 基于SDC模式对编码单元进行解码， 其中，SDC模式包括平面模式或深度建模模式I(DMMl)。18. -种用于对深度图像进行解码的设备，所述设备包括处理器， 其中，处理器执行以下操作： 确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码（SDC)模式； 基于SDC模式对编码单元进行解码， 其中，SDC模式包括深度编码（DC)模式、平面模式或深度建模模式I(DMMl)。19. 一种用于对深度图像进行解码的设备，所述设备包括处理器， 其中，处理器执行以下操作： 确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码（SDC)模式； 基于SDC模式对编码单元进行解码， 其中，SDC模式包括平面模式、深度建模模式I(DMMl)和深度建模模式2 (DMM2)， 其中，深度编码（DC)模式未包括在SDC模式中。20. -种用于对深度图像进行解码的设备，所述设备包括处理器， 其中，处理器执行以下操作： 确定与应用于深度图像的编码单元的帧内预测相关的简化深度编码（SDC)模式； 基于SDC模式对编码单元进行解码， 其中，SDC模式包括平面模式和深度建模模式I(DMMl)， 其中，深度编码（DC)模式和深度建模模式2 (DMM2)未包括在SDC模式中。
【专利摘要】公开了一种用于深度图像的编码设备和解码设备以及编码方法和解码方法。为了根据帧内预测模式对深度图像进行处理，编码设备或解码设备可使用SDC模式的DC模式、平面模式或DMM1中的代表性模式。此外，为了根据帧内预测模式对深度图像进行处理，编码设备或解码设备可使用平面模式或DMM1之中的代表性模式。
【IPC分类】H04N19/597, H04N19/593
【公开号】CN104904220
【申请号】CN201480004107
【发明人】任一淳, 吴秉泰, 魏浩千
【申请人】三星电子株式会社
【公开日】2015年9月9日
【申请日】2014年1月3日
【公告号】US20150350677
最新回复(0)