图像解码方法及图像解码装置制造方法
图像解码方法及图像解码装置制造方法
【专利摘要】在为了提供降低代码量的图像编码技术而将多个分辨率的层编码到一个流中的编码装置中，关于各层的编码单位、预测单位、频率变换单位，分别按照一定的规则，参照下位层的编码单位、预测单位、频率变换单位决定该层的各单位，通过将决定的规则按照标志切换，进行适应性且有效率的运动图像的压缩。
【专利说明】
图像解码方法及图像解码装置
【技术领域】
[0001]本发明涉及将图像编码的图像编码方法、图像编码装置、将编码图像数据解码的图像解码方法、图像解码装置及编码图像数据。
【背景技术】
[0002]图像编码标准中有 H.264/AVC (Advanced Video Coding)。IS0/IEC MPEG和 ITU —T VCEG 为了实现超过它的压缩率而设立 JCT — VC(Joint Collaborative Team on VideoCoding),开始了称作 HEVC (High Efficiency Video Coding)的下一代方式的研究。
[0003]将编码后的图像解码、再现的终端中有能够以高分辨率再现的终端、仅能够以低分辨率再现的终端等多种终端，所以需要通过从I个编码流局部地取出数据而根据需要能够再现多个分辨率的可伸缩扩展编码方式。作为H.264/AVC的可伸缩扩展，SVC(ScalableVideo Coding)已被标准化。
[0004]在包括H.264/AVC及SVC、MPEG — 2的目前为止的图像编码标准中，作为进行编码的单位的宏块是固定尺寸。
[0005]在当前制定中的HEVC中，研究了使在H264AVC之前被固定化的块尺寸可变的方案。具体而言，针对进行编码的单位⑶(Coding Unit)，将块尺寸进行树构造管理，以使一边的像素数成为2的幂乘，并以任意的层级的块尺寸进行编码、解码(非专利文献I)。
[0006]现有技术文献
[0007]非专利文献
[0008]非专利文献1:T.Wiegand, ff.Han, B.Bross, J.0hm and G.Sullivan, p.39 ?p.40“7.3.6 Coding unit syntax，，,p.63 ?p.64“7.4.6 Coding unit semantics，，〃WorkingDraft 3 of High — Efficiency Video Coding",Doc.JCTVC — E603, Joint CollaborativeTeam on Video Coding(JCT — VC), March 2011.发明概要
[0009]发明要解决的问题
[0010]在图像编码方式中，有编码的单位是固定尺寸的方式、和尺寸根据图像的位置而不同的方式。在包含尺寸不同者的编码方式中，关于怎样进行可伸缩扩展还没有研究。因此，不能进行有有效率的压缩。
[0011]此外，不仅是⑶，关于作为预测单位的!^(Predict1n Unit)、作为频率变换单位的TU(Transform Unit)也没有研究记述方法。因此，有不能进行有效率的压缩的问题。
[0012]此外，关于基础层为H.264/AVC或MPEG — 2那样的固定尺寸的宏块、扩展层为HEVC那样的尺寸不同的CU的情况，也没有研究记述方法。因此，有不能进行有效率的压缩的问题。
[0013]
【发明内容】
[0014]这样，本发明的目的是提供一种在包含尺寸不同的编码单位的编码方式中，通过使层间的对应关系变明确，来应对可伸缩扩展的具有高编码效率的图像编码技术、图像解码技术。
[0015]用于解决问题的手段
[0016]本申请包含各种用于解决上述问题的方案，举出其中之一如下。
[0017]一种图像解码方法，将对图像进行编码而得到的编码流解码，其特征在于，通过将该编码流的一部分取出，能够解码多个分辨率的图像；该图像解码方法具有以下步骤:在各层中将编码的单位CU的分割方法解码的步骤；将预测单位的分割方法解码的步骤；以及将频率变换单位TU的分割方法解码的步骤；在将上述某个层I的CU解码的步骤中，参照别的层O的CU分割方法，按照一定的规则计算CU分割方法；在将上述某个层I的解码的步骤中，参照相同的层I的CU分割方法和别的层O的PU分割方法，按照一定的规则计算PU分割方法；在将上述某个层I的TU解码的步骤中，参照相同的层I的CU分割方法和别的层O的TU分割方法，按照一定的规则计算TU分割方法；根据标志判别上述一定的规则。
[0018]发明效果
[0019]根据本发明，能够提高具有可伸缩扩展功能的编码方式的编码效率。
【专利附图】
【附图说明】
[0020]图1是有关实施例1的图像编码装置的框图。
[0021]图2是有关实施例1的图像解码装置的框图。
[0022]图3是有关实施例1的编码单位的说明图。
[0023]图4是有关实施例1的编码单位的说明图。
[0024]图5是在有关实施例1的图像编码装置中使用的图像编码流程图。
[0025]图6是在有关实施例1的图像编码装置中使用的图像编码流程图。
[0026]图7是有关实施例1的图像解码方法的流程图。
[0027]图8是有关实施例1的数据记录介质的说明图。
【具体实施方式】
[0028]以下，参照【专利附图】
【附图说明】实施例。
[0029]此外，在各图中，带有相同的标号的构成要素具有相同的功能。
[0030]此外，本说明书的各记载及各图面中的“宏块”，表示以往的编码方式中的固定尺寸的编码单位，“⑶”表示作为能够选择多个尺寸的编码单位的Coding Unit。“PU”表示作为能够选择多个尺寸的预测单位的Predict1n Unit。“TU”表示作为能够选择多个尺寸的频率变换单位的Transform Unit。
[0031 ] 此外，本说明书的各记载及各图中的“与标志一起传送”的表现，也包括“包含在标志中传送”的意思。
[0032]此外，本说明书的各记载及各图中的“编码模式”的表现，包括层内预测/层间预测的类别与所采用的块尺寸的组合。
[0033]此外，本说明书的各记载及各图中的“预测模式信息”的表现，意味着包括作为是分割方法(CU、PU)或MB这一部分、和编码模式的信息，进而在MB的情况下包含宏块内的预测块尺寸的信息。
[0034]此外，本说明书的各记载及各图中的“变换模式信息”的表现，意味着包括作为是分割方法(CU、TU)和MB这一部分、以及编码模式的信息。
[0035]此外，本说明书的各记载及各图中的“单元信息”的表现，意味着包括作为是分割方法(CU、PU、TU)或MB这一部分、和编码模式的信息，进而在MB的情况下包括宏块内的预测块尺寸的信息。
[0036]此外，本说明书的各记载及各图中的“可伸缩扩展”的表现，作为意味着对于能够单独解码的下位层追加扩展分辨率的上位层的方式的表现来进行说明。但是，也能够应用于对下位层追加分辨率相同但改善了 SN比的上位层的数据的SNR可伸缩扩展、及追加增加层数的上位层的层速率可伸缩扩展，也包含这些意思。
[0037][实施例1]
[0038]首先，参照附图对实施例1进行说明。在图1中表示有关实施例1的图像编码装置的框图。以下表示能够将输入图像以3个不同的分辨率编码的例子。从分辨率低的层起设为层O、层1、层2，将低的层设为下位层，将高的层设为上位层。将作为分辨率最低的最下位层的层O称作基础层。将其以外称作扩展层。
[0039]图像编码装置具备分辨率变换部101、层O单元信息计算部102、层I单元信息计算部103、层2单元信息计算部104、层O⑶计算部105、层OPU计算部106、层OTU计算部107、层ICU计算部108、层II3U计算部109、层ITU计算部110、层2(^计算部111、层2PU计算部112、层2TU计算部113、层O层内.层间预测部114、层O变换.量化部115、层O编码处理部116、层I层内.层间预测部117、层I变换.量化部118、层I编码处理部119、层2层内.层间预测部120、层2变换.量化部121、层2编码处理部122、复用部123、数据输出部 124。
[0040]以下，详细地说明图像编码装置的各构成要素的动作。
[0041]另外，图像编码装置的各构成要素的动作例如也可以如以下的记载那样为各构成要素的自律性的动作。此外，也可以通过由计算机的控制部与计算机的存储部所存储的软件协同来实现。
[0042]首先，分辨率变换部101将输入图像变换为多个分辨率，分别作为不同层向各层的单元信息计算部发送。例如在以3个分辨率进行编码的情况下，只要将与输入图像相同的分辨率设为层2、将变换为纵横一半的分辨率的分辨率设为层1、将变换为纵横各自4分之I的分辨率的分辨率设为层O、将层O作为基础层就可以。在分辨率变换中使用一般的采样滤波器就可以。
[0043]接着，对各层的编码方法进行说明。
[0044]首先，进行作为基础层的层O的编码。基础层的编码方式包括使用HEVC那样的能够选择多个尺寸的CU进行编码的情况、和使用H.264/AVC或MPEG — 2那样的编码单位为固定尺寸的宏块进行编码的情况。以下，将使用CU的情况设为“CU情形”，将使用宏块的情况设为“MB情形”。
[0045]层O单元信息计算部102决定是“⑶情形”还是“MB情形”，输出层O的图像和“单元信息”。
[0046]“单元信息”在“⑶情形”的情况下，是⑶的分割方法、PU的分割方法、TU的分割方法这3个分割方法和编码模式，在“MB情形”的情况下，是宏块内的预测块尺寸和编码模式。
[0047]层O⑶计算部105决定层O的⑶的分割方法。在⑶中，与已有的方式同样以使图像整体的编码效率变高的方式进行最优化，决定分割方法。在MB中以固定尺寸分割。
[0048]层OPU计算部106决定层O的PU的分割方法。在⑶中，PU的分割参照⑶的分割结果进行。在CU中，以使图像整体的编码效率变高的方式进行最优化，决定分割方法和预测模式。在MB情形下也同样，以使图像整体的编码效率变高的方式进行最优化，决定宏块内的预测块尺寸和预测模式。
[0049]层OTU计算部107决定层O的TU的分割方法。TU的分割参照⑶的分割结果进行。在CU中，以使图像整体的编码效率变高的方式进行最优化，决定分割方法、变换方式。在MB情形下使用固定尺寸的变换方式。
[0050]这样，层O单元信息计算部102将层O的分辨率的图像和单元信息向层O层内?层间预测部114发送，并向层I的同计算部发送决定结果。此时，单元信息变换为预先决定的
O
[0051]接着，基于层O的单元信息进行层O的分辨率的图像的编码。
[0052]在层O层内?层间预测部114中，按照单元信息中的CU分割方法、分割方法、预测模式进行层内预测或层间预测。这些预测模式使用已有的方法。将预测模式信息向层O编码处理部116发送，将预测后的残差成分和单元信息中的⑶分割方法及TU分割方法向层O变换.量化部115发送。
[0053]在层O变换.量化部115中，按照单元信息中的CU分割方法、TU分割方法进行频率变换和量化。这些处理方法使用已有的方法。将量化后的系数信息向层O编码处理部116发送。
[0054]层O编码处理部116进行预测模式信息和系数信息的熵编码，将编码数据向复用部123输出。
[0055]此外，根据需要而进行逆量化、逆频率变换，将参照用图像数据复原，向层O层内.层间预测部114发送。这些处理方法使用已有的方法。
[0056]接着层O的编码，进行具有上一位的分辨率的层I的编码。
[0057]层I单元信息计算部103决定层I的⑶的分割方法、PU的分割方法、TU的分割方法这3个分割方法和编码模式。在层I以上的扩展层中，使用HEVC那样的编码单位的尺寸不同的CU进行编码。
[0058]层I⑶计算部108决定层I的⑶的分割方法。此时，从作为下一位的层的层O的⑶计算部105参照⑶分割方法，按照一定的规则决定⑶分割方法。也可以与层O独立地进行CU分割。在此情况下，基本上按照规则，通过例外地插入标志而进行部分地与规则不同的分割。以使图像整体的编码效率变高的方式进行最优化来决定分割方法。关于参照下位层时的CU分割方法的规则在后面叙述。
[0059]层IPU计算部109决定层I的PU的分割方法和预测模式。的分割参照层I的CU的分割结果和层O的PU的分割结果进行。但是，也可以通过仅参照层I的CU的分割结果和层O的PU分割方法中的一方的方法，按照与这些结果独立的规则来决定分割方法。基本上按照规则，通过插入标志进行部分地与规则不同的分割。以使图像整体的编码效率变高的方式进行最优化来决定分割方法、预测模式。关于分割方法的规则在后面叙述。
[0060]层ITU计算部110决定层I的TU的分割方法、变换方法。TU的分割参照层I的CU的分割结果和层O的TU的分割结果进行。但是，也可以通过仅参照层I的CU的分割结果和层O的TU分割方法中的一方的方法，按照与这些结果独立的规则来决定分割方法。在此情况下，基本上按照规则，通过插入标志进行部分地与规则不同的分割。以使图像整体的编码效率变高的方式进行最优化来决定分割方法、变换方法。关于分割方法的规则在后面叙述。
[0061]这样，层I单元信息计算部103将层I的分辨率的图像和单元信息向层I层内?层间预测部117发送，并向层2的单元信息计算部发送决定结果。此时，单元信息被变换为预先决定的标志。
[0062]接着，基于层I的单元信息进行层I的编码。
[0063]在层I层内.层间预测部117中，按照单元信息中的⑶分割方法、PU分割方法、预测模式进行层内预测或层间预测。此时，通过层间预测，还参照作为下位层的层O的解码图像、在通过分辨率变换进行了调整时处于相同位置的部位的预测模式。关于这些预测方法使用已有的方法。将预测模式信息向层I编码处理部119发送，将预测后的残差成分和单元信息中的CU分割方法及TU分割方法向层I变换.量化部118发送。
[0064]在层I变换.量化部118中，按照单元信息中的CU分割方法、TU分割方法进行频率变换和量化。这些处理方法使用已有的方法。将量化后的系数信息向层I编码处理部119发送。
[0065]层I编码处理部119进行预测模式信息和系数信息的熵编码，将编码数据向复用部123输出。
[0066]此外，根据需要进行逆量化、逆频率变换，将参照用图像数据复原，向层I层内?层间预测部117发送。这些处理方法使用已有的方法。
[0067]接着层I的编码，进行具有上一位的分辨率的层2的编码。
[0068]层2单元信息计算部104进行层2的⑶的分割方法、PU的分割方法、TU的分割方法这3个分割方法、编码模式的决定。在层I以上的扩展层中，使用HEVC那样的编码单位的尺寸不同的CU进行编码。
[0069]层2CU计算部111决定层2的⑶的分割方法。此时，从作为下一位的层的层I的⑶计算部108参照⑶分割方法，按照一定的规则决定⑶分割方法。也可以与层I独立地进行CU分割。在此情况下，基本上按照规则，通过例外地插入标志来进行部分地与规则不同的分割。以使图像整体的编码效率变高的方式进行最优化来决定分割方法。关于参照下位层时的CU分割方法的规则在后面叙述。
[0070]层2PU计算部112决定层2的PU的分割方法和预测模式。I3U的分割参照层2的CU的分割结果和层I的的分割结果进行。但是，也可以通过仅参照层I的CU的分割结果和层O的PU分割方法中的一方的方法，按照与这些结果独立的规则来决定分割方法。在此情况下，基本上按照规则，通过插入标志而进行部分地与规则不同的分割。以使图像整体的编码效率变高的方式进行最优化来决定分割方法、预测模式。关于分割方法的规则在后面叙述。
[0071]层2TU计算部113决定层2的TU的分割方法、变换方法。TU的分割参照层2的CU的分割结果和层I的TU的分割结果进行。但是，也可以通过仅参照层I的CU的分割结果和层O的TU分割方法中的一方的方法，按照与这些结果独立的规则来决定分割方法。基本上按照规则，通过插入标志而进行部分地与规则不同的分割。以使图像整体的编码效率变高的方式进行最优化来决定分割方法、变换方法。关于分割方法的规则在后面叙述。
[0072]这样，层2单元信息计算部111将层2的分辨率的图像和单元信息向层2层内?层间预测部120发送。此时，单元信息被变换为预先决定的标志。
[0073]接着，基于层2的单元信息进行层2的编码。
[0074]在层2层内.层间预测部120中，按照单元信息中的⑶分割方法、PU分割方法、预测模式进行层内预测或层间预测。此时，通过层间预测，还参照作为下位层的层I的解码图像、通过分辨率变换进行了调整时处于相同位置的部位的预测模式。这些预测方法只要使用已有的方法就可以。将预测模式信息向层2编码处理部122发送，将预测后的残差成分和单元信息中的CU分割方法及TU分割方法向层2变换.量化部121发送。
[0075]在层2变换.量化部121中，按照单元信息中的CU分割方法、TU分割方法进行频率变换和量化。这些处理方法使用已有的方法。将量化后的系数信息向层2编码处理部122发送。
[0076]层2编码处理部122进行预测模式信息和系数信息的熵编码，将编码数据向复用部123输出。此外，根据需要进行逆量化、逆频率变换，将参照用图像数据复原，向层2层内.层间预测部120发送。这些处理方法使用已有的方法。
[0077]复用部123将编码后的层O、层1、层2的数据复用到一个流中。关于数据的包化的方法、索引、标志的设定方法、复用方法，只要使用已有的方法就可以。最后，数据输出部124输出复用后的流数据。
[0078]接着，使用图3，对根据下位层的⑶、PU、TU的分割方法计算上位层的⑶、PU、TU的分割方法的规则进行说明。以下以CU为例进行说明。
[0079]假设基础层的⑶如301那样被分割。分割方法假设为通过四叉树等以树状管理、记录的方法。这里，当记述分辨率在纵横分别为2倍的扩展层的分割方法时，只要决定302那样的分割方法的规则、将其通过标志等指定就可以。302的分割方法中将基础层的CU按照分辨率比扩大，对于超过⑶的最大尺寸的地方，设为最大尺寸。由此，能够不另外传送⑶的分割信息，而进行遵循基础层的分割方法的扩展层的分割。只要将分割后的CU的信息通过四叉树等以树状管理就可以。
[0080]接着，作为另一例，对将扩展层如303那样分割的规则进行说明。303的分割方法中在扩展层的各位置按照分辨率比、参照基础层的CU、使用与基础层相同的CU尺寸。因而，扩展层的CU的数量变得比基础层多。通过该方法也同样，能够不另外传送CU的分割信息，而进行遵循基础层的分割方法的扩展层的分割。分割出的CU的信息只要通过四叉树等以树状管理就可以。
[0081]接着，使用图4，说明在基础层被用H.264/AVC或MPEG — 2那样的固定尺寸的宏块和预测模式编码、扩展层使用如HEVC那样能够选择多个尺寸的“CU”和“PU”的情况下计算扩展层的分割方法的规则。
[0082]假设基础层如401那样被用固定尺寸的宏块编码，预测的单位由各宏块的预测模式规定。这里，在记述分辨率在纵横分别为2倍的扩展层的分割方法时，只要设定402那样的分割方法的规则、将其通过标志等指定就可以。402的分割方法中将基础层的宏块按照分辨率比扩大而作为⑶。关于超过⑶的最大尺寸的地方，只要设定为最大尺寸就可以。此夕卜，关于PU，只要将由预测模式指定的尺寸按照分辨率比扩大而设为PU就可以。由此，能够不另外传送CU及PU的分割信息，而进行遵循基础层的分割方法的扩展层的分割。分割的CU的信息只要通过四叉树等以树状管理就可以。
[0083]接着，作为另一例，对将扩展层如403那样分割的规则进行说明。403的分割方法中在扩展层的各位置按照分辨率比参照基础层的宏块、使用与宏块相同的CU尺寸。关于PU，既可以使用与在基础层的预测模式中指定的尺寸相同的尺寸，也可以与扩展层的CU尺寸匹配。通过该方法也同样，能够不另外传送CU及PU的分割信息，而进行遵循基础层的分割方法的扩展层的分割。分割的CU的信息只要通过四叉树等以树状管理就可以。
[0084]在从扩展层参照基础层的单元的情况下，只要按照分辨率比参照处于相同位置的单元的信息就可以。在上述中以CU为例进行了说明，但在及TU中也能够应用同样的规贝U。此外，在上述例子中，分割后的单元全部为正方形，但也可以通过用PU_MERGE等的方法按每个单元与周边的单元合并，来进行长方形等正方形以外的分割。也可以以上述为基本规则，通过插入标志等，而部分地使用别的分割方法。
[0085]在扩展层和基础层中，也可以预先指定CU、PU、TU的可使用的尺寸，将它们通过标志切换。也可以是，不仅是尺寸，而且在各层中指定可使用的编码模式，通过标志来切换。例如，在分辨率低的图像和分辨率高的图像中，有效果高的编码模式或CU、PU、TU的尺寸不同的情况。因而，只要根据分辨率预先决定它们的数量、图案(pattern)，就能够进行有效率的编码。
[0086]CU、PU、TU所遵循的规则既可以分别不同，也可以相同。也可以根据标志来判定使其统一还是不同。
[0087]也可以根据在各层中编码的图片类型，例如I图片、P图片、B图片等，来切换所使用的分割方法、上述规则。
[0088]上述那样的可伸缩扩展也能够应用于多视点图像的编码。在此情况下，将要扩展的层在分辨率方向和视点(视角)方向上2维地配置。因而，在多视点图像中的应用中，也可以对分辨率方向和视点方向使用分别不同的分割方法、规则。
[0089]接着，使用图5，对在图像编码装置中使用的图像编码流程进行说明。
[0090]首先，步骤501从原图像制作多个分辨率图像。将制作出的图像分别作为不同层编码。例如在以3个分辨率进行编码的情况下，只要将与输入图像相同的分辨率设为层2、将变换为纵横一半的分辨率的分辨率设为层1、将变换为纵横各自的4分之I的分辨率的分辨率设为层O、将层O作为基础层就可以。在分辨率变换中只要使用一般的采样滤波器就可以。
[0091]接着进行各层的编码。以下，说明基础层和扩展层都使用如HEVC那样能够选择多个尺寸的“CU”编码的情况。
[0092]步骤502判定处理对象层是否是基础层。如果是基础层，则向步骤503前进，如果是其以外，则向步骤504前进。
[0093]在步骤503?505中，进行基础层的编码。
[0094]在步骤503中，决定⑶、PU、TU的分割方法。分割方法只要如上述那样以使图像整体的编码效率变高的方式进行最优化来决定就可以。
[0095]在步骤504中，将⑶、PU、TU作为树构造编码。
[0096]在步骤505中，进行预测、变换、量化、熵编码及局部(local)解码处理。这些只要使用已有的编码方法就可以。
[0097]在步骤511中，进行编码后的层的数据的缓冲，在其他层被编码后，通过包化处理进行复用，输出复用后的编码流。
[0098]在步骤512中，判定是否处理了全部的层，如果已处理了全部的层则结束，如果还有尚未编码的层则回到步骤502进行其他层的处理。
[0099]在步骤506?510中，进行扩展层的编码。
[0100]在步骤506中，判断将⑶、PU、TU的分割方法按照下位层的规则决定、还是独立地决定。在按照规则决定的情况下向步骤507前进，在独立决定的情况下向步骤508前进。
[0101]在步骤507中，参照下位层，按照规则决定⑶、PU、TU的分割方法。分割方法的规则如上所述。
[0102]在步骤508中，与下位层独立地决定CU、PU、TU的分割方法。
[0103]在步骤509中，将⑶、PU、TU作为树构造编码。
[0104]在步骤510中，进行预测、变换、量化、熵编码及局部解码处理。这些只要使用已有的编码方法就可以。
[0105]在扩展层的编码后也同样进行步骤511、512的处理。
[0106]通过上述过程，进行与多个分辨率适应的图像编码。
[0107]接着，使用图6，对在图像编码装置中使用的其他图像编码流程进行说明。
[0108]首先，步骤601从原图像制作多个分辨率图像。将制作出的图像分别作为不同的层编码。分辨率变换方法如上所述。
[0109]接着，进行各层的编码。以下，说明在基础层中使用H.264/AVC或MPEG — 2那样的编码单位为固定尺寸的宏块进行编码、在扩展层中使用如HEVC那样能够选择多个尺寸的“CU”进行编码的情况。
[0110]步骤602判定处理对象层是否是基础层。如果是基础层则向步骤603前进，如果是其以外则向步骤604前进。
[0111]在步骤603、604中，进行基础层的编码。
[0112]在步骤603中，对于固定尺寸的各宏块，判定预测块尺寸、预测模式，决定它们的编码模式。编码模式的决定方法只要按照已有的方法以使图像整体的编码效率变高的方式进行最优化来决定就可以。
[0113]在步骤604中，按照编码模式进行预测、变换、量化、熵编码及局部解码处理。这些只要使用已有的编码方法就可以。
[0114]在步骤610中，进行编码后的层的数据的缓冲，在将其他层编码后，通过包化处理进行复用，输出复用后的编码流。
[0115]在步骤611中，判定是否已处理了全部的层，如果已处理了全部的层则结束，如果还有尚未编码的层，则回到步骤602进行其他层的处理。
[0116]在步骤605?609中，进行扩展层的编码。
[0117]在步骤605中，判定将⑶、PU、TU的分割方法按照下位层的规则决定、还是独立地决定。在按照规则决定的情况下向步骤606前进，在独立决定的情况下向步骤607前进。
[0118]在步骤606中，参照下位层，按照规则决定⑶、PU、TU的分割方法。分割方法的规则如上所述。
[0119]在步骤607中，与下位层独立地决定⑶、PU、TU的分割方法。
[0120]在步骤608中，将⑶、PU、TU作为树构造编码。
[0121]在步骤609中，进行预测、变换、量化、熵编码及局部解码处理。这些只要使用已有的编码方法就可以。
[0122]在扩展层的编码后也同样，进行步骤610、611的处理。
[0123]通过上述过程，进行适应于多个分辨率的图像编码。
[0124]根据以上说明的图像编码装置及图像编码方法，能够进行比已有的编码方式更有效率的对应于多个分辨率层的CU、PU、TU的记述，能够实现与已有方式相比压缩效率更高的图像编码装置及图像编码方法。
[0125]此外，该图像编码装置及图像编码方法能够在使用它们的记录装置、便携电话、数字照相机等中使用。
[0126]根据以上说明的图像编码装置及图像编码方法，能够减少编码数据的代码量，防止将该编码数据解码的情况下的解码图像的画质的劣化。即，能够实现高压缩率和更好的画质。
[0127]接着，在图2中表示图像解码装置的框图的例子。
[0128]本实施例的图像解码装置具备流解析部201、层O单元信息解码部202、层I单元信息解码部203、层2单元信息解码部204、层O⑶解码部205、层OPU解码部206、层OTU解码部207、层ICU解码部208、层IPU解码部209、层ITU解码部210、层2CU解码部211、层2PU解码部212、层2TU解码部213、层O熵解码部214、层O层内.层间预测部215、层O逆变换.逆量化部216、层O合成部217、层I熵解码部218、层I层内.层间预测部219、层I逆变换.逆量化部220、层I合成部221、层2熵解码部222、层2层内.层间预测部223、层2逆变换.逆量化部224、层2合成部225、图像输出部226。
[0129]以下，详细地说明图像解码装置的各构成要素的动作。另外，图像解码装置的各构成要素的动作例如也可以如以下的记载那样为各构成要素的自律性的动作。此外，例如也可以通过与计算机的控制部、存储部中存储的软件协同来实现。
[0130]首先，流解析部201将输入的编码流解析。这里，流解析部201还进行从包的数据提取处理、各种头.标志的信息取得处理。
[0131]此外，此时向流解析部201输入的编码流是通过有关实施例1的图像编码装置及图像编码方法生成的编码流。其生成方法如实施例1中所示，所以省略说明。也可以是从后述的数据记录介质读出的编码流。其记录方法在后面叙述。
[0132]通过流解析部将各层的编码数据分离。首先将基础层的数据解码，接着依次将上位的层解码。这里，表示以层O、层1、层2的顺序解码的例子。
[0133]首先，进行作为基础层的层O的解码。如上述那样，基础层的编码方式包括使用
H.264/AVC或MPEG — 2那样的编码单位为固定尺寸的宏块进行编码的情况、和使用如HEVC那样作为能够选择多个尺寸的编码单位的CU进行编码的情况。以下，在使用宏块的情况下，只要将CU替换为宏块就可以。此外，只要将替换为在宏块内决定的预测块就可以。
[0134]层O单元信息解码部202将层O的⑶、TU、PU解码。
[0135]层O⑶解码部205将层O的⑶解码。这只要按照上述⑶编码顺序、通过对应的解码顺序进行解码就可以。
[0136]层OPU解码部206将层O的PU解码。这只要一边参照由层O⑶解码部205解码后的CU的信息、一边通过与上述编码顺序对应的解码顺序进行解码就可以。
[0137]层OTU解码部207将层O的TU解码。这只要一边参照由层O⑶解码部205解码后的CU的信息，一边以对应于上述TU编码顺序的解码顺序进行解码就可以。
[0138]接着，基于层O的单元信息进行层O的解码。
[0139]在层O熵解码部214中，将熵编码后的编码模式信息、标志信息、残差系数解码。
[0140]在层O层内.层间预测部215中，按照单元信息中的⑶分割方法、PU分割方法、预测模式进行层内预测或层间预测。关于它们的预测方法使用已有的方法。
[0141]在层O逆变换.逆量化部216中，按照单元信息中的CU分割方法、TU分割方法进行逆量化和逆频率变换。这些处理方法使用已有的方法。
[0142]层O合成部217将由层O层内?层间预测部215制作出的预测像素与由层O逆变换?逆量化部216制作出的残差成分合成，制作解码图像。将解码后的图像向图像输出部226发送。
[0143]接着，进行作为上一层的层I的解码。
[0144]层I单元信息解码部203将层I的⑶、TU、PU解码。
[0145]层I⑶解码部208参照作为下位层的层O的⑶，将层I的⑶解码。将层I的⑶解码时的顺序、参照层O时的规则如上所述。
[0146]层IPU解码部209将层I的PU解码。这一边参照作为下位层的层O的PU和由层I⑶解码部208解码后的⑶的信息，一边通过与上述编码顺序对应的解码顺序进行解码。
[0147]层ITU解码部210将层I的TU解码。这一边参照作为下位层的层O的TU和由层I⑶解码部208解码后的⑶的信息，一边通过与上述TU编码顺序对应的解码顺序进行解码。
[0148]接着，基于层I的单元信息进行层I的解码。
[0149]在层I熵解码部218中，将熵编码后的编码模式信息、标志信息、残差系数解码。
[0150]在层I层内.层间预测部219中，按照单元信息中的⑶分割方法、PU分割方法、预测模式进行层内预测或层间预测。关于它们的预测方法使用已有的方法。
[0151]在层I逆变换.逆量化部220中，按照单元信息中的CU分割方法、TU分割方法进行逆量化和逆频率变换。这些处理方法只要使用已有的方法就可以。
[0152]层I合成部221将由层I层内?层间预测部219制作出的预测像素与由层I逆变换?逆量化部220制作出的残差成分合成，制作解码图像。将解码后的图像向图像输出部226发送。
[0153]接着，进行作为再上一层的层2的解码。
[0154]层2单元信息解码部204将层2的⑶、TU、PU解码。
[0155]层2CU解码部211参照作为下位层的层I的⑶，将层2的⑶解码。将层2的⑶解码时的顺序、参照层I时的规则如上所述。
[0156]层2PU解码部212将层2的PU解码。这一边参照作为下位层的层I的和由层2CU解码部211解码后的⑶的信息，一边通过与上述编码顺序对应的解码顺序进行解码。
[0157]层2TU解码部213将层2的TU解码。这一边参照作为下位层的层I的TU和由层2CU解码部211解码后的⑶的信息，一边通过与上述TU编码顺序对应的解码顺序进行解码。
[0158]接着，基于层2的单元信息进行层2的解码。
[0159]在层2熵解码部222中，将熵编码后的编码模式信息、标志信息、残差系数等解码。
[0160]在层2层内.层间预测部223中，按照单元信息中的⑶分割方法、PU分割方法、预测模式进行层内预测、层间预测。关于它们的预测方法使用已有的方法。
[0161]在层2逆变换.逆量化部224中，按照单元信息中的CU分割方法、TU分割方法进行逆量化和逆频率变换。这些处理方法使用已有的方法。
[0162]层2合成部225将由层2层内?层间预测部223制作出的预测像素与由层2逆变换.逆量化部224制作出的残差成分合成，制作解码图像。将解码后的图像向图像输出部226发送。
[0163]通过上述那样的方法，从与多个分辨率对应的图像编码流将图像解码。
[0164]接着，使用图7，对有关实施例1的图像解码装置的图像解码方法的流程进行说明。
[0165]首先，在步骤701中，取得作为解码对象的编码流。在该编码流中包含多个分辨率的编码图像，通过部分地将流取出，能够将指定的分辨率的图像解码。
[0166]在步骤702中，决定解码对象的层。为了将作为对象的层解码，将从基础层到对象层的图像依次解码。以下，设想将各层依次解码而进行说明。此外对以下情况进行说明。此夕卜，说明关于基础层，包括使用H.264/AVC或MPEG — 2那样的编码单位为固定尺寸的宏块编码的情况、和使用如HEVC那样作为能够选择多个尺寸的编码单位的CU编码的情况这两者，关于扩展层，如HEVC那样的使用编码单位的尺寸不同的CU编码的情况。
[0167]步骤703中判别是否参照下位层的⑶、PU、TU或宏块、预测块尺寸的构造。基础层由于是最下位层，所以不参照。在参照下位层的情况下向步骤704前进，在不参照的情况下向步骤706前进。
[0168]在步骤704中，参照下位层将⑶、PU、TU或宏块、预测块尺寸的构造解码。参照下位层的情况下的规则如上所述。
[0169]在步骤705中，参照下位层的解码图像，使用在步骤704中解码后的⑶、PU、TU或宏块、预测块尺寸的构造信息，进行预测、逆量化、逆频率变换而将层解码。
[0170]在步骤706中，在该层中独立地将⑶、PU、TU或宏块、预测块尺寸的构造解码。
[0171]在步骤707中，参照下位层的解码图像，使用在步骤706中解码后的⑶、PU、TU或宏块、预测块尺寸的构造信息进行预测、逆量化、逆频率变换而将层解码。
[0172]在步骤708中，判定是否已将目标层解码。如果已将目标层解码则向步骤709前进，如果不是，则向步骤702前进，将更上位的层解码。
[0173]在步骤709中，输出解码后的图像。
[0174]通过上述那样的方法，从与多个分辨率对应的图像编码流将图像解码。
[0175]根据以上说明的图像解码装置及图像解码方法，能够进行比已有的编码方式更有效率的与多个分辨率层对应的CU、PU、TU的记述，能够实现与已有方式相比压缩效率更高的图像解码装置及图像解码方法。
[0176]此外，该图像解码装置及图像解码方法能够应用到使用它们的再现装置、便携电话、数字照相机等中。
[0177]根据以上说明的图像解码装置及图像解码方法，能够将代码量少的编码数据更高画质地解码。
[0178]接着，在图8中表示保存有通过上述图像编码装置或图像编码方法生成的编码流的数据记录介质。保存的编码流是通过上述图像编码装置或图像编码方法生成的编码流。其生成方法如上述那样，所以省略说明。这里，将编码流作为数据序列802记录到数据记录介质801上。数据序列802被记录为遵循规定的语法的编码流。以下，假设变更了 HEVC的一部分而进行说明。
[0179]首先，在HEVC中，由序列参数集803、图片参数集804、片(slice)805、806、807构成流。以下，表示在I个片中保存I个图像(图片)的情况。
[0180]在各片的内部，包括关于各个⑶、PU、TU的信息808。在关于⑶、PU、TU的信息808的内部，有按CU、PU、TU记录各自的预测方法、变换方法的区域，将其设为编码模式标志809。
[0181]根据以上说明的数据记录介质，由于用与已有方式相比压缩效率更高的编码流记录，所以能够记录较多的图像。
[0182]标号说明
[0183]101分辨率变换部；102层O单元信息计算部；103层I单元信息计算部；104层2单元信息计算部；105层OCU计算部；106层OPU计算部；107层OTU计算部；108层ICU计算部；109层IPU计算部；110层ITU计算部；111层2CU计算部；112层2PU计算部；113层2TU计算部；114层O层内.层间预测部；115层O变换.量化部；116层O编码处理部；117层I层内?层间预测部；118层I变换.量化部；119层I编码处理部；120层2层内?层间预测部；121层2变换.量化部；122层2编码处理部；123复用部；124数据输出部；201流解析部；202层O单元信息解码部；203层I单元信息解码部；204层2单元信息解码部；205层OCU解码部；206层OPU解码部；207层OTU解码部；208层ICU解码部；209层IPU解码部；210层ITU解码部；211层2⑶解码部；212层2PU解码部；213层2TU解码部；214层O熵解码部；215层O层内.层间预测部；216层O逆变换.逆量化部；217层O合成部；218层I熵解码部；219层I层内.层间预测部；220层I逆变换.逆量化部；221层I合成部；222层2熵解码部；223层2层内.层间预测部；224层2逆变换.逆量化部；225层2合成部；226图像输出部
【权利要求】
1.一种图像解码方法，将对图像进行编码而得到的编码流解码，其特征在于， 通过将该编码流的一部分取出，能够解码多个分辨率的图像； 该图像解码方法具有以下步骤: 在各层中将编码的单位CU的分割方法解码的步骤； 将预测单位PU的分割方法解码的步骤；以及 将频率变换单位TU的分割方法解码的步骤； 在将上述某个层I的CU解码的步骤中，参照别的层O的CU分割方法，按照一定的规则计算CU分割方法； 在将上述某个层I的PU解码的步骤中，参照相同的层I的CU分割方法和别的层O的PU分割方法，按照一定的规则计算PU分割方法； 在将上述某个层I的TU解码的步骤中，参照相同的层I的CU分割方法和别的层O的TU分割方法，按照一定的规则计算TU分割方法； 根据标志判别上述一定的规则。
2.如权利要求1所述的图像解码方法，其特征在于， 基础层的解码方式为:使用解码单位为固定尺寸的宏块进行解码； 扩展层的解码方式为:使用作为能够选择多个尺寸的编码单位的CU进行解码。
3.如权利要求1所述的图像解码方法，其特征在于， 上述一定的规则是以下的规则:对于下位层的CU、TU、PU的尺寸，设定将按照分辨率比位于对应的上位层的位置的⑶、TU、PU按照分辨率比进行放大后的尺寸，对于超过⑶、TU、PU的最大尺寸的部位,设定为该最大尺寸。
4.如权利要求1所述的图像解码方法，其特征在于， 上述一定的规则是以下的规则:对于下位层的CU、TU、PU的尺寸，参照按照分辨率比位于对应的上位层的位置的⑶、TU、PU，设定为与上位层的⑶、TU、PU的尺寸相同的尺寸。
5.如权利要求1所述的图像解码方法，其特征在于， 按每个层预先指定CU、PU、TU的可使用的尺寸、可使用的编码模式，根据标志来切换上述尺寸及编码模式。
6.一种图像解码装置，将对图像进行编码而得到的编码流解码，其特征在于， 通过将该编码流的一部分取出，能够解码多个分辨率的图像； 该图像解码装置具备: CU解码部，在各层中将编码单位CU的分割方法解码； PU解码部，将预测单位的分割方法解码；以及 TU解码部，将频率变换单位TU的分割方法解码； 上述某个层I的CU解码部参照别的层O的CU解码部输出的CU分割方法，按照一定的规则计算CU分割方法； 上述某个层I的PU解码部参照相同的层I的CU分割方法和别的层O的PU解码部输出的I3U分割方法，按照一定的规则计算PU分割方法； 上述某个层I的TU解码部参照相同的层I的CU分割方法和别的层O的TU解码部输出的TU分割方法，按照一定的规则计算TU分割方法； 根据标志判别上述一定的规则。
7.如权利要求6所述的图像解码装置，其特征在于， 基础层的编码方式为:使用编码单位为固定尺寸的宏块进行了编码； 扩展层的编码方式为:使用编码单位的尺寸不同的CU进行了编码。
8.如权利要求6所述的图像解码装置，其特征在于， 上述一定的规则是以下的规则:对于下位层的CU、TU、PU的尺寸，设定将按照分辨率比位于对应的上位层的位置的⑶、TU、PU按照分辨率比进行放大后的尺寸，对于超过⑶、TU、PU的最大尺寸的部位,设定为该最大尺寸。
9.如权利要求6所述的图像解码装置，其特征在于， 上述一定的规则是以下的规则:对于下位层的CU、TU、PU的尺寸，参照按照分辨率比位于对应的上位层的位置的⑶、TU、PU，设定为与上位层的⑶、TU、PU的尺寸相同的尺寸。
10.如权利要求6所述的图像解码装置，其特征在于， 按每个层预先指定CU、PU、TU的可使用的尺寸、可使用的编码模式， 根据标志来切换上述尺寸及编码模式。
【文档编号】H04N19/30GK104205842SQ201280070816
【公开日】2014年12月10日 申请日期:2012年3月30日 优先权日:2012年3月30日
【发明者】村上智一, 横山彻 申请人:株式会社日立制作所
【专利摘要】在为了提供降低代码量的图像编码技术而将多个分辨率的层编码到一个流中的编码装置中，关于各层的编码单位、预测单位、频率变换单位，分别按照一定的规则，参照下位层的编码单位、预测单位、频率变换单位决定该层的各单位，通过将决定的规则按照标志切换，进行适应性且有效率的运动图像的压缩。
【专利说明】
图像解码方法及图像解码装置
【技术领域】
[0001]本发明涉及将图像编码的图像编码方法、图像编码装置、将编码图像数据解码的图像解码方法、图像解码装置及编码图像数据。
【背景技术】
[0002]图像编码标准中有 H.264/AVC (Advanced Video Coding)。IS0/IEC MPEG和 ITU —T VCEG 为了实现超过它的压缩率而设立 JCT — VC(Joint Collaborative Team on VideoCoding),开始了称作 HEVC (High Efficiency Video Coding)的下一代方式的研究。
[0003]将编码后的图像解码、再现的终端中有能够以高分辨率再现的终端、仅能够以低分辨率再现的终端等多种终端，所以需要通过从I个编码流局部地取出数据而根据需要能够再现多个分辨率的可伸缩扩展编码方式。作为H.264/AVC的可伸缩扩展，SVC(ScalableVideo Coding)已被标准化。
[0004]在包括H.264/AVC及SVC、MPEG — 2的目前为止的图像编码标准中，作为进行编码的单位的宏块是固定尺寸。
[0005]在当前制定中的HEVC中，研究了使在H264AVC之前被固定化的块尺寸可变的方案。具体而言，针对进行编码的单位⑶(Coding Unit)，将块尺寸进行树构造管理，以使一边的像素数成为2的幂乘，并以任意的层级的块尺寸进行编码、解码(非专利文献I)。
[0006]现有技术文献
[0007]非专利文献
[0008]非专利文献1:T.Wiegand, ff.Han, B.Bross, J.0hm and G.Sullivan, p.39 ?p.40“7.3.6 Coding unit syntax，，,p.63 ?p.64“7.4.6 Coding unit semantics，，〃WorkingDraft 3 of High — Efficiency Video Coding",Doc.JCTVC — E603, Joint CollaborativeTeam on Video Coding(JCT — VC), March 2011.发明概要
[0009]发明要解决的问题
[0010]在图像编码方式中，有编码的单位是固定尺寸的方式、和尺寸根据图像的位置而不同的方式。在包含尺寸不同者的编码方式中，关于怎样进行可伸缩扩展还没有研究。因此，不能进行有有效率的压缩。
[0011]此外，不仅是⑶，关于作为预测单位的!^(Predict1n Unit)、作为频率变换单位的TU(Transform Unit)也没有研究记述方法。因此，有不能进行有效率的压缩的问题。
[0012]此外，关于基础层为H.264/AVC或MPEG — 2那样的固定尺寸的宏块、扩展层为HEVC那样的尺寸不同的CU的情况，也没有研究记述方法。因此，有不能进行有效率的压缩的问题。
[0013]
【发明内容】
[0014]这样，本发明的目的是提供一种在包含尺寸不同的编码单位的编码方式中，通过使层间的对应关系变明确，来应对可伸缩扩展的具有高编码效率的图像编码技术、图像解码技术。
[0015]用于解决问题的手段
[0016]本申请包含各种用于解决上述问题的方案，举出其中之一如下。
[0017]一种图像解码方法，将对图像进行编码而得到的编码流解码，其特征在于，通过将该编码流的一部分取出，能够解码多个分辨率的图像；该图像解码方法具有以下步骤:在各层中将编码的单位CU的分割方法解码的步骤；将预测单位的分割方法解码的步骤；以及将频率变换单位TU的分割方法解码的步骤；在将上述某个层I的CU解码的步骤中，参照别的层O的CU分割方法，按照一定的规则计算CU分割方法；在将上述某个层I的解码的步骤中，参照相同的层I的CU分割方法和别的层O的PU分割方法，按照一定的规则计算PU分割方法；在将上述某个层I的TU解码的步骤中，参照相同的层I的CU分割方法和别的层O的TU分割方法，按照一定的规则计算TU分割方法；根据标志判别上述一定的规则。
[0018]发明效果
[0019]根据本发明，能够提高具有可伸缩扩展功能的编码方式的编码效率。
【专利附图】
【附图说明】
[0020]图1是有关实施例1的图像编码装置的框图。
[0021]图2是有关实施例1的图像解码装置的框图。
[0022]图3是有关实施例1的编码单位的说明图。
[0023]图4是有关实施例1的编码单位的说明图。
[0024]图5是在有关实施例1的图像编码装置中使用的图像编码流程图。
[0025]图6是在有关实施例1的图像编码装置中使用的图像编码流程图。
[0026]图7是有关实施例1的图像解码方法的流程图。
[0027]图8是有关实施例1的数据记录介质的说明图。
【具体实施方式】
[0028]以下，参照【专利附图】
【附图说明】实施例。
[0029]此外，在各图中，带有相同的标号的构成要素具有相同的功能。
[0030]此外，本说明书的各记载及各图面中的“宏块”，表示以往的编码方式中的固定尺寸的编码单位，“⑶”表示作为能够选择多个尺寸的编码单位的Coding Unit。“PU”表示作为能够选择多个尺寸的预测单位的Predict1n Unit。“TU”表示作为能够选择多个尺寸的频率变换单位的Transform Unit。
[0031 ] 此外，本说明书的各记载及各图中的“与标志一起传送”的表现，也包括“包含在标志中传送”的意思。
[0032]此外，本说明书的各记载及各图中的“编码模式”的表现，包括层内预测/层间预测的类别与所采用的块尺寸的组合。
[0033]此外，本说明书的各记载及各图中的“预测模式信息”的表现，意味着包括作为是分割方法(CU、PU)或MB这一部分、和编码模式的信息，进而在MB的情况下包含宏块内的预测块尺寸的信息。
[0034]此外，本说明书的各记载及各图中的“变换模式信息”的表现，意味着包括作为是分割方法(CU、TU)和MB这一部分、以及编码模式的信息。
[0035]此外，本说明书的各记载及各图中的“单元信息”的表现，意味着包括作为是分割方法(CU、PU、TU)或MB这一部分、和编码模式的信息，进而在MB的情况下包括宏块内的预测块尺寸的信息。
[0036]此外，本说明书的各记载及各图中的“可伸缩扩展”的表现，作为意味着对于能够单独解码的下位层追加扩展分辨率的上位层的方式的表现来进行说明。但是，也能够应用于对下位层追加分辨率相同但改善了 SN比的上位层的数据的SNR可伸缩扩展、及追加增加层数的上位层的层速率可伸缩扩展，也包含这些意思。
[0037][实施例1]
[0038]首先，参照附图对实施例1进行说明。在图1中表示有关实施例1的图像编码装置的框图。以下表示能够将输入图像以3个不同的分辨率编码的例子。从分辨率低的层起设为层O、层1、层2，将低的层设为下位层，将高的层设为上位层。将作为分辨率最低的最下位层的层O称作基础层。将其以外称作扩展层。
[0039]图像编码装置具备分辨率变换部101、层O单元信息计算部102、层I单元信息计算部103、层2单元信息计算部104、层O⑶计算部105、层OPU计算部106、层OTU计算部107、层ICU计算部108、层II3U计算部109、层ITU计算部110、层2(^计算部111、层2PU计算部112、层2TU计算部113、层O层内.层间预测部114、层O变换.量化部115、层O编码处理部116、层I层内.层间预测部117、层I变换.量化部118、层I编码处理部119、层2层内.层间预测部120、层2变换.量化部121、层2编码处理部122、复用部123、数据输出部 124。
[0040]以下，详细地说明图像编码装置的各构成要素的动作。
[0041]另外，图像编码装置的各构成要素的动作例如也可以如以下的记载那样为各构成要素的自律性的动作。此外，也可以通过由计算机的控制部与计算机的存储部所存储的软件协同来实现。
[0042]首先，分辨率变换部101将输入图像变换为多个分辨率，分别作为不同层向各层的单元信息计算部发送。例如在以3个分辨率进行编码的情况下，只要将与输入图像相同的分辨率设为层2、将变换为纵横一半的分辨率的分辨率设为层1、将变换为纵横各自4分之I的分辨率的分辨率设为层O、将层O作为基础层就可以。在分辨率变换中使用一般的采样滤波器就可以。
[0043]接着，对各层的编码方法进行说明。
[0044]首先，进行作为基础层的层O的编码。基础层的编码方式包括使用HEVC那样的能够选择多个尺寸的CU进行编码的情况、和使用H.264/AVC或MPEG — 2那样的编码单位为固定尺寸的宏块进行编码的情况。以下，将使用CU的情况设为“CU情形”，将使用宏块的情况设为“MB情形”。
[0045]层O单元信息计算部102决定是“⑶情形”还是“MB情形”，输出层O的图像和“单元信息”。
[0046]“单元信息”在“⑶情形”的情况下，是⑶的分割方法、PU的分割方法、TU的分割方法这3个分割方法和编码模式，在“MB情形”的情况下，是宏块内的预测块尺寸和编码模式。
[0047]层O⑶计算部105决定层O的⑶的分割方法。在⑶中，与已有的方式同样以使图像整体的编码效率变高的方式进行最优化，决定分割方法。在MB中以固定尺寸分割。
[0048]层OPU计算部106决定层O的PU的分割方法。在⑶中，PU的分割参照⑶的分割结果进行。在CU中，以使图像整体的编码效率变高的方式进行最优化，决定分割方法和预测模式。在MB情形下也同样，以使图像整体的编码效率变高的方式进行最优化，决定宏块内的预测块尺寸和预测模式。
[0049]层OTU计算部107决定层O的TU的分割方法。TU的分割参照⑶的分割结果进行。在CU中，以使图像整体的编码效率变高的方式进行最优化，决定分割方法、变换方式。在MB情形下使用固定尺寸的变换方式。
[0050]这样，层O单元信息计算部102将层O的分辨率的图像和单元信息向层O层内?层间预测部114发送，并向层I的同计算部发送决定结果。此时，单元信息变换为预先决定的
O
[0051]接着，基于层O的单元信息进行层O的分辨率的图像的编码。
[0052]在层O层内?层间预测部114中，按照单元信息中的CU分割方法、分割方法、预测模式进行层内预测或层间预测。这些预测模式使用已有的方法。将预测模式信息向层O编码处理部116发送，将预测后的残差成分和单元信息中的⑶分割方法及TU分割方法向层O变换.量化部115发送。
[0053]在层O变换.量化部115中，按照单元信息中的CU分割方法、TU分割方法进行频率变换和量化。这些处理方法使用已有的方法。将量化后的系数信息向层O编码处理部116发送。
[0054]层O编码处理部116进行预测模式信息和系数信息的熵编码，将编码数据向复用部123输出。
[0055]此外，根据需要而进行逆量化、逆频率变换，将参照用图像数据复原，向层O层内.层间预测部114发送。这些处理方法使用已有的方法。
[0056]接着层O的编码，进行具有上一位的分辨率的层I的编码。
[0057]层I单元信息计算部103决定层I的⑶的分割方法、PU的分割方法、TU的分割方法这3个分割方法和编码模式。在层I以上的扩展层中，使用HEVC那样的编码单位的尺寸不同的CU进行编码。
[0058]层I⑶计算部108决定层I的⑶的分割方法。此时，从作为下一位的层的层O的⑶计算部105参照⑶分割方法，按照一定的规则决定⑶分割方法。也可以与层O独立地进行CU分割。在此情况下，基本上按照规则，通过例外地插入标志而进行部分地与规则不同的分割。以使图像整体的编码效率变高的方式进行最优化来决定分割方法。关于参照下位层时的CU分割方法的规则在后面叙述。
[0059]层IPU计算部109决定层I的PU的分割方法和预测模式。的分割参照层I的CU的分割结果和层O的PU的分割结果进行。但是，也可以通过仅参照层I的CU的分割结果和层O的PU分割方法中的一方的方法，按照与这些结果独立的规则来决定分割方法。基本上按照规则，通过插入标志进行部分地与规则不同的分割。以使图像整体的编码效率变高的方式进行最优化来决定分割方法、预测模式。关于分割方法的规则在后面叙述。
[0060]层ITU计算部110决定层I的TU的分割方法、变换方法。TU的分割参照层I的CU的分割结果和层O的TU的分割结果进行。但是，也可以通过仅参照层I的CU的分割结果和层O的TU分割方法中的一方的方法，按照与这些结果独立的规则来决定分割方法。在此情况下，基本上按照规则，通过插入标志进行部分地与规则不同的分割。以使图像整体的编码效率变高的方式进行最优化来决定分割方法、变换方法。关于分割方法的规则在后面叙述。
[0061]这样，层I单元信息计算部103将层I的分辨率的图像和单元信息向层I层内?层间预测部117发送，并向层2的单元信息计算部发送决定结果。此时，单元信息被变换为预先决定的标志。
[0062]接着，基于层I的单元信息进行层I的编码。
[0063]在层I层内.层间预测部117中，按照单元信息中的⑶分割方法、PU分割方法、预测模式进行层内预测或层间预测。此时，通过层间预测，还参照作为下位层的层O的解码图像、在通过分辨率变换进行了调整时处于相同位置的部位的预测模式。关于这些预测方法使用已有的方法。将预测模式信息向层I编码处理部119发送，将预测后的残差成分和单元信息中的CU分割方法及TU分割方法向层I变换.量化部118发送。
[0064]在层I变换.量化部118中，按照单元信息中的CU分割方法、TU分割方法进行频率变换和量化。这些处理方法使用已有的方法。将量化后的系数信息向层I编码处理部119发送。
[0065]层I编码处理部119进行预测模式信息和系数信息的熵编码，将编码数据向复用部123输出。
[0066]此外，根据需要进行逆量化、逆频率变换，将参照用图像数据复原，向层I层内?层间预测部117发送。这些处理方法使用已有的方法。
[0067]接着层I的编码，进行具有上一位的分辨率的层2的编码。
[0068]层2单元信息计算部104进行层2的⑶的分割方法、PU的分割方法、TU的分割方法这3个分割方法、编码模式的决定。在层I以上的扩展层中，使用HEVC那样的编码单位的尺寸不同的CU进行编码。
[0069]层2CU计算部111决定层2的⑶的分割方法。此时，从作为下一位的层的层I的⑶计算部108参照⑶分割方法，按照一定的规则决定⑶分割方法。也可以与层I独立地进行CU分割。在此情况下，基本上按照规则，通过例外地插入标志来进行部分地与规则不同的分割。以使图像整体的编码效率变高的方式进行最优化来决定分割方法。关于参照下位层时的CU分割方法的规则在后面叙述。
[0070]层2PU计算部112决定层2的PU的分割方法和预测模式。I3U的分割参照层2的CU的分割结果和层I的的分割结果进行。但是，也可以通过仅参照层I的CU的分割结果和层O的PU分割方法中的一方的方法，按照与这些结果独立的规则来决定分割方法。在此情况下，基本上按照规则，通过插入标志而进行部分地与规则不同的分割。以使图像整体的编码效率变高的方式进行最优化来决定分割方法、预测模式。关于分割方法的规则在后面叙述。
[0071]层2TU计算部113决定层2的TU的分割方法、变换方法。TU的分割参照层2的CU的分割结果和层I的TU的分割结果进行。但是，也可以通过仅参照层I的CU的分割结果和层O的TU分割方法中的一方的方法，按照与这些结果独立的规则来决定分割方法。基本上按照规则，通过插入标志而进行部分地与规则不同的分割。以使图像整体的编码效率变高的方式进行最优化来决定分割方法、变换方法。关于分割方法的规则在后面叙述。
[0072]这样，层2单元信息计算部111将层2的分辨率的图像和单元信息向层2层内?层间预测部120发送。此时，单元信息被变换为预先决定的标志。
[0073]接着，基于层2的单元信息进行层2的编码。
[0074]在层2层内.层间预测部120中，按照单元信息中的⑶分割方法、PU分割方法、预测模式进行层内预测或层间预测。此时，通过层间预测，还参照作为下位层的层I的解码图像、通过分辨率变换进行了调整时处于相同位置的部位的预测模式。这些预测方法只要使用已有的方法就可以。将预测模式信息向层2编码处理部122发送，将预测后的残差成分和单元信息中的CU分割方法及TU分割方法向层2变换.量化部121发送。
[0075]在层2变换.量化部121中，按照单元信息中的CU分割方法、TU分割方法进行频率变换和量化。这些处理方法使用已有的方法。将量化后的系数信息向层2编码处理部122发送。
[0076]层2编码处理部122进行预测模式信息和系数信息的熵编码，将编码数据向复用部123输出。此外，根据需要进行逆量化、逆频率变换，将参照用图像数据复原，向层2层内.层间预测部120发送。这些处理方法使用已有的方法。
[0077]复用部123将编码后的层O、层1、层2的数据复用到一个流中。关于数据的包化的方法、索引、标志的设定方法、复用方法，只要使用已有的方法就可以。最后，数据输出部124输出复用后的流数据。
[0078]接着，使用图3，对根据下位层的⑶、PU、TU的分割方法计算上位层的⑶、PU、TU的分割方法的规则进行说明。以下以CU为例进行说明。
[0079]假设基础层的⑶如301那样被分割。分割方法假设为通过四叉树等以树状管理、记录的方法。这里，当记述分辨率在纵横分别为2倍的扩展层的分割方法时，只要决定302那样的分割方法的规则、将其通过标志等指定就可以。302的分割方法中将基础层的CU按照分辨率比扩大，对于超过⑶的最大尺寸的地方，设为最大尺寸。由此，能够不另外传送⑶的分割信息，而进行遵循基础层的分割方法的扩展层的分割。只要将分割后的CU的信息通过四叉树等以树状管理就可以。
[0080]接着，作为另一例，对将扩展层如303那样分割的规则进行说明。303的分割方法中在扩展层的各位置按照分辨率比、参照基础层的CU、使用与基础层相同的CU尺寸。因而，扩展层的CU的数量变得比基础层多。通过该方法也同样，能够不另外传送CU的分割信息，而进行遵循基础层的分割方法的扩展层的分割。分割出的CU的信息只要通过四叉树等以树状管理就可以。
[0081]接着，使用图4，说明在基础层被用H.264/AVC或MPEG — 2那样的固定尺寸的宏块和预测模式编码、扩展层使用如HEVC那样能够选择多个尺寸的“CU”和“PU”的情况下计算扩展层的分割方法的规则。
[0082]假设基础层如401那样被用固定尺寸的宏块编码，预测的单位由各宏块的预测模式规定。这里，在记述分辨率在纵横分别为2倍的扩展层的分割方法时，只要设定402那样的分割方法的规则、将其通过标志等指定就可以。402的分割方法中将基础层的宏块按照分辨率比扩大而作为⑶。关于超过⑶的最大尺寸的地方，只要设定为最大尺寸就可以。此夕卜，关于PU，只要将由预测模式指定的尺寸按照分辨率比扩大而设为PU就可以。由此，能够不另外传送CU及PU的分割信息，而进行遵循基础层的分割方法的扩展层的分割。分割的CU的信息只要通过四叉树等以树状管理就可以。
[0083]接着，作为另一例，对将扩展层如403那样分割的规则进行说明。403的分割方法中在扩展层的各位置按照分辨率比参照基础层的宏块、使用与宏块相同的CU尺寸。关于PU，既可以使用与在基础层的预测模式中指定的尺寸相同的尺寸，也可以与扩展层的CU尺寸匹配。通过该方法也同样，能够不另外传送CU及PU的分割信息，而进行遵循基础层的分割方法的扩展层的分割。分割的CU的信息只要通过四叉树等以树状管理就可以。
[0084]在从扩展层参照基础层的单元的情况下，只要按照分辨率比参照处于相同位置的单元的信息就可以。在上述中以CU为例进行了说明，但在及TU中也能够应用同样的规贝U。此外，在上述例子中，分割后的单元全部为正方形，但也可以通过用PU_MERGE等的方法按每个单元与周边的单元合并，来进行长方形等正方形以外的分割。也可以以上述为基本规则，通过插入标志等，而部分地使用别的分割方法。
[0085]在扩展层和基础层中，也可以预先指定CU、PU、TU的可使用的尺寸，将它们通过标志切换。也可以是，不仅是尺寸，而且在各层中指定可使用的编码模式，通过标志来切换。例如，在分辨率低的图像和分辨率高的图像中，有效果高的编码模式或CU、PU、TU的尺寸不同的情况。因而，只要根据分辨率预先决定它们的数量、图案(pattern)，就能够进行有效率的编码。
[0086]CU、PU、TU所遵循的规则既可以分别不同，也可以相同。也可以根据标志来判定使其统一还是不同。
[0087]也可以根据在各层中编码的图片类型，例如I图片、P图片、B图片等，来切换所使用的分割方法、上述规则。
[0088]上述那样的可伸缩扩展也能够应用于多视点图像的编码。在此情况下，将要扩展的层在分辨率方向和视点(视角)方向上2维地配置。因而，在多视点图像中的应用中，也可以对分辨率方向和视点方向使用分别不同的分割方法、规则。
[0089]接着，使用图5，对在图像编码装置中使用的图像编码流程进行说明。
[0090]首先，步骤501从原图像制作多个分辨率图像。将制作出的图像分别作为不同层编码。例如在以3个分辨率进行编码的情况下，只要将与输入图像相同的分辨率设为层2、将变换为纵横一半的分辨率的分辨率设为层1、将变换为纵横各自的4分之I的分辨率的分辨率设为层O、将层O作为基础层就可以。在分辨率变换中只要使用一般的采样滤波器就可以。
[0091]接着进行各层的编码。以下，说明基础层和扩展层都使用如HEVC那样能够选择多个尺寸的“CU”编码的情况。
[0092]步骤502判定处理对象层是否是基础层。如果是基础层，则向步骤503前进，如果是其以外，则向步骤504前进。
[0093]在步骤503?505中，进行基础层的编码。
[0094]在步骤503中，决定⑶、PU、TU的分割方法。分割方法只要如上述那样以使图像整体的编码效率变高的方式进行最优化来决定就可以。
[0095]在步骤504中，将⑶、PU、TU作为树构造编码。
[0096]在步骤505中，进行预测、变换、量化、熵编码及局部(local)解码处理。这些只要使用已有的编码方法就可以。
[0097]在步骤511中，进行编码后的层的数据的缓冲，在其他层被编码后，通过包化处理进行复用，输出复用后的编码流。
[0098]在步骤512中，判定是否处理了全部的层，如果已处理了全部的层则结束，如果还有尚未编码的层则回到步骤502进行其他层的处理。
[0099]在步骤506?510中，进行扩展层的编码。
[0100]在步骤506中，判断将⑶、PU、TU的分割方法按照下位层的规则决定、还是独立地决定。在按照规则决定的情况下向步骤507前进，在独立决定的情况下向步骤508前进。
[0101]在步骤507中，参照下位层，按照规则决定⑶、PU、TU的分割方法。分割方法的规则如上所述。
[0102]在步骤508中，与下位层独立地决定CU、PU、TU的分割方法。
[0103]在步骤509中，将⑶、PU、TU作为树构造编码。
[0104]在步骤510中，进行预测、变换、量化、熵编码及局部解码处理。这些只要使用已有的编码方法就可以。
[0105]在扩展层的编码后也同样进行步骤511、512的处理。
[0106]通过上述过程，进行与多个分辨率适应的图像编码。
[0107]接着，使用图6，对在图像编码装置中使用的其他图像编码流程进行说明。
[0108]首先，步骤601从原图像制作多个分辨率图像。将制作出的图像分别作为不同的层编码。分辨率变换方法如上所述。
[0109]接着，进行各层的编码。以下，说明在基础层中使用H.264/AVC或MPEG — 2那样的编码单位为固定尺寸的宏块进行编码、在扩展层中使用如HEVC那样能够选择多个尺寸的“CU”进行编码的情况。
[0110]步骤602判定处理对象层是否是基础层。如果是基础层则向步骤603前进，如果是其以外则向步骤604前进。
[0111]在步骤603、604中，进行基础层的编码。
[0112]在步骤603中，对于固定尺寸的各宏块，判定预测块尺寸、预测模式，决定它们的编码模式。编码模式的决定方法只要按照已有的方法以使图像整体的编码效率变高的方式进行最优化来决定就可以。
[0113]在步骤604中，按照编码模式进行预测、变换、量化、熵编码及局部解码处理。这些只要使用已有的编码方法就可以。
[0114]在步骤610中，进行编码后的层的数据的缓冲，在将其他层编码后，通过包化处理进行复用，输出复用后的编码流。
[0115]在步骤611中，判定是否已处理了全部的层，如果已处理了全部的层则结束，如果还有尚未编码的层，则回到步骤602进行其他层的处理。
[0116]在步骤605?609中，进行扩展层的编码。
[0117]在步骤605中，判定将⑶、PU、TU的分割方法按照下位层的规则决定、还是独立地决定。在按照规则决定的情况下向步骤606前进，在独立决定的情况下向步骤607前进。
[0118]在步骤606中，参照下位层，按照规则决定⑶、PU、TU的分割方法。分割方法的规则如上所述。
[0119]在步骤607中，与下位层独立地决定⑶、PU、TU的分割方法。
[0120]在步骤608中，将⑶、PU、TU作为树构造编码。
[0121]在步骤609中，进行预测、变换、量化、熵编码及局部解码处理。这些只要使用已有的编码方法就可以。
[0122]在扩展层的编码后也同样，进行步骤610、611的处理。
[0123]通过上述过程，进行适应于多个分辨率的图像编码。
[0124]根据以上说明的图像编码装置及图像编码方法，能够进行比已有的编码方式更有效率的对应于多个分辨率层的CU、PU、TU的记述，能够实现与已有方式相比压缩效率更高的图像编码装置及图像编码方法。
[0125]此外，该图像编码装置及图像编码方法能够在使用它们的记录装置、便携电话、数字照相机等中使用。
[0126]根据以上说明的图像编码装置及图像编码方法，能够减少编码数据的代码量，防止将该编码数据解码的情况下的解码图像的画质的劣化。即，能够实现高压缩率和更好的画质。
[0127]接着，在图2中表示图像解码装置的框图的例子。
[0128]本实施例的图像解码装置具备流解析部201、层O单元信息解码部202、层I单元信息解码部203、层2单元信息解码部204、层O⑶解码部205、层OPU解码部206、层OTU解码部207、层ICU解码部208、层IPU解码部209、层ITU解码部210、层2CU解码部211、层2PU解码部212、层2TU解码部213、层O熵解码部214、层O层内.层间预测部215、层O逆变换.逆量化部216、层O合成部217、层I熵解码部218、层I层内.层间预测部219、层I逆变换.逆量化部220、层I合成部221、层2熵解码部222、层2层内.层间预测部223、层2逆变换.逆量化部224、层2合成部225、图像输出部226。
[0129]以下，详细地说明图像解码装置的各构成要素的动作。另外，图像解码装置的各构成要素的动作例如也可以如以下的记载那样为各构成要素的自律性的动作。此外，例如也可以通过与计算机的控制部、存储部中存储的软件协同来实现。
[0130]首先，流解析部201将输入的编码流解析。这里，流解析部201还进行从包的数据提取处理、各种头.标志的信息取得处理。
[0131]此外，此时向流解析部201输入的编码流是通过有关实施例1的图像编码装置及图像编码方法生成的编码流。其生成方法如实施例1中所示，所以省略说明。也可以是从后述的数据记录介质读出的编码流。其记录方法在后面叙述。
[0132]通过流解析部将各层的编码数据分离。首先将基础层的数据解码，接着依次将上位的层解码。这里，表示以层O、层1、层2的顺序解码的例子。
[0133]首先，进行作为基础层的层O的解码。如上述那样，基础层的编码方式包括使用
H.264/AVC或MPEG — 2那样的编码单位为固定尺寸的宏块进行编码的情况、和使用如HEVC那样作为能够选择多个尺寸的编码单位的CU进行编码的情况。以下，在使用宏块的情况下，只要将CU替换为宏块就可以。此外，只要将替换为在宏块内决定的预测块就可以。
[0134]层O单元信息解码部202将层O的⑶、TU、PU解码。
[0135]层O⑶解码部205将层O的⑶解码。这只要按照上述⑶编码顺序、通过对应的解码顺序进行解码就可以。
[0136]层OPU解码部206将层O的PU解码。这只要一边参照由层O⑶解码部205解码后的CU的信息、一边通过与上述编码顺序对应的解码顺序进行解码就可以。
[0137]层OTU解码部207将层O的TU解码。这只要一边参照由层O⑶解码部205解码后的CU的信息，一边以对应于上述TU编码顺序的解码顺序进行解码就可以。
[0138]接着，基于层O的单元信息进行层O的解码。
[0139]在层O熵解码部214中，将熵编码后的编码模式信息、标志信息、残差系数解码。
[0140]在层O层内.层间预测部215中，按照单元信息中的⑶分割方法、PU分割方法、预测模式进行层内预测或层间预测。关于它们的预测方法使用已有的方法。
[0141]在层O逆变换.逆量化部216中，按照单元信息中的CU分割方法、TU分割方法进行逆量化和逆频率变换。这些处理方法使用已有的方法。
[0142]层O合成部217将由层O层内?层间预测部215制作出的预测像素与由层O逆变换?逆量化部216制作出的残差成分合成，制作解码图像。将解码后的图像向图像输出部226发送。
[0143]接着，进行作为上一层的层I的解码。
[0144]层I单元信息解码部203将层I的⑶、TU、PU解码。
[0145]层I⑶解码部208参照作为下位层的层O的⑶，将层I的⑶解码。将层I的⑶解码时的顺序、参照层O时的规则如上所述。
[0146]层IPU解码部209将层I的PU解码。这一边参照作为下位层的层O的PU和由层I⑶解码部208解码后的⑶的信息，一边通过与上述编码顺序对应的解码顺序进行解码。
[0147]层ITU解码部210将层I的TU解码。这一边参照作为下位层的层O的TU和由层I⑶解码部208解码后的⑶的信息，一边通过与上述TU编码顺序对应的解码顺序进行解码。
[0148]接着，基于层I的单元信息进行层I的解码。
[0149]在层I熵解码部218中，将熵编码后的编码模式信息、标志信息、残差系数解码。
[0150]在层I层内.层间预测部219中，按照单元信息中的⑶分割方法、PU分割方法、预测模式进行层内预测或层间预测。关于它们的预测方法使用已有的方法。
[0151]在层I逆变换.逆量化部220中，按照单元信息中的CU分割方法、TU分割方法进行逆量化和逆频率变换。这些处理方法只要使用已有的方法就可以。
[0152]层I合成部221将由层I层内?层间预测部219制作出的预测像素与由层I逆变换?逆量化部220制作出的残差成分合成，制作解码图像。将解码后的图像向图像输出部226发送。
[0153]接着，进行作为再上一层的层2的解码。
[0154]层2单元信息解码部204将层2的⑶、TU、PU解码。
[0155]层2CU解码部211参照作为下位层的层I的⑶，将层2的⑶解码。将层2的⑶解码时的顺序、参照层I时的规则如上所述。
[0156]层2PU解码部212将层2的PU解码。这一边参照作为下位层的层I的和由层2CU解码部211解码后的⑶的信息，一边通过与上述编码顺序对应的解码顺序进行解码。
[0157]层2TU解码部213将层2的TU解码。这一边参照作为下位层的层I的TU和由层2CU解码部211解码后的⑶的信息，一边通过与上述TU编码顺序对应的解码顺序进行解码。
[0158]接着，基于层2的单元信息进行层2的解码。
[0159]在层2熵解码部222中，将熵编码后的编码模式信息、标志信息、残差系数等解码。
[0160]在层2层内.层间预测部223中，按照单元信息中的⑶分割方法、PU分割方法、预测模式进行层内预测、层间预测。关于它们的预测方法使用已有的方法。
[0161]在层2逆变换.逆量化部224中，按照单元信息中的CU分割方法、TU分割方法进行逆量化和逆频率变换。这些处理方法使用已有的方法。
[0162]层2合成部225将由层2层内?层间预测部223制作出的预测像素与由层2逆变换.逆量化部224制作出的残差成分合成，制作解码图像。将解码后的图像向图像输出部226发送。
[0163]通过上述那样的方法，从与多个分辨率对应的图像编码流将图像解码。
[0164]接着，使用图7，对有关实施例1的图像解码装置的图像解码方法的流程进行说明。
[0165]首先，在步骤701中，取得作为解码对象的编码流。在该编码流中包含多个分辨率的编码图像，通过部分地将流取出，能够将指定的分辨率的图像解码。
[0166]在步骤702中，决定解码对象的层。为了将作为对象的层解码，将从基础层到对象层的图像依次解码。以下，设想将各层依次解码而进行说明。此外对以下情况进行说明。此夕卜，说明关于基础层，包括使用H.264/AVC或MPEG — 2那样的编码单位为固定尺寸的宏块编码的情况、和使用如HEVC那样作为能够选择多个尺寸的编码单位的CU编码的情况这两者，关于扩展层，如HEVC那样的使用编码单位的尺寸不同的CU编码的情况。
[0167]步骤703中判别是否参照下位层的⑶、PU、TU或宏块、预测块尺寸的构造。基础层由于是最下位层，所以不参照。在参照下位层的情况下向步骤704前进，在不参照的情况下向步骤706前进。
[0168]在步骤704中，参照下位层将⑶、PU、TU或宏块、预测块尺寸的构造解码。参照下位层的情况下的规则如上所述。
[0169]在步骤705中，参照下位层的解码图像，使用在步骤704中解码后的⑶、PU、TU或宏块、预测块尺寸的构造信息，进行预测、逆量化、逆频率变换而将层解码。
[0170]在步骤706中，在该层中独立地将⑶、PU、TU或宏块、预测块尺寸的构造解码。
[0171]在步骤707中，参照下位层的解码图像，使用在步骤706中解码后的⑶、PU、TU或宏块、预测块尺寸的构造信息进行预测、逆量化、逆频率变换而将层解码。
[0172]在步骤708中，判定是否已将目标层解码。如果已将目标层解码则向步骤709前进，如果不是，则向步骤702前进，将更上位的层解码。
[0173]在步骤709中，输出解码后的图像。
[0174]通过上述那样的方法，从与多个分辨率对应的图像编码流将图像解码。
[0175]根据以上说明的图像解码装置及图像解码方法，能够进行比已有的编码方式更有效率的与多个分辨率层对应的CU、PU、TU的记述，能够实现与已有方式相比压缩效率更高的图像解码装置及图像解码方法。
[0176]此外，该图像解码装置及图像解码方法能够应用到使用它们的再现装置、便携电话、数字照相机等中。
[0177]根据以上说明的图像解码装置及图像解码方法，能够将代码量少的编码数据更高画质地解码。
[0178]接着，在图8中表示保存有通过上述图像编码装置或图像编码方法生成的编码流的数据记录介质。保存的编码流是通过上述图像编码装置或图像编码方法生成的编码流。其生成方法如上述那样，所以省略说明。这里，将编码流作为数据序列802记录到数据记录介质801上。数据序列802被记录为遵循规定的语法的编码流。以下，假设变更了 HEVC的一部分而进行说明。
[0179]首先，在HEVC中，由序列参数集803、图片参数集804、片(slice)805、806、807构成流。以下，表示在I个片中保存I个图像(图片)的情况。
[0180]在各片的内部，包括关于各个⑶、PU、TU的信息808。在关于⑶、PU、TU的信息808的内部，有按CU、PU、TU记录各自的预测方法、变换方法的区域，将其设为编码模式标志809。
[0181]根据以上说明的数据记录介质，由于用与已有方式相比压缩效率更高的编码流记录，所以能够记录较多的图像。
[0182]标号说明
[0183]101分辨率变换部；102层O单元信息计算部；103层I单元信息计算部；104层2单元信息计算部；105层OCU计算部；106层OPU计算部；107层OTU计算部；108层ICU计算部；109层IPU计算部；110层ITU计算部；111层2CU计算部；112层2PU计算部；113层2TU计算部；114层O层内.层间预测部；115层O变换.量化部；116层O编码处理部；117层I层内?层间预测部；118层I变换.量化部；119层I编码处理部；120层2层内?层间预测部；121层2变换.量化部；122层2编码处理部；123复用部；124数据输出部；201流解析部；202层O单元信息解码部；203层I单元信息解码部；204层2单元信息解码部；205层OCU解码部；206层OPU解码部；207层OTU解码部；208层ICU解码部；209层IPU解码部；210层ITU解码部；211层2⑶解码部；212层2PU解码部；213层2TU解码部；214层O熵解码部；215层O层内.层间预测部；216层O逆变换.逆量化部；217层O合成部；218层I熵解码部；219层I层内.层间预测部；220层I逆变换.逆量化部；221层I合成部；222层2熵解码部；223层2层内.层间预测部；224层2逆变换.逆量化部；225层2合成部；226图像输出部
【权利要求】
1.一种图像解码方法，将对图像进行编码而得到的编码流解码，其特征在于， 通过将该编码流的一部分取出，能够解码多个分辨率的图像； 该图像解码方法具有以下步骤: 在各层中将编码的单位CU的分割方法解码的步骤； 将预测单位PU的分割方法解码的步骤；以及 将频率变换单位TU的分割方法解码的步骤； 在将上述某个层I的CU解码的步骤中，参照别的层O的CU分割方法，按照一定的规则计算CU分割方法； 在将上述某个层I的PU解码的步骤中，参照相同的层I的CU分割方法和别的层O的PU分割方法，按照一定的规则计算PU分割方法； 在将上述某个层I的TU解码的步骤中，参照相同的层I的CU分割方法和别的层O的TU分割方法，按照一定的规则计算TU分割方法； 根据标志判别上述一定的规则。
2.如权利要求1所述的图像解码方法，其特征在于， 基础层的解码方式为:使用解码单位为固定尺寸的宏块进行解码； 扩展层的解码方式为:使用作为能够选择多个尺寸的编码单位的CU进行解码。
3.如权利要求1所述的图像解码方法，其特征在于， 上述一定的规则是以下的规则:对于下位层的CU、TU、PU的尺寸，设定将按照分辨率比位于对应的上位层的位置的⑶、TU、PU按照分辨率比进行放大后的尺寸，对于超过⑶、TU、PU的最大尺寸的部位,设定为该最大尺寸。
4.如权利要求1所述的图像解码方法，其特征在于， 上述一定的规则是以下的规则:对于下位层的CU、TU、PU的尺寸，参照按照分辨率比位于对应的上位层的位置的⑶、TU、PU，设定为与上位层的⑶、TU、PU的尺寸相同的尺寸。
5.如权利要求1所述的图像解码方法，其特征在于， 按每个层预先指定CU、PU、TU的可使用的尺寸、可使用的编码模式，根据标志来切换上述尺寸及编码模式。
6.一种图像解码装置，将对图像进行编码而得到的编码流解码，其特征在于， 通过将该编码流的一部分取出，能够解码多个分辨率的图像； 该图像解码装置具备: CU解码部，在各层中将编码单位CU的分割方法解码； PU解码部，将预测单位的分割方法解码；以及 TU解码部，将频率变换单位TU的分割方法解码； 上述某个层I的CU解码部参照别的层O的CU解码部输出的CU分割方法，按照一定的规则计算CU分割方法； 上述某个层I的PU解码部参照相同的层I的CU分割方法和别的层O的PU解码部输出的I3U分割方法，按照一定的规则计算PU分割方法； 上述某个层I的TU解码部参照相同的层I的CU分割方法和别的层O的TU解码部输出的TU分割方法，按照一定的规则计算TU分割方法； 根据标志判别上述一定的规则。
7.如权利要求6所述的图像解码装置，其特征在于， 基础层的编码方式为:使用编码单位为固定尺寸的宏块进行了编码； 扩展层的编码方式为:使用编码单位的尺寸不同的CU进行了编码。
8.如权利要求6所述的图像解码装置，其特征在于， 上述一定的规则是以下的规则:对于下位层的CU、TU、PU的尺寸，设定将按照分辨率比位于对应的上位层的位置的⑶、TU、PU按照分辨率比进行放大后的尺寸，对于超过⑶、TU、PU的最大尺寸的部位,设定为该最大尺寸。
9.如权利要求6所述的图像解码装置，其特征在于， 上述一定的规则是以下的规则:对于下位层的CU、TU、PU的尺寸，参照按照分辨率比位于对应的上位层的位置的⑶、TU、PU，设定为与上位层的⑶、TU、PU的尺寸相同的尺寸。
10.如权利要求6所述的图像解码装置，其特征在于， 按每个层预先指定CU、PU、TU的可使用的尺寸、可使用的编码模式， 根据标志来切换上述尺寸及编码模式。
【文档编号】H04N19/30GK104205842SQ201280070816
【公开日】2014年12月10日 申请日期:2012年3月30日 优先权日:2012年3月30日
【发明者】村上智一, 横山彻 申请人:株式会社日立制作所
最新回复(0)