视频处理装置及方法
视频处理装置及方法
【专利说明】视频处理装置及方法
[0001]交叉引用
[0002]本发明是申请号201010125158.3，发明名称为:视频处理装置及方法的发明专利申请的分案申请。
技术领域
[0003]本发明是关于视频处理，更具体的，是关于视频处理装置及方法。
【背景技术】
[0004]视频系统实现了多种功能以方便的存储、处理或传输视频数据。例如，MPEG1/2/4和H.26x等视频编码标准用于实施视频数据压缩和解压缩，以提高存储容量和传输带宽。这些视频编码标准对具有一系列视频帧的视频数据采用基于块的压缩，基于较前的视频帧对较后的视频帧进行编码。具体而言，视频数据压缩是通过减少帧之间的时间冗余和单一帧内部的空间冗余来实现的。同时还可实施例如离散余弦转换(DCT)和运动补偿等压缩技术，以产生具有相对较高压缩率的标准兼容(compliant)比特流。因此，比特流可以有效率且标准化的方式进行传输和存储。
[0005]但由于视频编码标准的特性，当压缩或传输期间比特流引入不希望或不可复原的错误时，由于较前的视频帧缺少(absent)或不可用，较后的视频帧可能解码错误。典型情况下，参考该缺少或不可用的较前视频帧进行编码的较后视频帧会被跳过不显示。这种不希望的帧跳过显示可引起突发场景变化或场景移动不连续，导致用户观看体验不佳。
[0006]因此，需要一种用于视频处理装置的视频处理方法，能够在参考帧缺少或不可用的情况下处理并且平滑显示视频帧。
【发明内容】
[0007]有鉴于此，本发明的目的之一是提供一种视频处理装置及方法。
[0008]本发明提供一种视频处理方法包含:解码一比特流，其中该比特流包含多个画面组，且每个画面组包含一帧序列；确定要显示的一当前画面组的一当前帧是否有宏块前向参考了一先前画面组的一先前帧；以及若该当前帧有宏块前向参考该先前画面组的该先前帧，且该先前帧缺少时，跳过显示该当前画面组的该当前帧，其中该控制器根据该当前帧编码中指定的信息确定该当前画面组的该当前帧是否参考该先前画面组的该先前帧，并且该指定的信息不是该当前画面组的标头中的一旗标。
[0009]本发明提供一种视频处理装置，包含:一解码器，用于解码一比特流，其中该比特流包含多个画面组，且每个画面组包含一帧序列；一控制器，耦接该解码器，用于确定要显示的一当前画面组的一当前帧是否有宏块前向参考了一先前画面组的一先前帧，其中该当前画面组在该先前画面组之后；以及一显示设备，耦接该控制器，用于当该当前帧有宏块前向参考该先前画面组的该先前帧，且该先前帧缺少时，该控制器跳过显示该当前画面组的该当前帧，其中该控制器根据该当前帧编码中指定的信息确定该当前画面组的该当前帧是否参考该先前画面组的该先前帧，并且该指定的信息不是该当前画面组的标头中的一旗标。
[0010]本发明的优点之一是能够在参考帧缺少或不可用的情况下处理并且平滑显示视频帧。
【附图说明】
[0011 ]图1是视频处理装置10 —个实施例的方块示意图。
[0012]图2A是解码顺序下GOP的示意图。
[0013]图2B是显不顺序下GOP的不意图。
[0014]图3是缺少参考帧时处理比特流108的一个实施例的示意图。
[0015]图4是缺少参考巾贞时处理比特流408的另一实施例的不意图。
[0016]图5是视频处理方法50 —个实施例的流程图。
[0017]图6是另一实施例视频处理方法60的流程图。
【具体实施方式】
[0018]在说明书及后续的权利要求当中使用了某些词汇来指称特定组件。所属领域中具有通常知识者应可理解，制造商可能会用不同的名词来称呼同一个组件。本说明书及后续的权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及后续的请求项当中所提及的“包括”和“包含”系为一开放式的用语，故应解释成“包含但不限定于”。以外，“耦接” 一词在此系包含任何直接及间接的电气连接手段。间接的电气连接手段包括通过其他装置进行连接。
[0019]图1是视频处理装置10 —个实施例的方块示意图。如图1所示，视频处理装置10包含解码器102、控制器104和显示设备106。解码器102接收比特流108并解码。如第2A、2B图所示，根据其中一个实施例，比特流108是具有多个画面组(Group Of Pictures, GOP)的MPEG编码比特流。
[0020]图2A是解码顺序下GOP的不意图，图2B是显不顺序下GOP的不意图。
[0021]参考第2A、2B图，有两组GOP:G0P0和G0P1。每个GOP包含帧序列，例如GOPO以画面内编码帧(I帧)1开始，随后排列预测编码帧(P帧)P0、P1和双向预测编码帧(B帧)B0、B1、B2、B3。画面内编码帧I帧编码时不参考其它帧。预测编码帧P帧时间参考(temporalreference)先前的I帧或P帧进行编码。通常，I帧和P帧称为参考帧，用于定义解码顺序下的未来(较后的)帧。双向预测编码帧B帧参考同一 GOP内先前和之后的I帧和P帧进行编码。请注意，对于如图2A所示解码顺序下的当前G0P1，其中的第一个B帧B4(B4紧随当前GOP的第一个I帧II)也可以参考先前的GOPO中的一些帧。此时，GOPl的标头(header)中会使用旗标Close_G0P，指示B帧的编码前向参考(forward reference) 了先前GOPO的帧。进一步，每一帧(例如I帧10)分为多个片(slice)，例如片Sn。每个片包含多个宏块(MacroBlock, MB)。每个MB表示一组像素，例如8x8、8xl6、16x8、16x16块。8x8块可再划分(sub-partit1n)为 4x4、4x8 或 8x4 大小的块。
[0022]如第2A、2B图所示，比特流108的解码顺序不同于显示顺序。图2A中，G0P0、G0P1由图1解码器102解码的解码顺序是“10，？0，80，81汁1，82，83，II, B4, B5，P2，B6，B7”，而图2B 中，G0P0、G0P1 由图1 显示器 106 显示的顺序是“ 10，B0, BI, PO, B2, B3, PI, B4, B5, II, B6,B7，P2”。如上所述，解码P帧或B帧可能需要较前的参考帧解码时所导出的已解码数据。当P帧或B帧所参考的较前参考帧缺少或无效时，较后的P帧或B帧就不能解码。
[0023]图3是缺少参考帧时处理比特流108的一个实施例的示意图。参考第1、3图，假设由于缺少GOPO而缺少P帧Pl。一个实施例中，在切换新频道时，与新频道关联的GOPO不一定能被解码器102接收到，从而使P帧Pl缺少。另一实施例中，若GOPO存储在存储介质(例如光盘)的缺陷区，GOPO也可能对解码器102不可用，导致缺少P帧P1。
[0024]如图3箭头302、304所示，耦接于解码器102的控制器104随后确定GOPl的两个B帧B4、B5中是否有MB前向参考了先前的G0P0。在一些实施例中，两个B帧B4、B5可能对标志(logo)或关键帧很重要。
[0025]依据上述可知，在图2A所示的解码顺序下，由于要显示的两个B帧B4、B5紧随I帧Il之后，可直接用旗标ClOSe_G0P确定B帧B4、B5是否为画面内编码、或者B帧B4、B5是否只利用后向参考帧进行编码。但由于旗标Close_G0P可在编码过程后发生的任意编辑期间(editing per1d)设定，可能造成旗标Close_G0P使用不稳定。
[0026]因此，控制器104也可不使用旗标Close_G0P，而是根据在B帧B4、B5编码中指定的指示所用参考的信息，来确定B帧B4、B5是否参考GOPO的P帧P1。例如，指定信息可以是用于指示所用参考帧的运动向量信息。
[0027]若控制器104确定较后的GOPl中两个B帧B4、B5没有MB前向参考较前的GOPO (例如参考P帧Pl)，则耦接控制器104的显示设备106显示可正确解码的两个B帧B4、B5。
[0028]否则，控制器104对于参考缺少的前向参考帧Pl的两个B帧B4、B5跳过不显示，因此显示器106可避免显示错误解码的B帧B4、B5。
[0029]图4是缺少参考巾贞时另一实施例处理比特流408的不意图。
[0030]典型的，当用户开始切换频道时，图1所示解码器102直到识别出下一 I帧或下一GOP边界才能开始解码比特流408。但参考图4，若缺少I帧10(图未示)的当前GOPO数据量较大，等待下一I帧(即II)或下一 GOP边界(即G0P1)的时间也相应较长，因此大大增加了频道切换时间或延迟。进一步，当切换频道时，欲观看的频道显示黑色或呈现扭曲帧(解码器102错误解码的帧)直到下一 I帧Il可用，这会破坏用户的视频观看体验。
[0031]因此，根据本发明的一个实施例，在接收下一 I帧Il之前，控制器104可利用当前GOPO的一些有用信息来消除上述缺陷。
[0032]更具体的，如图4所示切换频道时，解码器102开始接收与欲观看频道相关联的新比特流408。请注意，假设与欲观看频道相关联的新比特流408缺少GOPO中P帧P52之前的帧。
[0033]在运作中，控制器104确定当前要显示的帧(例如GOPO的P帧P52)是否有MB前向参考了缺少的帧，例如GOPO的P帧P51。
[0034]若控制器104确定P帧P52中没有MB前向参考缺少的P帧P51 (也就是说，P帧P52的所有MB都是画面内编码)，显示设备106就显示P帧P52，用户切换频道时可无延迟观看正确解码的P帧P52。
[0035]另外，若确定P帧P52的一部分MB参考缺少的P帧P51 (如箭头402所示)，就确定其余MB Rl为画面内编码。由于前向参考了缺少的P帧P51，P帧P52的画面间编码MB可能解码错误。但P帧P52的画面内编码MB Rl可正确解码。控制器104确定P帧P52后P帧P53中的画面内编码MB R2。另外，如箭头404所示，解码P 帧P53可能需要画面内编码MB Rl解码中导出的一些MB信息。类似的，控制器104确定紧随P帧P53的P帧P54中的画面内编码MB R3和画面间编码MB。详细而言，解码画面内编码MB R1、R2所导出的MB信息获取后会进行整合，以解码P帧P54中的画面间编码MB。所以，从P帧P54的画面内编码MB R3和画面间编码MB所导出的MB信息对解码器102都是可用的，从而建立(establish)所需帧(即 P 帧 P54)空间对应(spatially corresponded)的 MB。
[0036]在图4的实施例中，控制器104根据分别来自P帧P52、P53、P54的画面内编码MBRl、R2、R3获取所需P帧P54的MB信息，从而建立所需P帧P54。进一步，获取画面内编码MB RU R2、R3导出的MB信息并进行整合，以解码P帧P53、P54的其他画面间编码MB。建立所需帧空间对应MB的过程重复进行，直到获取到所需P帧P54全部MB的MB信息。请注意，P帧P52、P53、P54是同一 GOP内的接续帧。因此，显示设备106显示所需P帧P54而非下一 I帧II，由此减小了切换频道的延迟。注意到本发明的一个实施例中，显示设备106可显示所需P帧P54的一部分，在所需P帧P54中只有该部分MB是根据上述运作方法和设计需要来获得的。所以，并不必须重复该运作直到获取所需帧的所有MB。
[0037]进一步，请注意上述实施例可应用至基于MB的任何解码方式。
[0038]图5是视频处理方法50 —个实施例的流程图，视频处理方法50由图1所示的视频处理装置10实施。
[0039]视频处理方法50开始时，解码器102接收并解码比特流108 (步骤S502)。比特流108包含多个G0P，每个GOP包含帧序列，如第2A、2B图所示。接着，确定要显示的当前GOP的当前帧是否有MB前向参考了先前GOP的帧(步骤S504)。例如，控制器104确定GOPl的B帧B4是否有MB前向参考了 GOPO中缺少的P帧P1，如图3箭头302所示。请注意，确定过程已经在图3实施例中详细描述，此处不再重复。
[0040]若当前帧没有MB前向参考了先前GOP的缺少帧，则显示设备106显示当前GOP的当前帧(步骤S506)。例如图3所示，若GOPl的B帧B4编码只后向参考I帧II，显示设备106则显示正确解码的B帧B4。另外，若当前GOP的当前帧(例如GOPl的B帧B4)有MB前向参考了先前GOP的缺少帧(例如GOPO的缺少P帧P1，如图3箭头302所示)，则跳过或丢弃当前帧，不显示在显示设备106 (步骤S508)。
[0041]图6是另一实施例视频处理方法60的流程图，视频处理方法60由图1所示的视频处理装置10实施。
[0042]视频处理方法60开始时，解码器102接收并解码比特流108(步骤S602)。在此示例实施例中，比特流108包含多个GOP，每个GOP包含帧序列，如第2A、2B图所示。
[0043]接着，确定要显示的当前GOP的当前帧是否有MB前向参考了当前GOP的帧(步骤S604)。如图4箭头402所示，控制器104确定GOPO的P帧P52是否参考了 GOPO中缺少的P 帧 P51。
[0044]若当前GOP的当前帧没有MB前向参考了当前GOP的先前帧，则当前帧可能由画面内编码MB组成。例如，若当前帧是P帧，且其中没有MB前向参考了当前GOP的先前帧，则该P帧为画面内编码。由于当前帧的所有画面内编码MB都可用，显示设备106就显示当前帧(步骤S610)。
[0045]否则，若当前GOP的当前帧有MB前向参考了当前GOP的先前帧，则确定当前帧全部或者部分由画面间编码MB组成。参考图4，当前P帧P52具有画面内编码MB Rl。另外，当前P帧P52的其余MB是前向参考缺少的P帧P52进行画面间编码。此时，控制器104根据当前帧的画面内编码MB获取所需帧的MB信息，从而建立所需帧。更具体的，控制器104获取并整合分别来自一组接续帧(例如P帧P52、P53、P54)的MB信息，以获得所需帧的完整MB信息(也就是获取所需帧所有MB的MB信息)，从而建立所需帧(步骤S612)。请注意，建立所需帧的过程已在第1、4图的实施例中描述过，此处为简洁省略进一步描述。最后，所需帧显示在显示设备106 (步骤S614)。
[0046]任何熟习此项技艺者，在不脱离本发明之精神和范围内，当可做些许的更动与润饰，因此本发明之保护范围当视所附之权利要求所界定者为准。
【主权项】
1.一种视频处理方法，包含: 解码一比特流，其中该比特流包含多个画面组，且每个画面组包含帧序列； 确定要显示的当前画面组的一当前帧是否有宏块前向参考了先前画面组的一先前帧；其中该当前画面组的标头中包含旗标Close_GOP，该旗标Close_GOP用于指示该当前画面组的该当前帧是否有宏块前向参考了先前画面组的一先前帧；以及 若该当前帧有宏块前向参考该先前画面组的该先前帧，且该先前帧缺少时，跳过显示该当前画面组的该当前帧； 其中根据该当前帧编码中指定的信息确定该当前画面组的该当前帧是否参考该先前画面组的该先前帧，并且该指定的信息是用于指示该当前帧所用参考帧的运动向量信息，并且该指定的信息不是该当前画面组的标头中的CloSe_GOP。2.如权利要求1所述的视频处理方法，更包含: 若该当前帧没有宏块前向参考该先前画面组的该先前帧，则显示该当前画面组的该当前帧。3.如权利要求2所述的视频处理方法，其中，要显示的该当前画面组的该当前帧是在该当前画面组的画面内编码帧之后的一双向预测编码帧。4.如权利要求1所述的视频处理方法，更包含: 确定要显示的该当前画面组的该当前帧是否有宏块前向参考了该当前画面组的一先前帧；以及 当该当前帧有宏块前向参考该当前画面组的该先前帧，且该先前帧缺少时，建立一所需帧， 其中，根据该当前画面组的多个帧中没有前向参考该先前帧的其余宏块获取该所需帧的宏块信息，以建立该所需帧，该当前画面组的该多个帧包含该当前帧和该当前画面组在该当前帧之后的帧。5.如权利要求4所述的视频处理方法，更包含: 显示该所需帧；或者，当该当前帧没有宏块前向参考该当前画面组的该先前帧时，显示该当前画面组的该当前帧。6.如权利要求4所述的视频处理方法，其中，要显示的该当前画面组的该当前帧是一预测编码帧。7.如权利要求6所述的视频处理方法，其中，建立该所需帧包含: 确定该当前画面组的该多个帧之一的画面内编码宏块和画面间编码宏块，其中，该画面内编码宏块无参考帧，该当前画面组的该多个帧之一在该画面间编码宏块前向参考的参考帧之后；以及 从该多个画面内编码宏块和该多个画面间编码宏块中获取宏块信息，用于建立所需帧的空间对应宏块。8.一种视频处理装置，包含: 用于解码比特流的解码装置，其中该比特流包含多个画面组，且每个画面组包含一帧序列； 用于确定要显示的当前画面组的一当前帧是否有宏块前向参考了先前画面组的一先前帧的确定装置，其中该当前画面组在该先前画面组之后，其中该当前画面组的标头中包含旗标Close_GOP，该旗标Close_GOP用于指示该当前画面组的该当前帧是否有宏块前向参考了先前画面组的一先前帧；其中根据该当前帧编码中指定的信息确定该当前画面组的该当前帧是否参考该先前画面组的该先前帧，并且该指定的信息是用于指示该当前帧所用参考帧的运动向量信息，以及该指定的信息不是该当前画面组的标头中的Close_GOP ;以及 用于当该当前帧有宏块前向参考该先前画面组的该先前帧，且该先前帧缺少时，跳过显示该当前画面组的该当前帧的显示装置。9.如权利要求8所述的视频处理装置，更包含在该当前帧没有宏块前向参考该先前画面组的该先前帧时，显示该当前画面组的该当前帧的显示装置。10.如权利要求9所述的视频处理装置，其中，要显示的该当前画面组的该当前帧是在该当前画面组的画面内编码帧之后的一双向预测编码帧。11.如权利要求8所述的视频处理装置，更包含用于确定要显示的当前画面组的该当前帧是否有宏块前向参考了该当前画面组的一先前帧的确定装置，该当前帧在该先前帧之后；以及 用于当该当前帧有宏块前向参考该当前画面组的该先前帧、且该先前帧缺少时，建立一所需帧的建立装置，其中，根据该当前画面组的多个帧中没有前向参考该先前帧的其余宏块获取该所需帧的宏块信息，以建立该所需帧，该当前画面组的该多个帧包含该当前帧和该当前画面组在该当前帧之后的帧。12.如权利要求11所述的视频处理装置，更包含用于显示该所需帧的显示装置。13.如权利要求12所述的视频处理装置，更包含用于若该当前画面组的该当前帧没有宏块前向参考该先前帧，显示该当前帧的显示装置。14.如权利要求13所述的视频处理装置，其中，要显示的该当前画面组的该当前帧是一预测编码帧。15.如权利要求14所述的视频处理装置，更包含: 用于确定该当前画面组的该多个帧之一的画面内编码宏块和画面间编码宏块的确定装置； 用于从该画面内编码宏块和该画面间编码宏块中获取宏块信息的获取装置；以及 用于建立所需帧的空间对应宏块的建立装置，其中，该画面内编码宏块无参考帧，该当前画面组的该多个帧之一在该画面间编码宏块前向参考的参考帧之后。
【专利摘要】一种视频处理装置及方法。其中，视频处理方法包含：解码一比特流，其中该比特流包含多个画面组，且每个画面组包含一帧序列；确定要显示的一当前画面组的一当前帧是否有宏块前向参考了一先前画面组的一先前帧；以及若该当前帧有宏块前向参考该先前画面组的该先前帧，且该先前帧缺少时，跳过显示该当前画面组的该当前帧。本发明的优点之一是能够在参考帧缺少或不可用的情况下处理并平滑显示视频帧。
【IPC分类】H04N19/129, H04N19/176
【公开号】CN104902274
【申请号】CN201510260965
【发明人】陈威任, 吴崇宾
【申请人】联发科技股份有限公司
【公开日】2015年9月9日
【申请日】2010年3月16日
【公告号】CN102025982A, US8401077, US8811483, US20110069758, US20130156104
【专利说明】视频处理装置及方法
[0001]交叉引用
[0002]本发明是申请号201010125158.3，发明名称为:视频处理装置及方法的发明专利申请的分案申请。
技术领域
[0003]本发明是关于视频处理，更具体的，是关于视频处理装置及方法。
【背景技术】
[0004]视频系统实现了多种功能以方便的存储、处理或传输视频数据。例如，MPEG1/2/4和H.26x等视频编码标准用于实施视频数据压缩和解压缩，以提高存储容量和传输带宽。这些视频编码标准对具有一系列视频帧的视频数据采用基于块的压缩，基于较前的视频帧对较后的视频帧进行编码。具体而言，视频数据压缩是通过减少帧之间的时间冗余和单一帧内部的空间冗余来实现的。同时还可实施例如离散余弦转换(DCT)和运动补偿等压缩技术，以产生具有相对较高压缩率的标准兼容(compliant)比特流。因此，比特流可以有效率且标准化的方式进行传输和存储。
[0005]但由于视频编码标准的特性，当压缩或传输期间比特流引入不希望或不可复原的错误时，由于较前的视频帧缺少(absent)或不可用，较后的视频帧可能解码错误。典型情况下，参考该缺少或不可用的较前视频帧进行编码的较后视频帧会被跳过不显示。这种不希望的帧跳过显示可引起突发场景变化或场景移动不连续，导致用户观看体验不佳。
[0006]因此，需要一种用于视频处理装置的视频处理方法，能够在参考帧缺少或不可用的情况下处理并且平滑显示视频帧。
【发明内容】
[0007]有鉴于此，本发明的目的之一是提供一种视频处理装置及方法。
[0008]本发明提供一种视频处理方法包含:解码一比特流，其中该比特流包含多个画面组，且每个画面组包含一帧序列；确定要显示的一当前画面组的一当前帧是否有宏块前向参考了一先前画面组的一先前帧；以及若该当前帧有宏块前向参考该先前画面组的该先前帧，且该先前帧缺少时，跳过显示该当前画面组的该当前帧，其中该控制器根据该当前帧编码中指定的信息确定该当前画面组的该当前帧是否参考该先前画面组的该先前帧，并且该指定的信息不是该当前画面组的标头中的一旗标。
[0009]本发明提供一种视频处理装置，包含:一解码器，用于解码一比特流，其中该比特流包含多个画面组，且每个画面组包含一帧序列；一控制器，耦接该解码器，用于确定要显示的一当前画面组的一当前帧是否有宏块前向参考了一先前画面组的一先前帧，其中该当前画面组在该先前画面组之后；以及一显示设备，耦接该控制器，用于当该当前帧有宏块前向参考该先前画面组的该先前帧，且该先前帧缺少时，该控制器跳过显示该当前画面组的该当前帧，其中该控制器根据该当前帧编码中指定的信息确定该当前画面组的该当前帧是否参考该先前画面组的该先前帧，并且该指定的信息不是该当前画面组的标头中的一旗标。
[0010]本发明的优点之一是能够在参考帧缺少或不可用的情况下处理并且平滑显示视频帧。
【附图说明】
[0011 ]图1是视频处理装置10 —个实施例的方块示意图。
[0012]图2A是解码顺序下GOP的示意图。
[0013]图2B是显不顺序下GOP的不意图。
[0014]图3是缺少参考帧时处理比特流108的一个实施例的示意图。
[0015]图4是缺少参考巾贞时处理比特流408的另一实施例的不意图。
[0016]图5是视频处理方法50 —个实施例的流程图。
[0017]图6是另一实施例视频处理方法60的流程图。
【具体实施方式】
[0018]在说明书及后续的权利要求当中使用了某些词汇来指称特定组件。所属领域中具有通常知识者应可理解，制造商可能会用不同的名词来称呼同一个组件。本说明书及后续的权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及后续的请求项当中所提及的“包括”和“包含”系为一开放式的用语，故应解释成“包含但不限定于”。以外，“耦接” 一词在此系包含任何直接及间接的电气连接手段。间接的电气连接手段包括通过其他装置进行连接。
[0019]图1是视频处理装置10 —个实施例的方块示意图。如图1所示，视频处理装置10包含解码器102、控制器104和显示设备106。解码器102接收比特流108并解码。如第2A、2B图所示，根据其中一个实施例，比特流108是具有多个画面组(Group Of Pictures, GOP)的MPEG编码比特流。
[0020]图2A是解码顺序下GOP的不意图，图2B是显不顺序下GOP的不意图。
[0021]参考第2A、2B图，有两组GOP:G0P0和G0P1。每个GOP包含帧序列，例如GOPO以画面内编码帧(I帧)1开始，随后排列预测编码帧(P帧)P0、P1和双向预测编码帧(B帧)B0、B1、B2、B3。画面内编码帧I帧编码时不参考其它帧。预测编码帧P帧时间参考(temporalreference)先前的I帧或P帧进行编码。通常，I帧和P帧称为参考帧，用于定义解码顺序下的未来(较后的)帧。双向预测编码帧B帧参考同一 GOP内先前和之后的I帧和P帧进行编码。请注意，对于如图2A所示解码顺序下的当前G0P1，其中的第一个B帧B4(B4紧随当前GOP的第一个I帧II)也可以参考先前的GOPO中的一些帧。此时，GOPl的标头(header)中会使用旗标Close_G0P，指示B帧的编码前向参考(forward reference) 了先前GOPO的帧。进一步，每一帧(例如I帧10)分为多个片(slice)，例如片Sn。每个片包含多个宏块(MacroBlock, MB)。每个MB表示一组像素，例如8x8、8xl6、16x8、16x16块。8x8块可再划分(sub-partit1n)为 4x4、4x8 或 8x4 大小的块。
[0022]如第2A、2B图所示，比特流108的解码顺序不同于显示顺序。图2A中，G0P0、G0P1由图1解码器102解码的解码顺序是“10，？0，80，81汁1，82，83，II, B4, B5，P2，B6，B7”，而图2B 中，G0P0、G0P1 由图1 显示器 106 显示的顺序是“ 10，B0, BI, PO, B2, B3, PI, B4, B5, II, B6,B7，P2”。如上所述，解码P帧或B帧可能需要较前的参考帧解码时所导出的已解码数据。当P帧或B帧所参考的较前参考帧缺少或无效时，较后的P帧或B帧就不能解码。
[0023]图3是缺少参考帧时处理比特流108的一个实施例的示意图。参考第1、3图，假设由于缺少GOPO而缺少P帧Pl。一个实施例中，在切换新频道时，与新频道关联的GOPO不一定能被解码器102接收到，从而使P帧Pl缺少。另一实施例中，若GOPO存储在存储介质(例如光盘)的缺陷区，GOPO也可能对解码器102不可用，导致缺少P帧P1。
[0024]如图3箭头302、304所示，耦接于解码器102的控制器104随后确定GOPl的两个B帧B4、B5中是否有MB前向参考了先前的G0P0。在一些实施例中，两个B帧B4、B5可能对标志(logo)或关键帧很重要。
[0025]依据上述可知，在图2A所示的解码顺序下，由于要显示的两个B帧B4、B5紧随I帧Il之后，可直接用旗标ClOSe_G0P确定B帧B4、B5是否为画面内编码、或者B帧B4、B5是否只利用后向参考帧进行编码。但由于旗标Close_G0P可在编码过程后发生的任意编辑期间(editing per1d)设定，可能造成旗标Close_G0P使用不稳定。
[0026]因此，控制器104也可不使用旗标Close_G0P，而是根据在B帧B4、B5编码中指定的指示所用参考的信息，来确定B帧B4、B5是否参考GOPO的P帧P1。例如，指定信息可以是用于指示所用参考帧的运动向量信息。
[0027]若控制器104确定较后的GOPl中两个B帧B4、B5没有MB前向参考较前的GOPO (例如参考P帧Pl)，则耦接控制器104的显示设备106显示可正确解码的两个B帧B4、B5。
[0028]否则，控制器104对于参考缺少的前向参考帧Pl的两个B帧B4、B5跳过不显示，因此显示器106可避免显示错误解码的B帧B4、B5。
[0029]图4是缺少参考巾贞时另一实施例处理比特流408的不意图。
[0030]典型的，当用户开始切换频道时，图1所示解码器102直到识别出下一 I帧或下一GOP边界才能开始解码比特流408。但参考图4，若缺少I帧10(图未示)的当前GOPO数据量较大，等待下一I帧(即II)或下一 GOP边界(即G0P1)的时间也相应较长，因此大大增加了频道切换时间或延迟。进一步，当切换频道时，欲观看的频道显示黑色或呈现扭曲帧(解码器102错误解码的帧)直到下一 I帧Il可用，这会破坏用户的视频观看体验。
[0031]因此，根据本发明的一个实施例，在接收下一 I帧Il之前，控制器104可利用当前GOPO的一些有用信息来消除上述缺陷。
[0032]更具体的，如图4所示切换频道时，解码器102开始接收与欲观看频道相关联的新比特流408。请注意，假设与欲观看频道相关联的新比特流408缺少GOPO中P帧P52之前的帧。
[0033]在运作中，控制器104确定当前要显示的帧(例如GOPO的P帧P52)是否有MB前向参考了缺少的帧，例如GOPO的P帧P51。
[0034]若控制器104确定P帧P52中没有MB前向参考缺少的P帧P51 (也就是说，P帧P52的所有MB都是画面内编码)，显示设备106就显示P帧P52，用户切换频道时可无延迟观看正确解码的P帧P52。
[0035]另外，若确定P帧P52的一部分MB参考缺少的P帧P51 (如箭头402所示)，就确定其余MB Rl为画面内编码。由于前向参考了缺少的P帧P51，P帧P52的画面间编码MB可能解码错误。但P帧P52的画面内编码MB Rl可正确解码。控制器104确定P帧P52后P帧P53中的画面内编码MB R2。另外，如箭头404所示，解码P 帧P53可能需要画面内编码MB Rl解码中导出的一些MB信息。类似的，控制器104确定紧随P帧P53的P帧P54中的画面内编码MB R3和画面间编码MB。详细而言，解码画面内编码MB R1、R2所导出的MB信息获取后会进行整合，以解码P帧P54中的画面间编码MB。所以，从P帧P54的画面内编码MB R3和画面间编码MB所导出的MB信息对解码器102都是可用的，从而建立(establish)所需帧(即 P 帧 P54)空间对应(spatially corresponded)的 MB。
[0036]在图4的实施例中，控制器104根据分别来自P帧P52、P53、P54的画面内编码MBRl、R2、R3获取所需P帧P54的MB信息，从而建立所需P帧P54。进一步，获取画面内编码MB RU R2、R3导出的MB信息并进行整合，以解码P帧P53、P54的其他画面间编码MB。建立所需帧空间对应MB的过程重复进行，直到获取到所需P帧P54全部MB的MB信息。请注意，P帧P52、P53、P54是同一 GOP内的接续帧。因此，显示设备106显示所需P帧P54而非下一 I帧II，由此减小了切换频道的延迟。注意到本发明的一个实施例中，显示设备106可显示所需P帧P54的一部分，在所需P帧P54中只有该部分MB是根据上述运作方法和设计需要来获得的。所以，并不必须重复该运作直到获取所需帧的所有MB。
[0037]进一步，请注意上述实施例可应用至基于MB的任何解码方式。
[0038]图5是视频处理方法50 —个实施例的流程图，视频处理方法50由图1所示的视频处理装置10实施。
[0039]视频处理方法50开始时，解码器102接收并解码比特流108 (步骤S502)。比特流108包含多个G0P，每个GOP包含帧序列，如第2A、2B图所示。接着，确定要显示的当前GOP的当前帧是否有MB前向参考了先前GOP的帧(步骤S504)。例如，控制器104确定GOPl的B帧B4是否有MB前向参考了 GOPO中缺少的P帧P1，如图3箭头302所示。请注意，确定过程已经在图3实施例中详细描述，此处不再重复。
[0040]若当前帧没有MB前向参考了先前GOP的缺少帧，则显示设备106显示当前GOP的当前帧(步骤S506)。例如图3所示，若GOPl的B帧B4编码只后向参考I帧II，显示设备106则显示正确解码的B帧B4。另外，若当前GOP的当前帧(例如GOPl的B帧B4)有MB前向参考了先前GOP的缺少帧(例如GOPO的缺少P帧P1，如图3箭头302所示)，则跳过或丢弃当前帧，不显示在显示设备106 (步骤S508)。
[0041]图6是另一实施例视频处理方法60的流程图，视频处理方法60由图1所示的视频处理装置10实施。
[0042]视频处理方法60开始时，解码器102接收并解码比特流108(步骤S602)。在此示例实施例中，比特流108包含多个GOP，每个GOP包含帧序列，如第2A、2B图所示。
[0043]接着，确定要显示的当前GOP的当前帧是否有MB前向参考了当前GOP的帧(步骤S604)。如图4箭头402所示，控制器104确定GOPO的P帧P52是否参考了 GOPO中缺少的P 帧 P51。
[0044]若当前GOP的当前帧没有MB前向参考了当前GOP的先前帧，则当前帧可能由画面内编码MB组成。例如，若当前帧是P帧，且其中没有MB前向参考了当前GOP的先前帧，则该P帧为画面内编码。由于当前帧的所有画面内编码MB都可用，显示设备106就显示当前帧(步骤S610)。
[0045]否则，若当前GOP的当前帧有MB前向参考了当前GOP的先前帧，则确定当前帧全部或者部分由画面间编码MB组成。参考图4，当前P帧P52具有画面内编码MB Rl。另外，当前P帧P52的其余MB是前向参考缺少的P帧P52进行画面间编码。此时，控制器104根据当前帧的画面内编码MB获取所需帧的MB信息，从而建立所需帧。更具体的，控制器104获取并整合分别来自一组接续帧(例如P帧P52、P53、P54)的MB信息，以获得所需帧的完整MB信息(也就是获取所需帧所有MB的MB信息)，从而建立所需帧(步骤S612)。请注意，建立所需帧的过程已在第1、4图的实施例中描述过，此处为简洁省略进一步描述。最后，所需帧显示在显示设备106 (步骤S614)。
[0046]任何熟习此项技艺者，在不脱离本发明之精神和范围内，当可做些许的更动与润饰，因此本发明之保护范围当视所附之权利要求所界定者为准。
【主权项】
1.一种视频处理方法，包含: 解码一比特流，其中该比特流包含多个画面组，且每个画面组包含帧序列； 确定要显示的当前画面组的一当前帧是否有宏块前向参考了先前画面组的一先前帧；其中该当前画面组的标头中包含旗标Close_GOP，该旗标Close_GOP用于指示该当前画面组的该当前帧是否有宏块前向参考了先前画面组的一先前帧；以及 若该当前帧有宏块前向参考该先前画面组的该先前帧，且该先前帧缺少时，跳过显示该当前画面组的该当前帧； 其中根据该当前帧编码中指定的信息确定该当前画面组的该当前帧是否参考该先前画面组的该先前帧，并且该指定的信息是用于指示该当前帧所用参考帧的运动向量信息，并且该指定的信息不是该当前画面组的标头中的CloSe_GOP。2.如权利要求1所述的视频处理方法，更包含: 若该当前帧没有宏块前向参考该先前画面组的该先前帧，则显示该当前画面组的该当前帧。3.如权利要求2所述的视频处理方法，其中，要显示的该当前画面组的该当前帧是在该当前画面组的画面内编码帧之后的一双向预测编码帧。4.如权利要求1所述的视频处理方法，更包含: 确定要显示的该当前画面组的该当前帧是否有宏块前向参考了该当前画面组的一先前帧；以及 当该当前帧有宏块前向参考该当前画面组的该先前帧，且该先前帧缺少时，建立一所需帧， 其中，根据该当前画面组的多个帧中没有前向参考该先前帧的其余宏块获取该所需帧的宏块信息，以建立该所需帧，该当前画面组的该多个帧包含该当前帧和该当前画面组在该当前帧之后的帧。5.如权利要求4所述的视频处理方法，更包含: 显示该所需帧；或者，当该当前帧没有宏块前向参考该当前画面组的该先前帧时，显示该当前画面组的该当前帧。6.如权利要求4所述的视频处理方法，其中，要显示的该当前画面组的该当前帧是一预测编码帧。7.如权利要求6所述的视频处理方法，其中，建立该所需帧包含: 确定该当前画面组的该多个帧之一的画面内编码宏块和画面间编码宏块，其中，该画面内编码宏块无参考帧，该当前画面组的该多个帧之一在该画面间编码宏块前向参考的参考帧之后；以及 从该多个画面内编码宏块和该多个画面间编码宏块中获取宏块信息，用于建立所需帧的空间对应宏块。8.一种视频处理装置，包含: 用于解码比特流的解码装置，其中该比特流包含多个画面组，且每个画面组包含一帧序列； 用于确定要显示的当前画面组的一当前帧是否有宏块前向参考了先前画面组的一先前帧的确定装置，其中该当前画面组在该先前画面组之后，其中该当前画面组的标头中包含旗标Close_GOP，该旗标Close_GOP用于指示该当前画面组的该当前帧是否有宏块前向参考了先前画面组的一先前帧；其中根据该当前帧编码中指定的信息确定该当前画面组的该当前帧是否参考该先前画面组的该先前帧，并且该指定的信息是用于指示该当前帧所用参考帧的运动向量信息，以及该指定的信息不是该当前画面组的标头中的Close_GOP ;以及 用于当该当前帧有宏块前向参考该先前画面组的该先前帧，且该先前帧缺少时，跳过显示该当前画面组的该当前帧的显示装置。9.如权利要求8所述的视频处理装置，更包含在该当前帧没有宏块前向参考该先前画面组的该先前帧时，显示该当前画面组的该当前帧的显示装置。10.如权利要求9所述的视频处理装置，其中，要显示的该当前画面组的该当前帧是在该当前画面组的画面内编码帧之后的一双向预测编码帧。11.如权利要求8所述的视频处理装置，更包含用于确定要显示的当前画面组的该当前帧是否有宏块前向参考了该当前画面组的一先前帧的确定装置，该当前帧在该先前帧之后；以及 用于当该当前帧有宏块前向参考该当前画面组的该先前帧、且该先前帧缺少时，建立一所需帧的建立装置，其中，根据该当前画面组的多个帧中没有前向参考该先前帧的其余宏块获取该所需帧的宏块信息，以建立该所需帧，该当前画面组的该多个帧包含该当前帧和该当前画面组在该当前帧之后的帧。12.如权利要求11所述的视频处理装置，更包含用于显示该所需帧的显示装置。13.如权利要求12所述的视频处理装置，更包含用于若该当前画面组的该当前帧没有宏块前向参考该先前帧，显示该当前帧的显示装置。14.如权利要求13所述的视频处理装置，其中，要显示的该当前画面组的该当前帧是一预测编码帧。15.如权利要求14所述的视频处理装置，更包含: 用于确定该当前画面组的该多个帧之一的画面内编码宏块和画面间编码宏块的确定装置； 用于从该画面内编码宏块和该画面间编码宏块中获取宏块信息的获取装置；以及 用于建立所需帧的空间对应宏块的建立装置，其中，该画面内编码宏块无参考帧，该当前画面组的该多个帧之一在该画面间编码宏块前向参考的参考帧之后。
【专利摘要】一种视频处理装置及方法。其中，视频处理方法包含：解码一比特流，其中该比特流包含多个画面组，且每个画面组包含一帧序列；确定要显示的一当前画面组的一当前帧是否有宏块前向参考了一先前画面组的一先前帧；以及若该当前帧有宏块前向参考该先前画面组的该先前帧，且该先前帧缺少时，跳过显示该当前画面组的该当前帧。本发明的优点之一是能够在参考帧缺少或不可用的情况下处理并平滑显示视频帧。
【IPC分类】H04N19/129, H04N19/176
【公开号】CN104902274
【申请号】CN201510260965
【发明人】陈威任, 吴崇宾
【申请人】联发科技股份有限公司
【公开日】2015年9月9日
【申请日】2010年3月16日
【公告号】CN102025982A, US8401077, US8811483, US20110069758, US20130156104
最新回复(0)