图像处理方法

xiaoxiao2020-9-10  12

专利名称:图像处理方法
技术领域
本发明是有关于 一种图像处理方法,且特别是有关于 一种能够缩短预测 模式判断时间,加快图像重建速度的图像处理方法。
背景技术
H. 264是由国际电信同盟(International Telecommunication Union -Telecoramunication Standardization Sector, ITU-T)的视频编码专家群 (Video Coding Expert Group, VCEG)与国际标准化组织(Internatioiial Organization for Standardization, ISO)的运动图{象专家组(Moving Pictures Experts Group, MPEG)共同组成的联合视频小组所拟定的新一代的 视频压缩标准,此技术在纳入MPEG-4的第10部分(IS0/IEC 14496-IO)后则 称为进阶视频解码(Advanced Video Coding, AVC),或合并称之H. 264/AVC。 相关研究数据显示,H. 264/AVC相较于MPEG-2及MPEG-4,无论是在压缩率上 或是视频质量上皆有大幅的提升,因此也被广泛用于视频会议、视频广播或 视频串流服务等视频应用上。H. 264在空间性及时间性的预测上比先前的H. 263+等标准具有更佳的效 能,它使用框内(Intra Frame)及框间(Inter Frame)编码重建的像素来预测 内部的编码区块。其中,在使用框内预测技术来进行像素的预测时,为了增 加编码效率,H. 264利用了与邻近区块在空间域(Spatial domain)上的相关 性来做预测,且在储存数据时只记录所预测的模式及实际的误差。邻近区块 通常是指目前编码区块左方与上方的区块,这些区块的像素都已经被编码过, 因此其记录的信息能再被利用。以一个4x4区块的预测为例,图1所纟会示为已知H. 264的4x4区块的配 置图,其中a p代表区块中的像素、A~H代表此区块上方区块的边缘像素 值、I ~L则是代表左方区块的边缘像素值,H. 264的预测模式就是利用这些 边缘像素值来做预测。框内预测技术依图像复杂度的不同,可分为4x4亮度(Luma)预测模式、16x16亮度(Luma)预测模式及8x8色度(Chroma)预测模式。其中,4x4亮度预 测模式依其预测方向的不同又包括了 9种不同的预测模式。图2及图3分别 为已知H. 264的4x4亮度预测模式所包括的9种预测模式的示意图及公式列 表。请同时参照图2及图3,这些预测模式包括直流(DC)模式和其余8个方 向的模式,而其公式依像素所在的位置可归纳为其中/e区块"K,J,/,M乂&C,D,E,F,G,/f ,举例来说,若是选择模式0 (即 垂直模式),则可以下列公式来预测位于第x行第y列的像素(y, x)的像素值 像素(O,O)、 (l,O)、 (2,0)、 (3,0)是由A来预测; 像素(O,l)、 (1,1)、 (2,1)、 (3,1)是由B来预测; 像素(0,2)、 (1,2)、 (2,2)、 (3,2)是由C来预测; 像素(O, 3)、 (1,3)、 (2,3)、 (3,3)是由D来预测。此外,若是选择模式3(即对角线左下模式),则是以下列公式来预测像 素值像素(0, O)是由(A+2B+C+2) /4来预测; 像素(O, 1) 、 (1, O)是由(B+2C+D+2)/4来预测; 像素(0,2)、 (l,l)、 (2, O)是由(C+2D+E+2)/4来预测; 像素(O, 3)、 (1,2)、 (2,1)、 (3, O)是由(D+2E+F+2)/4来预测; 像素(1,3)、 (2, 2)、 (3, l)是由(E+2F+G+2)/4来预测; 像素(2, 3) 、 (3, 2)是由(F+2G+H+2) /4来预测; 像素(3, 3)是由(G+3H+2)/4来预测。4x4亮度预测模式即是以4x4的子区块(Sub-block)为单位,并利用上述 9种预测模式找寻其参考对象(Predictor),而将其与参考对象相减后,取得 差余(Residual)图像。最后再将此差余图像以及所使用的预测模式进行转换 后,即可获得此4x4子区块的图像编码。然而,H. 264在执行图像编码时,实际上是以16x16的区块为单位进行 编码,而一个16x16区块又再细分为4x4子区块来进行预测。采用这样的方 式,在解码一个4x4子区块时,必须参考其左方及上方区块的重建值,因此预测值=Z(系数),x (参考像素值),+ (ito"m/) /2考在解码这些4x4子区块时,必须按照一定的顺序,逐个(由上往下,由左往右)4x4子区块来进行,此举虽然可获得较为精确的预测效果,但所占用的运 算资源及所花费的计算时间则会相对地增加,无法满足现今讲求效率的要求。发明内容有鉴于此,本发明提供一种图像处理方法,通过在一次操作(Pass)中找 出16*16区块中各个4*4区块的预测模式,而能够增加图像处理的效率。本发明提供一种图像处理方法,通过在一次操作中找出16*16区块中各 个8*8区块的预测模式,而能够增加图像处理的效率。本发明提供一种图像处理方法,以8*8区块为单位,逐次找出16*16区 块中各个8*8区块的预测模式,而能够增加图像处理的效率。本发明提出 一种图像处理方法,适用于一个可区分为多个预测区块的图 像,此方法包括下列步骤a.计算这些预测区块像素在多个预测模式下与对 应的图像边界像素间的差值平方和;b.根据a步骤结果,决定预测区块像素 重建时所使用的预测模式;以及c.根据b步骤结果,重建这些预测区块的像素。在本发明的一实施例中,其中在a步骤之后还包括al.利用a步骤结果, 计算各个预测区块像素在各个预测模式下的剩余值;以及a2.根据a步骤以及al步骤结果,决定预测区块像素重建时所使用的预测模式。在本发明的一实施例中,上述的图像为16*16像素所组成的区块,而预测区块为4*4区块。在本发明的一实施例中,上述的方法包括垂直预测模式、水平预测模式、直流预测模式、对角下左预测模式、对角下右预测模式、垂直向右预测模式、水平向下预测模式、垂直向左预测模式,以及水平向上预测模式等9种预测模式。在本发明的一实施例中,其中a2步骤还包括a2-l.根据al步骤结果, 决定这些预测区块像素在这些预测模式下所对应的位传输率;a2-2.根据a步 骤以及a2-l步骤结果,计算欲些预测区块像素的位传输率-失真最佳值;以 及a2-3.根据a2-2步骤结果,决定这些预测区块像素重建时所使用的预测模式。在本发明的一实施例中,其中a2-1步骤中为利用这些预测区块像素在这些预测模式下的剩余值经离散余弦转换、量化,以及熵运算后,以决定这些 预测区块像素在这些预测模式下所对应的位传输率。在本发明的一实施例中,上述的预设的16个预测区块由上而下、由左而右依序区分为a p位置的预测区块,则c步骤中各个预测区块的重建顺序为 a — b、 e — c、 f、 i — d、 g、 j、 m—h、 k、 n—1、 o — p。本发明提出 一种图像处理方法,适用于可区分为多个预测区块的图像, 此方法包括下列步骤a.将这些预测区块区分为多个区域,其中每一个区域 具有至少两个预测区块;b.先针对这些区域中的其一,计算此区域内各个预 测区块像素在多个预测才莫式下与对应的图像边界像素间的差值平方和;c.根 据b步骤结果,决定此区域内预测区块像素重建时所使用的预测模式;d.根 据c步骤结果,重建此区域内各个预测区块的像素;以及e.根据d步骤结果, 利用区域边界的已重建像素,重建与此区域相邻的区域内的预测区块的像素。在本发明的一实施例中,其中b步骤之后还包括bl.利用b步骤结果, 计算此区域内各个预测区块像素在这些预测模式下的剩余值;以及b2.根据b 步骤及bl步骤结果,决定此区域内预测区块像素重建时所使用的预测模式。在本发明的一实施例中,上述的图像为16*16像素所组成的区块,预测 区块为4*4区块,而上述的区域则为8*8区块。在本发明的一实施例中,其中b2步骤还包括b2-l.根据bl步骤结果, 决定此区域内各个预测区块像素在这些预测模式下所对应的位传输率;b2-2. 根据b步骤以及b2-1步骤结果,计算此区域内各个预测区块像素的位传输率 -失真最佳值;以及b2-3.根据b2-2步骤结果,决定此区域内各个预测区块 像素重建时所使用的预测模式。在本发明的一实施例中,其中预设的4个预测区块由上而下、由左而右 依序区分为a、 b、 e以及f位置的预测区块,则e步骤中这些预测区块的重 建顺序为a —b、 e—f。在本发明的一实施例中,其中e步骤还包括el.计算至少一个相邻区域 内各个预测区块像素在多个预测模式下与对应的区域边界的已重建像素间的 差值平方和;e2.利用el步骤结果,计算此相邻区域内各个预测区块像素在 这些预测模式下的剩余值;e3.根据el步骤以及e2步骤结果,决定此相邻区 域内预测区块像素重建时所使用的预测模式;以及e4.根据e3步骤结果,重 建此相邻区域内各个预测区块的像素。此外,上述的el e4步骤为对两个相邻区域像素进行重建。本发明提出 一种图像处理方法,适用于可区分为多个预测区块的图像,此方法包括下列步骤a.将这些预测区块区分为多个区域,其中每一个区域 具有至少两个预测区块;b.计算每一个区域内各个预测区块像素在多个预测 模式下与对应的图像边界像素间的差值平方和;c.根据b步骤结果,决定每 一个区域内预测区块像素重建时所使用的预测模式;以及d.根据c步骤结果, 重建每一个区域内各个预测区块的像素。在本发明的一实施例中,其中b步骤之后还包括bl.利用b步骤结果, 计算每一个区域内各个预测区块像素在这些预测模式下的剩余值;以及bl 根据b步骤以及bl步骤结果,决定每一个区域内预测区块像素重建时所使用 的预测模式。在本发明的一实施例中,上述的图像为16*16像素所组成的区块,预测 区块为4*4区块,而上述的区域为8*8区块。在本发明的一实施例中,其中b2步骤还包括b2-l.根据b-1步骤结果, 决定每一个区域内各个预测区块像素在这些预测模式下所对应的位传输率; b2-2.根据b步骤以及b2-l步骤结果,计算每一个区域内各个预测区块像素 的位传输率-失真最佳值;以及b2-3.根据b2-2步骤结果,决定每一个区域 内各个预测区块像素重建时所使用的预测模式。在本发明的一实施例中,上述的预设的4个区域由上而下、由左而右依 序区分为I 、 II、 ffl以及IV位置的4区域,则e步骤中各个预测区块的重建 顺序为I — II 、 III —IV。本发明因采用将4*4区块预测模式的公式扩展应用到16*16区块中各个 4*4区块或8*8区块的预测上,省去逐个4*4区块计算及判断预测模式所耗 费的计算时间及运算资源,因此可以增加图像处理的效率。为让本发明的上述和其它目的、特征和优点能更明显易懂,下文特举较 佳实施例,并配合所附图式,作详细说明如下。


图1所绘示为已知H. 264的4x4区块的配置图。图2为已知H. 264的4x4亮度预测模式所包括的9种预测模式的示意图。 图3 (a) - (b)为已知H. 264的4x4亮度预测模式所包括的9种预测模式的图4是依照本发明第一实施例所绘示的图像处理方法流程图。图5是依照本发明第一实施例所绘示的H. 264框内预测算法的预测模式3的示意图。图6是依照本发明第一实施例所绘示的差值平方和计算方法流程图。 图7依照本发明第一实施例所绘示的9种不同预测模式下的差值平方和。 图8 (a) - (b)是依照本发明第一实施例所绘示的图像处理方法的一范例。 图9 (a) - (f)是依照本发明第 一 实施例所绘示的重建像素的 一范例。 图10是依照本发明第二实施例所绘示的图像处理方法流程图。 图ll是依照本发明第二实施例所绘示的9种不同预测模式下的差值平方和。图12 (a) - (b)是依照本发明第二实施例所绘示的图像处理的示意图。图13是依照本发明第三实施例所绘示的图像处理方法流程图。图14是依照本发明第三实施例所绘示的9种不同预测模式下的差值平方和。图15 (a) - (f)是依照本发明第三实施例所绘示的图像处理方法的示意图。 [主要元件标号说明]a p、 A1 A4、 B1 B4、 C1 C4、 D卜D4、 E1 E4、 F1 F4、 G1 G4、 H1 H4、 11~14、 J1 J4、 K1 K4、 L1 L4:像素 A~H、 I~L、 M、 I、 II、 III、 IV:区块Ral Ral6、 Rbl Rbl6、 Rcl Rcl6、 Rdl Rdl6、 a, ~ p,重建值 S410 ~ S430:本发明第一实施例的图像处理方法的各步骤 S411 S415:本发明第一实施例的差值平方和计算方法的各步骤 S1010 S1040:本发明第二实施例的图像处理方法的各步骤 S1310 S1 328:本发明第三实施例的图像处理方法的各步骤具体实施方式
图像框内预测必须参考目前区块上方及左方区块的边缘像素值,才能计 算像素的预测值和找出最适合的预测模式,这样的特性让图像处理算法在进 行预测时, 一次只能处理一个区块。针对此点,本发明将原本小区块的预测 公式扩大应用到大区块上,仅利用 一次操作(pas s)找出此大区块中各个小区块或包括数个小区块的区域适用的预测模式。藉此及早算出各个区块的边缘 像素值,而能够同时进行多个区块预测值的计算,增加图像处理的效率。为 了使本发明的内容更为明了 ,以下特举实施例作为本发明确实能够据以实施 的范例。第一实施例图4是依照本发明第一实施例所绘示的图像处理方法流程图。请参照图4,本实施例适用于一个可区分为多个4*4区块的图像,此图像中的一个16*16 区块包括16个4*4区块,而各个4*4区块则包括16个像素。其中,本实施 例将原本4*4区块的预测公式扩大应用到16*16区块上,在一次操作中就找 出16*16区块中各个4*4区块的预测模式,而能够增加图像处理的效率。详细地说,原本框内预测算法的9种预测模式(如图2及图3所示)将扩 展应用到16*16区块上。举例来说,图5是依照本发明第一实施例所绘示的 图像框内预测算法的预测模式3(即对角下左模式)的示意图。请同时参照图2 及图5,本实施例的预测模式3与已知的预测模式3相类似,其参考像素值 的方向均是往左下方45度的方向,惟本实施例将原本4*4区块的预测进一步 扩展到16*16区块的预测,其对应的预测公式亦延伸至16*16区块的大小。 举例来说,像素(O, O)是由(Al+2A2+A3+2:)/4来预测;像素(0, 1) 、 (1,0)是由 (A2+2A3+A4+2)/4来预测;像素(0, 2) 、 (1, 1) 、 (2, 0)是由(A3+2A4+B1+2)/4 来预测,以此类推。本实施例即以上述的手法扩展9种预测模式的公式,计算这些4*4区块 像素在各个预测模式下与对应的图像边界像素间的差值平方和(步骤S410)。 其中,上述的图像边界像素例如是一个行/列矩阵像素。此外,上述步骤可再 细分为多个子步骤。图6是依照本发明第一实施例所绘示的差值平方和计算 方法流程图。请参照图6,首先使用上述预测模式的公式,以计算16*16区 块中所有像素对应9种预测公式的预测值(步骤S411)。接着则以4*4区块为单位,将各个4*4区块像素的预测值与其原始值相 减,而获得这些4*4区块像素的差余值(Residual)(步骤S412)。这些差余值 在经过离散余弦转换(Discrete Cosine Transf ()函t ion, DCT)、 量化 (Quantization, Q)、反量化(Inverse Q磁tization, IQ)及反离散余弦转换 (Inverse Discrete Cosine Transformation, IDCT)等孝争才灸步艰茛后,即会4争变 为转换值(步骤S413)。这些转换值则被加上预测值,而得到模式预测值(步骤S414)。最后,再将各个4*4区块像素的模式预测值与原始值的差值取平 方后相加,就可获得如图7所绘示的9种不同预测模式下的差值平方和(步骤 S415),此差值平方和的计算公式如下差值平方和=Uf [(模式预测值),.,-源始值),,]2其中,x代表区块的行数,而y代表区块的列数,根据这些预测模式所 算出的差值平方和,即可找出各个4M区块最适合的预测模式(步骤S420)。 详细地说,本实施例是分别针对各个4*4区块,在其利用上述9种预测模式 所算出的9笔差值平方和中,挑选出最小值,而选择具有最小值的预测模式 做为此4*4区块最适合的预测模式。举例来说,图8是依照本发明第一实施 例所绘示的图像处理方法的一范例。如图8(a)所示,区块a所选择的预测模 式为第8模式、区块b所选择的预测模式为第O模式,以此类推。以上步骤 均在一个操作(Pass)完成,因此可省去逐个区块找寻预测模式所耗费的时间。值得一提的是,上述计算差值平方和以判断预测模式的方式是采用框内 预测算法的简单模式。然而,若是使用复杂模式时,则必须把位传输率的因 素考虑进来。其中,此位传输率可通过计算各个4*4区块像素在各个预测模 式下的剩余值(如图8 (b)所示),并经由离散余弦转换、量化,以及熵(entropy) 运算后,取得各个"4区块像素在各个预测模式下所对应的位传输率。接着, 将此位传输率加上原本的差值平方和后,即可获得位传输率-失真最佳值 (Rate-distortion optimization, RD0)。据此,找出RD0最小值所对应的预 测模式做为各个4*4区块像素重建时所使用的预测模式。此处所得到的预测 模式因为加入位传输率的因素,因此会比先前利用差至平方和所得到的预测 模式来得更为准确。在各个4*4区块的预测模式决定后,在另一个操作(Pass)中,就可以利 用这些决定的预测模式,并基于图像边界像素,重建这些4*4区块的像素。(步 骤S430),而当所有4*4区块的像素的重建值都计算完后,就完成16*16区 块像素的重建步骤。其中,本实施例在进行像素重建时是将一个16*16区块 划分为16个4*4区块,这些4*4区块由上而下、由左而右依序编号为a p(如 图5所示),而这些4*4区块的重建顺序为a —b、 e —c、 f、 i—d、 g、 j、 m—h、 k、 n—i、 o —p。在一实施例中,为了加速上述像素重建的步骤,本实施例还包括在进行 一个4*4区块的重建时,先利用预测公式算出此4*4区块的边缘像素,并进 一步提供给其相邻的4*4区块作为预测之用,采用此做法即能够在重建一个 4*4区块的同时,也进行下一个相邻4*4区块像素的重建工作,而大幅降低 像素重建所需的时间。为了帮助理解,以下则举实施例说明上述重建像素的详细步骤,而为了 方便说明,在此仅以重建4个4*4区块a、 b、 e、 f (即图5左上角的4个4*4 区块)为例。图9是依照本发明第一实施例所绘示的重建像素的一范例。请参 照图9,本实施例首先利用4*4区块a所对应的预测模式的预测公式,计算 图9 (a)中4*4区块a中像素的预测值,而这些预测值在加上原本在步骤S"2 算出的差余值后,即可获得4*4区块a的像素的重建值。值得一提的是,在上述的步骤中,可先利用预测公式计算出4*4区块a 右缘及下缘等7个像素的预测值,而先提供给右边及下面的4*4区块b、 e及 早开始进行重建工作,如此即可省去等待4*4区块a重建的时间,而加快整 体图像重建的速度。举例来说,如图9(b)所示,4*4区块a的预测模式为垂 直向下,因此可先预测出4*4区块a下缘及右缘的像素。而在取得4*4区块a右缘及下缘像素的预测值后,即可进一步计算4*4 区块b、 e像素的预测值,并在加入差余值后,取得该"4区块b、 e像素的 重建值。其中,由于在计算4*4区块e像素时,可能需要用到4"区块b下 缘的像素来进行预测,因此在上述步骤中则可先利用预测公式计算出4*4区 块b下缘的4个像素的预测值,而先提供给4*4区块e及早开始进行重建工 作,如此即可省去等待4*4区块b重建的时间,而加快整体图像重建的速度。举例来说,如图9(c)所示,4*4区块b的预测模式为水平向右,因此可 先预测出4*4区块b下缘的像素,而在此同时也进行4*4区块a像素的重建 值Ral Ral6的计算。而在取得4*4区块b下缘的像素后,则可用来计算4*4 区块e像素的预测值,而为了能够及早提供4*4区块f进行预测,因此可先 计算4*4区块e右缘的像素。举例来说,如图9(d)所示,4*4区块e的预测 模式为垂直下左模式,因此可利用4*4区块b下缘的像素先预测出4*4区块 e右缘的像素,而获得预测值e4、 e8、 e12、 e16。其中,这些预测值的计算 公式是如图3所示,故在此不再赘述。当然,在预测这些预测值的同时也可开始计算4*4区块b像素的重建值Rbl ~ Rbl6。在取得4*4区块b下缘及4*4区块e右缘像素的预测值后,即可进一步 计算4*4区块f像素的预测值,并在加入差余值后,取得4*4区块f像素的 重建值。如图9(e)所示,4*4区块f的预测模式为水平向右模式,因此即可 利用4*4区块e的右缘像素的预测值计算4*4区块f像素的预测值。而在进 行4*4区块f的预测时,同时也可开始计算4*4区块e像素的重建值Rel ~ Rel6。最后,如图9(f)所示,待取得4*4区块f的预测值后,再加上差余值, 即可获得4*4区块f的重建值Rf 1 ~ Rfl6。本实施例在一次操作中就决定了 16*16区块中各个4*4区块的预测模式, 让原本必须对16个4*4区块分别计算9种预测模式的运算简化到只需对1个 16*16区块计算9种预测模式,这也代表本实施例可有效降低进行4*4区块 框内预测的处理时间,而达到增加图像处理效率的目的。第二实施例图IO是依照本发明第二实施例所绘示的图像处理方法流程图。请参照图 10,本实施例适用于一个可区分为多个4*4区块的图像。首先,将这些4*4 区块区分为多个(例如是4个)区域,其中每一个区域具有至少两个4*4区块 (步骤S1010),以下仅以包括四个4*4区块的区域(即8*8区块)为例。也就 是说, 一个16*16区块包括4个8*8区块,各个8*8区块则包括4个4*4区 块,而各个4*4区块则包括了 16个像素。其中,本实施例将原本4*4区块的 预测公式扩大应用到16*16区块上,在一次操作(Pass)中就找出16*16区块 中各个8*8区块的预测模式,而能够增加图像处理的效率。本实施例以类似第一实施例的手法,先计算每一个8*8区块内各个4*4 区块像素在多个预测模式下与对应的图像边界像素间的差值平方和(步骤 S1020)。其中,此差值平方和的计算公式与前述第一实施例相似,故相同的 作法在此不再赘述,唯一不同的是本实施例在最后计算差值平方和时是以8*8 区块为单位,将各个8*8区块像素的模式预测值与原始值的差值取平方后相 加,而获得如图11所绘示的9种不同预测模式下的差值平方和。而根据这些预测模式所算出的差值平方和,即可找出各个8*8区块最适 合的预测模式(步骤S1030)。详细地说,本实施例是分别针对各个8*8区块, 在其利用上述9种预测模式所算出的9笔差值平方和中,挑选出最小值,而 选择具有最小值的预测模式做为此8*8区块最适合的预测模式。举例来说,图12是依照本发明第二实施例所绘示的图像处理的示意图。如图12(a)所示, 区块I所选择的预测模式为第4模式、区块II所选择的预测模式为第2模式, 以此类推。以上步骤均在一个操作(Pass:)完成,因此可省去逐个区块找寻预 测模式所耗费的时间。同样地,在本实施例中,亦可将位传输率的因素考虑进来。其中,此位 传输率可通过计算各个8*8区块像素在各个预测模式下的剩余值(如图12(b) 所示),并经由离散余弦转换、量化、以及熵运算后,取得各个8*8区块像素 在各个预测模式下所对应的位传输率。接着,将此位传输率加上原本的差值 平方和后,即可获得位传输率-失真最佳值(RD0)。据此,找出RDO最小值所 对应的预测模式做为各个8*8区块像素重建时所使用的预测模式。此处所得 到的预测模式因为加入位传输率的因素,因此会比先前利用差至平方和所得 到的预测模式来得更为准确。在各个8*8区块的预测模式决定后,就可以利用这些决定的预测模式, 并基于图像边界像素,重建这些8*8区块的像素(步骤S1040),而当所有8*8 区块的像素的重建值都计算完后,就完成16*16区块像素的重建步骤。其中, 本实施例在进行像素重建时是将一个16*16区块划分为4个8*8区块,这些 8*8区块由上而下、由左而右依序编号为I 、 II、 III以及IV(如图12(a)所示) 等4个区域,而这些8*8区块的重建顺序为1—11、 ffl — IV。在一实施例中,为了加速上述像素重建的步骤,本实施例还包括在进行 一个8*8区块的重建时,先利用预测公式算出此8*8区块的边缘像素,并进 一步提供给其相邻的8*8区块作为预测之用,采用此做法即能够在重建一个 8*8区块的同时,也进行下一个相邻8*8区块像素的重建工作,而大幅降低 像素重建所需的时间。其中, 一边进行预测且一边进行重建的部分是与第一 实施例所述相同或相似,故在此不再赘述。本实施例在一次操作中就决定了 16*16区块中各个8*8区块的预测模式, 让原本必须对4个8*8区块分别计算9种预测模式的运算简化到只需对1个 16*16区块计算9种预测模式,这也代表本实施例可有效降低进行8*8区块 框内预测的处理时间,而达到增加图像处理效率的目的。第三实施例图13是依照本发明第三实施例所绘示的图像处理方法流程图。请参照图 13,本实施例适用于一个可区分为多个4*4区块的图像。首先,将这些个4*4区块区分为多个(例如是4个)区域,其中每一个区域具有至少两个4*4区块 (步骤S1310)。以下仅以包括四个4*4区块的区域(即8*8区块)为例。也就 是说, 一个16*16区块包括左上、右上、左下及右下等4个8*8区块,各个 8*8区块则包括4个4*4区块,而各个4*4区块则包括了 16个像素。其中, 本实施例将原本4*4区块的预测公式扩大应用到16*16区块上,并利用在三 次操作(Pass)找出16*16区块中各个8*8区块的预测模式,而能够增加图像 处理的效率。本实施例同样以类似第一实施例的手法,将原本框内预测算法的9种预 测模式扩展到16*16区块上。然而,与前述实施例不同的是,本实施例仅先 针对这些8*8区块其中之一(例如左上角8*8区块),计算此8*8区块内4个 4*4区块像素在多个预测模式下与对应的图像边界像素间的差值平方和(步骤 S1312),所获得的9种不同预测模式下的差值平方和则如图14所示。此差值 平方和的计算方法与前述实施例相同或相似,故在此不再赘述。而根据这些预测模式所算出的差值平方和,即可找出此左上8*8区块中 各个4*4区块最适合的预测模式(步骤S1314)。详细地说,本实施例是分别 针对各个4*4区块,在其利用上述9种预测模式所算出的9笔差值平方和中, 挑选出最小值,而选择具有最小值的预测模式做为此4*4区块最适合的预测 模式。举例来说,图15是依照本发明第三实施例所绘示的图像处理方法的示 意图。如图15(a)所示,区块a所选择的预测模式为第2模式、区块b所选 择的预测模式为第7模式,以此类推。在各个4*4区块的预测模式决定后,就可以利用这些决定的预测模式, 并基于图像边界像素,重建左上8*8区块中各个4*4区块像素,而当所有4*4 区块像素的重建值都计算完后,就完成左上8*8区块像素的重建步骤(步骤 S1316)。以上这些步骤均可在一次操作(Pass)之内完成,因此可以节省逐次 计算4*4区块的预测模式及重建值所耗费的时间及运算资源。请参照图15(b),其中4*4区块&、 b、 c、 d的重建值均已计算完成,而 获得重建值矩阵a,、 b'、 c,及d,。在一实施例中,上述计算重建值的步骤 可再分为两个子步骤,其中包括先利用各个4*4区块所对应预测模式的预测 公式,计算4*4区块像素的预测值。这些预测值则被拿来与差余值相加,而 获得重建值。在取得左上8*8区块像素的重建值后,即代表右上8*8区块的左方区块的像素与左下区块的上方区块的像素为已知。因此,本实施例的下一个操作即是再采用上述9种预测模式的公式计算右上及左下8*8区块内各个4*4区 块像素在多个预测模式下与对应的区域边界的已重建像素间的差值平方和 (步骤S1318),而根据预测模式所算出的差值平方和,决定右上及左下8*8 区块像素重建时所使用的预测模式(步骤S1320)。最后,利用决定的预测模 式,并基于图像边界像素,重建右上及左下8*8区块像素(步骤S1 322h请 参照图15(c),其中4*4区块"d、 g、 h及"4区块i、 j、 m、 n的差值平 方和及预测模式均已决定,而图15(d)则绘示原本04区块g、 h及"4区块 j、 n的重建值均已计算完成,而获得重建值矩阵g,、 h'、 j,及n,。值得一提的是,在以预测公式取得右上8*8区块及左下8*8区块中像素 的预测值后,即代表右下8*8区块的上方区块与左方区块的像素为已知。因 此,本实施例的下一个操作(Pass)即是采用上述9种预测模式的公式计算右 下8*8区块内各个4*4区块像素在多个预测模式下与对应的区域边界的已重 建像素间的差值平方和(步骤S1324),而根据预测模式所算出的差值平方和, 决定右下8*8区块像素重建时所使用的预测模式(步骤S1 326)(如图15(e)所 示)。最后,利用决定的预测模式,并基于图像边界像素,重建右下8*8区块 像素(步骤S1328)。至此,16*16区块中各个8*8区块的像素的重建值(如图 15(f)所示)均已取得,而完成整个16*16区块像素的重建工作。本实施例在三次操作(Pass)中决定了 16*16区块中各个8*8区块的预测 模式,让原本必须对16个4*4区块分别计算9种预测模式的运算简化到只需 对4个8*8区块计算9种预测模式,这也代表本实施例可有效降低进行4*4 区块框内预测的处理时间,而达到增加图像处理效率的目的。综上所述,在本发明的图像处理方法至少具有下列优点1. 在一次操作中就决定了 16*16区块中各个4*4区块或8*8区块的预测 模式,不用逐个4*4区块或8*8区块地进行预测,因此可以节省运算时间, 增加图像处理效率。2. 在三次操作中分别决定了 16*16区块中左上8*8区块、右上及左下8*8 区块,以及右下8*8区块的预测模式,而不用逐个4*4区块地进行预测,因 此可以节省运算时间,增加图像处理效率。3. 在一个区块的预测模式决定后、进行其它区块的预测的同时,即可对 该区块进行后续的离散余弦转换、量化、熵计算等步骤,不必等到所有区块都预测完毕后才进行,因此可以节省运算时间,增加图像处理效率。虽然本发明已以较佳实施例揭露如上,然其并非用以限定本发明,任何 本领域技术人员,在不脱离本发明的精神和范围内,当可作些许的更动与润 饰,因此本发明的保护范围当视所附的权利要求范围所界定者为准。
权利要求
1. 一种图像处理方法,适用于可区分为多个预测区块的图像,该方法包括a.计算该些预测区块像素在多个预测模式下与对应的该图像边界像素间的差值平方和;b.根据a步骤结果,决定该预测区块像素重建时所使用的该预测模式;以及c.根据b步骤结果,重建该些预测区块的像素。
2. 根据权利要求1所述的图像处理方法,其中在a步骤之后还包括 al.利用a步骤结果,计算该些预测区块像素在该些预测模式下的剩余值;以及a2.根据a步骤以及al步骤结果,决定该预测区块像素重建时所使用的 该预测模式。
3. 根据权利要求1所述的图像处理方法,其中该图像为16*16像素所组 成的区块,而该预测区块为4*4区块。
4. 根据权利要求1所述的图像处理方法,其中该些预测模式包括垂直预测模式、水平预测模式、直流预测模式、对角下左预测模式、对角下右预 测模式、垂直向右预测模式、水平向下预测模式、垂直向左预测模式、以及 水平向上预测模式。
5. 根据权利要求2所述的图像处理方法,其中a2步骤还包括 a2-l.根据al步骤结果,决定该些预测区块像素在该些预测模式下所对应的位传输率;a2-2.根据a步骤以及a2-1步骤结果,计算该些预测区块像素的位传输 率-失真最佳值;以及a2-3.根据a2-2步骤结果,决定该些预测区块像素重建时所使用的该预测模式。
6. 根据权利要求3所述的图像处理方法,其中预设该16个预测区块由 上而下、由左而右依序区分为a p位置的该些预测区块,则c步骤中该些预 观寸区块的重建顺序为a —b、 e —c、 f、 i —d、 g、 j、 m —h、 k、 n—1、 o —p。
7. —种图像处理方法,适用于可区分为多个预测区块的图像,该方法包括a. 将该些预测区块区分为多个区域,其中每一该区域具有至少两个该预 测区块;b. 先针对该些区域中的其一 ,计算该区域内该些预测区块像素在多个预 测模式下与对应的该图像边界像素间的差值平方和;c. 根据b步骤结果,决定该区域内该预测区块像素重建时所使用的该预 测模式;d. 根据c步骤结果,重建该区域内该些预测区块的像素;以及e. 根据d步骤结果,利用该区域边界的已重建像素,重建与该区域相邻 的区域内的该些预测区块的像素。
8. 根据权利要求7所述的图像处理方法,其中b步骤之后还包括bl.利用b步骤结果,计算该区域内该些预测区块像素在该些预测模式下 的剩余值;以及b2.根据b步骤及bl步骤结果,决定该区域内该预测区块像素重建时所 使用的该预测模式。
9. 根据权利要求7所述的图像处理方法,其中该图像为16*16像素所组 成的区块、该预测区块为4"区块,而该区域为8*8区块。
10. 根据权利要求7所述的图像处理方法,其中该些预测模式包括垂 直预测模式、水平预测模式、直流预测模式、对角下左预测模式、对角下右 预测模式、垂直向右预测模式、水平向下预测模式、垂直向左预测模式、以 及水平向上预测模式。
11. 根据权利要求8所述的图像处理方法,其中b2步骤还包括 b2-l.根据bl步骤结果,决定该区域内该些预测区块像素在该些预测模式下所对应的位传输率;b2-2.根据b步骤以及b2-1步骤结果,计算该区域内该些预测区块像素 的位传输率-失真最佳值;以及b2-3.根据b2-2步骤结果,决定该区域内该些预测区块像素重建时所使 用的该预测模式。
12. 根据权利要求9所述的图像处理方法,其中预设该4个预测区块由上而下、由左而右依序区分为a、 b、 e以及f位置的该些预测区块,则e步 骤中该些预测区块的重建顺序为a —b、 e —f。
13. 根据权利要求7所述的图像处理方法,其中e步骤还包括el.计算至少一该相邻区域内该些预测区块像素在多个预测模式下与对 应的该区域边界的已重建像素间的差值平方和;e2.利用el步骤结果,计算该相邻区域内该些预测区块像素在该些预测 模式下的剩余值;e3.根据el步骤以及e2步骤结果,决定该相邻区域内该预测区块像素重 建时所使用的该预测模式;以及e4.根据e 3步骤结果,重建该相邻区域内该些预测区块的像素。
14. 根据权利要求7所述的图像处理方法,还包括fl.计算该区域内该些预测区块像素在多个预测模式下与对应的该两相 邻区域边界的已重建像素间的差值平方和;f2.利用fl步骤结果,计算该区域内该些预测区块像素在该些预测模式 下的剩余值;f3.根据fl步骤以及f2步骤结果,决定该区域内该预测区块像素重建时 所使用的该预测模式;以及f4.根据f3步骤结果,重建该区域内该些预测区块的像素。
15. —种图像处理方法,适用于可区分为多个预测区块的图像,该方法 包括a. 将该些预测区块区分为多个区域,其中每一该区域具有至少两个该预 测区块;b. 计算每一该区域内该些预测区块像素在多个预测模式下与对应的该图 像边界像素间的差值平方和;c. 根据b步骤结果,决定每一该区域内该预测区块像素重建时所使用的 该预测才莫式;以及d. 根据c步骤结果,重建每一该区域内该些预测区块的像素。
16. 根据权利要求15所述的图像处理方法,其中b步骤之后还包括 bl.利用b步骤结果,计算每一该区域内该些预测区块像素在该些预测模式下的剩余值;以及b2.根据b步骤以及bl步骤结果,决定每一该区域内该预测区块像素重 建时所使用的该预测模式。
17. 根据权利要求15所述的图像处理方法,其中该图像为16*16像素所 組成的区块、该预测区块为4M区块,而该区i或为8*8区块。
18. 根据权利要求15所述的图像处理方法,其中该些预测模式包括垂 直预测模式、水平预测模式、直流预测模式、对角下左预测模式、对角下右 预测模式、垂直向右预测模式、水平向下预测模式、垂直向左预测模式、以 及水平向上预测模式。
19. 根据权利要求16所述的图像处理方法,其中b2步骤还包括 b2-l.根据b-1步骤结果,决定每一该区域内该些预测区块像素在该些预观U莫式下所对应的位传输率;b2-2.根据b步骤以及b2-1步骤结果,计算每一该区域内该些预测区块 像素的位传输率-失真最佳值;以及b2-3.根据b2-2步骤结果,决定每一该区域内该些预测区块像素重建时 所使用的该预测模式。
20. 根据权利要求17所述的图像处理方法,其中预设该4个区域由上而 下、由左而右依序区分为I、 II 、 III以及IV位置的该4区域,则e步骤中该 些预测区块的重建顺序为1—11、 III —IV。
全文摘要
一种图像处理方法,此方法是将图像框内预测模式中4*4区块预测模式的公式扩展应用到16*16区块中各个4*4区块或8*8区块的预测上,在一次操作(Pass)中就决定了16*16区块中各个4*4区块或是8*8区块的预测模式,或者是分为三次操作决定16*16区块中各个8*8区块的预测模式。如此即可省去逐个4*4区块判断预测模式的运算操作,有效降低进行4*4区块框内预测的处理时间,而达到增加图像处理效率的目的。
文档编号H04N7/32GK101227615SQ20071000394
公开日2008年7月23日 申请日期2007年1月19日 优先权日2007年1月19日
发明者官宏霖, 沈中理, 钟育杰 申请人:硕颉科技股份有限公司

最新回复(0)