用于媒体编码的4x4变换的制作方法
用于媒体编码的4x4变换的制作方法
【专利说明】
[0001] 分案申请的相关信息
[0002] 本申请是国际申请日为2010年6月4日、国际申请号为PCT/US2010/037513、发明名 称为"用于媒体编码的4X4变换"的PCT申请进入中国国家阶段申请号为201080023552.4的 发明专利申请的分案申请;原发明专利申请案的优先权日为2009年6月5日。
[0003] 相关申请案的交叉引用
[0004] 本专利申请案是20 10年5月27日递交的名称为"用于媒体编码的4X4变换 (4X4TRANSF0RM FOR MEDIA CODING)"的第12/788,625号美国专利申请案的接续申请案。所 述美国专利申请案依据35 U.S.C. §120主张2010年5月27日递交的第12/788,666号共同待 决的美国专利申请案的递交日。所述共同待决的美国专利申请案依据35 U.S.C.§119(e)主 张2009年6月5日申请的第61/184,656号美国临时申请案及2009年6月24日申请的第61/ 219,887号美国临时申请案的权利，且已转让给本受让人且在此W引用的方式明确地并入 本文中。
技术领域
[0005] 本发明设及数据压缩，且更特定来说，设及包含变换的数据压缩。
【背景技术】
[0006] 数据压缩广泛用于多种应用中W减少对数据存储空间、发射带宽或两者的消耗。 数据压缩的实例应用包括可见或可听媒体数据编码，例如，数字视频、图像、语音及音频编 码。数字视频编码(例如）用于广泛范围的装置中，其包括数字电视、数字直接广播系统、无 线通信装置、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、视频 游戏装置、蜂窝式或卫星无线电电话等等。数字视频装置实施例如Μ阳G-2、MPEG-4或H. 264/ MPEG-4先进视频编码(AVC)等视频压缩技术W更有效地发射及接收数字视频。
[0007] 大体来说，视频压缩技术执行空间预测、运动估计及运动补偿W减少或移除视频 数据中所固有的冗余。特定来说，帖内编码依赖于空间预测来减少或移除给定视频帖内的 视频中的空间冗余。帖间编码依赖于时间预测来减少或移除邻近帖内的视频中的时间冗 余。对于帖间编码，视频编码器执行运动估计W跟踪在两个或两个W上邻近帖之间的匹配 的视频块的移动。运动估计产生运动向量，其指示视频块相对于一个或一个W上参考帖中 的对应视频块的位移。运动补偿使用运动向量W从参考帖产生预测视频块。在运动补偿之 后，通过从原始视频块减去预测视频块而形成残余视频块。
[000引视频编码器接着应用变换，继之W量化及无损耗统计编码过程，W进一步减小通 过视频编码过程产生的残余块的位速率。在一些情况下，所应用的变换包含离散余弦变换 (DCT)。通常，将DCT应用于大小为二的幕的视频块，例如，4像素高乘4像素宽的视频块(其通 常被称为"4 X 4视频欺'）。运些DCT因此可被称为4 X 4DCT，因为运些DCT被应用于4 X 4视频 块W产生DCT系数的4X4矩阵。由将4X4DCT应用于残余块所产生的DCT系数的4X4矩阵接 着经历量化及无损耗统计编码过程W产生位流。统计编码过程(也被称为"赌编码"过程)的 实例包括上下文自适应性可变长度编码（CAVLC)或上下文自适应性二进制算术编码 (CABAC)。视频解码器接收经编码的位流且执行无损耗解码W解压缩用于块中的每一者的 残余信息。通过使用残余信息及运动信息，视频解码器重建构经编码的视频。
【发明内容】
[0009] 大体来说，本发明是针对用于使用可相对于常规4X4DCT提供增加的编码增益的4 X4离散余弦变换(DCT)的近似的一个或一个W上实施方案来编码例如媒体数据等数据的 技术。根据本发明的技术所应用的4X4DCT的实施方案设及在经缩放因子与内部因子之间 的各种关系。术语"经缩放因子"指代经由因式分解移除的在4X4DCT的实施方案外部的因 子。术语"内部因子"指代在因式分解之后保留的在4 X4DCT的实施方案内部的因子。4X 4DCT的一个实例实施方案为正交的，其意味着表示4X4DCT的系数矩阵在乘W此矩阵的转 置时等于单位矩阵。4X4DCT的另一实例实施方案为接近正交的（或近似正交的）。通过遵守 W下详细描述的各种关系，所述技术促进在两种情况下选择导致正交与接近正交4X4DCT 实施方案的矩阵系数，所述实施方案在应用于数据时可相对于常规4X4DCT促进增加的编 码增益。
[0010] 在一个方面中，一种设备包含4X4离散余弦变换(DCT)硬件单元，其实施具有奇数 部分的正交4X4DCT，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子及第二内部 因子(C、S)W使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总 和的平方根，其中4X4DCT硬件单元将4X4DCT实施方案应用于媒体数据W将媒体数据从空 间域变换到频域。
[0011] 在另一方面中，一种方法包含通过4 X 4DCT硬件单元将正交4 X 4离散余弦变换 (DCT)实施方案应用于媒体数据W将媒体数据从空间域变换到频域，其中正交4X4DCT实施 方案包括奇数部分，所述奇数部分应用与经缩放因子α)有关的第一内部因子及第二内部 因子(C、S)W使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总 和的平方根。
[0012] 在另一方面中，一种设备包含用于将正交4X4离散余弦变换(DCT)实施方案应用 于媒体数据W将媒体数据从空间域变换到频域的装置，其中正交4X4DCT实施方案包括奇 数部分，所述奇数部分应用与经缩放因子α)有关的第一内部因子及第二内部因子(C、S)W 使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总和的平方根。
[0013] 在另一方面中，一种非暂时性计算机可读存储媒体存储指令，所述指令在由处理 器执行时引起处理器通过4X4DCT硬件单元将正交4X4离散余弦变换(DCT)实施方案应用 于媒体数据W将媒体数据从空间域变换到频域，其中正交4X4DCT实施方案包括奇数部分， 所述奇数部分应用与经缩放因子α)有关的第一内部因子及第二内部因子(C、S)W使得经 缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总和的平方根。
[0014] 在另一方面中，一种设备包含4X4反离散余弦变换（IDCT)硬件单元，其实施具有 奇数部分的正交4X4DCT的IDCT，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子 及第二内部因子(C、S)W使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S) 的平方的总和的平方根，其中4 X 4IDCT硬件单元将4 X 4IDCT实施方案应用于代表媒体数据 的DCT系数W将媒体数据从频域变换到空间域。
[0015] 在另一方面中，一种方法包含通过4 X 4IDCT硬件单元将正交4 X 4DCT的4 X 4反离 散余弦变换（IDCT)应用于代表媒体数据的DCT系数W将媒体数据从频域变换到空间域，其 中正交4X4DCT包括奇数部分，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子及 第二内部因子(C、S)W使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的 平方的总和的平方根。
[0016] 在另一方面中，一种设备包含用于将正交4 X 4DCT的4 X 4反离散余弦变换（IDCT) 应用于代表媒体数据的DCT系数W将媒体数据从频域变换到空间域的装置，其中正交4X 4DCT包括奇数部分，所述奇数部分应用与经缩放因子（ξ)有关的第一内部因子及第二内部 因子(C、S)W使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总 和的平方根。
[0017] 在另一方面中，一种非暂时性计算机可读存储媒体存储指令，所述指令在由处理 器执行时引起处理器通过4 X 4IDCT硬件单元将正交4 X 4DCT的4 X 4反离散余弦变换（IDCT) 应用于代表媒体数据的DCT系数W将媒体数据从频域变换到空间域，其中正交4X4DCT包括 奇数部分，所述奇数部分应用与经缩放因子α)有关的第一内部因子及第二内部因子(C、S) W使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总和的平方 根。
[0018] 在另一方面中，一种设备包含4X4离散余弦变换(DCT)硬件单元，其中DCT模块实 施具有奇数部分的非正交4X4DCT，所述奇数部分应用按W下方程式与经缩放因子(ξ)有关 的第一变量及第二变量(C、S):
[0019]
[0020] 其中变量ω及Φ表示无理内部变换因子且变量C及S表示在非正交4X4DCT的整数 实施方案中代替变量ω及iH吏用的二元有理内部变换因子，且其中4X4DCT硬件单元将4Χ 4DCT实施方案应用于媒体数据W将媒体数据从空间域变换到频域。
[0021] 在另一方面中，一种方法包含通过4 X 4DCT硬件单元将非正交4 X 4离散余弦变换 (DCT)应用于媒体数据W将媒体数据从空间域变换到频域，其中非正交4X4DCT包括奇数部 分，所述奇数部分应用按W下方程式与经缩放因子α)有关的第一变量及第二变量(C、S):
[0022]
[0023] 其中变量ω及Φ表示无理内部变换因子且变量C及S表示在非正交4X4DCT的整数 实施方案中代替变量ω及Φ使用的二元有理内部变换因子。
[0024] 在另一方面中，一种设备包含用于通过4 X4DCT硬件单元将非正交4X4离散余弦 变换(DCT)应用于媒体数据W将媒体数据从空间域变换到频域的装置，其中非正交4X4DCT 包括奇数部分，所述奇数部分应用按W下方程式与经缩放因子α)有关的第一变量及第二 变量(C、S):
[0025]
[00%] 其中变量ω及Φ表示无理内部变换因子且变量C及S表示在非正交4 X 4DCT的整数 实施方案中代替变量ω及Φ使用的二元有理内部变换因子。
[0027]在另一方面中，非暂时性计算机可读存储媒体存储指令，所述指令在由处理器执 行时引起处理器通过4X4DCT硬件单元将非正交4X4离散余弦变换(DCT)应用于媒体数据 W将媒体数据从空间域变换到频域，其中非正交4 X 4DCT包括奇数部分，所述奇数部分应用 按W下方程式与经缩放因子α)有关的第一变量及第二变量(C、S):
[002引
[0029] 其中变量ω及Φ表示无理内部变换因子且变量C及S表示在非正交4X4DCT的整数 实施方案中代替变量ω及Φ使用的二元有理内部变换因子。
[0030] 在另一方面中，一种设备包含4X4反离散余弦变换（IDCT)硬件单元，其中DCT硬件 单元实施具有奇数部分的非正交4X4DCT的反DCT，所述奇数部分应用按W下方程式与经缩 放因子α)有关的第一内部因子及第二内部因子(C、S):
[0031]
[0032] 其中变量ω及Φ表示无理内部变换因子且变量C及S表示在非正交4X4DCT的整数 实施方案中代替变量ω及Φ使用的二元有理内部变换因子，且其中4X4IDCT硬件单元将4Χ 4IDCT实施方案应用于代表媒体数据的DCT系数W将媒体数据从频域变换到空间域。
[0033] 在另一方面中，一种方法包含通过4 X 4IDCT硬件单元将4 X 4反离散余弦变换 (IDCT)应用于代表媒体数据的DCT系数W将媒体数据从频域变换到空间域，其中4X4IDCT 包含具有奇数部分的非正交4X4DCT的IDCT，所述奇数部分应用按W下方程式与经缩放因 子α)有关的第一内部因子及第二内部因子(C、S):
[0034]
[0035] 其中变量ω及Φ表示无理内部变换因子且变量C及S表示在非正交4X4DCT的整数 实施方案中代替变量ω及Φ使用的二元有理内部变换因子。
[0036] 在另一方面中，一种设备包含用于通过4 X 4IDCT硬件单元将4 X 4反离散余弦变换 (IDCT)应用于代表媒体数据的DCT系数W将媒体数据从频域变换到空间域的装置，其中4Χ 4IDCT包含具有奇数部分的非正交4X4DCT的IDCT，所述奇数部分应用按W下方程式与经缩 放因子α)有关的第一内部因子及第二内部因子(C、S):
[0037]
[0038] 其中变量ω及Φ表示无理内部变换因子且变量C及S表示在非正交4X4DCT的整数 实施方案中代替变量ω及Φ使用的二元有理内部变换因子。
[0039] 在另一方面中，一种非暂时性计算机可读存储媒体存储指令，所述指令在由处理 器执行时引起处理器通过4 X 4IDCT硬件单元将4 X 4反离散余弦变换（IDCT)应用于代表媒 体数据的DCT系数W将媒体数据从频域变换到空间域，其中4X4IDCT包含具有奇数部分的 非正交4X4DCT的IDCT，所述奇数部分应用按W下方程式与经缩放因子(ξ)有关的第一内部 因子及第二内部因子(C、S):
[0040]
[0041 ] 其中变量ω及φ表示无理内部变换因子且变量C及S表示在非正交4 X 4DCT的整数 实施方案中代替变量ω及Φ使用的二元有理内部变换因子。
[0042] 在另一方面中，一种设备包含4X4离散余弦变换(DCT)硬件单元，其实施具有奇数 部分的非正交4X4DCT，所述奇数部分应用按W下方程式与经缩放因子(ξ)有关的第一内部 因子及第二内部因子(Α、Β):
[0043]
[0044] 其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(Β)的总和除W-加一 除W二的平方根，且其中4X4DCT硬件单元将4X4DCT实施方案应用于媒体数据W将媒体数 据从空间域变换到频域。
[0045] 在另一方面中，一种方法包含通过4 X 4DCT硬件单元将非正交4 X 4离散余弦变换 (DCT)应用于媒体数据W将媒体数据从空间域变换到频域。非正交4X4DCT包括奇数 部分， 所述奇数部分应用按W下方程式与经缩放因子α)有关的第一内部因子及第二内部因子 (Α、Β):
[0046]
[0047] 其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(Β)的总和除W-加一 除W二的平方根。
[004引在另一方面中，一种设备包含用于通过4 X4DCT硬件单元将非正交4X4离散余弦 变换(DCT)应用于媒体数据W将媒体数据从空间域变换到频域的装置，其中非正交4X4DCT 包括奇数部分，所述奇数部分应用按W下方程式与经缩放因子α)有关的第一内部因子及 第二内部因子(Α、Β):
[0049]
[0050] 其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(Β)的总和除W-加一 除W二的平方根。
[0051] 在另一方面中，一种非暂时性计算机可读存储媒体存储指令，所述指令在由处理 器执行时引起处理器通过4 X 4DCT硬件单元将非正交4 X 4离散余弦变换(DCT)应用于媒体 数据W将媒体数据从空间域变换到频域。非正交4X4DCT包括奇数部分，所述奇数部分应用 按W下方程式与经缩放因子α)有关的第一内部因子及第二内部因子(A、B):
[0化2]
[0053] 其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(B)的总和除W-加一 除W二的平方根。
[0054] 在另一方面中，一种设备包含4 X 4反离散余弦变换（IDCT)硬件单元，其中4 X 4IDCT硬件单元实施具有奇数部分的非正交4X4DCT的IDCT，所述奇数部分应用按W下方程 式与经缩放因子(ξ)有关的第一内部因子及第二内部因子(A、B):
[0化5]
[0056] 其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(B)的总和除W-加一 除W二的平方根，且其中4X4IDCT硬件单元将4X4IDCT实施方案应用于代表媒体数据的 DCT系数W将媒体数据从频域变换到空间域。
[0057] 在另一方面中，一种方法包含通过4 X 4IDCT硬件单元将4 X 4反离散余弦变换 (IDCT)应用于代表媒体数据的DCT系数W将媒体数据从频域变换到空间域。IDCT包含具有 奇数部分的非正交4X4DCT的IDCT，所述奇数部分应用按W下方程式与经缩放因子(ξ)有关 的第一内部因子及第二内部因子(Α、Β):
[0化引
[0059] 其中经缩放因子(ξ)等于第一内部因子(Α)加第二内部因子(Β)的总和除W-加一 除W二的平方根。
[0060] 在另一方面中，一种设备包含用于通过4X4IDCT硬件单元将4X4反离散余弦变换 (IDCT)应用于代表媒体数据的DCT系数W将媒体数据从频域变换到空间域的装置。IDCT包 含具有奇数部分的非正交4X4DCT的IDCT，所述奇数部分应用按W下方程式与经缩放因子 (。有关的第一内部因子及第二内部因子(Α、Β):
[0061]
[0062] 其中经缩放因子(ξ)等于第一内部因子(Α)加第二内部因子(Β)的总和除W-加一 除W二的平方根。
[0063] 在另一方面中，一种非暂时性计算机可读存储媒体存储指令，所述指令在由处理 器执行时引起处理器通过4 X 4IDCT硬件单元将4 X 4反离散余弦变换（IDCT)应用于代表媒 体数据的DCT系数W将媒体数据从频域变换到空间域。IDCT包含具有奇数部分的非正交4Χ 4DCT的IDCT，所述奇数部分应用按W下方程式与经缩放因子(ξ)有关的第一内部因子及第 二内部因子(Α、Β):
[0064]
[0065] 其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(Β)的总和除W-加一 除W二的平方根。
[0066] 在随附图式及W下描述中陈述技术的一个或一个W上方面的细节。本发明中所描 述的技术的其它特征、目标及优点从描述及图式且从权利要求书将为显而易见的。
【附图说明】
[0067] 图1为说明视频编码及解码系统的框图。
[0068] 图2为更详细说明图1的视频编码器的框图。
[0069] 图3为更详细说明图1的视频解码器的框图。
[0070] 图4A到图4C为各自说明根据本发明的技术所建构的经缩放4X4DCT-II的实施方 案的图。
[0071] 图5为说明编码装置在应用根据本发明的技术所建构的4X4DCT实施方案时的示 范性操作的流程图。
[0072] 图6为说明编码装置在应用根据本发明的技术所建构的4X4DCT-III实施方案时 的实例操作的流程图。
[007引图7A到图7C为说明根据本发明的技术所建构的；种不同4X4DCT-n实施方案中 的每一者的相对于位速率的峰值信噪比的曲线的图。
【具体实施方式】
[0074] 大体来说，本发明是针对用于使用表示为根据各种关系所选择的系数的4X4矩阵 的一个或一个W上4X4离散余弦变换(DCT)来编码数据的技术。可应用所述技术W压缩多 种数据，其包括可见或可听媒体数据，例如，数字视频、图像、语音及/或音频数据，且借此将 表示此数据的运些电信号变换为压缩信号W用于电信号的更有效处理、发射或归档。通过 遵守根据本发明的技术所定义的各种关系，可为系数矩阵选择系数W使得4X4DCT的正交 及接近正交实施方案在应用于数据时可促进增加的编码增益。
[0075] 依据离散数据单元表示W上所表示的大小，即，4X4。为说明起见，通常依据视频 块描述视频数据(尤其在关于视频压缩时）。视频块通常指代视频帖的任何大小的部分，其 中视频帖指代一系列图片或图像中的一图片或图像。每一视频块通常包含多个离散像素数 据，其指示例如红色、蓝色及绿色的色彩分量(所谓的"色度"分量)或亮度分量(所谓的"亮 度"分量）。每一像素数据集合包含在视频块中的单一1X1点，且可被当作关于视频块的离 散数据单元。因此，4X4视频块(例如)包含四行的像素数据，其中每一行中具有四个离散的 像素数据集合。可将η位值指派到每一像素 W规定色彩或亮度值。
[0076] 通常依据DCT能够处理的数据(不管是音频、语音、图像还是视频数据)块的大小来 描述DCT。举例来说，如果DCT可处理4 X 4数据块，贝化CT可被称为4 X 4DCT。此外，DCT可经表 示为特定类型。八个不同类型的DCT中的最常用类型的DCT为类型II的DCT，其可经表示为 可CT-Ir。通常，当泛指DCT时，此用语指代类型II的DCT或DCT-II dDCT-II的反操作被称为 类型III的DCT，其可类似地表示为"DCT-IIΓ，或由于通常将DCT理解为指代DCT-II，因此表 示为"IDCT"其中"IDCT"中的"Γ表示反操作。W下对DCT的提及符合此记法，其中对DCT的泛 指指代DCT-II，除非另外规定。然而，为了避免混淆，包括DCT-II的DCT在下文主要用所指示 的对应类型（Π 、ΠΙ等)来指代。
[0077] 本发明中所描述的技术设及编码器及/或解码器两者，其使用4X4DCT-n的一个 或一个W上实施方案W促进数据的压缩及/或解压缩。此外，经由应用运些4X4DCT-n实施 方案所完成的压缩及解压缩允许表示数据的电信号的物理变换，使得可使用物理计算硬 件、物理传输媒体(例如，铜、光纤、无线或其它媒体)及/或存储硬件(例如，磁盘或光盘或磁 带，或多种固态媒体中的任一者)更有效地处理、传输及/或存储信号。可仅在硬件中配置实 施方案或可在硬件与软件的组合中配置实施方案。
[0078] 4 X 4DCT-II的实施方案可为正交或接近正交的。术语"正交"大体上指代矩阵的性 质，其中矩阵在乘W矩阵的转置时等于单位矩阵。术语"接近正交"指代其中此正交性质被 放松而使得不必需严格正交性的情况。在此方面，"接近正交"暗示近似正交或松散正交。然 而，接近正交矩阵不符合正交的技术定义，且从纯粹技术角度来说，运些接近正交矩阵可被 当作非正交的。
[0079] 为了说明本发明中所描述的4 X 4DCT-II的正交实施方案，考虑包括4 X 4DCT模块 的设备。4 X 4DCT模块实施根据本发明中所描述的技术建构的正交4 X 4DCT-II。此正交4 X 4DCT-II实施方案包括奇数部分及偶数部分。4 X 4DCT-II的所谓的"奇数部分"指代4 X 4DCT-II实施方案的输出奇数编号系数的部分。4X4DCT-n的所谓的"偶数部分"指代4X 4DCT-II实施方案的输出偶数编号系数的部分。
[0080] 根据本发明的技术，奇数部分应用与经缩放因子(ξ)有关的第一内部因子C及第二 内部因子SW使得所述经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方 的总和的平方根。术语"内部因子"指代在因式分解之后保留的在4X4DCT的实施方案内部 的因子。术语"经缩放因子"指代经由因式分解移除的在4X4DCT的实施方案外部的因子。
[0081] 内部因子通常由于需要在实施方案复杂性方面可为代价大的乘法而增加实施方 案复杂性。举例来说，与较简单的加法运算相比，乘法可需要Ξ倍或Ξ倍W上的计算操作 (例如，时钟循环)来完成。可实施特定乘法器W更有效地(例如，在较少时钟循环中）执行乘 法，但运些乘法器实施方案通常消耗显著更多的忍片或娃表面积且也可汲取大量电力。因 此通常避免乘W因子的乘法，尤其是在功率敏感装置中，例如，大部分移动装置，其包括蜂 窝式电话(所谓的"智能型"蜂窝式电话）、个人数字助理(PDA)、膝上型计算机(所谓的"迷你 笔记型计算机"）及其类似物。因式分解为可借W从4X4DCT-n实施方案移除一个或一个W 上内部因子且用外部因子加 W替换的过程。接着可通常W最小的花费或最小的复杂性增加 将外部因子并入于(例如)关于视频编码器的随后量化操作中。
[0082] 无论如何，W上所提到的第一内部因子C及第二内部因子S与经缩放因子(ξ)之间 的W上关系提供了未用于4X4DCT-n的先前实施方案中的内部因子的特定值。举例来说， 分别用于内部因子C及S的值2及5不过度增加实施方案复杂性，且与设及C及S的1及2的值的 已知4X4DCT实施方案相比改善了编码增益。视频编码器接着将具有内部因子2及5的4X 4DCT-II实施方案应用于媒体数据W便将媒体数据从空间域变换到频域。通过应用此正交4 X4DCT-n实施方案，在与包括1及2的内部因子的标准DCT-II实施方案相比时，所述技术促 进了编码增益(其为表示压缩效率的术语）。
[0083] 就DCT-II实施方案来说，正交性通常为所要的，因为其为可逆的。作为一个实例， 此可逆性质允许视频编码器应用正交4X4DCT实施方案W从视频数据的残余块产生DCT系 数。视频解码器可接着应用4X4反DCT-II(IDCT)实施方案W便在数据极小损耗(如果存在） 的情况下从DCT-II系数重建构视频数据的残余块。考虑到视频编码的主要目标为数据的保 存，所W例如H.264视频编码标准等各种编码标准均采用4X4DCT的正交实施方案。
[0084] 虽然正交性通常在理论上为所要的，但视频、音频或通用编码管线实际上设及会 引入所谓的"噪声"的许多步骤，所述噪声在大多方面实际上防止准确地重建构由正交4X 4DCT-II实施方案提供的值。考虑到整数算术实施方案，接近正交变换与严格正交整数变换 相比可改善编码效率，同时也减小实施方案复杂性。实际上，放松正交性质会将噪声引入到 系统中，但可改善编码增益，同时也减小实施方案复杂性。
[0085] 为了说明本发明中所描述的4 X4DCT-n的接近正交实施方案，考虑设备的4 X 4DCT模块实施根据本发明中所描述的技术建构的此接近正交4 X 4DCT-II。此接近正交4 X 4DCT-II实施方案也包括奇数部分及偶数部分。在此情况下奇数部分应用按W下方程式与 经缩放因子化)有关的第一内部因子及第二内部因子(C、S):
[0086]
[0087] 在此方程式中，变量ω及Φ表示原始(无理）内部变换因子，例如，（ω)可为Ξ乘常 数piU)除W八的余弦，且(Φ)可为Ξ乘常数piU)除W八的正弦。变量(C)及（S)表示替换 (ω)及(Φ)的整数(或二元有理）内部变换因子。
[0088] 方程式(2)指示经缩放因子(ξ)等于第一内部因子(C)加第二内部因子(S)的总和 除Κ(ω)加(Φ)。此方程式可识别类似于关于正交实施方案所定义的W上关系的C及S的特 定内部因子值，但导致不同的外部因子。然而，由于W上所提到的原因，不同外部因子通常 不增加实施方案复杂性，而是通常提供原始变换因子的更准确近似。其也可提供比常规4Χ 4DCT-II实施方案且甚至在一些情况下比W上所述的正交4X4DCT-n实施方案改善的编码 增益。因此，控制单元将此接近正交4X4DCT-II应用于媒体数据W便将媒体数据从空间域 变换到频域，结果可能得到改善的编码增益。
[0089] 图1为说明视频编码及解码系统10的框图。如图1中所示，系统10包括源硬件装置 12,其将经编码的视频经由通信信道16发射到接收硬件装置14。源装置12可包括视频源18、 视频编码器20及发射器22。目的地装置14可包括接收器24、视频解码器26及视频显示装置 28 〇
[0090] 在图1的实例中，通信信道16可包含任何无线或有线通信媒体，例如，射频(RF)频 谱或一个或一个W上物理传输线，或无线及有线媒体的任何组合。信道16可形成基于包的 网络(例如，局域网、广域网或例如因特网的全球网络）的一部分。通信信道16通常表示用于 将视频数据从源装置12发射到接收装置14的任何适当的通信媒体或不同通信媒体的集合。
[0091] 源装置12产生用于发射到目的地装置14的视频。然而，在一些状况下，装置12、14 可W大体上对称方式操作。举例来说，装置12、14中的每一者可包括视频编码及解码组件。 因此，系统10可支持在视频装置12、14之间的单向或双向视频发射(例如用于视频串流、 视频广播或视频电话。对 于其它数据压缩及编码应用，装置12、14可经配置W发送且接收或 交换其它类型的数据，例如，图像、语音或音频数据，或视频、图像、语音及音频数据中的两 者或两者W上的组合。因此，为实现说明的目的提供视频应用的W下论述，且不应认为其限 制如本文中广泛描述的本发明的各种方面。
[0092] 视频源18可包括例如一个或一个W上摄影机等视频俘获装置、含有先前俘获的视 频的视频档案，或来自视频内容提供者的实况视频馈入。作为另一替代例，视频源18可产生 基于计算机图形的数据作为源视频，或实况视频及计算机产生的视频的组合。在一些状况 下，如果视频源18为相机，则源装置12及接收装置14可形成所谓的相机电话或视频电话。因 此，在一些方面中，源装置12、接收装置14或两者可形成无线通信装置手持机，例如，移动电 话。在每一状况下，经俘获、预先俘获或计算机产生的视频可由视频编码器20编码W用于从 视频源装置12经由发射器22、信道16及接收器24发射到视频接收装置14的视频解码器26。 显示装置28可包括多种显示装置中的任一者，例如，液晶显示器化CD)、等离子显示器或有 机发光二极管(0LED)显示器。
[0093] 视频编码器20及视频解码器26可经配置W支持可缩放视频编码，W实现空间、时 间及/或信噪比（SNR)可缩放性。在一些方面中，视频编码器20及视频解码器22可经配置W 支持精细粒度SNR可缩放性(FGS)编码。编码器20及解码器26可通过支持基层及一个或一个 W上可缩放增强层的编码、发射及解码来支持各种程度的可缩放性。对于可缩放视频编码， 基层载运具有最小质量等级的视频数据。一个或一个W上增强层载运额外位流W支持更高 的空间、时间及/或SNR等级。
[0094] 视频编码器20及视频解码器26可根据例如Μ阳G-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4先进视频编码(AVC)等视频压缩标准操作。尽管图1中未展示，但在一些方面 中，视频编码器20及视频解码器26可分别与音频编码器及音频解码器整合，且包括适当 MUX-DEMUX单元或其它硬件及软件W处置对共同数据流或单独数据流中的音频与视频两者 的编码。如果适用，则MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报 协议(UDP)等其它协议。
[00M]在一些方面中，对于视频广播，可应用本发明中所描述的技术W增强H.264视频编 码W用于(例如)经由无线视频广播服务器或无线通信装置手持机使用仅前向链路(FLO)空 中接口规范(作为技术标准TIA-1099公开的"用于陆地移动多媒体多播的仅前向链路空中 接口规范(Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast)"("化0规范"））在陆地移动多媒体多播巧]\0)系统中递送实时视频 服务。FL姆见范包括定义适合于FLO空中接口的位流语法及语义W及解码过程的实例。或者， 可根据例如DVB-H(手持型数字视频广播）、ISDB-T(陆地整合服务数字广播)或DMB(数字媒 体广播)等其它标准来广播视频。因此，源装置12可为移动无线终端、视频串流服务器或视 频广播服务器。然而，本发明中所描述的技术不限于任何特定类型的广播、多播或点对点系 统。在广播的状况下，源装置12可将若干信道的视频数据广播到多个接收装置，其中的每一 者可类似于图1的接收装置14。
[0096] 视频编码器20及视频解码器26各自可实施为一个或一个W上微处理器、数字信号 处理器(DSP)、专用集成电路(ASIC)、现场可编程口阵列(FPGA)、离散逻辑、软件、硬件、固件 或其任何组合。因此，视频编码器20及视频解码器26中的每一者可至少部分地实施为集成 电路（1C)忍片或装置，且包括于一个或一个W上编码器或解码器中，其中的任一者可整合 为相应移动装置、订户装置、广播装置、服务器等等中的组合编码器/解码器(CODEC)的一部 分。另外，源装置12及接收装置14各自可包括(适用时）用于发射及接收经编码视频的适当 调制、解调、频率转换、滤波及放大器组件，其包括足W支持无线通信的射频(RF)无线组件 及天线。然而，为实现易于说明的目的，图1中未展示运些组件。
[0097] 视频序列包括一系列视频帖。视频编码器20对个别视频帖内的像素的块操作W便 编码视频数据。视频块可具有固定或变化大小，且可根据规定的编码标准而大小不同。每一 视频帖包括一系列片段。每一片段可包括一系列宏块，宏块可经布置为子块。例如，ITU-T H. 264标准支持各种二元块大小下的帖内预测，例如，对于亮度分量的16乘16、8乘8、4乘4及 对于色度分量的8 X 8，W及各种块大小下的帖间预测，例如，对于亮度分量的16乘16、16乘 8、8乘16、8乘8、8乘4、4乘8及4乘4及对于色度分量的对应缩放的大小。
[0098] 较小视频块通常可提供较好分辨率，且可用于视频帖的包括更高细节等级的位 置。大体来说，通常可将宏块(MB)及各种子块视为表示视频块。另外，可将片段视为表示一 系列视频块，例如，MB及/或子块。每一片段可为可独立解码的单元。在预测之后，可对二元 或非二元大小的残余块执行变换，且可在使用帖内_16X 16预测模式的情况下将额外变换 应用于色度分量或亮度分量的4 X 4块的DCT系数。
[0099] 图1的系统10的视频编码器20及/或视频解码器26可经配置W分别包括4X4DCT-II及其反操作(例如，4 X 4DCT-III)的实施方案，其中4 X 4DCT-n遵守本发明中所描述的用 于选择4X4大小DCT的DCT-II矩阵系数的技术的各种关系中的一者。虽然口U-T H.264标准 支持各种块大小下的帖内预测，例如，对于亮度分量的16乘16、8乘8、4乘4及对于色度分量 的8X8,但为了改善编码效率而对此标准的修订当前在进行中。一个修订标准可被称为 口U-T H.265或简单地称为H.265(有时被称为下一代视频编码或NGVC)。如下文关于图7A到 图7C所描述，遵守根据本发明的技术所陈述的各种关系中的一者的类型II的4 X4DCT r'DCT-ir'）可改善如依据峰值信噪比(PSNR)所测量的编码效率。因此，ITU-T H.265及其它 演进中的标准或规范可考虑运些DCT-IIW便改善编码效率。
[0100] 根据本发明中所描述的技术，可W遵守可与常规实施方案相比促进改善的编码增 益的各种关系中的一者的方式产生4X4DCT-II的实施方案。第一关系是针对4X4DCT-n的 正交实施方案而定义且W下关于方程式(1)加 W陈述：
[0101]
(1)
[0102] 其中C及S表示4X4DCT-II实施方案的"奇数"部分中的第一内部因子及第二内部 因子，且化)表示应用于4X4DCT-II实施方案的"奇数"部分的经缩放因子。4X4DCT-n的所 谓的"奇数部分"指代4X4DCT-n实施方案的输出奇数编号系数的部分。4X4DCT-II的所谓 的"偶数"部分指代4X4DCT-n实施方案的输出偶数编号系数的部分。术语"内部因子'指代 在因式分解之后保留的在4X4DCT的实施方案内部的因子。术语"经缩放因子"指代经由因 式分解移除的在4 X4DCT的实施方案外部的因子。
[0103] 内部因子通常由于需要在实施方案复杂性方面可为代价大的乘法而增加实施方 案复杂性。举例来说，与较简单的加法运算相比，乘法可需要Ξ倍或Ξ倍W上的计算操作 (例如，时钟循环)来完成。可实施特定乘法器W更有效地(例如，在较少时钟循环中）执行乘 法，但运些乘法器实施方案通常消耗显著更多的忍片或娃表面积且也可汲取大量电力。因 此通常避免乘W因子的乘法，特别在功率敏感装置中，例如，大部分移动装置，其包括蜂窝 式电话(所谓的"智能型"蜂窝式电话）、个人数字助理(PDA)、膝上型计算机(所谓的"迷你笔 记型计算机"）及其类似物。因式分解为可借W从4X4DCT-n实施方案移除一个或一个W上 内部因子且用外部因子加 W替换的过程。接着可通常W最小的花费或最小的复杂性增加将 外部因子并入于(例如)关于视频编码器的随后量化操作中。
[0104] 无论如何，W上关于方程式（1)所提到的第一内部因子C及第二内部因子S与经缩 放因子化)之间的W上关系提供了未用于4X4DCT-n的先前实施方案中的内部因子的特定 值。举例来说，分别用于内部因子C及S的值2及5不过度增加实施方案复杂性，且与设及C及S 的1及2的值的已知4X4DCT实施方案相比，改善了编码增益。视频编码器接着将具有内部因 子2及5的4X4DCT-II实施方案应用于媒体数据W便将媒体数据从空间域变换到频域。通过 应用此正交4X4DCT-n实施方案，在与包括1及2的内部因子的标准DCT-II实施方案相比时 所述技术促进了编码增益(其为表示压缩效率的术语）。
[0105] 就DCT-II实施方案来说，正交性通常为所要的，因为其为可逆的。作为一个实例， 此可逆性质允许视频编码器应用正交4X4DCT实施方案W从视频数据的残余块产生DCT系 数。视频解码器可接着应用4X4反DCT-II(IDCT)实施方案W便在数据损耗极小(如果存在） 的情况下从DCT-II系数重建构视频数据的残余块。例如H. 264视频编码标准等若干编码标 准采用4 X 4DCT的正交实施方案。
[0106] 虽然正交性通常在理论上为所要的，但视频、音频或通用编码管线实际上设及会 引入所谓的"噪声"的许多额外步骤(例如缩放或量化），所述噪声在大多方面实际上防止准 确重建构由正交4 X 4DCT-n实施方案提供的值。结果，放松正交性质W实现接近正交(就技 术上来说，其为非正交)可为可能的。考虑到整数算术实施方案，运些接近正交变换与严格 正交整数变换相比可改善编码效率，同时也减小实施方案复杂性。大体来说，放松正交性质 将噪声引入到系统中，但可改善编码增益，同时也减小实施方案复杂性。
[0107] 为了说明4 X4DCT-II的接近正交实施方案，作为一个实例，考虑包括控制单元的 设备。控制单元实施根据本发明中所描述的技术的接近正交4 X 4DCT-II。此接近正交4 X 4DCT-II实施方案也包括奇数部分及偶数部分。在此种情况下奇数部分应用按W下方程式 (2)与经缩放因子(ξ)有关的第一内部因子及第二内部因子(C、S):
[010 引
(2;)
[0109] 在方程式(2)中，变量ω及Φ表示原始(无理）内部变换因子，例如，（ω)可为Ξ乘常 数piU)除W八的余弦，且(Φ)可为Ξ乘常数piU)除W八的正弦。变量(C)及（S)表示替换 (ω)及(Φ)的整数(或二元有理）内部变换因子。
[0110] 方程式(2)指示经缩放因子(ξ)等于第一内部因子(C)加第二内部因子(S)的总和 除Κ(ω)加(Φ)。此方程式可识别类似于W上关于正交实施方案所定义的关系的C及S的特 定内部因子值，但导致不同的外部因子。然而，由于W上所提到的原因，不同外部因子通常 不增加实施方案复杂性，而是通常提供原始变换因子的较准确近似。其也可与常规4 X 4DCT-II实施方案相比且甚至在一些情况下与W上所述的正交4X4DCT-n实施方案相比提 供改善的编码增益。因此，控制单元将此接近正交4X4DCT-II应用于媒体数据W将媒体数 据从空间域变换到频域，结果为具有潜在改善的编码增益。
[0111] 根据本发明中所描述的技术建构的W上所得到4 X 4DCT-II实施方案表示与直接4 X 4DCT-II实施方案相对比的经缩放4 X 4DCT-II实施方案。所述实施方案为"经缩放的"，因 为其已经历因式分解W移除内部因子且因此输出需要应用额外外部因子W正确计算4X 4DCT的经缩放系数。所谓的"直接"DCT-II实施方案输出不需要任何另外运算(例如乘W外 部因子的乘法）W正确计算4 X 4DCT的系数。
[0112] 存在能够产生经缩放4X4DCT-n实施方案的许多不同因式分解。一个替代因式分 解产生不同的经缩放4 X 4DCT-n实施方案，可根据本发明的技术从所述经缩放4 X 4DCT-II 实施方案导出另一关系W产生接近正交实施方案，所述接近正交实施方案与通常由遵照 H. 264的视频编码器使用的常规DCT-II相比改善了编码增益。
[0113] 为了关于用W产生经缩放4X4DCT-n的替代因式分解说明接近正交实施方案，作 为一个实例，考虑包括控制单元的设备。控制单元根据本发明中所描述的技术实施接近正 交4 X4DCT-II。类似于W上所述的实施方案，此接近正交4 X 4DCT-n实施方案包括奇数部 分及偶数部分。在此种情况下奇数部分应用按W下方程式(3)与经缩放因子(ξ)有关的第一 内部因子及第二内部因子(Α、Β):
[0114]
(3)
[0115] 方程式(3)指示经缩放因子(ξ)等于第一内部因子(Α)加第二内部因子(Β)的总和 除W-加一除W二的平方根。此方程式可分别识别内部因子A及Β的特定值7及5。使用替代 因式分解且用W上所提到的内部因子建构的此所得的接近正交4X4DCT-II实施方案与常 规H. 2644 X 4DCT-n实施方案相比可更准确地表示直接4 X 4DCT-II的无理内部因子，且借 此与常规4 X 4DCT-II实施方案相比提供改善的编码增益。因此，控制单元将此接近正交4 X 4DCT-II应用于媒体数据W将媒体数据从空间域变换到频域，结果为具有潜在改善的编码 增益。
[0116] 图2为更详细说明图1的视频编码器20的框图。视频编码器20可至少部分地形成为 一个或一个W上集成电路装置，其可共同地被称为集成电路装置。在一些方面中，视频编码 器20可形成无线通信装置手持机或广播服务器的一部分。视频编码器20可执行视频帖内的 块的帖内及帖间编码。帖内编码依赖于空间预测W减少或移除给定视频帖内的视频中的空 间冗余。帖间编码依赖于时间预测W减 少或移除视频序列的邻近帖内的视频中的时间冗 余。对于帖间编码，视频编码器20执行运动估计W跟踪在邻近帖之间匹配的视频块的移动。
[0117] 如图2中所示，视频编码器20接收待编码的视频帖内的当前视频块30。在图2的实 例中，视频编码器20包括运动估计单元32、参考帖存储器34、运动补偿单元36、块变换单元 38、量化单元40、反量化单元42、反变换单元44及赌编码单元46。可应用回路内或回路后解 块滤波器（未图示）W对块滤波W移除成块假影。视频编码器20还包括求和器48及求和器 50。图2说明用于视频块的帖间编码的视频编码器20的时间预测组件。尽管为易于说明的目 的图2中未展示，但视频编码器20也可包括用于一些视频块的帖内编码的空间预测组件。
[0118] 运动估计单元32比较视频块30与一个或一个W上邻近视频帖中的块W产生一个 或一个W上运动向量。可从参考帖存储器34检索一个或一个W上邻近帖，所述参考帖存储 器34可包含任何类型的存储器或数据存储装置W存储从先前编码块重建构的视频块。可针 对可变大小的块，例如，16 X 16、16 X 8、8 X 16、8 X 8或更小的块大小执行运动估计。运动估 计单元32(例如)基于速率失真模型而识别邻近帖中的最紧密匹配当前视频块30的一个或 一个W上块，且确定在邻近帖中的块与当前视频块之间的位移。在此基础上，运动估计单元 32产生一个或一个W上运动向量(MV)，其指示在当前视频块30与来自用于编码当前视频块 30的参考帖的一个或一个W上匹配块之间的位移的量值及轨迹。一个或一个W上匹配块将 用作预测性(或预测)块W供帖间编码待编码块。
[0119] 运动向量可具有二分之一或四分之一像素精确度或甚至更精细的精确度，从而允 许视频编码器20W比整数像素位置更高的精确度跟踪运动且获得更好的预测块。当使用具 有分数像素值的运动向量时，在运动补偿单元36中进行内插运算。运动估计单元32使用例 如速率失真模型等某些准则识别视频块的最佳块分割及一个或一个W上运动向量。举例来 说，在双向预测的状况下可存在一个W上的运动向量。使用所得的块分割及运动向量，运动 补偿单元36形成预测视频块。
[0120] 视频编码器20通过在求和器48处从原始的当前视频块30减去由运动补偿单元36 产生的预测视频块来形成残余视频块。块变换单元38应用产生残余变换块系数的变换。如 图2中所示，块变换单元38包括4X4DCT-n单元52,其实施根据本发明中所描述的技术建构 的4Χ4〇α-ΙΚ4Χ40(：Τ-Π 单元52表示硬件模块，所述硬件模块在一些情况下执行软件(例 如执行软件代码或指令的数字信号处理器或DSP)，其实施具有由W上所识别的Ξ种关系中 的一者定义的内部因子的4 X 4DCT-II。块变换单元3則尋经缩放4 X 4DCT-II单元52应用于残 余块W产生残余变换系数的4X4块。4X4DCT-n单元52通常将残余块从表示为残余像素数 据的空间域变换到表示为DCT系数的频域。变换系数可包含DCT系数，其包括至少一个DC系 数及一个或一个W上AC系数。
[0121] 量化单元40量化(例如，舍入)残余变换块系数W进一步减小位速率。如上所提及， 量化单元40通过并入有在因式分解期间所移除的内部因子来考虑经缩放4 X 4DCT-II单元 52的经缩放性质。即，量化单元40并入有W下关于图4A到图4C的实施方案70A-70C所示的外 部因子。由于量化通常设及乘法，因此将运些因子并入到量化单元40中可不增加量化单元 40的实施方案复杂性。在此方面，从经缩放4 X4DCT-II单元52移除因子在不增加量化单元 40的实施方案复杂性的情况下减小DCT-II单元52的实施方案复杂性，从而导致关于视频编 码器20的实施方案复杂性的净减小。
[0122] 赌编码单元46赌编码量化系数W更进一步减小位速率。赌编码单元46执行统计无 损耗编码，在一些情况下被称为赌编码。赌编码单元46模型化量化DCT系数的概率分布且基 于模型化的概率分布来选择码簿(例如，CAVLC或CABAC)。使用此码簿，赌编码单元46W压缩 量化DCT系数的方式选择用于每一量化DCT系数的码。为说明起见，赌编码单元46可选择用 于频繁出现的量化DCT系数的短码字(依据位)及用于较不频繁出现的量化DCT系数的较长 码字(依据位）。只要短码字使用比量化DCT系数更少的位，则平均来说赌编码单元46压缩量 化DCT系数。赌编码单元46输出赌编码系数W作为发送到视频解码器26的位流。大体来说， 视频解码器26执行反操作W从位流解码且重建构经编码视频，如将参看图3的实例描述。
[0123] 重建构单元42及反变换单元44分别重建构量化系数及应用反变换W重建构残余 块。求和单元50将重建构的残余块加到由运动补偿单元36产生的运动补偿预测块W产生重 建构的视频块W存储于参考帖存储器34中。重建构的视频块由运动估计单元32及运动补偿 单元36用于编码随后视频帖中的块。
[0124] 图3为更详细说明图1的视频解码器26的实例的框图。视频解码器26可至少部分地 形成为一个或一个W上集成电路装置，其可共同地被称为集成电路装置。在一些方面中，视 频解码器26可形成无线通信装置手持机的一部分。视频解码器26可执行对视频帖内的块的 帖内及帖间解码。如图3中所示，视频解码器26接收已由视频编码器20编码的经编码视频位 流。在图3的实例中，视频解码器26包括赌解码单元54、运动补偿单元56、重建构单元58、反 变换单元60及参考帖存储器62。赌解码单元64可存取存储于存储器64中的一个或一个W上 数据结构W获得可用于编码的数据。视频解码器26也可包括回路内解块滤波器(未图示）， 其对求和器66的输出进行滤波。视频解码器26还包括求和器66。图3说明用于视频块的帖间 解码的视频解码器26的时间预测组件。尽管图3中未展示，但视频解码器26也可包括用于一 些视频块的帖内解码的空间预测组件。
[0125] 赌解码单元54接收经编码的视频位流且从位流中解码经量化残余系数及经量化 参数，W及其它信息，例如，宏块编码模式及运动信息（其可包括运动向量及块分割）。运动 补偿单元56接收运动向量及块分割及来自参考帖存储器62的一个或一个W上重建构的参 考帖W产生预测视频块。
[0126] 重建构单元58反量化（即，解量化)经量化块系数。反变换单元60将反变换（例如， 反DCT)应用于系数W产生残余块。更特定来说，反变换单元60包括经缩放4X4DCT-III单元 68,反变换单元60将其应用于系数W产生残余块。作为图2中所示的经缩放4X4DCT-II单元 52的反操作的经缩放4X4DCT-III单元68可将系数从频域变换到空间域W产生残余块。类 似于W上的量化单元40,重建构单元58通过在实施方案复杂性极小增加(如果有的话)的情 况下将在因式分解期间所移除的外部因子并入到重建构过程中来考虑4X4DCT-III单元68 的经缩放性质。从经缩放4X4DCT-III单元68移除因子可减小实施方案复杂性，借此导致视 频解码器26的复杂性的净减小。
[0127] 接着通过求和器66将预测视频块与残余块求和W形成经解码的块。可应用解块滤 波器(未图示）W对经解码的块进行滤波W移除成块假影。经滤波的块接着置于参考帖存储 器62中，所述参考帖存储器62提供用于随后视频帖的解码的参考帖且还产生经解码的视频 W驱动显示装置28(图1)。
[0128] 图4A到图4C为各自说明根据本发明的技术所建构的经缩放4X4DCT-II的实施方 案的图。图4A为说明根据本发明的技术所建构的经缩放正交4X4DCT-n实施方案70A的图。 图4B为说明根据本发明的技术所建构的经缩放接近正交4 X 4DCT-n实施方案70B的图。图 4C为说明根据本发明的技术所建构的经缩放接近正交4 X 4DCT-II替代实施方案70C的图。 图2的实例中所示的4X4DCT单元52可并入有一个或一个W上运些实施方案70A-70C。
[0129] 首先参看图4A的实例，4X4DCT-II实施方案70A包括蝶形单元72、偶数部分74A及 奇数部分74B。蝶形单元72可表示硬件或硬件与软件的组合，其用于将输入χ〇，···，Χ3路由或 W其它方式转发到适当偶数部分74Α及奇数部分74ΒΓ部分74")。蝶形单元72通常组合例如 2X2DCT-II实施方案的较小DCT的结果，其在此种状况下可分别由偶数部分及奇数部分74表 示。偶数部分74Α为4X4DCT-n实施方案70Α的输出偶数DCT系数Χο及拉的2x2部分。值得注意 地，运些偶数系数Χο及拉乘W为二分之一（1/2)的外部因子，所述外部因子可W且通常由量 化单元40应用。
[0130] 奇数部分74Β为4X4DCT-II实施方案70Α的输出奇数DCT系数Xi及Χ3的2x2部分。奇 数部分74B包括表示为C及S的两个内部因子，所述两个内部因子C及S按照根据本发明的技 术定义的W上所提到方程式(1)而与应用于奇数系数Xi及X3的外部因子有关。将一除W二的 平方根（1ΑΓ2)的额外外部因子乘W-除上方程式（1)中所提到的关系W导致关于奇 数系数Xi及X3所示的外部因子。
[0131] 方程式（1)中所提到的关系可通过首先考虑正交性质而导出，所述性质由W下方 程式(4)数学地陈述：
[0132] 化=1。 （4)
[0133] 变量C在此种情况下指代任何矩阵，而CT表示矩阵C的转置。变量I表示单位矩阵。 因此，如果矩阵的转置乘矩阵本身等于单位矩阵，则矩阵展现出正交性质。
[0134] 假定由于W上所提到的原因在媒体编码实施方案中优选的经缩放矩阵，矩阵C可 被分成表示为C'的整数经缩放变换及缩放因子或外部因子的对角矩阵D，如w下方程式巧） 中所提到：
[0135] C = C'D。 (5)
[0136] W来自方程式(5)的C'D代入方程式(4)中的C导致W下方程式(6):
[0137] (C'D)T(C'D)=DC"C'D = I， (6)
[0138] 其可简化为W下方程式(7)中所示的数学方程式：
[0139] c'C =扩2。 (7)
[0140] 方程式(7)提供用于选择缩放因子W使得所得的整数变换保持正交的机制。
[0141] 举例来说，在4X4DCT-II实施方案的状况下，此DCT-II通常仅应用表示Ξ乘常数 pi除W八的余弦及Ξ乘常数pi除W八的正弦的因子的近似。假定运些两个因子将由作为矩 阵C'的系数的整数C及S替换且使用W上正交性条件，W上方程式（1)表示标准化因子，W使 得设计4X4DCT-II的正交近似的任务可限于找到成对的整数(C、S)，W使得满足W下方程 式(8)及(9):
[0144] 在运些假定下，导致展示为4 X 4DCT-n实施方案70A的整数经缩放变换。
[0145] W下表1说明与H.264视频编码标准中所采用的4X4DCT-II实施方案相比较的经 选择用于整数C及S的各种值及所得的近似误差。
[0146] 表1
[0147]
[0148] 值得注意地，当将变量C及S分别设定到2及5时，所得的实施方案70A的复杂性增 加，但在Ξ乘常数pi除W八的余弦及Ξ乘常数pi除W八的正弦的近似中存在少得多的误 差，所述情况促进编码增益。与基础Η. 264实施方案相比，复杂性仅设及额外加法及移位，但 不设及任何在运算意义上代价大的乘法。因此，通过实施方案70Α并入有分别用于变量C及S 的值2及5,在实施方案复杂性增加最少的情况下潜在地提供最佳编码增益，本发明中所描 述的技术仅W复杂性的微小增加促进增加的编码增益。
[0149] 虽然W上关于类型II的DCT加 W描述，但图4Α的实例中所示的实施方案70Α也可表 示类型III的DCT或反DCT实施方案。由实施方案70Α形成反DCT设及颠倒输入及输出W使得 输入由图4A右侧上的实施方案接收且输出在实施方案的左侧输出。在左侧输出之前，输入 接着首先由偶数部分及奇数部分74且接着由蝶形72处理。为易于说明的目的，鉴于此IDCT 实施方案可经描述为实施方案70A的镜像，未在单独的图中展示与实施方案70A相反的此 IDCT实施方案。
[0150] 图4B为说明根据本发明的技术所建构的经缩放接近正交4X4DCT-n实施方案70B 的图。4X4DCT-II实施方案70B包括类似于图4A的蝶形单元72的蝶形单元76,及偶数部分 78A及奇数部分78ΒΓ部分78")。偶数部分78A类似于偶数部分74A。奇数部分78B也类似于奇 数部分74B，不同在于正交性条件已放松，从而导致在内部因子C、S与经缩放因子ξ之间的不 同关系，即，W上关于方程式(2)所表示的关系。
[0151] 为了根据由方程式(2)所表示的关系导出图4Β的实例实施方案70Β，首先考虑虽然 正交性通常在理论上确保4X4DCT-n的直接反实施方案，但实际上大部分缩放因子(在整 数变换之后)变为无理数，其难W使用整数乘法器精确地实施。此外，量化通常在4X4DCT变 换的应用之后，且此量化添加噪声，其可防碍反正交DCT-II实施方案的直接应用。此外，考 虑整数算术实施方案，运些接近正交变换与严格正交整数变换相比可改善编码效率，同时 也减小实施方案复杂性。因此，放松在直接实施方案与反实施方案之间的此正交性失配的 程度实际上可改善编码增益。
[0152] 为了特征化失配的程度，根据W下方程式(10)定义距单位矩阵的距离的范数：
[0153] ||化-1||。 （10)
[0154] 使用与W上关于方程式(4)的记法相同的记法，方程式（10)简单地指示距单位矩 阵的距离的范数可定义为矩阵的转置乘矩阵减去单位矩阵。假定CT C保持对角的，则可根 据W下方程式(11)计算平均绝对距离：
[0155]
(11)
[0156] 其中平均绝对距离由变量δΝ表示且N等于矩阵的大小。< br>[0157] 通过放松正交性性质，编码增益可改善，但关于平均绝对差的对编码增益的分析 过于取决于正经历压缩的图像的特定模型或统计数据。因此，可经由分析与找到在匹配 DCT-II的基本函数方面潜在最佳的整数变换有关的不同量度来确定放松正交性性质的程 度。关于此形式的评估的更多信息可在由Υ · A ·雷兹尼克(Y.A.Reznik)、A · Τ ·海因茨 (A.T.化nds)及J · L ·米歇尔（J丄.Mitchell)创作的题为"借助共同因子来改善定点算法 的精度（Improved Precision of Fixed-Point Algorithms by Me曰ns of Common 化ctorsr (会刊ICIP 2008,加利福尼亚圣地亚哥（San Diego，CA))的文章中找到，所述文 章的全部内容就如同在本文中完全陈述一样W引用的方式并入本文中。
[0158] 根据此并入的参考文献，用于产生最佳匹配设计的一种技术被称为"基于公因子 的近似"。使用此技术，可如下导出W下方程式(12):
[0159]
Π2)
[0160] 使得可如下导出W下方程式（13)及（14):
[0163] 方程式（12)确保对于经缩放因子C，C及S的对应近似的误差具有相同的量值但相 反的正负号。在运些假定下，导致展示为4 X 4DCT-n实施方案70B的整数缩放变换。
[0164] W下表2说明经选择用于整数C及S的各种值及所得的近似误差。
[01化]表2
[0166]
[0168] 更详细地考虑表2,当分别将变量C及S设定到2及5时，近似误差减小。上文在标题 "近似误差"下所示的第Ξ误差量度(C2+S 2A2-1)基本上是上文关于方程式（11)所论述的正 交性失配量度Sn的子集，其中此失配量度描述沿CTC-I的对角线出现在奇数位置的值。值得 注意地，对DCT-II基本函数的更精确整数近似也大体上更接近于是正交的。虽然此种整数 近似大体上更接近于是正交的，但C及S分别设定到值1及2的DCT-II实施方案70B在所列出 的那些实施方案中可能提供在编码增益方面的最多回报，如下文关于图7B所示。
[0169] 虽然上文关于类型II的DCT加 W描述，但图4B的实例中所示的实施方案70B也可表 示类型ΠI的DCT或反DCT实施方案。由实施方案70B形成反DCT设及颠倒输入及输出，W使得 输入由图4B右侧上的实施方案接收且输出在实施方案的左侧输出。在左侧输出之前，输入 接着首先由偶数部分及奇数部分78且接着由蝶形76处理。为易于说明的目的，考虑到此 IDCT实施方案可被描述为实施方案70B的镜像，未在单独图中展示与实施方案70B相反的此 IDCT实施方案。
[0170] 图4C为说明由替代因式分解引起的根据本发明的技术建构的另一示范性经缩放 接近正交4 X 4DCT-II实施方案70C的图。4 X 4DCT-n实施方案70C包括类似于图4A的蝶形单 元72及图4B的蝶形单元76的蝶形单元80,及偶数部分82A及奇数部分82ΒΓ部分82")。偶数 部分82A类似于偶数部分78A。奇数部分82B与奇数部分78B类似，因为正交性条件已放松，但 作为替代因式分解的结果，导致在内部因子A、B与经缩放因子ξ之间的不同关系，即，上文关 于方程式(3)所表示的关系。关于替代因式分解的更多信息可在2009年4月在MPEG第88次会 议（夏威夷毛伊岛（Maui，HI))上提交的MPEG输入文档M16438的由Y · A ·雷兹尼克 (Y.A.Reznik)及R · C ·契伍库拉(R.C.化ivukula)撰写的题为"用于高分辨率/高性能视频 编码的变换的设计(On Design of Transforms for Hi曲-Resolution/Hi曲-Performance Video Coding)"的文章中找到，所述文章的全部内容就如同在本文中完全陈述一样W引用 的方式并入本文中。
[0171] 值得注意地，将不同缩放因子应用于奇数系数Xi及X3,且在4X4DCT-II实施方案 70C中仅存在一个要近似的无理因子。为了保持正交，内部因子B通常必须设定到一除W二 的平方根且A必须设定到一。因此，从运些值改变内部因子A、B的值会导致非正交实施方案。 为了评估运些内部因子的各种值，使用被称为公因子近似技术的W上技术，其在上文关于 图4B提到。使用此技术，确定W下方程式（15) W使得可为内部因子A、B选择两个整数值W导 出参数ξ:
[0172]
(15)
[0173] W使得满足W下方程式(16)及(17):
[0174] Α/ξ3?，及 （16)
[0175] Β! ;-\吨。 U7)
[0176] W上方程式（15)确保对应近似的误差在量值方面变得平衡但正负号相反。在运些 假定下，导致展示为4 X 4DCT-n实施方案70C的整数缩放变换。
[0177] W下表3说明为整数C及S选择的各种值及所得的近似误差。
[017引 表3
[0179]
[0180] 更详细地考虑表3,当将变量A及B分别设定到7及5时，近似误差减小。A及B分别设 定到值7及5的4 X 4DCT-II实施方案70C在所列出的那些实施方案中可能提供在编码增益方 面(与复杂性增加(表3中未展示)相比较)的最多回报，如下文关于图7C所示。
[0181] 虽然上文关于类型II的DCT加 W描述，但图4C的实例中所示的实施方案70C也可表 示类型ΠI的DCT或反DCT实施方案。由实施方案70C形成反DCT设及颠倒输入及输出，W使得 输入由图4C右侧上的实施方案接收且输出在实施方案的左侧输出。在左侧输出之前，输入 接着首先由偶数部分及奇数部分82且接着由蝶形80处理。为易于说明的目的，考虑到此 IDCT实施方案可被描述为实施方案70C的镜像，未在单独图中展示与实施方案70C相反的此 IDCT实施方案。
[0182] 图5为说明例如图2的视频编码器20的编码装置在应用根据本发明的技术所建构 的4X4DCT实施方案时的示范性操作的流程图。最初，视频编码器20接收待编码的视频帖内 的当前视频块30(90)。运动估计单元32执行运动估计W比较视频块30与一个或一个W上邻 近视频帖中的块W产生一个或一个W上运动向量(92)。可从参考帖存储器34检索一个或一 个W上邻近帖。可针对可变大小的块，例如，16 X 16、16 X 8、8 X 16、8 X 8、4 X 4或更小的块大 小执行运动估计。运动估计单元32(例如)基于速率失真模型来识别邻近帖中的最紧密匹配 当前视频块30的一个或一个W上块，且确定邻近帖中的块与当前视频块之间的位移。在此 基础上，运动估计单元32产生一个或一个W上运动向量(MV)，其指示当前视频块30与来自 用于编码当前视频块30的参考帖的一个或一个W上匹配块之间的位移的量值及轨迹。一个 或一个W上匹配块将用作预测性(或预测)块用于帖间编码待编码块。
[0183] 运动向量可具有二分之一或四分之一像素精确度或甚至更精细的精确度，从而允 许视频编码器20W比整数像素位置更高的精确度跟踪运动且获得更好的预测块。当使用具 有分数像素值的运动向量时，在运动补偿单元36中进行内插运算。运动估计单元32使用例 如速率失真模型等某些准则来识别视频块的最佳块分割及一个或一个W上运动向量。举例 来说，在双向预测的状况下可存在一个W上的运动向量。使用所得的块分割及运动向量，运 动补偿单元36形成预测视频块(94)。
[0184] 视频编码器20通过在求和器48处从原始的当前视频块30减去由运动补偿单元36 产生的预测视频块来形成残余视频块(96)。块变换单元38应用产生残余变换块系数的变 换。块变换单元38包括根据本发明中描述的技术产生的4X4DCT-II单元52。块变换单元38 将经缩放4 X 4DCT-II单元52应用于残余块W产生残余变换系数的4 X 4块。4 X 4DCT-II单元 52通常将残余块从表示为残余像素数据的空间域变换到表示为DCT系数的频域(98)。变换 系数可包含DCT系数，其包括至少一个DC系数及一个或一个W上AC系数。
[0185] 量化单元40量化(例如，舍入)残余变换块系数W进一步减小位速率（100)。如上文 所提及，量化单元40通过并入有在因式分解期间所移除的内部因子来考虑经缩放4X4DCT-II单元52的经缩放性质。即，量化单元40并入有W上关于图4A到图4C的实施方案70A-70C所 提到的外部因子。由于量化通常设及乘法，因此将运些因子并入到量化单元40中不会增加 量化单元40的实施方案复杂性。在此方面，从经缩放4 X4DCT-II单元52移除因子在不增加 量化单元40的实施方案复杂性的情况下减小DCT-II单元52的实施方案复杂性，从而导致关 于视频编码器20的实施方案复杂性的净减小。
[0186] 赌编码单元46赌编码经量化的系数W更进一步减小位速率。赌编码单元46执行统 计无损耗编码(在一些情况下被称为赌编码）W产生经编码的位流（102)。赌编码单元46模 型化经量化DCT系数的概率分布且基于模型化概率分布来选择码簿(例如，CAVLC或CABAC)。 透过使用此码簿，赌编码单元46W压缩经量化DCT系数的方式选择用于每一经量化DCT系数 的码。赌编码单元46输出赌编码系数W作为存储到存储器或存储装置及/或发送到视频解 码器26的经编码位流(104)。
[0187] 重建构单元42及反变换单元44分别重建构经量化系数及应用反变换W重建构残 余块。求和单元50将重建构的残余块加到由运动补偿单元36产生的经运动补偿的预测块W 产生重建构的视频块W用于存储于参考帖存储器34中。重建构的视频块被运动估计单元32 及运动补偿单元36用于编码随后视频帖中的块。
[0188] 图6为说明例如图3的视频解码器26的编码装置在应用根据本发明的技术建构的4 X4DCT-III实施方案时的实例操作的流程图。视频解码器26接收已由视频编码器20编码的 经编码视频位流。特定来说，赌解码单元54接收经编码的视频位流且从位流解码经量化的 残余系数及经量化的参数，W及其它信息，例如，宏块编码模式及运动信息，其可包括运动 向量及块分割（106、108)。运动补偿单元56接收运动向量及块分割及来自参考帖存储器62 的一个或一个W上重建构的参考帖W产生预测视频块(110)。
[0189] 重建构单元58反量化(即，解量化)经量化的块系数（112)。反变换单元60将反变换 (例如，反DCT)应用于系数W产生残余块。更特定来说，反变换单元60包括经缩放4X4DCT-III单元68,反变换单元60将其应用于系数W产生残余块（114)。作为图2中所示的经缩放4 X4DCT-II单元52的反操作的经缩放4 X4DCT-III单元68可将系数从频域变换到空间域W 产生残余块。类似于W上的量化单元40,重建构单元58通过在实施方案复杂性极小增加(如 果存在）的情况下将在因式分解期间所移除的外部因子并入到重建构过程中来考虑4 X 4DCT-III单元68的经缩放性质。从经缩放4X4DCT-III单元68移除因子可减小实施方案复 杂性，借此导致视频解码器26的复杂性的净减小。
[0190] 接着通过求和器66将预测视频块与残余块求和W形成经解码的块（116)。可应用 解块滤波器(未图示）W对经解码的块进行滤波W移除成块假影。经滤波的块接着被置于参 考帖存储器62中，所述参考帖存储器62提供用于解码随后视频帖的参考帖且还产生经解码 的视频W驱动例如图1的显示装置28的显示装置(118)。
[0191] 图7A到图7C为说明根据本发明的技术所建构的S种不同4X4DCT-n实施方案(例 如图4A到图4C的实施方案70A-70C)中的每一者的相对于位速率的峰值信噪比的曲线120A-120C的图。图7A为说明根据本发明的技术所建构的正交经缩放4 X4DCT-II实施方案(例如 图4A的实施方案70A)的相对于位速率的峰值信噪比(PSNR)的曲线120A的图。根据曲线120A 的图解，实线表示由H.264视频编码标准并入有的标准4X4DCT-II实施方案。点线表示能够 执行无理乘法及加法的理论最佳DCT实施方案。长划线表示内部因子C及S分别设定到2及5 的正交4X4DCT-II实施方案70A。短划线表示内部因子C及S分别设定到3及7的正交4X 4DCT-II实施方案70A。点划线表示内部因子C及S分别设定到5及12的正交4X4DCT-II实施 方案70A。值得注意地，内部因子C及S设定到2及5的正交4X4DCT-II实施方案70A比H.264实 施方案更准确地近似理论最佳DCT-II实施方案。此外，内部因子C及S设定到3及7或5及12的 正交4 X 4DCT-II实施方案70A与内部因子C及S设定到2及5的正交4 X 4DCT-n实施方案70A 相比并不提供PSNR方面的显著增益，尽管运些实施方案设及更复杂的实施方案。
[0192] 图7B为说明根据本发明的技术建构的正交经缩放4X4DCT-n实施方案(例如图4B 的实施方案70B)的相对于位速率的峰值信噪比(PSNR)的曲线120B的图。根据曲线120B的图 解，实线表示由H.264视频编码标准并入有的标准正交4X4DCT-II实施方案。点线表示能够 执行无理乘法及加法的理论最佳DCT实施方案。短划线表示内部因子C及S分别设定到1及2 的接近正交4X4DCT-II实施方案70B。长划线表示内部因子C及S分别设定到2及5的接近正 交4X4DCT-n实施方案70B。点划线表示内部因子C及S分别设定到5及12的接近正交4X 4DCT-II实施方案70B。值得注意地，内部因子C及S设定到2及5的接近正交4X4DCT-II实施 方案70B在PSNR方面并不比H. 264实施方案好很多。然而，内部因子C及S设定到1及2的接近 正交4 X 4DCT-n实施方案70B提供甚至比理论 DCT实施方案还要好的PSNR，而内部因子C及S 设定到5及12的接近正交4X4DCT-n实施方案70B最准确地表示理论DCT实施方案。
[0193] 图7C为说明从替代因式分解所导出且根据本发明的技术所建构的接近正交经缩 放4X4DCT-n实施方案(例如图4C的实施方案70C)的相对于位速率的峰值信噪比(PSNR)的 曲线120C的图。根据曲线120C的图解，实线表示由H. 264视频编码标准并入有的标准正交4 X 4DCT-II实施方案。点线表示能够执行无理乘法及加法的理论最佳DCT实施方案。长划线 表示内部因子B及A分别设定到2及3的接近正交4X4DCT-II实施方案70C。短划线表示内部 因子B及A分别设定到5及7的接近正交4X4DCT-II实施方案70C。点划线表示内部因子B及A 分别设定到29及41的接近正交4X4DCT-II实施方案70C。值得注意地，内部因子B及A设定到 2及3的接近正交4 X4DCT-II实施方案70C在PSNR方面比H. 264实施方案更差。然而，内部因 子B及A设定到5及7的接近正交4X4DCT-n实施方案70C提供比H.264实施方案好的PSNR，且 准确地表示理论DCT实施方案而不需要内部因子C及S设定到29及41的接近正交4 X 4DCT-II 实施方案70C的复杂性。
[0194]本发明的技术可在广泛多种装置或设备中实施，其包括例如移动电话等无线通信 装置手持机、集成电路（1C)或一组1C(即，忍片组）。已描述任何组件、模块或单元W强调功 能方面且不一定需要通过不同硬件单元实现。本文中所描述的技术也可在硬件、软件、固件 或其任何组合中实施。描述为模块、单元或组件的任何特征可在集成逻辑装置中共同实施， 或作为离散但可交互操作的逻辑装置单独实施。在一些状况下，各种特征可实施为集成电 路装置，例如，集成电路忍片或忍片组。
[01M]如果在软件中实施，则技术可至少部分地通过包含指令的计算机可读媒体实现， 所述指令在处理器中执行时执行W上所述的方法中的一者或一者W上。计算机可读媒体可 包含作为物理结构的计算机可读存储媒体且可形成计算机程序产品的一部分，计算机程序 产品可包括包装材料。计算机可读存储媒体可包含例如同步动态随机存取存储器(SDRAM) 等随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除 可编程只读存储器巧EPROM)、快闪存储器、磁性或光学数据存储媒体及其类似物。在此意义 上，计算机可读存储媒体可在一些方面被认为是非暂时性计算机可读存储媒体。
[0196] 代码或指令可由一个或一个W上处理器，例如，一个或一个W上数字信号处理器 (DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成 或离散逻辑电路来执行。因此，术语"处理器"如本文中所使用可指代W上结构或适合于实 施本文中所描述技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功 能性可提供于经配置W用于编码及解码的专用软件模块或硬件模块内，或并入于组合的视 频编解码器中。又，可在一个或一个W上电路或逻辑元件中充分地实施所述技术。
[0197] 本发明还预期多种集成电路装置中的任一者，其包括实施本发明中所描述技术中 的一者或一者W上的电路。此电路可经提供于单一集成电路忍片中或提供于所谓的忍片组 中的多个可交互操作的集成电路忍片中。运些集成电路装置可用于多种应用中，其中一些 可包括在例如移动电话手持机等无线通信装置中的使用。
[0198] 已描述技术的各种方面。运些及其它方面在W下权利要求书的范围内。
【主权项】
1. 一种用于编码媒体数据的设备，其包括： 块变换单元，其经配置以应用4点离散余弦变换DCT以确定一个或多个变换系数，所述4 点DCT具有奇数部分，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子及第二内部 因子(C、S)以使得所述经缩放因子等于所述第一内部因子(C)的平方加所述第二内部因子 (S)的平方的总和的平方根，所述第一内部因子及所述第二内部因子(C、S)互质且大于或等 于2;以及 量化单元，其经配置以基于所述一个或多个变换系数确定一个或多个经量化变换系 数。2. 根据权利要求1所述的设备，其中确定所述一个或多个经量化变换系数包括缩放所 述一个或多个变换系数。3. 根据权利要求2所述的设备，其中缩放包括至少基于所述经缩放因子(ξ)将所述变换 系数乘以一因子。4. 根据权利要求1所述的设备，其中所述块变换单元经配置以通过应用所述4点DCT来 应用正交的4X4DCT。5. 根据权利要求4所述的设备，其中所述块变换单元经配置以在行维度中应用所述4点 DCT且在列维度中应用所述4点IDCT。6. 根据权利要求1所述的设备，其中所述块变换单元应用第一内部因子及第二内部因 子(C、S)，其中（C、S)等于(2、5)、（3、7)、（5、12)和（17、41)中的一个。7. 根据权利要求1所述的设备，其中所述DCT是类型II的DCT。8. 根据权利要求1所述的设备，其中所述块变换单元包括处理器，所述处理器经配置以 执行软件以应用所述正交4点DCT的所述DCT。9. 一种用于编码媒体数据的设备，其包括： 块变换单元，其经配置以应用4点离散余弦变换DCT以确定一个或多个变换系数，所述4 点DCT具有奇数部分，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子及第二内部 因子(C、S)以使得所述经缩放因子等于所述第一内部因子(C)的平方加所述第二内部因子 (S)的平方的总和的平方根，所述第一内部因子及所述第二内部因子(C、S)为二元有理数； 以及 量化单元，其经配置以基于所述一个或多个变换系数确定一个或多个经量化变换系 数。10. 根据权利要求9所述的设备，其中确定所述一个或多个经量化变换系数包括缩放所 述一个或多个变换系数。11. 根据权利要求10所述的设备，其中缩放包括至少基于所述经缩放因子(ξ)将所述变 换系数乘以一因子。12. 根据权利要求9所述的设备，其中所述块变换单元经配置以通过应用所述4点DCT来 应用实质上正交的4 X 4DCT的4 X 4DCT。13. 根据权利要求12所述的设备，其中所述块变换单元经配置以在行维度中应用所述4 点DCT且在列维度中应用所述4点DCT。14. 根据权利要求9所述的设备，其中所述DCT是类型II的DCT。15. 根据权利要求9所述的设备，其中所述块变换单元包括处理器，所述处理器经配置 以执行软件以应用所述4点DCT。16. -种用于编码媒体数据的设备，其包括： 块变换单元，其经配置以应用4点离散余弦变换DCT以确定一个或多个变换系数，所述4 点DCT具有奇数部分，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一内部因 子及第二内部因子(C、S):其中变量ω及φ表示无理内部变换因子且变量C及S表示在所述非正交4X4DCT的整数 实施方案中代替变量ω及φ使用的内部变换因子，所述第一内部因子及所述第二内部因子 (C、S)互质且大于或等于2;以及 量化单元，其经配置以基于所述一个或多个变换系数确定一个或多个经量化变换系 数。17. 根据权利要求16所述的设备，其中确定所述一个或多个经量化变换系数包括缩放 所述一个或多个变换系数。18. 根据权利要求17所述的设备，其中缩放包括至少基于所述经缩放因子(ξ)将所述变 换系数乘以一因子。19. 根据权利要求16所述的设备，其中所述块变换单元经配置以通过应用所述4点DCT 应用正交的4X4DCT。20. 根据权利要求19所述的设备，其中所述块变换单元经配置以在行维度中应用所述4 点DCT且在列维度中应用所述4点IDCT。21. 根据权利要求16所述的设备，其中所述块变换单元应用第一内部因子及第二内部 因子(C、S)，其中（C、S)等于(2、5)、（3、7)、（5、12)和（17、41)中的一个。22. 根据权利要求16所述的设备，其中所述DCT是类型II的DCT。23. 根据权利要求16所述的设备，其中所述块变换单元包括处理器，所述处理器经配置 以执行软件以应用所述正交4点DCT的所述DCT。24. -种用于编码媒体数据的设备，其包括： 块变换单元，其经配置以应用4点离散余弦变换DCT以确定一个或多个变换系数，所述4 点DCT具有奇数部分，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一内部因 子及第二内部因子(C、S):其中变量ω及φ表示无理内部变换因子且变量C及S表示在所述非正交4X4DCT的整数 实施方案中代替变量ω及φ使用的内部变换因子，所述第一内部因子及所述第二内部因子 (C、S)为二元有理数；以及 量化单元，其经配置以基于所述一个或多个变换系数确定一个或多个经量化变换系 数。25. 根据权利要求24所述的设备，其中确定所述一个或多个经量化变换系数包括缩放 所述一个或多个变换系数。26. 根据权利要求25所述的设备，其中缩放包括至少基于所述经缩放因子(ξ)将所述变 换系数乘以一因子。27. 根据权利要求24所述的设备，其中所述块变换单元经配置以通过应用所述4点DCT 来应用实质上正交的4 X 4DCT的4 X 4DCT。28. 根据权利要求27所述的设备，其中所述块变换单元经配置以在列维度中应用所述4 点DCT且在行维度中应用所述4点DCT。29. 根据权利要求24所述的设备，其中所述DCT是类型II的DCT。30. 根据权利要求24所述的设备，其中所述块变换单元包括处理器，所述处理器经配置 以执行软件以应用所述4点DCT。31. -种用于编码媒体数据的设备，其包括： 块变换单元，其经配置以应用4点离散余弦变换DCT以确定一个或多个变换系数，所述4 点DCT具有奇数部分，所述奇数部分将第一内部因子及第二内部因子(A、B)用作所述4X4反 DCT的一部分，该第一内部因子及第二内部因子(A、B)按以下方程式与经缩放因子(ξ)有关：其中所述经缩放因子(ξ)等于所述第一内部因子(A)加所述第二内部因子(B)的总和除 以一加一除以二的平方根的总和，所述第一内部因子及所述第二内部因子(Α、Β)互质且大 于或等于2;以及 量化单元，其经配置以基于所述一个或多个变换系数确定一个或多个经量化变换系 数。32. 根据权利要求31所述的设备，其中确定所述一个或多个经量化变换系数包括缩放 所述一个或多个变换系数。33. 根据权利要求32所述的设备，其中缩放包括至少基于所述经缩放因子(ξ)将所述变 换系数乘以一因子。34. 根据权利要求31所述的设备，其中所述块变换单元经配置以通过应用所述4点DCT 来应用正交的4X4DCT。35. 根据权利要求34所述的设备，其中所述块变换单元经配置以在行维度中应用所述4 点DCT且在列维度中应用所述4点IDCT。36. 根据权利要求31所述的设备，其中所述块变换单元应用第一内部因子及第二内部 因子(Α、Β)，其中(Α、Β)等于(3、2)、（7、5)、和(29、41)中的一个。37. 根据权利要求31所述的设备，其中所述DCT是类型II的DCT。38. 根据权利要求31所述的设备，其中所述块变换单元包括处理器，所述处理器经配置 以执行软件以应用所述正交4点DCT的所述DCT。39. -种用于编码媒体数据的设备，其包括： 块变换单元，其经配置以应用4点离散余弦变换DCT以确定一个或多个变换系数，所述4 点DCT具有奇数部分，所述奇数部分将第一内部因子及第二内部因子(Α、Β)用作所述4X4反 DCT的一部分，该第一内部因子及第二内部因子(Α、Β)按以下方程式与经缩放因子(ξ)有关 的：其中所述经缩放因子(ξ)等于所述第一内部因子(A)加所述第二内部因子(B)的总和除 以一加一除以二的平方根的总和，所述第一内部因子及所述第二内部因子(A、B)为二元有 理数；以及 量化单元，其经配置以基于所述一个或多个变换系数确定一个或多个经量化变换系 数。40. 根据权利要求39所述的设备，其中确定所述一个或多个经量化变换系数包括缩放 所述一个或多个变换系数。41. 根据权利要求40所述的设备，其中缩放包括至少基于所述经缩放因子(ξ)将所述变 换系数乘以一因子。42. 根据权利要求39所述的设备，其中所述块变换单元经配置以通过应用所述4点DCT 来应用实质上正交的4 X 4DCT的4 X 4DCT。43. 根据权利要求42所述的设备，其中所述块变换单元经配置以在列维度中应用所述4 点DCT且在行维度中应用所述4点IDCT。44. 根据权利要求39所述的设备，其中所述DCT是类型II的DCT。45. 根据权利要求39所述的设备，其中所述块变换单元包括处理器，所述处理器经配置 以执行软件以应用所述4点DCT。
【专利摘要】本发明大体来说是描述提供用于媒体编码的4×4变换的技术。描述遵守这些技术的许多不同的4×4变换。作为一个实例，一种设备包括4×4离散余弦变换DCT硬件单元。所述DCT硬件单元实施具有奇数部分的正交4×4DCT，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子及第二内部因子(C、S)以使得所述经缩放因子等于所述第一内部因子(C)的平方加所述第二内部因子(S)的平方的总和的平方根。所述4×4DCT硬件单元将所述4×4DCT实施方案应用于媒体数据以将所述媒体数据从空间域变换到频域。作为另一实例，一种设备实施非正交4×4DCT以改善编码增益。
【IPC分类】G06F17/14, H04N19/61, H04N19/42, H04N19/44, H04N19/625
【公开号】CN105491389
【申请号】CN201610112267
【发明人】尤里娅·列兹尼克
【申请人】高通股份有限公司
【公开日】2016年4月13日
【申请日】2010年6月4日
【公告号】CN102667757A, CN102667757B, CN105744280A, EP2438535A2, US9069713, US20100309974, US20150256854, US20150256855, WO2010141899A2, WO2010141899A3
【专利说明】
[0001] 分案申请的相关信息
[0002] 本申请是国际申请日为2010年6月4日、国际申请号为PCT/US2010/037513、发明名 称为"用于媒体编码的4X4变换"的PCT申请进入中国国家阶段申请号为201080023552.4的 发明专利申请的分案申请;原发明专利申请案的优先权日为2009年6月5日。
[0003] 相关申请案的交叉引用
[0004] 本专利申请案是20 10年5月27日递交的名称为"用于媒体编码的4X4变换 (4X4TRANSF0RM FOR MEDIA CODING)"的第12/788,625号美国专利申请案的接续申请案。所 述美国专利申请案依据35 U.S.C. §120主张2010年5月27日递交的第12/788,666号共同待 决的美国专利申请案的递交日。所述共同待决的美国专利申请案依据35 U.S.C.§119(e)主 张2009年6月5日申请的第61/184,656号美国临时申请案及2009年6月24日申请的第61/ 219,887号美国临时申请案的权利，且已转让给本受让人且在此W引用的方式明确地并入 本文中。
技术领域
[0005] 本发明设及数据压缩，且更特定来说，设及包含变换的数据压缩。
【背景技术】
[0006] 数据压缩广泛用于多种应用中W减少对数据存储空间、发射带宽或两者的消耗。 数据压缩的实例应用包括可见或可听媒体数据编码，例如，数字视频、图像、语音及音频编 码。数字视频编码(例如）用于广泛范围的装置中，其包括数字电视、数字直接广播系统、无 线通信装置、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、视频 游戏装置、蜂窝式或卫星无线电电话等等。数字视频装置实施例如Μ阳G-2、MPEG-4或H. 264/ MPEG-4先进视频编码(AVC)等视频压缩技术W更有效地发射及接收数字视频。
[0007] 大体来说，视频压缩技术执行空间预测、运动估计及运动补偿W减少或移除视频 数据中所固有的冗余。特定来说，帖内编码依赖于空间预测来减少或移除给定视频帖内的 视频中的空间冗余。帖间编码依赖于时间预测来减少或移除邻近帖内的视频中的时间冗 余。对于帖间编码，视频编码器执行运动估计W跟踪在两个或两个W上邻近帖之间的匹配 的视频块的移动。运动估计产生运动向量，其指示视频块相对于一个或一个W上参考帖中 的对应视频块的位移。运动补偿使用运动向量W从参考帖产生预测视频块。在运动补偿之 后，通过从原始视频块减去预测视频块而形成残余视频块。
[000引视频编码器接着应用变换，继之W量化及无损耗统计编码过程，W进一步减小通 过视频编码过程产生的残余块的位速率。在一些情况下，所应用的变换包含离散余弦变换 (DCT)。通常，将DCT应用于大小为二的幕的视频块，例如，4像素高乘4像素宽的视频块(其通 常被称为"4 X 4视频欺'）。运些DCT因此可被称为4 X 4DCT，因为运些DCT被应用于4 X 4视频 块W产生DCT系数的4X4矩阵。由将4X4DCT应用于残余块所产生的DCT系数的4X4矩阵接 着经历量化及无损耗统计编码过程W产生位流。统计编码过程(也被称为"赌编码"过程)的 实例包括上下文自适应性可变长度编码（CAVLC)或上下文自适应性二进制算术编码 (CABAC)。视频解码器接收经编码的位流且执行无损耗解码W解压缩用于块中的每一者的 残余信息。通过使用残余信息及运动信息，视频解码器重建构经编码的视频。
【发明内容】
[0009] 大体来说，本发明是针对用于使用可相对于常规4X4DCT提供增加的编码增益的4 X4离散余弦变换(DCT)的近似的一个或一个W上实施方案来编码例如媒体数据等数据的 技术。根据本发明的技术所应用的4X4DCT的实施方案设及在经缩放因子与内部因子之间 的各种关系。术语"经缩放因子"指代经由因式分解移除的在4X4DCT的实施方案外部的因 子。术语"内部因子"指代在因式分解之后保留的在4 X4DCT的实施方案内部的因子。4X 4DCT的一个实例实施方案为正交的，其意味着表示4X4DCT的系数矩阵在乘W此矩阵的转 置时等于单位矩阵。4X4DCT的另一实例实施方案为接近正交的（或近似正交的）。通过遵守 W下详细描述的各种关系，所述技术促进在两种情况下选择导致正交与接近正交4X4DCT 实施方案的矩阵系数，所述实施方案在应用于数据时可相对于常规4X4DCT促进增加的编 码增益。
[0010] 在一个方面中，一种设备包含4X4离散余弦变换(DCT)硬件单元，其实施具有奇数 部分的正交4X4DCT，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子及第二内部 因子(C、S)W使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总 和的平方根，其中4X4DCT硬件单元将4X4DCT实施方案应用于媒体数据W将媒体数据从空 间域变换到频域。
[0011] 在另一方面中，一种方法包含通过4 X 4DCT硬件单元将正交4 X 4离散余弦变换 (DCT)实施方案应用于媒体数据W将媒体数据从空间域变换到频域，其中正交4X4DCT实施 方案包括奇数部分，所述奇数部分应用与经缩放因子α)有关的第一内部因子及第二内部 因子(C、S)W使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总 和的平方根。
[0012] 在另一方面中，一种设备包含用于将正交4X4离散余弦变换(DCT)实施方案应用 于媒体数据W将媒体数据从空间域变换到频域的装置，其中正交4X4DCT实施方案包括奇 数部分，所述奇数部分应用与经缩放因子α)有关的第一内部因子及第二内部因子(C、S)W 使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总和的平方根。
[0013] 在另一方面中，一种非暂时性计算机可读存储媒体存储指令，所述指令在由处理 器执行时引起处理器通过4X4DCT硬件单元将正交4X4离散余弦变换(DCT)实施方案应用 于媒体数据W将媒体数据从空间域变换到频域，其中正交4X4DCT实施方案包括奇数部分， 所述奇数部分应用与经缩放因子α)有关的第一内部因子及第二内部因子(C、S)W使得经 缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总和的平方根。
[0014] 在另一方面中，一种设备包含4X4反离散余弦变换（IDCT)硬件单元，其实施具有 奇数部分的正交4X4DCT的IDCT，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子 及第二内部因子(C、S)W使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S) 的平方的总和的平方根，其中4 X 4IDCT硬件单元将4 X 4IDCT实施方案应用于代表媒体数据 的DCT系数W将媒体数据从频域变换到空间域。
[0015] 在另一方面中，一种方法包含通过4 X 4IDCT硬件单元将正交4 X 4DCT的4 X 4反离 散余弦变换（IDCT)应用于代表媒体数据的DCT系数W将媒体数据从频域变换到空间域，其 中正交4X4DCT包括奇数部分，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子及 第二内部因子(C、S)W使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的 平方的总和的平方根。
[0016] 在另一方面中，一种设备包含用于将正交4 X 4DCT的4 X 4反离散余弦变换（IDCT) 应用于代表媒体数据的DCT系数W将媒体数据从频域变换到空间域的装置，其中正交4X 4DCT包括奇数部分，所述奇数部分应用与经缩放因子（ξ)有关的第一内部因子及第二内部 因子(C、S)W使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总 和的平方根。
[0017] 在另一方面中，一种非暂时性计算机可读存储媒体存储指令，所述指令在由处理 器执行时引起处理器通过4 X 4IDCT硬件单元将正交4 X 4DCT的4 X 4反离散余弦变换（IDCT) 应用于代表媒体数据的DCT系数W将媒体数据从频域变换到空间域，其中正交4X4DCT包括 奇数部分，所述奇数部分应用与经缩放因子α)有关的第一内部因子及第二内部因子(C、S) W使得经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方的总和的平方 根。
[0018] 在另一方面中，一种设备包含4X4离散余弦变换(DCT)硬件单元，其中DCT模块实 施具有奇数部分的非正交4X4DCT，所述奇数部分应用按W下方程式与经缩放因子(ξ)有关 的第一变量及第二变量(C、S):
[0019]
[0020] 其中变量ω及Φ表示无理内部变换因子且变量C及S表示在非正交4X4DCT的整数 实施方案中代替变量ω及iH吏用的二元有理内部变换因子，且其中4X4DCT硬件单元将4Χ 4DCT实施方案应用于媒体数据W将媒体数据从空间域变换到频域。
[0021] 在另一方面中，一种方法包含通过4 X 4DCT硬件单元将非正交4 X 4离散余弦变换 (DCT)应用于媒体数据W将媒体数据从空间域变换到频域，其中非正交4X4DCT包括奇数部 分，所述奇数部分应用按W下方程式与经缩放因子α)有关的第一变量及第二变量(C、S):
[0022]
[0023] 其中变量ω及Φ表示无理内部变换因子且变量C及S表示在非正交4X4DCT的整数 实施方案中代替变量ω及Φ使用的二元有理内部变换因子。
[0024] 在另一方面中，一种设备包含用于通过4 X4DCT硬件单元将非正交4X4离散余弦 变换(DCT)应用于媒体数据W将媒体数据从空间域变换到频域的装置，其中非正交4X4DCT 包括奇数部分，所述奇数部分应用按W下方程式与经缩放因子α)有关的第一变量及第二 变量(C、S):
[0025]
[00%] 其中变量ω及Φ表示无理内部变换因子且变量C及S表示在非正交4 X 4DCT的整数 实施方案中代替变量ω及Φ使用的二元有理内部变换因子。
[0027]在另一方面中，非暂时性计算机可读存储媒体存储指令，所述指令在由处理器执 行时引起处理器通过4X4DCT硬件单元将非正交4X4离散余弦变换(DCT)应用于媒体数据 W将媒体数据从空间域变换到频域，其中非正交4 X 4DCT包括奇数部分，所述奇数部分应用 按W下方程式与经缩放因子α)有关的第一变量及第二变量(C、S):
[002引
[0029] 其中变量ω及Φ表示无理内部变换因子且变量C及S表示在非正交4X4DCT的整数 实施方案中代替变量ω及Φ使用的二元有理内部变换因子。
[0030] 在另一方面中，一种设备包含4X4反离散余弦变换（IDCT)硬件单元，其中DCT硬件 单元实施具有奇数部分的非正交4X4DCT的反DCT，所述奇数部分应用按W下方程式与经缩 放因子α)有关的第一内部因子及第二内部因子(C、S):
[0031]
[0032] 其中变量ω及Φ表示无理内部变换因子且变量C及S表示在非正交4X4DCT的整数 实施方案中代替变量ω及Φ使用的二元有理内部变换因子，且其中4X4IDCT硬件单元将4Χ 4IDCT实施方案应用于代表媒体数据的DCT系数W将媒体数据从频域变换到空间域。
[0033] 在另一方面中，一种方法包含通过4 X 4IDCT硬件单元将4 X 4反离散余弦变换 (IDCT)应用于代表媒体数据的DCT系数W将媒体数据从频域变换到空间域，其中4X4IDCT 包含具有奇数部分的非正交4X4DCT的IDCT，所述奇数部分应用按W下方程式与经缩放因 子α)有关的第一内部因子及第二内部因子(C、S):
[0034]
[0035] 其中变量ω及Φ表示无理内部变换因子且变量C及S表示在非正交4X4DCT的整数 实施方案中代替变量ω及Φ使用的二元有理内部变换因子。
[0036] 在另一方面中，一种设备包含用于通过4 X 4IDCT硬件单元将4 X 4反离散余弦变换 (IDCT)应用于代表媒体数据的DCT系数W将媒体数据从频域变换到空间域的装置，其中4Χ 4IDCT包含具有奇数部分的非正交4X4DCT的IDCT，所述奇数部分应用按W下方程式与经缩 放因子α)有关的第一内部因子及第二内部因子(C、S):
[0037]
[0038] 其中变量ω及Φ表示无理内部变换因子且变量C及S表示在非正交4X4DCT的整数 实施方案中代替变量ω及Φ使用的二元有理内部变换因子。
[0039] 在另一方面中，一种非暂时性计算机可读存储媒体存储指令，所述指令在由处理 器执行时引起处理器通过4 X 4IDCT硬件单元将4 X 4反离散余弦变换（IDCT)应用于代表媒 体数据的DCT系数W将媒体数据从频域变换到空间域，其中4X4IDCT包含具有奇数部分的 非正交4X4DCT的IDCT，所述奇数部分应用按W下方程式与经缩放因子(ξ)有关的第一内部 因子及第二内部因子(C、S):
[0040]
[0041 ] 其中变量ω及φ表示无理内部变换因子且变量C及S表示在非正交4 X 4DCT的整数 实施方案中代替变量ω及Φ使用的二元有理内部变换因子。
[0042] 在另一方面中，一种设备包含4X4离散余弦变换(DCT)硬件单元，其实施具有奇数 部分的非正交4X4DCT，所述奇数部分应用按W下方程式与经缩放因子(ξ)有关的第一内部 因子及第二内部因子(Α、Β):
[0043]
[0044] 其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(Β)的总和除W-加一 除W二的平方根，且其中4X4DCT硬件单元将4X4DCT实施方案应用于媒体数据W将媒体数 据从空间域变换到频域。
[0045] 在另一方面中，一种方法包含通过4 X 4DCT硬件单元将非正交4 X 4离散余弦变换 (DCT)应用于媒体数据W将媒体数据从空间域变换到频域。非正交4X4DCT包括奇数 部分， 所述奇数部分应用按W下方程式与经缩放因子α)有关的第一内部因子及第二内部因子 (Α、Β):
[0046]
[0047] 其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(Β)的总和除W-加一 除W二的平方根。
[004引在另一方面中，一种设备包含用于通过4 X4DCT硬件单元将非正交4X4离散余弦 变换(DCT)应用于媒体数据W将媒体数据从空间域变换到频域的装置，其中非正交4X4DCT 包括奇数部分，所述奇数部分应用按W下方程式与经缩放因子α)有关的第一内部因子及 第二内部因子(Α、Β):
[0049]
[0050] 其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(Β)的总和除W-加一 除W二的平方根。
[0051] 在另一方面中，一种非暂时性计算机可读存储媒体存储指令，所述指令在由处理 器执行时引起处理器通过4 X 4DCT硬件单元将非正交4 X 4离散余弦变换(DCT)应用于媒体 数据W将媒体数据从空间域变换到频域。非正交4X4DCT包括奇数部分，所述奇数部分应用 按W下方程式与经缩放因子α)有关的第一内部因子及第二内部因子(A、B):
[0化2]
[0053] 其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(B)的总和除W-加一 除W二的平方根。
[0054] 在另一方面中，一种设备包含4 X 4反离散余弦变换（IDCT)硬件单元，其中4 X 4IDCT硬件单元实施具有奇数部分的非正交4X4DCT的IDCT，所述奇数部分应用按W下方程 式与经缩放因子(ξ)有关的第一内部因子及第二内部因子(A、B):
[0化5]
[0056] 其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(B)的总和除W-加一 除W二的平方根，且其中4X4IDCT硬件单元将4X4IDCT实施方案应用于代表媒体数据的 DCT系数W将媒体数据从频域变换到空间域。
[0057] 在另一方面中，一种方法包含通过4 X 4IDCT硬件单元将4 X 4反离散余弦变换 (IDCT)应用于代表媒体数据的DCT系数W将媒体数据从频域变换到空间域。IDCT包含具有 奇数部分的非正交4X4DCT的IDCT，所述奇数部分应用按W下方程式与经缩放因子(ξ)有关 的第一内部因子及第二内部因子(Α、Β):
[0化引
[0059] 其中经缩放因子(ξ)等于第一内部因子(Α)加第二内部因子(Β)的总和除W-加一 除W二的平方根。
[0060] 在另一方面中，一种设备包含用于通过4X4IDCT硬件单元将4X4反离散余弦变换 (IDCT)应用于代表媒体数据的DCT系数W将媒体数据从频域变换到空间域的装置。IDCT包 含具有奇数部分的非正交4X4DCT的IDCT，所述奇数部分应用按W下方程式与经缩放因子 (。有关的第一内部因子及第二内部因子(Α、Β):
[0061]
[0062] 其中经缩放因子(ξ)等于第一内部因子(Α)加第二内部因子(Β)的总和除W-加一 除W二的平方根。
[0063] 在另一方面中，一种非暂时性计算机可读存储媒体存储指令，所述指令在由处理 器执行时引起处理器通过4 X 4IDCT硬件单元将4 X 4反离散余弦变换（IDCT)应用于代表媒 体数据的DCT系数W将媒体数据从频域变换到空间域。IDCT包含具有奇数部分的非正交4Χ 4DCT的IDCT，所述奇数部分应用按W下方程式与经缩放因子(ξ)有关的第一内部因子及第 二内部因子(Α、Β):
[0064]
[0065] 其中经缩放因子(ξ)等于第一内部因子(A)加第二内部因子(Β)的总和除W-加一 除W二的平方根。
[0066] 在随附图式及W下描述中陈述技术的一个或一个W上方面的细节。本发明中所描 述的技术的其它特征、目标及优点从描述及图式且从权利要求书将为显而易见的。
【附图说明】
[0067] 图1为说明视频编码及解码系统的框图。
[0068] 图2为更详细说明图1的视频编码器的框图。
[0069] 图3为更详细说明图1的视频解码器的框图。
[0070] 图4A到图4C为各自说明根据本发明的技术所建构的经缩放4X4DCT-II的实施方 案的图。
[0071] 图5为说明编码装置在应用根据本发明的技术所建构的4X4DCT实施方案时的示 范性操作的流程图。
[0072] 图6为说明编码装置在应用根据本发明的技术所建构的4X4DCT-III实施方案时 的实例操作的流程图。
[007引图7A到图7C为说明根据本发明的技术所建构的；种不同4X4DCT-n实施方案中 的每一者的相对于位速率的峰值信噪比的曲线的图。
【具体实施方式】
[0074] 大体来说，本发明是针对用于使用表示为根据各种关系所选择的系数的4X4矩阵 的一个或一个W上4X4离散余弦变换(DCT)来编码数据的技术。可应用所述技术W压缩多 种数据，其包括可见或可听媒体数据，例如，数字视频、图像、语音及/或音频数据，且借此将 表示此数据的运些电信号变换为压缩信号W用于电信号的更有效处理、发射或归档。通过 遵守根据本发明的技术所定义的各种关系，可为系数矩阵选择系数W使得4X4DCT的正交 及接近正交实施方案在应用于数据时可促进增加的编码增益。
[0075] 依据离散数据单元表示W上所表示的大小，即，4X4。为说明起见，通常依据视频 块描述视频数据(尤其在关于视频压缩时）。视频块通常指代视频帖的任何大小的部分，其 中视频帖指代一系列图片或图像中的一图片或图像。每一视频块通常包含多个离散像素数 据，其指示例如红色、蓝色及绿色的色彩分量(所谓的"色度"分量)或亮度分量(所谓的"亮 度"分量）。每一像素数据集合包含在视频块中的单一1X1点，且可被当作关于视频块的离 散数据单元。因此，4X4视频块(例如)包含四行的像素数据，其中每一行中具有四个离散的 像素数据集合。可将η位值指派到每一像素 W规定色彩或亮度值。
[0076] 通常依据DCT能够处理的数据(不管是音频、语音、图像还是视频数据)块的大小来 描述DCT。举例来说，如果DCT可处理4 X 4数据块，贝化CT可被称为4 X 4DCT。此外，DCT可经表 示为特定类型。八个不同类型的DCT中的最常用类型的DCT为类型II的DCT，其可经表示为 可CT-Ir。通常，当泛指DCT时，此用语指代类型II的DCT或DCT-II dDCT-II的反操作被称为 类型III的DCT，其可类似地表示为"DCT-IIΓ，或由于通常将DCT理解为指代DCT-II，因此表 示为"IDCT"其中"IDCT"中的"Γ表示反操作。W下对DCT的提及符合此记法，其中对DCT的泛 指指代DCT-II，除非另外规定。然而，为了避免混淆，包括DCT-II的DCT在下文主要用所指示 的对应类型（Π 、ΠΙ等)来指代。
[0077] 本发明中所描述的技术设及编码器及/或解码器两者，其使用4X4DCT-n的一个 或一个W上实施方案W促进数据的压缩及/或解压缩。此外，经由应用运些4X4DCT-n实施 方案所完成的压缩及解压缩允许表示数据的电信号的物理变换，使得可使用物理计算硬 件、物理传输媒体(例如，铜、光纤、无线或其它媒体)及/或存储硬件(例如，磁盘或光盘或磁 带，或多种固态媒体中的任一者)更有效地处理、传输及/或存储信号。可仅在硬件中配置实 施方案或可在硬件与软件的组合中配置实施方案。
[0078] 4 X 4DCT-II的实施方案可为正交或接近正交的。术语"正交"大体上指代矩阵的性 质，其中矩阵在乘W矩阵的转置时等于单位矩阵。术语"接近正交"指代其中此正交性质被 放松而使得不必需严格正交性的情况。在此方面，"接近正交"暗示近似正交或松散正交。然 而，接近正交矩阵不符合正交的技术定义，且从纯粹技术角度来说，运些接近正交矩阵可被 当作非正交的。
[0079] 为了说明本发明中所描述的4 X 4DCT-II的正交实施方案，考虑包括4 X 4DCT模块 的设备。4 X 4DCT模块实施根据本发明中所描述的技术建构的正交4 X 4DCT-II。此正交4 X 4DCT-II实施方案包括奇数部分及偶数部分。4 X 4DCT-II的所谓的"奇数部分"指代4 X 4DCT-II实施方案的输出奇数编号系数的部分。4X4DCT-n的所谓的"偶数部分"指代4X 4DCT-II实施方案的输出偶数编号系数的部分。
[0080] 根据本发明的技术，奇数部分应用与经缩放因子(ξ)有关的第一内部因子C及第二 内部因子SW使得所述经缩放因子等于第一内部因子(C)的平方加第二内部因子(S)的平方 的总和的平方根。术语"内部因子"指代在因式分解之后保留的在4X4DCT的实施方案内部 的因子。术语"经缩放因子"指代经由因式分解移除的在4X4DCT的实施方案外部的因子。
[0081] 内部因子通常由于需要在实施方案复杂性方面可为代价大的乘法而增加实施方 案复杂性。举例来说，与较简单的加法运算相比，乘法可需要Ξ倍或Ξ倍W上的计算操作 (例如，时钟循环)来完成。可实施特定乘法器W更有效地(例如，在较少时钟循环中）执行乘 法，但运些乘法器实施方案通常消耗显著更多的忍片或娃表面积且也可汲取大量电力。因 此通常避免乘W因子的乘法，尤其是在功率敏感装置中，例如，大部分移动装置，其包括蜂 窝式电话(所谓的"智能型"蜂窝式电话）、个人数字助理(PDA)、膝上型计算机(所谓的"迷你 笔记型计算机"）及其类似物。因式分解为可借W从4X4DCT-n实施方案移除一个或一个W 上内部因子且用外部因子加 W替换的过程。接着可通常W最小的花费或最小的复杂性增加 将外部因子并入于(例如)关于视频编码器的随后量化操作中。
[0082] 无论如何，W上所提到的第一内部因子C及第二内部因子S与经缩放因子(ξ)之间 的W上关系提供了未用于4X4DCT-n的先前实施方案中的内部因子的特定值。举例来说， 分别用于内部因子C及S的值2及5不过度增加实施方案复杂性，且与设及C及S的1及2的值的 已知4X4DCT实施方案相比改善了编码增益。视频编码器接着将具有内部因子2及5的4X 4DCT-II实施方案应用于媒体数据W便将媒体数据从空间域变换到频域。通过应用此正交4 X4DCT-n实施方案，在与包括1及2的内部因子的标准DCT-II实施方案相比时，所述技术促 进了编码增益(其为表示压缩效率的术语）。
[0083] 就DCT-II实施方案来说，正交性通常为所要的，因为其为可逆的。作为一个实例， 此可逆性质允许视频编码器应用正交4X4DCT实施方案W从视频数据的残余块产生DCT系 数。视频解码器可接着应用4X4反DCT-II(IDCT)实施方案W便在数据极小损耗(如果存在） 的情况下从DCT-II系数重建构视频数据的残余块。考虑到视频编码的主要目标为数据的保 存，所W例如H.264视频编码标准等各种编码标准均采用4X4DCT的正交实施方案。
[0084] 虽然正交性通常在理论上为所要的，但视频、音频或通用编码管线实际上设及会 引入所谓的"噪声"的许多步骤，所述噪声在大多方面实际上防止准确地重建构由正交4X 4DCT-II实施方案提供的值。考虑到整数算术实施方案，接近正交变换与严格正交整数变换 相比可改善编码效率，同时也减小实施方案复杂性。实际上，放松正交性质会将噪声引入到 系统中，但可改善编码增益，同时也减小实施方案复杂性。
[0085] 为了说明本发明中所描述的4 X4DCT-n的接近正交实施方案，考虑设备的4 X 4DCT模块实施根据本发明中所描述的技术建构的此接近正交4 X 4DCT-II。此接近正交4 X 4DCT-II实施方案也包括奇数部分及偶数部分。在此情况下奇数部分应用按W下方程式与 经缩放因子化)有关的第一内部因子及第二内部因子(C、S):
[0086]
[0087] 在此方程式中，变量ω及Φ表示原始(无理）内部变换因子，例如，（ω)可为Ξ乘常 数piU)除W八的余弦，且(Φ)可为Ξ乘常数piU)除W八的正弦。变量(C)及（S)表示替换 (ω)及(Φ)的整数(或二元有理）内部变换因子。
[0088] 方程式(2)指示经缩放因子(ξ)等于第一内部因子(C)加第二内部因子(S)的总和 除Κ(ω)加(Φ)。此方程式可识别类似于关于正交实施方案所定义的W上关系的C及S的特 定内部因子值，但导致不同的外部因子。然而，由于W上所提到的原因，不同外部因子通常 不增加实施方案复杂性，而是通常提供原始变换因子的更准确近似。其也可提供比常规4Χ 4DCT-II实施方案且甚至在一些情况下比W上所述的正交4X4DCT-n实施方案改善的编码 增益。因此，控制单元将此接近正交4X4DCT-II应用于媒体数据W便将媒体数据从空间域 变换到频域，结果可能得到改善的编码增益。
[0089] 图1为说明视频编码及解码系统10的框图。如图1中所示，系统10包括源硬件装置 12,其将经编码的视频经由通信信道16发射到接收硬件装置14。源装置12可包括视频源18、 视频编码器20及发射器22。目的地装置14可包括接收器24、视频解码器26及视频显示装置 28 〇
[0090] 在图1的实例中，通信信道16可包含任何无线或有线通信媒体，例如，射频(RF)频 谱或一个或一个W上物理传输线，或无线及有线媒体的任何组合。信道16可形成基于包的 网络(例如，局域网、广域网或例如因特网的全球网络）的一部分。通信信道16通常表示用于 将视频数据从源装置12发射到接收装置14的任何适当的通信媒体或不同通信媒体的集合。
[0091] 源装置12产生用于发射到目的地装置14的视频。然而，在一些状况下，装置12、14 可W大体上对称方式操作。举例来说，装置12、14中的每一者可包括视频编码及解码组件。 因此，系统10可支持在视频装置12、14之间的单向或双向视频发射(例如用于视频串流、 视频广播或视频电话。对 于其它数据压缩及编码应用，装置12、14可经配置W发送且接收或 交换其它类型的数据，例如，图像、语音或音频数据，或视频、图像、语音及音频数据中的两 者或两者W上的组合。因此，为实现说明的目的提供视频应用的W下论述，且不应认为其限 制如本文中广泛描述的本发明的各种方面。
[0092] 视频源18可包括例如一个或一个W上摄影机等视频俘获装置、含有先前俘获的视 频的视频档案，或来自视频内容提供者的实况视频馈入。作为另一替代例，视频源18可产生 基于计算机图形的数据作为源视频，或实况视频及计算机产生的视频的组合。在一些状况 下，如果视频源18为相机，则源装置12及接收装置14可形成所谓的相机电话或视频电话。因 此，在一些方面中，源装置12、接收装置14或两者可形成无线通信装置手持机，例如，移动电 话。在每一状况下，经俘获、预先俘获或计算机产生的视频可由视频编码器20编码W用于从 视频源装置12经由发射器22、信道16及接收器24发射到视频接收装置14的视频解码器26。 显示装置28可包括多种显示装置中的任一者，例如，液晶显示器化CD)、等离子显示器或有 机发光二极管(0LED)显示器。
[0093] 视频编码器20及视频解码器26可经配置W支持可缩放视频编码，W实现空间、时 间及/或信噪比（SNR)可缩放性。在一些方面中，视频编码器20及视频解码器22可经配置W 支持精细粒度SNR可缩放性(FGS)编码。编码器20及解码器26可通过支持基层及一个或一个 W上可缩放增强层的编码、发射及解码来支持各种程度的可缩放性。对于可缩放视频编码， 基层载运具有最小质量等级的视频数据。一个或一个W上增强层载运额外位流W支持更高 的空间、时间及/或SNR等级。
[0094] 视频编码器20及视频解码器26可根据例如Μ阳G-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4先进视频编码(AVC)等视频压缩标准操作。尽管图1中未展示，但在一些方面 中，视频编码器20及视频解码器26可分别与音频编码器及音频解码器整合，且包括适当 MUX-DEMUX单元或其它硬件及软件W处置对共同数据流或单独数据流中的音频与视频两者 的编码。如果适用，则MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报 协议(UDP)等其它协议。
[00M]在一些方面中，对于视频广播，可应用本发明中所描述的技术W增强H.264视频编 码W用于(例如)经由无线视频广播服务器或无线通信装置手持机使用仅前向链路(FLO)空 中接口规范(作为技术标准TIA-1099公开的"用于陆地移动多媒体多播的仅前向链路空中 接口规范(Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast)"("化0规范"））在陆地移动多媒体多播巧]\0)系统中递送实时视频 服务。FL姆见范包括定义适合于FLO空中接口的位流语法及语义W及解码过程的实例。或者， 可根据例如DVB-H(手持型数字视频广播）、ISDB-T(陆地整合服务数字广播)或DMB(数字媒 体广播)等其它标准来广播视频。因此，源装置12可为移动无线终端、视频串流服务器或视 频广播服务器。然而，本发明中所描述的技术不限于任何特定类型的广播、多播或点对点系 统。在广播的状况下，源装置12可将若干信道的视频数据广播到多个接收装置，其中的每一 者可类似于图1的接收装置14。
[0096] 视频编码器20及视频解码器26各自可实施为一个或一个W上微处理器、数字信号 处理器(DSP)、专用集成电路(ASIC)、现场可编程口阵列(FPGA)、离散逻辑、软件、硬件、固件 或其任何组合。因此，视频编码器20及视频解码器26中的每一者可至少部分地实施为集成 电路（1C)忍片或装置，且包括于一个或一个W上编码器或解码器中，其中的任一者可整合 为相应移动装置、订户装置、广播装置、服务器等等中的组合编码器/解码器(CODEC)的一部 分。另外，源装置12及接收装置14各自可包括(适用时）用于发射及接收经编码视频的适当 调制、解调、频率转换、滤波及放大器组件，其包括足W支持无线通信的射频(RF)无线组件 及天线。然而，为实现易于说明的目的，图1中未展示运些组件。
[0097] 视频序列包括一系列视频帖。视频编码器20对个别视频帖内的像素的块操作W便 编码视频数据。视频块可具有固定或变化大小，且可根据规定的编码标准而大小不同。每一 视频帖包括一系列片段。每一片段可包括一系列宏块，宏块可经布置为子块。例如，ITU-T H. 264标准支持各种二元块大小下的帖内预测，例如，对于亮度分量的16乘16、8乘8、4乘4及 对于色度分量的8 X 8，W及各种块大小下的帖间预测，例如，对于亮度分量的16乘16、16乘 8、8乘16、8乘8、8乘4、4乘8及4乘4及对于色度分量的对应缩放的大小。
[0098] 较小视频块通常可提供较好分辨率，且可用于视频帖的包括更高细节等级的位 置。大体来说，通常可将宏块(MB)及各种子块视为表示视频块。另外，可将片段视为表示一 系列视频块，例如，MB及/或子块。每一片段可为可独立解码的单元。在预测之后，可对二元 或非二元大小的残余块执行变换，且可在使用帖内_16X 16预测模式的情况下将额外变换 应用于色度分量或亮度分量的4 X 4块的DCT系数。
[0099] 图1的系统10的视频编码器20及/或视频解码器26可经配置W分别包括4X4DCT-II及其反操作(例如，4 X 4DCT-III)的实施方案，其中4 X 4DCT-n遵守本发明中所描述的用 于选择4X4大小DCT的DCT-II矩阵系数的技术的各种关系中的一者。虽然口U-T H.264标准 支持各种块大小下的帖内预测，例如，对于亮度分量的16乘16、8乘8、4乘4及对于色度分量 的8X8,但为了改善编码效率而对此标准的修订当前在进行中。一个修订标准可被称为 口U-T H.265或简单地称为H.265(有时被称为下一代视频编码或NGVC)。如下文关于图7A到 图7C所描述，遵守根据本发明的技术所陈述的各种关系中的一者的类型II的4 X4DCT r'DCT-ir'）可改善如依据峰值信噪比(PSNR)所测量的编码效率。因此，ITU-T H.265及其它 演进中的标准或规范可考虑运些DCT-IIW便改善编码效率。
[0100] 根据本发明中所描述的技术，可W遵守可与常规实施方案相比促进改善的编码增 益的各种关系中的一者的方式产生4X4DCT-II的实施方案。第一关系是针对4X4DCT-n的 正交实施方案而定义且W下关于方程式(1)加 W陈述：
[0101]
(1)
[0102] 其中C及S表示4X4DCT-II实施方案的"奇数"部分中的第一内部因子及第二内部 因子，且化)表示应用于4X4DCT-II实施方案的"奇数"部分的经缩放因子。4X4DCT-n的所 谓的"奇数部分"指代4X4DCT-n实施方案的输出奇数编号系数的部分。4X4DCT-II的所谓 的"偶数"部分指代4X4DCT-n实施方案的输出偶数编号系数的部分。术语"内部因子'指代 在因式分解之后保留的在4X4DCT的实施方案内部的因子。术语"经缩放因子"指代经由因 式分解移除的在4 X4DCT的实施方案外部的因子。
[0103] 内部因子通常由于需要在实施方案复杂性方面可为代价大的乘法而增加实施方 案复杂性。举例来说，与较简单的加法运算相比，乘法可需要Ξ倍或Ξ倍W上的计算操作 (例如，时钟循环)来完成。可实施特定乘法器W更有效地(例如，在较少时钟循环中）执行乘 法，但运些乘法器实施方案通常消耗显著更多的忍片或娃表面积且也可汲取大量电力。因 此通常避免乘W因子的乘法，特别在功率敏感装置中，例如，大部分移动装置，其包括蜂窝 式电话(所谓的"智能型"蜂窝式电话）、个人数字助理(PDA)、膝上型计算机(所谓的"迷你笔 记型计算机"）及其类似物。因式分解为可借W从4X4DCT-n实施方案移除一个或一个W上 内部因子且用外部因子加 W替换的过程。接着可通常W最小的花费或最小的复杂性增加将 外部因子并入于(例如)关于视频编码器的随后量化操作中。
[0104] 无论如何，W上关于方程式（1)所提到的第一内部因子C及第二内部因子S与经缩 放因子化)之间的W上关系提供了未用于4X4DCT-n的先前实施方案中的内部因子的特定 值。举例来说，分别用于内部因子C及S的值2及5不过度增加实施方案复杂性，且与设及C及S 的1及2的值的已知4X4DCT实施方案相比，改善了编码增益。视频编码器接着将具有内部因 子2及5的4X4DCT-II实施方案应用于媒体数据W便将媒体数据从空间域变换到频域。通过 应用此正交4X4DCT-n实施方案，在与包括1及2的内部因子的标准DCT-II实施方案相比时 所述技术促进了编码增益(其为表示压缩效率的术语）。
[0105] 就DCT-II实施方案来说，正交性通常为所要的，因为其为可逆的。作为一个实例， 此可逆性质允许视频编码器应用正交4X4DCT实施方案W从视频数据的残余块产生DCT系 数。视频解码器可接着应用4X4反DCT-II(IDCT)实施方案W便在数据损耗极小(如果存在） 的情况下从DCT-II系数重建构视频数据的残余块。例如H. 264视频编码标准等若干编码标 准采用4 X 4DCT的正交实施方案。
[0106] 虽然正交性通常在理论上为所要的，但视频、音频或通用编码管线实际上设及会 引入所谓的"噪声"的许多额外步骤(例如缩放或量化），所述噪声在大多方面实际上防止准 确重建构由正交4 X 4DCT-n实施方案提供的值。结果，放松正交性质W实现接近正交(就技 术上来说，其为非正交)可为可能的。考虑到整数算术实施方案，运些接近正交变换与严格 正交整数变换相比可改善编码效率，同时也减小实施方案复杂性。大体来说，放松正交性质 将噪声引入到系统中，但可改善编码增益，同时也减小实施方案复杂性。
[0107] 为了说明4 X4DCT-II的接近正交实施方案，作为一个实例，考虑包括控制单元的 设备。控制单元实施根据本发明中所描述的技术的接近正交4 X 4DCT-II。此接近正交4 X 4DCT-II实施方案也包括奇数部分及偶数部分。在此种情况下奇数部分应用按W下方程式 (2)与经缩放因子(ξ)有关的第一内部因子及第二内部因子(C、S):
[010 引
(2;)
[0109] 在方程式(2)中，变量ω及Φ表示原始(无理）内部变换因子，例如，（ω)可为Ξ乘常 数piU)除W八的余弦，且(Φ)可为Ξ乘常数piU)除W八的正弦。变量(C)及（S)表示替换 (ω)及(Φ)的整数(或二元有理）内部变换因子。
[0110] 方程式(2)指示经缩放因子(ξ)等于第一内部因子(C)加第二内部因子(S)的总和 除Κ(ω)加(Φ)。此方程式可识别类似于W上关于正交实施方案所定义的关系的C及S的特 定内部因子值，但导致不同的外部因子。然而，由于W上所提到的原因，不同外部因子通常 不增加实施方案复杂性，而是通常提供原始变换因子的较准确近似。其也可与常规4 X 4DCT-II实施方案相比且甚至在一些情况下与W上所述的正交4X4DCT-n实施方案相比提 供改善的编码增益。因此，控制单元将此接近正交4X4DCT-II应用于媒体数据W将媒体数 据从空间域变换到频域，结果为具有潜在改善的编码增益。
[0111] 根据本发明中所描述的技术建构的W上所得到4 X 4DCT-II实施方案表示与直接4 X 4DCT-II实施方案相对比的经缩放4 X 4DCT-II实施方案。所述实施方案为"经缩放的"，因 为其已经历因式分解W移除内部因子且因此输出需要应用额外外部因子W正确计算4X 4DCT的经缩放系数。所谓的"直接"DCT-II实施方案输出不需要任何另外运算(例如乘W外 部因子的乘法）W正确计算4 X 4DCT的系数。
[0112] 存在能够产生经缩放4X4DCT-n实施方案的许多不同因式分解。一个替代因式分 解产生不同的经缩放4 X 4DCT-n实施方案，可根据本发明的技术从所述经缩放4 X 4DCT-II 实施方案导出另一关系W产生接近正交实施方案，所述接近正交实施方案与通常由遵照 H. 264的视频编码器使用的常规DCT-II相比改善了编码增益。
[0113] 为了关于用W产生经缩放4X4DCT-n的替代因式分解说明接近正交实施方案，作 为一个实例，考虑包括控制单元的设备。控制单元根据本发明中所描述的技术实施接近正 交4 X4DCT-II。类似于W上所述的实施方案，此接近正交4 X 4DCT-n实施方案包括奇数部 分及偶数部分。在此种情况下奇数部分应用按W下方程式(3)与经缩放因子(ξ)有关的第一 内部因子及第二内部因子(Α、Β):
[0114]
(3)
[0115] 方程式(3)指示经缩放因子(ξ)等于第一内部因子(Α)加第二内部因子(Β)的总和 除W-加一除W二的平方根。此方程式可分别识别内部因子A及Β的特定值7及5。使用替代 因式分解且用W上所提到的内部因子建构的此所得的接近正交4X4DCT-II实施方案与常 规H. 2644 X 4DCT-n实施方案相比可更准确地表示直接4 X 4DCT-II的无理内部因子，且借 此与常规4 X 4DCT-II实施方案相比提供改善的编码增益。因此，控制单元将此接近正交4 X 4DCT-II应用于媒体数据W将媒体数据从空间域变换到频域，结果为具有潜在改善的编码 增益。
[0116] 图2为更详细说明图1的视频编码器20的框图。视频编码器20可至少部分地形成为 一个或一个W上集成电路装置，其可共同地被称为集成电路装置。在一些方面中，视频编码 器20可形成无线通信装置手持机或广播服务器的一部分。视频编码器20可执行视频帖内的 块的帖内及帖间编码。帖内编码依赖于空间预测W减少或移除给定视频帖内的视频中的空 间冗余。帖间编码依赖于时间预测W减 少或移除视频序列的邻近帖内的视频中的时间冗 余。对于帖间编码，视频编码器20执行运动估计W跟踪在邻近帖之间匹配的视频块的移动。
[0117] 如图2中所示，视频编码器20接收待编码的视频帖内的当前视频块30。在图2的实 例中，视频编码器20包括运动估计单元32、参考帖存储器34、运动补偿单元36、块变换单元 38、量化单元40、反量化单元42、反变换单元44及赌编码单元46。可应用回路内或回路后解 块滤波器（未图示）W对块滤波W移除成块假影。视频编码器20还包括求和器48及求和器 50。图2说明用于视频块的帖间编码的视频编码器20的时间预测组件。尽管为易于说明的目 的图2中未展示，但视频编码器20也可包括用于一些视频块的帖内编码的空间预测组件。
[0118] 运动估计单元32比较视频块30与一个或一个W上邻近视频帖中的块W产生一个 或一个W上运动向量。可从参考帖存储器34检索一个或一个W上邻近帖，所述参考帖存储 器34可包含任何类型的存储器或数据存储装置W存储从先前编码块重建构的视频块。可针 对可变大小的块，例如，16 X 16、16 X 8、8 X 16、8 X 8或更小的块大小执行运动估计。运动估 计单元32(例如)基于速率失真模型而识别邻近帖中的最紧密匹配当前视频块30的一个或 一个W上块，且确定在邻近帖中的块与当前视频块之间的位移。在此基础上，运动估计单元 32产生一个或一个W上运动向量(MV)，其指示在当前视频块30与来自用于编码当前视频块 30的参考帖的一个或一个W上匹配块之间的位移的量值及轨迹。一个或一个W上匹配块将 用作预测性(或预测)块W供帖间编码待编码块。
[0119] 运动向量可具有二分之一或四分之一像素精确度或甚至更精细的精确度，从而允 许视频编码器20W比整数像素位置更高的精确度跟踪运动且获得更好的预测块。当使用具 有分数像素值的运动向量时，在运动补偿单元36中进行内插运算。运动估计单元32使用例 如速率失真模型等某些准则识别视频块的最佳块分割及一个或一个W上运动向量。举例来 说，在双向预测的状况下可存在一个W上的运动向量。使用所得的块分割及运动向量，运动 补偿单元36形成预测视频块。
[0120] 视频编码器20通过在求和器48处从原始的当前视频块30减去由运动补偿单元36 产生的预测视频块来形成残余视频块。块变换单元38应用产生残余变换块系数的变换。如 图2中所示，块变换单元38包括4X4DCT-n单元52,其实施根据本发明中所描述的技术建构 的4Χ4〇α-ΙΚ4Χ40(：Τ-Π 单元52表示硬件模块，所述硬件模块在一些情况下执行软件(例 如执行软件代码或指令的数字信号处理器或DSP)，其实施具有由W上所识别的Ξ种关系中 的一者定义的内部因子的4 X 4DCT-II。块变换单元3則尋经缩放4 X 4DCT-II单元52应用于残 余块W产生残余变换系数的4X4块。4X4DCT-n单元52通常将残余块从表示为残余像素数 据的空间域变换到表示为DCT系数的频域。变换系数可包含DCT系数，其包括至少一个DC系 数及一个或一个W上AC系数。
[0121] 量化单元40量化(例如，舍入)残余变换块系数W进一步减小位速率。如上所提及， 量化单元40通过并入有在因式分解期间所移除的内部因子来考虑经缩放4 X 4DCT-II单元 52的经缩放性质。即，量化单元40并入有W下关于图4A到图4C的实施方案70A-70C所示的外 部因子。由于量化通常设及乘法，因此将运些因子并入到量化单元40中可不增加量化单元 40的实施方案复杂性。在此方面，从经缩放4 X4DCT-II单元52移除因子在不增加量化单元 40的实施方案复杂性的情况下减小DCT-II单元52的实施方案复杂性，从而导致关于视频编 码器20的实施方案复杂性的净减小。
[0122] 赌编码单元46赌编码量化系数W更进一步减小位速率。赌编码单元46执行统计无 损耗编码，在一些情况下被称为赌编码。赌编码单元46模型化量化DCT系数的概率分布且基 于模型化的概率分布来选择码簿(例如，CAVLC或CABAC)。使用此码簿，赌编码单元46W压缩 量化DCT系数的方式选择用于每一量化DCT系数的码。为说明起见，赌编码单元46可选择用 于频繁出现的量化DCT系数的短码字(依据位)及用于较不频繁出现的量化DCT系数的较长 码字(依据位）。只要短码字使用比量化DCT系数更少的位，则平均来说赌编码单元46压缩量 化DCT系数。赌编码单元46输出赌编码系数W作为发送到视频解码器26的位流。大体来说， 视频解码器26执行反操作W从位流解码且重建构经编码视频，如将参看图3的实例描述。
[0123] 重建构单元42及反变换单元44分别重建构量化系数及应用反变换W重建构残余 块。求和单元50将重建构的残余块加到由运动补偿单元36产生的运动补偿预测块W产生重 建构的视频块W存储于参考帖存储器34中。重建构的视频块由运动估计单元32及运动补偿 单元36用于编码随后视频帖中的块。
[0124] 图3为更详细说明图1的视频解码器26的实例的框图。视频解码器26可至少部分地 形成为一个或一个W上集成电路装置，其可共同地被称为集成电路装置。在一些方面中，视 频解码器26可形成无线通信装置手持机的一部分。视频解码器26可执行对视频帖内的块的 帖内及帖间解码。如图3中所示，视频解码器26接收已由视频编码器20编码的经编码视频位 流。在图3的实例中，视频解码器26包括赌解码单元54、运动补偿单元56、重建构单元58、反 变换单元60及参考帖存储器62。赌解码单元64可存取存储于存储器64中的一个或一个W上 数据结构W获得可用于编码的数据。视频解码器26也可包括回路内解块滤波器(未图示）， 其对求和器66的输出进行滤波。视频解码器26还包括求和器66。图3说明用于视频块的帖间 解码的视频解码器26的时间预测组件。尽管图3中未展示，但视频解码器26也可包括用于一 些视频块的帖内解码的空间预测组件。
[0125] 赌解码单元54接收经编码的视频位流且从位流中解码经量化残余系数及经量化 参数，W及其它信息，例如，宏块编码模式及运动信息（其可包括运动向量及块分割）。运动 补偿单元56接收运动向量及块分割及来自参考帖存储器62的一个或一个W上重建构的参 考帖W产生预测视频块。
[0126] 重建构单元58反量化（即，解量化)经量化块系数。反变换单元60将反变换（例如， 反DCT)应用于系数W产生残余块。更特定来说，反变换单元60包括经缩放4X4DCT-III单元 68,反变换单元60将其应用于系数W产生残余块。作为图2中所示的经缩放4X4DCT-II单元 52的反操作的经缩放4X4DCT-III单元68可将系数从频域变换到空间域W产生残余块。类 似于W上的量化单元40,重建构单元58通过在实施方案复杂性极小增加(如果有的话)的情 况下将在因式分解期间所移除的外部因子并入到重建构过程中来考虑4X4DCT-III单元68 的经缩放性质。从经缩放4X4DCT-III单元68移除因子可减小实施方案复杂性，借此导致视 频解码器26的复杂性的净减小。
[0127] 接着通过求和器66将预测视频块与残余块求和W形成经解码的块。可应用解块滤 波器(未图示）W对经解码的块进行滤波W移除成块假影。经滤波的块接着置于参考帖存储 器62中，所述参考帖存储器62提供用于随后视频帖的解码的参考帖且还产生经解码的视频 W驱动显示装置28(图1)。
[0128] 图4A到图4C为各自说明根据本发明的技术所建构的经缩放4X4DCT-II的实施方 案的图。图4A为说明根据本发明的技术所建构的经缩放正交4X4DCT-n实施方案70A的图。 图4B为说明根据本发明的技术所建构的经缩放接近正交4 X 4DCT-n实施方案70B的图。图 4C为说明根据本发明的技术所建构的经缩放接近正交4 X 4DCT-II替代实施方案70C的图。 图2的实例中所示的4X4DCT单元52可并入有一个或一个W上运些实施方案70A-70C。
[0129] 首先参看图4A的实例，4X4DCT-II实施方案70A包括蝶形单元72、偶数部分74A及 奇数部分74B。蝶形单元72可表示硬件或硬件与软件的组合，其用于将输入χ〇，···，Χ3路由或 W其它方式转发到适当偶数部分74Α及奇数部分74ΒΓ部分74")。蝶形单元72通常组合例如 2X2DCT-II实施方案的较小DCT的结果，其在此种状况下可分别由偶数部分及奇数部分74表 示。偶数部分74Α为4X4DCT-n实施方案70Α的输出偶数DCT系数Χο及拉的2x2部分。值得注意 地，运些偶数系数Χο及拉乘W为二分之一（1/2)的外部因子，所述外部因子可W且通常由量 化单元40应用。
[0130] 奇数部分74Β为4X4DCT-II实施方案70Α的输出奇数DCT系数Xi及Χ3的2x2部分。奇 数部分74B包括表示为C及S的两个内部因子，所述两个内部因子C及S按照根据本发明的技 术定义的W上所提到方程式(1)而与应用于奇数系数Xi及X3的外部因子有关。将一除W二的 平方根（1ΑΓ2)的额外外部因子乘W-除上方程式（1)中所提到的关系W导致关于奇 数系数Xi及X3所示的外部因子。
[0131] 方程式（1)中所提到的关系可通过首先考虑正交性质而导出，所述性质由W下方 程式(4)数学地陈述：
[0132] 化=1。 （4)
[0133] 变量C在此种情况下指代任何矩阵，而CT表示矩阵C的转置。变量I表示单位矩阵。 因此，如果矩阵的转置乘矩阵本身等于单位矩阵，则矩阵展现出正交性质。
[0134] 假定由于W上所提到的原因在媒体编码实施方案中优选的经缩放矩阵，矩阵C可 被分成表示为C'的整数经缩放变换及缩放因子或外部因子的对角矩阵D，如w下方程式巧） 中所提到：
[0135] C = C'D。 (5)
[0136] W来自方程式(5)的C'D代入方程式(4)中的C导致W下方程式(6):
[0137] (C'D)T(C'D)=DC"C'D = I， (6)
[0138] 其可简化为W下方程式(7)中所示的数学方程式：
[0139] c'C =扩2。 (7)
[0140] 方程式(7)提供用于选择缩放因子W使得所得的整数变换保持正交的机制。
[0141] 举例来说，在4X4DCT-II实施方案的状况下，此DCT-II通常仅应用表示Ξ乘常数 pi除W八的余弦及Ξ乘常数pi除W八的正弦的因子的近似。假定运些两个因子将由作为矩 阵C'的系数的整数C及S替换且使用W上正交性条件，W上方程式（1)表示标准化因子，W使 得设计4X4DCT-II的正交近似的任务可限于找到成对的整数(C、S)，W使得满足W下方程 式(8)及(9):
[0144] 在运些假定下，导致展示为4 X 4DCT-n实施方案70A的整数经缩放变换。
[0145] W下表1说明与H.264视频编码标准中所采用的4X4DCT-II实施方案相比较的经 选择用于整数C及S的各种值及所得的近似误差。
[0146] 表1
[0147]
[0148] 值得注意地，当将变量C及S分别设定到2及5时，所得的实施方案70A的复杂性增 加，但在Ξ乘常数pi除W八的余弦及Ξ乘常数pi除W八的正弦的近似中存在少得多的误 差，所述情况促进编码增益。与基础Η. 264实施方案相比，复杂性仅设及额外加法及移位，但 不设及任何在运算意义上代价大的乘法。因此，通过实施方案70Α并入有分别用于变量C及S 的值2及5,在实施方案复杂性增加最少的情况下潜在地提供最佳编码增益，本发明中所描 述的技术仅W复杂性的微小增加促进增加的编码增益。
[0149] 虽然W上关于类型II的DCT加 W描述，但图4Α的实例中所示的实施方案70Α也可表 示类型III的DCT或反DCT实施方案。由实施方案70Α形成反DCT设及颠倒输入及输出W使得 输入由图4A右侧上的实施方案接收且输出在实施方案的左侧输出。在左侧输出之前，输入 接着首先由偶数部分及奇数部分74且接着由蝶形72处理。为易于说明的目的，鉴于此IDCT 实施方案可经描述为实施方案70A的镜像，未在单独的图中展示与实施方案70A相反的此 IDCT实施方案。
[0150] 图4B为说明根据本发明的技术所建构的经缩放接近正交4X4DCT-n实施方案70B 的图。4X4DCT-II实施方案70B包括类似于图4A的蝶形单元72的蝶形单元76,及偶数部分 78A及奇数部分78ΒΓ部分78")。偶数部分78A类似于偶数部分74A。奇数部分78B也类似于奇 数部分74B，不同在于正交性条件已放松，从而导致在内部因子C、S与经缩放因子ξ之间的不 同关系，即，W上关于方程式(2)所表示的关系。
[0151] 为了根据由方程式(2)所表示的关系导出图4Β的实例实施方案70Β，首先考虑虽然 正交性通常在理论上确保4X4DCT-n的直接反实施方案，但实际上大部分缩放因子(在整 数变换之后)变为无理数，其难W使用整数乘法器精确地实施。此外，量化通常在4X4DCT变 换的应用之后，且此量化添加噪声，其可防碍反正交DCT-II实施方案的直接应用。此外，考 虑整数算术实施方案，运些接近正交变换与严格正交整数变换相比可改善编码效率，同时 也减小实施方案复杂性。因此，放松在直接实施方案与反实施方案之间的此正交性失配的 程度实际上可改善编码增益。
[0152] 为了特征化失配的程度，根据W下方程式(10)定义距单位矩阵的距离的范数：
[0153] ||化-1||。 （10)
[0154] 使用与W上关于方程式(4)的记法相同的记法，方程式（10)简单地指示距单位矩 阵的距离的范数可定义为矩阵的转置乘矩阵减去单位矩阵。假定CT C保持对角的，则可根 据W下方程式(11)计算平均绝对距离：
[0155]
(11)
[0156] 其中平均绝对距离由变量δΝ表示且N等于矩阵的大小。< br>[0157] 通过放松正交性性质，编码增益可改善，但关于平均绝对差的对编码增益的分析 过于取决于正经历压缩的图像的特定模型或统计数据。因此，可经由分析与找到在匹配 DCT-II的基本函数方面潜在最佳的整数变换有关的不同量度来确定放松正交性性质的程 度。关于此形式的评估的更多信息可在由Υ · A ·雷兹尼克(Y.A.Reznik)、A · Τ ·海因茨 (A.T.化nds)及J · L ·米歇尔（J丄.Mitchell)创作的题为"借助共同因子来改善定点算法 的精度（Improved Precision of Fixed-Point Algorithms by Me曰ns of Common 化ctorsr (会刊ICIP 2008,加利福尼亚圣地亚哥（San Diego，CA))的文章中找到，所述文 章的全部内容就如同在本文中完全陈述一样W引用的方式并入本文中。
[0158] 根据此并入的参考文献，用于产生最佳匹配设计的一种技术被称为"基于公因子 的近似"。使用此技术，可如下导出W下方程式(12):
[0159]
Π2)
[0160] 使得可如下导出W下方程式（13)及（14):
[0163] 方程式（12)确保对于经缩放因子C，C及S的对应近似的误差具有相同的量值但相 反的正负号。在运些假定下，导致展示为4 X 4DCT-n实施方案70B的整数缩放变换。
[0164] W下表2说明经选择用于整数C及S的各种值及所得的近似误差。
[01化]表2
[0166]
[0168] 更详细地考虑表2,当分别将变量C及S设定到2及5时，近似误差减小。上文在标题 "近似误差"下所示的第Ξ误差量度(C2+S 2A2-1)基本上是上文关于方程式（11)所论述的正 交性失配量度Sn的子集，其中此失配量度描述沿CTC-I的对角线出现在奇数位置的值。值得 注意地，对DCT-II基本函数的更精确整数近似也大体上更接近于是正交的。虽然此种整数 近似大体上更接近于是正交的，但C及S分别设定到值1及2的DCT-II实施方案70B在所列出 的那些实施方案中可能提供在编码增益方面的最多回报，如下文关于图7B所示。
[0169] 虽然上文关于类型II的DCT加 W描述，但图4B的实例中所示的实施方案70B也可表 示类型ΠI的DCT或反DCT实施方案。由实施方案70B形成反DCT设及颠倒输入及输出，W使得 输入由图4B右侧上的实施方案接收且输出在实施方案的左侧输出。在左侧输出之前，输入 接着首先由偶数部分及奇数部分78且接着由蝶形76处理。为易于说明的目的，考虑到此 IDCT实施方案可被描述为实施方案70B的镜像，未在单独图中展示与实施方案70B相反的此 IDCT实施方案。
[0170] 图4C为说明由替代因式分解引起的根据本发明的技术建构的另一示范性经缩放 接近正交4 X 4DCT-II实施方案70C的图。4 X 4DCT-n实施方案70C包括类似于图4A的蝶形单 元72及图4B的蝶形单元76的蝶形单元80,及偶数部分82A及奇数部分82ΒΓ部分82")。偶数 部分82A类似于偶数部分78A。奇数部分82B与奇数部分78B类似，因为正交性条件已放松，但 作为替代因式分解的结果，导致在内部因子A、B与经缩放因子ξ之间的不同关系，即，上文关 于方程式(3)所表示的关系。关于替代因式分解的更多信息可在2009年4月在MPEG第88次会 议（夏威夷毛伊岛（Maui，HI))上提交的MPEG输入文档M16438的由Y · A ·雷兹尼克 (Y.A.Reznik)及R · C ·契伍库拉(R.C.化ivukula)撰写的题为"用于高分辨率/高性能视频 编码的变换的设计(On Design of Transforms for Hi曲-Resolution/Hi曲-Performance Video Coding)"的文章中找到，所述文章的全部内容就如同在本文中完全陈述一样W引用 的方式并入本文中。
[0171] 值得注意地，将不同缩放因子应用于奇数系数Xi及X3,且在4X4DCT-II实施方案 70C中仅存在一个要近似的无理因子。为了保持正交，内部因子B通常必须设定到一除W二 的平方根且A必须设定到一。因此，从运些值改变内部因子A、B的值会导致非正交实施方案。 为了评估运些内部因子的各种值，使用被称为公因子近似技术的W上技术，其在上文关于 图4B提到。使用此技术，确定W下方程式（15) W使得可为内部因子A、B选择两个整数值W导 出参数ξ:
[0172]
(15)
[0173] W使得满足W下方程式(16)及(17):
[0174] Α/ξ3?，及 （16)
[0175] Β! ;-\吨。 U7)
[0176] W上方程式（15)确保对应近似的误差在量值方面变得平衡但正负号相反。在运些 假定下，导致展示为4 X 4DCT-n实施方案70C的整数缩放变换。
[0177] W下表3说明为整数C及S选择的各种值及所得的近似误差。
[017引 表3
[0179]
[0180] 更详细地考虑表3,当将变量A及B分别设定到7及5时，近似误差减小。A及B分别设 定到值7及5的4 X 4DCT-II实施方案70C在所列出的那些实施方案中可能提供在编码增益方 面(与复杂性增加(表3中未展示)相比较)的最多回报，如下文关于图7C所示。
[0181] 虽然上文关于类型II的DCT加 W描述，但图4C的实例中所示的实施方案70C也可表 示类型ΠI的DCT或反DCT实施方案。由实施方案70C形成反DCT设及颠倒输入及输出，W使得 输入由图4C右侧上的实施方案接收且输出在实施方案的左侧输出。在左侧输出之前，输入 接着首先由偶数部分及奇数部分82且接着由蝶形80处理。为易于说明的目的，考虑到此 IDCT实施方案可被描述为实施方案70C的镜像，未在单独图中展示与实施方案70C相反的此 IDCT实施方案。
[0182] 图5为说明例如图2的视频编码器20的编码装置在应用根据本发明的技术所建构 的4X4DCT实施方案时的示范性操作的流程图。最初，视频编码器20接收待编码的视频帖内 的当前视频块30(90)。运动估计单元32执行运动估计W比较视频块30与一个或一个W上邻 近视频帖中的块W产生一个或一个W上运动向量(92)。可从参考帖存储器34检索一个或一 个W上邻近帖。可针对可变大小的块，例如，16 X 16、16 X 8、8 X 16、8 X 8、4 X 4或更小的块大 小执行运动估计。运动估计单元32(例如)基于速率失真模型来识别邻近帖中的最紧密匹配 当前视频块30的一个或一个W上块，且确定邻近帖中的块与当前视频块之间的位移。在此 基础上，运动估计单元32产生一个或一个W上运动向量(MV)，其指示当前视频块30与来自 用于编码当前视频块30的参考帖的一个或一个W上匹配块之间的位移的量值及轨迹。一个 或一个W上匹配块将用作预测性(或预测)块用于帖间编码待编码块。
[0183] 运动向量可具有二分之一或四分之一像素精确度或甚至更精细的精确度，从而允 许视频编码器20W比整数像素位置更高的精确度跟踪运动且获得更好的预测块。当使用具 有分数像素值的运动向量时，在运动补偿单元36中进行内插运算。运动估计单元32使用例 如速率失真模型等某些准则来识别视频块的最佳块分割及一个或一个W上运动向量。举例 来说，在双向预测的状况下可存在一个W上的运动向量。使用所得的块分割及运动向量，运 动补偿单元36形成预测视频块(94)。
[0184] 视频编码器20通过在求和器48处从原始的当前视频块30减去由运动补偿单元36 产生的预测视频块来形成残余视频块(96)。块变换单元38应用产生残余变换块系数的变 换。块变换单元38包括根据本发明中描述的技术产生的4X4DCT-II单元52。块变换单元38 将经缩放4 X 4DCT-II单元52应用于残余块W产生残余变换系数的4 X 4块。4 X 4DCT-II单元 52通常将残余块从表示为残余像素数据的空间域变换到表示为DCT系数的频域(98)。变换 系数可包含DCT系数，其包括至少一个DC系数及一个或一个W上AC系数。
[0185] 量化单元40量化(例如，舍入)残余变换块系数W进一步减小位速率（100)。如上文 所提及，量化单元40通过并入有在因式分解期间所移除的内部因子来考虑经缩放4X4DCT-II单元52的经缩放性质。即，量化单元40并入有W上关于图4A到图4C的实施方案70A-70C所 提到的外部因子。由于量化通常设及乘法，因此将运些因子并入到量化单元40中不会增加 量化单元40的实施方案复杂性。在此方面，从经缩放4 X4DCT-II单元52移除因子在不增加 量化单元40的实施方案复杂性的情况下减小DCT-II单元52的实施方案复杂性，从而导致关 于视频编码器20的实施方案复杂性的净减小。
[0186] 赌编码单元46赌编码经量化的系数W更进一步减小位速率。赌编码单元46执行统 计无损耗编码(在一些情况下被称为赌编码）W产生经编码的位流（102)。赌编码单元46模 型化经量化DCT系数的概率分布且基于模型化概率分布来选择码簿(例如，CAVLC或CABAC)。 透过使用此码簿，赌编码单元46W压缩经量化DCT系数的方式选择用于每一经量化DCT系数 的码。赌编码单元46输出赌编码系数W作为存储到存储器或存储装置及/或发送到视频解 码器26的经编码位流(104)。
[0187] 重建构单元42及反变换单元44分别重建构经量化系数及应用反变换W重建构残 余块。求和单元50将重建构的残余块加到由运动补偿单元36产生的经运动补偿的预测块W 产生重建构的视频块W用于存储于参考帖存储器34中。重建构的视频块被运动估计单元32 及运动补偿单元36用于编码随后视频帖中的块。
[0188] 图6为说明例如图3的视频解码器26的编码装置在应用根据本发明的技术建构的4 X4DCT-III实施方案时的实例操作的流程图。视频解码器26接收已由视频编码器20编码的 经编码视频位流。特定来说，赌解码单元54接收经编码的视频位流且从位流解码经量化的 残余系数及经量化的参数，W及其它信息，例如，宏块编码模式及运动信息，其可包括运动 向量及块分割（106、108)。运动补偿单元56接收运动向量及块分割及来自参考帖存储器62 的一个或一个W上重建构的参考帖W产生预测视频块(110)。
[0189] 重建构单元58反量化(即，解量化)经量化的块系数（112)。反变换单元60将反变换 (例如，反DCT)应用于系数W产生残余块。更特定来说，反变换单元60包括经缩放4X4DCT-III单元68,反变换单元60将其应用于系数W产生残余块（114)。作为图2中所示的经缩放4 X4DCT-II单元52的反操作的经缩放4 X4DCT-III单元68可将系数从频域变换到空间域W 产生残余块。类似于W上的量化单元40,重建构单元58通过在实施方案复杂性极小增加(如 果存在）的情况下将在因式分解期间所移除的外部因子并入到重建构过程中来考虑4 X 4DCT-III单元68的经缩放性质。从经缩放4X4DCT-III单元68移除因子可减小实施方案复 杂性，借此导致视频解码器26的复杂性的净减小。
[0190] 接着通过求和器66将预测视频块与残余块求和W形成经解码的块（116)。可应用 解块滤波器(未图示）W对经解码的块进行滤波W移除成块假影。经滤波的块接着被置于参 考帖存储器62中，所述参考帖存储器62提供用于解码随后视频帖的参考帖且还产生经解码 的视频W驱动例如图1的显示装置28的显示装置(118)。
[0191] 图7A到图7C为说明根据本发明的技术所建构的S种不同4X4DCT-n实施方案(例 如图4A到图4C的实施方案70A-70C)中的每一者的相对于位速率的峰值信噪比的曲线120A-120C的图。图7A为说明根据本发明的技术所建构的正交经缩放4 X4DCT-II实施方案(例如 图4A的实施方案70A)的相对于位速率的峰值信噪比(PSNR)的曲线120A的图。根据曲线120A 的图解，实线表示由H.264视频编码标准并入有的标准4X4DCT-II实施方案。点线表示能够 执行无理乘法及加法的理论最佳DCT实施方案。长划线表示内部因子C及S分别设定到2及5 的正交4X4DCT-II实施方案70A。短划线表示内部因子C及S分别设定到3及7的正交4X 4DCT-II实施方案70A。点划线表示内部因子C及S分别设定到5及12的正交4X4DCT-II实施 方案70A。值得注意地，内部因子C及S设定到2及5的正交4X4DCT-II实施方案70A比H.264实 施方案更准确地近似理论最佳DCT-II实施方案。此外，内部因子C及S设定到3及7或5及12的 正交4 X 4DCT-II实施方案70A与内部因子C及S设定到2及5的正交4 X 4DCT-n实施方案70A 相比并不提供PSNR方面的显著增益，尽管运些实施方案设及更复杂的实施方案。
[0192] 图7B为说明根据本发明的技术建构的正交经缩放4X4DCT-n实施方案(例如图4B 的实施方案70B)的相对于位速率的峰值信噪比(PSNR)的曲线120B的图。根据曲线120B的图 解，实线表示由H.264视频编码标准并入有的标准正交4X4DCT-II实施方案。点线表示能够 执行无理乘法及加法的理论最佳DCT实施方案。短划线表示内部因子C及S分别设定到1及2 的接近正交4X4DCT-II实施方案70B。长划线表示内部因子C及S分别设定到2及5的接近正 交4X4DCT-n实施方案70B。点划线表示内部因子C及S分别设定到5及12的接近正交4X 4DCT-II实施方案70B。值得注意地，内部因子C及S设定到2及5的接近正交4X4DCT-II实施 方案70B在PSNR方面并不比H. 264实施方案好很多。然而，内部因子C及S设定到1及2的接近 正交4 X 4DCT-n实施方案70B提供甚至比理论 DCT实施方案还要好的PSNR，而内部因子C及S 设定到5及12的接近正交4X4DCT-n实施方案70B最准确地表示理论DCT实施方案。
[0193] 图7C为说明从替代因式分解所导出且根据本发明的技术所建构的接近正交经缩 放4X4DCT-n实施方案(例如图4C的实施方案70C)的相对于位速率的峰值信噪比(PSNR)的 曲线120C的图。根据曲线120C的图解，实线表示由H. 264视频编码标准并入有的标准正交4 X 4DCT-II实施方案。点线表示能够执行无理乘法及加法的理论最佳DCT实施方案。长划线 表示内部因子B及A分别设定到2及3的接近正交4X4DCT-II实施方案70C。短划线表示内部 因子B及A分别设定到5及7的接近正交4X4DCT-II实施方案70C。点划线表示内部因子B及A 分别设定到29及41的接近正交4X4DCT-II实施方案70C。值得注意地，内部因子B及A设定到 2及3的接近正交4 X4DCT-II实施方案70C在PSNR方面比H. 264实施方案更差。然而，内部因 子B及A设定到5及7的接近正交4X4DCT-n实施方案70C提供比H.264实施方案好的PSNR，且 准确地表示理论DCT实施方案而不需要内部因子C及S设定到29及41的接近正交4 X 4DCT-II 实施方案70C的复杂性。
[0194]本发明的技术可在广泛多种装置或设备中实施，其包括例如移动电话等无线通信 装置手持机、集成电路（1C)或一组1C(即，忍片组）。已描述任何组件、模块或单元W强调功 能方面且不一定需要通过不同硬件单元实现。本文中所描述的技术也可在硬件、软件、固件 或其任何组合中实施。描述为模块、单元或组件的任何特征可在集成逻辑装置中共同实施， 或作为离散但可交互操作的逻辑装置单独实施。在一些状况下，各种特征可实施为集成电 路装置，例如，集成电路忍片或忍片组。
[01M]如果在软件中实施，则技术可至少部分地通过包含指令的计算机可读媒体实现， 所述指令在处理器中执行时执行W上所述的方法中的一者或一者W上。计算机可读媒体可 包含作为物理结构的计算机可读存储媒体且可形成计算机程序产品的一部分，计算机程序 产品可包括包装材料。计算机可读存储媒体可包含例如同步动态随机存取存储器(SDRAM) 等随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除 可编程只读存储器巧EPROM)、快闪存储器、磁性或光学数据存储媒体及其类似物。在此意义 上，计算机可读存储媒体可在一些方面被认为是非暂时性计算机可读存储媒体。
[0196] 代码或指令可由一个或一个W上处理器，例如，一个或一个W上数字信号处理器 (DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成 或离散逻辑电路来执行。因此，术语"处理器"如本文中所使用可指代W上结构或适合于实 施本文中所描述技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功 能性可提供于经配置W用于编码及解码的专用软件模块或硬件模块内，或并入于组合的视 频编解码器中。又，可在一个或一个W上电路或逻辑元件中充分地实施所述技术。
[0197] 本发明还预期多种集成电路装置中的任一者，其包括实施本发明中所描述技术中 的一者或一者W上的电路。此电路可经提供于单一集成电路忍片中或提供于所谓的忍片组 中的多个可交互操作的集成电路忍片中。运些集成电路装置可用于多种应用中，其中一些 可包括在例如移动电话手持机等无线通信装置中的使用。
[0198] 已描述技术的各种方面。运些及其它方面在W下权利要求书的范围内。
【主权项】
1. 一种用于编码媒体数据的设备，其包括： 块变换单元，其经配置以应用4点离散余弦变换DCT以确定一个或多个变换系数，所述4 点DCT具有奇数部分，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子及第二内部 因子(C、S)以使得所述经缩放因子等于所述第一内部因子(C)的平方加所述第二内部因子 (S)的平方的总和的平方根，所述第一内部因子及所述第二内部因子(C、S)互质且大于或等 于2;以及 量化单元，其经配置以基于所述一个或多个变换系数确定一个或多个经量化变换系 数。2. 根据权利要求1所述的设备，其中确定所述一个或多个经量化变换系数包括缩放所 述一个或多个变换系数。3. 根据权利要求2所述的设备，其中缩放包括至少基于所述经缩放因子(ξ)将所述变换 系数乘以一因子。4. 根据权利要求1所述的设备，其中所述块变换单元经配置以通过应用所述4点DCT来 应用正交的4X4DCT。5. 根据权利要求4所述的设备，其中所述块变换单元经配置以在行维度中应用所述4点 DCT且在列维度中应用所述4点IDCT。6. 根据权利要求1所述的设备，其中所述块变换单元应用第一内部因子及第二内部因 子(C、S)，其中（C、S)等于(2、5)、（3、7)、（5、12)和（17、41)中的一个。7. 根据权利要求1所述的设备，其中所述DCT是类型II的DCT。8. 根据权利要求1所述的设备，其中所述块变换单元包括处理器，所述处理器经配置以 执行软件以应用所述正交4点DCT的所述DCT。9. 一种用于编码媒体数据的设备，其包括： 块变换单元，其经配置以应用4点离散余弦变换DCT以确定一个或多个变换系数，所述4 点DCT具有奇数部分，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子及第二内部 因子(C、S)以使得所述经缩放因子等于所述第一内部因子(C)的平方加所述第二内部因子 (S)的平方的总和的平方根，所述第一内部因子及所述第二内部因子(C、S)为二元有理数； 以及 量化单元，其经配置以基于所述一个或多个变换系数确定一个或多个经量化变换系 数。10. 根据权利要求9所述的设备，其中确定所述一个或多个经量化变换系数包括缩放所 述一个或多个变换系数。11. 根据权利要求10所述的设备，其中缩放包括至少基于所述经缩放因子(ξ)将所述变 换系数乘以一因子。12. 根据权利要求9所述的设备，其中所述块变换单元经配置以通过应用所述4点DCT来 应用实质上正交的4 X 4DCT的4 X 4DCT。13. 根据权利要求12所述的设备，其中所述块变换单元经配置以在行维度中应用所述4 点DCT且在列维度中应用所述4点DCT。14. 根据权利要求9所述的设备，其中所述DCT是类型II的DCT。15. 根据权利要求9所述的设备，其中所述块变换单元包括处理器，所述处理器经配置 以执行软件以应用所述4点DCT。16. -种用于编码媒体数据的设备，其包括： 块变换单元，其经配置以应用4点离散余弦变换DCT以确定一个或多个变换系数，所述4 点DCT具有奇数部分，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一内部因 子及第二内部因子(C、S):其中变量ω及φ表示无理内部变换因子且变量C及S表示在所述非正交4X4DCT的整数 实施方案中代替变量ω及φ使用的内部变换因子，所述第一内部因子及所述第二内部因子 (C、S)互质且大于或等于2;以及 量化单元，其经配置以基于所述一个或多个变换系数确定一个或多个经量化变换系 数。17. 根据权利要求16所述的设备，其中确定所述一个或多个经量化变换系数包括缩放 所述一个或多个变换系数。18. 根据权利要求17所述的设备，其中缩放包括至少基于所述经缩放因子(ξ)将所述变 换系数乘以一因子。19. 根据权利要求16所述的设备，其中所述块变换单元经配置以通过应用所述4点DCT 应用正交的4X4DCT。20. 根据权利要求19所述的设备，其中所述块变换单元经配置以在行维度中应用所述4 点DCT且在列维度中应用所述4点IDCT。21. 根据权利要求16所述的设备，其中所述块变换单元应用第一内部因子及第二内部 因子(C、S)，其中（C、S)等于(2、5)、（3、7)、（5、12)和（17、41)中的一个。22. 根据权利要求16所述的设备，其中所述DCT是类型II的DCT。23. 根据权利要求16所述的设备，其中所述块变换单元包括处理器，所述处理器经配置 以执行软件以应用所述正交4点DCT的所述DCT。24. -种用于编码媒体数据的设备，其包括： 块变换单元，其经配置以应用4点离散余弦变换DCT以确定一个或多个变换系数，所述4 点DCT具有奇数部分，所述奇数部分应用按以下方程式与经缩放因子(ξ)有关的第一内部因 子及第二内部因子(C、S):其中变量ω及φ表示无理内部变换因子且变量C及S表示在所述非正交4X4DCT的整数 实施方案中代替变量ω及φ使用的内部变换因子，所述第一内部因子及所述第二内部因子 (C、S)为二元有理数；以及 量化单元，其经配置以基于所述一个或多个变换系数确定一个或多个经量化变换系 数。25. 根据权利要求24所述的设备，其中确定所述一个或多个经量化变换系数包括缩放 所述一个或多个变换系数。26. 根据权利要求25所述的设备，其中缩放包括至少基于所述经缩放因子(ξ)将所述变 换系数乘以一因子。27. 根据权利要求24所述的设备，其中所述块变换单元经配置以通过应用所述4点DCT 来应用实质上正交的4 X 4DCT的4 X 4DCT。28. 根据权利要求27所述的设备，其中所述块变换单元经配置以在列维度中应用所述4 点DCT且在行维度中应用所述4点DCT。29. 根据权利要求24所述的设备，其中所述DCT是类型II的DCT。30. 根据权利要求24所述的设备，其中所述块变换单元包括处理器，所述处理器经配置 以执行软件以应用所述4点DCT。31. -种用于编码媒体数据的设备，其包括： 块变换单元，其经配置以应用4点离散余弦变换DCT以确定一个或多个变换系数，所述4 点DCT具有奇数部分，所述奇数部分将第一内部因子及第二内部因子(A、B)用作所述4X4反 DCT的一部分，该第一内部因子及第二内部因子(A、B)按以下方程式与经缩放因子(ξ)有关：其中所述经缩放因子(ξ)等于所述第一内部因子(A)加所述第二内部因子(B)的总和除 以一加一除以二的平方根的总和，所述第一内部因子及所述第二内部因子(Α、Β)互质且大 于或等于2;以及 量化单元，其经配置以基于所述一个或多个变换系数确定一个或多个经量化变换系 数。32. 根据权利要求31所述的设备，其中确定所述一个或多个经量化变换系数包括缩放 所述一个或多个变换系数。33. 根据权利要求32所述的设备，其中缩放包括至少基于所述经缩放因子(ξ)将所述变 换系数乘以一因子。34. 根据权利要求31所述的设备，其中所述块变换单元经配置以通过应用所述4点DCT 来应用正交的4X4DCT。35. 根据权利要求34所述的设备，其中所述块变换单元经配置以在行维度中应用所述4 点DCT且在列维度中应用所述4点IDCT。36. 根据权利要求31所述的设备，其中所述块变换单元应用第一内部因子及第二内部 因子(Α、Β)，其中(Α、Β)等于(3、2)、（7、5)、和(29、41)中的一个。37. 根据权利要求31所述的设备，其中所述DCT是类型II的DCT。38. 根据权利要求31所述的设备，其中所述块变换单元包括处理器，所述处理器经配置 以执行软件以应用所述正交4点DCT的所述DCT。39. -种用于编码媒体数据的设备，其包括： 块变换单元，其经配置以应用4点离散余弦变换DCT以确定一个或多个变换系数，所述4 点DCT具有奇数部分，所述奇数部分将第一内部因子及第二内部因子(Α、Β)用作所述4X4反 DCT的一部分，该第一内部因子及第二内部因子(Α、Β)按以下方程式与经缩放因子(ξ)有关 的：其中所述经缩放因子(ξ)等于所述第一内部因子(A)加所述第二内部因子(B)的总和除 以一加一除以二的平方根的总和，所述第一内部因子及所述第二内部因子(A、B)为二元有 理数；以及 量化单元，其经配置以基于所述一个或多个变换系数确定一个或多个经量化变换系 数。40. 根据权利要求39所述的设备，其中确定所述一个或多个经量化变换系数包括缩放 所述一个或多个变换系数。41. 根据权利要求40所述的设备，其中缩放包括至少基于所述经缩放因子(ξ)将所述变 换系数乘以一因子。42. 根据权利要求39所述的设备，其中所述块变换单元经配置以通过应用所述4点DCT 来应用实质上正交的4 X 4DCT的4 X 4DCT。43. 根据权利要求42所述的设备，其中所述块变换单元经配置以在列维度中应用所述4 点DCT且在行维度中应用所述4点IDCT。44. 根据权利要求39所述的设备，其中所述DCT是类型II的DCT。45. 根据权利要求39所述的设备，其中所述块变换单元包括处理器，所述处理器经配置 以执行软件以应用所述4点DCT。
【专利摘要】本发明大体来说是描述提供用于媒体编码的4×4变换的技术。描述遵守这些技术的许多不同的4×4变换。作为一个实例，一种设备包括4×4离散余弦变换DCT硬件单元。所述DCT硬件单元实施具有奇数部分的正交4×4DCT，所述奇数部分应用与经缩放因子(ξ)有关的第一内部因子及第二内部因子(C、S)以使得所述经缩放因子等于所述第一内部因子(C)的平方加所述第二内部因子(S)的平方的总和的平方根。所述4×4DCT硬件单元将所述4×4DCT实施方案应用于媒体数据以将所述媒体数据从空间域变换到频域。作为另一实例，一种设备实施非正交4×4DCT以改善编码增益。
【IPC分类】G06F17/14, H04N19/61, H04N19/42, H04N19/44, H04N19/625
【公开号】CN105491389
【申请号】CN201610112267
【发明人】尤里娅·列兹尼克
【申请人】高通股份有限公司
【公开日】2016年4月13日
【申请日】2010年6月4日
【公告号】CN102667757A, CN102667757B, CN105744280A, EP2438535A2, US9069713, US20100309974, US20150256854, US20150256855, WO2010141899A2, WO2010141899A3
最新回复(0)