加水印时的块效应和保真度的制作方法

xiaoxiao2020-7-22  7

专利名称:加水印时的块效应和保真度的制作方法
技术领域
本发明涉及使用基线亮度保真度模型和块效应保真度模型预测和表征与水印相关伪像的可见性的过程。
背景技术
视频流中的水印嵌入往往要求不是显而易见的,但有时引入了可见的伪像。因此, 需要开发出可以识别引入可见伪像的变化的客观可见性测度,以便可以避免引起这些变化的水印。

发明内容
一种方法包括提供应用于视频的潜在水印;根据亮度确定所述潜在水印是否是可见的或不可用的;根据块效应确定所述水印是否是可见的或不可用的;以及应用已经确定为观察人员不可见的水印。将所述视频划分成帧,并且将所述帧划分成块。为直接应用拟用水印的块确定亮度值和块效应值。另外,可以为与水印相联系的变化构建传播路径,以便只为所述传播路径中的块确定亮度值和块效应值。由于帧内预测或帧间预测,所述传播路径可以应用于当前帧。所述传播路径可以为直接应用水印的块提供亮度值的变化,并且可以为间接变化的块提供变化。所述方法可以进一步为改变块内的每个宏块收集绝对亮度变化,并且可以将改变块中的最大绝对亮度变化与可见性或不可用性的阈亮度水平相比较。
另外,一种视频系统包括处理器,适用于收集应用于视频的多个潜在水印;亮度计算器,适用于计算与潜在水印的应用相联系的视频的亮度变化;块效应计算器,适用于计算与潜在水印的应用相联系的视频的块效应;以及列表收集器,适用于收集未超越阈值亮度和块效应值的水印。所述系统可以是视频编码器、解码器、处理来自所述解码器的输出的后处理器、向所述编码器提供输入的预处理器等,其中所述阈值亮度和块效应值是低于对于观看人员而言觉察不到的亮度和块效应的变化的水平。


现在参考附图举例描述本发明。
图1是应用基于绝对亮度差的基线亮度保真度模型的本发明实施例的方块图; 图2是应用基于绝对亮度差和块效应测度的保真度模型的本发明实施例的方块图; 图3是示出基于绝对亮度差和块效应测度的保真度模型的实现的本发明更详细实施例; 图4是传播映像的例示; 图5是例示传播映像的构建的方块图;以及 图6是为块效应表征划分的帧段。
具体实施例方式本发明提供了预测与预期水印相联系的伪像的可见性的手段。该预测可见性的手段是基于亮度保真度模型和块效应保真度模型的测度。针对这些测度,可以避免产生不可用可见伪像的预期水印,并且可以应用不产生不可用或可见伪像的水印。
重要的是要指出,本发明尤其可用于H. ^4/AVC视频加水印或由于帧间预测中的运动向量变化和帧内预测中的参考像素变化而由嵌入可以引入许多分块伪像的任何视频编码。为了避免这些分块伪像,人们开发出了块效应保真度测度,在本说明书中后面将对其作详细描述。
而且,本发明打算包括修改CABAC编码的H. 264/AVC流,和生成遵从CABAC (基于上下文的自适应二进制算术编码)/AVC(高级视频编码)的变化的列表。在一个实施例中, 所得列表的每个条目标识特定语法元素、它的原始值、和候选替代值。出现在这个列表中的语法元素被认为是可变语法元素,并且可以不止一次地出现在该列表中,每次具有不同候选替代值。
可以选择这个列表中的条目的子集用于加水印。本发明的一个实施例区分引入可见伪像的变化和未引入可见伪像的变化,于是将这些变化分别标成可见的或不可见的,以便使该分类与观察人员进行的分类相似。因此,可以从所考虑的变化中除去引入可见伪像的那些变化,从而留下可以用于实现不可见水印的候选替代值的子集。
1.基线亮度保真度模型部件 下文将亮度保真度模型称为基线保真度模型。作为第一种近似,如果导致直接受变化影响的块中的亮度值的绝对变化大,则将该变化分类成可见的。
在基线保真度模型中,将可见性测度与阈值相比较。首先考虑单个16X16宏块的可见性测度。可见性测度是该块内的绝对亮度变化之和。对于宏块j表示成AbsDiffj的这个可见性测度用公式表达成 其中,xorg(i)是原始未标记画面的第j宏块中的第i像素的亮度,和是该宏块的加水印形式中的同一像素的亮度。对于阈值h,如果AbsDiffj ^ h,则将第j块中的变化分类成可见的,而如果AbsDiffj < h,则将其分类成不可见的。可以从嵌入列表中除去分类成可见的变化,以避免加水印内容中的可见伪像。重要的是要指出,较低的阈值h有助于过滤出更多的可见伪像。但是,也可能过滤出对于嵌入来说导致较少可变块的许多不可见水印。另一方面,较高的阈值可以提供较多可变块,但存在引入可见伪像的风险。可以调整该阈值以达到所希望的折衷。
在H. 264/AVC视频编码中,由于帧内预测和帧间预测,一个块的变化可能传播给其它块。因此,除了直接受变化影响的块之外,还可能存在许多间接受影响的块。这些受变化影响的块统称为传播路径或传播映像。传播路径被描述成单个变化如何在同一帧内传播。
传播映射功能可以集成在H. 264解码器中。这样,可以生成可以描述单个变化如何通过空间传播的传播映像。用一种算法来建立传播映像,以便跟踪受影响的块和它们的变化。传播映射可用在许多方面。可以用于检查变化导致的视觉失真。可以用于避免(1) 可能导致重叠传播映像的变化;(2)可能落在前一个变化的传播路径内的变化;或C3)组合在一起使得第三块受两者影响的许多变化。当将这些变化应用于加水印时,传播映像可以用于改善检测区。
对于作为修改H. 264/AVC编码视频的应用的数字加水印,这里识别到,有些变化可能意外地传播给画面或帧的其它区域。如果一个映像指示变化传播的所有区域,则可以将保真度评估应用于所有那些区域。加水印时的另一个关注点是可能想在一个块的一个切片中造成多个变化。在加水印时,重要的是要知道在解码图像上一个变化将有什么效果,并且往往将此表达成相对于内容的未标记形式的变化。但是,如果前一个变化已经传播给当前区域,并且造成另一个变化,那么所得解码图像可能包括两个变化的效果。如果第一个变化是已知的,则可以预测结果,但不可能事先知道是否应用第一个变化。如果构建指示一个变化将传播的所有区域的映像,那么可以避免在那条传播路径的内部造成其它变化。也可能发生这两个问题的综合问题。如果间接修改一个画面的一个区域,因为不同区域中的变化已经传播给当前区域,所以在评估那个变化的保真度影响时可以检查当前区域。但是,可能存在都可以传播给当前区域的多个变化。如果可获得所有变化的传播路径的映像,则可以识别重叠传播的区域,并且可以考虑影响的所有综合影响。
图4(a)示出了一个示范性传播映像。这个传播映像400与直接改变了运动向量的一个块410相联系。该画面中的其它块420是由于传播将间接发生变化的块。当一个块由于直接修改或因为落在另一个变化的传播路径内而发生变化时,该变化存在进一步传播给它的邻块的可能性。图4(b)例示了当只有一个块430直接发生变化时,由于这种传播可能修改了亮度值的四个邻块440。改变块的传播映像P代表由于传播,亮度值也发生变化的块P的集合。传播映像中的每个块用指示初始变化、当前块的预测模式、和当前块中的变化的数据结构表示,并且表示成 ρ = {head_node_info, mode, cur_node_info}。
“heacLnode”用开始变化的运动向量的位置和可替代值唯一地标识改变块。传播映像P中的所有节点具有相同“heacLnode”。元素“mode”指示当前块的预测模式,它可以是帧内预测或帧间预测。元素“cur_n0de”记录有关当前块的信息。“CUr_n0de”包含帧间预测块的原始和新运动向量、和帧内预测块的帧内预测模式和参考块。
图5示出了构建传播映像的方法。利用框510中的改变块ρ将传播映像P初始化。然后在评估框520上,作出确定以评估块ρ是否是空的。如果块ρ非空,那么在检查框 530中检查块ρ的邻块Qi(i = 1,...,4)的每一个。对于图4b中的示范性配置,块ρ具有 4个邻块。这些检查每一次的目的是确定块ρ的变化是否传播给邻块、。为此,可以比较使用与P相联系的原始值以及改变值的解码。如果块、是帧间预测块,那么在帧间预测路径MO中,可以检查使用ρ的新运动向量和其它相邻块的那些新运动向量预测的运动向量。如果不同于原始运动向量,那么该变化将传播给这个邻块,在传播框560中将块Cii附加到传播映像P中。如果在帧内预测路径阳0中帧内预测α”并且在预测时将块ρ用作参考,那么该变化将传播给这个邻块,在传播框560中将块α i附加到传播映像P中。在检查了所有四个邻块之后,考虑P中的下一个元素。重复这个过程直到在P中没有新元素,然后到达完成框570。
本发明打算包括在前一个步骤建立了潜在修改的列表的加水印系统的背景下将传播映射集成到H. 264解码器中的特征,其中每个潜在修改由块标识符、可以修改运动向量的指示、和那个运动向量的可替代值组成。注意,此刻,每个块可以存在大量潜在修改。在后一步骤中,可以优先删减潜在修改的列表,以便没有一个块有多于一个的修改。
可以将传播映像P表示成链接表,总的来说,该链接表标识受潜在修改影响的宏块/分区。随着解码器处理B个切片的宏块(按光栅扫描次序),可以继续将受影响的宏块 /分区加入相应链接表中。
现在描述作为传播映射与AVC解码器的集成的优选详细集成算法。给定包含1 个条目的B切片中的潜在修改的列表,每个条目对应于存在一个可替代运动向量的可修改运动向量,可以构成1个链接表,以及每个列表可以初始化成包含一个节点、和潜在修改本身。节点P的样本数据结构显示在表1中,它包含宏块/分区的地点信息、原始运动向量信息和新运动向量信息。
表1 每个传播映像的链接表的数据结构
权利要求
1.一种方法,包括提供可应用于视频的可能水印;响应亮度值确定所述水印是否是可见的;响应块效应确定所述水印是否是可见的;以及响应确定步骤中的亮度值和块效应将所述水印应用或不应用于视频。
2.如权利要求1所述的方法,进一步包括 从多个拟用水印中选择所述水印。
3.如权利要求2所述的方法,其中将所述视频的帧划分成块,并且所述方法进一步包括为直接应用所述水印的块确定亮度值的变化。
4.如权利要求3所述的方法,进一步包括确定为直接应用所述水印的块提供亮度值的变化和由于帧内预测或由于帧间预测为当前帧中的块提供亮度值的变化的传播路径。
5.如权利要求2所述的方法,进一步包括确定为直接应用所述水印的块提供亮度值的变化和为间接变化的其它块提供亮度值的变化的传播路径;根据所述传播路径中的块中的宏块的亮度选择已经确定为不可见的拟用水印; 确定各块的块效应分数;对于根据块效应不可见的宏块,将宏块数据放入可接受块列表中。
6.一种方法,包括向视频提供多个变化,其中所述视频被划分成块,和所述块按宏块划分; 为一个块中的一个宏块的变化确定绝对亮度变化;根据所述绝对亮度变化确定亮度变化是否是可见的,并响应可见性过滤出所述变化; 如果根据所述绝对亮度变化,所述变化是不可见的,确定所述变化的块效应; 根据所述块效应确定所述变化的块效应是否是可见的,并响应可见性过滤出所述变化;以及响应基于所述块效应的可见性将所述变化加入或不加入可变块列表中。
7.如权利要求6所述的方法,包括建立确定受所述变化影响的视频的每个块的传播映像; 收集所述传播映像中的每个宏块的绝对亮度变化;以及将所述传播映像中的最大绝对亮度变化与可见性的阈值亮度水平相比较。
8.如权利要求7所述的方法,包括逐个选择所述传播映像中的其余块的每一个,并且将它们和它们的宏块作为一个块来处理。
9.如权利要求6所述的方法,包括建立确定受所述变化影响的视频的每个块的传播映像;收集所述传播中的块的块效应分数;以及将所述块的块效应分数与可见性的块效应阈值相比较。
10.如权利要求8所述的方法,包括收集所述传播中的块的块效应分数;以及将所述块的块效应分数与可见性的块效应阈值相比较,其中将不超过亮度和块效应的可见性阈值的变化加入可变块列表中。
11.一种系统,包括处理器,适用于收集或生成应用于视频的多个潜在水印;亮度计算器,适用于计算与潜在水印的应用相联系的视频的亮度变化;块效应计算器,适用于计算与潜在水印的应用相联系的视频的块效应;以及列表收集器,适用于收集未超越阈值亮度和块效应值的水印。
12.如权利要求11所述的系统,其中所述系统是视频编码器、解码器、处理来自所述解码器的输出的后处理器、或向编码器提供输入的预处理器。
13.如权利要求12所述的系统,其中所述阈值亮度和块效应值是观看人员觉察不到亮度和块效应的变化的水平。
14.如权利要求11所述的系统,其中所述处理器适用于H.264/AVC视频加水印。
15.如权利要求11所述的系统,其中所述处理器适用于修改CABAC编码视频流。
16.如权利要求11所述的系统,其中所述列表收集器或处理器适用于识别像特定语法元素、原始值、和候选替代值那样的水印条目。
17.如权利要求16所述的系统,其中所述列表收集器或处理器适用于让给定语法元素不止一次地出现在所收集水印的列表中,其中为所述给定语法元素的不同条目提供不同候选替代值。
18.如权利要求17所述的系统,其中所述列表收集器或处理器适用于划分为加水印指定的子集。
全文摘要
一种视频系统,包括处理器,适用于收集或生成应用于视频的多个潜在水印;亮度计算器,适用于计算与潜在水印的应用相联系的视频的亮度变化;块效应计算器,适用于计算与潜在水印的应用相联系的视频的块效应以及列表收集器,适用于收集未超越阈值亮度和块效应值的水印。该系统可以是视频编码器,其中所述阈值亮度和块效应值是低于观看人员觉察不到亮度和块效应的变化的水平。
文档编号G06K9/48GK102187351SQ200980141540
公开日2011年9月14日 申请日期2009年8月20日 优先权日2008年8月20日
发明者何杉, 杰弗里·A·布卢姆, 邹德坤 申请人:汤姆森特许公司

最新回复(0)