一种基于积分匹配的快速图像协同显著区域监测方法
一种基于积分匹配的快速图像协同显著区域监测方法
【技术领域】
[0001] 本发明涉及计算机视觉与图像处理领域，尤其涉及一种基于积分匹配的快速图像 协同显著区域监测方法，本方法是通过在规则的超像素网格上使用高维积分匹配算法实现 的。
【背景技术】
[0002] 本发明中涉及到的【背景技术】有：显著性检测方法（SaliencyDetectionMethod): 又称为单一图像的显著性检测方法，旨在从一幅图像中将显著的前景目标或区域提取出 来。近年来，显著性检测模型已经得到了广泛的应用图像分割、目标检测与识别、图像 拼接等。常用的方法有：SF[1]、FT[2]、RCm和HC[3]。
[0003] SF的基本思想为：将显著性看作为一个滤波器，使用滤波器的方法加速。Perazzi 主要对局部和全局两种显著特征的公式进行了分析，提出了一种在线性时间内计算的方 法。
[0004] FT:Achanta等人从频率域角度出发，首次提出了一种基于全局对比的显著区域 检测的方法。该方法将经过高斯低通滤波图像中的每个像素值和整幅图像的平均像素值之 间的欧几里得距离作为该点的显著值。该方法非常简单，时间消耗非常低，且实验结果在查 准率-差全率方面的效果也堪称优良。然而FT在以下两种情况下会失效：
[0005] 1.显著区域的颜色占图像中的大部分，通过方法[4]计算后，背景会具有更高的显 著值；
[0006] 2.背景中含有少量突出的颜色，这样背景中的这部分颜色的显著值也会非常高。
[0007] HC:基于直方图对比度的方法，每一个像素的显著性值是由它与图像中所有其他 像素的颜色差异来确定，得到全分辨率显著性图像；
[0008] RC:基于局部对比度的方法，先将图像分割成小区域，采用的分割方法是基于图的 分割，基本分割思想是将每个像素点作为无向图的顶点，两个像素点之间的不相似度作为 边的权重，要求连接相同区域内的两个顶点的边的最大权重要小于连接不同区域的顶点的 边的最小权重，在迭代过程中进行顶点归纳与区域合并；每个区域的显著性值由它与其他 所有区域的空间距离和区域像素数加权的颜色差异来确定；空间距离为两个区域重心的欧 氏距离，较远区域分配较小权值；
[0009] 以上四种方法只是检测单幅图像的显著对象，但是大部分情况下都倾向于从视频 序列中检测出显著对象，而运用以上四种方法，则会在忽视视频帧的前后相关性的前提下 一帧一帧地去检测显著对象，这时准确性不可避免的就会下降。
[0010] 协同显著检测方法（Co-SaliencyDetectionMethod)偏向于从一个图像对或多 幅图像中检测出这些图像所共有的显著区域，而忽视每幅图像中所独有的显著目标。常用 的方法有：PC[5]、MS[6]、CC[7]。本发明也属于这一类。
[0011]PC:在前置注意方案（preattentivescheme)下检测出协同显著对象。
[0012] MS:单幅图像显著图SSIM(singleimagesaliencymap)和多幅图像显著图 MISM(multi-imagesaliencymap)的线性组合。
[0013] CC:通过使用对比（contrast)、空间（spatial)和关联（corresponding)的线索 来计算图像聚类的显著性的方法检测出协同显著对象。
[0014] 以上三个方法的时间成本较高而准确度低。
[0015] 超像素网格（SuperpixelGrid):图像经过超像素分割后，得到的是不规则的超像 素结构，在使用其对图像进行处理时，这种不规则结构导致效率比较低。为将任意不规则的 超像素结构进行规整化排序，近年来，在图像处理领域，一些研宄人员提出了一个超像素网 格的概念。利用目标图像的超像素分割结果，基于每一块超像素的坐标将其动态地置于一 个虚拟的矩形网格中：该网格结构应该尽可能地保留原超像素结构的整体连贯性、超像素 之间的连接性、局部以及全局特征；引入伪节点来保持网格规整的结构和传递能量。近年来 生成超像素网格的一些常用方法有SuperLatice[8]、LatticeCut[9]、TurboPixel[1°]、SEEDS[11] 和SP-Grid[12]。
[0016] 积分图（IntegralImage):为了快速计算图像任意一个区域的特征而在[13]中被 提出来。在积分图中任意一个像素点（x，y)的值可以表示为：
[0018]其中，S(x，y)表示积分图中点（x，y)的值，i(x'，y'）表示原图像中像素点（x'，y'） 的值。使用公式：
[0019] r(x,y) =r(x,y-1)+i(x,y)
[0020] S(x,y) =S(x-1,y)+r(x,y)
[0021] 进行迭代运算即可得到原图像的积分图。
[0022] 其中，r(x，y)表示第x行的从第一个元素到第y个元素的和，定义迭代下限 r(x, -1) =S(_l,y) = 0(对于r(x,y-1)，相当于y取值为 0 ;
[0023] 对于S(x_l，y)，相当于x取值为0) ;r(x，y_l)的定义与r(x，y)类似，S(x_l，y)的 定义与S(x,y)类似。
【发明内容】
[0024] 本发明提供了一种基于积分匹配的快速图像协同显著区域监测方法，本发明通过 建立一个显著惩罚图、一个鲁棒的色彩模型和高维积分匹配方法以及利用这个方法来从多 幅图像中提取出最大协同显著对象，详见下文描述：
[0025] -种基于积分匹配的快速图像协同显著区域监测方法，其特征在于，所述快速图 像协同显著区域监测方法包括以下步骤：
[0026] 生成显著图，在所述显著图的基础上建立显著惩罚图；
[0027] 建立鲁棒的色彩模型，通过所述色彩模型获取图像对中两个区域的余弦相似度；
[0028] 构建高维积分匹配方法，通过所述高维积分匹配方法对最大协同显著区域进行检 测。
[0029] 其中，所述建立鲁棒的色彩模型，通过所述色彩模型获取图像对中两个区域的余 弦相似度的步骤具体为：
[0030]i' = (ir/ 0，ig/ 0，ib/ 0)，其中 0 =max(ir，ig，ib)
[0031] i'为鲁棒的色彩模型中的每一个像素，Uig，ib为像素点的三个值；
[0032] 两个区域的余弦相似度为：
[0034] 两个区域对应的直方图分别为匕和h2。
[0035] 其中，所述构建高维积分匹配方法，通过所述高维积分匹配方法对最大协同显著 区域
[0036] 进行检测的步骤具体为：
[0037] 1)二维积分图的快速构造以及矩形区域值的快速计算；
[0038] 2)在二维积分图的基础上进行高维积分表的快速构造以及高位矩形区域值的快 速计算；
[0039] 3)计算两个高维区域的相似度，实现高维区域的积分匹配，获取最大的协同显著 区域。
[0040] 本发明提供的技术方案的有益效果是：相比于其它协同显著性检测方法 (Co-saliencyDetectionMethod)，本发明所提出的协同显著性检测方法更快速、更准确。
【附图说明】
[0041] 图1为基于积分匹配的快速图像协同显著区域监测方法的流程图；
[0042] 图2为标准（R，G，B)色彩模型与鲁棒的色彩模型的实验结果对比图；
[0043] 图3为二维积分图中S(X，y)的表示图；
[0044] 图4为原图像中任意矩形区域（pQ，Pl)的值R(p。，Pl)表示图；
[0045] 图5为基于公开数据集[6]的检测结果比较图；
[0046] 图6为基于公开数据集[6]的性能比较图；
[0047] 图7为基于康奈尔大学的数据集（CMU-CornelliCoseg数据集[14])的检测结果对 比图；
[0048] 图8为基于康奈尔大学的数据集（CMU-CornelliCoseg数据集[14])的性能比较 图。
【具体实施方式】
[0049] 为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步 地详细描述。
[0050] 本发明旨在从多幅图像中快速准确地提取出共有的显著对象。首先，对于每一幅 图像，该监测方法都会得到对应的显著惩罚图土M，图中正值表示该像素点是显著的，应该 得到鼓励；而负值表示该像素点是非显著的，应该得到惩罚。其次，该方法提出了一个可以 去除或减少光照影响的鲁棒的色彩模型，在该色彩模型中，还可以简单而高效地得到图像 对中两个区域的余弦相似度。最后，通过在规则的超像素网格上使用高维积分匹配算法，最 终从图像对中提取出最大的协同显著区域。
[0051] 实施例1
[0052] 101 :生成显著图，在所述显著图的基础上建立显著惩罚图；
[0053] 102 :建立鲁棒的色彩模型，通过所述色彩模型获取图像对中两个区域的余弦相似 度；
[0054] 103 :构建高维积分匹配方法，通过所述高维积分匹配方法对最大协同显著区域进 行检测。
[0055] 其中，所述建立鲁棒的色彩模型，通过所述色彩模型获取 图像对中两个区域的余 弦相似度的步骤具体为：
[0056]i' = (ir/ 0，ig/ 0，ib/ 0)，其中 0 =max(ir，ig，ib)
[0057] i'为鲁棒的色彩模型中的每一个像素，Uig，ib为像素点的三个值；
[0058] 两个区域的余弦相似度为：
[0060] 两个区域对应的直方图分别为匕和h2。
[0061] 其中，所述构建高维积分匹配方法，通过所述高维积分匹配方法对最大协同显著 区域进行检测的步骤具体为：
[0062] 1)二维积分图的快速构造以及矩形区域值的快速计算；
[0063] 2)在二维积分图的基础上进行高维积分表的快速构造以及高位矩形区域值的快 速计算；
[0064] 3)计算两个高维区域的相似度，实现高维区域的积分匹配，获取最大的协同显著 区域。
[0065] 实施例2
[0066] 201 :建立显著惩罚图（DistinctPunishmentMap);
[0067] 其中，在显著惩罚图土M中正值表示该像素点是显著的，应该得到鼓励；而负值表 示该像素点是非显著的，应该得到惩罚。建立显著惩罚图的步骤为：
[0068] 1)生成显著图（SaliencyMap);
[0069] 对于一幅 的图像I，由Histogram-BasedContrastMethod和Region-Based ContrastMethod分别得到显著图HC-Map(基于直方图的显著图）和RC-Map(基于区域的 显著图），为表不方便，分别记为SjPS2，得到SummedSaliencyMap(SSM，合并后的显著 图）。
[0070] SSM= ? ! ?SA?2 ?S2={s込』| 1 <i<h" 1 <j<h2} (1)
[0071] 其中，SjPS2为第一步得到的显著图，《 ^i为对应于S兩S2的权重因子，i和j为变量，匕和h2分别表示显著图的宽和高，《片《2= 1，si;j为SSM的第i行第j列元 素。
[0072] 2)在显著图的基础上建立显著惩罚图土M。
[0073] 在第一步所得到的SSM的基础上，对SSM中的元素si;j进行如下修改，得到新的元 素
[0074] s，iJ:
[0075]
，其中yG(〇，1] (2)
[0076] 以Vi;j为元素构成的显著图记为SSM'。
[0077] 然后，计算惩罚图土M中元素Pu的值：
[0079]其中，V+、V'均为中间变量，定义如下：
[0082] 例如：对于任意一个区域Pu，它的显著性为：
[0083] 二2初)￡~P;j其中，Ei;』为中间变量，定义为：Ei;』={(X，y)|i(X，y)GPi;。
[0084] 202 :建立鲁棒的色彩模型（RobustColorModel);
[0085] 在标准的（R，G，B)色彩模型中，对于图像中的一个像素点分别有三个值仁，ig，ib 对应到相应的R，G，B三个通道上，它们的值都在0-255之间。因此，对任意一个像素点i= (ir，ig，ib)eI，本发明定义了一个新的像素值：
[0086] i' = (ir/ 0，ig/ 0，ib/ 0)，其中 0 =max(ir，ig，ib)
[0087] 鲁棒的色彩模型（RobustColorModel)就是在新像素值i'的基础上构建的。原 图像经过鲁棒的色彩模型（RobustColorModel)处理后，就得到一个新的图像I'。接着， 将每个通道的值n等分，比如令n= 6。对于任意区域，都能经统计得到对应的直方图h。通 常使用余弦相似度来度量两个区域的相似度。例如，对于两个区域qJPq2，对应的直方图 分别为4和h2，则这两个区域的余弦相似度为：
[0089] 在图2中，在右侧的第一行的两幅图像为标准的（R，G，B)色彩模型下的图像，左侧 靠上的图表为标准的（R，G，B)色彩模型下的图像所对应的直方图；在右侧的第二行的两幅 图像为鲁棒的色彩模型（RobustColorModel)下的图像，左侧靠下的图表为棒的色彩模 型（RobustColorModel)下的图像所对应的直方图；右侧第三行的两幅图像为两幅图像的 groundtruth〇
[0090] 在左侧两个直方图中，横坐标表示R、G、B通道对应的数值，纵坐标表示落在对应 数值的频率。由此可以看出，在标准的（R，G，B)色彩模型下图像的色彩分布不集中，而光照 是导致这种分布不集中的主要原因；由于鲁棒的色彩模型（RobustColorModel)剔除了 光照因素，因此图像的色彩分布比较集中，同时，处理后的图像更接近与groundtruth。 [0091] 在计算协同显著区域（鸭子）的余弦相似度方面，本发明所提出的色彩模型计算 的余弦相似度为〇. 971，而标准的（R，G，B)模型的结果为0.627,实验结果充分说明采用鲁 棒的色彩模型（RobustColorModel)比标准的（R，G，B)模型更准确。
[0092] 301 :高维积分匹配方法（HighDimensionalIntegralSearchingMethod)
[0093] 1)二维积分图的快速构造以及矩形区域值的快速计算；
[0094] 正如"【背景技术】"部分介绍构造积分图的方法一样，积分图中任意一个像素点 (x，y)的值可以表示为：
[0096] 对于二维的积分图来说，定义R(p。，Pi)表示为原图像中从像素点pQ=(X。，yQ)到 像素点Pl= (Xl，yi)的任意一个矩形区域在积分图中的值，则有：
[0098] 其中i(X，y)表示原图像中像素点（X，y)的值。
[0099] 在图3中，H和W分别表示原图像的长和宽，点（x，y)表示原图像中的一个像素 点，灰色区域表示为原图像中从像素点（1，1)到像素点（x，y)的矩形区域在积分图中的值 S(x，y)(它的概念还可表述为：积分图中任意一个像素点（x，y)的值）。
[0100] 在图4中，H和W分别表示原图像的长和宽，点pQ= (xQ，yQ) (x^yj为原 图像中两个不同的像素点，灰色区域表示原图像中从像素点P(l= (Xm%)到像素APl = (Xl，yi)的任意一个矩形区域在积分图中的值，记为R(Pc)，Pi)。
[0101] (5)式还可以继续优化：
[0103] 其中，S(X，y)、S(X，y0-l)、S(x1;y)、S(x1;y0-l)、S(x0-l，y)、S(x0-l，y0-l)的定义 可类比公式（4)中S(x，y)的定义。在已经得到积分图的前提下，R(P(l，Pl)可以通过一步加 法和两步减法得到，时间复杂度大大降低。
[0104] 若P〇=P丄=(X，y)，贝lj
[0105] R(p〇, =i(x,y)
[0106] 所以，
[0108] 其中，S(x,y-1)、S(x_l,y)、S(x_l,y-1)的定义也可类比于公式（4)中S(x,y)的 定义。
[0109] 移项后，可得：
[0110] S(x,y) =S(x,y-1)+S(x~l,y)-S(x~l,y-1)+i(x,y) (7)
[0111] 其中，S(l, 1) =i(1, 1)，S(x,y) = 0 当x〈l或y〈l。
[0112] 因此，利用（7)式，可以快速地构造出二维的积分图。
[0113] 2)高维积分表的快速构造以及高位矩形区域值的快速计算；
[0114] 将上面二维积分图的相关概念扩展到高维积分表，对于一个已知的n维表In，假设 表In中任意元素在P=(Xx2,…，xn)的值为：
[0116] 类比于公式（4)，S(p)类比于S(x，y)，表示高维积分表In中点p的值； i(x'i，x' 2，…，x'n)类比于i(x'，y')，表示原高维图像中像素点（x'i，x' 2，… ，n)的值。
[0117] 在高维积分表In中，
之间的元素和 为：
[0119] 类比于公式（5)，R^p1)类比于R(pQ，Pl)，表示为原高维图像中从像素点pQ =
的任意一个高维区域在积分表中的值，
[0120] 上式可以继续优化为：
(9)
[0122] 其中，
的定义类比于公式（8)中 S(Xpx2,…，xn)的定义，
.tf{〇, 1} n, 1 = (1，1，…，l)，pT为高维矩形区 域的顶点。
[0123] 因此，可用（9)式快速地计算出高维区域的值。
[0124] 同理，若p〇=p1=(xx2,…，xn)，贝丨JR(p。，p1) =i(x"x2,…，xn)
[0125] 所以，
[0127] 移项可得，
[0129] 其中，T= {〇,l}n/l= {〇,l}nl(l，1，…，1)，如果pGT，则S(p) = 0。
[0130] 利用（10)式可以快速地构造高维积分表。
[0131] 3)高维积分匹配方法。
[0132] 在这一部分，重点介绍如何从两幅图像中检测出共有的最大 区域。已知高维积 分表In和Jn，有1^In，R2GJn(RjPR2分别为高维积分表I，Jn中的区域），设卜二 (Xl，l，Xl，2,…，Xl，n)，P2= (X2.1，X2.2,…，X2，n)分别为R1和R2中任意一个元素的坐标，R1由P? 和pl之间的元素构成（P?和?^分别表示区域&的起始像素点和终止像素点），1?2由pg和 之间的元素构成（/^和口〗分别表示区域R2的起始像素点和终止像素点）。定义P:和P2 的相似度为：
[0134] 其中，i(pD和i(p2)可类比于公式⑶中的i(x< 2，…，x'n)的定义。
[0135] 贝1J，札和R2的相似度为：
[0138] 上式可优化为：
[0140] 其中，
类比于公式（8) 中S(X"x2,…，xn)的定义，T T2G{〇, 1}n，T = ( T T 2)G{〇,l}2n，
[0141] 利用式（11)可以计算两个高维区域的相似度。
陏
[0148] 其中，T= {〇,l}2n/l，如果pGT，则S(p) = 0
[0149] 利用（12)式可以快速构造出高维的积分表。
[0150] 204 :基于高维积分匹配的最大协同显著区域的检测方法。
[0151] 对于一个图像对中的两幅图像，先使用SEEDS算法，得到对应的规则的超像素 网格GJP G 2，假设6:的宽和高分别为h u，\2, 62的宽和高分别为h h2,2，子网格G c
之间的像素构成，G' ^由拉=
之间的像素构成。
[0152] 在本发明中，两个子网格的协同显著性函数定义为：
[0154] 其中，a兩a2为权重因子，且a1+a2= 1 ;EM(G，i，G，2)类比于公式（3)中Ejhptg的定义，表示G' ^G' 2的余弦相似性；
为局部显著性， 它们的定义为：
[0157] 其中，&和分别为惩罚图±Mi和±M2的任意元素。
[0158] 由公式（6)可快速计算出t
比于公式（8)中3(11，12，*"，111)的定义。
[0161] 在已经得到GJPG2的直方图的情况下，任意的子网格的直方图H均可表示为：
[0162]
(hk表示第k个区域对应的直方图）
[0163] 则G'JPG' 2的相似性可表示为：
[0166] 对于GjPG2中的任意一个超像素点P:=(x1;1，x1>2)GGpP2=(x2>1，x2,2)GG2， 直方图4和h2分别对应于PJPP2，则PJPP2的相似性定义为：
[0167] 由（12)式可得：
[0169] 其中，T= {〇, 1}4/1，如果pGT，则S(p) = 0
[0170] 由（11)式可得：
[0172] 其中，S^XuXuXwXy)和
也可类比于公式⑶中 S(X"x2,…，xn)的定义，Ti，T{〇, 1} 2，T = ( T"T 2)G{〇,I}4，
[0173] 同理可得：
[0176] 所以，（11)式可改写为：
[0178]综合（13)、（14)和（16)式可得：
[0180] 其中，a:和a^已在公式（13)中给出定义。通过穷举图像对中的子网格对 (G'i，G' 2)，本发明就可得到最大的协同显著区域。
[0181] 下面以具体的试验来验证本方法的可行性，详见下文描述：
[0182] 分别在公开数据集[6]和康奈尔大学的数据集（CMU-CornelliCoseg数据集[14])上 测试显著性检测方法（SaliencyDetectionMethod) :SF[1]、FT[2]、RC[3]、HC[3]、CS[15]、SR[16]、 ^)[17]和协同显著性检测方法（Co-SaliencyDetectionMethod):PC[5]、MS[6]、CCm的性能， 并比较以上方法与本发明方法的运行时间和检测效果。
[0183] 1、实验软硬件设备
[0184] MATLAB2010、IntelCorei7-26003. 4GHz、8GB内存。
[0185] 2、实验准备
[0186] 1)在公开数据集[6]中，取105幅图像对（涵盖人物、花朵、公共汽车、船、以及动物 等）进行测试，这些图像最大不超过128*128。公开数据集所提供的groundtruth中，检测 目标被标记为1，背景被标记为0。
[0187] 2)在康奈尔大学的数据集（CMU-CornelliCoseg数据集[14])中，取46幅图像对 (涵盖多种内容），同样图像最大不超过128*128。
[0188] 3)准确率用F值（F-measure)来表示。它的定义为：
[0190] 其中，和文献[1] [6] [7]中设定的一样，本发明也设定02= 0.3,P表示精确率 (Precision)，R表示召回率（Recall)，它们的定义分别为：
[0192] 在定义中，identified表示以上所提到的方法所检测出的区域，groundtruth表 示图像对中显著对象的真实区域。
[0193] 在运行本发明的方法时，所使用的超像素网格由SEEDS[11]*法生成，同时，设定 公式⑴中的％= 0.9,《i= 0? 1，公式（2)中的y= 1.6,公式（13)中的ai= 0.3， a2= 0.7。为了得到二元显著图（BinarySaliencyMap),设定自适应阈值T^(Adaptive Threshold)为：
[0195] 其中，H和W分别代表给定显著图的长和宽，Su为给定显著图中第i行第j列的 元素。
[0196] 3、实验内容
[0197] 在实验室电脑上，打开MATLAB，分别在两个数据集上运行各个方法的代码（在各 个作者的主页都有下载），最后得出运行时间和检测结果。
[0198] 1)实验对比及结论
[0199] 基于在公开数据集上运行的实验结果，绘制出了图6。其中，横坐标表示各种方法， 纵坐标表示对应方法的准确率。由图6可以看出，本发明的准确率即F值最高。在图5中，则 展示了部分方法的检测结果，其中前两列是原图像对，第三、四列是groundtruth，五、六列 为RC的检测结果，七、八列为SF的检测结果，依次类推，最后两列为本发明的检测结果，从 中可以明显看出本发明的检测结果更接近与groundtruth。在表1中，则对比了不同方法 在公开数据集上的平均运行时间的差异，由此可以得出，在协同显著性检测（Co-Saliency Detection)中，本发明所用时间最短，平均仅耗时0. 218秒。
[0200] 表1 :基于公开的数据集的运行时间对比[0201]
[0202] 从图5、图6和表1可得结论：本发明不论是在检测结果上还是在准确率上，都 比其它协同显著性检测方法（Co-saliencyDetectionMethod)抑或是显著性检测方法 (SaliencyDetectionMethod)要优秀，同时在平均运行时间上，也比其它协同显著性检测 方法（Co-saliencyDetectionMethod)耗时少，也优于一些显著性检测方法（Saliency DetectionMethod)例如CS和H)。
[0203] 基于在康奈尔大学的数据集（CMU-CornelliCoseg数据集[14])上运行的结果，可 绘制出图7，其中，横坐标依旧代表方法，纵坐标表示对应方法的准确率。从图7可以看出， 本发明的召回率和准确率都说看比其它的检测方法要高。在图8中，则展示了部分方法的 检测结果，其中前两列是原图像对，第三、四列是groundtruth，五、六列为RC的检测结果， 七、八列为SF的检测结果，依次类推，最后两列为本发明的检测结果，从中同样可以明显看 出本发明的检测结果更接近与groundtruth。在表2中，也对比了不同方法在康奈尔大学 的数据集（CMU-CornelliCoseg数据集[14])上的平均运行时间的差异，由此可以得出，在协 同显著性检测（C〇-SaliencyDetection)中，本发明所用时间最短，平均仅耗时0.231秒。
[0204] 表2 :基于康内尔大学的数据集（CMU-CornelliCoseg数据集[14])的运行时间对 比
[0206] 从图7、图8和表2可得结论：本发明在检测结果和准确率（F值）上，都比其它协 同显著性检测方法（Co-saliencyDetectionMethod)抑或是显著性检测方法（Saliency DetectionMethod)要优秀，同时在平均运行时间方面，也比其它协同显著性检测方 法（Co-saliencyDetectionMethod)耗时少，也优于一些显著性检测方法（Saliency DetectionMethod)例如CS和H)。
[0207] 在两个数据集上的检测结果表明：与其他协同显著性检测方法（Co-saliency DetectionMethod)相比，本发明所提出的协同显著性检测方法更快、更准确。
[0208] 参考文献< br>[0209] [1]PerazziF,KrahenbuhlP,PritchY,etal.Saliencyfilters:Contrast basedfilteringforsalientregiondetection[C]//ComputerVisionandPattern Recognition(CVPR), 2012IEEEConferenceon.IEEE, 2012:733-740.
[0210] [2]AchantaR,HemamiS,EstradaF,etal.Frequency-tunedsalientregion detection[C]//ComputerVisionandPatternRecognition, 2009.CVPR2009.IEEE Conferenceon.IEEE,2009:1597-1604.
[0211] [3]ChengMM，ZhangGX，MitraNJ，etal.Globalcontrastbasedsalient regiondetection[C]//ComputerVisionandPatternRecognition(CVPR), 2011IEEE Conferenceon.IEEE，2011:409-416.
[0212] [4]MaYF，ZhangHJ.Contrast-basedimageattentionanalysisbyusing fuzzygrowing[C]//Proceedingsofthe11thACMInternationalConferenceon Multimedia.ACM，2003:374-381.
[0213] [ 5 ]ChenHT.Preattentivec〇-saliencydetection[C]// ImageProcessing(ICIP), 201017thIEEEInternationalConference on.IEEE，2010:1117-1120.
[0214] [6]LiH，NganKN.Aco-saliencymodelofimagepairs[J].Image Processing,IEEETransactionson,2011,20 (12):3365-3375.
[0215] [7]FuH，CaoX，TuZ.Cluster-basedco-saliencydetection[J]?Image Processing,IEEETransactionson,2013,22(10):3766-3778.
[0216] [8]MooreAP,PrinceS,WarrellJ,etal.Superpixellattices[C]// ComputerVisionandPatternRecognition, 2008.CVPR2008.IEEEConference on.IEEE，2008:1-8.
[0217] [9]MooreAP，PrinceSJD，WarrellJ."LatticeCut"-Constructing superpixelsusinglayerconstraints[C]//ComputerVisionandPattern Recognition(CVPR), 2010IEEEConferenceon.IEEE,2010:2117-2124.
[0218] [10]LevinshteinA,StereA,KutulakosKN,etal.Turbopixels:Fast superpixelsusinggeometricflows[J].PatternAnalysisandMachine Intelligence，IEEETransactionson，2009,31 (12):2290-2297.
[0219] [11]VandenBerghM,BoixX,RoigG,etal.SEEDS:Superpixelsextracted viaenergy-drivensampling[M]//ComputerVision-ECCV2012.SpringerBerlin Heidelberg，2012:13-26.
[0220] [12]LiL，FengW,WanL，etal.Maximumcohesivegridofsuperpixels forfastobjectlocalization[C]//ComputerVisionandPattern Recognition(CVPR), 2013IEEEConferenceon.IEEE,2013:3174-3181.
[0221] [13]ViolaP，JonesM.Rapidobjectdetectionusingaboostedcascadeof simplefeatures[C]//ComputerVisionandPatternRecognition, 2001.CVPR2001. Proceedingsofthe2001IEEEComputerSocietyConferenceon.IEEE, 2001, 1:1-511-1-518vol. 1.
[0222] [14]BatraD,KowdleA,ParikhD,etal.iCoseg:Interactiveco-segmentation withintelligentscribbleguidance[C]//ComputerVisionandPattern Recognition(CVPR), 2010IEEEConferenceon.IEEE,2010:3169-3176.
[0223] [15]IttiL，KochC，NieburE.Amodelofsaliency-basedvisualattention forrapidsceneanalysis[J].IEEETransactionsonPatternAnalysisandMachine Intelligence, 1998, 20(11):1254-1259.
[0224] [16]HouX,ZhangL.Saliencydetection:Aspectralresidualapproach[C]// ComputerVisionandPatternRecognition, 2007.CVPR' 07.IEEEConference on.IEEE, 2007:1-8.
[0225] [17]MargolinR,TalA,Zelnik-ManorL.Whatmakesapatchdistinct? [C]//ComputerVisionandPatternRecognition(CVPR), 2013IEEEConference on.IEEE, 2013:1139-1146.
[0226] 本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例 序号仅仅为了描述，不代表实施例的优劣。
[0227] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和 原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种基于积分匹配的快速图像协同显著区域监测方法，其特征在于，所述快速图像 协同显著区域监测方法包括以下步骤： 生成显著图，在所述显著图的基础上建立显著惩罚图； 建立鲁棒的色彩模型，通过所述色彩模型获取图像对中两个区域的余弦相似度； 构建高维积分匹配方法，通过所述高维积分匹配方法对最大协同显著区域进行检测。2. 根据权利要求1所述的一种基于积分匹配的快速图像协同显著区域监测方法，其特 征在于，所述建立鲁棒的色彩模型，通过所述色彩模型获取图像对中两个区域的余弦相似 度的步骤具体为： i ' = Qr/ Θ，ig/ Θ，ib/ Θ)，其中 Θ = max (ir，ig，ib) W为鲁棒的色彩模型中的每一个像素 ，U ig，ib为像素点的三个值； 两个区域的余弦相似度为两个区域对应的直方图分别为4和h 2。3. 根据权利要求1所述的一种基于积分匹配的快速图像协同显著区域监测方法，其特 征在于，所述构建高维积分匹配方法，通过所述高维积分匹配方法对最大协同显著区域进 行检测的步骤具体为： 1) 二维积分图的快速构造以及矩形区域值的快速计算； 2) 在二维积分图的基础上进行高维积分表的快速构造以及高位矩形区域值的快速计 算； 3) 计算两个高维区域的相似度，实现高维区域的积分匹配，获取最大的协同显著区域。
【专利摘要】本发明公开了一种基于积分匹配的快速图像协同显著区域监测方法，所述快速图像协同显著区域监测方法包括以下步骤：生成显著图，在所述显著图的基础上建立显著惩罚图；建立鲁棒的色彩模型，通过所述色彩模型获取图像对中两个区域的余弦相似度；构建高维积分匹配方法，通过所述高维积分匹配方法对最大协同显著区域进行检测。本发明所提出的协同显著性检测方法更快速、更准确。
【IPC分类】G06T7/40, G06T7/00
【公开号】CN104899875
【申请号】CN201510258792
【发明人】冯伟, 尹雪飞, 陈冬冬
【申请人】天津大学
【公开日】2015年9月9日
【申请日】2015年5月20日
【技术领域】
[0001] 本发明涉及计算机视觉与图像处理领域，尤其涉及一种基于积分匹配的快速图像 协同显著区域监测方法，本方法是通过在规则的超像素网格上使用高维积分匹配算法实现 的。
【背景技术】
[0002] 本发明中涉及到的【背景技术】有：显著性检测方法（SaliencyDetectionMethod): 又称为单一图像的显著性检测方法，旨在从一幅图像中将显著的前景目标或区域提取出 来。近年来，显著性检测模型已经得到了广泛的应用图像分割、目标检测与识别、图像 拼接等。常用的方法有：SF[1]、FT[2]、RCm和HC[3]。
[0003] SF的基本思想为：将显著性看作为一个滤波器，使用滤波器的方法加速。Perazzi 主要对局部和全局两种显著特征的公式进行了分析，提出了一种在线性时间内计算的方 法。
[0004] FT:Achanta等人从频率域角度出发，首次提出了一种基于全局对比的显著区域 检测的方法。该方法将经过高斯低通滤波图像中的每个像素值和整幅图像的平均像素值之 间的欧几里得距离作为该点的显著值。该方法非常简单，时间消耗非常低，且实验结果在查 准率-差全率方面的效果也堪称优良。然而FT在以下两种情况下会失效：
[0005] 1.显著区域的颜色占图像中的大部分，通过方法[4]计算后，背景会具有更高的显 著值；
[0006] 2.背景中含有少量突出的颜色，这样背景中的这部分颜色的显著值也会非常高。
[0007] HC:基于直方图对比度的方法，每一个像素的显著性值是由它与图像中所有其他 像素的颜色差异来确定，得到全分辨率显著性图像；
[0008] RC:基于局部对比度的方法，先将图像分割成小区域，采用的分割方法是基于图的 分割，基本分割思想是将每个像素点作为无向图的顶点，两个像素点之间的不相似度作为 边的权重，要求连接相同区域内的两个顶点的边的最大权重要小于连接不同区域的顶点的 边的最小权重，在迭代过程中进行顶点归纳与区域合并；每个区域的显著性值由它与其他 所有区域的空间距离和区域像素数加权的颜色差异来确定；空间距离为两个区域重心的欧 氏距离，较远区域分配较小权值；
[0009] 以上四种方法只是检测单幅图像的显著对象，但是大部分情况下都倾向于从视频 序列中检测出显著对象，而运用以上四种方法，则会在忽视视频帧的前后相关性的前提下 一帧一帧地去检测显著对象，这时准确性不可避免的就会下降。
[0010] 协同显著检测方法（Co-SaliencyDetectionMethod)偏向于从一个图像对或多 幅图像中检测出这些图像所共有的显著区域，而忽视每幅图像中所独有的显著目标。常用 的方法有：PC[5]、MS[6]、CC[7]。本发明也属于这一类。
[0011]PC:在前置注意方案（preattentivescheme)下检测出协同显著对象。
[0012] MS:单幅图像显著图SSIM(singleimagesaliencymap)和多幅图像显著图 MISM(multi-imagesaliencymap)的线性组合。
[0013] CC:通过使用对比（contrast)、空间（spatial)和关联（corresponding)的线索 来计算图像聚类的显著性的方法检测出协同显著对象。
[0014] 以上三个方法的时间成本较高而准确度低。
[0015] 超像素网格（SuperpixelGrid):图像经过超像素分割后，得到的是不规则的超像 素结构，在使用其对图像进行处理时，这种不规则结构导致效率比较低。为将任意不规则的 超像素结构进行规整化排序，近年来，在图像处理领域，一些研宄人员提出了一个超像素网 格的概念。利用目标图像的超像素分割结果，基于每一块超像素的坐标将其动态地置于一 个虚拟的矩形网格中：该网格结构应该尽可能地保留原超像素结构的整体连贯性、超像素 之间的连接性、局部以及全局特征；引入伪节点来保持网格规整的结构和传递能量。近年来 生成超像素网格的一些常用方法有SuperLatice[8]、LatticeCut[9]、TurboPixel[1°]、SEEDS[11] 和SP-Grid[12]。
[0016] 积分图（IntegralImage):为了快速计算图像任意一个区域的特征而在[13]中被 提出来。在积分图中任意一个像素点（x，y)的值可以表示为：
[0018]其中，S(x，y)表示积分图中点（x，y)的值，i(x'，y'）表示原图像中像素点（x'，y'） 的值。使用公式：
[0019] r(x,y) =r(x,y-1)+i(x,y)
[0020] S(x,y) =S(x-1,y)+r(x,y)
[0021] 进行迭代运算即可得到原图像的积分图。
[0022] 其中，r(x，y)表示第x行的从第一个元素到第y个元素的和，定义迭代下限 r(x, -1) =S(_l,y) = 0(对于r(x,y-1)，相当于y取值为 0 ;
[0023] 对于S(x_l，y)，相当于x取值为0) ;r(x，y_l)的定义与r(x，y)类似，S(x_l，y)的 定义与S(x,y)类似。
【发明内容】
[0024] 本发明提供了一种基于积分匹配的快速图像协同显著区域监测方法，本发明通过 建立一个显著惩罚图、一个鲁棒的色彩模型和高维积分匹配方法以及利用这个方法来从多 幅图像中提取出最大协同显著对象，详见下文描述：
[0025] -种基于积分匹配的快速图像协同显著区域监测方法，其特征在于，所述快速图 像协同显著区域监测方法包括以下步骤：
[0026] 生成显著图，在所述显著图的基础上建立显著惩罚图；
[0027] 建立鲁棒的色彩模型，通过所述色彩模型获取图像对中两个区域的余弦相似度；
[0028] 构建高维积分匹配方法，通过所述高维积分匹配方法对最大协同显著区域进行检 测。
[0029] 其中，所述建立鲁棒的色彩模型，通过所述色彩模型获取图像对中两个区域的余 弦相似度的步骤具体为：
[0030]i' = (ir/ 0，ig/ 0，ib/ 0)，其中 0 =max(ir，ig，ib)
[0031] i'为鲁棒的色彩模型中的每一个像素，Uig，ib为像素点的三个值；
[0032] 两个区域的余弦相似度为：
[0034] 两个区域对应的直方图分别为匕和h2。
[0035] 其中，所述构建高维积分匹配方法，通过所述高维积分匹配方法对最大协同显著 区域
[0036] 进行检测的步骤具体为：
[0037] 1)二维积分图的快速构造以及矩形区域值的快速计算；
[0038] 2)在二维积分图的基础上进行高维积分表的快速构造以及高位矩形区域值的快 速计算；
[0039] 3)计算两个高维区域的相似度，实现高维区域的积分匹配，获取最大的协同显著 区域。
[0040] 本发明提供的技术方案的有益效果是：相比于其它协同显著性检测方法 (Co-saliencyDetectionMethod)，本发明所提出的协同显著性检测方法更快速、更准确。
【附图说明】
[0041] 图1为基于积分匹配的快速图像协同显著区域监测方法的流程图；
[0042] 图2为标准（R，G，B)色彩模型与鲁棒的色彩模型的实验结果对比图；
[0043] 图3为二维积分图中S(X，y)的表示图；
[0044] 图4为原图像中任意矩形区域（pQ，Pl)的值R(p。，Pl)表示图；
[0045] 图5为基于公开数据集[6]的检测结果比较图；
[0046] 图6为基于公开数据集[6]的性能比较图；
[0047] 图7为基于康奈尔大学的数据集（CMU-CornelliCoseg数据集[14])的检测结果对 比图；
[0048] 图8为基于康奈尔大学的数据集（CMU-CornelliCoseg数据集[14])的性能比较 图。
【具体实施方式】
[0049] 为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步 地详细描述。
[0050] 本发明旨在从多幅图像中快速准确地提取出共有的显著对象。首先，对于每一幅 图像，该监测方法都会得到对应的显著惩罚图土M，图中正值表示该像素点是显著的，应该 得到鼓励；而负值表示该像素点是非显著的，应该得到惩罚。其次，该方法提出了一个可以 去除或减少光照影响的鲁棒的色彩模型，在该色彩模型中，还可以简单而高效地得到图像 对中两个区域的余弦相似度。最后，通过在规则的超像素网格上使用高维积分匹配算法，最 终从图像对中提取出最大的协同显著区域。
[0051] 实施例1
[0052] 101 :生成显著图，在所述显著图的基础上建立显著惩罚图；
[0053] 102 :建立鲁棒的色彩模型，通过所述色彩模型获取图像对中两个区域的余弦相似 度；
[0054] 103 :构建高维积分匹配方法，通过所述高维积分匹配方法对最大协同显著区域进 行检测。
[0055] 其中，所述建立鲁棒的色彩模型，通过所述色彩模型获取 图像对中两个区域的余 弦相似度的步骤具体为：
[0056]i' = (ir/ 0，ig/ 0，ib/ 0)，其中 0 =max(ir，ig，ib)
[0057] i'为鲁棒的色彩模型中的每一个像素，Uig，ib为像素点的三个值；
[0058] 两个区域的余弦相似度为：
[0060] 两个区域对应的直方图分别为匕和h2。
[0061] 其中，所述构建高维积分匹配方法，通过所述高维积分匹配方法对最大协同显著 区域进行检测的步骤具体为：
[0062] 1)二维积分图的快速构造以及矩形区域值的快速计算；
[0063] 2)在二维积分图的基础上进行高维积分表的快速构造以及高位矩形区域值的快 速计算；
[0064] 3)计算两个高维区域的相似度，实现高维区域的积分匹配，获取最大的协同显著 区域。
[0065] 实施例2
[0066] 201 :建立显著惩罚图（DistinctPunishmentMap);
[0067] 其中，在显著惩罚图土M中正值表示该像素点是显著的，应该得到鼓励；而负值表 示该像素点是非显著的，应该得到惩罚。建立显著惩罚图的步骤为：
[0068] 1)生成显著图（SaliencyMap);
[0069] 对于一幅 的图像I，由Histogram-BasedContrastMethod和Region-Based ContrastMethod分别得到显著图HC-Map(基于直方图的显著图）和RC-Map(基于区域的 显著图），为表不方便，分别记为SjPS2，得到SummedSaliencyMap(SSM，合并后的显著 图）。
[0070] SSM= ? ! ?SA?2 ?S2={s込』| 1 <i<h" 1 <j<h2} (1)
[0071] 其中，SjPS2为第一步得到的显著图，《 ^i为对应于S兩S2的权重因子，i和j为变量，匕和h2分别表示显著图的宽和高，《片《2= 1，si;j为SSM的第i行第j列元 素。
[0072] 2)在显著图的基础上建立显著惩罚图土M。
[0073] 在第一步所得到的SSM的基础上，对SSM中的元素si;j进行如下修改，得到新的元 素
[0074] s，iJ:
[0075]
，其中yG(〇，1] (2)
[0076] 以Vi;j为元素构成的显著图记为SSM'。
[0077] 然后，计算惩罚图土M中元素Pu的值：
[0079]其中，V+、V'均为中间变量，定义如下：
[0082] 例如：对于任意一个区域Pu，它的显著性为：
[0083] 二2初)￡~P;j其中，Ei;』为中间变量，定义为：Ei;』={(X，y)|i(X，y)GPi;。
[0084] 202 :建立鲁棒的色彩模型（RobustColorModel);
[0085] 在标准的（R，G，B)色彩模型中，对于图像中的一个像素点分别有三个值仁，ig，ib 对应到相应的R，G，B三个通道上，它们的值都在0-255之间。因此，对任意一个像素点i= (ir，ig，ib)eI，本发明定义了一个新的像素值：
[0086] i' = (ir/ 0，ig/ 0，ib/ 0)，其中 0 =max(ir，ig，ib)
[0087] 鲁棒的色彩模型（RobustColorModel)就是在新像素值i'的基础上构建的。原 图像经过鲁棒的色彩模型（RobustColorModel)处理后，就得到一个新的图像I'。接着， 将每个通道的值n等分，比如令n= 6。对于任意区域，都能经统计得到对应的直方图h。通 常使用余弦相似度来度量两个区域的相似度。例如，对于两个区域qJPq2，对应的直方图 分别为4和h2，则这两个区域的余弦相似度为：
[0089] 在图2中，在右侧的第一行的两幅图像为标准的（R，G，B)色彩模型下的图像，左侧 靠上的图表为标准的（R，G，B)色彩模型下的图像所对应的直方图；在右侧的第二行的两幅 图像为鲁棒的色彩模型（RobustColorModel)下的图像，左侧靠下的图表为棒的色彩模 型（RobustColorModel)下的图像所对应的直方图；右侧第三行的两幅图像为两幅图像的 groundtruth〇
[0090] 在左侧两个直方图中，横坐标表示R、G、B通道对应的数值，纵坐标表示落在对应 数值的频率。由此可以看出，在标准的（R，G，B)色彩模型下图像的色彩分布不集中，而光照 是导致这种分布不集中的主要原因；由于鲁棒的色彩模型（RobustColorModel)剔除了 光照因素，因此图像的色彩分布比较集中，同时，处理后的图像更接近与groundtruth。 [0091] 在计算协同显著区域（鸭子）的余弦相似度方面，本发明所提出的色彩模型计算 的余弦相似度为〇. 971，而标准的（R，G，B)模型的结果为0.627,实验结果充分说明采用鲁 棒的色彩模型（RobustColorModel)比标准的（R，G，B)模型更准确。
[0092] 301 :高维积分匹配方法（HighDimensionalIntegralSearchingMethod)
[0093] 1)二维积分图的快速构造以及矩形区域值的快速计算；
[0094] 正如"【背景技术】"部分介绍构造积分图的方法一样，积分图中任意一个像素点 (x，y)的值可以表示为：
[0096] 对于二维的积分图来说，定义R(p。，Pi)表示为原图像中从像素点pQ=(X。，yQ)到 像素点Pl= (Xl，yi)的任意一个矩形区域在积分图中的值，则有：
[0098] 其中i(X，y)表示原图像中像素点（X，y)的值。
[0099] 在图3中，H和W分别表示原图像的长和宽，点（x，y)表示原图像中的一个像素 点，灰色区域表示为原图像中从像素点（1，1)到像素点（x，y)的矩形区域在积分图中的值 S(x，y)(它的概念还可表述为：积分图中任意一个像素点（x，y)的值）。
[0100] 在图4中，H和W分别表示原图像的长和宽，点pQ= (xQ，yQ) (x^yj为原 图像中两个不同的像素点，灰色区域表示原图像中从像素点P(l= (Xm%)到像素APl = (Xl，yi)的任意一个矩形区域在积分图中的值，记为R(Pc)，Pi)。
[0101] (5)式还可以继续优化：
[0103] 其中，S(X，y)、S(X，y0-l)、S(x1;y)、S(x1;y0-l)、S(x0-l，y)、S(x0-l，y0-l)的定义 可类比公式（4)中S(x，y)的定义。在已经得到积分图的前提下，R(P(l，Pl)可以通过一步加 法和两步减法得到，时间复杂度大大降低。
[0104] 若P〇=P丄=(X，y)，贝lj
[0105] R(p〇, =i(x,y)
[0106] 所以，
[0108] 其中，S(x,y-1)、S(x_l,y)、S(x_l,y-1)的定义也可类比于公式（4)中S(x,y)的 定义。
[0109] 移项后，可得：
[0110] S(x,y) =S(x,y-1)+S(x~l,y)-S(x~l,y-1)+i(x,y) (7)
[0111] 其中，S(l, 1) =i(1, 1)，S(x,y) = 0 当x〈l或y〈l。
[0112] 因此，利用（7)式，可以快速地构造出二维的积分图。
[0113] 2)高维积分表的快速构造以及高位矩形区域值的快速计算；
[0114] 将上面二维积分图的相关概念扩展到高维积分表，对于一个已知的n维表In，假设 表In中任意元素在P=(Xx2,…，xn)的值为：
[0116] 类比于公式（4)，S(p)类比于S(x，y)，表示高维积分表In中点p的值； i(x'i，x' 2，…，x'n)类比于i(x'，y')，表示原高维图像中像素点（x'i，x' 2，… ，n)的值。
[0117] 在高维积分表In中，
之间的元素和 为：
[0119] 类比于公式（5)，R^p1)类比于R(pQ，Pl)，表示为原高维图像中从像素点pQ =
的任意一个高维区域在积分表中的值，
[0120] 上式可以继续优化为：
(9)
[0122] 其中，
的定义类比于公式（8)中 S(Xpx2,…，xn)的定义，
.tf{〇, 1} n, 1 = (1，1，…，l)，pT为高维矩形区 域的顶点。
[0123] 因此，可用（9)式快速地计算出高维区域的值。
[0124] 同理，若p〇=p1=(xx2,…，xn)，贝丨JR(p。，p1) =i(x"x2,…，xn)
[0125] 所以，
[0127] 移项可得，
[0129] 其中，T= {〇,l}n/l= {〇,l}nl(l，1，…，1)，如果pGT，则S(p) = 0。
[0130] 利用（10)式可以快速地构造高维积分表。
[0131] 3)高维积分匹配方法。
[0132] 在这一部分，重点介绍如何从两幅图像中检测出共有的最大 区域。已知高维积 分表In和Jn，有1^In，R2GJn(RjPR2分别为高维积分表I，Jn中的区域），设卜二 (Xl，l，Xl，2,…，Xl，n)，P2= (X2.1，X2.2,…，X2，n)分别为R1和R2中任意一个元素的坐标，R1由P? 和pl之间的元素构成（P?和?^分别表示区域&的起始像素点和终止像素点），1?2由pg和 之间的元素构成（/^和口〗分别表示区域R2的起始像素点和终止像素点）。定义P:和P2 的相似度为：
[0134] 其中，i(pD和i(p2)可类比于公式⑶中的i(x< 2，…，x'n)的定义。
[0135] 贝1J，札和R2的相似度为：
[0138] 上式可优化为：
[0140] 其中，
类比于公式（8) 中S(X"x2,…，xn)的定义，T T2G{〇, 1}n，T = ( T T 2)G{〇,l}2n，
[0141] 利用式（11)可以计算两个高维区域的相似度。
陏
[0148] 其中，T= {〇,l}2n/l，如果pGT，则S(p) = 0
[0149] 利用（12)式可以快速构造出高维的积分表。
[0150] 204 :基于高维积分匹配的最大协同显著区域的检测方法。
[0151] 对于一个图像对中的两幅图像，先使用SEEDS算法，得到对应的规则的超像素 网格GJP G 2，假设6:的宽和高分别为h u，\2, 62的宽和高分别为h h2,2，子网格G c
之间的像素构成，G' ^由拉=
之间的像素构成。
[0152] 在本发明中，两个子网格的协同显著性函数定义为：
[0154] 其中，a兩a2为权重因子，且a1+a2= 1 ;EM(G，i，G，2)类比于公式（3)中Ejhptg的定义，表示G' ^G' 2的余弦相似性；
为局部显著性， 它们的定义为：
[0157] 其中，&和分别为惩罚图±Mi和±M2的任意元素。
[0158] 由公式（6)可快速计算出t
比于公式（8)中3(11，12，*"，111)的定义。
[0161] 在已经得到GJPG2的直方图的情况下，任意的子网格的直方图H均可表示为：
[0162]
(hk表示第k个区域对应的直方图）
[0163] 则G'JPG' 2的相似性可表示为：
[0166] 对于GjPG2中的任意一个超像素点P:=(x1;1，x1>2)GGpP2=(x2>1，x2,2)GG2， 直方图4和h2分别对应于PJPP2，则PJPP2的相似性定义为：
[0167] 由（12)式可得：
[0169] 其中，T= {〇, 1}4/1，如果pGT，则S(p) = 0
[0170] 由（11)式可得：
[0172] 其中，S^XuXuXwXy)和
也可类比于公式⑶中 S(X"x2,…，xn)的定义，Ti，T{〇, 1} 2，T = ( T"T 2)G{〇,I}4，
[0173] 同理可得：
[0176] 所以，（11)式可改写为：
[0178]综合（13)、（14)和（16)式可得：
[0180] 其中，a:和a^已在公式（13)中给出定义。通过穷举图像对中的子网格对 (G'i，G' 2)，本发明就可得到最大的协同显著区域。
[0181] 下面以具体的试验来验证本方法的可行性，详见下文描述：
[0182] 分别在公开数据集[6]和康奈尔大学的数据集（CMU-CornelliCoseg数据集[14])上 测试显著性检测方法（SaliencyDetectionMethod) :SF[1]、FT[2]、RC[3]、HC[3]、CS[15]、SR[16]、 ^)[17]和协同显著性检测方法（Co-SaliencyDetectionMethod):PC[5]、MS[6]、CCm的性能， 并比较以上方法与本发明方法的运行时间和检测效果。
[0183] 1、实验软硬件设备
[0184] MATLAB2010、IntelCorei7-26003. 4GHz、8GB内存。
[0185] 2、实验准备
[0186] 1)在公开数据集[6]中，取105幅图像对（涵盖人物、花朵、公共汽车、船、以及动物 等）进行测试，这些图像最大不超过128*128。公开数据集所提供的groundtruth中，检测 目标被标记为1，背景被标记为0。
[0187] 2)在康奈尔大学的数据集（CMU-CornelliCoseg数据集[14])中，取46幅图像对 (涵盖多种内容），同样图像最大不超过128*128。
[0188] 3)准确率用F值（F-measure)来表示。它的定义为：
[0190] 其中，和文献[1] [6] [7]中设定的一样，本发明也设定02= 0.3,P表示精确率 (Precision)，R表示召回率（Recall)，它们的定义分别为：
[0192] 在定义中，identified表示以上所提到的方法所检测出的区域，groundtruth表 示图像对中显著对象的真实区域。
[0193] 在运行本发明的方法时，所使用的超像素网格由SEEDS[11]*法生成，同时，设定 公式⑴中的％= 0.9,《i= 0? 1，公式（2)中的y= 1.6,公式（13)中的ai= 0.3， a2= 0.7。为了得到二元显著图（BinarySaliencyMap),设定自适应阈值T^(Adaptive Threshold)为：
[0195] 其中，H和W分别代表给定显著图的长和宽，Su为给定显著图中第i行第j列的 元素。
[0196] 3、实验内容
[0197] 在实验室电脑上，打开MATLAB，分别在两个数据集上运行各个方法的代码（在各 个作者的主页都有下载），最后得出运行时间和检测结果。
[0198] 1)实验对比及结论
[0199] 基于在公开数据集上运行的实验结果，绘制出了图6。其中，横坐标表示各种方法， 纵坐标表示对应方法的准确率。由图6可以看出，本发明的准确率即F值最高。在图5中，则 展示了部分方法的检测结果，其中前两列是原图像对，第三、四列是groundtruth，五、六列 为RC的检测结果，七、八列为SF的检测结果，依次类推，最后两列为本发明的检测结果，从 中可以明显看出本发明的检测结果更接近与groundtruth。在表1中，则对比了不同方法 在公开数据集上的平均运行时间的差异，由此可以得出，在协同显著性检测（Co-Saliency Detection)中，本发明所用时间最短，平均仅耗时0. 218秒。
[0200] 表1 :基于公开的数据集的运行时间对比[0201]
[0202] 从图5、图6和表1可得结论：本发明不论是在检测结果上还是在准确率上，都 比其它协同显著性检测方法（Co-saliencyDetectionMethod)抑或是显著性检测方法 (SaliencyDetectionMethod)要优秀，同时在平均运行时间上，也比其它协同显著性检测 方法（Co-saliencyDetectionMethod)耗时少，也优于一些显著性检测方法（Saliency DetectionMethod)例如CS和H)。
[0203] 基于在康奈尔大学的数据集（CMU-CornelliCoseg数据集[14])上运行的结果，可 绘制出图7，其中，横坐标依旧代表方法，纵坐标表示对应方法的准确率。从图7可以看出， 本发明的召回率和准确率都说看比其它的检测方法要高。在图8中，则展示了部分方法的 检测结果，其中前两列是原图像对，第三、四列是groundtruth，五、六列为RC的检测结果， 七、八列为SF的检测结果，依次类推，最后两列为本发明的检测结果，从中同样可以明显看 出本发明的检测结果更接近与groundtruth。在表2中，也对比了不同方法在康奈尔大学 的数据集（CMU-CornelliCoseg数据集[14])上的平均运行时间的差异，由此可以得出，在协 同显著性检测（C〇-SaliencyDetection)中，本发明所用时间最短，平均仅耗时0.231秒。
[0204] 表2 :基于康内尔大学的数据集（CMU-CornelliCoseg数据集[14])的运行时间对 比
[0206] 从图7、图8和表2可得结论：本发明在检测结果和准确率（F值）上，都比其它协 同显著性检测方法（Co-saliencyDetectionMethod)抑或是显著性检测方法（Saliency DetectionMethod)要优秀，同时在平均运行时间方面，也比其它协同显著性检测方 法（Co-saliencyDetectionMethod)耗时少，也优于一些显著性检测方法（Saliency DetectionMethod)例如CS和H)。
[0207] 在两个数据集上的检测结果表明：与其他协同显著性检测方法（Co-saliency DetectionMethod)相比，本发明所提出的协同显著性检测方法更快、更准确。
[0208] 参考文献< br>[0209] [1]PerazziF,KrahenbuhlP,PritchY,etal.Saliencyfilters:Contrast basedfilteringforsalientregiondetection[C]//ComputerVisionandPattern Recognition(CVPR), 2012IEEEConferenceon.IEEE, 2012:733-740.
[0210] [2]AchantaR,HemamiS,EstradaF,etal.Frequency-tunedsalientregion detection[C]//ComputerVisionandPatternRecognition, 2009.CVPR2009.IEEE Conferenceon.IEEE,2009:1597-1604.
[0211] [3]ChengMM，ZhangGX，MitraNJ，etal.Globalcontrastbasedsalient regiondetection[C]//ComputerVisionandPatternRecognition(CVPR), 2011IEEE Conferenceon.IEEE，2011:409-416.
[0212] [4]MaYF，ZhangHJ.Contrast-basedimageattentionanalysisbyusing fuzzygrowing[C]//Proceedingsofthe11thACMInternationalConferenceon Multimedia.ACM，2003:374-381.
[0213] [ 5 ]ChenHT.Preattentivec〇-saliencydetection[C]// ImageProcessing(ICIP), 201017thIEEEInternationalConference on.IEEE，2010:1117-1120.
[0214] [6]LiH，NganKN.Aco-saliencymodelofimagepairs[J].Image Processing,IEEETransactionson,2011,20 (12):3365-3375.
[0215] [7]FuH，CaoX，TuZ.Cluster-basedco-saliencydetection[J]?Image Processing,IEEETransactionson,2013,22(10):3766-3778.
[0216] [8]MooreAP,PrinceS,WarrellJ,etal.Superpixellattices[C]// ComputerVisionandPatternRecognition, 2008.CVPR2008.IEEEConference on.IEEE，2008:1-8.
[0217] [9]MooreAP，PrinceSJD，WarrellJ."LatticeCut"-Constructing superpixelsusinglayerconstraints[C]//ComputerVisionandPattern Recognition(CVPR), 2010IEEEConferenceon.IEEE,2010:2117-2124.
[0218] [10]LevinshteinA,StereA,KutulakosKN,etal.Turbopixels:Fast superpixelsusinggeometricflows[J].PatternAnalysisandMachine Intelligence，IEEETransactionson，2009,31 (12):2290-2297.
[0219] [11]VandenBerghM,BoixX,RoigG,etal.SEEDS:Superpixelsextracted viaenergy-drivensampling[M]//ComputerVision-ECCV2012.SpringerBerlin Heidelberg，2012:13-26.
[0220] [12]LiL，FengW,WanL，etal.Maximumcohesivegridofsuperpixels forfastobjectlocalization[C]//ComputerVisionandPattern Recognition(CVPR), 2013IEEEConferenceon.IEEE,2013:3174-3181.
[0221] [13]ViolaP，JonesM.Rapidobjectdetectionusingaboostedcascadeof simplefeatures[C]//ComputerVisionandPatternRecognition, 2001.CVPR2001. Proceedingsofthe2001IEEEComputerSocietyConferenceon.IEEE, 2001, 1:1-511-1-518vol. 1.
[0222] [14]BatraD,KowdleA,ParikhD,etal.iCoseg:Interactiveco-segmentation withintelligentscribbleguidance[C]//ComputerVisionandPattern Recognition(CVPR), 2010IEEEConferenceon.IEEE,2010:3169-3176.
[0223] [15]IttiL，KochC，NieburE.Amodelofsaliency-basedvisualattention forrapidsceneanalysis[J].IEEETransactionsonPatternAnalysisandMachine Intelligence, 1998, 20(11):1254-1259.
[0224] [16]HouX,ZhangL.Saliencydetection:Aspectralresidualapproach[C]// ComputerVisionandPatternRecognition, 2007.CVPR' 07.IEEEConference on.IEEE, 2007:1-8.
[0225] [17]MargolinR,TalA,Zelnik-ManorL.Whatmakesapatchdistinct? [C]//ComputerVisionandPatternRecognition(CVPR), 2013IEEEConference on.IEEE, 2013:1139-1146.
[0226] 本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例 序号仅仅为了描述，不代表实施例的优劣。
[0227] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和 原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种基于积分匹配的快速图像协同显著区域监测方法，其特征在于，所述快速图像 协同显著区域监测方法包括以下步骤： 生成显著图，在所述显著图的基础上建立显著惩罚图； 建立鲁棒的色彩模型，通过所述色彩模型获取图像对中两个区域的余弦相似度； 构建高维积分匹配方法，通过所述高维积分匹配方法对最大协同显著区域进行检测。2. 根据权利要求1所述的一种基于积分匹配的快速图像协同显著区域监测方法，其特 征在于，所述建立鲁棒的色彩模型，通过所述色彩模型获取图像对中两个区域的余弦相似 度的步骤具体为： i ' = Qr/ Θ，ig/ Θ，ib/ Θ)，其中 Θ = max (ir，ig，ib) W为鲁棒的色彩模型中的每一个像素 ，U ig，ib为像素点的三个值； 两个区域的余弦相似度为两个区域对应的直方图分别为4和h 2。3. 根据权利要求1所述的一种基于积分匹配的快速图像协同显著区域监测方法，其特 征在于，所述构建高维积分匹配方法，通过所述高维积分匹配方法对最大协同显著区域进 行检测的步骤具体为： 1) 二维积分图的快速构造以及矩形区域值的快速计算； 2) 在二维积分图的基础上进行高维积分表的快速构造以及高位矩形区域值的快速计 算； 3) 计算两个高维区域的相似度，实现高维区域的积分匹配，获取最大的协同显著区域。
【专利摘要】本发明公开了一种基于积分匹配的快速图像协同显著区域监测方法，所述快速图像协同显著区域监测方法包括以下步骤：生成显著图，在所述显著图的基础上建立显著惩罚图；建立鲁棒的色彩模型，通过所述色彩模型获取图像对中两个区域的余弦相似度；构建高维积分匹配方法，通过所述高维积分匹配方法对最大协同显著区域进行检测。本发明所提出的协同显著性检测方法更快速、更准确。
【IPC分类】G06T7/40, G06T7/00
【公开号】CN104899875
【申请号】CN201510258792
【发明人】冯伟, 尹雪飞, 陈冬冬
【申请人】天津大学
【公开日】2015年9月9日
【申请日】2015年5月20日
最新回复(0)