基于图的协同低高级特征的视频显著性检测方法
基于图的协同低高级特征的视频显著性检测方法
【技术领域】
[0001] 本发明属于视频检测技术领域，尤其是一种基于图的协同低高级特征的视频显著 性检测方法
【背景技术】
[0002] 人类视觉注意机制是指人类在观察周围场景时会将注意力集中在一个或者几个 比较显著的区域，而忽略其他相对不显著的区域，运样人类可W将有限的资源优先应用到 最有价值的那部分信息上。视觉显著性检测模型的研究是受人类视觉注意机制的启发，通 过建立模型模拟来仿真人类视觉机理，达到快速有效地检测视频或图像中人眼感兴趣关注 点的目的。现有的显著性检测模型可分为显著物体检测模型和预测人眼关注点模型。研究 者们将视觉注意模型又分为自底向上的视觉注意模型和自顶向下的视觉注意模型。本发明 旨在建立一个自底向下的预测人眼关注点的模型。
[0003] 自底向下视觉注意模型的显著性检测模型大多是基于中屯、邻域对比原则的。Itti 等人（N.E.Itti L，Koch C.A model of saliency-based visual attention for rapid scene analysis[C]//Pattern Analysis and Machine Intelligence ,1998IEEE Transactions on, 1254-1259.)提出基于中屯、-邻域环绕算子的显著性模型，其利用输入图 像的亮度，颜色，方向等特征计算局部对比作为显著性值。Bruce等人（N.D. Bruce and J.K.Tsotsos, ('Saliency,attention,and visual search:An information theoretic approach,，'Journal of Vision，vol .9，no.3，p.5,2009.)提出基于香农信息论的局部特征 自信息建模的方、法DGorfΘrman等人（S.GofΘrman，L.ZΘlnik-Manor，andA.Tal，('ContΘxt-aware saliency detection，，'Pattern Analysis and Machine Intelligence，IEEE Transactions on, vol .34,no. 10,pp. 1915-1926,2012·)结合局部特征和全局特征进行显 著性检测。但是基于对比的显著性检测方法通常会突出显著性区域的边缘，而不是整个显 著性区域nHarel等人（J.Harel，C.Koch,and P.Perona, "Graph-based visual saliency,，' in Advances in neural information processing systems，2006，pp. 545-552.)提出了 基于马尔科夫链的视觉显著性模型，保留了更多显著性区域的信息。Jiang等人(B. Jiang， L.Zhang，H.Lu，C.Yang,and Μ.-Η.Yang, ('Saliency detection via absorbing markov chain，，'in Computer Vision(ICCV),2013IEEE International Conference on.IEEE, 2013，pp. 1665-1672.)利用吸收马尔科夫链的性质计算转移结点被边界吸收结点被吸收的 概率作为显著性值。然而，上述提到的显著性检测模型都是只利用了空域特征的图像显著 性检测模型，不能很好地应用到视频显著性检测中。针对传统显著性检测算法的不足，Kim ^A(H.Kim,Y.Kim, J.-Y.Sim,and C.-S.Kim, ''Spatiotemporal saliency detection for video sequences based on random walk with resta:rt，，'2015.)提出了一种基于重启型 随机行走的视频显著性检测模型，该模型综合了视频的空域特征和时域特征进行显著性检 挪。，但是检测结果对于复杂背景下的视频较为敏感，并且这一模型的是基于像素计算的，时 间复杂度很高。通过W上分析，全局考虑视觉特征，提高检测准确度，有效抑制背景噪声，降 低时间复杂度是视频显著性检测中迫切需要解决的问题。
【发明内容】
[0004] 本发明的目的在于克服现有技术的不足，提供一种设计合理、检测结果背景噪声 低，时间复杂度低的能准确预测人眼关注点的基图的协同低高级特征的视频显著性检测方 法。
[0005] 本发明解决现有的技术问题是采取W下技术方案实现的：
[0006] -种基于图的协同低高级特征的视频显著性检测方法，包括W下步骤：
[0007] 步骤1、将输入视频帖分割成超像素，在超像素分割的基础上，为每一视频帖构建 图；
[0008] 步骤2、提取时域特征和空域特征作为低级特征，利用从视频YUV文件中提取的空 域特征获得空域转移概率矩阵，利用从压缩码流中提取的运动矢量获得一致性运动和突发 性运动作为时域特征，基于随机游走模型获得时域重启概率分布矩阵；
[0009] 步骤3、利用背景先验作为高级特征，基于背景先验，利用马尔科夫吸收链获得基 于背景先验的显著图；
[0010] 步骤4、依据人眼视觉特征，将基于背景先验的显著图作为一个重要的重启概率分 布矩阵，修正W时域显著图作为重启矩阵，W空域特征构建空域转移概率矩阵的重启型随 机行走模型，基于修正的重启型随机行走模型计算显著性值。
[0011] 而且，所述步骤1将输入视频帖分割成超像素，在超像素分割的基础上，为每一视 频帖构建图：使用化1C算法将视频的每一帖分割成N个超像素，为每一帖构建一个图G(V， E)，其中vEV，eeE，W超像素点作为节点，W超像素块之间的特征对比度作为节点间边的 权重。
[0012] 而且，所述的提取时域特征和空域特征作为低级特征，利用从视频YUV文件中提取 的空域特征获得空域转移概率矩阵，利用从压缩码流中提取的运动矢量获得一致性运动和 突发性运动作为时域特征，基于随机游走模型获得时域重启概率分布矩阵包含W下步骤： [001引（1)、从视频序列的YUV文件中提取YUV特征，Y是亮度分量，U，V是色度分量;Y，U，V 作为空域特征用于获得空域转移概率，转移概率作为图模型的边界El,J，计算公式如下：
[0014]
[001引其中，Wspatial(i，j)表示超像素巧日超像素 j之间的权重，II * II表示特征之间的对 比度，Fi和Fj分别表示超像素巧日超像素 j特征值的平均值;dij为超像素巧日超像素 j之间的 欧氏距离，
（视频序列的分辨率为册W);
[0016] ( 2 )、将求得的Wspatial ( i，j )组成N*N的空域转移矩阵Wspatial，
[001 7] Wspatial ( j , i ) = Wspatial ( ? , j ).
[001引对角矩阵D是各行所有边界权重的和，即D = diag(SjWspatial(iJ))，则空域转移矩 阵Pspatial由下式计算得到：
[0019]
[0020] (3)、从H. 264压缩比特流中提取运动矢量作为运动特征，运动矢量是一个二维的 矢量，表示为(/"^，品兩），运里mf = P：| + P：|;为了获得更准确的时域显著检测结果，定 义两种运动特征，分别为突发性运动和一致性运动，W视频中第t帖为例说明两种运动，突 发性运动是不考虑人眼视觉特性，只考虑压缩码流中表示的发生在视频当前帖t帖的运动， 它的值直接取当前帖的运动矢量，即一致性运动是考虑了人眼视觉特征，由 于人眼的视觉暂留机制，人眼关注的运动区域会受到先前帖的影响，表示在当前帖的前几 帖中也出现的运动，它的值由前几帖的运动矢量和上一帖的时空域显著值的和求得，即
时域特征结合突发性运动和一致性运动求得，M = 2/3* Minstant+l/3*Mcx)nsistent(为了简化，忽略上标t).获得运动特征后，其作为时域特征用于获得 时域转移概率，转移概率作为图模型的边界El, J，计算公式如下：
[0021]
[00。]其中，*。。*1。。。^')表示超像素巧日超像素^'之间的权重，||*11表示特征之间的对比 度，Fi和門分别表示超像素巧日超像素 j特征值的平均值;di功超像素巧日超像素 j之间的欧 氏距离，CTm = φν- + Η '，（视频序列的分辨率为册W);
[002；3] ( 4)、将求得的Wmotion( i，j )组成N*N的空域转移矩阵Wmotion，
[0024] Wmotion( j , ? ) =Wmotion( ? , j )
[0025] 对角矩阵D是各行所有边界权重的和，即D = diag( Σ挪motion( i，j))，则空域转移矩 阵由下式计算得到：
[002引 Pmotio n 二 WmotionD
[0027] 根据获得的空域转移矩阵?。。*1。。，利用随机行走模型获得空域平衡分布;时域平衡 分布ntempDral依据运动特征对比度构造的随机游走模型的转移概率矩阵经迭代计算获得，公 式如下所示：
[0028] temporal _ Pmotion^itemporal
[0029] 最后，对31 temporal归进行一化获得时域显著图Stemporal。
[0030] 而且，所述步骤3:利用背景先验作为高级特征，基于背景先验，利用马尔科夫吸收 链获得基于背景先验的显著图包含W下步骤：
[0031] (1)、假设图像的边界为背景，显著目标很少占据图像的边缘;对于视频中的一帖， 用图像边界作为背景吸收结点在构建的图G(V，E)上构建一条吸收马尔科夫链，超像素节点 i和超像素节点j之间的权重定义为
[0032]
[0033] 式中，11*11表示特征之间的对比度，Fi和門分别表示超像素巧日超像素 j空域特征 值的平均值;σ是一个常数，取为0.05.节点之间权重越大，表示节点之间连接越紧密，权 重越小，表示节点几乎不连接；
[0034] (2)、每个转移状态的显著值被定义为吸收链从该状态出发，被吸收进所有吸收结 点之前，停留在所有转移状态的期望数目的时间;我们给节点重新排列，使得转移结点在吸 收节点之前，然后定义一个关联矩阵A=(au)，表示节点之间的相关性，au表示转移结点i 和吸收节点间的权重值；
[0035] 吸收马尔科夫链的概率转移矩阵被定义为
[0036]
[0037] 其中，Q = Wabsorbing扩1，R = A扩1.对角矩阵D是各行所有边界权重的和，即 [003引 D = diag( s jW(i，j) )，I为单位矩阵；由Pabsorbing可得到基础矩阵N，
[0039] n=(I-Q)-i = I+Q+q2+...
[0040] 基础矩阵N中的元素 nu表示从转移节点Si开始到转移节点&的期望时间；
[0041] (3)、对于马尔科夫链中的每一个转移节点，最终都会被吸收节点吸收，通过基础 矩阵，可W得到每个转移节点被吸收到每个吸收节点的吸收概率：
[0042] B = NXR
[0043] 其中，Βυ表示转移节点i被吸收到吸收节点j的吸收概率，并且，B的每一行求和等 于1.对于马尔科夫链中的每个转移节点，吸收概率表示了转移节点和吸收节点之间的关 系；
[0044] (4)、最后，基于背景先验的每一个超像素节点的显著值通过下式计算得到：
[0045]
[0046] 式中：
表示超像素点i和背景之间的差异；吸收概率值W降序排列后 选择前80%获得bs(i)W消除一些异常的背景结点对显著结果的影响，提高了检测的准确 度；（xc，yc)是输入图像的中屯、超像素点的坐标，（xi，yi)是输超像素点i的坐标，Οχ和oy分别 取值为H/6和W/6.
[0047] 而且，所述步骤4:依据人眼视觉特征，将基于背景先验的显著图作为一个重要的 重启概率分布矩阵，修正W时域显著图作为重启矩阵，W空域特征构建空域转移概率矩阵 的重启型随机行走模型，基于修正的重启型随机行走模型计算显著性值;最终的时空显著 图分布η由重启型随机行走模型计算得到，该模型可表示为：
[004引
[0049]其中，31表示最终的时空显著图分布，ri表示时域显著分布，η表示基于背景先验的 显著分布，Pspatial表示空域转移矩阵；1-Ρ1-Ρ2表示返回概率。最终的显著图S由时空显著图 分布：π归一化得到，公式为；
[(Κ)加]
[0051] 本发明的优点和积极效果是：
[0052] 本发明设计合理，其利用重启型随机游走模型可W有效模拟人眼视觉神经元相互 沟通的特点，综合考虑包括时空域信息的低级特征和背景先验的高级特征，根据压缩码流 中提取的运动矢量获得突发性运动和一致性运动作为运动特征，W运动特征对比度构造的 随机游走模型的转移概率矩阵经迭代计算获得时域显著性图，进而获得时域重启矩阵;根 据人眼视觉特性，将图像边界大多为边界运一高级先验知识考虑在内，利用马尔科夫链获 得基于背景先验的重启转移矩阵，利用修正的重启型随机游走模型综合考虑时空域特征和 背景先验很好地抑制了背景噪声，准确预测人眼关注点。同时，该方法W超像素为基本处理 单元，有效地降低了时间复杂度，同时，本发明具有良好的鲁棒性W及较强的可扩展性。
【附图说明】
[0053] 图1是实验结果对比图，包括不同序列使用不同显著性检测方法获得的显著性图。
[0054] 图2是不同算法所获得的显著性图的R0C曲线对比图。
【具体实施方式】
[0055] W下结合附图对本发明实施例做进一步详述。
[0056] -种基于图的协同低高级特征的视频显著性检测方法，包含W下步骤：
[0057] 步骤1、将输入视频帖分割成超像素，在超像素分割的基础上，为每一视频帖构建 图包含W下步骤：
[0058] (1)、使用化1C算法将视频的每一帖分割成N(N = 250)个超像素，W超像素点作为 节点，为每一帖构建一个图G(V，E)，其中veV，eeE，W超像素作为显著性检测的基本单元 W降低计算复杂度；
[0059] (2)、根据像素块之间的特征的对比度确定边的权重，构建图模型，在建立的图模 型上用重启型随机游走模型模拟人眼在视频上的运动，通过计算随机行走者在每个结点停 留的概率确定显著性值，从而达到预测人眼关注点的目的。
[0060] 步骤2、提取时域特征和空域特征作为低级特征，利用从视频YUV文件中提取的空 域特征获得空域转移概率矩阵，利用从压缩码流中提取的运动矢量获得一致性运动和突发 性运动作为时域特征，基于随机游走模型获得时域重启概率分布矩阵包含W下步骤：
[0061 ] (1)、从视频序列的YUV文件中提取YUV特征，Y是亮度分量，U，V是色度分量。Y，U，V 作为空域特征用于获得空域转移概率，转移概率作为图模型的边界El,J，计算公式如下：
[0062]
[0063] 其中，Wspatial(i，j)表示超像素 i和超像素 j之间的权重，11*11表示特征之间的对 比度，Fi和Fj分别表示超像素巧日超像素 j特征值的平均值;dij为超像素巧日超像素 j之间的 欧氏距离，+ //:，（视频序列的分辨率为册W);
[0064] (2)、将求得的Wspatial(i，j)组成N*N的空域转移矩阵Wspatial，
[00化]Wspatial( j，i ) = Wspatial ( i，j ).
[0066] 对角矩阵D是各行所有边界权重的和，即D = diag(s挪spatial。J))，则空域转移矩 阵Pspatial由下式计算得到：
[0067] Pspatial = Wspatial 扩 1
[006引（3 )、从Η. 264压缩比特流中提取运动矢量作为运动特征，运动矢量是一个二维的 矢量，表示为(^，品。，运里Mr = p：| + p7：|。为了获得更准确的时域显著检测结果，本 发明中定义两种运动特征，分别为突发性运动和一致性运动。w视频中第t帖为例说明两种 运动，突发性运动是不考虑人眼视觉特性，只考虑压缩码流中表示的发生在视频当前帖t帖 的运动，它的值直接取当前帖的运动矢量，即
：一致性运动是考虑了人眼视觉 特征，由于人眼的视觉暂留机制，人眼关注的运动区域会受到先前帖的影响，表示在当前帖 的前几帖中也出现的运动，它的值由前几帖的运动矢量和上一帖的时空域显著值的和求 得，目[
。时域特征结合突发性运动和一致性运动求得，M = 2/ 3*Minstant+l/3*MGDnsistent(为了简化，忽略上标t).获得运动特征后，其作为时域特征用于获 得时域转移概率，转移概率作为图模型的边界El, J，计算公式如下：
[0069]
[0070] 其中，WmDtiDnQ J)表示超像素巧日超像素 j之间的权重，11*11表示特征之间的对比 度，Fi和門分别表示超像素巧日超像素 j特征值的平均值;di功超像素巧日超像素 j之间的欧 氏距离
，(视频序列的分辨率为册W);
[0071] (4)、将求得的WmDtinn(i，j)组成N*N的空域转移矩阵Wmntion，
[0072] Wmotion(j,i)=Wmotion(i,j)
[0073] 对角矩阵D是各行所有边界权重的和，即D = diag( s jWmotion( i，j ))，则空域转移矩 阵PmntiDn由下式计算得到：
[0074] Pmotion 二 WmotionD 1
[0075] 根据获得的空域转移矩阵?。。*1。。，利用随机行走模型获 得空域平衡分布。随机游走 模型可W有效模拟人眼视觉神经元相互沟通的特点，随机游走者的运动满足马尔科夫链的 性质，马尔科夫链状态在随机游走时仅取决于系统当前所处的状态和转移概率，如果一个 马尔科夫链可W从任意一个状态经过若干次转移后到达另一个状态，则称运种马尔科夫链 是遍历的。一个遍历的马尔科夫链从任意状态出发，在经过一定的时间后会到达一个平衡 状态，该状态的分布称为平稳分布。基于此，时域平衡分布ntempDral依据运动特征对比度构造 的随机游走模型的转移概率矩阵经迭代计算获得，公式如下所示：
[0076] 3T temporal - P motionJ^temporal
[0077] 最后，对31 temporal归进行一化获得时域显著图Stempwal。
[0078] 步骤3、利用背景先验作为高级特征，基于背景先验，利用马尔科夫吸收链获得基 于背景先验的显著图，具体包含W下步骤：
[0079] (1)、假设图像的边界为背景，显著目标很少占据图像的边缘。对于视频中的一帖， 用图像边界作为背景吸收结点在构建的图G(V，E)上构建一条吸收马尔科夫链，超像素节点 i和超像素节点j之间的权重定义为
[0080]
[0081]式中，||*11表示特征之间的对比度，Fi和門分别表示超像素巧日超像素 j空域特征 值的平均值;σ是一个常数，取为0.05.节点之间权重越大，表示节点之间连接越紧密，权 重越小，表示节点几乎不连接。
[0082] (2)、每个转移状态的显著值被定义为吸收链从该状态出发，被吸收进所有吸收结 点之前，停留在所有转移状态的期望数目的时间。我们给节点重新排列，使得转移结点在吸 收节点之前，然后定义一个关联矩阵A=(au)，表示节点之间的相关性，au表示转移结点i 和吸收节点间的权重值。
[0083] 吸收马尔科夫链的概率转移矩阵被定义为
[0084]
[00财其中，Q = Wabsorbing扩1，R = A扩1.对角矩阵D是各行所有边界权重的和，即
[0086] D = diag( S jW( i，j ) )，I为单位矩阵。由Pabsorbing可得到基础矩阵N，
[0087] n=(I-Q)-i = I+Q+q2+...
[008引基础矩阵N中的元素化表示从转移节点Si开始到转移节点&的期望时间。
[0089] (3)、对于马尔科夫链中的每一个转移节点，最终都会被吸收节点吸收，通过基础 矩阵，可W得到每个转移节点被吸收到每个吸收节点的吸收概率：
[0090] B = NXR
[0091] 其中，Βυ表示转移节点i被吸收到吸收节点j的吸收概率，并且，B的每一行求和等 于1.对于马尔科夫链中的每个转移节点，吸收概率表示了转移节点和吸收节点之间的关 系。
[0092] (4)、最后，基于背景先验的每一个超像素节点的显著值通过下式计算得到：
[0093]
[0094] 式中：
表示超像素点i和背景之间的差异。吸收概率值W降序排列后 选择前80%获得bs(i)W消除一些异常的背景结点对显著结果的影响，提高了检测的准确 度；（xc，yc)是输入图像的中屯、超像素点的坐标，（xi，yi)是输超像素点i的坐标，Οχ和oy分别 取值为H/6和W/6.
[00M]步骤4、依据人眼视觉特征，将基于背景先验的显著图作为一个重要的重启概率分 布矩阵，修正W时域显著图作为重启矩阵，W空域特征构建空域转移概率矩阵的重启型随 机行走模型，基于修正的重启型随机行走模型计算显著性值。最终的时空显著图分布η由重 启型随机行走模型计算得到，该模型可表示为：
[0096] JT = ( 1-Ρ 广化)Pspatia 巧+Piri+P 化 2
[0097] 其中，31表示最终的时空显著图分布，ri表示时域显著分布，η表示基于背景先验的 显著分布，Pspatia读示空域转移矩阵。1-Ρ1-Ρ康示返回概率。最终的显著图S由时空显著图 分布：π归一化得到，公式为；
[009引
[0099]下面按照本发明的方法进行实验，说明本发明的实验效果。
[0100] 测试环境：Visual SUidio 2013，MATLAB 2013b
[0101] 测试序列：所选测试序列和其对应标准显著性图（Ground Truth)来自SRJ数据库 (Hadi Hadizadeh,Mario J Enriquez ,and Ivan V Bajic,"Eye-tracking database for a set of standard video sequencesImage Processing, IEEE Transactions on, vol.21,no.2，pp.898-903,2012.)和CRCNS数据库化.Itti and P.Baldi，''A principled approach to detecting surprising events in video,''in Computer Vision and Pattern Recognition ,2005.CVPR 2005.IEEE Computer Society Conference on, vol.l. IE邸，2005，pp. 631-637)，其中包含的序列如下：
[0102] 表一测试序列1(SFU数据库）
[0103]
[0106] 测试指标：
[0107] (1)、本文使用了两种评价指标，分别为AUC和sAUC，其中AUC为R0C曲线下覆盖的面 积。R0C曲线是TPR随FPR变化的曲线，其中TPR表示将groun化ruth中显著性点检测为显著性 点的比例，FPR表示将非显著性点检测为显著性点的比例，AUC值越大，表示视频显著性检测 模型越好；
[0108] (2)、由于一些模型广泛使用中屯、偏置的原则，导致实验结果对数据库的依赖性非 常强。sAUC即一种为了消除中屯、偏置而提出的评价指标（D . Parkhurst ,Κ . Law , and E.Niebur,"Modeling the role of salience in the allocation of overt visual attention,"Vision research,vol .42,no. 1 ,pp. 107-123,2002)，该指标的计算义用非均 匀的方式选择非显著点，从而消除中屯、偏置的影响。
[0109] 比较方法：本发明与现存的几种显著性检测算法进行对比，有GBVSQ.Harel, C. Koch ,and P. Perona, ('Graph-based visual saliency in Advances in neural information processing systems,2006,pp.545-552.),AIM(N.D.Bruce and J.K.Tsotsos,"Saliency,attention,and visual search:An information theoretic approach /'Journal of Vision,vol.9,no.3,p.5,2009.)，CA(S.Goferman,L.Zelnik-Manor ,and A. Tal, "Context-aware saliency detection Pattern Analysis and Machine Intelligence , IEEE Transactions on,vol.34,no.10,pp.1915-1926,2012.)， AMC(B. Jiang ,L. Zhang ,H.Lu,C. Yang , and M.-H. Yang , "Saliency detection via absorbing markov chain,"in Computer Vision(ICCV),2013IEEE International Conference on.IEEE,2013,pp.1665-1672.)，RWR(H.Kim,Y.Kim,J.-Y.Sim,and C.-S.Kim, "Spatiotemporal saliency detection for video sequences based on random walk with restart,"2015.)。
[0110] 测试结果如下：
[01川表；68￥5，〔4,4加，1^1?，座(：方法^及本文算法的平均测试结果
[0112]_
[0113] 表Ξ是对SFU和CRCNS中所有视频测试的平均结果，可W看出本文方法在AUC和 sAUC分数上相比其他方法均有明显提高，运说明本文方法所产生的显著性图可W更好的预 测人眼关注点。另外，R0C曲线如图二所示，本文算法计算获得的曲线相比其他算法的曲线 更 靠近左上，说明本文的显著性检测算法不仅更正确的预测了显著性区域，同时能够有效 降低背景噪声。另外，由于采用了超像素分割，本文算法所用的平均计算时间大大降低，算 法的效率比其他算法更高。
[0114] 需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包 括并不限于【具体实施方式】中所述的实施例，凡是由本领域技术人员根据本发明的技术方案 得出的其他实施方式，同样属于本发明保护的范围。
【主权项】
1. 基于图的协同低高级特征的视频显著性检测方法，其特征在于，包括以下步骤： 步骤1、将输入视频帧分割成超像素，在超像素分割的基础上，为每一视频帧构建图； 步骤2、提取时域特征和空域特征作为低级特征，利用从视频YUV文件中提取的空域特 征获得空域转移概率矩阵，利用从压缩码流中提取的运动矢量获得一致性运动和突发性运 动作为时域特征，基于随机游走模型获得时域重启概率分布矩阵； 步骤3、利用背景先验作为高级特征，基于背景先验，利用马尔科夫吸收链获得基于背 景先验的显著图； 步骤4、依据人眼视觉特征，将基于背景先验的显著图作为一个重要的重启概率分布矩 阵，修正以时域显著图作为重启矩阵，以空域特征构建空域转移概率矩阵的重启型随机行 走模型，基于修正的重启型随机行走模型计算显著性值。2. 根据权利要求1所述的基于图的协同低高级特征的视频显著性检测方法，其特征在 于:所述步骤1将输入视频帧分割成超像素，在超像素分割的基础上，为每一视频帧构建图： 使用SLIC算法将视频的每一帧分割成N个超像素，为每一帧构建一个图G(V，E)，其中 Vev，e ￡Ε，以超像素点作为节点，以超像素块之间的特征对比度作为节点间边的权重。3. 根据权利要求1所述的基于图的协同低高级特征的视频显著性检测方法，其特征在 于:所述的提取时域特征和空域特征作为低级特征，利用从视频YUV文件中提取的空域特征 获得空域转移概率矩阵，利用从压缩码流中提取的运动矢量获得一致性运动和突发性运动 作为时域特征，基于随机游走模型获得时域重启概率分布矩阵包含以下步骤： (1 )、从视频序列的YUV文件中提取YUV特征，Y是亮度分量，U，V是色度分量;Y，U，V作为 空域特征用于获得空域转移概率，转移概率作为图模型的边界E1^计算公式如下：其中，wspatlal(i，j)表示超像素i和超像素j之间的权重，I |*| I表示特征之间的对比度， FdPFj分别表示超像素i和超像素j特征值的平均值;du为超像素i和超像素j之间的欧氏距 离:(视频序列的分辨率为H*W); (2 )、将求得的wspatiai (i，j)组成N*N的空域转移矩阵WspatiaI， Wspatial ( j，i ) -Wspatial ( i，j ) · 对角矩阵D是各行所有边界权重的和，即D = diag( Σ jWspatlal( i，j))，则空域转移矩阵 Pspatial由下式计算得到： P spatial -WspatialD (3 )、从H. 264压缩比特流中提取运动矢量作为运动特征，运动矢量是一个二维的矢量， 表示为这里为了获得更准确的时域显著检测结果，定义两 种运动特征，分别为突发性运动和一致性运动，以视频中第t帧为例说明两种运动，突发性 运动是不考虑人眼视觉特性，只考虑压缩码流中表示的发生在视频当前帧t帧的运动，它的 值直接取当前帧的运动矢量，即一致性运动是考虑了人眼视觉特征，由于人 眼的视觉暂留机制，人眼关注的运动区域会受到先前帧的影响，表示在当前帧的前几帧中 也出现的运动，它的值由前几帧的运动矢量和上一帧的时空域显著值的和求得，即.时域特征结合突发性运动和一致性运动求得，M= 2/3* Minstent+lA+Mc^sistent，获得运动特征后，其作为时域特征用于获得时域转移概率，转移概率 作为图模型的边界E1^计算公式如下：其中，WMtlcin(i J)表示超像素i和超像素j之间的权重，I |*| I表示特征之间的对比度，F1 和Fj分别表示超像素i和超像素j特征值的平均值;Cllj为超像素i和超像素j之间的欧氏距 离:视频序列的分辨率为H*w; (4)、将求得的wMticin( i，j)组成N*N的空域转移矩阵Wmcition， ffmotion( J , ? ) -Wmotion( I , J ) 对角矩阵D是各行所有边界权重的和，即0 =虹&8(2#_*1。11(1」）），则空域转移矩阵 Pmotion由下式计算得到： P motion - WmotionD 根据获得的空域转移矩阵!^&^利用随机行走模型获得空域平衡分布:时域平衡分布 Jitempciral依据运动特征对比度构造的随机游走模型的转移概率矩阵经迭代计算获得，公式如 下所示： 丌 temporal - P motion^ temporal 最后，对^temporal归进彳丁一化获得时域显者图Stemporal。4.根据权利要求1所述的基于图的协同低高级特征的视频显著性检测方法，其特征在 于:所述步骤3:利用背景先验作为高级特征，基于背景先验，利用马尔科夫吸收链获得基于 背景先验的显著图包含以下步骤： (1) 、假设图像的边界为背景，显著目标很少占据图像的边缘;对于视频中的一帧，用图 像边界作为背景吸收结点在构建的图G(V，E)上构建一条吸收马尔科夫链，超像素节点i和 超像素节点j之间的权重定义为式中，I 1*1 I表示特征之间的对比度，FdPFj分别表示超像素i和超像素j空域特征值的 平均值;σ是一个常数，取σ2为0.05.节点之间权重越大，表示节点之间连接越紧密，权重越 小，表示节点几乎不连接； (2) 、每个转移状态的显著值被定义为吸收链从该状态出发，被吸收进所有吸收结点之 前，停留在所有转移状态的期望数目的时间;我们给节点重新排列，使得转移结点在吸收节 点之前，然后定义一个关联矩阵A= (a^)，表示节点之间的相关性，表示转移结点i和吸 收节点间的权重值； 吸收马尔科夫链的概率转移矩阵被定义为其中，Q = Wabscirbini^1 ,R = AD^对角矩阵D是各行所有边界权重的和，即D = diag(XjW (i，j))，I为单位矩阵；由?-_可得到基础矩阵N， N=(I-Q)_1=I+Q+Q2+... 基础矩阵N中的元素表示从转移节AS1开始到转移节点&的期望时间； (3) 、对于马尔科夫链中的每一个转移节点，最终都会被吸收节点吸收，通过基础矩阵， 可以得到每个转移节点被吸收到每个吸收节点的吸收概率： B = NXR 其中，Blj表示转移节点i被吸收到吸收节点j的吸收概率，并且，B的每一行求和等于1. 对于马尔科夫链中的每个转移节点，吸收概率表示了转移节点和吸收节点之间的关系； (4) 、最后，基于背景先验的每一个超像素节点的显著值通过下式计算得到：式中，表示超像素点i和背景之间的差异;吸收概率值以降序排列后选择前 80%获得bs(i)以消除一些异常的背景结点对显著结果的影响，提高了检测的准确度；（Xc， y。)是输入图像的中心超像素点的坐标，（xi，yi)是输超像素点i的坐标，σχ和〇y分别取值为H/ 6 和 W/6〇5.根据权利要求1所述的基于图的协同低高级特征的视频显著性检测方法，其特征在 于:所述步骤4:依据人眼视觉特征，将基于背景先验的显著图作为一个重要的重启概率分 布矩阵，修正以时域显著图作为重启矩阵，以空域特征构建空域转移概率矩阵的重启型随 机行走模型，基于修正的重启型随机行走模型计算显著性值;最终的时空显著图分布由重 启型随机行走模型计算得到，该模型可表示为： Ji= ( l_Pl_P2)PspatialJi+Piri+P2：T2 其中，π表不最终的时空显著图分布，ri表不时域显著分布，Γ2表不基于背景先验的显著 分布，Pspatial表不空域转移矩阵；1-Ρ1-Ρ2表不返回概率。最终的显著图S由时空显著图分布JT 归一化得到，公式为：
【专利摘要】本发明涉及一种基于图的协同低高级特征的视频显著性检测方法，属于视频检测技术领域，其技术特点是：使用改进的随机行走算法模拟人眼运动进行视频显著性检测。该方法从视频流中提取低级特征与高级特征，以超像素为基本单元，利用低级特征获得空域转移概率矩阵和时域重启矩阵，以边界优先作为一种高级特征获得基于边界先验的重启矩阵。将两种重启矩阵与空域转移概率矩阵相结合到重启性随机行走算法的框架中获得时空域显著性图。本文将算法在两个公开数据库上进行了测试，实验结果表明该方法优于其它显著性检测算法。本发明设计合理，利用低级特征和高级特征构建重启性随机行走的框架，获得了与人眼注意机制高度相符的显著性检测结果。
【IPC分类】H04N17/00, H04N17/02
【公开号】CN105491370
【申请号】CN201510799543
【发明人】高冉, 郭晓强, 付光涛, 李小雨, 周芸, 涂钦
【申请人】国家新闻出版广电总局广播科学研究院
【公开日】2016年4月13日
【申请日】2015年11月19日
【技术领域】
[0001] 本发明属于视频检测技术领域，尤其是一种基于图的协同低高级特征的视频显著 性检测方法
【背景技术】
[0002] 人类视觉注意机制是指人类在观察周围场景时会将注意力集中在一个或者几个 比较显著的区域，而忽略其他相对不显著的区域，运样人类可W将有限的资源优先应用到 最有价值的那部分信息上。视觉显著性检测模型的研究是受人类视觉注意机制的启发，通 过建立模型模拟来仿真人类视觉机理，达到快速有效地检测视频或图像中人眼感兴趣关注 点的目的。现有的显著性检测模型可分为显著物体检测模型和预测人眼关注点模型。研究 者们将视觉注意模型又分为自底向上的视觉注意模型和自顶向下的视觉注意模型。本发明 旨在建立一个自底向下的预测人眼关注点的模型。
[0003] 自底向下视觉注意模型的显著性检测模型大多是基于中屯、邻域对比原则的。Itti 等人（N.E.Itti L，Koch C.A model of saliency-based visual attention for rapid scene analysis[C]//Pattern Analysis and Machine Intelligence ,1998IEEE Transactions on, 1254-1259.)提出基于中屯、-邻域环绕算子的显著性模型，其利用输入图 像的亮度，颜色，方向等特征计算局部对比作为显著性值。Bruce等人（N.D. Bruce and J.K.Tsotsos, ('Saliency,attention,and visual search:An information theoretic approach,，'Journal of Vision，vol .9，no.3，p.5,2009.)提出基于香农信息论的局部特征 自信息建模的方、法DGorfΘrman等人（S.GofΘrman，L.ZΘlnik-Manor，andA.Tal，('ContΘxt-aware saliency detection，，'Pattern Analysis and Machine Intelligence，IEEE Transactions on, vol .34,no. 10,pp. 1915-1926,2012·)结合局部特征和全局特征进行显 著性检测。但是基于对比的显著性检测方法通常会突出显著性区域的边缘，而不是整个显 著性区域nHarel等人（J.Harel，C.Koch,and P.Perona, "Graph-based visual saliency,，' in Advances in neural information processing systems，2006，pp. 545-552.)提出了 基于马尔科夫链的视觉显著性模型，保留了更多显著性区域的信息。Jiang等人(B. Jiang， L.Zhang，H.Lu，C.Yang,and Μ.-Η.Yang, ('Saliency detection via absorbing markov chain，，'in Computer Vision(ICCV),2013IEEE International Conference on.IEEE, 2013，pp. 1665-1672.)利用吸收马尔科夫链的性质计算转移结点被边界吸收结点被吸收的 概率作为显著性值。然而，上述提到的显著性检测模型都是只利用了空域特征的图像显著 性检测模型，不能很好地应用到视频显著性检测中。针对传统显著性检测算法的不足，Kim ^A(H.Kim,Y.Kim, J.-Y.Sim,and C.-S.Kim, ''Spatiotemporal saliency detection for video sequences based on random walk with resta:rt，，'2015.)提出了一种基于重启型 随机行走的视频显著性检测模型，该模型综合了视频的空域特征和时域特征进行显著性检 挪。，但是检测结果对于复杂背景下的视频较为敏感，并且这一模型的是基于像素计算的，时 间复杂度很高。通过W上分析，全局考虑视觉特征，提高检测准确度，有效抑制背景噪声，降 低时间复杂度是视频显著性检测中迫切需要解决的问题。
【发明内容】
[0004] 本发明的目的在于克服现有技术的不足，提供一种设计合理、检测结果背景噪声 低，时间复杂度低的能准确预测人眼关注点的基图的协同低高级特征的视频显著性检测方 法。
[0005] 本发明解决现有的技术问题是采取W下技术方案实现的：
[0006] -种基于图的协同低高级特征的视频显著性检测方法，包括W下步骤：
[0007] 步骤1、将输入视频帖分割成超像素，在超像素分割的基础上，为每一视频帖构建 图；
[0008] 步骤2、提取时域特征和空域特征作为低级特征，利用从视频YUV文件中提取的空 域特征获得空域转移概率矩阵，利用从压缩码流中提取的运动矢量获得一致性运动和突发 性运动作为时域特征，基于随机游走模型获得时域重启概率分布矩阵；
[0009] 步骤3、利用背景先验作为高级特征，基于背景先验，利用马尔科夫吸收链获得基 于背景先验的显著图；
[0010] 步骤4、依据人眼视觉特征，将基于背景先验的显著图作为一个重要的重启概率分 布矩阵，修正W时域显著图作为重启矩阵，W空域特征构建空域转移概率矩阵的重启型随 机行走模型，基于修正的重启型随机行走模型计算显著性值。
[0011] 而且，所述步骤1将输入视频帖分割成超像素，在超像素分割的基础上，为每一视 频帖构建图：使用化1C算法将视频的每一帖分割成N个超像素，为每一帖构建一个图G(V， E)，其中vEV，eeE，W超像素点作为节点，W超像素块之间的特征对比度作为节点间边的 权重。
[0012] 而且，所述的提取时域特征和空域特征作为低级特征，利用从视频YUV文件中提取 的空域特征获得空域转移概率矩阵，利用从压缩码流中提取的运动矢量获得一致性运动和 突发性运动作为时域特征，基于随机游走模型获得时域重启概率分布矩阵包含W下步骤： [001引（1)、从视频序列的YUV文件中提取YUV特征，Y是亮度分量，U，V是色度分量;Y，U，V 作为空域特征用于获得空域转移概率，转移概率作为图模型的边界El,J，计算公式如下：
[0014]
[001引其中，Wspatial(i，j)表示超像素巧日超像素 j之间的权重，II * II表示特征之间的对 比度，Fi和Fj分别表示超像素巧日超像素 j特征值的平均值;dij为超像素巧日超像素 j之间的 欧氏距离，
（视频序列的分辨率为册W);
[0016] ( 2 )、将求得的Wspatial ( i，j )组成N*N的空域转移矩阵Wspatial，
[001 7] Wspatial ( j , i ) = Wspatial ( ? , j ).
[001引对角矩阵D是各行所有边界权重的和，即D = diag(SjWspatial(iJ))，则空域转移矩 阵Pspatial由下式计算得到：
[0019]
[0020] (3)、从H. 264压缩比特流中提取运动矢量作为运动特征，运动矢量是一个二维的 矢量，表示为(/"^，品兩），运里mf = P：| + P：|;为了获得更准确的时域显著检测结果，定 义两种运动特征，分别为突发性运动和一致性运动，W视频中第t帖为例说明两种运动，突 发性运动是不考虑人眼视觉特性，只考虑压缩码流中表示的发生在视频当前帖t帖的运动， 它的值直接取当前帖的运动矢量，即一致性运动是考虑了人眼视觉特征，由 于人眼的视觉暂留机制，人眼关注的运动区域会受到先前帖的影响，表示在当前帖的前几 帖中也出现的运动，它的值由前几帖的运动矢量和上一帖的时空域显著值的和求得，即
时域特征结合突发性运动和一致性运动求得，M = 2/3* Minstant+l/3*Mcx)nsistent(为了简化，忽略上标t).获得运动特征后，其作为时域特征用于获得 时域转移概率，转移概率作为图模型的边界El, J，计算公式如下：
[0021]
[00。]其中，*。。*1。。。^')表示超像素巧日超像素^'之间的权重，||*11表示特征之间的对比 度，Fi和門分别表示超像素巧日超像素 j特征值的平均值;di功超像素巧日超像素 j之间的欧 氏距离，CTm = φν- + Η '，（视频序列的分辨率为册W);
[002；3] ( 4)、将求得的Wmotion( i，j )组成N*N的空域转移矩阵Wmotion，
[0024] Wmotion( j , ? ) =Wmotion( ? , j )
[0025] 对角矩阵D是各行所有边界权重的和，即D = diag( Σ挪motion( i，j))，则空域转移矩 阵由下式计算得到：
[002引 Pmotio n 二 WmotionD
[0027] 根据获得的空域转移矩阵?。。*1。。，利用随机行走模型获得空域平衡分布;时域平衡 分布ntempDral依据运动特征对比度构造的随机游走模型的转移概率矩阵经迭代计算获得，公 式如下所示：
[0028] temporal _ Pmotion^itemporal
[0029] 最后，对31 temporal归进行一化获得时域显著图Stemporal。
[0030] 而且，所述步骤3:利用背景先验作为高级特征，基于背景先验，利用马尔科夫吸收 链获得基于背景先验的显著图包含W下步骤：
[0031] (1)、假设图像的边界为背景，显著目标很少占据图像的边缘;对于视频中的一帖， 用图像边界作为背景吸收结点在构建的图G(V，E)上构建一条吸收马尔科夫链，超像素节点 i和超像素节点j之间的权重定义为
[0032]
[0033] 式中，11*11表示特征之间的对比度，Fi和門分别表示超像素巧日超像素 j空域特征 值的平均值;σ是一个常数，取为0.05.节点之间权重越大，表示节点之间连接越紧密，权 重越小，表示节点几乎不连接；
[0034] (2)、每个转移状态的显著值被定义为吸收链从该状态出发，被吸收进所有吸收结 点之前，停留在所有转移状态的期望数目的时间;我们给节点重新排列，使得转移结点在吸 收节点之前，然后定义一个关联矩阵A=(au)，表示节点之间的相关性，au表示转移结点i 和吸收节点间的权重值；
[0035] 吸收马尔科夫链的概率转移矩阵被定义为
[0036]
[0037] 其中，Q = Wabsorbing扩1，R = A扩1.对角矩阵D是各行所有边界权重的和，即 [003引 D = diag( s jW(i，j) )，I为单位矩阵；由Pabsorbing可得到基础矩阵N，
[0039] n=(I-Q)-i = I+Q+q2+...
[0040] 基础矩阵N中的元素 nu表示从转移节点Si开始到转移节点&的期望时间；
[0041] (3)、对于马尔科夫链中的每一个转移节点，最终都会被吸收节点吸收，通过基础 矩阵，可W得到每个转移节点被吸收到每个吸收节点的吸收概率：
[0042] B = NXR
[0043] 其中，Βυ表示转移节点i被吸收到吸收节点j的吸收概率，并且，B的每一行求和等 于1.对于马尔科夫链中的每个转移节点，吸收概率表示了转移节点和吸收节点之间的关 系；
[0044] (4)、最后，基于背景先验的每一个超像素节点的显著值通过下式计算得到：
[0045]
[0046] 式中：
表示超像素点i和背景之间的差异；吸收概率值W降序排列后 选择前80%获得bs(i)W消除一些异常的背景结点对显著结果的影响，提高了检测的准确 度；（xc，yc)是输入图像的中屯、超像素点的坐标，（xi，yi)是输超像素点i的坐标，Οχ和oy分别 取值为H/6和W/6.
[0047] 而且，所述步骤4:依据人眼视觉特征，将基于背景先验的显著图作为一个重要的 重启概率分布矩阵，修正W时域显著图作为重启矩阵，W空域特征构建空域转移概率矩阵 的重启型随机行走模型，基于修正的重启型随机行走模型计算显著性值;最终的时空显著 图分布η由重启型随机行走模型计算得到，该模型可表示为：
[004引
[0049]其中，31表示最终的时空显著图分布，ri表示时域显著分布，η表示基于背景先验的 显著分布，Pspatial表示空域转移矩阵；1-Ρ1-Ρ2表示返回概率。最终的显著图S由时空显著图 分布：π归一化得到，公式为；
[(Κ)加]
[0051] 本发明的优点和积极效果是：
[0052] 本发明设计合理，其利用重启型随机游走模型可W有效模拟人眼视觉神经元相互 沟通的特点，综合考虑包括时空域信息的低级特征和背景先验的高级特征，根据压缩码流 中提取的运动矢量获得突发性运动和一致性运动作为运动特征，W运动特征对比度构造的 随机游走模型的转移概率矩阵经迭代计算获得时域显著性图，进而获得时域重启矩阵;根 据人眼视觉特性，将图像边界大多为边界运一高级先验知识考虑在内，利用马尔科夫链获 得基于背景先验的重启转移矩阵，利用修正的重启型随机游走模型综合考虑时空域特征和 背景先验很好地抑制了背景噪声，准确预测人眼关注点。同时，该方法W超像素为基本处理 单元，有效地降低了时间复杂度，同时，本发明具有良好的鲁棒性W及较强的可扩展性。
【附图说明】
[0053] 图1是实验结果对比图，包括不同序列使用不同显著性检测方法获得的显著性图。
[0054] 图2是不同算法所获得的显著性图的R0C曲线对比图。
【具体实施方式】
[0055] W下结合附图对本发明实施例做进一步详述。
[0056] -种基于图的协同低高级特征的视频显著性检测方法，包含W下步骤：
[0057] 步骤1、将输入视频帖分割成超像素，在超像素分割的基础上，为每一视频帖构建 图包含W下步骤：
[0058] (1)、使用化1C算法将视频的每一帖分割成N(N = 250)个超像素，W超像素点作为 节点，为每一帖构建一个图G(V，E)，其中veV，eeE，W超像素作为显著性检测的基本单元 W降低计算复杂度；
[0059] (2)、根据像素块之间的特征的对比度确定边的权重，构建图模型，在建立的图模 型上用重启型随机游走模型模拟人眼在视频上的运动，通过计算随机行走者在每个结点停 留的概率确定显著性值，从而达到预测人眼关注点的目的。
[0060] 步骤2、提取时域特征和空域特征作为低级特征，利用从视频YUV文件中提取的空 域特征获得空域转移概率矩阵，利用从压缩码流中提取的运动矢量获得一致性运动和突发 性运动作为时域特征，基于随机游走模型获得时域重启概率分布矩阵包含W下步骤：
[0061 ] (1)、从视频序列的YUV文件中提取YUV特征，Y是亮度分量，U，V是色度分量。Y，U，V 作为空域特征用于获得空域转移概率，转移概率作为图模型的边界El,J，计算公式如下：
[0062]
[0063] 其中，Wspatial(i，j)表示超像素 i和超像素 j之间的权重，11*11表示特征之间的对 比度，Fi和Fj分别表示超像素巧日超像素 j特征值的平均值;dij为超像素巧日超像素 j之间的 欧氏距离，+ //:，（视频序列的分辨率为册W);
[0064] (2)、将求得的Wspatial(i，j)组成N*N的空域转移矩阵Wspatial，
[00化]Wspatial( j，i ) = Wspatial ( i，j ).
[0066] 对角矩阵D是各行所有边界权重的和，即D = diag(s挪spatial。J))，则空域转移矩 阵Pspatial由下式计算得到：
[0067] Pspatial = Wspatial 扩 1
[006引（3 )、从Η. 264压缩比特流中提取运动矢量作为运动特征，运动矢量是一个二维的 矢量，表示为(^，品。，运里Mr = p：| + p7：|。为了获得更准确的时域显著检测结果，本 发明中定义两种运动特征，分别为突发性运动和一致性运动。w视频中第t帖为例说明两种 运动，突发性运动是不考虑人眼视觉特性，只考虑压缩码流中表示的发生在视频当前帖t帖 的运动，它的值直接取当前帖的运动矢量，即
：一致性运动是考虑了人眼视觉 特征，由于人眼的视觉暂留机制，人眼关注的运动区域会受到先前帖的影响，表示在当前帖 的前几帖中也出现的运动，它的值由前几帖的运动矢量和上一帖的时空域显著值的和求 得，目[
。时域特征结合突发性运动和一致性运动求得，M = 2/ 3*Minstant+l/3*MGDnsistent(为了简化，忽略上标t).获得运动特征后，其作为时域特征用于获 得时域转移概率，转移概率作为图模型的边界El, J，计算公式如下：
[0069]
[0070] 其中，WmDtiDnQ J)表示超像素巧日超像素 j之间的权重，11*11表示特征之间的对比 度，Fi和門分别表示超像素巧日超像素 j特征值的平均值;di功超像素巧日超像素 j之间的欧 氏距离
，(视频序列的分辨率为册W);
[0071] (4)、将求得的WmDtinn(i，j)组成N*N的空域转移矩阵Wmntion，
[0072] Wmotion(j,i)=Wmotion(i,j)
[0073] 对角矩阵D是各行所有边界权重的和，即D = diag( s jWmotion( i，j ))，则空域转移矩 阵PmntiDn由下式计算得到：
[0074] Pmotion 二 WmotionD 1
[0075] 根据获得的空域转移矩阵?。。*1。。，利用随机行走模型获 得空域平衡分布。随机游走 模型可W有效模拟人眼视觉神经元相互沟通的特点，随机游走者的运动满足马尔科夫链的 性质，马尔科夫链状态在随机游走时仅取决于系统当前所处的状态和转移概率，如果一个 马尔科夫链可W从任意一个状态经过若干次转移后到达另一个状态，则称运种马尔科夫链 是遍历的。一个遍历的马尔科夫链从任意状态出发，在经过一定的时间后会到达一个平衡 状态，该状态的分布称为平稳分布。基于此，时域平衡分布ntempDral依据运动特征对比度构造 的随机游走模型的转移概率矩阵经迭代计算获得，公式如下所示：
[0076] 3T temporal - P motionJ^temporal
[0077] 最后，对31 temporal归进行一化获得时域显著图Stempwal。
[0078] 步骤3、利用背景先验作为高级特征，基于背景先验，利用马尔科夫吸收链获得基 于背景先验的显著图，具体包含W下步骤：
[0079] (1)、假设图像的边界为背景，显著目标很少占据图像的边缘。对于视频中的一帖， 用图像边界作为背景吸收结点在构建的图G(V，E)上构建一条吸收马尔科夫链，超像素节点 i和超像素节点j之间的权重定义为
[0080]
[0081]式中，||*11表示特征之间的对比度，Fi和門分别表示超像素巧日超像素 j空域特征 值的平均值;σ是一个常数，取为0.05.节点之间权重越大，表示节点之间连接越紧密，权 重越小，表示节点几乎不连接。
[0082] (2)、每个转移状态的显著值被定义为吸收链从该状态出发，被吸收进所有吸收结 点之前，停留在所有转移状态的期望数目的时间。我们给节点重新排列，使得转移结点在吸 收节点之前，然后定义一个关联矩阵A=(au)，表示节点之间的相关性，au表示转移结点i 和吸收节点间的权重值。
[0083] 吸收马尔科夫链的概率转移矩阵被定义为
[0084]
[00财其中，Q = Wabsorbing扩1，R = A扩1.对角矩阵D是各行所有边界权重的和，即
[0086] D = diag( S jW( i，j ) )，I为单位矩阵。由Pabsorbing可得到基础矩阵N，
[0087] n=(I-Q)-i = I+Q+q2+...
[008引基础矩阵N中的元素化表示从转移节点Si开始到转移节点&的期望时间。
[0089] (3)、对于马尔科夫链中的每一个转移节点，最终都会被吸收节点吸收，通过基础 矩阵，可W得到每个转移节点被吸收到每个吸收节点的吸收概率：
[0090] B = NXR
[0091] 其中，Βυ表示转移节点i被吸收到吸收节点j的吸收概率，并且，B的每一行求和等 于1.对于马尔科夫链中的每个转移节点，吸收概率表示了转移节点和吸收节点之间的关 系。
[0092] (4)、最后，基于背景先验的每一个超像素节点的显著值通过下式计算得到：
[0093]
[0094] 式中：
表示超像素点i和背景之间的差异。吸收概率值W降序排列后 选择前80%获得bs(i)W消除一些异常的背景结点对显著结果的影响，提高了检测的准确 度；（xc，yc)是输入图像的中屯、超像素点的坐标，（xi，yi)是输超像素点i的坐标，Οχ和oy分别 取值为H/6和W/6.
[00M]步骤4、依据人眼视觉特征，将基于背景先验的显著图作为一个重要的重启概率分 布矩阵，修正W时域显著图作为重启矩阵，W空域特征构建空域转移概率矩阵的重启型随 机行走模型，基于修正的重启型随机行走模型计算显著性值。最终的时空显著图分布η由重 启型随机行走模型计算得到，该模型可表示为：
[0096] JT = ( 1-Ρ 广化)Pspatia 巧+Piri+P 化 2
[0097] 其中，31表示最终的时空显著图分布，ri表示时域显著分布，η表示基于背景先验的 显著分布，Pspatia读示空域转移矩阵。1-Ρ1-Ρ康示返回概率。最终的显著图S由时空显著图 分布：π归一化得到，公式为；
[009引
[0099]下面按照本发明的方法进行实验，说明本发明的实验效果。
[0100] 测试环境：Visual SUidio 2013，MATLAB 2013b
[0101] 测试序列：所选测试序列和其对应标准显著性图（Ground Truth)来自SRJ数据库 (Hadi Hadizadeh,Mario J Enriquez ,and Ivan V Bajic,"Eye-tracking database for a set of standard video sequencesImage Processing, IEEE Transactions on, vol.21,no.2，pp.898-903,2012.)和CRCNS数据库化.Itti and P.Baldi，''A principled approach to detecting surprising events in video,''in Computer Vision and Pattern Recognition ,2005.CVPR 2005.IEEE Computer Society Conference on, vol.l. IE邸，2005，pp. 631-637)，其中包含的序列如下：
[0102] 表一测试序列1(SFU数据库）
[0103]
[0106] 测试指标：
[0107] (1)、本文使用了两种评价指标，分别为AUC和sAUC，其中AUC为R0C曲线下覆盖的面 积。R0C曲线是TPR随FPR变化的曲线，其中TPR表示将groun化ruth中显著性点检测为显著性 点的比例，FPR表示将非显著性点检测为显著性点的比例，AUC值越大，表示视频显著性检测 模型越好；
[0108] (2)、由于一些模型广泛使用中屯、偏置的原则，导致实验结果对数据库的依赖性非 常强。sAUC即一种为了消除中屯、偏置而提出的评价指标（D . Parkhurst ,Κ . Law , and E.Niebur,"Modeling the role of salience in the allocation of overt visual attention,"Vision research,vol .42,no. 1 ,pp. 107-123,2002)，该指标的计算义用非均 匀的方式选择非显著点，从而消除中屯、偏置的影响。
[0109] 比较方法：本发明与现存的几种显著性检测算法进行对比，有GBVSQ.Harel, C. Koch ,and P. Perona, ('Graph-based visual saliency in Advances in neural information processing systems,2006,pp.545-552.),AIM(N.D.Bruce and J.K.Tsotsos,"Saliency,attention,and visual search:An information theoretic approach /'Journal of Vision,vol.9,no.3,p.5,2009.)，CA(S.Goferman,L.Zelnik-Manor ,and A. Tal, "Context-aware saliency detection Pattern Analysis and Machine Intelligence , IEEE Transactions on,vol.34,no.10,pp.1915-1926,2012.)， AMC(B. Jiang ,L. Zhang ,H.Lu,C. Yang , and M.-H. Yang , "Saliency detection via absorbing markov chain,"in Computer Vision(ICCV),2013IEEE International Conference on.IEEE,2013,pp.1665-1672.)，RWR(H.Kim,Y.Kim,J.-Y.Sim,and C.-S.Kim, "Spatiotemporal saliency detection for video sequences based on random walk with restart,"2015.)。
[0110] 测试结果如下：
[01川表；68￥5，〔4,4加，1^1?，座(：方法^及本文算法的平均测试结果
[0112]_
[0113] 表Ξ是对SFU和CRCNS中所有视频测试的平均结果，可W看出本文方法在AUC和 sAUC分数上相比其他方法均有明显提高，运说明本文方法所产生的显著性图可W更好的预 测人眼关注点。另外，R0C曲线如图二所示，本文算法计算获得的曲线相比其他算法的曲线 更 靠近左上，说明本文的显著性检测算法不仅更正确的预测了显著性区域，同时能够有效 降低背景噪声。另外，由于采用了超像素分割，本文算法所用的平均计算时间大大降低，算 法的效率比其他算法更高。
[0114] 需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包 括并不限于【具体实施方式】中所述的实施例，凡是由本领域技术人员根据本发明的技术方案 得出的其他实施方式，同样属于本发明保护的范围。
【主权项】
1. 基于图的协同低高级特征的视频显著性检测方法，其特征在于，包括以下步骤： 步骤1、将输入视频帧分割成超像素，在超像素分割的基础上，为每一视频帧构建图； 步骤2、提取时域特征和空域特征作为低级特征，利用从视频YUV文件中提取的空域特 征获得空域转移概率矩阵，利用从压缩码流中提取的运动矢量获得一致性运动和突发性运 动作为时域特征，基于随机游走模型获得时域重启概率分布矩阵； 步骤3、利用背景先验作为高级特征，基于背景先验，利用马尔科夫吸收链获得基于背 景先验的显著图； 步骤4、依据人眼视觉特征，将基于背景先验的显著图作为一个重要的重启概率分布矩 阵，修正以时域显著图作为重启矩阵，以空域特征构建空域转移概率矩阵的重启型随机行 走模型，基于修正的重启型随机行走模型计算显著性值。2. 根据权利要求1所述的基于图的协同低高级特征的视频显著性检测方法，其特征在 于:所述步骤1将输入视频帧分割成超像素，在超像素分割的基础上，为每一视频帧构建图： 使用SLIC算法将视频的每一帧分割成N个超像素，为每一帧构建一个图G(V，E)，其中 Vev，e ￡Ε，以超像素点作为节点，以超像素块之间的特征对比度作为节点间边的权重。3. 根据权利要求1所述的基于图的协同低高级特征的视频显著性检测方法，其特征在 于:所述的提取时域特征和空域特征作为低级特征，利用从视频YUV文件中提取的空域特征 获得空域转移概率矩阵，利用从压缩码流中提取的运动矢量获得一致性运动和突发性运动 作为时域特征，基于随机游走模型获得时域重启概率分布矩阵包含以下步骤： (1 )、从视频序列的YUV文件中提取YUV特征，Y是亮度分量，U，V是色度分量;Y，U，V作为 空域特征用于获得空域转移概率，转移概率作为图模型的边界E1^计算公式如下：其中，wspatlal(i，j)表示超像素i和超像素j之间的权重，I |*| I表示特征之间的对比度， FdPFj分别表示超像素i和超像素j特征值的平均值;du为超像素i和超像素j之间的欧氏距 离:(视频序列的分辨率为H*W); (2 )、将求得的wspatiai (i，j)组成N*N的空域转移矩阵WspatiaI， Wspatial ( j，i ) -Wspatial ( i，j ) · 对角矩阵D是各行所有边界权重的和，即D = diag( Σ jWspatlal( i，j))，则空域转移矩阵 Pspatial由下式计算得到： P spatial -WspatialD (3 )、从H. 264压缩比特流中提取运动矢量作为运动特征，运动矢量是一个二维的矢量， 表示为这里为了获得更准确的时域显著检测结果，定义两 种运动特征，分别为突发性运动和一致性运动，以视频中第t帧为例说明两种运动，突发性 运动是不考虑人眼视觉特性，只考虑压缩码流中表示的发生在视频当前帧t帧的运动，它的 值直接取当前帧的运动矢量，即一致性运动是考虑了人眼视觉特征，由于人 眼的视觉暂留机制，人眼关注的运动区域会受到先前帧的影响，表示在当前帧的前几帧中 也出现的运动，它的值由前几帧的运动矢量和上一帧的时空域显著值的和求得，即.时域特征结合突发性运动和一致性运动求得，M= 2/3* Minstent+lA+Mc^sistent，获得运动特征后，其作为时域特征用于获得时域转移概率，转移概率 作为图模型的边界E1^计算公式如下：其中，WMtlcin(i J)表示超像素i和超像素j之间的权重，I |*| I表示特征之间的对比度，F1 和Fj分别表示超像素i和超像素j特征值的平均值;Cllj为超像素i和超像素j之间的欧氏距 离:视频序列的分辨率为H*w; (4)、将求得的wMticin( i，j)组成N*N的空域转移矩阵Wmcition， ffmotion( J , ? ) -Wmotion( I , J ) 对角矩阵D是各行所有边界权重的和，即0 =虹&8(2#_*1。11(1」）），则空域转移矩阵 Pmotion由下式计算得到： P motion - WmotionD 根据获得的空域转移矩阵!^&^利用随机行走模型获得空域平衡分布:时域平衡分布 Jitempciral依据运动特征对比度构造的随机游走模型的转移概率矩阵经迭代计算获得，公式如 下所示： 丌 temporal - P motion^ temporal 最后，对^temporal归进彳丁一化获得时域显者图Stemporal。4.根据权利要求1所述的基于图的协同低高级特征的视频显著性检测方法，其特征在 于:所述步骤3:利用背景先验作为高级特征，基于背景先验，利用马尔科夫吸收链获得基于 背景先验的显著图包含以下步骤： (1) 、假设图像的边界为背景，显著目标很少占据图像的边缘;对于视频中的一帧，用图 像边界作为背景吸收结点在构建的图G(V，E)上构建一条吸收马尔科夫链，超像素节点i和 超像素节点j之间的权重定义为式中，I 1*1 I表示特征之间的对比度，FdPFj分别表示超像素i和超像素j空域特征值的 平均值;σ是一个常数，取σ2为0.05.节点之间权重越大，表示节点之间连接越紧密，权重越 小，表示节点几乎不连接； (2) 、每个转移状态的显著值被定义为吸收链从该状态出发，被吸收进所有吸收结点之 前，停留在所有转移状态的期望数目的时间;我们给节点重新排列，使得转移结点在吸收节 点之前，然后定义一个关联矩阵A= (a^)，表示节点之间的相关性，表示转移结点i和吸 收节点间的权重值； 吸收马尔科夫链的概率转移矩阵被定义为其中，Q = Wabscirbini^1 ,R = AD^对角矩阵D是各行所有边界权重的和，即D = diag(XjW (i，j))，I为单位矩阵；由?-_可得到基础矩阵N， N=(I-Q)_1=I+Q+Q2+... 基础矩阵N中的元素表示从转移节AS1开始到转移节点&的期望时间； (3) 、对于马尔科夫链中的每一个转移节点，最终都会被吸收节点吸收，通过基础矩阵， 可以得到每个转移节点被吸收到每个吸收节点的吸收概率： B = NXR 其中，Blj表示转移节点i被吸收到吸收节点j的吸收概率，并且，B的每一行求和等于1. 对于马尔科夫链中的每个转移节点，吸收概率表示了转移节点和吸收节点之间的关系； (4) 、最后，基于背景先验的每一个超像素节点的显著值通过下式计算得到：式中，表示超像素点i和背景之间的差异;吸收概率值以降序排列后选择前 80%获得bs(i)以消除一些异常的背景结点对显著结果的影响，提高了检测的准确度；（Xc， y。)是输入图像的中心超像素点的坐标，（xi，yi)是输超像素点i的坐标，σχ和〇y分别取值为H/ 6 和 W/6〇5.根据权利要求1所述的基于图的协同低高级特征的视频显著性检测方法，其特征在 于:所述步骤4:依据人眼视觉特征，将基于背景先验的显著图作为一个重要的重启概率分 布矩阵，修正以时域显著图作为重启矩阵，以空域特征构建空域转移概率矩阵的重启型随 机行走模型，基于修正的重启型随机行走模型计算显著性值;最终的时空显著图分布由重 启型随机行走模型计算得到，该模型可表示为： Ji= ( l_Pl_P2)PspatialJi+Piri+P2：T2 其中，π表不最终的时空显著图分布，ri表不时域显著分布，Γ2表不基于背景先验的显著 分布，Pspatial表不空域转移矩阵；1-Ρ1-Ρ2表不返回概率。最终的显著图S由时空显著图分布JT 归一化得到，公式为：
【专利摘要】本发明涉及一种基于图的协同低高级特征的视频显著性检测方法，属于视频检测技术领域，其技术特点是：使用改进的随机行走算法模拟人眼运动进行视频显著性检测。该方法从视频流中提取低级特征与高级特征，以超像素为基本单元，利用低级特征获得空域转移概率矩阵和时域重启矩阵，以边界优先作为一种高级特征获得基于边界先验的重启矩阵。将两种重启矩阵与空域转移概率矩阵相结合到重启性随机行走算法的框架中获得时空域显著性图。本文将算法在两个公开数据库上进行了测试，实验结果表明该方法优于其它显著性检测算法。本发明设计合理，利用低级特征和高级特征构建重启性随机行走的框架，获得了与人眼注意机制高度相符的显著性检测结果。
【IPC分类】H04N17/00, H04N17/02
【公开号】CN105491370
【申请号】CN201510799543
【发明人】高冉, 郭晓强, 付光涛, 李小雨, 周芸, 涂钦
【申请人】国家新闻出版广电总局广播科学研究院
【公开日】2016年4月13日
【申请日】2015年11月19日
最新回复(0)