基于混合图模型的图像序列类别标注方法

基于混合图模型的图像序列类别标注方法
【技术领域】
[0001] 本发明属于计算机视觉技术领域，具体设及一种基于混合图模型的图像序列类别 标注方法。
【背景技术】
[0002] 基于概率图模型的图像序列类别标注是计算机视觉领域的重要研究问题，是自主 车环境感知、智慧城市交通系统构建等应用的关键支撑技术，其目的是赋予图像序列中的 每个像素点一个类别标签。图像序列类别标注属于标签问题，概率图模型是对该一类标签 问题进行全局优化的有效工具。基于概率图模型的标签类问题的关键思想是，将需要求解 的标签视为随机变量，通过最小化整个概率场的能量，得到随机变量的全局最优解。
[0003] 传统的方法中一般使用简单图模型来构建标签随机变量的随机场。简单图模型由 顶点和简单构成，其中顶点代表随机变量，简单边连接两个顶点并用于描述两个随机变量 之间的关系，边的权重定义为随机场的势能函数值。简单图模型易于求解，但是只能描述两 两随机变量之间对称的关系，因此适合在单帖图像中使用。在序列的图像中，多个超像素在 时间域上存在着高阶的、非对称的关系，因此不能用简单边进行很好地描述。超图中的超边 可W用于描述多个变量之间高阶的、非对称的关系，但是传统的超图模型基于谱聚类的方 法求解，适用于求解聚类的问题，尚未应用于图像序列的类标标注问题。

【发明内容】

[0004] 本发明的目的在于针对传统简单图模型对变量间关系描述的局限性、传统超图模 型求解方法的局限性，提供一种基于混合图模型的图像序列类别标注方法，该方法使用混 合图模型描述了序列图像中超像素之间的关系，其中简单边描述单帖图像中超像素之间一 阶的、对称的关系，超边描述图像帖间超像素之间高阶的、非对称的关系，最后图像序列的 类别标注全局优化问题转化为对混合图模型的随机场能量最小化问题，通过线性优化方法 进行求解，该方法获得了相比简单图模型的方法更准确、时序一致性更高的结果。
[0005] 本发明的目的是通过W下技术方案来实现的；一种基于混合图模型的图像序列类 别标注方法，包括如下步骤：
[0006] (1)输入图像序列，使用化 1C算法（SimpleLinearIterativeClustering)对图 像序列中每一帖图像进行超像素分割，获得超像素P，将得到的第t帖图像的第i个超像素 记为PiN
[0007] (2)使用Kernel描述符对步骤1中获得的超像素进行特征描述，得到超像素的特 征向量，将超像素Pi'的特征向量记为fft;
[0008] (3)采用KNN算法化-nearestnei曲bor)对步骤1中连续两帖图像的超像素进行 时间域的匹配；
[000引 （4)构建基于混合图模型的全局优化问题，该混合图模型由顶点、两种简单边和一 种超边组成；该混合图模型的顶点的集合记为V，每一个顶点V表示一个超像素的类别标 签；该混合图模型的第一种简单边代表顶点V的先验信息，该先验信息用势能函数向(f。） 描述；该混合图模型的第二种简单边代表单帖图像空间域上邻接的顶点之间对称的、成对 的关系，该种关系用势能函数Es(f。）描述；该混合图模型的超边代表连续帖图像时间域上 匹配的顶点之间不对称的、高阶的关系，该种关系用势能函数EH(f。）描述；
[0010] 所述势能函数EE(f。）的定义为：
[0011]
…
[001引其中，击miev表示的是存在类别种子点的超像素V，种子点通过人工标注部分像 素点类别标签的方法获得；f。是一个M维的列向量，由f；(v)，veEV组成，其中f；(v)为分 类函数，其值表示顶点V属于类别C的置信度，取值范围在[0, 1]之间；t(V)E阳l]，vGV 表示超像素V属于类别C的置信度的观测值，该观测值通过卷积递归神经网络分类器获得，CG(1，2,. . .，口，C表示类别总数；
[0013] 所述势能函数Es(f。）的定义为：
[0014]
[001引其中，es(u，V)为一条第二种简单边，即单帖图像内相邻两个超像素U，V之间的关 系，定义为：
[0016]es(u,V) =Ws(u,V) ?IIfc(u)-fc(v)I|2， (3)
[0017] 其中fc(u)G[0, 1]为超像素u属于类别c的置信度，该置信度通过递归卷积神 经网络学习获得，W,(u，V)为超像素U，V之间简单边的权重：
[0018]
(4)
[0019] 0 ,是根据实验经验设置的常数；
[0020] 所述势能函数Eh化）的定义为：
[0021]
(5)
[00过其中，Eh表示混合图模型中超边的集合，曰8(曰）为一条超边eGEh描述的帖间时 域上匹配的多个超像素之间的关系，定义为：
[0023]
(6)
[0024] 其中，每一条超边eGeH的权重为WH(e)，定义为；
[0025]
(7)
[0026]M(v)表示在时序上与超像素V匹配的超像素的集合，H为关联矩阵，该矩阵的大 小为|V|x|每I，H(V，e)的定义为；
[0036] 该混合图模型的全局优化问题描述如下：
[0037]
W)
[00測其中，A1和A2为调整立项势能函数之间比例关系的权重；
[003引 妨对每一个类别C求解公式（蝴中的向量f。，得到顶点v'eV属于类别C的置信 度，具体包括W下子步骤：
[0040] (5. 1)将全局优化函数，公式（13)矩阵化为：
[0041]
(14)
[004引其中，S为种子点标识矩阵，它是一个|v|x|v|维的对角矩阵，定义如下
[0043]
(15)
[0044]该对角矩阵仅在存在目标假设种子点的超像素i对应的位置S(i，i)值为1， 其它位置值为0, 是一个Kx|V|的稀疏矩阵，其每一行代表一对空间相邻的两个超像 素U，V之间的差运算，分别用
作为对应超像素点U，V位置的权重， A=/-0是超图的拉普拉斯矩阵，I是一个MxM的单位阵，0=D//2册化4肌)、4/2,〇、 是一个|V|x|V|的对角阵，每个对角线上的元素为超图中对应的顶点的度d(v)，D。是一个 eJX|ej的对角阵，每个对角线上的元素为超图中对应的超边的度5 (e)，Wh是一个eJX|ej的对角阵，每个对角线上的元素为超图中对应的超边的权重Wh(6);
[004引 （5.。对全局优化函数公式（14)中的每个类别C的置信度f。，进行线性优化，利 用一阶导数等于零得到f。的全局最优解：
[0046]
(16)
[0047] 做将步骤5中所有类别CG(1，2，...，口求解得到的向量用矩阵F= (fi，f2, . . .，fc)表示，每个顶点VEV的类别标签由该顶点的类别置信度最大值决定，如下 所示：
[0048] L=argmaxF, (17) c
[0049] 其中，L为每个顶点类别标签组成的列向量。
[0050] 进一步地，所述步骤1中，所述采用化1C算法对图像序列中每一帖图像进行超像 素分割具体按照W下步骤进行：
[0051] (1. 1)对一张包含N个像素点的图片，设置需要分割的超像素个数为K，初 始化图片的超像素为K个大小为S=N/K的矩形图像块，第k个超像素的中屯、为Ck =山，3k,bk,Xk,yjT，其中是Ik，3k，bk是位置Xk,yk处像素点的CIELAB颜色空间数值， kG(1, 2,...,时；
[005引 （1.。将超像素中屯、移动到初始点3X3的邻域内颜色梯度最小的位置，对每个像 素点i设置标签初始值1 (i) = -1，距离初始值为d(i) = ，迭代次数初始值为T= 0 ; [005引 （1.扣对每一个超像素的中屯、点Ck，计算该点2SX2S邻域内每个像素点i到该中 屯、点Ck的距离D，其定义如下：
[0054]D=I山，a。b。X。yjT-CkI，（18)
[0055] 若D<d(i)，则设置距离d(i) =D且标签l(i) =k，从而得到新的超像素分割， 其中第k个超像素由所有标记为标签k的像素点构成；
[0056] (1. 4)对每个超像素k重新计算超像素的中屯、点Ck;
[0057] (1. 5)T=T+1 ；
[005引 （1. 6)重复步骤1. 3到1. 5,直至T=S，其中5为阔值。
[0059] 进一步地，所述步骤2中，使用Kernel描述符对每个超像素进行特征描述，得到 1200维的超像素特征向量。
[0060] 进一步地，所述步骤3中，采用脚W算法对连续两帖图像的超像素进行时间域的匹 配，具体为；基于特征向量，对当前帖的每个超像素k，在连续的前一帖和下一帖中分别寻 找与特征向量fk欧式距离最近的5个特征向量对应的超像素，作为当前帖超像素k时域上 的匹配超像素。
[0061] 本发明具有的有益效果是；本发明使用简单边和超边结合构建混合图模型描述序 列图像超像素之间的关系，有效地描述了单帖内超像素之间一阶、对称的关系，W及时序上 帖间超像素之间高阶、非对称的关系，提高了序列图像类别标注的准确性和时序一致性。同 时，本发明提出的算法可W使用线性优化高效求解。本发明在时序图像的标签问题，例如类 别标注、深度恢复等问题中广泛适用。
【附图说明】
[0062]图1为实施例1采用简单图模型方法与本发明方法进行序列图像类别标注后的图 像对比图；(a)为待标注序列图像，（b)简单图模型方法类别标注后的序列图像，（c)本发明 方法类别标注后的序列图像，（d)序列图像类别标注真实值；
[0063] 图2为实施例2采用简单图模型方法与本发明方法进行序列图像类别标注后的图 像对比图；(a)为待标注序列图像，化）简单图模型方法类别标注后的序列图像，（C)本发明 方法类别标注后的序列图像，（d)序列图像类别标注真实值。
【具体实施方式】
[0064] 下面结合附图与实施例对本发明进行进一步说明。
[0065] 本发明一种基于混合图模型的序列图像类别标注方法，包括如下步骤：
[006引（1)输入图像序列，为了降低计算量，每次输入图像序列中连续的立帖图像，每帖 图像为彩色图像，由红、藍、绿=个颜色通道组成，像素分辨率为375X1242,使用化1C算法 对图像序列中每一帖图像进行超像素分割，获得超像素P，将得到的第t帖图像的第i个超 像素记为Pi%化1C算法步骤如下：
[0067] (1.1)对一张包含N个像素点的图片，设置需要分割的超像素个数为K，初 始化图片的超像素为K个大小为S=N/K的矩形图像块，第k个超像素的中屯、为Ck=山，3k,bk,Xk,yjT，其中是Ik，3k，bk是位置Xk,yk处像素点的CIELAB颜色空间数值， kG(1, 2,...,时；
[006引 （1.。将超像素中屯、移动到初始点3X3的邻域内颜色梯度最小的位置，对每个像 素点i设置标签初始值1 (i) = -1，距离初始值为d(i) = ，迭代次数初始值为T= 0 ;
[0069] (1. 3)对每一个超像素的中屯、点Ck，计算该点2SX2S邻域内每个像素点i到该中 屯、点Ck的距离D，其定义如下：
[0070]D=I山，a。b。X。yjT-CkI，（18)
[0071] 若D<d(i)，则设置距离d(i) =D且标签l(i) =k，从而得到新的超像素分割， 其中第k个超像素由所有标记为标签k的像素点构成；
[0072] (1. 4)对每个超像素k重新计算超像素的中屯、点Ck;
[0073] (1. 5)T=T+1 ；
[0074](1. 6)重复步骤1. 3到1. 5,直至T=S，其中5为阔值；
[0075] (2)使用Kernel描述符对步骤1中获得的超像素进行特征描述，得到超像素的 1200维的特征向量，将超像素Pft的特征向量记为fY;
[0076] (3)采用KNN算法化-nearestnei曲bor)对步骤1中连续两帖图像的超像素进行 时间域的匹配，即基于特征向量，对当前帖的每个超像素k，在连续的前一帖和下一帖中分 别寻找与特征向量fk欧式距离最近的5个特征向量对应的超像素，作为当前帖超像素k时 域上的匹配超像素；
[0077] (4)构建基于混合图模型的全局优化问题，该混合图模型由顶点、两种简单边和一 种超边组成；该混合图模型的顶点的集合记为V，每一个顶点V表示一个超像素的类别标 签；该混合图模型的第一种简单边代表顶点V的先验信息，该先验信息用势能函数向(f。） 描述；该混合图模型的第二种简单边代表单帖图像空间域上邻接的顶点之间对称的、成对 的关系，该种关系用势能函数Es(f。）描述；该混合图模型的超边代表连续帖图像时间域上 匹配的顶点之间不对称的、高阶的关系，该种关系用势能函数EH(f。）描述；
[001引所述势能函数EeWc)的定义为：
[0079]
…
[0080] 其中，玉m/Gv表示的是存在类别种子点的超像素V，种子点通过人工标注部分像 素点类别标签的方法获得；f。是一个M维的列向量，由f；(v)，veV组成，其中f；(v)为分 类函数，其值表示顶点V属于类别C的置信度，取值范围在[0，1]之间；f(v)e[0，1]，veV 表示超像素V属于类别c的置信度的观测值，该观测值通过卷积递归神经网络分类器获得，CG(1，2,. . .，口，C表示类别总数；
[0081] 所述势能函数Es(f。）的定义为：
[0082]
[0083] 其中，es(u，V)为一条第二种简单边，即单帖图像内相邻两个超像素U，V之间的关 系，定义为：
[0084] es (U，V)=Ws (U，V)?IIfc(U)-fc(V)I12， (3)
[00财其中f>)G[0,U为超像素u属于类别c的置信度，该置信度通过递归卷积神 经网络学习获得，w,(u，V)为超像素U，V之间简单边的权重：
[0086]
(4)
[0087] 0 ,是根据实验经验设置的常数；
[002引所述势能函数Eh化）的定义为：
[0089]
(5)
[0090] 其中，Eh表示混合图模型中超边的集合，曰8(曰）为一条超边eGEh描述的帖间时 域上匹配的多个超像素之间的关系，定义为：
[0091]
(6)
[0092] 其中，每一条超边eGeH的权重为WH(e)，定义为；
[0093] 、',
[0094] M(v)表示在时序上与超像素V匹配的超像素的集合，H为关联矩阵，该矩阵的大 小为|V|x|勾，H(V，e)的定义为； 2
[0095]
(8)
[010引其中，A1和A2为调整立项势能函数之间比例关系的权重；
[0107] 妨对每一个类别C求解公式（1扣中的向量f。，得到顶点V6V属于类别C的置信 度，具体包括W下子步骤：
[010引 （5. 1)将全局优化函数，公式（13)矩阵化为：
[0109]
(14)
[0110] 其中，S为种子点标识矩阵，它是一个|v|x|l；|维的对角矩阵，定义如下
[0111]
(15)
[0112] 该对角矩阵仅在存在目标假设种子点的超像素i对应的位置S(i，i)值为1，其它 位置值为0, 是一个|v|的稀疏矩阵，其每一行代表一对空间相邻的两个超像素U，V之 间的差运算，分别用心W, (W,V)与-心W, 〇/,V)作为对应超像素点U,V位置的权重，=/-0 是超图的拉普拉斯矩阵，I是一个Mx|V|的单位阵，0 =〇/1/2册化-1肌\-1/2,〇、是一个|V|x|V 的对角阵，每个对角线上的元素为超图中对应的顶点的度d(v)，D。是一个IeJX|eJ的 对角阵，每个对角线上的元素为超图中对应的超边的度5 (e)，Wh是一个IeJXIeJ的对 角阵，每个对角线上的元素为超图中对应的超边的权重％(e);
[011引 （5.。对全局优化函数公式（14)中的每个类别C的置信度f。，进行线性优化，利 用一阶导数等于零得到f。的全局最优解：
[0114]
(16)
[01巧](6)将步骤5中所有类别CG{1，2，...，口求解得到的向量用矩阵F= (fi，f,，. . .，fe)表示，每个顶点VEV的类别标签由该顶点的类别置信度最大值决定，如下 所示：
[0116]
(17) [0117] 其中，L为每个顶点类别标签组成的列向量。
[om] 实施例1
[0119] 对待标注图像序列图1(a)分别利用简单图模型和本发明方法进行处理，由结果 对比图可W看出，本发明方法有效地提高了序列图像类别标注的准确性和时序一致性。
[0120] 实施例2
[0121] 对待检测图像图2(a)分别利用简单图模型和本发明方法进行处理，由结果对比 图可W看出，本发明方法有效地提高了序列图像类别标注的准确性和时序一致性。
[0122]表1为利用简单图模型和本发明方法在KITTI数据集上的准确率（Prec.)，召回率 (Rec.)，F标准（FM)评价数值结果，该数值越高，表明该方法得到的标注结果越好。从表1 可W看出，本发明方法比简单图模型方法在定量指标上取得更好的效果。
[0123] 表1图像序列实验结果对比数据
[0124]
【主权项】
1. 一种基于混合图模型的图像序列类别标注方法，其特征在于，包括如下步骤： (1) 输入图像序列，使用SLIC算法对图像序列中每一帧图像进行超像素分割，获得超 像素P，将得到的第t帧图像的第i个超像素记为ρΛ (2) 使用Kernel描述符对步骤1中获得的超像素进行特征描述，得到超像素的特征向 量，将超像素Pit的特征向量记为f Λ (3) 采用KNN算法对步骤1中连续两帧图像的超像素进行时间域的匹配； (4) 构建基于混合图模型的全局优化问题，该混合图模型由顶点、两种简单边和一种超 边组成；该混合图模型的顶点的集合记为V，每一个顶点V表示一个超像素的类别标签； 该混合图模型的第一种简单边代表顶点V的先验信息，该先验信息用势能函数E e(f。）描 述；该混合图模型的第二种简单边代表单帧图像空间域上邻接的顶点之间对称的、成对的 关系，这种关系用势能函数E s(f。）描述；该混合图模型的超边代表连续帧图像时间域上匹 配的顶点之间不对称的、高阶的关系，这种关系用势能函数E H(f。）描述； 所述势能函数EE(f。）的定义为：其中，Hseo/eV表不的是存在类别种子点的超像素v，种子点通过人工标注部分像素点 类别标签的方法获得；f。是一个I V I维的列向量，由fjv)，V e V组成，其中f；(v)为分 类函数，其值表示顶点V属于类别c的置信度，取值范围在[0, 1]之间；i^v；)e[0,l],veV 表示超像素V属于类别c的置信度的观测值，该观测值通过卷积递归神经网络分类器获得， c e {1，2，· ··，(：}，C表示类别总数； 所述势能函数Es (f。）的定义为：其中，es(u，v)为一条第二种简单边，即单帧图像内相邻两个超像素u，v之间的关系，定 义为： es (u, v) = ws (u, v) · I I fc (u) -fc (v) I 12, (3) 其中f。(u) e [〇, 1]为超像素u属于类别c的置信度，该置信度通过递归卷积神经网 络学习获得，Ws (u，V)为超像素u，V之间简单边的权重：σ 3是根据实验经验设置的常数； 所述势能函数EH(f。）的定义为：其中，εΗ表示混合图模型中超边的集合，eH(e)为一条超边ee 描述的帧间时域上 匹配的多个超像素之间的关系，定义为：其中，毎一备紹访e e ε ,,的权雷为w,,(e)，审义为：M(V)表示在时序上与超像素 V匹配的超像素的集合，H为关联矩阵，该矩阵的大小为 I V I X I ε H|，H (V，e)的定义为：d(V)为超图中顶点V e V的度，定义为：d(U)为超图中顶点u e V的度，定义为：δ (e)为超边e e ε H的度，定义为：该混合图模型的全局优化问题描述如下：其中，λ 2为调整三项势能函数之间比例关系的权重； (5)对每一个类别c求解公式（13)中的向量f。，得到顶点V e V属于类别c的置信 度，具体包括以下子步骤： (5. 1)将全局优化函数，公式（13)矩阵化为：其中，S为种子点标识矩阵，它是一个I V |X |v|维的对角矩阵，定义如下该对角矩阵仅在存在目标假设种子点的超像素i对应的位置S (i，i)值为1，其它位置 值为〇, Ws是一个KX I V I的稀疏矩阵，其每一行代表一对空间相邻的两个超像素u，v之 间的差运算，分别用VvVi(W)与-士\ (〃.v)作为对应超像素点u, V位置的权重，￡A = / -Θ 是超图的拉普拉斯矩阵，I是一个I V I X I V I的单位阵，θ = DvW2HWhD^1HtD vW2, Dv是一 个I V I X I V I的对角阵，每个对角线上的元素为超图中对应的顶点的度d(V)，队是一个 εΗ| X I εΗ|的对角阵，每个对角线上的元素为超图中对应的超边的度δ (e)，Wh是一个 εΗ|Χ| εΗ|的对角阵，每个对角线上的元素为超图中对应的超边的权重％&); (5. 2)对全局优化函数公式（14)中的每个类别c的置信度f。，进行线性优化，利用一 阶导数等于零得到f。的全局最优解： ic ^(sTS+ Ws Ws-I， (16) (6)将步骤5中所有类别c e {1，2,...，C}求解得到的向量用矩阵F = (f\，f2,...，fc) 表示，每个顶点v e v的类别标签由该顶点的类别置信度最大值决定，如下所示： L 二 tirg imx F , (17) 其中，L为每个顶点类别标签组成的列向量。2. 根据权利要求1所述的一种基于混合图模型的图像序列类别标注方法，其特征在 于，所述步骤1中，所述采用SLIC算法对图像序列中每一帧图像进行超像素分割具体按照 以下步骤进行： (I. 1)对一张包含N个像素点的图片，设置需要分割的超像素个数为K，初始化图片的 超像素为K个大小为S = N/K的矩形图像块，第k个超像素的中心为Ck= [I k，ak，bk，xk，yk] T，其中是lk，ak，bk是位置x k，yk处像素点的CIELAB颜色空间数值，k e {1，2, . . .，K}; (I. 2)将超像素中心移动到初始点3X3的邻域内颜色梯度最小的位置，对每个像素点 i设置标签初始值l(i) =_1，距离初始值为d(i) =<-，迭代次数初始值为T = O; (1. 3)对每一个超像素的中心点Ck，计算该点2SX2S邻域内每个像素点i到该中心点 Ck的距离D，其定义如下： D = I [Ii, Bi, bi, Xi, YiI1-CkI, (18) 若D<d(i)，则设置距离d(i) =D且标签l(i) =k，从而得到新的超像素分割，其中 第k个超像素由所有标记为标签k的像素点构成； (1. 4)对每个超像素k重新计算超像素的中心点Ck; (I. 5)T = Τ+1 ； (1. 6)重复步骤1. 3到1. 5,直至T = δ，其中δ为阈值。3. 根据权利要求1所述的一种基于混合图模型的图像序列类别标注方法，其特征在 于，所述步骤2中，使用Kernel描述符对每个超像素进行特征描述，得到1200维的超像素 特征向量。4. 根据权利要求1所述的一种基于混合图模型的图像序列类别标注方法，其特征在 于，所述步骤3中，采用KNN算法对连续两帧图像的超像素进行时间域的匹配，具体为：基于 特征向量，对当前帧的每个超像素k，在连续的前一帧和下一帧中分别寻找与特征向量f k欧 式距离最近的5个特征向量对应的超像素，作为当前帧超像素k时域上的匹配超像素。
【专利摘要】本发明公开了一种基于混合图模型的图像序列类别标注方法，包括：对图像序列进行超像素分割，对超像素进行特征描述；对连续两帧图像进行帧间超像素的最近邻匹配；基于单帧图像超像素间空间域的邻接关系和多帧图像超像素间时间域的匹配关系，使用混合图模型对图像序列类别标注问题进行全局优化建模；该全局优化问题使用线性方法求解，得到连续多帧图像超像素的类别标签；本发明构建的混合图模型与以往图模型相比，既可以描述单帧图像中超像素之间的一阶的、对称的关系，也可以描述连续两帧图像超像素之间的高阶的、非对称的关系，并通过线性方法求解，有效地赋予了图像序列每个超像素一个时域上一致性更好、准确率更高的类别标签。
【IPC分类】G06K9/62
【公开号】CN104881681
【申请号】CN201510268996
【发明人】黄文琦, 龚小谨, 刘济林
【申请人】浙江大学
【公开日】2015年9月2日
【申请日】2015年5月22日