一种基于子空间特征的多任务学习目标跟踪方法
一种基于子空间特征的多任务学习目标跟踪方法
【技术领域】
[0001] 本发明属于计算机数据图像处理技术，具体涉及一种基于子空间特征的多任务学 习目标跟踪方法。
【背景技术】
[0002] 目标跟踪算法有着广阔的应用场景。在智能视频监控、智能交通、机器人视觉、视 频索引等领域都起着重要的作用。此外，目标跟踪在人工智能、内容检索、精确制导、人机交 互、医疗诊断等领域都得到了广泛的研宄和运用。
[0003] 尽管目标跟踪算法的研宄已经进行了很多年，但此领域仍然存在着许多困难和挑 战。目标跟踪仍是计算机视觉领域中的热点问题之一。目前，仍然没有一个良好的算法能 够较好地全面处理目标跟踪领域的问题。
[0004] 近年来，基于各种子空间的外观模型得到了学者们的广泛研宄。一种是基于增量 PCA子空间的目标跟踪算法，另一种是基于稀疏表示的目标跟踪算法，即最小化跟踪。基 于增量PCA子空间的目标跟踪算法，通过在线更新可以有效的解决目标较大外观变化和长 时间跟踪导致的漂移问题，然而对部分遮挡却很敏感。稀疏表示方法将目标在一个字典上 进行稀疏线性表示，这个字典可以实时在线更新，以反映目标的外观变化。这种表示方法已 经被实验证明对于目标的部分遮挡比较有效，会提升目标跟踪的效果。然而，稀疏表示方法 在每一帧图像上会进行大量的h优化，这导致计算量比较大。同时，在粒子滤波的框架下， 计算量会随着粒子数目的增多而线性增加。最近，一些学者提出来的一些加速^优化求解 的方法被应用到目标跟踪中，但这类方法都是假设各个粒子之间的稀疏表示过程是相互独 立的，忽略粒子之间的关系容易导致目标的漂移，尤其是当目标在外观有显著变化时。此外 这些算法主要采用图像模板作为字典，从而使得超完备字典的维数很高，计算量大，而且图 像原始灰度特征容易受光照以及相似背景等影响。
【发明内容】
[0005] 要解决的技术问题
[0006] 为了避免现有技术的不足之处，本发明提出一种基于子空间特征的多任务学习目 标跟踪方法。
[0007] 技术方案
[0008] -种基于子空间特征的多任务学习目标跟踪方法，其特征在于步骤如下：
[0009] 步骤1 :读取第一帧图像数据以及目标块在第一帧图像中的参数[x，y，w，h]，在目 标周围根据高斯分布随机产生m个粒子点，并记录其坐标（x^yj，i=l，2，L，m;每个粒子 代表了一个目标样本；
[0010] 其中：x，y表示目标中心的横纵坐标，w，h表示目标的宽和高；
[0011] 步骤2 :采用仿射变换将每个目标样本区域规划到一个MXN的标准图像块 zGRmxn;
[0012]步骤3:对每个目标样本使用增量PCA算法，提取每个目标样本的视觉特征表示向 量ui;
[0013]步骤4:将所有目标样本对应的列向量Ui组合到一起为D=[uuu2,L，um]，引入琐 碎模板IdGRdxd实现重构噪声和遮挡，构成一个大小为dX(m+d)维的字典V=[DId];其 中：Id为单位矩阵；
[0014] 步骤5:读取下一帧图像，在上一帧图像的目标块周围随机选取n个粒子点，记录 粒子点坐标（xk,yk)k= 1，2,L,n;每个粒子点代表了一个候选目标，每个粒子点按步骤2的 特征表示方法得到一个列向量yp
[0015] 步骤6:将所有待选目标粒子对应的向量组合在一起得到矩阵Y= [yi，y2,. ?.，yn]，利用字典表示为：
[0018] 其中：a是联合稀疏正则项和可靠重建项之间的平衡系数
IQ112是c亦12范数，ci是矩阵c的第i行；
[0019] 步骤7:对步骤5产生的n个候选目标，计算每个候选目标的重构误差
，以其中重构误差最小的粒子[x，y，w，h]作为目标跟踪的结果；
[0020] 判断是否处理完所有图像序列的所有帧，若没有，则转到步骤4继续；若处理完， 则跟踪结束。
[0021] 有益效果
[0022] 本发明提出的一种基于子空间特征的多任务学习目标跟踪方法，充分利用子空间 和稀疏重建在目标外观建模方面的优势，将h算法引入到子空间中，借助多任务学习（MTT) 的方法来挖掘各个粒子之间的相互关系。构造字典时不再采用图像模板，而是利用PCA的 特征子空间构成，并加入琐碎模板以重建噪声。将每一个粒子稀疏表达系数的求解看作是 MTT中的一个单任务学习问题，通过施加常用的混合范数121来联合求解所有粒子的稀疏 表示系数，并借助AcceleratedProximalGradient(APG)方法来进行多任务稀疏表示的求 解。相较于h跟踪的方法，MTT方法通过挖掘粒子之间的相关性来提高跟踪效果和降低跟 踪的计算复杂度。
[0023] 本发明在子空间的基础上，在特征子空间上构造字典，计算量大大减小，引入琐碎 模板解决了遮挡问题，同时能够更加有效地表示目标，克服了光照变化、尺度变化等问题。 在稀疏表示框架下，引入多任务学习方法，充分挖掘粒子之间的相互关系，实现了红外目标 的快速鲁棒跟踪。
【附图说明】
[0024] 图1本发明方法的流程图
【具体实施方式】
[0025] 现结合实施例、附图对本发明作进一步描述：
[0026] 本发明在第一帧目标确定的基础上，首先采用PCA子空间特征表示方法进行目标 表示，并引入琐碎模板构造用于稀疏表示的字典。其次，对粒子滤波方法产生的候选目标， 进行联合稀疏表示，求解得到表示系数。最后，选取其中重构误差最小的候选目标作为跟踪 结果。具体如下步骤如下，流程可参考附图。
[0027] 1)读取第一帧图像数据以及目标块在第一帧图像中的参数[x，y，w，h]，在目标周 围根据高斯分布随机选取m个粒子点（m取600)，并记录其坐标（Xi,yji= 1，2,L,m，每个 粒子代表了一个目标样本，其中x，y表示目标中心的横纵坐标，w，h表示目标的宽和高。
[0028] 2)对前10帧序列图像，使用粒子滤波跟踪算法，使用跟踪到的目标外观模型初始 化子空间。
[0029] 3)对所有的候选粒子点进行仿射变换将目标区域规划到一个MXN(32X32)的标 准图像块zGRmxn。
[0030] 4)对步骤3)产生的每个目标样本zeRMXN，使用增量PCA算法，提取其视觉特征 表示向量W(主分量个数取16)。
[0031] 5)将所有粒子对应的列向量Ui组合到一起即D=[uuu2,L，um]，为重构噪声和遮 挡引入琐碎模板IdeRdxd(Id为单位矩阵），构成了一个大小为dX(m+d)维的目标特征模 板（字典）V=[DIJ。
[0032] 6)读取下一帧图像，在上一帧图像目标周围随机产生n个粒子点，记录其坐标 (xk,yk)，k= 1，2,L,n。每个粒子点代表了一个候选目标，每个粒子点按步骤3的特征表示 方法可以得到一个列向量yi。
[0033]7)将所有待选目标粒子对应的向量组合在一起得到矩阵Y=[ypy2,. ..，yn]，利 用目标特征模板（字典）进行表示，BP:
[0035] 这里，我们寻求表示系数C的稀疏性，S卩
根据此目标函数， 求解得到系数
> 其中A是联合稀疏正则项和可靠重建项之间的平衡系数。同时， 我们定义
，这里IIQ| 12是C满1 2范数，C,是矩阵C的第i行。
[0036]使用AccelaratedProximalGradient(APG)方法求解上式，上式中的 | |C| |2>1 就 是非平滑的约束项。APG方法是在更新当前的系数矩阵C(k)和一个聚合矩阵V(k)中迭代进 行，当解或目标函数的变化比设定好的阈值低时就停止迭代，认为此时已经收敛。
[0037] 8)对于粒子滤波产生的n个候选目标求候选目标的重构误差
，选 择其中重构误差最小的粒子[x，y，w，h]作为目标跟踪的结果。
[0038] 判断是否处理完所有图像序列的所有帧。若没有，则转到步骤5继续；若处理完， 则算法结束。
[0039]本发明利用目标图像的灰度特征信息作为目标模板构造字典，通过对每个候选目 标计算范数最小化进行稀疏求解，计算其重构误差得到每个粒子的概率，从而实现目标 跟踪。考虑到这种方法字典的维数过高，且对每个粒子求解1 :最小化的过程相当耗时，无 法满足算法的实时性，以及灰度特征易受噪声、光照变化和相似物体干扰等影响的问题，本 发明利用PCA子空间特征构造字典，不但很好的保持了原始图像特征，还具备更好的表示 能力，同时借用多任务学习思想，充分挖掘粒子间的相关性，降低了跟踪过程的计算复杂度 并提_ 了跟踪效果。
【主权项】
1. 一种基于子空间特征的多任务学习目标跟踪方法，其特征在于步骤如下： 步骤1 :读取第一帧图像数据以及目标块在第一帧图像中的参数[x，y，w，h]，在目标周 围根据高斯分布随机产生m个粒子点，并记录其坐标（X^yi), i = l，2，L，m;每个粒子代表 了一个目标样本； 其中：x，y表示目标中心的横纵坐标，w，h表示目标的宽和高； 步骤2 :采用仿射变换将每个目标样本区域规划到一个MXN的标准图像块z e Rmxn; 步骤3 :对每个目标样本使用增量PCA算法，提取每个目标样本的视觉特征表示向量 Ui; 步骤4 :将所有目标样本对应的列向量Ui组合到一起为D = [u u u2, L, um]，引入琐碎模 板Ide R dxd实现重构噪声和遮挡，构成一个大小为dX (m+d)维的字典V = [D I J ;其中： Id为单位矩阵； 步骤5 :读取下一帧图像，在上一帧图像的目标块周围随机选取η个粒子点，记录粒子 点坐标（xk, yk) k = 1，2, L, η ;每个粒子点代表了一个候选目标，每个粒子点按步骤2的特征 表示方法得到一个列向量Yi; 步骤6 :将所有待选目标粒子对应的向量组合在一起得到矩阵Y = [yi，y2,. . .，yn]，利 用字典表示为：根振求解得到系数：其中：λ是联合稀疏正则项和可靠重建项之间的平衡系数；I Ci I 12是C亦1 2范数，C i是矩阵C的第i行；步骤7 :对步骤5产生的η个候选目标，计算每个候选目标的重构误差 以其中重构误差最小的粒子[x，y，w，h]作为目标跟踪的结果； 判断是否处理完所有图像序列的所有帧，若没有，则转到步骤4继续；若处理完，则跟 踪结束。
【专利摘要】本发明涉及一种基于子空间特征的多任务学习目标跟踪方法，充分利用子空间和稀疏重建在目标外观建模方面的优势，将l1算法引入到子空间中，借助多任务学习(MTT)的方法来挖掘各个粒子之间的相互关系。构造字典时不再采用图像模板，而是利用PCA的特征子空间构成，并加入琐碎模板以重建噪声。将每一个粒子稀疏表达系数的求解看作是MTT中的一个单任务学习问题，通过施加常用的混合范数l2,1来联合求解所有粒子的稀疏表示系数，并借助Accelerated Proximal Gradient(APG)方法来进行多任务稀疏表示的求解。相较于l1跟踪的方法，MTT方法通过挖掘粒子之间的相关性来提高跟踪效果和降低跟踪的计算复杂度。
【IPC分类】G06T7/20
【公开号】CN104899896
【申请号】CN201510324826
【发明人】李映, 胡晓华
【申请人】西北工业大学
【公开日】2015年9月9日
【申请日】2015年6月12日
【技术领域】
[0001] 本发明属于计算机数据图像处理技术，具体涉及一种基于子空间特征的多任务学 习目标跟踪方法。
【背景技术】
[0002] 目标跟踪算法有着广阔的应用场景。在智能视频监控、智能交通、机器人视觉、视 频索引等领域都起着重要的作用。此外，目标跟踪在人工智能、内容检索、精确制导、人机交 互、医疗诊断等领域都得到了广泛的研宄和运用。
[0003] 尽管目标跟踪算法的研宄已经进行了很多年，但此领域仍然存在着许多困难和挑 战。目标跟踪仍是计算机视觉领域中的热点问题之一。目前，仍然没有一个良好的算法能 够较好地全面处理目标跟踪领域的问题。
[0004] 近年来，基于各种子空间的外观模型得到了学者们的广泛研宄。一种是基于增量 PCA子空间的目标跟踪算法，另一种是基于稀疏表示的目标跟踪算法，即最小化跟踪。基 于增量PCA子空间的目标跟踪算法，通过在线更新可以有效的解决目标较大外观变化和长 时间跟踪导致的漂移问题，然而对部分遮挡却很敏感。稀疏表示方法将目标在一个字典上 进行稀疏线性表示，这个字典可以实时在线更新，以反映目标的外观变化。这种表示方法已 经被实验证明对于目标的部分遮挡比较有效，会提升目标跟踪的效果。然而，稀疏表示方法 在每一帧图像上会进行大量的h优化，这导致计算量比较大。同时，在粒子滤波的框架下， 计算量会随着粒子数目的增多而线性增加。最近，一些学者提出来的一些加速^优化求解 的方法被应用到目标跟踪中，但这类方法都是假设各个粒子之间的稀疏表示过程是相互独 立的，忽略粒子之间的关系容易导致目标的漂移，尤其是当目标在外观有显著变化时。此外 这些算法主要采用图像模板作为字典，从而使得超完备字典的维数很高，计算量大，而且图 像原始灰度特征容易受光照以及相似背景等影响。
【发明内容】
[0005] 要解决的技术问题
[0006] 为了避免现有技术的不足之处，本发明提出一种基于子空间特征的多任务学习目 标跟踪方法。
[0007] 技术方案
[0008] -种基于子空间特征的多任务学习目标跟踪方法，其特征在于步骤如下：
[0009] 步骤1 :读取第一帧图像数据以及目标块在第一帧图像中的参数[x，y，w，h]，在目 标周围根据高斯分布随机产生m个粒子点，并记录其坐标（x^yj，i=l，2，L，m;每个粒子 代表了一个目标样本；
[0010] 其中：x，y表示目标中心的横纵坐标，w，h表示目标的宽和高；
[0011] 步骤2 :采用仿射变换将每个目标样本区域规划到一个MXN的标准图像块 zGRmxn;
[0012]步骤3:对每个目标样本使用增量PCA算法，提取每个目标样本的视觉特征表示向 量ui;
[0013]步骤4:将所有目标样本对应的列向量Ui组合到一起为D=[uuu2,L，um]，引入琐 碎模板IdGRdxd实现重构噪声和遮挡，构成一个大小为dX(m+d)维的字典V=[DId];其 中：Id为单位矩阵；
[0014] 步骤5:读取下一帧图像，在上一帧图像的目标块周围随机选取n个粒子点，记录 粒子点坐标（xk,yk)k= 1，2,L,n;每个粒子点代表了一个候选目标，每个粒子点按步骤2的 特征表示方法得到一个列向量yp
[0015] 步骤6:将所有待选目标粒子对应的向量组合在一起得到矩阵Y= [yi，y2,. ?.，yn]，利用字典表示为：
[0018] 其中：a是联合稀疏正则项和可靠重建项之间的平衡系数
IQ112是c亦12范数，ci是矩阵c的第i行；
[0019] 步骤7:对步骤5产生的n个候选目标，计算每个候选目标的重构误差
，以其中重构误差最小的粒子[x，y，w，h]作为目标跟踪的结果；
[0020] 判断是否处理完所有图像序列的所有帧，若没有，则转到步骤4继续；若处理完， 则跟踪结束。
[0021] 有益效果
[0022] 本发明提出的一种基于子空间特征的多任务学习目标跟踪方法，充分利用子空间 和稀疏重建在目标外观建模方面的优势，将h算法引入到子空间中，借助多任务学习（MTT) 的方法来挖掘各个粒子之间的相互关系。构造字典时不再采用图像模板，而是利用PCA的 特征子空间构成，并加入琐碎模板以重建噪声。将每一个粒子稀疏表达系数的求解看作是 MTT中的一个单任务学习问题，通过施加常用的混合范数121来联合求解所有粒子的稀疏 表示系数，并借助AcceleratedProximalGradient(APG)方法来进行多任务稀疏表示的求 解。相较于h跟踪的方法，MTT方法通过挖掘粒子之间的相关性来提高跟踪效果和降低跟 踪的计算复杂度。
[0023] 本发明在子空间的基础上，在特征子空间上构造字典，计算量大大减小，引入琐碎 模板解决了遮挡问题，同时能够更加有效地表示目标，克服了光照变化、尺度变化等问题。 在稀疏表示框架下，引入多任务学习方法，充分挖掘粒子之间的相互关系，实现了红外目标 的快速鲁棒跟踪。
【附图说明】
[0024] 图1本发明方法的流程图
【具体实施方式】
[0025] 现结合实施例、附图对本发明作进一步描述：
[0026] 本发明在第一帧目标确定的基础上，首先采用PCA子空间特征表示方法进行目标 表示，并引入琐碎模板构造用于稀疏表示的字典。其次，对粒子滤波方法产生的候选目标， 进行联合稀疏表示，求解得到表示系数。最后，选取其中重构误差最小的候选目标作为跟踪 结果。具体如下步骤如下，流程可参考附图。
[0027] 1)读取第一帧图像数据以及目标块在第一帧图像中的参数[x，y，w，h]，在目标周 围根据高斯分布随机选取m个粒子点（m取600)，并记录其坐标（Xi,yji= 1，2,L,m，每个 粒子代表了一个目标样本，其中x，y表示目标中心的横纵坐标，w，h表示目标的宽和高。
[0028] 2)对前10帧序列图像，使用粒子滤波跟踪算法，使用跟踪到的目标外观模型初始 化子空间。
[0029] 3)对所有的候选粒子点进行仿射变换将目标区域规划到一个MXN(32X32)的标 准图像块zGRmxn。
[0030] 4)对步骤3)产生的每个目标样本zeRMXN，使用增量PCA算法，提取其视觉特征 表示向量W(主分量个数取16)。
[0031] 5)将所有粒子对应的列向量Ui组合到一起即D=[uuu2,L，um]，为重构噪声和遮 挡引入琐碎模板IdeRdxd(Id为单位矩阵），构成了一个大小为dX(m+d)维的目标特征模 板（字典）V=[DIJ。
[0032] 6)读取下一帧图像，在上一帧图像目标周围随机产生n个粒子点，记录其坐标 (xk,yk)，k= 1，2,L,n。每个粒子点代表了一个候选目标，每个粒子点按步骤3的特征表示 方法可以得到一个列向量yi。
[0033]7)将所有待选目标粒子对应的向量组合在一起得到矩阵Y=[ypy2,. ..，yn]，利 用目标特征模板（字典）进行表示，BP:
[0035] 这里，我们寻求表示系数C的稀疏性，S卩
根据此目标函数， 求解得到系数
> 其中A是联合稀疏正则项和可靠重建项之间的平衡系数。同时， 我们定义
，这里IIQ| 12是C满1 2范数，C,是矩阵C的第i行。
[0036]使用AccelaratedProximalGradient(APG)方法求解上式，上式中的 | |C| |2>1 就 是非平滑的约束项。APG方法是在更新当前的系数矩阵C(k)和一个聚合矩阵V(k)中迭代进 行，当解或目标函数的变化比设定好的阈值低时就停止迭代，认为此时已经收敛。
[0037] 8)对于粒子滤波产生的n个候选目标求候选目标的重构误差
，选 择其中重构误差最小的粒子[x，y，w，h]作为目标跟踪的结果。
[0038] 判断是否处理完所有图像序列的所有帧。若没有，则转到步骤5继续；若处理完， 则算法结束。
[0039]本发明利用目标图像的灰度特征信息作为目标模板构造字典，通过对每个候选目 标计算范数最小化进行稀疏求解，计算其重构误差得到每个粒子的概率，从而实现目标 跟踪。考虑到这种方法字典的维数过高，且对每个粒子求解1 :最小化的过程相当耗时，无 法满足算法的实时性，以及灰度特征易受噪声、光照变化和相似物体干扰等影响的问题，本 发明利用PCA子空间特征构造字典，不但很好的保持了原始图像特征，还具备更好的表示 能力，同时借用多任务学习思想，充分挖掘粒子间的相关性，降低了跟踪过程的计算复杂度 并提_ 了跟踪效果。
【主权项】
1. 一种基于子空间特征的多任务学习目标跟踪方法，其特征在于步骤如下： 步骤1 :读取第一帧图像数据以及目标块在第一帧图像中的参数[x，y，w，h]，在目标周 围根据高斯分布随机产生m个粒子点，并记录其坐标（X^yi), i = l，2，L，m;每个粒子代表 了一个目标样本； 其中：x，y表示目标中心的横纵坐标，w，h表示目标的宽和高； 步骤2 :采用仿射变换将每个目标样本区域规划到一个MXN的标准图像块z e Rmxn; 步骤3 :对每个目标样本使用增量PCA算法，提取每个目标样本的视觉特征表示向量 Ui; 步骤4 :将所有目标样本对应的列向量Ui组合到一起为D = [u u u2, L, um]，引入琐碎模 板Ide R dxd实现重构噪声和遮挡，构成一个大小为dX (m+d)维的字典V = [D I J ;其中： Id为单位矩阵； 步骤5 :读取下一帧图像，在上一帧图像的目标块周围随机选取η个粒子点，记录粒子 点坐标（xk, yk) k = 1，2, L, η ;每个粒子点代表了一个候选目标，每个粒子点按步骤2的特征 表示方法得到一个列向量Yi; 步骤6 :将所有待选目标粒子对应的向量组合在一起得到矩阵Y = [yi，y2,. . .，yn]，利 用字典表示为：根振求解得到系数：其中：λ是联合稀疏正则项和可靠重建项之间的平衡系数；I Ci I 12是C亦1 2范数，C i是矩阵C的第i行；步骤7 :对步骤5产生的η个候选目标，计算每个候选目标的重构误差 以其中重构误差最小的粒子[x，y，w，h]作为目标跟踪的结果； 判断是否处理完所有图像序列的所有帧，若没有，则转到步骤4继续；若处理完，则跟 踪结束。
【专利摘要】本发明涉及一种基于子空间特征的多任务学习目标跟踪方法，充分利用子空间和稀疏重建在目标外观建模方面的优势，将l1算法引入到子空间中，借助多任务学习(MTT)的方法来挖掘各个粒子之间的相互关系。构造字典时不再采用图像模板，而是利用PCA的特征子空间构成，并加入琐碎模板以重建噪声。将每一个粒子稀疏表达系数的求解看作是MTT中的一个单任务学习问题，通过施加常用的混合范数l2,1来联合求解所有粒子的稀疏表示系数，并借助Accelerated Proximal Gradient(APG)方法来进行多任务稀疏表示的求解。相较于l1跟踪的方法，MTT方法通过挖掘粒子之间的相关性来提高跟踪效果和降低跟踪的计算复杂度。
【IPC分类】G06T7/20
【公开号】CN104899896
【申请号】CN201510324826
【发明人】李映, 胡晓华
【申请人】西北工业大学
【公开日】2015年9月9日
【申请日】2015年6月12日
最新回复(0)