一种采用多台摄像机进行运动目标跟踪的方法
一种采用多台摄像机进行运动目标跟踪的方法
【技术领域】
[0001] 本发明属于目标跟踪技术领域，具体涉及一种采用多台摄像机进行运动目标跟踪 的方法。
【背景技术】
[0002] 常用的运动目标跟踪的方法有mean-shift算法、卡尔曼滤波器和粒子滤波器等， 其中粒子滤波器常用来跟踪各种复杂性运动目标。一般来讲，对于单个摄像机监控视频中 的独立运动目标的跟踪已经取得了很好的效果，但是当运动目标过多或目标频繁受到遮挡 干扰时，这些常用的目标跟踪方法的跟踪效果都会受到影响。此时，可以考虑采用多台摄像 机进行辅助跟踪。
【发明内容】
[0003] 本发明提出一种采用多台摄像机进行运动目标跟踪的方法，解决了因单个摄像机 监控视角受限，发生运动目标受到遮挡而造成跟踪质量下降的问题。
[0004] 为了解决上述技术问题，本发明提供一种采用多台摄像机进行运动目标跟踪的方 法，包括以下步骤：
[0005]步骤一：使用最少三台摄像机从多角度监控运动目标A，以每台摄像机图像中的 公共平面区域为主平面，在每个摄像机图像的主平面内选择四个或四个以上的点，采用归 一化互相关算法对两两摄像机主平面内的每个点对进行精确匹配获得匹配点对，根据匹配 点对计算每台摄像机图像中主平面之间的单应性关系；
[0006]步骤二：采用混合高斯目标提取技术分别获取运动目标A在每台摄像机视频中的 目标Ai的目标序列
i表示摄像机台号，N为摄像机数量，k为 当前帧序号，K为视频序列总帧数，同时获得目标化在各自摄像机图像中的最高点位置及目 标A的宽度I;采用粒子滤波器分别对每台摄像机中的运动目标化进行跟踪处理，获得目 标Ai的跟踪位置Xi(Xi,y)，Xi和yi是目标Ai在摄像机图像中的坐标；
[0007]步骤三：计算目标A在每台摄像机视频中Ai的遮挡权重力，选择遮挡权重&最大 的目标Am所在的第m台摄像机图像的主平面作为映射主平面，将除第m台摄像机以外的摄 像机图像单应映射到该映射主平面，根据其余摄像机图像中目标的位置信息对遮挡权 重K最大的目标Am进行位置定位。
[0008] 发明原理：
[0009] 多台摄像机采用不同的角度跟踪同一块区域，就可以通过角度差异区别运动目标 与遮挡物体，发生遮挡的摄像机视频的跟踪信息可以通过其余摄像机与发生遮挡的摄像机 之间的映射关系进行辅助跟踪。摄像机之间可以通过单应映射进行关联。单应映射是平面 图像之间的映射关系，因此，摄像机图像平面之间不存在单应性关系，而对于每个摄像机图 像平面，其中的地面部分近似为一个平面，因此每台摄像机图像平面的地面部分之间存在 单应性关系，其相互间的单应矩阵采用各个摄像机公共地面区域的匹配点对进行计算。
[0010] 本发明与现有技术相比，其显著优点在于，本发明采用了多台摄像机多视角监控 运动目标，利用摄像机图像中主平面的单应性关系，不发生遮挡的摄像机的目标跟踪结果 对发生遮挡的摄像机的目标进行辅助跟踪，克服了单视角无法区分遮挡目标的弊端，解决 了运动目标受遮挡而造成跟踪效果差的问题，提高了跟踪质量。
【附图说明】
[0011] 图1本发明方法流程图。
[0012] 图2是本发明实验步骤一中采用NCC算法进行精度匹配的效果图。其中，图2(a) 是摄像机Q与摄像机C2中主平面上的精度点匹配效果图，图2 (b)是摄像机Q与摄像机C3 中主平面上的精度点匹配效果图。
[0013] 图3是本发明实验步骤三中所述的映射过程，其中图3(a)是摄像机心的图像，图 3(b)是摄像机(：3的图像，图3(c)是摄像机(：2的图像，图3(d)是以摄像机Q的图像主平面 为映射主平面，将摄像机Q与摄像机(：3的图像单应投影到映射主平面上的效果图，目标A 的中轴线在映射主平面相较于点0。
[0014] 图4是最终的跟踪效果图，其中图4(a)是仅使用摄像机Q监控运动目标，采用粒 子滤波器获得的跟踪目标效果图，图4 (b)是采用本发明，采用摄像机Q与摄像机C3对摄像 机Q中的目标进行辅助跟踪的效果图。
【具体实施方式】
[0015] 如图1所示，本发明一种采用多台摄像机进行运动目标跟踪的方法，包括以下步 骤：
[0016] 步骤一：使用最少三台摄像机从多角度监控运动目标A，以每台摄像机图像中的 公共平面区域为主平面，公共平面区域可以是每台摄像机图像中相同的地面、平面背景等 区域，在每个摄像机图像的主平面内选择四个或四个以上的点，采用归一化互相关算法对 两两摄像机主平面内的每个点对进行精确匹配获得匹配点对，根据匹配点对计算每台摄像 机图像中主平面之间的单应性关系。
[0017] 本步骤所述归一化互相关算法（NCC)可以参见文献一(孙卜郊，周东华.基于NCC 的快速匹配算法[J].传感器与微系统.2007. 26 (9).)。
[0018] 步骤二：采用混合高斯目标提取技术分别获取运动目标A在每台摄像机视频中的 目标Ai的目标序列
i表示摄像机台号，N为摄像机数量，k 为当前帧序号，K为视频序列总帧数，同时获得目标化在各自摄像机图像中的最高点位置及 目标A的宽度I;采用粒子滤波器分别对每台摄像机中的运动目标化进行跟踪处理，获得 目标A的跟踪位置\ (Xi，yi)，Xi和yi是目标化在摄像机图像中的坐标；
[0019] 所述混合高斯目标提取技术详见文献二（ChrisStauffer,Grimson,W. E.L.Adaptivebackgroundmixturemodelsforreal-timetracking[C] ?Fort Collins,C0:ComputerVisionandPatternRecognition, 1999 :1063_6919.)。
[0020] 所述粒子滤波器详见文献三(王然冉.基于粒子滤波器的人体目标跟踪[J].计算 机应用与软件?vol. 25,no. 12, 2008.)。
[0021] 步骤三：计算目标A在每台摄像机视频中Ai的遮挡权重Wi，选择遮挡权重Wi最大 的目标Am所在的第m台摄像机图像的主平面作为映射主平面，将除第m台摄像机以外的摄 像机图像单应映射到该映射主平面，根据其余摄像机图像中目标的位置信息对遮挡权 重K最大的目标Am进行位置定位。
[0022] 进一步，所述步骤一中，选择四个或四个以上的点的方法为：先在任意一台摄像机 图像的主平面中选择四个或四个以上的点，然后在其余摄像机图像的主平面中选择与前述 点的世界坐标系位置相同的点。
[0023] 进一步，所述步骤一中，根据匹配点对计算每台摄像机图像中主平面之间的单应 性关系的计算方法如公式（1)所示，
[0024] Xj=HijXj(1)
[0025] 式（1)中，Xi与X」分别是第i台摄像机与第j台摄像机中的一组匹配点对，Hu是 第i台摄像机与第j台摄像机图像中主平面之间的单应性矩阵。
[0026] 步骤三中，所述目标Ai在每台摄像机视频中的遮挡权重Wi的计算方法如下：
[0027]目标化的遮挡权重Wi受到两部分因素影响，一个因素是目标化的相对大小wn，另 一个因素是目标A在第k帧视频图像中的像素总数/T与在前L帧像素总数"之间的变 化率总和wi2，即Wi=wn+wi2，
[0028] 其中，wi:的计算方式如公式（2)所示，
[0029]wn =a(pj-p) (2)
[0030] 式（2)中，p是目标A在当前帧各个摄像机视频图像中的像素总数Pi的均值，a为 影响因子，用来控制Wil的数量级；
[0031]wi2的计算方式如公式（3)所示，
[0033] 式（3)中，1 = 1，2, ? ? ?，L，L彡 2。
[0034] 步骤三中，所述根据其余摄像机图像中目标的位置信息对遮挡权重&最大的 目标Am进行位置定位的计算过程如下：
[0035] 1. 1以第m台摄像机图像的主平面为映射主平面，将其余摄像机图像单应映射到 映射主平面，不同摄像机中的目标Ai在映射主平面上相互重合，且目标化的中轴线将相交 于映射主平面上的一点〇,将点〇经过反向单应映射至其余摄像机图像，得到点〇在其余摄 像机图像中的位置Ou#，该位置即为目标化在各自对应的摄像机图像中的最低点 位置，根据该最低点位置和步骤二获得的目标A的最高点位置确定其余摄像机图像中目标 Ai的高度氏；目标Ajf被确定在高为氏、宽为I的矩形内，i尹m，i= 1，2，...N;
[0036] 1.2计算除目标Am外其余目标化的粒子滤波器跟踪位置在上述矩形内 的位置比例，计算方式如公式（4)所示，
[0038]式（4)中，rix为宽度比，riy为高度比；
[0039] 1. 3计算目标Am的跟踪位置在矩形内的比例，计算方式如公式（5)所示，
[0041] 式（5)中，rmx为宽度比，rmy为高度比，
[0042] 1. 4如公式（6)所示，计算遮挡权重Wi最大的目标Am的跟踪位置Xm(Xm，yj，
[0044] 式（6)中，扎是目标Am的高度，结合步骤二获得的目标Am最高点位置与映射主平 面交点〇的位置确定；W m为在步骤二获得的目标Am的宽度。
[0045] 本发明可以通过以下实验结果进一步说明：
[0046] 以三台摄像机CrQ和C3以三视角监控运动人体目标为例，以地面作为主平面，首 先确定三台摄像机图像中主平面之间的单应性关系 ，然后采用粒子滤波器分别对每个摄像 机监控视频中的同一个运动目标进行跟踪，计算每台摄像机监控视频中同一个运动目标的 目标遮挡权重，选择目标遮挡权重最大的图像中的主平面作为映射主平面，其余摄像机图 像针对该映射主平面进行单应映射，通过其余摄像机中的目标跟踪信息对遮挡目标进行辅 助跟踪，获取当前遮挡权重最大的目标的跟踪信息。
[0047] 步骤一，计算各个摄像机图像中主平面之间的单应性关系。具体步骤如下：
[0048] 在各个摄像机图像的主平面的公共区域内，手动选择四个点，先在某一台摄像机 的图像的主平面中选择四个点，然后在其余摄像机图像的主平面中选择与这些点所在的世 界坐标系中位置相同的点。针对两两摄像机图像中的每对近似匹配点对，采用10X10的窗 口提取出待配准区域，以其中一幅图像中的点为基准，利用公式（7)
[0050] 在待配准区域中找到其最佳匹配点，实现对两两摄像机之间的四组匹配点对进行 精确匹配。精确匹配效果如图2所示，其中图2 (a)是摄像机Q与摄像机C2中主平面上的 精度点匹配，图2(b)是摄像机(^与摄像机(：3中主平面上的精度点匹配。利用获取的匹配 点对根据公式\ =氏#」计算两两摄像机图像平面中主平面之间的单应性矩阵。
[0051] 步骤二，采用混合高斯目标提取技术分别获取各个摄像机中的运动目标化在各自 摄像机图像中的最高点位置及目标Ai的宽度Wi ;采用粒子滤波器分别对每台摄像机中的运 动目标A进行跟踪处理，获得目标化的跟踪位置\ (Xi，yi)。
[0052] 步骤三，计算运动目标遮挡权重，具体方法如下：
[0053] 计算当前帧三台摄像机视频图像中的同一目标A的像素总数Pi的均值p，目标Ai 的相对大小wn =a(Pi_p)，a用来调整wn的数量级。
[0054] 计算当前帧像素总数与前L帧像素总数之间的变化率总和
，其 中，f为第i台摄像机第k帧视频图像中目标的像素总数。
[0055] 目标Ai的遮挡权重r=wn+wi2。选择目标遮挡权重最大的摄像机M的图像中的 主平面作为映射主平面。
[0056] 计算遮挡目标的跟踪位置信息，具体步骤如下：
[0057] 设遮挡权重最大的运动目标所在的摄像机为Q，其余摄像机分别为C2、C3，以Q中 的图像的主平面为映射主平面，其余两台摄像机图像利用公式\ =氏#」，向映射主平面进 行单应性映射。映射结果如合图3所示，其中图3(a)是摄像机(^的图像，图3(b)是摄像 机C3的图像，图3 (c)是摄像机C2的图像，图3 (d)是以摄像机Q的图像主平面为映射主平 面，将摄像机Q与摄像机(：3的图像单应投影到映射主平面上的效果图，目标A的中轴线在 映射主平面相较于点0。如图3 (d)所示，轴线lp12和13分别为各个摄像机中的目标中轴 线，轴线li、12和13分别相交于映射主平面上的一点，标记为〇点，〇点经过反向单应映射 到各个摄像机图像中，可以确定其在摄像机C2、摄像机C3图像中的位直为02、03，结合混合 商斯目标提取得到的目标图像最商点，可以确定C2、C3中目标A的商度为112和113。人体A 被确定在高宽为HpWi的矩形内，i= 1，2,3,其中1为混合高斯目标提取得到的目标图像 的宽度。根据步骤二获得的摄像机C2和摄像机C3中的目标跟踪位置X2A和X3A，计算其在对 应矩形内的位置比例：
[0059] 计算摄像机Q中目标跟踪位置在矩形内的比例：
[0061]其中
，则可获得摄像机Q中的遮挡目标A的跟踪位置?
[0062] 针对运动人体视频，最后采用粒子滤波器对单摄像机跟踪方法与本发明方法分别 进行了仿真实验。最终的跟踪效果图如图4所示，其中图4(a)是仅使用摄像机Q监控运 动目标，采用粒子滤波器获得的跟踪目标效果图，可以看出由于遮挡严重，仅可以跟踪一个 目标，造成跟踪失败，图4 (b)是采用本发明方法，采用摄像机Q与摄像机C3对摄像机Q中 的目标进行辅助跟踪的效果图，可以看出由于摄像机C2和摄像机C3对遮挡目标进行了辅助 跟踪，在摄像机q中可以跟踪到两个目标。本发明方法克服了遮挡情况下目标跟踪质量低 的弊端，提商了运动目标跟踪质量。
[0063] 采用粒子滤波器对单摄像机跟踪方法与本发明方法分别进行了仿真实验的误跟 踪帧数比例统计如表一所示。从表一可见采用单个摄像机进行跟踪，跟踪质量比较差，而采 用三台摄像机辅助跟踪，跟踪质量得到了明显的提高。
[0064] 表一仅采用粒子滤波器和本发明方法进行目标跟踪的质量统计表
【主权项】
1. 一种采用多台摄像机进行运动目标跟踪的方法，其特征在于，包括以下步骤： 步骤一：使用最少三台摄像机从多角度监控运动目标A，以每台摄像机图像中的公共 平面区域为主平面，在每个摄像机图像的主平面内选择四个或四个以上的点，采用归一化 互相关算法对两两摄像机主平面内的每个点对进行精确匹配获得匹配点对，根据匹配点对 计算每台摄像机图像中主平面之间的单应性关系； 步骤二：采用混合高斯目标提取技术分别获取运动目标A在每台摄像机视频中的目标 Ai的目标序列』广，…= …i表示摄像机台号，N为摄像机数量，k为当前 中贞序号，K为视频序列总帧数，同时获得目SAi在各自摄像机图像中的最1?点位置及目标Ai的宽度Wi ;采用粒子滤波器分别对每台摄像机中的运动目标Ai进行跟踪处理，获得目标Ai的跟踪位置Xi (Xi，yi)，Xi和Yi是目标Ai在摄像机图像中的坐标； 步骤三：计算目标A在每台摄像机视频中Ai的遮挡权重Wi,选择遮挡权重Wi最大的目 标Am所在的第m台摄像机图像的主平面作为映射主平面，将除第m台摄像机以外的摄像机 图像单应映射到该映射主平面，根据其余摄像机图像中目标A#m的位置信息对遮挡权重Wi最大的目标Am进行位置定位。2. 如权利要求1所述的采用多台摄像机进行运动目标跟踪的方法，其特征在于，步骤 一中，所述选择四个或四个以上的点的方法为：先在任意一台摄像机图像的主平面中选择 四个或四个以上的点，然后在其余摄像机图像的主平面中选择与前述点所在世界坐标系位 置相同的点； 所述根据匹配点对计算每台摄像机图像中主平面之间的单应性关系的计算方法如公 式（1)所示， Xi = HijXj (1) 式（1)中，Xi与&分别是第i台摄像机与第j台摄像机中的一组匹配点对，Hu是第i 台摄像机与第j台摄像机图像中主平面之间的单应性矩阵。3. 如权利要求1所述的采用多台摄像机进行运动目标跟踪的方法，其特征在于，所述 步骤三中，目标Ai在每台摄像机视频中的遮挡权重Wi的计算方法如公式（2)所示， Wi= WJJ+WJ2 (2) 式（2)中，Wil是Ai的相对大小，Wil的计算方式如公式（3)所示， wii = α (Ρ「Ρ)⑶ 式（3)中，ρ是目标A在当前帧各个摄像机视频图像中的像素总数Pi的均值，α为影 响因子，用来控制Wil的数量级； 式（2 )中，wi2是目标A在第k帧视频图像中的像素总数与在前L帧像素总数 之间的变化率总和wi2, wi2的计算方式如公式（4)所示，式（4)中，I = 1，2，...，L，L>2。4. 如权利要求1所述的采用多台摄像机进行运动目标跟踪的方法，其特征在于，根据 其余摄像机图像中目标A#m的位置信息对遮挡权重Wi最大的目标Am进行位置定位的计算 过程如下： 4. 1以第m台摄像机图像的主平面为映射主平面，将其余摄像机图像单应映射到映射 主平面，目标Ai的中轴线将相交于映射主平面上的一点0,将点O经过反向单应映射至其余 摄像机图像，得到点〇在其余摄像机图像中的位置Oiii^，该位置Oiii^即为目标化在各自 对应的摄像机图像中的最低点位置，根据该最低点位置和步骤二获得的目标Ai的最高点位 置确定其余摄像机图像中目SAi的高度Hi ;目标Ai将被确定在高为Hp宽为Wi的矩形内， i # m，i = 1，2,…N ; 4. 2计算除目标Am外其余目标Ai的粒子滤波器跟踪位置Xi (Xi，yi)坐标值与宽度Wi和 度氏的比例，计算方式如公式（5)所示，式（5)中，rix为宽度比，riy为高度比； 4. 3计算目标Am的跟踪位置与宽度Wi和度Hi的比例，计算方式如公式（6)所示，式（6)中，rmx为宽度比，rmy为高度比，4. 4如公式（7)所示，计算遮挡权重Wi最大的目标Am的跟踪位置Xm (xm，ym)，式（7)中，Hm是目标Am的高度，结合步骤二获得的目标Am最高点位置与映射主平面交 点〇的位置确定；Wm为在步骤二获得的目标Am的宽度。
【专利摘要】本发明提出了一种采用多台摄像机进行运动目标跟踪的方法。本发明在一般的单摄像机目标跟踪方法的基础上，采用多摄像机多个视角同时跟踪同一个区域的运动目标，利用多视角对单一视角发生遮挡的目标加以区分并定位。首先确定各个摄像机图像中公共平面区域作为各个摄像机图像的主平面，并计算主平面之间的单应性矩阵，然后以其中目标遮挡权重最大的摄像机图像的主平面为映射主平面，其余摄像机图像针对该映射主平面进行单应性映射。利用单应性关系，通过其余摄像机图像中的目标跟踪信息获得遮挡权重最大的目标的跟踪信息。本发明克服了存在遮挡情况下目标跟踪失败的问题，提高了目标跟踪的准确率。
【IPC分类】G06T7/20
【公开号】CN104899894
【申请号】CN201410079094
【发明人】顾国华, 刘琳, 李娇, 龚文彪, 孔筱芳, 徐富元
【申请人】南京理工大学
【公开日】2015年9月9日
【申请日】2014年3月5日
【技术领域】
[0001] 本发明属于目标跟踪技术领域，具体涉及一种采用多台摄像机进行运动目标跟踪 的方法。
【背景技术】
[0002] 常用的运动目标跟踪的方法有mean-shift算法、卡尔曼滤波器和粒子滤波器等， 其中粒子滤波器常用来跟踪各种复杂性运动目标。一般来讲，对于单个摄像机监控视频中 的独立运动目标的跟踪已经取得了很好的效果，但是当运动目标过多或目标频繁受到遮挡 干扰时，这些常用的目标跟踪方法的跟踪效果都会受到影响。此时，可以考虑采用多台摄像 机进行辅助跟踪。
【发明内容】
[0003] 本发明提出一种采用多台摄像机进行运动目标跟踪的方法，解决了因单个摄像机 监控视角受限，发生运动目标受到遮挡而造成跟踪质量下降的问题。
[0004] 为了解决上述技术问题，本发明提供一种采用多台摄像机进行运动目标跟踪的方 法，包括以下步骤：
[0005]步骤一：使用最少三台摄像机从多角度监控运动目标A，以每台摄像机图像中的 公共平面区域为主平面，在每个摄像机图像的主平面内选择四个或四个以上的点，采用归 一化互相关算法对两两摄像机主平面内的每个点对进行精确匹配获得匹配点对，根据匹配 点对计算每台摄像机图像中主平面之间的单应性关系；
[0006]步骤二：采用混合高斯目标提取技术分别获取运动目标A在每台摄像机视频中的 目标Ai的目标序列
i表示摄像机台号，N为摄像机数量，k为 当前帧序号，K为视频序列总帧数，同时获得目标化在各自摄像机图像中的最高点位置及目 标A的宽度I;采用粒子滤波器分别对每台摄像机中的运动目标化进行跟踪处理，获得目 标Ai的跟踪位置Xi(Xi,y)，Xi和yi是目标Ai在摄像机图像中的坐标；
[0007]步骤三：计算目标A在每台摄像机视频中Ai的遮挡权重力，选择遮挡权重&最大 的目标Am所在的第m台摄像机图像的主平面作为映射主平面，将除第m台摄像机以外的摄 像机图像单应映射到该映射主平面，根据其余摄像机图像中目标的位置信息对遮挡权 重K最大的目标Am进行位置定位。
[0008] 发明原理：
[0009] 多台摄像机采用不同的角度跟踪同一块区域，就可以通过角度差异区别运动目标 与遮挡物体，发生遮挡的摄像机视频的跟踪信息可以通过其余摄像机与发生遮挡的摄像机 之间的映射关系进行辅助跟踪。摄像机之间可以通过单应映射进行关联。单应映射是平面 图像之间的映射关系，因此，摄像机图像平面之间不存在单应性关系，而对于每个摄像机图 像平面，其中的地面部分近似为一个平面，因此每台摄像机图像平面的地面部分之间存在 单应性关系，其相互间的单应矩阵采用各个摄像机公共地面区域的匹配点对进行计算。
[0010] 本发明与现有技术相比，其显著优点在于，本发明采用了多台摄像机多视角监控 运动目标，利用摄像机图像中主平面的单应性关系，不发生遮挡的摄像机的目标跟踪结果 对发生遮挡的摄像机的目标进行辅助跟踪，克服了单视角无法区分遮挡目标的弊端，解决 了运动目标受遮挡而造成跟踪效果差的问题，提高了跟踪质量。
【附图说明】
[0011] 图1本发明方法流程图。
[0012] 图2是本发明实验步骤一中采用NCC算法进行精度匹配的效果图。其中，图2(a) 是摄像机Q与摄像机C2中主平面上的精度点匹配效果图，图2 (b)是摄像机Q与摄像机C3 中主平面上的精度点匹配效果图。
[0013] 图3是本发明实验步骤三中所述的映射过程，其中图3(a)是摄像机心的图像，图 3(b)是摄像机(：3的图像，图3(c)是摄像机(：2的图像，图3(d)是以摄像机Q的图像主平面 为映射主平面，将摄像机Q与摄像机(：3的图像单应投影到映射主平面上的效果图，目标A 的中轴线在映射主平面相较于点0。
[0014] 图4是最终的跟踪效果图，其中图4(a)是仅使用摄像机Q监控运动目标，采用粒 子滤波器获得的跟踪目标效果图，图4 (b)是采用本发明，采用摄像机Q与摄像机C3对摄像 机Q中的目标进行辅助跟踪的效果图。
【具体实施方式】
[0015] 如图1所示，本发明一种采用多台摄像机进行运动目标跟踪的方法，包括以下步 骤：
[0016] 步骤一：使用最少三台摄像机从多角度监控运动目标A，以每台摄像机图像中的 公共平面区域为主平面，公共平面区域可以是每台摄像机图像中相同的地面、平面背景等 区域，在每个摄像机图像的主平面内选择四个或四个以上的点，采用归一化互相关算法对 两两摄像机主平面内的每个点对进行精确匹配获得匹配点对，根据匹配点对计算每台摄像 机图像中主平面之间的单应性关系。
[0017] 本步骤所述归一化互相关算法（NCC)可以参见文献一(孙卜郊，周东华.基于NCC 的快速匹配算法[J].传感器与微系统.2007. 26 (9).)。
[0018] 步骤二：采用混合高斯目标提取技术分别获取运动目标A在每台摄像机视频中的 目标Ai的目标序列
i表示摄像机台号，N为摄像机数量，k 为当前帧序号，K为视频序列总帧数，同时获得目标化在各自摄像机图像中的最高点位置及 目标A的宽度I;采用粒子滤波器分别对每台摄像机中的运动目标化进行跟踪处理，获得 目标A的跟踪位置\ (Xi，yi)，Xi和yi是目标化在摄像机图像中的坐标；
[0019] 所述混合高斯目标提取技术详见文献二（ChrisStauffer,Grimson,W. E.L.Adaptivebackgroundmixturemodelsforreal-timetracking[C] ?Fort Collins,C0:ComputerVisionandPatternRecognition, 1999 :1063_6919.)。
[0020] 所述粒子滤波器详见文献三(王然冉.基于粒子滤波器的人体目标跟踪[J].计算 机应用与软件?vol. 25,no. 12, 2008.)。
[0021] 步骤三：计算目标A在每台摄像机视频中Ai的遮挡权重Wi，选择遮挡权重Wi最大 的目标Am所在的第m台摄像机图像的主平面作为映射主平面，将除第m台摄像机以外的摄 像机图像单应映射到该映射主平面，根据其余摄像机图像中目标的位置信息对遮挡权 重K最大的目标Am进行位置定位。
[0022] 进一步，所述步骤一中，选择四个或四个以上的点的方法为：先在任意一台摄像机 图像的主平面中选择四个或四个以上的点，然后在其余摄像机图像的主平面中选择与前述 点的世界坐标系位置相同的点。
[0023] 进一步，所述步骤一中，根据匹配点对计算每台摄像机图像中主平面之间的单应 性关系的计算方法如公式（1)所示，
[0024] Xj=HijXj(1)
[0025] 式（1)中，Xi与X」分别是第i台摄像机与第j台摄像机中的一组匹配点对，Hu是 第i台摄像机与第j台摄像机图像中主平面之间的单应性矩阵。
[0026] 步骤三中，所述目标Ai在每台摄像机视频中的遮挡权重Wi的计算方法如下：
[0027]目标化的遮挡权重Wi受到两部分因素影响，一个因素是目标化的相对大小wn，另 一个因素是目标A在第k帧视频图像中的像素总数/T与在前L帧像素总数"之间的变 化率总和wi2，即Wi=wn+wi2，
[0028] 其中，wi:的计算方式如公式（2)所示，
[0029]wn =a(pj-p) (2)
[0030] 式（2)中，p是目标A在当前帧各个摄像机视频图像中的像素总数Pi的均值，a为 影响因子，用来控制Wil的数量级；
[0031]wi2的计算方式如公式（3)所示，
[0033] 式（3)中，1 = 1，2, ? ? ?，L，L彡 2。
[0034] 步骤三中，所述根据其余摄像机图像中目标的位置信息对遮挡权重&最大的 目标Am进行位置定位的计算过程如下：
[0035] 1. 1以第m台摄像机图像的主平面为映射主平面，将其余摄像机图像单应映射到 映射主平面，不同摄像机中的目标Ai在映射主平面上相互重合，且目标化的中轴线将相交 于映射主平面上的一点〇,将点〇经过反向单应映射至其余摄像机图像，得到点〇在其余摄 像机图像中的位置Ou#，该位置即为目标化在各自对应的摄像机图像中的最低点 位置，根据该最低点位置和步骤二获得的目标A的最高点位置确定其余摄像机图像中目标 Ai的高度氏；目标Ajf被确定在高为氏、宽为I的矩形内，i尹m，i= 1，2，...N;
[0036] 1.2计算除目标Am外其余目标化的粒子滤波器跟踪位置在上述矩形内 的位置比例，计算方式如公式（4)所示，
[0038]式（4)中，rix为宽度比，riy为高度比；
[0039] 1. 3计算目标Am的跟踪位置在矩形内的比例，计算方式如公式（5)所示，
[0041] 式（5)中，rmx为宽度比，rmy为高度比，
[0042] 1. 4如公式（6)所示，计算遮挡权重Wi最大的目标Am的跟踪位置Xm(Xm，yj，
[0044] 式（6)中，扎是目标Am的高度，结合步骤二获得的目标Am最高点位置与映射主平 面交点〇的位置确定；W m为在步骤二获得的目标Am的宽度。
[0045] 本发明可以通过以下实验结果进一步说明：
[0046] 以三台摄像机CrQ和C3以三视角监控运动人体目标为例，以地面作为主平面，首 先确定三台摄像机图像中主平面之间的单应性关系 ，然后采用粒子滤波器分别对每个摄像 机监控视频中的同一个运动目标进行跟踪，计算每台摄像机监控视频中同一个运动目标的 目标遮挡权重，选择目标遮挡权重最大的图像中的主平面作为映射主平面，其余摄像机图 像针对该映射主平面进行单应映射，通过其余摄像机中的目标跟踪信息对遮挡目标进行辅 助跟踪，获取当前遮挡权重最大的目标的跟踪信息。
[0047] 步骤一，计算各个摄像机图像中主平面之间的单应性关系。具体步骤如下：
[0048] 在各个摄像机图像的主平面的公共区域内，手动选择四个点，先在某一台摄像机 的图像的主平面中选择四个点，然后在其余摄像机图像的主平面中选择与这些点所在的世 界坐标系中位置相同的点。针对两两摄像机图像中的每对近似匹配点对，采用10X10的窗 口提取出待配准区域，以其中一幅图像中的点为基准，利用公式（7)
[0050] 在待配准区域中找到其最佳匹配点，实现对两两摄像机之间的四组匹配点对进行 精确匹配。精确匹配效果如图2所示，其中图2 (a)是摄像机Q与摄像机C2中主平面上的 精度点匹配，图2(b)是摄像机(^与摄像机(：3中主平面上的精度点匹配。利用获取的匹配 点对根据公式\ =氏#」计算两两摄像机图像平面中主平面之间的单应性矩阵。
[0051] 步骤二，采用混合高斯目标提取技术分别获取各个摄像机中的运动目标化在各自 摄像机图像中的最高点位置及目标Ai的宽度Wi ;采用粒子滤波器分别对每台摄像机中的运 动目标A进行跟踪处理，获得目标化的跟踪位置\ (Xi，yi)。
[0052] 步骤三，计算运动目标遮挡权重，具体方法如下：
[0053] 计算当前帧三台摄像机视频图像中的同一目标A的像素总数Pi的均值p，目标Ai 的相对大小wn =a(Pi_p)，a用来调整wn的数量级。
[0054] 计算当前帧像素总数与前L帧像素总数之间的变化率总和
，其 中，f为第i台摄像机第k帧视频图像中目标的像素总数。
[0055] 目标Ai的遮挡权重r=wn+wi2。选择目标遮挡权重最大的摄像机M的图像中的 主平面作为映射主平面。
[0056] 计算遮挡目标的跟踪位置信息，具体步骤如下：
[0057] 设遮挡权重最大的运动目标所在的摄像机为Q，其余摄像机分别为C2、C3，以Q中 的图像的主平面为映射主平面，其余两台摄像机图像利用公式\ =氏#」，向映射主平面进 行单应性映射。映射结果如合图3所示，其中图3(a)是摄像机(^的图像，图3(b)是摄像 机C3的图像，图3 (c)是摄像机C2的图像，图3 (d)是以摄像机Q的图像主平面为映射主平 面，将摄像机Q与摄像机(：3的图像单应投影到映射主平面上的效果图，目标A的中轴线在 映射主平面相较于点0。如图3 (d)所示，轴线lp12和13分别为各个摄像机中的目标中轴 线，轴线li、12和13分别相交于映射主平面上的一点，标记为〇点，〇点经过反向单应映射 到各个摄像机图像中，可以确定其在摄像机C2、摄像机C3图像中的位直为02、03，结合混合 商斯目标提取得到的目标图像最商点，可以确定C2、C3中目标A的商度为112和113。人体A 被确定在高宽为HpWi的矩形内，i= 1，2,3,其中1为混合高斯目标提取得到的目标图像 的宽度。根据步骤二获得的摄像机C2和摄像机C3中的目标跟踪位置X2A和X3A，计算其在对 应矩形内的位置比例：
[0059] 计算摄像机Q中目标跟踪位置在矩形内的比例：
[0061]其中
，则可获得摄像机Q中的遮挡目标A的跟踪位置?
[0062] 针对运动人体视频，最后采用粒子滤波器对单摄像机跟踪方法与本发明方法分别 进行了仿真实验。最终的跟踪效果图如图4所示，其中图4(a)是仅使用摄像机Q监控运 动目标，采用粒子滤波器获得的跟踪目标效果图，可以看出由于遮挡严重，仅可以跟踪一个 目标，造成跟踪失败，图4 (b)是采用本发明方法，采用摄像机Q与摄像机C3对摄像机Q中 的目标进行辅助跟踪的效果图，可以看出由于摄像机C2和摄像机C3对遮挡目标进行了辅助 跟踪，在摄像机q中可以跟踪到两个目标。本发明方法克服了遮挡情况下目标跟踪质量低 的弊端，提商了运动目标跟踪质量。
[0063] 采用粒子滤波器对单摄像机跟踪方法与本发明方法分别进行了仿真实验的误跟 踪帧数比例统计如表一所示。从表一可见采用单个摄像机进行跟踪，跟踪质量比较差，而采 用三台摄像机辅助跟踪，跟踪质量得到了明显的提高。
[0064] 表一仅采用粒子滤波器和本发明方法进行目标跟踪的质量统计表
【主权项】
1. 一种采用多台摄像机进行运动目标跟踪的方法，其特征在于，包括以下步骤： 步骤一：使用最少三台摄像机从多角度监控运动目标A，以每台摄像机图像中的公共 平面区域为主平面，在每个摄像机图像的主平面内选择四个或四个以上的点，采用归一化 互相关算法对两两摄像机主平面内的每个点对进行精确匹配获得匹配点对，根据匹配点对 计算每台摄像机图像中主平面之间的单应性关系； 步骤二：采用混合高斯目标提取技术分别获取运动目标A在每台摄像机视频中的目标 Ai的目标序列』广，…= …i表示摄像机台号，N为摄像机数量，k为当前 中贞序号，K为视频序列总帧数，同时获得目SAi在各自摄像机图像中的最1?点位置及目标Ai的宽度Wi ;采用粒子滤波器分别对每台摄像机中的运动目标Ai进行跟踪处理，获得目标Ai的跟踪位置Xi (Xi，yi)，Xi和Yi是目标Ai在摄像机图像中的坐标； 步骤三：计算目标A在每台摄像机视频中Ai的遮挡权重Wi,选择遮挡权重Wi最大的目 标Am所在的第m台摄像机图像的主平面作为映射主平面，将除第m台摄像机以外的摄像机 图像单应映射到该映射主平面，根据其余摄像机图像中目标A#m的位置信息对遮挡权重Wi最大的目标Am进行位置定位。2. 如权利要求1所述的采用多台摄像机进行运动目标跟踪的方法，其特征在于，步骤 一中，所述选择四个或四个以上的点的方法为：先在任意一台摄像机图像的主平面中选择 四个或四个以上的点，然后在其余摄像机图像的主平面中选择与前述点所在世界坐标系位 置相同的点； 所述根据匹配点对计算每台摄像机图像中主平面之间的单应性关系的计算方法如公 式（1)所示， Xi = HijXj (1) 式（1)中，Xi与&分别是第i台摄像机与第j台摄像机中的一组匹配点对，Hu是第i 台摄像机与第j台摄像机图像中主平面之间的单应性矩阵。3. 如权利要求1所述的采用多台摄像机进行运动目标跟踪的方法，其特征在于，所述 步骤三中，目标Ai在每台摄像机视频中的遮挡权重Wi的计算方法如公式（2)所示， Wi= WJJ+WJ2 (2) 式（2)中，Wil是Ai的相对大小，Wil的计算方式如公式（3)所示， wii = α (Ρ「Ρ)⑶ 式（3)中，ρ是目标A在当前帧各个摄像机视频图像中的像素总数Pi的均值，α为影 响因子，用来控制Wil的数量级； 式（2 )中，wi2是目标A在第k帧视频图像中的像素总数与在前L帧像素总数 之间的变化率总和wi2, wi2的计算方式如公式（4)所示，式（4)中，I = 1，2，...，L，L>2。4. 如权利要求1所述的采用多台摄像机进行运动目标跟踪的方法，其特征在于，根据 其余摄像机图像中目标A#m的位置信息对遮挡权重Wi最大的目标Am进行位置定位的计算 过程如下： 4. 1以第m台摄像机图像的主平面为映射主平面，将其余摄像机图像单应映射到映射 主平面，目标Ai的中轴线将相交于映射主平面上的一点0,将点O经过反向单应映射至其余 摄像机图像，得到点〇在其余摄像机图像中的位置Oiii^，该位置Oiii^即为目标化在各自 对应的摄像机图像中的最低点位置，根据该最低点位置和步骤二获得的目标Ai的最高点位 置确定其余摄像机图像中目SAi的高度Hi ;目标Ai将被确定在高为Hp宽为Wi的矩形内， i # m，i = 1，2,…N ; 4. 2计算除目标Am外其余目标Ai的粒子滤波器跟踪位置Xi (Xi，yi)坐标值与宽度Wi和 度氏的比例，计算方式如公式（5)所示，式（5)中，rix为宽度比，riy为高度比； 4. 3计算目标Am的跟踪位置与宽度Wi和度Hi的比例，计算方式如公式（6)所示，式（6)中，rmx为宽度比，rmy为高度比，4. 4如公式（7)所示，计算遮挡权重Wi最大的目标Am的跟踪位置Xm (xm，ym)，式（7)中，Hm是目标Am的高度，结合步骤二获得的目标Am最高点位置与映射主平面交 点〇的位置确定；Wm为在步骤二获得的目标Am的宽度。
【专利摘要】本发明提出了一种采用多台摄像机进行运动目标跟踪的方法。本发明在一般的单摄像机目标跟踪方法的基础上，采用多摄像机多个视角同时跟踪同一个区域的运动目标，利用多视角对单一视角发生遮挡的目标加以区分并定位。首先确定各个摄像机图像中公共平面区域作为各个摄像机图像的主平面，并计算主平面之间的单应性矩阵，然后以其中目标遮挡权重最大的摄像机图像的主平面为映射主平面，其余摄像机图像针对该映射主平面进行单应性映射。利用单应性关系，通过其余摄像机图像中的目标跟踪信息获得遮挡权重最大的目标的跟踪信息。本发明克服了存在遮挡情况下目标跟踪失败的问题，提高了目标跟踪的准确率。
【IPC分类】G06T7/20
【公开号】CN104899894
【申请号】CN201410079094
【发明人】顾国华, 刘琳, 李娇, 龚文彪, 孔筱芳, 徐富元
【申请人】南京理工大学
【公开日】2015年9月9日
【申请日】2014年3月5日
最新回复(0)