一种运动目标跟踪与检测方法

一种运动目标跟踪与检测方法
【技术领域】
[0001] 本发明设及视频处理技术领域，具体地，设及一种运动目标跟踪与检测方法。
【背景技术】
[0002] 在足球比赛视频中的多运动员行为识别过程中，由于单一特征很难有效地描述多 运动员的行为特征，所W用单一特征来进行行为识别会导致计算结果的不可靠性。可用于 识别足球比赛视频中的多运动员行为的特征较多，但选择的特征过多、特征向量维数过大， 则会增加计算的复杂度；而选择的特征过少，又不足W识别与理解足球比赛视频中的多运 动员行为。
[0003] 在实现本发明的过程中，发明人发现现有技术中至少存在操作过程复杂、花费时 间长和可靠性低等缺陷。

【发明内容】

[0004] 本发明的目的在于，针对上述问题，提出一种运动目标跟踪与检测方法，W实现操 作过程简单、花费时间短和可靠性高的优点。
[0005] 为实现上述目的，本发明采用的技术方案是：一种运动目标跟踪与检测方法，包 括：
[0006] a、足球比赛视频中的运动目标分割；
[0007] b、球员跟踪与检测；
[0008] C、足球跟踪与检测；
[0009] d、球员与裁判分类
[0010] e、足球比赛位置的确定。
[0011] 进一步地，所述步骤a,具体包括：
[0012] 使用减背景法进行运动目标分割，具体地：
[0013] (1)创建和维护背景：如果一个像素值（X，y)是背景模型的标准偏差的两倍W上， 则认为该像素是运动的；
[0014] 口)设置滑动时间窗口尺寸W为预设帖数，选择每个窗口的第一张图片作为粗背 景模型Bt(x，y)，只对那些与粗背景模型对应，强度值不变的点进行均值和标准差估价，即 r(x,y)-Bc(x,y)I<th，其中，th是实验选定的阔值；
[0015] 该样，在第一个W帖的分析结束后，算法计算出每个点的能量如下：
[0016]
[0017] 第一个W帖处理完后，产生的背景模型Bp可用（2)来表示；
[0018] (2)
[001引 阔值th(W)与窗口尺寸w成正比；
[0020] 将低能量点考虑为静态点，相应的统计包含在背景模型中，而高能量点对应于前 景或背景中的运动物体；
[0021] 整个过程是在另一个W帖序列进行迭代，W+1帖成为新的粗背景模型；如果统计参 数存在，（2)中的有关差异是新的统计参数与W前的值的平均值，否则，就是新的统计模型 值，将似改写成：
[0022]
[0023] 减背景法中的参数0是典型更新参数，一般设定为0. 1 ;
[0024] 樹根据视频图像中的全局运动数量修改系统参数；将连通性分析应用于分割好的 结果图像，产生前景区域；通过每个区域形状的几何考虑，连通性分析消除阴影；在构造连 通区域的过程中，删除与预期球员的垂直位置相关的正交方向的扩展区域。
[00巧]进一步地，所述步骤b，具体包括：
[0026] (1)对足球比赛视频进行运动目标分割和分类后，每一个球员可W用方块盒BB表 示，第i个球员的状态向量定义为xN(片乂，4 乂,，為，< )，其中；
[0027] 1)托,，< 和<分别表示BB的位置、速度和尺寸；
[002引。< 表示BB的状态，并赋相应的值；
[0029] 3)如果是单个斑块，4,是单个标签，如果是混合斑块，是标签集；
[0030] 4)如果是单个斑块，< 是单个类的数目，如果是混合斑块，< 是类集数目；
[00引]在t时刻，用=kIZ' = 1，…，Wf}表示多个运动员的轮廓，其中Nt是图像中预测BB 的数目；用同样的方法描述测量向量式={z/Ii= 1，…，M,}，其中z/二（片，)是观测实 例向量，Mt是时刻t观察到的BB的数目，观察值Zt是分割和分类的结果；
[0032] 口)在每一个环节，根据过去的状态演化来预测新的状态分布，然后用新的测量结 果来验证该个预测；假设球员行为的线性模型f预测新的状态分布Xt=f狂t_i)+N，其中N 是高斯噪声；在新的预测中，根据球员的位置和影像参数得到：
[0033] 1)X;是单人踪迹，即W前的斑块位置的改变，如果咕:1的位置预测在图像中，则状 态为1 ;
[0034]2)X;'是混合跟踪，如果有两个或更多的斑块(X/一，Xfli，…)，其预测位置落在图像 中，则状态与'为2 ;
[003引扣如果斑块也的预测位置不在图像中，与即为退出斑块，其状态与为3 ;
[003引在预测混合斑块时，产生群组斑块的W前事例(冶，皆,，…）仍保持在预测 0/，如…)中；
[0037] 在t时刻，一旦新的测量向量Zt可用，就对预测Xt进行验证；
[0038] 需要对混合斑块进一步分析；在比赛过程中，两个或更多的斑块可能会混合在一 起，在相应的观察中对它们进行分割。
[0039] 进一步地，所述步骤C，具体包括：
[0040] 足球的跟踪和检测过程由两步完成，具体地：
[0041] 第一步在所有运动区域选择包含候选球的区域大小，候选运动区域的选择取决于 球W前出现的信息；
[0042] 第二步对球出现的区域进行分析来识别球，估计W候选区域为中屯、的路径和选定 的球样本的比较集的参考模型之间的关联度；
[0043] 该参考模型是数据集中所有样本的均值图像，图像平面中的球的速度V和方向0 计算如下：
[0047] 的是球在图像I(t)中的位置，是球在图像I(t-n)中的位置，T是相机帖频， n是检测球的帖数；
[0048] 建立如下涵盖了所有的处理图像的球的位置概率图：
[0049]
[0050] 其中，巧，巧是最后知道的球的位置；
[0051] (7)
[0052] 其中，Rp是W像素为单位的球半径，R。。是W厘米为单位的球半径，Vmai是最大的球 速，T是相机帖频，n是两次检测到球之间的帖数。
[0053] 进一步地，所述步骤d，具体包括；
[0054] (1)对足球比赛视频中的球员进行分割后，将他们进行正确分类；
[00巧]口)分类程序是由两步组成；首先，该些类是由基于改进的BSAS聚类算法来产生， 该种算法实质上是独立于人类干设的无监督方法；然后，在足球比赛视频序列运行时每个 分割对象被分配一个W前提取的类；
[0056] 聚类过程对球员和裁判员的可靠分类，具体包括：
[0057] 在训练集中随机收集许多分割对象，并为BSAS算法提供相应的归一化直方图来 检测感兴趣的类；
[0058] 根据已定义的聚类距离给每一个新向量分配一个现有聚类或创建新的聚类；
[0059] 运行时，将每个分割好的球员与聚类原型进行比较，根据最小距离标准用曼哈顿
[0060] 距离来选择类Ck，对类的原型进行如下更新：
(8)
[006。 其中，Ck是聚类K的原型，V是检测对象的特征向量，Wk是最近两个时间窗中分类 对象属于聚类K的数量。
[0062] 进一步地，所述步骤e，具体包括：
[0063] 足球比赛位置是指足球比赛视频中当前画面对应的球场上的位置，包括中场、左 右边禁区前沿；足球比赛的节奏和状态能够用足球比赛的位置及其位置转换来表示；
[0064] 判断足球比赛位置需要检测球场中的直线并且识别该些直线，通过统计学习方法 来推导球场的位置；将球场分为左半场、中场和右半场，或者将球场分为5个区域或15个区 域，满足包含检测射口、进球、角球的事件要求。
[0065] 本发明各实施例的运动目标跟踪与检测方法，由于包括；足球比赛视频中的运动 目标分割；球员跟踪与检测；足球跟踪与检测；球员与裁判分类；足球比赛位置的确定；从 而可W克服现有技术中操作过程复杂、花费时间长和可靠性低的缺陷，W实现操作过程简 单、花费时间短和可靠性高的优点。
[0066] 本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变 得显而易见 ，或者通过实施本发明而了解。
[0067] 下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
【附图说明】
[0068] 附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实 施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0069] 图1为本发明中二维分形小波变换；
[0070] 图2为本发明中足球比赛视频中的目标分割，（a)为原始视频图像，化）为前景图 像，（C)为分割后的图像；
[OCm] 图3为本发明中球员跟踪与检测结果图，（a)为位置1，（b)为位置2 ;
[0072] 图4为本发明中球的跟踪与检测结果，（a)图六边形标定的为球的不正确的跟踪， 化）图对球的运动轨迹及球的直径的跟踪；
[007引 图5为本发明中足球比赛位置划分及化U曲球场直线检巧U，（a)为测试1，化）为 测试2。
【具体实施方式】
[0074] W下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实 施例仅用于说明和解释本发明，并不用于限定本发明。
[0075] 根据本发明实施例，如图1-图5所示，提供了一种运动目标跟踪与检测方法。
[0076] 足球比赛视频中多运动员行为的特征提取及融合
[0077] 本部分介绍足球比赛视频中的多运动员行为识别过程中如何提取有用特征及利 用自动生成RBF网络来融合提取的多特征，解决因提取过多特征使计算的复杂性增加，从 而解决足球比赛视频中多运动员行为识别的实时性要求。
[007引运动目标跟踪与检测
[0079] 足球比赛视频中的运动目标跟踪的目的是通过对足球比赛视频图像序列进行分 析，计算出运动目标在每帖图像中的位置坐标，并根据不同的特征值，把图像序列中不同帖 的运动目标关联起来，从而获得各个运动目标的完整的运动轨迹。
[0080] 足球比赛视频中的运动目标分割
[0081] 本发明技术方案使用了减背景法进行运动目标分割。利用文献中的方法创建和维 护背景：如果一个像素值（X，y)是背景模型的标准偏差的两倍W上，则认为该像素是运动 的。为了建立不受移动前景物体影响的背景模型（球员总在球场上），本发明技术方案在一 个小的滑动时间窗口对每个像点的能量信息进行估值，将运动点和静态点区别开来。设置 滑动时间窗口尺寸W为60帖（约2. 5s)，因为实验观测表明球员在同一位置保持2. 5秒W 上是相当不可能的。本发明技术方案采用由粗到细的方法；选择每个窗口的第一张图片作 为粗背景模型B。(X，y)。只对那些与粗背景模型对应，强度值不变的点进行均值和标准差估 价，即|r(x，y)-Bt(x，y)| <也其中，th是实验选定的阔值。该样，在第一个W帖的分析结 束后，算法计算出每个点的能量如下：
[008引
0)
[0083] 第一个W帖处理完后，产生的背景模型Bp可用（2)来表示。
[0084]
(2)
[0085] 阔值th(W)与窗口尺寸W成正比。将低能量点考虑为静态点，相应的统计包含在 背景模型中，而高能量点对应于前景或背景中的运动物体。整个过程是在另一个W帖序列 进行迭代，W+1帖成为新的粗背景模型。如果统计参数存在，（2)中的有关差异是新的统计 参数与W前的值的平均值，否则，就是新的统计模型值。因此，可将（2)改写成：
[0086]
[0087] 减背景法中的参数0是文献[139]中介绍的典型更新参数（一般设定为0. 1)。 为了适应光照条件不断发生变化的背景模型，需要对上述描述的整体过程进行迭代。然而， 由于系统必须适用于所有的比赛视频，当背景不再与当前视频图像一致时，必须迅速得到 更新。基于该个原因，本发明技术方案根据视频图像中的全局运动数量修改系统参数。
[0088] 为了产生前景区域，将连通性分析应用于分割好的结果图像。通过每个区域形状 的几何考虑，连通性分析消除了阴影。在构造连通区域的过程中，删除了与预期球员的垂直 位置相关的正交方向的扩展区域。
[0089] 球员跟踪与检测
[0090] 对足球比赛视频进行运动目标分割和分类后，每一个球员可W用方块盒炬B)表 示。第i个球员的状态向量定义为X;=(片乂，<乂,，<，<)，其中：
[0091] 1)托,，< 和f/:分别表示BB的位置、速度和尺寸；
[009引。<表示BB的状态，并赋相应的值。图像中单个斑块赋值为1 ;混合斑块赋值为2 ;退出斑块赋值为3 ;消失斑块赋值为4 ;属于群组的单个斑块赋值为5 ;
[0093] 3)如果是单个斑块，是单个标签，如果是混合斑块，是标签集；
[0094] 4)如果是单个斑块，<是单个类的数目（1到5为分类输出），如果是混合斑块， <是类集数目。
[009引在t时刻，用义,=(刮Z' = 1，...，W,}表示多个运动员的轮廓，其中Nt是图像中预测BB 的数目。用同样的方法描述测量向量写=扛/Iy=心..，姐,}，其中Z/' =(括；，命屯）是观测实 例向量，Mt是时刻t观察到的BB的数目。观察值Zt是分割和分类的结果，是独立于W前的 实例，但为了避免因噪声引起的虚假斑块，必须通过连续观察来验证。因此，Mt不是观察到 的BB的数量，实际上是由连续和连贯的时间和空间观测验证的BB数量。
[0096] 在每一个环节，根据过去的状态演化来预测新的状态分布，然后用新的测量结果 来验证该个预测。假设球员行为的线性模型（f)可W预测新的状态分布Xt=fat_i)+N，其 中N是高斯噪声。在新的预测中，根据球员的位置和影像参数可W得到：
[0097] 1)X;'是单人踪迹，即W前的斑块位置的改变，如果的位置预测在图像中，则状 态与为1 ;
[0098] 2) 是混合跟踪，如果有两个或更多的斑块Cr/L,，.<,，???)，其预测位置落在图像 中，则状态为2;
[009引如如果斑块柏的预测位置不在图像中，X;即为退出斑块，其状态与为3;
[0100]在预测混合斑块时，产生群组斑块的W前事例U公，，…）仍保持在预测 (x/，x,A，…）中，且状态心和为5。也对那些消失的斑块（状态为4)进行了预测。
[0101] 在t时刻，一H新的测量向量Zt可用，就对预测Xt进行验证。通过比较所有观察 Z;'UeM,)和预测_r;'，可能会出现几种情况；1) 一些观察与相同类的预测接近；2)有些 状态的预测X;不符合任何观察；3)有些观察Z,A不符合任何状态的预测。第一种情况考虑了 相应的观测资源（尤其是位置、速度和球场的估计尺寸）后，对预测进行更新。针对第二种 情况，如果预测式在观察中还没有对应者，且不是图像边界（离场情况），该意味着前景分 割器不能检测出斑块，然后状态向量维持设定值4 (消失斑块）。在第=种情况下，可能发生 不同情况；1)如果斑块的位置拓!在图像边界，观察z/可能是一个新进入斑块，然后产生一 个进入状态的新预测Xt;2)如果斑块与一个已消失状态的预测接近，观察与< 可能是一个恢 复斑块；3)如果观测zf可能是由噪声产生的，创建一个新的实体xt，并沿着时间窗口观察其 持久性，W便最后判断。
[0102]需要对混合斑块进一步分析。在比赛过程中，两个或更多的斑块可能会混合在一 起（设置状态为2)，但因为需要维持其分离向量状态，必须在相应的观察中对它们进行分 害d。该种分割过程是很困难的，尤其是当两个W上球员非常接近，彼此几乎完全遮挡时。但 是，当跟踪程序检测到混合斑块时，也保持了对分组球员的类数和识别单个跟踪斑块的标 签的信息。分割程序利用该些信息来评估群组斑块，并捜索具有相同颜色特征的子区域。 捜索从由单一斑块矢量状态预测的位置开始，一旦算法找到最佳匹配，迅速扩大捜索区域。 该步骤结束时，每个分割斑块的状态向量通过更新其在混合斑块中的位置来维持并设置状 态为5 (混合斑块）。事实上，当分割发生时（时刻t，一个斑块被分割为两个W上斑块）， 有两个W上观察z/，zf,zf和预测匹配，状态s;=2 (混合状态），并有两个W上预测 <，却，皆，对应状态皆，，<设置为5。根据混合斑块中的对象和观察数目 来区分单个斑 块和混合斑块之间的简单或复杂分割。考虑每个观察斑块的尺寸，颜色特征及与最佳预测 的对应关系来做出判断。该样，分配到单个斑块X,"'的新状态皆=1 (单个跟踪），删除或修 改混合斑块X;，状态= 2W减少其内部对象的数量。
[0103] 足球跟踪与检测
[0104] 足球的跟踪和检测过程由两步完成。第一步在所有运动区域选择包含候选球的 区域大小；第二步对球出现的区域进行分析来识别球。候选运动区域的选择取决于球W前 出现的信息。如果没有可用的球的位置和运动信息时，通过假定球从球场中其它运动区域 (如运动员）分离出来的区域来选择球的运动区域，它的面积取决于成像参数。抛弃与球的 大小不匹配的所有区域（球员、裁判和噪声等），余下的运动区域标记为球的候选区域，并 提供模式识别程序。相关程序已被用于评估候选球区域与手动选定的作为比较的参考样本 之间的形状和纹理相似性。使用晴天拍摄的球的样本、夜间（使用人工照明）拍摄的球的 样本及阴天拍摄的球的样本作为不同比较集来处理不同的照明条件。由于球本身的阴影， 必须选择更多的样本。比赛开始由操作者选择数据集，但可W根据照明条件的变化进行修 改。为了处理不同直径的球，将球的样本分成直径在化10)、（10,蝴和（12, 14)像素之间 的=种数据集。选择适当的数据集通过使用图像中的候选球的位置来估计球的直径自动完 成球的检测。
[0105] 估计W候选区域为中屯、的路径和选定的球样本的比较集的参考模型之间的关联 度。该参考模型是数据集中所有样本的均值图像。如果计算出的相关值大于选定的阔值， 相应的运动区域标记为球。如果在相同的图像不同区域有多个比阔值高的值，那么选最大 相关系数的区域标记为球。为了找到真正的球，必须在连续图像中检测球。在该种情况下， 不同和更可靠的方法用来选择候选运动区域（跟踪阶段）。图像平面中的球的速度V和方 向0计算如下：
[0106]
(4)
[0107] 其中
[010引K=(p-Px,,)T/n，y、' = (p、,,-p、yr/n(5)
[0109] A,是球在图像I(t)中的位置，P、,_,,是球在图像I(t-n)中的位置，T是相机帖频， n是检测球的帖数（如果两帖是连续的，则为1)。
[0110] 建立如下涵盖了所有的处理图像的球的位置概率图：
[0111]
[om]其中，巧，巧是最后知道的球的位置。
[0113]
(7)
[0114] 其中，Rp是W像素为单位的球半径，R。。是W厘米为单位的球半径，Vmai是最大的球 速（厘米/秒），T是相机帖频，n是两次检测到球之间的帖数。在基于球的过去的运动信息 的最大概率值的相关点应该可W找到球（预测点）。当预测点距最后已知的球的位置接近 于0时，球速不能达到速度上限（通常为120千米/小时），概率值将指数下降。在接下来 的帖，用概率图来选择候选运动区域（如大于0的概率），相应的参考模型转而用作寻找与 球的位置相关联的最大相关值。该样，可W在球员混合和部分遮挡的情况下检测到球。通 过使用适当的n值（即实际帖和最后检测到球的帖之间的帖数）来随时更新球的速度、方 向和概率图。如果连续=秒检测不到球（即n大于T*3)，过去的信息被认为已经过时，考虑 所有候选球区域，重新开始球的捜索过程。
[0115] 球员与裁判分类
[0116] 对足球比赛视频中的球员进行分割后，需要将他们进行正确分类。比赛开始时， 球员的纹理是不知道的，每一场比赛他们可W各有不同。基于该一原因，需要通过无监督 程序来分类移动对象。分类程序是由两步组成；首先，该些类是由基于改进的BSAS炬asic SequentialAlgorithmicScheme)聚类算法来产生，该种算法实质上是独立于人类干设的 无监督方法。然后，在足球比赛视频序列运行时每个分割对象被分配一个W前提取的类。
[0117] 聚类过程对球员和裁判员的可靠分类来说是非常重要的。由于本发明技术方案 的主要目标独立于手动选择球员建立聚类，所W，决定在训练集中随机收集许多分割对象， 并为BSAS算法提供相应的归一化直方图来检测感兴趣的类。BSAS算法只需要相似性度量 d(x，C)和相似度阔值（地）。主要做法是根据已定义的聚类距离给每一个新向量分配一个 现有聚类或创建新的聚类。实验表明最终结果依赖于所选择的距离函数和样本出现的顺 序。而且阔值（th)的选择非常重要，因为它影响聚类结果的数目。阔值过小就会生成很多 不必要的聚类，而阔值过大得到的聚类太少。本发明技术方案的做法是最初将阔值固定为 较小值，如果检测到的聚类的数量超过预定值，增大阔值。该样，算法收敛于具有最佳（最 小）阔值的正确聚类。最后，为了减少算法对出现样本的顺序依赖，用（th)作为合并阔值 对输出聚类执行合并过程。如果算法检测到不一致聚类数，清除训练集，建立新的训练集， 整个训练过程是重复的。通常会出现训练集由同一类组成，如同队球员。
[0118] 运行时，将每个分割好的球员与聚类原型进行比较。根据最小距离标准用曼哈顿 距离来选择类Ck。为了适应光线条件的变化，对类的原型进行如下更新：
[0119] Q=-*^(u'、Q+K) (8)
[0120] 其中，Ck是聚类K的原型，V是检测对象的特征向量，Wk是最近两个时间窗中分类 对象属于聚类K的数量。该样，就能够处理整场比赛。
[0121] 足球比赛位置的确定
[0122] 足球比赛位置是指足球比赛视频中当前画面对应的球场上的位置，如中场、左右 边禁区前沿等。足球比赛的节奏和状态可W用足球比赛的位置及其位置转换来表示。进球 或射口等精彩镜头对应的足球比赛位置一般在禁区的前沿，因此，可W将它作为一个中级 关键字来检测语义事件。
[0123] 判断足球比赛位置需要检测球场中的直线并且识别该些直线，通过统计学习方法 来推导球场的位置。一般情况下可将球场分为左半场、中场和右半场。也可W将球场分为 如图1左边所示的5个区域。更加精细的结构是将球场分为15个区域，但是该分法在处理 过程中运算更复杂，对准确性的提高意义不大。实验证明，5个区域已经足够满足检测射口、 进球、角球等事件的要求。
[0124] 仿真实验及结果分析
[01巧]本发明技术方案利用2010年南非世界杯足球比赛和亚洲杯预选赛及意甲联赛的 比赛视频进行运动目标分割。足球比赛视频原始图像、前景和利用本发明技术方案提出的 分割算法分割后的图像如图2所示。在前景图像中，提取了球员与他们的影子。经过连通 性分析后，在分割后的图像中，清晰可见斑块的尺寸比实际包含阴影的前景区域小。
[0126] 其中对5000帖视频利用本发明技术方案提出的分割算法和图形匹配（GM)算法得 到的结果如表1所示。
[0127] 表1 5000帖视频序列运动目标分割结果比较 [012 引
[0129] 球员跟踪与检测结果如图3所示。
[0130] 当对球员进行跟踪时，跟踪算法保持相同ID码的能力是系统的基本原则，因为像 足球比赛中的运动员行为中的带球行为是由同一运动员完成的。本发明技术方案评价了两 种方法对5000帖足球比赛视频中相同ID球员的跟踪能力。使用跟踪分裂（T巧和跟踪检 测率（TDR)来对跟踪方法进行比较。跟踪分裂是指匹配地面实况跟踪的结果跟踪的数目； 跟踪检测率是指正确跟踪目标的数目除W地面实况点的总数。跟踪守口员（4856帖），跟踪 球员85次（共23478帖），得到的结果见表2。其中，球员跟踪的TF和TDR是85次跟踪的 平均值。理想情况下，正确跟踪的检测率应为1。在一个人工标签地面实况的视频序列进 行测试时，特别考虑由于守口员长期处在同一个位置，在背景中包括球员时，分割算法可能 会失败。本发明技术方案提出的跟踪算法能够恢复该些情况，同一标签将保持一个较长时 间。本发明技术方案提出的球员跟踪算法在ID更改条件下获得较好的效果，和图形匹配算 法相比，TF分别为5. 247和12. 239。
[0131] 表2 5000帖视频序列运动目标跟踪结果比较
[0132]
[0133] 本发明技术方案提出的方法结合分类算法的结果，提供了球员混合情况下球员的 预测和分割。进行了二个、=个及多个球员混合在一起的测试。表3. 3列出了跟踪算法和 球员混合情况的分割算法的结果。从表3可W看出两个球员混合在一起时，跟踪算法能够 识别93 %的融合斑块，而=个球员混合在一起时，跟踪算法能够识别约69 %的融合斑块。 多个球员混合时，跟踪性能下降明显。在球员混合的情况下，如果分类算法集中于球员的斑 块，则认为分割过程是正确的。为了解决融合斑块，跟踪程序根据球员斑块的正确定位来评 价分割算法。如果斑块到球员中屯、的水平距离小于球员宽度的一半，就认为斑块处于中屯、。 其实，混合斑块的分割相当复杂。当球员们非常接近，几乎完全遮挡，错误分类的概率增加， 相应遮挡球员斑块的定位是非常随机的。然而，融合斑块的跟踪的低比例结果并不一定影 响最终行为识别的结果，而且本发明技术方案拟采用迁移学习方法来解决该问题。
[0134] 表3 5000帖视频序列球员混合情况下分割与跟踪的结果
[0135]
[0136] 足球的跟踪和检测结果如图4和图5所示。
[0137] 最后应说明的是；W上所述仅为本发明的优选实施例而已，并不用于限制本发明， 尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可 W对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。 凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。
【主权项】
1. 一种运动目标跟踪与检测方法，其特征在于，包括： a、 足球比赛视频中的运动目标分割； b、 球员跟踪与检测； c、 足球跟踪与检测； d、 球员与裁判分类 e、 足球比赛位置的确定。2. 根据权利要求1所述的运动目标跟踪与检测方法，其特征在于，所述步骤a，具体包 括： 使用减背景法进行运动目标分割，具体地： ⑴创建和维护背景：如果一个像素值（x，y)是背景模型的标准偏差的两倍以上，则认 为该像素是运动的； ⑵设置滑动时间窗口尺寸W为预设帧数，选择每个窗口的第一张图片作为粗背景 模型Bjx，y)，只对那些与粗背景模型对应，强度值不变的点进行均值和标准差估价，即 Γ(χ, y)-Bc(x，y) I < th，其中，th是实验选定的阈值； 这样，在第一个W帧的分析结束后，算法计算出每个点的能量如下：(1) 笛一个Wte々卜理宗后.产Φ的昔暑椋型O I耒示， 阈值th (W)与窗口尺寸W成正比； 将低能量点考虑为静态点，相应的统计包含在背景模型中，而高能量点对应于前景或 背景中的运动物体； 整个过程是在另一个W帧序列进行迭代，W+1帧成为新的粗背景模型；如果统计参数存 在，（2)中的有关差异是新的统计参数与以前的值的平均值，否则，就是新的统计模型值，将 (2)改写成：减背景法中的参数β是典型更新参数，一般设定为0. 1 ; ⑶根据视频图像中的全局运动数量修改系统参数；将连通性分析应用于分割好的结果 图像，产生前景区域；通过每个区域形状的几何考虑，连通性分析消除阴影；在构造连通区 域的过程中，删除与预期球员的垂直位置相关的正交方向的扩展区域。3. 根据权利要求1或2所述的运动目标跟踪与检测方法，其特征在于，所述步骤b，具 体包括： ⑴对足球比赛视频进行运动目标分割和分类后，每一个球员可以用方块盒BB表示，第 i个球员的状态向量定义为4 ，其中： 1) < 4和 < 分别表示BB的位置、速度和尺寸； 2) <表示BB的状态，并赋相应的值； 3) 如果是单个斑块，/(.,是单个标签，如果是混合斑块，&是标签集； 4) 如果是单个斑块，< 是单个类的数目，如果是混合斑块，&是类集数目； 在t时刻，用Zi = |? = 1,···,%}表示多个运动员的轮廓，其中Nt是图像中预测BB的 数目；用同样的方法描述测量向量4 = ^/|/ = 1，'、||其中2/=〇7^，<)是观测实例 向量，Mt是时刻t观察到的BB的数目，观察值Z t是分割和分类的结果； (2)在每一个环节，根据过去的状态演化来预测新的状态分布，然后用新的测量结果来 验证这个预测；假设球员行为的线性模型f预测新的状态分布Xt= f(Xt_i)+N，其中N是高 斯噪声；在新的预测中，根据球员的位置和影像参数得到： 1) 4是单人踪迹，即以前的斑块位置的改变，如果.A1的位置预测在图像中，则状态W 为1 ; 2. X丨是混合跟踪，如果有两个或更多的斑块，…)，其预测位置落在图像中，则 状态4为2 ; 3) 如果斑块Ai1的预测位置不在图像中，X丨即为退出斑块，其状态< 为3 ; 在预测混合斑块时，产生群组斑块的以前事例仍保持在预测(?···) 中； 在t时刻，一旦新的测量向量Zt可用，就对预测X t进行验证； 需要对混合斑块进一步分析：在比赛过程中，两个或更多的斑块可能会混合在一起，在 相应的观察中对它们进行分割。4.根据权利要求1或2所述的运动目标跟踪与检测方法，其特征在于，所述步骤c，具 体包括： 足球的跟踪和检测过程由两步完成，具体地： 第一步在所有运动区域选择包含候选球的区域大小，候选运动区域的选择取决于球以 前出现的信息； 第二步对球出现的区域进行分析来识别球，估计以候选区域为中心的路径和选定的球 样本的比较集的参考模型之间的关联度； 该参考模型是数据集中所有样本的均值图像，图像平面中的球的速度V和方向Θ计算 如下：(4) 其中 K =(P,, -P,,JT/n> Vy=(P',.-P')Tln (5) 是球在图像I (t)中的位置，/V,是球在图像I (t-n)中的位置，T是相机帧频，n是 检测球的帧数； 建立如下涵盖了所有的处理图像的球的位置概率图： p(x.y) - exp|(-(A--|x +F^V^iicos^)! + (j'-lj + K^.v/if/iisin (9)1) Ι2σ')Ισ^2π j ' ' I ' I - ' I (6) 其中，（：?j)是最后知道的球的位置；(7) 其中，Rp是以像素为单位的球半径，Rao是以厘米为单位的球半径，Vmax是最大的球速，T 是相机帧频，η是两次检测到球之间的帧数。5. 根据权利要求1或2所述的运动目标跟踪与检测方法，其特征在于，所述步骤d，具 体包括： ⑴对足球比赛视频中的球员进行分割后，将他们进行正确分类； ⑵分类程序是由两步组成：首先，这些类是由基于改进的BSAS聚类算法来产生，这种 算法实质上是独立于人类干涉的无监督方法；然后，在足球比赛视频序列运行时每个分割 对象被分配一个以前提取的类； 聚类过程对球员和裁判员的可靠分类，具体包括： 在训练集中随机收集许多分割对象，并为BSAS算法提供相应的归一化直方图来检测 感兴趣的类； 根据已定义的聚类距离给每一个新向量分配一个现有聚类或创建新的聚类； 运行时，将每个分割好的球员与聚类原型进行比较，根据最小距离标准用曼哈顿距离 来选择类Ck，对类的原型进行如下更新：(8) 其中，Ck是聚类K的原型，V是检测对象的特征向量，w ￡是最近两个时间窗中分类对象 属于聚类K的数量。6. 根据权利要求1或2所述的运动目标跟踪与检测方法，其特征在于，所述步骤e，具 体包括： 足球比赛位置是指足球比赛视频中当前画面对应的球场上的位置，包括中场、左右边 禁区前沿；足球比赛的节奏和状态能够用足球比赛的位置及其位置转换来表示； 判断足球比赛位置需要检测球场中的直线并且识别这些直线，通过统计学习方法来推 导球场的位置：将球场分为左半场、中场和右半场，或者将球场分为5个区域或15个区域， 满足包含检测射门、进球、角球的事件要求。
【专利摘要】本发明公开了一种运动目标跟踪与检测方法，包括：足球比赛视频中的运动目标分割；球员跟踪与检测；足球跟踪与检测；球员与裁判分类；足球比赛位置的确定。本发明所述运动目标跟踪与检测方法，可以克服现有技术中操作过程复杂、花费时间长和可靠性低等缺陷，以实现操作过程简单、花费时间短和可靠性高的优点。
【IPC分类】G06T7/20
【公开号】CN104881882
【申请号】CN201510186347
【发明人】王智文, 刘美珍, 罗功坤, 阳树洪, 欧阳浩, 蒋联源, 李春贵, 夏冬雪
【申请人】广西科技大学
【公开日】2015年9月2日
【申请日】2015年4月17日