基于传感信息及目标追踪的多模信息系统及其融合方法

基于传感信息及目标追踪的多模信息系统及其融合方法
【技术领域】
[0001] 本发明设及一种目标追踪系统，尤其系一种基于传感信息及目标追踪的多模信息 系统及其融合方法。
【背景技术】
[0002] 基于视频图像的多摄像头追踪技术，是目前计算机视觉领域的一个具有挑战性和 吸引力的基础研究方向；由于基于单一摄像头目标追踪所带来的不可避免的目标遮掩，信 息缺失等缺陷，通过多摄像的多目标跟踪系统，可W利用不同视野域较好的解决该些问题； 其关键技术在于人体目标重识别（PRID)。
[0003] 人体目标重识别，在非重叠的多摄像头系统中，跨越多个不同的摄像头节点，并通 过其特征W及时空约束等方法进行人体目标的重新辨认。由于拍摄角度，光照信息等因素 的影响，会造成重识别的误判；在重识别过程中一般包括： 1) 不变的外观特征； 2) 基于摄像机对之间的特征转换； 3) 基于外观特征间的距离。
[0004] 基于目标追踪的轨迹挖掘，相对于一般意义上的目标追踪，拥有更大的物理跨度 W及更长时间的长效性。相对于目标追踪，轨迹挖掘获得的信息并不只是当前一个时间点 上的信息获取，而是基于多个摄像头在不同的视野域中获取的具有时空域的位置序列。通 过对追踪目标在不同摄像机节点中的多维特征提取和匹配，可获得一个基于时间的物理位 置的轨迹信息。通过利用非视觉信息进行相互关联，可W构建多模信息系统。多模信息能 够为任务行为挖掘，公共安全等领域提供有价值的分析信息。
[0005] 在现有技术中，列举一些相近的发明专利W及案例，如中国发明专利【申请号】 201210050622. 6,名称为"一种目标人体识别方法"，公开了W下技术内容，它通过对两个包 含同一人体对象的图像序列进行分割处理，获得每帖图像中的人体对象区域，然后根据两 个图像序列中的每帖图像中的人体对象区域，分别计算两个图像序列的空间颜色特征相似 度和局部特征相似度，再利用颜色特征相似度和局部特征相似度训练SVM分类器，最后利 用SVM分类器对待识别的两个图像序列进行目标人体识别，由于本发明方法充分利用空间 颜色特征和局部特征来识别目标人体。
[0006] 又如；中国发明专利申请号；201410332199.8,名称为"一种基于多摄像头的在线 目标跟踪方法及系统"，该专利中公开了一种基于多摄像头的在线目标跟踪方法及系统，它 结合预设定的校准同步方案与自学习的跟踪方法来解决多摄像头之间的协同性问题和实 时性问题，提出相应的方法。本发明提出的校准同步方案采用特征点匹配的目标投影矩阵 计算方式，对重叠区域的多个摄像头共有信息进行同步；本发明提出的自学习跟踪方法记 录监控目标的表现模型，并通过中屯、服务器同步到近邻摄像头进行检测跟踪，达到传导性 的信息同步效果。
[0007] 通过上述专利申请公开信息及现状分析，在多摄像头计算机视觉领域下的目标追 踪构建多模数据模型，仍存在w下不足之处： (1) .非重叠摄像头之间物理位置的独立性，其带来的角度问题是人体目标重追踪中不 可忽略的问题； (2) .普遍使用多个不同特征的相似性，而并非使用目标对象之间多个特征的距离，不 能保证其鲁椿性； (3) .主要针对的仍然是基于追踪对象的判别，而并未对获取到的目标追踪信息进行有 效的信息融合，且其摄像头节点仅是单纯的获取录像信息的单元，进行的是集中式的图像 处理。

【发明内容】

[0008] 为解决上述现有技术存在的不足，本发明的目的在于：提供一个基于传感信息及 分布式目标追踪的多模信息系统，它通过分布式多摄像头网络的目标特征提取及跨摄像头 追踪，并将目标追踪结果与非视觉信息相互融合为多模信息。
[0009] 本发明的另一目的还在于提供一种基于上述传感信息及分布式目标追踪的多模 信息系统的信息融合方法。
[0010] 本发明中解决其技术问题采用的技术方案如下： 基于传感信息及目标追踪的多模信息系统，其特征在于，包括视觉信息收集模块，非视 觉信息收集模块W及信息匹配模块，所述视觉信息收集模块建立在分布式多摄像头网络， 它包括摄像头系统节点和检查点摄像头组，所述非视觉信息收集模块包括传感器信息收 集，信息匹配模块包括基于跨摄像头人体目标重识别结果模块和多横数据配模块。
[0011] 本发明还可W作如下进一步改进： 作为更具体的方案，所述摄像头系统节点包括多个非重叠区域设置的独立摄像头组 成。
[0012] 作为更具体的方案，所述检查点摄像头组包括多个具有多角度的重叠视野域的独 立摄像头组成。
[0013] 作为进一步的改进，所述每个独立摄像头包括多目标追踪模块、多特征信息提取 模块、网络通信模块、微处理器和摄像头模块。
[0014] 作为更优选之方案，所述传感器信息收集包括RFID信息收集模块、和/或身份证 信息收集模块、和/或小区口禁系统信息收集模块。
[0015] 本发明的另一目的是通过W下技术方案实现： 一种基于传感信息及目标追踪的多模信息系统的融合方法，其特征在于，包括如下步 骤： (a) 视觉信息收集模块；基于分布式多摄像头网络，对具有非重叠区域设置的独立摄像 头中获取的视频数据利用码本codebook的前景提取方法，基于HOG的行人辨认，基于粒子 滤波及匈牙利算法进行多目标追踪并分割，基于短时间序列的目标轨迹获取每个目标的角 度信息并提取出追踪目标的多维特征信息，提取后的多维特征信息通过组合，获得对特征 向量距离； (b) 视觉信息收集模块；在检查点，利用检查点摄像头组，获取目标并追踪目标的多维 特征，利用不同目标的多维特征信息组合成对特征向量距离，利用对特征向量距离作为新 特征，包含了角度信息，该目标追踪信息与身份信息具有与时间约束； (C)非视觉信息收集模块：在检查点，利用传感器信息收集，获取非视觉个人身份信息， 包括RFID信息，和/或小区口禁系统信息，和/或身份证信息，将该非视觉个人身份信息与 目标追踪f目息具有时间约束； (d) 信息匹配模块：通过网络通信模块将分布式摄像头网络中每个摄像头节点提取的 多维特征信息，角度信息W及摄像头节点信息和时间信息传输到后台的处理模块中，将多 维特征信息及角度信息利用训练的分类器进行人物目标重识别； (e) 信息匹配模块；对人物目标重识别获得的目标关联，结合时间约束及与个人身份 信息，建立具有多模态信息记录系统。
[0016] 作为上述更具体的方案，所述多维特征提取包括对目标利用物理空间信息及图像 序列，获取的角度信息W及基于目标图像区域信息获得的颜色，纹理，形状所组成的多维特 征向量。
[0017] 作为上述更具体的方案，所述人物目标重识别包括接收摄像头节点获取的视觉信 息，使用了多维特征信息并组合成对特征向量距离PFD作为新特征，包括对目标追踪方法 W检查点获取的多维特征信息作为训练样本，包括人体目标重识别使用W多维特征组合的 对特征向量距离作为特新征的目标追踪判别方法，所述视觉信息包括目标多维特征向量及 括目标角度信息。
[0018] 作为上述更具体的方案，所述多模数据匹配模块包括接收摄像头节点信息及非视 觉收集信息，包括对视觉信息及非视觉信息基于时间约束相互匹配，包括对于基于个人身 份信息的历史记录的多次匹配，构建一个基于历史记录的多模信息模型。
[0019] 本发明的有益效果如下： 1.采用了分布式特征提取及目标追踪，降低后台处理的压力。
[0020] 2.人体目标重识别的追踪中使用了包含角度的，利用特征距离对作为训练样本的 分类器，提高了鲁椿性。
[0021] 3.通过对检查点处的个人身份信息提取，结合时间约束进行视觉轨迹信息及个人 身份的信息融合。在单纯的判别基础之上进行了多模信息的融合。
【附图说明】
[0022] 下面结合附图和实施例对本发明作进一步说明。
[0023] 图1为本发明多模信息系统的方框原理示意图。
[0024] 图2为本发明分布式多摄像头网络示意图。
[00巧]图3为本发明分布式多摄像头节点结构示意图。
[0026] 图4为本发明的图像多维特征信息提取结构示意图。
[0027] 图5为本发明在检查点信息获取的原理示意图。
[0028] 图6为本发明跨目标识别分类器结构示意图。
[0029] 图7为两种SVM分类器正负样本示意图。
[0030] 图8为轨迹信息示意图。
[0031] 图 9为多模信息模型示意图。
【具体实施方式】
[0032]为了使本发明的目的，技术方案及优势更加清楚明了，W下结合附图进行详细技 术展示，对本发明做出进一步详细阐述。应当理解，此处所描述的具体案例分析及参考案例 仅仅用于解释本发明，并不限定本发明的适用范围。
[0033] 如图1所示的具体实施例，基于传感信息及目标追踪的多模信息系统；本实施例 是一种基于多摄像头计算机视觉领域下的目标追踪构建多模数据模型的系统，其中包括视 觉信息收集模块，非视觉信息收集模块W及信息匹配模块，所述视觉信息收集模块建立在 分布式多摄像头网络，它包括摄像头系统节点和检查点摄像头组，所述非视觉信息收集模 块包括传感器信息收集，信息匹配模块包括基于跨摄像头人体目标重识别结果模块和多横 数据配模块。
[0034] 所述摄像头系统节点包括多个非重叠区域设置的独立摄像头组成；检查点摄像头 组包括多个具有多角度的重叠视野域的独立摄像头组成。
[00巧]所述每个独立摄像头包括多目标追踪模块、多特征信息提取模块、网络通信模块、 微处理器和摄像头模块。
[0036] 所述传感器信息收集包括RFID信息收集模块、和/或身份证信息收集模块、和/ 或小区口禁系统信息收集模块。
[0037] 参照图2所示，视觉信息模块下由分布式多摄像头网络所构成；其中包括多个分 布式的独立摄像头节点Cl等，W及具有重叠区域的一个或W上检查点摄像头组，其由多个 独立摄像头节点组成，即图示的Cthi及C多个独立摄像头间无重叠区域，可W得到独立 摄像头的位置及序号信息。
[0038] 每个独立摄像头节点包括多个模块，参照图3,其中包括摄像头模块，处理器模块， 网络通信模块。其中处理器模块包括单摄像头多目标追踪模块，W及目标特征信息提取模 块。每个节点通过摄像头进行图像的摄取，利用分布式摄像头内部微处理器模块，进行单摄 像头的多目标信息处理，通过特征提取模块获得基于单一追踪目标的角度W及多维特征向 量信息，最终通过网络模块将包括物理位置信息W及视觉信息传送到后台信息匹配模块。
[0039]其中多维特征向量信息提取包括颜色，形状，纹理等信息，参照图4,具体细节及方 法在后续实施例分析中阐述。
[0040] 通过检查点非视觉信息进行提取，其中包括视觉及非视觉信息，参照图5,视觉提 取如上述摄像头节点所述，此处着重于非视觉信息提取，所述非视觉信息提取包括且不仅 限于如RFID，小区口禁系统信息，身份证信息等非视觉信息提取，其中包括传感器模块，W 及网络传输模块。将非视觉信息，即个人身份信息传输到后台信息匹配模块。
[0041] 信息匹配模块利用基于多摄像头的分布式目标特征提取及目标追踪，对多个非重 叠区域中的追踪目标进行相互关联，参照图6。该目标追踪方法使用了角度信息，使用了多 维特征信息并组合成对特征向量距离（P抑）作为新特征，W检查点获取的多维特征信息作 为训练样本，参照图7。
[0042] 在本发明中，基于时间约束，对检查点处获取到的个人身份信息提取，如RFID，小 区口禁系统信息，身份证信息等非视觉信息，与目标追踪结果进行相互匹配，获取到具有视 觉信息及非视觉信息的多模信息，参照图8。
[0043] 参照图9所示模型，本发明通过对多模信息历史性的相互关联，最终得到一个基 于分布式多摄像头的目标追踪及多模信息系统。
[0044] 下面结合具体的实施例及附图对本发明作进一步的详细说明。
[0045] 其结构参照图1，由于实施例中具体系统实施的情况，与本方法所提出完整结构示 意有些许细微差别。对于熟悉本领域的技术人员在不违背本发明精神的前提下还可做作 出种种的等同变形或替换，该些等同的变形或替换均包含在本申请权利要求所限定的范围 内。
[0046] 本实施的多模信息系统的融合方法如下： 一种基于传感信息及分布式目标追踪的多模信息系统的融合方法，其特征在于，包括 如下步骤： (a)视觉信息收集模块；基于分布式多摄像头网络，对具有非重叠区域设置的独立摄像 头中获取的视频数据利用码本codebook的前景提取方法，基于HOG的行人辨认，基于粒子 滤波及匈牙利算法进行多目标追踪并分割，基于短时间序列的目标轨迹获取每个目标的角 度信息并提取出追踪目标的多维特征信息，提取后的多维特征信息通过组合，获得对特征 向量距离； (b)视觉信息收集模块；在检查点，利用检查点摄像头组，获取目标并追踪目标的多维 特征，利用不同目标的多维特征信息组合成对特征向量距离，利用对特征向量距离作为新 特征，包含了角度信息，该目标追踪信息与身份信息具有与时间约束； (C)非视觉信息收集模块：在检查点，利用传感器信息收集，获取非视觉个人身份信息， 包括RFID信息，和/或小区口禁系统信息，和/或身份证信息，将该非视觉个人身份信息与 目标追踪f目息具有时间约束； (d)信息匹配模块：通过网络通信模块将分布式摄像头网络中每个摄像头节点提取的 多维特征信息，角度信息W及摄像头节点信息和时间信息传输到后台的处理模块中，将多 维特征信息及角度信息利用训练的分类器进行人物目标重识别； (e)信息匹配模块；对人物目标重识别获得的目标关联，结合时间约束及与个人身份 信息，建立具有多模态信息记录系统。
[0047] 作为上述更具体的方案，所述多维特征提取包括对目标利用物理空间信息及图像 序列，获取的角度信息W及基于目标图像区域信息获得的颜色，纹理，形状所组成的多维特 征向量。
[0048] 作为上述更具体的方案，所述人物目标重识别包括接收摄像头节点获取的视觉信 息，使用了多维特征信息并组合成对特征向量距离PFD作为新特征，包括对目标追踪方法 W检查点获取的多维特征信息作为训练样本，包括人体目标重识别使用W多维特征组合的 对特征向量距离作为特新征的目标追踪判别方法，所述视觉信息包括目标多维特征向量及 括目标角度信息。
[0049] 作为上述更具体的方案，所述多模数据匹配模块包括接收摄像头节点信息及非视 觉收集信息，包括对视觉信息及非视觉信息基于时间约束相互匹配，包括对于基于个人身 份信息的历史记录的多次匹配，构建一个基于历史记录的多模信息模型。
[0050] 下面基于实施例具体步骤及模块做具体阐述： 1、分布式多摄像头网络 参照图2,本实施例中分布式多摄像头网络系统模块包括多个独立的摄像头节点。其中 分为普通节点w及检查点摄像头组，其中独立的摄像头节点具有不重叠的视野域。
[0051] 参照图3,本实施例中独立摄像头节点包括摄像头模块，处理器模块，网络通信模 块。其中处理器模块包括单摄像头多目标追踪模块，W及目标特征信息提取模块。下面对 各个模块进行详细说明。
[0052] 1)摄像头模块 在本发明测试例中，摄像头模块采用了海康摄像头，通过摄像头节点中视频信息的采 集，利用摄像头节点中微处理器系统，对视频信息进行多目标追踪并对多目标追踪所得目 标图像区域进行多维特征信息的提取。
[0053] 微处理器可W采用ARMCoi~tex-A8处理器。ARMCoi~tex-A8处理器属于Coi~tex-A 系列，基于ARMV7-A架构。它是ARM的第一款超标量处理器，具有提高代码密度和性能的 技术，用于多媒体和信号处理的NEON?技术，W及用于高效地支持预编译和即时编译化va 及其他字节码语言的Jazelle®运行时间编译目标（RCT)技术。同时，ARMCo;rtex-A8 处理器是首款基于ARMv7体系结构的产品，能够将速度从600MHz提高到IGHzW上。 Codex-A8处理器可W满足需要在300mWW下运行的移动设备的功率优化要求；W及需要 2000D虹ystoneMIPS的消费类应用领域的性能优化要求。
[0054] 2)单一摄像头多目标追踪模块 在本发明中采用分布式摄像头的目标提取，每个摄像头单元中使用独立的追踪模块， 模块内使用基于码本（codebook)背景模型的背景建模算法。通过码本的粗略建模提取出 一个大概的前景区域之后，使用HOG提取HOG特征向量，然后使用线性SVM进行分类判断当 前检测窗口是否是行人，最后对检测到的结果非最大抑制操作输出最后检测到的行人。对 于单一摄像头j时刻追踪的追踪对象用W下4元组表示：
其中^^为当前追踪区域位置，5；%追踪区域大小，^^当前时间，/为人物标示。
[00巧]此时对于某帖图像上多个目标人物的检测已经完成，之后通过粒子滤波的跟踪 状 态。在连续的视频帖中，假设在t-1时刻，跟踪目标的状态为不_,，当前观测状态为而 心表示1到t-1时刻所有观测状态。根据贝叶斯原理，通过一组观测状态来估计系统状 态的问题可W转换为计算每一时刻t的后验概率，人通过过递归地执行状态的预 测和更新过程来计算后验概率，从而获得最优的推断结果 根据匈牙利算法的匹配结果，对于t时刻的n个检测结果D和m个跟踪目标T，可W定 义为一个二分图G(D，T;E)，其中每条边E有一个非负的置信度示检测结果与跟踪目 标的相似度，实现视频即图像序列的数据关联。
[0056] 通过上述方法关联为多个不同时间点的追踪对象的集合。其模型表达如下：
而对于单一摄像头其多目标追踪的集合为X，其模型表达如W下：
本模块通过W上方法，得到了一个单摄像头节点内的多目标追踪，并获取到较好人物 目标图像区域。
[0057] 3)目标多维特征信息提取模块 在本模块中，对于上述获取单摄像头节点的多目标人物目标区域，进行多维特征信息 提取，其步骤包括对角度信息的提取W及对目标区域特征的提取。
[005引 a.对于单一追踪目标轨迹序列，通过人行走的方向性，提取出角度信息口。
[0059] 由于行人行走路线的指向性，我们可W由上述目标追踪中获取到行人的行走的角 度信息。
[0060]
其中AKAZ为一短时间内目标图像基于地面的不同位置。
[0061] 由t=[txtytz]W及r= [0xOy0z]此参数作为照相机图像坐标到实际基于 地面的转换位置。此参数基于不同摄像头的位置信息不同而改变。通过对短时间内单一摄 像头同一目标图像序列的可W获得其图像位置信息A!；，A疋。
[0062] 根据目标位置的映射关系：
由此我们可W获取到追踪目标的角度信息，得出每个目标基于摄像头的角度值C。
[0063] b.对于单一追踪目标序列选取其中一帖图像提取该目标的多维特征信息。
[0064] 在本例中，使用但不仅限于使用该选取方法，采取式2中图像序列中值帖作为该 追踪目标的多维特征提取图片。
[006引参照图4中所示，对于特定区域的图片进行3个部分的特征提取，分别是基于目标 区域内的色彩特征，纹理局部特征，W及形状特征。
[0066] 其中色彩特征是对一个人体追踪目标区域分解为3个色彩特征部分，分别为头 部，上半身W及下半身。其中由于头部部分包含较多非人体区域，所W舍弃该部分，只取上 半身W及下半身部分。此两部分色彩特征使用L油色彩空间，由于L油色彩空间中对光照 分量独立处理。使得多个摄像头间的光照差异可W进行处理，对设备依赖性更低，复合本方 法中分布式摄像头网络的物理需求。且L油色彩空间较大，对色彩特征提取更具有优势。
[0067] 在此部分中先将普通RGB图像转化为CIEXYZ空间，其公式表达如下
然后将将XYZ 空间转换为L油空间。
[0068]
(式 8) 通过置换后获得L油空间表达，提取L油色彩直方图。其表达为Y= (L，A，B)。
[0069]对其特征提取记录为上半身色彩特征Yt，下半身色彩特征
[0070] 其中纹理局部特征使用Leung-Mal化滤波器组来提取特征，其中包含48个滤波 器，在6个方向，3个尺度和2个相位的高斯二次导组成了 36个滤波器，8个高斯拉普拉斯 滤波器，4个高斯滤波器，通过多尺度，多方向LM滤波器模块，可W提高辨识的准确率，获得 人体追踪目标的纹理特征Ak。
[0071] 其中形状特征使用分层梯度方向直方图PHOG，PHOG对同一幅图像进行不同尺度 的分割，然后计算每个尺度中分块的小H0G，最后将他们连接成一个一维向量，可W检测到 不同尺度的特征，表达能力更强，其获得的形状特征为〇。
[0072] 其多维特征向量模型如下所示：
获取到某两个兴趣目标图像多维特征向量如FV。，FVb。此处基于距离提取两个目标a,b间的对特征向量距离。此距离可选用诸如马氏距离，欧几里得距离等多种距离度量作为新 特征。
[0073] 在此实例中，采取欧式距离作为对特征向量距离的描述。
[0074] 由此可得一对图像之间的对特征向量距离为
本例中对于单一追踪目标序列，选取其中一帖图像提取该目标的多维特征信息。并且 作为目标特征与已检测目标特征向量进行距离求解，作为测试样例输入。
[0075] C.特别的对于检查点处的摄像头组通过多角度录像。
[0076] 获得多组不同角度的关于同一追踪人物的追踪图像，该方法同前述独立摄像头节 点目标追踪，该组人物图像匹配由物理及时间约束相互关联，可W用追踪序列及角度信息 表不：
后续所述SVM分类器即是使用基于多个角度图像序列，提取出对应的FV，计算出同角 度W及不同角度的同一及不同对象的PFD，将其作为正负样本进行样本训练。
[0077] 2、非视觉个人信息收集 参照图5,本系统中非视觉个人信息收集系统包括且不仅限于RFID，小区口禁系统信 息，身份证信息等信息提取系统。
[007引本例中仅WRFID作为例子，不仅限于该非视觉信息的收集。RFID识别模块包括 RFID阅读器和带有RFID标签的物理承载物品，如本例中小区口禁卡。在检查点处，RFID阅 读器读出个人身份信息，识别完毕后，RFID阅读器将信息传送至微处理器，获取到个人身份 f目息。
[0079] 获取到的身份信息模型，由idi个人身份信息W及检测时间t表示：
在本例中，RFID传感器处于检查点多摄像头组的重叠视野域内。由上述ID信息定义 目标通过RFID传感器的检测事件。同时由于多摄像头组的目标检测事件，有定义在多个摄 像头上的目标追踪事件。每个摄像头上的目标追踪时间范围分别为为Ti，T2,Ts，由此我们可 W得到对于非视觉个人信息及已检测目标图像信息的时间约束，即VT，tET。
[0080] 由上述实例可知，对于检查点的非视觉个人信息W及多角度的特征收集是有关于 时间t上的约束关系。因此可W将同一人物的多角度特征与个人信息相互匹配。
[0081] 、跨摄像头人体目标重识别 本系统中跨摄像头人物目标重识别包括使用检查点所获取多角度同一目标图像多维 特征特征的对特征向量距离P抑作为正负样本训练SVM分类器，包括使用追踪目标的角度 信息的预处理，包括对多维特征信息的组合形成对特征向量距离作为新的特征，包括使用 对特征向量距离重新对追踪目标进行跨摄像头人物目标重识别。
[0082] 参照图6,图7,本例使用0将SVM分类器分解为两个部分。
[008引a.同角度SVMi 该部分中有角度约束条件De<THe，其中De表示组成对特征向量距离的两幅图像的角 度距离，THe表示设定的一个角度阔值，此例中选择为45°，即分解为8个方向，选取最接近 的一个方向作为相近角度。此分类器训练中，训练集正样本为检查点中获取的同一目标同 一角度下短时间内图像的对特征向量距离，而负样本为不同目标同一角度下的对特征向量 距离。输入为分布式摄像头节点中FV及相同角度下检查点中的多个已辨识目标的FV所求 得的P抑，其输出为一个值Score,。
[0084] 在本实例中，已知前述检查站获取多摄像头组获取连续时间内同一目标视频序 列。可知山一 0的帖间隔内，图像角度De- 0。因此，选择多组同一目标连续图像作为特 征提取目标有PH)记、肉。记....，其表示同一目标短时间间隔内对特征向量距离。该部 分输入作为SVMi训练集正样本。
[0085] 同时，前述检查站获取了相异时间内非同一目标的同一角度信息。由前述 角度判决DeCffle，即tl时刻a目标图像与t2时刻b目标具有相近角度，约束条件
选择其对特征向量距离PFD忠等。作为SVMi训练集作为负样本。
[0086] b.异角度SVMi 第二个部分为SVM2,该部分中有角度约束条件De〉THe。此分类器训练中，训练集正样本 为检查点中获取的同一目标不同角度下图像的对特征向量距离，而负样本为不同目标不同 角度下的对特征向量距离。输入为分布式摄像头节点中FV及不同角度下检查点中的多个 已辨识目标的FV所求得的PFD，其输出为一个概率值Score,。
[0087]在此例中，已知前述检查站多摄像头组获取了同一时间内同一目标多角度图像序 列巧1，巧2......，对该部分目标进行对特征向量距 离提取，获得异角度下的同一目标P抑，此 部分作为输入作为SVM,训练集正样本。
[008引同时，前述检查站获取了非同一相同目标相异角度图像。利用不同目标多维特征 向量，计算其PFD，作为SVM2训练集负样本。
[008引C.测试样例 首先对测试样例角度信息C进行判决，与前述检查站多摄像头组获取多角度目标信 息进行比较。
[0090] 若有相同角度的目标信息，则使用SVM汾类器判决。
[0091] 在此例中选取所有已获取目标信息马，馬，.…选取相同角度特征向量与测试样本 特征向量求得多对同角度P抑，通过判决器得出多个Score,，。，Score,，b其中Score,最大 并且其Score,〉e,，则判断测试样例为对特征向量所匹配的目标。
[0092] 若在摄像头组中未有与测试目标相近的角度信息，则对样例使用SVM2分类器判 决。此处，令样例与已获取目标信息屯，而…..不同角度分别提取多个P抑信息。将样本投 入分类器中，求得多组Scored。每组中，如Scored，。含有与同一样本不同角度的样本的P抑 分类5(3〇'64。0。对每组5(3〇'6。，5(3〇'64,进行加权处理，可1^使权值与角度值0相关联。本 例中使用权值为均值，最终得出一个Scored。
[0093]
进行加权处理求得最高的Scored最大并且其Scored>ei，则判断测试样例为对特征向 量所匹配的目标。
[0094] 4、多模信息系统 参照图5,本例中多模信息系统包含两个部分，分别为视觉信息及非视觉信息。
[0095] 参照图8,本例利用所述跨摄像头目标重识别，对目标进行匹配，并对非视觉信息 及视觉信息进行关联，获取一个最大的匹配，，该匹配与摄像头组获取的一组多角度目标 具有最高的相似度，且该相似度大于所设定的阔值，此时检测目标可与已获取目标相互 匹配。
[0096] 又由于已获取目标图像序列中含有时间信息，该时间信息与检查点中非视觉信息 皿1 = (Mi，t)有时间约束的关系。进而得到人物目标重识别--已经获取目标视觉信息一非 视觉信息，3种信息的匹配关联。同时我们能够获取到基于分布式摄像头网络传送特征信息 的摄像头节点信息。
[0097] 因此，我们通过视觉信息的匹配，构建了一个关于个人身份信息，物理空间信息 (摄像头序号)，物理时间信息的3元组，如下述表达
其中id为非视觉信息所述的个人身份信息，cami为获取到该测试对象的摄像头，ti为 该测试对象的获取FV的图像帖的时间信息。该3元组表达了在ti时间上，身份信息为id的人物目标出现在cam,摄像区域。进而构成一个时空域上的一个点。
[0098] 通过对同一目标的多个不同时间段上获得的时空域的点信息。对于单个目标身份 信息为id的人物目标，我们构建了对于单次行为模式识别的追踪轨迹，其由一系列点信息 构成，其模型可W用一个序列表示：
其中T表示某一单次轨迹追踪的序号，其表达在一段时间内，对于T此次目标轨迹追 踪，人物身份信息为id的目标经过集合内多个时空轨迹点的路线。至此，本例获得了一个 基于单一目标的单次轨迹追踪。
[0099] 可W看出，利用基于非视觉信息的个人信息关联性，本系统可W建立一个通过个 人信息相互关联的多模历史记录，其中包括对于同一目标多次行为模式识别的追踪轨迹， 其模型表达为：
通过对多个目标在历史记录上的关联，本例最终建立一个具有多模态信息记录系统。 参考图9,为本例最终获得多模态信息记录系统拓扑结构。
[0100] W上是对本发明的一个物理模型实施例进行了具体说明，但本发明创造并不限于 所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同 变形或替换，该些等同的变形或替换均包含在本申请权利要求所限定的范围内。
【主权项】
1. 基于传感信息及目标追踪的多模信息系统，其特征在于，包括视觉信息收集模块， 非视觉信息收集模块以及信息匹配模块，所述视觉信息收集模块建立在分布式多摄像头网 络，它包括摄像头系统节点和检查点摄像头组，所述非视觉信息收集模块包括传感器信息 收集，信息匹配模块包括基于跨摄像头人体目标重识别结果模块和多横数据配模块。2. 根据权利要求1所述基于传感信息及目标追踪的多模信息系统，其特征在于，所述 摄像头系统节点包括多个非重叠区域设置的独立摄像头组成。3. 根据权利要求1所述基于传感信息及目标追踪的多模信息系统，其特征在于，所述 检查点摄像头组包括多个具有多角度的重叠视野域的独立摄像头组成。4. 根据权利要求2或3所述基于传感信息及目标追踪的多模信息系统，其特征在于，所 述每个独立摄像头包括多目标追踪模块、多特征信息提取模块、网络通信模块、微处理器和 摄像头t吴块。5. 根据权利要求1所述基于传感信息及目标追踪的多模信息系统，其特征在于，所述 传感器信息收集包括RFID信息收集模块、和/或身份证信息收集模块、和/或小区门禁系 统信息收集模块。6. -种如权利要求1所述基于传感信息及目标追踪的多模信息系统的融合方法，其特 征在于，包括如下步骤： (a) 视觉信息收集模块：基于分布式多摄像头网络，对具有非重叠区域设置的独立摄像 头中获取的视频数据利用码本codebook的前景提取方法，基于HOG的行人辨认，基于粒子 滤波及匈牙利算法进行多目标追踪并分割，基于短时间序列的目标轨迹获取每个目标的角 度信息并提取出追踪目标的多维特征信息，提取后的多维特征信息通过组合，获得对特征 向量距离； (b) 视觉信息收集模块：在检查点，利用检查点摄像头组，获取目标并追踪目标的多维 特征，利用不同目标的多维特征信息组合成对特征向量距离，利用对特征向量距离作为新 特征，包含了角度信息，该目标追踪信息与身份信息具有与时间约束； (c) 非视觉信息收集模块：在检查点，利用传感器信息收集，获取非视觉个人身份信息， 包括RFID信息，和/或小区门禁系统信息，和/或身份证信息，将该非视觉个人身份信息与 目标追踪信息具有时间约束； (d) 信息匹配模块：通过网络通信模块将分布式摄像头网络中每个摄像头节点提取的 多维特征信息，角度信息以及摄像头节点信息和时间信息传输到后台的处理模块中，将多 维特征信息及角度信息利用训练的分类器进行人物目标重识别； (e) 信息匹配模块：对人物目标重识别获得的目标关联，结合时间约束及与个人身份 信息，建立具有多模态信息记录系统。7. 根据权利要求6所述基于传感信息及分布式目标追踪的多模信息系统的融合方法， 其特征在于，所述多维特征提取包括对目标利用物理空间信息及图像序列，获取的角度信 息以及基于目标图像区域信息获得的颜色，纹理，形状所组成的多维特征向量。8. 根据权利要求6所述基于传感信息及目标追踪的多模信息系统的融合方法，其特征 在于，所述人物目标重识别包括接收摄像头节点获取的视觉信息，使用了多维特征信息并 组合成对特征向量距离PFD作为新特征，包括对目标追踪方法以检查点获取的多维特征信 息作为训练样本，包括人体目标重识别使用以多维特征组合的对特征向量距离作为特新征 的目标追踪判别方法，所述视觉信息包括目标多维特征向量及括目标角度信息。9.根据权利要求6所述基于传感信息及目标追踪的多模信息系统的融合方法，其特征 在于，所述多模数据匹配模块包括接收摄像头节点信息及非视觉收集信息，包括对视觉信 息及非视觉信息基于时间约束相互匹配，包括对于基于个人身份信息的历史记录的多次匹 配，构建一个基于历史记录的多模信息模型。
【专利摘要】本发明公开了一种基于传感信息及目标追踪的多模信息系统，其特征在于，包括视觉信息收集模块，非视觉信息收集模块以及信息匹配模块，所述视觉信息收集模块建立在分布式多摄像头网络，它包括摄像头系统节点和检查点摄像头组，所述非视觉信息收集模块包括传感器信息收集，信息匹配模块包括基于跨摄像头人体目标重识别结果模块和多横数据配模块；本发明具有适用范围广泛，可降低后台图像识别处理压力，提供长效历史数据等优点，并可广泛应用于人物追踪，行为挖掘，公共安全等领域。
【IPC分类】G06K9/00, G06K9/62
【公开号】CN104881637
【申请号】CN201510234035
【发明人】吴贺俊, 洪福强
【申请人】广东顺德中山大学卡内基梅隆大学国际联合研究院, 中山大学
【公开日】2015年9月2日
【申请日】2015年5月9日