一种基于立体视觉的多场景人流量统计方法、系统以及双目相机的制作方法
一种基于立体视觉的多场景人流量统计方法、系统以及双目相机的制作方法
【技术领域】
[0001] 本发明设及图像监控及处理技术，具体而言，设及一种基于图像处理的人流量统 计技术。
【背景技术】
[0002] 人流量的统计可广泛应用于是公交、大己、商场、展馆，建筑通道等需要统计人流 量的场所，从而为管理和决策者们提供不可缺少的数据支持。对于公交大己等场所而言，人 流量可W辅助职能部口对其进行优化设置。对于零售业而言，人流量可W与销售量联系到 一起，为商业决策者进行商业依据。
[0003] 目前的人流量统计方法主要分为人工式、机械式、红外式和单目视频几种，该几种 人流量统计方法在实际的应用都存在相应的问题：
[0004] 人工式工作效率低，浪费人力资源；
[0005] 机械式需要在通道下埋设感应踏板，当人员通过时触动计数器计数，该种方式在 人员密集通过时很容易漏计误计；
[0006] 红外式是利用红外感应器在人员经过时感应人员进行人数统计，而该种方法在人 流有遮挡时很难被红外感应器感应到；同时，机械和红外两种方式只能统计单一方向的人 数，不能区分进出两个方向；
[0007] 单目视频的方式主要是通过采集应用场所的人流量视频，进行人体模板扫描，判 断方向进行计数，该方式环境适应性差，在移动场所很难应用。
【发明内容】
[000引针对现有人流量统计方案所存在的问题，本发明的目的如下：
[0009] 目的1 ;提供一种基于立体视觉的多场景人流量统计方法，能够高效、准确的统计 不同人流进出口场景下的人数。
[0010] 目的2 ;提供一种基于立体视觉的多场景人流量统计系统，该系统整体结构简单， 能够准确的统计不同人流进出口场景下的人数并为决策者提供数据支持。
[0011] 目的3 ;提供一种双目相机，该双目相机能够应用于各种场合同步采集左右图像。
[0012] 为了达到上述目的，本发明采用如下的技术方案：
[0013] 针对目的1 ;一种基于立体视觉的多场景人流量统计方法，该方法包括如下步骤：
[0014] (1)同步采集双目图像；
[001引 似对双目图像进行校正，生成对应极线平行的双目图像对；
[0016] 做将校正过的双目图像进行立体匹配，生成双目图像视差图；
[0017] (4)在生成的视差图中对行人目标进行检测；
[0018] (5)在视差图像中对行人目标进行跟踪和计数。
[0019] 优选的，所述步骤（1)中利用水平平行的双目相机采集图像，使得左右图像的对 应水平极线尽可能平行，且左右相机同时进行连续采集。
[0020] 优选的，所述步骤（2)中校正双目图像的过程如下：
[0021] 21)采用离线标定的方式对双目相机分别进行标定，得到双目相机的标定参数；
[0022] 22)通过双目摄像机实时采集图像数据，得到原始的双目图像；
[002引 2如再基于Bouguet算法，对双目相机采集的原始的双目图像进行校正，得到极线 平行的双目图像。
[0024] 优选的，所述步骤（3)中对双目图像进行立体匹配的过程如下：
[0025] 31)首先对校正好的的双目图像进行亮度归一化和加强纹理的预处理；
[0026] 32)基于SAD窗口进行捜索得到对应匹配点，得到相应的初始视差图；
[0027] 33)匹配过程结束之后，对匹配得到的初始视差图进行再过滤，去除坏的匹配点， 输出视差连续的双目图像视差图。
[002引优选的，步骤（4)中进行行人目标检测时，根据步骤（3)确定的双目图像视差图的 特性，对视差图采用分层二值化后再进行连通域检测。进一步的，所述检测过程如下：
[0029] 41)采用分层阔值的二值化方法，进行连通域扫描，首先扫描阔值最大层的连通 域，对符合条件的连通域标记为行人目标；
[0030] 42)然后依次降低阔值进行二值化，并进行连通域扫描，将扫描结果和上一层进行 分析比较，保留新目标，更新旧目标，去除伪目标；
[0031] 43)当所有层都进行过连通域检测或在某一层出现了目标粘连时，停止检测。
[0032] 优选的，所述步骤巧）中进行行人目标跟踪和计数时，首先，通过对帖与帖之间的 目标进行关联实现目标跟踪，再通过目标跟踪，计算出目标在不同帖中的运动轨迹，并分析 目标的进出方向进行计数。进一步的，具体跟踪和计数时，采用基于特征的多目标跟踪方 法，得到人的运动轨迹，并根据事先规定的计数规则，当运动到某个地方满足计数要求时进 行计数，其中特征采用了人的深度，位置和重叠面积；计数规则为双线计数，即同时通过两 条线的运动目标才计数。
[0033] 针对目的2 ;-种基于立体视觉的多场景人流量统计系统，所述统计系统包括：
[0034] 双目相机，所述双目相机用于拍摄行人进出口的双目视频图像；
[0035] 双目采集模块，所述双目采集模块同步采集双目相机拍摄的双目视频图像；
[0036] DSP视频处理模块，所述DSP视频处理模炔基于上述的多场景人流量统计方法对 双目采集模块采集的双目视频图像进行人流量统计；
[0037] 网络传输模块，所述网络传输模块将双目采集模块采集的双目视频图像W及DSP 视频处理模块统计的结果发送至终端数据分析模块；
[003引终端数据分析模块，所述终端数据分析模炔基于时间和空间对DSP视频处理模块 统计的结果进行分析。
[0039] 优选的，所述双目相机水平放置，其镜头焦距和镜头间距可根据应用场景对视野 大小限制的条件W及场景的安装条件进行选择和调节。
[0040] 优选的，所述网络传输模块提供的传输模式包含有线和无线，其中有线模式采用 网线和路由的传送方式，无线模式则采用Gl^s模块和车载2G/3G模块进行传输。
[0041] 优选的，所述DSP视频处理模块上集成有多场景人流量统计算法，并且其上还 具有视频输入接口、10通信接口、串口通信接口。进一步的，所述DSP视频处理模块采用 DSP64X系列处理器。
[0042] 针对目的3 ;-种双目相机，其包括双目相机本体，所述本体内设置有DSP双目采 集模块和视频处理模块，其中的双目采集模块同步采集双目相机拍摄的双目视频图像；DSP 视频处理模炔基于上述的多场景人流量统计方法对双目采集模块采集的双目视频图像进 行人流量统计。
[0043] 通过过本发明提供的人流量统计方法和系统，可W准确的统计不同人流进出口场 景下的人数并为决策者提供数据支持；其中应用场景中典型的场景分为移动场景和固定场 景两种，如公交、大己的进出口属于移动场景，商场、会馆的进出口等属于固定场景下。
【附图说明】
[0044] W下结合附图和【具体实施方式】来进一步说明本发明。
[0045] 图1为本发明中人流量计数算法流程图；
[0046] 图2为本发明中双目立体匹配得到的视差图中灰度值和物体距离之间的关系图；
[0047] 图3为本发明中目标检测的流程图；
[0048] 图4为本发明中计数规则线的设置方式；
[0049] 图5为本发明中跟踪模块的流程图；
[0化0] 图6为本发明中计数判定的流程图；
[0051] 图7为本发明中人流量系统框架图；
[0化2] 图8为本发明中人流量系统原理图；
[0053] 图9为双目相机安装示意图；
[0化4] 图10为前端计数设备接口示意图；
[0化5] 图11为终端数据分析软件模型。
【具体实施方式】
[0056] 为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结 合具体图示，进一步阐述本发明。
[0化7] 参见图1，其所示为本发明提供的双目视觉人流量统计方法的流程图。
[005引本双目视觉的人流量统计方法能够对多场景进行精确人流量统计，其基于双目立 体视觉，主要包括W下几步（参 见图1):
[0059] 步骤1 ;采集双目视频图像，利用双目相机同步地采集左右图像；
[0060] 步骤2 ;双目图像校正，根据相机间的位置关系对行平行的双目相机拍摄出的双 目图像进行校正，得到极线平行的双目图像；
[006U步骤3 ;双目图像立体匹配，采用快速块匹配的方法对校正过的双目图像进行立 体匹配，生成双目视差图；
[006引步骤4 ;视差图像中目标检测，在得到的视差图像中检测行人目标；
[0063] 步骤5 ;视差图像中的目标跟踪和计数，根据检测目标的属性特征，对目标进行跟 踪计数。
[0064] 上述方案的具体实现过程如下：
[0065] 步骤1 ;双目视频图像采集。
[0066] 该步骤中，利用水平平行的双目相机采集图像，使得左右图像的对应水平极线尽 可能平行，且左右相机必须同时进行连续采集，W保证左右两幅图像的不会因为时间误差 造成匹配误差。
[0067] 步骤2 ;双目图像校正。
[0068] 由于双目相机的光轴之间无法保证严格平行，受摆放位置、角度等因素的影响，存 在一定的偏差。将双目相机之间的位置关系用一个旋转矩阵R和一个平移矩阵T来表示， 通过引入对极几何约束，左右相机采集的图片上的匹配点对之间存在极线约束，即左相机 图像上的一点的匹配点，一定在右相机图像上的某个直线上，该直线称为极线。为了降低匹 配的时间复杂度，通常要对左右相机采集的图像进行立体校正，即根据两台相机之间的位 置关系化T)对其中图像进行变换，使左右相机图像的对应极线平行。
[0069] 据此，整个双目图像校正包含相机标定和图像校正两个部分：
[0070] 相机标定部分是指通过特定的方法得到左右相机的内参数和相机之间的外参数， 其中内参数包括左右相机的主点，左右相机的崎变向量，外参数包括相机之间的旋转矩阵 和平移矩阵，具体的可W参照matlab标定工具箱中的标定方法或者张氏标定法；
[0071] 图像校正，则是利用得到的标定参数对采集得到的双目图相对进行bouguet算法 校正，包括图像去崎变，位置调整和裁剪等，得到左右对应极线平行的双目图像。
[0072] 基于上述原理，整个的双目图像校正的过程如下：
[0073] 1)采用离线标定的方式对双目相机分别进行标定，得到相机的内参和外参，包括 左右相机的主点，左右相机的崎变向量，外参数包括相机之间的旋转矩阵和平移矩阵。
[0074] 2)通过标定的双目摄像机实时采集图像数据，得到原始的双目图；
[0075] 3)根据bouguet算法，对原始的双目图像进行校正，使得左右图中的匹配点都在 同一行中，即使双目相机图像的极线平行。
[0076] 步骤3 ;双目图像立体匹配。
[0077] 由于之前已经对双目相机进行了立体校正，从而可W直接在对应的平行的极线上 捜索点与点之间的匹配关系。本发明中采用实时性高的BM块匹配算法进行双目立体匹配， 该算法是一种局部匹配算法，能够快速的计算出左右相机对应图像点之间的视差，从而得 到双目相机的视差图。
[007引具体匹配过程如下：
[0079] 1)在匹配算法执行之前，首先对校正好的的双目图像进行亮度归一化和加强纹理 的预处理，具体的处理方法可W选择水平方向的sobel滤波或者正交化滤波。
[0080] 2)沿着预处理后的图像的水平极线采用SAD窗口进行捜索得到对应匹配点，由此 完成匹配过程。
[0081] 具体的，对预处理后的图像，W左图为基准，沿着图像的水平极线对每个像素点用 SAD窗口进行匹配捜索，获取窗口内的像素点在视差dG[cL。，cLx]范围内的匹配值，其中 最小匹配值即为该像素的视差值。该里的SAD匹配算法采用盒滤波方法进行优化，大大提 高了算法的效率。其中SAD的匹配公式如下：
[0082]
[008引扣匹配过程结束之后，将。中得到的视差图进行左右一致性检验并再次过滤，去 除不良匹配点，得到视差连续的立体视差图。其中左右一致性检验公式为|e(i，j)-e' (i， j)I<T，e(i，j)为右图相对于左图在像素点（i，j)的视差，e' (i，j)为左图相对于右图 在像素点（i，j)的视差值，T为判断阔值。
[0084] 由此得到的视差图是一幅灰度图；图中的像素值大小反映了相机距离拍摄物体的 远近关系，像素值越大拍摄物体距离相机越近，像素值越小，拍摄物体距离相机越远，其特 性曲线见图2。
[00财步骤4 ;视差图像中行人目标检测。
[0086] 由于视差图的灰度值反映了场景的深度信息，灰度值和目标与相机的距离呈递增 或递减的曲线变化关系，因此场景中的人和物很容易由此信息区分开来。
[0087] 为此，本发明根据步骤3中确定的立体视差图的特性，对视差图采用自适应分层 二值化后进行连通域检测的方法，实现在视差图像中行人目标检测。
[008引该里的分层二值化，是指对视差图按照不同的阔值进行二值化预处理，阔值按照 从大到小的顺序，每一个阔值对应一层二值化图，该样做的目的在于每一层二值化图中都 保留了视差图中像素的最大值，由上可知，背景点的像素值一般都较小，所W分层二值化可 W有效的去掉背景干扰，减少连通域检测的时间，提高效率。同时分层二值化可W有效的区 分距离较近出现粘连的人。实现时，由大到小设置n个阔值化1，iG1~n，对第i层进行 阔值为化i的二值化，并在此基础上进行连通域检测，并循环下去。
[0089] 该里的自适应分层是指对阔值的选择，采用自适应学习的方法，首先设定第一层 的阔值，通过检测到的人的身像素值来进一步确定初始设定的阔值，使其更加合理。由此，n 层阔值的设定方法为；将根据人体平均身高在视差图中的亮度值设定为第一层的阔值，其 余各层依次递减。其中，人体的平均视差值在不同的相机安装条件下会有所不同，因此，该 值的设置在每次执行算法时，W经过摄像机的前5个人的平均视差计算。
[0090] 所述的连通域目标检测是指，对二值化后的图像进行连通域检测，将符合一定面 积大小和连通域外接矩长宽比要求的连通域保留为行人目标区域，并记录该目标的大小， 位置和深度等属性；将不符合要求的连通域排除。
[0091] 据此，视差图像中行人目标检测的具体做法：
[0092] 1)为了减小环境中行人W外的物体对检测结果造成影响，首先在无人通过的场景 下建立背景视差图模型，然后利用背景差分法，生成前景图，消除背景干扰。
[0093] 2)然后，对得到的前景视差图进行分层二值化，在每层阔值化后的二值图中进行 连通域检测；首先扫描阔值最大层的连通域，对符合条件（指符合行人目标的连通域面积 和连通域外接矩形长宽比）的连通域标记为目标，并记录目标的大小，位置和深度等属性； 然后依次降低阔值进行二值化，并进行连通域扫描，将扫描结果和上一层进行分析比较，保 留新目标，更新旧目标，去除伪目标；当所有层都进行过连通域检测或在某一层出现了目标 粘连时，停止检测。
[0094] 基于上述检测方案原理，整个目标检测流程为（参见图3):
[0095] (1)取第i= 1层的阔值对视差图进行二值化，并进行连通域检测，检测目标并记 录目标属性，包括面积，位置，中屯、点，区域内最大值和平均值目标。
[0096] (2)i加1，重复步骤1)，如果在第i层的连通域检测中发现有目标为f，在第i+1 层发现目标T"i，如果r+13 ，那么认为T"i和第i层中的目标Ti是同一目标，更新其属 性姻果T"1不包含第i层的任何目标，那么认为T"堪新检测到的目标，记录其属性姻果 三r<&&r4i3巧…，那么认为T"i包含了第i层中的两个或W上的目标，在第i+1 层中出现了行人的粘连，仍然保留第i层的目标属性。
[0097] (3)循环执行2)，直到目标出现粘连层或i=n时结束循环。
[009引步骤5 ;对检测到的行人目标进行跟踪计数。
[0099] 该里的目标跟踪，人流量统计，基于人的运动方向和进出行为的判定。某一帖中检 测的目标仅具有空间信息并没 有时间信息，因此通过对帖序列中的目标进行时空关联，得 到目标的运动轨迹，并判定其进出行为计数。
[0100] 由于前面的步骤方案，可W检测到每帖图像的行人目标，但仍不能确定通过计数 仪的人数W及进出方向，因此需要对目标进行跟踪，对通过计数仪的目标进行计数。该里的 目标跟踪即实现帖与帖之间目标的关联，通过目标跟踪，得出目标在不同帖中的运动轨迹， 进而判断目标的进出方向并计数。
[0101] 由此，本发明的具体做法：
[0102] 采用基于特征的多目标跟踪方法，得到人的运动轨迹，并根据事先规定的计数规 贝1J，当运动到某个地方满足计数要求时计数。其中特征采用了人的深度，位置和重叠面积； 计数规则为双线计数，即同时通过两条线的运动目标才计数，W避免目标在出入口处徘徊 导致的多检。
[0103] 基于上述跟踪计数方案原理，整个跟踪计数流程为如下：
[0104] 1)设置计数规则。首先对视频中的区域进行划分，通过两条计数线Li，L,，将其分 为上中下=个区域，分别标记为上中下Ai，A2,As,并定义进出方向，上进下出或者下进上出， 如图4,其中，Ai，As为预判区域，A2为跟踪区域。假设进出方向为上出下进，那么目标由L2 经过Li，认为目标离开场景，目标由Li经过L2，认为目标进入场景。
[0105] 2)定义目标结构体TarP和当前帖的目标链DC，其中TarP包含目标链DP和疑似 目标链DM。目标链中的包含目标标记数组index□，目标初始位置数组initial[]W及目 标人物数组person□，其中person中的属性内容包括目标的中屯、位置，目标的深度，目标 间的重叠面积，W及跟踪属性，如跟踪标记、关联标记和计数标记等。
[0106] 3)确定目标跟踪策略。本发明选择的目标跟踪方法为基于特征的多目标跟踪方 法，采用双向关联的目标关联规则，即当DP中的目标A在DC中可W找到唯一最大相似的的 目标B，而目标B在DP中也能找到唯一最大相似的目标A时，A目标和B目标记为强关联即 跟踪成功。
[0107] 4)选择目标特征的相似度判定方法。该里的目标特征包括目标的中屯、位置，目标 的深度，目标间的重叠面积。通过该些特征的相似度的线性组合判断目标之间是否相似，相 似度计算公式如下，
[0108] P=a*0(Xocat)+b* 0(cbpt)+C* 0(overlap)(1)
[0109] 其中，0 (?)表示欧氏距离相似度函数，a,b，c代表线性系数。当P大于相似度 阔值，则认为相似，否则不相似。
[0110] 5)确定计数规则并计数。根据跟踪的结果，如果新的目标链判断目标已经达到计 数要求，则根据其运动方向对应的进行计数。其中所述的计数要求为目标当前位置在Ai或As,且其初始位置不在当前区域，初始位置与当前位置差距大于设定阔值化。we，且目标在整 个目标链中出现3帖W上，否则不予计数。该样做的目的在于消除徘徊的干扰（如图6所 示）。
[01川6)进行目标跟踪，当Ai，As中有新目标出现时，将其加入目标链DP中，记录其初始 位置和初始顺序，对当前帖目标链DC中的目标和DP中的目标做相似性判断，找出DP中的 目标在DC中的关联关系，记为DPConf(如图5所示）。
[0112]
[011引其中DPSimilar表示公式（1)中的P，化Gate表示相似度阔值。
[0114] 7)根据公式似中的关系，确定目标的运动轨迹（如图5所示）：
[01巧]当DPConf= 1表示第N帖中的目标obj_l与化1帖中的目标obj_n相似性很高， 定义为强关联性即完全匹配。
[0116] 当DPConf= 12表示第N帖中的目标obj_l与化1帖中的目标obj_n相似性较弱， 定义为弱关联性即可疑区域。
[0117] 当DPConf= 13表示第N帖中的目标obj_l与化1帖中的目标obj_n相似性很弱， 定义为非关联性。
[011引 当DPConf= 3表示第化1帖中新出现的目标obj_n。
[0119] 当DPConf= 4表示第N帖中的目标obj_n在第化1帖中目标消失。
[0120] 8)根据判断，将DC中与DP强关联的目标更新到目标链中，将弱关联的目标加入可 W目标链DM中在下一帖中进行再次判断。
[0121] 9)当目标链DP中的目标从AiW外的区域越过了L1，且该目标满足在视频中出现 3帖W上，未计数过，且初始位置和当前位置有一定的差距时，判定该目标离开场景中，该假 设建立在上出下进的计数方向上（如图6所示）。
[om] 10)同理，当目标链DP中的目标从A3W外的区域越过了L2,且该目标满足在视频 中出现3帖W上，未计数过，且初始位置和当前位置有一定的差距时，判定该目标进入场景 中；该假设建立在上出下进的计数方向上（如图6所示）。
[0123] 11)在跟踪过程中，还提供了一些目标不连续的情况处理。
[0124] 参见图7和图8,其所示为本发明基于上述人流量统计方法实现的一种实时的人 流量统计系统的示意图。
[0125] 由图可知，该人流量统计系统主要包括：双目相机，前端客流计数仪、网络传输模 块和终端数据分析模块。
[0126] 本系统中的双目相机用于拍摄行人进出口的双目视频图像。
[0127] 参见图9,本发明中双目相机的位置关系为水平左右放置，所拍摄的双目图像为左 右对应极限水平接近平行。镜头的间距和镜头的焦距符合场景的计数需求和安装需求。具 体为；视野要求较小且安装条件固定的场景如公交车，大己车口等镜头间距一般在5cm左 右，镜头焦距一般为3. 5-5mm。视野要求大的场景如会馆等通道则选用间距稍大，焦距为 5mmW上的镜头。
[0128] 另外，该双目相机还具有内置的LED照明，即使全黑的条件下也可W使用。
[0129] 前端客流计数仪，其用于实时采集和处理双目相机拍摄的行人进出口的双目视频 图像。
[0130] 该前端客流计数仪主要由DSP双目采集模块和视频处理模块构成中。
[0131] 其中，双目采集模块与双目相机数据相接，用于连续且同步采集左右图像。
[0132] 而DSP视频处理模块与双目采集模块数据相接，其内部集成有基于上述多场景人 流量统计方法形成的多场景人流量统计算法，并利用该人流量统计算法对双目采集模块采 集的双目视频图像进行人流量统计；
[0133] 该里的DSP视频处理模块具体实施时采用DSP64X系列处理器，其内集成有基于上 述多场景人流量统计方法形成的多场景人流量统计算法，进行实时的处理速度。
[0134] 另外，该DSP视频处理模块上设置有视频输入接口、10通信接口、串口通信接口 (参见图10)。
[01巧]DSP视频处理模块上的10接口模块提供了装置的开关信号通信接口，使得本发明 装置可W和其它设备进行连接，并控制装置的开关模式。
[0136]DSP视频处理模块上的串口通信接口提供了一系列接口，包括RS232,RS485,W及 USB等接口。用户可W通过该些接口，方便的进行算法的参数配置，W及下载计数的记录。
[0137]系统中的网络传输模块，其分别与DSP视频处理模块W及终端数据分析模块数据 相接，用于将双目采集模块采集的双目视频图像W及DSP视频处理模块统计的结果发送至 终端数据分析模块；
[0138]该网络传输模块提供了不同的传输模式W满足不同的场景条件，可W将计数结果 传输到其它终端，包含有线和无线两种，其中有线模式采用网线和路由的传送方式，无线模 式则采用GI^S模块和车载2G/3G模块进行传输。
[0139] 系统中终端数据分析模块，其主要用于后端客流数据的管理，通过强大的数据分 析建模功能对DSP视频处理模块统计的结果进行分析，该终端数据分析模炔基于时间和空 间的参数，提供一系列反应人数和时间和空间关系的数据报表，为决策者提供有利的数据 支持和依据。
[0140] 参见图11，终端数据分析模块除了基本的建模分析功能，其还具记录查询模块、饼 状图分析模块、 折线图报表模块、柱状图分析模块。由此构成的终端数据分析模块通过网络 传输模块或者USB下载记录等方式对前端的计数结果进行进一步分析，构建时空模型，制 定出一系列反应用户需求的数据报表，为决策者提供有利的数据支持和依据。
[0141] 下面针对不同的应用场景分别说明本发明的应用方案。
[0142] 移动模式，典型场景如公交、大己等移动出入口。该模式下，双目相机和DSP设备 安装在移动的出入口，终端数据分析模块安装在公交公司，方便后台的调度。其中，双目相 机模块的安装；一般根据车辆的高度，大约在220cm-240cm，垂直向下安装。根据本发明中 双目相机焦距和间距的特性，完全可W符合此场景的要求；DSP模块的连接和安装；DSP处 理模块具有视频输入接口W及10通信接口、RS232、RS485串口，方便和车载设备连接。将 双目相机的视频输出输入到DSP视频采集模块中，DSP通过上述人流量计数算法，将结果通 过移动GPRS或2G、3G网络传输到后台。DSP处理器的开关状态可W由车口开关信号通过 10接口控制，也可W通过手动控制。通过车口的开关信号控制计数器的开启和关闭可W避 免行车期间人头在车口附近的晃动造成的错误。
[0143] 固定模式，典型场景为商场、展馆、宾馆、车站、路口等。该场景下的实施方式去上 一个实施方式的一个差别在于前端相机的安装高度一般在220cm或者更高250cmW上，选 择对应场景的双目相机即可；另一个不同之处在于计数设备和后台处理的网络传输方式， 由于场景的固定，可选择有线或无线的W太网进行传输，速度快，更安全可靠；计数设备的 开关一般只设置手动开关，而不再需要和外部10接口通信。
[0144] 在固定模式下，双目相机的安装还可W进行多个级联，针对出入口通道叫宽，双目 相机的视野不能够满足拍摄到整个出入口时，可W选择安装多个双目相机，多个计数设备， 最后在后台对接收的人流量数据进行整合，实现计数功能。
[0145]W上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术 人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本 发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，该些变 化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其 等效物界定。
【主权项】
1. 一种基于立体视觉的多场景人流量统计方法，其特征在于，所述方法包括如下步 骤： (1) 同步采集双目图像； (2) 对双目图像进行校正，生成对应极线平行的双目图像对； (3) 将校正过的双目图像进行立体匹配，生成双目图像视差图； (4) 在生成的视差图中对行人目标进行检测； (5) 在视差图像中对行人目标进行跟踪和计数。2. 根据权利要求1所述的一种基于立体视觉的多场景人流量统计方法，其特征在于， 所述步骤（1)中利用水平平行的双目相机采集图像，使得左右图像的对应水平极线尽可能 平行，且左右相机同时进行连续采集。3. 根据权利要求1所述的一种基于立体视觉的多场景人流量统计方法，其特征在于， 所述步骤（2)中校正双目图像的过程如下： 21) 采用离线标定的方式对双目相机分别进行标定，得到双目相机的标定参数； 22) 通过双目摄像机实时采集图像数据，得到原始的双目图像； 23) 再基于Bouguet算法，对双目相机采集的原始的双目图像进行校正，得到极线平行 的双目图像。4. 根据权利要求1所述的一种基于立体视觉的多场景人流量统计方法，其特征在于， 所述步骤（3)中对双目图像进行立体匹配的过程如下： 31) 首先对校正好的的双目图像进行亮度归一化和加强纹理的预处理； 32) 基于SAD窗口进行搜索得到对应匹配点，得到相应的初始视差图； 33) 匹配过程结束之后，对匹配得到的初始视差图进行再过滤，去除坏的匹配点，输出 视差连续的双目图像视差图。5. 根据权利要求1所述的一种基于立体视觉的多场景人流量统计方法，其特征在于， 步骤（4)中进行行人目标检测时，根据步骤（3)确定的双目图像视差图的特性，对视差图采 用分层二值化后再进行连通域检测。6. 根据权利要求5所述的一种基于立体视觉的多场景人流量统计方法，其特征在于， 所述检测过程如下： 41) 采用分层阈值的二值化方法，进行连通域扫描，首先扫描阈值最大层的连通域，对 符合条件的连通域标记为行人目标； 42) 然后依次降低阈值进行二值化，并进行连通域扫描，将扫描结果和上一层进行分析 比较，保留新目标，更新旧目标，去除伪目标； 43) 当所有层都进行过连通域检测或在某一层出现了目标粘连时，停止检测。7. 根据权利要求1所述的一种基于立体视觉的多场景人流量统计方法，其特征在于， 所述步骤（5)中进行行人目标跟踪和计数时，首先，通过对帧与帧之间的目标进行关联实 现目标跟踪，再通过目标跟踪，计算出目标在不同帧中的运动轨迹，并分析目标的进出方向 进行计数。8. 根据权利要求7所述的一种基于立体视觉的多场景人流量统计方法，其特征在于， 具体跟踪和计数时，采用基于特征的多目标跟踪方法，得到人的运动轨迹，并根据事先规定 的计数规则，当运动到某个地方满足计数要求时进行计数，其中特征采用了人的深度，位置 和重叠面积；计数规则为双线计数，即同时通过两条线的运动目标才计数。9. 一种基于立体视觉的多场景人流量统计系统，其特征在于，所述统计系统包括： 双目相机，所述双目相机用于拍摄行人进出口的双目视频图像； 双目采集模块，所述双目采集模块同步采集双目相机拍摄的双目视频图像； DSP视频处理模块，所述DSP视频处理模炔基于权利要求1-8中任一项所述的多场景人 流量统计方法对双目采集模块采集的双目视频图像进行人流量统计； 网络传输模块，所述网络传输模块将双目采集模块采集的双目视频图像以及DSP视频 处理模块统计的结果发送至终端数据分析模块； 终端数据分析模块，所述终端数据分析模炔基于时间和空间对DSP视频处理模块统计 的结果进行分析。10. 根据权利要求9所述的一种基于立体视觉的多场景人流量统计系统，其特征在于， 所述双目相机水平放置，其镜头焦距和镜头间距可根据应用场景对视野大小限制的条件以 及场景的安装条件进行选择和调节。11. 根据权利要求9所述的一种基于立体视觉的多场景人流量统计系统，其特征在于， 所述网络传输模块提供的传输模式包含有线和无线，其中有线模式采用网线和路由的传送 方式，无线模式则采用GPS模块和车载2G/3G模块进行传输。12. 根据权利要求9所述的一种基于立体视觉的多场景人流量统计系统，其特征在于， 所述DSP视频处理模块上集成有多场景人流量统计算法，并且其上还具有视频输入接口、 IO通信接口、串口通信接口。13. 根据权利要求12所述的一种基于立体视觉的多场景人流量统计系统，其特征在 于，所述DSP视频处理模块采用DSP64X系列处理器。14. 一种双目相机，其包括双目相机本体，其特征在于，所述本体内设置有DSP双目采 集模块和视频处理模块，其中的双目采集模块同步采集双目相机拍摄的双目视频图像；DSP 视频处理模炔基于上述的多场景人流量统计方法对双目采集模块采集的双目视频图像进 行人流量统计。
【专利摘要】本发明公开了一种基于立体视觉的多场景人流量统计方法、系统以及双目相机，其中人流量统计方法基于双目立体视觉，首先将行平行的双目相机拍摄出的双目图像进行校正，得到极线平行的双目图像；接着将校正过的双目图像进行立体匹配得到视差图像；再者在得到的视差图像中检测行人目标；最后根据检测目标的属性特征，对目标进行跟踪计数。而人流量统计系统由双目相机、DSP双目采集和视频处理模块、网络传输模块以及终端数据分析模块配合构成。通过过本发明提供的人流量统计方法和系统，可以准确的统计不同人流进出口场景下的人数并为决策者提供数据支持。
【IPC分类】G06T7/00, G07C9/00, H04N13/00
【公开号】CN104902258
【申请号】CN201510313461
【发明人】李滇博, 段娜, 王文斐, 吴轶轩, 梅林
【申请人】公安部第三研究所
【公开日】2015年9月9日
【申请日】2015年6月9日
【技术领域】
[0001] 本发明设及图像监控及处理技术，具体而言，设及一种基于图像处理的人流量统 计技术。
【背景技术】
[0002] 人流量的统计可广泛应用于是公交、大己、商场、展馆，建筑通道等需要统计人流 量的场所，从而为管理和决策者们提供不可缺少的数据支持。对于公交大己等场所而言，人 流量可W辅助职能部口对其进行优化设置。对于零售业而言，人流量可W与销售量联系到 一起，为商业决策者进行商业依据。
[0003] 目前的人流量统计方法主要分为人工式、机械式、红外式和单目视频几种，该几种 人流量统计方法在实际的应用都存在相应的问题：
[0004] 人工式工作效率低，浪费人力资源；
[0005] 机械式需要在通道下埋设感应踏板，当人员通过时触动计数器计数，该种方式在 人员密集通过时很容易漏计误计；
[0006] 红外式是利用红外感应器在人员经过时感应人员进行人数统计，而该种方法在人 流有遮挡时很难被红外感应器感应到；同时，机械和红外两种方式只能统计单一方向的人 数，不能区分进出两个方向；
[0007] 单目视频的方式主要是通过采集应用场所的人流量视频，进行人体模板扫描，判 断方向进行计数，该方式环境适应性差，在移动场所很难应用。
【发明内容】
[000引针对现有人流量统计方案所存在的问题，本发明的目的如下：
[0009] 目的1 ;提供一种基于立体视觉的多场景人流量统计方法，能够高效、准确的统计 不同人流进出口场景下的人数。
[0010] 目的2 ;提供一种基于立体视觉的多场景人流量统计系统，该系统整体结构简单， 能够准确的统计不同人流进出口场景下的人数并为决策者提供数据支持。
[0011] 目的3 ;提供一种双目相机，该双目相机能够应用于各种场合同步采集左右图像。
[0012] 为了达到上述目的，本发明采用如下的技术方案：
[0013] 针对目的1 ;一种基于立体视觉的多场景人流量统计方法，该方法包括如下步骤：
[0014] (1)同步采集双目图像；
[001引 似对双目图像进行校正，生成对应极线平行的双目图像对；
[0016] 做将校正过的双目图像进行立体匹配，生成双目图像视差图；
[0017] (4)在生成的视差图中对行人目标进行检测；
[0018] (5)在视差图像中对行人目标进行跟踪和计数。
[0019] 优选的，所述步骤（1)中利用水平平行的双目相机采集图像，使得左右图像的对 应水平极线尽可能平行，且左右相机同时进行连续采集。
[0020] 优选的，所述步骤（2)中校正双目图像的过程如下：
[0021] 21)采用离线标定的方式对双目相机分别进行标定，得到双目相机的标定参数；
[0022] 22)通过双目摄像机实时采集图像数据，得到原始的双目图像；
[002引 2如再基于Bouguet算法，对双目相机采集的原始的双目图像进行校正，得到极线 平行的双目图像。
[0024] 优选的，所述步骤（3)中对双目图像进行立体匹配的过程如下：
[0025] 31)首先对校正好的的双目图像进行亮度归一化和加强纹理的预处理；
[0026] 32)基于SAD窗口进行捜索得到对应匹配点，得到相应的初始视差图；
[0027] 33)匹配过程结束之后，对匹配得到的初始视差图进行再过滤，去除坏的匹配点， 输出视差连续的双目图像视差图。
[002引优选的，步骤（4)中进行行人目标检测时，根据步骤（3)确定的双目图像视差图的 特性，对视差图采用分层二值化后再进行连通域检测。进一步的，所述检测过程如下：
[0029] 41)采用分层阔值的二值化方法，进行连通域扫描，首先扫描阔值最大层的连通 域，对符合条件的连通域标记为行人目标；
[0030] 42)然后依次降低阔值进行二值化，并进行连通域扫描，将扫描结果和上一层进行 分析比较，保留新目标，更新旧目标，去除伪目标；
[0031] 43)当所有层都进行过连通域检测或在某一层出现了目标粘连时，停止检测。
[0032] 优选的，所述步骤巧）中进行行人目标跟踪和计数时，首先，通过对帖与帖之间的 目标进行关联实现目标跟踪，再通过目标跟踪，计算出目标在不同帖中的运动轨迹，并分析 目标的进出方向进行计数。进一步的，具体跟踪和计数时，采用基于特征的多目标跟踪方 法，得到人的运动轨迹，并根据事先规定的计数规则，当运动到某个地方满足计数要求时进 行计数，其中特征采用了人的深度，位置和重叠面积；计数规则为双线计数，即同时通过两 条线的运动目标才计数。
[0033] 针对目的2 ;-种基于立体视觉的多场景人流量统计系统，所述统计系统包括：
[0034] 双目相机，所述双目相机用于拍摄行人进出口的双目视频图像；
[0035] 双目采集模块，所述双目采集模块同步采集双目相机拍摄的双目视频图像；
[0036] DSP视频处理模块，所述DSP视频处理模炔基于上述的多场景人流量统计方法对 双目采集模块采集的双目视频图像进行人流量统计；
[0037] 网络传输模块，所述网络传输模块将双目采集模块采集的双目视频图像W及DSP 视频处理模块统计的结果发送至终端数据分析模块；
[003引终端数据分析模块，所述终端数据分析模炔基于时间和空间对DSP视频处理模块 统计的结果进行分析。
[0039] 优选的，所述双目相机水平放置，其镜头焦距和镜头间距可根据应用场景对视野 大小限制的条件W及场景的安装条件进行选择和调节。
[0040] 优选的，所述网络传输模块提供的传输模式包含有线和无线，其中有线模式采用 网线和路由的传送方式，无线模式则采用Gl^s模块和车载2G/3G模块进行传输。
[0041] 优选的，所述DSP视频处理模块上集成有多场景人流量统计算法，并且其上还 具有视频输入接口、10通信接口、串口通信接口。进一步的，所述DSP视频处理模块采用 DSP64X系列处理器。
[0042] 针对目的3 ;-种双目相机，其包括双目相机本体，所述本体内设置有DSP双目采 集模块和视频处理模块，其中的双目采集模块同步采集双目相机拍摄的双目视频图像；DSP 视频处理模炔基于上述的多场景人流量统计方法对双目采集模块采集的双目视频图像进 行人流量统计。
[0043] 通过过本发明提供的人流量统计方法和系统，可W准确的统计不同人流进出口场 景下的人数并为决策者提供数据支持；其中应用场景中典型的场景分为移动场景和固定场 景两种，如公交、大己的进出口属于移动场景，商场、会馆的进出口等属于固定场景下。
【附图说明】
[0044] W下结合附图和【具体实施方式】来进一步说明本发明。
[0045] 图1为本发明中人流量计数算法流程图；
[0046] 图2为本发明中双目立体匹配得到的视差图中灰度值和物体距离之间的关系图；
[0047] 图3为本发明中目标检测的流程图；
[0048] 图4为本发明中计数规则线的设置方式；
[0049] 图5为本发明中跟踪模块的流程图；
[0化0] 图6为本发明中计数判定的流程图；
[0051] 图7为本发明中人流量系统框架图；
[0化2] 图8为本发明中人流量系统原理图；
[0053] 图9为双目相机安装示意图；
[0化4] 图10为前端计数设备接口示意图；
[0化5] 图11为终端数据分析软件模型。
【具体实施方式】
[0056] 为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结 合具体图示，进一步阐述本发明。
[0化7] 参见图1，其所示为本发明提供的双目视觉人流量统计方法的流程图。
[005引本双目视觉的人流量统计方法能够对多场景进行精确人流量统计，其基于双目立 体视觉，主要包括W下几步（参 见图1):
[0059] 步骤1 ;采集双目视频图像，利用双目相机同步地采集左右图像；
[0060] 步骤2 ;双目图像校正，根据相机间的位置关系对行平行的双目相机拍摄出的双 目图像进行校正，得到极线平行的双目图像；
[006U步骤3 ;双目图像立体匹配，采用快速块匹配的方法对校正过的双目图像进行立 体匹配，生成双目视差图；
[006引步骤4 ;视差图像中目标检测，在得到的视差图像中检测行人目标；
[0063] 步骤5 ;视差图像中的目标跟踪和计数，根据检测目标的属性特征，对目标进行跟 踪计数。
[0064] 上述方案的具体实现过程如下：
[0065] 步骤1 ;双目视频图像采集。
[0066] 该步骤中，利用水平平行的双目相机采集图像，使得左右图像的对应水平极线尽 可能平行，且左右相机必须同时进行连续采集，W保证左右两幅图像的不会因为时间误差 造成匹配误差。
[0067] 步骤2 ;双目图像校正。
[0068] 由于双目相机的光轴之间无法保证严格平行，受摆放位置、角度等因素的影响，存 在一定的偏差。将双目相机之间的位置关系用一个旋转矩阵R和一个平移矩阵T来表示， 通过引入对极几何约束，左右相机采集的图片上的匹配点对之间存在极线约束，即左相机 图像上的一点的匹配点，一定在右相机图像上的某个直线上，该直线称为极线。为了降低匹 配的时间复杂度，通常要对左右相机采集的图像进行立体校正，即根据两台相机之间的位 置关系化T)对其中图像进行变换，使左右相机图像的对应极线平行。
[0069] 据此，整个双目图像校正包含相机标定和图像校正两个部分：
[0070] 相机标定部分是指通过特定的方法得到左右相机的内参数和相机之间的外参数， 其中内参数包括左右相机的主点，左右相机的崎变向量，外参数包括相机之间的旋转矩阵 和平移矩阵，具体的可W参照matlab标定工具箱中的标定方法或者张氏标定法；
[0071] 图像校正，则是利用得到的标定参数对采集得到的双目图相对进行bouguet算法 校正，包括图像去崎变，位置调整和裁剪等，得到左右对应极线平行的双目图像。
[0072] 基于上述原理，整个的双目图像校正的过程如下：
[0073] 1)采用离线标定的方式对双目相机分别进行标定，得到相机的内参和外参，包括 左右相机的主点，左右相机的崎变向量，外参数包括相机之间的旋转矩阵和平移矩阵。
[0074] 2)通过标定的双目摄像机实时采集图像数据，得到原始的双目图；
[0075] 3)根据bouguet算法，对原始的双目图像进行校正，使得左右图中的匹配点都在 同一行中，即使双目相机图像的极线平行。
[0076] 步骤3 ;双目图像立体匹配。
[0077] 由于之前已经对双目相机进行了立体校正，从而可W直接在对应的平行的极线上 捜索点与点之间的匹配关系。本发明中采用实时性高的BM块匹配算法进行双目立体匹配， 该算法是一种局部匹配算法，能够快速的计算出左右相机对应图像点之间的视差，从而得 到双目相机的视差图。
[007引具体匹配过程如下：
[0079] 1)在匹配算法执行之前，首先对校正好的的双目图像进行亮度归一化和加强纹理 的预处理，具体的处理方法可W选择水平方向的sobel滤波或者正交化滤波。
[0080] 2)沿着预处理后的图像的水平极线采用SAD窗口进行捜索得到对应匹配点，由此 完成匹配过程。
[0081] 具体的，对预处理后的图像，W左图为基准，沿着图像的水平极线对每个像素点用 SAD窗口进行匹配捜索，获取窗口内的像素点在视差dG[cL。，cLx]范围内的匹配值，其中 最小匹配值即为该像素的视差值。该里的SAD匹配算法采用盒滤波方法进行优化，大大提 高了算法的效率。其中SAD的匹配公式如下：
[0082]
[008引扣匹配过程结束之后，将。中得到的视差图进行左右一致性检验并再次过滤，去 除不良匹配点，得到视差连续的立体视差图。其中左右一致性检验公式为|e(i，j)-e' (i， j)I<T，e(i，j)为右图相对于左图在像素点（i，j)的视差，e' (i，j)为左图相对于右图 在像素点（i，j)的视差值，T为判断阔值。
[0084] 由此得到的视差图是一幅灰度图；图中的像素值大小反映了相机距离拍摄物体的 远近关系，像素值越大拍摄物体距离相机越近，像素值越小，拍摄物体距离相机越远，其特 性曲线见图2。
[00财步骤4 ;视差图像中行人目标检测。
[0086] 由于视差图的灰度值反映了场景的深度信息，灰度值和目标与相机的距离呈递增 或递减的曲线变化关系，因此场景中的人和物很容易由此信息区分开来。
[0087] 为此，本发明根据步骤3中确定的立体视差图的特性，对视差图采用自适应分层 二值化后进行连通域检测的方法，实现在视差图像中行人目标检测。
[008引该里的分层二值化，是指对视差图按照不同的阔值进行二值化预处理，阔值按照 从大到小的顺序，每一个阔值对应一层二值化图，该样做的目的在于每一层二值化图中都 保留了视差图中像素的最大值，由上可知，背景点的像素值一般都较小，所W分层二值化可 W有效的去掉背景干扰，减少连通域检测的时间，提高效率。同时分层二值化可W有效的区 分距离较近出现粘连的人。实现时，由大到小设置n个阔值化1，iG1~n，对第i层进行 阔值为化i的二值化，并在此基础上进行连通域检测，并循环下去。
[0089] 该里的自适应分层是指对阔值的选择，采用自适应学习的方法，首先设定第一层 的阔值，通过检测到的人的身像素值来进一步确定初始设定的阔值，使其更加合理。由此，n 层阔值的设定方法为；将根据人体平均身高在视差图中的亮度值设定为第一层的阔值，其 余各层依次递减。其中，人体的平均视差值在不同的相机安装条件下会有所不同，因此，该 值的设置在每次执行算法时，W经过摄像机的前5个人的平均视差计算。
[0090] 所述的连通域目标检测是指，对二值化后的图像进行连通域检测，将符合一定面 积大小和连通域外接矩长宽比要求的连通域保留为行人目标区域，并记录该目标的大小， 位置和深度等属性；将不符合要求的连通域排除。
[0091] 据此，视差图像中行人目标检测的具体做法：
[0092] 1)为了减小环境中行人W外的物体对检测结果造成影响，首先在无人通过的场景 下建立背景视差图模型，然后利用背景差分法，生成前景图，消除背景干扰。
[0093] 2)然后，对得到的前景视差图进行分层二值化，在每层阔值化后的二值图中进行 连通域检测；首先扫描阔值最大层的连通域，对符合条件（指符合行人目标的连通域面积 和连通域外接矩形长宽比）的连通域标记为目标，并记录目标的大小，位置和深度等属性； 然后依次降低阔值进行二值化，并进行连通域扫描，将扫描结果和上一层进行分析比较，保 留新目标，更新旧目标，去除伪目标；当所有层都进行过连通域检测或在某一层出现了目标 粘连时，停止检测。
[0094] 基于上述检测方案原理，整个目标检测流程为（参见图3):
[0095] (1)取第i= 1层的阔值对视差图进行二值化，并进行连通域检测，检测目标并记 录目标属性，包括面积，位置，中屯、点，区域内最大值和平均值目标。
[0096] (2)i加1，重复步骤1)，如果在第i层的连通域检测中发现有目标为f，在第i+1 层发现目标T"i，如果r+13 ，那么认为T"i和第i层中的目标Ti是同一目标，更新其属 性姻果T"1不包含第i层的任何目标，那么认为T"堪新检测到的目标，记录其属性姻果 三r<&&r4i3巧…，那么认为T"i包含了第i层中的两个或W上的目标，在第i+1 层中出现了行人的粘连，仍然保留第i层的目标属性。
[0097] (3)循环执行2)，直到目标出现粘连层或i=n时结束循环。
[009引步骤5 ;对检测到的行人目标进行跟踪计数。
[0099] 该里的目标跟踪，人流量统计，基于人的运动方向和进出行为的判定。某一帖中检 测的目标仅具有空间信息并没 有时间信息，因此通过对帖序列中的目标进行时空关联，得 到目标的运动轨迹，并判定其进出行为计数。
[0100] 由于前面的步骤方案，可W检测到每帖图像的行人目标，但仍不能确定通过计数 仪的人数W及进出方向，因此需要对目标进行跟踪，对通过计数仪的目标进行计数。该里的 目标跟踪即实现帖与帖之间目标的关联，通过目标跟踪，得出目标在不同帖中的运动轨迹， 进而判断目标的进出方向并计数。
[0101] 由此，本发明的具体做法：
[0102] 采用基于特征的多目标跟踪方法，得到人的运动轨迹，并根据事先规定的计数规 贝1J，当运动到某个地方满足计数要求时计数。其中特征采用了人的深度，位置和重叠面积； 计数规则为双线计数，即同时通过两条线的运动目标才计数，W避免目标在出入口处徘徊 导致的多检。
[0103] 基于上述跟踪计数方案原理，整个跟踪计数流程为如下：
[0104] 1)设置计数规则。首先对视频中的区域进行划分，通过两条计数线Li，L,，将其分 为上中下=个区域，分别标记为上中下Ai，A2,As,并定义进出方向，上进下出或者下进上出， 如图4,其中，Ai，As为预判区域，A2为跟踪区域。假设进出方向为上出下进，那么目标由L2 经过Li，认为目标离开场景，目标由Li经过L2，认为目标进入场景。
[0105] 2)定义目标结构体TarP和当前帖的目标链DC，其中TarP包含目标链DP和疑似 目标链DM。目标链中的包含目标标记数组index□，目标初始位置数组initial[]W及目 标人物数组person□，其中person中的属性内容包括目标的中屯、位置，目标的深度，目标 间的重叠面积，W及跟踪属性，如跟踪标记、关联标记和计数标记等。
[0106] 3)确定目标跟踪策略。本发明选择的目标跟踪方法为基于特征的多目标跟踪方 法，采用双向关联的目标关联规则，即当DP中的目标A在DC中可W找到唯一最大相似的的 目标B，而目标B在DP中也能找到唯一最大相似的目标A时，A目标和B目标记为强关联即 跟踪成功。
[0107] 4)选择目标特征的相似度判定方法。该里的目标特征包括目标的中屯、位置，目标 的深度，目标间的重叠面积。通过该些特征的相似度的线性组合判断目标之间是否相似，相 似度计算公式如下，
[0108] P=a*0(Xocat)+b* 0(cbpt)+C* 0(overlap)(1)
[0109] 其中，0 (?)表示欧氏距离相似度函数，a,b，c代表线性系数。当P大于相似度 阔值，则认为相似，否则不相似。
[0110] 5)确定计数规则并计数。根据跟踪的结果，如果新的目标链判断目标已经达到计 数要求，则根据其运动方向对应的进行计数。其中所述的计数要求为目标当前位置在Ai或As,且其初始位置不在当前区域，初始位置与当前位置差距大于设定阔值化。we，且目标在整 个目标链中出现3帖W上，否则不予计数。该样做的目的在于消除徘徊的干扰（如图6所 示）。
[01川6)进行目标跟踪，当Ai，As中有新目标出现时，将其加入目标链DP中，记录其初始 位置和初始顺序，对当前帖目标链DC中的目标和DP中的目标做相似性判断，找出DP中的 目标在DC中的关联关系，记为DPConf(如图5所示）。
[0112]
[011引其中DPSimilar表示公式（1)中的P，化Gate表示相似度阔值。
[0114] 7)根据公式似中的关系，确定目标的运动轨迹（如图5所示）：
[01巧]当DPConf= 1表示第N帖中的目标obj_l与化1帖中的目标obj_n相似性很高， 定义为强关联性即完全匹配。
[0116] 当DPConf= 12表示第N帖中的目标obj_l与化1帖中的目标obj_n相似性较弱， 定义为弱关联性即可疑区域。
[0117] 当DPConf= 13表示第N帖中的目标obj_l与化1帖中的目标obj_n相似性很弱， 定义为非关联性。
[011引 当DPConf= 3表示第化1帖中新出现的目标obj_n。
[0119] 当DPConf= 4表示第N帖中的目标obj_n在第化1帖中目标消失。
[0120] 8)根据判断，将DC中与DP强关联的目标更新到目标链中，将弱关联的目标加入可 W目标链DM中在下一帖中进行再次判断。
[0121] 9)当目标链DP中的目标从AiW外的区域越过了L1，且该目标满足在视频中出现 3帖W上，未计数过，且初始位置和当前位置有一定的差距时，判定该目标离开场景中，该假 设建立在上出下进的计数方向上（如图6所示）。
[om] 10)同理，当目标链DP中的目标从A3W外的区域越过了L2,且该目标满足在视频 中出现3帖W上，未计数过，且初始位置和当前位置有一定的差距时，判定该目标进入场景 中；该假设建立在上出下进的计数方向上（如图6所示）。
[0123] 11)在跟踪过程中，还提供了一些目标不连续的情况处理。
[0124] 参见图7和图8,其所示为本发明基于上述人流量统计方法实现的一种实时的人 流量统计系统的示意图。
[0125] 由图可知，该人流量统计系统主要包括：双目相机，前端客流计数仪、网络传输模 块和终端数据分析模块。
[0126] 本系统中的双目相机用于拍摄行人进出口的双目视频图像。
[0127] 参见图9,本发明中双目相机的位置关系为水平左右放置，所拍摄的双目图像为左 右对应极限水平接近平行。镜头的间距和镜头的焦距符合场景的计数需求和安装需求。具 体为；视野要求较小且安装条件固定的场景如公交车，大己车口等镜头间距一般在5cm左 右，镜头焦距一般为3. 5-5mm。视野要求大的场景如会馆等通道则选用间距稍大，焦距为 5mmW上的镜头。
[0128] 另外，该双目相机还具有内置的LED照明，即使全黑的条件下也可W使用。
[0129] 前端客流计数仪，其用于实时采集和处理双目相机拍摄的行人进出口的双目视频 图像。
[0130] 该前端客流计数仪主要由DSP双目采集模块和视频处理模块构成中。
[0131] 其中，双目采集模块与双目相机数据相接，用于连续且同步采集左右图像。
[0132] 而DSP视频处理模块与双目采集模块数据相接，其内部集成有基于上述多场景人 流量统计方法形成的多场景人流量统计算法，并利用该人流量统计算法对双目采集模块采 集的双目视频图像进行人流量统计；
[0133] 该里的DSP视频处理模块具体实施时采用DSP64X系列处理器，其内集成有基于上 述多场景人流量统计方法形成的多场景人流量统计算法，进行实时的处理速度。
[0134] 另外，该DSP视频处理模块上设置有视频输入接口、10通信接口、串口通信接口 (参见图10)。
[01巧]DSP视频处理模块上的10接口模块提供了装置的开关信号通信接口，使得本发明 装置可W和其它设备进行连接，并控制装置的开关模式。
[0136]DSP视频处理模块上的串口通信接口提供了一系列接口，包括RS232,RS485,W及 USB等接口。用户可W通过该些接口，方便的进行算法的参数配置，W及下载计数的记录。
[0137]系统中的网络传输模块，其分别与DSP视频处理模块W及终端数据分析模块数据 相接，用于将双目采集模块采集的双目视频图像W及DSP视频处理模块统计的结果发送至 终端数据分析模块；
[0138]该网络传输模块提供了不同的传输模式W满足不同的场景条件，可W将计数结果 传输到其它终端，包含有线和无线两种，其中有线模式采用网线和路由的传送方式，无线模 式则采用GI^S模块和车载2G/3G模块进行传输。
[0139] 系统中终端数据分析模块，其主要用于后端客流数据的管理，通过强大的数据分 析建模功能对DSP视频处理模块统计的结果进行分析，该终端数据分析模炔基于时间和空 间的参数，提供一系列反应人数和时间和空间关系的数据报表，为决策者提供有利的数据 支持和依据。
[0140] 参见图11，终端数据分析模块除了基本的建模分析功能，其还具记录查询模块、饼 状图分析模块、 折线图报表模块、柱状图分析模块。由此构成的终端数据分析模块通过网络 传输模块或者USB下载记录等方式对前端的计数结果进行进一步分析，构建时空模型，制 定出一系列反应用户需求的数据报表，为决策者提供有利的数据支持和依据。
[0141] 下面针对不同的应用场景分别说明本发明的应用方案。
[0142] 移动模式，典型场景如公交、大己等移动出入口。该模式下，双目相机和DSP设备 安装在移动的出入口，终端数据分析模块安装在公交公司，方便后台的调度。其中，双目相 机模块的安装；一般根据车辆的高度，大约在220cm-240cm，垂直向下安装。根据本发明中 双目相机焦距和间距的特性，完全可W符合此场景的要求；DSP模块的连接和安装；DSP处 理模块具有视频输入接口W及10通信接口、RS232、RS485串口，方便和车载设备连接。将 双目相机的视频输出输入到DSP视频采集模块中，DSP通过上述人流量计数算法，将结果通 过移动GPRS或2G、3G网络传输到后台。DSP处理器的开关状态可W由车口开关信号通过 10接口控制，也可W通过手动控制。通过车口的开关信号控制计数器的开启和关闭可W避 免行车期间人头在车口附近的晃动造成的错误。
[0143] 固定模式，典型场景为商场、展馆、宾馆、车站、路口等。该场景下的实施方式去上 一个实施方式的一个差别在于前端相机的安装高度一般在220cm或者更高250cmW上，选 择对应场景的双目相机即可；另一个不同之处在于计数设备和后台处理的网络传输方式， 由于场景的固定，可选择有线或无线的W太网进行传输，速度快，更安全可靠；计数设备的 开关一般只设置手动开关，而不再需要和外部10接口通信。
[0144] 在固定模式下，双目相机的安装还可W进行多个级联，针对出入口通道叫宽，双目 相机的视野不能够满足拍摄到整个出入口时，可W选择安装多个双目相机，多个计数设备， 最后在后台对接收的人流量数据进行整合，实现计数功能。
[0145]W上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术 人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本 发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，该些变 化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其 等效物界定。
【主权项】
1. 一种基于立体视觉的多场景人流量统计方法，其特征在于，所述方法包括如下步 骤： (1) 同步采集双目图像； (2) 对双目图像进行校正，生成对应极线平行的双目图像对； (3) 将校正过的双目图像进行立体匹配，生成双目图像视差图； (4) 在生成的视差图中对行人目标进行检测； (5) 在视差图像中对行人目标进行跟踪和计数。2. 根据权利要求1所述的一种基于立体视觉的多场景人流量统计方法，其特征在于， 所述步骤（1)中利用水平平行的双目相机采集图像，使得左右图像的对应水平极线尽可能 平行，且左右相机同时进行连续采集。3. 根据权利要求1所述的一种基于立体视觉的多场景人流量统计方法，其特征在于， 所述步骤（2)中校正双目图像的过程如下： 21) 采用离线标定的方式对双目相机分别进行标定，得到双目相机的标定参数； 22) 通过双目摄像机实时采集图像数据，得到原始的双目图像； 23) 再基于Bouguet算法，对双目相机采集的原始的双目图像进行校正，得到极线平行 的双目图像。4. 根据权利要求1所述的一种基于立体视觉的多场景人流量统计方法，其特征在于， 所述步骤（3)中对双目图像进行立体匹配的过程如下： 31) 首先对校正好的的双目图像进行亮度归一化和加强纹理的预处理； 32) 基于SAD窗口进行搜索得到对应匹配点，得到相应的初始视差图； 33) 匹配过程结束之后，对匹配得到的初始视差图进行再过滤，去除坏的匹配点，输出 视差连续的双目图像视差图。5. 根据权利要求1所述的一种基于立体视觉的多场景人流量统计方法，其特征在于， 步骤（4)中进行行人目标检测时，根据步骤（3)确定的双目图像视差图的特性，对视差图采 用分层二值化后再进行连通域检测。6. 根据权利要求5所述的一种基于立体视觉的多场景人流量统计方法，其特征在于， 所述检测过程如下： 41) 采用分层阈值的二值化方法，进行连通域扫描，首先扫描阈值最大层的连通域，对 符合条件的连通域标记为行人目标； 42) 然后依次降低阈值进行二值化，并进行连通域扫描，将扫描结果和上一层进行分析 比较，保留新目标，更新旧目标，去除伪目标； 43) 当所有层都进行过连通域检测或在某一层出现了目标粘连时，停止检测。7. 根据权利要求1所述的一种基于立体视觉的多场景人流量统计方法，其特征在于， 所述步骤（5)中进行行人目标跟踪和计数时，首先，通过对帧与帧之间的目标进行关联实 现目标跟踪，再通过目标跟踪，计算出目标在不同帧中的运动轨迹，并分析目标的进出方向 进行计数。8. 根据权利要求7所述的一种基于立体视觉的多场景人流量统计方法，其特征在于， 具体跟踪和计数时，采用基于特征的多目标跟踪方法，得到人的运动轨迹，并根据事先规定 的计数规则，当运动到某个地方满足计数要求时进行计数，其中特征采用了人的深度，位置 和重叠面积；计数规则为双线计数，即同时通过两条线的运动目标才计数。9. 一种基于立体视觉的多场景人流量统计系统，其特征在于，所述统计系统包括： 双目相机，所述双目相机用于拍摄行人进出口的双目视频图像； 双目采集模块，所述双目采集模块同步采集双目相机拍摄的双目视频图像； DSP视频处理模块，所述DSP视频处理模炔基于权利要求1-8中任一项所述的多场景人 流量统计方法对双目采集模块采集的双目视频图像进行人流量统计； 网络传输模块，所述网络传输模块将双目采集模块采集的双目视频图像以及DSP视频 处理模块统计的结果发送至终端数据分析模块； 终端数据分析模块，所述终端数据分析模炔基于时间和空间对DSP视频处理模块统计 的结果进行分析。10. 根据权利要求9所述的一种基于立体视觉的多场景人流量统计系统，其特征在于， 所述双目相机水平放置，其镜头焦距和镜头间距可根据应用场景对视野大小限制的条件以 及场景的安装条件进行选择和调节。11. 根据权利要求9所述的一种基于立体视觉的多场景人流量统计系统，其特征在于， 所述网络传输模块提供的传输模式包含有线和无线，其中有线模式采用网线和路由的传送 方式，无线模式则采用GPS模块和车载2G/3G模块进行传输。12. 根据权利要求9所述的一种基于立体视觉的多场景人流量统计系统，其特征在于， 所述DSP视频处理模块上集成有多场景人流量统计算法，并且其上还具有视频输入接口、 IO通信接口、串口通信接口。13. 根据权利要求12所述的一种基于立体视觉的多场景人流量统计系统，其特征在 于，所述DSP视频处理模块采用DSP64X系列处理器。14. 一种双目相机，其包括双目相机本体，其特征在于，所述本体内设置有DSP双目采 集模块和视频处理模块，其中的双目采集模块同步采集双目相机拍摄的双目视频图像；DSP 视频处理模炔基于上述的多场景人流量统计方法对双目采集模块采集的双目视频图像进 行人流量统计。
【专利摘要】本发明公开了一种基于立体视觉的多场景人流量统计方法、系统以及双目相机，其中人流量统计方法基于双目立体视觉，首先将行平行的双目相机拍摄出的双目图像进行校正，得到极线平行的双目图像；接着将校正过的双目图像进行立体匹配得到视差图像；再者在得到的视差图像中检测行人目标；最后根据检测目标的属性特征，对目标进行跟踪计数。而人流量统计系统由双目相机、DSP双目采集和视频处理模块、网络传输模块以及终端数据分析模块配合构成。通过过本发明提供的人流量统计方法和系统，可以准确的统计不同人流进出口场景下的人数并为决策者提供数据支持。
【IPC分类】G06T7/00, G07C9/00, H04N13/00
【公开号】CN104902258
【申请号】CN201510313461
【发明人】李滇博, 段娜, 王文斐, 吴轶轩, 梅林
【申请人】公安部第三研究所
【公开日】2015年9月9日
【申请日】2015年6月9日
最新回复(0)