一种生成视频浓缩摘要的方法、装置及设备的制造方法

一种生成视频浓缩摘要的方法、装置及设备的制造方法
【技术领域】
[0001] 本发明涉及数字视频领域，特别涉及一种生成视频浓缩摘要的方法、装置及设备。
【背景技术】
[0002] 当前，公共安全受到社会各界广泛关注，由此产生了海量的监控视频。人们为了从 监控视频中寻找线索，需要观看几个几十甚至几百个小时的监控视频，耗费大量的人力和 时间。因此，如果对原始监控视频进行浓缩，以将原始监控视频变为几分钟或几十分钟的视 频浓缩摘要，视频浓缩摘要是对原始监控视频的视频内容的概括，如此人们可以通过观看 视频浓缩摘要来快速寻找线索。
[0003] 目前，现有技术提供了一种生成视频浓缩摘要的方法，可以为：从监控视频中获取 一运动物体，运动物体是监控视频中处于运动状态的人或车等物体。从监控视频中获取包 括该运动物体的各视频图像，将每张视频图像中包含的该运动物体的图像按时间顺序组成 该运动物体的运动轨迹。按上述相同方式获取监控视频中的每个运动物体的运动轨迹，再 获取每个运动物体的运动轨迹在视频浓缩摘要中的起始帧的帧号。从监控视频中选取多张 视频图像，去除选取的每张视频图像中包含的运动物体的图像，将去除后的视频图像作为 视频浓缩摘要的背景图像并组成一段视频。根据每个运动物体的运动轨迹在视频浓缩摘 要中的起始帧的帧号，分别将每个运动物体的运动轨迹插入到该段视频中得到视频浓缩摘 要。
[0004] 在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
[0005] 在监控视频中可能有多个运动物体的运动轨迹存在冲撞点，冲撞点可以为多个运 动物体的运动轨迹的交点，冲撞点表示多个运动物体存在接触。例如，两个人的运动轨迹存 在的冲撞点可能是两个人存在身体上的接触，如两个人打架。现有技术在生成视频浓缩摘 要时，分别将每个运动物体的运动轨迹插入到视频中，可能使多个运动物体的运动轨迹存 在冲撞点消失，如此导致重要信息丢失。

【发明内容】

[0006] 为了保存视频中的重要信息，本发明提供了一种生成视频浓缩摘要的方法、装置 及设备。所述技术方案如下：
[0007] 第一方面，一种生成视频浓缩摘要的装置，所述装置包括：
[0008] 第一获取模块，用于从视频中获取第一运动轨迹集合，所述第一运动轨迹集合包 括所述视频中的每个运动物体的运动轨迹；
[0009] 合并模块，用于将所述第一运动轨迹集合中的相互之间的间距小于预设第一阈值 的多条运动轨迹合并为一条运动轨迹，将合并后的运动轨迹和所述第一运动轨迹集合中未 合并的运动轨迹组成第二运动轨迹集合；
[0010] 生成模块，用于根据所述第二运动轨迹集合生成所述视频的视频浓缩摘要。
[0011] 结合第一方面，在第一方面的第一种可能的实现方式中，所述合并模块包括：
[0012] 第一选择单元，用于从所述第一运动轨迹集合中选择相互之间的间距小于预设第 一阈值的多条运动轨迹；
[0013] 第二选择单元，用于从所述多条运动轨迹的起始时间中选择最小起始时间以及从 所述多条运动轨迹的结束时间中选择最大结束时间；
[0014] 合并单元，用于将所述多条运动轨迹合并为一条运动轨迹，并设置合并得到的所 述一条运动轨迹的起始时间为所述最小起始时间以及结束时间为所述最大结束时间。
[0015] 结合第一方面，在第一方面的第二种可能的实现方式中，所述装置还包括：
[0016] 第二获取模块，用于从所述视频中获取包含第一运动物体和第二运动物体的视频 图像，所述第一运动物体和所述第二运动物体分别为所述视频中的任意两个运动物体；
[0017] 计算模块，用于计算获取的每张视频图像中的所述第一运动物体与所述第二运动 物体之间的距离；
[0018] 选择模块，用于从所述计算的距离中选择最小距离，并将所述最小距离作为所述 第一运动物体的运动轨迹与所述第二运动物体的运动轨迹之间的间距。
[0019] 结合第一方面，在第一方面的第三种可能的实现方式中，所述生成模块包括：
[0020] 第三选择单元，用于从所述第二运动轨迹集合中选择起始时间最早或长度最长的 一个运动物体的运动轨迹，设置所述选择的运动物体的运动轨迹在视频浓缩摘要缓存中的 起始帧的帧号为所述视频浓缩摘要缓存的第一帧；
[0021] 第四选择单元，用于从所述第二运动轨迹集合中未选择的运动物体的运动轨迹中 选择起始时间最早或长度最长的一个运动物体的运动轨迹作为第三运动物体的运动轨迹， 设置所述第三运动物体的运动轨迹的起始帧号；
[0022] 第一确定单元，用于根据所述第三运动物体的运动轨迹的起始帧号，确定所述第 三运动物体与所述视频浓缩摘要缓存中的运动物体之间的遮挡程度是否满足预设条件；
[0023] 设置单元，用于如果满足预设条件，则将所述第三运动物体的运动轨迹在视频浓 缩摘要缓存中的起始帧的帧号设置为所述第三运动物体的运动轨迹的起始帧号；
[0024] 插入单元，用于获取所述视频浓缩摘要的背景图像并组成一段视频；根据所述第 二运动轨迹集合中的每条运动轨迹在视频浓缩摘要缓存中的起始帧的帧号，分别将所述第 二运动轨迹集合中的每条运动轨迹插入所述组成的一段视频中得到所述视频浓缩摘要。
[0025] 结合第一方面，在第一方面的第四种可能的实现方式中，所述第四选择单元包 括：
[0026] 第一设置子单元，用于设置所述第三运动物体的运动轨迹的起始帧号为所述视频 浓缩摘要缓存的第一帧；或，
[0027] 第二设置子单元，用于设置所述第三运动物体的运动轨迹的起始帧号大于或等于 在所述第三运动物体之前最近一次选择的运动物体的运动轨迹在视频浓缩摘要缓存中的 起始中贞。
[0028] 结合第一方面，在第一方面的第五种可能的实现方式中，所述确定单元包括：
[0029] 获取子单元，用于根据所述第三运动物体的运动轨迹的起始帧号，获取视频浓缩 摘要缓存中包含所述第三运动物体和第四运动物体的视频图像，所述第四运动物体为所述 视频浓缩摘要缓存中的任一运动物体；
[0030] 计算子单元，用于根据所述获取的视频图像，计算所述第三运动物体与所述第四 运动物体之间的冲撞度；
[0031] 确定子单元，用于如果所述第三运动物体与所述视频浓缩摘要缓存中每个运动物 体之间的冲撞度小于预设第二阈值，则确定所述第三运动物体与所述视频浓缩摘要缓存中 的运动物体之间的遮挡程度满足预设条件。
[0032] 结合第一方面，在第一方面的第六种可能的实现方式中，所述计算子单元具体用 于计算所述获取的每张视频图像中的所述第三运动物体和所述第四运动物体之间相互遮 挡的区域包括的像素点的个数；
[0033] 根据所述每张视频图像中的所述第三运动物体和所述第四运动物体之间相互遮 挡的区域包括的像素点的个数计算所述第三运动物体与所述第四运动物体之间的冲撞度。[0034] 结合第一方面，在第一方面的第七种可能的实现方式中，所述计算子单元具体用 于计算所述获取的视频图像中的所述第三运动物体和所述第四运动物体之间相互遮挡的 区域包括的像素点的第一个数；
[0035] 计算所述第一个数与所述获取的视频图像中的所述第四物体的图像包括的像素 点的个数之间的比值，将所述比值作为所述获取的视频图像对应的比值；
[0036] 根据获取的每张视频图像对应的比值计算所述第三运动物体与所述第四运动物 体之间的冲撞度。
[0037] 结合第一方面，在第一方面的第八种可能的实现方式中，
[0038] 所述计算子单元具体用于计算所述获取的视频图像中的所述第三运动物体和所 述第四运动物体之间相互遮挡的区域包括的像素点的第一个数；
[0039] 计算所述第一个数与所述获取的视频图像中的所述第三物体的图像包括的像素 点的个数之间的第一比值，以及计算所述第一个数与所述获取的视频图像中的所述第四物 体的图像包括的像素点的个数之间的第二比值；
[0040] 如果所述第一比值大于或等于所述第二比值，则将所述第一比值确定为所述获取 的视频图像对应的比值，否则，将所述第二比值确定为所述获取的视频图像对应的比值；
[0041] 根据获取的每张视频图像对应的比值计算所述第三运动物体与所述第四运动物 体之间的冲撞度。
[0042] 结合第一方面，在第一方面的第九种可能的实现方式中，所述生成模块还包括：
[0043] 增加单元，用于如果不满足预设条件，则增加所述第三运动物体的运动轨迹的起 始帧号，再根据所述第三运动物体的运动轨迹的起始帧号，确定所述第三运动物体与所述 视频浓缩摘要缓存中的运动物体之间的遮挡程度是否满足预设条件。
[0044] 结合第一方面，在第一方面的第十种可能的实现方式中，所述生成模块还包括：
[0045] 获取单元，用于根据所述第三运动物体的运动轨迹的起始帧号，获取所述视频浓 缩摘要缓存中包含所述第三运动物体的视频图像，确定所述获取的每张视频图像中包含的 运动物体的数目是否都小于预设第三阈值，如果都小于，则执行根据所述第三运动物体的 运动轨迹的起始帧号，确定所述第三运动物体与所述视频浓缩摘要缓存中的运动物体之间 的遮挡程度是否满足预设条件的步骤。
[0046] 结合第一方面，在第一方面的第十一种可能的实现方式中，所述获取单元还包 括：
[0047] 增加子单元，用于如果不都小于，则增加所述第三运动物体的运动轨迹的起始帧 号，再根据所述第三运动物体的运动轨迹的起始帧号，获取所述视频浓缩摘要缓存中包含 所述第三运动物体的视频图像，确定所述获取的每张视频图像中包含的运动物体的数目是 否都小于预设第三阈值。
[0048] 结合第一方面，在第一方面的第十二种可能的实现方式中，其特征在于，所述装置 还包括：
[0049] 切割模块，用于对所述第二运动轨迹集合中长度超过预设长度的运动轨迹进行切 害I]，得到长度不超过预设长度的运动轨迹。
[0050] 结合第一方面，在第一方面的第十三种可能的实现方式中，所述切割模块包括：
[0051] 第二确定单元，用于如果长度超过预设长度的运动轨迹中存在冲撞点，则确定第 一切割点和第二切割点，所述第一切割点位于所述冲撞点之前，所述第二切割点位于所述 冲撞点之后，所述第一切割点与所述第二切割点之间的长度不超过预设长度；
[0052] 切割单元，用于根据所述第一切割点和所述第二切割点，对所述长度超过预设长 度的运动轨迹进行切割。
[0053] 第二方面，一种生成视频浓缩摘要的方法，所述方法包括：
[0054] 从视频中获取第一运动轨迹集合，所述第一运动轨迹集合包括所述视频中的每个 运动物体的运动轨迹；
[0055] 将所述第一运动轨迹集合中的相互之间的间距小于预设第一阈值的多条运动轨 迹合并为一条运动轨迹，将合并后的运动轨迹和所述第一运动轨迹集合中未合并的运动轨 迹组成第二运动轨迹集合；
[0056] 根据所述第二运动轨迹集合生成所述视频的视频浓缩摘要。
[0057] 结合第二方面，在第二方面的第一种可能的实现方式中，所述将所述第一运动轨 迹集合中的相互之间的间距小于预设第一阈值的多条运动轨迹合并为一条运动轨迹，包 括：
[0058] 从所述第一运动轨迹集合中选择相互之间的间距小于预设第一阈值的多条运动 轨迹；
[0059] 从所述多条运动轨迹的起始时间中选择最小起始时间以及从所述多条运动轨迹 的结束时间中选择最大结束时间；
[0060] 将所述多条运动轨迹合并为一条运动轨迹，并设置合并得到的所述一条运动轨迹 的起始时间为所述最小起始时间以及结束时间为所述最大结束时间。
[0061] 结合第二方面，在第二方面的第二种可能的实现方式中，所述将所述第一运动轨 迹集合中的相互之间的间距小于预设第一阈值的多条运动轨迹合并为一条运动轨迹之前， 还包括：
[0062] 从所述视频中获取包含第一运动物体和第二运动物体的视频图像，所述第一运动 物体和所述第二运动物体分别为所述视频中的任意两个运动物体；
[0063] 计算获取的每张视频图像中的所述第一运动物体与所述第二运动物体之间的距 离；
[0064] 从所述计算的距离中选择最小距离，并将所述最小距离作为所述第一运动物体的 运动轨迹与所述第二运动物体的运动轨迹之间的间距。
[0065] 结合第二方面，在第二方面的第三种可能的实现方式中，所述根据所述第二运动 轨迹集合生成所述视频的视频浓缩摘要，包括：
[0066] 从所述第二运动轨迹集合中选择起始时间最早或长度最长的一个运动物体的运 动轨迹，设置所述选择的运动物体的运动轨迹在视频浓缩摘要缓存中的起始帧的帧号为所 述视频浓缩摘要缓存的第一帧；
[0067] 从所述第二运动轨迹集合中未选择的运动物体的运动轨迹中选择起始时间最早 或长度最长的一个运动物体的运动轨迹作为第三运动物体的运动轨迹，设置所述第三运动 物体的运动轨迹的起始帧号；
[0068] 根据所述第三运动物体的运动轨迹的起始帧号，确定所述第三运动物体与所述视 频浓缩摘要缓存中的运动物体之间的遮挡程度是否满足预设条件；
[0069] 如果满足预设条件，则将所述第三运动物体的运动轨迹在视频浓缩摘要缓存中的 起始帧的帧号设置为所述第三运动物体的运动轨迹的起始帧号；
[0070] 获取所述视频浓缩摘要的背景图像并组成一段视频；根据所述第二运动轨迹集合 中的每条运动轨迹在视频浓缩摘要缓存中的起始帧的帧号，分别将所述第二运动轨迹集合 中的每条运动轨迹插入所述组成的一段视频中得到所述视频浓缩摘要。
[0071] 结合第二方面，在第二方面的第四种可能的实现方式中，所述设置所述第三运动 物体的运动轨迹的起始帧号，包括：
[0072] 设置所述第三运动物体的运动轨迹的起始 帧号为所述视频浓缩摘要的第一帧； 或，
[0073] 设置所述第三运动物体的运动轨迹的起始帧号大于或等于在所述第三运动物体 之前最近一次选择的运动物体的运动轨迹在视频浓缩摘要中的起始帧。
[0074] 结合第二方面，在第二方面的第五种可能的实现方式中，所述根据所述第三运动 物体的运动轨迹的起始帧号，确定所述第三运动物体与所述视频浓缩摘要中的运动物体之 间的遮挡程度是否满足预设条件，包括：
[0075] 根据所述第三运动物体的运动轨迹的起始帧号，获取视频浓缩摘要缓存中包含所 述第三运动物体和第四运动物体的视频图像，所述第四运动物体为所述视频浓缩摘要缓存 中的任一运动物体；
[0076] 根据所述获取的视频图像，计算所述第三运动物体与所述第四运动物体之间的冲 撞度；
[0077] 如果所述第三运动物体与所述视频浓缩摘要缓存中每个运动物体之间的冲撞度 小于预设第二阈值，则确定所述第三运动物体与所述视频浓缩摘要缓存中的运动物体之间 的遮挡程度满足预设条件。
[0078] 结合第二方面，在第二方面的第六种可能的实现方式中，所述根据所述获取的视 频图像，计算所述第三运动物体与所述第四运动物体之间的冲撞度，包括：
[0079] 计算所述获取的每张视频图像中的所述第三运动物体和所述第四运动物体之间 相互遮挡的区域包括的像素点的个数；
[0080] 根据所述每张视频图像中的所述第三运动物体和所述第四运动物体之间相互遮 挡的区域包括的像素点的个数计算所述第三运动物体与所述第四运动物体之间的冲撞度。
[0081] 结合第二方面，在第二方面的第七种可能的实现方式中，所述根据所述获取的视 频图像，计算所述第三运动物体与所述第四运动物体之间的冲撞度，包括：
[0082] 计算所述获取的视频图像中的所述第三运动物体和所述第四运动物体之间相互 遮挡的区域包括的像素点的第一个数；
[0083] 计算所述第一个数与所述获取的视频图像中的所述第四物体的图像包括的像素 点的个数之间的比值，将所述比值作为所述获取的视频图像对应的比值；
[0084] 根据获取的每张视频图像对应的比值计算所述第三运动物体与所述第四运动物 体之间的冲撞度。
[0085] 结合第二方面，在第二方面的第八种可能的实现方式中，所述根据所述获取的视 频图像，计算所述第三运动物体与所述第四运动物体之间的冲撞度，包括：
[0086] 计算所述获取的视频图像中的所述第三运动物体和所述第四运动物体之间相互 遮挡的区域包括的像素点的第一个数；
[0087] 计算所述第一个数与所述获取的视频图像中的所述第三物体的图像包括的像素 点的个数之间的第一比值，以及计算所述第一个数与所述获取的视频图像中的所述第四物 体的图像包括的像素点的个数之间的第二比值；
[0088] 如果所述第一比值大于或等于所述第二比值，则将所述第一比值确定为所述获取 的视频图像对应的比值，否则，将所述第二比值确定为所述获取的视频图像对应的比值；[0089] 根据获取的每张视频图像对应的比值计算所述第三运动物体与所述第四运动物 体之间的冲撞度。
[0090] 结合第二方面，在第二方面的第九种可能的实现方式中，所述方法还包括：
[0091] 如果不满足预设条件，则增加所述第三运动物体的运动轨迹的起始帧号，再根据 所述第三运动物体的运动轨迹的起始帧号，确定所述第三运动物体与所述视频浓缩摘要缓 存中的运动物体之间的遮挡程度是否满足预设条件。
[0092] 结合第二方面，在第二方面的第十种可能的实现方式中，所述根据所述第三运动 物体的运动轨迹的起始帧号，确定所述第三运动物体与所述视频浓缩摘要缓存中的运动物 体之间的遮挡程度是否满足预设条件之前，还包括：
[0093] 根据所述第三运动物体的运动轨迹的起始帧号，获取所述视频浓缩摘要缓存中包 含所述第三运动物体的视频图像，确定所述获取的每张视频图像中包含的运动物体的数目 是否都小于预设第三阈值，如果都小于，则执行根据所述第三运动物体的运动轨迹的起始 帧号，确定所述第三运动物体与所述视频浓缩摘要缓存中的运动物体之间的遮挡程度是否 满足预设条件的步骤。
[0094] 结合第二方面，在第二方面的第十一种可能的实现方式中，所述方法还包括：
[0095] 如果不都小于，则增加所述第三运动物体的运动轨迹的起始帧号，再根据所述第 三运动物体的运动轨迹的起始帧号，获取所述视频浓缩摘要缓存中包含所述第三运动物体 的视频图像，确定所述获取的每张视频图像中包含的运动物体的数目是否都小于预设第三 阈值。
[0096] 结合第二方面，在第二方面的第十二种可能的实现方式中，所述根据所述第二运 动轨迹集合生成所述视频的视频浓缩摘要之前，还包括：
[0097] 对所述第二运动轨迹集合中长度超过预设长度的运动轨迹进行切割，得到长度不 超过预设长度的运动轨迹。
[0098] 结合第二方面，在第二方面的第十三种可能的实现方式中，所述对所述第二运动 轨迹集合中长度超过预设长度的运动轨迹进行切割，包括：
[0099] 如果长度超过预设长度的运动轨迹中存在冲撞点，则确定第一切割点和第二切割 点，所述第一切割点位于所述冲撞点之前，所述第二切割点位于所述冲撞点之后，所述第一 切割点与所述第二切割点之间的长度不超过预设长度；
[0100] 根据所述第一切割点和所述第二切割点，对所述长度超过预设长度的运动轨迹进 行切割。
[0101] 第三方面，一种设备，所述设备包括：
[0102] 存储器和处理器，用于执行所述一种生成视频浓缩摘要的方法。
[0103] 在本发明实施例中，将第一运动轨迹集合中的相互之间的间距小于预设第一阈值 的多条运动轨迹合并为一条运动轨迹，将合并后的运动轨迹作为一条运动轨迹进行处理， 保留了相互之间的间距小于预设第一阈值的多条运动轨迹之间的冲撞点以及冲撞点包含 的重要信息。
【附图说明】
[0104] 图1是本发明实施例1提供的一种生成视频浓缩摘要的装置结构示意图；
[0105] 图2是本发明实施例2提供的一种生成视频浓缩摘要的方法流程图；
[0106] 图3-1是本发明实施例3提供的一种生成视频浓缩摘要的方法流程图；
[0107] 图3-2是本发明实施例3提供的一种运动物体1和运动物体2的外接矩形框示意 图；
[0108] 图3-3是本发明实施例3提供的一种合并的运动轨迹示意图；
[0109] 图3-4是本发明实施例3提供的一种切割运动轨迹示意图；
[0110] 图4是本发明实施例4提供的一种生成视频浓缩摘要的方法流程图；
[0111] 图5是本发明实施例5提供的一种生成视频浓缩摘要的设备结构示意图。
【具体实施方式】
[0112] 为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方 式作进一步地详细描述。
[0113] 实施例1
[0114] 参见图1，本发明实施例提供了一种生成视频浓缩摘要的装置，包括：
[0115] 第一获取模块101，用于从视频中获取第一运动轨迹集合，第一运动轨迹集合包括 视频中的每个运动物体的运动轨迹；
[0116] 其中，第一获取模块101分别对视频中的每张视频图像进行分割，得到每张视频 图像的前景图像和背景图像；并根据每张视频图像的前景图像获取第一运动轨迹集合，第 一运动轨迹集合包括视频中的每个运动物体的运动轨迹。
[0117] 具体地，第一获取模块101分别对视频中的每张视频图像进行分割，得到每张视 频图像的前景图像和背景图像，从每张视频图像的前景图像中分别提取出每张视频图像包 括的每个运动物体的物体图像并组成物体图像集合；根据物体图像的图像特征对物体图像 集合中的物体图像进行归类，将属于同一运动物体的物体图像归为一类，物体图像的图像 特征包括该物体图像的颜色、大小、梯度和/或灰度值等；根据该运动物体对应的一类物体 图像中的每个物体图像在视频中出现的时间，对该运动物体对应的一类物体图像进行组合 得到该运动物体的运动轨迹，将每个运动物体的运动轨迹组成第一运动轨迹集合。
[0118] 合并模块102,用于将第一运动轨迹集合中的相互之间的间距小于预设第一阈值 的多条运动轨迹合并为一条运动轨迹，将合并后的运动轨迹和第一运动轨迹集合中未合并 的运动轨迹组成第二运动轨迹集合；
[0119] 生成模块103,用于根据第二运动轨迹集合生成视频的视频浓缩摘要。
[0120] 优选地，合并模块102包括：
[0121] 第一选择单元，用于从第一运动轨迹集合中选择相互之间的间距小于预设第一阈 值的多条运动轨迹；
[0122] 第二选择单元，用于从多条运动轨迹的起始时间中选择最小起始时间以及从多条 运动轨迹的结束时间中选择最大结束时间；
[0123] 合并单元，用于将多条运动轨迹合并为一条运动轨迹，并设置合并得到的一条运 动轨迹的起始时间为最小起始时间以及结束时间为最大结束时间。
[0124] 其中，多条运动轨迹相互之间的间距小于预设第一阈值表示多条运动轨迹分别对 应的运动物体相互之间存在接触。例如，两个人的运动轨迹存在的冲撞点可能是两个人存 在身体上的接触，如两个人打架等。预设第一阈值可由技术人员事先设定，可以为10、20或 30等，本发明对此不加以限定。
[0125] 进一步地，该装置还包括：
[0126] 第二获取模块,用于从视频中获取包含第一运动物体和第二运动物体的视频图 像，第一运动物体和第二运动物体分别为视频中的任意两个运动物体；
[0127] 计算模块，用于计算获取的每张视频图像中的第一运动物体与第二运动物体之间 的距离；
[0128] 选择模块，用于从计算的距离中选择最小距离，并将最小距离作为第一运动物体 的运动轨迹与第二运动物体的运动轨迹之间的间距。
[0129] 其中，对于任一张包含第一运动物体和第二运动物体的视频图像，可以按如下方 式计算该张视频图像中的第一运动物体与第二运动物体之间的距离，包括：
[0130] 在该视频图像中，构造第一运动物体的第一外接矩形框和第二运动物体的第二外 接矩形框，第一外接矩形框是该视频图像中包括第一运动物体的图像的最小矩形框，第二 外接矩形框是该视频图像中包括第二运动物体的图像的最小矩形框；确定第一外接矩形框 的第一中心和第二外接矩形框的第二中心，计算第一中心与第二中心之间的距离，将计算 的距离作为第一运动物体与第二运动物体之间的距离。对于其他每张包括第一运动物体和 第二运动物体的视频图像均执行上述操作，可以分别计算出其他每张包括第一运动物体和 第二运动物体的视频图像中的第一运动物体与第二运动物体之间的距离。
[0131] 优选地，生成模块103包括：
[0132] 第三选择单元，用于从第二运动轨迹集合中选择起始时间最早或长度最长的一个 运动物体的运动轨迹，设置选择的运动物体的运动轨迹在视频浓缩摘要缓存中的起始帧的 帧号为视频浓缩摘要缓存的第一帧；
[0133] 其中，可以创建视频浓缩摘要缓存，视频浓缩摘要缓存包括的视频图像的张数大 于或等于预设预设长度，且与视频浓缩摘要包括的视频图像的张数相同。根据视频浓缩摘 要的第一帧的帧号，将选择的运动物体的运动轨迹插入视频浓缩摘要缓存中。
[0134] 第四选择单元，用于从第二运动轨迹集合中未选择的运动物体的运动轨迹中选择 起始时间最早或长度最长的一个运动物体的运动轨迹作为第三运动物体的运动轨迹，设置 第三运动物体的运动轨迹的起始帧号；
[0135] 其中，根据视频浓缩摘要缓存的第一帧的帧号将第三运动物体的运动轨迹插入已 创建的视频浓缩摘要缓存中。
[0136] 第一确定单元，用于根据第三运动物体的运动轨迹的起始帧号，确定第三运动物 体与视频浓缩摘要缓存中的运动物体之间的遮挡程度是否满足预设条件；
[0137] 设置单元，用于如果满足预设条件，则将第三运动物体的运动轨迹在视频浓缩摘 要缓存中的起始帧的帧号设置为第三运动物体的运动轨迹的起始帧号；
[0138] 插入单元，用于获取视频浓缩摘要的背景图像并组成一段视频；根据第二运动轨 迹集合中的每条运动轨迹在视频浓缩摘要缓存中的起始帧的帧号，分别将第二运动轨迹集 合中的每条运动轨迹插入组成的一段视频中得到视频浓缩摘要。
[0139] 优选地，第四选择单元包括：
[0140] 第一设置子单元，用于设置第三运动物体的运动轨迹的起始帧号为视频浓缩摘要 缓存的第一帧；或，
[0141] 第二设置子单元，用于设置第三运动物体的运动轨迹的起始帧号大于或等于在第 三运动物体之前最近一次选择的运动物体的运动轨迹在视频浓缩摘要缓存中的起始帧的 中贞号。
[0142] 优选地，确定单元包括：
[0143] 获取子单元，用于根据第三运动物体的运动轨迹的起始帧号，获取视频浓缩摘要 缓存中包含第三运动物体和第四运动物体的视频图像，第四运动物体为视频浓缩摘要缓存 中的任一运动物体；
[0144] 计算子单元，用于根据获取的视频图像，计算第三运动物体与第四运动物体之间 的冲撞度；
[0145] 其中，计算子单元可以按照如下公式（1)计算第三运动物体与视频浓缩摘要中每 个运动物体之间的冲撞度；
[0146]
[0147] 其中，在上述公式（1)中，r为第三运动物体的运动轨迹，r'为视频浓缩摘要中每 个运动物体的运动轨迹，为r在视频浓缩摘要中的起始帧号，T为r包括的总帧数，St为 在r的帧号为t时，r与r'之间的冲撞度。
[0148] 确定子单元，用于如果第三运动物体与视频浓缩摘要缓存中每个运动物体之间的 冲撞度小于预设第二阈值，则确定第三运动物体与视频浓缩摘要缓存中的运动物体之间的 遮挡程度满足预设条件。
[0149] 优选地，计算子单元具体用于计算获取的每张视频图像中的第三运动物体和第四 运动物体之间相互遮挡的区域包括的像素点的个数；
[0150] 根据每张视频图像中的第三运动物体和第四运动物体之间相互遮挡的区域包括 的像素点的个数计算第三运动物体与第四运动物体之间的冲撞度。
[0151] 具体地，计算子单元用于获取包含第三运动物体和第四运动物体的视频图像，计 算获取的每张视频图像中第三运动物体的外接矩形框与第四运动物体的外接矩形框之间 相互遮挡的区域包括的像素点的第一个数，将第一个数进行求和运算得到第二个数，将第 二个数作为第三运动物体与第四运动物体之间的冲撞度。
[0152] 优选地，计算子单元具体用于计算获取的视频图像中的第三运动物体和第四运动 物体之间相互遮挡的区域包括的像素点的第一个数；
[0153] 计算第一个数与获取的视频图像中的第四物体的图像包括的像素点的个数之间 的比值，将比值作为获取的视频图像对应的比值；
[0154] 根据获取的每张视频图像对应的比值计算第三运动物体与第四运动物体之间的 冲撞度。
[0155] 具体地，计算子单元用于获取包含第三运动物体和第四运动物体的视频图像，对 于获取的每张视频图像，计算该张视频图像中第三运动物体的外接矩形框与第四运动物体 的外接矩形框之间相互遮挡的区域包括的像素点的第一个数，计算第一个数与第四运动物 体的外接矩形框包括的像素点的个数之间的比值；继续按照上述方法计算其他每张视频图 像中第三运动物体的外接矩形框与第四运动物体的外接矩形框之间相互遮挡的区域包括 的像素点的第一个数与第四运动物体的外接矩形框包括的像素点的个数的比值；将计算出 的比值进行求和得到一数值，将该数值作为第三运动物体与第四运动物体之间的冲撞度。
[0156] 优选地，计算子单元具体用于计算获取的视频图像中的第三运动物体和第四运动 物体之间相互遮挡的区域包括的像素点的第一个数；
[0157] 计算第一个数与获取的视频图像中的第三物体的图像包括的像素点的个数之间 的第一比值，以及计算第一个数与获取的视频图像中的第四物体的图像包括的像素点的个 数之间的第二比值；
[0158] 如果第一比值大于或等于第二比值，则将第一比值确定为获取的视频图像对应的 比值，否则，将第二比值确定为获取的视频图像对应的比值；
[0159] 根据获取的每张视频图像对应的比值计算第三运动物体与第四运动物体之间的 冲撞度。
[0160] 具体地，计算子单元用于计算获取的视频图像中的第三运动物体和第四运动物体 之间相互遮挡的区域包括的像素点的第一个数；计算第一个数与获取的视频图像中的第三 物体的图像包括的像素点的个数之间的第一比值，以及计算第一个数与获取的视频图像中 的第四物体的图像包括的像素点的个数之间的第二比值；如果第一比值大于或等于第二比 值，则将第一比值确定为获取的视频图像对应的比值，否则，将第二比值确定为获取的视频 图像对应的比值；根据获取的每张视频图像对应的比值计算第三运动物体与第四运动物体 之间的冲撞度。
[0161] 进一步地，生成模块103还包括：
[0162] 增加单元，用于如果不满足预设条件，则增加第三运动物体的运动轨迹的起始帧 号，再根据第三运动物体的运动轨迹的起始帧号，确定第三运动物体与视频浓缩摘要缓存 中的运动物体之间的遮挡程度是否满足预设条件。
[0163] 进一步地，生成模块103还包括：
[0164] 获取单元，用于根据第三运动物体的运动轨迹的起始帧号，获取视频浓缩摘要缓 存中包含第三运动物体的视频图像，确定获取的每张视频图像中包含的运动物体的数目是 否都小于预设第三阈值，如果都小于，则执行根据第三运动物体的运动轨迹的起始帧号，确 定第三运动物体与视频浓缩摘要缓存中的运动物体之间的遮挡程度是否满足预设条件的 步骤。
[0165] 其中，预设第三阈值为视频浓缩摘要中每张视频图像包括的运动物体的最大个 数；预设第三阈值的数值越大，则视频浓缩摘要中每张视频图像包括的运动物体的个数越 多；预设第三阈值的数值越小，则视频浓缩摘要中每张视频图像包括的运动物体的个数越 少；预设第三阈值可由技术人员事先设定，可以为9、10或11等数值，本发明对此不加以限 定。
[0166] 进一步地，获取单元还包括：
[0167] 增加子单元，用于如果不都小于，则增加第三运动物体的运动轨迹的起始帧号，再 根据第三运动物体的运动轨迹的起始帧号，获取视频浓缩摘要缓存中包含第三运动物体的 视频图像，确定获取的每张视频图像中包含的运动物体的数目是否都小于预设第三阈值。
[0168] 进一步地，该装置还包括：
[0169] 切割模块，用于对第二运动轨迹集合中长度超过预设长度的运动轨迹进行切割， 得到长度不超过预设长度的运动轨迹。
[0170] 其中，预设长度可以为视频浓缩摘要的长度，或第二运动轨迹集合中长度最长的 运动轨迹的长度。
[0171] 优选地，切割模块包括：
[0172] 第二确定单元，用于如果长度超过预设长度的运动轨迹中存在冲撞点，则确定第 一切割点和第二切割点，第一切割点位于冲撞点之前，第二切割点位于冲撞点之后，第一切 割点与第二切割点之间的长度不超过预设长度；
[0173] 切割单元，用于根据第一切割点和第二切割点，对长度超过预设长度的运动轨迹 进行切割。
[0174] 其中，冲撞点可以为多个运动物体的运动轨迹的交点，冲撞点表示多个运动物体 存在接触，因此冲撞点往往包含了有价值的信息，因此需要保留运动轨迹中的冲撞点。
[0175] 在本发明实施例中，将第一运动轨迹集合中的相互之间的间距小于预设第一阈值 的多条运动轨迹合并为一条运动轨迹，将合并后的运动轨迹作为一条运动轨迹进行处理， 保留了相互之间的间距小于预设第一阈值的多条运动轨迹之间的冲撞点以及冲撞点包含 的重要信息；从第二运动轨迹集合中选择起始时间最早的一个运动物体的运动轨迹，设置 第三运动物体的运动轨迹的起始帧号大于或等于在第三运动物体之前最近一次选择的运 动物体的运动轨迹在视频浓缩摘要中的起始帧的帧号，保留了视频中的运动物体的运动轨 迹在视频中出现的先后顺序；通过计算运动物体的运动轨迹与视频浓缩摘要中的运动物体 的运动轨迹之间冲撞度以及设置视频浓缩摘要的每张视频图像包括的运动物体的个数的 最大值，避免视频浓缩摘要的每张视频图像包括的运动物体相互遮挡严重的情况以及拥挤 情况。
[0176] 实施例2
[0177] 参见图2,本发明实施例提供了一种生成视频浓缩摘要的方法，包括：
[0178] 步骤201 :从视频中获取第一运动轨迹集合，第一运动轨迹集合包括视频中的每 个运动物体的运动轨迹；
[0179] 步骤202:将第一运动轨迹集合中的相互之间的间距小于预设第一阈值的多条运 动轨迹合并为一条运动轨迹，将合并后的运动轨迹和第一运动轨迹集合中未合并的运动轨 迹组成第二运动轨迹集合；
[0180] 步骤203:根据第二运动轨迹集合生成视频的视频浓缩摘要。
[0181] 在本发明实施例中，将第一运动轨迹集合中的相互之间的间距小于预设第一阈值 的多条运动轨迹合并为一条运动轨迹，将合并后的运动轨迹作为一条运动轨迹进行处理， 保留了相互之间的间距小于预设第一阈值的多条运动轨迹之间的冲撞点以及冲撞点包含 的重要信息。
[0182] 实施例3
[0183] 本发明实施例提供了一种生成视频浓缩摘要的方法，该方法用于提取视频中每个 运动物体的运动轨迹，将相互之间的间距小于预设第一阈值的多条运动轨迹合并为一条运 动轨迹，将合并和未合并的运动轨迹进行重新排列并与该视频的背景图像组成的一段视频 进行拼接得到视频浓缩摘要。
[0184] 参见图3-1，该方法流程包括：
[0185] 步骤301:分别对视频中的每张视频图像进行分割，得到每张视频图像的前景图 像和背景图像；
[0186] 其中，该视频可以是监控摄像头或摄像机等视频采集设备采集的视频。对于视频 中的每张视频图像，可以采用图像的颜色与梯度相结合的混合高斯模型算法，对该张视频 图像进行背景建模，得到该张视频图像的背景图像。利用图割算法从该张视频图像中去除 该张视频图像的背景图像，得到该张视频图像的前景图像，该前景图像包括该张视频图像 中的运动物体的物体图像。
[0187] 其中，运动物体可以为视频中运动的人、动物和/或车辆等物体。对于同一运动物 体的物体图像通常被拍摄在连续的多张视频图像中。
[0188] 例如，假设视频中包括3张视频图像，分别为视频图像1、视频图像2和视频图像 3,从视频图像1中得到视频图像1的背景图像1和前景图像1，从视频图像2中得到视频图 像2的背景图像2和前景图像2,以及从视频图像3中得到视频图像3的背景图像3和前景 图像3。
[0189] 步骤302 :根据每张视频图像的前景图像获取第一运动轨迹集合，第一运动轨迹 集合包括视频中的每个运动物体的运动轨迹；
[0190] 具体地，从每张视频图像的前景图像中分别提取出每张视频图像包括的每个运动 物体的物体图像并组成物体图像集合；根据物体图像的图像特征，通过根据跟踪技术对物 体图像集合中的物体图像进行归类，将属于同一运动物体的物体图像归为一类，物体图像 的图像特征包括该物体图像的颜色、大小、梯度和/或灰度值等；根据该运动物体对应的一 类物体图像中的每个物体图像在视频中出现的时间，对该运动物体对应的一类物体图像进 行组合得到该运动物体的运动轨迹，将每个运动物体的运动轨迹组成第一运动轨迹集合。
[0191] 例如，假设从前景图像1中提取视频图像1包括的运动物体的物体图像1-1、运动 物体的物体图像1-2和运动物体的物体图像1-3 ;从前景图像2中提取视频图像2包括的 运动物体的物体图像2-1、运动物体的物体图像2-2和运动物体的物体图像2-3 ;从前景图 像3中提取视频图像3包括的运动物体的物体图像3-1、运动物体的物体图像3-2和运动物 体的物体图像3-3 ;将提取的9个物体图像组成物体图像集合。
[0192] 根据物体图像的图像特征对物体图像集合中的物体图像进行归类；将运动物体1 的物体图像1-1、物体图像2-1和物体图像3-1归为一类，将运动物体2的物体图像1-2、物 体图像2-2和物体图像3-2归为一类，以及将运动物体3的物体图像1-3、物体图像2-3和 物体图像3-3归为一类。
[0193] 根据运动物体1对应的物体图像1-1、物体图像2-1和物体图像3-1按其在视频 中出现的时间进行组合得到运动物体1的运动轨迹；根据运动物体2对应的物体图像1-2、 物体图像2-2和物体图像3-2按其在视频中出现的时间进行组合得到运动物体2的运动轨 迹；以及根据运动物体3对应的物体图像1-3、物体图像2-3和物体图像3-3按其在视频中 出现的时间进行组合得到运动物体3的运动轨迹。
[0194] 步骤303 :计算第一运动轨迹集合中任意两个运动物体的运动轨迹相互之间的间 距；
[0195] 具体的，从第一运动轨迹集合中选择任意两个运动物体的运动轨迹，并分别作为 第一运动物体的运动轨迹和第二运动物体的运动轨迹，第一运动物体为第一运动轨迹集合 中任一运动物体，第二运动物体为第一运动轨迹集合中除第一运动物体以外的任一运动物 体；从视频中获取包含第一运动物体和第二运动物体的视频图像，计算获取的每张视频图 像中的第一运动物体与第二运动物体之间的距离；从计算的距离中选择最小距离，并将最 小距离作为第一运动物体的运动轨迹与第二运动物体的运动轨迹之间的间距。
[0196] 其中，对于任一张包含第一运动物体和第二运动物体的视频图像，可以按如下方 式计算该张视频图像中的第一运动物体与第二运动物体之间的距离，包括：
[0197] 在该视频图像中，构造第一运动物体的第一外接矩形框和第二运动物体的第二外 接矩形框，第一外接矩形框是该视频图像中包括第一运动物体的图像的最小矩形框，第二 外接矩形框是该视频图像中包括第二运动物体的图像的最小矩形框；确定第一外接矩形框 的第一中心和第二外接矩形框的第二中心，计算第一中心与第二中心之间的距离，将计算 的距离作为第一运动物体与第二运动物体之间的距离。对于其他每张包括第一运动物体和 第二运动物体的视频图像均执行上述操作，可以分别计算出其他每张包括第一运动物体和 第二运动物体的视频图像中的第一运动物体与第二运动物体之间的距离。
[0198] 例如，如图3-2所示，运动物体1和运动物体2的外接矩形框分别为外接矩形框1 和外接矩形框2,计算外接矩形框1的中心与外接矩形框2的中心之间的距离，将计算的距 离作为运动物体1和运动物体2之间的距离。假设计算的外接矩形框1的中心与外接矩形 框2的中心距离为7,则将7作为运动物体1和运动物体2之间的距离。继续按照上述方法 计算其他每张视频图像中的运动物体1与运动物体2之间的距离，假设计算的距离中7为 最小的距离，则将7作为运动物体1的运动轨迹和运动物体2的运动轨迹之间的间距。
[0199] 步骤304 :将第一运动轨迹集合中的相互之间的间距小于预设第一阈值的多条运 动轨迹合并为一条运动轨迹；
[0200] 具体的，从第一运动轨迹集合中选择相互之间的间距小于预设第一阈值的多条运 动轨迹；从多条运动轨迹的起始时间中选择最小起始时间以及从多条运动轨迹的结束时间 中选择最大结束时间；将多条运动轨迹合并为一条运动轨迹，并设置合并的一条运动轨迹 的起始时间为最小起始时间以及结束时间为最大结束时间。对第一运动轨迹集合中相互之 间的间距小于预设第一阈值的其他多条运动轨迹同样执行上述操作。
[0201] 其中，多条运动轨迹相互之间的间距小于预设第一阈值表示多条运动轨迹分别对 应的运动物体相互之间存在接触。例如，两个人的运动轨迹存在的冲撞点可能是两个人存 在身体 上的接触，如两个人打架等。预设第一阈值可由技术人员事先设定，可以为10、20或 30等，本发明对此不加以限定。
[0202] 例如，假设预设第一阈值为10,参见图3-3,运动物体1的运动轨迹和运动物体2 的运动轨迹之间的距离7小于预设第一阈值10,则将运动物体1的运动轨迹和运动物体2 的运动轨迹合并为一条运动轨迹。假设运动物体1的运动轨迹在视频中的起始时间为第10 帧，运动物体1的运动轨迹在视频中的结束时间为第50帧，运动物体2的运动轨迹在视频 中的起始时间为第30帧，以及运动物体2的运动轨迹在视频中的结束时间为第90帧；则将 第10帧作为合并后的运动轨迹的起始时间，以及将第90帧作为合并后的运动轨迹的结束 时间。
[0203] 步骤305 :将合并后的运动轨迹和第一运动轨迹集合中未合并的运动轨迹组成第 二运动轨迹集合；
[0204] 进一步地，对第二运动轨迹集合中长度超过预设长度的运动轨迹进行切割，得到 长度不超过预设长度的运动轨迹。
[0205] 其中，预设长度可以为视频浓缩摘要的长度，或第二运动轨迹集合中长度最长的 运动轨迹的长度。
[0206] 优选地，对于第二运动轨迹集合中任一条长度超过预设长度的运动轨迹，按如下 方式对该条运动轨迹进行切割，可以为：
[0207] 如果该运动轨迹中存在冲撞点，则根据该冲撞点的位置确定第一切割点和第二切 割点，第一切割点位于该冲撞点之前，第二切割点位于该冲撞点之后，第一切割点与第二切 割点之间的长度不超过预设长度；根据第一切割点和第二切割点，对长度超过预设长度的 运动轨迹进行切割。其中，如果长度超过预设长度的运动轨迹中不存在冲撞点，则只需将该 运动轨迹切割成多段不超过预设长度的运动轨迹。
[0208] 其中，冲撞点可以为多个运动物体的运动轨迹的交点，冲撞点表示多个运动物体 存在接触，因此冲撞点往往包含了有价值的信息，因此需要保留运动轨迹中的冲撞点。
[0209] 例如，如图3-4所不，某一合并后的运动轨迹a_b包括一个冲撞点e，冲撞点e为 该运动轨迹a-b包括的运动物体1的运动轨迹和运动物体2的运动轨迹之间的冲撞点，该 运动轨迹a-b的长度为40帧，假设预设长度为30帧，则该运动轨迹a-b的长度大于预设长 度，分别确定第一切割点c和第二切割点d，第一切割点c与第二切割点d之间的距离小于 或等于30帧，根据第一切割点c和第二切割点d，将运动轨迹a-b切割成3段运动轨迹，分 别为运动轨迹a-c、运动轨迹c-d和运动轨迹d-b。
[0210] 步骤306 :从第二运动轨迹集合中选择长度最长的一个运动物体的运动轨迹，设 置选择的运动物体的运动轨迹在视频浓缩摘要缓存中的起始帧的帧号为视频浓缩摘要缓 存的第一帧；
[0211] 进一步地，获取视频浓缩摘要的长度，即视频浓缩摘要包括的视频图像的数目，例 如，将预设长度作为视频浓缩摘要的长度或将第二运动轨迹集合中最长的运动轨迹的长度 作为视频浓缩摘要的长度；根据视频浓缩摘要的长度创建视频浓缩摘要缓存，视频浓缩摘 要缓存包括的视频图像的数目与视频浓缩摘要包括的视频图像的数目相同，视频浓缩摘要 缓存包括的视频图像可以为空白图像；根据选择的运动物体的运动轨迹在视频浓缩摘要缓 存中的起始帧的帧号，将选择的运动物体的运动轨迹插入视频浓缩摘要缓存中。
[0212] 步骤307 :从第二运动轨迹集合中未选择的运动物体的运动轨迹中选择长度最长 的一个运动物体的运动轨迹作为第三运动物体的运动轨迹，设置第三运动物体的运动轨迹 的起始帧号为视频浓缩摘要缓存的第一帧；
[0213] 进一步地，根据第三运动物体的运动轨迹的起始帧号将第三运动物体的运动轨迹 插入视频浓缩摘要缓存中。
[0214] 步骤308 :获取视频浓缩摘要缓存中包含第三运动物体的视频图像，确定获取的 每张视频图像中包含的运动物体的数目是否都小于预设第三阈值，如果都小于，则步骤 309 ;如果不都小于，执行步骤311 ;
[0215] 从视频浓缩摘要缓存中获取包含第三运动物体的视频图像，获取的视频图像即为 视频浓缩摘要缓存中包含第三运动物体的视频图像。
[0216] 其中，预设第三阈值为视频浓缩摘要缓存中每张视频图像包括的运动物体的最大 个数；预设第三阈值的数值越大，则视频浓缩摘要缓存中每张视频图像包括的运动物体的 个数越多；预设第三阈值的数值越小，则视频浓缩摘要缓存中每张视频图像包括的运动物 体的个数越少；预设第三阈值可由技术人员事先设定，可以为9、10或11等数值，本发明对 此不加以限定。
[0217] 步骤309 :根据第三运动物体的运动轨迹的起始帧号，确定第三运动物体与视频 浓缩摘要缓存中的运动物体之间的遮挡程度是否满足预设条件；如果满足预设条件，执行 步骤310 ;如果不满足预设条件，执行步骤311 ;
[0218] 具体的，根据第三运动物体的运动轨迹的起始帧号，获取视频浓缩摘要缓存中包 含第三运动物体和第四运动物体的视频图像，第四运动物体为视频浓缩摘要缓存中的任一 运动物体；根据获取的视频图像，计算第三运动物体与第四运动物体之间的冲撞度；如果 第三运动物体与视频浓缩摘要缓存中每个运动物体之间的冲撞度小于预设第二阈值，则确 定第三运动物体与视频浓缩摘要缓存中的运动物体之间的遮挡程度满足预设条件。
[0219] 其中，可以按照如下公式（2)计算第三运动物体与视频浓缩摘要缓存中每个运动 物体之间的冲撞度；
[0220]
[0221] 其中，在上述公式（2)中，r为第三运动物体的运动轨迹，r'为视频浓缩摘要缓存 中每个运动物体的运动轨迹，为r在视频浓缩摘要缓存中的起始帧号，T为r包括的总帧 数，St为在r的帧号为t时，r与r'之间的冲撞度。
[0222] 优选的，根据获取的视频图像，计算第三运动物体与第四运动物体之间的冲撞度， 可以通过如下第一至三任一种方式实现，包括：
[0223] 第一种方式、计算获取的每张视频图像中的第三运动物体和第四运动物体之间相 互遮挡的区域包括的像素点的个数；根据每张视频图像中的第三运动物体和第四运动物体 之间相互遮挡的区域包括的像素点的个数计算第三运动物体与第四运动物体之间的冲撞 度；或，
[0224] 具体地，获取包含第三运动物体和第四运动物体的视频图像，计算获取的每张视 频图像中第三运动物体的外接矩形框与第四运动物体的外接矩形框之间相互遮挡的区域 包括的像素点的第一个数，将第一个数进行求和运算得到第二个数，将第二个数作为第三 运动物体与第四运动物体之间的冲撞度。
[0225] 例如，其中某一视频图像中的运动物体3和运动物体4的外接矩形框分别为外接 矩形框3和外接矩形框4,计算外接矩形框3与外接矩形框4之间相互遮挡的区域包括的像 素点的第一个数为10,假设计算出的其他视频图像中的第一个数分别为11、13和15 ;则将 第一个数进行求和得到第二个数为49,将第二个数为49作为运动物体3和运动物体4之间 的冲撞度。
[0226] 第二种方式、计算获取的视频图像中的第三运动物体和第四运动物体之间相互遮 挡的区域包括的像素点的第一个数；计算第一个数与获取的视频图像中的第四物体的图像 包括的像素点的个数之间的比值，将比值作为获取的视频图像对应的比值；根据获取的每 张视频图像对应的比值计算第三运动物体与第四运动物体之间的冲撞度；或，
[0227] 具体地，获取包含第三运动物体和第四运动物体的视频图像，对于获取的每张视 频图像，计算该张视频图像中第三运动物体的外接矩形框与第四运动物体的外接矩形框之 间相互遮挡的区域包括的像素点的第一个数，计算第一个数与第四运动物体的外接矩形框 包括的像素点的个数之间的比值；继续按照上述方法计算其他每张视频图像中第三运动物 体的外接矩形框与第四运动物体的外接矩形框之间相互遮挡的区域包括的像素点的第一 个数与第四运动物体的外接矩形框包括的像素点的个数的比值；将计算出的比值进行求和 得到一数值，将该数值作为第三运动物体与第四运动物体之间的冲撞度。
[0228] 例如，其中某一视频图像中的运动物体3和运动物体4的外接矩形框分别为外接 矩形框3和外接矩形框4,计算外接矩形框3与外接矩形框4之间相互遮挡的区域包括的像 素点的第一个数为10,运动物体4的外接矩形框4包括的像素点的个数为50,计算第一个 数为10与外接矩形框4包括的像素点的第一个数为50的比值0. 2,假设计算出的其他视频 图像中的第一个数外接矩形框4包括的像素点的个数50的比值分别为0. 3、0. 7和0. 4 ;则 将计算出的比值进行求和得到1. 6,将1. 6作为运动物体3与运动物体4之间的冲撞度。
[0229] 第三种方式、计算获取的视频图像中的第三运动物体和第四运动物体之间相互遮 挡的区域包括的像素点的第一个数；计算第一个数与获取的视频图像中的第三物体的图像 包括的像素点的个数之间的第一比值，以及计算第一个数与获取的视频图像中的第四物体 的图像包括的像素点的个数之间的第二比值；如果第一比值大于或等于第二比值，则将第 一比值确定为获取的视频图像对应的比值，否则，将第二比值确定为获取的视频图像对应 的比值；根据获取的每张视频图像对应的比值计算第三运动物体与第四运动物体之间的冲 撞度。
[0230] 具体地，获取包含第三运动物体和第四运动物体的视频图像，对于获取的每张视 频图像，计算该张视频图像中第三运动物体的外接矩形框与第四运动物体的外接矩形框之 间相互遮挡的区域包括的像素点的第一个数，计算第一个数与第三运动物体的外接矩形框 包括的像素点的个数之间的第一比值，以及计算第一个数与第四运动物体的外接矩形框包 括的像素点的个数之间的第二比值；如果第一比值大于或等于第二比值，则将第一比值确 定为该张视频图像对应的比值，否则，将第二比值确定为该张视频图像对应的比值；继续按 照上述方法确定出其他每张视频图像对应的比值；将确定出的比值进行求和得到一数值， 将该数值作为第三运动物体与第四运动物体之间的冲撞度。
[0231] 例如，其中某一视频图像中的运动物体3和运动物体4的外接矩形框分别为外接 矩形框3和外接矩形框4,计算外接矩形框3与外接矩形框4之间相互遮挡的区域包括的像 素点的第一个数为10,运动物体3的外接矩形框3包括的像素点的个数为40,运动物体4 的外接矩形框4的包括的像素点的个数为50,计算第一个数10与外接矩形框3包括的像素 点的个数40的第一比值为0. 25,计算第一个数10与外接矩形框4包括的像素点的个数50 的第二比值为〇. 2,第一比值0. 25大于第二比值0. 2,因此将第一比值0. 25确定为该张视 频图像对应的比值；假设计算出的其他每张视频图像对应的比值分别为0. 3、0. 35和0. 5 ; 则将确定出的比值进行求和得到1. 4,将1. 4作为运动物体3与运动物体4之间的冲撞度。
[0232] 步骤310:将第三运动物体的运动轨迹在视频浓缩摘要缓存中的起始帧的帧号设 置为第三运动物体的运动轨迹的起始帧号；如果第二运动轨迹集合中还存在未选择的运动 物体的运动轨迹，则返回步骤307 ;如果第二运动轨迹集合中不存在未选择的运动物体的 运动轨迹，则执行步骤312 ;
[0233] 其中，获取第三物体的运动轨迹与视频浓缩摘要缓存中的运动轨迹存在冲撞点的 视频图像，对于获取的任一张视频图像，可以按照如下第一或第二种方式进行处理，包括：
[0234] 第一种方式、获取第三运动物体的外接矩形框与第四运动物体外接矩形框相互遮 挡的区域，将第三运动物体的物体图像在该遮挡区域的灰度值作为该遮挡区域的灰度值； 或，
[0235] 第二种方式、获取第三运动物体的外接矩形框与第四运动物体外接矩形框相互遮 挡的区域，获取第三运动物体的物体图像在该遮挡区域的第一灰度值，以及第四运动物体 的物体图像在该遮挡区域的第二灰度值，计算第一灰度值与第二灰度值的平均值，将该平 均值作为该遮挡区域的灰度值。
[0236] 步骤311:增加第三运动物体的运动轨迹的起始帧号，返回步骤308 ;
[0237] 步骤312 :获取视频浓缩摘要的背景图像并组成一段视频；根据每条运动轨迹在 视频浓缩摘要缓存中的起始帧的帧号，分别将每条运动轨迹插入组成的视频中得到视频浓 缩摘要。
[0238] 具体地，获取插入到视频浓缩摘要缓存的运动轨迹包括的总帧数；获取视频中每 帧图像包括的运动物体的个数，获取包括运动物体最多的总帧数个背景图像，将获取的背 景图像按其在视频中出现的先后顺序进行排序，将排序后的背景图像作为视频浓缩摘要的 背景图像；或，计算视频包括的总帧数与插入运动轨迹后的视频浓缩摘要包括的总帧数的 比值，将视频分为比值个视频段，依次从每个视频段中获取一个背景图像，将获取的背景图 像作为视频浓缩摘要的背景图像。将获取的背景图像按照其在视频中出现的先后顺序组成 一段视频，将视频浓缩摘要缓存中的运动轨迹插入组成的视频中，利用改进的泊松图像编 辑技术将运动轨迹与该一段视频中的背景图像进行无缝拼接，进而生成浓缩视频。
[0239] 在本发明实施例中，将第一运动轨迹集合中的相互之间的间距小于预设第一阈值 的多条运动轨迹合并为一条运动轨迹，将合并后的运动轨迹作为一条运动轨迹进行处理， 保留了相互之间的间距小于预设第一阈值的多条运动轨迹之间的冲撞点以及冲撞点包含 的重要信息；通过计算运动物体的运动轨迹与视频浓缩摘要缓存中的运动物体的运动轨迹 之间冲撞度以及设置视频浓缩摘要缓存的每张视频图像包括的运动物体的个数的最大值， 避免生成的视频浓缩摘要的每张视频图像包括的运动物体相互遮挡严重的情况以及拥挤 情况。
[0240] 实施例4
[0241] 本发明实施例提供了一种生成视频浓缩摘要的方法，该方法用于提取视频中每个 运动物体的运动轨迹，将相互之间的间距小于预设第一阈值的多条运动轨迹合并为一条运 动轨迹，将合并和未合并的运动轨迹进行按其在视频中出现的时间顺序重新排列并与该视 频的背景图像组成的一段视频进行拼 接得到视频浓缩摘要。
[0242] 参见图4,该方法流程包括：
[0243] 步骤401-405 :分别与步骤301-305相同，在此就不再详细说明。
[0244] 406 :从第二运动轨迹集合中选择起始时间最早的一个运动物体的运动轨迹，设置 选择的运动物体的运动轨迹在视频浓缩摘要缓存中的起始帧的帧号为视频浓缩摘要缓存 的第一帧；
[0245] 其中，可以创建视频浓缩摘要缓存，视频浓缩摘要缓存包括的视频图像的张数大 于或等于预设预设长度，且与视频浓缩摘要包括的视频图像的张数相同。根据视频浓缩摘 要缓存的第一帧，将选择的运动物体的运动轨迹插入视频浓缩摘要缓存中。
[0246] 407 :从第二运动轨迹集合中未选择的运动物体的运动轨迹中选择起始时间最早 的一个运动物体的运动轨迹作为第三运动物体的运动轨迹，设置第三运动物体的运动轨迹 的起始帧号大于或等于在第三运动物体之前最近一次选择的运动物体的运动轨迹在视频 浓缩摘要缓存中的起始帧的帧号；
[0247] 其中，选择起始时间最早的一个运动物体的运动轨迹作为第三运动物体的运动轨 迹，设置第三运动物体的运动轨迹的起始帧号大于或等于在第三运动物体之前最近一次选 择的运动物体的运动轨迹在视频浓缩摘要缓存中的起始帧，可以保留视频中的运动物体的 运动轨迹在视频中出现的先后顺序；
[0248] 其中，根据在第三运动物体之前最近一次选择的运动物体的运动轨迹在视频浓缩 摘要缓存中的起始帧的帧号，将第三运动物体的运动轨迹插入已创建的视频浓缩摘要缓存 中。
[0249] 步骤408-412 :分别与步骤308-312相同，在此就不再详细说明。
[0250] 在本发明实施例中，将第一运动轨迹集合中的相互之间的间距小于预设第一阈值 的多条运动轨迹合并为一条运动轨迹，将合并后的运动轨迹作为一条运动轨迹进行处理， 保留了相互之间的间距小于预设第一阈值的多条运动轨迹之间的冲撞点以及冲撞点包含 的重要信息；从第二运动轨迹集合中选择起始时间最早的一个运动物体的运动轨迹，设置 第三运动物体的运动轨迹的起始帧号大于或等于在第三运动物体之前最近一次选择的运 动物体的运动轨迹在视频浓缩摘要缓存中的起始帧的帧号，保留了视频中的运动物体的运 动轨迹在视频中出现的先后顺序；通过计算运动物体的运动轨迹与视频浓缩摘要缓存中的 运动物体的运动轨迹之间冲撞度以及设置视频浓缩摘要缓存的每张视频图像包括的运动 物体的个数的最大值，避免视频浓缩摘要缓存的每张视频图像包括的运动物体相互遮挡严 重的情况以及拥挤情况。
[0251] 实施例5
[0252]参见图5，本发明实施例提供了一种设备，该设备包括存储器501和处理器502，用 于执行如下一种生成视频浓缩摘要的方法：
[0253] 从视频中获取第一运动轨迹集合，所述第一运动轨迹集合包括所述视频中的每个 运动物体的运动轨迹；
[0254] 将所述第一运动轨迹集合中的相互之间的间距小于预设第一阈值的多条运动轨 迹合并为一条运动轨迹，将合并后的运动轨迹和所述第一运动轨迹集合中未合并的运动轨 迹组成第二运动轨迹集合；
[0255] 根据所述第二运动轨迹集合生成所述视频的视频浓缩摘要。
[0256] 优选地，所述将所述第一运动轨迹集合中的相互之间的间距小于预设第一阈值的 多条运动轨迹合并为一条运动轨迹，包括：
[0257] 从所述第一运动轨迹集合中选择相互之间的间距小于预设第一阈值的多条运动 轨迹；
[0258] 从所述多条运动轨迹的起始时间中选择最小起始时间以及从所述多条运动轨迹 的结束时间中选择最大结束时间；
[0259] 将所述多条运动轨迹合并为一条运动轨迹，并设置合并得到的所述一条运动轨迹 的起始时间为所述最小起始时间以及结束时间为所述最大结束时间。
[0260] 进一步地，所述将所述第一运动轨迹集合中的相互之间的间距小于预设第一阈值 的多条运动轨迹合并为一条运动轨迹之前，还包括：
[0261] 从所述视频中获取包含第一运动物体和第二运动物体的视频图像，所述第一运动 物体和所述第二运动物体分别为所述视频中的任意两个运动物体；
[0262] 计算获取的每张视频图像中的所述第一运动物体与所述第二运动物体之间的距 离；
[0263] 从所述计算的距离中选择最小距离，并将所述最小距离作为所述第一运动物体的 运动轨迹与所述第二运动物体的运动轨迹之间的间距。
[0264] 优选地，所述根据所述第二运动轨迹集合生成所述视频的视频浓缩摘要，包括 ：
[0265] 从所述第二运动轨迹集合中选择起始时间最早或长度最长的一个运动物体的运 动轨迹，设置所述选择的运动物体的运动轨迹在视频浓缩摘要缓存中的起始帧的帧号为所 述视频浓缩摘要缓存的第一帧；
[0266] 从所述第二运动轨迹集合中未选择的运动物体的运动轨迹中选择起始时间最早 或长度最长的一个运动物体的运动轨迹作为第三运动物体的运动轨迹，设置所述第三运动 物体的运动轨迹的起始帧号；
[0267] 根据所述第三运动物体的运动轨迹的起始帧号，确定所述第三运动物体与所述视 频浓缩摘要缓存中的运动物体之间的遮挡程度是否满足预设条件；
[0268] 如果满足预设条件，则将所述第三运动物体的运动轨迹在视频浓缩摘要缓存中的 起始帧的帧号设置为所述第三运动物体的运动轨迹的起始帧号；
[0269] 获取所述视频浓缩摘要的背景图像并组成一段视频；根据所述第二运动轨迹集合 中的每条运动轨迹在视频浓缩摘要缓存中的起始帧的帧号，分别将所述第二运动轨迹集合 中的每条运动轨迹插入所述组成的一段视频中得到所述视频浓缩摘要。
[0270] 优选地，所述设置所述第三运动物体的运动轨迹的起始帧号，包括：
[0271] 设置所述第三运动物体的运动轨迹的起始帧号为所述视频浓缩摘要的第一帧； 或，
[0272] 设置所述第三运动物体的运动轨迹的起始帧号大于或等于在所述第三运动物体 之前最近一次选择的运动物体的运动轨迹在视频浓缩摘要缓存中的起始帧的帧号。
[0273] 优选地，所述根据所述第三运动物体的运动轨迹的起始帧号，确定所述第三运动 物体与所述视频浓缩摘要缓存中的运动物体之间的遮挡程度是否满足预设条件，包括：
[0274] 根据所述第三运动物体的运动轨迹的起始帧号，获取视频浓缩摘要缓存中包含所 述第三运动物体和第四运动物体的视频图像，所述第四运动物体为所述视频浓缩摘要缓存 中的任一运动物体；
[0275] 根据所述获取的视频图像，计算所述第三运动物体与所述第四运动物体之间的冲 撞度；
[0276] 如果所述第三运动物体与所述视频浓缩摘要缓存中每个运动物体之间的冲撞度 小于预设第二阈值，则确定所述第三运动物体与所述视频浓缩摘要缓存中的运动物体之间 的遮挡程度满足预设条件。
[0277] 优选地，所述根据所述获取的视频图像，计算所述第三运动物体与所述第四运动 物体之间的冲撞度，包括：
[0278] 计算所述获取的每张视频图像中的所述第三运动物体和所述第四运动物体之间 相互遮挡的区域包括的像素点的个数；
[0279] 根据所述每张视频图像中的所述第三运动物体和所述第四运动物体之间相互遮 挡的区域包括的像素点的个数计算所述第三运动物体与所述第四运动物体之间的冲撞度。
[0280] 优选地，所述根据所述获取的视频图像，计算所述第三运动物体与所述第四运动 物体之间的冲撞度，包括：
[0281] 计算所述获取的视频图像中的所述第三运动物体和所述第四运动物体之间相互 遮挡的区域包括的像素点的第一个数；
[0282] 计算所述第一个数与所述获取的视频图像中的所述第四物体的图像包括的像素 点的个数之间的比值，将所述比值作为所述获取的视频图像对应的比值；
[0283] 根据获取的每张视频图像对应的比值计算所述第三运动物体与所述第四运动物 体之间的冲撞度。
[0284] 优选地，所述根据所述获取的视频图像，计算所述第三运动物体与所述第四运动 物体之间的冲撞度，包括：
[0285] 计算所述获取的视频图像中的所述第三运动物体和所述第四运动物体之间相互 遮挡的区域包括的像素点的第一个数；
[0286] 计算所述第一个数与所述获取的视频图像中的所述第三物体的图像包括的像素 点的个数之间的第一比值，以及计算所述第一个数与所述获取的视频图像中的所述第四物 体的图像包括的像素点的个数之间的第二比值；
[0287] 如果所述第一比值大于或等于所述第二比值，则将所述第一比值确定为所述获取 的视频图像对应的比值，否则，将所述第二比值确定为所述获取的视频图像对应的比值；
[0288] 根据获取的每张视频图像对应的比值计算所述第三运动物体与所述第四运动物 体之间的冲撞度。
[0289] 进一步地，所述方法还包括：
[0290] 如果不满足预设条件，则增加所述第三运动物体的运动轨迹的起始帧号，再根据 所述第三运动物体的运动轨迹的起始帧号，确定所述第三运动物体与所述视频浓缩摘要缓 存中的运动物体之间的遮挡程度是否满足预设条件。
[0291] 进一步地，所述根据所述第三运动物体的运动轨迹的起始帧号，确定所述第三运 动物体与所述视频浓缩摘要缓存中的运动物体之间的遮挡程度是否满足预设条件之前，还 包括：
[0292] 根据所述第三运动物体的运动轨迹的起始帧号，获取所述视频浓缩摘要缓存中包 含所述第三运动物体的视频图像，确定所述获取的每张视频图像中包含的运动物体的数目 是否都小于预设第三阈值，如果都小于，则执行根据所述第三运动物体的运动轨迹的起始 帧号，确定所述第三运动物体与所述视频浓缩摘要缓存中的运动物体之间的遮挡程度是否 满足预设条件的步骤。
[0293] 进一步地，所述方法还包括：
[0294] 如果不都小于，则增加所述第三运动物体的运动轨迹的起始帧号，再根据所述第 三运动物体的运动轨迹的起始帧号，获取所述视频浓缩摘要缓存中包含所述第三运动物体 的视频图像，确定所述获取的每张视频图像中包含的运动物体的数目是否都小于预设第三 阈值。
[0295] 进一步地，所述根据所述第二运动轨迹集合生成所述视频的视频浓缩摘要之前， 还包括：
[0296] 对所述第二运动轨迹集合中长度超过预设长度的运动轨迹进行切割，得到长度不 超过预设长度的运动轨迹。
[0297] 优选地，所述对所述第二运动轨迹集合中长度超过预设长度的运动轨迹进行切 害!]，包括：
[0298] 如果长度超过预设长度的运动轨迹中存在冲撞点，则确定第一切割点和第二切割 点，所述第一切割点位于所述冲撞点之前，所述第二切割点位于所述冲撞点之后，所述第一 切割点与所述第二切割点之间的长度不超过预设长度；
[0299] 根据所述第一切割点和所述第二切割点，对所述长度超过预设长度的运动轨迹进 行切割。
[0300] 在本发明实施例中，将第一运动轨迹集合中的相互之间的间距小于预设第一阈值 的多条运动轨迹合并为一条运动轨迹，将合并后的运动轨迹作为一条运动轨迹进行处理， 保留了相互之间的间距小于预设第一阈值的多条运动轨迹之间的冲撞点以及冲撞点包含 的重要信息。
[0301] 本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件 来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储 介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0302] 以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则 之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种生成视频浓缩摘要的装置，其特征在于，所述装置包括： 第一获取模块，用于从视频中获取第一运动轨迹集合，所述第一运动轨迹集合包括所 述视频中的每个运动物体的运动轨迹； 合并模块，用于将所述第一运动轨迹集合中的相互之间的间距小于预设第一阈值的多 条运动轨迹合并为一条运动轨迹，将合并后的运动轨迹和所述第一运动轨迹集合中未合并 的运动轨迹组成第二运动轨迹集合； 生成模块，用于根据所述第二运动轨迹集合生成所述视频的视频浓缩摘要。2. 如权利要求1所述的装置，其特征在于，所述合并模块包括： 第一选择单元，用于从所述第一运动轨迹集合中选择相互之间的间距小于预设第一阈 值的多条运动轨迹； 第二选择单元，用于从所述多条运动轨迹的起始时间中选择最小起始时间以及从所述 多条运动轨迹的结束时间中选择最大结束时间； 合并单元，用于将所述多条运动轨迹合并为一条运动轨迹，并设置合并得到的所述一 条运动轨迹的起始时间为所述最小起始时间以及结束时间为所述最大结束时间。3. 如权利要求1或2所述的装置，其特征在于，所述装置还包括： 第二获取模块，用于从所述视频中获取包含第一运动物体和第二运动物体的视频图 像，所述第一运动物体和所述第二运动物体分别为所述视频中的任意两个运动物体； 计算模块，用于计算获取的每张视频图像中的所述第一运动物体与所述第二运动物体 之间的距离； 选择模块，用于从所述计算的距离中选择最小距离，并将所述最小距离作为所述第一 运动物体的运动轨迹与所述第二运动物体的运动轨迹之间的间距。4. 如权利要求1至3任一项权利要求所述的装置，其特征在于，所述生成模块包括： 第三选择单元，用于从所述第二运动轨迹集合中选择起始时间最早或长度最长的一个 运动物体的运动轨迹，设置所述选择的运动物体的运动轨迹在视频浓缩摘要缓存中的起始 帧的帧号为所述视频浓缩摘要缓存的第一帧；第四选择单元，用于从所述第二运动轨迹集 合中未选择的运动物体的运动轨迹中选择起始时间最早或长度最长的一个运动物体的运 动轨迹作为第三运动物体的运动轨迹，设置所述第三运动物体的运动轨迹的起始帧号； 第一确定单元，用于根据所述第三运动物体的运动轨迹 的起始帧号，确定所述第三运 动物体与所述视频浓缩摘要缓存中的运动物体之间的遮挡程度是否满足预设条件； 设置单元，用于如果满足预设条件，则将所述第三运动物体的运动轨迹在视频浓缩摘 要缓存中的起始帧的帧号设置为所述第三运动物体的运动轨迹的起始帧号； 插入单元，用于获取所述视频浓缩摘要的背景图像并组成一段视频；根据所述第二运 动轨迹集合中的每条运动轨迹在视频浓缩摘要缓存中的起始帧的帧号，分别将所述第二运 动轨迹集合中的每条运动轨迹插入所述组成的一段视频中得到所述视频浓缩摘要。5. 如权利要求4所述的装置，其特征在于，所述第四选择单元包括： 第一设置子单元，用于设置所述第三运动物体的运动轨迹的起始帧号为所述视频浓缩 摘要缓存的第一帧；或， 第二设置子单元，用于设置所述第三运动物体的运动轨迹的起始帧号大于或等于在所 述第三运动物体之前最近一次选择的运动物体的运动轨迹在视频浓缩摘要缓存中的起始 中贞的帧号。6. 如权利要求4或5所述的装置，其特征在于，所述确定单元包括： 获取子单元，用于根据所述第三运动物体的运动轨迹的起始帧号，获取视频浓缩摘要 缓存中包含所述第三运动物体和第四运动物体的视频图像，所述第四运动物体为所述视频 浓缩摘要缓存中的任一运动物体； 计算子单元，用于根据所述获取的视频图像，计算所述第三运动物体与所述第四运动 物体之间的冲撞度； 确定子单元，用于如果所述第三运动物体与所述视频浓缩摘要缓存中每个运动物体之 间的冲撞度小于预设第二阈值，则确定所述第三运动物体与所述视频浓缩摘要缓存中的运 动物体之间的遮挡程度满足预设条件。7. 如权利要求6所述的装置，其特征在于， 所述计算子单元具体用于计算所述获取的每张视频图像中的所述第三运动物体和所 述第四运动物体之间相互遮挡的区域包括的像素点的个数； 根据所述每张视频图像中的所述第三运动物体和所述第四运动物体之间相互遮挡的 区域包括的像素点的个数计算所述第三运动物体与所述第四运动物体之间的冲撞度。8. 如权利要求6所述的装置，其特征在于， 所述计算子单元具体用于计算所述获取的视频图像中的所述第三运动物体和所述第 四运动物体之间相互遮挡的区域包括的像素点的第一个数； 计算所述第一个数与所述获取的视频图像中的所述第四物体的图像包括的像素点的 个数之间的比值，将所述比值作为所述获取的视频图像对应的比值； 根据获取的每张视频图像对应的比值计算所述第三运动物体与所述第四运动物体之 间的冲撞度。9. 如权利要求6所述的装置，其特征在于， 所述计算子单元具体用于计算所述获取的视频图像中的所述第三运动物体和所述第 四运动物体之间相互遮挡的区域包括的像素点的第一个数； 计算所述第一个数与所述获取的视频图像中的所述第三物体的图像包括的像素点的 个数之间的第一比值，以及计算所述第一个数与所述获取的视频图像中的所述第四物体的 图像包括的像素点的个数之间的第二比值； 如果所述第一比值大于或等于所述第二比值，则将所述第一比值确定为所述获取的视 频图像对应的比值，否则，将所述第二比值确定为所述获取的视频图像对应的比值； 根据获取的每张视频图像对应的比值计算所述第三运动物体与所述第四运动物体之 间的冲撞度。10. 如权利要求4至9任一项权利要求所述的装置，其特征在于，所述生成模块还包 括： 增加单元，用于如果不满足预设条件，则增加所述第三运动物体的运动轨迹的起始帧 号，再根据所述第三运动物体的运动轨迹的起始帧号，确定所述第三运动物体与所述视频 浓缩摘要缓存中的运动物体之间的遮挡程度是否满足预设条件。11. 如权利要求4至10任一项权利要求所述的装置，其特征在于，所述生成模块还包 括： 获取单元，用于根据所述第三运动物体的运动轨迹的起始帧号，获取所述视频浓缩摘 要缓存中包含所述第三运动物体的视频图像，确定所述获取的每张视频图像中包含的运动 物体的数目是否都小于预设第三阈值，如果都小于，则执行根据所述第三运动物体的运动 轨迹的起始帧号，确定所述第三运动物体与所述视频浓缩摘要缓存中的运动物体之间的遮 挡程度是否满足预设条件的步骤。12. 如权利要求11所述的装置，其特征在于，所述获取单元还包括： 增加子单元，用于如果不都小于，则增加所述第三运动物体的运动轨迹的起始帧号，再 根据所述第三运动物体的运动轨迹的起始帧号，获取所述视频浓缩摘要缓存中包含所述第 三运动物体的视频图像，确定所述获取的每张视频图像中包含的运动物体的数目是否都小 于预设第三阈值。13. 如权利要求1至12任一项权利要求所述的装置，其特征在于，所述装置还包括： 切割模块，用于对所述第二运动轨迹集合中长度超过预设长度的运动轨迹进行切割， 得到长度不超过预设长度的运动轨迹。14. 如权利要求13所述的装置，其特征在于，所述切割模块包括： 第二确定单元，用于如果长度超过预设长度的运动轨迹中存在冲撞点，则确定第一切 割点和第二切割点，所述第一切割点位于所述冲撞点之前，所述第二切割点位于所述冲撞 点之后，所述第一切割点与所述第二切割点之间的长度不超过预设长度； 切割单元，用于根据所述第一切割点和所述第二切割点，对所述长度超过预设长度的 运动轨迹进行切割。15. -种生成视频浓缩摘要的方法，其特征在于，所述方法包括： 从视频中获取第一运动轨迹集合，所述第一运动轨迹集合包括所述视频中的每个运动 物体的运动轨迹； 将所述第一运动轨迹集合中的相互之间的间距小于预设第一阈值的多条运动轨迹合 并为一条运动轨迹，将合并后的运动轨迹和所述第一运动轨迹集合中未合并的运动轨迹组 成第二运动轨迹集合； 根据所述第二运动轨迹集合生成所述视频的视频浓缩摘要。16. 如权利要求15所述的方法，其特征在于，所述将所述第一运动轨迹集合中的相互 之间的间距小于预设第一阈值的多条运动轨迹合并为一条运动轨迹，包括 ： 从所述第一运动轨迹集合中选择相互之间的间距小于预设第一阈值的多条运动轨 迹； 从所述多条运动轨迹的起始时间中选择最小起始时间以及从所述多条运动轨迹的结 束时间中选择最大结束时间； 将所述多条运动轨迹合并为一条运动轨迹，并设置合并得到的所述一条运动轨迹的起 始时间为所述最小起始时间以及结束时间为所述最大结束时间。17. 如权利要求15或16所述的方法，其特征在于，所述将所述第一运动轨迹集合中的 相互之间的间距小于预设第一阈值的多条运动轨迹合并为一条运动轨迹之前，还包括： 从所述视频中获取包含第一运动物体和第二运动物体的视频图像，所述第一运动物体 和所述第二运动物体分别为所述视频中的任意两个运动物体； 计算获取的每张视频图像中的所述第一运动物体与所述第二运动物体之间的距离； 从所述计算的距离中选择最小距离，并将所述最小距离作为所述第一运动物体的运动 轨迹与所述第二运动物体的运动轨迹之间的间距。18. 如权利要求15至17任一项权利要求所述的方法，其特征在于，所述根据所述第二 运动轨迹集合生成所述视频的视频浓缩摘要，包括 ： 从所述第二运动轨迹集合中选择起始时间最早或长度最长的一个运动物体的运动轨 迹，设置所述选择的运动物体的运动轨迹在视频浓缩摘要缓存中的起始帧的帧号为所述视 频浓缩摘要缓存的第一帧； 从所述第二运动轨迹集合中未选择的运动物体的运动轨迹中选择起始时间最早或长 度最长的一个运动物体的运动轨迹作为第三运动物体的运动轨迹，设置所述第三运动物体 的运动轨迹的起始帧号； 根据所述第三运动物体的运动轨迹的起始帧号，确定所述第三运动物体与所述视频浓 缩摘要缓存中的运动物体之间的遮挡程度是否满足预设条件； 如果满足预设条件，则将所述第三运动物体的运动轨迹在视频浓缩摘要缓存中的起始 帧的帧号设置为所述第三运动物体的运动轨迹的起始帧号； 获取所述视频浓缩摘要的背景图像并组成一段视频；根据所述第二运动轨迹集合中的 每条运动轨迹在视频浓缩摘要缓存中的起始帧的帧号，分别将所述第二运动轨迹集合中的 每条运动轨迹插入所述组成的一段视频中得到所述视频浓缩摘要。19. 如权利要求18所述的方法，其特征在于，所述设置所述第三运动物体的运动轨迹 的起始帧号，包括： 设置所述第三运动物体的运动轨迹的起始帧号为所述视频浓缩摘要缓存的第一帧； 或， 设置所述第三运动物体的运动轨迹的起始帧号大于或等于在所述第三运动物体之前 最近一次选择的运动物体的运动轨迹在视频浓缩摘要缓存中的起始帧的帧号。20. 如权利要求18或19所述的方法，其特征在于，所述根据所述第三运动物体的运动 轨迹的起始帧号，确定所述第三运动物体与所述视频浓缩摘要缓存中的运动物体之间的遮 挡程度是否满足预设条件，包括： 根据所述第三运动物体的运动轨迹的起始帧号，获取视频浓缩摘要缓存中包含所述第 三运动物体和第四运动物体的视频图像，所述第四运动物体为所述视频浓缩摘要缓存中的 任一运动物体； 根据所述获取的视频图像，计算所述第三运动物体与所述第四运动物体之间的冲撞 度； 如果所述第三运动物体与所述视频浓缩摘要缓存中每个运动物体之间的冲撞度小于 预设第二阈值，则确定所述第三运动物体与所述视频浓缩摘要缓存中的运动物体之间的遮 挡程度满足预设条件。21. 如权利要求20所述的方法，其特征在于，所述根据所述获取的视频图像，计算所述 第三运动物体与所述第四运动物体之间的冲撞度，包括： 计算所述获取的每张视频图像中的所述第三运动物体和所述第四运动物体之间相互 遮挡的区域包括的像素点的个数； 根据所述每张视频图像中的所述第三运动物体和所述第四运动物体之间相互遮挡的 区域包括的像素点的个数，计算所述第三运动物体与所述第四运动物体之间的冲撞度。22. 如权利要求20所述的方法，其特征在于，所述根据所述获取的视频图像，计算所述 第三运动物体与所述第四运动物体之间的冲撞度，包括： 计算所述获取的视频图像中的所述第三运动物体和所述第四运动物体之间相互遮挡 的区域包括的像素点的第一个数； 计算所述第一个数与所述获取的视频图像中的所述第四物体的图像包括的像素点的 个数之间的比值，将所述比值作为所述获取的视频图像对应的比值； 根据获取的每张视频图像对应的比值计算所述第三运动物体与所述第四运动物体之 间的冲撞度。23. 如权利要求20所述的方法，其特征在于，所述根据所述获取的视频图像，计算所述 第三运动物体与所述第四运动物体之间的冲撞度，包括： 计算所述获取的视频图像中的所述第三运动物体和所述第四运动物体之间相互遮挡 的区域包括的像素点的第一个数； 计算所述第一个数与所述获取的视频图像中的所述第三物体的图像包括的像素点的 个数之间的第一比值，以及计算所述第一个数与所述获取的视频图像中的所述第四物体的 图像包括的像素点的个数之间的第二比值； 如果所述第一比值大于或等于所述第二比值，则将所述第一比值确定为所述获取的视 频图像对应的比值，否则，将所述第二比值确定为所述获取的视频图像对应的比值； 根据获取的每张视频图像对应的比值计算所述第三运动物体与所述第四运动物体之 间的冲撞度。24. 如权利要求18至23任一项权利要求所述的方法，其特征在于，所述方法还包括： 如果不满足预设条件，则增加所述第三运动物体的运动轨迹的起始帧号，再根据所述 第三运动物体的运动轨迹的起始帧号，确定所述第三运动物体与所述视频浓缩摘要缓存中 的运动物体之间的遮挡程度是否满足预设条件。25. 如权利要求18至24任一项权利要求所述的方法，其特征在于，所述根据所述第三 运动物体的运动轨迹的起始帧号，确定所述第三运动物体与所述视频浓缩摘要缓存中的运 动物体之间的遮挡程度是否满足预设条件之前，还包括： 根据所述第三运动物体的运动轨迹的起始帧号，获取所述视频浓缩摘要缓存中包含所 述第三运动物体的视频图像，确定所述获取的每张视频图像中包含的运动物体的数目是否 都小于预设第三阈值，如果都小于，则执行根据所述第三运动物体的运动轨迹的起始帧号， 确定所述第三运动物体与所述视频浓缩摘要缓存中的运动物体之间的遮挡程度是否满足 预设条件的步骤。26. 如权利要求25所述的方法，其特征在于，所述方法还包括： 如果不都小于，则增加所述第三运动物体的运动轨迹的起始帧号，再根据所述第三运 动物体的运动轨迹的起始帧号，获取所述视频浓缩摘要缓存中包含所述第三运动物体的视 频图像，确定所述获取的每张视频图像中包含的运动物体的数目是否都小于预设第三阈 值。27. 如权利要求15至26任一项权利要求所述的方法，其特征在于，所述根据所述第二 运动轨迹集合生成所述视频的视频浓缩摘要之前，还包括： 对所述第二运动轨迹集合中长度超过预设长度的运动轨迹进行切割，得到长度不超过 预设长度的运动轨迹。28. 如权利要求27所述的方法，其特征在于，所述对所述第二运动轨迹集合中长度超 过预设长度的运动轨迹进行切割，包括： 如果长度超过预设长度的运动轨迹中存在冲撞点，则确定第一切割点和第二切割点， 所述第一切割点位于所述冲撞点之前，所述第二切割点位于所述冲撞点之后，所述第一切 割点与所述第二切割点之间的长度不超过预设长度； 根据所述第一切割点和所述第二切割点，对所述长度超过预设长度的运动轨迹进行切 割。29. -种设备，其特征在于，所述设备包括存储器和处理器，用于执行如权利要求15至 28任一项权利要求所述的一种生成视频浓缩摘要的方法。
【专利摘要】本发明公开了一种生成视频浓缩摘要的方法、装置及设备，属于数字视频领域。所述方法包括：从视频中获取第一运动轨迹集合，第一运动轨迹集合包括视频中的每个运动物体的运动轨迹；将第一运动轨迹集合中的相互之间的间距小于预设第一阈值的多条运动轨迹合并为一条运动轨迹，将合并后的运动轨迹和第一运动轨迹集合中未合并的运动轨迹组成第二运动轨迹集合；根据第二运动轨迹集合生成视频的视频浓缩摘要。本发明将第一运动轨迹集合中的相互之间的间距小于预设第一阈值的多条运动轨迹合并为一条运动轨迹，将合并后的运动轨迹作为一条运动轨迹进行处理，保留了相互之间的间距小于预设第一阈值的多条运动轨迹之间的冲撞点以及冲撞点包含的重要信息。
【IPC分类】H04N21/8549
【公开号】CN104883628
【申请号】CN201410071513
【发明人】周青, 杨素娟
【申请人】华为软件技术有限公司
【公开日】2015年9月2日
【申请日】2014年2月28日