一种构建结构化视频图像信息的设备和方法
一种构建结构化视频图像信息的设备和方法
【技术领域】
[0001] 本发明涉及视频图像信息处理技术领域，尤其涉及一种构建结构化视频图像信息 的设备和方法。
【背景技术】
[0002] 物联网技术给当前社会的工作和生活方式带来了根本性的改变，它也因此被视为 科技界的一次革命。安防技术与物联网技术的融合也是发展的趋势，两者结合后发挥的重 大作用也在日益凸显。
[0003] 随着视频监控数据量越来越大，数据重要性越来越突出，视频信息智能分析技术 成为当前研宄的主流。视频信息智能分析技术源自计算机视觉技术和模式识别技术，它能 够在图像及图像内容的描述之间建立一对一的映射关系，从而使计算机能够通过数字图像 解析来理解视频画面中的具体内容。它是实现从海量视频和图像资源中挖掘有价值东西的 重要手段。目前，智能视频分析技术实现对移动目标的实时检测、识别以及多目标跟踪等功 能的主要算法分为以下五类：目标检测、目标跟踪、目标识别、行为分析、基于内容的视频检 索和数据融合等。
[0004] 然而当前的视频分析技术的分析重点仍旧停留在视频图像本身，并没有将视频图 像与其他信息进行关联。这些视频图像所蕴含的信息尽管丰富，但很难进行量化，对其内容 只能进行抽象的分析，无法有效完成文本语言的描述。这些抽象的内容和视频图像信息一 样都属于非结构化信息的范畴，无法通过细化分解的方法进行解析。当信息量极大时，其存 储和检索都将耗费大量的系统资源和时间。同时由于智能视频分析技术依赖于模式识别技 术，因此，其分析结果的准确性和消耗的时间，将会随识别算法的优劣而变化。目前，识别算 法的基础还是基于几十年前的理论，由于理论上没有实现大的突破，致使基于内容的视频 图像检索技术始终没有质的变化，这就造成了在视频监控领域没有真正的解决海量视频图 像数据的快速定位和准确检索问题。
【发明内容】
[0005] 本发明的目的就是为了解决上述问题，提出了一种构建结构化视频图像信息的设 备和方法，通过将物联网技术与安防监控技术的密切配合，将多种不同传感器采集到的信 息进行融合，利用不同传感器信息和其采集方式的优点，为视频图像建立文本描述信息，提 高视频图像的检索速度和其利用效率。
[0006] 为了实现上述目的，本发明采用如下技术方案：
[0007] -种构建结构化视频图像信息的设备，包括：(XD/CM0S图像传感器模块、无线传 感器网络接收模块、视频处理器、CPU处理器、信息融合模块和以太网/WiFi接口；
[0008] 所述(XD/CM0S图像传感器模块与视频处理器连接，无线传感器网络接收模块与 CPU处理器连接，所述视频处理器与CPU处理器的输出分别连接至信息融合模块，所述信息 融合模块与以太网/WiFi接口连接；
[0009] 利用视频处理器完成视频图像的编码功能，利用无线传感器网络接收模块完成文 本描述信息或2进制数据的接收或者直接连接温度、湿度、照度、压力标准传感器，将模拟 信息数字化；将视频图像信息与其他数据融合在一起，形成结构化视频图像信息。
[0010] 所述无线传感器网络模块采用ISM频段进行数据传输，同时具有标准传感器输入 接口，支持〇_5v，0-10v标准传感器信号的接入。
[0011] 本发明设备为完成视频图像信息结构化提供支撑，其中构建结构化视频图像信息 的方法包括构建结构化的JPEG图像文件的方法和通过描述文件构建结构化视频信息的方 法。并且基于结构化后的视频图像信息，优化了其存储及检索方法。
[0012] 一种构建结构化视频图像信息设备的方法，包括：
[0013] (1)构建结构化的JPEG图像文件；
[0014] (2)构建结构化的视频图像信息；
[0015] (3)分别对结构化的JPEG图像文件和视频图像信息进行存储；
[0016] (4)分别对结构化的JPEG图像文件和视频图像信息进行检索。
[0017] 所述步骤（1)的具体方法为：
[0018] 将文本信息、标准传感器数据、语音识别后的数据等信息加密后附着在原有的 JPEG文件上，通过在JPEG文件标记码后面添加信息，将原有的非结构化JPEG图像文件构建 成结构化JPEG文件（图像信息+文本信息）。在解析时需要将文本信息部分进行解密显 示，图像则不受任何影响。
[0019] 标记码由两字节构成，前一个字节固定为OxFF代表标记码开始，后一个字节不同 值代表不同含义；在图像解析过程中，从OxFFDS开始对文件进行解析，到0xFFD9解析结束。
[0020] 所述步骤（2)的具体方法为：
[0021] 将描述文件和视频文件作为结构化信息的两部分进行关联，为每个时间段的视频 文件创建其对应的描述文件来对单一的视频图像进行文本化的补充；
[0022] 对原有的视频流数据包进行封装，将原有视频流数据包和物联网传感器接收到的 标准传感器数据或手动输入的文本信息进行融合，将数据包长度、视频流数据包、其他信息 长度及其他信息合并成新的数据包进行传输。
[0023] 所述步骤（3)中，对结构化的JPEG图像文件进行存储的方法为：
[0024] 在存储的过程中按照文本信息内容进行分段或者分文件夹存储。
[0025] 所述步骤⑶中，对结构化的视频图像信息进行存储的方法为：
[0026] 为结构化的视频图像信息中描述文件的各字段构建索引文件，将索引文件分为若 干级，将接收到的文本信息按照相应级的内容进行存储。
[0027] 所述步骤⑷中，对结构化的JPEG图像文件进行检索的方法为：
[0028] 在检索时首先定位条件所在的文件夹，然后在子文件夹中进行检索；
[0029] 通过解析JPEG文件数据获得文本信息长度，然后根据该长度将全部的文本信息 提取出来，通过与检索条件进行匹配对比，如果检索条件符合则说明这个JPEG文件就是我 们所要找的图片文件，否则就进行下一文件的对比。
[0030] 所述步骤⑷中，对结构化的视频图像信息进行检索的方法为：
[0031 ] 从存储目录开始查找，进入对应第一级检索目录，查看各级索引文件选择符合条 件的目录，放入检索队列，在本级检索目录查询完毕后，从检索队列中获取下一级检索文件 的路径进行检索直到检索到对应的描述文件位置为止；检索到描述文件后，得到其对应的 视频文件。
[0032] 本发明的有益效果是：
[0033] 本发明中构建结构化视频图像信息的设备首先能够实现传统摄像机的视频、图像 的采集、编码、传输功能，与现有的符合国际标准的摄像机完全兼容。在此基础上，通过增 加新的设备模块和结构化信息的处理算法，能够在视频、图像信息采集端就利用其他信息 (文本描述、标准传感器数据）为视频、图像建立起属性明确的描述信息。
[0034] 本发明通过将文本信息（一般为传感器信息）附着在JPEG文件后面使其成为一 个带有传感器信息标签的新文件，传感器信息可以描述JPEG图像文件拍摄时的具体环境 信息，能够使JPEG文件更好的再现拍摄时的场景。由于本发明没有破坏原有的JPEG文件 的结构和内容，因此不妨碍现有的软件对JPEG文件进行读取显示，同时也保护了传感器信 息的安全性，防止被现有软件篡改。
【附图说明】
[0035] 图1为本发明构建结构化视频图像信息的设备结构图；
[0036] 图2为本发明结构化JPEG图像信息示意图；
[0037] 图3为本发明结构化视频信息宏观角度示意图；
[0038] 图4为本发明结构化视频信息微观角度示意图；
[0039] 图5为本发明图片文件存储示意图；
[0 040] 图6为本发明多索引视频文件存储示意图；
[0041] 图7为本发明视频图像文件检索流程。
【具体实施方式】
[0042] 下面结合附图与实施例对本发明做进一步说明：
[0043] 本发明中构建结构化视频图像信息的设备结构如图1所示，包括：CCD/CM0S图像 传感器模块、无线传感器网络接收模块、视频处理器、CPU处理器、信息融合模块和以太网/ WiFi 接口；
[0044] (XD/CM0S图像传感器模块与视频处理器连接，无线传感器网络接收模块与CPU处 理器连接，视频处理器与CPU处理器的输出分别连接至信息融合模块，信息融合模块与以 太网/WiFi接口连接。
[0045] 本发明设备除了利用通用（XD/CM0S传感器完成图像信息采集外，还并行设计了 能够接受文本描述、温度、湿度、照度、压力等标准传感器的无线传感器网络接收模块。利用 通用的视频处理器（芯片）完成视频图像的编码功能，利用无线传感器网络接收模块完成 文本描述信息或2进制数据的接收或直接连接温度、湿度、照度、压力等标准传感器，将模 拟信息数字化。在通用CPU上实施本发明的信息结构算法，视频图像信息与其他数据融合 在一起，形成结构化视频图像信息。
[0046] 本发明中视频处理器支持全高清编码功能，采用130w以上的像素高清视频、图像 传感器用于视频采集，无线传感器网络模块采用ISM频段进行数据传输，同时具有标准传 感器输入接口，支持〇_5v，O-lOv标准传感器信号的接入。
[0047] 利用视频处理器完成视频图像的编码功能，利用无线传感器网络接收模块完成文 本描述信息或2进制数据的接收或者直接连接温度、湿度、照度、压力标准传感器，将模拟 信息数字化；将视频图像信息与其他数据融合在一起，形成结构化视频图像信息，并将两类 信息融合打包后上传至服务器端进行处理。
[0048] 由于视频流的速度是每秒种25帧，而环境参数改变并没有这么快，因此在融合时 设置传感器数量来标定此时有多少个传感器采集到新的数据。
[0049] 结构化信息数据包格式设置如下：
[0050] 表1结构化信息数据包格式
[0053] 本发明设备为完成视频图像信息结构化提供支撑，其中构建结构化视频图像信息 的方法包括构建结构化的JPEG图像文件的方法和通过描述文件构建结构化视频信息的方 法。并且基于结构化后的视频图像信息，优化了其存储及检索方法。
[0054] -种构建结构化视频图像信息设备的方法，包括：
[0055] (1)构建结构化的JPEG图像文件；
[0056] (2)构建结构化的视频图像信息；
[0057] (3)分别对结构化的JPEG图像文件和视频图像信息进行存储；
[0058] (4)分别对结构化的JPEG图像文件和视频图像信息进行检索。
[0059] 如图2所示是JPEG图像文件结构化方法示意图。将文本信息、标准传感器数据、 语音识别后的数据等信息加密后附着在原有的JPEG文件上，通过在JPEG文件标记码E0I 后面添加信息，将原有的非结构化JPEG图像文件构建成结构化JPEG文件（图像信息+文 本信息）。在解析时需要将文本信息部分进行解密显示，图像则不受任何影响。
[0060] 通过将文本信息（一般为传感器信息）附着在JPEG文件后面使其成为一个带有 传感器信息标签的新文件，传感器信息可以描述JPEG图像文件拍摄时的具体环境信息，能 够使JPEG文件更好的再现拍摄时的场景。由于本发明没有破坏原有的JPEG文件的结构和 内容，因此不妨碍现有的软件对JPEG文件进行读取显示，同时也保护了传感器信息的安全 性，防止被现有软件篡改。
[0061] JPEG文件格式存储格式有很多种，目前最常用的是JFIF(JPEG File Interchange Format)和 EXIF(Exchange Image File Format)两种格式，它们遵守 JIF(JPEG Interchange Format)。它大体分为两部分：
[0062] 标记码：两字节构成，前一个字节固定为OxFF代表标记码开始，后一个字节不同 值代表不同含义。当出现连续的多个OxFF时，理解为一个OxFF也表示标记码开始。下面 介绍几种主要的标记代码：
[0063] 表2 JPEG标记码
[0065] 压缩数据：标记码后面是压缩数据，记录了图像文件的详细信息。
[0066] 在图像解析过程中，软件从0xFFD8开始对文件进行解析，到0xFFD9解析结束。如 果我们把相关的文本信息插入到文件中0xFFD9的位置后面，软件不会对该段信息进行解 析。这样就避免了文本信息对图像内容和图像质量造成影响。然而文件却与文本信息形成 了一个整体，从信息角度看，这个整体便是非结构化的图像数据和结构化的文本信息构成 了一段结构化信息，也即我们将JPEG图片文件和各种来源的文本信息进行了关联，并将文 本信息插入进了 JPEG文件。同时由于目前的看图软件不会查看0xFFD9标记码后面的内 容，我们的信息的安全性和隐蔽性得到保证，只有在我们需要时通过对0xFFD9后面的信息 进行查询和解析才能得到正确的图像对应的文本信息。这种信息不仅有助于我们准确的描 述图像的具体细节，也可以作为一种检索条件，通过检索结构化的文本信息检索到对应的 图像文件。
[0067] 如图3和图4所示，本发明中视频流结构化方法则是对原有的视频流数据包进行 封装，新的数据包是视频流数据包和物联网传感器接收到的标准传感器数据或手动输入的 文本信息等信息的融合，将数据包长度、视频流数据包、其他信息长度、其他信息合并成新 的数据包进行传输，新数据包的格式定义见表2。服务端接收到数据包后将其解析生成对应 的视频文件及其描述文件。通过这种方式对视频文件进行结构化封装。
[0068] 构建结构化视频图像信息设备负责采集传感器信息和视频信息，并将编码后的视 频信息和加密后的传感器信息后缀到JPEG图像文件或对视频文件形成对应的描述文件并 形成标准的数据码流，按照标准的通信协议（通常为TCP/IP)输出。
[0069] 如图3所示是结构化视频信息的宏观角度示意图。从宏观上，增加了对于视频文 件的描述文件，将描述文件和视频文件作为结构化信息的两部分进行关联。通过为每个时 间段的视频文件创建其对应的描述文件来对单一的视频图像进行一个文本化的补充。使得 抽象的视频画面变的更为具体，内容更加充实。
[0070] 如图4所示是结构化视频信息的微观角度示意图。从微观上，描述文件中记录了 视频拍摄的地点、拍摄的绝对时间和相对视频文件开始的相对时间，以及拍摄过程中产生 的文本信息。为了保证文本化信息中的内容的安全性，可以将信息进行加密编码后存储，在 需要查看的时候通过私有的密钥进行解密方能进行查看。
[0071] 本发明图片文件存储及检索方法，通过解析JPEG文件尾部0XFFD9后面的4字节 数据获得文本信息长度，然后根据该长度将全部的文本信息提取出来，通过与检索条件进 行匹配对比，如果条件符合则说明这个JPEG文件就是我们所要找的图片文件，否则就进行 下一文件的对比。在对比过程中为了提高检索的效率和减少对比次数，借鉴"B+树"原理可 以在存储的过程中按照文本信息内容进行分段（分文件夹）存储，在检索时首先定位条件 所在的文件夹，然后在子文件夹中进行检索，可减少查看的文件数量。
[0072] 如图5是图片文件存储示意图（以温度为例），对图片文件采取"B+树"的方式进 行智能化分类存储，在检索时，首先判断检索条件处于哪个温度段，进入对应的目录进行检 索。当子目录检索完毕后输出符合条件的图片。
[0073] 本发明视频存储及 检索方法是采用数据库"B+树"思想为描述文件中各字段构建 索引文件，将索引文件分为"工程"、"安装地点"、"年"、"月"、"日"几级，将接收到的文本信息 按照几级进行存储。在检索时从存储目录开始查找，进入对应工程目录，查看各级索引文件 选择符合条件的目录，放入检索队列，在本级检索目录查询完毕后，从检索队列中获取下一 级检索文件的路径进行检索直到检索到对应的描述文件位置为止。在检索到描述文件后， 可以得到其对应的视频文件。
[0074] 如图6是多索引视频文件存储示意图。各级索引文件记录了设备数量，文件数量， 条件标示等。索引文件的生成方式是"自下而上"生成的，在接收到文本信息后，依次向上 更新索引文件。
[0075] 1. "工程索引文件"记录了当前工程包含的设备数量及各设备的安装地点，工程创 建时间和截止时间，工程文件存储目录和存储的文件数量等。
[0076] 2. "地点索引文件"记录了当前设备拍摄的起始时间和停止使用时间，拍摄的视频 文件数量，"年值"目录的存储地址，以及设备拍摄过程中产生的文本信息标识及其数据内 容等。
[0077] 3. "年值索引文件"记录了设备当年正常使用的月份，拍摄的视频文件数量，"月 值"目录的存储地址，以及设备拍摄过程中产生的文本信息标识及其数据内容等。
[0078] 4. "月值索引文件"记录了设备当月正常使用的天数，拍摄的视频文件数量，"日 期"目录的存储地址，以及设备拍摄过程中产生的文本信息标识及其数据内容等。
[0079] 5. "日期索引文件"记录了设备当天拍摄的视频文件数量，各视频文件的文件名及 其描述文件的文件名以及各视频文件中包含的文本信息标识及其数据内容等。
[0080] 如图7是视频图像文件检索流程。详细的检索流程如下：
[0081] (1)检索工程目录下的索引文件，查看检索条件存在的设备IP，将符合条件的IP 进入设备队列，若没有符合条件的设备，则直接退出检索。
[0082] (2)将设备队列中的IP依次出队，进入设备目录查找，查找年值索引文件，将符合 的月份入的月值队列。
[0083] (3)将月值队列中的月份出列，进入对应月份目录检索，查找月值索引文件，将符 合的日期入日期队列。
[0084] (4)将日期队列中的日期出队，进入对应的日期目录，查找符合的文件，将文件名 输出。重复第4步，直到日期队列为空。
[0085] (5)重复第3步，直到月值队列为空。
[0086] (6)重复2步，直到设备队列为空，检索完成。
[0087] 上述虽然结合附图对本发明的【具体实施方式】进行了描述，但并非对本发明保护范 围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不 需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
【主权项】
1. 一种构建结构化视频图像信息的设备，其特征是，包括：CCD/CMOS图像传感器模块、 无线传感器网络接收模块、视频处理器、CPU处理器、信息融合模块和以太网/WiFi接口； 所述CCD/CMOS图像传感器模块与视频处理器连接，无线传感器网络接收模块与CPU处 理器连接，所述视频处理器与CPU处理器的输出分别连接至信息融合模块，所述信息融合 模块与以太网/WiFi接口连接； 利用视频处理器完成视频图像的编码功能，利用无线传感器网络接收模块完成文本描 述信息或2进制数据的接收或者直接连接温度、湿度、照度、压力标准传感器，将模拟信息 数字化；将视频图像信息与其他数据融合在一起，形成结构化视频图像信息。2. 如权利要求1所述的一种构建结构化视频图像信息的设备，其特征是，所述无线 传感器网络模块采用ISM频段进行数据传输，同时具有标准传感器输入接口，支持0-5v， O-IOv标准传感器信号的接入。3. -种如权利要求1所述的构建结构化视频图像信息设备的方法，其特征是，包括： (1) 构建结构化的JPEG图像文件； (2) 构建结构化的视频图像信息； (3) 分别对结构化的JPEG图像文件和视频图像信息进行存储； (4) 分别对结构化的JPEG图像文件和视频图像信息进行检索。4. 如权利要求3所述的一种构建结构化视频图像信息设备的方法，其特征是，所述步 骤（1)的具体方法为： 将文本信息、标准传感器数据、语音识别后的数据信息加密后附着在原有的JPEG文件 上，在JPEG文件标记码后面添加信息，将原有的非结构化JPEG图像文件构建成结构化JPEG 文件；在解析时将文本信息部分进行解密显示，图像信息不受任何影响。5. 如权利要求3所述的一种构建结构化视频图像信息设备的方法，其特征是，所述标 记码两字节构成，前一个字节固定为OxFF代表标记码开始，后一个字节不同值代表不同含 义； 在图像解析过程中，从0xFFD8开始对文件进行解析，到0xFFD9解析结束。6. 如权利要求3所述的一种构建结构化视频图像信息设备的方法，其特征是，所述步 骤（2)的具体方法为： 将描述文件和视频文件作为结构化信息的两部分进行关联，为每个时间段的视频文件 创建其对应的描述文件来对单一的视频图像进行文本化的补充； 对原有的视频流数据包进行封装，将原有视频流数据包和物联网传感器接收到的标准 传感器数据或手动输入的文本信息进行融合，将数据包长度、视频流数据包、其他信息长度 及其他信息合并成新的数据包进行传输。7. 如权利要求3所述的一种构建结构化视频图像信息设备的方法，其特征是，所述步 骤（3)中，对结构化的JPEG图像文件进行存储的方法为： 在存储的过程中按照文本信息内容进行分段或者分文件夹存储。8. 如权利要求3所述的一种构建结构化视频图像信息设备的方法，其特征是，所述步 骤（3)中，对结构化的视频图像信息进行存储的方法为： 为结构化的视频图像信息中描述文件的各字段构建索引文件，将索引文件分为若干 级，将接收到的文本信息按照相应级的内容进行存储。9. 如权利要求3所述的一种构建结构化视频图像信息设备的方法，其特征是，所述步 骤（4)中，对结构化的JPEG图像文件进行检索的方法为： 在检索时首先定位条件所在的文件夹，然后在子文件夹中进行检索； 通过解析JPEG文件数据获得文本信息长度，然后根据该长度将全部的文本信息提取 出来，通过与检索条件进行匹配对比，如果检索条件符合则说明这个JPEG文件就是我们所 要找的图片文件，否则就进行下一文件的对比。10. 如权利要求3所述的一种构建结构化视频图像信息设备的方法，其特征是，所述步 骤（4)中，对结构化的视频图像信息进行检索的方法为： 从存储目录开始查找，进入对应第一级检索目录，查看各级索引文件选择符合条件的 目录，放入检索队列，在本级检索目录查询完毕后，从检索队列中获取下一级检索文件的路 径进行检索直到检索到对应的描述文件位置为止；检索到描述文件后，得到其对应的视频 文件。
【专利摘要】本发明公开了一种构建结构化视频图像信息的设备和方法，包括：CCD/CMOS图像传感器模块与视频处理器连接，无线传感器网络接收模块与CPU处理器连接，视频处理器与CPU处理器的输出分别连接至信息融合模块，所述信息融合模块与以太网/WiFi接口连接；将视频图像信息与其他数据融合在一起，形成结构化视频图像信息。本发明有益效果：通过将多种不同传感器采集到的信息进行融合，利用不同传感器信息和其采集方式的优点，为视频图像建立文本描述信息，提高视频图像的检索速度和其利用效率。
【IPC分类】G06F17/30
【公开号】CN104899261
【申请号】CN201510260225
【发明人】杜晓通, 邢大天
【申请人】杜晓通
【公开日】2015年9月9日
【申请日】2015年5月20日
【技术领域】
[0001] 本发明涉及视频图像信息处理技术领域，尤其涉及一种构建结构化视频图像信息 的设备和方法。
【背景技术】
[0002] 物联网技术给当前社会的工作和生活方式带来了根本性的改变，它也因此被视为 科技界的一次革命。安防技术与物联网技术的融合也是发展的趋势，两者结合后发挥的重 大作用也在日益凸显。
[0003] 随着视频监控数据量越来越大，数据重要性越来越突出，视频信息智能分析技术 成为当前研宄的主流。视频信息智能分析技术源自计算机视觉技术和模式识别技术，它能 够在图像及图像内容的描述之间建立一对一的映射关系，从而使计算机能够通过数字图像 解析来理解视频画面中的具体内容。它是实现从海量视频和图像资源中挖掘有价值东西的 重要手段。目前，智能视频分析技术实现对移动目标的实时检测、识别以及多目标跟踪等功 能的主要算法分为以下五类：目标检测、目标跟踪、目标识别、行为分析、基于内容的视频检 索和数据融合等。
[0004] 然而当前的视频分析技术的分析重点仍旧停留在视频图像本身，并没有将视频图 像与其他信息进行关联。这些视频图像所蕴含的信息尽管丰富，但很难进行量化，对其内容 只能进行抽象的分析，无法有效完成文本语言的描述。这些抽象的内容和视频图像信息一 样都属于非结构化信息的范畴，无法通过细化分解的方法进行解析。当信息量极大时，其存 储和检索都将耗费大量的系统资源和时间。同时由于智能视频分析技术依赖于模式识别技 术，因此，其分析结果的准确性和消耗的时间，将会随识别算法的优劣而变化。目前，识别算 法的基础还是基于几十年前的理论，由于理论上没有实现大的突破，致使基于内容的视频 图像检索技术始终没有质的变化，这就造成了在视频监控领域没有真正的解决海量视频图 像数据的快速定位和准确检索问题。
【发明内容】
[0005] 本发明的目的就是为了解决上述问题，提出了一种构建结构化视频图像信息的设 备和方法，通过将物联网技术与安防监控技术的密切配合，将多种不同传感器采集到的信 息进行融合，利用不同传感器信息和其采集方式的优点，为视频图像建立文本描述信息，提 高视频图像的检索速度和其利用效率。
[0006] 为了实现上述目的，本发明采用如下技术方案：
[0007] -种构建结构化视频图像信息的设备，包括：(XD/CM0S图像传感器模块、无线传 感器网络接收模块、视频处理器、CPU处理器、信息融合模块和以太网/WiFi接口；
[0008] 所述(XD/CM0S图像传感器模块与视频处理器连接，无线传感器网络接收模块与 CPU处理器连接，所述视频处理器与CPU处理器的输出分别连接至信息融合模块，所述信息 融合模块与以太网/WiFi接口连接；
[0009] 利用视频处理器完成视频图像的编码功能，利用无线传感器网络接收模块完成文 本描述信息或2进制数据的接收或者直接连接温度、湿度、照度、压力标准传感器，将模拟 信息数字化；将视频图像信息与其他数据融合在一起，形成结构化视频图像信息。
[0010] 所述无线传感器网络模块采用ISM频段进行数据传输，同时具有标准传感器输入 接口，支持〇_5v，0-10v标准传感器信号的接入。
[0011] 本发明设备为完成视频图像信息结构化提供支撑，其中构建结构化视频图像信息 的方法包括构建结构化的JPEG图像文件的方法和通过描述文件构建结构化视频信息的方 法。并且基于结构化后的视频图像信息，优化了其存储及检索方法。
[0012] 一种构建结构化视频图像信息设备的方法，包括：
[0013] (1)构建结构化的JPEG图像文件；
[0014] (2)构建结构化的视频图像信息；
[0015] (3)分别对结构化的JPEG图像文件和视频图像信息进行存储；
[0016] (4)分别对结构化的JPEG图像文件和视频图像信息进行检索。
[0017] 所述步骤（1)的具体方法为：
[0018] 将文本信息、标准传感器数据、语音识别后的数据等信息加密后附着在原有的 JPEG文件上，通过在JPEG文件标记码后面添加信息，将原有的非结构化JPEG图像文件构建 成结构化JPEG文件（图像信息+文本信息）。在解析时需要将文本信息部分进行解密显 示，图像则不受任何影响。
[0019] 标记码由两字节构成，前一个字节固定为OxFF代表标记码开始，后一个字节不同 值代表不同含义；在图像解析过程中，从OxFFDS开始对文件进行解析，到0xFFD9解析结束。
[0020] 所述步骤（2)的具体方法为：
[0021] 将描述文件和视频文件作为结构化信息的两部分进行关联，为每个时间段的视频 文件创建其对应的描述文件来对单一的视频图像进行文本化的补充；
[0022] 对原有的视频流数据包进行封装，将原有视频流数据包和物联网传感器接收到的 标准传感器数据或手动输入的文本信息进行融合，将数据包长度、视频流数据包、其他信息 长度及其他信息合并成新的数据包进行传输。
[0023] 所述步骤（3)中，对结构化的JPEG图像文件进行存储的方法为：
[0024] 在存储的过程中按照文本信息内容进行分段或者分文件夹存储。
[0025] 所述步骤⑶中，对结构化的视频图像信息进行存储的方法为：
[0026] 为结构化的视频图像信息中描述文件的各字段构建索引文件，将索引文件分为若 干级，将接收到的文本信息按照相应级的内容进行存储。
[0027] 所述步骤⑷中，对结构化的JPEG图像文件进行检索的方法为：
[0028] 在检索时首先定位条件所在的文件夹，然后在子文件夹中进行检索；
[0029] 通过解析JPEG文件数据获得文本信息长度，然后根据该长度将全部的文本信息 提取出来，通过与检索条件进行匹配对比，如果检索条件符合则说明这个JPEG文件就是我 们所要找的图片文件，否则就进行下一文件的对比。
[0030] 所述步骤⑷中，对结构化的视频图像信息进行检索的方法为：
[0031 ] 从存储目录开始查找，进入对应第一级检索目录，查看各级索引文件选择符合条 件的目录，放入检索队列，在本级检索目录查询完毕后，从检索队列中获取下一级检索文件 的路径进行检索直到检索到对应的描述文件位置为止；检索到描述文件后，得到其对应的 视频文件。
[0032] 本发明的有益效果是：
[0033] 本发明中构建结构化视频图像信息的设备首先能够实现传统摄像机的视频、图像 的采集、编码、传输功能，与现有的符合国际标准的摄像机完全兼容。在此基础上，通过增 加新的设备模块和结构化信息的处理算法，能够在视频、图像信息采集端就利用其他信息 (文本描述、标准传感器数据）为视频、图像建立起属性明确的描述信息。
[0034] 本发明通过将文本信息（一般为传感器信息）附着在JPEG文件后面使其成为一 个带有传感器信息标签的新文件，传感器信息可以描述JPEG图像文件拍摄时的具体环境 信息，能够使JPEG文件更好的再现拍摄时的场景。由于本发明没有破坏原有的JPEG文件 的结构和内容，因此不妨碍现有的软件对JPEG文件进行读取显示，同时也保护了传感器信 息的安全性，防止被现有软件篡改。
【附图说明】
[0035] 图1为本发明构建结构化视频图像信息的设备结构图；
[0036] 图2为本发明结构化JPEG图像信息示意图；
[0037] 图3为本发明结构化视频信息宏观角度示意图；
[0038] 图4为本发明结构化视频信息微观角度示意图；
[0039] 图5为本发明图片文件存储示意图；
[0 040] 图6为本发明多索引视频文件存储示意图；
[0041] 图7为本发明视频图像文件检索流程。
【具体实施方式】
[0042] 下面结合附图与实施例对本发明做进一步说明：
[0043] 本发明中构建结构化视频图像信息的设备结构如图1所示，包括：CCD/CM0S图像 传感器模块、无线传感器网络接收模块、视频处理器、CPU处理器、信息融合模块和以太网/ WiFi 接口；
[0044] (XD/CM0S图像传感器模块与视频处理器连接，无线传感器网络接收模块与CPU处 理器连接，视频处理器与CPU处理器的输出分别连接至信息融合模块，信息融合模块与以 太网/WiFi接口连接。
[0045] 本发明设备除了利用通用（XD/CM0S传感器完成图像信息采集外，还并行设计了 能够接受文本描述、温度、湿度、照度、压力等标准传感器的无线传感器网络接收模块。利用 通用的视频处理器（芯片）完成视频图像的编码功能，利用无线传感器网络接收模块完成 文本描述信息或2进制数据的接收或直接连接温度、湿度、照度、压力等标准传感器，将模 拟信息数字化。在通用CPU上实施本发明的信息结构算法，视频图像信息与其他数据融合 在一起，形成结构化视频图像信息。
[0046] 本发明中视频处理器支持全高清编码功能，采用130w以上的像素高清视频、图像 传感器用于视频采集，无线传感器网络模块采用ISM频段进行数据传输，同时具有标准传 感器输入接口，支持〇_5v，O-lOv标准传感器信号的接入。
[0047] 利用视频处理器完成视频图像的编码功能，利用无线传感器网络接收模块完成文 本描述信息或2进制数据的接收或者直接连接温度、湿度、照度、压力标准传感器，将模拟 信息数字化；将视频图像信息与其他数据融合在一起，形成结构化视频图像信息，并将两类 信息融合打包后上传至服务器端进行处理。
[0048] 由于视频流的速度是每秒种25帧，而环境参数改变并没有这么快，因此在融合时 设置传感器数量来标定此时有多少个传感器采集到新的数据。
[0049] 结构化信息数据包格式设置如下：
[0050] 表1结构化信息数据包格式
[0053] 本发明设备为完成视频图像信息结构化提供支撑，其中构建结构化视频图像信息 的方法包括构建结构化的JPEG图像文件的方法和通过描述文件构建结构化视频信息的方 法。并且基于结构化后的视频图像信息，优化了其存储及检索方法。
[0054] -种构建结构化视频图像信息设备的方法，包括：
[0055] (1)构建结构化的JPEG图像文件；
[0056] (2)构建结构化的视频图像信息；
[0057] (3)分别对结构化的JPEG图像文件和视频图像信息进行存储；
[0058] (4)分别对结构化的JPEG图像文件和视频图像信息进行检索。
[0059] 如图2所示是JPEG图像文件结构化方法示意图。将文本信息、标准传感器数据、 语音识别后的数据等信息加密后附着在原有的JPEG文件上，通过在JPEG文件标记码E0I 后面添加信息，将原有的非结构化JPEG图像文件构建成结构化JPEG文件（图像信息+文 本信息）。在解析时需要将文本信息部分进行解密显示，图像则不受任何影响。
[0060] 通过将文本信息（一般为传感器信息）附着在JPEG文件后面使其成为一个带有 传感器信息标签的新文件，传感器信息可以描述JPEG图像文件拍摄时的具体环境信息，能 够使JPEG文件更好的再现拍摄时的场景。由于本发明没有破坏原有的JPEG文件的结构和 内容，因此不妨碍现有的软件对JPEG文件进行读取显示，同时也保护了传感器信息的安全 性，防止被现有软件篡改。
[0061] JPEG文件格式存储格式有很多种，目前最常用的是JFIF(JPEG File Interchange Format)和 EXIF(Exchange Image File Format)两种格式，它们遵守 JIF(JPEG Interchange Format)。它大体分为两部分：
[0062] 标记码：两字节构成，前一个字节固定为OxFF代表标记码开始，后一个字节不同 值代表不同含义。当出现连续的多个OxFF时，理解为一个OxFF也表示标记码开始。下面 介绍几种主要的标记代码：
[0063] 表2 JPEG标记码
[0065] 压缩数据：标记码后面是压缩数据，记录了图像文件的详细信息。
[0066] 在图像解析过程中，软件从0xFFD8开始对文件进行解析，到0xFFD9解析结束。如 果我们把相关的文本信息插入到文件中0xFFD9的位置后面，软件不会对该段信息进行解 析。这样就避免了文本信息对图像内容和图像质量造成影响。然而文件却与文本信息形成 了一个整体，从信息角度看，这个整体便是非结构化的图像数据和结构化的文本信息构成 了一段结构化信息，也即我们将JPEG图片文件和各种来源的文本信息进行了关联，并将文 本信息插入进了 JPEG文件。同时由于目前的看图软件不会查看0xFFD9标记码后面的内 容，我们的信息的安全性和隐蔽性得到保证，只有在我们需要时通过对0xFFD9后面的信息 进行查询和解析才能得到正确的图像对应的文本信息。这种信息不仅有助于我们准确的描 述图像的具体细节，也可以作为一种检索条件，通过检索结构化的文本信息检索到对应的 图像文件。
[0067] 如图3和图4所示，本发明中视频流结构化方法则是对原有的视频流数据包进行 封装，新的数据包是视频流数据包和物联网传感器接收到的标准传感器数据或手动输入的 文本信息等信息的融合，将数据包长度、视频流数据包、其他信息长度、其他信息合并成新 的数据包进行传输，新数据包的格式定义见表2。服务端接收到数据包后将其解析生成对应 的视频文件及其描述文件。通过这种方式对视频文件进行结构化封装。
[0068] 构建结构化视频图像信息设备负责采集传感器信息和视频信息，并将编码后的视 频信息和加密后的传感器信息后缀到JPEG图像文件或对视频文件形成对应的描述文件并 形成标准的数据码流，按照标准的通信协议（通常为TCP/IP)输出。
[0069] 如图3所示是结构化视频信息的宏观角度示意图。从宏观上，增加了对于视频文 件的描述文件，将描述文件和视频文件作为结构化信息的两部分进行关联。通过为每个时 间段的视频文件创建其对应的描述文件来对单一的视频图像进行一个文本化的补充。使得 抽象的视频画面变的更为具体，内容更加充实。
[0070] 如图4所示是结构化视频信息的微观角度示意图。从微观上，描述文件中记录了 视频拍摄的地点、拍摄的绝对时间和相对视频文件开始的相对时间，以及拍摄过程中产生 的文本信息。为了保证文本化信息中的内容的安全性，可以将信息进行加密编码后存储，在 需要查看的时候通过私有的密钥进行解密方能进行查看。
[0071] 本发明图片文件存储及检索方法，通过解析JPEG文件尾部0XFFD9后面的4字节 数据获得文本信息长度，然后根据该长度将全部的文本信息提取出来，通过与检索条件进 行匹配对比，如果条件符合则说明这个JPEG文件就是我们所要找的图片文件，否则就进行 下一文件的对比。在对比过程中为了提高检索的效率和减少对比次数，借鉴"B+树"原理可 以在存储的过程中按照文本信息内容进行分段（分文件夹）存储，在检索时首先定位条件 所在的文件夹，然后在子文件夹中进行检索，可减少查看的文件数量。
[0072] 如图5是图片文件存储示意图（以温度为例），对图片文件采取"B+树"的方式进 行智能化分类存储，在检索时，首先判断检索条件处于哪个温度段，进入对应的目录进行检 索。当子目录检索完毕后输出符合条件的图片。
[0073] 本发明视频存储及 检索方法是采用数据库"B+树"思想为描述文件中各字段构建 索引文件，将索引文件分为"工程"、"安装地点"、"年"、"月"、"日"几级，将接收到的文本信息 按照几级进行存储。在检索时从存储目录开始查找，进入对应工程目录，查看各级索引文件 选择符合条件的目录，放入检索队列，在本级检索目录查询完毕后，从检索队列中获取下一 级检索文件的路径进行检索直到检索到对应的描述文件位置为止。在检索到描述文件后， 可以得到其对应的视频文件。
[0074] 如图6是多索引视频文件存储示意图。各级索引文件记录了设备数量，文件数量， 条件标示等。索引文件的生成方式是"自下而上"生成的，在接收到文本信息后，依次向上 更新索引文件。
[0075] 1. "工程索引文件"记录了当前工程包含的设备数量及各设备的安装地点，工程创 建时间和截止时间，工程文件存储目录和存储的文件数量等。
[0076] 2. "地点索引文件"记录了当前设备拍摄的起始时间和停止使用时间，拍摄的视频 文件数量，"年值"目录的存储地址，以及设备拍摄过程中产生的文本信息标识及其数据内 容等。
[0077] 3. "年值索引文件"记录了设备当年正常使用的月份，拍摄的视频文件数量，"月 值"目录的存储地址，以及设备拍摄过程中产生的文本信息标识及其数据内容等。
[0078] 4. "月值索引文件"记录了设备当月正常使用的天数，拍摄的视频文件数量，"日 期"目录的存储地址，以及设备拍摄过程中产生的文本信息标识及其数据内容等。
[0079] 5. "日期索引文件"记录了设备当天拍摄的视频文件数量，各视频文件的文件名及 其描述文件的文件名以及各视频文件中包含的文本信息标识及其数据内容等。
[0080] 如图7是视频图像文件检索流程。详细的检索流程如下：
[0081] (1)检索工程目录下的索引文件，查看检索条件存在的设备IP，将符合条件的IP 进入设备队列，若没有符合条件的设备，则直接退出检索。
[0082] (2)将设备队列中的IP依次出队，进入设备目录查找，查找年值索引文件，将符合 的月份入的月值队列。
[0083] (3)将月值队列中的月份出列，进入对应月份目录检索，查找月值索引文件，将符 合的日期入日期队列。
[0084] (4)将日期队列中的日期出队，进入对应的日期目录，查找符合的文件，将文件名 输出。重复第4步，直到日期队列为空。
[0085] (5)重复第3步，直到月值队列为空。
[0086] (6)重复2步，直到设备队列为空，检索完成。
[0087] 上述虽然结合附图对本发明的【具体实施方式】进行了描述，但并非对本发明保护范 围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不 需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
【主权项】
1. 一种构建结构化视频图像信息的设备，其特征是，包括：CCD/CMOS图像传感器模块、 无线传感器网络接收模块、视频处理器、CPU处理器、信息融合模块和以太网/WiFi接口； 所述CCD/CMOS图像传感器模块与视频处理器连接，无线传感器网络接收模块与CPU处 理器连接，所述视频处理器与CPU处理器的输出分别连接至信息融合模块，所述信息融合 模块与以太网/WiFi接口连接； 利用视频处理器完成视频图像的编码功能，利用无线传感器网络接收模块完成文本描 述信息或2进制数据的接收或者直接连接温度、湿度、照度、压力标准传感器，将模拟信息 数字化；将视频图像信息与其他数据融合在一起，形成结构化视频图像信息。2. 如权利要求1所述的一种构建结构化视频图像信息的设备，其特征是，所述无线 传感器网络模块采用ISM频段进行数据传输，同时具有标准传感器输入接口，支持0-5v， O-IOv标准传感器信号的接入。3. -种如权利要求1所述的构建结构化视频图像信息设备的方法，其特征是，包括： (1) 构建结构化的JPEG图像文件； (2) 构建结构化的视频图像信息； (3) 分别对结构化的JPEG图像文件和视频图像信息进行存储； (4) 分别对结构化的JPEG图像文件和视频图像信息进行检索。4. 如权利要求3所述的一种构建结构化视频图像信息设备的方法，其特征是，所述步 骤（1)的具体方法为： 将文本信息、标准传感器数据、语音识别后的数据信息加密后附着在原有的JPEG文件 上，在JPEG文件标记码后面添加信息，将原有的非结构化JPEG图像文件构建成结构化JPEG 文件；在解析时将文本信息部分进行解密显示，图像信息不受任何影响。5. 如权利要求3所述的一种构建结构化视频图像信息设备的方法，其特征是，所述标 记码两字节构成，前一个字节固定为OxFF代表标记码开始，后一个字节不同值代表不同含 义； 在图像解析过程中，从0xFFD8开始对文件进行解析，到0xFFD9解析结束。6. 如权利要求3所述的一种构建结构化视频图像信息设备的方法，其特征是，所述步 骤（2)的具体方法为： 将描述文件和视频文件作为结构化信息的两部分进行关联，为每个时间段的视频文件 创建其对应的描述文件来对单一的视频图像进行文本化的补充； 对原有的视频流数据包进行封装，将原有视频流数据包和物联网传感器接收到的标准 传感器数据或手动输入的文本信息进行融合，将数据包长度、视频流数据包、其他信息长度 及其他信息合并成新的数据包进行传输。7. 如权利要求3所述的一种构建结构化视频图像信息设备的方法，其特征是，所述步 骤（3)中，对结构化的JPEG图像文件进行存储的方法为： 在存储的过程中按照文本信息内容进行分段或者分文件夹存储。8. 如权利要求3所述的一种构建结构化视频图像信息设备的方法，其特征是，所述步 骤（3)中，对结构化的视频图像信息进行存储的方法为： 为结构化的视频图像信息中描述文件的各字段构建索引文件，将索引文件分为若干 级，将接收到的文本信息按照相应级的内容进行存储。9. 如权利要求3所述的一种构建结构化视频图像信息设备的方法，其特征是，所述步 骤（4)中，对结构化的JPEG图像文件进行检索的方法为： 在检索时首先定位条件所在的文件夹，然后在子文件夹中进行检索； 通过解析JPEG文件数据获得文本信息长度，然后根据该长度将全部的文本信息提取 出来，通过与检索条件进行匹配对比，如果检索条件符合则说明这个JPEG文件就是我们所 要找的图片文件，否则就进行下一文件的对比。10. 如权利要求3所述的一种构建结构化视频图像信息设备的方法，其特征是，所述步 骤（4)中，对结构化的视频图像信息进行检索的方法为： 从存储目录开始查找，进入对应第一级检索目录，查看各级索引文件选择符合条件的 目录，放入检索队列，在本级检索目录查询完毕后，从检索队列中获取下一级检索文件的路 径进行检索直到检索到对应的描述文件位置为止；检索到描述文件后，得到其对应的视频 文件。
【专利摘要】本发明公开了一种构建结构化视频图像信息的设备和方法，包括：CCD/CMOS图像传感器模块与视频处理器连接，无线传感器网络接收模块与CPU处理器连接，视频处理器与CPU处理器的输出分别连接至信息融合模块，所述信息融合模块与以太网/WiFi接口连接；将视频图像信息与其他数据融合在一起，形成结构化视频图像信息。本发明有益效果：通过将多种不同传感器采集到的信息进行融合，利用不同传感器信息和其采集方式的优点，为视频图像建立文本描述信息，提高视频图像的检索速度和其利用效率。
【IPC分类】G06F17/30
【公开号】CN104899261
【申请号】CN201510260225
【发明人】杜晓通, 邢大天
【申请人】杜晓通
【公开日】2015年9月9日
【申请日】2015年5月20日
最新回复(0)