一种无人机影像数据实时处理方法及系统的制作方法
一种无人机影像数据实时处理方法及系统的制作方法
【技术领域】
[0001] 本发明涉及无人机技术领域，更具体地说，涉及一种无人机影像数据实时处理方 法及系统。
【背景技术】
[0002] 针对当前我国目前无人机行业的应用日益扩展和深入发展，无人机作为一种遥感 应用的延伸平台，在各行各业中均扮演着越来越重要的作用。从当前的无人机集成使用方 式进行分析，无人机的研发和无人机载荷的研发是各自分开的且两者之间具有相当强的独 立性。由此，造成了无人机本身和无人机有效载荷彼此之间在除了机械结构上的其他方 面耦合性的降低，尤其是某些飞机遥测信息的不开放性和有效载荷数据的信息时空非同步 性。
[0003] 目前无人机挂载的载荷主要集成的是光学成像传感器，其数据类型主要包括连续 的航拍相片和视频数据。由于，无人机载荷数据的处理与无人机载荷类型相关，在无人机实 际应用过程中，针对连续的航拍相片，其数据处理的方式为：匹配必要的飞机POS(Position andOrientationSystem，低精度稳定平台和高精度姿态测量系统，由惯性测量装置MU和 全球定位系统GPS组合而成）信息或者在精度和可靠性要求较高的情况下保证飞机遥测信 息和载荷数据的时空同步性以及使用模式的一致性，实时执行对单幅影像数据处理和信息 提取；针对连续的视频数据，其数据处理的方式为：在后处理模式下，可以对图像和遥测进 行分别保存，后期匹配后进行拼接即可，此时只需要保证空间同步性，降低了对P0S系统的 要求。
[0004] 当前的无人机在需要大范围航拍的领域，若采用上述针对大范围飞行后获取的航 拍数据，以后处理的模式对航拍数据进行批量处理的方式，在一定程度上满足不了数据处 理结果及时性的要求；若依赖于要求遥测信息和载荷数据时空同步性下实时对连续的航拍 相片的处理，则对于数据链路和无人机载荷集成而言需要满足较高的专业性要求，这与当 前发展越来越迅速的无人机，尤其是无法开放遥测数据接口的多旋翼无人机的应用冲突。
[0005] 因此，如何解决在遥测数据无法获取或者时空匹配性较差，即无P0S系统要求的 情况下，实时对无人机的影像数据进行处理成为目前亟待解决的问题。
【发明内容】
[0006] 本发明的目的是提供一种无人机影像数据实时处理方法及系统，以解决在遥测数 据无法获取或者时空匹配性较差的情况下，实时对无人机的影像数据进行处理的问题。
[0007] 为实现上述目的，本发明提供了如下技术方案：
[0008] -种无人机影像数据实时处理方法，包括：
[0009] 获取连续影像数据，提取所述连续影像数据的联合特征信息，将所述联合特征信 息与阈值进行匹配，获取成功匹配的特征匹配结果，其中，所述联合特征信息中包括，FREAK 特征和SIFT特征；
[0010] 判断是否有P0S信息辅助，若无P0S信息辅助，则利用所述特征匹配结果，基于运 动估计结构SFM对所述连续影像数据的姿态数据估计，并获取多帧估计姿态数据；
[0011] 基于所述多帧估计姿态数据对所述连续影像数据中的每一帧图像数据所属航段 进行分析，当从某一帧图像数据开始，连续预设帧数的帧图像数据对应的帧估计姿态数据 处于平移变化中，确定从所述某一帧图像数据开始新航段，并进行航段标记；
[0012] 对后续的帧图像数据基于所述SFM进行所属航段进行分析，将属于所述新航段的 帧图像进行航段标记；
[0013] 依据标记有航段标记的帧图像数据，利用所述特征匹配结果进行图像拼接，生成 对应的拼接图。
[0014] 优选的，对后续的帧图像数据基于所述SFM进行所属航段进行分析之后，还包括：
[0015] 当后续的帧图像数据中连续预设帧数对应的帧估计姿态数据偏离所述新航段，停 止对所述新航段的图像拼接，并启动所述新航段的校正信息对所述新航段对应的拼接图进 行航段图像的防射变换校正，获取符合GIS要求的地理地图；
[0016] 所述校正信息包括航迹信息，或者人工输入的地理参数信息。
[0017] 优选的，还包括：若判断有P0S信息辅助，则获取附带有P0S属性的图像数据，基于 所述特征结果进行图像拼接，生成对应的拼接图。
[0018] 优选的，获取并提取连续影像数据的联合特征信息，将所述联合特征信息与预设 特征信息进行匹配，获取成功匹配的特征匹配结果，包括：
[0019] 通过实时链路或网络转发获取所述无人机拍摄的连续影像数据，或者，直接获取 预先存储于地面站的连续影像数据；
[0020] 按照图像帧格式导入所述连续影像数据，提取每一帧导入的帧图像数据的联合特 征信息并与阈值进行匹配；
[0021] 获取基于匹配成功的每一帧图像数据的匹配结果生成成功匹配的特征匹配结 果；
[0022] 提取每一帧导入的帧图像数据的联合特征信息并与阈值进行匹配的过程包括：
[0023] 提取当前导入的一帧图像数据中的FREAK特征进行特征标记，并基于特征匹配函 数将所述标记后的FREAK特征与第一阈值进行匹配；
[0024] 若匹配点数目不少于所述第一阈值，则确定当前导入的一帧图像数据成功匹配；
[0025] 若匹配点数目小于所述第一阈值，则切换至对所述当前导入的一帧图像数据中的 SIFT特征进行提取并进行标记；
[0026] 基于所述特征函数对将所述标记后的SIFT特征与第二阈值进行匹配；
[0027] 若匹配点数目小于所述第二阈值，则依据前一次的特征匹配结果构造所述特征函 数的匹配关系参数；
[0028] 若匹配点数目不少于所述第二阈值，则确定当前导入的一帧图像数据成功匹配；
[0029] 其中，在导入当前的帧图像数据的同时，对前一次的帧图像数据进行缓存。
[0030] 优选的，所述FREAK特征中的特征描述子的构成是由粗信息至精信息，在将所述 标记后的FREAK特征与第一阈值进行匹配，包括：
[0031] 将代表所述描述子的粗信息与第一阈值进行匹配，若匹配中距离小于所述第一阈 值，则继续将所述第一阈值与所述描述子的精信息进行匹配。
[0032] -种无人机影像数据实时处理系统，包括：
[0033] 提取匹配装置，用于获取连续影像数据，提取所述连续影像数据的联合特征信息， 将所述联合特征信息与阈值进行匹配，获取成功匹配的特征匹配结果，其中，所述联合特征 信息中包括，FREAK特征和SIFT特征；
[0034] 判断估计装置，用于判断是否有P0S信息辅助，若无P0S信息辅助，则利用所述特 征匹配结果，基于运动估计结构SFM对所述连续影像数据的姿态数据估计，并获取多帧估 计姿态数据；
[0035] 航段分析装置，用于基于所述多帧估计姿态数据对所述连续影像数据中的每一帧 图像数据所属航段进行分析，当从某一帧图像数据开始，连续预设帧数的帧图像数据对应 的帧估计姿态数据处于平移变化中，确定从所述某一帧图像数据开始新航段，并进行航段 标记；
[0036] 航段判断装置，用于对后续的帧图像数据基于所述SFM进行所属航段进行分析， 将属于所述新航段的帧图像进行航段标记；
[0037] 拼接图装置，用于依据标记有航段标记的帧图像数据，利用所述特征匹配结果进 行图像拼接，生成对应的拼接图。
[0038] 优选的，还包括：
[0039] 校正装置，用于当后续的帧图像数据中连续预设帧数对应的帧估计姿态数据偏离 所述新航段，停止对所述新航段的图像拼接，并启动所述新航段的校正信息对所述新航段 对应的拼接图进行航段图像的防射变换校正，获取符合GIS要求的地理地图；
[0040] 所述校正信息包括航迹信息，或者人工输入的地理参数信息。
[0041] 优选的，所述判断估计装置，还包括：
[0042] 跳转单元，用于若判断有P0S信息辅助，则获取附带有P0S属性的图像数据和所述 特征结果跳转至所述拼接图装置进行图像拼接，生成对应的拼接图。
[0043] 优选的，所述提取匹配装置，包括：
[0044] 特征提取单元，用于通过实时链路或网络转发获取所述无人机拍摄的连续影像数 据，或者，直接获取预先存储于地面站的连续影像数据；
[0045] 特征匹配单元，用于按照图像帧格式导入所述连续影像数据，提取每一帧导入的 帧图像数据的联合特征信息并与阈值进行匹配；
[0046] 获取单元，用于获取基于匹配成功的每一帧图像数据的匹配结果生成成功匹配的 特征匹配结果；
[0047] 所述特征匹配单元，包括：
[0048] 第一匹配模块，用于提取当前导入的一帧图像数据中的FREAK特征进行特征标 记，并基于特征匹配函数将所述标记后的FREAK特征与第一阈值进行匹配；
[0049] 第一确定模块，用于若匹配点数目不少于所述阈值，则确定当前导入的一帧图像 数据成功匹配；
[0050] 切换模块，用于若匹配点数目小于所述阈值，则切换至对所述当前导入的一帧图 像数据中的SIFT特征进行提取并进行标记；
[0051] 第二匹配模块，用于基于所述特征函数对将所述标记后的SIFT特征与第二阈值 进行匹配；
[0052] 构造模块，用于若匹配点数目小于所述阈值，则依据前一次的特征匹配结果构造 所述特征 函数的匹配关系参数；
[0053] 第二确定模块，用于若匹配点数目不少于所述阈值，则确定当前导入的一帧图像 数据成功匹配；
[0054] 其中，在导入当前的帧图像数据的同时，对前一次的帧图像数据进行缓存。
[0055] 优选的，包括：当所述FREAK特征中的特征描述子的构成是由粗信息至精信息，在 将所述标记后的FREAK特征与第一阈值进行匹配的所述第一匹配模块，用于将代表所述描 述子的粗信息与第一阈值进行匹配，若匹配中距离小于所述第一阈值，则继续将所述第一 阈值与所述描述子的精信息进行匹配。
[0056] 通过以上方案可知，本发明实施例提供的一种无人机影像数据实时处理方法及系 统，该方法通过提取连续影像数据的联合特征信息，将联合特征信息与阈值进行匹配，获取 成功匹配的特征匹配结果，采用FREAK特征和SIFT特征组合使用的特征提取和匹配过程， 响应了对无人机影像数据实时性的要求。然后在无P0S信息辅助的情况下，利用特征匹配 结果，基于SFM对连续影像数据的姿态数据估计，并获取多帧估计姿态数据；以及，基于多 帧估计姿态数据对连续影像数据中的每一帧图像数据所属航段进行分析，当从某一帧图像 数据开始，连续预设帧数的帧图像数据对应的帧估计姿态数据处于平移变化中，确定从某 一帧图像数据开始新航段，并进行航段标记；对后续的帧图像数据基于所述SFM进行所属 航段进行分析，将属于新航段的帧图像进行航段标记；这里在无P0S系统的情况下，利用 SFM的方法进行无人机运行轨迹的恢复，通过获取相对的姿态数据，恢复多个航段的飞行航 迹，在每个航段内构建实时拼接数据。最后依据标记有航段标记的帧图像数据，利用所述特 征匹配结果进行图像拼接，生成对应拼接图。通过上述方法，实现解决遥测数据无法获取或 时空匹配性较差，即无P0S系统辅助的情况下，实时对无人机的影像数据进行处理的目的。
【附图说明】
[0057] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
[0058] 图1为本申请实施例提供的一种无人机影像数据实时处理方法的流程图；
[0059] 图2为本申请实施例提供的另一种无人机影像数据实时处理方法的流程图；
[0060] 图3为本申请实施例提供的另一种无人机影像数据实时处理方法中的部分流程 图；
[0061] 图4为本申请实施例提供的一种无人机影像数据实时处理系统的结构示意图；
[0062] 图5为本申请实施例提供的另一种无人机影像数据实时处理系统的结构示意图。
【具体实施方式】
[0063] 说明书和权利要求书及上述附图中的术语"第一"、"第二"、"第三""第四"等（如 果存在）是用于区别类似的部分，而不必用于描述特定的顺序或先后次序。应该理解这样 使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图 示的以外的顺序实施。
[0064] 以下为本发明说明书及说明书附图中涉及的英文缩写的说明：
[0065] POS:PositionandOrientationSystem，低精度稳定平台和高精度姿态测量系 统，由惯性测量装置MU和全球定位系统GPS组合而成；
[0066] SFM〖structurefrommotion，运动估计结构；
[0067] FREAK特征和SIFT特征：均为图像局部特征。
[0068] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0069] 实施例一
[0070] 本发明实施例一提供了一种无人机影像数据实时处理方法，应用于无人机，如图1 所示，主要包括以下步骤：
[0071] 步骤S101，获取连续影像数据，提取所述连续影像数据的联合特征信息，将所述联 合特征信息与阈值进行匹配，获取成功匹配的特征匹配结果；
[0072] 在步骤S101中，所述联合特征信息中包括，FREAK特征和SIFT特征；在本发明实 施例中，采用FREAK特征和SIFT特征组合使用的特征提取和匹配过程，满足对无人机影像 数据实时处理的要求。
[0073] 步骤S102,判断是否有P0S信息辅助，若无P0S信息辅助，则执行步骤S103 ;
[0074] 在步骤S102中，对当前无人机影像数据处理的过程中是否有P0S信息辅助进行判 断，若判断有P0S信息辅助，则可直接获取附带有P0S属性的图像数据，基于执行步骤S101 获取的所述特征结果进行图像拼接，生成对应的拼接图。若判断没有P0S信息辅助，则继续 执行，调用无P0S信息时对无人机影像数据进行处理的方式，即执行步骤S103。
[0075] 步骤S103,利用所述特征匹配结果，基于运动估计结构SFM对所述连续影像数据 的姿态数据估计，并获取多帧估计姿态数据；
[0076] 在执行步骤S103的过程中，本发明实施例中采用的运动估计结构SFM的方式对 连续影像数据的姿态数据进行估计，得到多帧的估计姿态数据。该SFM为一种二视图由运 动到结构的方法，在连续的两帧影像数据之间通过匹配的特征点建立起基本的极线约束关 系，使用该基本关系，可以恢复编码在该极线约束关系内本质矩阵E中的无人机摄像机运 动，即由N个对应值形成N个关于的9个元素的齐次方程。在理想无噪声情况下，本质矩阵 E是奇异的，即SVD分解后有一个0奇异值。
[0077] 步骤S104,基于所述多帧估计姿态数据对所述连续影像数据中的每一帧图像数据 所属航段进行分析，当从某一帧图像数据开始，连续预设帧数的帧图像数据对应的帧估计 姿态数据处于平移变化中，确定从所述某一帧图像数据开始新航段，并进行航段标记；
[0078] 在步骤S104中，连续预设帧数的帧图像数据对应的帧估计姿态数据处于平移变 化中的连续预设帧数，通常情况下为十帧，当本发明实施例并不仅限于此，该预设帧数可左 右浮动2~3帧。
[0079] 步骤S105,对后续的帧图像数据基于所述SFM进行所属航段进行分析，将属于所 述新航段的帧图像进行航段标记；
[0080] 在执行步骤S103~步骤S105的过程中，利用SFM的方法可以进行无人机运行轨 迹的恢复，并通过连续帧的运动解算获取相对姿态，恢复多个航段的飞行航迹，在每个航段 内构建实时拼接数据的处理结果，即确定每个航段以及所属该航段内的帧图像数据，并进 行相应的操作。
[0081] 步骤S106,依据标记有航段标记的帧图像数据，利用所述特征匹配结果进行图像 拼接，生成对应的拼接图。
[0082] 在执行步骤S106的过程中，基于上述获取到的每个航段内以及所属航段内的帧 图像数据，结合各个帧图像数据执行步骤S101时所获取的对应的特征匹配结果进行图像 拼接，生成当前无人机获取的连续影像数据对应的拼接图。
[0083] 通过上述本发明实施例公开了一种无人机影像数据实时处理方法，该方法通过对 连续影像数据的联合特征信息进行匹配，采用FREAK和SIFT特征组合使用的特征提取和匹 配过程，响应了对无人机影像数据实时性的要求。然后在无P0S信息辅助的情况下，利用特 征匹配结果，基于SFM对连续影像数据的姿态数据估计，对无人机的多个航段的飞行航迹 恢复，并标记每个航段内的帧图像数据。最后依据标记有航段标记的帧图像数据，利用特征 匹配结果进行图像拼接，生成对应拼接图。通过上述方法，实现解决遥测数据无法获取或时 空匹配性较差，即无P0S系统辅助的情况下，实时对无人机的影像数据进行处理的目的。
[0084] 实施例二
[0085] 基于上述本发明实施例公开的一种无人机影像数据实时处理方法，如图1所示出 的步骤S105,在执行对后续的帧图像数据基于所述SFM进行所属航段进行分析之后，还包 括如图2所示：
[0086] 步骤S107,当后续的帧图像数据中连续预设帧数对应的帧估计姿态数据偏离所述 新航段，停止对所述新航段的图像拼接，并启动所述新航段的校正信息对所述新航段对应 的拼接图进行航段图像的防射变换校正，获取符合GIS要求的地理地图；
[0087] 在步骤S107中，所述校正信息包括航迹信息，或者人工输入的地理参数信息。
[0088] 基于上述本发明实施例公开的一种无人机影像数据实时处理方法，如图1所示出 的步骤S101，具体执行过程，如图3所示，主要包括以下步骤：
[0089] 步骤S1011，通过实时链路或网络转发获取所述无人机拍摄的连续影像数据，或 者，直接获取预先存储于地面站的连续影像数据；
[0090] 步骤S1012,按照图像帧格式导入所述连续影像数据，提取每一帧导入的帧图像数 据的联合特征信息并与阈值进行匹配；
[0091] 步骤S1013,获取基于匹配成功的每一帧图像数据的匹配结果生成成功匹配的特 征匹配结果。
[0092] 其中，在执行步骤S1012的过程中，针对每一帧导入的帧图像数据的联 合特征信 息并与阈值进行匹配的过程包括：
[0093] 提取当前导入的一帧图像数据中的FREAK特征进行特征标记，并基于特征匹配函 数将所述标记后的FREAK特征与第一阈值进行匹配；
[0094] 若匹配点数目不少于所述第一阈值，则确定当前导入的一帧图像数据成功匹配；
[0095] 若匹配点数目小于所述第一阈值，则切换至对所述当前导入的一帧图像数据中的 SIFT特征进行提取并进行标记；
[0096] 基于所述特征函数对将所述标记后的SIFT特征与第二阈值进行匹配；
[0097] 若匹配点数目小于所述所述第二阈值，则依据前一次的特征匹配结果构造所述特 征函数的匹配关系参数；
[0098] 若匹配点数目不少于所述第二阈值，则确定当前导入的一帧图像数据成功匹配；
[0099] 其中，在导入当前的帧图像数据的同时，对前一次的帧图像数据进行缓存；这里的 第一阈值和第二阈值的取值大小可以相同，也可以相同，通常由技术人员进行设定或调整。
[0100] 基于上述匹配过程，需要说明的是，本发明实施例中所公开的FREAK特征使用如 下：
[0101] a、关键点检测子：
[0102] 这里采用BRISK算法中提出的多尺度AGAST检测子。
[0103] b、二进制描述子F的构建：
[0104] 通过阈值化接收区域对应的高斯核得到二进制描述子F如公式（1):
[0106] 其中，Pa是一对可接受字段，N为目标描述子的长度；
[0108] 这里)为第一个对可接受字段对Pa的平滑程度。
[0109] 通过几十个可接受区域，得到上千对区域对就可以构建一个高维描述子。通过 BRISK算法得到的描述子中引进的空间距离策略去除一些没用的区域对。通过这种方法得 到的区域对可能高相关缺少区分度。
[0110] 本发明实施例中公开的SIFT特征使用如下：
[0111] a、关键点监测子：
[0112] SIFT特征综合考虑了特征点的位置、尺度和旋转不变量。极值点的检测可以通过 尺度空间或者高斯金字塔，本发明实施例通过构建高斯金字塔来实现极值点检测。
[0113] 采用了高斯函数来建立尺度空间，高斯函数公式（2)为：
[0114] G(x,y,e) = [l/2*pi*e'2]*exp[-(x'2+y'2)/2e'2] (2)
[0115] 上述公式G(x，y，e)，即为尺度可变高斯函数。
[0116] 在此基础上检测关键点，为了寻找尺度空间的极值点，首先，每一个采样点要和它 所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。然后，对关键点进 行方向分配，用图像的局部特征为给每一个关键点分配一个方向，使描述具有旋转不性，利 用关键点邻域像素的梯度及方向分布的特性，可以得到梯度模值和方向如下式（3)和（4):
[0118] 0(X，y) =tarT1((L(X，y+1)-L(X，y-1))/L(x+1，y)-L(x-1，y))) (4)
[0119] b、描述子构建：
[0120] 每一个关键点，拥有三个信息：位置、尺度以及方向。为每个关键点建立一个描述 符，使其不随各种变化而改变，比如光照变化、视角变化等等。首先将坐标轴旋转为关键点 的方向，以确保旋转不变性。以关键点为中心取8X8的窗口，在每4X4的小块上计算8个 方向的梯度方向直方图，绘制每个梯度方向的累加值，一个关键点由2X2共4个种子点组 成，每个种子点有8个方向向量信息。存储到特征描述子中，将特征向量的长度归一化，则 可以进一步去除光照变化的影响。
[0121] 基于上述对FREAK特征和SIFT特征的说明，由于所述FREAK特征中的特征描述子 的构成是由粗信息至精信息，因此匹配过程也采用这种方式，首先通过前16bytes代表描 述子的粗信息。如果匹配中距离小于阈值，继续对描述子的精细特征进行比较。这种比较 方式的结果能够加快匹配的速度。
[0122] 而SIFT特征描述子采用关键点特征向量的欧式距离来作为两幅图像中关键点的 相似性判定度量。
[0123] 通过上述本发明实施例公开的无人机影像数据实时处理方法，该方法通过提取连 续影像数据的联合特征信息，将联合特征信息与阈值进行匹配，获取成功匹配的特征匹配 结果，采用FREAK特征和SIFT特征组合使用的特征提取和匹配过程，响应了对无人机影像 数据实时性的要求。然后在判断无P0S信息辅助的情况下，利用特征匹配结果，基于SFM对 连续影像数据的姿态数据估计，并获取多帧估计姿态数据；以及，基于多帧估计姿态数据对 连续影像数据中的每一帧图像数据所属航段进行分析，当从某一帧图像数据开始，连续预 设帧数的帧图像数据对应的帧估计姿态数据处于平移变化中，确定从某一帧图像数据开始 新航段，并进行航段标记；对后续的帧图像数据基于所述SFM进行所属航段进行分析，将属 于新航段的帧图像进行航段标记；这里在无P0S系统的情况下，利用SFM的方法进行无人机 运行轨迹的恢复，通过获取相对的姿态数据，恢复多个航段的飞行航迹，在每个航段内构建 实时拼接数据。最后依据标记有航段标记的帧图像数据，利用所述特征匹配结果进行图像 拼接，生成对应拼接图。通过上述方法，实现解决遥测数据无法获取或时空匹配性较差，即 无P0S系统辅助的情况下，实时对无人机的影像数据进行处理的目的。
[0124] 实施例三
[0125] 基于上述本发明实施例公开的一种无人机的影像数据实时处理方法，对应的本发 明实施例还公开了一种无人机影像数据实时处理系统，同样应用于无人机，其结构示意图 如图4所示，主要包括：
[0126] 提取匹配装置101，用于获取连续影像数据，提取所述连续影像数据的联合特征信 息，将所述联合特征信息与阈值进行匹配，获取成功匹配的特征匹配结果，其中，所述联合 特征信息中包括，FREAK特征和SIFT特征；
[0127] 判断估计装置102,用于判断是否有P0S信息辅助，若判断无P0S信息辅助，则利用 所述特征匹配结果，基于运动估计结构SFM对所述连续影像数据的姿态数据估计，并获取 多帧估计姿态数据；
[0128] 航段分析装置103,用于基于所述多帧估计姿态数据对所述连续影像数据中的每 一帧图像数据所属航段进行分析，当从某一帧图像数据开始，连续预设帧数的帧图像数据 对应的帧估计姿态数据处于平移变化中，确定从所述某一帧图像数据开始新航段，并进行 航段标记；
[0129] 航段判断装置104,用于对后续的帧图像数据基于所述SFM进行所属航段进行分 析，将属于所述新航段的帧图像进行航段标记；
[0130] 拼接图装置105,用于依据标记有航段标记的帧图像数据，利用所述特征匹配结果 进行图像拼接，生成对应的拼接图。
[0131] 如图5所示，在上述图4的基础上，本发明实施例公开的无人机影像数据实时处理 系统，还包括：
[0132] 校正装置106,用于当后续的帧图像数据中连续预设帧数对应的帧估计姿态数据 偏离所述新航段，停止对所述新航段的图像拼接，并启动所述新航段的校正信息对所述新 航段对应的拼接图进行航段图像的防射变换校正，获取符合GIS要求的地理地图；
[0133] 其中，所述校正信息包括航迹信息，或者人工输入的地理参数信息。
[0134] 基于上述图4中公开的所述判断估计装置102,其中还包括：
[0135] 跳转单元，用于若判断有P0S信息辅助，则获取附带有P0S属性的图像数据和所述 特征结果跳转至所述拼接图装置进行图像拼接，生成对应的拼接图。
[0136] 基于上述图4中公开的所述提取匹配装置101，其主要包括：
[0137] 特征提取单元，用于通过实时链路或网络转发获取所述无人机拍摄的连续影像数 据，或者，直接获取预先存储于地面站的连续影像数据；
[0138] 特征匹配单元，用于按照图像帧格式导入所述连续影像数据，提取每一帧导入的 帧图像数据的联合特征信息并与阈值进行匹配；
[0139] 获取单元，用于获取基于匹配成功的每一帧图像数据的匹配结果生成成功匹配的 特征匹配结果；
[0140] 所述特征匹配单元，包括：
[0141] 第一匹配模块，用于提取当前导入的一帧图像数据中的FREAK特征进行特征标 记，并基于特征匹配函数将所述标记后的FREAK特征与第一阈值进行匹配；
[0142] 需要说明的是，当所述FREAK特征中的特征描述子的构成是由粗信息至精信息， 在将所述标记后的FREAK特征与第一阈值进行匹配的所述第一匹配模块，用于将代表所述 描述子的粗信息与第一阈值进行匹配，若匹配中距离小于所述第一阈值，则继续将所述第 一阈值与所述描述子的精信息进行匹配。
[0143] 第一确定模块，用于若匹配点数目不少于所述阈值，则确定当前导入的一帧图像 数据成功匹配；
[0144] 切换模块，用于若匹配点数目小于所述阈值，则切换至对所述当前导入的一帧图 像数据中的SIFT特征进行提取并进行标记；
[0145] 第二匹配模块，用于基于所述特征函数对将所述标记后的SIFT特征与第二阈值 进行匹配；
[0146] 构造模块，用于若匹配点数目小于所述阈值，则依据前一次的特征匹配结果构造 所述特征函数的匹配关系参数 ；
[0147] 第二确定模块，用于若匹配点数目不少于所述阈值，则确定当前导入的一帧图像 数据成功匹配；
[0148] 其中，在导入当前的帧图像数据的同时，对前一次的帧图像数据进行缓存。
[0149] 本发明实施例公开的无人机影像数据实时处理系统与上述本发明实施例公开的 无人机影像数据实时处理方法对应，上述各个装置，单元和模块部分的具体执行过程可参 见方法部分，这里不再进行赘述。
[0150] 本发明说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与 其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的 装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部 分说明即可。结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理 器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM)、内存、只 读存储器（ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、⑶-ROM、或
技术领域内所公知的任意其它形式的存储介质中。
[0151] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。 对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的 一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明 将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一 致的最宽的范围。
【主权项】
1. 一种无人机影像数据实时处理方法，其特征在于，包括： 获取连续影像数据，提取所述连续影像数据的联合特征信息，将所述联合特征信息与 阈值进行匹配，获取成功匹配的特征匹配结果，其中，所述联合特征信息中包括，FREAK特征 和SIFT特征； 判断是否有POS信息辅助，若无POS信息辅助，则利用所述特征匹配结果，基于运动估 计结构SFM对所述连续影像数据的姿态数据估计，并获取多帧估计姿态数据； 基于所述多帧估计姿态数据对所述连续影像数据中的每一帧图像数据所属航段进行 分析，当从某一帧图像数据开始，连续预设帧数的帧图像数据对应的帧估计姿态数据处于 平移变化中，确定从所述某一帧图像数据开始新航段，并进行航段标记； 对后续的帧图像数据基于所述SFM进行所属航段进行分析，将属于所述新航段的帧图 像进行航段标记； 依据标记有航段标记的帧图像数据，利用所述特征匹配结果进行图像拼接，生成对应 的拼接图。2. 根据权利要求1所述的方法，其特征在于，对后续的帧图像数据基于所述SFM进行所 属航段进行分析之后，还包括： 当后续的帧图像数据中连续预设帧数对应的帧估计姿态数据偏离所述新航段，停止对 所述新航段的图像拼接，并启动所述新航段的校正信息对所述新航段对应的拼接图进行航 段图像的防射变换校正，获取符合GIS要求的地理地图； 所述校正信息包括航迹信息，或者人工输入的地理参数信息。3. 如权利要求1所述的方法，其特征在于，还包括：若判断有POS信息辅助，则获取附 带有POS属性的图像数据，基于所述特征结果进行图像拼接，生成对应的拼接图。4. 如权利要求1~3中任意一项所述的方法，其特征在于，获取并提取连续影像数据的 联合特征信息，将所述联合特征信息与预设特征信息进行匹配，获取成功匹配的特征匹配 结果，包括： 通过实时链路或网络转发获取所述无人机拍摄的连续影像数据，或者，直接获取预先 存储于地面站的连续影像数据； 按照图像帧格式导入所述连续影像数据，提取每一帧导入的帧图像数据的联合特征信 息并与阈值进行匹配； 获取基于匹配成功的每一帧图像数据的匹配结果生成成功匹配的特征匹配结果； 提取每一帧导入的帧图像数据的联合特征信息并与阈值进行匹配的过程包括： 提取当前导入的一帧图像数据中的FREAK特征进行特征标记，并基于特征匹配函数将 所述标记后的FREAK特征与第一阈值进行匹配； 若匹配点数目不少于所述第一阈值，则确定当前导入的一帧图像数据成功匹配； 若匹配点数目小于所述第一阈值，则切换至对所述当前导入的一帧图像数据中的SIFT特征进行提取并进行标记； 基于所述特征函数对将所述标记后的SIFT特征与第二阈值进行匹配； 若匹配点数目小于所述所述第二阈值，则依据前一次的特征匹配结果构造所述特征函 数的匹配关系参数； 若匹配点数目不少于所述第二阈值，则确定当前导入的一帧图像数据成功匹配； 其中，在导入当前的帧图像数据的同时，对前一次的帧图像数据进行缓存。5. 如权利要求4所述的方法，其特征在于，所述FREAK特征中的特征描述子的构成是由 粗信息至精信息，在将所述标记后的FREAK特征与第一阈值进行匹配，包括： 将代表所述描述子的粗信息与第一阈值进行匹配，若匹配中距离小于所述第一阈值， 则继续将所述第一阈值与所述描述子的精信息进行匹配。6. -种无人机影像数据实时处理系统，其特征在于，包括： 提取匹配装置，用于获取连续影像数据，提取所述连续影像数据的联合特征信息，将所 述联合特征信息与阈值进行匹配，获取成功匹配的特征匹配结果，其中，所述联合特征信息 中包括，FREAK特征和SIFT特征； 判断估计装置，用于判断是否有POS信息辅助，若无POS信息辅助，则利用所述特征匹 配结果，基于运动估计结构SFM对所述连续影像数据的姿态数据估计，并获取多帧估计姿 态数据； 航段分析装置，用于基于所述多帧估计姿态数据对所述连续影像数据中的每一帧图 像数据所属航段进行分析，当从某一帧图像数据开始，连续预设帧数的帧图像数据对应的 帧估计姿态数据处于平移变化中，确定从所述某一帧图像数据开始新航段，并进行航段标 记； 航段判断装置，用于对后续的帧图像数据基于所述SFM进行所属航段进行分析，将属 于所述新航段的帧图像进行航段标记； 拼接图装置，用于依据标记有航段标记的帧图像数据，利用所述特征匹配结果进行图 像拼接，生成对应的拼接图。7. 如权利要求6所述的方法，其特征在于，还包括： 校正装置，用于当后续的帧图像数据中连续预设帧数对应的帧估计姿态数据偏离所述 新航段，停止对所述新航段的图像拼接，并启动所述新航段的校正信息对所述新航段对应 的拼接图进行航段图像的防射变换校正，获取符合GIS要求的地理地图； 所述校正信息包括航迹信息，或者人工输入的地理参数信息。8. 如权利要求6所述的方法，其特征在于，所述判断估计装置，还包括： 跳转单元，用于若判断有POS信息辅助，则获取附带有POS属性的图像数据和所述特征 结果跳转至所述拼接图装置进行图像拼接，生成对应的拼接图。9. 如权利要求6~8中任意一项所述的方法，其特征在于，所述提取匹配装置，包括： 特征提取单元，用于通过实时链路或网络转发获取所述无人机拍摄的连续影像数据， 或者，直接获取预先存储于地面站的连续影像数据； 特征匹配单元，用于按照图像帧格式导入所述连续影像数据，提取每一帧导入的帧图 像数据的联合特征信息并与阈值进行匹配； 获取单元，用于获取基于匹配成功的每一帧图像数据的匹配结果生成成功匹配的特征 匹配结果； 所述特征匹配单元，包括： 第一匹配模块，用于提取当前导入的一帧图像数据中的FREAK特征进行特征标记，并 基于特征匹配函数将所述标记后的FREAK特征与第一阈值进行匹配； 第一确定模块，用于若匹配点数目不少于所述阈值，则确定当前导入的一帧图像数据 成功匹配； 切换模块，用于若匹配点数目小于所述阈值，则切换至对所述当前导入的一帧图像数 据中的SIFT特征进行提取并进行标记； 第二匹配模块，用于基于所述特征函数对将所述标记后的SIFT特征与第二阈值进行 匹配； 构造模块，用于若匹配点数目小于所述所述阈值，则依据前一次的特征匹配结果构造 所述特征函数的匹配关系参数； 第二确定模块，用于若匹配点数目不少于所述阈值，则确定当前导入的一帧图像数据 成功匹配； 其中，在导入当前的帧图像数据的同时，对前一次的帧图像数据进行缓存。10.根据权利要求9所述的方法，其特征在于，包括：当所述FREAK特征中的特征描述 子的构成是由粗信息至精信息，在将所述标记后的FREAK特征与第一阈值进行匹配的所述 第一匹配模块，用于将代表所述描述子的粗信息与第一阈值进行匹配，若匹配中距离小于 所述第一阈值，则继续将所述第一阈值与所述描述子的精信息进行匹配。
【专利摘要】本发明公开了一种无人机影像数据实时处理方法及系统，该方法通过对连续影像数据的联合特征信息进行匹配，采用FREAK和SIFT特征组合使用的特征提取和匹配过程，响应了对无人机影像数据实时性的要求。然后在无POS信息辅助的情况下，利用特征匹配结果，基于SFM对连续影像数据的姿态数据估计，对无人机的多个航段的飞行航迹恢复，并标记每个航段内的帧图像数据。最后依据标记有航段标记的帧图像数据，利用特征匹配结果进行图像拼接，生成对应拼接图。通过上述方法，实现解决遥测数据无法获取或时空匹配较差，即无POS系统辅助的情况下，实时对无人机的影像数据进行处理的目的。
【IPC分类】G06T3/40
【公开号】CN104899831
【申请号】CN201510311975
【发明人】燕正亮, 赵恩伟, 王诗奎, 伍小洁, 张巍, 杨鹤猛, 徐瑞, 张东萍, 张静, 张贵峰, 孟晓波, 吴新桥
【申请人】天津航天中为数据系统科技有限公司, 南方电网科学研究院有限责任公司
【公开日】2015年9月9日
【申请日】2015年6月9日
【技术领域】
[0001] 本发明涉及无人机技术领域，更具体地说，涉及一种无人机影像数据实时处理方 法及系统。
【背景技术】
[0002] 针对当前我国目前无人机行业的应用日益扩展和深入发展，无人机作为一种遥感 应用的延伸平台，在各行各业中均扮演着越来越重要的作用。从当前的无人机集成使用方 式进行分析，无人机的研发和无人机载荷的研发是各自分开的且两者之间具有相当强的独 立性。由此，造成了无人机本身和无人机有效载荷彼此之间在除了机械结构上的其他方 面耦合性的降低，尤其是某些飞机遥测信息的不开放性和有效载荷数据的信息时空非同步 性。
[0003] 目前无人机挂载的载荷主要集成的是光学成像传感器，其数据类型主要包括连续 的航拍相片和视频数据。由于，无人机载荷数据的处理与无人机载荷类型相关，在无人机实 际应用过程中，针对连续的航拍相片，其数据处理的方式为：匹配必要的飞机POS(Position andOrientationSystem，低精度稳定平台和高精度姿态测量系统，由惯性测量装置MU和 全球定位系统GPS组合而成）信息或者在精度和可靠性要求较高的情况下保证飞机遥测信 息和载荷数据的时空同步性以及使用模式的一致性，实时执行对单幅影像数据处理和信息 提取；针对连续的视频数据，其数据处理的方式为：在后处理模式下，可以对图像和遥测进 行分别保存，后期匹配后进行拼接即可，此时只需要保证空间同步性，降低了对P0S系统的 要求。
[0004] 当前的无人机在需要大范围航拍的领域，若采用上述针对大范围飞行后获取的航 拍数据，以后处理的模式对航拍数据进行批量处理的方式，在一定程度上满足不了数据处 理结果及时性的要求；若依赖于要求遥测信息和载荷数据时空同步性下实时对连续的航拍 相片的处理，则对于数据链路和无人机载荷集成而言需要满足较高的专业性要求，这与当 前发展越来越迅速的无人机，尤其是无法开放遥测数据接口的多旋翼无人机的应用冲突。
[0005] 因此，如何解决在遥测数据无法获取或者时空匹配性较差，即无P0S系统要求的 情况下，实时对无人机的影像数据进行处理成为目前亟待解决的问题。
【发明内容】
[0006] 本发明的目的是提供一种无人机影像数据实时处理方法及系统，以解决在遥测数 据无法获取或者时空匹配性较差的情况下，实时对无人机的影像数据进行处理的问题。
[0007] 为实现上述目的，本发明提供了如下技术方案：
[0008] -种无人机影像数据实时处理方法，包括：
[0009] 获取连续影像数据，提取所述连续影像数据的联合特征信息，将所述联合特征信 息与阈值进行匹配，获取成功匹配的特征匹配结果，其中，所述联合特征信息中包括，FREAK 特征和SIFT特征；
[0010] 判断是否有P0S信息辅助，若无P0S信息辅助，则利用所述特征匹配结果，基于运 动估计结构SFM对所述连续影像数据的姿态数据估计，并获取多帧估计姿态数据；
[0011] 基于所述多帧估计姿态数据对所述连续影像数据中的每一帧图像数据所属航段 进行分析，当从某一帧图像数据开始，连续预设帧数的帧图像数据对应的帧估计姿态数据 处于平移变化中，确定从所述某一帧图像数据开始新航段，并进行航段标记；
[0012] 对后续的帧图像数据基于所述SFM进行所属航段进行分析，将属于所述新航段的 帧图像进行航段标记；
[0013] 依据标记有航段标记的帧图像数据，利用所述特征匹配结果进行图像拼接，生成 对应的拼接图。
[0014] 优选的，对后续的帧图像数据基于所述SFM进行所属航段进行分析之后，还包括：
[0015] 当后续的帧图像数据中连续预设帧数对应的帧估计姿态数据偏离所述新航段，停 止对所述新航段的图像拼接，并启动所述新航段的校正信息对所述新航段对应的拼接图进 行航段图像的防射变换校正，获取符合GIS要求的地理地图；
[0016] 所述校正信息包括航迹信息，或者人工输入的地理参数信息。
[0017] 优选的，还包括：若判断有P0S信息辅助，则获取附带有P0S属性的图像数据，基于 所述特征结果进行图像拼接，生成对应的拼接图。
[0018] 优选的，获取并提取连续影像数据的联合特征信息，将所述联合特征信息与预设 特征信息进行匹配，获取成功匹配的特征匹配结果，包括：
[0019] 通过实时链路或网络转发获取所述无人机拍摄的连续影像数据，或者，直接获取 预先存储于地面站的连续影像数据；
[0020] 按照图像帧格式导入所述连续影像数据，提取每一帧导入的帧图像数据的联合特 征信息并与阈值进行匹配；
[0021] 获取基于匹配成功的每一帧图像数据的匹配结果生成成功匹配的特征匹配结 果；
[0022] 提取每一帧导入的帧图像数据的联合特征信息并与阈值进行匹配的过程包括：
[0023] 提取当前导入的一帧图像数据中的FREAK特征进行特征标记，并基于特征匹配函 数将所述标记后的FREAK特征与第一阈值进行匹配；
[0024] 若匹配点数目不少于所述第一阈值，则确定当前导入的一帧图像数据成功匹配；
[0025] 若匹配点数目小于所述第一阈值，则切换至对所述当前导入的一帧图像数据中的 SIFT特征进行提取并进行标记；
[0026] 基于所述特征函数对将所述标记后的SIFT特征与第二阈值进行匹配；
[0027] 若匹配点数目小于所述第二阈值，则依据前一次的特征匹配结果构造所述特征函 数的匹配关系参数；
[0028] 若匹配点数目不少于所述第二阈值，则确定当前导入的一帧图像数据成功匹配；
[0029] 其中，在导入当前的帧图像数据的同时，对前一次的帧图像数据进行缓存。
[0030] 优选的，所述FREAK特征中的特征描述子的构成是由粗信息至精信息，在将所述 标记后的FREAK特征与第一阈值进行匹配，包括：
[0031] 将代表所述描述子的粗信息与第一阈值进行匹配，若匹配中距离小于所述第一阈 值，则继续将所述第一阈值与所述描述子的精信息进行匹配。
[0032] -种无人机影像数据实时处理系统，包括：
[0033] 提取匹配装置，用于获取连续影像数据，提取所述连续影像数据的联合特征信息， 将所述联合特征信息与阈值进行匹配，获取成功匹配的特征匹配结果，其中，所述联合特征 信息中包括，FREAK特征和SIFT特征；
[0034] 判断估计装置，用于判断是否有P0S信息辅助，若无P0S信息辅助，则利用所述特 征匹配结果，基于运动估计结构SFM对所述连续影像数据的姿态数据估计，并获取多帧估 计姿态数据；
[0035] 航段分析装置，用于基于所述多帧估计姿态数据对所述连续影像数据中的每一帧 图像数据所属航段进行分析，当从某一帧图像数据开始，连续预设帧数的帧图像数据对应 的帧估计姿态数据处于平移变化中，确定从所述某一帧图像数据开始新航段，并进行航段 标记；
[0036] 航段判断装置，用于对后续的帧图像数据基于所述SFM进行所属航段进行分析， 将属于所述新航段的帧图像进行航段标记；
[0037] 拼接图装置，用于依据标记有航段标记的帧图像数据，利用所述特征匹配结果进 行图像拼接，生成对应的拼接图。
[0038] 优选的，还包括：
[0039] 校正装置，用于当后续的帧图像数据中连续预设帧数对应的帧估计姿态数据偏离 所述新航段，停止对所述新航段的图像拼接，并启动所述新航段的校正信息对所述新航段 对应的拼接图进行航段图像的防射变换校正，获取符合GIS要求的地理地图；
[0040] 所述校正信息包括航迹信息，或者人工输入的地理参数信息。
[0041] 优选的，所述判断估计装置，还包括：
[0042] 跳转单元，用于若判断有P0S信息辅助，则获取附带有P0S属性的图像数据和所述 特征结果跳转至所述拼接图装置进行图像拼接，生成对应的拼接图。
[0043] 优选的，所述提取匹配装置，包括：
[0044] 特征提取单元，用于通过实时链路或网络转发获取所述无人机拍摄的连续影像数 据，或者，直接获取预先存储于地面站的连续影像数据；
[0045] 特征匹配单元，用于按照图像帧格式导入所述连续影像数据，提取每一帧导入的 帧图像数据的联合特征信息并与阈值进行匹配；
[0046] 获取单元，用于获取基于匹配成功的每一帧图像数据的匹配结果生成成功匹配的 特征匹配结果；
[0047] 所述特征匹配单元，包括：
[0048] 第一匹配模块，用于提取当前导入的一帧图像数据中的FREAK特征进行特征标 记，并基于特征匹配函数将所述标记后的FREAK特征与第一阈值进行匹配；
[0049] 第一确定模块，用于若匹配点数目不少于所述阈值，则确定当前导入的一帧图像 数据成功匹配；
[0050] 切换模块，用于若匹配点数目小于所述阈值，则切换至对所述当前导入的一帧图 像数据中的SIFT特征进行提取并进行标记；
[0051] 第二匹配模块，用于基于所述特征函数对将所述标记后的SIFT特征与第二阈值 进行匹配；
[0052] 构造模块，用于若匹配点数目小于所述阈值，则依据前一次的特征匹配结果构造 所述特征 函数的匹配关系参数；
[0053] 第二确定模块，用于若匹配点数目不少于所述阈值，则确定当前导入的一帧图像 数据成功匹配；
[0054] 其中，在导入当前的帧图像数据的同时，对前一次的帧图像数据进行缓存。
[0055] 优选的，包括：当所述FREAK特征中的特征描述子的构成是由粗信息至精信息，在 将所述标记后的FREAK特征与第一阈值进行匹配的所述第一匹配模块，用于将代表所述描 述子的粗信息与第一阈值进行匹配，若匹配中距离小于所述第一阈值，则继续将所述第一 阈值与所述描述子的精信息进行匹配。
[0056] 通过以上方案可知，本发明实施例提供的一种无人机影像数据实时处理方法及系 统，该方法通过提取连续影像数据的联合特征信息，将联合特征信息与阈值进行匹配，获取 成功匹配的特征匹配结果，采用FREAK特征和SIFT特征组合使用的特征提取和匹配过程， 响应了对无人机影像数据实时性的要求。然后在无P0S信息辅助的情况下，利用特征匹配 结果，基于SFM对连续影像数据的姿态数据估计，并获取多帧估计姿态数据；以及，基于多 帧估计姿态数据对连续影像数据中的每一帧图像数据所属航段进行分析，当从某一帧图像 数据开始，连续预设帧数的帧图像数据对应的帧估计姿态数据处于平移变化中，确定从某 一帧图像数据开始新航段，并进行航段标记；对后续的帧图像数据基于所述SFM进行所属 航段进行分析，将属于新航段的帧图像进行航段标记；这里在无P0S系统的情况下，利用 SFM的方法进行无人机运行轨迹的恢复，通过获取相对的姿态数据，恢复多个航段的飞行航 迹，在每个航段内构建实时拼接数据。最后依据标记有航段标记的帧图像数据，利用所述特 征匹配结果进行图像拼接，生成对应拼接图。通过上述方法，实现解决遥测数据无法获取或 时空匹配性较差，即无P0S系统辅助的情况下，实时对无人机的影像数据进行处理的目的。
【附图说明】
[0057] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
[0058] 图1为本申请实施例提供的一种无人机影像数据实时处理方法的流程图；
[0059] 图2为本申请实施例提供的另一种无人机影像数据实时处理方法的流程图；
[0060] 图3为本申请实施例提供的另一种无人机影像数据实时处理方法中的部分流程 图；
[0061] 图4为本申请实施例提供的一种无人机影像数据实时处理系统的结构示意图；
[0062] 图5为本申请实施例提供的另一种无人机影像数据实时处理系统的结构示意图。
【具体实施方式】
[0063] 说明书和权利要求书及上述附图中的术语"第一"、"第二"、"第三""第四"等（如 果存在）是用于区别类似的部分，而不必用于描述特定的顺序或先后次序。应该理解这样 使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图 示的以外的顺序实施。
[0064] 以下为本发明说明书及说明书附图中涉及的英文缩写的说明：
[0065] POS:PositionandOrientationSystem，低精度稳定平台和高精度姿态测量系 统，由惯性测量装置MU和全球定位系统GPS组合而成；
[0066] SFM〖structurefrommotion，运动估计结构；
[0067] FREAK特征和SIFT特征：均为图像局部特征。
[0068] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0069] 实施例一
[0070] 本发明实施例一提供了一种无人机影像数据实时处理方法，应用于无人机，如图1 所示，主要包括以下步骤：
[0071] 步骤S101，获取连续影像数据，提取所述连续影像数据的联合特征信息，将所述联 合特征信息与阈值进行匹配，获取成功匹配的特征匹配结果；
[0072] 在步骤S101中，所述联合特征信息中包括，FREAK特征和SIFT特征；在本发明实 施例中，采用FREAK特征和SIFT特征组合使用的特征提取和匹配过程，满足对无人机影像 数据实时处理的要求。
[0073] 步骤S102,判断是否有P0S信息辅助，若无P0S信息辅助，则执行步骤S103 ;
[0074] 在步骤S102中，对当前无人机影像数据处理的过程中是否有P0S信息辅助进行判 断，若判断有P0S信息辅助，则可直接获取附带有P0S属性的图像数据，基于执行步骤S101 获取的所述特征结果进行图像拼接，生成对应的拼接图。若判断没有P0S信息辅助，则继续 执行，调用无P0S信息时对无人机影像数据进行处理的方式，即执行步骤S103。
[0075] 步骤S103,利用所述特征匹配结果，基于运动估计结构SFM对所述连续影像数据 的姿态数据估计，并获取多帧估计姿态数据；
[0076] 在执行步骤S103的过程中，本发明实施例中采用的运动估计结构SFM的方式对 连续影像数据的姿态数据进行估计，得到多帧的估计姿态数据。该SFM为一种二视图由运 动到结构的方法，在连续的两帧影像数据之间通过匹配的特征点建立起基本的极线约束关 系，使用该基本关系，可以恢复编码在该极线约束关系内本质矩阵E中的无人机摄像机运 动，即由N个对应值形成N个关于的9个元素的齐次方程。在理想无噪声情况下，本质矩阵 E是奇异的，即SVD分解后有一个0奇异值。
[0077] 步骤S104,基于所述多帧估计姿态数据对所述连续影像数据中的每一帧图像数据 所属航段进行分析，当从某一帧图像数据开始，连续预设帧数的帧图像数据对应的帧估计 姿态数据处于平移变化中，确定从所述某一帧图像数据开始新航段，并进行航段标记；
[0078] 在步骤S104中，连续预设帧数的帧图像数据对应的帧估计姿态数据处于平移变 化中的连续预设帧数，通常情况下为十帧，当本发明实施例并不仅限于此，该预设帧数可左 右浮动2~3帧。
[0079] 步骤S105,对后续的帧图像数据基于所述SFM进行所属航段进行分析，将属于所 述新航段的帧图像进行航段标记；
[0080] 在执行步骤S103~步骤S105的过程中，利用SFM的方法可以进行无人机运行轨 迹的恢复，并通过连续帧的运动解算获取相对姿态，恢复多个航段的飞行航迹，在每个航段 内构建实时拼接数据的处理结果，即确定每个航段以及所属该航段内的帧图像数据，并进 行相应的操作。
[0081] 步骤S106,依据标记有航段标记的帧图像数据，利用所述特征匹配结果进行图像 拼接，生成对应的拼接图。
[0082] 在执行步骤S106的过程中，基于上述获取到的每个航段内以及所属航段内的帧 图像数据，结合各个帧图像数据执行步骤S101时所获取的对应的特征匹配结果进行图像 拼接，生成当前无人机获取的连续影像数据对应的拼接图。
[0083] 通过上述本发明实施例公开了一种无人机影像数据实时处理方法，该方法通过对 连续影像数据的联合特征信息进行匹配，采用FREAK和SIFT特征组合使用的特征提取和匹 配过程，响应了对无人机影像数据实时性的要求。然后在无P0S信息辅助的情况下，利用特 征匹配结果，基于SFM对连续影像数据的姿态数据估计，对无人机的多个航段的飞行航迹 恢复，并标记每个航段内的帧图像数据。最后依据标记有航段标记的帧图像数据，利用特征 匹配结果进行图像拼接，生成对应拼接图。通过上述方法，实现解决遥测数据无法获取或时 空匹配性较差，即无P0S系统辅助的情况下，实时对无人机的影像数据进行处理的目的。
[0084] 实施例二
[0085] 基于上述本发明实施例公开的一种无人机影像数据实时处理方法，如图1所示出 的步骤S105,在执行对后续的帧图像数据基于所述SFM进行所属航段进行分析之后，还包 括如图2所示：
[0086] 步骤S107,当后续的帧图像数据中连续预设帧数对应的帧估计姿态数据偏离所述 新航段，停止对所述新航段的图像拼接，并启动所述新航段的校正信息对所述新航段对应 的拼接图进行航段图像的防射变换校正，获取符合GIS要求的地理地图；
[0087] 在步骤S107中，所述校正信息包括航迹信息，或者人工输入的地理参数信息。
[0088] 基于上述本发明实施例公开的一种无人机影像数据实时处理方法，如图1所示出 的步骤S101，具体执行过程，如图3所示，主要包括以下步骤：
[0089] 步骤S1011，通过实时链路或网络转发获取所述无人机拍摄的连续影像数据，或 者，直接获取预先存储于地面站的连续影像数据；
[0090] 步骤S1012,按照图像帧格式导入所述连续影像数据，提取每一帧导入的帧图像数 据的联合特征信息并与阈值进行匹配；
[0091] 步骤S1013,获取基于匹配成功的每一帧图像数据的匹配结果生成成功匹配的特 征匹配结果。
[0092] 其中，在执行步骤S1012的过程中，针对每一帧导入的帧图像数据的联 合特征信 息并与阈值进行匹配的过程包括：
[0093] 提取当前导入的一帧图像数据中的FREAK特征进行特征标记，并基于特征匹配函 数将所述标记后的FREAK特征与第一阈值进行匹配；
[0094] 若匹配点数目不少于所述第一阈值，则确定当前导入的一帧图像数据成功匹配；
[0095] 若匹配点数目小于所述第一阈值，则切换至对所述当前导入的一帧图像数据中的 SIFT特征进行提取并进行标记；
[0096] 基于所述特征函数对将所述标记后的SIFT特征与第二阈值进行匹配；
[0097] 若匹配点数目小于所述所述第二阈值，则依据前一次的特征匹配结果构造所述特 征函数的匹配关系参数；
[0098] 若匹配点数目不少于所述第二阈值，则确定当前导入的一帧图像数据成功匹配；
[0099] 其中，在导入当前的帧图像数据的同时，对前一次的帧图像数据进行缓存；这里的 第一阈值和第二阈值的取值大小可以相同，也可以相同，通常由技术人员进行设定或调整。
[0100] 基于上述匹配过程，需要说明的是，本发明实施例中所公开的FREAK特征使用如 下：
[0101] a、关键点检测子：
[0102] 这里采用BRISK算法中提出的多尺度AGAST检测子。
[0103] b、二进制描述子F的构建：
[0104] 通过阈值化接收区域对应的高斯核得到二进制描述子F如公式（1):
[0106] 其中，Pa是一对可接受字段，N为目标描述子的长度；
[0108] 这里)为第一个对可接受字段对Pa的平滑程度。
[0109] 通过几十个可接受区域，得到上千对区域对就可以构建一个高维描述子。通过 BRISK算法得到的描述子中引进的空间距离策略去除一些没用的区域对。通过这种方法得 到的区域对可能高相关缺少区分度。
[0110] 本发明实施例中公开的SIFT特征使用如下：
[0111] a、关键点监测子：
[0112] SIFT特征综合考虑了特征点的位置、尺度和旋转不变量。极值点的检测可以通过 尺度空间或者高斯金字塔，本发明实施例通过构建高斯金字塔来实现极值点检测。
[0113] 采用了高斯函数来建立尺度空间，高斯函数公式（2)为：
[0114] G(x,y,e) = [l/2*pi*e'2]*exp[-(x'2+y'2)/2e'2] (2)
[0115] 上述公式G(x，y，e)，即为尺度可变高斯函数。
[0116] 在此基础上检测关键点，为了寻找尺度空间的极值点，首先，每一个采样点要和它 所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。然后，对关键点进 行方向分配，用图像的局部特征为给每一个关键点分配一个方向，使描述具有旋转不性，利 用关键点邻域像素的梯度及方向分布的特性，可以得到梯度模值和方向如下式（3)和（4):
[0118] 0(X，y) =tarT1((L(X，y+1)-L(X，y-1))/L(x+1，y)-L(x-1，y))) (4)
[0119] b、描述子构建：
[0120] 每一个关键点，拥有三个信息：位置、尺度以及方向。为每个关键点建立一个描述 符，使其不随各种变化而改变，比如光照变化、视角变化等等。首先将坐标轴旋转为关键点 的方向，以确保旋转不变性。以关键点为中心取8X8的窗口，在每4X4的小块上计算8个 方向的梯度方向直方图，绘制每个梯度方向的累加值，一个关键点由2X2共4个种子点组 成，每个种子点有8个方向向量信息。存储到特征描述子中，将特征向量的长度归一化，则 可以进一步去除光照变化的影响。
[0121] 基于上述对FREAK特征和SIFT特征的说明，由于所述FREAK特征中的特征描述子 的构成是由粗信息至精信息，因此匹配过程也采用这种方式，首先通过前16bytes代表描 述子的粗信息。如果匹配中距离小于阈值，继续对描述子的精细特征进行比较。这种比较 方式的结果能够加快匹配的速度。
[0122] 而SIFT特征描述子采用关键点特征向量的欧式距离来作为两幅图像中关键点的 相似性判定度量。
[0123] 通过上述本发明实施例公开的无人机影像数据实时处理方法，该方法通过提取连 续影像数据的联合特征信息，将联合特征信息与阈值进行匹配，获取成功匹配的特征匹配 结果，采用FREAK特征和SIFT特征组合使用的特征提取和匹配过程，响应了对无人机影像 数据实时性的要求。然后在判断无P0S信息辅助的情况下，利用特征匹配结果，基于SFM对 连续影像数据的姿态数据估计，并获取多帧估计姿态数据；以及，基于多帧估计姿态数据对 连续影像数据中的每一帧图像数据所属航段进行分析，当从某一帧图像数据开始，连续预 设帧数的帧图像数据对应的帧估计姿态数据处于平移变化中，确定从某一帧图像数据开始 新航段，并进行航段标记；对后续的帧图像数据基于所述SFM进行所属航段进行分析，将属 于新航段的帧图像进行航段标记；这里在无P0S系统的情况下，利用SFM的方法进行无人机 运行轨迹的恢复，通过获取相对的姿态数据，恢复多个航段的飞行航迹，在每个航段内构建 实时拼接数据。最后依据标记有航段标记的帧图像数据，利用所述特征匹配结果进行图像 拼接，生成对应拼接图。通过上述方法，实现解决遥测数据无法获取或时空匹配性较差，即 无P0S系统辅助的情况下，实时对无人机的影像数据进行处理的目的。
[0124] 实施例三
[0125] 基于上述本发明实施例公开的一种无人机的影像数据实时处理方法，对应的本发 明实施例还公开了一种无人机影像数据实时处理系统，同样应用于无人机，其结构示意图 如图4所示，主要包括：
[0126] 提取匹配装置101，用于获取连续影像数据，提取所述连续影像数据的联合特征信 息，将所述联合特征信息与阈值进行匹配，获取成功匹配的特征匹配结果，其中，所述联合 特征信息中包括，FREAK特征和SIFT特征；
[0127] 判断估计装置102,用于判断是否有P0S信息辅助，若判断无P0S信息辅助，则利用 所述特征匹配结果，基于运动估计结构SFM对所述连续影像数据的姿态数据估计，并获取 多帧估计姿态数据；
[0128] 航段分析装置103,用于基于所述多帧估计姿态数据对所述连续影像数据中的每 一帧图像数据所属航段进行分析，当从某一帧图像数据开始，连续预设帧数的帧图像数据 对应的帧估计姿态数据处于平移变化中，确定从所述某一帧图像数据开始新航段，并进行 航段标记；
[0129] 航段判断装置104,用于对后续的帧图像数据基于所述SFM进行所属航段进行分 析，将属于所述新航段的帧图像进行航段标记；
[0130] 拼接图装置105,用于依据标记有航段标记的帧图像数据，利用所述特征匹配结果 进行图像拼接，生成对应的拼接图。
[0131] 如图5所示，在上述图4的基础上，本发明实施例公开的无人机影像数据实时处理 系统，还包括：
[0132] 校正装置106,用于当后续的帧图像数据中连续预设帧数对应的帧估计姿态数据 偏离所述新航段，停止对所述新航段的图像拼接，并启动所述新航段的校正信息对所述新 航段对应的拼接图进行航段图像的防射变换校正，获取符合GIS要求的地理地图；
[0133] 其中，所述校正信息包括航迹信息，或者人工输入的地理参数信息。
[0134] 基于上述图4中公开的所述判断估计装置102,其中还包括：
[0135] 跳转单元，用于若判断有P0S信息辅助，则获取附带有P0S属性的图像数据和所述 特征结果跳转至所述拼接图装置进行图像拼接，生成对应的拼接图。
[0136] 基于上述图4中公开的所述提取匹配装置101，其主要包括：
[0137] 特征提取单元，用于通过实时链路或网络转发获取所述无人机拍摄的连续影像数 据，或者，直接获取预先存储于地面站的连续影像数据；
[0138] 特征匹配单元，用于按照图像帧格式导入所述连续影像数据，提取每一帧导入的 帧图像数据的联合特征信息并与阈值进行匹配；
[0139] 获取单元，用于获取基于匹配成功的每一帧图像数据的匹配结果生成成功匹配的 特征匹配结果；
[0140] 所述特征匹配单元，包括：
[0141] 第一匹配模块，用于提取当前导入的一帧图像数据中的FREAK特征进行特征标 记，并基于特征匹配函数将所述标记后的FREAK特征与第一阈值进行匹配；
[0142] 需要说明的是，当所述FREAK特征中的特征描述子的构成是由粗信息至精信息， 在将所述标记后的FREAK特征与第一阈值进行匹配的所述第一匹配模块，用于将代表所述 描述子的粗信息与第一阈值进行匹配，若匹配中距离小于所述第一阈值，则继续将所述第 一阈值与所述描述子的精信息进行匹配。
[0143] 第一确定模块，用于若匹配点数目不少于所述阈值，则确定当前导入的一帧图像 数据成功匹配；
[0144] 切换模块，用于若匹配点数目小于所述阈值，则切换至对所述当前导入的一帧图 像数据中的SIFT特征进行提取并进行标记；
[0145] 第二匹配模块，用于基于所述特征函数对将所述标记后的SIFT特征与第二阈值 进行匹配；
[0146] 构造模块，用于若匹配点数目小于所述阈值，则依据前一次的特征匹配结果构造 所述特征函数的匹配关系参数 ；
[0147] 第二确定模块，用于若匹配点数目不少于所述阈值，则确定当前导入的一帧图像 数据成功匹配；
[0148] 其中，在导入当前的帧图像数据的同时，对前一次的帧图像数据进行缓存。
[0149] 本发明实施例公开的无人机影像数据实时处理系统与上述本发明实施例公开的 无人机影像数据实时处理方法对应，上述各个装置，单元和模块部分的具体执行过程可参 见方法部分，这里不再进行赘述。
[0150] 本发明说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与 其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的 装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部 分说明即可。结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理 器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM)、内存、只 读存储器（ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、⑶-ROM、或
技术领域内所公知的任意其它形式的存储介质中。
[0151] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。 对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的 一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明 将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一 致的最宽的范围。
【主权项】
1. 一种无人机影像数据实时处理方法，其特征在于，包括： 获取连续影像数据，提取所述连续影像数据的联合特征信息，将所述联合特征信息与 阈值进行匹配，获取成功匹配的特征匹配结果，其中，所述联合特征信息中包括，FREAK特征 和SIFT特征； 判断是否有POS信息辅助，若无POS信息辅助，则利用所述特征匹配结果，基于运动估 计结构SFM对所述连续影像数据的姿态数据估计，并获取多帧估计姿态数据； 基于所述多帧估计姿态数据对所述连续影像数据中的每一帧图像数据所属航段进行 分析，当从某一帧图像数据开始，连续预设帧数的帧图像数据对应的帧估计姿态数据处于 平移变化中，确定从所述某一帧图像数据开始新航段，并进行航段标记； 对后续的帧图像数据基于所述SFM进行所属航段进行分析，将属于所述新航段的帧图 像进行航段标记； 依据标记有航段标记的帧图像数据，利用所述特征匹配结果进行图像拼接，生成对应 的拼接图。2. 根据权利要求1所述的方法，其特征在于，对后续的帧图像数据基于所述SFM进行所 属航段进行分析之后，还包括： 当后续的帧图像数据中连续预设帧数对应的帧估计姿态数据偏离所述新航段，停止对 所述新航段的图像拼接，并启动所述新航段的校正信息对所述新航段对应的拼接图进行航 段图像的防射变换校正，获取符合GIS要求的地理地图； 所述校正信息包括航迹信息，或者人工输入的地理参数信息。3. 如权利要求1所述的方法，其特征在于，还包括：若判断有POS信息辅助，则获取附 带有POS属性的图像数据，基于所述特征结果进行图像拼接，生成对应的拼接图。4. 如权利要求1~3中任意一项所述的方法，其特征在于，获取并提取连续影像数据的 联合特征信息，将所述联合特征信息与预设特征信息进行匹配，获取成功匹配的特征匹配 结果，包括： 通过实时链路或网络转发获取所述无人机拍摄的连续影像数据，或者，直接获取预先 存储于地面站的连续影像数据； 按照图像帧格式导入所述连续影像数据，提取每一帧导入的帧图像数据的联合特征信 息并与阈值进行匹配； 获取基于匹配成功的每一帧图像数据的匹配结果生成成功匹配的特征匹配结果； 提取每一帧导入的帧图像数据的联合特征信息并与阈值进行匹配的过程包括： 提取当前导入的一帧图像数据中的FREAK特征进行特征标记，并基于特征匹配函数将 所述标记后的FREAK特征与第一阈值进行匹配； 若匹配点数目不少于所述第一阈值，则确定当前导入的一帧图像数据成功匹配； 若匹配点数目小于所述第一阈值，则切换至对所述当前导入的一帧图像数据中的SIFT特征进行提取并进行标记； 基于所述特征函数对将所述标记后的SIFT特征与第二阈值进行匹配； 若匹配点数目小于所述所述第二阈值，则依据前一次的特征匹配结果构造所述特征函 数的匹配关系参数； 若匹配点数目不少于所述第二阈值，则确定当前导入的一帧图像数据成功匹配； 其中，在导入当前的帧图像数据的同时，对前一次的帧图像数据进行缓存。5. 如权利要求4所述的方法，其特征在于，所述FREAK特征中的特征描述子的构成是由 粗信息至精信息，在将所述标记后的FREAK特征与第一阈值进行匹配，包括： 将代表所述描述子的粗信息与第一阈值进行匹配，若匹配中距离小于所述第一阈值， 则继续将所述第一阈值与所述描述子的精信息进行匹配。6. -种无人机影像数据实时处理系统，其特征在于，包括： 提取匹配装置，用于获取连续影像数据，提取所述连续影像数据的联合特征信息，将所 述联合特征信息与阈值进行匹配，获取成功匹配的特征匹配结果，其中，所述联合特征信息 中包括，FREAK特征和SIFT特征； 判断估计装置，用于判断是否有POS信息辅助，若无POS信息辅助，则利用所述特征匹 配结果，基于运动估计结构SFM对所述连续影像数据的姿态数据估计，并获取多帧估计姿 态数据； 航段分析装置，用于基于所述多帧估计姿态数据对所述连续影像数据中的每一帧图 像数据所属航段进行分析，当从某一帧图像数据开始，连续预设帧数的帧图像数据对应的 帧估计姿态数据处于平移变化中，确定从所述某一帧图像数据开始新航段，并进行航段标 记； 航段判断装置，用于对后续的帧图像数据基于所述SFM进行所属航段进行分析，将属 于所述新航段的帧图像进行航段标记； 拼接图装置，用于依据标记有航段标记的帧图像数据，利用所述特征匹配结果进行图 像拼接，生成对应的拼接图。7. 如权利要求6所述的方法，其特征在于，还包括： 校正装置，用于当后续的帧图像数据中连续预设帧数对应的帧估计姿态数据偏离所述 新航段，停止对所述新航段的图像拼接，并启动所述新航段的校正信息对所述新航段对应 的拼接图进行航段图像的防射变换校正，获取符合GIS要求的地理地图； 所述校正信息包括航迹信息，或者人工输入的地理参数信息。8. 如权利要求6所述的方法，其特征在于，所述判断估计装置，还包括： 跳转单元，用于若判断有POS信息辅助，则获取附带有POS属性的图像数据和所述特征 结果跳转至所述拼接图装置进行图像拼接，生成对应的拼接图。9. 如权利要求6~8中任意一项所述的方法，其特征在于，所述提取匹配装置，包括： 特征提取单元，用于通过实时链路或网络转发获取所述无人机拍摄的连续影像数据， 或者，直接获取预先存储于地面站的连续影像数据； 特征匹配单元，用于按照图像帧格式导入所述连续影像数据，提取每一帧导入的帧图 像数据的联合特征信息并与阈值进行匹配； 获取单元，用于获取基于匹配成功的每一帧图像数据的匹配结果生成成功匹配的特征 匹配结果； 所述特征匹配单元，包括： 第一匹配模块，用于提取当前导入的一帧图像数据中的FREAK特征进行特征标记，并 基于特征匹配函数将所述标记后的FREAK特征与第一阈值进行匹配； 第一确定模块，用于若匹配点数目不少于所述阈值，则确定当前导入的一帧图像数据 成功匹配； 切换模块，用于若匹配点数目小于所述阈值，则切换至对所述当前导入的一帧图像数 据中的SIFT特征进行提取并进行标记； 第二匹配模块，用于基于所述特征函数对将所述标记后的SIFT特征与第二阈值进行 匹配； 构造模块，用于若匹配点数目小于所述所述阈值，则依据前一次的特征匹配结果构造 所述特征函数的匹配关系参数； 第二确定模块，用于若匹配点数目不少于所述阈值，则确定当前导入的一帧图像数据 成功匹配； 其中，在导入当前的帧图像数据的同时，对前一次的帧图像数据进行缓存。10.根据权利要求9所述的方法，其特征在于，包括：当所述FREAK特征中的特征描述 子的构成是由粗信息至精信息，在将所述标记后的FREAK特征与第一阈值进行匹配的所述 第一匹配模块，用于将代表所述描述子的粗信息与第一阈值进行匹配，若匹配中距离小于 所述第一阈值，则继续将所述第一阈值与所述描述子的精信息进行匹配。
【专利摘要】本发明公开了一种无人机影像数据实时处理方法及系统，该方法通过对连续影像数据的联合特征信息进行匹配，采用FREAK和SIFT特征组合使用的特征提取和匹配过程，响应了对无人机影像数据实时性的要求。然后在无POS信息辅助的情况下，利用特征匹配结果，基于SFM对连续影像数据的姿态数据估计，对无人机的多个航段的飞行航迹恢复，并标记每个航段内的帧图像数据。最后依据标记有航段标记的帧图像数据，利用特征匹配结果进行图像拼接，生成对应拼接图。通过上述方法，实现解决遥测数据无法获取或时空匹配较差，即无POS系统辅助的情况下，实时对无人机的影像数据进行处理的目的。
【IPC分类】G06T3/40
【公开号】CN104899831
【申请号】CN201510311975
【发明人】燕正亮, 赵恩伟, 王诗奎, 伍小洁, 张巍, 杨鹤猛, 徐瑞, 张东萍, 张静, 张贵峰, 孟晓波, 吴新桥
【申请人】天津航天中为数据系统科技有限公司, 南方电网科学研究院有限责任公司
【公开日】2015年9月9日
【申请日】2015年6月9日
最新回复(0)