基于序列图像匹配的飞行器全程导航方法
基于序列图像匹配的飞行器全程导航方法
【技术领域】
[0001] 本发明涉及一种飞行器导航方法，具体讲是一种基于序列图像匹配的飞行器全程 导航方法，属于飞行器导航领域。
【背景技术】
[0002] 图像匹配导航是目前飞行器导航的热门研宄领域，其具有成本低廉、受电磁干扰 影响较小、信息丰富的等优点。传统的图像匹配利用飞行器采集的地面实时图与存储在存 储设备中的基准图像进行匹配，获得的位置信息，其搜索量较大，较难获得实时的信息，而 且不能有效获得飞行姿态，特别是俯仰角与横滚角，影响导航精度。此外，传统图像匹配导 航大多为单幅图像匹配，也很难获得连续的飞行参数，在飞行器导航中处于辅助导航的地 位，一般需要配合惯性导航仪器使用，用于消除惯性导航的累积误差。
[0003] 惯性导航由于有其受外界影响较小，导航精度高等优点，一直作为飞行器导航的 主要手段。但是惯性导航存在累积误差，在导航过程要进行清除；此外，惯性导航仪器的价 格成本相对较高，阻碍其在小型飞机、无人机或者民用设备的导航系统中的应用。
【发明内容】
[0004] 本发明所要解决有技术问题在于克服现有技术缺陷，提供一种无需与惯性导航仪 器配合使用，可连续获得导航参数，导航精度高的基于序列图像匹配的飞行器全程导航方 法。
[0005] 为了解决上述技术问题，本发明提供的基于序列图像匹配的飞行器全程导航方 法，包括在飞行器机体上沿机体坐标系分别安装纵轴向前的摄像头A、横轴向右的摄像头 B、竖轴向下的摄像头C;在所述摄像头C的位置处安装高度计；
[0006] 1)、在飞行器起飞前，对飞行路径进行航迹规划，生成基准图并标定特征区域；
[0007] 2)、飞行过程中通过摄像头A、摄像头B和摄像头C，以相同的时间间隔At，连续拍 摄序列图像A、序列图像B和序列图像C;
[0008] 3)、对序列图像A进行地平线提取，并对地平线进行直线拟合，计算所述直线与图 像水平方向夹角的绝对值，得到飞行器的横滚角巾的绝对值，取飞行器绕纵轴右滚为正； 对序列像B进行地平线提取，并对地平线进行直线拟合，计算所述直线与图像水平方向夹 角的绝对值，得到飞行器俯仰角0的绝对值，取飞行器抬头为正；
[0009] 4)、根据相邻帧间高度计的高度信息变化，对序列图像C进行图像采样，使序列图 像C中任意相邻两帧图像景物处于同一尺寸；
[0010] 5)、通过图像匹配得出序列图像C中各帧间图像像素平移向量[、图像旋转角度和 飞行器的航向角步，航向角力取机头沿纵轴右偏为正；所述飞行器的航向角力为序列图 像C中各图像旋转角度的累计；
[0011] 6)、利用高度计的高度信息与所述横滚角（K俯仰角0和平移向量I，将平移向量X从图像坐标系转换到相机坐标系；
[0012] 7)、判断帧间横滚角（K俯仰角0在两帧图像间是否有变化，若有，则对飞行器在 相机坐标系飞行距离进行修正，计算飞行器帧间飞行距离与速度；
[0013]8)、将飞行器的横滚角巾、俯仰角0、航向角！D及其角速度，飞行器的高度、位置 以及速度输出，作为飞行器当前的导航参数。
[0014] 9)、在飞行器导航过程中重复上述步骤不断计算飞行器位置，当序列图像经过基 准图中的特征区域时，将序列图像与所述特征区域进行图像匹配，消除序列图像导航中产 生的累积误差。
[0015] 作为优选，上述步骤6)的过程为：计算序列图像C中任意后一帧图像中心点在前 一帧图像中位置，同时计算后一帧图像中心点在相机坐标系中位置；计算序列图像C中前 一帧图像中心点位置，同时计算前一帧图像中心点位置在相机坐标系中位置；所述后一帧 图像中心点位置与前一帧图像中心点位置在相机坐标系中的之差为相机坐标系中的平移 向量；从图像坐标系转换到相机坐标系的模型为：
[0017] 式中，Xe、Y。为序列图像C中图像在相机坐标系中坐标，u，v为图像C中图像像素 在图像坐标系中坐标，IV%摄像机光轴经过图像坐标系平面的坐标，f为焦距，Z。为相机中 心点到地面距离，Zc=h/(cos( 0 ) ?cos〇))，h为高度计获得的高度信息。
[0018] 本发明的有益效果是：（1)、本发明基于利用三个方向的摄像头拍摄连续序列图 像，各序列图像间由于大小相同，尺度变化小，噪声分布相同，具有很高的匹配成功率与实 时性，可以获得全程连续的导航参数，大大提升了导航精度；其可以在一定程度上代替惯性 导航，降低飞行器的导航成本，可广泛应用于中小型飞行器上；⑵、将序列图像与基准图规 定特征区域匹配，可自主消除利用图像匹配可能产生累积误差，提升导航精度与效率；（3)、 本发明器件模块化程度高，便于维修替换，器件成本低廉，重量轻，可有效保证飞行器的机 动性；(4)、本发明器件模块化程度高，便于维修替换，器件成本低廉，重量轻，降低了飞行器 中导航系统的成本，提高了飞行器的机动性；其在进行连续导航的同时，还可以获得飞行器 下方的地理信息，以便于更广泛地应用。
【附图说明】
[0019] 图1是本发明飞行器机体坐标系中三个摄像头位置示意图；
[0020] 图2是本发明基于序列图像匹配的飞行器全程导航方法流程图；
[0021] 图3是本发明中图像坐标系、成像平面坐标系、相机坐标系关系图；
[0022] 图4是摄像头C拍摄相邻两帧拍摄图不意图；
[0023] 图5是地平线拟合线在图像坐标系中的示意图。
【具体实施方式】
[0024] 下面结合附图对本发明作进一步详细说明。
[0025]如图1所示，本发明是基于序列图像匹配的飞行器全程导航方法中需沿机体坐标 系安装纵轴向前的摄像头A、横轴向右的摄像头B、竖轴向下摄像头C，并在摄像头C的部位 装一个高度计；同时安装数据处理芯片、用于存储基准图的存储器件。
[0026] 如图2所示，本发明基于序列图像匹配的飞行器全程导航方法采取如下步骤：
[0027] 步骤1 :在飞行器起飞前，对飞行路径进行航迹规划，生成基准图，对路径中特征 明显、匹配成功率高的区域进行标定，称为规定特征区域。
[0028] 步骤2 :飞行器起飞及飞行过程中同时开启沿机体坐标系机体纵轴向前的摄像头 A，横轴向右的摄像头B，竖轴向下摄像头C，连续拍摄序列图像A(apa2,a3,......,aM，an),序 列图像Bh，b2,b3,......，I，bn)和序列图像C(Cl,c2,c3,......，Cm,cn)。拍摄过程中，各序 列图像相邻帧间的时间间隔为At，该时间间隔保证在飞行器最高速度飞行时，相邻两帧图 像之间仍然保持较高的重叠区域，以保证序列图像间的匹配具有较高的成功率，同时能保 证在At内能完成图像匹配提取导航参数。飞行过程中，摄像头A和摄像头B并非要严格 沿机体系轴设置，如果飞行器飞行高度较高，可适当向下调整，以保证能拍摄到地平线，这 并不影响对姿态角的测量。
[0029]步骤3:对序列图像A(ai，a2,a3,……，an)进行地平线提取，并对地平线进行 直线拟合，计算该直线与图像水平方向的夹角，该夹角的绝对值即为飞行器的横滚角0的 绝对值，因横滚角有正负之分，此处采用经典的横滚角定义，取飞行器绕纵轴右滚为正。构 建此导航系统时，结合具体飞行器绕纵轴滚动时，地平线拟合线在图像中变化来判断横滚 角的正负性。对序列图像……进行地平线提取，并对地平线进行直线 拟合，计算该直线与图像水平方向的夹角，该夹角的绝对值即为飞行器的俯仰角0的绝对 值，因俯仰角有正负之分，此处采用经典的俯仰角定义，取飞行器抬头为正。构建此导航系 统时，结合具体飞行器抬头时，地平线拟合线在图像中变化来判断俯仰角的 正负性。
[0030] 如图5所示，对序列图像的地平线进行直线拟合时，在图像坐标系中进行，拟合出 地平线在u、v轴上的截距，对于摄像头A的一帧序列图拟合出在u轴截距为ai、v轴截距为 bp利用公式|巾| =larctanO^/ai) |，计算出横滚角的巾绝对值。对于摄像头B的一帧序 列图拟合出在u轴截距为a2、v轴截距为132，利用公式| 0 | = |arctan(b2/a2) |，计算出俯 仰角9的绝对值。
[0031] 同时利用公式（1)计算出横滚角速度《 ^俯仰角速度《 e。
[0033] 步骤4 :判断序列图像C相邻帧间高度计高度变化，对序列图像C(Cl，c2,c3,…… ，cwcn)进行图像采样。在飞行高度升高时，后一帧图cn相对与前一帧图像Clri景物会放 大，利用高度信息与摄像头参数，对后一帧图像(^进行下采样，以保证两帧图像景物处于同 一尺寸，保证匹配的成功率；在飞行高度降低时，后一帧图cn相对与前一帧图像cm景物会 缩小，利用高度信息与摄像头参数，对前一帧图像cn_i进行下采样，以保证两帧图像景物处 于同一尺寸，如图4所示。
[0034] 步骤5:利用光流法或其他现有的图像匹配方法，计算出序列图像C(Cl，c2，c3，… ???，(Vi,cn)帧间图像像素平移向量￡、图像旋转角度和两帧图像间旋转角度A1])，此a1]) 即为两帧间航向角变化。因航向角变化有正负之分，此处采用经典的航向角定义，取飞行 器沿纵轴右偏为正，构建此导航系统时，结合具体飞行器右偏时，两帧图像旋转变化来判断 A步的正负性。序列图像C的旋转角度累计即为航向角步，航向角速率即为w4=A步/ A t〇
[0035] 步骤6 :利用高度计获得的高度信息、横滚角巾、俯仰角0和平移向量￡信息，将 平移向量￡从图像坐标系转换到相机坐标系，如图3所示。
[0036] 坐标系转换先计算序列图像C中后一帧图像cn中心点在前一帧图像Clri中位置 (Xp ，并计算该点在相机坐标系中位置；再计算前一帧图像Cm中心点位置（Xd,yj，计算 该位置在相机坐标系中位置。两坐标相减即为在相机坐标系中平移向量。坐标从图像坐标 系转换到相机坐标系利用如下方程：
[0038] 式中，X。、Y。为序列图像C中图像在相机坐标系中坐标，u，v为图像C中图像像素 在图像坐标系中坐标，叫、％摄像机光轴经过图像坐标系平面的坐标，f为焦距，Z。为相机中 心点到地面距离，Zc=h/(cos( 9 ) ?cos〇))，h为高度计获得的高度信息；
[0039]对两帧图像中心点坐标（X。yi)与（X。，yQ)，利用变换公式（2)，得到
[0043] 求得相机坐标系中的平移向量Z=(AA'(.,A}彳。
[0044] 步骤7:判断帧间横滚角（K俯仰角0在两帧图像间是否有变化，若有，则对飞行 器在相机坐标系的飞行距离进行修正，并计算飞行器帧间飞行距离与速度。
[0045] 若有横滚角变化S(})，则将引起飞行器在相机坐标系中沿\轴的平移，其平移距 离为SYC，需对步骤6中的AYc进行修正。
[0046] 若有俯仰角变化S0，则将引起飞行器在相机坐标系中沿\轴的平移，其平移距 离为Sxc，需对步骤6中的AXC进行修正。
[0047] 修正方程为：
[0049] 式中，h为高度计获得的高度信息。
[0050]步骤8:将横滚角巾，俯仰角0，航向角力以及其角速度，飞行器的高度、位置以 及速度一次性输出，作为飞行器当前的导航参数。
[0051] 步骤9 :重复以上步骤利用序列图像不断计算飞行器位置，当序列图像经过基准 图中的规定特征区域时，将序列图像与基准图规定特征区域进行图像匹配，消除序列图像 导航中可能产生的累积误差。
[0052] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人 员来说，在不脱离本发明原理的前提下还可以做出若干改进，这些改进也应视为本发明的 保护范围。
【主权项】
1. 一种基于序列图像匹配的飞行器全程导航方法，其特征在于：沿机体坐标系分别安 装纵轴向前的摄像头A、横轴向右的摄像头B、竖轴向下的摄像头C ;在所述摄像头C的位置 处安装高度计； 1) 、在飞行器起飞前，对飞行路径进行航迹规划，生成基准图并标定特征区域； 2) 、飞行过程中通过摄像头A、摄像头B和摄像头C，以相同的时间间隔At，连续拍摄序 列图像A、序列图像B和序列图像C ; 3) 、对序列图像A进行地平线提取，并对地平线进行直线拟合，计算所述直线与图像水 平方向夹角的绝对值，得到飞行器的横滚角Φ的绝对值，取飞行器绕纵轴右滚为正；对序 列像B进行地平线提取，并对地平线进行直线拟合，计算所述直线与图像水平方向夹角的 绝对值，得到飞行器俯仰角Θ的绝对值，取飞行器抬头为正； 4) 、根据相邻帧间高度计的高度信息变化，对序列图像C进行图像采样，使序列图像C 中任意相邻两帧图像景物处于同一尺寸； 5) 、通过图像匹配得出序列图像C中各帧间图像像素平移向量￡、图像旋转角度和飞行 器的航向角Φ，航向角Φ取机头沿纵轴右偏为正；所述飞行器的航向角Φ为序列图像C中 各图像旋转角度的累计； 6) 、利用高度计的高度信息与所述横滚角Φ、俯仰角Θ和平移向量￡，将平移向量￡从 图像坐标系转换到相机坐标系； 7) 、判断帧间横滚角Φ、俯仰角Θ在两帧图像间是否有变化，若有，则对飞行器在相机 坐标系飞行距离进行修正，计算飞行器帧间飞行距离与速度； 8) 、将飞行器的横滚角Φ、俯仰角Θ、航向角φ及其角速度，飞行器的高度、位置以及 速度输出，作为飞行器当前的导航参数。 9) 、在飞行器导航过程中重复上述步骤不断计算飞行器位置，当序列图像经过基准图 中的特征区域时，将序列图像与所述特征区域进行图像匹配，消除序列图像导航中产生的 累积误差。2. 根据权利要求1所述的基于序列图像匹配的飞行器全程导航方法，其特征在于所述 步骤6)的过程为：计算序列图像C中后一帧图像中心点在前一帧图像中位置和后一帧图像 中心点在相机坐标系中位置；计算序列图像C中前一帧图像中心点位置和前一帧图像中心 点位置在相机坐标系中位置；所述后一帧图像中心点位置与前一帧图像中心点位置在相机 坐标系中的之差为相机坐标系中的平移向量；从图像坐标系转换到相机坐标系的模型为：式中，xc、Yc为序列图像C中图像在相机坐标系中坐标，u，V为图像C中图像像素在图 像坐标系中坐标，％、Vtl摄像机光轴经过图像坐标系平面的坐标，f为焦距，Z c为相机中心点 到地面距离，Z。= h/(cos( Θ ) · C0S((J)))，h为高度计获得的高度信息。
【专利摘要】本发明公开了一种基于序列图像匹配的飞行器全程导航方法，属于飞行器导航领域。利用三个方向的摄像头拍摄连续的序列图像，其中两个方向的摄像头拍摄图获得飞行器的俯仰角和横滚角；利用沿机体坐标系轴向下的摄像头拍摄图获得飞行器航向角，图像平移距离等参数；通过高度计获得的高度信息，将图像坐标系转换到相机坐标系；将飞行器的横滚角、俯仰角、航向角及其角速度，飞行器的高度、位置以及速度一次全部输出，作为飞行器当前的导航参数。本发明具有很高的匹配成功率与实时性，可以获得全程连续的导航参数，大大提升了导航精度；可以在一定程度上代替惯性导航，降低飞行器的导航成本，可广泛应用于中小型飞行器上。
【IPC分类】G01C21/20
【公开号】CN104897159
【申请号】CN201510261199
【发明人】冷雪飞, 茹江涛, 毛星云, 吴松森
【申请人】南京航空航天大学
【公开日】2015年9月9日
【申请日】2015年5月20日
【技术领域】
[0001] 本发明涉及一种飞行器导航方法，具体讲是一种基于序列图像匹配的飞行器全程 导航方法，属于飞行器导航领域。
【背景技术】
[0002] 图像匹配导航是目前飞行器导航的热门研宄领域，其具有成本低廉、受电磁干扰 影响较小、信息丰富的等优点。传统的图像匹配利用飞行器采集的地面实时图与存储在存 储设备中的基准图像进行匹配，获得的位置信息，其搜索量较大，较难获得实时的信息，而 且不能有效获得飞行姿态，特别是俯仰角与横滚角，影响导航精度。此外，传统图像匹配导 航大多为单幅图像匹配，也很难获得连续的飞行参数，在飞行器导航中处于辅助导航的地 位，一般需要配合惯性导航仪器使用，用于消除惯性导航的累积误差。
[0003] 惯性导航由于有其受外界影响较小，导航精度高等优点，一直作为飞行器导航的 主要手段。但是惯性导航存在累积误差，在导航过程要进行清除；此外，惯性导航仪器的价 格成本相对较高，阻碍其在小型飞机、无人机或者民用设备的导航系统中的应用。
【发明内容】
[0004] 本发明所要解决有技术问题在于克服现有技术缺陷，提供一种无需与惯性导航仪 器配合使用，可连续获得导航参数，导航精度高的基于序列图像匹配的飞行器全程导航方 法。
[0005] 为了解决上述技术问题，本发明提供的基于序列图像匹配的飞行器全程导航方 法，包括在飞行器机体上沿机体坐标系分别安装纵轴向前的摄像头A、横轴向右的摄像头 B、竖轴向下的摄像头C;在所述摄像头C的位置处安装高度计；
[0006] 1)、在飞行器起飞前，对飞行路径进行航迹规划，生成基准图并标定特征区域；
[0007] 2)、飞行过程中通过摄像头A、摄像头B和摄像头C，以相同的时间间隔At，连续拍 摄序列图像A、序列图像B和序列图像C;
[0008] 3)、对序列图像A进行地平线提取，并对地平线进行直线拟合，计算所述直线与图 像水平方向夹角的绝对值，得到飞行器的横滚角巾的绝对值，取飞行器绕纵轴右滚为正； 对序列像B进行地平线提取，并对地平线进行直线拟合，计算所述直线与图像水平方向夹 角的绝对值，得到飞行器俯仰角0的绝对值，取飞行器抬头为正；
[0009] 4)、根据相邻帧间高度计的高度信息变化，对序列图像C进行图像采样，使序列图 像C中任意相邻两帧图像景物处于同一尺寸；
[0010] 5)、通过图像匹配得出序列图像C中各帧间图像像素平移向量[、图像旋转角度和 飞行器的航向角步，航向角力取机头沿纵轴右偏为正；所述飞行器的航向角力为序列图 像C中各图像旋转角度的累计；
[0011] 6)、利用高度计的高度信息与所述横滚角（K俯仰角0和平移向量I，将平移向量X从图像坐标系转换到相机坐标系；
[0012] 7)、判断帧间横滚角（K俯仰角0在两帧图像间是否有变化，若有，则对飞行器在 相机坐标系飞行距离进行修正，计算飞行器帧间飞行距离与速度；
[0013]8)、将飞行器的横滚角巾、俯仰角0、航向角！D及其角速度，飞行器的高度、位置 以及速度输出，作为飞行器当前的导航参数。
[0014] 9)、在飞行器导航过程中重复上述步骤不断计算飞行器位置，当序列图像经过基 准图中的特征区域时，将序列图像与所述特征区域进行图像匹配，消除序列图像导航中产 生的累积误差。
[0015] 作为优选，上述步骤6)的过程为：计算序列图像C中任意后一帧图像中心点在前 一帧图像中位置，同时计算后一帧图像中心点在相机坐标系中位置；计算序列图像C中前 一帧图像中心点位置，同时计算前一帧图像中心点位置在相机坐标系中位置；所述后一帧 图像中心点位置与前一帧图像中心点位置在相机坐标系中的之差为相机坐标系中的平移 向量；从图像坐标系转换到相机坐标系的模型为：
[0017] 式中，Xe、Y。为序列图像C中图像在相机坐标系中坐标，u，v为图像C中图像像素 在图像坐标系中坐标，IV%摄像机光轴经过图像坐标系平面的坐标，f为焦距，Z。为相机中 心点到地面距离，Zc=h/(cos( 0 ) ?cos〇))，h为高度计获得的高度信息。
[0018] 本发明的有益效果是：（1)、本发明基于利用三个方向的摄像头拍摄连续序列图 像，各序列图像间由于大小相同，尺度变化小，噪声分布相同，具有很高的匹配成功率与实 时性，可以获得全程连续的导航参数，大大提升了导航精度；其可以在一定程度上代替惯性 导航，降低飞行器的导航成本，可广泛应用于中小型飞行器上；⑵、将序列图像与基准图规 定特征区域匹配，可自主消除利用图像匹配可能产生累积误差，提升导航精度与效率；（3)、 本发明器件模块化程度高，便于维修替换，器件成本低廉，重量轻，可有效保证飞行器的机 动性；(4)、本发明器件模块化程度高，便于维修替换，器件成本低廉，重量轻，降低了飞行器 中导航系统的成本，提高了飞行器的机动性；其在进行连续导航的同时，还可以获得飞行器 下方的地理信息，以便于更广泛地应用。
【附图说明】
[0019] 图1是本发明飞行器机体坐标系中三个摄像头位置示意图；
[0020] 图2是本发明基于序列图像匹配的飞行器全程导航方法流程图；
[0021] 图3是本发明中图像坐标系、成像平面坐标系、相机坐标系关系图；
[0022] 图4是摄像头C拍摄相邻两帧拍摄图不意图；
[0023] 图5是地平线拟合线在图像坐标系中的示意图。
【具体实施方式】
[0024] 下面结合附图对本发明作进一步详细说明。
[0025]如图1所示，本发明是基于序列图像匹配的飞行器全程导航方法中需沿机体坐标 系安装纵轴向前的摄像头A、横轴向右的摄像头B、竖轴向下摄像头C，并在摄像头C的部位 装一个高度计；同时安装数据处理芯片、用于存储基准图的存储器件。
[0026] 如图2所示，本发明基于序列图像匹配的飞行器全程导航方法采取如下步骤：
[0027] 步骤1 :在飞行器起飞前，对飞行路径进行航迹规划，生成基准图，对路径中特征 明显、匹配成功率高的区域进行标定，称为规定特征区域。
[0028] 步骤2 :飞行器起飞及飞行过程中同时开启沿机体坐标系机体纵轴向前的摄像头 A，横轴向右的摄像头B，竖轴向下摄像头C，连续拍摄序列图像A(apa2,a3,......,aM，an),序 列图像Bh，b2,b3,......，I，bn)和序列图像C(Cl,c2,c3,......，Cm,cn)。拍摄过程中，各序 列图像相邻帧间的时间间隔为At，该时间间隔保证在飞行器最高速度飞行时，相邻两帧图 像之间仍然保持较高的重叠区域，以保证序列图像间的匹配具有较高的成功率，同时能保 证在At内能完成图像匹配提取导航参数。飞行过程中，摄像头A和摄像头B并非要严格 沿机体系轴设置，如果飞行器飞行高度较高，可适当向下调整，以保证能拍摄到地平线，这 并不影响对姿态角的测量。
[0029]步骤3:对序列图像A(ai，a2,a3,……，an)进行地平线提取，并对地平线进行 直线拟合，计算该直线与图像水平方向的夹角，该夹角的绝对值即为飞行器的横滚角0的 绝对值，因横滚角有正负之分，此处采用经典的横滚角定义，取飞行器绕纵轴右滚为正。构 建此导航系统时，结合具体飞行器绕纵轴滚动时，地平线拟合线在图像中变化来判断横滚 角的正负性。对序列图像……进行地平线提取，并对地平线进行直线 拟合，计算该直线与图像水平方向的夹角，该夹角的绝对值即为飞行器的俯仰角0的绝对 值，因俯仰角有正负之分，此处采用经典的俯仰角定义，取飞行器抬头为正。构建此导航系 统时，结合具体飞行器抬头时，地平线拟合线在图像中变化来判断俯仰角的 正负性。
[0030] 如图5所示，对序列图像的地平线进行直线拟合时，在图像坐标系中进行，拟合出 地平线在u、v轴上的截距，对于摄像头A的一帧序列图拟合出在u轴截距为ai、v轴截距为 bp利用公式|巾| =larctanO^/ai) |，计算出横滚角的巾绝对值。对于摄像头B的一帧序 列图拟合出在u轴截距为a2、v轴截距为132，利用公式| 0 | = |arctan(b2/a2) |，计算出俯 仰角9的绝对值。
[0031] 同时利用公式（1)计算出横滚角速度《 ^俯仰角速度《 e。
[0033] 步骤4 :判断序列图像C相邻帧间高度计高度变化，对序列图像C(Cl，c2,c3,…… ，cwcn)进行图像采样。在飞行高度升高时，后一帧图cn相对与前一帧图像Clri景物会放 大，利用高度信息与摄像头参数，对后一帧图像(^进行下采样，以保证两帧图像景物处于同 一尺寸，保证匹配的成功率；在飞行高度降低时，后一帧图cn相对与前一帧图像cm景物会 缩小，利用高度信息与摄像头参数，对前一帧图像cn_i进行下采样，以保证两帧图像景物处 于同一尺寸，如图4所示。
[0034] 步骤5:利用光流法或其他现有的图像匹配方法，计算出序列图像C(Cl，c2，c3，… ???，(Vi,cn)帧间图像像素平移向量￡、图像旋转角度和两帧图像间旋转角度A1])，此a1]) 即为两帧间航向角变化。因航向角变化有正负之分，此处采用经典的航向角定义，取飞行 器沿纵轴右偏为正，构建此导航系统时，结合具体飞行器右偏时，两帧图像旋转变化来判断 A步的正负性。序列图像C的旋转角度累计即为航向角步，航向角速率即为w4=A步/ A t〇
[0035] 步骤6 :利用高度计获得的高度信息、横滚角巾、俯仰角0和平移向量￡信息，将 平移向量￡从图像坐标系转换到相机坐标系，如图3所示。
[0036] 坐标系转换先计算序列图像C中后一帧图像cn中心点在前一帧图像Clri中位置 (Xp ，并计算该点在相机坐标系中位置；再计算前一帧图像Cm中心点位置（Xd,yj，计算 该位置在相机坐标系中位置。两坐标相减即为在相机坐标系中平移向量。坐标从图像坐标 系转换到相机坐标系利用如下方程：
[0038] 式中，X。、Y。为序列图像C中图像在相机坐标系中坐标，u，v为图像C中图像像素 在图像坐标系中坐标，叫、％摄像机光轴经过图像坐标系平面的坐标，f为焦距，Z。为相机中 心点到地面距离，Zc=h/(cos( 9 ) ?cos〇))，h为高度计获得的高度信息；
[0039]对两帧图像中心点坐标（X。yi)与（X。，yQ)，利用变换公式（2)，得到
[0043] 求得相机坐标系中的平移向量Z=(AA'(.,A}彳。
[0044] 步骤7:判断帧间横滚角（K俯仰角0在两帧图像间是否有变化，若有，则对飞行 器在相机坐标系的飞行距离进行修正，并计算飞行器帧间飞行距离与速度。
[0045] 若有横滚角变化S(})，则将引起飞行器在相机坐标系中沿\轴的平移，其平移距 离为SYC，需对步骤6中的AYc进行修正。
[0046] 若有俯仰角变化S0，则将引起飞行器在相机坐标系中沿\轴的平移，其平移距 离为Sxc，需对步骤6中的AXC进行修正。
[0047] 修正方程为：
[0049] 式中，h为高度计获得的高度信息。
[0050]步骤8:将横滚角巾，俯仰角0，航向角力以及其角速度，飞行器的高度、位置以 及速度一次性输出，作为飞行器当前的导航参数。
[0051] 步骤9 :重复以上步骤利用序列图像不断计算飞行器位置，当序列图像经过基准 图中的规定特征区域时，将序列图像与基准图规定特征区域进行图像匹配，消除序列图像 导航中可能产生的累积误差。
[0052] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人 员来说，在不脱离本发明原理的前提下还可以做出若干改进，这些改进也应视为本发明的 保护范围。
【主权项】
1. 一种基于序列图像匹配的飞行器全程导航方法，其特征在于：沿机体坐标系分别安 装纵轴向前的摄像头A、横轴向右的摄像头B、竖轴向下的摄像头C ;在所述摄像头C的位置 处安装高度计； 1) 、在飞行器起飞前，对飞行路径进行航迹规划，生成基准图并标定特征区域； 2) 、飞行过程中通过摄像头A、摄像头B和摄像头C，以相同的时间间隔At，连续拍摄序 列图像A、序列图像B和序列图像C ; 3) 、对序列图像A进行地平线提取，并对地平线进行直线拟合，计算所述直线与图像水 平方向夹角的绝对值，得到飞行器的横滚角Φ的绝对值，取飞行器绕纵轴右滚为正；对序 列像B进行地平线提取，并对地平线进行直线拟合，计算所述直线与图像水平方向夹角的 绝对值，得到飞行器俯仰角Θ的绝对值，取飞行器抬头为正； 4) 、根据相邻帧间高度计的高度信息变化，对序列图像C进行图像采样，使序列图像C 中任意相邻两帧图像景物处于同一尺寸； 5) 、通过图像匹配得出序列图像C中各帧间图像像素平移向量￡、图像旋转角度和飞行 器的航向角Φ，航向角Φ取机头沿纵轴右偏为正；所述飞行器的航向角Φ为序列图像C中 各图像旋转角度的累计； 6) 、利用高度计的高度信息与所述横滚角Φ、俯仰角Θ和平移向量￡，将平移向量￡从 图像坐标系转换到相机坐标系； 7) 、判断帧间横滚角Φ、俯仰角Θ在两帧图像间是否有变化，若有，则对飞行器在相机 坐标系飞行距离进行修正，计算飞行器帧间飞行距离与速度； 8) 、将飞行器的横滚角Φ、俯仰角Θ、航向角φ及其角速度，飞行器的高度、位置以及 速度输出，作为飞行器当前的导航参数。 9) 、在飞行器导航过程中重复上述步骤不断计算飞行器位置，当序列图像经过基准图 中的特征区域时，将序列图像与所述特征区域进行图像匹配，消除序列图像导航中产生的 累积误差。2. 根据权利要求1所述的基于序列图像匹配的飞行器全程导航方法，其特征在于所述 步骤6)的过程为：计算序列图像C中后一帧图像中心点在前一帧图像中位置和后一帧图像 中心点在相机坐标系中位置；计算序列图像C中前一帧图像中心点位置和前一帧图像中心 点位置在相机坐标系中位置；所述后一帧图像中心点位置与前一帧图像中心点位置在相机 坐标系中的之差为相机坐标系中的平移向量；从图像坐标系转换到相机坐标系的模型为：式中，xc、Yc为序列图像C中图像在相机坐标系中坐标，u，V为图像C中图像像素在图 像坐标系中坐标，％、Vtl摄像机光轴经过图像坐标系平面的坐标，f为焦距，Z c为相机中心点 到地面距离，Z。= h/(cos( Θ ) · C0S((J)))，h为高度计获得的高度信息。
【专利摘要】本发明公开了一种基于序列图像匹配的飞行器全程导航方法，属于飞行器导航领域。利用三个方向的摄像头拍摄连续的序列图像，其中两个方向的摄像头拍摄图获得飞行器的俯仰角和横滚角；利用沿机体坐标系轴向下的摄像头拍摄图获得飞行器航向角，图像平移距离等参数；通过高度计获得的高度信息，将图像坐标系转换到相机坐标系；将飞行器的横滚角、俯仰角、航向角及其角速度，飞行器的高度、位置以及速度一次全部输出，作为飞行器当前的导航参数。本发明具有很高的匹配成功率与实时性，可以获得全程连续的导航参数，大大提升了导航精度；可以在一定程度上代替惯性导航，降低飞行器的导航成本，可广泛应用于中小型飞行器上。
【IPC分类】G01C21/20
【公开号】CN104897159
【申请号】CN201510261199
【发明人】冷雪飞, 茹江涛, 毛星云, 吴松森
【申请人】南京航空航天大学
【公开日】2015年9月9日
【申请日】2015年5月20日
最新回复(0)