一种无人机的三维环境建模方法及系统的制作方法
一种无人机的三维环境建模方法及系统的制作方法
【技术领域】
[0001] 本发明涉及无人机领域，尤其涉及一种无人机的三维环境建模方法及系统。
【背景技术】
[0002] 机器人如何在位置环境的未知位置中实现即时定位和地图构建（Simultaneous LocalizationAndMapping，SLAM)是实现机器人自主导航、路径规划、目标识别及跟踪等 任务的前提。利用不同传感器所重建出来的三维模型已经被应用到机器导航、增强实现、医 学图像处理等多个领域。然而，如何利用单镜头在无人机上进行实时的三维环境建模，进而 实现其自主控制是当前研宄的一个难点。
【发明内容】
[0003] 有鉴于此，本发明实施例的目的在于提供一种无人机的三维环境建模方法及系 统，旨在解决现有技术中无法利用单镜头在无人机上进行实时的三维环境建模的问题。
[0004] 本发明实施例是这样实现的，一种无人机的三维环境建模方法，包括：
[0005] 获取关键帧图像上的点特征、线特征，并划分纹理区域；
[0006] 选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧中求匹配点和 线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新；
[0007] 在三维空间中将得到的多层次特征进行有效结合，其中，所述多层次的特征包括 点特征、线特征以及面特征；
[0008] 利用对偶四元数对多层次的特征进行统一描述。
[0009] 优选的，所述选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧 中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生 成和更新的步骤包括：
[0010] 采用FAST-10进行角点检测，并以角点为中心形成8X8的源模板；
[0011] 将提取的角点进行缩减，然后去除靠近地图中已有特征的角点；
[0012] 通过对极几何得到在所述目标帧的图像上的对极线，在所述对极线附近搜索角 点，将搜索到的多个角点与提取到的角点模板做距离测度计算对比，得到最小距离测度，其 中，若所述最小距离测度小于设定的阈值，则将所述最小距离测度作为匹配点；
[0013] 利用对极几何三角化计算所述匹配点的3D深度信息，并将所述匹配点融入已有 地图中。
[0014] 优选的，所述选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧 中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生 成和更新的步骤包括：
[0015] 利用Canny算子提取所述关键帧的图像边缘，根据图像边缘的梯度变化角度信息 进行融合生长，并去除短的边缘和弯曲的边缘，同时将剩下的边缘作为图像线元；
[0016] 将地图中所有特征投影到当前所述关键帧的图像上，并将靠近投影特征的线元去 除，以得到候选线元；
[0017] 获取所述候选线元的中心点在所述目标关键帧的图像上的对极线，以该对极线为 中心形成匹配搜索区域，并获取所述匹配搜索区域中的边缘点，去除远离对极线的点、去除 与源直线线极性不符的点、去除梯度变化方向与对极线垂直的点、去除短的边缘点以及弯 曲的边缘点，形成匹配候选线；
[0018] 根据匹配候选线三角化得到所述源直线所有可能的3D深度，并通过第三帧关键 帧验证，并将只有验证成功的3D线融入到已有地图中。
[0019] 优选的，所述选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧 中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生 成和更新的步骤包括：
[0020] 首先利用图形纹理，将纹理相同的地方分割成一块，并将太小的块去除，形成平面 的候选区域；
[0021] 判断3D的点特征、线特征是否在已有面特征上，若在面特征上，则实现平面的增 长，并完成平面初始点和基础向量的更新；
[0022] 若不在面特征上，则利用已经生成的3D线判断是否存在交线或者平行线，若存在 交线则直接生成新的平面，若存在平行线则判断这些平行线是否属于同一个候选区域，若 属于同一个候选区域则生成一个新的平面。
[0023] 优选的，所述利用对偶四元数对多层次的特征进行统一描述的步骤包括：
[0024] 利用对偶四元数对点特征进行描述；
[0025] 利用对偶四元数对线特征进行描述；
[0026] 利用对偶四元数对面特征进行描述。
[0027] 另一方面，本发明还提供一种无人机的三维环境建模系统，所述三维环境建模系 统包括：
[0028] 特征提取模块，用于获取关键帧图像上的点特征、线特征，并划分纹理区域；
[0029] 地图拓展模块，用于选取距离所述关键帧最近的一帧为目标关键帧，在所述目标 关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特 征的生成和更新；
[0030] 地图简化模块，用于在三维空间中将得到的多层次特征进行有效结合，其中，所述 多层次的特征包括点特征、线特征以及面特征；
[0031] 统一描述模块，用于利用对偶四元数对多层次的特征进行统一描述。
[0032] 优选的，所述地图拓展模块包括特征点拓展子模块，其中，所述特征点拓展子模块 包括：
[0033] 第一提取模块，用于采用FAST-10进行角点检测，并以角点为中心形成8X8的源 模板；
[0034] 第一去除模块，用于将提取的角点进行缩减，然后去除靠近地图中已有特征的角 占.
[0035] 第一匹配模块，用于通过对极几何得到在所述目标帧的图像上的对极线，在所述 对极线附近搜索角点，将搜索到的多个角点与提取到的角点模板做距离测度计算对比，得 到最小距离测度，其中，若所述最小距离测度小于设定的阈值，则将所述最小距离测度作为 匹配点；
[0036] 第一融入模块，用于利用对极几何三角化计算所述匹配点的3D深度信息，并将所 述匹配点融入已有地图中。
[0037] 优选的，所述地图拓展模块包括特征线拓展子模块，
[0038] 其中，所述特征线拓展子模块包括：
[0039] 第二提取模块，用于利用Canny算子提取所述关键帧的图像边缘，根据图像边缘 的梯度变化角度信息进行融合生长，并去除短的边缘和弯曲的边缘，同时将剩下的边缘作 为图像线元；
[0040] 第二去除模块，用于将地图中所有特征投影到当前所述关键帧的图像上，并将靠 近投影特征的线元去除，以得到候选线元；
[0041] 第二匹配模块，用于获取所述候选线元的中心点在所述目标关键帧的图像上的对 极线，以该对极线为中心形成匹配搜索区域，并获取所述匹配搜索区域中的边缘点，去除远 离对极线的点、去除与源直线线极性不符的点、去除梯度变化方向与对极线垂直的点、去除 短的边缘点以及弯曲的边缘点，形成匹配候选线；
[0042] 第二融入模块，用于根据匹配候选线三角化得到所述源直线所有可能的3D深度， 并通过第三帧关键帧验证，并将只有验证成功的3D线融入到已有地图中。
[0043]优选的，所述地图拓展模块包括特征面拓展子模块，
[0044]其中，所述特征面拓展子模块包括：
[0045]平面去除模块，用于首先利用图形纹理，将纹理相同的地方分割成一块，并将太小 的块去除，形成平面的候选区域；
[0046] 平面更新模块，用于判断3D的点特征、线特征是否在已有面特征上，若在面特征 上，则实现平面的增长，并完成平面初始点和基础向量的更新；
[0047] 平面生成模块，用于若不在面特征上，则利用已经生成的3D线判断是否存在交线 或者平行线，若存在交线则直接生产新的平面，若存在平行线则判断这些平行线是否属于 同一个候选区域，若属于同一个候选区域则生成一个新的平面。
[0048] 优选的，所述统一描述模块包括：
[0049]点特征描述子模块，用于利用对偶四元数对点特征进行描述；
[0050] 线特征描述子模块，用于利用对偶四元数对线特征进行描述；
[0051] 面特征描述子模块，用于利用对偶四元数对面特征进行描述。
[0052] 在本发明实施例中，本发明提供的技术方案能利用单镜头在无人机上进行实时的 三维环境建模，通过基于对偶四元数的多层次特征环境建模的方法，将多层次几何结构用 对偶四元数坐实现了统一表示方式和转换过程，从而能够为进一步的新的专用对偶四元数 解算硬件的研发提供基础研宄成果，而且，点、线、面多层次特征的有效结合，能够显著的减 少地图的存储空间和捆绑调整优化过程数据的处理量，提高系统的优化速度，另外，由于直 线特征能有效的提高匹配过程抗运动模糊的能力，减少错误匹配率，从而提高了地图的精 确性和鲁棒性。
【附图说明】
[0053] 图1 为本发明一实施方式中无人机的三维环境建模方法流程图；
[0054] 图2为本发明一实施方式中图1所示步骤S12的第一子步骤流程图；
[0055] 图3为本发明一实施方式中图1所示步骤S12的第二子步骤流程图；
[0056] 图4为本发明一实施方式中图1所示步骤S12的第三子步骤流程图；
[0057] 图5为本发明一实施方式中无人机的三维环境建模系统结构示意图；
[0058] 图6为本发明一实施方式中图5所示地图拓展模块12的内部结构示意图；
[0059] 图7为本发明一实施方式中图6所示特征点拓展子模块121的内部结构示意图；
[0060] 图8为本发明一实施方式中图6所示特征线拓展子模块122的内部结构示意图；
[0061] 图9为本发明一实施方式中图6所示特征面拓展子模块123的内部结构示意图；
[0062] 图10为本发明一实施方式中图5所不统一描述模块14的内部结构不意图。
【具体实施方式】
[0063] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。一种无人机的三维环境建模方法及系统
[0064] 本发明【具体实施方式】提供了一种无人机的三维环境建模方法，主要包括如下步 骤：
[0065] S11、获取关键帧图像上的点特征、线特征，并划分纹理区域；
[0066] S12、选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧中求匹配 点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更 新；
[0067] S13、在三维空间中将得到的多层次特征进行有效结合，其中，所述多层次的特征 包括点特征、线特征以及面特征；
[0068] S14、利用对偶四元数对多层次的特征进行统一描述。
[0069] 本发明所提供的一种无人机的三维环境建模方法，能利用单镜头在无人机上进行 实时的三维环境建模，通过基于对偶四元数的多层次特征环境建模的方法，将多层次几何 结构用对偶四元数坐实现了统一表示方式和转换过程，从而能够为进一步的新的专用对偶 四元数解算硬件的研发提供基础研宄成果，而且，点、线、面多层次特征的有效结合，能够显 著的减少地图的存储空间和捆绑调整优化过程数据的处理量，提高系统的优化速度，另外， 由于直线特征能有效的提高匹配过程抗运动模糊的能力，减少错误匹配率，从而提高了地 图的精确性和鲁棒性。
[0070] 以下将对本发明所提供的一种无人机的三维环境建模方法进行详细说明。
[0071] 请参阅图1，为本发明一实施方式中无人机的三维环境建模方法流程图。
[0072] 在步骤S11中，获取关键帧图像上的点特征、线特征，并划分纹理区域。
[0073] 在本实施方式中，划分区域的方法主要是通过提取关键帧图像上的点特征、线特 征，并根据该关键帧的纹理进行划分。
[0074] 在步骤S12中，选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键 帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的 生成和更新。
[0075] 在本实施方式中，所述多层次的特征包括点特征、线特征以及面特征。
[0076] 在本实施方式中，本发明区别现有技术最大的区别在于本发明结合了点、线、面多 层次的特征来实现地图的增长过程，而不在依赖于单一的某一个几何特征，且传统的高层 次特征的获取是在已经生成了地图的情况下进行拟合而成的，而不是将高层次特征作为一 种新的结构融入地图，如此，拟合得到的高层次结构无法和后续生成的地图相关联，且每次 当地图拓展之后都必须对其重新拟合以得到新的高层次结构，正是由于现有技术中存在的 这些缺点，本发明根据点、线、面这三个不同层次的几何特征，选取距离所述关键帧最近的 一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D的点 和线，并结合纹理区域完成面特征的生成和更新，即包括进行点特征的提取和匹配，并将匹 配结果融入已有地图；进行线特征的提取和匹配，并将匹配结果融入已有地图；将生成的 3D点、线结合纹理区域来实现地图面特征的拓展和更新这三个层次。
[0077] 其中，步骤S12分别包括：1)点特征的提取、匹配及融入过程；2)线特征的提取、 匹配及融入过程；3)纹理区域的划分、3D点线是否拓展已有平面、3D点线是否生成新的 平面这三个子步骤，其中，1)对应图2所示的步骤S1211-S1214,2)对应图3所示的步骤 S1221-S1224, 3)对应图 4 所示的步骤S1231-S1234。
[0078] 请参阅图2,为本发明一实施方式中图1所示步骤S12的第一子步骤流程图。
[0079] 在步骤S1211中，采用FAST-10进行角点检测，并以角点为中心形成8X8的源模 板。
[0080] 其中，步骤S1211主要是提取角点，需要说明的是，在本实施方式中，除了采用 FAST-10进行角点检测之外，还可以采用Harris角点，ShiTomasi角点，SURF角点，亚像素 角点，SIFT角点等一系列的角点特征检测和描述的方法。
[0081] 在步骤S1212中，将提取的角点进行缩减，然后去除靠近地图中已有特征的角点。 在本实施方式中，主要是利用Shi-Tomasi技术将提取的角点进行缩减。
[0082] 其中，步骤S1212主要是获取候选角点，将提取的角点通过Shi-Tomasi技术进行 缩减，通过将地图3D特征投影到图像平面，然后再去除靠近地图中已有特征的角点，具体 的投影过程如下：
[0086]piw为世界坐标系中点，（X。y。z。)1为当前关键帧坐标系中该点的位置，E"表示世 界坐标系到当肖U关键帧坐标系的坐标变换，（W?1)1表不当肖U关键帧图像坐标系上的位置， (l^V^T为主点坐标，（fufv)为焦距参数，W表示径向失真参数。
[0087] 在步骤S1213中，通过对极几何得到在所述目标帧的图像上的对极线，在所述对 极线附近搜索角点，将搜索到的多个角点与提取到的角点模板做距离测度计算对比，得到 最小距离测度，其中，若所述最小距离测度小于设定的阈值，则将所述最小距离测度作为匹 配点。
[0088] 在步骤S1214中，利用对极几何三角化计算所述匹配点的3D深度信息，并将所述 匹配点融入已有地图中。
[0089] 请参阅图3,为本发明一实施方式中图1所示步骤S12的第二子步骤流程图。在本 实施方式中，直线特征更新流程与现有技术相比，本发明最大的不同在于采用线元的融合 生长技术来完成线特征的提取。在本实施方式中，线元的获取采用的是线融合生长的方法， 除此之外还可以采用Hough变换获取直线，另外线生长的过程本发明采用的是循环的方法 来实现，除此之外还可以采用递归的方法来实现，在此就不--展开描述。
[0090] 在步骤S1221中，利用Canny算子提取所述关键帧的图像边缘，根据图像边缘的梯 度变化角度信息进行融合生长，并去除短的边缘和弯曲的边缘，同时将剩下的边缘作为图 像线元。具体的生长步骤如下（a)-(e)所示：
[0091] (a)、以边缘上一点作为原始中心点（origincenter)，计算其梯度的角度，构造图 像大小的哈希表，并将对应的该点置255,并将该点压入到栈中；
[0092] (b)、判断其上下左右，及两条对角线的八个周边领域点是否在为边缘点；
[0093] (c)、若为边缘点，则进一步判断其与中心点的梯度变化角度是否满足一定的阈 值；
[0094] (d)、若满足该阈值，将哈希表中对应该点置255,并将其压入栈中，进而判断该 线元是否沿竖直方向增长，若是则将y值比origincenter小的的作为线元起点，y值较 origincenter大的做为终点，否则将x较origincenter小的作为起点，x值较origin center大的作为终点，并以该点为新的中心点，重复（b)过程；
[0095] (e)、直至栈的大小不在变化，即线元的生长结束，则返回该线元的长度，把长度小 于设定阈值的线元去除。
[0096] 在步骤S1222中，将地图中所有特征投影到当前所述关键帧的图像上，并将靠近 投影特征的线元去除，以得到候选线元；在本实施方式中，步骤S1222是参照点的候选特征 的提取过程。
[0097] 在步骤S1223中，获取所述候选线元的中心点在所述目标关键帧的图像上的对极 线，以该对极线为中心形成匹配搜索区域，并获取所述匹配搜索区域中的边缘点，去除远离 对极线的点、去除与源直线线极性不符的点、去除梯度变化方向与对极线垂直的点、去除短 的边缘点以及弯曲的边缘点，形成匹配候选线。在本实施方式中，步骤S1223是参照点的对 极 几何过程。
[0098] 在步骤S1224中，根据匹配候选线三角化得到所述源直线所有可能的3D深度，并 通过第三帧关键帧验证，并将只有验证成功的3D线融入到已有地图中。在本实施方式中， 关键帧中检测到的直线与关键帧相机位置构成一平面，同理，源关键帧中也能够构成一平 面，这两个平面的交线即为该直线对应的3D线，通过该直线的端点确定其空间具体位置， 并将得到的3D线在另外的第三帧关键帧中进行检验，只把检验成功的3D线融入到已有地 图中。
[0099] 请参阅图4,为本发明一实施方式中图1所示步骤S12的第三子步骤流程图。
[0100] 在步骤S1231中，首先利用图形纹理，将纹理相同的地方分割成一块，并将太小的 块去除，形成平面的候选区域。
[0101] 在本实施方式中，采用两个方向向量和一个位置向量表示平面，用两个方向向量 和一个位置向量共9个参数来表示，其表达式为：
[0102] m=[p0c:c2]t(4)
[0103] P(!表示平面的初始点，cpc2表示平面上的两个正交向量称为基础向量，故平面的 法线n=ClXc2，因此，对于地图中的检测位于该平面上的3D特征点，可以简化表示为：
[0105] 其中，?表示点积，Pi表示该3D特征点在世界坐标系中的位置。
[0106] 在步骤S1232中，判断3D的点特征、线特征是否在已有面特征上，若在面特征上， 则实现平面的增长，并完成平面初始点和基础向量的更新。
[0107] 在步骤S1233中，若不在面特征上，则利用已经生成的3D线判断是否存在交线或 者平行线，若存在交线则直接生产新的平面，若存在平行线则判断这些平行线是否属于同 一个候选区域，若属于同一个候选区域则生成一个新的平面。
[0108] 在本实施方式中，利用两根线上的不同的三个点生成初始的平面参数：
[0109] p0=p: 〇!=p2~p1c2=p3-p! (6)
[0110] 其中，Pl，P2，P3两根线上的3个不同点。在得到平面参数后，通过测量其他特征到 平面的垂直距离是否满足阈值要求来进行平面方程的更新。对于任意以特征点IV其到平 面的垂直距离为d= (A-A,)_/7。另外，还要求平面上所包含的点数1 >1T(1T为设定的平面 上最少点数）时，才认为此次估计的平面符合要求。
[0111] 在本实施方式中，平面特征点的增长通过判断将新加入的特征点是否满足设定的 阈值要求，来决定是否融入到平面上。设定的阈值有：点到平面的最大距离dT，点到平面初 始点的最大距离d_(此阈值的设定是为了增大所构建平面与实际局部物理平面结构相匹 配的概率），法向量方向的最大偏差入 T。
[0112] 假设，一空间平面包含1个特征点，存储在一个1X3的矩阵M中，与MTM最小特征 值对应的特征向量代表了平面的法向方向，而最小特征值Amin表示内点在法向方向的方 差，另外的两个特征向量则为平面的基础向量(^，(3 2。故平面上新增的点必须同时满足一下 条件：
[0114] 在本实施方式中，平面特征线的增长，则通过直线方向与平面法线的夹角，若直线 在平面上则该直线到平面的距离为零，与平面的法线垂直，否则，该直线必定不在平面上。
[0115] 在本实施方式中，为了有效的减少地图的存储空间，和捆绑调整法数据的处理量， 应当将多层次的特征有效的结合起来，这里主要分为在二维图像上实现候选特征的滤除和 三维空间中点、线、面的合并，其中，二维图像上实现候选特征的滤除包括候选点的滤除、候 选线的滤除、候选面的滤除，三维空间中点、线、面的合并包括点线的合并、点面的合并、线 面的合并。
[0116] 在本实施方式中，在二维图像上候选特征的滤除方面，提取出当前关键帧中可观 测到的地图特征，并将地图中所有特征投影到当前关键帧的图像平面，在选取新特征的候 选特征集时，将这些靠近已有投影特征的候选特征进行删除，剩余的特征作为最终的候选 特征集，如此高层次的特征周围便不再存在低层次的特征，减少了低层次特征的数量和匹 配搜索量。
[0117] 在本实施方式中，在三维空间上多层次特征的合并方面，在三维空间中，若前面的 观察中某一结构未能检测到高层次的特征，而在生成了大量的低层次特征，而后续的观察 中此结构中高层次特征被发现，则需要在3D空间中将该处的低层次特征删除，从而能够有 效的减少地图的存储空间和提高系统的处理速度。
[0118] 请继续参阅图1，在步骤S13中，在三维空间中将得到的多层次特征进行有效结 合，其中，所述多层次的特征包括点特征、线特征以及面特征。
[0119] 在步骤S14中，利用对偶四元数对多层次的特征进行统一描述。在本实施方式中， 较之四元数只能表示3D旋转，对偶数只能表示平移，对偶四元数的优越性体现在它继承了 二者的共同特性，从而能统一的表示旋转与平移。绕单位向量表示的轴？旋转0角，平移f 位移的过程可以表示为：
[0121] 其中
分别为用对偶 四元数表示的纯平移，和纯旋转，而
分表为用四元数表示的旋 转和平移。利用共轭操作特性可得到其共轭为：
[0122] 在本实施方式中，所述利用对偶四元数对多层次的特征进行统一描述的步骤包 括：利用对偶四元数对点特征进行描述；利用对偶四元数对线特征进行描述；利用对偶四 元数对面特征进行描述。下面将分别进行描述：
[0123]1)、对偶四元数对点的描述
[0124] 在三维空间中对点和向量的表示是非常容易混肴的，因为对任意一点p和向量交 都是用三维坐标（x，y，z)来进行表示。而在对偶四元数中，可以很容易的区分出点和向量， 它们的表不形式分别为：
[0127] 设P=l+ #表示对偶四元数表示的任意一点，对P的旋转操作可改变其向量P的 方向使得
，而对P的平移将会把P"移动到新的位置
。因此，对点P的 旋转和平移整体过程可表示为：
[0129] 同理，对于一个向量F= 0 +孕旋转将会改变其方向性，而平移将不会对其造成影 响，结果可得到：
[0131]2)、对偶四元数对线的描述
[0132] 直线在普吕克坐标系中的表示为
，其中f和分别表示直 线的方向向量和直线上一点的位置向量，6 =/〇></.表示直线相对于坐标原点的矩。用对偶 四元数来表示该直线可写为：
[0134] 对L的任意变换过程，可分别从旋转和平移两个方面分别进行讨论，对L旋转 过程可造成其方向性/和对坐标原点矩兩的改变，而对直线的平移过程将不会对/有 影响，故对直线的方向向量/的整体变换过程为：f= 但是成会收到平移的影响，
，其中q，t分别为纯四元数表示的旋转和平移。故在对偶四元数空间 中对直线L的变换可表示为：
[0136]3)、对偶四元数对面的描述
[0137] 一个平面可以由他的单位法向量5和距原点的垂直距离d确定，通常平面的向量 方程是/7F=d，F是平面上的任意一点。在对偶四元数代数中，平面的表示方式为：
[0139] 将平面n做刚体变换，旋转可以使得法向量5的方向发生改变，平移可改变平面 到原点的距离d，而新增的距离即为平移向量在法向量5上的投影。故得到新的法向量 为：g'=如g%到原点的距离为：=d+ 。其中t，q是纯四元数用于表示平移和旋 转。故，对偶四元数空间对平面n的变换可表示为：
[0141] 综上所述，对偶四元数对几何元素的整体变换可表示为：
[0143] 本发明所提供的一种无人机三维环境建模方法，能利用单镜头在无人机上进行实 时的三维环境建模，通过基于对偶四元数的多层次特征环境建模的方法，将多层次几何结 构用对偶四元数坐实现了统一表示方式和转换过程，从而能够为进一步的新的专用对偶四 元数解算硬件的研发提供基础研宄成果，而且，点、线、面多层次特征的有效结合，能够显著 的减少地图的存储空间和捆绑调整优化过程数据的处理量，提高系统的优化速度，另外，由 于直线特征能有效的提高匹配过程抗运动模糊的能力，减少错误匹配率，从而提高了地图 的精确性和鲁棒性。
[0144] 本发明【具体实施方式】还提供一种无人机三维环境建模系统10,主要包括：
[0145] 特征提取模块11，用于获取关键帧图像上的点特征、线特征，并划分纹理区域；
[0146] 地图拓展模块12,用于选取距离所述关键帧最近的一帧为目标关键帧，在所述目 标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面 特征的生成和更新；
[0147] 地图简化模块13,用于在三维空间中将得到的多层次特征进行有效结合，其中，所 述多层次的特征包括点特征、线特征以及面特征；
[0148] 统一描述模块14,用于利用对偶四元数对多层次的特征进行统一描述。
[0149] 本发明所提供的一种无人机三维环境建模系统10,能利 用单镜头在无人机上进行 实时的三维环境建模，通过基于对偶四元数的多层次特征环境建模的方法，将多层次几何 结构用对偶四元数坐实现了统一表示方式和转换过程，从而能够为进一步的新的专用对偶 四元数解算硬件的研发提供基础研宄成果，而且，点、线、面多层次特征的有效结合，能够显 著的减少地图的存储空间和捆绑调整优化过程数据的处理量，提高系统的优化速度，另外， 由于直线特征能有效的提高匹配过程抗运动模糊的能力，减少错误匹配率，从而提高了地 图的精确性和鲁棒性。
[0150] 请参阅图5,所示为本发明一实施方式中无人机的三维环境建模系统10的结构示 意图。在本实施方式中，无人机的三维环境建模系统10包括特征提取模块11、地图拓展模 块12、地图简化模块13以及统一描述模块14。
[0151] 特征提取模块11，用于获取关键帧图像上的点特征、线特征，并划分纹理区域。在 本实施方式中，划分区域的方法主要是通过提取关键帧的角点和线并根据该关键帧的纹理 进行区域划分。
[0152] 地图拓展模块12,用于选取距离所述关键帧最近的一帧为目标关键帧，在所述目 标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面 特征的生成和更新。
[0153] 在本实施方式中，所述多层次的特征包括点特征、线特征以及面特征。
[0154] 在本实施方式中，地图拓展模块12具体包括特征点拓展子模块121、特征线拓展 子模块122、特征面拓展子模块123,如图6所不。
[0155] 请参阅图6,所示为本发明一实施方式中图5所示地图拓展模块12的内部结构示 意图。
[0156] 在本实施方式中，特征点拓展子模块121，用于进行点特征的提取和匹配，并将匹 配结果融入已有地图。
[0157] 在本实施方式中，特征线拓展子模块122,用于进行线特征的提取和匹配，并将匹 配结果融入已有地图。
[0158] 在本实施方式中，特征面拓展子模块123,用于将生成的3D点、线结合纹理区域来 实现地图面特征的拓展和更新。
[0159] 其中，图7-图9分别为特征点拓展子模块121、特征线拓展子模块122、特征面拓 展子模块123的内部结构示意图，下面将分别进行详细描述。
[0160] 请参阅图7,所示为本发明一实施方式中图6所示特征点拓展子模块121的内部结 构示意图。
[0161] 第一提取模块1211，用于采用FAST-10进行角点检测，并以角点为中心形成8X8 的源模板。
[0162] 在本实施方式中，除了采用FAST-10进行角点检测之外，还可以采用Harris角点， ShiTomasi角点，SURF角点，亚像素角点，SIFT角点等一系列的角点特征检测和描述的方 法。
[0163] 第一去除模块1212,用于将提取的角点进行缩减，然后去除靠近地图中已有特征 的角点。其中具体的过程请参照前面对应步骤S1212的有关描述，在此不做重复描述。
[0164] 第一匹配模块1213,用于通过对极几何得到在所述目标帧的图像上的对极线，在 所述对极线附近搜索角点，将搜索到的多个角点与提取到的角点模板做距离测度计算对 比，得到最小距离测度，其中，若所述最小距离测度小于设定的阈值，则将所述最小距离测 度作为匹配点。
[0165] 第一融入模块1214,用于利用对极几何三角化计算所述匹配点的3D深度信息，并 将所述匹配点融入已有地图中。
[0166] 请参阅图8,所示为本发明一实施方式中图6所示特征线拓展子模块122的内部结 构示意图。
[0167] 第二提取模块1221，用于利用Canny算子提取所述关键帧的图像边缘，根据图像 边缘的梯度变化角度信息进行融合生长，并去除短的边缘和弯曲的边缘，同时将剩下的边 缘作为图像线元。其中，具体的成长步骤请参阅前面步骤S1221的有关描述，在此不做重复 描述。
[0168] 第二去除模块1222,用于将地图中所有特征投影到当前所述关键帧的图像上，并 将靠近投影特征的线元去除，以得到候选线元。
[0169] 第二匹配模块1223,用于获取所述候选线元的中心点在所述目标关键帧的图像 上的对极线，形成匹配搜索区域，并获取所述匹配搜索区域中的边缘点，去除远离对极线的 点、去除与源直线线极性不符的点、去除梯度变化方向与对极线垂直的点、去除短的边缘点 以及弯曲的边缘点，形成匹配候选线。
[0170] 第二融入模块1224,用于根据匹配候选线三角化得到所述源直线所有可能的3D 深度，并通过第三帧关键帧验证，并将只有验证成功的3D线融入到已有地图中。在本实施 方式中，关键帧中检测到的直线与关键帧相机位置构成一平面，同理，源关键帧中也能够构 成一平面，这两个平面的交线即为该直线对应的3D线，通过该直线的端点确定其空间具体 位置，并将得到的3D线在另外的第三帧关键帧中进行检测，根据三焦点张量之间的约束关 系只把检测成功的3D线融入到已有地图中。
[0171] 请参阅图9,所示为本发明一实施方式中图6所示特征面拓展子模块123的内部结 构示意图。
[0172] 平面去除模块1231，用于采用两个方向向量和一个位置向量表示平面。在本实施 方式中，具体的表示方法请参阅前面步骤S1231的有关描述，在此不做重复描述。
[0173] 平面更新模块1232,用于利用图形纹理将纹理相同的地方分割成一块以形成平 面的候选区域，并利用已经生成的3D线判断是否存在交线或者平行线，若存在交线则直 接生产新的平面，若存在平行线则判断这些平行线是否属于同一个候选区域，若属于同 一个候选区域则生成一个新的平面。在本实施方式中，具体的发现方法请参阅前面步骤 S1232-S1233的有关描述，在此不做重复描述。
[0174] 平面生成模块1233,用于利用平面特征点的增长和平面特征线的增长来形成平面 的增长。在本实施方式中，具体的增长方法请参阅前面步骤S1234的有关描述，在此不做重 复描述。
[0175] 在本实施方式中，为了有效的减少地图的存储空间，和捆绑调整法数据的处理量， 应当将多层次的特征有效的结合起来，这里主要分为在二维图像上实现候选特征的滤除和 三维空间中点、线、面的合并，其中，二维图像上实现候选特征的滤除包括候选点的滤除、候 选线的滤除、候选面的滤除，三维空间中点、线、面的合并包括点线的合并、点面的合并、线 面的合并。
[0176] 在本实施方式中，在二维图像上候选特征的滤除方面，提取出当前关键帧中可观 测到的地图特征，将地图中所有特征投影到当前关键帧平面，在选取新特征的候选特征集 时，将这些靠近投影特征的候选特征进行删除，剩余的特征作为最终的候选特征集，如此高 层次的特征周围便不再存在低层次的特征，减少了低层次特征的数量和匹配搜索量。
[0177] 在本实施方式中，在三维空间上多层次特征的合并方面，在三维空间中，若前面的 观察中某一结构未能检测到高层次的特征，而在生成了大量的低层次特征，而后续的观察 中此结构中高层次特征被发现，则需要在3D空间中将该处的低层次特征删除，从而能够有 效的减少地图的存储空间和提高系统的处理速度。
[0178] 请继续参阅图5,地图简化模块13,用于在三维空间中将得到的多层次特征进行 有效结合，其中，所述多层次的特征包括点特征、线特征以及面特征。
[0179] 统一描述模块14,用于利用对偶四元数对多层次的特征进行统一描述。
[0180] 在本实施方式中，统一描述模块14具体包括点特征描述子模块141、线特征描述 子模块142以及面特征描述子模块143,如图10所示。
[0181] 请参阅图10,所示为本发明一实施方式中图5所示统一描述模块14的内部结构示 意图。
[0182] 点特征描述子模141块，用于利用对偶四元数对点特征进行描述，其中，具体的描 述请参阅前面方法部分的相关描述，在此不做重复描述。
[0183] 线特征描述子模块142,用于利用对偶四元数对线特征进行描述，其中，具体的描 述请参阅前面方法部分的相关描述，在此不做重复描述。
[0184] 面特征描述子模块143,用于利用对偶四元数对面特征进行描述，其中，具体的描 述请参阅前面方法部分的相关描述，在此不做重复描述。
[0185] 本发明所提供的一种无人机的三维环境建模系统10,能利用单镜头在无人机上进 行实时的三维环境建模，通过基于对偶四元数的多层次特征环境建模的方法，将多层次几 何结构用对偶四元数坐实现了统一表示方式和转换过程，从而能够为进一步的新的专用对 偶四元数解算硬件的研发提供基础研宄成果，而且，点、线、面多层次特征的有效结合，能够 显著的减少地图的存储空间和捆绑调整优化过程数据的处理量，提高系统的优化速度，另 外，由于直线特征能有效的提高匹配过程抗运动模糊的能力，减少错误匹配率，从而提高了 地图的精确性和鲁棒性。
[0186] 在本发明实施例中，本发明提供的技术方案，能利用单镜头在无人机上进行实时 的三维环境建模，通过基于对偶四元数的多层次特征环境建模的方法，将多层次几何结构 用对偶四元数坐实现了统一表示方式和转换过程，从而能够为进一步的新的专用对偶四元 数解算硬件的研发提供基础研宄成果，而且，点、线、面多层次特征的有效结合，能够显著的 减少地图的存储空间和捆绑调整优化过程数据的处理量，提高系统的优化速度，另外，由于 直线特征能有效的提高匹配过程抗运动模糊的能力，减少错误匹配率，从而提高了地图的 精确性和鲁棒性。
[0187] 值得注意的是，上述实施例中，所包括的各个单元只是按照功能逻辑进行划分的， 但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也 只是为了便于相互区分，并不用于限制本发明的保护范围。
[0188] 另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤 是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介 质中，所述的存储介质，如R0M/RAM、磁盘或光盘等。
[0189] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种无人机的三维环境建模方法，其特征在于，所述三维环境建模方法包括： 获取关键帧图像上的点特征、线特征，并划分纹理区域； 选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线， 利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新； 在三维空间中将得到的多层次特征进行有效结合，其中，所述多层次的特征包括点特 征、线特征以及面特征； 利用对偶四元数对多层次的特征进行统一描述。2. 如权利要求1所述的三维环境建模方法，其特征在于，所述选取距离所述关键帧最 近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D 的点和线，并结合纹理区域完成面特征的生成和更新的步骤包括： 采用FAST-IO进行角点检测，并以角点为中心形成8X8的源模板； 将提取的角点进行缩减，然后去除靠近地图中已有特征的角点； 通过对极几何得到在所述目标帧的图像上的对极线，在所述对极线附近搜索角点，将 搜索到的多个角点与提取到的角点模板做距离测度计算，得到最小距离测度，其中，若所述 最小距离测度小于设定的阈值，则将所述最小距离测度作为匹配点； 利用对极几何三角化计算所述匹配点的3D深度信息，并将所述匹配点融入已有地图 中。3. 如权利要求1所述的三维环境建模方法，其特征在于，所述选取距离所述关键帧最 近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D 的点和线，并结合纹理区域完成面特征的生成和更新的步骤包括： 利用Canny算子提取所述关键帧的图像边缘，根据图像边缘的梯度变化角度信息进行 融合生长，并去除短的边缘和弯曲的边缘，同时将剩下的边缘作为图像线元； 将地图中所有特征投影到当前所述关键帧的图像上，并将靠近投影特征的线元去除， 以得到候选线元； 获取所述候选线元的中心点在所述目标关键帧的图像上的对极线，以该对极线为中心 形成匹配搜索区域，并获取所述匹配搜索区域中的边缘点，去除远离对极线的点、去除与源 直线线极性不符的点、去除梯度变化方向与对极线垂直的点、去除短的边缘点以及弯曲的 边缘点，形成匹配候选线； 根据匹配候选线三角化得到所述源直线所有可能的3D深度，并通过第三帧关键帧验 证，并将只有验证成功的3D线融入到已有地图中。4. 如权利要求1所述的三维环境建模方法，其特征在于，所述选取距离所述关键帧最 近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D 的点和线，并结合纹理区域完成面特征的生成和更新的步骤包括： 首先利用图形纹理，将纹理相同的地方分割成一块，并将太小的块去除，形成平面的候 选区域； 判断3D的点特征、线特征是否在已有面特征上，若在面特征上，则实现平面的增长，并 完成平面初始点和基础向量的更新； 若不在面特征上，则利用已经生成的3D线判断是否存在交线或者平行线，若存在交线 则直接生产新的平面，若存在平行线则判断这些平行线是否属于同一个候选区域，若属于 同一个候选区域则生成一个新的平面。5. 如权利要求1所述的三维环境建模方法，其特征在于，所述利用对偶四元数对多层 次的特征进行统一描述的步骤包括： 利用对偶四元数对点特征进行描述； 利用对偶四元数对线特征进行描述； 利用对偶四元数对面特征进行描述。6. -种无人机的三维环境建模系统，其特征在于，所述三维环境建模系统包括： 特征提取模块，用于获取关键帧图像上的点特征、线特征，并划分纹理区域； 地图拓展模块，用于选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键 帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的 生成和更新； 地图简化模块，用于在三维空间中将得到的多层次特征进行有效结合，其中，所述多层 次的特征包括点特征、线特征以及面特征； 统一描述模块，用于利用对偶四元数对多层次的特征进行统一描述。7. 如权利要求6所述的三维环境建模系统，其特征在于，所述地图拓展模块包括特征 点拓展子模块，其中，所述特征点拓展子模块包括： 第一提取模块，用于采用FAST-IO进行角点检测，并以角点为中心形成8X8的源模 板； 第一去除模块，用于将提取的角点进行缩减，然后去除靠近地图中已有特征的角点； 第一匹配模块，用于通过对极几何得到在所述目标帧的图像上的对极线，在所述对极 线附近搜索角点，将搜索到的多个角点与提取到的角点模板做距离测度对比，得到最小距 离测度，其中，若所述最小距离测度小于设定的阈值，则将所述最小距离测度作为匹配点； 第一融入模块，用于利用对极几何三角化计算所述匹配点的3D深度信息，并将所述匹 配点融入已有地图中。8. 如权利要求6所述的三维环境建模系统，其特征在于，所述地图拓展模块包括特征 线拓展子模块， 其中，所述特征线拓展子模块包括： 第二提取模块，用于利用Canny算子提取所述关键帧的图像边缘，根据图像边缘的梯 度变化角度信息进行融合生长，并去除短的边缘和弯曲的边缘，同时将剩下的边缘作为图 像线元； 第二去除模块，用于将地图中所有特征投影到当前所述关键帧的图像上，并将靠近投 影特征的线元去除，以得到候选线元； 第二匹配模块，用于获取所述候选线元的中心点在所述目标关键帧的图像上的对极 线，以该对极线为中心形成匹配搜索区域，并获取所述匹配搜索区域中的边缘点，去除远离 对极线的点、去除与源直线线极性不符的点、去除梯度变化方向与对极线垂直的点、去除短 的边缘点以及弯曲的边缘点，形成匹配候选线； 第二融入模块，用于根据匹配候选线三角化得到所述源直线所有可能的3D深度，并通 过第三帧关键帧验证，并将只有验证成功的3D线融入到已有地图中。9. 如权利要求6所述的三维环境建模系统，其特征在于，所述地图拓展模块包括特征 面拓展子模块， 其中，所述特征面拓展子模块包括： 平面去除模块，用于首先利用图形纹理，将纹理相同的地方分割成一块，并将太小的块 去除，形成平面的候选区域； 平面更新模块，用于判断3D的点特征、线特征是否在已有面特征上，若在面特征上，则 实现平面的增长，并完成平面初始点和基础向量的更新； 平面生成模块，用于若不在面特征上，则利用已经生成的3D线判断是否存在交线或者 平行线，若存在交线则直接生产新的平面，若存在平行线则判断这些平行线是否属于同一 个候选区域，若属于同一个候选区域则生成一个新的平面。10.如权利要求6所述的三维环境建模系统，其特征在于，所述统一描述模块包括： 点特征描述子模块，用于利用对偶四元数对点特征进行描述； 线特征描述子模块，用于利用对偶四元数对线特征进行描述； 面特征描述子模块，用于利用对偶四元数对面特征进行描述。
【专利摘要】本发明适用于无人机领域，提供了一种无人机的三维环境建模方法，包括：获取关键帧图像上的点特征、线特征，并划分纹理区域；选取距离所述关键帧最近的一帧为目标关键帧，在目标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新；在三维空间中将得到的多层次特征进行有效结合，其中，多层次的特征包括点特征、线特征以及面特征；利用对偶四元数对多层次的特征进行统一描述。本发明还提供了一种无人机的三维环境建模系统。本发明能为进一步的新的专用对偶四元数解算硬件的研发提供基础研究成果，能提高系统的优化速度，还能减少错误匹配率，从而提高了地图的精确性和鲁棒性。
【IPC分类】G06T17/05, G06T17/00
【公开号】CN104899918
【申请号】CN201510245485
【发明人】蒙山, 陈桂芳
【申请人】深圳大学
【公开日】2015年9月9日
【申请日】2015年5月14日
【技术领域】
[0001] 本发明涉及无人机领域，尤其涉及一种无人机的三维环境建模方法及系统。
【背景技术】
[0002] 机器人如何在位置环境的未知位置中实现即时定位和地图构建（Simultaneous LocalizationAndMapping，SLAM)是实现机器人自主导航、路径规划、目标识别及跟踪等 任务的前提。利用不同传感器所重建出来的三维模型已经被应用到机器导航、增强实现、医 学图像处理等多个领域。然而，如何利用单镜头在无人机上进行实时的三维环境建模，进而 实现其自主控制是当前研宄的一个难点。
【发明内容】
[0003] 有鉴于此，本发明实施例的目的在于提供一种无人机的三维环境建模方法及系 统，旨在解决现有技术中无法利用单镜头在无人机上进行实时的三维环境建模的问题。
[0004] 本发明实施例是这样实现的，一种无人机的三维环境建模方法，包括：
[0005] 获取关键帧图像上的点特征、线特征，并划分纹理区域；
[0006] 选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧中求匹配点和 线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新；
[0007] 在三维空间中将得到的多层次特征进行有效结合，其中，所述多层次的特征包括 点特征、线特征以及面特征；
[0008] 利用对偶四元数对多层次的特征进行统一描述。
[0009] 优选的，所述选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧 中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生 成和更新的步骤包括：
[0010] 采用FAST-10进行角点检测，并以角点为中心形成8X8的源模板；
[0011] 将提取的角点进行缩减，然后去除靠近地图中已有特征的角点；
[0012] 通过对极几何得到在所述目标帧的图像上的对极线，在所述对极线附近搜索角 点，将搜索到的多个角点与提取到的角点模板做距离测度计算对比，得到最小距离测度，其 中，若所述最小距离测度小于设定的阈值，则将所述最小距离测度作为匹配点；
[0013] 利用对极几何三角化计算所述匹配点的3D深度信息，并将所述匹配点融入已有 地图中。
[0014] 优选的，所述选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧 中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生 成和更新的步骤包括：
[0015] 利用Canny算子提取所述关键帧的图像边缘，根据图像边缘的梯度变化角度信息 进行融合生长，并去除短的边缘和弯曲的边缘，同时将剩下的边缘作为图像线元；
[0016] 将地图中所有特征投影到当前所述关键帧的图像上，并将靠近投影特征的线元去 除，以得到候选线元；
[0017] 获取所述候选线元的中心点在所述目标关键帧的图像上的对极线，以该对极线为 中心形成匹配搜索区域，并获取所述匹配搜索区域中的边缘点，去除远离对极线的点、去除 与源直线线极性不符的点、去除梯度变化方向与对极线垂直的点、去除短的边缘点以及弯 曲的边缘点，形成匹配候选线；
[0018] 根据匹配候选线三角化得到所述源直线所有可能的3D深度，并通过第三帧关键 帧验证，并将只有验证成功的3D线融入到已有地图中。
[0019] 优选的，所述选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧 中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生 成和更新的步骤包括：
[0020] 首先利用图形纹理，将纹理相同的地方分割成一块，并将太小的块去除，形成平面 的候选区域；
[0021] 判断3D的点特征、线特征是否在已有面特征上，若在面特征上，则实现平面的增 长，并完成平面初始点和基础向量的更新；
[0022] 若不在面特征上，则利用已经生成的3D线判断是否存在交线或者平行线，若存在 交线则直接生成新的平面，若存在平行线则判断这些平行线是否属于同一个候选区域，若 属于同一个候选区域则生成一个新的平面。
[0023] 优选的，所述利用对偶四元数对多层次的特征进行统一描述的步骤包括：
[0024] 利用对偶四元数对点特征进行描述；
[0025] 利用对偶四元数对线特征进行描述；
[0026] 利用对偶四元数对面特征进行描述。
[0027] 另一方面，本发明还提供一种无人机的三维环境建模系统，所述三维环境建模系 统包括：
[0028] 特征提取模块，用于获取关键帧图像上的点特征、线特征，并划分纹理区域；
[0029] 地图拓展模块，用于选取距离所述关键帧最近的一帧为目标关键帧，在所述目标 关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特 征的生成和更新；
[0030] 地图简化模块，用于在三维空间中将得到的多层次特征进行有效结合，其中，所述 多层次的特征包括点特征、线特征以及面特征；
[0031] 统一描述模块，用于利用对偶四元数对多层次的特征进行统一描述。
[0032] 优选的，所述地图拓展模块包括特征点拓展子模块，其中，所述特征点拓展子模块 包括：
[0033] 第一提取模块，用于采用FAST-10进行角点检测，并以角点为中心形成8X8的源 模板；
[0034] 第一去除模块，用于将提取的角点进行缩减，然后去除靠近地图中已有特征的角 占.
[0035] 第一匹配模块，用于通过对极几何得到在所述目标帧的图像上的对极线，在所述 对极线附近搜索角点，将搜索到的多个角点与提取到的角点模板做距离测度计算对比，得 到最小距离测度，其中，若所述最小距离测度小于设定的阈值，则将所述最小距离测度作为 匹配点；
[0036] 第一融入模块，用于利用对极几何三角化计算所述匹配点的3D深度信息，并将所 述匹配点融入已有地图中。
[0037] 优选的，所述地图拓展模块包括特征线拓展子模块，
[0038] 其中，所述特征线拓展子模块包括：
[0039] 第二提取模块，用于利用Canny算子提取所述关键帧的图像边缘，根据图像边缘 的梯度变化角度信息进行融合生长，并去除短的边缘和弯曲的边缘，同时将剩下的边缘作 为图像线元；
[0040] 第二去除模块，用于将地图中所有特征投影到当前所述关键帧的图像上，并将靠 近投影特征的线元去除，以得到候选线元；
[0041] 第二匹配模块，用于获取所述候选线元的中心点在所述目标关键帧的图像上的对 极线，以该对极线为中心形成匹配搜索区域，并获取所述匹配搜索区域中的边缘点，去除远 离对极线的点、去除与源直线线极性不符的点、去除梯度变化方向与对极线垂直的点、去除 短的边缘点以及弯曲的边缘点，形成匹配候选线；
[0042] 第二融入模块，用于根据匹配候选线三角化得到所述源直线所有可能的3D深度， 并通过第三帧关键帧验证，并将只有验证成功的3D线融入到已有地图中。
[0043]优选的，所述地图拓展模块包括特征面拓展子模块，
[0044]其中，所述特征面拓展子模块包括：
[0045]平面去除模块，用于首先利用图形纹理，将纹理相同的地方分割成一块，并将太小 的块去除，形成平面的候选区域；
[0046] 平面更新模块，用于判断3D的点特征、线特征是否在已有面特征上，若在面特征 上，则实现平面的增长，并完成平面初始点和基础向量的更新；
[0047] 平面生成模块，用于若不在面特征上，则利用已经生成的3D线判断是否存在交线 或者平行线，若存在交线则直接生产新的平面，若存在平行线则判断这些平行线是否属于 同一个候选区域，若属于同一个候选区域则生成一个新的平面。
[0048] 优选的，所述统一描述模块包括：
[0049]点特征描述子模块，用于利用对偶四元数对点特征进行描述；
[0050] 线特征描述子模块，用于利用对偶四元数对线特征进行描述；
[0051] 面特征描述子模块，用于利用对偶四元数对面特征进行描述。
[0052] 在本发明实施例中，本发明提供的技术方案能利用单镜头在无人机上进行实时的 三维环境建模，通过基于对偶四元数的多层次特征环境建模的方法，将多层次几何结构用 对偶四元数坐实现了统一表示方式和转换过程，从而能够为进一步的新的专用对偶四元数 解算硬件的研发提供基础研宄成果，而且，点、线、面多层次特征的有效结合，能够显著的减 少地图的存储空间和捆绑调整优化过程数据的处理量，提高系统的优化速度，另外，由于直 线特征能有效的提高匹配过程抗运动模糊的能力，减少错误匹配率，从而提高了地图的精 确性和鲁棒性。
【附图说明】
[0053] 图1 为本发明一实施方式中无人机的三维环境建模方法流程图；
[0054] 图2为本发明一实施方式中图1所示步骤S12的第一子步骤流程图；
[0055] 图3为本发明一实施方式中图1所示步骤S12的第二子步骤流程图；
[0056] 图4为本发明一实施方式中图1所示步骤S12的第三子步骤流程图；
[0057] 图5为本发明一实施方式中无人机的三维环境建模系统结构示意图；
[0058] 图6为本发明一实施方式中图5所示地图拓展模块12的内部结构示意图；
[0059] 图7为本发明一实施方式中图6所示特征点拓展子模块121的内部结构示意图；
[0060] 图8为本发明一实施方式中图6所示特征线拓展子模块122的内部结构示意图；
[0061] 图9为本发明一实施方式中图6所示特征面拓展子模块123的内部结构示意图；
[0062] 图10为本发明一实施方式中图5所不统一描述模块14的内部结构不意图。
【具体实施方式】
[0063] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。一种无人机的三维环境建模方法及系统
[0064] 本发明【具体实施方式】提供了一种无人机的三维环境建模方法，主要包括如下步 骤：
[0065] S11、获取关键帧图像上的点特征、线特征，并划分纹理区域；
[0066] S12、选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧中求匹配 点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更 新；
[0067] S13、在三维空间中将得到的多层次特征进行有效结合，其中，所述多层次的特征 包括点特征、线特征以及面特征；
[0068] S14、利用对偶四元数对多层次的特征进行统一描述。
[0069] 本发明所提供的一种无人机的三维环境建模方法，能利用单镜头在无人机上进行 实时的三维环境建模，通过基于对偶四元数的多层次特征环境建模的方法，将多层次几何 结构用对偶四元数坐实现了统一表示方式和转换过程，从而能够为进一步的新的专用对偶 四元数解算硬件的研发提供基础研宄成果，而且，点、线、面多层次特征的有效结合，能够显 著的减少地图的存储空间和捆绑调整优化过程数据的处理量，提高系统的优化速度，另外， 由于直线特征能有效的提高匹配过程抗运动模糊的能力，减少错误匹配率，从而提高了地 图的精确性和鲁棒性。
[0070] 以下将对本发明所提供的一种无人机的三维环境建模方法进行详细说明。
[0071] 请参阅图1，为本发明一实施方式中无人机的三维环境建模方法流程图。
[0072] 在步骤S11中，获取关键帧图像上的点特征、线特征，并划分纹理区域。
[0073] 在本实施方式中，划分区域的方法主要是通过提取关键帧图像上的点特征、线特 征，并根据该关键帧的纹理进行划分。
[0074] 在步骤S12中，选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键 帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的 生成和更新。
[0075] 在本实施方式中，所述多层次的特征包括点特征、线特征以及面特征。
[0076] 在本实施方式中，本发明区别现有技术最大的区别在于本发明结合了点、线、面多 层次的特征来实现地图的增长过程，而不在依赖于单一的某一个几何特征，且传统的高层 次特征的获取是在已经生成了地图的情况下进行拟合而成的，而不是将高层次特征作为一 种新的结构融入地图，如此，拟合得到的高层次结构无法和后续生成的地图相关联，且每次 当地图拓展之后都必须对其重新拟合以得到新的高层次结构，正是由于现有技术中存在的 这些缺点，本发明根据点、线、面这三个不同层次的几何特征，选取距离所述关键帧最近的 一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D的点 和线，并结合纹理区域完成面特征的生成和更新，即包括进行点特征的提取和匹配，并将匹 配结果融入已有地图；进行线特征的提取和匹配，并将匹配结果融入已有地图；将生成的 3D点、线结合纹理区域来实现地图面特征的拓展和更新这三个层次。
[0077] 其中，步骤S12分别包括：1)点特征的提取、匹配及融入过程；2)线特征的提取、 匹配及融入过程；3)纹理区域的划分、3D点线是否拓展已有平面、3D点线是否生成新的 平面这三个子步骤，其中，1)对应图2所示的步骤S1211-S1214,2)对应图3所示的步骤 S1221-S1224, 3)对应图 4 所示的步骤S1231-S1234。
[0078] 请参阅图2,为本发明一实施方式中图1所示步骤S12的第一子步骤流程图。
[0079] 在步骤S1211中，采用FAST-10进行角点检测，并以角点为中心形成8X8的源模 板。
[0080] 其中，步骤S1211主要是提取角点，需要说明的是，在本实施方式中，除了采用 FAST-10进行角点检测之外，还可以采用Harris角点，ShiTomasi角点，SURF角点，亚像素 角点，SIFT角点等一系列的角点特征检测和描述的方法。
[0081] 在步骤S1212中，将提取的角点进行缩减，然后去除靠近地图中已有特征的角点。 在本实施方式中，主要是利用Shi-Tomasi技术将提取的角点进行缩减。
[0082] 其中，步骤S1212主要是获取候选角点，将提取的角点通过Shi-Tomasi技术进行 缩减，通过将地图3D特征投影到图像平面，然后再去除靠近地图中已有特征的角点，具体 的投影过程如下：
[0086]piw为世界坐标系中点，（X。y。z。)1为当前关键帧坐标系中该点的位置，E"表示世 界坐标系到当肖U关键帧坐标系的坐标变换，（W?1)1表不当肖U关键帧图像坐标系上的位置， (l^V^T为主点坐标，（fufv)为焦距参数，W表示径向失真参数。
[0087] 在步骤S1213中，通过对极几何得到在所述目标帧的图像上的对极线，在所述对 极线附近搜索角点，将搜索到的多个角点与提取到的角点模板做距离测度计算对比，得到 最小距离测度，其中，若所述最小距离测度小于设定的阈值，则将所述最小距离测度作为匹 配点。
[0088] 在步骤S1214中，利用对极几何三角化计算所述匹配点的3D深度信息，并将所述 匹配点融入已有地图中。
[0089] 请参阅图3,为本发明一实施方式中图1所示步骤S12的第二子步骤流程图。在本 实施方式中，直线特征更新流程与现有技术相比，本发明最大的不同在于采用线元的融合 生长技术来完成线特征的提取。在本实施方式中，线元的获取采用的是线融合生长的方法， 除此之外还可以采用Hough变换获取直线，另外线生长的过程本发明采用的是循环的方法 来实现，除此之外还可以采用递归的方法来实现，在此就不--展开描述。
[0090] 在步骤S1221中，利用Canny算子提取所述关键帧的图像边缘，根据图像边缘的梯 度变化角度信息进行融合生长，并去除短的边缘和弯曲的边缘，同时将剩下的边缘作为图 像线元。具体的生长步骤如下（a)-(e)所示：
[0091] (a)、以边缘上一点作为原始中心点（origincenter)，计算其梯度的角度，构造图 像大小的哈希表，并将对应的该点置255,并将该点压入到栈中；
[0092] (b)、判断其上下左右，及两条对角线的八个周边领域点是否在为边缘点；
[0093] (c)、若为边缘点，则进一步判断其与中心点的梯度变化角度是否满足一定的阈 值；
[0094] (d)、若满足该阈值，将哈希表中对应该点置255,并将其压入栈中，进而判断该 线元是否沿竖直方向增长，若是则将y值比origincenter小的的作为线元起点，y值较 origincenter大的做为终点，否则将x较origincenter小的作为起点，x值较origin center大的作为终点，并以该点为新的中心点，重复（b)过程；
[0095] (e)、直至栈的大小不在变化，即线元的生长结束，则返回该线元的长度，把长度小 于设定阈值的线元去除。
[0096] 在步骤S1222中，将地图中所有特征投影到当前所述关键帧的图像上，并将靠近 投影特征的线元去除，以得到候选线元；在本实施方式中，步骤S1222是参照点的候选特征 的提取过程。
[0097] 在步骤S1223中，获取所述候选线元的中心点在所述目标关键帧的图像上的对极 线，以该对极线为中心形成匹配搜索区域，并获取所述匹配搜索区域中的边缘点，去除远离 对极线的点、去除与源直线线极性不符的点、去除梯度变化方向与对极线垂直的点、去除短 的边缘点以及弯曲的边缘点，形成匹配候选线。在本实施方式中，步骤S1223是参照点的对 极 几何过程。
[0098] 在步骤S1224中，根据匹配候选线三角化得到所述源直线所有可能的3D深度，并 通过第三帧关键帧验证，并将只有验证成功的3D线融入到已有地图中。在本实施方式中， 关键帧中检测到的直线与关键帧相机位置构成一平面，同理，源关键帧中也能够构成一平 面，这两个平面的交线即为该直线对应的3D线，通过该直线的端点确定其空间具体位置， 并将得到的3D线在另外的第三帧关键帧中进行检验，只把检验成功的3D线融入到已有地 图中。
[0099] 请参阅图4,为本发明一实施方式中图1所示步骤S12的第三子步骤流程图。
[0100] 在步骤S1231中，首先利用图形纹理，将纹理相同的地方分割成一块，并将太小的 块去除，形成平面的候选区域。
[0101] 在本实施方式中，采用两个方向向量和一个位置向量表示平面，用两个方向向量 和一个位置向量共9个参数来表示，其表达式为：
[0102] m=[p0c:c2]t(4)
[0103] P(!表示平面的初始点，cpc2表示平面上的两个正交向量称为基础向量，故平面的 法线n=ClXc2，因此，对于地图中的检测位于该平面上的3D特征点，可以简化表示为：
[0105] 其中，?表示点积，Pi表示该3D特征点在世界坐标系中的位置。
[0106] 在步骤S1232中，判断3D的点特征、线特征是否在已有面特征上，若在面特征上， 则实现平面的增长，并完成平面初始点和基础向量的更新。
[0107] 在步骤S1233中，若不在面特征上，则利用已经生成的3D线判断是否存在交线或 者平行线，若存在交线则直接生产新的平面，若存在平行线则判断这些平行线是否属于同 一个候选区域，若属于同一个候选区域则生成一个新的平面。
[0108] 在本实施方式中，利用两根线上的不同的三个点生成初始的平面参数：
[0109] p0=p: 〇!=p2~p1c2=p3-p! (6)
[0110] 其中，Pl，P2，P3两根线上的3个不同点。在得到平面参数后，通过测量其他特征到 平面的垂直距离是否满足阈值要求来进行平面方程的更新。对于任意以特征点IV其到平 面的垂直距离为d= (A-A,)_/7。另外，还要求平面上所包含的点数1 >1T(1T为设定的平面 上最少点数）时，才认为此次估计的平面符合要求。
[0111] 在本实施方式中，平面特征点的增长通过判断将新加入的特征点是否满足设定的 阈值要求，来决定是否融入到平面上。设定的阈值有：点到平面的最大距离dT，点到平面初 始点的最大距离d_(此阈值的设定是为了增大所构建平面与实际局部物理平面结构相匹 配的概率），法向量方向的最大偏差入 T。
[0112] 假设，一空间平面包含1个特征点，存储在一个1X3的矩阵M中，与MTM最小特征 值对应的特征向量代表了平面的法向方向，而最小特征值Amin表示内点在法向方向的方 差，另外的两个特征向量则为平面的基础向量(^，(3 2。故平面上新增的点必须同时满足一下 条件：
[0114] 在本实施方式中，平面特征线的增长，则通过直线方向与平面法线的夹角，若直线 在平面上则该直线到平面的距离为零，与平面的法线垂直，否则，该直线必定不在平面上。
[0115] 在本实施方式中，为了有效的减少地图的存储空间，和捆绑调整法数据的处理量， 应当将多层次的特征有效的结合起来，这里主要分为在二维图像上实现候选特征的滤除和 三维空间中点、线、面的合并，其中，二维图像上实现候选特征的滤除包括候选点的滤除、候 选线的滤除、候选面的滤除，三维空间中点、线、面的合并包括点线的合并、点面的合并、线 面的合并。
[0116] 在本实施方式中，在二维图像上候选特征的滤除方面，提取出当前关键帧中可观 测到的地图特征，并将地图中所有特征投影到当前关键帧的图像平面，在选取新特征的候 选特征集时，将这些靠近已有投影特征的候选特征进行删除，剩余的特征作为最终的候选 特征集，如此高层次的特征周围便不再存在低层次的特征，减少了低层次特征的数量和匹 配搜索量。
[0117] 在本实施方式中，在三维空间上多层次特征的合并方面，在三维空间中，若前面的 观察中某一结构未能检测到高层次的特征，而在生成了大量的低层次特征，而后续的观察 中此结构中高层次特征被发现，则需要在3D空间中将该处的低层次特征删除，从而能够有 效的减少地图的存储空间和提高系统的处理速度。
[0118] 请继续参阅图1，在步骤S13中，在三维空间中将得到的多层次特征进行有效结 合，其中，所述多层次的特征包括点特征、线特征以及面特征。
[0119] 在步骤S14中，利用对偶四元数对多层次的特征进行统一描述。在本实施方式中， 较之四元数只能表示3D旋转，对偶数只能表示平移，对偶四元数的优越性体现在它继承了 二者的共同特性，从而能统一的表示旋转与平移。绕单位向量表示的轴？旋转0角，平移f 位移的过程可以表示为：
[0121] 其中
分别为用对偶 四元数表示的纯平移，和纯旋转，而
分表为用四元数表示的旋 转和平移。利用共轭操作特性可得到其共轭为：
[0122] 在本实施方式中，所述利用对偶四元数对多层次的特征进行统一描述的步骤包 括：利用对偶四元数对点特征进行描述；利用对偶四元数对线特征进行描述；利用对偶四 元数对面特征进行描述。下面将分别进行描述：
[0123]1)、对偶四元数对点的描述
[0124] 在三维空间中对点和向量的表示是非常容易混肴的，因为对任意一点p和向量交 都是用三维坐标（x，y，z)来进行表示。而在对偶四元数中，可以很容易的区分出点和向量， 它们的表不形式分别为：
[0127] 设P=l+ #表示对偶四元数表示的任意一点，对P的旋转操作可改变其向量P的 方向使得
，而对P的平移将会把P"移动到新的位置
。因此，对点P的 旋转和平移整体过程可表示为：
[0129] 同理，对于一个向量F= 0 +孕旋转将会改变其方向性，而平移将不会对其造成影 响，结果可得到：
[0131]2)、对偶四元数对线的描述
[0132] 直线在普吕克坐标系中的表示为
，其中f和分别表示直 线的方向向量和直线上一点的位置向量，6 =/〇></.表示直线相对于坐标原点的矩。用对偶 四元数来表示该直线可写为：
[0134] 对L的任意变换过程，可分别从旋转和平移两个方面分别进行讨论，对L旋转 过程可造成其方向性/和对坐标原点矩兩的改变，而对直线的平移过程将不会对/有 影响，故对直线的方向向量/的整体变换过程为：f= 但是成会收到平移的影响，
，其中q，t分别为纯四元数表示的旋转和平移。故在对偶四元数空间 中对直线L的变换可表示为：
[0136]3)、对偶四元数对面的描述
[0137] 一个平面可以由他的单位法向量5和距原点的垂直距离d确定，通常平面的向量 方程是/7F=d，F是平面上的任意一点。在对偶四元数代数中，平面的表示方式为：
[0139] 将平面n做刚体变换，旋转可以使得法向量5的方向发生改变，平移可改变平面 到原点的距离d，而新增的距离即为平移向量在法向量5上的投影。故得到新的法向量 为：g'=如g%到原点的距离为：=d+ 。其中t，q是纯四元数用于表示平移和旋 转。故，对偶四元数空间对平面n的变换可表示为：
[0141] 综上所述，对偶四元数对几何元素的整体变换可表示为：
[0143] 本发明所提供的一种无人机三维环境建模方法，能利用单镜头在无人机上进行实 时的三维环境建模，通过基于对偶四元数的多层次特征环境建模的方法，将多层次几何结 构用对偶四元数坐实现了统一表示方式和转换过程，从而能够为进一步的新的专用对偶四 元数解算硬件的研发提供基础研宄成果，而且，点、线、面多层次特征的有效结合，能够显著 的减少地图的存储空间和捆绑调整优化过程数据的处理量，提高系统的优化速度，另外，由 于直线特征能有效的提高匹配过程抗运动模糊的能力，减少错误匹配率，从而提高了地图 的精确性和鲁棒性。
[0144] 本发明【具体实施方式】还提供一种无人机三维环境建模系统10,主要包括：
[0145] 特征提取模块11，用于获取关键帧图像上的点特征、线特征，并划分纹理区域；
[0146] 地图拓展模块12,用于选取距离所述关键帧最近的一帧为目标关键帧，在所述目 标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面 特征的生成和更新；
[0147] 地图简化模块13,用于在三维空间中将得到的多层次特征进行有效结合，其中，所 述多层次的特征包括点特征、线特征以及面特征；
[0148] 统一描述模块14,用于利用对偶四元数对多层次的特征进行统一描述。
[0149] 本发明所提供的一种无人机三维环境建模系统10,能利 用单镜头在无人机上进行 实时的三维环境建模，通过基于对偶四元数的多层次特征环境建模的方法，将多层次几何 结构用对偶四元数坐实现了统一表示方式和转换过程，从而能够为进一步的新的专用对偶 四元数解算硬件的研发提供基础研宄成果，而且，点、线、面多层次特征的有效结合，能够显 著的减少地图的存储空间和捆绑调整优化过程数据的处理量，提高系统的优化速度，另外， 由于直线特征能有效的提高匹配过程抗运动模糊的能力，减少错误匹配率，从而提高了地 图的精确性和鲁棒性。
[0150] 请参阅图5,所示为本发明一实施方式中无人机的三维环境建模系统10的结构示 意图。在本实施方式中，无人机的三维环境建模系统10包括特征提取模块11、地图拓展模 块12、地图简化模块13以及统一描述模块14。
[0151] 特征提取模块11，用于获取关键帧图像上的点特征、线特征，并划分纹理区域。在 本实施方式中，划分区域的方法主要是通过提取关键帧的角点和线并根据该关键帧的纹理 进行区域划分。
[0152] 地图拓展模块12,用于选取距离所述关键帧最近的一帧为目标关键帧，在所述目 标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面 特征的生成和更新。
[0153] 在本实施方式中，所述多层次的特征包括点特征、线特征以及面特征。
[0154] 在本实施方式中，地图拓展模块12具体包括特征点拓展子模块121、特征线拓展 子模块122、特征面拓展子模块123,如图6所不。
[0155] 请参阅图6,所示为本发明一实施方式中图5所示地图拓展模块12的内部结构示 意图。
[0156] 在本实施方式中，特征点拓展子模块121，用于进行点特征的提取和匹配，并将匹 配结果融入已有地图。
[0157] 在本实施方式中，特征线拓展子模块122,用于进行线特征的提取和匹配，并将匹 配结果融入已有地图。
[0158] 在本实施方式中，特征面拓展子模块123,用于将生成的3D点、线结合纹理区域来 实现地图面特征的拓展和更新。
[0159] 其中，图7-图9分别为特征点拓展子模块121、特征线拓展子模块122、特征面拓 展子模块123的内部结构示意图，下面将分别进行详细描述。
[0160] 请参阅图7,所示为本发明一实施方式中图6所示特征点拓展子模块121的内部结 构示意图。
[0161] 第一提取模块1211，用于采用FAST-10进行角点检测，并以角点为中心形成8X8 的源模板。
[0162] 在本实施方式中，除了采用FAST-10进行角点检测之外，还可以采用Harris角点， ShiTomasi角点，SURF角点，亚像素角点，SIFT角点等一系列的角点特征检测和描述的方 法。
[0163] 第一去除模块1212,用于将提取的角点进行缩减，然后去除靠近地图中已有特征 的角点。其中具体的过程请参照前面对应步骤S1212的有关描述，在此不做重复描述。
[0164] 第一匹配模块1213,用于通过对极几何得到在所述目标帧的图像上的对极线，在 所述对极线附近搜索角点，将搜索到的多个角点与提取到的角点模板做距离测度计算对 比，得到最小距离测度，其中，若所述最小距离测度小于设定的阈值，则将所述最小距离测 度作为匹配点。
[0165] 第一融入模块1214,用于利用对极几何三角化计算所述匹配点的3D深度信息，并 将所述匹配点融入已有地图中。
[0166] 请参阅图8,所示为本发明一实施方式中图6所示特征线拓展子模块122的内部结 构示意图。
[0167] 第二提取模块1221，用于利用Canny算子提取所述关键帧的图像边缘，根据图像 边缘的梯度变化角度信息进行融合生长，并去除短的边缘和弯曲的边缘，同时将剩下的边 缘作为图像线元。其中，具体的成长步骤请参阅前面步骤S1221的有关描述，在此不做重复 描述。
[0168] 第二去除模块1222,用于将地图中所有特征投影到当前所述关键帧的图像上，并 将靠近投影特征的线元去除，以得到候选线元。
[0169] 第二匹配模块1223,用于获取所述候选线元的中心点在所述目标关键帧的图像 上的对极线，形成匹配搜索区域，并获取所述匹配搜索区域中的边缘点，去除远离对极线的 点、去除与源直线线极性不符的点、去除梯度变化方向与对极线垂直的点、去除短的边缘点 以及弯曲的边缘点，形成匹配候选线。
[0170] 第二融入模块1224,用于根据匹配候选线三角化得到所述源直线所有可能的3D 深度，并通过第三帧关键帧验证，并将只有验证成功的3D线融入到已有地图中。在本实施 方式中，关键帧中检测到的直线与关键帧相机位置构成一平面，同理，源关键帧中也能够构 成一平面，这两个平面的交线即为该直线对应的3D线，通过该直线的端点确定其空间具体 位置，并将得到的3D线在另外的第三帧关键帧中进行检测，根据三焦点张量之间的约束关 系只把检测成功的3D线融入到已有地图中。
[0171] 请参阅图9,所示为本发明一实施方式中图6所示特征面拓展子模块123的内部结 构示意图。
[0172] 平面去除模块1231，用于采用两个方向向量和一个位置向量表示平面。在本实施 方式中，具体的表示方法请参阅前面步骤S1231的有关描述，在此不做重复描述。
[0173] 平面更新模块1232,用于利用图形纹理将纹理相同的地方分割成一块以形成平 面的候选区域，并利用已经生成的3D线判断是否存在交线或者平行线，若存在交线则直 接生产新的平面，若存在平行线则判断这些平行线是否属于同一个候选区域，若属于同 一个候选区域则生成一个新的平面。在本实施方式中，具体的发现方法请参阅前面步骤 S1232-S1233的有关描述，在此不做重复描述。
[0174] 平面生成模块1233,用于利用平面特征点的增长和平面特征线的增长来形成平面 的增长。在本实施方式中，具体的增长方法请参阅前面步骤S1234的有关描述，在此不做重 复描述。
[0175] 在本实施方式中，为了有效的减少地图的存储空间，和捆绑调整法数据的处理量， 应当将多层次的特征有效的结合起来，这里主要分为在二维图像上实现候选特征的滤除和 三维空间中点、线、面的合并，其中，二维图像上实现候选特征的滤除包括候选点的滤除、候 选线的滤除、候选面的滤除，三维空间中点、线、面的合并包括点线的合并、点面的合并、线 面的合并。
[0176] 在本实施方式中，在二维图像上候选特征的滤除方面，提取出当前关键帧中可观 测到的地图特征，将地图中所有特征投影到当前关键帧平面，在选取新特征的候选特征集 时，将这些靠近投影特征的候选特征进行删除，剩余的特征作为最终的候选特征集，如此高 层次的特征周围便不再存在低层次的特征，减少了低层次特征的数量和匹配搜索量。
[0177] 在本实施方式中，在三维空间上多层次特征的合并方面，在三维空间中，若前面的 观察中某一结构未能检测到高层次的特征，而在生成了大量的低层次特征，而后续的观察 中此结构中高层次特征被发现，则需要在3D空间中将该处的低层次特征删除，从而能够有 效的减少地图的存储空间和提高系统的处理速度。
[0178] 请继续参阅图5,地图简化模块13,用于在三维空间中将得到的多层次特征进行 有效结合，其中，所述多层次的特征包括点特征、线特征以及面特征。
[0179] 统一描述模块14,用于利用对偶四元数对多层次的特征进行统一描述。
[0180] 在本实施方式中，统一描述模块14具体包括点特征描述子模块141、线特征描述 子模块142以及面特征描述子模块143,如图10所示。
[0181] 请参阅图10,所示为本发明一实施方式中图5所示统一描述模块14的内部结构示 意图。
[0182] 点特征描述子模141块，用于利用对偶四元数对点特征进行描述，其中，具体的描 述请参阅前面方法部分的相关描述，在此不做重复描述。
[0183] 线特征描述子模块142,用于利用对偶四元数对线特征进行描述，其中，具体的描 述请参阅前面方法部分的相关描述，在此不做重复描述。
[0184] 面特征描述子模块143,用于利用对偶四元数对面特征进行描述，其中，具体的描 述请参阅前面方法部分的相关描述，在此不做重复描述。
[0185] 本发明所提供的一种无人机的三维环境建模系统10,能利用单镜头在无人机上进 行实时的三维环境建模，通过基于对偶四元数的多层次特征环境建模的方法，将多层次几 何结构用对偶四元数坐实现了统一表示方式和转换过程，从而能够为进一步的新的专用对 偶四元数解算硬件的研发提供基础研宄成果，而且，点、线、面多层次特征的有效结合，能够 显著的减少地图的存储空间和捆绑调整优化过程数据的处理量，提高系统的优化速度，另 外，由于直线特征能有效的提高匹配过程抗运动模糊的能力，减少错误匹配率，从而提高了 地图的精确性和鲁棒性。
[0186] 在本发明实施例中，本发明提供的技术方案，能利用单镜头在无人机上进行实时 的三维环境建模，通过基于对偶四元数的多层次特征环境建模的方法，将多层次几何结构 用对偶四元数坐实现了统一表示方式和转换过程，从而能够为进一步的新的专用对偶四元 数解算硬件的研发提供基础研宄成果，而且，点、线、面多层次特征的有效结合，能够显著的 减少地图的存储空间和捆绑调整优化过程数据的处理量，提高系统的优化速度，另外，由于 直线特征能有效的提高匹配过程抗运动模糊的能力，减少错误匹配率，从而提高了地图的 精确性和鲁棒性。
[0187] 值得注意的是，上述实施例中，所包括的各个单元只是按照功能逻辑进行划分的， 但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也 只是为了便于相互区分，并不用于限制本发明的保护范围。
[0188] 另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤 是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介 质中，所述的存储介质，如R0M/RAM、磁盘或光盘等。
[0189] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种无人机的三维环境建模方法，其特征在于，所述三维环境建模方法包括： 获取关键帧图像上的点特征、线特征，并划分纹理区域； 选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线， 利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新； 在三维空间中将得到的多层次特征进行有效结合，其中，所述多层次的特征包括点特 征、线特征以及面特征； 利用对偶四元数对多层次的特征进行统一描述。2. 如权利要求1所述的三维环境建模方法，其特征在于，所述选取距离所述关键帧最 近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D 的点和线，并结合纹理区域完成面特征的生成和更新的步骤包括： 采用FAST-IO进行角点检测，并以角点为中心形成8X8的源模板； 将提取的角点进行缩减，然后去除靠近地图中已有特征的角点； 通过对极几何得到在所述目标帧的图像上的对极线，在所述对极线附近搜索角点，将 搜索到的多个角点与提取到的角点模板做距离测度计算，得到最小距离测度，其中，若所述 最小距离测度小于设定的阈值，则将所述最小距离测度作为匹配点； 利用对极几何三角化计算所述匹配点的3D深度信息，并将所述匹配点融入已有地图 中。3. 如权利要求1所述的三维环境建模方法，其特征在于，所述选取距离所述关键帧最 近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D 的点和线，并结合纹理区域完成面特征的生成和更新的步骤包括： 利用Canny算子提取所述关键帧的图像边缘，根据图像边缘的梯度变化角度信息进行 融合生长，并去除短的边缘和弯曲的边缘，同时将剩下的边缘作为图像线元； 将地图中所有特征投影到当前所述关键帧的图像上，并将靠近投影特征的线元去除， 以得到候选线元； 获取所述候选线元的中心点在所述目标关键帧的图像上的对极线，以该对极线为中心 形成匹配搜索区域，并获取所述匹配搜索区域中的边缘点，去除远离对极线的点、去除与源 直线线极性不符的点、去除梯度变化方向与对极线垂直的点、去除短的边缘点以及弯曲的 边缘点，形成匹配候选线； 根据匹配候选线三角化得到所述源直线所有可能的3D深度，并通过第三帧关键帧验 证，并将只有验证成功的3D线融入到已有地图中。4. 如权利要求1所述的三维环境建模方法，其特征在于，所述选取距离所述关键帧最 近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D 的点和线，并结合纹理区域完成面特征的生成和更新的步骤包括： 首先利用图形纹理，将纹理相同的地方分割成一块，并将太小的块去除，形成平面的候 选区域； 判断3D的点特征、线特征是否在已有面特征上，若在面特征上，则实现平面的增长，并 完成平面初始点和基础向量的更新； 若不在面特征上，则利用已经生成的3D线判断是否存在交线或者平行线，若存在交线 则直接生产新的平面，若存在平行线则判断这些平行线是否属于同一个候选区域，若属于 同一个候选区域则生成一个新的平面。5. 如权利要求1所述的三维环境建模方法，其特征在于，所述利用对偶四元数对多层 次的特征进行统一描述的步骤包括： 利用对偶四元数对点特征进行描述； 利用对偶四元数对线特征进行描述； 利用对偶四元数对面特征进行描述。6. -种无人机的三维环境建模系统，其特征在于，所述三维环境建模系统包括： 特征提取模块，用于获取关键帧图像上的点特征、线特征，并划分纹理区域； 地图拓展模块，用于选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键 帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的 生成和更新； 地图简化模块，用于在三维空间中将得到的多层次特征进行有效结合，其中，所述多层 次的特征包括点特征、线特征以及面特征； 统一描述模块，用于利用对偶四元数对多层次的特征进行统一描述。7. 如权利要求6所述的三维环境建模系统，其特征在于，所述地图拓展模块包括特征 点拓展子模块，其中，所述特征点拓展子模块包括： 第一提取模块，用于采用FAST-IO进行角点检测，并以角点为中心形成8X8的源模 板； 第一去除模块，用于将提取的角点进行缩减，然后去除靠近地图中已有特征的角点； 第一匹配模块，用于通过对极几何得到在所述目标帧的图像上的对极线，在所述对极 线附近搜索角点，将搜索到的多个角点与提取到的角点模板做距离测度对比，得到最小距 离测度，其中，若所述最小距离测度小于设定的阈值，则将所述最小距离测度作为匹配点； 第一融入模块，用于利用对极几何三角化计算所述匹配点的3D深度信息，并将所述匹 配点融入已有地图中。8. 如权利要求6所述的三维环境建模系统，其特征在于，所述地图拓展模块包括特征 线拓展子模块， 其中，所述特征线拓展子模块包括： 第二提取模块，用于利用Canny算子提取所述关键帧的图像边缘，根据图像边缘的梯 度变化角度信息进行融合生长，并去除短的边缘和弯曲的边缘，同时将剩下的边缘作为图 像线元； 第二去除模块，用于将地图中所有特征投影到当前所述关键帧的图像上，并将靠近投 影特征的线元去除，以得到候选线元； 第二匹配模块，用于获取所述候选线元的中心点在所述目标关键帧的图像上的对极 线，以该对极线为中心形成匹配搜索区域，并获取所述匹配搜索区域中的边缘点，去除远离 对极线的点、去除与源直线线极性不符的点、去除梯度变化方向与对极线垂直的点、去除短 的边缘点以及弯曲的边缘点，形成匹配候选线； 第二融入模块，用于根据匹配候选线三角化得到所述源直线所有可能的3D深度，并通 过第三帧关键帧验证，并将只有验证成功的3D线融入到已有地图中。9. 如权利要求6所述的三维环境建模系统，其特征在于，所述地图拓展模块包括特征 面拓展子模块， 其中，所述特征面拓展子模块包括： 平面去除模块，用于首先利用图形纹理，将纹理相同的地方分割成一块，并将太小的块 去除，形成平面的候选区域； 平面更新模块，用于判断3D的点特征、线特征是否在已有面特征上，若在面特征上，则 实现平面的增长，并完成平面初始点和基础向量的更新； 平面生成模块，用于若不在面特征上，则利用已经生成的3D线判断是否存在交线或者 平行线，若存在交线则直接生产新的平面，若存在平行线则判断这些平行线是否属于同一 个候选区域，若属于同一个候选区域则生成一个新的平面。10.如权利要求6所述的三维环境建模系统，其特征在于，所述统一描述模块包括： 点特征描述子模块，用于利用对偶四元数对点特征进行描述； 线特征描述子模块，用于利用对偶四元数对线特征进行描述； 面特征描述子模块，用于利用对偶四元数对面特征进行描述。
【专利摘要】本发明适用于无人机领域，提供了一种无人机的三维环境建模方法，包括：获取关键帧图像上的点特征、线特征，并划分纹理区域；选取距离所述关键帧最近的一帧为目标关键帧，在目标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新；在三维空间中将得到的多层次特征进行有效结合，其中，多层次的特征包括点特征、线特征以及面特征；利用对偶四元数对多层次的特征进行统一描述。本发明还提供了一种无人机的三维环境建模系统。本发明能为进一步的新的专用对偶四元数解算硬件的研发提供基础研究成果，能提高系统的优化速度，还能减少错误匹配率，从而提高了地图的精确性和鲁棒性。
【IPC分类】G06T17/05, G06T17/00
【公开号】CN104899918
【申请号】CN201510245485
【发明人】蒙山, 陈桂芳
【申请人】深圳大学
【公开日】2015年9月9日
【申请日】2015年5月14日
最新回复(0)