一种无人机视觉目标跟随方法及系统的制作方法
一种无人机视觉目标跟随方法及系统的制作方法
【技术领域】
[0001] 本发明属于无人机技术领域，尤其涉及一种无人机视觉目标跟随方法及系统，可 适用于空战中跟随锁定敌方目标、城市反恐时跟随恐怖车辆、海上搜救时及时发现并锁定 落难人员、高空作业、矿井探测等。
【背景技术】
[0002] 随着科技的不断进步，无人机逐渐被应用于很多方面。无人机的很多任务中都包 含无人机跟随目标的子任务。无人机视觉目标跟随主要依靠图像特征信息的分析提供可靠 的目标信息。近几十年来，无人机视觉目标跟随取得了一系列的进展，如：卡耐基梅隆大学 机器人研宄所的O.Amidi等人提出的一种基于视觉里程计来实时估计无人机运动状态的 方法，其核心是利用安装在无人机底部的摄像机对地面静止目标进行跟随；南加州大学机 器人研宄所以BergenIndustrialTwin直升机为载体，设计并实现了一种基于视觉的无人 机特征跟随控制方法；Saripalli等人设计了一种基于哈密顿方程的轨迹规划方法，可以 实现对移动的地面平台跟随飞行等。但是，上述的研宄中被跟随的目标一般是静止或者缓 慢运动的目标。
[0003] 目标跟随主要有模型跟随和无模型跟随两大类。有模型和无模型跟随算法主要代 表分别有下述的扩展卡尔曼滤波（EKF)算法和粒子滤波（PF)算法：
[0004] 有模型滤波跟随方法，适用于线性系统或者近似线性系统中，忽略了系统状态及 噪声的随机分布特征，仅在当前状态、估计值点上作线性变换。这些对于转换后变量均值、 协方差估计引入了较大误差，甚至导致该系统发散。
[0005] 无模型滤波跟随方法，其是一种基于蒙特卡洛的贝叶斯估计方法。它不受线性化 误差和高斯噪声的限制，弥补了有模型滤波跟随方法的不足。但是，常见问题是退化现象， 即经过几次迭代之后，除了其中一个粒子外其它粒子的权重小到可以忽略。
[0006] 这两种目标跟随模型是基于图像特征匹配实现目标的检测和跟随。其主要利用的 图像特征有：1)图像的颜色特征。颜色特征描述的是图像的全局特征，由于其对图像区域 的方向、大小等的变化不敏感，因此不能很好地得到目标的局部特征。2)角点特征。角点 特征速度快，但受到光照、图像噪声等的影响，它的健壮性并不好。3)尺度不变特征（sift) 和加速鲁棒特征（surf)。其具有极好的目标描述能力，但是特征计算过程复杂、特征描述维 数较高、特征匹配计算复杂，难以直接应用于无人机实时跟随场景中。
【发明内容】
[0007] 本发明所要解决的技术问题在于提供一种无人机视觉目标跟随方法及系统，旨在 无人机能够稳定地跟随动态目标，实现良好的跟随效果。
[0008] 本发明是这样实现的，一种无人机视觉目标跟随方法，所述方法包括下述步骤：
[0009] 步骤A，对选定跟随的第一目标区域进行FAST角点提取，生成所述第一目标区域 的带权值的FAST角点直方图，并根据生成的FAST角点直方图计算第一目标区域与选定跟 随的各候选目标区域之间的FAST角点特征相似度；所述第一目标区域为在无人机拍摄的 视频流或序列图像的第一帧图像中，选定跟踪的目标区域；所述各候选目标区域为在无人 机拍摄的视频流或序列图像的后续帧图像中预测的目标区域；
[0010] 步骤B，针对选定跟随的各候选目标区域，计算其与第一目标区域之间的颜色特征 相似度，然后融合其与第一目标区域的FAST角点特征相似度和颜色特征相似度，并将融合 结果中与第一目标区域相似度最高的候选目标区域作为当前目标区域的跟随结果。
[0011] 本发明还提供了一种无人机视觉目标跟随系统，包括：
[0012] 相似度计算模块，用于对选定跟随的第一目标区域进行FAST角点提取，生成所述 第一目标区域的带权值的FAST角点直方图，并根据生成的FAST角点直方图计算第一目标 区域与选定跟随的各候选目标区域之间的FAST角点特征相似度；所述第一目标区域为在 无人机拍摄的视频流或序列图像的第一帧图像中，选定跟踪的目标区域；所述各候选目标 区域为在无人机拍摄的视频流或序列图像的后续帧图像中预测的目标区域；
[0013] 跟随目标确定模块，用于针对选定跟随的各候选目标区域，计算其与第一目标区 域之间的颜色特征相似度，然后融合其与第一目标区域的FAST角点特征相似度和颜色特 征相似度，并将融合结果中与第一目标区域相似度最高的候选目标区域作为当前目标区域 的跟随结果。
[0014] 本发明与现有技术相比，具有如下有益效果：
[0015] 首先，本发明融合了快速角点特征和颜色特征，有效利用了图像的局部信息和全 局信息，从而降低了机载传感器对目标状态估计的影响。
[0016] 其次，3D点云特征能快速粗略确定候选目标区域的位姿。2D图像多特征（角点和 颜色特征）更好地对候选目标区域进行描述，从而精确候选目标区域的位姿。融合2D图像 和3D点云特征，能够快速稳定地确定无人机跟随的目标。
[0017] 最后，长时间无人机跟随目标的过程中，其跟随目标的效果会有所下降。采用SURF 特征实现无人机跟随目标的验证，改善了长时间无人机对动态目标跟踪的效果。
【附图说明】
[0018] 图1是本发明提供的无人机视觉目标跟随方法的实现流程图；
[0019] 图2是图1中步骤A的一种具体实现流程图；
[0020] 图3是本发明第一实施例提供的步骤B的具体实现流程图；
[0021] 图4是本发明第二实施例提供的步骤B的具体实现流程图；
[0022] 图5是本发明提供的在目标跟随过程中的跟随效果验证的实现流程图；
[0023] 图6是本发明提供的无人机视觉目标跟随系统的结构原理图；
[0024] 图7是图6中相似度计算模块的结构原理图；
[0025] 图8是本发明第一实施例提供的图6中跟随目标确定模块的结构原理图；
[0026] 图9是本发明第二实施例提供的图6中跟随目标确定模块的结构原理图；
[0027] 图10是本发明提供的跟随效果验证模块的结构原理图。
【具体实施方式】
[0028] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。
[0029] 针对如何控制无人机飞行状态使其可以较好地跟踪动态目标，我们提出了一种基 于无模型跟踪系统分级融合图像多特征的无人机视觉跟随方法。获取目标的多种特征，利 用特征分级对目标进行检测，根据提出的多特征分级融合方法对目标进行匹配和跟踪。本 发明主要是融合2D图像的FAST角点特征、颜色特征、surf特征、3D点云边缘特征，对无人 机目标跟踪效果进行改善。
[0030] 图1示出了本发明提供的无人机视觉目标跟随方法的实现流程，详述如下：
[0031] 在步骤A中，对选定跟随的第一目标区域进行FAST角点提取，生成所述第一目标 区域的带权值的FAST角点直方图，并根据生成的FAST角点直方图计算第一目标区域与选 定跟随的各候选目标区域之间的FAST角点特征相似度；所述第一目标区域为在无人机拍 摄的视频流或序列图像的第一帧图像中，选定跟踪的目标区域；所述各候选目标区域为在 无人机拍摄的视频流或序列图像的后续帧图像中，预测的目标区域。
[0032] 在步骤B中，针对选定跟随的各候选目标区域，融合其对应的FAST角点特征相似 度和颜色特征相似度，并将融合结果中与第一目标区域相似度最高的候选目标区域作为当 前目标区域的跟随结果。
[0033] 图2示出了上述步骤A的一种具体实现流程，具体包括下述步骤：
[0034] 步骤A1，对第一目标区域进行多尺度的FAST角点提取，得到第一目标区域的多个 角点集
，其中，s表示图像尺度，N表示角点的数量，n表示自然数，Cn表示 第n个角点，（xn，yn)为第n个角点在所述第一帧图像中的像素位置。
[0035] 步骤A2,利用采集到的第一目标区域的3D点云深度信息，估计出各候选目标区域 的图像的尺度s，估计出各候选目标区域的图像的尺度_。
[0036] 步骤A3,将第一目标区域划分成N=NxXNy个区域，每个区域宽度和高度的步长 分别为：xstep/s、ystep/s。
[0037] 步骤A4，统计所述角点集在划分的各个区域中的角点数
生成N个区间的角点直方图，然后通过对多帧图像的角点直方图进行训练，生 成直方图各区间的权重{w':匕 〇
[0038] 步骤A5,根据3D点云深度信息确定的尺度信息s，选择该尺度下目标区域的FAST 角点直方图，作为对比的目标区域直方图& =反 〇
[0039] 步骤A6,采用欧氏距离，根据公式
计算第一目标区域与各候选 目标区域之间角点特征的相似度，其中，K为候选目标区域第n个区间的角点书，冗表示的 是尺度s下第一目标区域的直方图第n个区间中的角点数。
[0040] 在步骤A中，除了可以用角点直方图匹配还可以采用块匹配的方法进行匹配。角 点的直方图除了二维区域的直方图，也可以采用一维区域的直方图。角点直方图和颜色直 方图也可采用非线性的融合方法，计算粒子的相似度。
[0041] 本发明中，颜色特征描述的是图像的全局信息，FAST角点特征描述的是图像的局 部信息。在粒子滤波跟踪的框架下，融合第一目标区域的图像的全局信息和局部信息构建 粒 子观测似然函数来估计所跟踪目标的状态，能够稳定跟踪目标实现无人机机器人的引 导。具体又可通过两种实施例实现上述步骤B。其中实施例一颜色特征和FAST角点特征的 融合，而实施例二则是在颜色特征和FAST角点特征的基础上，再融合3D点云特征重心。
[0042] 实施例一请参照图3,步骤B包括下述步骤：
[0043] 步骤B11，采用巴氏距离或对数线性函数计算第一目标区域颜色特征与候选目标 区域的颜色特征相似度。其中，颜色特征可从图像的RGB信息获得，候选目标区域FAST角 点特征的得到过程与第一目标区域FAST角点特征的得到一样。
[0044] 此时，第一目标区域FAST角点直方图和候选目标区域角点直方图的相似度重定 义为：
[0046]其中，〇 _"为预设的FAST角点特征标准差。
[0047] 第一目标区域的图像颜色特征与候选目标区域的图像颜色特征相似性的定义 为：
[0049] 其中，〇 为预设的颜色特征标准差，D为颜色直方图的巴氏距离。
[0050] 通过式（1)，计算第一目标区域角点直方图和各个候选目标区域角点直方图的相 似度，得到角点的相似度并对其进行归一化
（其中，M为候选目标区域的数 量）；通过式（2)，计算第一目标区域的图像区域颜色直方图和候选图像区域的颜色直方图 相似度，得到颜色的相似度并对其进行归一化
（其中，M为候选目标区域的 数量）。
[0051] 步骤B12,采用线性比例，把每个候选目标区域所对应的FAST角点特征相似度和 颜色特征相似度融合起来，计算出第一目标区域与所有候选目标区域的相似度函数 Wi并对 其进行归一化
[0052] 对于每个候选目标区域，其相似度为：
，ke[0，1]，
计算出所有2D图像目标区域与候选目标区域的相似度并对其进行归一化 利用 5 FAST角点特征，得到候选目标区域的局部信息。利用颜色特征，得到了候选目标区域的全局 信息。融合图像区域的局部信息和全局信息，从较好的确定相似度最好的候选目标区域，从 而降低机载传感器对目标状态估计的影响。
[0053] 步骤B13,将候选目标区域的相似度函数^作为构建目标的观测似然函数
并由所述观测似然函数确定与第一目标区域相似度最高的候选目标区域，以 作为当前目标区域的跟随结果。
[0054] 与实施例不同的是，实施例二则是针对选定跟随的各候选目标区域，融合其对应 的FAST角点特征相似度、颜色特征相似度和3D点云特征相似度，并将融合结果中与第一目 标区域相似度最高的候选目标区域作为当前目标区域的跟随结果。
[0055] 3D点云边缘特征能快速粗略确定候选目标区域的位姿。颜色、FAST角点等2D图 像特征更好地对候选目标区域进行描述，从而精确候选目标区域的位姿。在粒子滤波跟踪 的框架下，进一步融合2D图像特征和3D点云特征构建粒子观测似然函数估计目标的状态。 从而，实现稳定的无人机跟随目标。
[0056] 在实现2D图像特征与3D点云特征融合的过程中，获取3D点云特征重心是其首要 任务。其3D点云特征重心的获取过程如下：
[0057] 首先，对彩色图像数据和深度图像数据进行校准，本发明的2D图像即为彩色图 像。
[0058] 其次，提取被跟随物体的边缘点。对三维点云数据进行边缘特征提取，并采用直通 滤波器滤除背景边缘信息，获取物体的边缘点。
[0059] 再次，进行聚类。滤除背景边缘信息后，场景中一般只剩下一个物体或者两个 物体的边缘信息。把滤波后点云数据的数量Np()ints与预设的阈值TP()ints做比较。若Np()ints <Tp()ints，则不需要进行聚类计算，直接把所有的点云数据作为一个聚类，且令k= &。若 Np〇ints彡Tp()ints，则采用k-means聚类算法对物体边缘点进行聚类，且取k=N2，得到了k个 聚类? 〇?
[0060] 最后，计算重心投影位置。计算各个聚类的3D重心位置，并将其投影到2D图像中， 得到聚类重心在2D图像中的位置
[0061] 本文中采用对数线性函数来衡量目标区域与基于2D图像多特征确定的候选目标 区域的相似性，同时，也采用对数线性函数来衡量2D图像候选目标区域中心位置与3D点云 特征重心位置的相似度，其定义为：
[0063] 其中，0"为3D点云特征重心与2D图像候选目标区域中心的欧式距离，〇 w为标准 差。
[0064] 由于目标区域与基于2D图像多特征确定的候选目标区域的相似度和2D图像候选 目标区域中心与3D点云特征相似度是采用不同的距离来衡量，融合2D图像特征与3D点云 特征构建图像观测似然函数时，须将得到的相似度分别进行归一化处理。
[0065] 具体请参照图4,第二实施例中，步骤B包括下述步骤：
[0066] 步骤B21，按照如下方式确定3D点云特征重心位置：若聚类的重心只有一个，则该 聚类重心直接作为3D点云特征确定的3D点云特征重心，否则，预测前一帧图像中相似度最 高的3D点云特征重心位置，找出离该位置最近的聚类重心w(x'，y'）作为3D点云特征确定 的3D点云特征重心；其中，候选目标为第一目标区域中产生运动的目标。
[0067] 步骤B22,分别计算第一目标区域与候选目标区域的颜色特征相似度、FAST角点 特征相似度、3D点云特征相似度，并对其进行归一化得到对应的三组相似度：
[0068]
其中M为候选目标区域的 个数。
[0069] 步骤B23,采用线性比例，把步骤B22中得到的各组相似程度融合起来，得到图像 的相似度为
，其中，1^+1^2+1^3= 1 且k^k2,k3G[0，1]。 计算出所有候选目标区域与第一目标区域的相似度并对其进行归一化，得到图像的相似度
[0070] 步骤B24,将候选目标区域的相似度函数^作为构建目标的观测似然函数
;并由所述观测似然函数确定与第一目标区域相似度最高的候选目标区域，以 作为当前目标区域的跟随结果。
[0071] 本发明进一步考虑到长时间无人机跟随目标的过程中，其跟随目标的效果会有所 下降。为了保证无人机稳定的跟随目标，需要定期对跟随目标的结果进行验证。根据验证的 结果，若跟随目标失败，则重新选取无人机的跟随目标，开始新的跟随目标过程。采用SURF 特征实现无人机跟随目标的验证。无人机跟随程中，每间隔P帧图像，对跟随目标的效果进 行一次验证。并根据验证的结果，做出相应的操作。
[0072] 具体参照图5,跟随效果验证过程包括下述步骤：
[0073] 步骤C1，生成第一目标区域的SURF特征集。
[0074] 提取第一目标区域的SURF特征，得到SURF特征点集
（M为2D图像目标 区域特征点的数量），并且生成SURF特征点集
的描述符集
作为验证的 依据。
[0075] 步骤C2,建立候选图像的SURF图像金字塔。对融合FAST角点特征和颜色特征得 到跟踪引导的候选图像进行SURF图像金字塔的建立。
[0076] 步骤C3,根据第一目标区域SURF特征点集中提取的位姿以及候选目标区域的位 姿，确定第一目标区域SURF特征点集在候选图像金字塔上对应的位姿，得到的关键点集。
[0077] 此步骤基于SURF特征提取的逆过程，根据目标区域SURF特征点集的位姿，预测候 选图像金字塔上可能存在SURF特征点（即关键点）的位姿。
[0078] 步骤C4,计算所述关键点集中的候选图像中的第i个关键点4(ie[1，M])的 SURF特征描述符和该点在候选图像金字塔上所有相邻像素点的描述符集
[0079] 步骤C5,计算第一目标区域的第i个特征点< 的描述符与候选图像目标区域 关键点心^的描述符v^/(jG[1，N3+1])的欧氏距离若存在小于预设的阈值dst，则 该候选图像目标区域关键点sL,为SURF特征点，并定义为SURF特征匹配点对，否则，候选图 像关键点*4/不是SURF特征点。
[0080] 步骤C6,根据步骤C5得到的所有特征点与关键点的欧式距离，动态调整效果比较 阈值Tsurf。
[0081] 步骤C7,在候选图像中，若SURF特征匹配点对的数量与2D图像目标区域SURF特 征点的数量的比值超过Tsurf，则判定为无人机跟随目标的效果较好，继续跟随目标；否则， 判定为无人机跟随目标失败，无人机悬停，开始搜索跟随的目标。
[0082] 本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可 以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质 中，所述的存储介质，如R0M/RAM、磁盘或光盘等。
[0083] 图6示出了本发明提供的无人机视觉目标跟随系统的结构原理图，为了便于描 述，仅示出了与本发明相关的部分。
[0084] 参照图6,本发明提供的无人机视觉目标跟随系统包括相似度计算模块61和跟随 目标确定模块62,其中，相似度计算模块61用于对选定跟随的第一目标区域进行FAST角点 提取，生成所述第一目标区域的带权值的FAST角点直方图，并根据生成的FAST角点直方图 计算第一目标区域与选定跟随的各候选目标区域之间的FAST角点特征相似度；所述第一 目标区域为在无人机拍摄的视频流或序列图像的第一帧图像中，选定跟踪的目标区域；所 述各候选目标区域为在无人机拍摄的视频流或序列图像的后续帧图像中预测的目标区域 。 跟随目标确定模块62用于针对选定跟随的各候选目标区域，计算其与第一目标区域之间 的颜色特征相似度，然后融合其与第一目标区域的FAST角点特征相似度和颜色特征相似 度，并将融合结果中与第一目标区域相似度最高的候选目标区域作为当前目标区域的跟随 结果。
[0085] 图7示出了图6中相似度计算模块61的结构原理，包括FAST角点提取子模块611、 图像尺度估计子模块612、目标区域划分子模块613、权重生成自子模块614、对比目标区域 直方图确定子模块615、相似度计算子模块616。其中各模块的功能如下：
[0086] FAST角点提取子模块616用于对第一目标区域进行多尺度的FAST角点提取，得到 第一目标区域的多个角点集
，其中，N表示角点的数量，n表示自然数，Cn 表示第n个角点，（xn，yn)为第n个角点在所述第一帧图像中的像素位置。
[0087] 图像尺度估计子模块612用于利用采集到的第一目标区域的3D点云深度信息，估 计出各候选目标区域的图像的尺度s。
[0088] 目标区域划分子模块613用于将第一目标区域划分成N=NxXNy个区域，每个区 域宽度和高度的步长分别为：xstep/s、ystep/s。
[0089] 权重生成自子模块614用于统计所述角点_
在划分的各个区域 中的角点数
生成N个区间的角点直方图，然后通过对多帧图像的角点直方图进 行训练，生成直方图各区间的权重
[0090] 对比目标区域直方图确定子模块615用于根据3D点云深度信息确定的尺度信息 S，选择该尺度下目标区域的FAST角点直方图，作为对比的目标区域直方图$ =气 〇
[0091] 相似度计算子模块616用于采用欧氏距离，根据公式
计算第 一目标区域与各候选目标区域之间角点特征的相似度，其中，C为候选目标区域第n个区 间的角点书，<表示的是尺度s下第一目标区域的直方图第n个区间中的角点数。
[0092] 图8示出了本发明第一实施例提供的中跟随目标确定模块62的结构原理，具体 包括第一相似度计算子模块6211、第一融合子模块6212、第一跟随目标确定子模块6213。 其中，第一相似度计算子模块6211用于采用巴氏距离或对数线性函数计算第一目标区域 颜色特征与候选目标区域的颜色特征相似度；第一融合子模块6212用于采用线性比例，把 每个候选目标区域所对应的FAST角点特征相似度和颜色特征相似度融合起来，计算出第 一目标区域与所有候选目标区域的相似度函数Wi并对其进行归一化
；第一跟随 目标确定子模块6213用于将候选目标区域的相似度函数^作为构建目标的观测似然函数
并由所述观测似然函数确定与第一目标区域相似度最高的候选目标区域，以 作为当前目标区域的跟随结果。
[0093] 图9示出了本发明第二实施例提供的跟随目标确定模块62的结构原理，包 括3D点云特征重心位置确定子模块6221、第二相似度计算子模块6222、第二融合子模 块6223、第二跟随目标确定子模块6224。其中，3D点云特征重心位置确定子模块6221 用于按照如下方式确定候选目标聚类重心位置：若聚类的重心只有一个，则该聚类重 心直接作为3D点云特征确定的3D点云特征重心，否则，预测前一帧图像中相似度最高 的3D点云特征重心位置，找出离该位置最近的聚类重心w(x'，y'）作为3D点云特征确 定的3D点云特征重心；其中，候选目标为第一目标区域中产生运动的目标。第二相似 度计算子模块6222用于分别计算第一目标区域与候选目标区域的颜色特征相似度、 FAST角点特征相似度、3D点云特征相似度，并对其进行归一化得到对应的三组相似度：
其中M为候选目标区域的个数。第二 融合子模块6223用于采用线性比例，把第二相似度计算子模块得到的各组相似程度融合 起来，计算出所有候选目标区域与第一目标区域的相似度并对其进行归一化，得到图像的
相似度 第二跟随目标确定子模块6224用于将候选目标区域的相似度函数^作 〇 为构建目标的观测似然函数= 并由所述观测似然函数确定与第一目标区域相 似度最高的候选目标区域，以作为当前目标区域的跟随结果。
[0094] 图10示出了本发明提供的跟随效果验证模块的结构原理，此模块用于在跟随过 程中定期进行跟随效果验证，具体包括SURF特征集生成子模块631、SURF图像金字塔建立 子模块632、关键点集确定子模块633、描述符计算子模块634、SURF特征匹配点对确定子模 块635、阈值调整子模块636、判断子模块637。其中，SURF特征集生成子模块631用于生成 第一目标区域的SURF特征集；SURF图像金字塔建立子模块632用于建立候选图像的SURF 图像金字塔；关键点集确定子模块633用于根据第一目标区域SURF特征点集中提取的位姿 以及候选目标区域的位姿，确定第一目标区域SURF特征点集在候选图像金字塔上对应的 位姿，得到的关键点集；描述符计算子模块634用于计算所述关键点集中的候选图像中的 第i个关键点(ie[1，M])的SURF特征描述符和该点在候选图像金字塔上所有相邻像 素点的描述符集
.SURF特征匹配点对确定子模块635用于计算第一目标区域的 第i个特征点4的描述符<与候选图像目标区域关键点心的描述符4/(je[l，N3+l]) 的欧氏距离，若存在 小于预设的阈值dst，则该候选图像目标区域关键点^^为SURF 特征点，并定义为SURF特征匹配点对，否则，候选图像关键点不是SURF特征点；阈值调 整子模块636用于根据所述SURF特征匹配点对确定子模块得到的所有特征点与关键点的 欧式距离，动态调整效果比较阈值Tsurf;判断子模块637用于在候选图像中，若SURF特征匹 配点对的数量与2D图像目标区域SURF特征点的数量的比值超过Tsurf，则判定为无人机跟 随目标的效果较好，继续跟随目标；否则，判定为无人机跟随目标失败，无人机悬停，开始搜 索跟随的目标。
[0095] 上述颜色特征、角点特征、3D点云深度数据均由无人机上的机载传感器从被跟随 物上采集。值得注意的是，上述实施例所包括的各个模块、子模块只是按照功能逻辑进行划 分，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名 称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述各模块、子模块均可采 用软件、硬件、或软硬件结合的方式实现。
[0096] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种无人机视觉目标跟随方法，其特征在于，所述方法包括下述步骤： 步骤A，对选定跟随的第一目标区域进行FAST角点提取，生成所述第一目标区域的带 权值的FAST角点直方图，并根据生成的FAST角点直方图计算第一目标区域与选定跟随的 各候选目标区域之间的FAST角点特征相似度；所述第一目标区域为在无人机拍摄的视频 流或序列图像的第一帧图像中，选定跟踪的目标区域；所述各候选目标区域为在无人机拍 摄的视频流或序列图像的后续帧图像中预测的目标区域； 步骤B，针对选定跟随的各候选目标区域，计算其与第一目标区域之间的颜色特征相似 度，然后融合其与第一目标区域的FAST角点特征相似度和颜色特征相似度，并将融合结果 中与第一目标区域相似度最高的候选目标区域作为当前目标区域的跟随结果。2. 如权利要求1所述的无人机视觉目标跟随方法，其特征在于，步骤A包括下述步骤： 步骤A1，对第一目标区域进行多尺度的FAST角点提取，得到第一目标区域的多个角点 集4，其中，s表示图像尺度，N表示角点的数量，n表示自然数，Cn表示第n 个角点，（xn，yn)为第η个角点在所述第一帧图像中的像素位置； 步骤Α2,利用采集到的第一目标区域的3D点云深度信息，估计出各候选目标区域的图 像的尺度s ; 步骤A3,将第一目标区域划分成N = NxXNy个区域，每个区域宽度和高度的步长分别 为：Xstep,S、ystep,S ; 步骤A4，统计所述角点集A = C" (x", Λ ^;在划分的各个区域中的角点数 生成N个区间的角点直方图，然后通过对多帧图像的角点直方图进行训练，生 成直方图各区间的权重奋=. 步骤A5,根据3D点云深度信息确定的尺度信息s，选择该尺度下目标区域的FAST角点 直方图，作为对比的目标区域直方图& =反· 步骤A6,采用欧氏距离，根据公式计算第一目标区域与各候选目 标区域之间角点特征的相似度，其中，以为候选目标区域第η个区间的角点书，乂表示的是 尺度s下第一目标区域的直方图第η个区间中的角点数。3. 如权利要求1所述的无人机视觉目标跟随方法，其特征在于，步骤B包括下述步骤： 步骤BI 1，采用巴氏距离或对数线性函数计算第一目标区域颜色特征与候选目标区域 的颜色特征相似度； 步骤Β12,采用线性比例，把每个候选目标区域所对应的FAST角点特征相似度和颜色 特征相似度融合起来，计算出第一目标区域与所有候选目标区域的相似度函数^并对其进 行归一化译= {%}二； 步骤B13,将候选目标区域的相似度函数^作为构建目标的观测似然函数 = 并由所述观测似然函数确定与第一目标区域相似度最高的候选目标区域，以 作为当前目标区域的跟随结果。4. 如权利要求1所述的无人机视觉目标跟随方法，其特征在于，所述步骤B具体为：针 对选定跟随的各候选目标区域，计算其与第一目标区域之间的颜色特征相似度和3D点云 特征相似度，然后融合其与第一目标区域的FAST角点特征相似度、颜色 特征相似度和3D点 云特征相似度，并将融合结果中与第一目标区域相似度最高的候选目标区域作为当前目标 区域的跟随结果。5. 如权利要求4所述的无人机视觉目标跟随方法，其特征在于，所述步骤B包括下述步 骤： 步骤B21，按照如下方式确定3D点云特征重心位置：若聚类的重心只有一个，则该聚类 重心直接作为3D点云特征确定的3D点云特征重心，否则，预测前一帧图像中相似度最高的 3D点云特征重心位置，找出离该位置最近的聚类重心w (X'，y'）作为3D点云特征确定的3D 点云特征重心；其中，候选目标为第一目标区域中产生运动的目标； 步骤B22,分别计算第一目标区域与候选目标区域的颜色特征相似度、FAST角点特征 相似度、3D点云特征相似度，并对其进行归一化得到对应的三组相似度：,其中M为候选目标区域的个数； 步骤B23,采用线性比例，把步骤B22中得到的各组相似程度融合起来，计算出所有候 选目标区域与第一目标区域的相似度并对其进行归一化，得到图像的相似度^ ， 步骤B24,将候选目标区域的相似度函数^作为构建目标的观测似然函数 = 并由所述观测似然函数确定与第一目标区域相似度最高的候选目标区域，以 作为当前目标区域的跟随结果。6. 如权利要求1至5中任一项所述的无人机视觉目标跟随方法，其特征在于，在跟随过 程中，所述方法还包括定期执行的跟随效果验证过程，所述跟随效果验证过程包括下述步 骤： 步骤Cl，生成第一目标区域的SURF特征集； 步骤C2,建立候选图像的SURF图像金字塔； 步骤C3,根据第一目标区域SURF特征点集中提取的位姿以及候选目标区域的位姿，确 定第一目标区域SURF特征点集在候选图像金字塔上对应的位姿，得到的关键点集； 步骤C4,计算所述关键点集中的候选图像中的第i个关键点4 ( /_ e [1，丨的SURF特征描述符和该点在候选图像金字塔上所有相邻像素点的描述符集％ =卜V亡厂. 步骤C5,计算第一目标区域的第i个特征点的描述符?与候选图像目标区域关键 点心的描述符</ (加[1，#3+1] }的欧氏距离 <'若存在 <小于预设的阈值dst，则该 候选图像目标区域关键点为SURF特征点，并定义为SURF特征匹配点对，否则，候选图像 关键点不是SURF特征点； 步骤C6,根据步骤C5得到的所有特征点与关键点的欧式距离，动态调整效果比较阈值 T · 步骤C7,在候选图像中，若SURF特征匹配点对的数量与2D图像目标区域SURF特征点 的数量的比值超过Tsurf，则判定为无人机跟随目标的效果较好，继续跟随目标；否则，判定 为无人机跟随目标失败，无人机悬停，开始搜索跟随的目标。7. -种无人机视觉目标跟随系统，其特征在于，包括： 相似度计算模块，用于对选定跟随的第一目标区域进行FAST角点提取，生成所述第一 目标区域的带权值的FAST角点直方图，并根据生成的FAST角点直方图计算第一目标区域 与选定跟随的各候选目标区域之间的FAST角点特征相似度；所述第一目标区域为在无人 机拍摄的视频流或序列图像的第一帧图像中，选定跟踪的目标区域；所述各候选目标区域 为在无人机拍摄的视频流或序列图像的后续帧图像中预测的目标区域； 跟随目标确定模块，用于针对选定跟随的各候选目标区域，计算其与第一目标区域之 间的颜色特征相似度，然后融合其与第一目标区域的FAST角点特征相似度和颜色特征相 似度，并将融合结果中与第一目标区域相似度最高的候选目标区域作为当前目标区域的跟 随结果。8. 如权利要求7所述的无人机视觉目标跟随系统，其特征在于，所述相似度计算模块 包括FAST角点提取子模块、图像尺度估计子模块、目标区域划分子模块、权重生成自子模 块、对比目标区域直方图确定子模块、相似度计算子模块； 其中，所述FAST角点提取子模块用于对第一目标区域进行多尺度的FAST角点提取，得 到第一目标区域的多个角点集i ，其中，S表示图像尺度，N表示角点的数 量，η表示自然数，Cn表示第η个角点，（xn，yn)为第η个角点在所述第一帧图像中的像素 位置； 所述图像尺度估计子模块用于利用采集到的第一目标区域的3D点云深度信息，估计 出各候选目标区域的图像的尺度s ; 所述目标区域划分子模块用于将第一目标区域划分成N = NxXNy个区域，每个区域宽 度和高度的步长分别为：xstep/s、ystep/s ; 所述权重生成自子模块用于统计所述角点集6 在划分的各个区域中的 角点数反生成N个区间的角点直方图，然后通过对多帧图像的角点直方图进行训 练，生成直方图各区间的权重#?Η'Χ=1. 所述对比目标区域直方图确定子模块用于根据3D点云深度信息确定的尺度信息s，选 择该尺度下目标区域的FAST角点直方图，作为对比的目标区域直方图& =反： 所述相似度计算子模块用于采用欧氏距离，根据公式计算第一目 标区域与各候选目标区域之间角点特征的相似度，其中，<为候选目标区域第η个区间的 角点书，&表示的是尺度s下第一目标区域的直方图第η个区间中的角点数。9. 如权利要求7所述的无人机视觉目标跟随系统，其特征在于，所述跟随目标确定模 块包括第一相似度计算子模块、第一融合子模块、第一跟随目标确定子模块，或者包括候选 3D点云特征重心位置确定子模块、第二相似度计算子模块、第二融合子模块、第二跟随目标 确定子模块； 所述第一相似度计算子模块用于采用巴氏距离或对数线性函数计算第一目标区域颜 色特征与候选目标区域的颜色特征相似度； 所述第一融合子模块用于采用线性比例，把每个候选目标区域所对应的FAST角点特 征相似度和颜色特征相似度融合起来，计算出第一目标区域与所有候选目标区域的相似度 函数Wi并对其进行归一化* = ； 所述第一跟随目标确定子模块用于将候选目标区域的相似度函数^作为构建目标的 观测似然函数= 并由所述观测似然函数确定与第一目标区域相似度最高的候 选目标区域，以作为当前目标区域的跟随结果。 所述3D点云特征重心位置确定子模块用于按照如下方式确定3D点云特征重心位置： 若聚类的重心只有一个，则该聚类重心直接作为3D点云特征确定的3D点云特征重心，否 贝1J，预测前一帧图像中相似度最高的3D点云特征重心位置，找出离该位置最近的聚类重心 w(x'，y'）作为3D点云特征确定的3D点云特征重心；其中，候选目标为第一目标区域中产 生运动的目标； 所述第二相似度计算子模块用于分别计算第一目标区域与候选目标区域的颜色特征 相似度、FAST角点特征相似度、3D点云特征相似度，并对其进行归一化得到对应的三组相 似度：其中M为候选目标区域的个 数； 所述第二融合子模块用于采用线性比例，把步骤B22中得到的各组相似程度融合起 来，计算出所有候选目标区域与第一目标区域的相似度并对其进行归一化，得到图像的相 似度# = 丨. 所述第二跟随目标确定子模块用于将候选目标区域的相似度函数^作为构建目标的 观测似然函数= 并由所述观测似然函数确定与第一目标区域相似度最高的候 选目标区域，以作为当前目标区域的跟随结果。10.如权利要求7至9中任一项所述的无人机视觉目标跟随系统，其特征在于，还包括 一跟随效果验证模块，用于在跟随过程中定期进行跟随效果验证；所述跟随效果验证模块 包括： SURF特征集生成子模块，用于生成第一目标区域的SURF特征集； SURF图像金字塔建立子模块，用于建立候选图像的SURF图像金字塔； 关键点集确定子模块，用于根据第一目标区域SURF特征点集中提取的位姿以及候选 目标区域的位姿，确定第一目标区域SURF特征点集在候选图像金字塔上对应的位姿，得到 的关键点集； 描述符计算子模块，用于计算所述关键点集中的候选图像中的第i个关键点 Λ'二，（彡的SURF特征描述符和该点在候选图像金字塔上所有相邻像素点的描述 符集1?ν?Γ. SURF特征匹配点对确定子模块，用于计算第一目标区域的第i个特征点的描述符 与候选图像目标区域关键点描述符vL/ ( )的欧氏距离若存在 小于预设的阈值dst，则该候选图像目标区域关键点为SURF特征点，并定义为SURF 特征匹配点对，否则，候选图像关键点4,,不是SURF特征点； 阈值调整子模块，用于根据所述SURF特征匹配点对确定子模块得到的所有特征点与 关键点的欧式距离，动态调整效果比较阈值Tsurf; 判断子模块，用于在候选图像中，若SURF特征匹配点对的数量与2D图像目标区域SURF 特征点的数量的比值超过Tsurt，则判定为无人机跟随目标的效果较好，继续跟随目标；否 贝IJ，判定为无人机跟随目标失败，无人机悬停，开始搜索跟随的目标。
【专利摘要】本发明适用于无人机技术领域，提供了一种无人机视觉目标跟随方法，包括下述步骤：步骤A，对选定跟随的第一目标区域进行FAST角点提取，生成所述第一目标区域的带权值的FAST角点直方图，并根据生成的FAST角点直方图计算第一目标区域与选定跟随的各候选目标区域之间的FAST角点特征相似度；步骤B，针对选定跟随的各候选目标区域，计算其与第一目标区域之间的颜色特征相似度，然后融合其与第一目标区域的FAST角点特征相似度和颜色特征相似度，并将融合结果中与第一目标区域相似度最高的候选目标区域作为当前目标区域的跟随结果。本发明融合了快速角点特征和颜色特征，有效利用了图像的局部信息和全局信息，从而降低了机载传感器对目标状态估计的影响。
【IPC分类】G06K9/62, G06K9/46
【公开号】CN104899590
【申请号】CN201510263209
【发明人】蒙山, 黄容
【申请人】深圳大学
【公开日】2015年9月9日
【申请日】2015年5月21日
【技术领域】
[0001] 本发明属于无人机技术领域，尤其涉及一种无人机视觉目标跟随方法及系统，可 适用于空战中跟随锁定敌方目标、城市反恐时跟随恐怖车辆、海上搜救时及时发现并锁定 落难人员、高空作业、矿井探测等。
【背景技术】
[0002] 随着科技的不断进步，无人机逐渐被应用于很多方面。无人机的很多任务中都包 含无人机跟随目标的子任务。无人机视觉目标跟随主要依靠图像特征信息的分析提供可靠 的目标信息。近几十年来，无人机视觉目标跟随取得了一系列的进展，如：卡耐基梅隆大学 机器人研宄所的O.Amidi等人提出的一种基于视觉里程计来实时估计无人机运动状态的 方法，其核心是利用安装在无人机底部的摄像机对地面静止目标进行跟随；南加州大学机 器人研宄所以BergenIndustrialTwin直升机为载体，设计并实现了一种基于视觉的无人 机特征跟随控制方法；Saripalli等人设计了一种基于哈密顿方程的轨迹规划方法，可以 实现对移动的地面平台跟随飞行等。但是，上述的研宄中被跟随的目标一般是静止或者缓 慢运动的目标。
[0003] 目标跟随主要有模型跟随和无模型跟随两大类。有模型和无模型跟随算法主要代 表分别有下述的扩展卡尔曼滤波（EKF)算法和粒子滤波（PF)算法：
[0004] 有模型滤波跟随方法，适用于线性系统或者近似线性系统中，忽略了系统状态及 噪声的随机分布特征，仅在当前状态、估计值点上作线性变换。这些对于转换后变量均值、 协方差估计引入了较大误差，甚至导致该系统发散。
[0005] 无模型滤波跟随方法，其是一种基于蒙特卡洛的贝叶斯估计方法。它不受线性化 误差和高斯噪声的限制，弥补了有模型滤波跟随方法的不足。但是，常见问题是退化现象， 即经过几次迭代之后，除了其中一个粒子外其它粒子的权重小到可以忽略。
[0006] 这两种目标跟随模型是基于图像特征匹配实现目标的检测和跟随。其主要利用的 图像特征有：1)图像的颜色特征。颜色特征描述的是图像的全局特征，由于其对图像区域 的方向、大小等的变化不敏感，因此不能很好地得到目标的局部特征。2)角点特征。角点 特征速度快，但受到光照、图像噪声等的影响，它的健壮性并不好。3)尺度不变特征（sift) 和加速鲁棒特征（surf)。其具有极好的目标描述能力，但是特征计算过程复杂、特征描述维 数较高、特征匹配计算复杂，难以直接应用于无人机实时跟随场景中。
【发明内容】
[0007] 本发明所要解决的技术问题在于提供一种无人机视觉目标跟随方法及系统，旨在 无人机能够稳定地跟随动态目标，实现良好的跟随效果。
[0008] 本发明是这样实现的，一种无人机视觉目标跟随方法，所述方法包括下述步骤：
[0009] 步骤A，对选定跟随的第一目标区域进行FAST角点提取，生成所述第一目标区域 的带权值的FAST角点直方图，并根据生成的FAST角点直方图计算第一目标区域与选定跟 随的各候选目标区域之间的FAST角点特征相似度；所述第一目标区域为在无人机拍摄的 视频流或序列图像的第一帧图像中，选定跟踪的目标区域；所述各候选目标区域为在无人 机拍摄的视频流或序列图像的后续帧图像中预测的目标区域；
[0010] 步骤B，针对选定跟随的各候选目标区域，计算其与第一目标区域之间的颜色特征 相似度，然后融合其与第一目标区域的FAST角点特征相似度和颜色特征相似度，并将融合 结果中与第一目标区域相似度最高的候选目标区域作为当前目标区域的跟随结果。
[0011] 本发明还提供了一种无人机视觉目标跟随系统，包括：
[0012] 相似度计算模块，用于对选定跟随的第一目标区域进行FAST角点提取，生成所述 第一目标区域的带权值的FAST角点直方图，并根据生成的FAST角点直方图计算第一目标 区域与选定跟随的各候选目标区域之间的FAST角点特征相似度；所述第一目标区域为在 无人机拍摄的视频流或序列图像的第一帧图像中，选定跟踪的目标区域；所述各候选目标 区域为在无人机拍摄的视频流或序列图像的后续帧图像中预测的目标区域；
[0013] 跟随目标确定模块，用于针对选定跟随的各候选目标区域，计算其与第一目标区 域之间的颜色特征相似度，然后融合其与第一目标区域的FAST角点特征相似度和颜色特 征相似度，并将融合结果中与第一目标区域相似度最高的候选目标区域作为当前目标区域 的跟随结果。
[0014] 本发明与现有技术相比，具有如下有益效果：
[0015] 首先，本发明融合了快速角点特征和颜色特征，有效利用了图像的局部信息和全 局信息，从而降低了机载传感器对目标状态估计的影响。
[0016] 其次，3D点云特征能快速粗略确定候选目标区域的位姿。2D图像多特征（角点和 颜色特征）更好地对候选目标区域进行描述，从而精确候选目标区域的位姿。融合2D图像 和3D点云特征，能够快速稳定地确定无人机跟随的目标。
[0017] 最后，长时间无人机跟随目标的过程中，其跟随目标的效果会有所下降。采用SURF 特征实现无人机跟随目标的验证，改善了长时间无人机对动态目标跟踪的效果。
【附图说明】
[0018] 图1是本发明提供的无人机视觉目标跟随方法的实现流程图；
[0019] 图2是图1中步骤A的一种具体实现流程图；
[0020] 图3是本发明第一实施例提供的步骤B的具体实现流程图；
[0021] 图4是本发明第二实施例提供的步骤B的具体实现流程图；
[0022] 图5是本发明提供的在目标跟随过程中的跟随效果验证的实现流程图；
[0023] 图6是本发明提供的无人机视觉目标跟随系统的结构原理图；
[0024] 图7是图6中相似度计算模块的结构原理图；
[0025] 图8是本发明第一实施例提供的图6中跟随目标确定模块的结构原理图；
[0026] 图9是本发明第二实施例提供的图6中跟随目标确定模块的结构原理图；
[0027] 图10是本发明提供的跟随效果验证模块的结构原理图。
【具体实施方式】
[0028] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。
[0029] 针对如何控制无人机飞行状态使其可以较好地跟踪动态目标，我们提出了一种基 于无模型跟踪系统分级融合图像多特征的无人机视觉跟随方法。获取目标的多种特征，利 用特征分级对目标进行检测，根据提出的多特征分级融合方法对目标进行匹配和跟踪。本 发明主要是融合2D图像的FAST角点特征、颜色特征、surf特征、3D点云边缘特征，对无人 机目标跟踪效果进行改善。
[0030] 图1示出了本发明提供的无人机视觉目标跟随方法的实现流程，详述如下：
[0031] 在步骤A中，对选定跟随的第一目标区域进行FAST角点提取，生成所述第一目标 区域的带权值的FAST角点直方图，并根据生成的FAST角点直方图计算第一目标区域与选 定跟随的各候选目标区域之间的FAST角点特征相似度；所述第一目标区域为在无人机拍 摄的视频流或序列图像的第一帧图像中，选定跟踪的目标区域；所述各候选目标区域为在 无人机拍摄的视频流或序列图像的后续帧图像中，预测的目标区域。
[0032] 在步骤B中，针对选定跟随的各候选目标区域，融合其对应的FAST角点特征相似 度和颜色特征相似度，并将融合结果中与第一目标区域相似度最高的候选目标区域作为当 前目标区域的跟随结果。
[0033] 图2示出了上述步骤A的一种具体实现流程，具体包括下述步骤：
[0034] 步骤A1，对第一目标区域进行多尺度的FAST角点提取，得到第一目标区域的多个 角点集
，其中，s表示图像尺度，N表示角点的数量，n表示自然数，Cn表示 第n个角点，（xn，yn)为第n个角点在所述第一帧图像中的像素位置。
[0035] 步骤A2,利用采集到的第一目标区域的3D点云深度信息，估计出各候选目标区域 的图像的尺度s，估计出各候选目标区域的图像的尺度_。
[0036] 步骤A3,将第一目标区域划分成N=NxXNy个区域，每个区域宽度和高度的步长 分别为：xstep/s、ystep/s。
[0037] 步骤A4，统计所述角点集在划分的各个区域中的角点数
生成N个区间的角点直方图，然后通过对多帧图像的角点直方图进行训练，生 成直方图各区间的权重{w':匕 〇
[0038] 步骤A5,根据3D点云深度信息确定的尺度信息s，选择该尺度下目标区域的FAST 角点直方图，作为对比的目标区域直方图& =反 〇
[0039] 步骤A6,采用欧氏距离，根据公式
计算第一目标区域与各候选 目标区域之间角点特征的相似度，其中，K为候选目标区域第n个区间的角点书，冗表示的 是尺度s下第一目标区域的直方图第n个区间中的角点数。
[0040] 在步骤A中，除了可以用角点直方图匹配还可以采用块匹配的方法进行匹配。角 点的直方图除了二维区域的直方图，也可以采用一维区域的直方图。角点直方图和颜色直 方图也可采用非线性的融合方法，计算粒子的相似度。
[0041] 本发明中，颜色特征描述的是图像的全局信息，FAST角点特征描述的是图像的局 部信息。在粒子滤波跟踪的框架下，融合第一目标区域的图像的全局信息和局部信息构建 粒 子观测似然函数来估计所跟踪目标的状态，能够稳定跟踪目标实现无人机机器人的引 导。具体又可通过两种实施例实现上述步骤B。其中实施例一颜色特征和FAST角点特征的 融合，而实施例二则是在颜色特征和FAST角点特征的基础上，再融合3D点云特征重心。
[0042] 实施例一请参照图3,步骤B包括下述步骤：
[0043] 步骤B11，采用巴氏距离或对数线性函数计算第一目标区域颜色特征与候选目标 区域的颜色特征相似度。其中，颜色特征可从图像的RGB信息获得，候选目标区域FAST角 点特征的得到过程与第一目标区域FAST角点特征的得到一样。
[0044] 此时，第一目标区域FAST角点直方图和候选目标区域角点直方图的相似度重定 义为：
[0046]其中，〇 _"为预设的FAST角点特征标准差。
[0047] 第一目标区域的图像颜色特征与候选目标区域的图像颜色特征相似性的定义 为：
[0049] 其中，〇 为预设的颜色特征标准差，D为颜色直方图的巴氏距离。
[0050] 通过式（1)，计算第一目标区域角点直方图和各个候选目标区域角点直方图的相 似度，得到角点的相似度并对其进行归一化
（其中，M为候选目标区域的数 量）；通过式（2)，计算第一目标区域的图像区域颜色直方图和候选图像区域的颜色直方图 相似度，得到颜色的相似度并对其进行归一化
（其中，M为候选目标区域的 数量）。
[0051] 步骤B12,采用线性比例，把每个候选目标区域所对应的FAST角点特征相似度和 颜色特征相似度融合起来，计算出第一目标区域与所有候选目标区域的相似度函数 Wi并对 其进行归一化
[0052] 对于每个候选目标区域，其相似度为：
，ke[0，1]，
计算出所有2D图像目标区域与候选目标区域的相似度并对其进行归一化 利用 5 FAST角点特征，得到候选目标区域的局部信息。利用颜色特征，得到了候选目标区域的全局 信息。融合图像区域的局部信息和全局信息，从较好的确定相似度最好的候选目标区域，从 而降低机载传感器对目标状态估计的影响。
[0053] 步骤B13,将候选目标区域的相似度函数^作为构建目标的观测似然函数
并由所述观测似然函数确定与第一目标区域相似度最高的候选目标区域，以 作为当前目标区域的跟随结果。
[0054] 与实施例不同的是，实施例二则是针对选定跟随的各候选目标区域，融合其对应 的FAST角点特征相似度、颜色特征相似度和3D点云特征相似度，并将融合结果中与第一目 标区域相似度最高的候选目标区域作为当前目标区域的跟随结果。
[0055] 3D点云边缘特征能快速粗略确定候选目标区域的位姿。颜色、FAST角点等2D图 像特征更好地对候选目标区域进行描述，从而精确候选目标区域的位姿。在粒子滤波跟踪 的框架下，进一步融合2D图像特征和3D点云特征构建粒子观测似然函数估计目标的状态。 从而，实现稳定的无人机跟随目标。
[0056] 在实现2D图像特征与3D点云特征融合的过程中，获取3D点云特征重心是其首要 任务。其3D点云特征重心的获取过程如下：
[0057] 首先，对彩色图像数据和深度图像数据进行校准，本发明的2D图像即为彩色图 像。
[0058] 其次，提取被跟随物体的边缘点。对三维点云数据进行边缘特征提取，并采用直通 滤波器滤除背景边缘信息，获取物体的边缘点。
[0059] 再次，进行聚类。滤除背景边缘信息后，场景中一般只剩下一个物体或者两个 物体的边缘信息。把滤波后点云数据的数量Np()ints与预设的阈值TP()ints做比较。若Np()ints <Tp()ints，则不需要进行聚类计算，直接把所有的点云数据作为一个聚类，且令k= &。若 Np〇ints彡Tp()ints，则采用k-means聚类算法对物体边缘点进行聚类，且取k=N2，得到了k个 聚类? 〇?
[0060] 最后，计算重心投影位置。计算各个聚类的3D重心位置，并将其投影到2D图像中， 得到聚类重心在2D图像中的位置
[0061] 本文中采用对数线性函数来衡量目标区域与基于2D图像多特征确定的候选目标 区域的相似性，同时，也采用对数线性函数来衡量2D图像候选目标区域中心位置与3D点云 特征重心位置的相似度，其定义为：
[0063] 其中，0"为3D点云特征重心与2D图像候选目标区域中心的欧式距离，〇 w为标准 差。
[0064] 由于目标区域与基于2D图像多特征确定的候选目标区域的相似度和2D图像候选 目标区域中心与3D点云特征相似度是采用不同的距离来衡量，融合2D图像特征与3D点云 特征构建图像观测似然函数时，须将得到的相似度分别进行归一化处理。
[0065] 具体请参照图4,第二实施例中，步骤B包括下述步骤：
[0066] 步骤B21，按照如下方式确定3D点云特征重心位置：若聚类的重心只有一个，则该 聚类重心直接作为3D点云特征确定的3D点云特征重心，否则，预测前一帧图像中相似度最 高的3D点云特征重心位置，找出离该位置最近的聚类重心w(x'，y'）作为3D点云特征确定 的3D点云特征重心；其中，候选目标为第一目标区域中产生运动的目标。
[0067] 步骤B22,分别计算第一目标区域与候选目标区域的颜色特征相似度、FAST角点 特征相似度、3D点云特征相似度，并对其进行归一化得到对应的三组相似度：
[0068]
其中M为候选目标区域的 个数。
[0069] 步骤B23,采用线性比例，把步骤B22中得到的各组相似程度融合起来，得到图像 的相似度为
，其中，1^+1^2+1^3= 1 且k^k2,k3G[0，1]。 计算出所有候选目标区域与第一目标区域的相似度并对其进行归一化，得到图像的相似度
[0070] 步骤B24,将候选目标区域的相似度函数^作为构建目标的观测似然函数
;并由所述观测似然函数确定与第一目标区域相似度最高的候选目标区域，以 作为当前目标区域的跟随结果。
[0071] 本发明进一步考虑到长时间无人机跟随目标的过程中，其跟随目标的效果会有所 下降。为了保证无人机稳定的跟随目标，需要定期对跟随目标的结果进行验证。根据验证的 结果，若跟随目标失败，则重新选取无人机的跟随目标，开始新的跟随目标过程。采用SURF 特征实现无人机跟随目标的验证。无人机跟随程中，每间隔P帧图像，对跟随目标的效果进 行一次验证。并根据验证的结果，做出相应的操作。
[0072] 具体参照图5,跟随效果验证过程包括下述步骤：
[0073] 步骤C1，生成第一目标区域的SURF特征集。
[0074] 提取第一目标区域的SURF特征，得到SURF特征点集
（M为2D图像目标 区域特征点的数量），并且生成SURF特征点集
的描述符集
作为验证的 依据。
[0075] 步骤C2,建立候选图像的SURF图像金字塔。对融合FAST角点特征和颜色特征得 到跟踪引导的候选图像进行SURF图像金字塔的建立。
[0076] 步骤C3,根据第一目标区域SURF特征点集中提取的位姿以及候选目标区域的位 姿，确定第一目标区域SURF特征点集在候选图像金字塔上对应的位姿，得到的关键点集。
[0077] 此步骤基于SURF特征提取的逆过程，根据目标区域SURF特征点集的位姿，预测候 选图像金字塔上可能存在SURF特征点（即关键点）的位姿。
[0078] 步骤C4,计算所述关键点集中的候选图像中的第i个关键点4(ie[1，M])的 SURF特征描述符和该点在候选图像金字塔上所有相邻像素点的描述符集
[0079] 步骤C5,计算第一目标区域的第i个特征点< 的描述符与候选图像目标区域 关键点心^的描述符v^/(jG[1，N3+1])的欧氏距离若存在小于预设的阈值dst，则 该候选图像目标区域关键点sL,为SURF特征点，并定义为SURF特征匹配点对，否则，候选图 像关键点*4/不是SURF特征点。
[0080] 步骤C6,根据步骤C5得到的所有特征点与关键点的欧式距离，动态调整效果比较 阈值Tsurf。
[0081] 步骤C7,在候选图像中，若SURF特征匹配点对的数量与2D图像目标区域SURF特 征点的数量的比值超过Tsurf，则判定为无人机跟随目标的效果较好，继续跟随目标；否则， 判定为无人机跟随目标失败，无人机悬停，开始搜索跟随的目标。
[0082] 本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可 以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质 中，所述的存储介质，如R0M/RAM、磁盘或光盘等。
[0083] 图6示出了本发明提供的无人机视觉目标跟随系统的结构原理图，为了便于描 述，仅示出了与本发明相关的部分。
[0084] 参照图6,本发明提供的无人机视觉目标跟随系统包括相似度计算模块61和跟随 目标确定模块62,其中，相似度计算模块61用于对选定跟随的第一目标区域进行FAST角点 提取，生成所述第一目标区域的带权值的FAST角点直方图，并根据生成的FAST角点直方图 计算第一目标区域与选定跟随的各候选目标区域之间的FAST角点特征相似度；所述第一 目标区域为在无人机拍摄的视频流或序列图像的第一帧图像中，选定跟踪的目标区域；所 述各候选目标区域为在无人机拍摄的视频流或序列图像的后续帧图像中预测的目标区域 。 跟随目标确定模块62用于针对选定跟随的各候选目标区域，计算其与第一目标区域之间 的颜色特征相似度，然后融合其与第一目标区域的FAST角点特征相似度和颜色特征相似 度，并将融合结果中与第一目标区域相似度最高的候选目标区域作为当前目标区域的跟随 结果。
[0085] 图7示出了图6中相似度计算模块61的结构原理，包括FAST角点提取子模块611、 图像尺度估计子模块612、目标区域划分子模块613、权重生成自子模块614、对比目标区域 直方图确定子模块615、相似度计算子模块616。其中各模块的功能如下：
[0086] FAST角点提取子模块616用于对第一目标区域进行多尺度的FAST角点提取，得到 第一目标区域的多个角点集
，其中，N表示角点的数量，n表示自然数，Cn 表示第n个角点，（xn，yn)为第n个角点在所述第一帧图像中的像素位置。
[0087] 图像尺度估计子模块612用于利用采集到的第一目标区域的3D点云深度信息，估 计出各候选目标区域的图像的尺度s。
[0088] 目标区域划分子模块613用于将第一目标区域划分成N=NxXNy个区域，每个区 域宽度和高度的步长分别为：xstep/s、ystep/s。
[0089] 权重生成自子模块614用于统计所述角点_
在划分的各个区域 中的角点数
生成N个区间的角点直方图，然后通过对多帧图像的角点直方图进 行训练，生成直方图各区间的权重
[0090] 对比目标区域直方图确定子模块615用于根据3D点云深度信息确定的尺度信息 S，选择该尺度下目标区域的FAST角点直方图，作为对比的目标区域直方图$ =气 〇
[0091] 相似度计算子模块616用于采用欧氏距离，根据公式
计算第 一目标区域与各候选目标区域之间角点特征的相似度，其中，C为候选目标区域第n个区 间的角点书，<表示的是尺度s下第一目标区域的直方图第n个区间中的角点数。
[0092] 图8示出了本发明第一实施例提供的中跟随目标确定模块62的结构原理，具体 包括第一相似度计算子模块6211、第一融合子模块6212、第一跟随目标确定子模块6213。 其中，第一相似度计算子模块6211用于采用巴氏距离或对数线性函数计算第一目标区域 颜色特征与候选目标区域的颜色特征相似度；第一融合子模块6212用于采用线性比例，把 每个候选目标区域所对应的FAST角点特征相似度和颜色特征相似度融合起来，计算出第 一目标区域与所有候选目标区域的相似度函数Wi并对其进行归一化
；第一跟随 目标确定子模块6213用于将候选目标区域的相似度函数^作为构建目标的观测似然函数
并由所述观测似然函数确定与第一目标区域相似度最高的候选目标区域，以 作为当前目标区域的跟随结果。
[0093] 图9示出了本发明第二实施例提供的跟随目标确定模块62的结构原理，包 括3D点云特征重心位置确定子模块6221、第二相似度计算子模块6222、第二融合子模 块6223、第二跟随目标确定子模块6224。其中，3D点云特征重心位置确定子模块6221 用于按照如下方式确定候选目标聚类重心位置：若聚类的重心只有一个，则该聚类重 心直接作为3D点云特征确定的3D点云特征重心，否则，预测前一帧图像中相似度最高 的3D点云特征重心位置，找出离该位置最近的聚类重心w(x'，y'）作为3D点云特征确 定的3D点云特征重心；其中，候选目标为第一目标区域中产生运动的目标。第二相似 度计算子模块6222用于分别计算第一目标区域与候选目标区域的颜色特征相似度、 FAST角点特征相似度、3D点云特征相似度，并对其进行归一化得到对应的三组相似度：
其中M为候选目标区域的个数。第二 融合子模块6223用于采用线性比例，把第二相似度计算子模块得到的各组相似程度融合 起来，计算出所有候选目标区域与第一目标区域的相似度并对其进行归一化，得到图像的
相似度 第二跟随目标确定子模块6224用于将候选目标区域的相似度函数^作 〇 为构建目标的观测似然函数= 并由所述观测似然函数确定与第一目标区域相 似度最高的候选目标区域，以作为当前目标区域的跟随结果。
[0094] 图10示出了本发明提供的跟随效果验证模块的结构原理，此模块用于在跟随过 程中定期进行跟随效果验证，具体包括SURF特征集生成子模块631、SURF图像金字塔建立 子模块632、关键点集确定子模块633、描述符计算子模块634、SURF特征匹配点对确定子模 块635、阈值调整子模块636、判断子模块637。其中，SURF特征集生成子模块631用于生成 第一目标区域的SURF特征集；SURF图像金字塔建立子模块632用于建立候选图像的SURF 图像金字塔；关键点集确定子模块633用于根据第一目标区域SURF特征点集中提取的位姿 以及候选目标区域的位姿，确定第一目标区域SURF特征点集在候选图像金字塔上对应的 位姿，得到的关键点集；描述符计算子模块634用于计算所述关键点集中的候选图像中的 第i个关键点(ie[1，M])的SURF特征描述符和该点在候选图像金字塔上所有相邻像 素点的描述符集
.SURF特征匹配点对确定子模块635用于计算第一目标区域的 第i个特征点4的描述符<与候选图像目标区域关键点心的描述符4/(je[l，N3+l]) 的欧氏距离，若存在 小于预设的阈值dst，则该候选图像目标区域关键点^^为SURF 特征点，并定义为SURF特征匹配点对，否则，候选图像关键点不是SURF特征点；阈值调 整子模块636用于根据所述SURF特征匹配点对确定子模块得到的所有特征点与关键点的 欧式距离，动态调整效果比较阈值Tsurf;判断子模块637用于在候选图像中，若SURF特征匹 配点对的数量与2D图像目标区域SURF特征点的数量的比值超过Tsurf，则判定为无人机跟 随目标的效果较好，继续跟随目标；否则，判定为无人机跟随目标失败，无人机悬停，开始搜 索跟随的目标。
[0095] 上述颜色特征、角点特征、3D点云深度数据均由无人机上的机载传感器从被跟随 物上采集。值得注意的是，上述实施例所包括的各个模块、子模块只是按照功能逻辑进行划 分，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名 称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述各模块、子模块均可采 用软件、硬件、或软硬件结合的方式实现。
[0096] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种无人机视觉目标跟随方法，其特征在于，所述方法包括下述步骤： 步骤A，对选定跟随的第一目标区域进行FAST角点提取，生成所述第一目标区域的带 权值的FAST角点直方图，并根据生成的FAST角点直方图计算第一目标区域与选定跟随的 各候选目标区域之间的FAST角点特征相似度；所述第一目标区域为在无人机拍摄的视频 流或序列图像的第一帧图像中，选定跟踪的目标区域；所述各候选目标区域为在无人机拍 摄的视频流或序列图像的后续帧图像中预测的目标区域； 步骤B，针对选定跟随的各候选目标区域，计算其与第一目标区域之间的颜色特征相似 度，然后融合其与第一目标区域的FAST角点特征相似度和颜色特征相似度，并将融合结果 中与第一目标区域相似度最高的候选目标区域作为当前目标区域的跟随结果。2. 如权利要求1所述的无人机视觉目标跟随方法，其特征在于，步骤A包括下述步骤： 步骤A1，对第一目标区域进行多尺度的FAST角点提取，得到第一目标区域的多个角点 集4，其中，s表示图像尺度，N表示角点的数量，n表示自然数，Cn表示第n 个角点，（xn，yn)为第η个角点在所述第一帧图像中的像素位置； 步骤Α2,利用采集到的第一目标区域的3D点云深度信息，估计出各候选目标区域的图 像的尺度s ; 步骤A3,将第一目标区域划分成N = NxXNy个区域，每个区域宽度和高度的步长分别 为：Xstep,S、ystep,S ; 步骤A4，统计所述角点集A = C" (x", Λ ^;在划分的各个区域中的角点数 生成N个区间的角点直方图，然后通过对多帧图像的角点直方图进行训练，生 成直方图各区间的权重奋=. 步骤A5,根据3D点云深度信息确定的尺度信息s，选择该尺度下目标区域的FAST角点 直方图，作为对比的目标区域直方图& =反· 步骤A6,采用欧氏距离，根据公式计算第一目标区域与各候选目 标区域之间角点特征的相似度，其中，以为候选目标区域第η个区间的角点书，乂表示的是 尺度s下第一目标区域的直方图第η个区间中的角点数。3. 如权利要求1所述的无人机视觉目标跟随方法，其特征在于，步骤B包括下述步骤： 步骤BI 1，采用巴氏距离或对数线性函数计算第一目标区域颜色特征与候选目标区域 的颜色特征相似度； 步骤Β12,采用线性比例，把每个候选目标区域所对应的FAST角点特征相似度和颜色 特征相似度融合起来，计算出第一目标区域与所有候选目标区域的相似度函数^并对其进 行归一化译= {%}二； 步骤B13,将候选目标区域的相似度函数^作为构建目标的观测似然函数 = 并由所述观测似然函数确定与第一目标区域相似度最高的候选目标区域，以 作为当前目标区域的跟随结果。4. 如权利要求1所述的无人机视觉目标跟随方法，其特征在于，所述步骤B具体为：针 对选定跟随的各候选目标区域，计算其与第一目标区域之间的颜色特征相似度和3D点云 特征相似度，然后融合其与第一目标区域的FAST角点特征相似度、颜色 特征相似度和3D点 云特征相似度，并将融合结果中与第一目标区域相似度最高的候选目标区域作为当前目标 区域的跟随结果。5. 如权利要求4所述的无人机视觉目标跟随方法，其特征在于，所述步骤B包括下述步 骤： 步骤B21，按照如下方式确定3D点云特征重心位置：若聚类的重心只有一个，则该聚类 重心直接作为3D点云特征确定的3D点云特征重心，否则，预测前一帧图像中相似度最高的 3D点云特征重心位置，找出离该位置最近的聚类重心w (X'，y'）作为3D点云特征确定的3D 点云特征重心；其中，候选目标为第一目标区域中产生运动的目标； 步骤B22,分别计算第一目标区域与候选目标区域的颜色特征相似度、FAST角点特征 相似度、3D点云特征相似度，并对其进行归一化得到对应的三组相似度：,其中M为候选目标区域的个数； 步骤B23,采用线性比例，把步骤B22中得到的各组相似程度融合起来，计算出所有候 选目标区域与第一目标区域的相似度并对其进行归一化，得到图像的相似度^ ， 步骤B24,将候选目标区域的相似度函数^作为构建目标的观测似然函数 = 并由所述观测似然函数确定与第一目标区域相似度最高的候选目标区域，以 作为当前目标区域的跟随结果。6. 如权利要求1至5中任一项所述的无人机视觉目标跟随方法，其特征在于，在跟随过 程中，所述方法还包括定期执行的跟随效果验证过程，所述跟随效果验证过程包括下述步 骤： 步骤Cl，生成第一目标区域的SURF特征集； 步骤C2,建立候选图像的SURF图像金字塔； 步骤C3,根据第一目标区域SURF特征点集中提取的位姿以及候选目标区域的位姿，确 定第一目标区域SURF特征点集在候选图像金字塔上对应的位姿，得到的关键点集； 步骤C4,计算所述关键点集中的候选图像中的第i个关键点4 ( /_ e [1，丨的SURF特征描述符和该点在候选图像金字塔上所有相邻像素点的描述符集％ =卜V亡厂. 步骤C5,计算第一目标区域的第i个特征点的描述符?与候选图像目标区域关键 点心的描述符</ (加[1，#3+1] }的欧氏距离 <'若存在 <小于预设的阈值dst，则该 候选图像目标区域关键点为SURF特征点，并定义为SURF特征匹配点对，否则，候选图像 关键点不是SURF特征点； 步骤C6,根据步骤C5得到的所有特征点与关键点的欧式距离，动态调整效果比较阈值 T · 步骤C7,在候选图像中，若SURF特征匹配点对的数量与2D图像目标区域SURF特征点 的数量的比值超过Tsurf，则判定为无人机跟随目标的效果较好，继续跟随目标；否则，判定 为无人机跟随目标失败，无人机悬停，开始搜索跟随的目标。7. -种无人机视觉目标跟随系统，其特征在于，包括： 相似度计算模块，用于对选定跟随的第一目标区域进行FAST角点提取，生成所述第一 目标区域的带权值的FAST角点直方图，并根据生成的FAST角点直方图计算第一目标区域 与选定跟随的各候选目标区域之间的FAST角点特征相似度；所述第一目标区域为在无人 机拍摄的视频流或序列图像的第一帧图像中，选定跟踪的目标区域；所述各候选目标区域 为在无人机拍摄的视频流或序列图像的后续帧图像中预测的目标区域； 跟随目标确定模块，用于针对选定跟随的各候选目标区域，计算其与第一目标区域之 间的颜色特征相似度，然后融合其与第一目标区域的FAST角点特征相似度和颜色特征相 似度，并将融合结果中与第一目标区域相似度最高的候选目标区域作为当前目标区域的跟 随结果。8. 如权利要求7所述的无人机视觉目标跟随系统，其特征在于，所述相似度计算模块 包括FAST角点提取子模块、图像尺度估计子模块、目标区域划分子模块、权重生成自子模 块、对比目标区域直方图确定子模块、相似度计算子模块； 其中，所述FAST角点提取子模块用于对第一目标区域进行多尺度的FAST角点提取，得 到第一目标区域的多个角点集i ，其中，S表示图像尺度，N表示角点的数 量，η表示自然数，Cn表示第η个角点，（xn，yn)为第η个角点在所述第一帧图像中的像素 位置； 所述图像尺度估计子模块用于利用采集到的第一目标区域的3D点云深度信息，估计 出各候选目标区域的图像的尺度s ; 所述目标区域划分子模块用于将第一目标区域划分成N = NxXNy个区域，每个区域宽 度和高度的步长分别为：xstep/s、ystep/s ; 所述权重生成自子模块用于统计所述角点集6 在划分的各个区域中的 角点数反生成N个区间的角点直方图，然后通过对多帧图像的角点直方图进行训 练，生成直方图各区间的权重#?Η'Χ=1. 所述对比目标区域直方图确定子模块用于根据3D点云深度信息确定的尺度信息s，选 择该尺度下目标区域的FAST角点直方图，作为对比的目标区域直方图& =反： 所述相似度计算子模块用于采用欧氏距离，根据公式计算第一目 标区域与各候选目标区域之间角点特征的相似度，其中，<为候选目标区域第η个区间的 角点书，&表示的是尺度s下第一目标区域的直方图第η个区间中的角点数。9. 如权利要求7所述的无人机视觉目标跟随系统，其特征在于，所述跟随目标确定模 块包括第一相似度计算子模块、第一融合子模块、第一跟随目标确定子模块，或者包括候选 3D点云特征重心位置确定子模块、第二相似度计算子模块、第二融合子模块、第二跟随目标 确定子模块； 所述第一相似度计算子模块用于采用巴氏距离或对数线性函数计算第一目标区域颜 色特征与候选目标区域的颜色特征相似度； 所述第一融合子模块用于采用线性比例，把每个候选目标区域所对应的FAST角点特 征相似度和颜色特征相似度融合起来，计算出第一目标区域与所有候选目标区域的相似度 函数Wi并对其进行归一化* = ； 所述第一跟随目标确定子模块用于将候选目标区域的相似度函数^作为构建目标的 观测似然函数= 并由所述观测似然函数确定与第一目标区域相似度最高的候 选目标区域，以作为当前目标区域的跟随结果。 所述3D点云特征重心位置确定子模块用于按照如下方式确定3D点云特征重心位置： 若聚类的重心只有一个，则该聚类重心直接作为3D点云特征确定的3D点云特征重心，否 贝1J，预测前一帧图像中相似度最高的3D点云特征重心位置，找出离该位置最近的聚类重心 w(x'，y'）作为3D点云特征确定的3D点云特征重心；其中，候选目标为第一目标区域中产 生运动的目标； 所述第二相似度计算子模块用于分别计算第一目标区域与候选目标区域的颜色特征 相似度、FAST角点特征相似度、3D点云特征相似度，并对其进行归一化得到对应的三组相 似度：其中M为候选目标区域的个 数； 所述第二融合子模块用于采用线性比例，把步骤B22中得到的各组相似程度融合起 来，计算出所有候选目标区域与第一目标区域的相似度并对其进行归一化，得到图像的相 似度# = 丨. 所述第二跟随目标确定子模块用于将候选目标区域的相似度函数^作为构建目标的 观测似然函数= 并由所述观测似然函数确定与第一目标区域相似度最高的候 选目标区域，以作为当前目标区域的跟随结果。10.如权利要求7至9中任一项所述的无人机视觉目标跟随系统，其特征在于，还包括 一跟随效果验证模块，用于在跟随过程中定期进行跟随效果验证；所述跟随效果验证模块 包括： SURF特征集生成子模块，用于生成第一目标区域的SURF特征集； SURF图像金字塔建立子模块，用于建立候选图像的SURF图像金字塔； 关键点集确定子模块，用于根据第一目标区域SURF特征点集中提取的位姿以及候选 目标区域的位姿，确定第一目标区域SURF特征点集在候选图像金字塔上对应的位姿，得到 的关键点集； 描述符计算子模块，用于计算所述关键点集中的候选图像中的第i个关键点 Λ'二，（彡的SURF特征描述符和该点在候选图像金字塔上所有相邻像素点的描述 符集1?ν?Γ. SURF特征匹配点对确定子模块，用于计算第一目标区域的第i个特征点的描述符 与候选图像目标区域关键点描述符vL/ ( )的欧氏距离若存在 小于预设的阈值dst，则该候选图像目标区域关键点为SURF特征点，并定义为SURF 特征匹配点对，否则，候选图像关键点4,,不是SURF特征点； 阈值调整子模块，用于根据所述SURF特征匹配点对确定子模块得到的所有特征点与 关键点的欧式距离，动态调整效果比较阈值Tsurf; 判断子模块，用于在候选图像中，若SURF特征匹配点对的数量与2D图像目标区域SURF 特征点的数量的比值超过Tsurt，则判定为无人机跟随目标的效果较好，继续跟随目标；否 贝IJ，判定为无人机跟随目标失败，无人机悬停，开始搜索跟随的目标。
【专利摘要】本发明适用于无人机技术领域，提供了一种无人机视觉目标跟随方法，包括下述步骤：步骤A，对选定跟随的第一目标区域进行FAST角点提取，生成所述第一目标区域的带权值的FAST角点直方图，并根据生成的FAST角点直方图计算第一目标区域与选定跟随的各候选目标区域之间的FAST角点特征相似度；步骤B，针对选定跟随的各候选目标区域，计算其与第一目标区域之间的颜色特征相似度，然后融合其与第一目标区域的FAST角点特征相似度和颜色特征相似度，并将融合结果中与第一目标区域相似度最高的候选目标区域作为当前目标区域的跟随结果。本发明融合了快速角点特征和颜色特征，有效利用了图像的局部信息和全局信息，从而降低了机载传感器对目标状态估计的影响。
【IPC分类】G06K9/62, G06K9/46
【公开号】CN104899590
【申请号】CN201510263209
【发明人】蒙山, 黄容
【申请人】深圳大学
【公开日】2015年9月9日
【申请日】2015年5月21日
最新回复(0)