一种无人机单目相机位姿图优化方法

本发明涉及无人机位姿图优化，特别涉及一种无人机单目相机位姿图优化方法。

背景技术：

1、在过去的几年中，四旋翼无人机的制造成本不断下降，性能不断提高，逐渐实现了商业化和个人化。但是在这个平台上，传统的位姿图优化方法存在诸多问题。比如之前的特征提取方法采集的特征点存在特征点在图像帧边缘、对比度弱等问题，产生了不真实的特征信息，从而影响检测的准确性和稳定性。还有姿态图优化方法只能针对采集的一段连续的图像帧进行处理，对于尺度不连续的图像无法进行处理。

技术实现思路

1、本发明公开了一种无人机单目相机位姿图优化方法，具体方法如下：

2、无人机飞行过程中，通过单目相机持续采集图像帧数据；

3、对持续采集的图像帧数据进行高斯差分点兴趣检测；

4、针对不连续图像帧数据，进行位姿图优化。

5、进一步地，对持续采集的图像帧数据进行高斯差分点兴趣检测，具体方法如下：

6、对不同图像帧数据均进行模糊处理、构建高斯金字塔和下采样处理；

7、通过相邻尺度的高斯模糊图像相减，确定候选特征点；

8、精确确定候选特征点在图像帧上的位置；

9、剔除低对比度候选特征点和边缘响应特征点，获取特征点。

10、进一步地，对不同图像帧数据均进行模糊处理、构建高斯金字塔和下采样处理，具体方法如下：

11、对采集的图像帧数据进行初始化；

12、对初始化后的图像帧数据进行卷积，获取模糊图像；

13、改变模糊尺度，获取若干分辨率相同，模糊程度不同的模糊图像；

14、以分辨率相同模糊程度不同的同一模糊图像，构建高斯金字塔；

15、选取高斯金字塔中最后一张模糊图像进行下采样，以下采样后的图像数据作为下一模糊图像的初始图像。

16、进一步地，对初始化后的图像帧数据进行卷积时，卷积核函数定义为：

17、

18、式中，σ为尺度，x、y为输入图像；

19、对图像帧数据i(x,y)进行卷积，获取模糊图像l(x,y,σ)公式如下：

20、l(x,y,σ)＝g(x,y,σ)*i(x,y)

21、式中，*表示卷积操作；

22、改变模糊尺度，具体方法如下：

23、设定每个金字塔层的尺度因子k，使得每层的高斯模糊尺度逐步增加，表达式如下：

24、σi＝kiσ0

25、其中i表示当前层的卷积次数；

26、构建高斯金字塔，具体方法如下：

27、将若干分辨率相同，模糊程度不同的同一模糊图像构建为一个图像集；

28、在同一个图像集内，从最底层图像开始，逐步增加模糊尺度，每增加一次模糊程度，就得到一个新的图像l(x,y,σi)，表达式如下：

29、l(x,y,σi)＝g(x,y,σi)*i(x,y)

30、在第m个图片集内，从初始图像开始，对图像进行多次模糊处理，生成不同尺度的图像l[m,n]，表达式如下：

31、l[m,n]＝g(x,y,σi)*l[n,n-1]

32、其中，n表示当前尺度在该图片集内的标号，l[m,0]是第m个图片集的初始图像；

33、下采样，具体方法如下：

34、选择高斯金字塔最后一张模糊图像进行下采样，作为下一个图像集的初始图像，表达式如下：

35、l[m+1,0]＝downsample(l[m,nmax])

36、其中，nmax是当前图像集内的最大标号，当m＝0时，l[0,0]＝i(x,y)是初始的输入图像。

37、进一步地，确定候选特征点，具体方法如下：

38、将不同尺度的高斯模糊图像相减，计算公式如下：

39、dl[m,n]＝l[m,n+1]-l[m,n]

40、遍历其中的点，在该像素点当前尺度dl[m,n]、上一尺度dl[m,n-1]和下一尺度dl[m,n+1]中，选择3×3×3的范围进行检测，判断其是否为这个区域的灰度最大值；如果是，就作为一个局部极大值加入到候选特征点序列之中。

41、进一步地，精确确定候选特征点在图像帧上的位置，具体方法如下：

42、采用泰勒展开对差分高斯函数进行二次拟合：

43、

44、其中，x是关键点的位移向量，dl是在关键点位置处的差分高斯值，和分别是dl的梯度和hessian矩阵；

45、通过求解上述方程，得到关键点的精确位置：

46、

47、其中，用于表示候选特征点的位置。

48、进一步地，剔除低对比度候选特征点和边缘响应特征点，具体方法如下：

49、通过hessian矩阵的两个特征值构建一个评定函数，设hessian矩阵的两个特征值分别为λ1和λ2，特征之比为：

50、

51、若

52、r<threshold1

53、其中，threshold1为第一设定阈值；

54、则将该候选特征点标记为边缘响应点，并从候选特征点列表中剔除

55、特征点的对比度值计算公式如下：

56、

57、若

58、

59、其中，threshold2为第二设定阈值；

60、则认为这个候选点不稳定，则从候选点列表中剔除。

61、进一步地，针对不连续图像帧数据，进行位姿图优化具体方法如下：

62、对不连续图像帧数据进行标定；

63、针对连续图像帧数据，构建第一残差函数；针对不连续图像帧数据，构建第二残差函数；第一残差函数r1(θi,θj)和第二残差函数r2(θi,θj)表达式如下：

64、

65、

66、其中，t(θi)和t(θj)分别表示传感器帧i和j的相对运动转换矩阵；t2v(t)为将对应的转换为平移向量和旋转向量的形式；为相邻节点相对姿态的期望值；

67、采用lm算法，调整无人机姿态参数，使第一残差函数和第二残差函数总体最小。

68、进一步地，采用lm算法，调整无人机姿态参数，具体方法如下：

69、构建hessian近似矩阵h和梯度函数g，表达式如下：

70、h＝jtj+λi

71、其中，j为残差函数关于姿态参数的雅可比矩阵，i为单位矩阵；

72、梯度函数g表达式如下：

73、g＝jtr

74、其中，r为第一残差函数和第二残差函数；

75、hessian矩阵可以通过使用雅可比矩阵的逼近来近似，然后求解一个线性方程组得到更新姿态参数所需要的增量，表达式如下：

76、(jtj+λi)δθ＝-jtr

77、求解一个增量δθ更新姿态参数如下：

78、θ←θ+δθ

79、以当前的姿态参数加上计算得到的增量可以得到更新的步长，误差观测函数表示为：

80、

81、通过比较更新前后的误差值大小，判断更新的效果。

82、进一步地，若更新后误差值变小，减小lm参数λ，使用牛顿高斯法快速的接近最优解；如果误差值变大，手动增大lm参数λ，让算法更多的使用梯度下降法；

83、具体方法表达示如下：

84、λ←λ/v

85、λ←λ×ν

86、其中，v>1；

87、迭代之后如果得到的误差收敛到设定的范围，或者达到了设定的最大迭代次数，就停止迭代，采用当前的这组位姿参数θi作为最优解输出。

88、由于采用了以上方案，本发明具有以下有益效果：

89、1、对持续采集的图像帧数据进行高斯差分点兴趣检测的过程，抑制了图像帧中的噪声，可以有效的平滑图像中的噪声，处理之后的姿态图更加平滑，梯度变化较小，提高姿态估计的鲁棒性。

90、2、高斯模糊可以帮助提取更稳定和显著的特征，可以更准确地提取姿态特征，从而提高姿态估计的精度。

91、3、高斯模糊在保留特征的基础上降低了图像帧的分辨率，从而减小了优化过程中的迭代次数和计算量，并且降低了整体的数据存储压力。

92、4、位姿图优化过程扩大了位姿图优化的范围，针对不连续的图像也可以进行最优化处理。

93、5、采用lm算法解决非线性问题的优化处理，lm参数显著提高了收敛速度；

94、6、最后并且对于初始参数的要求不敏感，在较宽的初值范围内有效收敛，提高了系统算法的鲁棒性。

95、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书实现和获得。

技术特征：

1.一种无人机单目相机位姿图优化方法，其特征在于，具体方法如下：

2.如权利要求1所述的无人机单目相机位姿图优化方法，其特征在于，对持续采集的图像帧数据进行高斯差分点兴趣检测，具体方法如下：

3.如权利要求2所述的无人机单目相机位姿图优化方法，其特征在于，对不同图像帧数据均进行模糊处理、构建高斯金字塔和下采样处理，具体方法如下：

4.如权利要求3所述的无人机单目相机位姿图优化方法，其特征在于，对初始化后的图像帧数据进行卷积时，卷积核函数定义为：

5.如权利要求2所述的无人机单目相机位姿图优化方法，其特征在于，确定候选特征点，具体方法如下：

6.如权利要求2所述的无人机单目相机位姿图优化方法，其特征在于，精确确定候选特征点在图像帧上的位置，具体方法如下：

7.如权利要求2所述的无人机单目相机位姿图优化方法，其特征在于，剔除低对比度候选特征点和边缘响应特征点，具体方法如下：

8.如权利要求2所述的无人机单目相机位姿图优化方法，其特征在于，针对不连续图像帧数据，进行位姿图优化具体方法如下：

9.如权利要求8所述的无人机单目相机位姿图优化方法，其特征在于，采用lm算法，调整无人机姿态参数，具体方法如下：

10.如权利要求9所述的无人机单目相机位姿图优化方法，其特征在于，若更新后误差值变小，减小lm参数λ，使用牛顿高斯法快速的接近最优解；如果误差值变大，手动增大lm参数λ，让算法更多的使用梯度下降法；

技术总结
本发明涉及无人机位姿图优化技术领域，特别涉及一种无人机单目相机位姿图优化方法。包括：对不同图像帧数据均进行模糊处理、构建高斯金字塔和下采样处理；通过相邻尺度的高斯模糊图像相减，确定候选特征点；精确确定候选特征点在图像帧上的位置；剔除低对比度候选特征点和边缘响应特征点，获取特征点；针对不连续图像帧数据采用LM算法，调整无人机姿态参数，优化位姿图。本发明对持续采集的图像帧数据进行高斯差分点兴趣检测的过程，抑制了图像帧中的噪声，可以有效的平滑图像中的噪声，处理之后的姿态图更加平滑，梯度变化较小，提高姿态估计的鲁棒性。位姿图优化过程扩大了位姿图优化的范围，针对不连续的图像也可以进行最优化处理。

技术研发人员：李锐,甄圣超,陈科,刘金山,卢静楠
受保护的技术使用者：合肥工业大学
技术研发日：
技术公布日：2024/9/23