使用图传视频编码信息实现航拍图像快速拼接的方法与流程
本发明属于图像处理，涉及一种使用图传视频编码信息实现航拍图像快速拼接的方法。
背景技术：
1、无人机航拍具有安全性高，稳定性好，操作方便，图像清晰度高等优势，使其应用越来越广泛，特别是获取带状地区的影像。同时，拍摄的图像幅宽较小，数量较多，重复率较高，为获取全景的图像需要进行图像拼接。同时，无人机航拍过程中，实时图传基本成为了必备的功能，可以让地面人员实时查看无人机拍摄图像。
2、传统航拍图像的全景拼接，广泛使用的是基于特征配准的方法。但该图像特征的提取和匹配计算量非常大，极大的影响了拼接速度。
技术实现思路
1、本发明要解决的技术问题是提供一种使用图传视频编码信息实现航拍图像快速拼接的方法，该方法能够实现图像的快速配准，提高全景拼接速度。
2、为了解决上述技术问题，本发明的使用图传视频编码信息实现航拍图像快速拼接的方法，提取实时图传视频的编码信息并利用编码信息构建整体变换矩阵；使用整体变换矩阵将图像序列投影到同一平面，然后进行相邻帧之间最佳缝合线查找和融合实现图像拼接。
3、所述的图传视频采用avc、hevc或vpx系列编码方式；提取的实时图传视频的编码信息包括所有p帧的子块划分信息，子块的预测模式、参考帧id和运动矢量；所述的整体变换矩阵构建方法如下：针对当前帧图像中任一子块，将其中心点作为当前点，根据其运动矢量计算出的前一帧图像中对应子块的中心点作为参考点，将当前点和参考点匹配形成匹配点对；使用匹配点集求解相邻帧间的透视变换矩阵并将其作为整体变换矩阵。
4、进一步，使用最小二乘法，通过奇异值分解的方式求解得到相邻帧间的透视变换矩阵；或者使用随机一致性算法求解相邻帧间的透视变换矩阵。
5、进一步，将当前点和参考点匹配形成匹配点对后滤掉误匹配点对，再利用其余匹配点对计算透视变换矩阵；匹配点过滤方法如下：
6、1）将当前帧中参考前一帧的各子块的运动矢量转换成平面点坐标；设当前帧中第i个子块中心点坐标为（xdi,ydi）,对应参考点坐标为（xci, yci）,i=1,2，…i；i为当前帧图像中参考前一帧的子块的数量，则当前帧第i个子块运动矢量转换成的平面点坐标为（xci-xdi, yci-ydi）；将各平面点加入点集a；
7、2）将点集a中所有平面点的x坐标和y坐标分别进行排序，取排在中位的x坐标xpm和y坐标ypm，得到中位值点（xpm, ypm）；
8、3）计算点集a中所有平面点与中位值点（xpm, ypm）之间的距离值，得到距离值集合b；
9、4）将距离值集合b中所有距离值按照由小到大（或者由大到小）的顺序进行排序，取排在中位的距离值作为距离中位值 dm；
10、5）设置阈值t，如果距离值集合b中的距离值大于t ×dm, 则剔除该距离值对应的匹配点对；阈值t一般设定为2-3。
11、针对灰度图像，所述实时图传视频的编码信息还包括所有p帧的前一帧的预测权重值；预测权重值包括亮度权重值；利用亮度权重值对图像进行亮度调整后再使用整体变换矩阵将调整过亮度的图像序列投影到同一平面；设从编码的视频流中提取的当前帧预测权重值为wn, 则当前帧图像的亮度调整值为：fln=fl(n-1)/wn；其中，fln为第n帧图像的亮度调整值，fn-1为第n-1帧图像的亮度调整值。
12、进一步，针对rgb格式图像，所述实时图传视频的编码信息还包括所有p帧的前一帧的预测权重值；预测权重值包括亮度权重值和色度权重值；将rgb格式图像转换成yuv格式的图像，利用亮度权重值和色度权重值对图像进行亮度和色度调整后再使用整体变换矩阵将调整过亮度的图像序列投影到同一平面，最后再转回rgb格式；设从编码的视频流中提取的当前帧预测权重值为wn,则当前帧图像的亮度调整值为：fln=fl(n-1)/wn；其中，fln为第n帧图像的亮度调整值，fn-1为第n-1帧图像的亮度调整值；当前帧图像的色度调整值为：fsn=fs(n-1)/wn；其中，fsn为第n帧图像的色度调整值，fs(n-1)为第n-1帧图像的色度调整值。
13、所述的图传视频采用av1编码方式，提取的实时图传视频的编码信息包括全局运动估计数据；使用全局运动估计数据构建仿射变换矩阵作为整体变换矩阵。
14、所述的图传视频采用vvc编码方式，提取的实时图传视频的编码信息包括所有p帧的子块划分信息，子块的预测模式、参考帧id和运动矢量；针对当前帧图像中任一平移运动子块，将其中心点作为当前点，根据其运动矢量计算出的前一帧图像中对应子块的中心点作为参考点，将当前点和参考点匹配形成匹配点对；针对当前帧图像中任一仿射运动子块，其每个控制点与前一帧图像中对应子块的对应控制点构成匹配点对，前一帧图像中对应子块的对应控制点通过当前帧图像子块中控制点的运动矢量计算得到。
15、有益效果：本发明提出了一种使用实时图传视频的编码信息实现带状区域航拍图像快速拼接的方法，该方法利用图传视频的编码信息，直接构建相邻帧的匹配点对，避免了复杂的特征提取和匹配过程，能够实现图像的快速配准，极大的提高了全景拼接的速度。同时，利用p帧的加权预测权值，可以快速实现待融合图像的亮度、色度调整，改善图像融合效果。
技术特征：
1.一种使用图传视频编码信息实现航拍图像快速拼接的方法，其特征在于该方法如下：提取实时图传视频的编码信息并利用编码信息构建整体变换矩阵；使用整体变换矩阵将图像序列投影到同一平面，然后进行相邻帧之间最佳缝合线查找和融合实现图像拼接。
2.根据权利要求1所述的使用图传视频编码信息实现航拍图像快速拼接的方法，其特征在于所述的图传视频采用avc、hevc或vpx系列编码方式；提取的实时图传视频的编码信息包括所有p帧的子块划分信息，子块的预测模式、参考帧id和运动矢量；所述的整体变换矩阵构建方法如下：针对当前帧图像中任一子块，将其中心点作为当前点，根据其运动矢量计算出的前一帧图像中对应子块的中心点作为参考点，将当前点和参考点匹配形成匹配点对；使用匹配点集求解相邻帧间的透视变换矩阵并将其作为整体变换矩阵。
3.根据权利要求2所述的使用图传视频编码信息实现航拍图像快速拼接的方法，其特征在于使用最小二乘法，通过奇异值分解的方式求解得到相邻帧间的透视变换矩阵；或者使用随机一致性算法求解相邻帧间的透视变换矩阵。
4.根据权利要求2所述的使用图传视频编码信息实现航拍图像快速拼接的方法，其特征在于将当前点和参考点匹配形成匹配点对后滤掉误匹配点对，再利用其余匹配点对计算透视变换矩阵；匹配点过滤方法如下：
5.根据权利要求1或2所述的使用图传视频编码信息实现航拍图像快速拼接的方法，其特征在于针对灰度图像，所述实时图传视频的编码信息还包括所有p帧的前一帧的预测权重值；预测权重值包括亮度权重值；利用亮度权重值对图像进行亮度调整后再使用整体变换矩阵将调整过亮度的图像序列投影到同一平面；设从编码的视频流中提取的当前帧预测权重值为wn, 则当前帧图像的亮度调整值为：fln=fl(n-1)/wn；其中，fln为第n帧图像的亮度调整值，fn-1为第n-1帧图像的亮度调整值。
6.根据权利要求1或2所述的使用图传视频编码信息实现航拍图像快速拼接的方法，其特征在于针对rgb格式图像，所述实时图传视频的编码信息还包括所有p帧的前一帧的预测权重值；预测权重值包括亮度权重值和色度权重值；将rgb格式图像转换成yuv格式的图像，利用亮度权重值和色度权重值对图像进行亮度和色度调整后再使用整体变换矩阵将调整过亮度和色度的图像序列投影到同一平面，最后再转回rgb格式；设从编码的视频流中提取的当前帧预测权重值为wn,则当前帧图像的亮度调整值为：fln=fl(n-1)/wn；其中，fln为第n帧图像的亮度调整值，fn-1为第n-1帧图像的亮度调整值；当前帧图像的色度调整值为：fsn=fs(n-1)/wn；其中，fsn为第n帧图像的色度调整值，fs(n-1)为第n-1帧图像的色度调整值。
7.根据权利要求1所述的使用图传视频编码信息实现航拍图像快速拼接的方法，其特征在于所述的图传视频采用av1编码方式，提取的实时图传视频的编码信息包括全局运动估计数据；使用全局运动估计数据构建仿射变换矩阵作为整体变换矩阵。
8.根据权利要求7所述的使用图传视频编码信息实现航拍图像快速拼接的方法，其特征在于所述的图传视频采用vvc编码方式，提取的实时图传视频的编码信息包括所有p帧的子块划分信息，子块的预测模式、参考帧id和运动矢量；针对当前帧图像中任一平移运动子块，将其中心点作为当前点，根据其运动矢量计算出的前一帧图像中对应子块的中心点作为参考点，将当前点和参考点匹配形成匹配点对；针对当前帧图像中任一仿射运动子块，其每个控制点与前一帧图像中对应子块的对应控制点构成匹配点对，前一帧图像中对应子块的对应控制点通过当前帧图像子块中控制点的运动矢量计算得到。
技术总结
本发明属于图像处理技术领域，涉及一种使用图传视频编码信息实现航拍图像快速拼接的方法，该方法提取实时图传视频的编码信息并利用编码信息构建整体变换矩阵；使用整体变换矩阵将图像序列投影到同一平面，然后进行相邻帧之间最佳缝合线查找和融合实现图像拼接。本发明能够实现图像的快速配准，极大的提高了全景拼接的速度。
技术研发人员：王丽伟,韩希珍,曲锋,孙金霞,王健
受保护的技术使用者：苏州东方克洛托光电技术有限公司
技术研发日：
技术公布日：2024/9/23