基于无人机视频流的光伏电站实时全景拼接方法及系统
本发明涉及全景拼接领域，特别是涉及一种基于无人机视频流的光伏电站实时全景拼接方法及系统。
背景技术：
1、现有技术针对光伏电站全景地图的重建方法包括：利用cad图进行平面匹配；利用航空三角测量等三维重建方法；通过较高的海拔创建整个光伏电站的正射影像这三种方式。难以观测到组件级别的图像信息，并且大多均为离线全景拼接，通常需要大量的计算资源。而实时在线重建的方法，通常是通过图像拼接和特征匹配来实现的，由于处理数据规模有限，在实际电站应用中存在局限。
技术实现思路
1、本发明的目的是提供一种基于无人机视频流的光伏电站实时全景拼接方法及系统，可确保实时对大型光伏电站全景地图进行重建。
2、为实现上述目的，本发明提供了如下方案：
3、第一方面，本发明提供了一种基于无人机视频流的光伏电站实时全景拼接方法，包括：
4、获取无人机拍摄的光伏组件视频。
5、将所述光伏组件视频输入至训练好的目标检测模型，识别所述光伏组件视频中的各光伏组件的组件目标框。
6、根据所述光伏组件视频和所述光伏组件的组件目标框，基于追踪算法，确定各光伏组件的组件标识。
7、对于每一所述光伏组件，根据光伏组件的组件信息以及所述光伏组件视频，基于组件定位方法，确定所述光伏组件的组件排序定位；所述组件信息包括组件目标框和组件标识。
8、对于每一所述光伏组件，根据所述光伏组件的组件信息以及所述光伏组件视频，基于图像生成方法，确定所述光伏组件的组件图像。
9、基于各所述光伏组件的组件图像和组件排序定位，对每个光伏组件进行行列排布，完成光伏电站的全景拼接。
10、可选的，在将所述光伏组件视频输入至训练好的目标检测模型之前，还包括：
11、对所述光伏组件视频进行视频处理，得到处理后的光伏组件视频；所述视频处理包括分段处理和设置像素阈值。
12、可选的，所述目标检测模型的训练过程为：
13、获取光伏电站中光伏组件的样本红外图像数据；所述样本红外图像数据是通过历史光伏组件视频得到的。
14、对所述样本红外图像数据进行组件框标注，得到标注后的样本红外图像数据。
15、基于所述标注后的样本红外图像数据，对yolov8目标检测算法进行训练，得到训练好的目标检测模型；其中，yolov8目标检测算法为在yolov5目标检测算法的基础上，将改进的cspdarket53作为骨干网络、将backbone中的csp模块替换为c2f模块、在neck部分中采用pan+fpn结构构建特征金字塔，以及采用解耦头结构作为检测部分后得到的算法。
16、可选的，对于每一所述光伏组件，根据光伏组件的组件信息以及所述光伏组件视频，基于组件定位方法，确定所述光伏组件的组件排序定位，具体包括：
17、根据光伏组件的组件信息以及所述光伏组件视频，对光伏组件视频中不同帧内重复出现的光伏组件进行组件过滤，得到过滤后的光伏组件。
18、根据过滤后的光伏组件的组件目标框，对光伏组件视频中同一帧内的光伏组件进行行列排序，得到排序好的组件位置数据。
19、根据所述排序好的组件位置数据以及所述过滤后的光伏组件的组件标识，按时序顺序，对光伏组件视频中各帧内光伏组件的组件标识进行比对，并更新组件的位置信息，当比对至光伏组件视频中的最后一帧时，得到所述光伏组件的组件排序定位。
20、可选的，对于每一所述光伏组件，根据所述光伏组件的组件信息以及所述光伏组件视频，基于图像生成方法，确定所述光伏组件的组件图像，具体包括：
21、根据所述光伏组件的组件信息以及所述光伏组件视频，基于畸变图像矫正法、组件图像提取法、图像融合法、残缺过滤法和反光滤除法，对所述光伏组件视频进行图像处理，得到确定所述光伏组件的组件图像。
22、可选的，所述追踪算法采用sort目标追踪算法。
23、可选的，所述光伏组件视频为实时红外视频流。
24、第二方面，本发明提供了一种基于无人机视频流的光伏电站实时全景拼接系统，包括：
25、视频获取模块，用于获取无人机拍摄的光伏组件视频。
26、检测模块，用于将所述光伏组件视频输入至训练好的目标检测模型，识别所述光伏组件视频中的各光伏组件的组件目标框。
27、追踪模块，用于根据所述光伏组件视频和所述光伏组件的组件目标框，基于追踪算法，确定各光伏组件的组件标识。
28、排序定位模块，用于对于每一所述光伏组件，根据光伏组件的组件信息以及所述光伏组件视频，基于组件定位方法，确定所述光伏组件的组件排序定位；所述组件信息包括组件目标框和组件标识。
29、成像模块，用于对于每一所述光伏组件，根据所述光伏组件的组件信息以及所述光伏组件视频，基于图像生成方法，确定所述光伏组件的组件图像。
30、拼接模块，用于基于各所述光伏组件的组件图像和组件排序定位，对每个光伏组件进行行列排布，完成光伏电站的全景拼接。
31、可选的，还包括：
32、视频处理模块，用于对所述光伏组件视频进行视频处理，得到处理后的光伏组件视频；所述视频处理包括分段处理和设置像素阈值。
33、可选的，还包括：训练模块，用于训练所述目标检测模型，具体包括：
34、图像获取子模块，用于获取光伏电站中光伏组件的样本红外图像数据；所述样本红外图像数据是通过历史光伏组件视频得到的。
35、标注子模块，用于对所述样本红外图像数据进行组件框标注，得到标注后的样本红外图像数据。
36、训练子模块，用于基于所述标注后的样本红外图像数据，对yolov8目标检测算法进行训练，得到训练好的目标检测模型；其中，yolov8目标检测算法为在yolov5目标检测算法的基础上，将改进的cspdarket53作为骨干网络、将backbone中的csp模块替换为c2f模块、在neck部分中采用pan+fpn结构构建特征金字塔，以及采用解耦头结构作为检测部分后得到的算法。
37、根据本发明提供的具体实施例，本发明公开了以下技术效果：
38、本发明提供了一种基于无人机视频流的光伏电站实时全景拼接方法及系统，方法包括：获取无人机拍摄的光伏组件视频；将所述光伏组件视频输入至训练好的目标检测模型，识别所述光伏组件视频中的各光伏组件的组件目标框；根据所述光伏组件视频和所述光伏组件的组件目标框，基于追踪算法，确定各光伏组件的组件标识；对于每一所述光伏组件，根据光伏组件的组件信息以及所述光伏组件视频，基于组件定位方法，确定所述光伏组件的组件排序定位；所述组件信息包括组件目标框和组件标识；对于每一所述光伏组件，根据所述光伏组件的组件信息以及所述光伏组件视频，基于图像生成方法，确定所述光伏组件的组件图像；基于各所述光伏组件的组件图像和组件排序定位，对每个光伏组件进行行列排布，完成光伏电站的全景拼接。本发明通过获取无人机采集的光伏组件视频；利用目标检测模型对光伏组件的视频进行组件识别，检测出光伏组件的边界框；把组件检测结果输送到目标追踪算法中，对每一个组件唯一跟踪；通过排序定位与图像生成策略，准确定位出每个组件的全局坐标，可以实现对光伏电站的实时全景拼接。
技术特征：
1.一种基于无人机视频流的光伏电站实时全景拼接方法，其特征在于，包括：
2.根据权利要求1所述的一种基于无人机视频流的光伏电站实时全景拼接方法，其特征在于，在将所述光伏组件视频输入至训练好的目标检测模型之前，还包括：
3.根据权利要求1所述的一种基于无人机视频流的光伏电站实时全景拼接方法，其特征在于，所述目标检测模型的训练过程为：
4.根据权利要求1所述的一种基于无人机视频流的光伏电站实时全景拼接方法，其特征在于，对于每一所述光伏组件，根据光伏组件的组件信息以及所述光伏组件视频，基于组件定位方法，确定所述光伏组件的组件排序定位，具体包括：
5.根据权利要求1所述的一种基于无人机视频流的光伏电站实时全景拼接方法，其特征在于，对于每一所述光伏组件，根据所述光伏组件的组件信息以及所述光伏组件视频，基于图像生成方法，确定所述光伏组件的组件图像，具体包括：
6.根据权利要求1所述的一种基于无人机视频流的光伏电站实时全景拼接方法，其特征在于，所述追踪算法采用sort目标追踪算法。
7.根据权利要求1所述的一种基于无人机视频流的光伏电站实时全景拼接方法，其特征在于，所述光伏组件视频为实时红外视频流。
8.一种基于无人机视频流的光伏电站实时全景拼接系统，其特征在于，包括：
9.根据权利要求8所述的一种基于无人机视频流的光伏电站实时全景拼接系统，其特征在于，还包括：
10.根据权利要求8所述的一种基于无人机视频流的光伏电站实时全景拼接系统，其特征在于，还包括：训练模块，用于训练所述目标检测模型，具体包括：
技术总结
本发明公开了一种基于无人机视频流的光伏电站实时全景拼接方法及系统，涉及全景拼接技术领域，该方法包括：获取无人机拍摄的光伏组件视频，输入至目标检测模型，识别光伏组件的组件目标框。基于追踪算法，确定各光伏组件的组件标识。根据组件信息和光伏组件视频，使用组件定位方法，确定光伏组件的排序定位。使用图像生成方法，生成光伏组件的组件图像。最后，基于组件图像和排序定位，完成光伏电站的全景拼接。本发明基于组件检测、追踪、排序定位、图像生成以及全景拼接。可实现实时对光伏电站全景的重建。
技术研发人员：许盛之,宁静,龚友康,江茜,宋奇龙,马勍,徐雨濛,任鹏
受保护的技术使用者：南开大学
技术研发日：
技术公布日：2024/9/23