一种基于视频三维重建的实时数字车场构建方法与流程

本发明涉及三维建模，特别涉及一种基于视频三维重建的实时数字车场构建方法。

背景技术：

1、 实时数字车场是一种结合了3d gis、视频监控和人工智能等先进技术的智能化停车场管理技术。它通过实时监控和数据分析，将分散的视频数据统一到三维模型中，实现了对车场内外车辆和设施的统一管理和优化。相较于传统的车场管理，实时数字车场能够充分利用监控数据，进行实时数据分析和异常检测，提高了安全性，同时分散的监控画面统一到同一个三维场景中，能够全面高效地进行车场及其周边环境监测。

2、现有的实时数字车场构建方法存在以下不足：（1）部分监控区域存在重复建模，导致最终数字车场中存在显示错误；（2）过度依赖当前时刻视频帧信息，无法获取目标的深度信息，导致重建的三维模型效果较差；（3）监控视频目标的三维模型和三维地图对齐方法繁琐，效率低下，导致实时数字车场存在显示延迟。因此，需要一种高效的，准确的实时数字车场构建方法。

技术实现思路

1、针对上述存在的问题，本发明提出了一种基于视频三维重建的实时数字车场构建方法，通过过滤监控重叠区域的信息，避免同一目标的重复建模；同时利用当前时刻与过去时间段的视频信息，获取目标的深度信息，从而提高三维模型的准确性；最后，通过简化监控视频目标的三维模型和三维地图对齐方法，保证数字车场的实时性。

2、为实现上述目的，本发明通过以下技术方案实现：

3、一种基于视频三维重建的实时数字车场构建方法，包括以下步骤：

4、s1、建立三维地图，首先获取车场中心经纬度坐标以及车场及周边的长度和宽度，再将其作为开源3d gis软件gvsig的输入，从而获得该车场及其周边的数字模型；

5、s2、对齐监控覆盖区域和三维地图，根据监控倾斜角度将车场数字模型变换为新的车场数字模型，基于新的车场数字模型，监控覆盖区域通过比例放缩直接与三维地图对齐；

6、s3、获取视频数据，将所有监控进行编号，并对每个监控获取其当前时刻以及前 k个时刻的视频片段；

7、s4、视频目标分析，通过目标检测算法确定视频中的目标以及目标的属性信息，其中属性信息包括该目标的关键点二维坐标；

8、s5、生成目标三维模型，先利用神经网络将目标关键点的二维坐标转换为三维关键点，再基于三维关键点，利用神经网络将生成三维模型，其中三维模型由多个三角形网格构成，根据监控覆盖区域和三维地图的比例关系，将三维网格顶点坐标进行放缩，得到该目标在数字车场中的三维模型；

9、s6、合成数字车场，将某一时刻所有监控中包含的目标的三维模型与三维地图进行合并，形成当前时刻下的数字车场。

10、作为本发明的进一步技术方案，步骤s1的具体过程为：

11、s11、获取目标车场中心经纬坐标（ x车场， y车场）；同时获取车场及其周边范围的长度与宽度（ h车场， w车场）；

12、s12、将开源3d gis软件gvsig表示为，建立的三维地图为：，三维地图为点集合，即{( x 0, y 0, z 0, c, σ)}，其中 x 0为点的 x坐标值， y 0为点的 y坐标值， z 0为点的 z坐标值， c为点的颜色， σ为点的透光度。

13、作为本发明的进一步技术方案，步骤s2得到的新的车场三维地图为：，其中，，， x 0为点的原 x坐标值， y 0为点的原 y坐标值， z 0为点的原 z坐标值， x为对齐后的 x坐标值， y为对齐后的 y坐标值， z为对齐后的 z坐标值， θ为监控倾斜角度为 θ。

14、作为本发明的进一步技术方案，步骤s4的具体过程为：

15、s41、检测二维关键点，针对任一监控的任一视频帧，其目标检测过程表示为：，其中表示二维关键点检测算法，表示第 n个监控在时刻 t的视频帧数据，表示第 n个监控在时刻 t的视频帧中包含的目标集合，得到的目标集合具体为，其中，表示第 n个监控在时刻 t的视频帧中包含的第 s个目标， s表示第 n个监控在时刻 t的视频帧中包含的目标总数，表示第 s个目标的第 j个关键的二维坐标， j表示第 s个目标的关键点数目；

16、s42、过滤重复目标，针对相邻监控中存在的相同目标，取编号小的监控，对第i个监控和第j个监控，i<j，其在t时刻分别包含的目标为和，通过遍历其中的每个目标，并计算相似度，若相似度超过阈值 α，则将第j个监控中的该目标去除，其中相似度计算函数为：，其中，表示第i个监控的第 s个目标，表示第j个监控的第 s个目标，表示相似度。

17、作为本发明的进一步技术方案，步骤s5的具体过程为：

18、s51、先基于目标的二维关键点，利用神经网络将其映射为三维关键点，针对单个目标，其三维关键点生成过程表示为：，其中表示神经网络，表示第 s个目标的三维关键点，第 s个目标的三维关键点集合具体表示为，其中,分别表示第j个关键点的x坐标值，y坐标值，z坐标值，颜色值和透光度；

19、s52、基于三维关键点坐标，利用transformer神经网络生成三维模型，三维模型生成过程表示为：，其中表示transformer神经网络，表示三维模型，表示 t时刻的目标。

20、作为本发明的进一步技术方案，步骤s6的具体过程表示为：，其中，表示 t时刻的数字车场，表示三维地图，表示放缩比例，表示第n个监控在 t时刻第 s个目标的三维模型。

21、与现有技术相比，本发明的有益效果是：

22、相较于现有的实时数字车场，本发明提出的方法能够过滤重复区域的目标，从而确保目标的唯一性，避免重复建模，提高了建模效率。

23、现有方法通常只基于当前时刻的视频帧进行三维建模，但是单帧视频缺乏目标的深度信息，而深度信息是确保三维模型准确性的重要因素，因此现有方法重建出的三维模型准确率较低，本发明提出的建模方法除了利用当前视频帧，还利用前 k个时刻的视频帧，视频片段中容易获取目标的深度信息，从而本发明提高了三维模型的准确性。

24、本发明通过调整三维地图坐标，从而达到了通过放缩实现监控画面和三维地图对齐的简化方法，避免了繁琐的计算过程，大幅提高了对齐效率，满足实时数据车场对实时性的要求。

技术特征：

1.一种基于视频三维重建的实时数字车场构建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述基于视频三维重建的实时数字车场构建方法，其特征在于，步骤s1的具体过程为：

3.根据权利要求2所述基于视频三维重建的实时数字车场构建方法，其特征在于，步骤s2得到的新的车场三维地图为：，其中，，，x0为点的原x坐标值，y0为点的原y坐标值，z0为点的原z坐标值，x为对齐后的x坐标值，y为对齐后的y坐标值，z为对齐后的z坐标值，θ为监控倾斜角度为θ。

4.根据权利要求3所述基于视频三维重建的实时数字车场构建方法，其特征在于，步骤s4的具体过程为：

5.根据权利要求4所述基于视频三维重建的实时数字车场构建方法，其特征在于，步骤s5的具体过程为：

6.根据权利要求5所述基于视频三维重建的实时数字车场构建方法，其特征在于，步骤s6的具体过程表示为：，其中，表示t时刻的数字车场，表示三维地图，表示放缩比例，表示第n个监控在t时刻第s个目标的三维模型。

技术总结
本发明涉及三维建模技术领域，特别涉及一种基于视频三维重建的实时数字车场构建方法，先建立三维地图，获得车场及其周边的数字模型；再对齐监控覆盖区域和三维地图，然后获取视频数据并对视频目标分析，最后生成目标三维模型并合成数字车场，将某一时刻所有监控中包含的目标的三维模型与三维地图进行合并，形成当前时刻下的数字车场，避免了重复建模，提高了建模效率和三维模型的准确性，满足实时数据车场对实时性的要求。

技术研发人员：刘寒松,王国强,王永,刘瑞,李越
受保护的技术使用者：松立控股集团股份有限公司
技术研发日：
技术公布日：2024/9/23