一种多模态多目标检测方法和装置、系统、存储介质

本发明属于自动驾驶，尤其涉及一种多模态多目标检测方法和装置、系统、存储介质。

背景技术：

1、在大规模户外场景中，点云数据通常表现为三维空间中表达空间分布和表面特征的海量点集。毫米波雷达、lidar(lightlaser detection and ranging)、tof(timeofflight)摄像头等设备采集三维点云，进一步实现车辆的智能感知。物体检测的本质是确定物体在视场中的位置和大小，以便人眼能够快速准确地识别。二维目标检测目前已经取得了快速的发展，并应用于许多实际工程中。受二维目标检测技术发展的启发，三维点云目标检测技术发展迅速。车辆的智能感知构成了3d物体检测实际实施的关键领域。目前3d物体检测算法通常未能充分利用3d点云的空间信息，过度依赖于传统的2d检测框架，从而限制了检测精度。传统算法在特征融合方面效率不高，难以有效对齐3d点云和2d图像特征。同时，处理3d点云数据的计算复杂度高，影响实时性。此外，一些算法在应对点云密度不均或复杂环境时鲁棒性不足，影响了检测性能的稳定性。

技术实现思路

1、本发明要解决的技术问题是，提供一种多模态多目标检测方法和装置、系统、存储介质，克服现有3d物体检测方法在精度、鲁棒性和实时性方面的局限性。

2、为实现上述目的，本发明采用如下的技术方案：

3、一种模态多目标检测方法，包括以下步骤：

4、步骤s1、获取3d lidar点云和2d街道图像；

5、步骤s2、根据3d lidar点云和2d街道图像，通过级联双向方式进行融合，得到3dlidar点云和2d街道图像之间的特征对应关系；

6、步骤s3、根据3d lidar点云和2d街道图像之间的特征对应关系进行目标检测；

7、步骤s4、采用非极大值抑制方法去除重叠的检测框。

8、作为优选，所述步骤1中，对3d lidar点云进行数据增强处理。

9、作为优选，所述步骤3包括：

10、步骤s31、根据3d lidar点云和2d街道图像之间的特征对应关系，通过强制性平均置信度计算方法得到覆盖潜在目标的候选框；

11、步骤s32、调整候选框的位置、大小和姿态，使候选框拟合潜在的目标；

12、步骤s33、优化候选框的位置、大小和姿态，得到细化的候选框。

13、本发明还提供一种模态多目标检测装置，包括：

14、获取模块，用于获取3d lidar点云和2d街道图像；

15、融合模块，用于根据3d lidar点云和2d街道图像，通过级联双向方式进行融合，得到3d lidar点云和2d街道图像之间的特征对应关系；

16、检测模块，用于根据3d lidar点云和2d街道图像之间的特征对应关系进行目标检测；

17、后处理模块，用于去除重叠的检测框。

18、作为优选，获取模块对3d lidar点云进行数据增强处理。

19、作为优选，检测模块包括：

20、第一处理单元，用于根据3d lidar点云和2d街道图像之间的特征对应关系，通过强制性平均置信度计算方法得到覆盖潜在目标的候选框；

21、第二处理单元，用于调整候选框的位置、大小和姿态，使候选框拟合潜在的目标；

22、第三处理单元，用于优化候选框的位置、大小和姿态，得到细化的候选框。

23、本发明还提供一种多模态多目标检测系统，包括：存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行多模态多目标检测方法。

24、本发明还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行多模态多目标检测方法。

25、本发明采用融合3d激光雷达点云和2d街景图像数据，实现对道路场景中三维目标的精确检测；本发明通过级联双向融合方法，充分融合了3d点云和2d图像之间的特征对应关系，提高了特征表示的准确性和丰富性，从而更准确地识别和定位目标。此外，引入数据增强处理解决了点云数据密度不均的问题，提高在各种复杂场景下的适用性和鲁棒性。

技术特征：

1.一种模态多目标检测方法，其特征在于，包括以下步骤：

2.如权利要求1所述的模态多目标检测方法，其特征在于，所述步骤1中，对3d lidar点云进行数据增强处理。

3.如权利要求2所述的模态多目标检测方法，其特征在于，所述步骤3包括：

4.一种模态多目标检测装置，其特征在于，包括：

5.如权利要求4所述的模态多目标检测装置，其特征在于，获取模块对3dlidar点云进行数据增强处理。

6.如权利要求5所述的模态多目标检测装置，其特征在于，检测模块包括：

7.一种复杂网络脆弱性评估多模态多目标检测系统，包括：存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1-3中的任一项所述的多模态多目标检测方法。

8.一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行如权利要求1-3中的任一项所述的多模态多目标检测方法。

技术总结
本发明公开一种模态多目标检测方法和装置、系统、存储介质，包括以下步骤：步骤S1、获取3D LiDAR点云和2D街道图像；步骤S2、根据3D LiDAR点云和2D街道图像，通过级联双向方式进行融合，得到3D LiDAR点云和2D街道图像之间的特征对应关系；步骤S3、根据3D LiDAR点云和2D街道图像之间的特征对应关系进行目标检测；步骤S4、采用非极大值抑制方法去除重叠的候选框。采用本发明的技术方案，克服现有3D物体检测方法在精度、鲁棒性和实时性方面的局限性。

技术研发人员：徐昇,池悦,周璇,夏少波
受保护的技术使用者：南京林业大学
技术研发日：
技术公布日：2024/9/23