一种基于跨模态掩膜匹配的激光雷达-相机在线标定方法

本发明涉及多传感器数据融合，尤其是涉及一种基于跨模态掩膜匹配的激光雷达-相机在线标定方法。

背景技术：

1、激光雷达-相机外参标定算法是激光雷达和相机传感器融合的基础，能够通过标定好的外参将激光雷达获取的相对准确的深度投影到相机的图像上，让两种传感器的优势互补，使机器人系统获得更强的感知能力。

2、在相关技术中，现有激光雷达-相机外参标定算法存在以下缺陷：

3、需要特殊的标定目标：目前在这一领域较为成熟的方法仍是一些离线方法，这种方法需要特定类型的标定目标，例如棋盘格图案、带孔洞的定制化3d标定板等。

4、需要大量的数据采集：现有的方法往往需要多张点云和图像作为输入完成标定，这使标定过程需要依赖前期大量的数据准备工作，使整体的效率降低。

5、受限于固定的场景类型：现有的在线标定方法尽管不需要依赖特定的标定目标，但要求环境中具有一些固定的特征类型，例如线特征、平面特征等。对于一些特征较为稀疏的场景，或者与算法需要提取的特征不够匹配的场景，此类算法就会出现标定精度的下降。这种对于特定场景类型的依赖很大程度上限制了在线标定的鲁棒性和应用能力。

6、上述方法存在的缺陷是本领域技术人员亟待解决的问题。

技术实现思路

1、本发明的目的就是为了提供一种提高标定结果的精确度的基于跨模态掩膜匹配的激光雷达-相机在线标定方法。

2、本发明的目的可以通过以下技术方案来实现：

3、一种基于跨模态掩膜匹配的激光雷达-相机在线标定方法，包括以下步骤：

4、步骤1、获取激光雷达-相机传感器系统的点云和rgb图像；

5、步骤2、采用虚拟相机对所述点云的反射率强度进行投影，生成反射率强度投影图像；

6、步骤3、基于所述反射率强度投影图像和rgb图像，采用图像分割大模型进行图像分割，分别得到反射率强度投影图像掩膜和rgb图像掩膜；

7、步骤4、对所述反射率强度投影图像掩膜和rgb图像掩膜进行粗匹配，得到稀疏匹配结果；

8、步骤5、基于所述稀疏匹配结果估算仿射变换矩阵，利用估算出的仿射变换矩阵对所述反射率强度投影图像掩膜进行变换；

9、步骤6、基于所述rgb图像掩膜和变换后的反射率强度投影图像掩膜进行精匹配，获得稠密匹配结果；

10、步骤7、基于所述稠密匹配结果，采用pnp求解器进行求解，获得激光雷达-相机之间的外参矩阵。

11、进一步地，所述图像分割大模型包括sam模型、seem模型和isnet模型中的一种。

12、进一步地，还包括：

13、将所述外参矩阵传递给虚拟相机，使其重新拍摄，实现虚拟相机位姿的调整，其中，所述虚拟相机为能够迭代位姿的虚拟相机；

14、所述虚拟相机根据调整后的位姿重新拍摄所述反射率强度投影图像，并重复步骤3-步骤7对外参矩阵进行迭代优化，得到最终的激光雷达-相机之间的外参矩阵。

15、进一步地，所述分别得到反射率强度投影图像掩膜和rgb图像掩膜的步骤包括：

16、采用图像分割大模型进行图像分割对所述反射率强度投影图像和rgb图像进行图像分割，分别得到原始反射率强度投影图像掩膜和原始rgb图像掩膜；

17、基于所述原始反射率强度投影图像掩膜和原始rgb图像掩膜进行角点提取，分别得到最终的反射率强度投影图像掩膜和rgb图像掩膜。

18、进一步地，所述得到稀疏匹配结果的步骤包括：

19、基于所述反射率强度投影图像掩膜和rgb图像掩膜，构建实例匹配代价矩阵；

20、基于所述实例匹配代价矩阵，取同时满足行和列最小值的元素对应的匹配结果作为稀疏匹配结果。

21、进一步地，所述实例匹配代价矩阵通过实例匹配代价计算函数进行构建，所述实例匹配代价计算函数的表达式为：

22、

23、式中，hm为掩膜的区域匹配代价函数，为反射率强度投影图像掩膜，wc、wv分别为rgb图像和反射率强度投影图像中掩膜的宽，hc、hv分别为它们的高，为核心掩膜匹配结果构成的集合，cc为rgb掩膜的2d形心，为反射率强度投影掩膜的2d形心的矫正后的位置，为关联到的核心掩膜，为关联到的核心掩膜，为发射率强度投影图像中的掩膜的角点坐标。

24、进一步地，所述仿射变换矩阵的估算步骤包括：

25、基于所述稀疏匹配结果，确定反射率强度投影图像掩膜和rgb图像掩膜各自的角点和掩膜实例中心；

26、基于所述角点和掩膜实例中心估算出仿射变换矩阵中的旋转分量、缩放分量和平移分量，得到估算出的仿射变换矩阵，所述旋转分量、缩放分量和平移分量的表达式分别为：

27、

28、ta＝cc-sracv

29、式中，ra为旋转分量，θ为反射率强度投影图像掩膜和rgb图像掩膜各自的角点到形心的向量之间的夹角，s为缩放分量，ta为平移分量。

30、进一步地，所述夹角θ的估算表达式为：

31、

32、式中，n为掩膜之间的同名角点总数，分别为单位向量[0,1]t和[1,0]t，为反射率强度投影图像掩膜中的角点坐标，为rgb图像掩膜中的角点坐标，cc为rgb掩膜的2d形心。

33、进一步地，所述获得稠密匹配结果的步骤包括：

34、基于所述rgb图像掩膜和变换后的反射率强度投影图像掩膜进行粗匹配，获得初始稠密匹配结果；

35、基于所述初始稠密实例匹配结果构建角点匹配代价矩阵；

36、基于所述角点匹配代价矩阵，取同时满足行和列最小值的元素对应的匹配结果作为最终的稠密匹配结果。

37、进一步地，所述角点匹配代价矩阵通过角点匹配代价计算函数进行构建，所述角点匹配代价计算函数的表达式为：

38、

39、式中，hp为角点匹配代价函数，vv为反射率强度投影图像掩膜中的角点，vc为rgb图像掩膜中的角点，为vv经过仿射变换矫正过的结果，为cv经过仿射变换矫正过的结果，vc为反射率强度投影图像掩膜中的角点，cc为rgb掩膜的2d形心。

40、与现有技术相比，本发明具有以下有益效果：

41、(1)本发明在反射率强度投影图像掩膜和rgb图像掩膜的两种跨模态掩膜匹配过程中利用两阶段的粗匹配方法和精匹配方法，通过该两阶段的由粗到精的跨模态掩膜匹配完成可靠的跨模态高精度特征关联，从而得到更为精确的标定结果。

42、(2)本发明聚焦于特征关联，并通过引入仿射变换矩阵去调整反射率强度投影图像掩膜，能够从一定程度上消除传感器从不同视角采集到的数据的位姿差异，从而让匹配代价的计算更为准确，能够更加反映实际的匹配代价，解决了目前激光雷达和相机传感器数据之间的跨模态特征匹配面临的困难。

43、(3)相比传统离线方法，本发明方法不需要依赖特殊的标定目标，也大大降低了对标定场景的依赖，能够在自然场景种自动寻找可靠的特征，并实现高精度的标定。

技术特征：

1.一种基于跨模态掩膜匹配的激光雷达-相机在线标定方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于跨模态掩膜匹配的激光雷达-相机在线标定方法，其特征在于，所述图像分割大模型包括sam模型、seem模型和isnet模型中的一种。

3.根据权利要求1所述的一种基于跨模态掩膜匹配的激光雷达-相机在线标定方法，其特征在于，还包括：

4.根据权利要求1所述的一种基于跨模态掩膜匹配的激光雷达-相机在线标定方法，其特征在于，所述分别得到反射率强度投影图像掩膜和rgb图像掩膜的步骤包括：

5.根据权利要求1所述的一种基于跨模态掩膜匹配的激光雷达-相机在线标定方法，其特征在于，所述得到稀疏匹配结果的步骤包括：

6.根据权利要求5所述的一种基于跨模态掩膜匹配的激光雷达-相机在线标定方法，其特征在于，所述实例匹配代价矩阵通过实例匹配代价计算函数进行构建，所述实例匹配代价计算函数的表达式为：

7.根据权利要求1所述的一种基于跨模态掩膜匹配的激光雷达-相机在线标定方法，其特征在于，所述仿射变换矩阵的估算步骤包括：

8.根据权利要求7所述的一种基于跨模态掩膜匹配的激光雷达-相机在线标定方法，其特征在于，所述夹角θ的估算表达式为：

9.根据权利要求1所述的一种基于跨模态掩膜匹配的激光雷达-相机在线标定方法，其特征在于，所述获得稠密匹配结果的步骤包括：

10.根据权利要求9所述的一种基于跨模态掩膜匹配的激光雷达-相机在线标定方法，其特征在于，所述角点匹配代价矩阵通过角点匹配代价计算函数进行构建，所述角点匹配代价计算函数的表达式为：

技术总结
本发明涉及一种基于跨模态掩膜匹配的激光雷达‑相机在线标定方法，包括以下步骤：获取激光雷达‑相机传感器系统的点云和RGB图像；采用虚拟相机对点云的反射率强度进行投影，生成反射率强度投影图像；采用图像分割大模型进行图像分割，分别得到反射率强度投影图像掩膜和RGB图像掩膜；对反射率强度投影图像掩膜和RGB图像掩膜进行粗匹配，得到稀疏匹配结果；估算仿射变换矩阵，对反射率强度投影图像掩膜进行变换；基于RGB图像掩膜和变换后的反射率强度投影图像掩膜进行精匹配，获得稠密匹配结果；采用PnP求解器进行求解，获得激光雷达‑相机之间的外参矩阵。与现有技术相比，本发明具有高精度、降低对标定场景的依赖等优点。

技术研发人员：范睿,黄知为,张屹康
受保护的技术使用者：同济大学
技术研发日：
技术公布日：2024/9/23