稳健的激光雷达到相机传感器对准的制作方法
本公开总体上涉及车辆中的车辆传感器对准系统(vehicle sensor alignmentsystem)，并且更具体地涉及用于在车辆中的图像处理中使用的激光雷达到相机对准信息的方法和装置。
背景技术：
1、为了提高车辆的安全性和性能，现代车辆越来越多地配备有越来越多的电子系统。这些电子系统可以包括传感器，用于使诸如自主和半自主车辆的车辆能够感测其环境并在很少或没有用户输入的情况下导航。自主车辆使用诸如雷达、激光雷达、图像传感器等感测设备来感测其环境。自主车辆系统进一步使用来自全球定位系统(gps)技术、导航系统、车辆对车辆通信、车辆对基础设施技术和/或线控驾驶系统的信息来导航车辆。
2、虽然自主车辆和半自主车辆提供了许多优于传统车辆的潜在优势，但在某些情况下，可能期望改进车辆的操作。例如，自主车辆特征依赖于传感器数据被准确和精确地转换成真实世界坐标，用于数据关联和传感器融合。许多系统组合来自不同传感器的数据，以实现更准确的预测。为了组合来自不同传感器的数据，必须通过校准参数(被称为外部参数)来对准传感器。因此，希望提供用于使用估计的外部参数对准车辆的传感器的改进的系统和方法。此外，结合附图和前述技术领域和背景技术，根据后续详细描述和所附权利要求，本发明的其他期望特征和特性将变得显而易见。
技术实现思路
1、车辆传感器系统校准方法。执行车辆控制算法的车辆控制系统可操作以接收来自车辆传感器的数据，确定从后方停车车辆条件，响应于从后方停车条件被满足而生成传感器数据，并且处理数据并从传感器对、激光雷达和相机提取特征，然后我们执行迭代对准过程来估计对准校正值和/或传感器对准校正值。根据示例性实施例，车辆传感器系统包括。
2、根据示例性实施例的一个方面，一种装置，包括：具有第一视场的激光雷达传感器，用于生成表示第一视场上的多个深度检测的点云；具有第二视场的相机，用于生成第二视场的图像；处理器，用于响应于第一视场内的点云和第二视场检测物体；确定物体和主车辆之间的距离以及物体的速度；响应于物体静止、主车辆静止以及物体和主车辆之间的距离小于阈值距离，检测第一视场的多个深度点云；将多个深度点云聚集成聚集的深度点云；响应于聚集的深度点云检测物体的边缘的第一位置；在图像上使用边缘检测算法检测物体的边缘的第二位置；响应于第一位置和第二位置之间的差异，生成激光雷达到相机的对准；以及车辆控制器，用于响应于激光雷达到相机的对准和由相机捕获的后续图像来控制主车辆。
3、根据示例性实施例的另一方面，其中，第二视场比第一视场窄。
4、根据示例性实施例的另一方面，其中，相机是远程相机，并且其中，第二视场比第一视场窄。
5、根据示例性实施例的另一方面，检测在第一视场和第二视场中的后续物体，响应于后续物体静止、主车辆静止以及后续物体和主车辆之间的距离小于阈值距离，检测第一视场的后续多个深度点云，以及响应于后续多个深度点云，细化激光雷达到相机的对准。
6、根据示例性实施例的另一方面，其中，阈值距离为10米。
7、根据示例性实施例的另一方面，其中，物体是主车辆前方的邻近车辆。
8、根据示例性实施例的另一方面，其中，多个深度点云包括第一视场的20个激光雷达扫描。
9、根据示例性实施例的另一方面，其中，使用rcnn车辆分割方法和canny边缘检测方法中的至少一种来检测物体的边缘的第二位置。
10、根据示例性实施例的另一方面，其中，通过对聚集的深度点云应用具有噪声聚类的应用的基于密度的空间聚类以及随后的凸包算法来检测边缘的第一位置。
11、根据示例性实施例的另一方面，一种方法，包括由激光雷达检测第一视场的深度点云；由相机捕获第二视场的图像；由车辆控制器检测主车辆的速度；检测第一视场和第二视场内的物体；
12、确定物体和主车辆之间的距离以及物体的速度；响应于物体静止、主车辆静止以及物体和主车辆之间的距离小于阈值距离，检测第一视场的多个深度点云；将多个深度点云聚集成聚集的深度点云；响应于聚集的深度点云检测物体的边缘的第一位置；在图像上使用边缘检测算法检测物体的边缘的第二位置；响应于第一位置和第二位置之间的差异，生成激光雷达到相机的对准；以及响应于激光雷达到相机的对准和由相机捕获的后续图像来控制车辆。
13、根据示例性实施例的另一方面，其中，第二视场比第一视场窄。
14、根据示例性实施例的另一方面，其中，相机是具有小于30度的水平视场的前视远程相机。
15、根据示例性实施例的另一方面，其中，阈值距离为10米。
16、根据示例性实施例的另一方面，其中，物体是主车辆前方的邻近车辆。
17、根据示例性实施例的另一方面，其中，物体被确定为相对于主车辆是静止的。
18、根据示例性实施例的另一方面，其中，多个深度点云包括第一视场的至少20个激光雷达扫描。
19、根据示例性实施例的另一方面，其中，使用rcnn分割方法和canny边缘检测方法中的至少一种来检测物体的边缘的第二位置。
20、根据示例性实施例的另一方面，其中，通过对聚集的深度点云应用具有噪声聚类的应用的基于密度的空间聚类以及随后的凸包算法来检测边缘的第一位置。
21、根据示例性实施例的另一方面，一种车辆控制系统，包括：具有第一视场的激光雷达传感器，用于生成表示第一视场上的多个深度检测的点云；具有第二视场的相机，用于生成第二视场的图像；处理器，用于响应于第一视场内的点云和第二视场检测物体；确定物体和主车辆之间的距离以及物体的速度；响应于物体静止、主车辆静止以及物体和主车辆之间的距离小于阈值距离，检测第一视场的多个深度点云；将多个深度点云聚集成聚集的深度点云；响应于聚集的深度点云检测物体的边缘的第一位置；在图像上使用边缘检测算法检测物体的边缘的第二位置；响应于第一位置和第二位置之间的差异，生成激光雷达到相机的对准；以及车辆控制器，用于响应于激光雷达到相机的对准和由相机捕获的后续图像来控制主车辆。
22、根据示例性实施例的另一方面，其中，使用rcnn分割方法和canny边缘检测方法中的至少一种来检测物体的边缘的第二位置，并且通过对聚集的深度点云应用具有噪声聚类的应用的基于密度的空间聚类以及随后的凸包算法来检测边缘的第一位置。
技术特征：
1.一种装置，所述装置包括：
2.根据权利要求1所述的装置，其中，所述第二视场比所述第一视场窄。
3.根据权利要求1所述的装置，其中，所述相机是远程相机，并且其中，所述第二视场比所述第一视场窄。
4.根据权利要求1所述的装置，进一步包括检测在所述第一视场和所述第二视场中的后续物体，响应于所述后续物体静止、所述主车辆静止以及所述后续物体和所述主车辆之间的所述距离小于阈值距离，检测所述第一视场的后续多个深度点云，以及响应于所述后续多个深度点云，细化所述激光雷达到相机的对准。
5.根据权利要求1所述的装置，其中，所述阈值距离为10米。
6.根据权利要求1所述的装置，其中，所述物体是所述主车辆前方的邻近车辆。
7.根据权利要求1所述的装置，其中，所述多个深度点云包括所述第一视场的20个激光雷达扫描。
8.根据权利要求1所述的装置，其中，使用rcnn车辆分割方法和canny边缘检测方法中的至少一种来检测所述物体的所述边缘的所述第二位置。
9.根据权利要求1所述的装置，其中，通过对所述聚集的深度点云应用具有噪声聚类的应用的基于密度的空间聚类以及随后的凸包算法来检测所述边缘的所述第一位置。
10.一种方法，所述方法包括：
技术总结
一种传感器对准方法，包括：检测第一传感器视场和第二传感器视场内的物体；响应于物体静止、主车辆静止以及物体和主车辆之间的距离小于阈值距离，检测第一视场的多个深度点云；将多个深度点云聚集成聚集的深度点云；响应于聚集的深度点云检测物体的边缘的第一位置；在图像上使用边缘检测算法检测物体的边缘的第二位置；响应于第一位置和第二位置之间的差异，生成激光雷达到相机的对准。
技术研发人员：Y·A·奥马尔,余浩,张文德
受保护的技术使用者：通用汽车环球科技运作有限责任公司
技术研发日：
技术公布日：2024/9/23