坑洼检测和分类的制作方法
本公开涉及用于提高车辆的乘员意识的系统和方法，并且更具体地，涉及用于为车辆确定道路状况的系统和方法。
背景技术：
1、为了提高乘员的舒适度、便利性和意识，车辆可能配备高级驾驶员辅助系统(advanced driver assistance system，adas)，旨在帮助乘员操作车辆。adas系统可以使用摄像机、雷达和激光雷达等各种传感器，检测和识别车辆周围的物体，包括其他车辆、行人和交通标志。当检测到潜在的碰撞或障碍物时，adas系统可能会向乘员发出警报或采取纠正措施，以防止或减轻碰撞。然而，当前的adas系统可能无法考虑所有可能的驾驶场景，并且可能无法检测道路上的某些障碍物，这些障碍物可能会影响车辆的操控或乘坐质量。
2、因此，虽然当前的adas系统和方法实现了它们的预期目的，但是需要一种用于确定车辆行驶的道路状况的新的改进的系统和方法。
技术实现思路
1、根据几个方面，本发明提供了一种用于确定车辆行驶的道路状况的系统。该系统包括照明装置，被配置为将光束投射到道路表面上。该系统还包括摄像机，被配置为捕获道路表面上的光束的图像。该系统还包括显示器，被配置为向车辆的乘员提供与道路状况相关的信息。该系统还包括车辆控制器，其与照明装置、摄像机和显示器电通信。车辆控制器被编程为使用照明装置将光束投射到道路表面上。车辆控制器还被编程为当车辆行驶时使用摄像机捕获道路表面上的光束的多个图像。车辆控制器还被编程为至少部分地基于道路表面上的光束的多个图像，确定道路表面的变形的严重程度。车辆控制器还被编程为至少部分地基于道路表面的变形的严重程度，使用显示器来通知车辆的乘员。
2、在本公开的另一方面，为了确定道路表面的变形的严重程度，车辆控制器还被编程为至少部分地基于多个图像，生成多个一维变形矩阵。为了确定道路表面的变形的严重程度，车辆控制器还被编程为至少部分地基于多个一维变形矩阵，生成二维变形矩阵。
3、在本公开的另一方面，为了生成多个一维变形矩阵中的一个，车辆控制器还被编程为对多个图像中的一个进行二值化，以产生二值化图像。为了生成多个一维变形矩阵中的一个，车辆控制器还被编程为确定二值化图像的多个点的多个变形值。为了确定多个变形值，将二值化图像与参考图像进行比较。为了生成多个一维变形矩阵中的一个，车辆控制器还被编程为生成多个一维变形矩阵中的一个。多个一维变形矩阵中的一个的多个元素中的每一个是多个变形值中的一个。
4、在本公开的另一方面，二维变形矩阵包括多个行和多个列。二维变形矩阵的多个行中的每一行是多个一维变形矩阵中的一个。
5、在本公开的另一方面，为了确定道路表面的变形的严重程度，车辆控制器还被编程为识别二维变形矩阵的多个变形元素。多个变形元素中的每一个的变形值大于或等于预定变形值阈值。为了确定道路表面的变形的严重程度，车辆控制器还被编程为至少部分地基于多个变形元素，确定二维变形矩阵的垂直变形值。为了确定道路表面的变形的严重程度，车辆控制器还被编程为至少部分地基于多个变形元素，确定二维变形矩阵的水平变形值。为了确定道路表面变形的严重程度，车辆控制器还被编程为至少部分地基于二维变形矩阵的多个变形值，确定变形的平均深度。为了确定道路表面的变形的严重程度，车辆控制器还被编程以确定至少一个车辆特性。为了确定道路表面的变形的严重程度，车辆控制器还被编程为至少部分地基于垂直变形值、水平变形值、平均深度、多个变形元素的数量，以及至少一个车辆特性，确定道路表面的变形的严重程度。
6、在本公开的另一方面，为了确定垂直变形值，车辆控制器还被编程为确定二维变形矩阵的每列中多个变形元素的数量。为了确定垂直变形值，车辆控制器还被编程为以使用公式计算二维变形矩阵的垂直变形值：
7、
8、其中，vd为垂直变形值，nc为二维变形矩阵的总列数，qc为二维变形矩阵的第i列中多个变形元素的数量。
9、在本公开的另一方面，为了确定水平变形值，车辆控制器还被编程为确定二维变形矩阵的每行中的多个变形元素的数量。为了确定水平变形值，车辆控制器进一步被编程为使用公式计算二维变形矩阵的水平变形值：
10、
11、其中，hd为水平方向的变形值，nr为二维变形矩阵的总行数，qr为二维变形矩阵的第i行中的多个变形元素的数量。
12、在本公开的另一方面，使用机器学习算法来确定道路表面的变形的严重程度，该机器学习算法被配置为接收垂直变形值、水平变形值、平均深度、多个变形元素的数量以及至少一个车辆特性作为输入，并产生变形的变形严重程度分类作为输出。
13、在本公开的另一方面，该系统还可以包括与车辆控制器电通信的全球导航卫星系统(gnss)和与车辆控制器电通信的车辆通信系统。车辆控制器还被编程为使用gnss确定车辆的位置。车辆控制器还被编程为使用车辆通信系统将变形的变形严重程度分类和车辆的位置传输到远程服务器。车辆控制器还被编程为至少部分地基于车辆的位置使用车辆通信系统从远程服务器检索车辆周围环境中的严重变形的数量。车辆控制器还被编程为至少部分地基于车辆周围环境中的严重变形的数量来调整系统的采样率。
14、在本公开的另一方面，显示器是与车辆控制器电通信的增强现实抬头显示器(ar-hud)系统。ar-hud系统包括乘员位置跟踪装置和ar-hud投影仪。为了通知车辆的乘员，车辆控制器还被编程为使用乘员位置跟踪装置，确定车辆的乘员的位置。为了通知车辆的乘员，车辆控制器还被编程为基于乘员的位置计算图形的尺寸、形状和位置。为了通知车辆的乘员，车辆控制器还被编程为使用ar-hud系统基于尺寸、形状和位置在车辆挡风玻璃上显示与道路表面的变形的严重程度相对应的图形。
15、根据几个方面，提供了一种用于确定车辆行驶的道路状况的方法。该方法包括使用照明装置将光束投射到道路表面上。该方法还包括当车辆行驶时使用摄像机捕获道路表面上的光束的多个图像。该方法还包括至少部分地基于光束的多个图像，确定道路表面的变形的严重程度。该方法还包括至少部分地基于道路表面的变形的严重程度，使用显示器通知车辆的乘员。
16、在本公开的另一方面，确定道路表面的变形的严重程度还可以包括至少部分地基于多个图像生成多个一维变形矩阵。确定道路表面的变形的严重程度还可以包括至少部分地基于多个一维变形矩阵生成二维变形矩阵。二维变形矩阵包括多个行和多个列。二维变形矩阵的多个行中的每一行是多个一维变形矩阵中的一个。
17、在本公开的另一方面，生成多个一维变形矩阵中的一个还可以包括对多个图像中的一个进行二值化，以产生二值化图像。生成多个一维变形矩阵中的一个还可以包括确定二值化图像的多个点的多个变形值。为了确定多个变形值，将二值化图像与参考图像进行比较。生成多个一维变形矩阵中的一个还可以包括生成多个一维变形矩阵中的一个。多个一维变形矩阵中的一个的多个元素中的每一个是多个变形值中的一个。
18、在本公开的另一方面，确定道路表面的变形的严重程度还可以包括识别二维变形矩阵的多个变形元素。多个变形元素中的每一个的变形值大于或等于预定变形值阈值。确定道路表面的变形的严重程度还可以包括至少部分地基于多个变形元素，确定二维变形矩阵的垂直变形值和水平变形值。确定道路表面的变形的严重程度还可以包括至少部分地基于二维变形矩阵的多个变形值，确定变形的平均深度。确定道路表面的变形的严重程度还可以包括确定至少一个车辆特性。确定道路表面的变形的严重程度还可以包括使用机器学习算法确定道路表面的变形的严重程度，该机器学习算法被配置为接收垂直变形值、水平变形值、平均深度、多个变形元素的数量以及至少一个车辆特性作为输入，并产生变形的变形严重程度分类作为输出。
19、在本公开的另一个方面，确定垂直变形值和水平变形值还可以包括确定二维变形矩阵的每列中的多个变形元素的数量。确定垂直变形值和水平变形值还可以包括使用公式计算二维变形矩阵的垂直变形值：
20、
21、其中，vd为垂直变形值，nc为二维变形矩阵的总列数，qc为二维变形矩阵的第i列中多个变形元素的数量。确定垂直变形值和水平变形值还可以包括使用公式计算二维变形矩阵的水平变形值：
22、
23、其中，hd为水平方向的变形值，nr为二维变形矩阵的总行数，qr为二维变形矩阵的第i行中的多个变形元素的数量。
24、在本公开的另一方面，该方法还包括使用全球导航卫星系统(gnss)确定车辆的位置。该方法还包括使用车辆通信系统将变形的变形严重程度分类和车辆的位置传输到远程服务器。该方法还包括至少部分地基于车辆的位置，使用车辆通信系统从远程服务器检索车辆周围环境中的严重变形的数量。该方法还包括至少部分地基于车辆周围环境中的严重变形的数量，调整方法的采样率。
25、在本公开的另一方面，通知车辆的乘员还包括使用乘员位置跟踪装置确定车辆的乘员的位置。通知车辆的乘员还包括基于乘员的位置计算图形的尺寸、形状和位置。通知车辆的乘员还包括使用增强现实抬头显示器(ar-hud)系统基于尺寸、形状和位置在车辆的挡风玻璃上显示与道路的表面变形的严重程度相对应的图形。
26、根据几个方面，提供了一种用于确定车辆行驶的道路状况的系统。该系统包括照明装置，被配置为将光束投射到道路表面上。该系统还包括摄像机，被配置为捕获道路表面上的光束的图像。该系统还包括增强现实抬头显示器(ar-hud)系统，被配置为向车辆的乘员提供与道路状况相关的信息。该系统还包括全球导航卫星系统(gnss)，被配置为确定车辆的位置。该系统还包括车辆通信系统，被配置为与远程服务器进行通信。该系统还包括车辆控制器，其与照明装置、摄像机、ar-hud系统、gnss和车辆通信系统电通信。车辆控制器被编程为至少部分地基于采样率，重复执行多个指令。多个指令包括使用gnss确定车辆的位置。该多个指令还包括至少部分地基于车辆的位置，使用车辆通信系统从远程服务器检索车辆周围环境中的严重变形的数量。该多个指令还包括至少部分地基于车辆周围环境中的严重变形的数量，调整采样率。该多个指令还包括使用照明装置将光束投射到道路表面上。该多个指令还包括当车辆行驶时使用摄像机捕获道路表面上的光束的多个图像。该多个指令还包括至少部分地基于光束的多个图像，确定道路表面的变形的严重程度。该多个指令还包括至少部分地基于道路表面的变形的严重程度，使用ar-hud系统通知车辆的乘员。
27、在本公开的另一方面，为了确定道路表面的变形的严重程度，车辆控制器还被编程为至少部分地基于多个图像，生成多个一维变形矩阵。为了生成多个一维变形矩阵中的一个，车辆控制器还被编程为对多个图像中的一个进行二值化，以产生二值化图像。为了生成多个一维变形矩阵中的一个，车辆控制器还被编程为确定二值化图像的多个点的多个变形值。为了确定多个变形值，将二值化图像与参考图像进行比较。为了生成多个一维变形矩阵中的一个，车辆控制器还被编程为生成多个一维变形矩阵中的一个，其中多个一维变形矩阵中的一个的多个元素中的每一个是多个变形值中的一个。为了确定道路表面的变形的严重程度，车辆控制器还被编程为至少部分地基于多个一维变形矩阵，生成二维变形矩阵。二维变形矩阵包括多个行和多个列。二维变形矩阵的多个行中的每一行是多个一维变形矩阵中的一个。
28、在本公开的另一方面，为了确定道路表面的变形的严重程度，车辆控制器还被编程为识别二维变形矩阵的多个变形元素。多个变形元素中的每一个的变形值大于或等于预定变形值阈值。为了确定道路表面的变形的严重程度，车辆控制器还被编程为至少部分地基于多个变形元素，确定二维变形矩阵的垂直变形值。为了确定道路表面的变形的严重程度，车辆控制器还被编程为至少部分地基于多个变形元素，确定二维变形矩阵的水平变形值。为了确定道路表面的变形的严重程度，车辆控制器还被编程为至少部分地基于二维变形矩阵的多个变形值，确定变形的平均深度。为了确定道路表面的变形的严重程度，车辆控制器还被编程为确定至少一个车辆特性。为了确定道路表面的变形的严重程度，车辆控制器还被编程为使用机器学习算法确定道路表面的变形的严重程度，该机器学习算法被配置为接收垂直变形值、水平变形值、平均深度、多个变形元素的数量以及至少一个车辆特性作为输入，并产生变形的变形严重程度分类作为输出。
29、根据本文提供的描述，进一步的适用领域将变得显而易见。应当理解，说明书和具体示例仅仅是为了说明的目的，而不旨在限制本公开的范围。
技术特征：
1.一种用于确定车辆行驶的道路状况的系统，所述系统包括：
2.根据权利要求1所述的系统，其中，为了确定所述道路表面的变形的严重程度，所述车辆控制器还被编程为：
3.根据权利要求2所述的系统，其中，为了生成所述多个一维变形矩阵中的一个，所述车辆控制器还被编程为：
4.根据权利要求3所述的系统，其中，所述二维变形矩阵包括多个行和多个列，并且其中，所述二维变形矩阵的所述多个行中的每一行是所述多个一维变形矩阵中的一个。
5.根据权利要求4所述的系统，其中，为了确定所述道路表面的变形的严重程度，所述车辆控制器还被编程为：
6.根据权利要求5所述的系统，其中，为了确定所述垂直变形值，所述车辆控制器还被编程为：
7.根据权利要求5所述的系统，其中，为了确定所述水平变形值，所述车辆控制器还被编程为：
8.根据权利要求5所述的系统，其中，所述道路表面的变形的严重程度使用机器学习算法确定，所述机器学习算法被配置为接收所述垂直变形值、所述水平变形值、所述平均深度、所述多个变形元素的数量以及所述至少一个车辆特性作为输入，并产生所述变形的变形严重程度分类作为输出。
9.根据权利要求8所述的系统，其中，所述系统还包括与所述车辆控制器电通信的全球导航卫星系统gnss和与所述车辆控制器电通信的车辆通信系统，并且其中，所述车辆控制器还被编程为：
10.根据权利要求1所述的系统，其中，所述显示器是与所述车辆控制器电通信的增强现实抬头显示器ar-hud系统，其中，所述ar-hud系统包括乘员位置跟踪装置和ar-hud投影仪，并且其中，为了通知所述车辆的乘员，所述车辆控制器还被编程为：
技术总结
本发明涉及一种用于确定车辆行驶的道路状况的系统，包括照明装置、摄像机、显示器以及与照明装置、摄像机和显示器电通信的车辆控制器。车辆控制器被编程为使用照明装置将光束投射到道路表面上。车辆控制器还被编程为当车辆行驶时使用摄像机捕获道路表面上的光束的多个图像。车辆控制器还被编程为至少部分地基于道路表面上的光束的多个图像，确定道路表面的变形的严重程度。车辆控制器还被编程为基于道路表面变形的严重程度，使用显示器通知车辆的乘员。
技术研发人员：M·沙玛,J·F·什切尔巴,D·K·格林姆
受保护的技术使用者：通用汽车环球科技运作有限责任公司
技术研发日：
技术公布日：2024/9/23