用于环境建模的方法和设备、计算机程序产品和存储介质与流程

本发明涉及用于环境建模、特别是在车辆中的驾驶员辅助系统中的环境建模的一种方法和一种设备，具有第一传感器系统，该第一传感器系统探测车辆环境中的对象并且输出传感器数据，具有处理系统，给该处理系统输送所述传感器数据，并且该处理系统借助于所述传感器数据分类和定位探测的对象，具有通信装置，通过该通信装置传输另外的传感器数据，并且该通信装置将所传输的传感器数据输送给该处理系统，其中，所传输的另外的传感器数据是在该第一传感器系统的远场中的对象，并且借助所述另外的传感器数据进行在该第一传感器系统的远场中的对象的分类和定位，其方式是，所传输的数据以高精度进行在该远场中的该对象的分类和定位。

背景技术：

1、由文献de 10 2017 203 944 a1已知用于在机动车的环境中的对象的分类的方法，其中，借助该机动车的环境传感器检测该对象，并且确定该对象的至少一个特征，其中，将该特征与至少一个参考特征进行比较，并且根据该比较确定相似性值，其中，如果该相似性值大于相似性边界值，则将该对象配属于具有该参考特征的预确定的对象类，其中，如果该相似性值小于相似性边界值，则根据该特征产生与预确定的对象类不同的新的对象类，并且将该对象配属于该新的对象类。

技术实现思路

1、本发明的核心在于，改善用于识别在传感器的环境中的对象的、特别是用于车辆中的驾驶员辅助系统的环境探测。这通过以下方式实现：其方式是，使得能够实现经改善的、特别是对于车辆的远场中的对象的分类和定位，其方式是，针对远对象，与自身的、特别是车辆自身的传感器系统能够提供的相比，以更高的精度提供信息。

2、根据本发明，这通过根据本发明的一种用于环境建模、特别是用于车辆中的驾驶员辅助系统的环境建模的方法、一种用于环境建模、特别是用于车辆中的驾驶员辅助系统的环境建模的设备、一种计算机程序产品和一种机器可读的存储介质来解决。有利的扩展方案和构型能够通过在优选实施方式中所列举的措施实现。

3、术语“标签(labels)”在本发明的范畴内在以下意义上使用：涉及注释、即描述和附加信息，其涉及对象的特征并且是值得信任的。“加标签(labeln)”在此表示：给对象分配至少一个标签。在监督式机器学习中，以“标签”表示数据的以下类别：应将数据集配属到所述类别中。

4、不能够没有标签地训练算法、如神经网络。这些标签是用于将统计模型针对“结论”优化的基础。缺少标签因此表明不能够进行优化。

5、有利的是，在用于环境建模的该方法中使用第一传感器系统，该第一传感器系统探测传感器环境中的对象并且输出传感器数据。在此，该环境建模例如可以针对在车辆中的下游的辅助功能或者安全功能来设置，并且可以使用车辆支持的传感器系统。

6、将传感器系统的传感器数据输送给处理系统，该处理系统借助于所述传感器数据来分类和定位探测的对象。

7、对象距离越远，则一方面测量精度越差，另一方面仅还能探测到少量的对象特征或者不能探测到对象特征，例如因为对象由于其距离显现得较小，另一方面也因为距离远的对象被更近的对象部分遮挡。

8、因此，通过通信装置传输另外的传感器数据，并且将所传输的另外的传感器数据输送给该处理系统。

9、借助所述另外的传感器数据执行对象的分类和定位，所述另外的传感器数据例如源自另外的或者第二传感器系统并且优选地涉及在第一传感器系统的远场中的对象。通过所述另外的传感器数据，相比于没有另外的传感器数据的情况，能够以更高的精度进行对象的分类和定位以及可能地待执行的加标签的精度和可靠性。

10、对传感器数据加标签在此应理解为以下工作步骤：在该工作步骤中，对象基于其特征被识别为属于特定的类并且被配属于该类。所述类在此可以具有不同的特征，这些不同特征在此在另外的对象跟踪中或者在自身的运动轨道或者说运动轨迹的规划中被考虑。因此，行人大多具有仅较小的运动速度，但其运动方向可以非常即兴(spontan)地变化。载重机动车大多可能仅缓慢地使其运动方向变化，同样地，载重机动车通常具有相比于两轮车或者载客机动车受限的加速能力/减速能力。树木或者泊车的车辆例如是位置固定的对象，从而这些树木或者泊车的车辆在跟踪的进一步的进程中也将不运动或者使其大小变化。

11、另外的传感器数据至通信装置的传输在此可以通过移动无线电连接实现，或者通过与数据云、例如交通传感器数据的专用供应者的数据云的连接实现。替代或附加地，另外的传感器数据可以源自一个或者多个其他交通参与者，所述其他交通参与者在其车辆携带车载传感器系统。这些其他交通参与者可以处于关于本车辆的远对象的区域中，从而这些另外的交通参与者的传感器系统可以对本车辆的远对象进一步更详细地且更细致地进行分类、定位和/或加标签。替代或成组合地，另外的传感器数据也可以源自其他交通参与者，这些其他交通参与者在过去并且在当前以近距离从旁驶过这些远对象，并且在此能够探测细致的和准确的对象信息，这些对象信息具有时间戳地被存储。虽然不是非常新的但仅在短时间之前被记录的这些数据可以在数据云中被中间存储并且在并非太长的持续时间内被向如下交通参与者输出：对于这些交通参与者，所述交通对象仍作为远对象是距离远的。这特别是针对如下对象提供：所述对象是位置固定的并且其特征和所处位置不变化或者仅非常罕见地变化。

12、为了评判当前性此外可以设置，通过通信装置提供的另外的传感器数据具有其检测的时间戳，从而在处理中可以决策，是将这些另外的传感器数据仍视为足够当前的、还是已存在更新的、另外的传感器数据。

13、下级的行驶功能可以是例如轨道规划模块，该轨道规划模块为车辆规划未来的运动轨迹，该未来的运动轨迹应进一步地通过该车辆来行驶。在此，交通环境的和交通对象的准确的分析是重要的，因为必须在碰撞风险方面考虑可能急速地向运动轨迹中运动的对象、例如横越车道的行人，并且必须相应地匹配规划的车辆速度，或者必须借助避让轨迹在短期内重新规划运动轨迹。

14、有利的是，所传输的、另外的传感器数据源自第二传感器系统。所传输的另外的传感器数据有利地已由第二传感器模块转发到第二传感器系统的通信装置，并且借助于第二或者说另外的无线电传输来传输到车辆的通信装置。在此，另外的传感器数据的处理出于分类和/或定位的目的在不同的位置处进行，例如在第二传感器系统或者直接下游的处理装置中或者在车辆计算机(vehicle computer)中的处理装置、即设置为用于控制车辆任务的处于车辆中的中央计算装置或区控制器的处理装置中，或者在如下数据云中的处理装置中：传感器数据可以在所述数据云中被中间存储并且可以被多个用户调用。来自第一传感器系统和第二传感器系统的传感器数据的合并的对象数据的在后期的加标签在此要么在数据云的处理装置中要么在本车辆中、例如在车辆计算机中或者说在处于车辆中的中央计算装置或区控制器中发生。

15、此外有利的是，第一传感器系统是安装在车辆中的传感器系统。有利的是，第二传感器系统可以是位置固定地安装的传感器系统。然而也可以实现，两个传感器系统中的每个传感器系统都安装在车辆中，从而由车辆在近处经过的对象生成并且提供数据，所述数据可以由与该对象具有大距离的其他车辆来调用。同样可考虑的是，两个传感器系统被位置固定地作为连接基础设施的传感器系统安装、或者由此组成的混合形式安装。

16、此外有利的是，第一传感器系统具有至少一个或者多个雷达传感器。然而也可以实现，第一传感器系统由一个或者多个视频传感器组成，或者由一个或者多个超声波传感器组成，或者由一个或者多个激光雷达传感器组成，或者，第一传感器系统形成由每传感器系统任意传感器数量的这些传感器类型构成的组合。

17、第二传感器系统同样可以由一个或者多个雷达传感器组成、由一个或者多个视频传感器组成，或者由一个或者多个超声波传感器组成，或者由一个或者多个激光雷达传感器组成，或者，第二传感器系统可以由以下组合形成：所述组合由具有每传感器系统任意传感器数量的这些传感器系统构成。

18、对于如下情况：应探测到所述对象的表面温度作为对象特征，这例如使得能够实现在晚间对人员和其他生物的识别，第一传感器系统或者第二传感器系统分别设有至少一个红外灵敏的摄像机。

19、特别有利的是，第一传感器系统由至少一个或者多个雷达传感器组成，并且第二传感器系统由至少一个或者多个视频传感器组成。该组合是特别有利的，因为雷达系统在信号处理中是成本有利的，能够良好地被安装在车辆中并且具有大探测作用范围，并且视频传感器能够识别大数量的对象特征并且对于加标签的步骤特别良好地适用，因为其对于人类而言更易理解，例如相比于雷达数据。视频传感器因此能够非常可靠地识别延伸尺度(ausdehnung)、表面特性和对象类。

20、此外有利的是，在通过通信装置的传输之前，将被传输的、另外的传感器数据输送给已通过第二传感器系统检测到的对象的分类和定位。替代或附加地，分类和定位装置也可以置于数据云中，在那里，在性能能力强的计算设备上、必要时在使用经良好训练的人工智能的情况下，对所有传感器系统的所有传感器数据进行分类和/或加标签和/或定位。同样可考虑，为了第二传感器系统的分析处理，分类和定位装置置于车辆中，在那里，该分类和定位装置对于第一传感器系统是已存在的，并且由此有利地也可以被用于处理第二传感器系统的传感器数据。

21、作为另外的变型，替代或附加地可以实现，分类和定位装置也置于第一和/或第二传感器系统的传感器中，从而紧接探测之后，在传感器的计算设备中，必要时在使用经良好训练的人工智能的情况下，对所有传感器的传感器数据和另外的传感器数据进行分类和/或加标签和/或定位。很多传感器具有计算装置，以便实现数据预处理和滤波，从而在这些“智能传感器(smarten sensoren)”中能够执行分类和/或加标签和/或定位。

22、此外有利的是，所述传感器数据和/或另外的传感器数据关于所探测的对象具有

23、-该对象与进行检测的传感器系统的距离；

24、-相对于进行检测的传感器系统的角度；

25、-该对象的延伸尺度；

26、-该对象的速度；

27、-该对象的运动方向；

28、-检测品质；

29、-该对象的表面材料；

30、-雷达反向散射截面(rcs)；

31、-颜色；

32、-表面温度；

33、-或者来自这些参量的组合

34、作为求取的参量。该列举不应理解为穷举的，而是可以连同包括相似或者作用相同的参量，这些参量对于本领域技术人员基于其专业知识已知。

35、此外有利的是，对象的分类和/或对象的加标签是配属(zuordnung)，该配属基于对象的类型、其静态的和/或动态的特征和特性将该对象配属于相同类型的或者特性相同(gleichverhaltender)的对象的类。在此，例如以下对象类可以作为类：

36、-载客机动车；

37、-载重机动车；

38、-两轮车；

39、-行人；

40、-静止的对象；

41、-不可行驶的地面；

42、-建筑物；

43、-车辆模型；

44、-车辆大小或者说车辆质量；

45、-在载重机动车的情况下，载重的类型；

46、-在载重机动车的情况下，挂车的数量；

47、-在载重机动车的情况下，负载面或者说负载的结构；

48、-通过本车辆可在上方驶过的或者可在下方驶过的对象；

49、-用于不可更细地分类的对象的未知的类；

50、-用于限定新的类种类的子类。

51、车辆模型的知识可以是利益相关的(interessant)，因为由此能够间接地估计被探测为对象的另外的交通参与者的车辆大小和车辆质量。这在高碰撞风险的情况下可以是重要的，因为通过紧急制动或者紧急避让功能例如可以有目的地找出事故对方(unfallgegner)，其大致地具有相同的车辆质量或者其车辆被视为特别安全的，以便将交通参与者的损伤保持得尽可能小。

52、同样地，在载重机动车的情况下，结构的类型可以是利益相关的，因为由此能够推断在事故的情况下的提高的损伤风险。载重机动车的负载的知识也可以是对于可能的碰撞利益相关的，因为应该绝对地避免与已负载了危险品的载重机动车的碰撞。另一方面，可以优选与已负载了例如垃圾的载重机动车的碰撞，因为由此能够限制损害，并且不产生另外的继发危险。

53、由载重机动车的载重结构的知识同样能够推断继发危险的提高或者降低的风险，从而能够有利地在筒仓结构(siloaufbau)、罐结构(tankaufbau)、集装箱结构、封闭的结构、平台式结构方面区分负载面的结构或者说载重结构的知识。

54、该列举不应理解为穷举的，而是可以连同包括相似或者作用相同的参量，这些参量对于本领域技术人员基于其专业知识已知。

55、通过设置子类，能够在后期限定和训练新的类，例如具有不同结构的lkw(载重机动车)类或者静止的对象(如广告柱、公交车站、可在上方驶过的对象——例如饮料罐或者井盖、玩具——如自行车或者悬浮滑板)的子类。由此能够将借助于第一传感器系统探测的对象的分类和加标签在未来进一步区分成新的类，这些新的类在最初尚未被设置。

56、有利的是，此外可以设置，对于车辆已确定一个或者多个可能的无碰撞的运动轨迹，并且通信装置请求通过第一传感器系统被探测为远的对象的另外的传感器数据和/或分类和/或定位，特别是，通信装置从第二传感器系统或者从数据云中的数据库请求另外的传感器数据和/或分类和/或定位。

57、对于车辆规划一个或者多个可能的运动轨迹，其中，每个轨迹通过车辆物理上必须是可行驶的并且同时必须是无碰撞的，也在将探测的对象的可能的运动考虑在内的情况下。

58、所描述的特征组合、改善和优点，如其对于方法实施方式所说明的那样，以相同的组合和方式适用于相应的设备实施方式。

59、此外可以设置一种计算机程序产品，在该计算机程序产品上实施、实现和/或操控根据方法实施方式中之一所述的方法。

60、以相同的方式可以设置机器可读的存储介质，在该机器可读的存储介质上存储有计算机程序产品。

61、该方法例如可以以软件或硬件或以软件与硬件的混合形式被实现在例如控制器中。

62、在此所提出的方案还提出一种用于对象的分类、定位和加标签的装置，该装置构造为用于在相应的装置中执行、操控或实现在此所提出的方法的变型的步骤。

63、用于对象的分类、定位和/或加标签的该装置可以是具有至少一个用于处理信号或数据的计算单元、至少一个用于存储信号或数据的存储单元和至少一个用于读入或输出嵌入通信协议中的数据的接口和/或通信接口的电设备。

64、该计算单元例如可以是用于处理传感器信号并根据这些传感器信号输出数据信号的信号处理器、所谓的系统asic或微控制器。该存储器单元例如可以是闪存、eprom或磁存储单元。

65、所述接口可以构造为用于从传感器读入传感器信号的传感器接口和/或作为用于向执行器输出数据信号和/或控制信号的执行器接口。所述通信接口可以构造为用于无线地和/或有线地读入或输出数据。这些接口例如可以是与其他软件模块并存于微控制器上的软件模块。

66、还有利的是一种具有程序代码的计算机程序产品或计算机程序，其可以存储在机器可读的载体或者存储介质如半导体存储器、硬盘存储器或者光存储器上，并且用于特别是当该程序产品或程序在计算机、可编程的控制器或者类似的设备上执行时实施、实现和/或操控根据前述实施方式中任一种实施方式所述的方法的步骤。

67、需要指出的是，本发明的若干可能的特征和优点在此参照不同的实施方式作为用于对象的分类、定位和加标签的方法被描述。本领域的技术人员认识到，特征可以适当地结合、匹配或互换，以便达到本发明的另外的实施方式。

技术特征：

1.一种用于环境建模、特别是用于车辆(1)中的驾驶员辅助系统的环境建模的方法，具有：

2.根据权利要求1所述的方法，其特征在于，所传输的、另外的传感器数据(8)源自第二传感器系统(9)，由所述第二传感器模块(9)转发到所述第二传感器系统(9)的通信装置(10)，并且借助无线电传输(15)被传输到所述通信装置(7)。

3.根据权利要求1或2所述的方法，其特征在于，所述第一传感器系统(4)是安装在车辆(1)中的传感器系统，并且所述第二传感器系统(9)是位置固定地安装的传感器系统。

4.根据上述权利要求中任一项所述的方法，其特征在于，所述第一传感器系统(4)具有至少一个或者多个雷达传感器，并且所述第二传感器系统(9)具有至少一个或者多个视频传感器。

5.根据上述权利要求中任一项所述的方法，其特征在于，在通过所述通信装置(11)的传输之前，将所述另外的传感器数据(8)输送给分类和定位装置(10)。

6.根据上述权利要求中任一项所述的方法，其特征在于，所述传感器数据(5)和/或所述另外的传感器数据(8)包括

7.根据上述权利要求中任一项所述的方法，其特征在于，所述对象的分类(6)是识别其是哪种类型的对象，特别是是否是以下对象类型之一：

8.根据上述权利要求中任一项所述的方法，其特征在于，针对所述车辆(1)已确定一个或者多个可能的无碰撞的运动轨迹(12)，并且所述通信装置(7)请求另外的传感器数据(8)和/或通过所述第一传感器系统(4)被探测为远的对象(3)的分类和/或定位，特别是，所述通信装置(7)从所述第二传感器系统(9)或者从数据云中的数据库(17)请求另外的传感器数据(8)。

9.一种用于环境建模、特别是用于车辆(1)中的驾驶员辅助系统的环境建模的设备，具有：

10.一种计算机程序产品，所述计算机程序产品设置为用于实施、实现和/或操控根据权利要求1至8中任一项所述的方法。

11.一种机器可读的存储介质，在所述机器可读的存储介质上存储有根据权利要求10所述的计算机程序产品。

技术总结
用于环境建模、特别是车辆中驾驶员辅助系统的环境建模的方法和设备，具有探测该车辆环境中的对象并且输出传感器数据的第一传感器系统；处理系统，给其输送传感器数据，其借助于传感器数据探测对象；通信装置，通过其传输另外的传感器数据，其将所传输的另外的传感器数据——第一传感器系统的远场中的对象——输送给该处理系统，并且通过所传输的数据以高精度进行在远场中的对象的分类和/或定位和/或加标签借助另外的传感器数据进行在第一传感器系统的远场中的对象的加标签，因此通过所传输的数据以高精度进行在远场中的对象的分类和定位能够第一传感器系统的传感器数据的加标签或者注释并且才能实现远对象的加标签。

技术研发人员：J·米拉莫
受保护的技术使用者：罗伯特·博世有限公司
技术研发日：
技术公布日：2024/9/23