在显示于车辆数字视觉系统显示单元的图像数据上叠加和显示额外信息的方法以及车辆数字视觉系统与流程

本发明涉及一种能够在车辆数字视觉系统显示单元上显示额外信息（extra-information）的方法以及相应的数字视觉系统。

背景技术：

0、现有技术

1、用于车辆，特别是商用车辆的间接数字视觉系统是已知的，并且通常也被称为相机-监视器系统。这种间接数字视觉系统被用作视镜替代系统和/或视镜补充系统。视镜替代系统是一种代替视镜来显示法律规定的视场的相机-监视器系统，从而使视觉系统取代视镜。视镜补充系统用于显示并未由法律规定必须显示的车辆周围的区域，且可以相应地作为所提供的视镜或所提供的视镜替代系统的补充，即除了视镜替代系统所显示区域之外，视镜补充系统还可以显示并未由法律规定必须显示的车辆周围区域。用作乘用车视镜补充系统的间接数字视觉系统的一个例子是汽车上的后视摄像头。

2、关于视镜替代系统，法律规定当处于驾驶模式时，车辆周围所谓的视场对于驾驶员应当是可见的。视场是指在车辆所在地面的水平面上围绕车辆的被界定的区域，在车辆行驶过程中，这些区域在视镜或视镜替代系统上对于驾驶员必须是始终可见的。哪些视场必须可见取决于车辆的类型，例如摩托车、客运车辆、货运车辆等。这些视场的可见性必须通过间接视觉的方式实现，并且坐在驾驶员座位上的驾驶员必须可以始终通过间接视觉的方式看到这些视场。根据车辆的类型，特别是根据驾驶员可以直接看到车辆周围的哪些区域，不同的法律法规要求使用间接视觉的方式可以始终、永久地且可靠地看到特定的视场。在欧洲，联合国/欧洲经济委员会汽车条例un/ece第46号条例（un/ece regulation no.46）规定了对于驾驶员必须始终可靠可见的各个视场。其他相关规定和条例包括例如iso5721、iso 5006、iso 16505、iso14401和eu 167/2013。

3、通常，法律规定可见的区域以及通过间接视觉系统可见的附加区域都被称为视场区域。相应地，视场区域可以包括法律规定的视场。对于视场区域的展示，最近越来越流行的是考虑使用相机系统作为间接视觉的手段，将相机系统作为视镜的补充，或者用相机系统替代视镜，特别是因为用相机系统捕获车辆周围区域相对于传统视镜的灵活性增加了，例如可以将死角区域最小化。此外，即使用相机系统没有完全消除视镜固有的失真，也可以将失真出现的区域更容易地转移到对驾驶员不太重要的区域。

4、在这种也被称为相机-监视器系统的数字视觉系统中，图像捕获单元连续捕获和确定图像和/或处理（编辑）图像并可能保存图像。图像捕获单元捕获的（视频）数据例如使用图像处理单元进一步被转发并提供给驾驶室中的显示设备或图像显示单元。图像显示单元显示相应的视场区域的视图，例如包括法律规定的一个视场或多个视场，如果需要的话，这些视场对于驾驶员是永久可见的。

5、永久可见是指就视镜替代系统而言，通过及时且不间断的方式表示视场，即不会间歇性显示或隐藏视场或视场的部分，也不会通过叠加其他展示使视场不完全可见。因此，相应的一个或多个视场可以被连续地、实时地示出，并且可以分别被显示为可见的。这至少适用于规定为在所有这样的车辆条件下都是永久可见的视场，这样的车辆条件是指点火开关被接通和/或点火开关优选地与例如接收相应信号（例如信号为车门打开信号或点火开关接通信号）的传感器耦合。在特定的、通常是适时限制的驾驶条件下，有时可以允许暂时不显示相应的法律规定的视场，或暂时仅显示法律规定的视场的部分，即显示视场的子部分。

6、数字视觉系统的图像捕获设备（相机）具有一个或多个图像传感器，捕获的图像被映射到该一个或多个图像传感器上。已知的是，可以根据期望的展示提取图像传感器的不同位置处的图像部分，并且在图像处理单元中进行处理之后将它们提供给视觉系统的图像显示单元。例如，在转弯行驶时，可以从图像传感器提取与向前行驶时所提取区域不同的车辆侧面上的区域，并且可以将其显示在图像显示单元上。

7、此外，已知可以将额外信息叠加在视场和/或视场区域的显示的图像上。例如，可选的额外信息可以是车辆周围区域的碰撞风险、到其他车辆的距离、到其他物体的距离等、交通标志和信号等等。这种额外信息可以从视觉系统的存储器中获取，因为它存储在那里，或者可以通过例如图像识别获得，然后叠加在显示的图像上，例如突出显示车辆周围的碰撞物体。可从存储器获取的额外信息在显示图像上的已知的叠加总是发生在图像显示单元上的相同位置，即，基于与图像显示单元相关的坐标系，额外信息总是在相同位置可见。因此，叠加与例如在叠加物后面示出的图像的缩放因子无关，也与图像传感器等之上的提取位置无关，总是位于图像显示单元的相同位置。只要额外信息指的是独立于车辆的信息（例如速度限制等交通信息），并且只要该信息被叠加和显示时不遮挡法律规定的视场，该过程就没有问题，这是因为随后将不再提供关于这些信息的连续和永久视图。然而，相对于车辆具有固定位置的信息（例如相对于车辆的距离线）不能总是正确地显示。例如，当图像传感器上的提取位置改变或者图像显示单元上的展示的缩放（放大）因子改变时，该信息在图像上相对于车辆并不处于正确和准确的位置。因此，这种信息被隐藏，并且在所展示的图像部分发生这种改变时不再显示，即它仅在展示的基本（默认）设置中显示。因此，它不是在所有驾驶条件和驾驶情况下都提供给驾驶员。

8、发明目的

9、本发明的目的是提供一种用于在显示于车辆数字视觉系统的图像显示单元上的图像数据上叠加和可视化额外信息的方法，该方法适合于以简单和正确的方式显示相对于车辆具有固定位置的信息，而与所显示的图像部分或放大级别（变焦）的变化无关。此外，提供了相应的数字视觉系统。

技术实现思路

0、发明概述

1、本发明的目的通过包括权利要求1的特征的方法和包括权利要求9的特征的系统实现。在从属权利要求中限定了优选实施例。

2、本发明基于提供这样一种方法和系统的思想，即使所显示的车辆周围的区域发生变化，即从图像捕获单元、特别是从图像捕获单元的图像传感器提取的部分发生变化，利用该方法和系统也可以通过简单的方式，特别是在没有图像识别技术的情况下，将与车辆具有固定位置关系和/或可从存储器获取的额外信息可视化在显示图像上的正确位置。为此，分别为额外信息和图像传感器分配坐标系，并且这两个坐标系在刻度、原点和方向上具有固定的比例。由于为图像传感器指定的坐标系相对于车辆具有已知的位置和方向，因此可以在两个坐标系的已知的、固定的比例的帮助下，以简单的方式为额外信息、特别是为额外信息坐标系指定传感器坐标系的特定位置和放大级别，并因此将额外信息叠加在正确的位置。由此，用于将额外信息叠加在正确位置的计算能力是最小的，并且相对于车辆具有固定位置的额外信息可以显示在正确位置而不需要巨大的消耗，即使发生例如视角的数字调整也是如此。

3、相对于额外信息坐标系，传感器坐标系具有固定位置，意味着额外信息坐标系的原点被分配到传感器坐标系内的定义点。特别地，两个坐标系的原点可以重合，例如，即额外信息坐标系的原点位于传感器坐标系的原点处。或者，额外信息坐标系的原点可以位于传感器坐标系中不同于传感器坐标系原点的固定点。这相应地适用于两个坐标系的坐标轴，即两个坐标系的方向可以重合（相应的x轴和y轴分别与笛卡尔坐标系平行）或具有固定的角度比（angular ratio）。传感器坐标系和额外信息坐标系的刻度（scaling）分别是指它们的单位，即对于具有固定比例的情况，传感器坐标系的一个单位对应于分别沿着额外信息坐标系的每个坐标轴的限定的m个单位，也就是说，传感器坐标系的刻度与额外信息坐标系的刻度的比例是1∶m并且保持恒定。

4、本发明提供了一种用于在图像数据上叠加和显示额外信息的方法，该图像数据被显示在车辆数字视觉系统的图像显示单元上，其中该视觉系统包括具有图像传感器的图像捕获单元、图像处理单元和具有图像显示区域的图像显示单元。具有传感器坐标系原点和传感器坐标系刻度的传感器坐标系被分配给图像传感器，并且具有额外信息坐标系原点和额外信息坐标系刻度的额外信息坐标系被分配给额外信息。因此，该方法则包括从图像传感器的传感器提取区域提取图像数据的步骤、在图像处理单元中将额外信息叠加在提取的图像数据上的步骤、以及将图像数据与叠加的额外信息一起显示在图像显示单元的图像显示区域上的步骤，其中所述传感器提取区域在所述传感器坐标系中的位置可以改变和/或所述传感器提取区域的大小是可变的。将额外信息叠加在提取的图像数据上，使得与传感器提取区域的位置的改变和/或传感器提取区域大小的变化无关，将额外信息坐标系的原点分配到传感器坐标系中的固定点，额外信息坐标系相对于传感器坐标系的方向是固定的，并且额外信息坐标系的刻度与传感器坐标系的刻度是固定比例m∶1。

5、数字视觉系统相应地适于从相对于车辆具有已知位置的图像传感器提取不同位置处的图像数据，和/或适于在图像显示单元上显示具有不同放大率水平的图像数据，即图像传感器上的传感器提取区域的不同位置和/或图像传感器上提取区域的不同大小对应于显示在图像显示单元上的图像。这意味着数字视觉系统适于提取图像传感器的不同位置处的数据。由此，通过使用单个图像捕获单元，一方面，例如可以使用数字手段提取不同的视图，视图可以同时显示，也可以根据驾驶情况显示，例如，与商用车的广角镜和商用车的主镜相对应的图像，另一方面，可以通过数字方式模拟图像捕获单元的枢转或位置变化。

6、根据优选实施例，传感器坐标系和额外信息坐标系分别是笛卡尔坐标系，分别具有x轴和y轴，额外信息坐标系的x轴的刻度与传感器坐标系的x轴的刻度的比例为固定比例m1：1，并且额外信息坐标系的y轴的刻度与传感器坐标系的y轴的刻度的比例为固定比例m2：1。换言之，上述两个坐标系在一个空间方向（x轴方向）上的刻度的比例可以为第一固定比例，并且在第二空间方向（y轴方向）上的刻度的比例可以为第二固定比例，其中第一固定比例和第二固定比例优选为相同，但不是必须相同。

7、在一个实施例中，图像捕获单元和/或图像传感器可通过机械方式调整，使得具有与图像传感器的成像平面（image level）平行的移动分量，或者使得具有与调整后在传感器坐标系中的位置变化相对应的移动分量。在图像捕获单元和/或图像传感器通过机械方式的调整产生与图像传感器的成像平面平行、具有移动距离的移动方向分量，且通过调整产生对应于传感器坐标系中的位置变化、具有移动距离的移动方向分量之后，将额外信息叠加在提取的图像数据上，使得额外信息坐标系的原点的位置相对于传感器坐标系中的固定点移动一与传感器坐标系中的移动距离相对应的距离。

8、在这种情况下，图像传感器相对于车辆的位置是可变的，例如通过将相机可倾斜地安装在车辆上，例如用于提供车辆周围的不同区域的视野，或者通过使用例如步进电机提供可平移移位的相机。在这种情况下，重要的是图像传感器的起始位置相对于车辆的位置、图像传感器在移动后的位置相对于车辆的位置是已知的。以这种方式，包含相对于车辆处于固定位置的额外信息的图像可以叠加在由相机和图像传感器捕获的图像上，为驾驶员所用，而无需巨大的支出，对于采用可倾斜的相机布置或可移位的相机布置时也是如此。用于数字视觉系统的移位装置例如是安装有图像捕获单元的伸缩臂、借助于安装有图像捕获单元臂的折叠齿轮箱的旋转装置。

9、通常，还可以通过机械可调整或可改变的方式实现图像捕获单元在光学性能上关于光学放大因子的调整，其中，图像捕获单元光学放大率的机械调整将额外信息叠加在提取的图像数据上，使得额外信息坐标系相对于传感器坐标系的放大率（变焦）补偿了图像捕获单元的光学放大因子。

10、通常，也可以仅提供图像捕获单元的机械调整，而不提供关于图像大小和位置的传感器提取区域的数字移位或变化。

11、根据优选实施例，额外信息作为定义的固定图形、文本或矢量图形保存在图像处理单元中。例如，相对于车辆具有固定位置关系的额外信息可以是车辆后方或侧方的距离线。固定定义的图形是存储并保存在数字视觉系统中的图形。固定定义的图形某种程度上也可以由驾驶员定义，例如，驾驶员决定在开始驾驶之前应显示的距离线到车辆的距离，或者是否也应显示距离单位。优选地，额外信息被存储为透明的固定定义的图形，其优点在于通过叠加不会完全隐藏图像信息，但图像信息保持可见。或者，固定定义的图形可能是不透明的或仅部分透明的。

12、关于车辆的特别优选的额外信息是在所有驾驶情况下相对于车辆静止的任何信息，特别是相对于车辆的距离线。例如，额外信息可以包括车辆后方的距离线、车辆后方例如30m、50m等距离处的距离线，可以包括驾驶员可调节的用于标记车辆或拖车末端的线等。

13、在优选实施例中，该方法还包括改变传感器提取区域的位置和/或大小的步骤。这可以例如由来自驾驶员的输入或传感器信号触发，例如指示转弯运动开始的传感器（例如设置指示器）。例如，驾驶员可以通过控制面板上的用户输入来控制视场区域和/或视角的改变、放大率（变焦）的改变。根据传感器信号的自动变化的另一个例子是拖车平移（trailer panning），即拖车的自动跟踪。对所选择的传感器提取区域进行调整也可以通过适当的工厂设置或车间设置来实现。

14、优选地，该方法还包括缩放图像数据和/或额外信息以在图像显示单元上显示的步骤。这意味着从图像传感器提取的图像数据和/或额外信息在可视化于图像显示单元之前被缩放。在这种情况下，传感器坐标系的刻度与额外信息坐标系的刻度之间的比例保持不变。例如将这一特征用于实现特定期望的缩放或者用于将展示（representation）调整为图像显示单元（例如监视器）的大小。例如，如果将额外信息坐标系的大小和刻度调整为图像显示单元（例如监视器）的大小（1：1缩放），并且传感器坐标系的刻度与额外信息坐标系的刻度之间的比例例如为1：m，如果为了在图像显示单元上可视化而放大或缩小图像数据和额外信息，即按比例缩放，则比例1：m保持不变，并且仅传感器坐标系和图像显示单元上的展示之间的比例、以及额外信息坐标系和图像显示单元上的展示之间的比例改变。

15、在优选实施例中，还提供了选择额外信息的部分数据量在图像显示单元上显示的的步骤。例如，如果将应被叠加的距离线作为额外信息，例如可以仅选择额外信息的子部分进行显示，即仅选择距离线长度的一部分，例如以避免不必要地覆盖图像区域。部分数据量可以根据例如驾驶情况来选择，例如直行驾驶或转弯，例如为了避免覆盖视场，或者可以根据驾驶员设置、车间设置或工厂设置来选择，如驾驶员是否希望每隔20米或50米就有条距离线。额外信息的部分数据量，即叠加有额外信息的区域，例如可以根据传感器提取区域确定，并且可以根据传感器提取区域所在位置而在部分数据量的扩展方面是可变的。可替换地或附加地，部分数据量可以指代特定选择的信息，例如仅距离线、仅交通信息等，这取决于特定的驾驶情况和/或有效的（active）传感器提取区域。

16、一种用于车辆的数字观看系统，包括具有图像传感器的图像捕获单元、图像处理单元和具有图像显示区域的图像显示单元，其中具有传感器坐标系原点和传感器坐标系刻度的传感器坐标系被分配给图像传感器，并且具有额外信息坐标系原点和额外信息坐标系刻度的额外信息坐标系被分配给额外信息。图像观看系统适于从图像传感器提取来自不同区域的、关于区域大小和/或位置的图像数据，且在图像显示单元上显示于图像显示区域，并且适于执行上述方法。

技术特征：

1.一种在显示于车辆数字视觉系统的图像显示单元的图像数据上叠加和显示额外信息的方法，其中所述视觉系统包括具有图像传感器的图像捕获单元、图像处理单元和具有图像显示区域的图像显示单元，

2.根据权利要求1所述的方法，其中，所述传感器坐标系和所述额外信息坐标系分别是笛卡尔坐标系，并且分别具有x轴和y轴，并且所述额外信息坐标系的x轴的刻度与所述传感器坐标系的x轴的刻度的比例是固定比例m1：1，并且所述额外信息坐标系的y轴的刻度和所述传感器坐标系的y轴的刻度之比是固定比例m2：1。

3.根据权利要求1或2所述的方法，其中，所述图像捕获单元和/或所述图像传感器可通过机械方式调整，使得产生与所述传感器坐标系中的位置变化相对应的调整定向移动分量，

4.根据前述任一项权利要求所述的方法，其中，所述额外信息作为固定定义的图形存储在所述图像处理单元中。

5.根据权利要求4所述的方法，其中，所述额外信息包括相对于所述车辆静止的信息，特别是关于所述车辆的距离信息。

6.根据前述任一项权利要求所述的方法，还包括改变传感器提取区域的位置和/或大小的步骤。

7.根据前述任一项权利要求所述的方法，还包括缩放所述图像数据和/或所述额外信息以在所述图像显示单元上显示的步骤。

8.根据前述任一项权利要求所述的方法，还包括选择所述额外信息数据的部分数据量以显示在所述图像显示单元上的步骤。

9.一种用于车辆的数字视觉系统（100），包括具有图像传感器（1）的图像捕获单元（10）、图像处理单元（20）和具有图像显示区域（3）的图像显示单元（30），

技术总结
一种在显示于车辆数字视觉系统显示单元的图像数据上叠加和显示额外信息的方法以及车辆数字视觉系统，方法包括从图像传感器的提取区域提取图像数据的步骤、在图像处理单元将额外信息叠加在提取的图像数据的步骤，以及将图像数据与叠加的额外信息一起显示在图像显示单元的图像显示区域上的步骤，传感器提取区域在传感器坐标系中的位置可移动和/或传感器提取区域大小可变。将额外信息叠加在提取的图像数据上使得额外信息坐标系的原点被分配到传感器坐标系中的固定点、额外信息坐标系方向相对于传感器坐标系固定、额外信息坐标系刻度与传感器坐标系刻度比例是固定比例m∶1，与传感器提取区域的位置移动和/或传感器提取区域大小变化无关。

技术研发人员：威尔勒·朗,安德里亚斯·恩茨,塞巴斯蒂安·戈茨
受保护的技术使用者：梅克朗有限两合公司
技术研发日：
技术公布日：2024/9/23