具有直播视频的虚拟透视仪器群集的制作方法

具有直播视频的虚拟透视仪器群集的制作方法
【技术领域】
【背景技术】
[0001] 传统上，驾驶员在交通工具前方区域的视线已被交通工具的仪器控制面板、引擎 盖以及下面的组件阻挡。由此，物体和其它物品可在交通工具前面，但交通工具的驾驶员或 其它乘客不能够看见它们。

【发明内容】

[0002] 本文所公开的至少一个实施方案包括：产生三维图形输出，其包含交通工具外部 区域的视频的三维表示；以及在安置于交通工具内的三维显示器上显示三维图形输出。
【附图说明】
[0003] 为了可详细理解实现上述方面的方式，可参考附图具有上文简要概述的本公开实 施方案的更具体描述。
[0004] 然而，将注意，附图仅说明本公开的典型实施方案，且因此不被视为限制其方面， 因为本公开可承认其它同等有效的实施方案。
[0005] 图1A到1E是根据本发明各种实施方案的从交通工具来看的不同视图的示意性说 明。
[0006] 图2A到2C是根据本发明各种实施方案的具有带直播视频的虚拟且局部透明仪器 群集的系统的示意性说明。
[0007] 图3A到3B是根据本发明各种实施方案的具有视点相关相机的交通工具的示意性 说明。
[0008] 图4说明根据本发明各种实施方案的经配置以产生具有直播视频的虚拟透视仪 器群集的系统。
[0009] 图5是根据本发明各种实施方案的用于产生具有直播视频的虚拟透视仪器群集 的方法步骤的流程图。
[0010] 图6是根据本发明各种实施方案的用于修改具有直播视频的仪器控制面板的3D 渲染的方法步骤的流程图。
[0011] 图7是根据本发明各种实施方案的用于计算交通工具的驾驶员的驾驶环境的方 法步骤的流程图。
[0012] 图8是根据本发明各种实施方案的用于调整摄像机以反映驾驶员的凝视的方法 步骤的流程图。
【具体实施方式】
[0013] 本文所公开的实施方案提供在交通工具中的立体、具视差功能的三维显示器（本 文称为"3D显示器"）上对交通工具外部区域的直播视频的三维渲染。在一个实施方案中， 在交通工具外部的区域是被交通工具的引擎盖阻挡的"盲点"，驾驶员通常是看不到的。然 而，所述视频可为交通工具外部的任何区域的视频。在3D显示器上渲染的3D视频可为视 线相关的，使得3D视频是基于驾驶员的当前凝视（或视角）。举例来说且无限制，如果驾驶 员正看向前方，那么可在3D显示器上输出3D视频的向前定向的视图。然而，如果驾驶员将 头转向左边并向内移动，那么相机可以某一方式捕获视频以反映驾驶员凝视的移位。因此， 3D输出可反映放大且从面向左的角度来看的视图。
[0014] 另外，所述系统还可输出三维仪器控制面板，使得其看起来更靠近驾驶员，同时以 更远离驾驶员的深度输出3D视频，从而在外面世界的3D视频之上提供局部透视仪器控制 面板。然而，用户可控制每一层的深度定位，使得3D视频以及仪器控制面板中的元素中的 一个或多个看起来更靠近或更远离驾驶员的面部。用户可通过任何可行方法来控制深度定 位，所述方法包含3D显示器（或中心控制台显示器）上的物理控制器、滑动条、按钮或数字 设定。另外，每一用户可界定一组偏好，其指示3D显示器上所显示的不同项目的偏好放置、 排序以及外观。另外，所述系统可在适当时间调整分层次序，以及修改不同元素。
[0015] 举例来说，且无限制，在道路中检测到的外来物体可导致视频（以及所述物体）被 带到较靠近驾驶员的面部。在此实例中，且无限制，可使3D仪器控制面板较透明，或完全消 失。作为另一实例，如果驾驶员的速度超过当前速度限制，那么系统可通过将速度计移动为 较靠近驾驶员的面部并给与速度计额外强调（例如，不同色彩或粗体阴影）来修改速度计 的3D渲染，以表明当前驾驶环境下速度计的重要性。如本文所使用，"驾驶环境"指代用于识 别3D显示器上所显示的应以任何方式移动或更改的一个或多个元素或层的环境。驾驶环 境可包含但不限于交通工具的速度、交通工具的位置、交通工具的属性或状态（例如油量、 液面或胎压）、交通工具的位置处的适用法律或法规、天气条件、触发事件等。在其它实施方 案中，所述系统可检测驾驶员的凝视，并将驾驶员正在看的仪器移到较靠近驾驶员的面部。 举例来说，且无限制，如果系统确定驾驶员正在看转速表，那么系统可将转速表移到较靠近 其面部。
[0016] 用于三维显示器上的显示的所有项目输出包含深度（或z轴）分量。作为3D显 示器所产生的三维输出的二维反应的图无法充分地捕获三维输出的深度或z轴，且不应被 视为限制本公开。
[0017] 图1A是根据本发明各种实施方案的交通工具中的驾驶员的不同视图的示意性说 明100。传统上，交通工具113的驾驶员（未图示）看到正常视图111。正常视图111描绘 驾驶员坐在交通工具111的驾驶座上时所看到的视野。然而，正常视图111通常被交通工 具的引擎盖（以及下面的引擎和其它组件）遮挡。然而，本文所公开的实施方案使用一个 或多个相机115来捕获外部世界的三维视频，其包含增加的视图112。增加的视图112可在 交通工具101中的3D显示器上显示，从而为驾驶员提供正常视图111和增加的视图112。 用于捕获视频的相机115可为二维RGB相机，其还捕获每像素的深度信息，所述深度信息由 包含3D模型的系统用来产生所捕获视频的3D渲染。在另一实施方案中，可使用3D相机来 捕获接着由系统用作3D模型的3D视频。在又一实施方案中，安装到交通工具113的保险 杠的固定相机阵列可捕获视频。通过选择相机阵列中的两个或两个以上相机（其各自具有 广角透镜），3D显示器101可通过选择来自所选透镜中的每一者的图像数据的子集来创建 复合图像。可基于驾驶员的头部位置和检视角度来选择所述相机。
[0018] 图1B是根据本发明各种实施方案的交通工具中的驾驶员的不同视图的示意性说 明110。如图所示，驾驶员继续经历正常视图111，同时相机115允许驾驶员看到扩大的视 图112。正常视图111与扩大的视图112结合起来允许驾驶员看到交通工具前方的动物116 的完整持续视图。
[0019] 图1C是根据本发明各种实施方案的交通工具中的驾驶员的不同视图的示意性说 明120。如图所示，驾驶员继续经历正常视图111，同时相机115允许驾驶员看到扩大的视 图112。因为扩大的视图112,驾驶员现在能够看到在无扩大的视图112的情况下原本被隐 藏于驾驶员的视点之外且可能已被交通工具撞上的猫117。
[0020] 图1D是根据本发明各种实施方案的交通工具中的增强型用户界面130的示意性 说明。从挡风玻璃111往外看的人接收外部世界的传统视图，其包含交通工具正在上面行 驶的道路112。如先前所论述，驾驶员的视点是受限的，因为驾驶员无法看到在交通工具前 方但被交通工具本身挡住的道路112的区域。然而，如图所示，交通工具仪表盘中的显示表 面101可显示外部世界的扩展视图。如图所示，显示表面101显示在交通工具外部捕获的 视频的三维视频105。当驾驶员移动其头部或眼睛，从而改变其凝视时，可更改所显示的视 频105,从而移动以与驾驶员的新凝视匹配。捕获视频105的一个或多个相机115可以留个 自由度机械性地移动，以便从与驾驶员的凝视匹配的角度捕获视频。因此，如图所示，驾驶 员不可见的道路112的部分现在显示于显示表面101上。因为显示表面101是与视点相关 的，所以3D显示器的输出与驾驶员的当前凝视（或与当前凝视相关联的检视角度）匹配。 因此，显示于图1D中的显示表面101上的视频105可反映驾驶员具有近似面向前的凝视时 的道路112的视图。然而，如果驾驶员将其头部显著转向右边，那么道路的黄线114无法被 相机115捕获，且随后不会输出以作为视频105的部分在显示表面101上显示。
[0021] 在一些实施方案中，显示表面101为立体、具有视差功能的视点相关三维显示器 (也称为3D显示器）。显示表面101的立体特征通过每帧递送两个不同图像（一个图像 用于右眼，且一个图像用于左眼）来允许检视者看到类似于真实物体的具有三维深度的图 像。每一眼睛的图像可稍稍不同，以便传达来自两个眼睛的感觉差异。在至少一些实施方 案中，显示表面101具有至少120Hz的刷新速率。
[0022] 显示表面101还提供视点相关渲染，其通过在产生输出时考虑驾驶员的当前视 点，来允许所显示图像的更现实的3D感觉。为了实现视点相关渲染，面向用户的传感器（未 图示）跟踪驾驶员的头部和/或眼睛，以便递送物体的与驾驶员的当前凝视匹配的三维渲 染。因此，当驾驶员移动其头部或眼睛时，基于驾驶员的当前凝视（或与驾驶员的凝视相关 联的检视角度）来更改显示表面101的输出。面向用户的传感器可连接到计算机视觉软件 (本地或远程），以用于场景分析和头部跟踪。面向用户的传感器可安装在交通工具内部或 外部，只要其面向用户即可。可使用单个传感器、多个传感器或安装在左右转动-倾斜组合 件上的传感器，所述组合件的定向由本文所描述的系统控制。三维显示器101的视差运动 效应向检视者传达真实物体深度的感觉，其中在向旁边移动时，较靠近检视者的物体看起 来比较远离的物体移动得快。
[0023] 在一个实施方案中，用户戴着3D眼镜（未图示），以便解码立体图像（一个用于左 目艮，且一个用于右眼），且检视增强型用户界面110。所述眼镜可为任何类型的3D眼镜，包 含无源或有源，基于快门的或偏光的 ，等等。具有用于左眼和右眼的不同透镜的眼镜仅允许 既定用于每一眼睛的将递送到所述眼睛的图像。因此，所述眼镜仅将用于右眼的图像仅递 送到右眼，且将用于左眼的图像仅递送到左眼。在一个实施方案中，可在无基于透镜状覆盖 的眼镜的情况下使用显示表面101。具有眼镜和面向用户的传感器的显示表面101的一个 实例为zSpace公司系统。
[0024] 图1E是根据本发明各种实施方案的交通工具中的增强型用户界面140的示意性 说明。如图所示，显示表面101包含外部世界的视频105。视频105包含道路112和黄线 114的视图。相机视图中的任何物体均可包含于视频105中，例如猫117。并且，视频105 为视图相关渲染，且因此是基于驾驶员的凝视（或与凝视相关联的检视角度）。因此，图1D 中的视图105描绘大致面向前的凝视。
[0025] 图2A是根据本发明各种实施方案的系统200的示意性说明，系统200包含但不限 于包含元素210到214以及三维视频105的虚拟透视仪器群集。如图所示，驾驶员220坐 在交通工具中的方向盘221处。驾驶员220正佩戴3D眼镜222,以允许每一帧的立体图像 递送到正确的眼睛。显示表面101定位在方向盘221后面，例如在交通工具仪表盘（未画 出）中。然而，3D显示器可安装在方向盘221上，或放在可被驾驶员220看到的任何其它位 置中。显示表面101经配置以便以任何数目的不同深度等级输出被驾驶员220看到的信息。 如图所示，3D显示器输出三个不同层202到204,其各自向驾驶员220表现为在驾驶员220 与显示表面101之间。每一层具有一个或多个显示元素210到214,以及由显示表面101渲 染的3D视频105。如图所示，视频105包含（例如但不限于）在交通工具前方但原本被从 驾驶员的传统视图111遮挡的猫117。尽管将系统200描绘为包含三个层202到204以及 元素210到214,但系统200能够在任何数目的层上输出任何数目的元素，且本文对层和元 素的具体描述不应被视为限制本公开。
[0026] 最后面的层202可归因于其定位成三个层中最远离驾驶员220的层而为不透明 的，所述最后面的层包含三维视频105,其包含若干不同元素（例如建筑物、树、道路以及任 何其它物体），所述元素各自具有其自己的相应深度。中间层包含用于由3D显示器为驾驶 员输出的其它信息的元素212到214。举例来说，且无限制，元素212到214可包含导航指 令、仪器控制或其它通知和消息。元素212到214可各自具有其自己的形状、大小、色彩或 深度，且向驾驶员220表现为在最外面的层202与最上面的层204之间。中间层203中的 显示元件可稍稍透明，以便允许驾驶员看到视频105。最上面的层204包含速度计210和转 速表211，其各自可采取任何形状、形式、色彩或深度。最上面的层204中的显示元件可高度 透明，以便允许驾驶员220看到层203以及最后面的层202中的显示元素。通常，任何数目 的控件、通知等可在每一层202到204中显示，或越过不同的层，且图2A中所描绘的特定配 置不应被视为限制本公开。另外，用户偏好可指定层202到204的初始排序，以及哪些元素 210到214以及3D视频105出现在那些层中。
[0027] 图2B是根据本发明各种实施方案的包含但不限于三维视频105的系统230的示 意性说明。如图所示，图2B描绘显示表面101安装在方向盘221上的配置。如图所示，仅 显示3D视频105,因为系统230现在处于"透视模式"，使得仪器群集从视图移除，以便不遮 挡驾驶员看视频105。视频105具有负视差，使得从驾驶员220的角度来看，视频中的物体 (例如猫17)看起来在方向盘221后面。通常，可将显示表面101放置成任何合理配置。在 一些实施方案中，视频105以及其中的物体将以负视差表现，使得其在显示表面101后面。 然而，如果驾驶环境或其它因素致使视频105或其中的物体使重要的且应被驾驶员看到， 那么可视频105或其中的物体移动到较靠近驾驶员，使得其具有较正的视差。
[0028] 图2C是根据本发明各种实施方案的包含但不限于包含元素210到214以及三维 视频105的虚拟透视仪器群集的系统240的示意性说明。如图所示，图2C描绘其中3D显 示器不安装到方向盘且包含不同视差效应的实施方案。举例来说，且无限制，层202的视频 105具有负视差效应，使得从驾驶员220的角度来看，其（以及猫117)看起来在显示表面 101后面。然而，中间和最上面的层203到204具有正视差效应，使得从驾驶员220的角度 来看，速度计210和转速表211以及其它元素212到214看起来在显示表面101前方。
[0029] 尽管图2A到2C描绘3D显示器101安装在不同位置中的实施方案，但3D显示器 101的特定硬件配置和位置通常不控制从驾驶员的角度渲染物体的特定位置。然而，3D显 示器101的放置可影响所渲染的物体是具有正视差效应还是负视差效应。举例来说，且无 限制，如果需要在距驾驶员面部50厘米的距离处渲染元素210,那么这可通过软件来实现， 而不管3D显示器101的物理位置如何。如果3D显示器101安装在距驾驶员的面部55厘 米处，那么元素210将具有正视差效应。然而，如果3D显示器安装在距驾驶员的面部40厘 米处，那么元素210将具有负视差效应。然而，在任一情形中，元素210均向驾驶员表现为 其远离驾驶员的面部50厘米。此外，视频105中的物体可具有对应于其在真实生活中距交 通工具的实际距离的负视差。因此，在大多数实施方案中，视频105中的物体（例如猫117) 将以负视差渲染。通常，在距驾驶员对应于物体与交通工具113之间的距离的距离处显示 视频105中的物体。举例来说，且无限制，如果篮球（未画出）比猫117远离交通工具113， 那么猫117将被渲染为比篮球靠近驾驶员的面部。
[0030] 图3A-1是根据本发明各种实施方案的具有两个视图相关相机333的交通工具113 的示意性说明。如图3A-1中所示，相机333安装在交通工具的前保险杠上。在至少一个实 施方案中，视图相关相机333能够以至多达六个自由度进行左右转动移动，倾斜移动以及 三维移位移动。在一些实施方案中，视图相关相机333具有三个自由度，即左右转动移动、 倾斜移动以及一维横向移位移动。因此，如图3A-2中所示，当驾驶员301将其头部移向右 边时，相机333也横向移动（例如，在具有线性致动器的轨道或滑动条上），以与驾驶员的 新凝视匹配，如配置310中所示。类似地，如图3A-3中所示，当驾驶员301将其头部移到左 边时，相机也移位其角度，以便提供视图相关视频，如配置312中所示。一个或多个传感器 (未图示）可通过发射从驾驶员可正佩戴的眼镜222反射的信号来跟踪驾驶员的凝视。当 传感器检测到驾驶员的凝视（或驾驶员的检视角度）的移位时，相应地调整相机333。
[0031] 图3B-1是具有刚性相机351的阵列335的交通工具113的示意性说明。每一相 机351固定到交通工具113,且不移动。尽管阵列335可包含任何数目的相机，但在此实例 中，阵列335包含六个相机351。相机351中的每一者包含广角透镜340。可使用软件来创 建每一相机351的完整广角视图的复合视图，如子集341中所示。子集341对应于驾驶员 351的凝视，其在图3B-1中是直向前的。然而，如图3B-2中所示，当驾驶员301将其凝视移 位到右边时，可从相机352和354的视图的对应子集捕获视野350。类似地，在图3B-3中， 当驾驶员301将其凝视移位到左边时，可从相机352和354的视图的子集捕获视野360。另 外，视驾驶员301的凝视而定，可使用阵列335中的不同相机351来捕获视频。
[0032] 图4说明根据本发明各种实施方案的用以产生包含元素210到214和三维视频 105的虚拟透视仪器群集以供向交通工具的驾驶员显示的系统400。在一个实施方案中，计 算机402在交通工具（例如汽车、卡车、公交车或厢式货车）中。所述交通工具可配备有一 个或多个信息递送系统（也称为交通工具内信息娱乐（IVI)系统）。计算机402还可经由 网络430连接到其它计算机。一般来说，网络430可为电信网络和/或广域网（WAN)。在特 定实施方案中，网络430为因特网。如图所示，网络430促进计算机402与云计算环境460 之间的通信。
[0033] 计算机402通常包含处理器404,其经由总线420连接到存储器406、网络接口装 置418、存储装置408、输入装置422以及输出装置424。计算机402通常在操作系统（未图 示）的控制下。操作系统的实例包含UNIX操作系统、微软视窗操作系统的版本以及Linux 操作系统的分布。（UNIX是美国和其它国家的开放组织的注册商标。微软（Microsoft)和 视窗（Windows)是美国、其它国家或两者的微软公司的商标。Linux是Linus Torvalds在 美国、其它国家或两者的注册商标。）更一般地说，可使用支持本文所公开的功能的任何操 作系统。包含处理器404以表示单个CPU、多个CPU、具有多个处理核的单个CPU等。网络 接口装置418可为任何类型的网络通信装置，其允许计算机402经由网络430与其它计算 机通信。
[0034] 存储装置408可为持久存储装置。尽管将存储装置408展示为单个单元,但存储 装置408可为固定和/或可装卸存储装置的组合，例如固定磁盘驱动器、固体驱动器、SAN存 储装置、NAS存储装置、可 装卸存储卡或光学存储装置。存储器406和存储装置408可为横 跨多个主要和次要存储装置的一个虚拟地址空间的一部分。
[0035] 输入装置422可为用于将输入提供给计算机402的任何装置。举例来说，且无限 制，可使用键盘和/或鼠标、触摸屏接口，或控制器，例如操纵杆。输出装置424可为用于将 输出提供给计算机402的用户的任何装置。举例来说，且无限制，输出装置424可为任何常 规显示屏或扬声器集合。尽管与输入装置422分开展示，但输出装置424与输入装置422可 组合。举例来说，且无限制，可使用具有集成触摸屏的显示屏。全球定位系统（GPS)411是 经配置以使用GPS技术来跟踪交通工具的位置的模块。
[0036] 使用相机427来获得外部世界的实时3D视频流。通常，3D视频提供交通工具外部 区域（例如驾驶员在交通工具前面的盲点）的现实增强真实效果。相机427可为实现任何 可行视频捕获方法的一个或多个相机。举例来说，且无限制，两个相机427可安装在交通工 具的前面，以平均人类眼内距离并排布置，从而产生立体相机。立体相机可从稍稍不同的角 度递送两个视频流，其在与显示切换硬件同步时，左相机帧仅递送到驾驶员的左眼，而右相 机帧仅递送到驾驶员的右眼。此配置向驾驶员提供具有现实深度效应的3D立体视图。
[0037] 在另一实施方案中，相机427可为安装在交通工具前面的具有深度能力的RGB相 机（实现飞行时间、结构化灯或其它可行方法），所述相机提供每一所捕获像素的深度信 息。在又一实施方案中，相机427可包含固定相机阵列，其图像数据用于创建来自固定相机 中的两个或两个以上的视野的复合图像。所述系统可接着使用深度信息来使计算机产生的 3D物体变形（例如，大致垂直于驾驶员的薄或平虚拟投射表面），其中变形表示交通工具前 方的物体。在创建此投射表面之后，可将来自RGB相机的图像作为纹理投射到投射表面上， 以传达交通工具前方的物体的实际视觉表示。深度信息可由作为相机427的一部分的传感 器或在相机外部的传感器捕获。
[0038] 取决于驾驶员头部（或眼睛）移动的幅度以及交通工具具有的相机，系统可以若 干方式改变显示器。举例来说，且无限制，可使用固定相机来允许基于驾驶员头部移动（循 环或左右移位）的最小到无改变。通常，如果头部或眼睛移动的幅度不超过阈值，那么所述 系统可不改变显示器以反映此些最小驾驶员移动。如果准许某些角度的头部旋转，可将相 机427放置在左右转动组合件上，其允许相机427的水平旋转。如果允许某些程度的头部 移位（左和右），那么可将相机427放置在由系统控制的机械线内滑动机构上，以允许反映 驾驶员的头部移动的相机的水平移动。如果需要某些自由度的头部旋转（例如向左和向右 旋转，以及向上和向下旋转）和头部移位，那么可使用滑动和左右转动-倾斜组合件的组合 解决方案来移动相机427。举例来说，且无限制，可将相机427的左右转动移动连系到驾驶 员头部的"摇头"或左/右移动，同时相机的倾斜可对应于驾驶员头部的"点头"或上/下 移动。
[0039] 另外，可实现计算机视觉处理以提供视图相关渲染。举例来说，且无限制，可使用 具有广角透镜和计算机视觉处理的相机来修改失真且考虑驾驶员的头部位置和定向。作为 另一实例，多相机阵列和计算机视觉处理可捕获一个或多个相机的帧，其基于驾驶员的当 前头部位置和定向最佳表示驾驶员的视点。
[0040] 如图所示，存储器406含有3D应用程序412,其为通常经配置以基于3D模型产生 并在交通工具的3D显示器425上输出仪器控制面板的立体三维渲染以及交通工具外部的 直播视频的应用程序。3D应用程序412进一步经配置以在必要时连续地修改3D显示器425 上所显示的3D输出。举例来说且无限制，如果驾驶员通过一个或多个输入源422指定应使 视频较靠近驾驶员的面部，那么3D应用程序412可更新3D显示器425的输出，使得3D视 频较靠近驾驶员的面部。3D应用程序412也可基于任何数目的其它因素修改3D显示器的 输出，所述因素包含计算出的驾驶环境、事件、用户偏好，或检测驾驶员的凝视或检视角度。 3D应用程序412可使用一个或多个传感器426来检测驾驶员的凝视或检视角度。传感器 426可为任何类型的传感器，包含视觉或热图像、飞行时间传感器、红外线和超声传感器、基 于激光的传感器等。3D应用程序412还可包含计算机视觉软件，其连接到驾驶员所拥有的 3D眼镜，以便提供场景分析和头部跟踪。在一些实施方案中，3D应用程序412可经由无线 网络利用不是系统400的部分的装置的处理能力，所述装置例如为智能电话、智能手表或 远程服务器（例如云460中）。3D应用程序412还可与未画出的图形处理单元（GPU)介接， 以便产生本文所描述的3D渲染。
[0041] 如图所示，存储装置408用户数据414,其可包含用户偏好等。举例来说，且无限 制，用户数据414可包含用于不同驾驶员的条目，其指定3D显示器425上所显示的每一项 目的优选色彩方案、排序、层位置等。3D应用程序412可使用用户数据414中的偏好来影响 其在3D显示器425上显示的输出。存储装置408还包含仪器群集（1C)数据417,其可为用 于仪器控制面板的预定义模板库。1C数据417可包含个别仪器控件、控件的完整层以及控 件的多个层。1C数据417可包含不同形状、大小和色彩的仪器控件。并且，1C数据417可 包含每一显示元素、3D视频以及其它仪器控件的预定坐标。
[0042] 云计算环境460包含用户数据414和其它数据415,以及其它资源。其它数据415 可包含位置特定数据，例如速度限制、法律以及其它驾驶法规。在一个实施方案中，其它数 据415也包含在存储装置408中。云计算环境460还包含3D应用程序412的实例，其可用 于在必要时存取因特网上的其它信息，以辅助计算机102中的3D应用程序412的实例。举 例来说，且无限制，如果计算机102中的实例3D应用程序412无法在本地完整地计算驾驶 环境，那么云460中的3D应用程序412可存取额外数据，以便通知计算机102中的3D应用 程序412如何进行。
[0043] 图5是根据本发明各种实施方案的用于产生虚拟透视仪器群集的方法步骤的流 程图。尽管相对于图1到4的系统来描述所述方法步骤，但本领域的技术人员将理解，经配 置以便以任何次序执行所述方法步骤的任何系统均属于本发明的范围内。
[0044] 如图所示，方法500在步骤510处开始，其中在处理器404上执行的3D应用程序 412接收用户偏好数据。用户偏好数据可包含指示驾驶员的偏好色彩、不同显示元素的位置 以及其它属性的定制设定，其输出以供在3D显示器425上显示。举例来说，且无限制，用户 可偏好以大致相等的深度并排显示速度计和转速表。
[0045] 在步骤520处，3D应用程序412产生并输出仪器控制面板的3D渲染。通常，仪器 控制面板的3D渲染可包含可在仪器控制面板上显示的速度计、转速表、里程表、燃油表以 及任何其它仪器。在参考图8更详细地描述的步骤530处，3D应用程序412捕获并输出交 通工具外部的3D视频。3D视频可反映安装于交通工具上或交通工具中的一个或多个相机 所捕获的任何区域。在一个实施方案中，3D视频显示传统上隐藏于驾驶员的视点之外的区 域，即道路的被交通工具的引擎盖/引擎室遮挡的部分。3D视频是视点相关的，因为相机可 移动以便从驾驶员的角度捕获3D视频。在一个实施方案中，仪器控制面板的3D渲染显示 为较靠近驾驶员，其中3D视频表现为较远离驾驶员。在此实施方案中，仪器控制面板较透 明，以便允许驾驶员看穿到所述视频。然而，用户偏好可指定将视频放置成比仪器控制面板 的兀件中的一些（或所有）靠近驾驶员。在一些实施方案中，仅3D显不在3D显不器425 上显示。
[0046] 在参考图6更详细地描述的步骤540中，3D应用程序412修改仪器控制面板和视 频的3D渲染。3D应用程序412可响应于事件、用户输入、驾驶环境或驾驶员的凝视（或检 视角度）而修改仪器控制面板和视频的3D渲染。举例来说，且无限制，如果交通工具具有 不再工作的灯，那么可将用于所述灯的新通知添加到仪器控制面板，在靠近驾驶员的位置 处。作为另一实例，随着交通工具的燃油水平在操作过程期间减小，那么燃油表可从背景移 到前景，同时变得较量或粗体，以便捕获驾驶员的关注。通常，3D应用程序412可在交通工 具正被驾驶时修改3D渲染任何次数。
[0047] 图6是用于修改虚拟透视仪器群集的方法步骤的流程图。尽管相对于图1到4的 系统描述所述方法步骤，但本领域的技术人员将理解，经配置以便以任何次序执行所述方 法步骤的任何系统均属于本发明的范围内。
[0048] 如图所示，方法600在步骤610处开始，其中在处理器404上执行的3D应用程序 412通过交通工具中的3D显示器425向驾驶员输出相关通知。举例来说，且无限制，所述通 知可包含导航指令或其它导航信息，关于交通工具的通知（例如，低胎压），或任何其它类 型的通知，例如SMS警告、电子邮件等。
[0049] 在参考图7更详细描述的步骤620处，3D应用程序412计算当前驾驶环境。驾驶 环境可包含但不限于交通工具的速度、交通工具的位置、交通的属性或状态（例如燃油水 平、液面或胎压），交通工具位置处的适用法律或法规，天气条件、触发事件等。举例来说，且 无限制，3D应用程序412可使用无线数据连接来基于交通工具的GPS坐标来确定当前速度 限制为每小时65英里 。如果交通工具以每小时85英里的速度行进，那么驾驶环境可指示 驾驶员正在加速。此外，3D应用程序412可识别由于驾驶环境，速度计具有增加的相关性或 重要性，且应经调整或强调一遍抓住驾驶员的注意力。3D应用程序412可周期性地计算驾 驶环境，或响应检测到某一事件，例如爆胎。
[0050] 在步骤630处，3D应用程序412可基于所计算的驾驶环境以及一个或多个显示元 素的相关性来修改或调整一个或多个显示元素的位置。所述一个或多个显示元素可位于相 同或不同深度。举例来说，且无限制，可将3D视频移到不同深度，或速度计可从一个深度移 到另一深度。
[0051] 在步骤640处，3D应用程序412响应于接收到用户输入而修改元素或其位置，以修 改或调整元素（或元素的整个层）的位置。可从任何可行输入源接收用户输入，包含类似 于调光控制器的物理轮控制器、物理滑动条、一组按钮、通过交通工具的信息娱乐系统的数 字设定，等等。在步骤650处，3D应用程序412在检测到驾驶员的凝视的变化后，即刻调整 显示元素或层的深度。举例来说，且无限制，如果眼睛跟踪传感器确定驾驶员凝视着里程表 (其在较远离驾驶员的层中），那么3D应用程序412可将里程表移动成较靠近驾驶员。另 外，3D应用程序412可修改里程计的外观，以使其较容易被驾驶员看到，例如通过改变其色 彩、不透明度和大小。
[0052] 图7是根据本发明各种实施方案的用于计算交通工具的驾驶员的驾驶环境的方 法步骤的流程图。尽管相对于图1到4的系统描述所述方法步骤，但本领域的技术人员将 理解，经配置以便以任何次序执行所述方法步骤的任何系统均属于本发明的范围内。
[0053] 如图所示，方法700在步骤710处开始，其中在处理器404上执行的3D应用程序 412使用GPS坐标来识别交通工具位置，且使用速度计数据来识别交通工具的速度。在步 骤720处，3D应用程序412识别用于交通工具的当前位置的任何适用规则和法规，例如速度 限制、停车规则、通过规则等。举例来说，且无限制，如果交通工具在不可通过区中，那么3D 应用程序412可输出指示不允许通过其它交通工具的通知。规则和法规可本地存储在交通 工具中，或使用交通工具中的无线数据连接从远程位置检索。在步骤730处，3D应用程序 412识别一个或多个交通工具属性的状态，例如燃油量、当前速度、胎压、自上次换油起的里 程等。举例来说，且无限制，如果交通工具在10, 〇〇〇英里内尚未换油，那么系统可向驾驶员 输出改变油量的通知。在步骤740处，3D应用程序412识别当前导航环境，其包含当前和待 决导航系统指令和通知。举例来说，且无限制，3D应用程序412可确定在接下来的10英里 内不存在要显示的导航指令，从而在驾驶员附近留下额外空间，系统可将所述空间用于显 示与导航系统有关的元素。在步骤760处，3D应用程序412可计算并返回驾驶环境。驾驶 环境可将一个或多个显示元素（例如，速度计、里程表等）、层或导航系统指定为高相关性 或重要性。作为响应，3D应用程序412可修改所识别的元素或层的位置或外观。
[0054] 图8是根据本发明各种实施方案的用于调整摄像机以反映驾驶员的凝视的方法 步骤的流程图。尽管相对于图1到4的系统来描述所述方法步骤，但本领域的技术人员将 理解，经配置以便以任何次序执行所述方法步骤的任何系统均属于本发明的范围内。
[0055] 如图所示，方法800在步骤810处开始，其中一个或多个相机427捕获交通工具外 部区域的视频。如先前所述，可使用任何类型的相机，包含但不限于可移动相机、深度成像 器和RGB相机，以及固定相机阵列。在步骤820处，在处理器404上执行的3D应用程序412 在3D显示器425上渲染并显示所捕获的视频。在步骤830处，3D应用程序412监视驾驶 员的凝视，以便捕获并在3D显示器425上显示视点相关视频。在步骤830处，3D应用程序 412可另外或替代地监视驾驶员的检视角度。在步骤840处，3D应用程序412调整摄像机 425的位置，以便反映驾驶员的改变的凝视。3D应用程序412可继续监视驾驶员的凝视，改 变相机的焦点以与驾驶员的凝视匹配，且在3D显示器425上输出捕获的视频。
[0056]本文所公开的实施方案提供"透视"仪器群集，其允许驾驶员检视传统上被从驾驶 员的视点挡住的区域。通过显示交通工具外部区域的视频，本文所公开的实施方案扩大驾 驶员的视野，以包含从传统视图延伸到被遮挡实体的完整物体，且还包含可能已经完全从 驾驶员的视点挡住的物体。
[0057]有利的是，本文所公开的实施方案提供在其汽车前方提供较宽的可见性区域。较 宽的可见性区域提供在驾驶、停车或以其它方式操作交通工具时，检测交通工具前方的物 体的可能性。3D视频的视图相关捕获还向驾驶员提供增强的体验，因为是根据驾驶员的当 前有利点来捕获视频。相对于传统的二维仪器群集来说，给予3D仪器群集更真实的外观和 感觉。
[0058] 本发明的一个实施方案可实施为结合计算机系统使用的程序产品。所述程序产品 的程序界定实施方案（包含本文所描述的方法）的功能，且可包含在多种计算机可读存储 媒体上。说明性计算机可读存储媒体包含但不限于：（i)不可写存储媒体（例如，计算机没 的只读存储器装置，例如可由CD-ROM驱动器读取的压缩光盘只读存储器（CD-ROM)磁盘、快 闪存储器、只读存储器（ROM)芯片或任何类型的固态非易失性半导体存储器），其上可永久 地存储信息；以及（ii)可读存储媒体（例如，磁盘驱动器或硬盘驱动器内的软盘，或任何类 型固态随机存取半导体存储器），其上存储可更改信息。
[0059] 上文已参考特定实施方案描述了本发明。然而，本领域的一般技术人员将理解，可 在不脱离如所附权利要求中所陈述的本发明的较广精神和范围的情况下，对本发明进行各 种修改和改变。因此，将在说明性而不是限制性意义上来看待前面的描述和图式。
【主权项】
1. 一种用于在交通工具中显示直播视频的方法，其包括： 基于交通工具的驾驶员的凝视来捕获所述交通工具外部的区域的视频；以及 致使所述视频的表示在安置于所述交通工具内的三维显示器上显示。2. 如权利要求1所述的方法，其中所述交通工具外部的所述区域的至少一部分被遮挡 在所述驾驶员的视线之外。3. 如权利要求1所述的方法，其中捕获所述视频包括： 检测所述驾驶员的所述凝视；以及 致使捕获所述视频的相机与所述驾驶员的所述凝视匹配。4. 如权利要求3所述的方法，其进一步包括： 确定所述驾驶员的所述凝视已改变；以及 捕获视频的后续帧以与所述驾驶员的所述改变的凝视匹配。5. 如权利要求1所述的方法，其进一步包括： 产生包含多个仪器的交通工具仪器群集的三维表示； 以第一深度等级输出所述交通工具仪器群集的所述三维表示；以及 以第二深度等级输出所述视频的所述表示。6. 如权利要求1所述的方法，其中所述视频的所述表示中所显示的物体与所述驾驶员 之间的距离是基于所述物体与所述交通工具之间的距离。7. -种用以在交通工具中显示直播视频的系统，其包括： 一个或多个计算机处理器； 至少一个相机，其经配置以基于交通工具的驾驶员的凝视来捕获所述交通工具外部的 区域的视频；以及 显示器，其经配置以输出所述视频的表示。8. 如权利要求7所述的系统，其中所述显示器包括立体、具视差功能的三维显示器。9. 如权利要求7所述的系统，其中所述至少一个相机包括安装于所述交通工具的前保 险杠上的两个机械左右转动-倾斜-移位相机以及安装于所述交通工具的所述前保险杠上 的多个固定相机的阵列中的至少一者。10. 如权利要求9所述的系统，其中所述至少一个相机包括所述两个机械左右转动-倾 斜-移位相机，其中所述一个或多个计算机处理器经配置以： 检测所述驾驶员的所述凝视；以及 调整所述相机组中用以捕获所述视频的每一相机以与所述驾驶员的所述凝视匹配。11. 如权利要求9所述的系统，其中所述相机组包括所述固定相机阵列，其中所述一个 或多个计算机处理器经配置以： 检测所述驾驶员的所述凝视；以及 调整用以捕获所述视频的所述固定相机阵列的捕获以与所述驾驶员的所述凝视匹配。12. 如权利要求11所述的系统，其中调整所述固定相机阵列的所述捕获包括以下各项 中的至少一者：选择所述多个固定相机中的两个相机；以及使用所述多个固定相机中的两 个相机所捕获的图像数据的子集来创建所述多个固定相机中的所述两个相机的复合视图。13. 如权利要求7所述的系统，其进一步包括： 一组面向驾驶员的传感器，其经配置以检测所述驾驶员的所述凝视。14.如权利要求9所述的系统，其中所述一个或多个计算机处理器经配置以： 确定所述驾驶员的所述凝视已改变；且 基于所述驾驶员的所述已改变的凝视来修改用以捕获视频的所述至少一个相机。
【专利摘要】本文所公开的至少一个实施方案包含:产生三维图形输出,其包含交通工具外部区域的视频的三维表示；以及在安置于交通工具内的三维显示器上显示所述三维图形输出。
【IPC分类】G06T15/00, H04N13/02, H04N13/00, H04N13/04
【公开号】CN104883554
【申请号】CN201510090111
【发明人】D.迪森索, S.马蒂
【申请人】哈曼国际工业有限公司
【公开日】2015年9月2日
【申请日】2015年2月27日
【公告号】EP2914002A1, US20150245017