使用多设备的环境的多维数据捕捉的制作方法
使用多设备的环境的多维数据捕捉的制作方法
【技术领域】
[0001]本公开一般地涉及环境或对象的数据捕捉领域，并且特别是真实三维(3D)深度视频。
【背景技术】
[0002]在无数的情况下使用对象或环境的数据捕捉，并且其可以使得处理器能够使用、作用于或操纵所捕捉的数据来创建对象和/或环境的图像。例如，照相机可以捕捉场景的静止二维(2D)图像，并且摄像机可以捕捉视频数据(即，随时间推移的2D数据)以用于稍后编辑和显示。另外，可以使用聚焦在对象周围的多视图立体2D图像来模拟对象的3D图像。可以用来模拟3D图像的数据捕捉的另一示例涉及到光检测与测距(LiDAR)(也称为激光检测与测距(LADAR))传感器，其一般地被用于对地形或建筑物进行绘图。LiDAR将来自光源的光指引到将光反射回到接收机的表面处。LiDAR系统然后将基于光的往返时间(称为“飞行时间”(TOF)数据)来计算从光源到表面的距离。这样，可以用LiDAR系统来捕捉关于环境中的对象的距离或深度的数据。LiDAR通过跨环境扇出或用脉冲发射其射束并测量用于将光反射回到LiDAR系统中的接收机的每个对象的飞行时间来收集数千个数据点。LiDAR仅能确定将光反射回到接收机的对象的深度，而不能检测关于颜色的图像数据。LiDAR及其它类型的TOF照相机处于在本文称为“深度照相机”的照相机类别中。深度照相机的其它示例包括可以确定深度信息的任何设备，诸如立体照相机、结构光扫描仪或发射电磁(EM)辐射并捕捉被反射回来的辐射的飞行时间的其它设备。
[0003]用于捕捉成像数据的现有技术具有限制或缺点。例如，包括胶片、数字摄影以及全景2D摄影(即柱面或立方体交互式全景)的2D文档介质的当前手段在当被用户或观看者访问时传达整体的真实生活体验或事件方面具有限制。2D图像可能具有优良的分辨率和颜色，但不具有与图像相关联的深度信息。
[0004]可以以各种方式来创建模拟3D图像。通常，使用两个间隔开的透镜来记录图像，其从略有不同的角度记录场景，并且这些图像被提供给人，使得诸如通过使用具有滤色器或不同偏振的眼镜来不同地向每只眼睛呈现该信息。如2D图像的情况一样，颜色和分辨率可以是极佳的，并且这些立体图像的3D效果可以是引人注目的，然而，此类系统仍缺少收集场景的深度信息的能力。
[0005]可将由深度照相机捕捉的信息与2D照相机的图像数据组合以提供模拟3D且包含深度信息的图像。例如，可将LiDAR图像与来自重叠2D图像的数据组合以用深度数据来模拟3D图像一一亦即，该图像数据包含图像中的对象距离的信息，并且具有计算图像中的对象的尺寸和相对间距的能力。
[0006]无论是立体照相机还是与2D照相机组合的深度照相机，当前3D成像系统都使用单个照相机，其在给定时间记录单个视点(POV)以收集表示单个静态时刻的数据。使用单个照相机可以导致所收集3D数据中的间隙。例如，从单个角度捕捉具有树的场景的单个照相机不能捕捉在树后面的东西。用于在用单个照相机来捕捉场景时减少数据间隙的当前方法要求记录单个照相机视点并将照相机重新定位多次的冗长过程。一旦通过用单个照相机进行的重新定位和捕捉的多个会话来捕捉场景，则必须有广泛的辅助后处理以对多次扫描进行配准并组织所捕捉的数据。除要求大量的时间(由于例如所使用的算法和大量的数据)之外，此类后处理一般地要求广泛的用户输入和用户的技术知识。
[0007]除组织用这些3D照相机捕捉的数据所要求的广泛后处理之外，可能要求附加后处理以便再现数据，包括通过数字模型配置的数字图形内插、矢量化和/或图像模型构建。
[0008]构建数据云以表示其中深度照相机移动的环境要求照相机具有用以跟踪其移动和位置或与远程部件通信以便跟踪照相机的移动的部件。这在其中必须映射环境使得机器人能够对其环境进行导航的移动机器人技术中是常见的问题。同样地，在使用数据来创建沉浸式环境的情况下，照相机必须跟踪其位置，并且将该信息标记成图像数据。这种技术一般地称为同时定位与地图创建(SLAM ) ο
【附图说明】
[0009]参考以下各图来描述本发明的非限制性且非排他性实施例，其中，除非另外指明，遍及各视图中相同的附图标记指示相同部分。应认识到的是以下各图可能不按比例描绘。
[0010]图1是根据本发明的实施例的系统的框图以及场景。
[0011]图2是根据本发明的一个实施例的数据捕捉设备的等距视图。
[0012]图3是根据本发明的一个实施例的具有多个深度照相机的平台的平面图。
[0013]图4a_4e图示出根据本发明的一个实施例的使用LiDAR的深度照相机的示例性图。
[0014]图5是根据本发明的一个实施例的组合深度照相机和图像照相机的示例性图。
[0015]图6是根据本发明的一个实施例的系统图。
[0016]图7是根据本发明的一个实施例的收集环境和环境中的对象的深度和图像数据的方法的流程图。
[0017]图8是根据本发明的一个实施例的计算机系统的示例性形式中的机器的框图。
[0018]随后是某些细节和实施方式的描述，包括图的描述，其可描述下述某些或所有实施例以及讨论本文提出的发明概念的其它潜在实施例或实施方式。下面提供本发明的实施例的概述，后面是参考附图的更详细描述。
【具体实施方式】
[0019]在本文描述了与对象和/或环境的数据捕捉有关的装置、系统以及方法的实施例。在本发明的一个实施例中，用户可以容易地、快速地且用系统的最少技术知识来捕捉真实3D深度视频数据，其中，将3D深度视频数据理解为带时间索引3D深度数据或四维(4D)带时间索引空间数据。捕捉3D深度视频数据使得能够实现沉浸式且动态的3D数字环境，其中，用户可以随着3D环境随时间改变对其进行探索。还可以将能够捕捉3D深度视频数据的数据捕捉设备称为真实3D深度摄像机。
[0020]3D深度视频数据的捕捉和可视化可以使得能够实现倒退虚拟时间旅行、虚拟现实或增强现实的概念，使得用户可以实时地(例如，用于电话会议或其它实时交互)或通过所存储的数据来体验所捕捉事件、环境或其它体验并与之相交互。根据一个实施例，用来捕捉环境的3D深度摄像机系统创建原始文件，其可在不要求后处理建模和/或再现的情况下显示。用户可以出于重建或分析的目的而捕捉事件，包括但不限于:体育赛事、音乐会、讨论会、聚会、教育性演示、历史事件、考古或文化遗产地、徒步旅行行踪、机械或物理故障、被监视地点或任何其它环境或事件。例如，如果用户捕捉到其中在房间的不同部分中同时地发生多个演讲的会议，则可以以数字方式显示该会议，使得用户可以在3D环境的一个部分中体验到一个演讲，并且通过虚拟地过渡到房间的另一侧以体验另一演讲来自由地探索3D环境。第二示例将是音乐表演的示例，其中，用户可以从在所捕捉场景范围内的观众的方位、在舞台上的方位或者从一个或多个音乐家他们自己的视点出发体验该事件。
[0021]在以下描述中，阐述了许多特定细节以便提供实施例的透彻理解。然而，相关领域的技术人员将认识到可以在没有该特定细节中的一个或多个的情况下或用其它方法、部件、材料等来实施本文所述的技术。在其它情况下，并未示出或详细地描述众所周知的结构、材料或操作以避免模糊某些方面。
[0022]遍及本说明书对“一个实施例”或“实施例”的参考意指在本发明的至少一个实施例中包括结合该实施例所述的特定特征、结构或特性。因此，短语“在一个实施例中”或“在实施例中”在遍及本说明书的不同位置上的出现不一定全部指的是同一实施例。此外，可在一个或多个实施例中以任何适当方式将特定特征、结构或特性进行组合。
[0023]图1是根据本发明的实施例的系统的框图和正被捕捉的场景。如图1中所示，系统100包括多个便携式数据捕捉设备102a-102n，其在没有预定布置的情况下就位并能够在数据捕捉期间移动。其它实施例可以包括单个便携式数据捕捉设备。所述多个数据捕捉设备102a-102n中的一个或多个能够捕捉3D运动。捕捉3D深度视频数据涉及到快速地捕捉环境和环境内的对象的一系列3D测量结果和图像。例如，在所示实施例中，所述多个数据捕捉设备102a-102n在时间t = 1、t = 2、…以及t = η捕捉用于3D环境场景104的一系列3D深度数据和颜色图像数据帧。
[0024]场景104可以包括具有固定和/或移动的对象的环境。例如，场景106a_106n包括移动的人。能够捕捉3D数据的现有技术仅在其在静态时刻存在时才及时捕捉场景。例如，如果用户尝试用现有技术来捕捉场景106a-106n，则仅能捕捉场景中的静止元素(例如，可以捕捉树的远景或站着不动的人)，并且在数据捕捉时存在的任何移动对象将导致数据误差、伪影或“重影(ghost)”图像和不完整的数据“裂片”。系统100可以将场景106a-106n捕捉为3D深度视频数据，其包括作为3D帧收集的一系列带时间索引数据。此类收集的3D深度视频数据的数字可视化可以使得能够实现随时间推移的真正沉浸式3D体验，使得用户可以随着3D环境随时间改变而体验和探索3D环境。
[0025]根据一个实施例，所述多个数据捕捉设备102a_102n使得能够在没有数据间隙或有最少量的数据间隙的情况下实现带时间索引3D帧的准确捕捉。部分地由于所述多个数据捕捉设备102a-102n而可以在没有数据间隙的情况下捕捉3D运动，其可以被定位成围绕场景104，并且其可以同时地从多个视角捕捉3D数据。如下面更详细描述，多个数据捕捉设备102a-102n能够共同地捕捉真实3D空间数据和颜色图像，其快到足以捕捉场景104的3D运动和相应颜色。
[0026]在一个此类实施例中，多个数据捕捉设备102a_102n具有地理空间数据感测能力，其使得能够实现改善的且实时的数据处理(即，实时3D点云生成)。地理空间数据是与数据捕捉设备的定向、方位和/或位置相关联的数据。在一个实施例中，多个数据捕捉设备102a-102n能够相互地和/或与外部计算设备110通信，也使得能够实现改善的且实时的数据处理。在一个实施例中，所述多个数据捕捉设备的在捕捉数据的同时进行通信的能力促进实时数据辨别和压缩，并且因此使得能够实现更加高效且合作的数据捕捉。
[0027]为了在给定时间捕捉3D数据，多个数据捕捉设备102a_102n可以利用使得能够实现深度感测的任何3D捕捉技术。例如，所述多个数据捕捉设备可以实现以下各项中的一个或多个:LiDAR/LADRA、结构光、闪光(Flash) LiDAR、多视图立体数字影像、全景多立体数字影像、摄影测量或在各种深度和分辨率的域捕捉3D数据的任何其它手段。用户可以以便携式或固定布置来操作多个数据捕捉设备102a-102n。例如，用户可以通过例如使用三脚架或者将捕捉设备临时地或永久地附着于表面(例如，墙壁、天花板、树、或者可以向其附加设备的任何其它表面)来将多个数据捕捉设备102a-102n中的一个或多个布置成是固定的。在一个实施例中，多个数据捕捉设备102a-102n可以是便携式的。例如，用户可以通过在多个数据捕捉设备102a-102n中的一个或多个正在捕捉数据的同时移动设备来捕捉数据。数据的移动捕捉可 以使得用户能够实现携带着数据捕捉设备行走以捕捉感兴趣场景的灵活性。
[0028]可以将多个数据捕捉设备102a_102n中的一个或多个附连到自主移动实体(例如，电子螺翼直升机或其它运载工具)或用户控制的移动实体(例如，手控或遥控运载工具、汽车、视频摄影车或其它用户控制的实体)。在一个此类实施例中，该系统包括用于根据收集的数据来控制自主实体的移动的反馈机制，使得数据捕捉设备能够自主地填充数据间隙和/或避开障碍物。在另一实施例中，用户可以使用静态和动态配置的组合来操作多个数据捕捉设备102a-102n。例如，用户可以静态地布置一个或多个数据捕捉设备，并且在捕捉数据的同时携带一个或多个捕捉设备在场景中来回移动。
[0029]根据一个实施例，数据捕捉设备可以在数据捕捉设备的一部分或全部上面包括保护盖或其它衬垫以便保护设备不被损坏。例如，数据捕捉设备的外部可以包括抗损衬垫，诸如橡胶、塑料或泡沫，其增加用于数据捕捉设备的动态使用的耐久性。
[0030]在一个实施例中，多个数据捕捉设备102a_102n中的每一个能够以适合于捕捉运动的帧速率来收集3D帧。例如，在一个此类实施例中，多个数据捕捉设备102a-102n中的每一个每秒捕捉24个或更多个3D帧。然而，其它实施例可包括每秒捕捉少于24个3D帧的数据捕捉设备。捕捉3D环境中的变化所要求的每秒帧数可取决于特定环境。例如，在其中正在发生很少的运动或变化的环境中，每分钟更少的帧可足以捕捉该环境中的运动。在具有频繁或快速变化的其它环境中(例如，运动中的人或对象)，可要求每秒或每分钟更多帧来捕捉足以实现真实感再现和场景重建的3D深度视频数据。
[0031]在一个实施例中，为了每分钟或每秒捕捉足够的帧数，3D深度视频捕捉设备可以包括多个3D数据捕捉模块。在一个实施例中，数据捕捉设备包括脉冲式TOF或闪光LiDAR以每秒捕捉足够数目的3D帧。在一个此类实施例中，一个或多个闪光LiDAR模块可以包括光发射体阵列，其同时地发射光以从目标表面反射回来并返回到相应接收机阵列。在使用LiDAR的另一实施例中，数据捕捉设备可以包括多个模块以使得能够快速且同步地连续捕捉数据。例如，具有重叠视图的被直接地相互紧挨着布置的模块交替发射无干扰光，以产生3D场景的重叠运动捕捉。在另一实施例中，使用来自数字照相机的多个立体视图通过使用补充LiDAR或结构光数据或连同它们一起来计算3D测量数据。
[0032]图2图示出根据一个实施例的包括多个深度照相机202a_202n的数据捕捉设备200 (例如，图1的多个数据捕捉设备102a-102n中的一个)的等距视图。如所示，数据捕捉设备200可具有基本上球形的形状，但是其它实施例包括能够收集真实3D视频数据的其它对称和不对称形状。设备200包括通过设备200的中心设置的水平平台201，其支撑多个深度照相机202a-202n。虽然图2图示出三个深度照相机，但是数据捕捉设备200可以包括任何数目的深度照相机(例如，1、4、36、120等)。根据一个实施例，更大数目的深度照相机使得能够实现数据捕捉的交替或调制速率，其使得能够每分钟或每秒收集更多的3D帧。在一个此类实施例中，深度照相机可以以同步“开闭(shuttered)” ROF进行捕捉。例如，如果单个深度照相机以每秒30帧(fps)的速率捕捉场景数据，则可以通过将图像捕捉排成序列而将三个深度照相机配置成以90fps的有效帧速率来捕捉场景。也就是说，第一照相机将在时间t = Os捕捉场景，第二照相机将在t = l/90s捕捉场景，并且第三照相机在t =2/90s捕捉场景等等，使得每个照相机以其30fps的帧速率捕捉场景，并且每个从其它照相机进行时移，使得通过将每个照相机的数据集组合来实现90 fps的连续场景捕捉。
[0033]平台201可以绕着轴204旋转，其使得深度照相机202a_202n能够捕捉3D数据的360平方度(4 球面度)的完整球面立体角或其一部分。在一个此类实施例中，还可以使数据捕捉设备200垂直向上和/或向下地移动和/或枢转以便覆盖场景，并且包括用以跟踪每个数据捕捉设备的移动(例如，3D空间中的一个或多个自由度)和定向(例如，左右倾斜、俯仰和/或偏航)的传感器。在下面更详细地描述的另一实施例中，多个深度照相机202a-202n中的每一个能够移动(例如，枢转和/或旋转)，使得能够在不移动数据捕捉设备的情况下捕捉场景。数据捕捉设备200还可以包括用于将设备200安装到三脚架或其它表面的一个或多个机构206a和206b。
[0034]数据捕捉设备200的上部208a和下部208b包括用于对环境进行摄影且用于容纳电子控制和数据处理的部件。根据一个实施例，上部和下部208a-208b中的每一个上的一个或多个图像捕捉模块(未示出)能够捕捉高达180平方度的图像，使得能够实现整个周围环境的图像捕捉。在其它实施例中，上部和下部208a-208b上面的图像捕捉模块中的一者或两者能够捕捉多于或少于180平方度。
[0035]图像捕捉模块可以包括本领域中已知的任何图像捕捉部件。例如，上部和下部208a-208b可以包括多个数字照相机。在另一示例中，上部和下部208a_208b可以包括具有全景透镜的一个或多个数字照相机。在又一示例中，上部和下部208a-208b可以包括具有能够用单个照相机来捕捉宽广区域的鱼眼圆顶透镜的一个或多个数字照相机，和/或一个或多个高清晰度(HD)摄像机。
[0036]数据捕捉设备200可以包括任何数目的图像照相机(例如，0、1、2、36、128等)以及照相机类型的任何组合。数据捕捉设备包括的照相机的数目可以影响创建所捕捉的环境的单个图像所需的处理。例如，生成较大数目的单独图像的较大数目的照相机通常由于要将该数目的单独图像组合而导致与较小数目的照相机相比更多的处理。在一个实施例中，上部和下部208a-208b是固定的。在另一实施例中，上部和下部208a_208b中的一者或两者可以旋转。
[0037]上部和下部208a_208b还可以包括一个或多个深度照相机或其它传感器。根据平台201上的深度照相机的存在或配置，一个或多个深度照相机可以在一个或多个其它深度照相机有故障的情况下或者出于一般的图像对准目的而提供冗余。上部和下部208a-208b或数据捕捉设备200的任何其它部可以包括其它传感器，例如嗅探空气以确定气味的传感器、湿度传感器、温度传感器、风传感器或用于捕捉环境的任何其它数目的传感器。根据一个实施例，数据捕捉设备200包括一个或多个谱输入扫描仪，其可以提供关于正被捕捉的对象或场景的化学谱分析的信息。
[0038]图3图示出根据一个实施例的支撑多个深度照相机302a_302n的平台300的平面图。如所示，平台300是圆盘状的，并且绕着中心轴301旋转；然而，数据捕捉设备可以包括具有其它形状的平台，或者也使得能够实现3D帧的快速捕捉的完全不同的配置。例如，其它实施例可以包括采取多种定向(例如，绕着垂直或非垂直轴的旋转)的一个或多个旋转平台或固定平台。在包括中心旋转平台的一个实施例中，该平台绕着中心轴对称，其可以当设备处于水平方位时在旋转期间具有改善平衡的益处。
[0039]数据捕捉设备可以包括用于捕捉3D数据的任何类型或配置的深度照相机。在使用LiDAR作为深度照相机的情况下，可以将LiDAR模块302a-302n配置成以相对于数据捕捉设备的各种角度发射激光束。虽然图示出四个深度照相机，但可以包括任何数目的深度照相机(诸如LiDAR模块)。如图3中所示，深度照相机302a-302n中的每一个包括用以发射光束305a-305n的激光器306a_306n、以及用以在期望方向上反射发射光束的反射镜303a-303n。深度照相机302a_302n可以包括旋转反射镜以便以期望的角度快速地发射光，或者可以利用其它反射镜配置。深度照相机302a-302n中的每一个包括光检测器308a-308n，其检测已从表面反射并返回到数据捕捉设备的入射光304a_304n (例如，激光束
[0040]深度照相机302a_302n可以与数据捕捉设备的表面齐平，或者凹陷或从设备的表面向外延伸。深度照相机302a-302n可以相对于平台300固定不动，或者可以包括相对于平台300旋转或以其它方式移动的部件。例如，图4图示出其中将一个或多个部件安装到旋转和/或枢转组件的LiDAR模块。
[0041]图4a_4e图示出根据本发明的一个实施例的示例性LiDAR模块400。LiDAR模块400包括光发射体403、反射镜402以及光学接收机406。在一个实施例中，如所不，将一个或多个反射镜402安装到双轴栓扣紧固件401，其允许一个或多个反射镜402枢转和/或旋转。在一个此类实施例中，LiDAR模块产生扇出阵列，该阵列的轴在一个或多个反射镜402绕着其进行枢转或移动的点处。如果数据捕捉设备200包括类似于激光扇配置的多个LiDAR模块，则每个模块可被定位使发射的光不与其它模块发射的光相干扰。例如，如果图3的LiDAR模块302a-302n中的每一个被配置为如图4中所示的激光扇，则LiDAR模块302a-302n中的每一个将向外且沿着与数据捕捉设备相切的线发射扇形激光束。另一此类实施例包括向外且与捕捉设备不相切的激光束扇。可以与诸如图3中的旋转平台相结合地使用诸如栓扣紧固件之类的机构，或者可以独立于旋转平台而使用诸如栓扣紧固件之类的机构。在没有旋转平台示例的一个实施例中，数据捕捉设备可以包括跨数据捕捉设备的表面设置的多个LiDAR模块404，其能够以使得不与相邻LiDAR模块404的信号或接收机相干扰的方式产生扫描光扇或脉冲。在一个实施例中，在来自多个LiDAR模块的反射光被LiDAR模块中的超过一个检测到的情况下，该系统可以确定来自LiDAR模块的被检测的光，并且对来自每个模块的信号进行识别和滤波。
[0042]图5是根据本发明的一个实施例的组合深度照相机和图像照相机的示例性图。布置500包括用于捕捉3D数据的深度照相机。深度照相机的实施例包括光发射体503、反射镜504以及光学接收机506。光发射体503发射光517，其从反射镜504和510反射。发射光从环境或对象的表面反射回来，并且作为光516返回，其进入深度照相机与图像照相机的组合，从反射镜510和504反射，并被光学接收机506接收。布置500还包括光学设备508和反射镜505以用于捕捉颜色图像。光学设备508可以包括例如数字照相机或捕捉场景颜色的任何其它部件。如所示，光516进入组合的深度照相机和图像照相机，从反射镜510和505反射，并被光学设备508检测到。
[0043]布置500还包括旋转双面反射镜510以及用以旋转该双面反射镜510的电动机512。根据一个实施例，旋转双面反射镜使得能够基本上同时捕捉颜色和3D数据。例如，当旋转反射镜510处于如所不的方位时，旋转反射镜510反射用于光学设备508的光。当旋转反射镜510处于方位514 (用点线表不)时，旋转反射镜反射用于光发射体503和接收机506的光。如所示，电动机512使反射镜510以使得能够在不导致所捕捉的数据的质量显著损失的情况下(例如，在不导致数字照相机图像模糊的情况下)基本上同时地捕捉2D颜色图 像和深度数据的速率(固定或可调整)来旋转。
[0044]图6是根据本发明的一个实施例的系统图。系统600包括多个数据捕捉设备602a-602n。多个数据捕捉设备602a_602n中的每一个包括一个或多个深度照相机614a-614n。在一个实施例中，所述多个数据捕捉设备602a_602n中的每一个还可以包括音频映射模块616，其包括用以与3D和图像数据同时地记录声音的一个或多个扩音器618a_618n0
[0045]在一个实施例中，多个数据捕捉设备602a_602n中的每一个配置有定义的中心(例如，大地测量数据)和前向定向，并且具有地理空间位置跟踪。大地测量数据被定义为精确地理方位(即，空间中的位置)和定向数据。例如，系统600可以监视数据捕捉设备中的每一个在3D空间中的位置和移动(例如，六个自由度)。在一个此类实施例中，该系统用数据捕捉设备的大地测量数据的微米标度、纳米标度或更高分辨率精度来实现跟踪。在使用多个数据捕捉设备的情况下，系统600可以监视用于多个数据捕捉设备602a-602n中的每一个的位置和移动(例如，线性移动、弧线移动以及旋转)。
[0046]在一个此类实施例中，多个数据捕捉设备602a_602n中的每一个包括用于跟踪在3D空间中的移动的运动跟踪模块604和大地测量中心。例如，模块604可以包括一个或多个加速计。一个此类实施例可以包括三重或多重堆叠的加速计。可以利用多个加速计通过对数据求平均或者另外将其组合并对来自每个加速计的误差进行配置来改善准确度。用于跟踪在3D空间中的移动的部件可以包括任何类型的加速计或测量设备，包括激光环陀螺仪加速计、具有高分辨率的磁性传感器、倾斜计和/或用于高准确度运动感测的任何其它机构中的一个或多个。作为一个或多个加速计的替代或除此之外，其它实施例可以利用精确运动跟踪的其它部件。例如，该设备利用成像模块通过SLAM的使用来进行自定位(selflocalizat1n)。在另一示例中，数据捕捉设备可以包括磁场波动的跟踪和/或用于准确地跟踪设备的运动的惯性测量单元(MU)。随着多个数据捕捉设备602a-602n中的一个数据捕捉设备移动，该设备的定义的中心根据从运动传感器收集的数据而随设备一起移动。因此，可以在数据捕捉设备正在记录的同时将其在位置间移动(例如，被用户携带)。
[0047]系统600跟踪数据捕捉设备602a_602n的中心(或其它预选轨迹)的移动，并且计算每个设备的运动如何影响所捕捉数据的位置和定向。在一个实施例中，模块604还包括用以准确地区别振动和其它类型的运动的振动传感器。在一个实施例中，将设备大地测量数据的精确机载跟踪与GPS和/或载波相位跟踪模块606组合，其跟踪地理坐标系内的位置数据。可以用来自一个或多个加速计或其它运动传感器的数据来补充来自GPS和/或载波相位跟踪模块606的数据。例如，如果GPS和/或载波相位跟踪数据指示由一个或多个运动传感器跟踪的记录设备中心位置是不正确的，则可以基于GPS和/或载波相位跟踪数据来更新设备中心的位置。根据一个实施例，将来自包括一个或多个振动传感器、一个或多个加速计以及一个或多个GPS和/或载波相位传感器的多个传感器的数据一起分析，以减小误差并准确地跟踪多个数据捕捉设备602a-602n中的每一个的运动。
[0048]在具有大地测量数据和运动跟踪的一个实施例中，多个数据捕捉设备602a_602n中的每一个在处于基站中的同时开始运动跟踪。基站可以提供设备初始化的手段，并且包括用于对数据捕捉设备602a-602n和/或计算设备608中的每一个充电的机构。在一个实施例中，基站还容纳中央处理单元，并且包括用于显示数据捕捉设备602a-602n的状态信息和/或从数据捕捉设备602a-602n接收到的数据的显示器。在一个此类实施例中，显示器是触摸屏，其显示信息并接受用户输入。当多个数据捕捉设备602a-602n中的每一个从基站起开始操作时，每个设备可以知道其它设备相对于彼此的位置。多个数据捕捉设备602a-602n自基站起的任何运动可以被模块604感测和/或被记录。
[0049]在另一实施例中，多个数据捕捉设备602a_602n可以对其自身进行地理登记。例如，如果多个数据捕捉设备602a-602n在随机位置处(例如，不在基站中)开始跟踪，则多个数据捕捉设备602a-602n中的每一个可以开始收集3D数据，并且一旦其登记了其它数据捕捉设备的形状，则可以识别其相对于彼此的位置。另一实施例将其它数据捕捉设备的登记形状与从每个设备发射和接收到的无线信号结合。一旦多个数据捕捉设备602a-602n识别了其相互的关系，则由于模块604进行的运动跟踪而不需要在后处理中的进一步登记。
[0050]在数据捕捉设备通过空间移动的同时对其大地测量数据的监视使得能够实现许多应用。在一个实施例中，可以使用数据捕捉设备来测量对象或区域的尺寸而不依赖于传统测量技术。例如，可以测量由于尺寸、配置或中间对象而难以测量的对象或区域。用户可以在数据捕捉设备处于一点处的情况下开始测量对象或区域，然后携带设备走到用户希望测量的第二点。例如，用户可以从房间的一堵墙走到房间的另一堵墙(通过采取到另一堵墙的直接或间接路径)，并且系统将监视数据捕捉设备的位置，并且因此理解墙壁在空间中的相互关系。在此类尺寸测量应用中可以使用一个或多个数据捕捉设备。
[0051]在另一实施例中，每个数据捕捉设备的大地测量数据的监视使得能够实现简化的数据处理算法。该系统可以理解从哪个位置和角度捕捉数据的每个项目(例如，3D帧或数字图像)，并且因此可以在不依赖于诸如登记或用户输入之类的后处理技术的情况下将从单独数据捕捉设备捕捉的数据进行组合。系统可以在捕捉数据以生成环境的单色3D帧时通过分析每个设备的大地测量中心而将来自每个数据捕捉设备的数据准确地放置到单个坐标系上。如下面更详细地描述的，如果数据捕捉设备中的每一个可以相互和/或与中央计算机(例如，计算设备608)通信，则中央计算机或数据捕捉设备中的一个或多个可以随着捕捉数据而在一个时间生成单个3D数据集，并且不要求后处理。
[0052]根据一个实施例，以使得能够在没有诸如建模或再现之类的实质上进一步处理的情况下实现立即可视化的格式来存储由数据捕捉设备中的每一个数据捕捉设备捕捉的数据。例如，以x、y、z、r、g、b和t的列格式来存储数据，以指示数据点的地理空间位置、色值以及时间。然后在空间上组织该列格式数据以生成点云帧，其能够以数据的最少操纵被可视化。
[0053]在另一实施例中，多个数据捕捉设备的地理空间知晓使得能够实现关于潜在数据间隙的实时反馈。关于潜在数据间隙的反馈可以对其中多个数据捕捉设备正在移动的情形(例如，由于用户正在携带或者以另外方式控制设备，或者由于安装在自主运载工具上)有用。如果用户正在携带数据捕捉设备，则可以经由设备上的显示器和/或经由另一计算设备(例如，智能电话、平板计算机或其它外部计算设备)来提供反馈。关于数据间隙的反馈可以是如通过实时再现而实现的场景的视觉表示，或者其它视觉、文本和/或其它指示器(例如，指示用户收集特定数据间隙的移动设备的响铃或震动)。如果数据捕捉设备被安装到自主运载工具，则可以提供反馈以将运载工具引导到消除或减少数据间隙的位置。
[0054]在一个实施例中，多个数据捕捉设备602a_602n中的每一个包括使得能够实现相互无线通信和/或与计算设备608进行无线通信的通信接口 610。多个数据捕捉设备602a-602n还可以包括相互有线通信和/或与计算设备608进行有线通信的部件(例如，当设备如上所述地位于基站中时)。通信接口 610可以包括例如用于经由W1-Fi(例如，802.11标准)、蓝牙、蜂窝数据服务(例如，3G、4G或使用其他电信标准的服务)、卫星或用于在电子设备之间通信的其它手段进行通信的硬件和/或软件。
[0055]一个或多个数据捕捉设备可以通过无线信号来传送其收集的数据和/或精确位置并使其同步。多个数据捕捉设备602a-602n中的每一个数据捕捉设备的无线数据信号610使得能够经由通信接口相互地、向计算设备608和/或云存储位置上传数据。根据一个实施例，由多个数据捕捉设备602a-602n中的每一个对其位置的传送可以创建在地理空间上知道彼此的数据捕捉设备的系统，和/或包括知道多个数据捕捉设备602a-602n中的每一个的每个位置的外部计算设备(例如，计算设备608)。根据一个实施例，此类地理空间知晓使得能够实现更简单、更快速、实时且要求更少用户输入的数据处理。另外，如果数据捕捉设备可以与计算设备608或其它服务器无线地进行通信，则数据捕捉设备可以在其记录会话期间传输捕捉的数据以释放数据捕捉设备上的存储空间，并使得能够实现连续记录。在记录会话期间无线传输数据的能力还使得能够实现更小外形因素以易于携带。
[0056]如上文所讨论的，除3D数据捕捉部件之外，数据捕捉设备602a_602n中的每一个可以包括一个或多个图像传感器612a-612n，其捕捉场景的颜色。与现有技术相反，系统600可以以高精度知道来自捕捉设备的数据源自于视图的哪里和什么角度或帧，并且应用来自捕捉图像的色值或立体3D计算而对3D数据帧着色和/或以最少处理补充3D数据。
[0057]根据一个实施例，与3D数据同时地捕捉图像，以使得能够生成颜色3D深度视频数据。在另一实施例中，3D数据捕捉和颜色图像捕捉可以按照不同的调度表发生。例如，系统600可以完成初始3D和颜色图像扫描，然后根据需要继续捕捉颜色图像和/或3D数据，以在给定情况下捕捉期望的场景。在一个此类实施例中，由于例如3D环境保持静态，所以可比3D数据更频繁地捕捉颜色图像。例如，墙壁或表面的深度数据在影响颜色数据的照明条件(诸如移动的阴影)随时间而改变的同时保持静态。
[0058]在一个实施例中，系统600执行实时数据鉴别，其可以显著减少捕捉数据的存储和处理。3D深度视频数据的捕捉可以产生实质上太字节量级的大量记录数据(取决于所捕捉区域的尺寸、每秒帧数以及捕捉时间量)。现有技术可以在使用例如压缩算法来记录数据之后降低存储要求。然而，在后处理之前存储此类大量数据可能是昂贵、耗时的，限制捕捉设备的能力且要求用于数据的过多的物理存储装置。
[0059]在一个实施例中，多个数据捕捉设备602a_602n中的每一个可以包括软件和/或硬件，其包括确定从传感器收集的数据是静态数据还是动态数据的电子控制装置。静态数据是在帧间不变的数据，或者在阈值以下在帧间变化的数据。例如，基本上类似于后续3D数据帧(例如，在诸如从1.0到0.002 cm之类的确定的分辨率内)的3D数据帧，可以将该数据识别为静态的。如果数据在帧间变化，或者如果数据已在阈值以上在帧间变化，则该数据是动态的。在一个实施例中，(在数据捕捉设备上机载的和/或在设备外部的)系统确定半径阈值以便鉴别静态和动态数据。该系统在其检测到数据在噪声半径以外变化时识别动态数据。在另一实施例中，该系统使用运动检测或照相机成像来确定静态和动态数据。一旦数据被识别为静态或动态的，则可以使用算法(例如，压缩算法)来选择性地丢弃后续静态数据并实时地记录动态数据，并且不要求用于后处理的资源。可以由数据捕捉设备上的处理器或由数据捕捉设备向 其传送捕捉数据的中央计算机(例如，计算设备608)来完成实时数据鉴别。
[0060]在其中使用多个数据捕捉设备的另一实施例中，该系统可以利用数据鉴别来识别其中两个或更多照相机正在捕捉特定数据点的重叠区域。在一个此类实施例中，多个数据捕捉设备602a-602n中的每一个可以相互通信和/或与计算设备608通信，使得系统实时地知道正在由哪些数据捕捉设备记录哪些地理位置。一旦系统识别到重叠区域，则系统(数据捕捉设备或外部计算设备)可以促使一个数据捕捉设备来记录该数据，并且促使其余数据捕捉设备丢弃由其它照相机捕捉的用于该区域的数据。
[0061]在其中使用多个数据捕捉设备的数据鉴别的另一实施例中，该系统可以识别所收集的3D数据的密度，并且执行将数据“薄化”成具有一致的密度或根据跨所收集场景的给定条件分布的算法。例如，该系统可以修改数据的密度，以使得较低关注的区域(例如，数据捕捉的非主要关注区域，诸如所捕捉环境的边缘处的数据)具有较低密度并且使得较高关注区域具有较高密度。可以以任何数目的方式来确定所捕捉场景的区域的关注点，包括:基于用来收集高关注区域的一个或多个数据捕捉设备的放置、该区域中的变化的速率、用户输入、上述组合或确定区域关注点的任何其它方法来识别高关注区域。
[0062]可以在如本文所述的数据捕捉系统中实现上述数据鉴别方法中的一个或多个。此类实时数据鉴别可以使得能够实现最小的存储和更快的数据处理以生成颜色真实3D深度视频帧。
[0063]图7是根据本发明的一个实施例的收集环境和环境中的对象的深度和图像数据的方法的流程图。
[0064]方法700从操作702开始，其中系统从每个包括一个或多个深度照相机的多个数据捕捉设备接收带时间索引深度数据。在操作704处，该系统从多个数据捕捉设备接收位置和定向数据。在操作706处，该系统接收相对位置和定向数据，其指示所述多个数据捕捉设备相互之间如何定位和定向。在操作708处，该系统使来自所述多个数据捕捉设备的带时间索引深度数据与坐标系中的坐标相关联。在操作710处，该系统将具有关联坐标的带时间索引深度数据存储到存储器。
[0065]图8是根据一个实施例(例如，计算设备608的处理器)的计算机系统的示例性形式的机器800的框图，在该计算机系统内部具有可执行促使机器800执行本文所讨论的方法中的任何一个或多个方法的指令集。在备选实施例中，可在局域网(LAN)、内部网、外部网或因特网中将机器800连接(例如，联网)到其它机器。该机器可能够作为客户端-服务器网络环境中的服务器端或客户端机器来操作，能够作为对等(或分布式)网络环境中的对等机器来操作，能够作为按需服务环境内的服务器或服务器系列来操作。机器的某些实施例可以是如下形式:个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、web设备、服务器、网络路由器、交换机或桥接器、计算系统、或者能够(顺序或以其他方式)执行指定该机器要采取的动作的指令集的任何机器。此外，虽然仅图示出单个机器，但是应将术语“机器”理解成包括任何机器(例如，计算机)的集合，其单独地或共同地执行一个或多个指令集以实现本文所讨论的方法中的任何一个或多个。
[0066]示例性机器800包括处理器802、主存储器804 (例如，只读存储器(R0M)、闪存、诸如同步DRAM (SDRAM)或Rambus DRAM (RDRAM)等之类的动态随机存取存储器(DRAM)、诸如闪存之类的静态存储器、静态随机存取存储器(SRAM)、易失性但高数据速率RAM等)以及辅助存储器818 (例如，包括硬盘驱动器的永久存储设备)，其经由总线830相互通信。主存储器804包括操作系统(OS) 824。根据一个实施例，主存储器804和OS 824与处理逻辑826和处理器802相结合地操作以执行本文所讨论的方法。
[0067]处理器802表示一个或多个通用处理设备，诸如微处理器、中央处理单元、图形处理单元等等。处理器802还可以是一个或多个专用处理设备，诸如专用集成电路(ASIC)Jl场可编程门阵列(FPGA)、数字信号处理器(DSP)、图形处理器等等。处理器802被配置成执行处理逻辑826以便执行在本文讨论的操作和功能。
[0068]机器800还可包括网络接口卡808。机器800还可包括用户接口 810 (诸如，视频显示单元、液晶显示器(IXD)或阴极射线管(CRT)、字母数字输入设备812 (例如，键盘)、光标控制设备814 (例如，鼠标)以及信号发生设备816 (例如，集成扬声器)。用户接口 810可以包括触摸屏或用于用户与机器800对接的其它部件。机器800还可包括外围设备836(例如，打印机、无线或有线通信设备、存储器设备、储存设备、音频处理设备、视频处理设备等)。
[0069]辅助存储器818可包括非瞬时性机器可读或计算机可读存储介质831，在其上存储了一个或多个指令集(例如，软件822 )，其具体化本文所述方法或功能中的任何一个或多个。软件822还可在其被机器800执行期间完全地或至少部分地驻留在主存储器804内和/或处理器802内，主存储器804和处理器802还构成机器可读存储介质。软件822还可经由网络接口卡808通过网络820被传送或接收。
[0070]因此，以上描述描述了环境的多维数据捕捉。实施例包括收集环境和环境中的对象的深度和图像数据的方法。该方法包括从包括第一深度照相机的第一数据捕捉设备接收第一带时间索引深度数据，该第一带时间索引深度数据包括一段时间上的从第一深度照相机到对象的第一表面的第一系列距离测量结果。该方法还包括从包括第二深度照相机的第二数据捕捉设备接收第二带时间索引深度数据，该第二带时间索引深度数据包括该时间段上的从第二深度照相机到对象的第二表面的第二系列距离测量结果。该方法还包括在该段时间期间接收第一数据捕捉设备的第一位置和定向数据，第一位置和定向数据基于第一数据捕捉设备的第一定义轨迹和定向的所检测运动。该方法还包括在该时间段期间接收第二数据捕捉设备的第二位置和定向数据，第二位置和定向数据基于第二数据捕捉设备的第二定义轨迹和定向的所检测运动。该方法还包括接收相对位置和定向数据，其指示第一数据捕捉设备和第二数据捕捉设备相互之间如何定位和定向。该方法还包括基于第一位置和定向数据、第二位置和定向数据以及相对位置和定向数据使第一带时间索引深度数据和第二带时间索引深度数据与坐标系中的坐标相关联。该方法还包括将包括具有关联坐标的第一带时间索引深度数据和第二带时间索引深度数据的带时间索引三维(3D)深度数据存储到电子存储器。
[0071]在一个此类实施例中，该方法还包括从对象的第一表面的第一数据捕捉设备接收第一颜色数据并从对象的第二表面的第二数据捕捉设备接收第二颜色数据，使第一和第二颜色数据与第一和第二带时间索引深度数据且与坐标系中的坐标相关联，并将具有带时间索引3D深度数据且具有关联坐标的第一和第二颜色数据存储到电子存储器。
[0072]在一个此类实施例中，第一和第二带时间索引深度数据每个包括由多个深度照相机捕捉的在431球面度内的到表面的距离测量结果。在一个实施例中，第一和第二位置和定向数据每个包括来自多个加速计的平均运动数据。在一个实施例中，该相对位置数据包括来自第一 GPS的指示第一数据捕捉设备的第一地理空间位置的第一地理空间数据，以及来自第二 GPS的指示第二数据捕捉设备的第二地理空间位置的第二地理空间数据。在一个实施例中，第一数据捕捉设备的相对位置数据基于第二数据捕捉设备的形状的识别。在一个实施例中，该方法还包括识别第一和第二带时间索引深度数据的一部分中的空间重叠，从第一和第二带时间索引深度数据中的一个丢弃该重叠部分，并且将来自第一和第二带时间索引深度数据中的另一个的具有关联坐标的该重叠部分存储到电子存储器。
[0073]本发明的一个实施例包括一种装置。该装置包括一个或多个深度照相机。所述一个或多个深度照相机中的每一个捕捉带时间索引深度数据，所述带时间索引深度数据包括在一段时间上的到对象表面的一系列距离测量结果。该装置包括检测对象表面的颜色数据的一个或多个数字图像传感器。该装置还包括检测该时间段上的装置的定义轨迹和定向的运动的一个或多个传感器。该装置还包括自定位模块，该自定位模块从一个或多个传感器接收运动数据并生成包括在该时间段上的坐标系中的一个或多个深度照相机的位置和定向数据的地理空间数据。该装置还包括向计算设备发送所述带时间索引深度数据、所述颜色数据以及所述地理空间数据的通信接口。该计算设备从第二装置接收第二带时间索引深度数据、第二颜色数据以及第二地理空间数据，并且生成包括第一和第二带时间索引深度数据、颜色数据以及第一和第二地理空间数据在内的带时间索引三维(3D)深度数据。
[0074]在一个实施例中，该装置包括多个深度照相机，其对带时间索引深度数据的每个帧捕捉4 31球面度深度数据。在一个实施例中，该计算设备是相对于该装置的远程设备。在一个实施例中，该装置包括接收第一和第二带时间索引深度数据、第一和第二颜色数据的计算设备、第一和第二地理空间数据，其被包括在该装置中，并且生成包括第一和第二带时间索引深度数据和颜色数据以及第一和第二地理空间数据在内的带时间索引三维(3D)深度数据。在一个实施例中，检测运动的一个或多个传感器包括多个加速计。在一个此类实施例中，自定位模块从所述多个加速计接收运动数据，对来自所述多个加速计的运动数据求平均，并且基于该平均运动数据生成地理空间数据。在一个实施例中，所述多个加速计包括至少三个加速计。在一个实施例中，所述一个或多个传感器包括振动传感器。
[0075]本发明的一个实施例包括用于随时间推移捕捉环境中的对象的深度和图像数据的数据捕捉系统。该数据捕捉系统包括第一数据捕捉设备和第二数据捕捉设备。第一数据捕捉设备包括记录从第一深度照相机到环境中的一个或多个对象的第一表面的第一距离数据的第一深度照相机、以及记录环境和其中的对象的第一图像数据的第一图像照相机、以及感测第一位置数据的第一传感器。第二数据捕捉设备包括记录从第二深度照相机到环境中的一个或多个对象的第二表面的第二距离数据的第二深度照相机、以及记录环境和其中的对象的第二图像数据的第二图像照相机、以及感测第二位置数据的第二传感器。该数据捕捉系统还包括接收第一和第二距离数据、以及第一和第二图像数据及第一和第二位置数据并处理所述数据以创建环境和其中的对象的统一数据云的数据处理器。
[0076]在一个实施例中，第一和第二图像数据是灰度图像数据。在一个实施例中，第一和第二图像数据是颜色图像数据。在一个实施例中，从第一视点(POV)记录第一距离数据和第一图像数据，并且从第二 POV记录第二距离数据和第二图像数据，并且数据处理器创建统一数据云，使得当数据被格式化并观看时，可从多个POV观看环境和其中的对象。
[0077]根据一个实施例，数据处理器确定第一和第二图像数据是否记录环境中的相同对象的图像数据并执行其中图像数据重叠的数据压缩。在一个实施例中，第一和第二传感器包括跟踪相对运动的运动传感器。在一个实施例中，第一和第二传感器每个包括多个运动传感器，并且对来自每个数据捕捉设备中的多个运动传感器的位置数据求平均，以提供位置 数据的更高准确度。在一个实施例中，第一和第二传感器还感测各数据捕捉设备的定向。在一个实施例中，第一深度照相机和第二深度照相机分别地在不同的时间记录连续的第一和第二深度数据，使得系统能够以比单独的第一或第二深度照相机的最大数据捕捉速率更高的数据捕捉速率来记录数据。在一个实施例中，第一数据捕捉设备还包括第三深度照相机，并且第二数据捕捉设备还包括第四深度照相机。在一个此类实施例中，第一深度照相机和第三深度照相机分别地在不同的时间记录连续的第一和第三深度数据，使得第一数据捕捉设备能够以比单独的第一或第三深度照相机的最大数据捕捉速率更高的数据捕捉速率来记录数据。
[0078]在另一实施例中，一种系统包括通信接口，该通信接口从包括第一深度照相机的第一数据捕捉设备接收第一带时间索引深度数据，第一带时间索引深度数据包括在一段时间上的从第一深度照相机到对象的第一表面的一系列距离测量结果。该通信接口还从包括第二深度照相机的第二数据捕捉设备接收第二带时间索引深度数据，第二带时间索引深度数据包括在该时间段上的从第二深度照相机到对象的第二表面的一系列距离测量结果。该通信接口还在该时间段期间接收第一数据捕捉设备的第一位置和定向数据，第一位置和定向数据基于第一数据捕捉设备的第一定义中心和定向的所检测运动。该通信接口还在该时间段期间接收第二数据捕捉设备的第二位置和定向数据，第二位置和定向数据基于该数据捕捉设备的第二定义中心和定向的所检测运动。该系统还包括数据处理器，该数据处理器计算指示第一数据捕捉设备和第二数据捕捉设备相互之间如何定位和定向的相对位置和定向数据，并基于第一位置和定向数据、第二位置和定向数据以及相对位置和定向数据使第一带时间索引深度数据和第二带时间索引深度数据与坐标系中的坐标相关联。该系统还包括电子存储器，以存储包括具有关联坐标的第一带时间索引深度数据和第二带时间索引深度数据在内的带时间索引三维(3D)深度数据。
[0079]本发明的所示实施例的以上描述(包括在摘要中描述的内容)并不意图是穷举的或使本发明局限于公开的精确形式。虽然本文出于说明性目的描述了本发明的特定实施例以及示例，但是如本领域的技术人员将认识到的那样，在本发明的范围内可以有各种修改。
[0080]鉴于以上详细描述可以对本发明做出这些修改。不应将在以下权利要求中使用的术语理解成使本发明局限于在本说明书中公开的特定实施例。相反地，本发明的范围将完全由以下权利要求确定，其要根据权利要求解释的确立原则来理解。
【主权项】
1.一种承载一个或多个指令序列的机器可读存储介质，所述一个或多个指令序列在被一个或多个处理器执行时促使所述一个或多个处理器执行收集环境和所述环境中的对象的深度和图像数据的方法，所述方法包括: 从包括第一深度照相机的第一数据捕捉设备接收第一带时间索引深度数据，第一带时间索引深度数据包括在一段时间上的从第一深度照相机到对象的第一表面的第一系列距离测量结果； 从包括第二深度照相机的第二数据捕捉设备接收第二带时间索引深度数据，第二带时间索引深度数据包括在所述时间段上的从第二深度照相机到对象的第二表面的第二系列距离测量结果； 在所述时间段期间接收第一数据捕捉设备的第一位置数据； 在所述时间段期间接收第二数据捕捉设备的第二位置数据； 接收指示第一数据捕捉设备和第二数据捕捉设备相对之间如何定位的相对位置数据； 基于第一位置数据、第二位置数据以及相对位置数据来使第一带时间索引深度数据和第二带时间索引深度数据与坐标系中的坐标相关联；以及 将包括具有所关联坐标的第一带时间索引深度数据和第二带时间索引深度数据在内的带时间索引三维(3D)深度数据存储到电子存储器。2.根据权利要求1所述的机器可读存储介质，其中，所述一个或多个指令序列促使所述一个或多个处理器执行所述方法，所述方法还包括: 从对象的第一表面的第一数据捕捉设备接收第一颜色数据； 从对象的第二表面的第二数据捕捉设备接收第二颜色数据； 使第一和第二颜色数据与第一和第二带时间索引深度数据且与所述坐标系中的坐标相关联; 将具有所述带时间索引3D深度数据且具有所关联坐标的第一和第二颜色数据存储到所述电子存储器。3.根据权利要求1所述的机器可读存储介质，其中，所述第一和第二带时间索引深度数据每个包括由多个深度照相机捕捉的在4 Ji球面度内的到表面的距离测量结果。4.根据权利要求1所述的机器可读存储介质，其中，所述第一和第二位置和定向数据每个包括来自多个加速计的平均运动数据。5.根据权利要求1所述的机器可读存储介质，其中，所述相对位置数据包括来自第一 GPS的指示第一数据捕捉设备的第一地理空间位置的第一地理空间数据、以及来自第二GPS的指示第二数据捕捉设备的第二地理空间位置的第二地理空间数据。6.根据权利要求1所述的机器可读存储介质，其中，第一数据捕捉设备的所述相对位置数据基于第二数据捕捉设备的形状的识别。7.根据权利要求1所述的机器可读存储介质，其中，所述一个或多个指令序列促使所述一个或多个处理器执行所述方法，所述方法还包括: 在所述时间段期间接收第一数据捕捉设备的第一定向数据，第一位置和定向数据基于第一数据捕捉设备的第一定义轨迹和定向的所检测运动；以及 在所述时间段期间接收第二数据捕捉设备的第二定向数据，第二位置和定向数据基于第二数据捕捉设备的第二定义轨迹和定向的所检测运动； 其中，使第一带时间索引深度数据和第二带时间索引深度数据与坐标系中的坐标相关联还基于第一和第二定向数据。8.根据权利要求1所述的机器可读存储介质，其中，所述一个或多个指令序列促使所述一个或多个处理器执行所述方法，所述方法还包括: 识别第一和第二带时间索引深度数据的一部分中的空间重叠； 从第一和第二带时间索引深度数据中的一个丢弃所述重叠部分；以及将来自第一和第二带时间索引深度数据中的另一个的具有所关联坐标的所述重叠部分存储到所述电子存储器。9.一种装置，包括: 一个或多个深度照相机，其中，所述一个或多个深度照相机中的每一个捕捉带时间索引深度数据，所述带时间索引深度数据包括在一段时间上的到对象表面的一系列距离测量结果； 一个或多个数字图像传感器，其检测所述对象表面的图像数据； 一个或多个传感器，其在所述时间段上检测所述装置的定义轨迹的位置； 自定位模块，其从所述一个或多个传感器接收位置数据，并且生成包括在所述时间段上的坐标系中的一个或多个深度照相机的位置数据的地理空间数据；以及 通信接口，其将所述带时间索引深度数据、所述图像数据以及所述地理空间数据发送到计算设备，其中，所述计算设备从第二装置接收第二带时间索引深度数据、第二图像数据以及第二地理空间数据，并且生成包括第一和第二带时间索引深度数据和图像数据以及第一和第二地理空间数据在内的带时间索引三维(3D)深度数据。10.根据权利要求9所述的装置，其中， 所述一个或多个深度照相机包括对所述带时间索引深度数据的每个帧捕捉4 31球面度深度数据的多个深度照相机。11.根据权利要求9所述的装置，其中，所述计算设备是相对于所述装置的远程设备。12.根据权利要求9所述的装置，其中，所述装置包括所述计算设备，所述计算设备接收第一和第二带时间索引深度数据、第一和第二颜色数据、以及第一和第二地理空间数据，其被包括所述装置中，并且生成包括第一和第二带时间索引深度数据和颜色数据以及第一和第二地理空间数据在内的带时间索引三维(3D)深度数据。13.根据权利要求9所述的装置，其中，检测位置的一个或多个传感器包括用以检测运动的多个加速计，并且其中，所述自定位模块从所述多个加速计接收运动数据，对来自所述多个加速计的运动数据求平均，并且基于平均运动数据生成所述地理空间数据。14.根据权利要求13所述的装置，其中，所述一个或多个传感器还包括: 振动传感器，并且其中，所述多个加速计包括至少三个加速计。15.—种用于随时间推移捕捉环境中的对象的深度和图像数据的数据捕捉系统，包括: 第一数据捕捉设备，包括记录从第一深度照相机到环境中的一个或多个对象的第一表面的第一距离数据的第一深度照相机、以及记录所述环境和其中的所述对象的第一图像数据的第一图像照相机、以及感测第一位置数据的第一传感器； 第二数据捕捉设备，包括记录从第二深度照相机到环境中的一个或多个对象的第二表面的第二距离数据的第二深度照相机、以及记录所述环境和其中的所述对象的第二图像数据的第二图像照相机、以及感测第二位置数据的第二传感器；以及 数据处理器，其接收第一和第二距离数据、以及第一和第二图像数据及第一和第二位置数据，并且处理所述数据以创建所述环境和其中的对象的统一数据云。16.根据权利要求15所述的数据捕捉系统，其中，所述第一和第二图像数据是灰度图像数据。17.根据权利要求15所述的数据捕捉系统，其中，所述第一和第二图像数据是颜色图像数据。18.根据权利要求15所述的数据捕捉系统，其中，从第一视点(POV)记录第一距离数据和第一图像数据，并且从第二 POV记录第二距离数据和第二图像数据，并且所述数据处理器创建所述统一数据云，使得当所述数据被格式化并观看时，可以从多个POV观看所述环境和其中的对象。19.根据权利要求15所述的数据捕捉系统，其中，所述数据处理器确定第一和第二图像数据是否记录所述环境中的相同对象的图像数据，并且执行其中图像数据重叠的数据压缩。20.根据权利要求15所述的数据捕捉系统，其中，所述第一和第二传感器包括跟踪相对运动的运动传感器。21.根据权利要求20所述的数据捕捉系统，其中，所述第一和第二传感器每个包括多个运动传感器，并且对来自每个数据捕捉设备中的所述多个运动传感器的位置数据求平均，以提供位置数据的更高准确度。22.根据权利要求15所述的数据捕捉系统，其中，第一和第二传感器还感测各数据捕捉设备的定向。23.根据权利要求15所述的数据捕捉系统，其中，第一深度照相机和第二深度照相机分别地在不同的时间记录连续的第一和第二深度数据，使得所述系统能够以比单独的第一或第二深度照相机的最大数据捕捉速率更高的数据捕捉速率来记录数据。24.根据权利要求15所述的数据捕捉系统，其中，第一数据捕捉设备还包括第三深度照相机，并且其中，第一深度照相机和第三深度照相机分别地在不同的时间记录连续的第一和第三深度数据，使得第一数据捕捉设备能够以比单独的第一或第三深度照相机的最大数据捕捉速率更高的数据捕捉速率来记录数据。
【专利摘要】本发明的实施例描述了与对象和/或环境的数据捕捉有关的装置、系统以及方法。在一个实施例中，用户可以使用一个或多个便携式数据捕捉设备来捕捉带时间索引三维（3D）深度数据，所述便携式数据捕捉设备可以用深度信息、位置和定向数据来捕捉场景的带时间索引颜色图像。另外，数据捕捉设备还可被配置成捕捉在数据捕捉设备周围的环境的球面视图。
【IPC分类】H04N13/02, H04N5/262
【公开号】CN104904200
【申请号】CN201380058430
【发明人】M.R.米勒特
【申请人】广稹阿马斯公司
【公开日】2015年9月9日
【申请日】2013年9月10日
【公告号】CA2884771A1, EP2893702A1, US9161019, US20140071234, WO2014040081A1
【技术领域】
[0001]本公开一般地涉及环境或对象的数据捕捉领域，并且特别是真实三维(3D)深度视频。
【背景技术】
[0002]在无数的情况下使用对象或环境的数据捕捉，并且其可以使得处理器能够使用、作用于或操纵所捕捉的数据来创建对象和/或环境的图像。例如，照相机可以捕捉场景的静止二维(2D)图像，并且摄像机可以捕捉视频数据(即，随时间推移的2D数据)以用于稍后编辑和显示。另外，可以使用聚焦在对象周围的多视图立体2D图像来模拟对象的3D图像。可以用来模拟3D图像的数据捕捉的另一示例涉及到光检测与测距(LiDAR)(也称为激光检测与测距(LADAR))传感器，其一般地被用于对地形或建筑物进行绘图。LiDAR将来自光源的光指引到将光反射回到接收机的表面处。LiDAR系统然后将基于光的往返时间(称为“飞行时间”(TOF)数据)来计算从光源到表面的距离。这样，可以用LiDAR系统来捕捉关于环境中的对象的距离或深度的数据。LiDAR通过跨环境扇出或用脉冲发射其射束并测量用于将光反射回到LiDAR系统中的接收机的每个对象的飞行时间来收集数千个数据点。LiDAR仅能确定将光反射回到接收机的对象的深度，而不能检测关于颜色的图像数据。LiDAR及其它类型的TOF照相机处于在本文称为“深度照相机”的照相机类别中。深度照相机的其它示例包括可以确定深度信息的任何设备，诸如立体照相机、结构光扫描仪或发射电磁(EM)辐射并捕捉被反射回来的辐射的飞行时间的其它设备。
[0003]用于捕捉成像数据的现有技术具有限制或缺点。例如，包括胶片、数字摄影以及全景2D摄影(即柱面或立方体交互式全景)的2D文档介质的当前手段在当被用户或观看者访问时传达整体的真实生活体验或事件方面具有限制。2D图像可能具有优良的分辨率和颜色，但不具有与图像相关联的深度信息。
[0004]可以以各种方式来创建模拟3D图像。通常，使用两个间隔开的透镜来记录图像，其从略有不同的角度记录场景，并且这些图像被提供给人，使得诸如通过使用具有滤色器或不同偏振的眼镜来不同地向每只眼睛呈现该信息。如2D图像的情况一样，颜色和分辨率可以是极佳的，并且这些立体图像的3D效果可以是引人注目的，然而，此类系统仍缺少收集场景的深度信息的能力。
[0005]可将由深度照相机捕捉的信息与2D照相机的图像数据组合以提供模拟3D且包含深度信息的图像。例如，可将LiDAR图像与来自重叠2D图像的数据组合以用深度数据来模拟3D图像一一亦即，该图像数据包含图像中的对象距离的信息，并且具有计算图像中的对象的尺寸和相对间距的能力。
[0006]无论是立体照相机还是与2D照相机组合的深度照相机，当前3D成像系统都使用单个照相机，其在给定时间记录单个视点(POV)以收集表示单个静态时刻的数据。使用单个照相机可以导致所收集3D数据中的间隙。例如，从单个角度捕捉具有树的场景的单个照相机不能捕捉在树后面的东西。用于在用单个照相机来捕捉场景时减少数据间隙的当前方法要求记录单个照相机视点并将照相机重新定位多次的冗长过程。一旦通过用单个照相机进行的重新定位和捕捉的多个会话来捕捉场景，则必须有广泛的辅助后处理以对多次扫描进行配准并组织所捕捉的数据。除要求大量的时间(由于例如所使用的算法和大量的数据)之外，此类后处理一般地要求广泛的用户输入和用户的技术知识。
[0007]除组织用这些3D照相机捕捉的数据所要求的广泛后处理之外，可能要求附加后处理以便再现数据，包括通过数字模型配置的数字图形内插、矢量化和/或图像模型构建。
[0008]构建数据云以表示其中深度照相机移动的环境要求照相机具有用以跟踪其移动和位置或与远程部件通信以便跟踪照相机的移动的部件。这在其中必须映射环境使得机器人能够对其环境进行导航的移动机器人技术中是常见的问题。同样地，在使用数据来创建沉浸式环境的情况下，照相机必须跟踪其位置，并且将该信息标记成图像数据。这种技术一般地称为同时定位与地图创建(SLAM ) ο
【附图说明】
[0009]参考以下各图来描述本发明的非限制性且非排他性实施例，其中，除非另外指明，遍及各视图中相同的附图标记指示相同部分。应认识到的是以下各图可能不按比例描绘。
[0010]图1是根据本发明的实施例的系统的框图以及场景。
[0011]图2是根据本发明的一个实施例的数据捕捉设备的等距视图。
[0012]图3是根据本发明的一个实施例的具有多个深度照相机的平台的平面图。
[0013]图4a_4e图示出根据本发明的一个实施例的使用LiDAR的深度照相机的示例性图。
[0014]图5是根据本发明的一个实施例的组合深度照相机和图像照相机的示例性图。
[0015]图6是根据本发明的一个实施例的系统图。
[0016]图7是根据本发明的一个实施例的收集环境和环境中的对象的深度和图像数据的方法的流程图。
[0017]图8是根据本发明的一个实施例的计算机系统的示例性形式中的机器的框图。
[0018]随后是某些细节和实施方式的描述，包括图的描述，其可描述下述某些或所有实施例以及讨论本文提出的发明概念的其它潜在实施例或实施方式。下面提供本发明的实施例的概述，后面是参考附图的更详细描述。
【具体实施方式】
[0019]在本文描述了与对象和/或环境的数据捕捉有关的装置、系统以及方法的实施例。在本发明的一个实施例中，用户可以容易地、快速地且用系统的最少技术知识来捕捉真实3D深度视频数据，其中，将3D深度视频数据理解为带时间索引3D深度数据或四维(4D)带时间索引空间数据。捕捉3D深度视频数据使得能够实现沉浸式且动态的3D数字环境，其中，用户可以随着3D环境随时间改变对其进行探索。还可以将能够捕捉3D深度视频数据的数据捕捉设备称为真实3D深度摄像机。
[0020]3D深度视频数据的捕捉和可视化可以使得能够实现倒退虚拟时间旅行、虚拟现实或增强现实的概念，使得用户可以实时地(例如，用于电话会议或其它实时交互)或通过所存储的数据来体验所捕捉事件、环境或其它体验并与之相交互。根据一个实施例，用来捕捉环境的3D深度摄像机系统创建原始文件，其可在不要求后处理建模和/或再现的情况下显示。用户可以出于重建或分析的目的而捕捉事件，包括但不限于:体育赛事、音乐会、讨论会、聚会、教育性演示、历史事件、考古或文化遗产地、徒步旅行行踪、机械或物理故障、被监视地点或任何其它环境或事件。例如，如果用户捕捉到其中在房间的不同部分中同时地发生多个演讲的会议，则可以以数字方式显示该会议，使得用户可以在3D环境的一个部分中体验到一个演讲，并且通过虚拟地过渡到房间的另一侧以体验另一演讲来自由地探索3D环境。第二示例将是音乐表演的示例，其中，用户可以从在所捕捉场景范围内的观众的方位、在舞台上的方位或者从一个或多个音乐家他们自己的视点出发体验该事件。
[0021]在以下描述中，阐述了许多特定细节以便提供实施例的透彻理解。然而，相关领域的技术人员将认识到可以在没有该特定细节中的一个或多个的情况下或用其它方法、部件、材料等来实施本文所述的技术。在其它情况下，并未示出或详细地描述众所周知的结构、材料或操作以避免模糊某些方面。
[0022]遍及本说明书对“一个实施例”或“实施例”的参考意指在本发明的至少一个实施例中包括结合该实施例所述的特定特征、结构或特性。因此，短语“在一个实施例中”或“在实施例中”在遍及本说明书的不同位置上的出现不一定全部指的是同一实施例。此外，可在一个或多个实施例中以任何适当方式将特定特征、结构或特性进行组合。
[0023]图1是根据本发明的实施例的系统的框图和正被捕捉的场景。如图1中所示，系统100包括多个便携式数据捕捉设备102a-102n，其在没有预定布置的情况下就位并能够在数据捕捉期间移动。其它实施例可以包括单个便携式数据捕捉设备。所述多个数据捕捉设备102a-102n中的一个或多个能够捕捉3D运动。捕捉3D深度视频数据涉及到快速地捕捉环境和环境内的对象的一系列3D测量结果和图像。例如，在所示实施例中，所述多个数据捕捉设备102a-102n在时间t = 1、t = 2、…以及t = η捕捉用于3D环境场景104的一系列3D深度数据和颜色图像数据帧。
[0024]场景104可以包括具有固定和/或移动的对象的环境。例如，场景106a_106n包括移动的人。能够捕捉3D数据的现有技术仅在其在静态时刻存在时才及时捕捉场景。例如，如果用户尝试用现有技术来捕捉场景106a-106n，则仅能捕捉场景中的静止元素(例如，可以捕捉树的远景或站着不动的人)，并且在数据捕捉时存在的任何移动对象将导致数据误差、伪影或“重影(ghost)”图像和不完整的数据“裂片”。系统100可以将场景106a-106n捕捉为3D深度视频数据，其包括作为3D帧收集的一系列带时间索引数据。此类收集的3D深度视频数据的数字可视化可以使得能够实现随时间推移的真正沉浸式3D体验，使得用户可以随着3D环境随时间改变而体验和探索3D环境。
[0025]根据一个实施例，所述多个数据捕捉设备102a_102n使得能够在没有数据间隙或有最少量的数据间隙的情况下实现带时间索引3D帧的准确捕捉。部分地由于所述多个数据捕捉设备102a-102n而可以在没有数据间隙的情况下捕捉3D运动，其可以被定位成围绕场景104，并且其可以同时地从多个视角捕捉3D数据。如下面更详细描述，多个数据捕捉设备102a-102n能够共同地捕捉真实3D空间数据和颜色图像，其快到足以捕捉场景104的3D运动和相应颜色。
[0026]在一个此类实施例中，多个数据捕捉设备102a_102n具有地理空间数据感测能力，其使得能够实现改善的且实时的数据处理(即，实时3D点云生成)。地理空间数据是与数据捕捉设备的定向、方位和/或位置相关联的数据。在一个实施例中，多个数据捕捉设备102a-102n能够相互地和/或与外部计算设备110通信，也使得能够实现改善的且实时的数据处理。在一个实施例中，所述多个数据捕捉设备的在捕捉数据的同时进行通信的能力促进实时数据辨别和压缩，并且因此使得能够实现更加高效且合作的数据捕捉。
[0027]为了在给定时间捕捉3D数据，多个数据捕捉设备102a_102n可以利用使得能够实现深度感测的任何3D捕捉技术。例如，所述多个数据捕捉设备可以实现以下各项中的一个或多个:LiDAR/LADRA、结构光、闪光(Flash) LiDAR、多视图立体数字影像、全景多立体数字影像、摄影测量或在各种深度和分辨率的域捕捉3D数据的任何其它手段。用户可以以便携式或固定布置来操作多个数据捕捉设备102a-102n。例如，用户可以通过例如使用三脚架或者将捕捉设备临时地或永久地附着于表面(例如，墙壁、天花板、树、或者可以向其附加设备的任何其它表面)来将多个数据捕捉设备102a-102n中的一个或多个布置成是固定的。在一个实施例中，多个数据捕捉设备102a-102n可以是便携式的。例如，用户可以通过在多个数据捕捉设备102a-102n中的一个或多个正在捕捉数据的同时移动设备来捕捉数据。数据的移动捕捉可 以使得用户能够实现携带着数据捕捉设备行走以捕捉感兴趣场景的灵活性。
[0028]可以将多个数据捕捉设备102a_102n中的一个或多个附连到自主移动实体(例如，电子螺翼直升机或其它运载工具)或用户控制的移动实体(例如，手控或遥控运载工具、汽车、视频摄影车或其它用户控制的实体)。在一个此类实施例中，该系统包括用于根据收集的数据来控制自主实体的移动的反馈机制，使得数据捕捉设备能够自主地填充数据间隙和/或避开障碍物。在另一实施例中，用户可以使用静态和动态配置的组合来操作多个数据捕捉设备102a-102n。例如，用户可以静态地布置一个或多个数据捕捉设备，并且在捕捉数据的同时携带一个或多个捕捉设备在场景中来回移动。
[0029]根据一个实施例，数据捕捉设备可以在数据捕捉设备的一部分或全部上面包括保护盖或其它衬垫以便保护设备不被损坏。例如，数据捕捉设备的外部可以包括抗损衬垫，诸如橡胶、塑料或泡沫，其增加用于数据捕捉设备的动态使用的耐久性。
[0030]在一个实施例中，多个数据捕捉设备102a_102n中的每一个能够以适合于捕捉运动的帧速率来收集3D帧。例如，在一个此类实施例中，多个数据捕捉设备102a-102n中的每一个每秒捕捉24个或更多个3D帧。然而，其它实施例可包括每秒捕捉少于24个3D帧的数据捕捉设备。捕捉3D环境中的变化所要求的每秒帧数可取决于特定环境。例如，在其中正在发生很少的运动或变化的环境中，每分钟更少的帧可足以捕捉该环境中的运动。在具有频繁或快速变化的其它环境中(例如，运动中的人或对象)，可要求每秒或每分钟更多帧来捕捉足以实现真实感再现和场景重建的3D深度视频数据。
[0031]在一个实施例中，为了每分钟或每秒捕捉足够的帧数，3D深度视频捕捉设备可以包括多个3D数据捕捉模块。在一个实施例中，数据捕捉设备包括脉冲式TOF或闪光LiDAR以每秒捕捉足够数目的3D帧。在一个此类实施例中，一个或多个闪光LiDAR模块可以包括光发射体阵列，其同时地发射光以从目标表面反射回来并返回到相应接收机阵列。在使用LiDAR的另一实施例中，数据捕捉设备可以包括多个模块以使得能够快速且同步地连续捕捉数据。例如，具有重叠视图的被直接地相互紧挨着布置的模块交替发射无干扰光，以产生3D场景的重叠运动捕捉。在另一实施例中，使用来自数字照相机的多个立体视图通过使用补充LiDAR或结构光数据或连同它们一起来计算3D测量数据。
[0032]图2图示出根据一个实施例的包括多个深度照相机202a_202n的数据捕捉设备200 (例如，图1的多个数据捕捉设备102a-102n中的一个)的等距视图。如所示，数据捕捉设备200可具有基本上球形的形状，但是其它实施例包括能够收集真实3D视频数据的其它对称和不对称形状。设备200包括通过设备200的中心设置的水平平台201，其支撑多个深度照相机202a-202n。虽然图2图示出三个深度照相机，但是数据捕捉设备200可以包括任何数目的深度照相机(例如，1、4、36、120等)。根据一个实施例，更大数目的深度照相机使得能够实现数据捕捉的交替或调制速率，其使得能够每分钟或每秒收集更多的3D帧。在一个此类实施例中，深度照相机可以以同步“开闭(shuttered)” ROF进行捕捉。例如，如果单个深度照相机以每秒30帧(fps)的速率捕捉场景数据，则可以通过将图像捕捉排成序列而将三个深度照相机配置成以90fps的有效帧速率来捕捉场景。也就是说，第一照相机将在时间t = Os捕捉场景，第二照相机将在t = l/90s捕捉场景，并且第三照相机在t =2/90s捕捉场景等等，使得每个照相机以其30fps的帧速率捕捉场景，并且每个从其它照相机进行时移，使得通过将每个照相机的数据集组合来实现90 fps的连续场景捕捉。
[0033]平台201可以绕着轴204旋转，其使得深度照相机202a_202n能够捕捉3D数据的360平方度(4 球面度)的完整球面立体角或其一部分。在一个此类实施例中，还可以使数据捕捉设备200垂直向上和/或向下地移动和/或枢转以便覆盖场景，并且包括用以跟踪每个数据捕捉设备的移动(例如，3D空间中的一个或多个自由度)和定向(例如，左右倾斜、俯仰和/或偏航)的传感器。在下面更详细地描述的另一实施例中，多个深度照相机202a-202n中的每一个能够移动(例如，枢转和/或旋转)，使得能够在不移动数据捕捉设备的情况下捕捉场景。数据捕捉设备200还可以包括用于将设备200安装到三脚架或其它表面的一个或多个机构206a和206b。
[0034]数据捕捉设备200的上部208a和下部208b包括用于对环境进行摄影且用于容纳电子控制和数据处理的部件。根据一个实施例，上部和下部208a-208b中的每一个上的一个或多个图像捕捉模块(未示出)能够捕捉高达180平方度的图像，使得能够实现整个周围环境的图像捕捉。在其它实施例中，上部和下部208a-208b上面的图像捕捉模块中的一者或两者能够捕捉多于或少于180平方度。
[0035]图像捕捉模块可以包括本领域中已知的任何图像捕捉部件。例如，上部和下部208a-208b可以包括多个数字照相机。在另一示例中，上部和下部208a_208b可以包括具有全景透镜的一个或多个数字照相机。在又一示例中，上部和下部208a-208b可以包括具有能够用单个照相机来捕捉宽广区域的鱼眼圆顶透镜的一个或多个数字照相机，和/或一个或多个高清晰度(HD)摄像机。
[0036]数据捕捉设备200可以包括任何数目的图像照相机(例如，0、1、2、36、128等)以及照相机类型的任何组合。数据捕捉设备包括的照相机的数目可以影响创建所捕捉的环境的单个图像所需的处理。例如，生成较大数目的单独图像的较大数目的照相机通常由于要将该数目的单独图像组合而导致与较小数目的照相机相比更多的处理。在一个实施例中，上部和下部208a-208b是固定的。在另一实施例中，上部和下部208a_208b中的一者或两者可以旋转。
[0037]上部和下部208a_208b还可以包括一个或多个深度照相机或其它传感器。根据平台201上的深度照相机的存在或配置，一个或多个深度照相机可以在一个或多个其它深度照相机有故障的情况下或者出于一般的图像对准目的而提供冗余。上部和下部208a-208b或数据捕捉设备200的任何其它部可以包括其它传感器，例如嗅探空气以确定气味的传感器、湿度传感器、温度传感器、风传感器或用于捕捉环境的任何其它数目的传感器。根据一个实施例，数据捕捉设备200包括一个或多个谱输入扫描仪，其可以提供关于正被捕捉的对象或场景的化学谱分析的信息。
[0038]图3图示出根据一个实施例的支撑多个深度照相机302a_302n的平台300的平面图。如所示，平台300是圆盘状的，并且绕着中心轴301旋转；然而，数据捕捉设备可以包括具有其它形状的平台，或者也使得能够实现3D帧的快速捕捉的完全不同的配置。例如，其它实施例可以包括采取多种定向(例如，绕着垂直或非垂直轴的旋转)的一个或多个旋转平台或固定平台。在包括中心旋转平台的一个实施例中，该平台绕着中心轴对称，其可以当设备处于水平方位时在旋转期间具有改善平衡的益处。
[0039]数据捕捉设备可以包括用于捕捉3D数据的任何类型或配置的深度照相机。在使用LiDAR作为深度照相机的情况下，可以将LiDAR模块302a-302n配置成以相对于数据捕捉设备的各种角度发射激光束。虽然图示出四个深度照相机，但可以包括任何数目的深度照相机(诸如LiDAR模块)。如图3中所示，深度照相机302a-302n中的每一个包括用以发射光束305a-305n的激光器306a_306n、以及用以在期望方向上反射发射光束的反射镜303a-303n。深度照相机302a_302n可以包括旋转反射镜以便以期望的角度快速地发射光，或者可以利用其它反射镜配置。深度照相机302a-302n中的每一个包括光检测器308a-308n，其检测已从表面反射并返回到数据捕捉设备的入射光304a_304n (例如，激光束
[0040]深度照相机302a_302n可以与数据捕捉设备的表面齐平，或者凹陷或从设备的表面向外延伸。深度照相机302a-302n可以相对于平台300固定不动，或者可以包括相对于平台300旋转或以其它方式移动的部件。例如，图4图示出其中将一个或多个部件安装到旋转和/或枢转组件的LiDAR模块。
[0041]图4a_4e图示出根据本发明的一个实施例的示例性LiDAR模块400。LiDAR模块400包括光发射体403、反射镜402以及光学接收机406。在一个实施例中，如所不，将一个或多个反射镜402安装到双轴栓扣紧固件401，其允许一个或多个反射镜402枢转和/或旋转。在一个此类实施例中，LiDAR模块产生扇出阵列，该阵列的轴在一个或多个反射镜402绕着其进行枢转或移动的点处。如果数据捕捉设备200包括类似于激光扇配置的多个LiDAR模块，则每个模块可被定位使发射的光不与其它模块发射的光相干扰。例如，如果图3的LiDAR模块302a-302n中的每一个被配置为如图4中所示的激光扇，则LiDAR模块302a-302n中的每一个将向外且沿着与数据捕捉设备相切的线发射扇形激光束。另一此类实施例包括向外且与捕捉设备不相切的激光束扇。可以与诸如图3中的旋转平台相结合地使用诸如栓扣紧固件之类的机构，或者可以独立于旋转平台而使用诸如栓扣紧固件之类的机构。在没有旋转平台示例的一个实施例中，数据捕捉设备可以包括跨数据捕捉设备的表面设置的多个LiDAR模块404，其能够以使得不与相邻LiDAR模块404的信号或接收机相干扰的方式产生扫描光扇或脉冲。在一个实施例中，在来自多个LiDAR模块的反射光被LiDAR模块中的超过一个检测到的情况下，该系统可以确定来自LiDAR模块的被检测的光，并且对来自每个模块的信号进行识别和滤波。
[0042]图5是根据本发明的一个实施例的组合深度照相机和图像照相机的示例性图。布置500包括用于捕捉3D数据的深度照相机。深度照相机的实施例包括光发射体503、反射镜504以及光学接收机506。光发射体503发射光517，其从反射镜504和510反射。发射光从环境或对象的表面反射回来，并且作为光516返回，其进入深度照相机与图像照相机的组合，从反射镜510和504反射，并被光学接收机506接收。布置500还包括光学设备508和反射镜505以用于捕捉颜色图像。光学设备508可以包括例如数字照相机或捕捉场景颜色的任何其它部件。如所示，光516进入组合的深度照相机和图像照相机，从反射镜510和505反射，并被光学设备508检测到。
[0043]布置500还包括旋转双面反射镜510以及用以旋转该双面反射镜510的电动机512。根据一个实施例，旋转双面反射镜使得能够基本上同时捕捉颜色和3D数据。例如，当旋转反射镜510处于如所不的方位时，旋转反射镜510反射用于光学设备508的光。当旋转反射镜510处于方位514 (用点线表不)时，旋转反射镜反射用于光发射体503和接收机506的光。如所示，电动机512使反射镜510以使得能够在不导致所捕捉的数据的质量显著损失的情况下(例如，在不导致数字照相机图像模糊的情况下)基本上同时地捕捉2D颜色图 像和深度数据的速率(固定或可调整)来旋转。
[0044]图6是根据本发明的一个实施例的系统图。系统600包括多个数据捕捉设备602a-602n。多个数据捕捉设备602a_602n中的每一个包括一个或多个深度照相机614a-614n。在一个实施例中，所述多个数据捕捉设备602a_602n中的每一个还可以包括音频映射模块616，其包括用以与3D和图像数据同时地记录声音的一个或多个扩音器618a_618n0
[0045]在一个实施例中，多个数据捕捉设备602a_602n中的每一个配置有定义的中心(例如，大地测量数据)和前向定向，并且具有地理空间位置跟踪。大地测量数据被定义为精确地理方位(即，空间中的位置)和定向数据。例如，系统600可以监视数据捕捉设备中的每一个在3D空间中的位置和移动(例如，六个自由度)。在一个此类实施例中，该系统用数据捕捉设备的大地测量数据的微米标度、纳米标度或更高分辨率精度来实现跟踪。在使用多个数据捕捉设备的情况下，系统600可以监视用于多个数据捕捉设备602a-602n中的每一个的位置和移动(例如，线性移动、弧线移动以及旋转)。
[0046]在一个此类实施例中，多个数据捕捉设备602a_602n中的每一个包括用于跟踪在3D空间中的移动的运动跟踪模块604和大地测量中心。例如，模块604可以包括一个或多个加速计。一个此类实施例可以包括三重或多重堆叠的加速计。可以利用多个加速计通过对数据求平均或者另外将其组合并对来自每个加速计的误差进行配置来改善准确度。用于跟踪在3D空间中的移动的部件可以包括任何类型的加速计或测量设备，包括激光环陀螺仪加速计、具有高分辨率的磁性传感器、倾斜计和/或用于高准确度运动感测的任何其它机构中的一个或多个。作为一个或多个加速计的替代或除此之外，其它实施例可以利用精确运动跟踪的其它部件。例如，该设备利用成像模块通过SLAM的使用来进行自定位(selflocalizat1n)。在另一示例中，数据捕捉设备可以包括磁场波动的跟踪和/或用于准确地跟踪设备的运动的惯性测量单元(MU)。随着多个数据捕捉设备602a-602n中的一个数据捕捉设备移动，该设备的定义的中心根据从运动传感器收集的数据而随设备一起移动。因此，可以在数据捕捉设备正在记录的同时将其在位置间移动(例如，被用户携带)。
[0047]系统600跟踪数据捕捉设备602a_602n的中心(或其它预选轨迹)的移动，并且计算每个设备的运动如何影响所捕捉数据的位置和定向。在一个实施例中，模块604还包括用以准确地区别振动和其它类型的运动的振动传感器。在一个实施例中，将设备大地测量数据的精确机载跟踪与GPS和/或载波相位跟踪模块606组合，其跟踪地理坐标系内的位置数据。可以用来自一个或多个加速计或其它运动传感器的数据来补充来自GPS和/或载波相位跟踪模块606的数据。例如，如果GPS和/或载波相位跟踪数据指示由一个或多个运动传感器跟踪的记录设备中心位置是不正确的，则可以基于GPS和/或载波相位跟踪数据来更新设备中心的位置。根据一个实施例，将来自包括一个或多个振动传感器、一个或多个加速计以及一个或多个GPS和/或载波相位传感器的多个传感器的数据一起分析，以减小误差并准确地跟踪多个数据捕捉设备602a-602n中的每一个的运动。
[0048]在具有大地测量数据和运动跟踪的一个实施例中，多个数据捕捉设备602a_602n中的每一个在处于基站中的同时开始运动跟踪。基站可以提供设备初始化的手段，并且包括用于对数据捕捉设备602a-602n和/或计算设备608中的每一个充电的机构。在一个实施例中，基站还容纳中央处理单元，并且包括用于显示数据捕捉设备602a-602n的状态信息和/或从数据捕捉设备602a-602n接收到的数据的显示器。在一个此类实施例中，显示器是触摸屏，其显示信息并接受用户输入。当多个数据捕捉设备602a-602n中的每一个从基站起开始操作时，每个设备可以知道其它设备相对于彼此的位置。多个数据捕捉设备602a-602n自基站起的任何运动可以被模块604感测和/或被记录。
[0049]在另一实施例中，多个数据捕捉设备602a_602n可以对其自身进行地理登记。例如，如果多个数据捕捉设备602a-602n在随机位置处(例如，不在基站中)开始跟踪，则多个数据捕捉设备602a-602n中的每一个可以开始收集3D数据，并且一旦其登记了其它数据捕捉设备的形状，则可以识别其相对于彼此的位置。另一实施例将其它数据捕捉设备的登记形状与从每个设备发射和接收到的无线信号结合。一旦多个数据捕捉设备602a-602n识别了其相互的关系，则由于模块604进行的运动跟踪而不需要在后处理中的进一步登记。
[0050]在数据捕捉设备通过空间移动的同时对其大地测量数据的监视使得能够实现许多应用。在一个实施例中，可以使用数据捕捉设备来测量对象或区域的尺寸而不依赖于传统测量技术。例如，可以测量由于尺寸、配置或中间对象而难以测量的对象或区域。用户可以在数据捕捉设备处于一点处的情况下开始测量对象或区域，然后携带设备走到用户希望测量的第二点。例如，用户可以从房间的一堵墙走到房间的另一堵墙(通过采取到另一堵墙的直接或间接路径)，并且系统将监视数据捕捉设备的位置，并且因此理解墙壁在空间中的相互关系。在此类尺寸测量应用中可以使用一个或多个数据捕捉设备。
[0051]在另一实施例中，每个数据捕捉设备的大地测量数据的监视使得能够实现简化的数据处理算法。该系统可以理解从哪个位置和角度捕捉数据的每个项目(例如，3D帧或数字图像)，并且因此可以在不依赖于诸如登记或用户输入之类的后处理技术的情况下将从单独数据捕捉设备捕捉的数据进行组合。系统可以在捕捉数据以生成环境的单色3D帧时通过分析每个设备的大地测量中心而将来自每个数据捕捉设备的数据准确地放置到单个坐标系上。如下面更详细地描述的，如果数据捕捉设备中的每一个可以相互和/或与中央计算机(例如，计算设备608)通信，则中央计算机或数据捕捉设备中的一个或多个可以随着捕捉数据而在一个时间生成单个3D数据集，并且不要求后处理。
[0052]根据一个实施例，以使得能够在没有诸如建模或再现之类的实质上进一步处理的情况下实现立即可视化的格式来存储由数据捕捉设备中的每一个数据捕捉设备捕捉的数据。例如，以x、y、z、r、g、b和t的列格式来存储数据，以指示数据点的地理空间位置、色值以及时间。然后在空间上组织该列格式数据以生成点云帧，其能够以数据的最少操纵被可视化。
[0053]在另一实施例中，多个数据捕捉设备的地理空间知晓使得能够实现关于潜在数据间隙的实时反馈。关于潜在数据间隙的反馈可以对其中多个数据捕捉设备正在移动的情形(例如，由于用户正在携带或者以另外方式控制设备，或者由于安装在自主运载工具上)有用。如果用户正在携带数据捕捉设备，则可以经由设备上的显示器和/或经由另一计算设备(例如，智能电话、平板计算机或其它外部计算设备)来提供反馈。关于数据间隙的反馈可以是如通过实时再现而实现的场景的视觉表示，或者其它视觉、文本和/或其它指示器(例如，指示用户收集特定数据间隙的移动设备的响铃或震动)。如果数据捕捉设备被安装到自主运载工具，则可以提供反馈以将运载工具引导到消除或减少数据间隙的位置。
[0054]在一个实施例中，多个数据捕捉设备602a_602n中的每一个包括使得能够实现相互无线通信和/或与计算设备608进行无线通信的通信接口 610。多个数据捕捉设备602a-602n还可以包括相互有线通信和/或与计算设备608进行有线通信的部件(例如，当设备如上所述地位于基站中时)。通信接口 610可以包括例如用于经由W1-Fi(例如，802.11标准)、蓝牙、蜂窝数据服务(例如，3G、4G或使用其他电信标准的服务)、卫星或用于在电子设备之间通信的其它手段进行通信的硬件和/或软件。
[0055]一个或多个数据捕捉设备可以通过无线信号来传送其收集的数据和/或精确位置并使其同步。多个数据捕捉设备602a-602n中的每一个数据捕捉设备的无线数据信号610使得能够经由通信接口相互地、向计算设备608和/或云存储位置上传数据。根据一个实施例，由多个数据捕捉设备602a-602n中的每一个对其位置的传送可以创建在地理空间上知道彼此的数据捕捉设备的系统，和/或包括知道多个数据捕捉设备602a-602n中的每一个的每个位置的外部计算设备(例如，计算设备608)。根据一个实施例，此类地理空间知晓使得能够实现更简单、更快速、实时且要求更少用户输入的数据处理。另外，如果数据捕捉设备可以与计算设备608或其它服务器无线地进行通信，则数据捕捉设备可以在其记录会话期间传输捕捉的数据以释放数据捕捉设备上的存储空间，并使得能够实现连续记录。在记录会话期间无线传输数据的能力还使得能够实现更小外形因素以易于携带。
[0056]如上文所讨论的，除3D数据捕捉部件之外，数据捕捉设备602a_602n中的每一个可以包括一个或多个图像传感器612a-612n，其捕捉场景的颜色。与现有技术相反，系统600可以以高精度知道来自捕捉设备的数据源自于视图的哪里和什么角度或帧，并且应用来自捕捉图像的色值或立体3D计算而对3D数据帧着色和/或以最少处理补充3D数据。
[0057]根据一个实施例，与3D数据同时地捕捉图像，以使得能够生成颜色3D深度视频数据。在另一实施例中，3D数据捕捉和颜色图像捕捉可以按照不同的调度表发生。例如，系统600可以完成初始3D和颜色图像扫描，然后根据需要继续捕捉颜色图像和/或3D数据，以在给定情况下捕捉期望的场景。在一个此类实施例中，由于例如3D环境保持静态，所以可比3D数据更频繁地捕捉颜色图像。例如，墙壁或表面的深度数据在影响颜色数据的照明条件(诸如移动的阴影)随时间而改变的同时保持静态。
[0058]在一个实施例中，系统600执行实时数据鉴别，其可以显著减少捕捉数据的存储和处理。3D深度视频数据的捕捉可以产生实质上太字节量级的大量记录数据(取决于所捕捉区域的尺寸、每秒帧数以及捕捉时间量)。现有技术可以在使用例如压缩算法来记录数据之后降低存储要求。然而，在后处理之前存储此类大量数据可能是昂贵、耗时的，限制捕捉设备的能力且要求用于数据的过多的物理存储装置。
[0059]在一个实施例中，多个数据捕捉设备602a_602n中的每一个可以包括软件和/或硬件，其包括确定从传感器收集的数据是静态数据还是动态数据的电子控制装置。静态数据是在帧间不变的数据，或者在阈值以下在帧间变化的数据。例如，基本上类似于后续3D数据帧(例如，在诸如从1.0到0.002 cm之类的确定的分辨率内)的3D数据帧，可以将该数据识别为静态的。如果数据在帧间变化，或者如果数据已在阈值以上在帧间变化，则该数据是动态的。在一个实施例中，(在数据捕捉设备上机载的和/或在设备外部的)系统确定半径阈值以便鉴别静态和动态数据。该系统在其检测到数据在噪声半径以外变化时识别动态数据。在另一实施例中，该系统使用运动检测或照相机成像来确定静态和动态数据。一旦数据被识别为静态或动态的，则可以使用算法(例如，压缩算法)来选择性地丢弃后续静态数据并实时地记录动态数据，并且不要求用于后处理的资源。可以由数据捕捉设备上的处理器或由数据捕捉设备向 其传送捕捉数据的中央计算机(例如，计算设备608)来完成实时数据鉴别。
[0060]在其中使用多个数据捕捉设备的另一实施例中，该系统可以利用数据鉴别来识别其中两个或更多照相机正在捕捉特定数据点的重叠区域。在一个此类实施例中，多个数据捕捉设备602a-602n中的每一个可以相互通信和/或与计算设备608通信，使得系统实时地知道正在由哪些数据捕捉设备记录哪些地理位置。一旦系统识别到重叠区域，则系统(数据捕捉设备或外部计算设备)可以促使一个数据捕捉设备来记录该数据，并且促使其余数据捕捉设备丢弃由其它照相机捕捉的用于该区域的数据。
[0061]在其中使用多个数据捕捉设备的数据鉴别的另一实施例中，该系统可以识别所收集的3D数据的密度，并且执行将数据“薄化”成具有一致的密度或根据跨所收集场景的给定条件分布的算法。例如，该系统可以修改数据的密度，以使得较低关注的区域(例如，数据捕捉的非主要关注区域，诸如所捕捉环境的边缘处的数据)具有较低密度并且使得较高关注区域具有较高密度。可以以任何数目的方式来确定所捕捉场景的区域的关注点，包括:基于用来收集高关注区域的一个或多个数据捕捉设备的放置、该区域中的变化的速率、用户输入、上述组合或确定区域关注点的任何其它方法来识别高关注区域。
[0062]可以在如本文所述的数据捕捉系统中实现上述数据鉴别方法中的一个或多个。此类实时数据鉴别可以使得能够实现最小的存储和更快的数据处理以生成颜色真实3D深度视频帧。
[0063]图7是根据本发明的一个实施例的收集环境和环境中的对象的深度和图像数据的方法的流程图。
[0064]方法700从操作702开始，其中系统从每个包括一个或多个深度照相机的多个数据捕捉设备接收带时间索引深度数据。在操作704处，该系统从多个数据捕捉设备接收位置和定向数据。在操作706处，该系统接收相对位置和定向数据，其指示所述多个数据捕捉设备相互之间如何定位和定向。在操作708处，该系统使来自所述多个数据捕捉设备的带时间索引深度数据与坐标系中的坐标相关联。在操作710处，该系统将具有关联坐标的带时间索引深度数据存储到存储器。
[0065]图8是根据一个实施例(例如，计算设备608的处理器)的计算机系统的示例性形式的机器800的框图，在该计算机系统内部具有可执行促使机器800执行本文所讨论的方法中的任何一个或多个方法的指令集。在备选实施例中，可在局域网(LAN)、内部网、外部网或因特网中将机器800连接(例如，联网)到其它机器。该机器可能够作为客户端-服务器网络环境中的服务器端或客户端机器来操作，能够作为对等(或分布式)网络环境中的对等机器来操作，能够作为按需服务环境内的服务器或服务器系列来操作。机器的某些实施例可以是如下形式:个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、web设备、服务器、网络路由器、交换机或桥接器、计算系统、或者能够(顺序或以其他方式)执行指定该机器要采取的动作的指令集的任何机器。此外，虽然仅图示出单个机器，但是应将术语“机器”理解成包括任何机器(例如，计算机)的集合，其单独地或共同地执行一个或多个指令集以实现本文所讨论的方法中的任何一个或多个。
[0066]示例性机器800包括处理器802、主存储器804 (例如，只读存储器(R0M)、闪存、诸如同步DRAM (SDRAM)或Rambus DRAM (RDRAM)等之类的动态随机存取存储器(DRAM)、诸如闪存之类的静态存储器、静态随机存取存储器(SRAM)、易失性但高数据速率RAM等)以及辅助存储器818 (例如，包括硬盘驱动器的永久存储设备)，其经由总线830相互通信。主存储器804包括操作系统(OS) 824。根据一个实施例，主存储器804和OS 824与处理逻辑826和处理器802相结合地操作以执行本文所讨论的方法。
[0067]处理器802表示一个或多个通用处理设备，诸如微处理器、中央处理单元、图形处理单元等等。处理器802还可以是一个或多个专用处理设备，诸如专用集成电路(ASIC)Jl场可编程门阵列(FPGA)、数字信号处理器(DSP)、图形处理器等等。处理器802被配置成执行处理逻辑826以便执行在本文讨论的操作和功能。
[0068]机器800还可包括网络接口卡808。机器800还可包括用户接口 810 (诸如，视频显示单元、液晶显示器(IXD)或阴极射线管(CRT)、字母数字输入设备812 (例如，键盘)、光标控制设备814 (例如，鼠标)以及信号发生设备816 (例如，集成扬声器)。用户接口 810可以包括触摸屏或用于用户与机器800对接的其它部件。机器800还可包括外围设备836(例如，打印机、无线或有线通信设备、存储器设备、储存设备、音频处理设备、视频处理设备等)。
[0069]辅助存储器818可包括非瞬时性机器可读或计算机可读存储介质831，在其上存储了一个或多个指令集(例如，软件822 )，其具体化本文所述方法或功能中的任何一个或多个。软件822还可在其被机器800执行期间完全地或至少部分地驻留在主存储器804内和/或处理器802内，主存储器804和处理器802还构成机器可读存储介质。软件822还可经由网络接口卡808通过网络820被传送或接收。
[0070]因此，以上描述描述了环境的多维数据捕捉。实施例包括收集环境和环境中的对象的深度和图像数据的方法。该方法包括从包括第一深度照相机的第一数据捕捉设备接收第一带时间索引深度数据，该第一带时间索引深度数据包括一段时间上的从第一深度照相机到对象的第一表面的第一系列距离测量结果。该方法还包括从包括第二深度照相机的第二数据捕捉设备接收第二带时间索引深度数据，该第二带时间索引深度数据包括该时间段上的从第二深度照相机到对象的第二表面的第二系列距离测量结果。该方法还包括在该段时间期间接收第一数据捕捉设备的第一位置和定向数据，第一位置和定向数据基于第一数据捕捉设备的第一定义轨迹和定向的所检测运动。该方法还包括在该时间段期间接收第二数据捕捉设备的第二位置和定向数据，第二位置和定向数据基于第二数据捕捉设备的第二定义轨迹和定向的所检测运动。该方法还包括接收相对位置和定向数据，其指示第一数据捕捉设备和第二数据捕捉设备相互之间如何定位和定向。该方法还包括基于第一位置和定向数据、第二位置和定向数据以及相对位置和定向数据使第一带时间索引深度数据和第二带时间索引深度数据与坐标系中的坐标相关联。该方法还包括将包括具有关联坐标的第一带时间索引深度数据和第二带时间索引深度数据的带时间索引三维(3D)深度数据存储到电子存储器。
[0071]在一个此类实施例中，该方法还包括从对象的第一表面的第一数据捕捉设备接收第一颜色数据并从对象的第二表面的第二数据捕捉设备接收第二颜色数据，使第一和第二颜色数据与第一和第二带时间索引深度数据且与坐标系中的坐标相关联，并将具有带时间索引3D深度数据且具有关联坐标的第一和第二颜色数据存储到电子存储器。
[0072]在一个此类实施例中，第一和第二带时间索引深度数据每个包括由多个深度照相机捕捉的在431球面度内的到表面的距离测量结果。在一个实施例中，第一和第二位置和定向数据每个包括来自多个加速计的平均运动数据。在一个实施例中，该相对位置数据包括来自第一 GPS的指示第一数据捕捉设备的第一地理空间位置的第一地理空间数据，以及来自第二 GPS的指示第二数据捕捉设备的第二地理空间位置的第二地理空间数据。在一个实施例中，第一数据捕捉设备的相对位置数据基于第二数据捕捉设备的形状的识别。在一个实施例中，该方法还包括识别第一和第二带时间索引深度数据的一部分中的空间重叠，从第一和第二带时间索引深度数据中的一个丢弃该重叠部分，并且将来自第一和第二带时间索引深度数据中的另一个的具有关联坐标的该重叠部分存储到电子存储器。
[0073]本发明的一个实施例包括一种装置。该装置包括一个或多个深度照相机。所述一个或多个深度照相机中的每一个捕捉带时间索引深度数据，所述带时间索引深度数据包括在一段时间上的到对象表面的一系列距离测量结果。该装置包括检测对象表面的颜色数据的一个或多个数字图像传感器。该装置还包括检测该时间段上的装置的定义轨迹和定向的运动的一个或多个传感器。该装置还包括自定位模块，该自定位模块从一个或多个传感器接收运动数据并生成包括在该时间段上的坐标系中的一个或多个深度照相机的位置和定向数据的地理空间数据。该装置还包括向计算设备发送所述带时间索引深度数据、所述颜色数据以及所述地理空间数据的通信接口。该计算设备从第二装置接收第二带时间索引深度数据、第二颜色数据以及第二地理空间数据，并且生成包括第一和第二带时间索引深度数据、颜色数据以及第一和第二地理空间数据在内的带时间索引三维(3D)深度数据。
[0074]在一个实施例中，该装置包括多个深度照相机，其对带时间索引深度数据的每个帧捕捉4 31球面度深度数据。在一个实施例中，该计算设备是相对于该装置的远程设备。在一个实施例中，该装置包括接收第一和第二带时间索引深度数据、第一和第二颜色数据的计算设备、第一和第二地理空间数据，其被包括在该装置中，并且生成包括第一和第二带时间索引深度数据和颜色数据以及第一和第二地理空间数据在内的带时间索引三维(3D)深度数据。在一个实施例中，检测运动的一个或多个传感器包括多个加速计。在一个此类实施例中，自定位模块从所述多个加速计接收运动数据，对来自所述多个加速计的运动数据求平均，并且基于该平均运动数据生成地理空间数据。在一个实施例中，所述多个加速计包括至少三个加速计。在一个实施例中，所述一个或多个传感器包括振动传感器。
[0075]本发明的一个实施例包括用于随时间推移捕捉环境中的对象的深度和图像数据的数据捕捉系统。该数据捕捉系统包括第一数据捕捉设备和第二数据捕捉设备。第一数据捕捉设备包括记录从第一深度照相机到环境中的一个或多个对象的第一表面的第一距离数据的第一深度照相机、以及记录环境和其中的对象的第一图像数据的第一图像照相机、以及感测第一位置数据的第一传感器。第二数据捕捉设备包括记录从第二深度照相机到环境中的一个或多个对象的第二表面的第二距离数据的第二深度照相机、以及记录环境和其中的对象的第二图像数据的第二图像照相机、以及感测第二位置数据的第二传感器。该数据捕捉系统还包括接收第一和第二距离数据、以及第一和第二图像数据及第一和第二位置数据并处理所述数据以创建环境和其中的对象的统一数据云的数据处理器。
[0076]在一个实施例中，第一和第二图像数据是灰度图像数据。在一个实施例中，第一和第二图像数据是颜色图像数据。在一个实施例中，从第一视点(POV)记录第一距离数据和第一图像数据，并且从第二 POV记录第二距离数据和第二图像数据，并且数据处理器创建统一数据云，使得当数据被格式化并观看时，可从多个POV观看环境和其中的对象。
[0077]根据一个实施例，数据处理器确定第一和第二图像数据是否记录环境中的相同对象的图像数据并执行其中图像数据重叠的数据压缩。在一个实施例中，第一和第二传感器包括跟踪相对运动的运动传感器。在一个实施例中，第一和第二传感器每个包括多个运动传感器，并且对来自每个数据捕捉设备中的多个运动传感器的位置数据求平均，以提供位置 数据的更高准确度。在一个实施例中，第一和第二传感器还感测各数据捕捉设备的定向。在一个实施例中，第一深度照相机和第二深度照相机分别地在不同的时间记录连续的第一和第二深度数据，使得系统能够以比单独的第一或第二深度照相机的最大数据捕捉速率更高的数据捕捉速率来记录数据。在一个实施例中，第一数据捕捉设备还包括第三深度照相机，并且第二数据捕捉设备还包括第四深度照相机。在一个此类实施例中，第一深度照相机和第三深度照相机分别地在不同的时间记录连续的第一和第三深度数据，使得第一数据捕捉设备能够以比单独的第一或第三深度照相机的最大数据捕捉速率更高的数据捕捉速率来记录数据。
[0078]在另一实施例中，一种系统包括通信接口，该通信接口从包括第一深度照相机的第一数据捕捉设备接收第一带时间索引深度数据，第一带时间索引深度数据包括在一段时间上的从第一深度照相机到对象的第一表面的一系列距离测量结果。该通信接口还从包括第二深度照相机的第二数据捕捉设备接收第二带时间索引深度数据，第二带时间索引深度数据包括在该时间段上的从第二深度照相机到对象的第二表面的一系列距离测量结果。该通信接口还在该时间段期间接收第一数据捕捉设备的第一位置和定向数据，第一位置和定向数据基于第一数据捕捉设备的第一定义中心和定向的所检测运动。该通信接口还在该时间段期间接收第二数据捕捉设备的第二位置和定向数据，第二位置和定向数据基于该数据捕捉设备的第二定义中心和定向的所检测运动。该系统还包括数据处理器，该数据处理器计算指示第一数据捕捉设备和第二数据捕捉设备相互之间如何定位和定向的相对位置和定向数据，并基于第一位置和定向数据、第二位置和定向数据以及相对位置和定向数据使第一带时间索引深度数据和第二带时间索引深度数据与坐标系中的坐标相关联。该系统还包括电子存储器，以存储包括具有关联坐标的第一带时间索引深度数据和第二带时间索引深度数据在内的带时间索引三维(3D)深度数据。
[0079]本发明的所示实施例的以上描述(包括在摘要中描述的内容)并不意图是穷举的或使本发明局限于公开的精确形式。虽然本文出于说明性目的描述了本发明的特定实施例以及示例，但是如本领域的技术人员将认识到的那样，在本发明的范围内可以有各种修改。
[0080]鉴于以上详细描述可以对本发明做出这些修改。不应将在以下权利要求中使用的术语理解成使本发明局限于在本说明书中公开的特定实施例。相反地，本发明的范围将完全由以下权利要求确定，其要根据权利要求解释的确立原则来理解。
【主权项】
1.一种承载一个或多个指令序列的机器可读存储介质，所述一个或多个指令序列在被一个或多个处理器执行时促使所述一个或多个处理器执行收集环境和所述环境中的对象的深度和图像数据的方法，所述方法包括: 从包括第一深度照相机的第一数据捕捉设备接收第一带时间索引深度数据，第一带时间索引深度数据包括在一段时间上的从第一深度照相机到对象的第一表面的第一系列距离测量结果； 从包括第二深度照相机的第二数据捕捉设备接收第二带时间索引深度数据，第二带时间索引深度数据包括在所述时间段上的从第二深度照相机到对象的第二表面的第二系列距离测量结果； 在所述时间段期间接收第一数据捕捉设备的第一位置数据； 在所述时间段期间接收第二数据捕捉设备的第二位置数据； 接收指示第一数据捕捉设备和第二数据捕捉设备相对之间如何定位的相对位置数据； 基于第一位置数据、第二位置数据以及相对位置数据来使第一带时间索引深度数据和第二带时间索引深度数据与坐标系中的坐标相关联；以及 将包括具有所关联坐标的第一带时间索引深度数据和第二带时间索引深度数据在内的带时间索引三维(3D)深度数据存储到电子存储器。2.根据权利要求1所述的机器可读存储介质，其中，所述一个或多个指令序列促使所述一个或多个处理器执行所述方法，所述方法还包括: 从对象的第一表面的第一数据捕捉设备接收第一颜色数据； 从对象的第二表面的第二数据捕捉设备接收第二颜色数据； 使第一和第二颜色数据与第一和第二带时间索引深度数据且与所述坐标系中的坐标相关联; 将具有所述带时间索引3D深度数据且具有所关联坐标的第一和第二颜色数据存储到所述电子存储器。3.根据权利要求1所述的机器可读存储介质，其中，所述第一和第二带时间索引深度数据每个包括由多个深度照相机捕捉的在4 Ji球面度内的到表面的距离测量结果。4.根据权利要求1所述的机器可读存储介质，其中，所述第一和第二位置和定向数据每个包括来自多个加速计的平均运动数据。5.根据权利要求1所述的机器可读存储介质，其中，所述相对位置数据包括来自第一 GPS的指示第一数据捕捉设备的第一地理空间位置的第一地理空间数据、以及来自第二GPS的指示第二数据捕捉设备的第二地理空间位置的第二地理空间数据。6.根据权利要求1所述的机器可读存储介质，其中，第一数据捕捉设备的所述相对位置数据基于第二数据捕捉设备的形状的识别。7.根据权利要求1所述的机器可读存储介质，其中，所述一个或多个指令序列促使所述一个或多个处理器执行所述方法，所述方法还包括: 在所述时间段期间接收第一数据捕捉设备的第一定向数据，第一位置和定向数据基于第一数据捕捉设备的第一定义轨迹和定向的所检测运动；以及 在所述时间段期间接收第二数据捕捉设备的第二定向数据，第二位置和定向数据基于第二数据捕捉设备的第二定义轨迹和定向的所检测运动； 其中，使第一带时间索引深度数据和第二带时间索引深度数据与坐标系中的坐标相关联还基于第一和第二定向数据。8.根据权利要求1所述的机器可读存储介质，其中，所述一个或多个指令序列促使所述一个或多个处理器执行所述方法，所述方法还包括: 识别第一和第二带时间索引深度数据的一部分中的空间重叠； 从第一和第二带时间索引深度数据中的一个丢弃所述重叠部分；以及将来自第一和第二带时间索引深度数据中的另一个的具有所关联坐标的所述重叠部分存储到所述电子存储器。9.一种装置，包括: 一个或多个深度照相机，其中，所述一个或多个深度照相机中的每一个捕捉带时间索引深度数据，所述带时间索引深度数据包括在一段时间上的到对象表面的一系列距离测量结果； 一个或多个数字图像传感器，其检测所述对象表面的图像数据； 一个或多个传感器，其在所述时间段上检测所述装置的定义轨迹的位置； 自定位模块，其从所述一个或多个传感器接收位置数据，并且生成包括在所述时间段上的坐标系中的一个或多个深度照相机的位置数据的地理空间数据；以及 通信接口，其将所述带时间索引深度数据、所述图像数据以及所述地理空间数据发送到计算设备，其中，所述计算设备从第二装置接收第二带时间索引深度数据、第二图像数据以及第二地理空间数据，并且生成包括第一和第二带时间索引深度数据和图像数据以及第一和第二地理空间数据在内的带时间索引三维(3D)深度数据。10.根据权利要求9所述的装置，其中， 所述一个或多个深度照相机包括对所述带时间索引深度数据的每个帧捕捉4 31球面度深度数据的多个深度照相机。11.根据权利要求9所述的装置，其中，所述计算设备是相对于所述装置的远程设备。12.根据权利要求9所述的装置，其中，所述装置包括所述计算设备，所述计算设备接收第一和第二带时间索引深度数据、第一和第二颜色数据、以及第一和第二地理空间数据，其被包括所述装置中，并且生成包括第一和第二带时间索引深度数据和颜色数据以及第一和第二地理空间数据在内的带时间索引三维(3D)深度数据。13.根据权利要求9所述的装置，其中，检测位置的一个或多个传感器包括用以检测运动的多个加速计，并且其中，所述自定位模块从所述多个加速计接收运动数据，对来自所述多个加速计的运动数据求平均，并且基于平均运动数据生成所述地理空间数据。14.根据权利要求13所述的装置，其中，所述一个或多个传感器还包括: 振动传感器，并且其中，所述多个加速计包括至少三个加速计。15.—种用于随时间推移捕捉环境中的对象的深度和图像数据的数据捕捉系统，包括: 第一数据捕捉设备，包括记录从第一深度照相机到环境中的一个或多个对象的第一表面的第一距离数据的第一深度照相机、以及记录所述环境和其中的所述对象的第一图像数据的第一图像照相机、以及感测第一位置数据的第一传感器； 第二数据捕捉设备，包括记录从第二深度照相机到环境中的一个或多个对象的第二表面的第二距离数据的第二深度照相机、以及记录所述环境和其中的所述对象的第二图像数据的第二图像照相机、以及感测第二位置数据的第二传感器；以及 数据处理器，其接收第一和第二距离数据、以及第一和第二图像数据及第一和第二位置数据，并且处理所述数据以创建所述环境和其中的对象的统一数据云。16.根据权利要求15所述的数据捕捉系统，其中，所述第一和第二图像数据是灰度图像数据。17.根据权利要求15所述的数据捕捉系统，其中，所述第一和第二图像数据是颜色图像数据。18.根据权利要求15所述的数据捕捉系统，其中，从第一视点(POV)记录第一距离数据和第一图像数据，并且从第二 POV记录第二距离数据和第二图像数据，并且所述数据处理器创建所述统一数据云，使得当所述数据被格式化并观看时，可以从多个POV观看所述环境和其中的对象。19.根据权利要求15所述的数据捕捉系统，其中，所述数据处理器确定第一和第二图像数据是否记录所述环境中的相同对象的图像数据，并且执行其中图像数据重叠的数据压缩。20.根据权利要求15所述的数据捕捉系统，其中，所述第一和第二传感器包括跟踪相对运动的运动传感器。21.根据权利要求20所述的数据捕捉系统，其中，所述第一和第二传感器每个包括多个运动传感器，并且对来自每个数据捕捉设备中的所述多个运动传感器的位置数据求平均，以提供位置数据的更高准确度。22.根据权利要求15所述的数据捕捉系统，其中，第一和第二传感器还感测各数据捕捉设备的定向。23.根据权利要求15所述的数据捕捉系统，其中，第一深度照相机和第二深度照相机分别地在不同的时间记录连续的第一和第二深度数据，使得所述系统能够以比单独的第一或第二深度照相机的最大数据捕捉速率更高的数据捕捉速率来记录数据。24.根据权利要求15所述的数据捕捉系统，其中，第一数据捕捉设备还包括第三深度照相机，并且其中，第一深度照相机和第三深度照相机分别地在不同的时间记录连续的第一和第三深度数据，使得第一数据捕捉设备能够以比单独的第一或第三深度照相机的最大数据捕捉速率更高的数据捕捉速率来记录数据。
【专利摘要】本发明的实施例描述了与对象和/或环境的数据捕捉有关的装置、系统以及方法。在一个实施例中，用户可以使用一个或多个便携式数据捕捉设备来捕捉带时间索引三维（3D）深度数据，所述便携式数据捕捉设备可以用深度信息、位置和定向数据来捕捉场景的带时间索引颜色图像。另外，数据捕捉设备还可被配置成捕捉在数据捕捉设备周围的环境的球面视图。
【IPC分类】H04N13/02, H04N5/262
【公开号】CN104904200
【申请号】CN201380058430
【发明人】M.R.米勒特
【申请人】广稹阿马斯公司
【公开日】2015年9月9日
【申请日】2013年9月10日
【公告号】CA2884771A1, EP2893702A1, US9161019, US20140071234, WO2014040081A1
最新回复(0)