多传感器环境地图构建的制作方法
多传感器环境地图构建的制作方法
【专利说明】多传感器环境地图构建
【背景技术】
[0001] 诸如无人飞行器OJAV)等无人载具可用于在多种环境下执行监视、侦查和勘探任 务W供军事和民用应用。UAV可由远程用户手动控制，或者可W按半自主或全自主的方式操 作。运样的UAV可W包括被配置用于从周围环境收集数据的传感器。
[0002] 在一些情况下，用于获取环境数据的现有方法可能并非最优。例如，环境数据的准 确度可能基于用W收集数据的特定传感器类型的能力而受到限制。不准确的环境数据可能 会对UAV功能产生不利影响。
【发明内容】
[0003] 本文所公开的实施方式提供了用于在环境内控制诸如UAV等可移动物体的改进 的方法。在许多实施方式中，UAV包含多种不同的传感器类型，用于收集关于周围环境的信 息。从所述每种不同类型的传感器获取的数据可W组合，W便生成所述周围环境的表示，诸 如二维（2D)或=维（3D)环境地图，并且所述数据还可W用于促进导航、物体识别和避障。 有利地，本文所描述的方法可W用于改进多样化环境类型和操作条件下的UAV功能性。
[0004] 因此，在一方面，提供了一种用于在环境内控制可移动物体的方法。所述方法包 括：使用由所述可移动物体携带的多个传感器中的至少一个传感器来确定所述可移动物体 的初始位置；生成第一信号W使所述可移动物体在所述环境内航行；使用所述多个传感器 中的所述至少一个传感器来接收关于所述环境的感测数据；基于所述感测数据，生成表示 所述环境的至少一部分的环境地图；接收返航至所述初始位置的指令；W及基于所述环境 地图，生成第二信号W使所述可移动物体返航至所述初始位置。 阳〇化]在一些实施方式中，所述可移动物体是无人飞行器。所述无人飞行器可W不超过 IOkg重。所述无人飞行器的最大尺寸可W不超过1.5m。所述无人飞行器可被配置用于在 不超过400m的高度上飞行。可选地，所述无人飞行器可被配置用于检测限制飞行区域的存 在，并且不在所述限制飞行区域的预定距离内飞行。所述限制飞行区域可W是机场。所述 无人飞行器可W是多旋翼航空器。
[0006] 在一些实施方式中，所述环境可W是室内环境或低空环境。
[0007] 在一些实施方式中，所述多个传感器可W包括全球定位系统（GP巧传感器、视觉 传感器或距离传感器。所述距离传感器可W包括W下至少一种：激光雷达传感器、超声传感 器或飞行时间相机传感器。所述多个传感器可W包括多种不同的传感器类型。
[0008] 在一些实施方式中，所述环境地图可W包括拓扑地图或尺度地图（metric map)。 所述尺度地图可W包括W下至少一种：点云、3D网格地图、2D网格地图或2. 5D网格地图。 可选地，所述尺度地图可W包括占据网格地图（occupancy grid map)。
[0009] 在一些实施方式中，生成所述第二信号包括：使用所述多个传感器中的至少一个 传感器来确定所述可移动物体的当前位置；基于所述环境地图，确定从所述当前位置到所 述初始位置的路径；W及生成信号W使所述可移动物体沿着所述路径移动W返航至所述初 始位置。确定所述路径可W包括确定从所述当前位置到所述初始位置的最短路径。备选地 或组合地，确定所述路径可W包括确定从所述当前位置到所述初始位置的、避开所述环境 内的一个或多个障碍物的路径。所述路径可W包括由所述可移动物体先前行进过的一个或 多个部分。所述路径可W不同于由所述可移动物体先前行进过的路径。可选地，所述路径可 W是所述可移动物体的飞行路径。所述路径可W包括所述可移动物体的空间位置和方向。
[0010] 在一些实施方式中，所述路径包括对应于所述可移动物体先前行进过的位置的多 个航点，所述多个航点是当所述可移动物体在所述环境内航行时被记录的。当所述可移动 物体在所述环境内航行时，可W实时地记录所述多个航点。或者，当所述可移动物体在所述 环境内航行时，可W按预定时间间隔记录所述多个航点。可W将所述多个航点储存在列表 数据结构中。
[0011] 在一些实施方式中，生成所述信号W使所述可移动物体沿着所述路径移动可W包 括：检测所述环境中沿着所述路径定位的障碍物；修改所述路径W便避开所述障碍物；W 及生成信号W使所述可移动物体沿着经修改的路径移动。
[0012] 在另一方面，提供了一种用于在环境内控制可移动物体的系统。所述系统可W包 括：由所述可移动物体携带的多个传感器W及一个或多个处理器。所述一个或多个处理器 可被单个地或共同地配置用于：使用所述多个传感器中的至少一个传感器来确定所述可移 动物体的初始位置；生成第一信号，该第一信号使所述可移动物体在所述环境内航行；使 用所述多个传感器中的所述至少一个传感器来接收关于所述环境的感测数据；基于所述感 测数据，生成表示所述环境的至少一部分的环境地图；接收返航至所述初始位置的指令； W及基于所述环境地图生成第二信号，该第二信号使所述可移动物体航行W返航至所述初 始位置。
[0013] 在另一方面，提供了一种用于在环境内控制无人飞行器的方法。所述方法包括：生 成第一信号W使所述无人飞行器在所述环境内航行；使用由所述无人飞行器携带的多个传 感器来接收关于所述环境的至少一部分的感测数据；基于所述感测数据，生成表示所述环 境的所述至少一部分的环境地图；使用所述环境地图来检测位于所述环境的所述部分中的 一个或多个障碍物；W及使用所述环境地图来生成第二信号W使所述无人飞行器航行，W 便避开所述一个或多个障碍物。
[0014] 在一些实施方式中，所述无人飞行器是旋翼航空器。所述无人飞行器可W不超过 IOkg重。所述无人飞行器的最大尺寸可W不超过1.5m。所述无人飞行器可被配置用于在 不超过400m的高度上飞行。可选地，所述无人飞行器可被配置用于检测限制飞行区域的存 在，并且不在所述限制飞行区域的预定距离内飞行。所述限制飞行区域可W是机场。
[0015] 在一些实施方式中，所述环境可W是室内环境或低空环境。
[0016] 在一些实施方式中，所述多个传感器可W包括全球定位系统（GP巧传感器、视觉 传感器或距离传感器。所述距离传感器可W包括W下至少一种：激光雷达传感器、超声传感 器或飞行时间相机传感器。所述多个传感器可W包括多种不同的传感器类型。所述感测数 据可W包括相对于多个不同坐标系的数据，并且生成所述环境地图包括将所述数据映射到 单一坐标系上。
[0017] 在一些实施方式中，所述环境地图可W包括拓扑地图或尺度地图。所述尺度地图 可W包括W下至少一种：点云、3D网格地图、2D网格地图或2.抓网格地图。可选地，所述尺 度地图可W包括占据网格地图。
[0018] 在一些实施方式中，基于从与所述无人飞行器通信的远程终端接收到的指令来生 成所述第一信号。所述指令可W由用户输入到所述远程终端中。或者，所述第一信号可W 由所述无人飞行器自主生成。
[0019] 在一些实施方式中，所述感测数据包括相对于多个不同坐标系的数据，并且生成 所述环境地图包括将所述数据映射到单一坐标系上。生成所述第一信号可W包括为所述无 人飞行器生成的飞行路径，并且生成所述第二信号可W包括基于所述环境地图来修改所述 飞行路径，W便避开所述一个或多个障碍物。所述飞行路径可被配置用于将所述无人飞行 器从当前位置引导至先前位置。
[0020] 在另一方面，提供了一种用于在环境内控制无人飞行器的系统。所述系统包括：由 所述无人飞行器携带的多个传感器W及一个或多个处理器。所述一个或多个处理器可被单 个地或共同地配置用于：生成第一信号W使所述无人飞行器在所述环境内航行；使用由所 述无人飞行器携带的多个传感器来接收关于所述环境的至少一部分的感测数据；基于所述 感测数据，生成表示所述环境的所述至少一部分的环境地图；使用所述环境地图来检测位 于所述环境的所述部分中的一个或多个障碍物；W及使用所述环境地图来生成第二信号W 使所述无人飞行器航行，W便避开所述一个或多个障碍物。
[0021] 在另一方面，提供了一种用于在环境内控制无人飞行器的方法。所述方法包括：从 第一传感器接收关于所述环境的第一感测信号，并从第二传感器接收关于所述环境的第二 感测信号，其中所述第一传感器和第二传感器是不同的传感器类型，并且其中所述第一传 感器和第二传感器由无人飞行器携带；使用所述第一感测信号来生成第一环境地图并使用 所述第二感测信号来生成第二环境地图，所述第一环境地图和第二环境地图各自包括所述 环境的障碍物占据信息；W及组合所述第一环境地图和第二环境地图，从而生成包含所述 环境的障碍物占据信息的最终环境地图。
[0022] 在一些实施方式中，所述方法进一步包括至少部分基于所述最终环境地图中的障 碍物占据信息，生成信号W使所述无人飞行器在所述环境内航行。
[0023] 在一些实施方式中，所述无人飞行器是旋翼航空器。所述无人飞行器可W不超过 IOkg重。所述无人飞行器的最大尺寸可W不超过1.5m。所述无人飞行器可被配置用于在 不超过400m的高度上飞行。可选地，所述无人飞行器可被配置用于检测限制飞行区域的存 在，并且不在所述限制飞行区域的预定距离内飞行。所述限制飞行区域可W是机场。
[0024] 在一些实施方式中，所述环境可W是室内环境或低空环境。
[00巧]在一些实施方式中，所述多个传感器可W包括全球定位系统（GP巧传感器、视觉 传感器或距离传感器。所述距离传感器可W包括W下至少一种：激光雷达传感器、超声传感 器或飞行时间相机传感器。所述多个传感器可W包括多种不同的传感器类型。
[00%] 在一些实施方式中，所述环境地图可W包括拓扑地图或尺度地图。所述尺度地图 可W包括W下至少一种：点云、3D网格地图、2D网格地图或2.抓网格地图。可选地，所述尺 度地图可W包括占据网格地图。
[0027] 在一些实施方式中，相对于第一坐标系提供所述第一环境地图并且相对于与所述 第一坐标系不同的第二坐标系提供所述第二环境地图。所述第一坐标系可W是全局坐标系 而所述第二坐标系可W是局部坐标系。组合所述第一环境地图和第二环境地图可W包括将 所述第一环境地图和第二环境地图转换至单一坐标系。
[0028] 在一些实施方式中，所述第一传感器的感测范围不同于所述第二传感器的感测范 围。
[0029] 在另一方面，提供了一种用于在环境内控制无人飞行器的系统。所述系统包括： 第一传感器，其由所述无人飞行器携带并且被配置用于生成关于所述环境的第一感测信 号；第二传感器，其由所述无人飞行器携带并且被配置用于生成关于所述环境的第二感测 信号，所述第二传感器和所述第一传感器是不同的传感器类型；W及一个或多个处理器。所 述一个或多个处理器可被单个地或共同地配置用于：接收所述第一感测信号和第二感测信 号；使用所述第一感测信号来生成第一环境地图并使用所述第二感测信号来生成第二环境 地图，所述第一环境地图和第二环境地图各自包含所述环境的障碍物占据信息；W及组合 所述第一环境地图和第二环境地图，从而生成包含所述环境的障碍物占据信息的最终环境 地图。
[0030] 在另一方面，提供了一种用于在环境内控制无人飞行器的方法。所述方法包括：使 用由所述无人飞行器携带的多个传感器中的至少一个传感器来确定所述无人飞行器的初 始位置；生成第一信号W使所述无人飞行器在所述环境内航行；使用所述多个传感器中的 所述至少一个传感器来接收关于所述环境的感测数据；接收返航至所述初始位置的指令； W及生成第二信号W使所述无人飞行器沿着路径返航至所述初始位置，其中当所述多个传 感器中的所述至少一个传感器检测到位于沿着所述路径的所述环境中的障碍物时，修改所 述路径W避开所述障碍物。
[0031] 在一些实施方式中，所述无人飞行器是旋翼航空器。所述无人飞行器可W不超过 IOkg重。所述无人飞行器的最大尺寸可W不超过1.5m。所述无人飞行器可被配置用于在 不超过400m的高度上飞行。可选地，所述无人飞行器可被配置用于检测限制飞行区域的存 在，并且不在所述限制飞行区域的预定距离内飞行。所述限制飞行区域可W是机场。
[0032] 在一些实施方式中，所述环境可W是室内环境或低空环境。
[0033] 在一些实施方式中，所述多个传感器可W包括全球定位系统（GP巧传感器、视觉 传感器或距离传感器。所述距离传感器可W包括W下至少一种：激光雷达传感器、超声传感 器或飞行时间相机传感器。所述多个传感器可W包括多种不同的传感器类型。
[0034] 在一些实施方式中，所述环境地图可W包括拓扑地图或尺度地图。所述尺度地图 可W包括W下至少一种：点云、3D网格地图、2D网格地图或2.抓网格地图。可选地，所述尺 度地图可W包括占据网格地图。
[0035] 在一些实施方式中，所述路径包括由所述可移动物体先前行进过的一个或多个部 分。所述路径可W不同于由所述可移动物体先前行进过的路径。可选地，所述路径可W是 所述可移动物体的飞行路径。所述路径可W包括所述可移动物体的空间位置和定向。
[0036] 在另一方面，提供了一种用于在环境内控制无人飞行器的系统。所述系统可W包 括：由所述可移动物体携带的多个传感器W及一个或多个处理器。所述一个或多个处理器 可被单个地或共同地配置用于：使用由所述无人飞行器携带的多个传感器中的至少一个传 感器来确定所述可移动物体的初始位置；生成第一信号W使所述无人飞行器在所述环境内 航行；使用所述多个传感器中的所述至少一个传感器来接收关于所述环境的感测数据；接 收返航至所述初始位置的指令；W及生成第二信号W使所述无人飞行器沿着路径返航至所 述初始位置，其中当所述多个传感器中的所述至少一个传感器检测到位于沿着所述路径的 所述环境中的障碍物时，修改所述路径W避开所述障碍物。
[0037] 在另一方面，提供了一种用于生成环境的地图的方法。所述方法包括：从由无人飞 行器携带的一个或多个视觉传感器接收第一感测数据，所述第一感测数据包含所述环境的 深度信息；从由所述无人飞行器携带的一个或多个距离传感器接收第二感测数据，所述第 二感测数据包含所述环境的深度信息；W及使用所述第一感测数据和第二感测数据来生成 包含所述环境的深度信息的环境地图。
[0038] 在一些实施方式中，所述第一感测数据和第二感测数据各自包括具有多个像素的 至少一个图像，所述多个像素中的每个像素与二维图像坐标和深度值相关联。所述多个像 素中的每个像素可W与色值相关联。所述第一感测数据和第二感测数据可W各自包含所述 环境中的一个或多个物体的轮廓信息。
[0039] 在一些实施方式中，所述方法进一步包括：至少部分地基于所述环境地图中的深 度信息，生成信号W使所述无人飞行器在所述环境内导航。
[0040] 在一些实施方式中，所述无人飞行器是旋翼航空器。所述无人飞行器可W不超过 IOkg重。所述无人飞行器的最大尺寸可W不超过1.5m。所述无人飞行器可被配置用于在 不超过400m的高度上飞行。可选地，所述无人飞行器可被配置用于检测限制飞行区域的存 在，并且不在所述限制飞行区域的预定距离内飞行。所述限制飞行区域可W是机场。
[0041] 在一些实施方式中，所述环境可W是室内环境或低空环境。
[0042] 在一些实施方式中，所述一个或多个视觉传感器仅包括一个相机。或者，所述一个 或多个视觉传感器可W包括两个或更多个相机。所述一个或多个距离传感器可W包括至少 一个超声传感器或至少一个激光雷达传感器。所述第一感测数据可W包括第一组深度图 像而所述第二感测数据可W包括第二组深度图像。生成所述环境地图可W包括：辨别存在 于所述第一组深度图像中的第一多个特征点；辨别存在于所述第二组深度图像中的第二多 个特征点，所述第二多个特征点中的每个特征点对应于所述第一多个特征点中的一个特征 点；确定所述第一多个特征点与第二多个特征点之间的对应；W及基于所述对应，通过组 合所述第一组深度图像和第二组深度图像而生成所述环境地图。
[0043] 在一些实施方式中，相对于第一坐标系提供所述第一感测数据并且相对于与所述 第一坐标系不同的第二坐标系提供所述第二感测数据。生成所述环境地图可W包括相对于 第=坐标系来表示所述第一感测数据和第二感测数据。所述第=坐标系可W是所述第一坐 标系或所述第二坐标系。或者，所述第=坐标系可W不同于所述第一坐标系和所述第二坐 柄系。
[0044] 在一些实施方式中，所述环境地图可W包括拓扑地图或尺度地图。所述尺度地图 可W包括W下至少一种：点云、3D网格地图、2D网格地图或2.抓网格地图。可选地，所述尺 度地图可W包括占据网格地图。
[0045] 在另一方面，提供了一种用于生成环境的地图的系统。所述系统可W包括：一个或 多个视觉传感器，其由无人飞行器携带并且被配置用于生成第一感测数据，所述第一感测 数据包含所述环境的深度信息；一个或多个距离传感器，其由所述无人飞行器携带并且被 配置用于生成第二感测数据，所述第二感测数据包含所述环境的深度信息；W及一个或多 个处理器。所述一个或多个处理器可被单个地或共同地配置用于：接收所述第一感测数据 和第二感测数据；W及使用所述第一感测数据和第二感测数据来生成包含所述环境的深度 信息的环境地图。
[0046] 应当明白，本发明的不同方面可W被单独地、共同地或彼此结合地理解。本文所描 述的本发明的各个方面可W适用于下文阐述的任何特定应用或者适用于任何其他类型的 可移动物体。本文对飞行器的任何描述均可适用于和用于任何可移动物体，诸如任何载具。 另外，本文在空中运动（例如，飞行）的情景下公开的系统、设备和方法还可W适用于其他 类型运动的情景下，诸如在地面上或在水上的移动、水下运动或者在太空中的运动。此外， 本文对旋翼或旋翼总成的任何描述均可适用于和用于任何被配置用于通过旋转而生成推 进力的推进系统、设备或机构（例如，螺旋奖、轮子、轮轴）。
[0047] 通过考察说明书、权利要求书和附图，本发明的其他目标和特征将会变得显而易 见。
[0048] 操引并入
[0049] 本说明书中所提及的所有出版物、专利和专利申请均通过引用而并入于此，其程 度犹如具体地和个别地指出要通过引用而并入每一个别出版物、专利或专利申请。
【附图说明】
[0050] 在所附权利要求书中具体阐述了本发明的新颖特征。通过参考对在其中利用到本 发明原理的说明性实施方式加 W阐述的W下详细描述和附图，将会对本发明的特征和优点 获得更好的理解；在附图中：
[0051] 图IA图示了根据实施方式中的在户外环境中操作的UAV ;
[0052] 图IB图示了根据实施方式中的在室内环境中操作的UAV ;
[0053] 图2A图示了根据实施方式中的用于使用传感器融合来估计UAV姿态的方案；
[0054] 图2B图示了根据实施方式中的用于使用传感器融合来估计UAV位置和速度的方 案；
[0055] 图3A图示了根据实施方式中的用于使用传感器融合来进行环境地图构建的方 案；
[0056] 图3B图示了根据实施方式中的用于使用传感器融合来生成环境地图的方法；
[0057] 图4图示了根据实施方式中的用于使用不同传感器类型来进行环境地图构建的 方法；
[005引图5图示了根据实施方式中的用于控制UAV W躲避障碍物的方法；
[0059] 图6图示了根据实施方式中的用于控制UAV W返航至初始位置的方法；
[0060] 图7图示了根据实施方式中的用于控制UAV在避开障碍物的同时返航至初始位置 的方法；
[0061] 图8A和图8B图示了根据实施方式中的用于使用航点来控制UAV W返航至初始位 置的算法；
[0062] 图9A和图9B图示了根据实施方式中的用于使用拓扑地图来控制UAV W返航至目 标位置的算法；
[0063] 图10图示了根据实施方式中的UAV ;
[0064] 图11图示了根据实施方式中的包括载体和载荷的可移动物体；W及 阳0化]图12图示了根据实施方式中的用于控制可移动物体的系统。
【具体实施方式】
[0066] 本公开内容提供了用于控制诸如无人飞行器OJAV)等可移动物体的系统和方法。 在一些实施方式中，UAV可适于携带被配置用于收集环境数据的多个传感器。其中的一些 传感器可W是不同类型（例如，与距离传感器组合使用的视觉传感器）。由所述多个传感 器获取的数据可W组合W生成表示周围环境的环境地图。在一些实施方式中，环境地图可 W包括关于环境中物体（诸如物体或障碍物）位置的信息。UAV可W使用所生成的地图来 执行各种操作，其中一些可W是半自动化的或全自动化的。例如，在一些实施方式中，环境 地图可W用于自动为UAV确定一个飞行路径，W从其当前位置航行至目标位置。又例如，环 境地图可W用于确定一个或多个障碍物的空间排列，并从而使得UAV能够执行避障机动。 有利地，如本文所公开的用于收集环境数据的多种传感器类型的使用可W提高环境地图构 建的准确度，即使是在多样化的环境和操作条件下亦如此，从而增强诸如导航和避障等UAV 功能性的稳健性和灵活性。
[0067] 本文提供的实施方式可适用于各种类型的UAV。例如，UAV可W是不超过IOkg重 和/或具有不超过1. 5m的最大尺寸的小型UAV。在一些实施方式中，UAV可W是旋翼航空 器，诸如由多个螺旋奖推动W在空中移动的多旋翼航空器（例如，四轴飞行器）。下文进一 步详述了适合随本文介绍的实施方式一起使用的UAV和其他可移动物体的附加示例。
[0068] 本文所描述的UAV可W完全自主地（例如，通过诸如机载控制器等合适的计算系 统）、半自主地或者手动地（例如，由人类用户）操作。UAV可W从合适的实体（例如，人 类用户或自主控制系统）接收命令并通过执行一个或多个动作来响应运样的命令。例如， 可W控制UAV从地面起飞、在空中移动（例如，W多达=个平移自由度和多达=个旋转自由 度）、移动至目标位置或一系列目标位置、在空中悬停、降落在地面上等。又例如，可W控制 UAV W指定速度和/或加速度（例如，W多达S个平移自由度和多达S个旋转自由度）或者 沿着指定移动路径移动。此外，所述命令可W用于控制一个或多个UAV部件，诸如本文所描 述的部件（例如，传感器、致动器、推进单元、载荷等）。例如，一些命令可W用于控制诸如相 机等UAV载荷的位置、方向和/或操作。可选地，UAV可被配置用于根据一个或多个预定操 作规则来操作。所述操作规则可W用于控制UAV的任何合适的方面，诸如UAV的位置（例 如，缔度、经度、高度）、方向（例如，横滚、俯仰、偏航）、速度（例如，平移和/或角度）和/ 或加速度（例如，平移和/或角度）。例如，可W设计操作规则W使得不允许UAV飞到阔值 高度之外，例如，UAV可被配置成在距地面不超过400m的高度上飞行。在一些实施方式中， 操作规则可适于提供自动化机制，用于提高UAV的安全性并防止安全事故。例如，UAV可被 配置用于检测限制飞行区域（例如，机场）并且不在该限制飞行区域的预定距离内飞行，从 而避免与飞行器和其他障碍物的潜在碰撞。 W例现转到附图，图IA图示了根据实施方式中的在户外环境100中操作的UAV 102。 户外环境100可W是城市、郊区或乡村环境或者是不至少部分地位于建筑物内的任何其他 环境。UAV 102可W相对靠近地面104(例如，低空）或者相对远离地面104(例如，高空） 而操作。例如，在距地面小于或等于约IOm处操作的UAV 102可被认为是在低空，而在距地 面大于或等于约IOm处操作的UAV 102可被认为是在高空。
[0070] 在一些实施方式中，户外环境100包括一个或多个障碍物108a-障碍物108d。障 碍物可W包括可阻碍UAV 102移动的任何物体或实体。一些障碍物（例如，障碍物108a、 108d)可能位于地面104上，诸如建筑物、地面载具（例如，轿车、摩托车、卡车、自行车）、人 类、动物、植物（例如，树木、灌木）和其他人造或自然构造物。一些障碍物可能与地面104、 水、人造构造物或自然构造物相接触和/或由其所支撑。或者，一些障碍物（例如，障碍物 108b、108c)可能完全位于空中106,包括飞行器（例如，飞机、直升机、热气球、其他UAV)或 鸟类。空中障碍物可能不由地面104或由水或由任何自然或人造构造物所支撑。位于地面 104上的障碍物可能包括显著延伸至空中106的部分（例如，高层建筑物诸如塔、摩天大楼、 灯柱、无线电发射塔、输电线、树木等）。 阳071] 图IB图示了根据实施方式中的在室内环境150中操作的UAV 152。室内环境150 位于建筑物154的内部中，其具有地板156、一面或多面墙壁158 W及/或者天花板或屋顶 160。示例性建筑物包括住宅、商业或工业建筑物，诸如房屋、公寓、办公楼、生产设施、仓储 设施等。建筑物154的内部可由地板156、墙壁158和天花板160完全封闭，使得UAV 152 被约束到室内空间。相反地，可能不存在地板156、墙壁158或天花板160中的至少一个，从 而使得UAV 152能够从内部飞到外部，或者反之亦然。备选地或组合地，在地板156、墙壁 158或天花板160中可能形成一个或多个缺口 164(例如，n、窗、天窗）。
[0072] 类似于户外环境100,室内环境150可能包含一个或多个障碍物162a-障碍物 162d。一些障碍物可能位于地板156上（例如，障碍物162a)，诸如家具、电器用具、人类、动 物、植物或者其他人造物体或自然物体。相反地，一些障碍物可能位于空中（例如，障碍物 16化），诸如鸟类或其他UAV。室内环境150中的一些障碍物可由其他构造物或物体所支撑。 障碍物还可附着于天花板160 (例如，障碍物162c)，诸如灯具、吊扇、屋梁或其他安装在天 花板上的电器用具或构造物。在一些实施方式中，障碍物可能附着于墙壁158(例如，障碍 物162d)，诸如灯具、搁架、楓柜或其他安装在墙壁上的电器用具或构造物。值得注意的是， 建筑物154的构造物组件也可被认为是障碍物，包括地板156、墙壁158和天花板160。
[0073] 本文所描述的障碍物可能是基本上静止的（例如，建筑物、植物、构造物）或者是 基本上移动的（例如，人类、动物、载具，或者其他能够移动的物体）。一些障碍物可能包括 静止组件和移动组件的组合（例如，风车）。移动障碍物或障碍物组件可W根据预定的或 可预测的路径或模式而移动。例如，轿车的移动可能是相对可预测的（例如，根据道路的形 状）。或者，一些移动障碍物或障碍物组件可W沿着随机的轨迹或W其他方式不可预测的轨 迹移动。例如，诸如动物等生物可能按相对不可预测的方式移动。
[0074] 为了确保安全和有效的操作，为UAV提供用于检测和辨别诸如障碍物等环境物体 的机制可能是有益的。此外，对诸如地标和特征等环境物体的识别可促进导航，特别是当 UAV W半自主或全自主方式操作时尤为如此。此外，对UAV在环境内的精确位置及其与周围 环境物体的空间关系的了解对于多种UAV功能性可能是有价值的。
[00巧]因此，本文所描述的UAV可W包括一个或多个传感器，所述传感器被配置用于收 集相关数据，诸如与UAV状态、周围环境或者该环境内的物体有关的信息。适用于本文所 公开的实施方式的示例性传感器包括位置传感器（例如，全球定位系统（GP巧传感器、支 持位置=角测量法的移动设备发射器）、视觉传感器（例如，能够检测可见光、红外光或紫 外光的成像设备，诸如相机）、距离或范围传感器（例如，超声传感器、激光雷达、飞行时间 相机）、惯性传感器（例如，加速度计、巧螺仪、惯性测量单元（IMUs))、高度传感器、姿态传 感器（罗盘）、压力传感器（例如，气压计）、音频传感器（例如，麦克风）或场传感器（例 如，磁力计、电磁传感器）。可W使用任何合适数目和组合的传感器，诸如一个、两个、=个、 四个、五个或更多个传感器。可选地，可W从不同类型（例如，两种、=种、四种、五种或更多 种类型）的传感器接收数据。不同类型的传感器可W测量不同类型的信号或信息（例如， 位置、方向、速度、加速度、距离、压力等）W及/或者利用不同类型的测量技术来获取数据。 例如，传感器可W包括主动式传感器（例如，生成和测量来自其自身能源的能量的传感器） 和被动式传感器（例如，检测可用能量的传感器）的任何合适的组合。又例如，一些传感器 可W生成依据全局坐标系提供的绝对测量数据（例如，由GI^传感器提供的位置数据、由罗 盘或磁力计提供的姿态数据），而其他传感器可W生成依据局部坐标系提供的相对测量数 据（例如，由巧螺仪提供的相对角速度；由加速度计提供的相对平移加速度；由视觉传感器 提供的相对姿态信息；由超声传感器、激光雷达或飞行时间相机提供的相对距离信息）。在 一些情况下，局部坐标系可W是相对于UAV定义的机体坐标系。
[0076] 本文所描述的传感器可由UAV携带。传感器可位于UAV的任何合适的部分，诸如 在UAV上部、底部、一个或多个侧面上或在机体内。一些传感器可W机械禪合至UAV，W使得 UAV的空间安排和/或运动对应于传感器的空间排列和/或运动。传感器可经由刚性禪合 而禪合至UAV，W使得该传感器不相对于其所附着至的UAV的部分而移动。或者，传感器与 UAV之间的禪合可W允许该传感器相对于UAV的移动。禪合可W是永久禪合或非永久（例 如，可拆卸）禪合。合适的禪合方法可W包括粘合剂、粘结、焊接和/或紧固件（例如，螺钉、 钉、销等）。可选地，传感器可与UAV的一部分一体形成。此外，传感器可W与UAV的一部 分（例如，处理单元、控制系统、数据存储）电禪合，W便使得由传感器收集的数据能够用于 UAV的各种功能（例如，导航、控制、推进、与用户或其他设备通信等），诸如本文所讨论的实 施方式。
[0077] 传感器可被配置用于收集各种类型的数据，诸如与UAV、周围环境或该环境内的物 体有关的数据。例如，至少一些传感器可被配置用于提供关于UAV的状态的数据。由传感 器提供的状态信息可W包括关于UAV的空间排列的信息（例如，诸如经度、缔度和/或高度 等地点或位置信息；诸如横滚、俯仰和/或偏航等方向或姿态信息）。状态信息还可W包括 关于UAV的运动的信息（例如，平移速度、平移加速度、角速度、角加速度等）。例如，传感器 可被配置用于确定UAV关于多达六个自由度（例如，=个位置和/或平移自由度、=个方向 和/或旋转自由度）的空间排列和/或运动。可W相对于全局坐标系或相对于局部坐标系 (例如，相对于UAV或另一实体）来提供状态信息。例如，传感器可被配置用于确定UAV与 控制该UAV的用户之间的距离，或者UAV与该UAV的飞行起始点之间的距离。
[007引由传感器获取的数据可W提供各种类型的环境信息。例如，传感器数据可W是环 境类型的指示，诸如室内环境、户外环境、低空环境或高空环境。传感器数据还可W提供关 于当前的环境状况的信息，包括天气（例如，晴朗、下雨、下雪）、能见度状况、风速、当日时 间等。此外，由传感器收集的环境信息可W包括关于该环境中物体（诸如本文所描述的障 碍物）的信息。障碍物信息可W包括关于环境中障碍物的数目、密度、几何结构和/或空间 排列的信息。
[0079] 在一些实施方式中，通过组合由多个传感器获取的传感器数据（亦称为"传感器 融合"）来生成感测结果。例如，传感器融合可W用于组合由不同的传感器类型获取的感测 数据，所述不同传感器类型包括GI^传感器、惯性传感器、视觉传感器、激光雷达、超声传感 器等。又例如，传感器融合可W用于组合不同类型的感测数据，诸如绝对测量数据（例如， 相对于全局坐标系而提供的数据，诸如GI^数据）和相对测量数据（例如，相对于局部坐标 系而提供的数据，诸如视觉感测数据、激光雷达数据或超声感测数据）。传感器融合可W用 于补偿与单个传感器类型相关联的局限性或误差，从而提高最终感测结果的准确度和可靠 性。
[0080] 图2A图示了根据许多实施方式中的用于使用传感器融合来估计UAV姿态的方案 200。虽然图2A的实施方式设及对UAV偏航角的估计，但应当理解，方案200中描述的方法 还可适用于对UAV的横滚角或俯仰角的估计。方案200利用IMU 202、至少一个相对定向传 感器204和磁力计206。IMU 202和磁力计206可W用于提供对UAV偏航角208、210的相 应的绝对估计。相对定向传感器204可W是提供关于局部坐标系（例如，UAV机体坐标系） 而不是全局坐标系的姿态信息的任何传感器。示例性相对定向传感器包括视觉传感器、激 光雷达、超声传感器W及飞行时间或深度相机。可W分析相对定向传感器数据W便提供对 偏航率212和相对偏航角214的估计。
[0081] 在相对定向传感器204是被配置用于捕捉图像序列（"帖"）的视觉传感器的实 施方式中，可W使用选自所述序列的一个或多个图像（"关键帖"）来确定偏航率212和偏 航角214。可W使用任何合适的方法来选择关键帖。例如，可W按预定间隔来选择关键帖， 诸如按预定时间间隔、预定距离间隔、预定位移间隔、预定姿态间隔或者关键帖之间的预定 平均视差间隔。又例如，可W基于连续的关键帖之间的关系（例如，关键帖之间的重叠面积 量）来选择关键帖。可选地，可W基于本文所提供的参数的组合来选择关键帖。在一些实 施方式中，至少一些关键帖可W包括连续的图像帖。或者，关键帖可W不包括任何连续的图 像帖。后一种方法在减少存在于连续关键帖中的估计误差的传播方面可能是有利的。
[0082] 可W使用任何合适数目的关键帖，诸如一个、两个、=个、四个或更多个关键帖，来 估计给定时间处的偏航率212和偏航角214。可W使用任何合适的方法（诸如图像分析） 来确定偏航率212和偏航角214。在一些实施方式中，可W假定W不同偏航角捕捉同一场 景的两个关键帖将会有所不同。可W通过数学建模技术来确定不同的关键帖之间的偏航 角。例如，可W通过辨别和匹配存在于全部两个关键帖中的特征点来确定关键帖之间的差 异。基于全部两个关键帖中特征点的坐标，可W确定两个关键帖的相似变换矩阵，并且从该 相似变换矩阵获取偏航角212。继而可W使用偏航角214 W及两个关键帖之间的时间间隔 来计算偏航率212。
[0083] 可W融合由传感器202、204、206提供的绝对估计值和相对估计值（例如，使用扩 展卡尔曼滤波器216或者其他类型的卡尔曼滤波器），W便提供最终偏航角结果218。可W 实施任何合适的方法W便融合所述估计值。例如，可W将偏航率估计值212的积分与相对 偏航角估计值214融合，W便更新相对偏航角估计值214。可W将相对偏航角估计值214分 别与来自IMU 202和磁力计206的绝对偏航角估计值208、210相融合，W确定UAV的偏航 角。可W提供最终偏航角结果218作为相对偏航角（例如，相对于UAV的机体坐标系）或 者作为绝对偏航角。如前文所述，不同类型的测量数据的组合可W提高最终结果218的准 确度。例如，在由磁力计206提供的数据不满足要求的情况下（例如，由于外部磁场），对来 自IMU 202和/或相对定位传感器204的数据的使用可W减少磁力计误差对最终结果的影 响程度。
[0084] 图2B图示了根据实施方式中的用于使用传感器融合来估计UAV位置和速度的方 案250。方案250利用IMU 252、至少一个相对位置和/或速度传感器254 W及GPS传感器 256。IMU 252可W提供对UAV加速度258的估计。GPS传感器256可W提供对UAV 260的 绝对位置的估计。可W使用相对位置和/或速度传感器254 (例如，视觉传感器、激光雷达、 超声传感器、飞行时间或深度相机或者任何其他提供相对位置和/或速度信息的传感器） 来获取对UAV速度262和相对UAV位置264的估计。类似于图2A的相对定向传感器204， 在其中相对位置和/或速度传感器254是视觉传感器的实施方式中，可W基于由该视觉传 感器获取的一个或多个关键帖来确定速度和相对位置估计值262、264。例如，可W使用图像 分析和数学建模来评估连续关键帖之间的差异，并从而确定将会产生运些差异的UAV的平 移移动。继而可W基于关键帖之间经过的时间来估计UAV速度。
[0085] 可W使用扩展卡尔曼滤波器266或者其他合适的卡尔曼滤波器类型来融合由传 感器252、254和256提供的估计值，从而获取UAV的最终位置和速度结果268。例如，可W 将加速度估计值258的积分与UAV速度估计值262相融合，W便确定UAV速度。可W将所 确定的UAV速度的积分与相对位置估计值264和绝对位置估计值260相融合，W便确定UAV 位置。可W相对于局部坐标系或全局坐标系来表示位置和速度结果268。
[0086] 可选地，利用卡尔曼滤波器266的传感器融合还可W用于确定校准数据，W用于 在相对速度和/或位置传感器254的局部坐标系与IMU252和GPS 256的全局坐标系之间 进行转换。校准数据可W用于将IMU252和/或GPS 256所获取的绝对感测数据映射到传 感器254所获取的相对感测数据上，或者反之亦然。例如，IMU 252和/或GPS 256可W用 于W绝对坐标确定UAV行进的路径，而相对传感器254可W用于获取指示UAV在相对坐标 中行进的路径的感测数据。本文提供的传感器融合方法可适用于确定将绝对路径数据投射 到相对路径数据上所需的校准参数（例如，比例因子、旋转、平移），或者反之亦然。例如，可 W通过数学建模来表示校准参数、绝对路径数据和相对路径数据之间的关系。继而可W将 传感器所获取的绝对路径数据和相对路径数据输入到模型中W便求解校准参数。本文所描 述的绝对路径数据和相对路径数据的组合可W用于提高路径确定的准确度，从而改善UAV 航行。
[0087] 本文所描述的传感器融合方法可适用于提供对UAV状态W及环境信息的更准确 的估计值。在一些实施方式中，对UAV状态信息和环境信息的估计可W如此相互依赖，使得 UAV状态信息用于估计环境信息，并且反之亦然。例如，一些传感器可W用于获取绝对环境 信息，而其他传感器可W用于获取相对环境信息。可W基于关系/?pf'+r=乂， 将绝对环境信息投影到相对环境信息上（或者反之亦然），其中R表示全局坐标系与局部坐 标系之间的旋转矩阵，并且T表示从全局坐标系的原点到局部坐标系的原点的平移矢量。 在一些实施方式中，关于UAV的机体坐标系提供/7,6 t W便可W分别基于UAV的位置和定 向而确定T和R。因此，可W使用UAV位置和方向信息来组合绝对环境数据和相对环境数 据，从而生成环境信息的估计值。相反地，绝对环境数据和相对环境数据可W用于使用上述 关系来估计UAV位置和方向。可W迭代该方法，W便提供UAV状态和环境信息的更新的估 计值。
[0088] 在一些实施方式中，传感器数据可W用于生成环境或者其至少一部分环境的表 示。运样的表示在本文中可称为"环境地图"。环境地图可W表示紧邻UAV的环境的部分 (局部地图），或者还可W表示相对远离UAV的部分（全局地图）。例如，局部地图可W表 不距UAV约2m、5m、10m、15m、20m、25m或50m的半径内的环境部分。全局地图可W表不距 UAV 约 25m、50m、75m、100m、125m、150m、200m、225m、250m、300m、400m、500m、1000m、2000m 或 5000m的半径内的部分。基于用W生成地图的传感器的有效范围，可W确定环境地图的大 小。传感器的有效范围可W根据传感器类型而变化。例如，视觉传感器可W用于检测距UAV 约10m、15m、20m或25m的半径内的物体。激光雷达传感器可W用于检测距UAV约2m、5m、 8m、IOm或15m的半径内的物体。超声传感器可W用于检测距UAV约2m、5m、8m、IOm或15m 的半径内的物体。在一些实施方式中，环境地图可W仅表示UAV先前行进过的部分。或者， 在其他实施方式中，环境地图还可W表示UAV尚未行进过的环境部分。
[0089] 环境地图可W用于表示各种类型的环境信息。例如，地图可W提供指示出诸如障 碍物、构造物、地标或特征等环境物体的几何结构（例如，长度、宽度、高度、厚度、形状、表 面积、体积）、空间排列（例如，位置、方向）和类型的信息。又例如，地图可W提供指示出环 境的哪些部分被阻挡（例如，不可由UAV穿过）W及哪些部分未被阻挡（例如，可由UAV穿 过）的信息。此外，地图可W提供关于UAV相对于各个环境物体的当前位置和/或其空间 排列的信息。
[0090] 可W使用任何合适类型的环境地图，诸如尺度地图或拓扑地图。拓扑地图可W描 绘环境内的位置之间的连通性，而尺度地图可W描绘环境内的物体的几何结构。可选地，环 境地图可W包括尺度信息和拓扑信息的组合。例如，环境地图可W描绘环境物体和/或位 置之间的连通性W及绝对空间关系（例如，距离）。备选地或组合地，地图的一些部分可 W 按拓扑描绘，而其他部分可W按尺度描绘。
[0091] 可W W任何合适的格式提供环境地图。例如，可W作为具有表示位置的顶点和表 示位置之间的路径的边的图表来提供拓扑环境地图。拓扑环境地图的边可W与对应路径 的距离信息相关联。尺度环境地图可W是描绘环境位置和物体的空间坐标的任何表示，如 点云、拓扑地图、2D网格地图、2. 5D网格地图或3D网格地图。所述空间坐标可W是3D坐标 (例如，x、y和Z坐标），其表示环境物体的表面上的点的空间位置。在一些实施方式中，尺 度环境地图可W是占据网格地图。占据网格地图可W将环境表示成多个容积体。所述体积 可W具有相同的大小或者具有不同的大小。占据网格地图可W针对每个体积指示出该体积 是否基本上被障碍物占据，从而提供对环境内被阻挡的和未被阻挡的空间的精确表示。
[0092] 可W使用任何合适的方法来生成本文所描述的环境地图。例如，环境地图的一个 或多个部分可W在UAV操作期间（例如，飞行期间）生成，诸如通过使用同时定位与地图构 建（SLAM)或者其他机器人地图构建技术来生成。或者，可W在UAV操作之前生成所述地 图的一个或多个部分，并在飞行之前或飞行期间将其提供给UAV(例如，从远程计算系统传 输）。可W基于由UAV在飞行期间获取的数据来修改运样的地图，从而提供对地图数据的进 一步精化。
[0093] 在一些实施方式中，可W使用传感器融合来执行环境地图构建，W组合由多个传 感器类型收集到的环境信息。该方法可W有利于补偿单个传感器类型的局限性。例如，当 UAV处于室内环境中时，GI^感测数据可W是不准确的或者不可用的。视觉传感器可能未针 对检测透明物体（例如，玻璃）或者针对相对较暗的环境（例如，夜间）而优化。在一些实 施方式中，相比于其他传感器类型，激光雷达传感器可能具有相对较短的检测范围。本文所 描述的多传感器融合的使用可W在多样化环境类型和操作条件下提供准确的地图构建，从 而提高UAV操作的稳健性和灵活性。
[0094] 图3A图示了根据实施方式中的用于使用传感器融合来进行环境地图构建的方案 300。方案300可W用于生成本文所描述的环境地图的任何实施方式。在方案300中，感测 数据从多个传感器302接收。所述多个传感器302可W包括一种或多种不同的传感器类型。 传感器302可由UAV携带，例如，禪合至UAV的机身。可选地，可W对来自每个传感器302 的感测数据进行预处理，W通过滤波、降噪、图像崎变校正等来提高数据质量。在一些实施 方式中，可W相对于相应的坐标系来表示由每个传感器302提供的感测数据（例如，基于相 对于UAV机身的传感器位置和方向）。因此，可W通过将所有的感测数据转换至单一坐标系 304中而组合来自每个传感器的感测数据。例如，可W将相对于局部坐标系提供的感测数据 转换至全局坐标系，或者反之亦然。坐标系转换304可W基于传感器校准数据306而得W 完成。可W使用任何合适的技术来执行传感器校准，并且可W在UAV的操作之前（离线校 准）或者在UAV的操作期间（在线校准）执行。在一些实施方式中，传感器校准设及确定 传感器302的外部参数，诸如每个传感器302之间的空间关系（例如，相对位置和方向）。 继而可W基于所确定的传感器参数，来确定用于将感测数据转化至单一坐标系中的转换计 算。
[00巧]在坐标系转换304之后，继而可W使用传感器融合308来组合经转换的感测数据 W获取单一感测结果。可W使用各种技术来执行传感器融合，诸如卡尔曼滤波（例如，卡尔 曼滤波器、扩展卡尔曼滤波器、无迹卡尔曼滤波器）、粒子滤波或者本领域技术人员已知的 其他滤波技术。所使用的方法可W根据所使用的传感器的特定组合和类型而有所变化。在 一些实施方式中，传感器融合308可W利用来自所有传感器302的感测数据。相反地，传感 器融合308可W利用仅来自传感器302的子集的数据。后一种方法可W有利于忽略不充分 的或不可靠的传感器数据（例如，当UAV在室内时的GI^感测数据）。经融合的感测数据继 而可W用于环境地图生成310。
[0096] 可W基于来自传感器的任何合适组合的感测数据，来执行环境地图构建。例如， 在一些实施方式中，本文所描述的地图构建方法由携带激光雷达传感器和视觉传感器（例 如，诸如单相机等单目视觉传感器）的UAV来执行。激光雷达传感器可W用于获取环境物 体相对于UAV的距离数据，而视觉传感器可W用于捕捉周围环境物体的图像数据。用于激 光雷达和视觉传感器的传感器校准数据可W包括指示出激光雷达与视觉传感器之间的空 间关系的传感器参数。例如，对于由激光雷达传感器确定为距UAV为距离Mi,并且对应于由 视觉传感器捕捉的图像数据中的坐标Hii处的环境物体，Hii与Mi之间的关系可W由下式表 示：
[0097] SiIIii=K(Rit)Mi
[0098] 其中R为旋转矩阵，t为变换矩阵，Si为未知标量，并且K为视觉传感器的内部矩 阵（由先前的校准所确定的内部参数）。在上述方程中，Ml、Hii和K是已知的，而R和t是 未知的。如果已经进行了 N次测量，则由于R和t是恒定的（激光雷达传感器和视觉传感 器的相对位置和方向是固定的），因此问题是n点透视（PN巧问题并且可W使用本领域技术 人员已知的技术来求解，W便获得传感器参数R和t。
[0099] 一旦已经获取传感器校准数据，则可W将激光雷达感测数据和视觉感测数据转换 至同一坐标系（"世界"坐标系）中：
[0100] JW =化JV,巧化 0)巧，(知化，(祖)巧，…！。 阳101] X"为相对于世界坐标系的数据（其对应于本实施方式中的视觉传感器坐标系）， X?"为相对于世界坐标系的视觉感测数据，为相对于视觉传感器坐标系的视觉感测数 据，Zf为相对于世界坐标系的激光雷达感测数据，Xf为相对于激光雷达传感器坐标系的 激光雷达感测数据，并且献呀日t 为用于在视觉传感器坐标系与激光雷达传感器坐标系之 间进行转换的旋转矩阵和变换矩阵（对应于上述R和t)。E为对角矩阵 阳 102]
阳103] 其中S为未知的比例因子。
[0104] 继而可W使用传感器融合技术来组合经转换的感测数据。例如，相对于视觉坐标 系的视觉感测数据与相对于世界坐标系的视觉感测数据义之间的关系可W由下式表 示：
[0105] 邱' =S巧。
[0106] 使用激光雷达感测数据，可W获取沿着激光雷达传感器的感测方向CZf 上最 靠近UAV的点（表示为点i)。因此，由于
[0107] 織=牌Of =公脚),. 阳1〇8]并且巧f 和(巧）f是已知的（由于=巧肌，t肌)巧），可W确定S的 值。因此，局部传感器数据Zf和又f可W转换成相应的世界坐标《f和并且融合W生 成单一结果X"。经融合的数据继而可W用于生成UAV周围环境的地图。
[0109] 图3B图示了根据实施方式中的用于使用传感器融合来生成环境的地图的方法 350。方法350可W由本文提供的任何系统和设备来执行，诸如由UAV的一个或多个处理器 来执行。
[0110] 在步骤360中，从一个或多个视觉传感器接收第一感测数据，所述第一感测数据 包括环境的深度信息。例如，视觉传感器可W仅包括一个相机（单目视觉传感器）。或者， 视觉传感器可W包括两个（双目视觉传感器）或更多个相机。视觉传感器可W由UAV携带， 诸如由UAV机身携带。在使用多个视觉传感器的实施方式中，每个传感器可W位于UAV的 不同部分上，并且由每个传感器收集到的图像数据之间的视差可W用于提供环境的深度信 息。本文中可W使用深度信息来指代关于一个或多个物体距UAV和/或传感器的距离的信 息。在使用单一视觉传感器的实施方式中，可W通过捕捉针对视觉传感器多个不同位置和 方向的图像数据并继而使用合适的图像分析技术（例如，运动中恢复结构）重建深度信息， 来获取深度信息。 阳111] 在步骤370中，从一个或多个距离传感器接收第二感测数据，所述第二感测数据 包括环境的深度信息。距离传感器可W包括至少一个超声传感器（例如，广角传感器、阵列 传感器）和/或至少一个激光雷达传感器。在一些实施方式中，相比于其他类型的超声传 感器，超声阵列传感器可W提供更好的检测准确度。距离传感器也可W由UAV携带。距离 传感器可W位于视觉传感器附近。可选地，距离传感器可W位于UAV的与用于携带视觉传 感器的部分不同的部分上。
[0112] 在步骤380中，使用第一感测数据和第二感测数据来生成包括环境的深度信息 的环境地图。如本文所描述，第一感测数据和第二感测数据可W各自包括环境的深度信 息。可选地，第一感测数据和第二感测数据还可W包括环境中的一个或多个物体的轮廓信 息。本文中可W使用轮廓信息来指代关于环境物体的外形、轮廓或边缘的信息。由一个或 多个距离传感器生成的感测数据可供作为像素深度图，同时可W使用诸如运动中恢复结构 (structure from motion)、结构光法（structured light)、光片（sheet of light)、飞行 时间或者立体视觉视差映射等技术从由一个或多个视觉传感器收集到的图像数据中提取 深度信息。在一些实施方式中，第一感测数据和第二感测数据各自包括至少一个具有多个 像素的图像，每个像素关联于2D图像坐标（例如，X和y坐标）、深度值（例如，对应于像素 的环境物体与UAV和/或传感器之间的距离）和/或色值（例如，RGB色值）。运样的图像 在本文中可称为深度图像。
[0113] 考虑到融合过程期间每种类型的感测数据的相对可靠性和准确度，可W在空间上 对准并组合与每组感测数据相关联的深度信息（例如，使用合适的传感器融合方法，诸如 卡尔曼滤波）W便生成包括深度信息（例如，3D环境表示，诸如占据网格地图）的地图。在 一些实施方式中，环境地图的生成可W设及辨别存在于由视觉传感器提供的一组深度图像 中的多个特征点、辨别存在于由距离传感器提供的一组深度图像中的对应的多个特征点、 W及确定所述的多个特征点之间的对应。所述对应可W包括关于可适用于将距离深度图像 映射至视觉深度图像上或者反之亦然的一种或多种变换（例如，平移、旋转、缩放）的信息。 继而可W基于运样的对应来组合所述深度图像，W便生成环境地图。备选地或组合地，可W 相对于不同坐标系提供第一感测数据和第二感测数据，并且可W通过在同一坐标系中表示 第一感测数据和第二感测数据来生成环境地图。该坐标系可W是与第一感测数据相关联的 坐标系、与第二感测数据相关联的坐标系或者完全不同的坐标系。一旦已经生成环境地图， 则可W基于该环境地图中所包含的深度信息而在环境内导航UAV。
[0114] 本文所描述的距离感测和视觉感测的组合可W补偿单个传感器类型的局限性，从 而提高地图生成的准确度。例如，视觉传感器可W产生相对较高分辨率的彩色图像，但是当 使用单目相机时或者当双目相机的距离相对较小时（例如当相机安装在小型UAV上时可能 发生），可能相对难W从图像数据中获取准确的深度数据。另外，当照明很亮或者具有高对 比度时，或者在不利的环境条件下（诸如雨、雾或烟雾），视觉传感器可能无法提供符合要 求的图像数据。相反地，诸如超声传感器等距离传感器可W提供准确的深度数据，但是相比 于视觉传感器可能具有较低的分辨率。并且，在一些情况下，超声传感器和其他距离传感器 类型可能无法检测具有小反射面的物体（例如，细枝、角落、栏杆）或吸收性物体（例如，地 毯），或者可能无法在具有许多物体的复杂环境（例如，室内环境）中分辨距离。然而，视觉 感测数据一般可W作为距离感测数据的补充，运是因为在距离传感器正在生成并非最优数 据的情况下，视觉传感器能够产生可靠的数据，并且反之亦然。因此，视觉传感器和距离传 感器的组合使用可W用于在多种操作条件下并且针对多样类型的环境生成准确的环境地 图。
[0115] 图4图示了根据实施方式中的用于使用不同的传感器类型来进行环境地图构建 的方法400。与本文所公开的所有方法一样，方法400可W使用本文介绍的系统和设备的任 何实施方式来实践，诸如由UAV机上携带的一个或多个处理器来实践。另外，与本文所公开 的所有方法一样，方法400的任何步骤均可与本文其他方法的任何步骤相结合或者由其所 替代。
[0116] 在步骤410中，从由UAV携带的第一传感器接收第一感测信号。第一感测信号可W 包含UAV正在操作的所在环境有关的信息，诸如指示出环境物体（例如，障碍物）的位置和 几何结构的环境数据。类似地，在步骤420中，从由UAV携带的第二传感器接收第二信号。 在一些实施方式中，第一传感器和第二传感器可W是不同的传感器类型，包括前文所描述 的任何传感器类型（例如，激光雷达传感器和视觉传感器、超声传感器和视觉传感器等）。
[0117] 在步骤430中，使用第一感测信号来生成第一环境地图，该第一环境地图包括环 境的占据信息。在步骤440中，使用第二感测信号来生成第二环境地图，该第二环境地图包 括环境的占据信息。第一环境地图和第二环境地图可W分别包括环境的障碍物占据信息， W使得所述环境地图可W用于确定障碍物相对于UAV的位置。例如，第一环境地图和第二 环境地图可W是占据网格地图或者包含关于环境内被阻挡和未被阻挡的空间的信息的任 何其他地图类型。
[0118] 可选地，第一环境地图可W表示不同于第二环境地图的环境部分。例如，第一环境 地图可W表示相对靠近UAV的环境部分，而第二环境地图可W表示相对远离UAV的环境部 分。在一些实施方式中，可W使用不同的感测信号来生成跨越环境的不同部分的地图。对 于所要用于生成不同地图的信号的选择可W基于任何合适的准则，诸如针对所述环境的特 定部分的第一感测信号和第二感测信号的相对信号质量和/或准确度。感测数据的质量和 准确度可取决于每个传感器的具体特性，并且可根据环境类型（例如，室内、户外、低空、高 空）、天气状况（例如，晴朗、下雨、有雾）、感测到的环境物体的相对位置（例如，近距离、远 距离）W及感测到的环境物体的性质（例如，透明度、反射率、吸收率、形状、大小、材料、移 动性等）而有所变化。例如，第一传感器在近距离上可能比第二传感器更准确，而第二传感 器在远距离上可能比第一传感器更准确。因此，第一传感器可W用于生成相对靠近UAV的 环境部分的地图，而第二传感器可W用于生成相对远离UAV的环境部分的地图。备选地或 组合地，对信号的选择可W基于所述环境部分是否位于对应的传感器的感测范围内。该方 法在第一传感器和第二传感器具有不同感测范围的实施方式中可能是有利的。例如，近距 离传感器可W用于生成相对靠近UAV的环境部分的地图，而远距离传感器可W用于生成相 对远离UAV的、处于近距离传感器的范围之外的部分的地图。
[0119] 在步骤450中，组合第一环境地图和第二环境地图，从而生成包含环境的占据信 息的最终环境地图。可W使用本文所描述的传感器融合技术来组合环境地图。在相对于不 同坐标系（例如，局部坐标系和全局坐标系）提供感测信号的实施方式中，地图部分的生成 可W设及将所述两个感测信号转换至单一的坐标系中，W便对准相应的环境数据，从而产 生最终环境地图。随后，UAV可W基于最终环境地图而在该环境内导航行。例如，UAV可W 至少部分地基于在最终环境地图中所表示的障碍物占据信息来航行，W便避免碰撞。UAV可 由用户、由自动化控制系统或者其合适的组合来导航。下文进一步详述了基于环境地图数 据的UAV导航的附加示例。
[0120] 虽然W上步骤示出了根据实施方式的环境地图构建的方法400,但本领域普通技 术人员将会认识到基于本文所描述的教导的许多变体。一些步骤可W包括子步骤。在一些 实施方式中，可W根据需要（例如，连续地或者W预定的时间间隔）重复方法400的步骤， W使得所产生的环境地图随着UAV在环境内导航而得W更新和精化。运样的实时地图构建 方法可W使得UAV能够快速地检测环境物体并适应于变化的操作条件。 阳121] 本文所描述的传感器融合方法可适用于各种类型的UAV功能，包括导航、物体识 别和避障。在一些实施方式中，使用传感器融合结果而获得的环境数据可W用于通过提供 准确的位置信息W及关于潜在障碍的信息来提高UAV操作的稳健性、安全性和灵活性。可 W将环境数据提供给用户（例如，经由遥控器或终端、移动设备或者其他用户设备），W便 为用户对UAV的手动控制提供信息。备选地或组合地，环境数据可W用于半自主或全自主 控制系统W引导UAV的自动化飞行。
[0122] 例如，本文所公开的实施方式可W用于执行避障机动，W便防止UAV与环境物体 相碰撞。在一些实施方式中，障碍物检测和避障可W是自动化的，从而提高UAV的安全性并 减少用户对于避免碰撞的责任。对于缺乏经验的操作者W及在用户不能轻易察觉到UAV附 近障碍物的存在的情况下，运样的方法可W是有利的。另外，自动化避障的实现可W降低与 半自主或全自主UAV导航相关联的安全风险。此外，本文所描述的多传感器融合技术可W 用于生成更准确的环境表示，从而提高运样的自动化防撞机制的可靠性。 阳123] 图5图示了根据实施方式中的用于控制UAV W避开障碍物的方法500。方法500 可由UAV携带的一个或多个处理器来实现。如前文所述，方法500可W是完全自动化的或 者至少部分地自动化的，从而提供自动障碍物检测和避障能力。
[0124] 在步骤510中，生成第一信号W使UAV在环境内导航。第一信号可W包括针对UAV 的推进系统（例如，旋翼）的控制信号。可W基于输入到远程终端或其他用户设备中并于 随后传输至UAV的用户命令来生成第一信号。或者，第一信号可由UAV(例如，自动化机载 控制器）自主地生成。在一些情况下，可W利用来自用户输入W及自动化路径确定机制的 贡献而半自主地生成第一信号。例如，用户可W指示出UAV的一系列航点，而该UAV可W自 动计算飞行路径W穿过所有航点。
[0125] 在一些实施方式中，飞行路径可W为UAV指示出一系列期望的位置和/或方向 (例如，关于多达六个自由度）。例如，飞行路径可W至少包括UAV的初始位置和目标位置。 可选地，飞行路径可被配置用于将UAV从当前位置引导至先前位置。又例如，飞行路径可W 包括UAV的目标飞行方向。在一些实施方式中，指令可W指定UAV的速度和/或加速度（例 如，关于多达六个自由度），W使其沿着飞行路径移动。
[01%] 在步骤520中，使用多个传感器来接收关于环境的至少一部分的感测数据。所述 多个传感器可W包括不同类型的传感器（例如，视觉、激光雷达、超声、GI^等）。感测数据 可W包含关于障碍物和/或其他环境物体的位置和特性的信息。例如，感测数据可W包含 距离信息，该距离信息指示出UAV到附近障碍物的距离。可选地，感测数据可W包含与沿着 UAV的飞行路径的环境的部分（诸如与飞行路径重叠或者靠近飞行路径的部分）有关的信 息。
[0127] 在步骤530中，基于感测数据来生成表示环境的至少一部分的环境地图。该环境 地图可W是局部地图，其表示紧靠 UAV周围的环境部分（例如，距UAV约2m、5m、10m、15m、 20m、25m或50m的半径内）。或者，环境地图可W是全局地图，其还表示相对远离UAV的环 境部分（例如，距 UAV约 25m、50m、75m、100m、125m、150m、200m、225m、250m、300m、400m、500m、 1000m、2000m或5000m的半径内）。如前文所述，可W基于在步骤510中使用的传感器的 有效范围来确定环境地图的大小。在一些实施方式中，可W使用前文所描述的基于传感器 融合的方法（例如，方案300和/或方法400)来产生环境地图。例如，感测数据可W包括 相对于多个不同坐标系的数据，并且环境地图生成可W设及将所述数据映射到单一坐标系 上，W便促进感测数据的融合。
[0128] 在步骤540中，使用环境地图来检测位于环境的所述部分中的一个或多个障碍 物。可W使用各种策略，诸如通过特征提取或模式识别技术等，来执行从地图信息的障碍物 检测。可选地，可W执行合适的机器学习算法W完成障碍物检测。在一些实施方式中，如果 环境地图是占据网格地图，则可W通过检测占据网格地图中被连续占据的体积来辨别障碍 物。障碍物检测结果可W提供关于每个障碍物的位置、方向、大小、距离和/或类型的信息， W及结果的对应置信度信息。可W分析地图W辨别对UAV构成碰撞风险的障碍物（例如， 位于沿着或靠近飞行路径处的障碍物）。
[0129] 在步骤550中，使用环境地图来生成第二信号W使UAV航行，W便避开所 述一个或 多个障碍物。可W分析环境地图，W便确定所述一个或多个障碍物相对于UAV的位置，W 及可供UAV移动的任何未被阻挡的空间的位置，W便避免与障碍物碰撞。第二信号因此可 W提供适当的控制信号（例如，针对UAV的推进系统）W使UAV航行经过所述未被阻挡的 空间。在根据飞行路径来导航UAV的实施方式中，可W基于环境地图而修改飞行路径W便 避开所述一个或多个障碍物，并且UAV可W根据经修改的飞行路径来航行。飞行路径修改 可W引导UAV仅穿越经过未被阻挡的空间。例如，可W修改飞行路径W便使UAV绕过障碍 物飞行（例如，在其之上、之下或者侧面）、飞离障碍物或者与障碍物保持指定的距离。在 多个经修改的飞行路径均有可能的情况下，可W基于任何合适的准则来选择优选的飞行路 径，所述准则诸如为使行进距离最小化、使行进时间最小化、使行进所述路径所需的能量的 量最小化、使从原始飞行路径的偏离量最小化等。可选地，如果无法确定适当的飞行路径， 则UAV可W简单地悬停于适当位置上并等待障碍物让路，或者等待用户采取手动控制。
[0130] 在用于UAV操作的多传感器融合的另一示例性应用中，本公开介绍的实施方式可 作为"自动返航"功能性的一部分而实现，其中UAV将会在某些情况下从当前位置自动航行 至"返航"位置。该返航位置可能是UAV先前行进过的初始位置，诸如UAV最初起飞并开始 飞行的位置。或者，返航位置可能不是UAV先前行进到的位置。返航位置可W是自动确定 的，或者由用户指定。可W触发自动返航功能的情况的示例包括接收到来自用户的返航指 令、失去与用户的遥控器的通信或者用户不再能够控制UAV的其他迹象、UAV电池电量低， 或者检测到UAV故障或其他紧急情况。 阳131] 图6图示了根据实施方式中的用于控制UAV返航至初始位置的方法600。在一些 实施方式中，方法600由关联于自动化控制系统的一个或多个处理器来实现，W至于需要 很少的用户输入或者不需要用户输入来执行方法600。
[0132] 在步骤610中，使用多个传感器中的至少一个传感器来确定UAV的初始位置。在 一些实施方式中，可W使用具有不同传感器类型的多个传感器来确定所述位置。可W相对 于全局坐标系（例如，GI^坐标）或者相对于局部坐标系（例如，相对于局部环境地标或特 征）而确定所述位置。
[0133] 在步骤620中，生成第一信号W使UAV在环境内航行。第一信号可W手动地、半自 主地或者全自主地生成。例如，用户可W向遥控器中输入指令，该指令被传输至UAV W便控 制UAV移动。又例如，UAV可W根据预定的飞行路径而移动或者行进至预定位置。UAV可W 被导航至环境内的不同于初始位置（例如，关于经度、缔度或高度）的位置。
[0134] 在步骤630中，从所述多个传感器中的至少一个传感器接收关于所述环境的感测 数据。可W从在步骤610中使用的同一传感器或者从不同的传感器接收感测数据。类似地， 可W从多种不同的传感器类型获取感测数据。如前文所述，运样的感测数据可W包括关于 环境物体的位置和特性的信息。
[0135] 在步骤640中，基于感测数据来生成表示环境的至少一部分的环境地图。在感测 数据包括来自多种传感器类型的数据的实施方式中，可W使用前文所描述的基于传感器融 合的方法（例如，方案300和/或方法400)来产生环境地图。所得的地图可W按任何合适 的格式提供并且可W包含关于障碍物占据的信息（例如，障碍物网格地图）。
[0136] 在步骤650中，基于环境地图生成第二信号W使UAV返航至初始位置。可W响应于 自动返航指令而生成第二信号。自动返航指令可W由用户输入或者可W自动生成，例如，响 应于诸如与控制UAV的遥控器失去通信等紧急情况而生成。在一些实施方式中，一旦UAV已 经接收到自动返航的指令，该UAV可W使用环境地图来确定其当前位置、当前位置与初始 位置之间的空间关系和/或任何环境障碍物的位置。基于环境地图中的障碍物占据信息， UAV可W继而确定适当的路径（例如，飞行路径）W从当前位置航行至初始位置。可W使 用各种方法来确定UAV的合适路径。例如，如本文关于图9A和图9B所进一步详述，可W使 用诸如拓扑地图等环境地图来确定路径。在一些实施方式中，所述路径可被配置用于避开 可阻碍UAV飞行的一个或多个环境障碍物。备选地或组合地，所述路径可W是当前位置与 初始位置之间的最短路径。所述路径可W包括UAV先前行进过的一个或多个部分，W及不 同于UAV先前行进过的路径的一个或多个部分。例如，整个路径可能已由UAV先前行进过。 又例如，如本文关于图8A和图8B所进一步详述，所述路径可W包括对应于UAV先前行进过 的位置的多个航点。相反地，整个路径可能没有被UAV先前行进过。在一些实施方式中，可 W生成多个潜在路径，并且基于合适的准则（例如，使总飞行时间最小化、使总飞行距离最 小化、使能量消耗最小化、使遇到的障碍物数目最小化、与障碍物保持预定距离、保持预定 高度范围等）而从所述多个路径中选择一个路径。UAV的飞行路径信息（例如，先前行进过 的路径、潜在路径、所选路径）可W被包括在环境地图中。
[0137] -旦已经确定路径，可W处理路径信息W生成用于控制UAV的推进系统的指令， W便使其沿着所述路径行进至初始位置。例如，所述路径可W包括针对UAV的一系列空间 位置和方向信息，其可被转换成控制信号W将UAV的飞行从当前位置引导至初始位置。在 一些实施方式中，当UAV沿着路径导航时，其可W检测沿着该路径的、阻碍其飞行的一个或 多个障碍物。在运样的情况下，可W修改路径W避开障碍物，W便允许UAV继续航行至初始 位置，例如，使用前文关于方法500所描述的技术。 阳13引图7图示了根据许多实施方式中的用于在避开障碍物的同时控制UAV返航至初始 位置的方法700。类似于方法500,方法700可W按半自动化或全自动化方式作为UAV自动 返航功能的一部分来执行。方法700的至少一些步骤可W由与UAV相关联的一个或多个处 理器来执行。
[0139] 在步骤710中，使用多个传感器中的至少一个传感器来确定UAV的初始位置。可 选地，可W使用多种不同的传感器类型来确定初始位置。位置信息可W包括关于UAV的位 置（例如，高度、缔度、经度）和/或方向（例如，横滚、俯仰、偏航）的信息。可W相对于全 局坐标系（例如，地理坐标系）或局部坐标系（例如，相对于UAV)来提供位置信息。
[0140] 在步骤720中，生成第一信号W使UAV在环境内航行，例如，至不同于初始位置的 位置。如前文所述，可W基于用户输入、由自主控制系统提供的指令或者其合适的组合来生 成第一信号。 阳141] 在步骤730中，使用所述多个传感器中的至少一个传感器来接收关于所述环境的 感测数据。可选地，可W从与在步骤710中使用的传感器不同的传感器接收感测数据。如 上文所述，可W通过使用合适的基于传感器融合的方法组合来自不同传感器类型的感测信 号，W生成感测数据。在一些实施方式中，经融合的传感器数据可W用于产生有代表性的环 境地图，诸如前文所讨论的实施方式。 阳142] 在步骤740中，接收返航至初始位置的指令。返航指令可W由用户向遥控器中输 入并于随后传输至UAV。或者，该指令可W由UAV自动生成，诸如由机载处理器和/或控制 器生成。在一些实施方式中，可W独立于任何用户输入而生成所述指令，例如，在UAV检测 到用户设备与UAV之间已经失去通信的情况下、当已经发生故障或紧急情况时等。
[0143] 在步骤750中，生成第二信号W使UAV沿着一路径返航至所述初始位置，其中当 所述多个传感器中的至少一个传感器检测到沿着路径的障碍物时，修改该路径W避开障碍 物。可选地，用W检测障碍物的传感器可W不同于在步骤710和/或步骤730中使用的传 感器。可W基于由多种不同的传感器类型生成的感测数据来检测障碍物。在一些实施方式 中，可W使用基于传感器数据而产生的环境地图（例如，占据网格地图）来检测障碍物。环 境地图可W是先前已经生成的（例如，基于在步骤730中收集的感测数据），或者可W是随 着UAV沿着路径航行而实时生成的。可W使用各种方法来修改路径W便防止UAV与检测到 的障碍物（诸如前文关于方法500所描述的那些障碍物）相碰撞。可W基于所获取的感测 数据和/或环境地图中所表示的障碍物信息，来执行对经修正路径的确定。
[0144] 图8A和图8B图示了根据实施方式中的用于使用航点来控制UAV返航至初始位置 的算法800。算法800可W由用于控制UAV的操作的合适的处理器和/或控制器来执行。 算法800的一个或多个步骤可W自动执行，从而为UAV提供自动返航功能。
[0145] 在步骤802中UAV飞行开始（例如，起飞）之后，在步骤804中作出关于UAV飞行 是否已经结束的确定。所述确定可W基于UAV是否已经降落（例如，降落在诸如地面等表 面上）、UAV的推进系统是否已经关闭、用户是否已经提供飞行结束的指令等。如果飞行已 经结束，则在步骤806处结束算法800。否则，算法800继续至步骤808, W便确定UAV的当 前位置（例如，缔度、经度、高度）。如前文所述，可W使用一个或多个传感器（其中至少一 些具有不同的类型）来确定当前位置。例如，UAV可W包括GI^传感器和另一传感器类型， 诸如视觉传感器。视觉感测数据可W与GI^感测数据相结合使用或者替代GI^感测数据， W便补偿当GI^传感器不能够提供可靠的感测数据时的情况（例如，在与GI^卫星的通信 可能不够理想的室内和/或低空环境中、在GI^传感器尚未建立与GI^卫星的通信的飞行 开始时）。因此，通过GI^感测数据与视觉感测数据的组合使用，可W提高定位准确度。可 选地，可W使用支持相对于全局坐标系或局部坐标系而定位UAV的环境地图来确定当前位 置。如上文所述，可W使用传感器融合技术来生成环境地图。 阳146] 在步骤810中，将当前位置信息储存在合适的数据结构中，诸如位置信息列表中。 位置列表可W用于储存由UAV先前行进过的一组位置，运在本文中可W称为"航点"。航点 可W按顺序储存，从而提供对UAV行进过的飞行路径的表示。在运样的实施方式中，储存在 位置列表中的第一航点对应于UAV的初始位置，而位置列表中的最后的航点对应于UAV最 近的位置。因此，如下文所述，可W按倒序（从最后的航点到第一航点）历经所储存的航点， W便使UAV返航至初始位置。 阳147] 在步骤812中，作出关于UAV是否应当启动自动返航功能W便返航至对应于位置 列表中储存的第一航点的初始位置的确定。如前文所述，自动返航决定可W自动地作出或 者基于用户输入而作出。如果自动返航功能未启动，则算法800返回至步骤804 W开始航 点确定和存储的下一迭代。在一些实施方式中，可W按期望频率（例如，连续地，W预定时 间间隔，诸如每0. 5s、ls、2s、5s、10s、20s或30s-次）按顺序重复步骤804、步骤808、步骤 810和步骤812, W便在UAV飞行期间生成和储存一系列先前行进过的航点。如下文关于图 8B所进一步详述，一旦在步骤812中确定UAV应当自动返航，则在步骤814中执行自动返航 功能。在自动返航功能完成之后，算法800结束于步骤806。
[0148] 图8B图示了根据实施方式的算法800的步骤814的子步骤。在步骤816处启动 自动返航功能之后，在步骤818中作出关于位置列表（航点列表）是否为空的确定。如果 列表为空，运表明UAV已经到达初始位置并且自动返航功能在步骤820中完成。如果列表 不为空，运表明UAV尚未到达初始位置。在运样的情况下，继而在步骤822中从位置列表检 索下一目标位置（航点）。
[0149] 继而在步骤824中确定UAV的当前位置。可W使用本文所描述的任何方法，诸如使 用多传感器融合和/或环境地图构建，来确定当前位置。在一些实施方式中，确定当前位置 与检索到的目标位置之间的空间关系，W便生成当前位置与目标位置之间的飞行路径。如 前文所述，可W基于环境地图构建数据来生成飞行路径W便避开潜在的飞行阻碍物。 阳150] 在步骤826中，将UAV从当前位置航行至目标位置，例如，使用在步骤824中生成 的飞行路径。随着UAV朝向目标位置移动，其可W获取和处理传感器数据W确定是否存在 任何阻碍其飞行的障碍物。例如，传感器数据可W用于提供包含如上文所讨论的障碍物占 据信息的局部环境地图。可W用于提供障碍物信息的示例性传感器包括视觉传感器、激光 雷达传感器、超声传感器等。基于传感器数据，在步骤828中作出关于是否已经检测到障碍 物的确定。如果没有检测到阻碍物，则UAV完成其向目标位置的航行，并且自动返航功能继 续至步骤818 W开始下一迭代。如果已经检测到障碍物，则如步骤830中所指示，确定并执 行合适的避障机动。例如，可W修改飞行路径（例如，基于环境地图数据），W使得UAV航行 至目标位置而不与检测到的障碍物相碰撞。 阳151 ] 图9A和图9B图示了根据实施方式中的用于使用拓扑地图来控制UAV返航至目标 位置的算法900。类似于算法800,算法900可W由用于控制UAV的操作的合适的处理器和 /或控制器来执行。算法900的一个或多个步骤可W自动执行，从而为UAV提供自动返航功 能。 阳152] 类似于算法800的步骤802,步骤902中UAV飞行开始（例如，起飞）之后，在步 骤904中作出关于UAV飞行是否已经结束的确定。如果飞行已经结束，则在步骤906处结 束算法900。否则，算法900继续至步骤908, W便确定UAV的当前位置W及关于该UAV周 围环境的环境信息。在一些实施方式中，如前文所述，环境信息包括关于一个或多个环境物 体的空间排列、几何结构和/或特性的信息。可W使用从一个或多个传感器获取的感测数 据来确定当前位置和/或环境信息。可选地，可W使用传感器融合技术来处理和组合来自 不同传感器类型的感测数据，W便提高感测结果的可靠性和准确度。例如，可W从GI^传感 器和至少一种其他传感器类型（例如，视觉传感器、激光雷达传感器和/或超声传感器）来 获取感测数据。 阳153] 在步骤910中，将当前位置和环境信息添加至表示操作环境的拓扑地图。在备选 实施方式中，还可W使用其他类型的地图（例如，诸如网格地图等尺度地图）。拓扑地图可 W用于储存对应于UAV先前行进过的位置的位置信息，从而提供UAV的飞行路径的记录。另 夕F，根据前文所描述的实施方式，拓扑地图可W用于描绘各个环境位置之间的连通性。可选 地，拓扑地图还可W包含尺度信息，诸如指示出所表示的位置之间的距离的信息，化及指示 出环境物体的空间位置和几何结构的信息。可W在UAV飞行期间生成拓扑地图的至少一些 部分，例如，使用多传感器地图构建。备选地或组合地，拓扑地图的一个或多个部分可W在 UAV的操作之前生成并被提供给UAV (例如，从遥控器传输和/或储存在机载存储器中）。在 后一实施方式中，可W在UAV操作期间基于收集到的传感器数据而精化或修改拓扑地图， W便反映当前环境信息。
[0154] 类似于算法800的步骤812,在步骤912中，作出关于UAV是否应当启动自动返航 功能W便返航至目标位置的确定。如果自动返航功能未启动，则算法900返回至步骤904。 可W按期望频率（例如，连续地，W预定时间间隔，诸如每0. 5s、ls、2s、5s、10s、20s或30s 一次）按顺序重复步骤904、步骤908、步骤910和步骤912, W便随着UAV在环境内航行而 用最近的位置和环境信息来更新拓扑地图。如下文参照图9B所进一步详述，一旦在步骤 912中确定UAV应当自动返航，则在步骤914中执行自动返航功能。在自动返航功能完成之 后，算法900结束于步骤906。 阳K5] 图9B图示了根据实施方式的算法900的步骤914的子步骤。在步骤916处启动 自动返航功能之后，在步骤918中作出关于UAV是否已经到达目标位置的确定。目标位置 可W是由用户指定的或者由UAV自动确定的位置。目标位置可W是UAV先前已经行进过的 位置，诸如在飞行开始时UAV的初始位置（例如，起飞的位置）。或者，目标位置可W是UAV 先前尚未行进过的位置。如果确定UAV已经到达目标位置，则在步骤920中完成自动返航 功能。否则，自动返航继续至步骤924。
[0156] 在步骤924中，使用本文所描述的任何方法，诸如使用多传感器融合和/或环境地 图构建，来确定UAV的当前位置。在步骤926中，确定对应于当前UAV位置的拓扑地图位 置，从而相对于拓扑地图中所表示的环境信息而定位该UAV。基于拓扑地图，在步骤926中 确定从当前位置到目标位置的飞行路径。在一些实施方式中，返航飞行路径的一个或多个 部分可W对应于UAV先前行进过的飞行路径。或者，该飞行路径的一个或多个部分可W不 同于UAV的先前飞行路径。可W基于任何合适的准则来确定飞行路径。例如，飞行路径可 被配置用于避开环境障碍物。又例如，飞行路径可被配置用于使UAV为了到达目标位置而 行进的总距离最小化。随后，在步骤928中，基于所确定的飞行路径来调节UAV飞行控制， W便使该UAV沿着所述飞行路径移动。例如，飞行路径可W指定UAV的一系列位置和/或 方向，并且可W生成合适的控制信号并将其传输至UAV推进系统W便使UAV采取指定的位 置和/或方向。 阳157] 如步骤930和步骤932中所描述，随着UAV朝向目标位置移动，其可W检测障碍物 并酌情执行避障机动。用于执行障碍物检测和避障的技术可W分别与关于算法800的步骤 828和步骤830的那些描述相似。可选地，障碍物检测和/或避障可W基于所生成的拓扑地 图。例如，一旦已经辨别出障碍物，拓扑地图中所表示的环境信息来可用于确定对飞行路径 的合适的修改W避免潜在的碰撞。 阳15引本文所描述的系统、设备和方法可W适用于多种可移动物体。如前文所述，本文对 飞行器的任何描述均可适用于和用于任何可移动物体。本发明的可移动物体可被配置用于 在任何合适的环境内移动，诸如在空中（例如，固定翼航空器、旋翼航空器或者既不具有固 定翼也不具有旋翼的航空器）、在水中（例如，船舶或潜艇）、在地面上（例如，机动车，诸如 轿车、卡车、公交车、厢式货车、摩托车；可移动构造物或框架，诸如棒状物、钓鱼竿；或者火 车）、在地下（例如，地铁）、在太空（例如，航天飞机、卫星或探测器），或者运些环境的任 何组合。可移动物体可W是载具，诸如本文其他各处所描述的载具。在一些实施方式中，可 移动物体可W安装在活体身上，诸如人类或动物。合适的动物可W包括禽类、犬类、猫类、马 类、牛类、羊类、猪类、海豚、晒齿类或昆虫。
[0159] 可移动物体可W能够在所述环境内关于六个自由度（例如，S个平移自由度和S 个旋转自由度）而自由移动。或者，可移动物体的移动可能关于一个或多个自由度受到约 束，诸如由预定路径、轨迹或方向所约束。所述移动可W由任何合适的致动机构所致动，诸 如引擎或马达。可移动物体的致动机构可W由任何合适的能源提供动力，例如电能、磁能、 太阳能、风能、引力能、化学能、核能或者其中任何合适的组合。可移动物体可W如本文其他 各处所述，经由推进系统而自推进。所述推进系统可W可选地依靠一种能源运行，例如电 能、磁能、太阳能、风能、引力能、化学能、核能或者其中任何合适的组合。可选地，可移动物 体可W由生物所携带。
[0160] 在一些情况下，所述可移动物体可W是载具。合适的载具可W包括水上载具、飞行 器、太空载具或地面载具。例如，飞行器可W是固定翼航空器（例如，飞机、滑翔机）、旋翼航 空器（例如，直升机、旋翼飞机）、同时具有固定翼和旋翼的航空器、或者既无固定翼又无旋 翼的航空器（例如，飞艇、热气球）。载具可W是自推进式，诸如在空中、在水上或水中、在太 空中或者在地上或地下自推进。自推进式载具可W利用推进系统，诸如包括一个或多个引 擎、马达、轮子、轮轴、磁体、旋翼、螺旋奖、奖叶、喷嘴或者其中任何合适组合的推进系统。在 一些情况下，推进系统可W用于使可移动物体能够从一表面起飞、降落在一表面上、保持其 当前位置和/或方向（例如，悬停）、改变定向和/或改变位置。 阳161] 可移动物体可W由用户遥控或者由可移动物体之内或之上的乘员在本地控制。在 一些实施方式中，可移动物体是无人的可移动物体，诸如UAV。无人的可移动物体（诸如 UAV)可W不搭乘操作者在可移动物体上。可移动物体可W由人类或自主控制系统（例如， 计算机控制系统），或者其任何合适的组合来控制。可移动物体可W是自主式或半自主式机 器人，诸如配置有人工智能的机器人。 阳162] 可移动物体可W具有任何合适的大小和/或尺寸。在一 些实施方式中，可移动物 体可W具有能容纳人类乘员身处载具之内或之上的大小和/或尺寸。或者，可移动物体可 W具有比能够容纳人类乘员身处载具之内或之上的大小和/或尺寸更小的大小/或尺寸。 可移动物体可W具有适合于由人类搬运或携带的大小和/或尺寸。或者，可移动物体可W 大于适合由人类搬运或携带的大小和/或尺寸。在一些情况下，可移动物体可W具有的最 大尺寸（例如，长度、宽度、高度、直径、对角线）小于或等于约：2cm、5cm、10cm、50cm、lm、2m、 5m或10m。该最大尺寸可W大于或等于约：2畑1、5畑1、10畑1、50畑1、1111、2111、51]1或1〇1]1。例如，可 移动物体的相对的旋翼的轴之间的距离可W小于或等于约：2cm、5cm、10cm、50cm、Im、2m、5m 或10m。或者，相对的旋翼的轴之间的距离可W大于或等于约：2cm、5cm、10cm、50cm、Im、2m、 5m 或 10m。
[0163] 在一些实施方式中，可移动物体可[^具有小于IOOcm X IOOcm X 100cm、小于50cm X 50cm X 30cm或小于5cm X 5cm X 3cm的体积。可移动物体的总体积可W小于或等于约： Icm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、 200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10, 000cm3、100, 000cm3、lm3或 IOm 3。相 反地，可移动物体的总体积可W大于或等于约：1cm3、2cm3、5cm 3、10cm3、20cm3、30cm3、40cm 3、 50cm\60cm\70cm\80cm\90cm\ 100cm\ 150cm\200cm\300cm\500cm\750cm\ 1000 cm^ 5000cm3、10, 000cm3、100, 000cm3、lm3或 IOm 3。
[0164] 在一些实施方式中，可移动物体可W具有的占地面积（运可W指由所述可移动 物体所包围的横截面面积）小于或等于约：32, OOOcm2JO, 000cm2、10, 000cm2、1, 000cm2、 500cm2、100cm2、50cm2、10cm2或5cm2。相反地，所述占地面积可W大于或等于约：32, 000cm2、 20, 000cm2、10, 000cm2、1, 000cm2、500cm2、100cm2、50cm2、10cm2或 5cm 2。 阳1化]在一些情况下，可移动物体可W不超过1000kg重。可移动物体的重量可W小于 或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、 3f5kg、30kg、2f5kg、20kg、lf5kg、12kg、10kg、9kg、8kg、"7kg、^g、f5kg、4kg、3kgJkg、：Lkg、0.f5kg、 0. ：Lkg、0. 05kg或0. 01kg。相反地，所述重量可W大于或等于约：1000kg、750kg、500kg、 200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、3^g、30kg、25kg、20kg、15kg、 124邑、104邑、94邑、84邑、化邑、化邑、化邑、44邑、34邑、化邑、化邑、0.化邑、0.化邑、0.054邑或0.0化邑。
[0166] 在一些实施方式中，可移动物体相对于被该可移动物体所携带的负载可W较小。 如下文进一步详述，所述负载可W包括载荷和/或载体。在一些示例中，可移动物体的重量 与负载重量之比可W大于、小于或等于约1:1。在一些情况下，可移动物体的重量与负载重 量之比可W大于、小于或等于约1:1。可选地，载体重量与负载重量之比可W大于、小于或 等于约1:1。当需要时，可移动物体的重量与负载重量之比可W小于或等于：1:2、1:3、1:4、 1:5、1:10或者甚至更小。相反地，可移动物体的重量与负载重量之比还可W大于或等于： 2:1、3:1、4:1、5:1、10:1 或者甚至更大。 阳167] 在一些实施方式中，可移动物体可W具有低能耗。例如，可移动物体可W使用小于 约：5W/h、4W/h、3W/h、2W/h、lW/h或更小。在一些情况下，可移动物体的载体可W具有低能 耗。例如，所述载体可W使用小于约：5W/h、4W/h、3W/h、2W/h、lW/h或更小。可选地，可移动 物体的载荷可W具有低能耗，诸如小于约：5W/h、4W/h、3W/h、2W/h、lW/h或更小。 阳16引图10图示了根据本发明的实施方式的UAV 1000。该UAV可W是本文所述的可移 动物体的示例。UAV 1000可W包括具有四个旋翼1002、1004、1006和1008的推进系统。可 W提供任何数目的旋翼（例如，一个、两个、=个、四个、五个、六个或更多个）。所述旋翼可 W是本文其他各处所述的自紧式旋翼的实施方式。无人飞行器的旋翼、旋翼总成或其他推 进系统可使该无人飞行器能够悬停/保持位置、改变定向和/或改变位置。相对的旋翼的 轴之间的距离可W是任何合适的长度1010。例如，长度1010可W小于或等于2m，或者小于 或等于5m。在一些实施方式中，长度1010可W在从40cm至Ij Im、从IOcm到2m或者从5cm 到5m的范围内。本文对UAV的任何描述均可适用于可移动物体，诸如不同类型的可移动物 体，并且反之亦然。
[0169] 在一些实施方式中，可移动物体可W被配置用于携带负载。该负载可W包括乘客、 货物、设备、仪器等之中的一种或多种。该负载可W提供在外壳内。该外壳可W与可移动物 体的外壳相分离，或者是可移动物体的外壳的一部分。或者，可移动物体不具有外壳时负载 可W具备外壳。或者，该负载的一部分或者整个该负载均可W不具有外壳。负载可W相对 于所述可移动物体刚性固定。可选地，负载可W是相对于可移动物体是可W移动的（例如， 可W相对于可移动物体平移或旋转）。
[0170] 在一些实施方式中，负载包括载荷。所述载荷可被配置成不执行任何操作或功能。 或者，载荷可W是被配置用于执行操作或功能，亦称为功能性载荷。例如，载荷可W包括一 个或多个传感器，用于勘测一个或多个目标。可W向载荷中合并任何合适的传感器，诸如图 像捕捉设备（例如，相机）、音频捕捉设备（例如，抛物面麦克风）、红外成像设备或紫外成 像设备。所述传感器可W提供静态感测数据（例如，照片）或动态感测数据（例如，视频）。 在一些实施方式中，传感器提供针对载荷的目标的感测数据。备选地或组合地，载荷可W包 括一个或多个发射器，用于向一个或多个目标提供信号。可W使用任何合适的发射器，诸如 照明源或声源。在一些实施方式中，载荷包括一个或多个收发器，诸如用于与远离可移动物 体的模块通信。可选地，载荷可被配置用于与环境或目标相互作用。例如，载荷可W包括能 够操纵物体的工具、仪器或机构，诸如机械臂。 阳171] 可选地，负载可W包括载体。可W提供载体用于载荷，并且所述载荷可经由该载体 直接地（例如，直接接触可移动物体）或间接地（例如，不接触可移动物体）禪合至可移动 物体。相反地，载荷可在无需载体的情况下安装于可移动物体上。载荷可W与载体一体形 成。或者，载荷可W可拆卸地禪合至载体。在一些实施方式中，载荷可W包括一个或多个载 荷元件，并且所述载荷元件中的一个或多个可W如上文所述是相对于可移动物体和/或载 体可移动的。
[0172] 载体可W与可移动物体一体形成。或者，载体可W可拆卸地禪合至可移动物体。 载体可W直接地或间接地禪合至可移动物体。载体可W向载荷提供支撑（例如，承载所述 载荷的至少一部分重量）。载体可W包括合适的安装构造物（例如，云台平台），其能够稳 定和/或引导载荷的移动。在一些实施方式中，载体可W适于控制载荷相对于可移动物体 的状态（例如，位置和/或方向）。例如，载体可被配置用于相对于可移动物体而移动（例 如，关于一个、两个或=个平移度W及/或者一个、两个或=个旋转度），W使得载荷保持其 相对于合适的参考系的位置和/或方向，与可移动物体的移动无关。所述参考系可W是固 定参考系（例如，周围环境）。或者，所述参考系可W是移动参考系（例如，可移动物体、载 荷目标）。
[0173] 在一些实施方式中，载体可被配置用于允许载荷相对于载体和/或可移动物体的 移动。所述移动可W是关于多达=个自由度的平移（例如，沿着一个、两个或=个轴线）或 者是关于多达=个自由度的旋转（例如，围绕一个、两个或=个轴线），或者是其任何合适 的组合。
[0174] 在一些情况下，载体可W包括载体框架总成W及载体致动总成。所述载体框架总 成可W向载荷提供构造物支撑。载体框架总成可W包括单个的载体框架元件，其中一些元 件可W是可相对于彼此移动的。所述载体致动总成可W包括一个或多个致动器（例如，马 达），所述致动器致动单个载体框架元件的移动。致动器可W允许多个载体框架元件同时 移动，或者可被配置用于每次允许单一载体框架元件的移动。载体框架元件的移动可W产 生载荷的对应移动。例如，载体致动总成可W致动一个或多个载体框架元件围绕一个或多 个旋转轴（例如，横滚（roll)轴、俯仰（pitch)轴或偏航（yaw)轴）的旋转。所述一个或 多个载体框架元件的旋转可W使载荷相对于可移动物体围绕一个或多个旋转轴旋转。备选 地或组合地，载体致动总成可W致动一个或多个载体框架元件沿着一个或多个平移轴的平 移，并从而产生载荷相对于可移动物体沿着一个或多个对应的轴的平移。
[01巧]在一些实施方式中，可移动物体、载体和载荷相对于固定参考系（例如，周围环 境）和/或相对于彼此的移动可W由终端来控制。所述终端可W是处于远离所述可移动物 体、载体和/或载荷的位置处的遥控设备。终端可W安置于或者固定在支撑平台上。或者， 终端可W是手持式或可穿戴式设备。例如，终端可W包括智能电话、平板计算机、笔记本电 脑、计算机、眼镜、手套、头盎、麦克风或者其合适的组合。终端可W包括用户接口，诸如键 盘、鼠标、操纵杆、触摸屏或显示器。任何合适的用户输入均可用于与终端交互，诸如手动输 入指令、语音控制、手势控制或位置控制（例如，经由终端的移动、定位或倾斜）。
[0176] 终端可W用于控制可移动物体、载体和/或载荷的任何合适的状态。例如，终端可 W用于控制可移动物体、载体和/或载荷相对于固定参考物从和/或向彼此的位置和/或 方向。在一些实施方式中，终端可W用于控制可移动物体、载体和/或载荷的单个元件，诸 如载体的致动总成、载荷的传感器或者载荷的发射器。终端可W包括适于与可移动物体、载 体或载荷中的一个或多个相通信的无线通信设备。
[0177] 终端可W包括一个合适的显示单元，用于查看可移动物体、载体和/或载荷的信 息的。例如，终端可被配置用于显示可移动物体、载体和/或载荷的信息，所述信息关于位 置、平移速度、平移加速度、方向、角速度、角加速度或其任何合适的组合。在一些实施方式 中，终端可W显示由载荷提供的信息，诸如由功能性载荷提供的数据（例如，由相机或其他 图像捕捉设备记录的图像）。
[0178] 可选地，同一终端可W同时控制可移动物体、载体和/或载荷或者所述可移动物 体、载体和/或载荷的状态，W及接收和/或显示来自所述可移动物体、载体和/或载荷的 信息。例如，终端可W控制载荷相对于环境的定位，同时显示由载荷捕捉的图像数据，或者 关于载荷的位置的信息。或者，不同的终端可W用于不同的功能。例如，第一终端可W控制 可移动物体、载体和/或载荷的移动或状态，而第二终端可W接收和/或显示来自可移动物 体、载体和/或载荷的信息。例如，第一终端可W用于控制载荷相对于环境的定位，而第二 终端显示由该载荷捕捉的图像数据。多种通讯模式可W应用于一个可移动物体与一个集成 终端之间，该集成终端既控制该可移动物体又接收数据，或者，多种通讯模式可W应用于该 可移动物体与多个终端之间，该多个终端既控制该可移动物体又接收数据。。例如，在可移 动物体与同时控制该可移动物体并接收来自该可移动物体的数据的终端之间，可W形成至 少两种不同的通信模式。 阳179] 图11图示了根据实施方式中的包括载体1102和载荷1104的可移动物体1100。 虽然可移动物体1100被描绘为飞行器，但运样的描绘并不W此为限制，并且如前文所述可 W使用任何合适类型的可移动物体。本领域技术人员将会理解，本文在航空器系统的情景 下描述的任何实施方式均可适用于任何合适的可移动物体（例如，UAV)。在一些情况下，可 W在可移动物体1100上提供载荷1104而无需载体1102。可移动物体1100可W包括推进 机构1106、感测系统1108和通信系统1110。
[0180] 如前文所述，推进机构1106可W包括旋翼、螺旋奖、奖叶、引擎、马达、轮子、轴、磁 体或喷嘴中的一种或多种。例如，推进机构1106可W如本文其他各处所公开，是自紧式旋 翼、旋翼总成或其他旋转推进单元。可移动物体可W具有一个或多个、两个或更多个、=个 或更多个或者四个或更多个推进机构。推进机构可W全都是同一类型。或者，一个或多个 推进机构可W是不同类型的推进机构。推进机构1106可W使用任何合适的装置而安装在 可移动物体1100上，所述装置诸如为本文其他各处所述的支撑元件（例如，驱动轴）。推进 机构1106可W安装在可移动物体1100的任何合适的部分上，诸如顶部、底部、前面、后面、 侧面或其合适的组合。 阳181] 在一些实施方式中，推进机构1106可W使得可移动物体1100能够从一个表面垂 直地起飞或者垂直地降落在一个表面上，而无需可移动物体1100的任何水平移动（例如， 无需沿着跑道行进）。可选地，推进机构1106可W可操作地允许可移动物体1100 W指定位 置和/或方向悬停于空中。一个或多个推进机构1100可W独立于其他推进机构得到控制。 或者，推进机构1100可被配置成同时受到控制。例如，可移动物体1100可W具有多个水平 定向的旋翼，所述旋翼可W向该可移动物体提供升力和/或推力。可W致动所述多个水平 定向的旋翼W向可移动物体1100提供垂直起飞、垂直降落W及悬停能力。在一些实施方式 中，所述水平定向的旋翼中的一个或多个可W在顺时针方向上旋转，同时所述水平旋翼中 的一个或多个可W在逆时针方向上旋转。例如，顺时针旋翼的数目可W等于逆时针旋翼的 数目。每个水平定向的旋翼的旋转速率可独立地改变，W便控制由每个旋翼产生的升力和 /或推力，并从而调节可移动物体1100的空间排列、速度和/或加速度（例如，关于多达= 个平移自由度和多达=个旋转自由度）。
[0182] 感测系统1108可W包括一个或多个传感器，所述传感器可W感测可移动物体 1100的空间排列、速度和/或加速度（例如，关于多达=个平移自由度和多达=个旋转自由 度）。所述一个或多个传感器可W包括全球定位系统（GP巧传感器、运动传感器、惯性传感 器、距离传感器或图像传感器。由感测系统1208提供的感测数据可W用于控制可移动物体 1100的空间排列、速度和/或方向（例如，使用合适的处理单元和/或控制模块，如下文所 述）。或者，感测系统1108可W用于提供关于可移动物体周围环境的数据，诸如气象条件、 距潜在障碍物的距离、地理特征的位置、人造构造物的位置等。 阳183] 通信系统1110支持经由无线信号1116与具有通信系统1114的终端1112的通 信。通信系统1110、通信系统1114可W包括任何数目的适合于无线通信的发射器、接收器 和/或收发器。所述通信可W是单向通信，使得数据只能在一个方向上传输。例如，单向通 信可W仅设及可移动物体1100向终端1112传输数据，或者反之亦然。数据可W从通信系 统1110的一个或多个发射器传输至通信系统1112的一个或多个接收器，或者反之亦然。或 者，所述通信可W是双向通信，使得数据在可移动物体1100与终端1112之间的两个方向上 均可传输。双向通信可W设及从通信系统1110的一个或多个发射器向通信系统1114的一 个或多个接收器传输数据，并且反之亦然。 阳184] 在一些实施方式中，终端1112可W向可移动物体1100、载体1102和载荷1104中 的一个或多个提供控制数据，W及从可移动物体1100、载体1102和载荷1104中的一个或多 个接收信息（例如，可移动物体、载体或载荷的位置和/或运动信息；由载荷感测的数据，诸 如由载荷相机捕捉的图像数据）。在一些情况下，来自终端的控制数据可W包括针对可移动 物体、载体和/或载荷的相对位置、移动、致动或控制的指令。例如，控制数据可W导致可移 动物体的位置和/或定向的修改（例如，经由推进机构1106的控制），或者载荷相对于可移 动物体的移动（例如，经由载体1102的控制）。来自终端的控制数据可W导致对载荷的控 审IJ，诸如对相机或其他图像捕捉设备的操作的控制（例如，拍摄静态或移动图片、放大或缩 小、开启或关闭、切换成像模式、改变图像分辨率、改变聚焦、改变景深、改变曝光时间、改变 视角或视野）。在一些情况下，来自可移动物体、载体和/或载荷的通信可W包括来自一个 或多个传感器（例如，感测系统1108的或载荷1104的传感器）的信息。所述通信可W包 括来自一个或多个不同类型的传感器（例如，GI^传感器、运动传感器、惯性传感器、距离传 感器或图像传感器）的感测到的信息。运样的信息可W关于可移动物体、载体和/或载荷 的位置（例如，位置、方向）、移动或加速度。来自载荷的运样的信息可W包括由该载荷捕 捉的数据或感测到的该载荷的状态。由终端1112提供并传输的控制数据可被配置用于控 制可移动物体1100、载体1102或载荷1104中的一个或多个的状态。备选地或组合地，载 体1102和载荷1104还可W各自包括通信模块，该通信模块被配置用于与终端1112通信， W使得该终端可独立地与可移动物体1100、载体1102和载荷1104中的每一个通信和对其 加 W控制。 阳185] 在一些实施方式中，可移动物体1100可被配置用于与另一远程设备相通信一一附 加于终端1112或代替终端1112。终端1112也可被配置用于与另一远程设备W及可移动物 体1100相通信。例如，可移动物体1100和/或终端1112可W与另一可移动物体或者另一 可移动物体的载体或载荷相通信。当需要时，所述远程设备可W是第二终端或其他计算设 备（例如，计算机、笔记本电脑、平板计算机、智能电话或其他移动设备）。远程设备可被配 置用于向可移动物体1100传输数据、从可移动物体1100接收数据、向终端1112传输数据 W及/或者从终端1112接收数据。可选地，远程设备可W连接至因特网或其他电信网络， W使得从可移动物体1100和/或终端1112接收的数据可被上传至网站或服务器。 阳186] 图12是根据实施方式中的用于控制可移动物体的系统1200的通过框图来说明的 示意图。系统1200可W与本文所公开的系统、设备和方法的任何合适的实施方式结合使 用。系统1200可W包括感测模块1202、处理单元1204、非易失性计算机可读介质1206、控 制模块1208和通信模块1210。 阳187] 感测模块1202可W利用不同类型的传感器来通过不同方式收集与可移动物体有 关的信息。不同类型的传感器可W感测不同类型的信号或者来自不同来源的信号。例如， 所述传感器可W包括惯性传感器、GI^传感器、距离传感器（例如，激光雷达）或视觉/图 像传感器（例如，相机）。感测模块1202可W有效地禪合至具有多个处理器的处理单元 1204。在一些实施方式中，感测模块可W有效地禪合至传输模块1212(例如，Wi-Fi图像传 输模块），该传输模块被配置用于向合适的外部设备或系统直接传输感测数据。例如，传输 模块1212可W用于向远程终端传输由感测模块1202的相机捕捉的图像。
[0188] 处理单元1204可W具有一个或多个处理器，诸如可编程处理器（例如，中央处理 器（central processing unit, CPU))。处理单元1204可W有效地禪合至非易失性计算机 可读介质1206。非易失性计算机可读介质1206可W储存可由处理单元1204执行的逻辑、 代码和/或程序指令，用W执行一个或多个步骤。非易失性计算机可读介质可W包括一个 或多个存储器单元（例如，可移动介质或外部存储器，诸如SD卡或随机存取存储器（random access memcxry, RAM))。在一些实施方式中，来自感测模块1202的数据可直接传送至并储 存于非易失 性计算机可读介质1206的存储器单元内。非易失性计算机可读介质1206的存 储器单元可W储存可由处理单元1204执行的逻辑、代码和/或程序指令，用W执行本文所 描述的方法的任何合适的实施方式。例如，处理单元1204可被配置用于执行指令，从而使 处理单元1204的一个或多个处理器分析由感测模块产生的感测数据。存储器单元可W储 存要由处理单元1204处理的、来自感测模块的感测数据。在一些实施方式中，非易失性计 算机可读介质1206的存储单元可W用于储存由处理单元1204产生的处理结果。 阳189] 在一些实施方式中，处理单元1204可W有效地禪合至控制模块1208,该控制模块 1208被配置用于控制可移动物体的状态。例如，控制模块1208可被配置用于控制可移动物 体的推进机构W调节可移动物体关于六个自由度的空间排列、速度和/或加速度。备选地 或组合地，控制模块1208可W控制载体、载荷或感测模块的状态中的一个或多个。 阳190] 处理单元1204可W有效地禪合至通信模块1210,该通信模块1210被配置用于传 输数据和/或接收来自一个或多个外部设备（例如，终端、显示设备或其他遥控器）的数 据。可W使用任何合适的通信手段，诸如有线通信或无线通信。例如，通信模块1210可W 利用局域网（local area networks, LAN)、广域网（wide area networks, WAN)、红外线、无 线电、WiFi、点对点任oint-t〇-Point，P2P)网络、电信网络、云通信等之中的一种或多种。 可选地，可W使用中继站，诸如塔、卫星或移动台。无线通信可W依赖于距离或独立于距离。 在一些实施方式中，通信可能需要或者可能不需要视线。通信模块1210可W传输和/或接 收来自感测模块1202的感测数据、由处理单元1204产生的处理结果、预定控制数据、来自 终端或遥控器的用户命令等之中的一个或多个。 阳191] 系统1200的组件可W按任何合适的配置来布置。例如，系统1200的一个或多个 组件可W位于可移动物体、载体、载荷、终端、感测系统或与上述的一个或多个相通信的附 加的外部设备上。此外，虽然图12描绘了单一处理单元1204和单一非易失性计算机可读 介质1206,但本领域技术人员将会理解，运并不局限于此，并且系统1200可W包括多个处 理单元和/或非易失性计算机可读介质。在一些实施方式中，所述多个处理单元和/或非 易失性计算机可读介质中的一个或多个可W位于不同的位置，诸如在可移动物体、载体、载 荷、终端、感测模块、与上述的一个或多个相通信的附加的外部设备上或其合适的组合，W 使得由系统1200执行的处理和/或存储器功能的任何合适的方面可W发生于一个或多个 上述位置处。 阳192] 本文中使用的A和/或B包含A或B中的一个或多个W及其组合，诸如A和B。 阳193] 虽然本文已经示出和描述了本发明的优选实施方式，但对于本领域技术人员显而 易见的是，运样的实施方式只是W示例的方式提供的。本领域技术人员现将会在不偏离本 发明的情况下想到许多更改、改变和替代。应当理解，在实践本发明的过程中可W采用对本 文所描述的本发明实施方式的各种替代方案。W下权利要求旨在限定本发明的范围，并因 此覆盖运些权利要求范围内的方法、结构及其等效项。
【主权项】
1. 一种用于在环境内控制可移动物体的方法，所述方法包括： 使用由所述可移动物体携带的多个传感器中的至少一个传感器来确定所述可移动物 体的初始位置； 生成第一信号以使所述可移动物体在所述环境内航行； 使用所述多个传感器中的所述至少一个传感器来接收关于所述环境的感测数据； 基于所述感测数据，生成表示所述环境的至少一部分的环境地图； 接收返航至所述初始位置的指令；以及 基于所述环境地图，生成第二信号以使所述可移动物体返航至所述初始位置。2. 根据权利要求1所述的方法，其中所述无人飞行器被配置用于检测限制飞行区域的 存在，并且不在所述限制飞行区域的预定距离内飞行。3. 根据权利要求1所述的方法，其中所述多个传感器包括全球定位系统（GPS)传感器。4. 根据权利要求1所述的方法，其中所述多个传感器包括视觉传感器。5. 根据权利要求1所述的方法，其中所述多个传感器包括距离传感器。6. 根据权利要求5所述的方法，其中所述距离传感器包括以下至少一种：激光雷达传 感器、超声传感器或飞行时间相机传感器。7. 根据权利要求1所述的方法，其中所述环境地图包括拓扑地图。8. 根据权利要求1所述的方法，其中所述环境地图包括尺度地图。9. 根据权利要求8所述的方法，其中所述尺度地图包括以下至少一种：点云、3D网格地 图、2D网格地图或2. ?网格地图。10. 根据权利要求8所述的方法，其中所述尺度地图包括占据网格地图。11. 根据权利要求1所述的方法，其中生成所述第二信号包括： 使用所述多个传感器中的至少一个传感器来确定所述可移动物体的当前位置； 基于所述环境地图，确定从所述当前位置到所述初始位置的路径；以及 生成信号以使所述可移动物体沿着所述路径移动以返航至所述初始位置。12. 根据权利要求11所述的方法，其中确定所述路径包括确定从所述当前位置到所述 初始位置的最短路径。13. 根据权利要求11所述的方法，其中确定所述路径包括确定从所述当前位置到所述 初始位置的、避开所述环境内的一个或多个障碍物的路径。14. 根据权利要求11所述的方法，其中所述路径包括由所述可移动物体先前行进过的 一个或多个部分。15. 根据权利要求11所述的方法，其中所述路径不同于由所述可移动物体先前行进过 的路径。16. 根据权利要求11所述的方法，其中所述路径是所述可移动物体的飞行路径。17. 根据权利要求16所述的方法，其中所述路径包括所述可移动物体的空间位置和方 向。18. 根据权利要求11所述的方法，其中所述路径包括对应于所述可移动物体先前行进 过的位置的多个航点，所述多个航点是当所述可移动物体在所述环境内航行时被记录的。19. 根据权利要求18所述的方法，其中当所述可移动物体在所述环境内航行时，实时 地记录所述多个航点。20. 根据权利要求18所述的方法，其中当所述可移动物体在所述环境内航行时，以预 定时间间隔记录所述多个航点。21. 根据权利要求18所述的方法，其中将所述多个航点储存在列表数据结构中。22. 根据权利要求11所述的方法，其中生成所述信号以使所述可移动物体沿着所述路 径移动包括： 检测所述环境中沿着所述路径定位的障碍物； 修改所述路径以便避开所述障碍物；以及 生成信号以使所述可移动物体沿着经修改的路径移动。23. -种用于在环境内控制可移动物体的系统，所述系统包括： 由所述可移动物体携带的多个传感器；以及 一个或多个处理器，其被单个地或共同地配置用于： 使用所述多个传感器中的至少一个传感器来确定所述可移动物体的初始位置； 生成第一信号，该第一信号使所述可移动物体在所述环境内航行； 使用所述多个传感器中的所述至少一个传感器来接收关于所述环境的感测数据； 基于所述感测数据，生成表示所述环境的至少一部分的环境地图； 接收返航至所述初始位置的指令；以及 基于所述环境地图生成第二信号，该第二信号使所述可移动物体航行以返航至所述初 始位置。24. -种用于在环境内控制无人飞行器的方法，所述方法包括： 生成第一信号以使所述无人飞行器在所述环境内航行； 使用由所述无人飞行器携带的多个传感器来接收关于所述环境的至少一部分的感测 数据； 基于所述感测数据，生成表示所述环境的所述至少一部分的环境地图； 使用所述环境地图来检测位于所述环境的所述部分中的一个或多个障碍物；以及 使用所述环境地图来生成第二信号以使所述无人飞行器航行，以便避开所述一个或多 个障碍物。25. 根据权利要求24所述的方法，其中所述无人飞行器被配置用于检测限制飞行区域 的存在，并且不在所述限制飞行区域的预定距离内飞行。26. 根据权利要求24所述的方法，其中所述多个传感器包括全球定位系统（GPS)传感 器。27. 根据权利要求24所述的方法，其中所述多个传感器包括视觉传感器。28. 根据权利要求24所述的方法，其中所述多个传感器包括距离传感器。29. 根据权利要求28所述的方法，其中所述距离传感器包括以下至少一种：激光雷达 传感器、超声传感器或飞行时间相机传感器。30. 根据权利要求24所述的方法，其中所述环境地图包括拓扑地图。31. 根据权利要求24所述的方法，其中所述环境地图包括尺度地图。32. 根据权利要求31所述的方法，其中所述尺度地图包括以下至少一种：点云、3D网格 地图、2D网格地图或2. ?网格地图。33. 根据权利要求31所述的方法，其中所述尺度地图包括占据网格地图。34. 根据权利要求24所述的方法，其中基于从与所述无人飞行器通信的远程终端接收 到的指令来生成所述第一信号。35. 根据权利要求34所述的方法，其中所述指令由用户输入到所述远程终端中。36. 根据权利要求24所述的方法，其中由所述无人飞行器自主生成所述第一信号。37. 根据权利要求24所述的方法，其中所述感测数据包括相对于多个不同坐标系的数 据，并且生成所述环境地图包括将所述数据映射到单一坐标系上。38. 根据权利要求24所述的方法，其中生成所述第一信号包括为所述无人飞行器生成 的飞行路径，并且其中生成所述第二信号包括基于所述环境地图来修改所述飞行路径，以 便避开所述一个或多个障碍物。39. 根据权利要求38所述的方法，其中所述飞行路径被配置用于将所述无人飞行器从 当前位置引导至先前位置。40. -种用于在环境内控制无人飞行器的系统，所述系统包括： 由所述无人飞行器携带的多个传感器；以及 一个或多个处理器，其被单个地或共同地配置用于： 生成第一信号以使所述无人飞行器在所述环境内航行； 使用由所述无人飞行器携带的多个传感器来接收关于所述环境的至少一部分的感测 数据； 基于所述感测数据，生成表示所述环境的所述至少一部分的环境地图； 使用所述环境地图来检测位于所述环境的所述部分中的一个或多个障碍物；以及 使用所述环境地图来生成第二信号以使所述无人飞行器航行以便避开所述一个或多 个障碍物。41. 一种用于在环境内控制无人飞行器的方法，所述方法包括： 从第一传感器接收关于所述环境的第一感测信号，并从第二传感器接收关于所述环境 的第二感测信号，其中所述第一传感器和第二传感器是不同的传感器类型，并且其中所述 第一传感器和第二传感器由无人飞行器携带； 使用所述第一感测信号来生成第一环境地图，并使用所述第二感测信号来生成第二环 境地图，所述第一环境地图和第二环境地图各自包含所述环境的障碍物占据信息；以及 组合所述第一环境地图和第二环境地图，从而生成包含所述环境的障碍物占据信息的 最终环境地图。42. 根据权利要求41所述的方法，进一步包括： 至少部分基于所述最终环境地图中的障碍物占据信息，生成信号以使所述无人飞行器 在所述环境内航行。42. 根据权利要求41所述的方法，其中所述无人飞行器被配置用于检测限制飞行区域 的存在，并且不在所述限制飞行区域的预定距离内飞行。43. 根据权利要求41所述的方法，其中所述第一传感器或第二传感器中的至少一个传 感器包括全球定位系统（GPS)传感器。44. 根据权利要求41所述的方法，其中所述第一传感器或第二传感器中的至少一个传 感器包括视觉传感器。45. 根据权利要求41所述的方法，其中所述第一传感器或第二传感器中的至少一个传 感器包括距离传感器。46. 根据权利要求45所述的方法，其中所述距离传感器包括以下至少一种：激光雷达 传感器、超声传感器或飞行时间相机传感器。47. 根据权利要求41所述的方法，其中所述最终环境地图包括拓扑地图。48. 根据权利要求41所述的方法，其中所述最终环境地图包括尺度地图。49. 根据权利要求48所述的方法，其中所述尺度地图包括以下至少一种：点云、3D网格 地图、2D网格地图或2. ?网格地图。50. 根据权利要求48所述的方法，其中所述尺度地图包括占据网格地图。51. 根据权利要求41所述的方法，其中相对于第一坐标系提供所述第一环境地图，并 且相对于与所述第一坐标系不同的第二坐标系提供所述第二环境地图。52. 根据权利要求51所述的方法，其中所述第一坐标系是全局坐标系，而所述第二坐 标系是局部坐标系。53. 根据权利要求51所述的方法，其中组合所述第一环境地图和第二环境地图包括将 所述第一环境地图和第二环境地图转换至单一坐标系。54. 根据权利要求41所述的方法，其中所述第一传感器的感测范围不同于所述第二传 感器的感测范围。55. -种用于在环境内控制无人飞行器的系统，所述系统包括： 第一传感器，其由所述无人飞行器携带并且被配置用于生成关于所述环境的第一感测 信号； 第二传感器，其由所述无人飞行器携带并且被配置用于生成关于所述环境的第二感测 信号，其中所述第二传感器和所述第一传感器是不同的传感器类型；以及 一个或多个处理器，其被单个地或共同地配置用于： 接收所述第一感测信号和第二感测信号； 使用所述第一感测信号来生成第一环境地图并使用所述第二感测信号来生成第二环 境地图，所述第一环境地图和第二环境地图各自包含所述环境的障碍物占据信息；以及 组合所述第一环境地图和第二环境地图，从而生成包含所述环境的障碍物占据信息的 最终环境地图。56. -种用于在环境内控制无人飞行器的方法，所述方法包括： 使用由所述无人飞行器携带的多个传感器中的至少一个传感器来确定所述无人飞行 器的初始位置； 生成第一信号以使所述无人飞行器在所述环境内航行； 使用所述多个传感器中的所述至少一个传感器来接收关于所述环境的感测数据； 接收返航至所述初始位置的指令；以及 生成第二信号以使所述无人飞行器沿着路径返航至所述初始位置，其中当所述多个传 感器中的所述至少一个传感器检测到位于沿着所述路径的所述环境中的障碍物时，修改所 述路径以避开所述障碍物。57. 根据权利要求56所述的方法，其中所述无人飞行器被配置用于检测限制飞行区域 的存在，并且不在所述限制飞行区域的预定距离内飞行。58. 根据权利要求56所述的方法，其中所述多个传感器包括全球定位系统（GPS)传感 器。59. 根据权利要求56所述的方法，其中所述多个传感器包括视觉传感器。60. 根据权利要求56所述的方法，其中所述多个传感器包括距离传感器。61. 根据权利要求60所述的方法，其中所述距离传感器包括以下至少一种：激光雷达 传感器、超声传感器或飞行时间相机传感器。62. 根据权利要求56所述的方法，其中所述环境地图包括拓扑地图。63. 根据权利要求56所述的方法，其中所述环境地图包括尺度地图。64. 根据权利要求63所述的方法，其中所述尺度地图包括以下至少一种：点云、3D网格 地图、2D网格地图或2. ?网格地图。65. 根据权利要求63所述的方法，其中所述尺度地图包括占据网格地图。66. 根据权利要求56所述的方法，其中所述路径包括由所述无人飞行器先前行进过的 一个或多个部分。67. 根据权利要求56所述的方法，其中所述路径不同于由所述无人飞行器先前行进过 的路径。68. 根据权利要求56所述的方法，其中所述路径是所述无人飞行器的飞行路径。69. 根据权利要求68所述的方法，其中所述路径包括所述无人飞行器的空间位置和定 向。70. -种用于在环境内控制无人飞行器的系统，所述系统包括： 由所述可移动物体携带的多个传感器；以及 一个或多个处理器，其被单个地或共同地配置用于： 使用由所述无人飞行器携带的多个传感器中的至少一个传感器来确定所述可移动物 体的初始位置； 生成第一信号以使所述无人飞行器在所述环境内航行； 使用所述多个传感器中的所述至少一个传感器来接收关于所述环境的感测数据； 接收返航至所述初始位置的指令；以及 生成第二信号以使所述无人飞行器沿着路径返航至所述初始位置，其中当所述多个传 感器中的所述至少一个传感器检测到位于沿着所述路径的所述环境中的障碍物时，修改所 述路径以避开所述障碍物。71. -种用于生成环境的地图的方法，所述方法包括： 从由无人飞行器携带的一个或多个视觉传感器接收第一感测数据，所述第一感测数据 包含所述环境的深度信息； 从由所述无人飞行器携带的一个或多个距离传感器接收第二感测数据，所述第二感测 数据包含所述环境的深度信息；以及 使用所述第一感测数据和第二感测数据来生成包含所述环境的深度信息的环境地图。72. 根据权利要求71所述的方法，其中所述第一感测数据和第二感测数据各自包括 具有多个像素的至少一个图像，所述多个像素中的每个像素与二维图像坐标和深度值相关 联。73. 根据权利要求72所述的方法，其中所述多个像素中的每个像素与色值相关联。74. 根据权利要求71所述的方法，其中所述第一感测数据和第二感测数据各自包含所 述环境中的一个或多个物体的轮廓信息。75. 根据权利要求71所述的方法，进一步包括： 至少部分基于所述环境地图中的深度信息，生成信号以使所述无人飞行器在所述环境 内航行。76. 根据权利要求71所述的方法，其中所述无人飞行器被配置用于检测限制飞行区域 的存在，并且不在所述限制飞行区域的预定距离内飞行。77. 根据权利要求71所述的方法，其中所述一个或多个视觉传感器仅包括一个相机。78. 根据权利要求71所述的方法，其中所述一个或多个视觉传感器包括两个或更多个 相机。79. 根据权利要求71所述的方法，其中所述一个或多个距离传感器包括至少一个超声 传感器。80. 根据权利要求71所述的方法，其中所述一个或多个距离传感器包括至少一个激光 雷达传感器。81. 根据权利要求71所述的方法，其中所述第一感测数据包括第一组深度图像，而所 述第二感测数据包括第二组深度图像。82. 根据权利要求81所述的方法，其中生成所述环境地图包括： 辨别存在于所述第一组深度图像中的第一多个特征点； 辨别存在于所述第二组深度图像中的第二多个特征点，所述第二多个特征点中的每个 特征点对应于所述第一多个特征点中的一个特征点； 确定所述第一多个特征点与第二多个特征点之间的对应；以及 基于所述对应，通过组合所述第一组深度图像和第二组深度图像而生成所述环境地 图。83. 根据权利要求71所述的方法，其中相对于第一坐标系提供所述第一感测数据，并 且相对于与所述第一坐标系不同的第二坐标系提供所述第二感测数据。84. 根据权利要求83所述的方法，其中生成所述环境地图包括相对于第三坐标系来表 示所述第一感测数据和第二感测数据。85. 根据权利要求84所述的方法，其中所述第三坐标系是所述第一坐标系或所述第二 坐标系。86. 根据权利要求84所述的方法，其中所述第三坐标系不同于所述第一坐标系和所述 第二坐标系。87. 根据权利要求71所述的方法，其中所述环境地图包括拓扑地图。88. 根据权利要求71所述的方法，其中所述环境地图包括尺度地图。89. 根据权利要求88所述的方法，其中所述尺度地图包括以下至少一种：点云、3D网格 地图、2D网格地图或2. ?网格地图。90. 根据权利要求88所述的方法，其中所述尺度地图包括占据网格地图。91. 一种用于生成环境的地图的系统，所述系统包括： 一个或多个视觉传感器，其由无人飞行器携带并且被配置用于生成第一感测数据，所 述第一感测数据包含所述环境的深度信息； 一个或多个距离传感器，其由所述无人飞行器携带并且被配置用于生成第二感测数 据，所述第二感测数据包含所述环境的深度信息；以及 一个或多个处理器，其被单个地或共同地配置用于： 接收所述第一感测数据和第二感测数据；以及 使用所述第一感测数据和第二感测数据来生成包含所述环境的深度信息的环境地图。
【专利摘要】本发明提供了用于在环境内控制可移动物体的系统和方法。在一方面，一种方法可以包括：使用由所述可移动物体携带的多个传感器中的至少一个传感器来确定所述可移动物体的初始位置；生成第一信号以使所述可移动物体在所述环境内航行；使用所述多个传感器中的所述至少一个传感器来接收关于所述环境的感A数据；基于所述感测数据，生成表示所述环境的至少一部分的环境地图；接收返航至所述初始位置的指令；以及基于所述环境地图，生成第二信号以使所述可移动物体返航至所述初始位置。
【IPC分类】G05D1/10, G01C21/00
【公开号】CN105492985
【申请号】CN201480031173
【发明人】刘昂, 莫维宇, 凌永根
【申请人】深圳市大疆创新科技有限公司
【公开日】2016年4月13日
【申请日】2014年9月5日
【公告号】US20160070265, WO2016033797A1
【专利说明】多传感器环境地图构建
【背景技术】
[0001] 诸如无人飞行器OJAV)等无人载具可用于在多种环境下执行监视、侦查和勘探任 务W供军事和民用应用。UAV可由远程用户手动控制，或者可W按半自主或全自主的方式操 作。运样的UAV可W包括被配置用于从周围环境收集数据的传感器。
[0002] 在一些情况下，用于获取环境数据的现有方法可能并非最优。例如，环境数据的准 确度可能基于用W收集数据的特定传感器类型的能力而受到限制。不准确的环境数据可能 会对UAV功能产生不利影响。
【发明内容】
[0003] 本文所公开的实施方式提供了用于在环境内控制诸如UAV等可移动物体的改进 的方法。在许多实施方式中，UAV包含多种不同的传感器类型，用于收集关于周围环境的信 息。从所述每种不同类型的传感器获取的数据可W组合，W便生成所述周围环境的表示，诸 如二维（2D)或=维（3D)环境地图，并且所述数据还可W用于促进导航、物体识别和避障。 有利地，本文所描述的方法可W用于改进多样化环境类型和操作条件下的UAV功能性。
[0004] 因此，在一方面，提供了一种用于在环境内控制可移动物体的方法。所述方法包 括：使用由所述可移动物体携带的多个传感器中的至少一个传感器来确定所述可移动物体 的初始位置；生成第一信号W使所述可移动物体在所述环境内航行；使用所述多个传感器 中的所述至少一个传感器来接收关于所述环境的感测数据；基于所述感测数据，生成表示 所述环境的至少一部分的环境地图；接收返航至所述初始位置的指令；W及基于所述环境 地图，生成第二信号W使所述可移动物体返航至所述初始位置。 阳〇化]在一些实施方式中，所述可移动物体是无人飞行器。所述无人飞行器可W不超过 IOkg重。所述无人飞行器的最大尺寸可W不超过1.5m。所述无人飞行器可被配置用于在 不超过400m的高度上飞行。可选地，所述无人飞行器可被配置用于检测限制飞行区域的存 在，并且不在所述限制飞行区域的预定距离内飞行。所述限制飞行区域可W是机场。所述 无人飞行器可W是多旋翼航空器。
[0006] 在一些实施方式中，所述环境可W是室内环境或低空环境。
[0007] 在一些实施方式中，所述多个传感器可W包括全球定位系统（GP巧传感器、视觉 传感器或距离传感器。所述距离传感器可W包括W下至少一种：激光雷达传感器、超声传感 器或飞行时间相机传感器。所述多个传感器可W包括多种不同的传感器类型。
[0008] 在一些实施方式中，所述环境地图可W包括拓扑地图或尺度地图（metric map)。 所述尺度地图可W包括W下至少一种：点云、3D网格地图、2D网格地图或2. 5D网格地图。 可选地，所述尺度地图可W包括占据网格地图（occupancy grid map)。
[0009] 在一些实施方式中，生成所述第二信号包括：使用所述多个传感器中的至少一个 传感器来确定所述可移动物体的当前位置；基于所述环境地图，确定从所述当前位置到所 述初始位置的路径；W及生成信号W使所述可移动物体沿着所述路径移动W返航至所述初 始位置。确定所述路径可W包括确定从所述当前位置到所述初始位置的最短路径。备选地 或组合地，确定所述路径可W包括确定从所述当前位置到所述初始位置的、避开所述环境 内的一个或多个障碍物的路径。所述路径可W包括由所述可移动物体先前行进过的一个或 多个部分。所述路径可W不同于由所述可移动物体先前行进过的路径。可选地，所述路径可 W是所述可移动物体的飞行路径。所述路径可W包括所述可移动物体的空间位置和方向。
[0010] 在一些实施方式中，所述路径包括对应于所述可移动物体先前行进过的位置的多 个航点，所述多个航点是当所述可移动物体在所述环境内航行时被记录的。当所述可移动 物体在所述环境内航行时，可W实时地记录所述多个航点。或者，当所述可移动物体在所述 环境内航行时，可W按预定时间间隔记录所述多个航点。可W将所述多个航点储存在列表 数据结构中。
[0011] 在一些实施方式中，生成所述信号W使所述可移动物体沿着所述路径移动可W包 括：检测所述环境中沿着所述路径定位的障碍物；修改所述路径W便避开所述障碍物；W 及生成信号W使所述可移动物体沿着经修改的路径移动。
[0012] 在另一方面，提供了一种用于在环境内控制可移动物体的系统。所述系统可W包 括：由所述可移动物体携带的多个传感器W及一个或多个处理器。所述一个或多个处理器 可被单个地或共同地配置用于：使用所述多个传感器中的至少一个传感器来确定所述可移 动物体的初始位置；生成第一信号，该第一信号使所述可移动物体在所述环境内航行；使 用所述多个传感器中的所述至少一个传感器来接收关于所述环境的感测数据；基于所述感 测数据，生成表示所述环境的至少一部分的环境地图；接收返航至所述初始位置的指令； W及基于所述环境地图生成第二信号，该第二信号使所述可移动物体航行W返航至所述初 始位置。
[0013] 在另一方面，提供了一种用于在环境内控制无人飞行器的方法。所述方法包括：生 成第一信号W使所述无人飞行器在所述环境内航行；使用由所述无人飞行器携带的多个传 感器来接收关于所述环境的至少一部分的感测数据；基于所述感测数据，生成表示所述环 境的所述至少一部分的环境地图；使用所述环境地图来检测位于所述环境的所述部分中的 一个或多个障碍物；W及使用所述环境地图来生成第二信号W使所述无人飞行器航行，W 便避开所述一个或多个障碍物。
[0014] 在一些实施方式中，所述无人飞行器是旋翼航空器。所述无人飞行器可W不超过 IOkg重。所述无人飞行器的最大尺寸可W不超过1.5m。所述无人飞行器可被配置用于在 不超过400m的高度上飞行。可选地，所述无人飞行器可被配置用于检测限制飞行区域的存 在，并且不在所述限制飞行区域的预定距离内飞行。所述限制飞行区域可W是机场。
[0015] 在一些实施方式中，所述环境可W是室内环境或低空环境。
[0016] 在一些实施方式中，所述多个传感器可W包括全球定位系统（GP巧传感器、视觉 传感器或距离传感器。所述距离传感器可W包括W下至少一种：激光雷达传感器、超声传感 器或飞行时间相机传感器。所述多个传感器可W包括多种不同的传感器类型。所述感测数 据可W包括相对于多个不同坐标系的数据，并且生成所述环境地图包括将所述数据映射到 单一坐标系上。
[0017] 在一些实施方式中，所述环境地图可W包括拓扑地图或尺度地图。所述尺度地图 可W包括W下至少一种：点云、3D网格地图、2D网格地图或2.抓网格地图。可选地，所述尺 度地图可W包括占据网格地图。
[0018] 在一些实施方式中，基于从与所述无人飞行器通信的远程终端接收到的指令来生 成所述第一信号。所述指令可W由用户输入到所述远程终端中。或者，所述第一信号可W 由所述无人飞行器自主生成。
[0019] 在一些实施方式中，所述感测数据包括相对于多个不同坐标系的数据，并且生成 所述环境地图包括将所述数据映射到单一坐标系上。生成所述第一信号可W包括为所述无 人飞行器生成的飞行路径，并且生成所述第二信号可W包括基于所述环境地图来修改所述 飞行路径，W便避开所述一个或多个障碍物。所述飞行路径可被配置用于将所述无人飞行 器从当前位置引导至先前位置。
[0020] 在另一方面，提供了一种用于在环境内控制无人飞行器的系统。所述系统包括：由 所述无人飞行器携带的多个传感器W及一个或多个处理器。所述一个或多个处理器可被单 个地或共同地配置用于：生成第一信号W使所述无人飞行器在所述环境内航行；使用由所 述无人飞行器携带的多个传感器来接收关于所述环境的至少一部分的感测数据；基于所述 感测数据，生成表示所述环境的所述至少一部分的环境地图；使用所述环境地图来检测位 于所述环境的所述部分中的一个或多个障碍物；W及使用所述环境地图来生成第二信号W 使所述无人飞行器航行，W便避开所述一个或多个障碍物。
[0021] 在另一方面，提供了一种用于在环境内控制无人飞行器的方法。所述方法包括：从 第一传感器接收关于所述环境的第一感测信号，并从第二传感器接收关于所述环境的第二 感测信号，其中所述第一传感器和第二传感器是不同的传感器类型，并且其中所述第一传 感器和第二传感器由无人飞行器携带；使用所述第一感测信号来生成第一环境地图并使用 所述第二感测信号来生成第二环境地图，所述第一环境地图和第二环境地图各自包括所述 环境的障碍物占据信息；W及组合所述第一环境地图和第二环境地图，从而生成包含所述 环境的障碍物占据信息的最终环境地图。
[0022] 在一些实施方式中，所述方法进一步包括至少部分基于所述最终环境地图中的障 碍物占据信息，生成信号W使所述无人飞行器在所述环境内航行。
[0023] 在一些实施方式中，所述无人飞行器是旋翼航空器。所述无人飞行器可W不超过 IOkg重。所述无人飞行器的最大尺寸可W不超过1.5m。所述无人飞行器可被配置用于在 不超过400m的高度上飞行。可选地，所述无人飞行器可被配置用于检测限制飞行区域的存 在，并且不在所述限制飞行区域的预定距离内飞行。所述限制飞行区域可W是机场。
[0024] 在一些实施方式中，所述环境可W是室内环境或低空环境。
[00巧]在一些实施方式中，所述多个传感器可W包括全球定位系统（GP巧传感器、视觉 传感器或距离传感器。所述距离传感器可W包括W下至少一种：激光雷达传感器、超声传感 器或飞行时间相机传感器。所述多个传感器可W包括多种不同的传感器类型。
[00%] 在一些实施方式中，所述环境地图可W包括拓扑地图或尺度地图。所述尺度地图 可W包括W下至少一种：点云、3D网格地图、2D网格地图或2.抓网格地图。可选地，所述尺 度地图可W包括占据网格地图。
[0027] 在一些实施方式中，相对于第一坐标系提供所述第一环境地图并且相对于与所述 第一坐标系不同的第二坐标系提供所述第二环境地图。所述第一坐标系可W是全局坐标系 而所述第二坐标系可W是局部坐标系。组合所述第一环境地图和第二环境地图可W包括将 所述第一环境地图和第二环境地图转换至单一坐标系。
[0028] 在一些实施方式中，所述第一传感器的感测范围不同于所述第二传感器的感测范 围。
[0029] 在另一方面，提供了一种用于在环境内控制无人飞行器的系统。所述系统包括： 第一传感器，其由所述无人飞行器携带并且被配置用于生成关于所述环境的第一感测信 号；第二传感器，其由所述无人飞行器携带并且被配置用于生成关于所述环境的第二感测 信号，所述第二传感器和所述第一传感器是不同的传感器类型；W及一个或多个处理器。所 述一个或多个处理器可被单个地或共同地配置用于：接收所述第一感测信号和第二感测信 号；使用所述第一感测信号来生成第一环境地图并使用所述第二感测信号来生成第二环境 地图，所述第一环境地图和第二环境地图各自包含所述环境的障碍物占据信息；W及组合 所述第一环境地图和第二环境地图，从而生成包含所述环境的障碍物占据信息的最终环境 地图。
[0030] 在另一方面，提供了一种用于在环境内控制无人飞行器的方法。所述方法包括：使 用由所述无人飞行器携带的多个传感器中的至少一个传感器来确定所述无人飞行器的初 始位置；生成第一信号W使所述无人飞行器在所述环境内航行；使用所述多个传感器中的 所述至少一个传感器来接收关于所述环境的感测数据；接收返航至所述初始位置的指令； W及生成第二信号W使所述无人飞行器沿着路径返航至所述初始位置，其中当所述多个传 感器中的所述至少一个传感器检测到位于沿着所述路径的所述环境中的障碍物时，修改所 述路径W避开所述障碍物。
[0031] 在一些实施方式中，所述无人飞行器是旋翼航空器。所述无人飞行器可W不超过 IOkg重。所述无人飞行器的最大尺寸可W不超过1.5m。所述无人飞行器可被配置用于在 不超过400m的高度上飞行。可选地，所述无人飞行器可被配置用于检测限制飞行区域的存 在，并且不在所述限制飞行区域的预定距离内飞行。所述限制飞行区域可W是机场。
[0032] 在一些实施方式中，所述环境可W是室内环境或低空环境。
[0033] 在一些实施方式中，所述多个传感器可W包括全球定位系统（GP巧传感器、视觉 传感器或距离传感器。所述距离传感器可W包括W下至少一种：激光雷达传感器、超声传感 器或飞行时间相机传感器。所述多个传感器可W包括多种不同的传感器类型。
[0034] 在一些实施方式中，所述环境地图可W包括拓扑地图或尺度地图。所述尺度地图 可W包括W下至少一种：点云、3D网格地图、2D网格地图或2.抓网格地图。可选地，所述尺 度地图可W包括占据网格地图。
[0035] 在一些实施方式中，所述路径包括由所述可移动物体先前行进过的一个或多个部 分。所述路径可W不同于由所述可移动物体先前行进过的路径。可选地，所述路径可W是 所述可移动物体的飞行路径。所述路径可W包括所述可移动物体的空间位置和定向。
[0036] 在另一方面，提供了一种用于在环境内控制无人飞行器的系统。所述系统可W包 括：由所述可移动物体携带的多个传感器W及一个或多个处理器。所述一个或多个处理器 可被单个地或共同地配置用于：使用由所述无人飞行器携带的多个传感器中的至少一个传 感器来确定所述可移动物体的初始位置；生成第一信号W使所述无人飞行器在所述环境内 航行；使用所述多个传感器中的所述至少一个传感器来接收关于所述环境的感测数据；接 收返航至所述初始位置的指令；W及生成第二信号W使所述无人飞行器沿着路径返航至所 述初始位置，其中当所述多个传感器中的所述至少一个传感器检测到位于沿着所述路径的 所述环境中的障碍物时，修改所述路径W避开所述障碍物。
[0037] 在另一方面，提供了一种用于生成环境的地图的方法。所述方法包括：从由无人飞 行器携带的一个或多个视觉传感器接收第一感测数据，所述第一感测数据包含所述环境的 深度信息；从由所述无人飞行器携带的一个或多个距离传感器接收第二感测数据，所述第 二感测数据包含所述环境的深度信息；W及使用所述第一感测数据和第二感测数据来生成 包含所述环境的深度信息的环境地图。
[0038] 在一些实施方式中，所述第一感测数据和第二感测数据各自包括具有多个像素的 至少一个图像，所述多个像素中的每个像素与二维图像坐标和深度值相关联。所述多个像 素中的每个像素可W与色值相关联。所述第一感测数据和第二感测数据可W各自包含所述 环境中的一个或多个物体的轮廓信息。
[0039] 在一些实施方式中，所述方法进一步包括：至少部分地基于所述环境地图中的深 度信息，生成信号W使所述无人飞行器在所述环境内导航。
[0040] 在一些实施方式中，所述无人飞行器是旋翼航空器。所述无人飞行器可W不超过 IOkg重。所述无人飞行器的最大尺寸可W不超过1.5m。所述无人飞行器可被配置用于在 不超过400m的高度上飞行。可选地，所述无人飞行器可被配置用于检测限制飞行区域的存 在，并且不在所述限制飞行区域的预定距离内飞行。所述限制飞行区域可W是机场。
[0041] 在一些实施方式中，所述环境可W是室内环境或低空环境。
[0042] 在一些实施方式中，所述一个或多个视觉传感器仅包括一个相机。或者，所述一个 或多个视觉传感器可W包括两个或更多个相机。所述一个或多个距离传感器可W包括至少 一个超声传感器或至少一个激光雷达传感器。所述第一感测数据可W包括第一组深度图 像而所述第二感测数据可W包括第二组深度图像。生成所述环境地图可W包括：辨别存在 于所述第一组深度图像中的第一多个特征点；辨别存在于所述第二组深度图像中的第二多 个特征点，所述第二多个特征点中的每个特征点对应于所述第一多个特征点中的一个特征 点；确定所述第一多个特征点与第二多个特征点之间的对应；W及基于所述对应，通过组 合所述第一组深度图像和第二组深度图像而生成所述环境地图。
[0043] 在一些实施方式中，相对于第一坐标系提供所述第一感测数据并且相对于与所述 第一坐标系不同的第二坐标系提供所述第二感测数据。生成所述环境地图可W包括相对于 第=坐标系来表示所述第一感测数据和第二感测数据。所述第=坐标系可W是所述第一坐 标系或所述第二坐标系。或者，所述第=坐标系可W不同于所述第一坐标系和所述第二坐 柄系。
[0044] 在一些实施方式中，所述环境地图可W包括拓扑地图或尺度地图。所述尺度地图 可W包括W下至少一种：点云、3D网格地图、2D网格地图或2.抓网格地图。可选地，所述尺 度地图可W包括占据网格地图。
[0045] 在另一方面，提供了一种用于生成环境的地图的系统。所述系统可W包括：一个或 多个视觉传感器，其由无人飞行器携带并且被配置用于生成第一感测数据，所述第一感测 数据包含所述环境的深度信息；一个或多个距离传感器，其由所述无人飞行器携带并且被 配置用于生成第二感测数据，所述第二感测数据包含所述环境的深度信息；W及一个或多 个处理器。所述一个或多个处理器可被单个地或共同地配置用于：接收所述第一感测数据 和第二感测数据；W及使用所述第一感测数据和第二感测数据来生成包含所述环境的深度 信息的环境地图。
[0046] 应当明白，本发明的不同方面可W被单独地、共同地或彼此结合地理解。本文所描 述的本发明的各个方面可W适用于下文阐述的任何特定应用或者适用于任何其他类型的 可移动物体。本文对飞行器的任何描述均可适用于和用于任何可移动物体，诸如任何载具。 另外，本文在空中运动（例如，飞行）的情景下公开的系统、设备和方法还可W适用于其他 类型运动的情景下，诸如在地面上或在水上的移动、水下运动或者在太空中的运动。此外， 本文对旋翼或旋翼总成的任何描述均可适用于和用于任何被配置用于通过旋转而生成推 进力的推进系统、设备或机构（例如，螺旋奖、轮子、轮轴）。
[0047] 通过考察说明书、权利要求书和附图，本发明的其他目标和特征将会变得显而易 见。
[0048] 操引并入
[0049] 本说明书中所提及的所有出版物、专利和专利申请均通过引用而并入于此，其程 度犹如具体地和个别地指出要通过引用而并入每一个别出版物、专利或专利申请。
【附图说明】
[0050] 在所附权利要求书中具体阐述了本发明的新颖特征。通过参考对在其中利用到本 发明原理的说明性实施方式加 W阐述的W下详细描述和附图，将会对本发明的特征和优点 获得更好的理解；在附图中：
[0051] 图IA图示了根据实施方式中的在户外环境中操作的UAV ;
[0052] 图IB图示了根据实施方式中的在室内环境中操作的UAV ;
[0053] 图2A图示了根据实施方式中的用于使用传感器融合来估计UAV姿态的方案；
[0054] 图2B图示了根据实施方式中的用于使用传感器融合来估计UAV位置和速度的方 案；
[0055] 图3A图示了根据实施方式中的用于使用传感器融合来进行环境地图构建的方 案；
[0056] 图3B图示了根据实施方式中的用于使用传感器融合来生成环境地图的方法；
[0057] 图4图示了根据实施方式中的用于使用不同传感器类型来进行环境地图构建的 方法；
[005引图5图示了根据实施方式中的用于控制UAV W躲避障碍物的方法；
[0059] 图6图示了根据实施方式中的用于控制UAV W返航至初始位置的方法；
[0060] 图7图示了根据实施方式中的用于控制UAV在避开障碍物的同时返航至初始位置 的方法；
[0061] 图8A和图8B图示了根据实施方式中的用于使用航点来控制UAV W返航至初始位 置的算法；
[0062] 图9A和图9B图示了根据实施方式中的用于使用拓扑地图来控制UAV W返航至目 标位置的算法；
[0063] 图10图示了根据实施方式中的UAV ;
[0064] 图11图示了根据实施方式中的包括载体和载荷的可移动物体；W及 阳0化]图12图示了根据实施方式中的用于控制可移动物体的系统。
【具体实施方式】
[0066] 本公开内容提供了用于控制诸如无人飞行器OJAV)等可移动物体的系统和方法。 在一些实施方式中，UAV可适于携带被配置用于收集环境数据的多个传感器。其中的一些 传感器可W是不同类型（例如，与距离传感器组合使用的视觉传感器）。由所述多个传感 器获取的数据可W组合W生成表示周围环境的环境地图。在一些实施方式中，环境地图可 W包括关于环境中物体（诸如物体或障碍物）位置的信息。UAV可W使用所生成的地图来 执行各种操作，其中一些可W是半自动化的或全自动化的。例如，在一些实施方式中，环境 地图可W用于自动为UAV确定一个飞行路径，W从其当前位置航行至目标位置。又例如，环 境地图可W用于确定一个或多个障碍物的空间排列，并从而使得UAV能够执行避障机动。 有利地，如本文所公开的用于收集环境数据的多种传感器类型的使用可W提高环境地图构 建的准确度，即使是在多样化的环境和操作条件下亦如此，从而增强诸如导航和避障等UAV 功能性的稳健性和灵活性。
[0067] 本文提供的实施方式可适用于各种类型的UAV。例如，UAV可W是不超过IOkg重 和/或具有不超过1. 5m的最大尺寸的小型UAV。在一些实施方式中，UAV可W是旋翼航空 器，诸如由多个螺旋奖推动W在空中移动的多旋翼航空器（例如，四轴飞行器）。下文进一 步详述了适合随本文介绍的实施方式一起使用的UAV和其他可移动物体的附加示例。
[0068] 本文所描述的UAV可W完全自主地（例如，通过诸如机载控制器等合适的计算系 统）、半自主地或者手动地（例如，由人类用户）操作。UAV可W从合适的实体（例如，人 类用户或自主控制系统）接收命令并通过执行一个或多个动作来响应运样的命令。例如， 可W控制UAV从地面起飞、在空中移动（例如，W多达=个平移自由度和多达=个旋转自由 度）、移动至目标位置或一系列目标位置、在空中悬停、降落在地面上等。又例如，可W控制 UAV W指定速度和/或加速度（例如，W多达S个平移自由度和多达S个旋转自由度）或者 沿着指定移动路径移动。此外，所述命令可W用于控制一个或多个UAV部件，诸如本文所描 述的部件（例如，传感器、致动器、推进单元、载荷等）。例如，一些命令可W用于控制诸如相 机等UAV载荷的位置、方向和/或操作。可选地，UAV可被配置用于根据一个或多个预定操 作规则来操作。所述操作规则可W用于控制UAV的任何合适的方面，诸如UAV的位置（例 如，缔度、经度、高度）、方向（例如，横滚、俯仰、偏航）、速度（例如，平移和/或角度）和/ 或加速度（例如，平移和/或角度）。例如，可W设计操作规则W使得不允许UAV飞到阔值 高度之外，例如，UAV可被配置成在距地面不超过400m的高度上飞行。在一些实施方式中， 操作规则可适于提供自动化机制，用于提高UAV的安全性并防止安全事故。例如，UAV可被 配置用于检测限制飞行区域（例如，机场）并且不在该限制飞行区域的预定距离内飞行，从 而避免与飞行器和其他障碍物的潜在碰撞。 W例现转到附图，图IA图示了根据实施方式中的在户外环境100中操作的UAV 102。 户外环境100可W是城市、郊区或乡村环境或者是不至少部分地位于建筑物内的任何其他 环境。UAV 102可W相对靠近地面104(例如，低空）或者相对远离地面104(例如，高空） 而操作。例如，在距地面小于或等于约IOm处操作的UAV 102可被认为是在低空，而在距地 面大于或等于约IOm处操作的UAV 102可被认为是在高空。
[0070] 在一些实施方式中，户外环境100包括一个或多个障碍物108a-障碍物108d。障 碍物可W包括可阻碍UAV 102移动的任何物体或实体。一些障碍物（例如，障碍物108a、 108d)可能位于地面104上，诸如建筑物、地面载具（例如，轿车、摩托车、卡车、自行车）、人 类、动物、植物（例如，树木、灌木）和其他人造或自然构造物。一些障碍物可能与地面104、 水、人造构造物或自然构造物相接触和/或由其所支撑。或者，一些障碍物（例如，障碍物 108b、108c)可能完全位于空中106,包括飞行器（例如，飞机、直升机、热气球、其他UAV)或 鸟类。空中障碍物可能不由地面104或由水或由任何自然或人造构造物所支撑。位于地面 104上的障碍物可能包括显著延伸至空中106的部分（例如，高层建筑物诸如塔、摩天大楼、 灯柱、无线电发射塔、输电线、树木等）。 阳071] 图IB图示了根据实施方式中的在室内环境150中操作的UAV 152。室内环境150 位于建筑物154的内部中，其具有地板156、一面或多面墙壁158 W及/或者天花板或屋顶 160。示例性建筑物包括住宅、商业或工业建筑物，诸如房屋、公寓、办公楼、生产设施、仓储 设施等。建筑物154的内部可由地板156、墙壁158和天花板160完全封闭，使得UAV 152 被约束到室内空间。相反地，可能不存在地板156、墙壁158或天花板160中的至少一个，从 而使得UAV 152能够从内部飞到外部，或者反之亦然。备选地或组合地，在地板156、墙壁 158或天花板160中可能形成一个或多个缺口 164(例如，n、窗、天窗）。
[0072] 类似于户外环境100,室内环境150可能包含一个或多个障碍物162a-障碍物 162d。一些障碍物可能位于地板156上（例如，障碍物162a)，诸如家具、电器用具、人类、动 物、植物或者其他人造物体或自然物体。相反地，一些障碍物可能位于空中（例如，障碍物 16化），诸如鸟类或其他UAV。室内环境150中的一些障碍物可由其他构造物或物体所支撑。 障碍物还可附着于天花板160 (例如，障碍物162c)，诸如灯具、吊扇、屋梁或其他安装在天 花板上的电器用具或构造物。在一些实施方式中，障碍物可能附着于墙壁158(例如，障碍 物162d)，诸如灯具、搁架、楓柜或其他安装在墙壁上的电器用具或构造物。值得注意的是， 建筑物154的构造物组件也可被认为是障碍物，包括地板156、墙壁158和天花板160。
[0073] 本文所描述的障碍物可能是基本上静止的（例如，建筑物、植物、构造物）或者是 基本上移动的（例如，人类、动物、载具，或者其他能够移动的物体）。一些障碍物可能包括 静止组件和移动组件的组合（例如，风车）。移动障碍物或障碍物组件可W根据预定的或 可预测的路径或模式而移动。例如，轿车的移动可能是相对可预测的（例如，根据道路的形 状）。或者，一些移动障碍物或障碍物组件可W沿着随机的轨迹或W其他方式不可预测的轨 迹移动。例如，诸如动物等生物可能按相对不可预测的方式移动。
[0074] 为了确保安全和有效的操作，为UAV提供用于检测和辨别诸如障碍物等环境物体 的机制可能是有益的。此外，对诸如地标和特征等环境物体的识别可促进导航，特别是当 UAV W半自主或全自主方式操作时尤为如此。此外，对UAV在环境内的精确位置及其与周围 环境物体的空间关系的了解对于多种UAV功能性可能是有价值的。
[00巧]因此，本文所描述的UAV可W包括一个或多个传感器，所述传感器被配置用于收 集相关数据，诸如与UAV状态、周围环境或者该环境内的物体有关的信息。适用于本文所 公开的实施方式的示例性传感器包括位置传感器（例如，全球定位系统（GP巧传感器、支 持位置=角测量法的移动设备发射器）、视觉传感器（例如，能够检测可见光、红外光或紫 外光的成像设备，诸如相机）、距离或范围传感器（例如，超声传感器、激光雷达、飞行时间 相机）、惯性传感器（例如，加速度计、巧螺仪、惯性测量单元（IMUs))、高度传感器、姿态传 感器（罗盘）、压力传感器（例如，气压计）、音频传感器（例如，麦克风）或场传感器（例 如，磁力计、电磁传感器）。可W使用任何合适数目和组合的传感器，诸如一个、两个、=个、 四个、五个或更多个传感器。可选地，可W从不同类型（例如，两种、=种、四种、五种或更多 种类型）的传感器接收数据。不同类型的传感器可W测量不同类型的信号或信息（例如， 位置、方向、速度、加速度、距离、压力等）W及/或者利用不同类型的测量技术来获取数据。 例如，传感器可W包括主动式传感器（例如，生成和测量来自其自身能源的能量的传感器） 和被动式传感器（例如，检测可用能量的传感器）的任何合适的组合。又例如，一些传感器 可W生成依据全局坐标系提供的绝对测量数据（例如，由GI^传感器提供的位置数据、由罗 盘或磁力计提供的姿态数据），而其他传感器可W生成依据局部坐标系提供的相对测量数 据（例如，由巧螺仪提供的相对角速度；由加速度计提供的相对平移加速度；由视觉传感器 提供的相对姿态信息；由超声传感器、激光雷达或飞行时间相机提供的相对距离信息）。在 一些情况下，局部坐标系可W是相对于UAV定义的机体坐标系。
[0076] 本文所描述的传感器可由UAV携带。传感器可位于UAV的任何合适的部分，诸如 在UAV上部、底部、一个或多个侧面上或在机体内。一些传感器可W机械禪合至UAV，W使得 UAV的空间安排和/或运动对应于传感器的空间排列和/或运动。传感器可经由刚性禪合 而禪合至UAV，W使得该传感器不相对于其所附着至的UAV的部分而移动。或者，传感器与 UAV之间的禪合可W允许该传感器相对于UAV的移动。禪合可W是永久禪合或非永久（例 如，可拆卸）禪合。合适的禪合方法可W包括粘合剂、粘结、焊接和/或紧固件（例如，螺钉、 钉、销等）。可选地，传感器可与UAV的一部分一体形成。此外，传感器可W与UAV的一部 分（例如，处理单元、控制系统、数据存储）电禪合，W便使得由传感器收集的数据能够用于 UAV的各种功能（例如，导航、控制、推进、与用户或其他设备通信等），诸如本文所讨论的实 施方式。
[0077] 传感器可被配置用于收集各种类型的数据，诸如与UAV、周围环境或该环境内的物 体有关的数据。例如，至少一些传感器可被配置用于提供关于UAV的状态的数据。由传感 器提供的状态信息可W包括关于UAV的空间排列的信息（例如，诸如经度、缔度和/或高度 等地点或位置信息；诸如横滚、俯仰和/或偏航等方向或姿态信息）。状态信息还可W包括 关于UAV的运动的信息（例如，平移速度、平移加速度、角速度、角加速度等）。例如，传感器 可被配置用于确定UAV关于多达六个自由度（例如，=个位置和/或平移自由度、=个方向 和/或旋转自由度）的空间排列和/或运动。可W相对于全局坐标系或相对于局部坐标系 (例如，相对于UAV或另一实体）来提供状态信息。例如，传感器可被配置用于确定UAV与 控制该UAV的用户之间的距离，或者UAV与该UAV的飞行起始点之间的距离。
[007引由传感器获取的数据可W提供各种类型的环境信息。例如，传感器数据可W是环 境类型的指示，诸如室内环境、户外环境、低空环境或高空环境。传感器数据还可W提供关 于当前的环境状况的信息，包括天气（例如，晴朗、下雨、下雪）、能见度状况、风速、当日时 间等。此外，由传感器收集的环境信息可W包括关于该环境中物体（诸如本文所描述的障 碍物）的信息。障碍物信息可W包括关于环境中障碍物的数目、密度、几何结构和/或空间 排列的信息。
[0079] 在一些实施方式中，通过组合由多个传感器获取的传感器数据（亦称为"传感器 融合"）来生成感测结果。例如，传感器融合可W用于组合由不同的传感器类型获取的感测 数据，所述不同传感器类型包括GI^传感器、惯性传感器、视觉传感器、激光雷达、超声传感 器等。又例如，传感器融合可W用于组合不同类型的感测数据，诸如绝对测量数据（例如， 相对于全局坐标系而提供的数据，诸如GI^数据）和相对测量数据（例如，相对于局部坐标 系而提供的数据，诸如视觉感测数据、激光雷达数据或超声感测数据）。传感器融合可W用 于补偿与单个传感器类型相关联的局限性或误差，从而提高最终感测结果的准确度和可靠 性。
[0080] 图2A图示了根据许多实施方式中的用于使用传感器融合来估计UAV姿态的方案 200。虽然图2A的实施方式设及对UAV偏航角的估计，但应当理解，方案200中描述的方法 还可适用于对UAV的横滚角或俯仰角的估计。方案200利用IMU 202、至少一个相对定向传 感器204和磁力计206。IMU 202和磁力计206可W用于提供对UAV偏航角208、210的相 应的绝对估计。相对定向传感器204可W是提供关于局部坐标系（例如，UAV机体坐标系） 而不是全局坐标系的姿态信息的任何传感器。示例性相对定向传感器包括视觉传感器、激 光雷达、超声传感器W及飞行时间或深度相机。可W分析相对定向传感器数据W便提供对 偏航率212和相对偏航角214的估计。
[0081] 在相对定向传感器204是被配置用于捕捉图像序列（"帖"）的视觉传感器的实 施方式中，可W使用选自所述序列的一个或多个图像（"关键帖"）来确定偏航率212和偏 航角214。可W使用任何合适的方法来选择关键帖。例如，可W按预定间隔来选择关键帖， 诸如按预定时间间隔、预定距离间隔、预定位移间隔、预定姿态间隔或者关键帖之间的预定 平均视差间隔。又例如，可W基于连续的关键帖之间的关系（例如，关键帖之间的重叠面积 量）来选择关键帖。可选地，可W基于本文所提供的参数的组合来选择关键帖。在一些实 施方式中，至少一些关键帖可W包括连续的图像帖。或者，关键帖可W不包括任何连续的图 像帖。后一种方法在减少存在于连续关键帖中的估计误差的传播方面可能是有利的。
[0082] 可W使用任何合适数目的关键帖，诸如一个、两个、=个、四个或更多个关键帖，来 估计给定时间处的偏航率212和偏航角214。可W使用任何合适的方法（诸如图像分析） 来确定偏航率212和偏航角214。在一些实施方式中，可W假定W不同偏航角捕捉同一场 景的两个关键帖将会有所不同。可W通过数学建模技术来确定不同的关键帖之间的偏航 角。例如，可W通过辨别和匹配存在于全部两个关键帖中的特征点来确定关键帖之间的差 异。基于全部两个关键帖中特征点的坐标，可W确定两个关键帖的相似变换矩阵，并且从该 相似变换矩阵获取偏航角212。继而可W使用偏航角214 W及两个关键帖之间的时间间隔 来计算偏航率212。
[0083] 可W融合由传感器202、204、206提供的绝对估计值和相对估计值（例如，使用扩 展卡尔曼滤波器216或者其他类型的卡尔曼滤波器），W便提供最终偏航角结果218。可W 实施任何合适的方法W便融合所述估计值。例如，可W将偏航率估计值212的积分与相对 偏航角估计值214融合，W便更新相对偏航角估计值214。可W将相对偏航角估计值214分 别与来自IMU 202和磁力计206的绝对偏航角估计值208、210相融合，W确定UAV的偏航 角。可W提供最终偏航角结果218作为相对偏航角（例如，相对于UAV的机体坐标系）或 者作为绝对偏航角。如前文所述，不同类型的测量数据的组合可W提高最终结果218的准 确度。例如，在由磁力计206提供的数据不满足要求的情况下（例如，由于外部磁场），对来 自IMU 202和/或相对定位传感器204的数据的使用可W减少磁力计误差对最终结果的影 响程度。
[0084] 图2B图示了根据实施方式中的用于使用传感器融合来估计UAV位置和速度的方 案250。方案250利用IMU 252、至少一个相对位置和/或速度传感器254 W及GPS传感器 256。IMU 252可W提供对UAV加速度258的估计。GPS传感器256可W提供对UAV 260的 绝对位置的估计。可W使用相对位置和/或速度传感器254 (例如，视觉传感器、激光雷达、 超声传感器、飞行时间或深度相机或者任何其他提供相对位置和/或速度信息的传感器） 来获取对UAV速度262和相对UAV位置264的估计。类似于图2A的相对定向传感器204， 在其中相对位置和/或速度传感器254是视觉传感器的实施方式中，可W基于由该视觉传 感器获取的一个或多个关键帖来确定速度和相对位置估计值262、264。例如，可W使用图像 分析和数学建模来评估连续关键帖之间的差异，并从而确定将会产生运些差异的UAV的平 移移动。继而可W基于关键帖之间经过的时间来估计UAV速度。
[0085] 可W使用扩展卡尔曼滤波器266或者其他合适的卡尔曼滤波器类型来融合由传 感器252、254和256提供的估计值，从而获取UAV的最终位置和速度结果268。例如，可W 将加速度估计值258的积分与UAV速度估计值262相融合，W便确定UAV速度。可W将所 确定的UAV速度的积分与相对位置估计值264和绝对位置估计值260相融合，W便确定UAV 位置。可W相对于局部坐标系或全局坐标系来表示位置和速度结果268。
[0086] 可选地，利用卡尔曼滤波器266的传感器融合还可W用于确定校准数据，W用于 在相对速度和/或位置传感器254的局部坐标系与IMU252和GPS 256的全局坐标系之间 进行转换。校准数据可W用于将IMU252和/或GPS 256所获取的绝对感测数据映射到传 感器254所获取的相对感测数据上，或者反之亦然。例如，IMU 252和/或GPS 256可W用 于W绝对坐标确定UAV行进的路径，而相对传感器254可W用于获取指示UAV在相对坐标 中行进的路径的感测数据。本文提供的传感器融合方法可适用于确定将绝对路径数据投射 到相对路径数据上所需的校准参数（例如，比例因子、旋转、平移），或者反之亦然。例如，可 W通过数学建模来表示校准参数、绝对路径数据和相对路径数据之间的关系。继而可W将 传感器所获取的绝对路径数据和相对路径数据输入到模型中W便求解校准参数。本文所描 述的绝对路径数据和相对路径数据的组合可W用于提高路径确定的准确度，从而改善UAV 航行。
[0087] 本文所描述的传感器融合方法可适用于提供对UAV状态W及环境信息的更准确 的估计值。在一些实施方式中，对UAV状态信息和环境信息的估计可W如此相互依赖，使得 UAV状态信息用于估计环境信息，并且反之亦然。例如，一些传感器可W用于获取绝对环境 信息，而其他传感器可W用于获取相对环境信息。可W基于关系/?pf'+r=乂， 将绝对环境信息投影到相对环境信息上（或者反之亦然），其中R表示全局坐标系与局部坐 标系之间的旋转矩阵，并且T表示从全局坐标系的原点到局部坐标系的原点的平移矢量。 在一些实施方式中，关于UAV的机体坐标系提供/7,6 t W便可W分别基于UAV的位置和定 向而确定T和R。因此，可W使用UAV位置和方向信息来组合绝对环境数据和相对环境数 据，从而生成环境信息的估计值。相反地，绝对环境数据和相对环境数据可W用于使用上述 关系来估计UAV位置和方向。可W迭代该方法，W便提供UAV状态和环境信息的更新的估 计值。
[0088] 在一些实施方式中，传感器数据可W用于生成环境或者其至少一部分环境的表 示。运样的表示在本文中可称为"环境地图"。环境地图可W表示紧邻UAV的环境的部分 (局部地图），或者还可W表示相对远离UAV的部分（全局地图）。例如，局部地图可W表 不距UAV约2m、5m、10m、15m、20m、25m或50m的半径内的环境部分。全局地图可W表不距 UAV 约 25m、50m、75m、100m、125m、150m、200m、225m、250m、300m、400m、500m、1000m、2000m 或 5000m的半径内的部分。基于用W生成地图的传感器的有效范围，可W确定环境地图的大 小。传感器的有效范围可W根据传感器类型而变化。例如，视觉传感器可W用于检测距UAV 约10m、15m、20m或25m的半径内的物体。激光雷达传感器可W用于检测距UAV约2m、5m、 8m、IOm或15m的半径内的物体。超声传感器可W用于检测距UAV约2m、5m、8m、IOm或15m 的半径内的物体。在一些实施方式中，环境地图可W仅表示UAV先前行进过的部分。或者， 在其他实施方式中，环境地图还可W表示UAV尚未行进过的环境部分。
[0089] 环境地图可W用于表示各种类型的环境信息。例如，地图可W提供指示出诸如障 碍物、构造物、地标或特征等环境物体的几何结构（例如，长度、宽度、高度、厚度、形状、表 面积、体积）、空间排列（例如，位置、方向）和类型的信息。又例如，地图可W提供指示出环 境的哪些部分被阻挡（例如，不可由UAV穿过）W及哪些部分未被阻挡（例如，可由UAV穿 过）的信息。此外，地图可W提供关于UAV相对于各个环境物体的当前位置和/或其空间 排列的信息。
[0090] 可W使用任何合适类型的环境地图，诸如尺度地图或拓扑地图。拓扑地图可W描 绘环境内的位置之间的连通性，而尺度地图可W描绘环境内的物体的几何结构。可选地，环 境地图可W包括尺度信息和拓扑信息的组合。例如，环境地图可W描绘环境物体和/或位 置之间的连通性W及绝对空间关系（例如，距离）。备选地或组合地，地图的一些部分可 W 按拓扑描绘，而其他部分可W按尺度描绘。
[0091] 可W W任何合适的格式提供环境地图。例如，可W作为具有表示位置的顶点和表 示位置之间的路径的边的图表来提供拓扑环境地图。拓扑环境地图的边可W与对应路径 的距离信息相关联。尺度环境地图可W是描绘环境位置和物体的空间坐标的任何表示，如 点云、拓扑地图、2D网格地图、2. 5D网格地图或3D网格地图。所述空间坐标可W是3D坐标 (例如，x、y和Z坐标），其表示环境物体的表面上的点的空间位置。在一些实施方式中，尺 度环境地图可W是占据网格地图。占据网格地图可W将环境表示成多个容积体。所述体积 可W具有相同的大小或者具有不同的大小。占据网格地图可W针对每个体积指示出该体积 是否基本上被障碍物占据，从而提供对环境内被阻挡的和未被阻挡的空间的精确表示。
[0092] 可W使用任何合适的方法来生成本文所描述的环境地图。例如，环境地图的一个 或多个部分可W在UAV操作期间（例如，飞行期间）生成，诸如通过使用同时定位与地图构 建（SLAM)或者其他机器人地图构建技术来生成。或者，可W在UAV操作之前生成所述地 图的一个或多个部分，并在飞行之前或飞行期间将其提供给UAV(例如，从远程计算系统传 输）。可W基于由UAV在飞行期间获取的数据来修改运样的地图，从而提供对地图数据的进 一步精化。
[0093] 在一些实施方式中，可W使用传感器融合来执行环境地图构建，W组合由多个传 感器类型收集到的环境信息。该方法可W有利于补偿单个传感器类型的局限性。例如，当 UAV处于室内环境中时，GI^感测数据可W是不准确的或者不可用的。视觉传感器可能未针 对检测透明物体（例如，玻璃）或者针对相对较暗的环境（例如，夜间）而优化。在一些实 施方式中，相比于其他传感器类型，激光雷达传感器可能具有相对较短的检测范围。本文所 描述的多传感器融合的使用可W在多样化环境类型和操作条件下提供准确的地图构建，从 而提高UAV操作的稳健性和灵活性。
[0094] 图3A图示了根据实施方式中的用于使用传感器融合来进行环境地图构建的方案 300。方案300可W用于生成本文所描述的环境地图的任何实施方式。在方案300中，感测 数据从多个传感器302接收。所述多个传感器302可W包括一种或多种不同的传感器类型。 传感器302可由UAV携带，例如，禪合至UAV的机身。可选地，可W对来自每个传感器302 的感测数据进行预处理，W通过滤波、降噪、图像崎变校正等来提高数据质量。在一些实施 方式中，可W相对于相应的坐标系来表示由每个传感器302提供的感测数据（例如，基于相 对于UAV机身的传感器位置和方向）。因此，可W通过将所有的感测数据转换至单一坐标系 304中而组合来自每个传感器的感测数据。例如，可W将相对于局部坐标系提供的感测数据 转换至全局坐标系，或者反之亦然。坐标系转换304可W基于传感器校准数据306而得W 完成。可W使用任何合适的技术来执行传感器校准，并且可W在UAV的操作之前（离线校 准）或者在UAV的操作期间（在线校准）执行。在一些实施方式中，传感器校准设及确定 传感器302的外部参数，诸如每个传感器302之间的空间关系（例如，相对位置和方向）。 继而可W基于所确定的传感器参数，来确定用于将感测数据转化至单一坐标系中的转换计 算。
[00巧]在坐标系转换304之后，继而可W使用传感器融合308来组合经转换的感测数据 W获取单一感测结果。可W使用各种技术来执行传感器融合，诸如卡尔曼滤波（例如，卡尔 曼滤波器、扩展卡尔曼滤波器、无迹卡尔曼滤波器）、粒子滤波或者本领域技术人员已知的 其他滤波技术。所使用的方法可W根据所使用的传感器的特定组合和类型而有所变化。在 一些实施方式中，传感器融合308可W利用来自所有传感器302的感测数据。相反地，传感 器融合308可W利用仅来自传感器302的子集的数据。后一种方法可W有利于忽略不充分 的或不可靠的传感器数据（例如，当UAV在室内时的GI^感测数据）。经融合的感测数据继 而可W用于环境地图生成310。
[0096] 可W基于来自传感器的任何合适组合的感测数据，来执行环境地图构建。例如， 在一些实施方式中，本文所描述的地图构建方法由携带激光雷达传感器和视觉传感器（例 如，诸如单相机等单目视觉传感器）的UAV来执行。激光雷达传感器可W用于获取环境物 体相对于UAV的距离数据，而视觉传感器可W用于捕捉周围环境物体的图像数据。用于激 光雷达和视觉传感器的传感器校准数据可W包括指示出激光雷达与视觉传感器之间的空 间关系的传感器参数。例如，对于由激光雷达传感器确定为距UAV为距离Mi,并且对应于由 视觉传感器捕捉的图像数据中的坐标Hii处的环境物体，Hii与Mi之间的关系可W由下式表 示：
[0097] SiIIii=K(Rit)Mi
[0098] 其中R为旋转矩阵，t为变换矩阵，Si为未知标量，并且K为视觉传感器的内部矩 阵（由先前的校准所确定的内部参数）。在上述方程中，Ml、Hii和K是已知的，而R和t是 未知的。如果已经进行了 N次测量，则由于R和t是恒定的（激光雷达传感器和视觉传感 器的相对位置和方向是固定的），因此问题是n点透视（PN巧问题并且可W使用本领域技术 人员已知的技术来求解，W便获得传感器参数R和t。
[0099] 一旦已经获取传感器校准数据，则可W将激光雷达感测数据和视觉感测数据转换 至同一坐标系（"世界"坐标系）中：
[0100] JW =化JV,巧化 0)巧，(知化，(祖)巧，…！。 阳101] X"为相对于世界坐标系的数据（其对应于本实施方式中的视觉传感器坐标系）， X?"为相对于世界坐标系的视觉感测数据，为相对于视觉传感器坐标系的视觉感测数 据，Zf为相对于世界坐标系的激光雷达感测数据，Xf为相对于激光雷达传感器坐标系的 激光雷达感测数据，并且献呀日t 为用于在视觉传感器坐标系与激光雷达传感器坐标系之 间进行转换的旋转矩阵和变换矩阵（对应于上述R和t)。E为对角矩阵 阳 102]
阳103] 其中S为未知的比例因子。
[0104] 继而可W使用传感器融合技术来组合经转换的感测数据。例如，相对于视觉坐标 系的视觉感测数据与相对于世界坐标系的视觉感测数据义之间的关系可W由下式表 示：
[0105] 邱' =S巧。
[0106] 使用激光雷达感测数据，可W获取沿着激光雷达传感器的感测方向CZf 上最 靠近UAV的点（表示为点i)。因此，由于
[0107] 織=牌Of =公脚),. 阳1〇8]并且巧f 和(巧）f是已知的（由于=巧肌，t肌)巧），可W确定S的 值。因此，局部传感器数据Zf和又f可W转换成相应的世界坐标《f和并且融合W生 成单一结果X"。经融合的数据继而可W用于生成UAV周围环境的地图。
[0109] 图3B图示了根据实施方式中的用于使用传感器融合来生成环境的地图的方法 350。方法350可W由本文提供的任何系统和设备来执行，诸如由UAV的一个或多个处理器 来执行。
[0110] 在步骤360中，从一个或多个视觉传感器接收第一感测数据，所述第一感测数据 包括环境的深度信息。例如，视觉传感器可W仅包括一个相机（单目视觉传感器）。或者， 视觉传感器可W包括两个（双目视觉传感器）或更多个相机。视觉传感器可W由UAV携带， 诸如由UAV机身携带。在使用多个视觉传感器的实施方式中，每个传感器可W位于UAV的 不同部分上，并且由每个传感器收集到的图像数据之间的视差可W用于提供环境的深度信 息。本文中可W使用深度信息来指代关于一个或多个物体距UAV和/或传感器的距离的信 息。在使用单一视觉传感器的实施方式中，可W通过捕捉针对视觉传感器多个不同位置和 方向的图像数据并继而使用合适的图像分析技术（例如，运动中恢复结构）重建深度信息， 来获取深度信息。 阳111] 在步骤370中，从一个或多个距离传感器接收第二感测数据，所述第二感测数据 包括环境的深度信息。距离传感器可W包括至少一个超声传感器（例如，广角传感器、阵列 传感器）和/或至少一个激光雷达传感器。在一些实施方式中，相比于其他类型的超声传 感器，超声阵列传感器可W提供更好的检测准确度。距离传感器也可W由UAV携带。距离 传感器可W位于视觉传感器附近。可选地，距离传感器可W位于UAV的与用于携带视觉传 感器的部分不同的部分上。
[0112] 在步骤380中，使用第一感测数据和第二感测数据来生成包括环境的深度信息 的环境地图。如本文所描述，第一感测数据和第二感测数据可W各自包括环境的深度信 息。可选地，第一感测数据和第二感测数据还可W包括环境中的一个或多个物体的轮廓信 息。本文中可W使用轮廓信息来指代关于环境物体的外形、轮廓或边缘的信息。由一个或 多个距离传感器生成的感测数据可供作为像素深度图，同时可W使用诸如运动中恢复结构 (structure from motion)、结构光法（structured light)、光片（sheet of light)、飞行 时间或者立体视觉视差映射等技术从由一个或多个视觉传感器收集到的图像数据中提取 深度信息。在一些实施方式中，第一感测数据和第二感测数据各自包括至少一个具有多个 像素的图像，每个像素关联于2D图像坐标（例如，X和y坐标）、深度值（例如，对应于像素 的环境物体与UAV和/或传感器之间的距离）和/或色值（例如，RGB色值）。运样的图像 在本文中可称为深度图像。
[0113] 考虑到融合过程期间每种类型的感测数据的相对可靠性和准确度，可W在空间上 对准并组合与每组感测数据相关联的深度信息（例如，使用合适的传感器融合方法，诸如 卡尔曼滤波）W便生成包括深度信息（例如，3D环境表示，诸如占据网格地图）的地图。在 一些实施方式中，环境地图的生成可W设及辨别存在于由视觉传感器提供的一组深度图像 中的多个特征点、辨别存在于由距离传感器提供的一组深度图像中的对应的多个特征点、 W及确定所述的多个特征点之间的对应。所述对应可W包括关于可适用于将距离深度图像 映射至视觉深度图像上或者反之亦然的一种或多种变换（例如，平移、旋转、缩放）的信息。 继而可W基于运样的对应来组合所述深度图像，W便生成环境地图。备选地或组合地，可W 相对于不同坐标系提供第一感测数据和第二感测数据，并且可W通过在同一坐标系中表示 第一感测数据和第二感测数据来生成环境地图。该坐标系可W是与第一感测数据相关联的 坐标系、与第二感测数据相关联的坐标系或者完全不同的坐标系。一旦已经生成环境地图， 则可W基于该环境地图中所包含的深度信息而在环境内导航UAV。
[0114] 本文所描述的距离感测和视觉感测的组合可W补偿单个传感器类型的局限性，从 而提高地图生成的准确度。例如，视觉传感器可W产生相对较高分辨率的彩色图像，但是当 使用单目相机时或者当双目相机的距离相对较小时（例如当相机安装在小型UAV上时可能 发生），可能相对难W从图像数据中获取准确的深度数据。另外，当照明很亮或者具有高对 比度时，或者在不利的环境条件下（诸如雨、雾或烟雾），视觉传感器可能无法提供符合要 求的图像数据。相反地，诸如超声传感器等距离传感器可W提供准确的深度数据，但是相比 于视觉传感器可能具有较低的分辨率。并且，在一些情况下，超声传感器和其他距离传感器 类型可能无法检测具有小反射面的物体（例如，细枝、角落、栏杆）或吸收性物体（例如，地 毯），或者可能无法在具有许多物体的复杂环境（例如，室内环境）中分辨距离。然而，视觉 感测数据一般可W作为距离感测数据的补充，运是因为在距离传感器正在生成并非最优数 据的情况下，视觉传感器能够产生可靠的数据，并且反之亦然。因此，视觉传感器和距离传 感器的组合使用可W用于在多种操作条件下并且针对多样类型的环境生成准确的环境地 图。
[0115] 图4图示了根据实施方式中的用于使用不同的传感器类型来进行环境地图构建 的方法400。与本文所公开的所有方法一样，方法400可W使用本文介绍的系统和设备的任 何实施方式来实践，诸如由UAV机上携带的一个或多个处理器来实践。另外，与本文所公开 的所有方法一样，方法400的任何步骤均可与本文其他方法的任何步骤相结合或者由其所 替代。
[0116] 在步骤410中，从由UAV携带的第一传感器接收第一感测信号。第一感测信号可W 包含UAV正在操作的所在环境有关的信息，诸如指示出环境物体（例如，障碍物）的位置和 几何结构的环境数据。类似地，在步骤420中，从由UAV携带的第二传感器接收第二信号。 在一些实施方式中，第一传感器和第二传感器可W是不同的传感器类型，包括前文所描述 的任何传感器类型（例如，激光雷达传感器和视觉传感器、超声传感器和视觉传感器等）。
[0117] 在步骤430中，使用第一感测信号来生成第一环境地图，该第一环境地图包括环 境的占据信息。在步骤440中，使用第二感测信号来生成第二环境地图，该第二环境地图包 括环境的占据信息。第一环境地图和第二环境地图可W分别包括环境的障碍物占据信息， W使得所述环境地图可W用于确定障碍物相对于UAV的位置。例如，第一环境地图和第二 环境地图可W是占据网格地图或者包含关于环境内被阻挡和未被阻挡的空间的信息的任 何其他地图类型。
[0118] 可选地，第一环境地图可W表示不同于第二环境地图的环境部分。例如，第一环境 地图可W表示相对靠近UAV的环境部分，而第二环境地图可W表示相对远离UAV的环境部 分。在一些实施方式中，可W使用不同的感测信号来生成跨越环境的不同部分的地图。对 于所要用于生成不同地图的信号的选择可W基于任何合适的准则，诸如针对所述环境的特 定部分的第一感测信号和第二感测信号的相对信号质量和/或准确度。感测数据的质量和 准确度可取决于每个传感器的具体特性，并且可根据环境类型（例如，室内、户外、低空、高 空）、天气状况（例如，晴朗、下雨、有雾）、感测到的环境物体的相对位置（例如，近距离、远 距离）W及感测到的环境物体的性质（例如，透明度、反射率、吸收率、形状、大小、材料、移 动性等）而有所变化。例如，第一传感器在近距离上可能比第二传感器更准确，而第二传感 器在远距离上可能比第一传感器更准确。因此，第一传感器可W用于生成相对靠近UAV的 环境部分的地图，而第二传感器可W用于生成相对远离UAV的环境部分的地图。备选地或 组合地，对信号的选择可W基于所述环境部分是否位于对应的传感器的感测范围内。该方 法在第一传感器和第二传感器具有不同感测范围的实施方式中可能是有利的。例如，近距 离传感器可W用于生成相对靠近UAV的环境部分的地图，而远距离传感器可W用于生成相 对远离UAV的、处于近距离传感器的范围之外的部分的地图。
[0119] 在步骤450中，组合第一环境地图和第二环境地图，从而生成包含环境的占据信 息的最终环境地图。可W使用本文所描述的传感器融合技术来组合环境地图。在相对于不 同坐标系（例如，局部坐标系和全局坐标系）提供感测信号的实施方式中，地图部分的生成 可W设及将所述两个感测信号转换至单一的坐标系中，W便对准相应的环境数据，从而产 生最终环境地图。随后，UAV可W基于最终环境地图而在该环境内导航行。例如，UAV可W 至少部分地基于在最终环境地图中所表示的障碍物占据信息来航行，W便避免碰撞。UAV可 由用户、由自动化控制系统或者其合适的组合来导航。下文进一步详述了基于环境地图数 据的UAV导航的附加示例。
[0120] 虽然W上步骤示出了根据实施方式的环境地图构建的方法400,但本领域普通技 术人员将会认识到基于本文所描述的教导的许多变体。一些步骤可W包括子步骤。在一些 实施方式中，可W根据需要（例如，连续地或者W预定的时间间隔）重复方法400的步骤， W使得所产生的环境地图随着UAV在环境内导航而得W更新和精化。运样的实时地图构建 方法可W使得UAV能够快速地检测环境物体并适应于变化的操作条件。 阳121] 本文所描述的传感器融合方法可适用于各种类型的UAV功能，包括导航、物体识 别和避障。在一些实施方式中，使用传感器融合结果而获得的环境数据可W用于通过提供 准确的位置信息W及关于潜在障碍的信息来提高UAV操作的稳健性、安全性和灵活性。可 W将环境数据提供给用户（例如，经由遥控器或终端、移动设备或者其他用户设备），W便 为用户对UAV的手动控制提供信息。备选地或组合地，环境数据可W用于半自主或全自主 控制系统W引导UAV的自动化飞行。
[0122] 例如，本文所公开的实施方式可W用于执行避障机动，W便防止UAV与环境物体 相碰撞。在一些实施方式中，障碍物检测和避障可W是自动化的，从而提高UAV的安全性并 减少用户对于避免碰撞的责任。对于缺乏经验的操作者W及在用户不能轻易察觉到UAV附 近障碍物的存在的情况下，运样的方法可W是有利的。另外，自动化避障的实现可W降低与 半自主或全自主UAV导航相关联的安全风险。此外，本文所描述的多传感器融合技术可W 用于生成更准确的环境表示，从而提高运样的自动化防撞机制的可靠性。 阳123] 图5图示了根据实施方式中的用于控制UAV W避开障碍物的方法500。方法500 可由UAV携带的一个或多个处理器来实现。如前文所述，方法500可W是完全自动化的或 者至少部分地自动化的，从而提供自动障碍物检测和避障能力。
[0124] 在步骤510中，生成第一信号W使UAV在环境内导航。第一信号可W包括针对UAV 的推进系统（例如，旋翼）的控制信号。可W基于输入到远程终端或其他用户设备中并于 随后传输至UAV的用户命令来生成第一信号。或者，第一信号可由UAV(例如，自动化机载 控制器）自主地生成。在一些情况下，可W利用来自用户输入W及自动化路径确定机制的 贡献而半自主地生成第一信号。例如，用户可W指示出UAV的一系列航点，而该UAV可W自 动计算飞行路径W穿过所有航点。
[0125] 在一些实施方式中，飞行路径可W为UAV指示出一系列期望的位置和/或方向 (例如，关于多达六个自由度）。例如，飞行路径可W至少包括UAV的初始位置和目标位置。 可选地，飞行路径可被配置用于将UAV从当前位置引导至先前位置。又例如，飞行路径可W 包括UAV的目标飞行方向。在一些实施方式中，指令可W指定UAV的速度和/或加速度（例 如，关于多达六个自由度），W使其沿着飞行路径移动。
[01%] 在步骤520中，使用多个传感器来接收关于环境的至少一部分的感测数据。所述 多个传感器可W包括不同类型的传感器（例如，视觉、激光雷达、超声、GI^等）。感测数据 可W包含关于障碍物和/或其他环境物体的位置和特性的信息。例如，感测数据可W包含 距离信息，该距离信息指示出UAV到附近障碍物的距离。可选地，感测数据可W包含与沿着 UAV的飞行路径的环境的部分（诸如与飞行路径重叠或者靠近飞行路径的部分）有关的信 息。
[0127] 在步骤530中，基于感测数据来生成表示环境的至少一部分的环境地图。该环境 地图可W是局部地图，其表示紧靠 UAV周围的环境部分（例如，距UAV约2m、5m、10m、15m、 20m、25m或50m的半径内）。或者，环境地图可W是全局地图，其还表示相对远离UAV的环 境部分（例如，距 UAV约 25m、50m、75m、100m、125m、150m、200m、225m、250m、300m、400m、500m、 1000m、2000m或5000m的半径内）。如前文所述，可W基于在步骤510中使用的传感器的 有效范围来确定环境地图的大小。在一些实施方式中，可W使用前文所描述的基于传感器 融合的方法（例如，方案300和/或方法400)来产生环境地图。例如，感测数据可W包括 相对于多个不同坐标系的数据，并且环境地图生成可W设及将所述数据映射到单一坐标系 上，W便促进感测数据的融合。
[0128] 在步骤540中，使用环境地图来检测位于环境的所述部分中的一个或多个障碍 物。可W使用各种策略，诸如通过特征提取或模式识别技术等，来执行从地图信息的障碍物 检测。可选地，可W执行合适的机器学习算法W完成障碍物检测。在一些实施方式中，如果 环境地图是占据网格地图，则可W通过检测占据网格地图中被连续占据的体积来辨别障碍 物。障碍物检测结果可W提供关于每个障碍物的位置、方向、大小、距离和/或类型的信息， W及结果的对应置信度信息。可W分析地图W辨别对UAV构成碰撞风险的障碍物（例如， 位于沿着或靠近飞行路径处的障碍物）。
[0129] 在步骤550中，使用环境地图来生成第二信号W使UAV航行，W便避开所 述一个或 多个障碍物。可W分析环境地图，W便确定所述一个或多个障碍物相对于UAV的位置，W 及可供UAV移动的任何未被阻挡的空间的位置，W便避免与障碍物碰撞。第二信号因此可 W提供适当的控制信号（例如，针对UAV的推进系统）W使UAV航行经过所述未被阻挡的 空间。在根据飞行路径来导航UAV的实施方式中，可W基于环境地图而修改飞行路径W便 避开所述一个或多个障碍物，并且UAV可W根据经修改的飞行路径来航行。飞行路径修改 可W引导UAV仅穿越经过未被阻挡的空间。例如，可W修改飞行路径W便使UAV绕过障碍 物飞行（例如，在其之上、之下或者侧面）、飞离障碍物或者与障碍物保持指定的距离。在 多个经修改的飞行路径均有可能的情况下，可W基于任何合适的准则来选择优选的飞行路 径，所述准则诸如为使行进距离最小化、使行进时间最小化、使行进所述路径所需的能量的 量最小化、使从原始飞行路径的偏离量最小化等。可选地，如果无法确定适当的飞行路径， 则UAV可W简单地悬停于适当位置上并等待障碍物让路，或者等待用户采取手动控制。
[0130] 在用于UAV操作的多传感器融合的另一示例性应用中，本公开介绍的实施方式可 作为"自动返航"功能性的一部分而实现，其中UAV将会在某些情况下从当前位置自动航行 至"返航"位置。该返航位置可能是UAV先前行进过的初始位置，诸如UAV最初起飞并开始 飞行的位置。或者，返航位置可能不是UAV先前行进到的位置。返航位置可W是自动确定 的，或者由用户指定。可W触发自动返航功能的情况的示例包括接收到来自用户的返航指 令、失去与用户的遥控器的通信或者用户不再能够控制UAV的其他迹象、UAV电池电量低， 或者检测到UAV故障或其他紧急情况。 阳131] 图6图示了根据实施方式中的用于控制UAV返航至初始位置的方法600。在一些 实施方式中，方法600由关联于自动化控制系统的一个或多个处理器来实现，W至于需要 很少的用户输入或者不需要用户输入来执行方法600。
[0132] 在步骤610中，使用多个传感器中的至少一个传感器来确定UAV的初始位置。在 一些实施方式中，可W使用具有不同传感器类型的多个传感器来确定所述位置。可W相对 于全局坐标系（例如，GI^坐标）或者相对于局部坐标系（例如，相对于局部环境地标或特 征）而确定所述位置。
[0133] 在步骤620中，生成第一信号W使UAV在环境内航行。第一信号可W手动地、半自 主地或者全自主地生成。例如，用户可W向遥控器中输入指令，该指令被传输至UAV W便控 制UAV移动。又例如，UAV可W根据预定的飞行路径而移动或者行进至预定位置。UAV可W 被导航至环境内的不同于初始位置（例如，关于经度、缔度或高度）的位置。
[0134] 在步骤630中，从所述多个传感器中的至少一个传感器接收关于所述环境的感测 数据。可W从在步骤610中使用的同一传感器或者从不同的传感器接收感测数据。类似地， 可W从多种不同的传感器类型获取感测数据。如前文所述，运样的感测数据可W包括关于 环境物体的位置和特性的信息。
[0135] 在步骤640中，基于感测数据来生成表示环境的至少一部分的环境地图。在感测 数据包括来自多种传感器类型的数据的实施方式中，可W使用前文所描述的基于传感器融 合的方法（例如，方案300和/或方法400)来产生环境地图。所得的地图可W按任何合适 的格式提供并且可W包含关于障碍物占据的信息（例如，障碍物网格地图）。
[0136] 在步骤650中，基于环境地图生成第二信号W使UAV返航至初始位置。可W响应于 自动返航指令而生成第二信号。自动返航指令可W由用户输入或者可W自动生成，例如，响 应于诸如与控制UAV的遥控器失去通信等紧急情况而生成。在一些实施方式中，一旦UAV已 经接收到自动返航的指令，该UAV可W使用环境地图来确定其当前位置、当前位置与初始 位置之间的空间关系和/或任何环境障碍物的位置。基于环境地图中的障碍物占据信息， UAV可W继而确定适当的路径（例如，飞行路径）W从当前位置航行至初始位置。可W使 用各种方法来确定UAV的合适路径。例如，如本文关于图9A和图9B所进一步详述，可W使 用诸如拓扑地图等环境地图来确定路径。在一些实施方式中，所述路径可被配置用于避开 可阻碍UAV飞行的一个或多个环境障碍物。备选地或组合地，所述路径可W是当前位置与 初始位置之间的最短路径。所述路径可W包括UAV先前行进过的一个或多个部分，W及不 同于UAV先前行进过的路径的一个或多个部分。例如，整个路径可能已由UAV先前行进过。 又例如，如本文关于图8A和图8B所进一步详述，所述路径可W包括对应于UAV先前行进过 的位置的多个航点。相反地，整个路径可能没有被UAV先前行进过。在一些实施方式中，可 W生成多个潜在路径，并且基于合适的准则（例如，使总飞行时间最小化、使总飞行距离最 小化、使能量消耗最小化、使遇到的障碍物数目最小化、与障碍物保持预定距离、保持预定 高度范围等）而从所述多个路径中选择一个路径。UAV的飞行路径信息（例如，先前行进过 的路径、潜在路径、所选路径）可W被包括在环境地图中。
[0137] -旦已经确定路径，可W处理路径信息W生成用于控制UAV的推进系统的指令， W便使其沿着所述路径行进至初始位置。例如，所述路径可W包括针对UAV的一系列空间 位置和方向信息，其可被转换成控制信号W将UAV的飞行从当前位置引导至初始位置。在 一些实施方式中，当UAV沿着路径导航时，其可W检测沿着该路径的、阻碍其飞行的一个或 多个障碍物。在运样的情况下，可W修改路径W避开障碍物，W便允许UAV继续航行至初始 位置，例如，使用前文关于方法500所描述的技术。 阳13引图7图示了根据许多实施方式中的用于在避开障碍物的同时控制UAV返航至初始 位置的方法700。类似于方法500,方法700可W按半自动化或全自动化方式作为UAV自动 返航功能的一部分来执行。方法700的至少一些步骤可W由与UAV相关联的一个或多个处 理器来执行。
[0139] 在步骤710中，使用多个传感器中的至少一个传感器来确定UAV的初始位置。可 选地，可W使用多种不同的传感器类型来确定初始位置。位置信息可W包括关于UAV的位 置（例如，高度、缔度、经度）和/或方向（例如，横滚、俯仰、偏航）的信息。可W相对于全 局坐标系（例如，地理坐标系）或局部坐标系（例如，相对于UAV)来提供位置信息。
[0140] 在步骤720中，生成第一信号W使UAV在环境内航行，例如，至不同于初始位置的 位置。如前文所述，可W基于用户输入、由自主控制系统提供的指令或者其合适的组合来生 成第一信号。 阳141] 在步骤730中，使用所述多个传感器中的至少一个传感器来接收关于所述环境的 感测数据。可选地，可W从与在步骤710中使用的传感器不同的传感器接收感测数据。如 上文所述，可W通过使用合适的基于传感器融合的方法组合来自不同传感器类型的感测信 号，W生成感测数据。在一些实施方式中，经融合的传感器数据可W用于产生有代表性的环 境地图，诸如前文所讨论的实施方式。 阳142] 在步骤740中，接收返航至初始位置的指令。返航指令可W由用户向遥控器中输 入并于随后传输至UAV。或者，该指令可W由UAV自动生成，诸如由机载处理器和/或控制 器生成。在一些实施方式中，可W独立于任何用户输入而生成所述指令，例如，在UAV检测 到用户设备与UAV之间已经失去通信的情况下、当已经发生故障或紧急情况时等。
[0143] 在步骤750中，生成第二信号W使UAV沿着一路径返航至所述初始位置，其中当 所述多个传感器中的至少一个传感器检测到沿着路径的障碍物时，修改该路径W避开障碍 物。可选地，用W检测障碍物的传感器可W不同于在步骤710和/或步骤730中使用的传 感器。可W基于由多种不同的传感器类型生成的感测数据来检测障碍物。在一些实施方式 中，可W使用基于传感器数据而产生的环境地图（例如，占据网格地图）来检测障碍物。环 境地图可W是先前已经生成的（例如，基于在步骤730中收集的感测数据），或者可W是随 着UAV沿着路径航行而实时生成的。可W使用各种方法来修改路径W便防止UAV与检测到 的障碍物（诸如前文关于方法500所描述的那些障碍物）相碰撞。可W基于所获取的感测 数据和/或环境地图中所表示的障碍物信息，来执行对经修正路径的确定。
[0144] 图8A和图8B图示了根据实施方式中的用于使用航点来控制UAV返航至初始位置 的算法800。算法800可W由用于控制UAV的操作的合适的处理器和/或控制器来执行。 算法800的一个或多个步骤可W自动执行，从而为UAV提供自动返航功能。
[0145] 在步骤802中UAV飞行开始（例如，起飞）之后，在步骤804中作出关于UAV飞行 是否已经结束的确定。所述确定可W基于UAV是否已经降落（例如，降落在诸如地面等表 面上）、UAV的推进系统是否已经关闭、用户是否已经提供飞行结束的指令等。如果飞行已 经结束，则在步骤806处结束算法800。否则，算法800继续至步骤808, W便确定UAV的当 前位置（例如，缔度、经度、高度）。如前文所述，可W使用一个或多个传感器（其中至少一 些具有不同的类型）来确定当前位置。例如，UAV可W包括GI^传感器和另一传感器类型， 诸如视觉传感器。视觉感测数据可W与GI^感测数据相结合使用或者替代GI^感测数据， W便补偿当GI^传感器不能够提供可靠的感测数据时的情况（例如，在与GI^卫星的通信 可能不够理想的室内和/或低空环境中、在GI^传感器尚未建立与GI^卫星的通信的飞行 开始时）。因此，通过GI^感测数据与视觉感测数据的组合使用，可W提高定位准确度。可 选地，可W使用支持相对于全局坐标系或局部坐标系而定位UAV的环境地图来确定当前位 置。如上文所述，可W使用传感器融合技术来生成环境地图。 阳146] 在步骤810中，将当前位置信息储存在合适的数据结构中，诸如位置信息列表中。 位置列表可W用于储存由UAV先前行进过的一组位置，运在本文中可W称为"航点"。航点 可W按顺序储存，从而提供对UAV行进过的飞行路径的表示。在运样的实施方式中，储存在 位置列表中的第一航点对应于UAV的初始位置，而位置列表中的最后的航点对应于UAV最 近的位置。因此，如下文所述，可W按倒序（从最后的航点到第一航点）历经所储存的航点， W便使UAV返航至初始位置。 阳147] 在步骤812中，作出关于UAV是否应当启动自动返航功能W便返航至对应于位置 列表中储存的第一航点的初始位置的确定。如前文所述，自动返航决定可W自动地作出或 者基于用户输入而作出。如果自动返航功能未启动，则算法800返回至步骤804 W开始航 点确定和存储的下一迭代。在一些实施方式中，可W按期望频率（例如，连续地，W预定时 间间隔，诸如每0. 5s、ls、2s、5s、10s、20s或30s-次）按顺序重复步骤804、步骤808、步骤 810和步骤812, W便在UAV飞行期间生成和储存一系列先前行进过的航点。如下文关于图 8B所进一步详述，一旦在步骤812中确定UAV应当自动返航，则在步骤814中执行自动返航 功能。在自动返航功能完成之后，算法800结束于步骤806。
[0148] 图8B图示了根据实施方式的算法800的步骤814的子步骤。在步骤816处启动 自动返航功能之后，在步骤818中作出关于位置列表（航点列表）是否为空的确定。如果 列表为空，运表明UAV已经到达初始位置并且自动返航功能在步骤820中完成。如果列表 不为空，运表明UAV尚未到达初始位置。在运样的情况下，继而在步骤822中从位置列表检 索下一目标位置（航点）。
[0149] 继而在步骤824中确定UAV的当前位置。可W使用本文所描述的任何方法，诸如使 用多传感器融合和/或环境地图构建，来确定当前位置。在一些实施方式中，确定当前位置 与检索到的目标位置之间的空间关系，W便生成当前位置与目标位置之间的飞行路径。如 前文所述，可W基于环境地图构建数据来生成飞行路径W便避开潜在的飞行阻碍物。 阳150] 在步骤826中，将UAV从当前位置航行至目标位置，例如，使用在步骤824中生成 的飞行路径。随着UAV朝向目标位置移动，其可W获取和处理传感器数据W确定是否存在 任何阻碍其飞行的障碍物。例如，传感器数据可W用于提供包含如上文所讨论的障碍物占 据信息的局部环境地图。可W用于提供障碍物信息的示例性传感器包括视觉传感器、激光 雷达传感器、超声传感器等。基于传感器数据，在步骤828中作出关于是否已经检测到障碍 物的确定。如果没有检测到阻碍物，则UAV完成其向目标位置的航行，并且自动返航功能继 续至步骤818 W开始下一迭代。如果已经检测到障碍物，则如步骤830中所指示，确定并执 行合适的避障机动。例如，可W修改飞行路径（例如，基于环境地图数据），W使得UAV航行 至目标位置而不与检测到的障碍物相碰撞。 阳151 ] 图9A和图9B图示了根据实施方式中的用于使用拓扑地图来控制UAV返航至目标 位置的算法900。类似于算法800,算法900可W由用于控制UAV的操作的合适的处理器和 /或控制器来执行。算法900的一个或多个步骤可W自动执行，从而为UAV提供自动返航功 能。 阳152] 类似于算法800的步骤802,步骤902中UAV飞行开始（例如，起飞）之后，在步 骤904中作出关于UAV飞行是否已经结束的确定。如果飞行已经结束，则在步骤906处结 束算法900。否则，算法900继续至步骤908, W便确定UAV的当前位置W及关于该UAV周 围环境的环境信息。在一些实施方式中，如前文所述，环境信息包括关于一个或多个环境物 体的空间排列、几何结构和/或特性的信息。可W使用从一个或多个传感器获取的感测数 据来确定当前位置和/或环境信息。可选地，可W使用传感器融合技术来处理和组合来自 不同传感器类型的感测数据，W便提高感测结果的可靠性和准确度。例如，可W从GI^传感 器和至少一种其他传感器类型（例如，视觉传感器、激光雷达传感器和/或超声传感器）来 获取感测数据。 阳153] 在步骤910中，将当前位置和环境信息添加至表示操作环境的拓扑地图。在备选 实施方式中，还可W使用其他类型的地图（例如，诸如网格地图等尺度地图）。拓扑地图可 W用于储存对应于UAV先前行进过的位置的位置信息，从而提供UAV的飞行路径的记录。另 夕F，根据前文所描述的实施方式，拓扑地图可W用于描绘各个环境位置之间的连通性。可选 地，拓扑地图还可W包含尺度信息，诸如指示出所表示的位置之间的距离的信息，化及指示 出环境物体的空间位置和几何结构的信息。可W在UAV飞行期间生成拓扑地图的至少一些 部分，例如，使用多传感器地图构建。备选地或组合地，拓扑地图的一个或多个部分可W在 UAV的操作之前生成并被提供给UAV (例如，从遥控器传输和/或储存在机载存储器中）。在 后一实施方式中，可W在UAV操作期间基于收集到的传感器数据而精化或修改拓扑地图， W便反映当前环境信息。
[0154] 类似于算法800的步骤812,在步骤912中，作出关于UAV是否应当启动自动返航 功能W便返航至目标位置的确定。如果自动返航功能未启动，则算法900返回至步骤904。 可W按期望频率（例如，连续地，W预定时间间隔，诸如每0. 5s、ls、2s、5s、10s、20s或30s 一次）按顺序重复步骤904、步骤908、步骤910和步骤912, W便随着UAV在环境内航行而 用最近的位置和环境信息来更新拓扑地图。如下文参照图9B所进一步详述，一旦在步骤 912中确定UAV应当自动返航，则在步骤914中执行自动返航功能。在自动返航功能完成之 后，算法900结束于步骤906。 阳K5] 图9B图示了根据实施方式的算法900的步骤914的子步骤。在步骤916处启动 自动返航功能之后，在步骤918中作出关于UAV是否已经到达目标位置的确定。目标位置 可W是由用户指定的或者由UAV自动确定的位置。目标位置可W是UAV先前已经行进过的 位置，诸如在飞行开始时UAV的初始位置（例如，起飞的位置）。或者，目标位置可W是UAV 先前尚未行进过的位置。如果确定UAV已经到达目标位置，则在步骤920中完成自动返航 功能。否则，自动返航继续至步骤924。
[0156] 在步骤924中，使用本文所描述的任何方法，诸如使用多传感器融合和/或环境地 图构建，来确定UAV的当前位置。在步骤926中，确定对应于当前UAV位置的拓扑地图位 置，从而相对于拓扑地图中所表示的环境信息而定位该UAV。基于拓扑地图，在步骤926中 确定从当前位置到目标位置的飞行路径。在一些实施方式中，返航飞行路径的一个或多个 部分可W对应于UAV先前行进过的飞行路径。或者，该飞行路径的一个或多个部分可W不 同于UAV的先前飞行路径。可W基于任何合适的准则来确定飞行路径。例如，飞行路径可 被配置用于避开环境障碍物。又例如，飞行路径可被配置用于使UAV为了到达目标位置而 行进的总距离最小化。随后，在步骤928中，基于所确定的飞行路径来调节UAV飞行控制， W便使该UAV沿着所述飞行路径移动。例如，飞行路径可W指定UAV的一系列位置和/或 方向，并且可W生成合适的控制信号并将其传输至UAV推进系统W便使UAV采取指定的位 置和/或方向。 阳157] 如步骤930和步骤932中所描述，随着UAV朝向目标位置移动，其可W检测障碍物 并酌情执行避障机动。用于执行障碍物检测和避障的技术可W分别与关于算法800的步骤 828和步骤830的那些描述相似。可选地，障碍物检测和/或避障可W基于所生成的拓扑地 图。例如，一旦已经辨别出障碍物，拓扑地图中所表示的环境信息来可用于确定对飞行路径 的合适的修改W避免潜在的碰撞。 阳15引本文所描述的系统、设备和方法可W适用于多种可移动物体。如前文所述，本文对 飞行器的任何描述均可适用于和用于任何可移动物体。本发明的可移动物体可被配置用于 在任何合适的环境内移动，诸如在空中（例如，固定翼航空器、旋翼航空器或者既不具有固 定翼也不具有旋翼的航空器）、在水中（例如，船舶或潜艇）、在地面上（例如，机动车，诸如 轿车、卡车、公交车、厢式货车、摩托车；可移动构造物或框架，诸如棒状物、钓鱼竿；或者火 车）、在地下（例如，地铁）、在太空（例如，航天飞机、卫星或探测器），或者运些环境的任 何组合。可移动物体可W是载具，诸如本文其他各处所描述的载具。在一些实施方式中，可 移动物体可W安装在活体身上，诸如人类或动物。合适的动物可W包括禽类、犬类、猫类、马 类、牛类、羊类、猪类、海豚、晒齿类或昆虫。
[0159] 可移动物体可W能够在所述环境内关于六个自由度（例如，S个平移自由度和S 个旋转自由度）而自由移动。或者，可移动物体的移动可能关于一个或多个自由度受到约 束，诸如由预定路径、轨迹或方向所约束。所述移动可W由任何合适的致动机构所致动，诸 如引擎或马达。可移动物体的致动机构可W由任何合适的能源提供动力，例如电能、磁能、 太阳能、风能、引力能、化学能、核能或者其中任何合适的组合。可移动物体可W如本文其他 各处所述，经由推进系统而自推进。所述推进系统可W可选地依靠一种能源运行，例如电 能、磁能、太阳能、风能、引力能、化学能、核能或者其中任何合适的组合。可选地，可移动物 体可W由生物所携带。
[0160] 在一些情况下，所述可移动物体可W是载具。合适的载具可W包括水上载具、飞行 器、太空载具或地面载具。例如，飞行器可W是固定翼航空器（例如，飞机、滑翔机）、旋翼航 空器（例如，直升机、旋翼飞机）、同时具有固定翼和旋翼的航空器、或者既无固定翼又无旋 翼的航空器（例如，飞艇、热气球）。载具可W是自推进式，诸如在空中、在水上或水中、在太 空中或者在地上或地下自推进。自推进式载具可W利用推进系统，诸如包括一个或多个引 擎、马达、轮子、轮轴、磁体、旋翼、螺旋奖、奖叶、喷嘴或者其中任何合适组合的推进系统。在 一些情况下，推进系统可W用于使可移动物体能够从一表面起飞、降落在一表面上、保持其 当前位置和/或方向（例如，悬停）、改变定向和/或改变位置。 阳161] 可移动物体可W由用户遥控或者由可移动物体之内或之上的乘员在本地控制。在 一些实施方式中，可移动物体是无人的可移动物体，诸如UAV。无人的可移动物体（诸如 UAV)可W不搭乘操作者在可移动物体上。可移动物体可W由人类或自主控制系统（例如， 计算机控制系统），或者其任何合适的组合来控制。可移动物体可W是自主式或半自主式机 器人，诸如配置有人工智能的机器人。 阳162] 可移动物体可W具有任何合适的大小和/或尺寸。在一 些实施方式中，可移动物 体可W具有能容纳人类乘员身处载具之内或之上的大小和/或尺寸。或者，可移动物体可 W具有比能够容纳人类乘员身处载具之内或之上的大小和/或尺寸更小的大小/或尺寸。 可移动物体可W具有适合于由人类搬运或携带的大小和/或尺寸。或者，可移动物体可W 大于适合由人类搬运或携带的大小和/或尺寸。在一些情况下，可移动物体可W具有的最 大尺寸（例如，长度、宽度、高度、直径、对角线）小于或等于约：2cm、5cm、10cm、50cm、lm、2m、 5m或10m。该最大尺寸可W大于或等于约：2畑1、5畑1、10畑1、50畑1、1111、2111、51]1或1〇1]1。例如，可 移动物体的相对的旋翼的轴之间的距离可W小于或等于约：2cm、5cm、10cm、50cm、Im、2m、5m 或10m。或者，相对的旋翼的轴之间的距离可W大于或等于约：2cm、5cm、10cm、50cm、Im、2m、 5m 或 10m。
[0163] 在一些实施方式中，可移动物体可[^具有小于IOOcm X IOOcm X 100cm、小于50cm X 50cm X 30cm或小于5cm X 5cm X 3cm的体积。可移动物体的总体积可W小于或等于约： Icm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、 200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10, 000cm3、100, 000cm3、lm3或 IOm 3。相 反地，可移动物体的总体积可W大于或等于约：1cm3、2cm3、5cm 3、10cm3、20cm3、30cm3、40cm 3、 50cm\60cm\70cm\80cm\90cm\ 100cm\ 150cm\200cm\300cm\500cm\750cm\ 1000 cm^ 5000cm3、10, 000cm3、100, 000cm3、lm3或 IOm 3。
[0164] 在一些实施方式中，可移动物体可W具有的占地面积（运可W指由所述可移动 物体所包围的横截面面积）小于或等于约：32, OOOcm2JO, 000cm2、10, 000cm2、1, 000cm2、 500cm2、100cm2、50cm2、10cm2或5cm2。相反地，所述占地面积可W大于或等于约：32, 000cm2、 20, 000cm2、10, 000cm2、1, 000cm2、500cm2、100cm2、50cm2、10cm2或 5cm 2。 阳1化]在一些情况下，可移动物体可W不超过1000kg重。可移动物体的重量可W小于 或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、 3f5kg、30kg、2f5kg、20kg、lf5kg、12kg、10kg、9kg、8kg、"7kg、^g、f5kg、4kg、3kgJkg、：Lkg、0.f5kg、 0. ：Lkg、0. 05kg或0. 01kg。相反地，所述重量可W大于或等于约：1000kg、750kg、500kg、 200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、3^g、30kg、25kg、20kg、15kg、 124邑、104邑、94邑、84邑、化邑、化邑、化邑、44邑、34邑、化邑、化邑、0.化邑、0.化邑、0.054邑或0.0化邑。
[0166] 在一些实施方式中，可移动物体相对于被该可移动物体所携带的负载可W较小。 如下文进一步详述，所述负载可W包括载荷和/或载体。在一些示例中，可移动物体的重量 与负载重量之比可W大于、小于或等于约1:1。在一些情况下，可移动物体的重量与负载重 量之比可W大于、小于或等于约1:1。可选地，载体重量与负载重量之比可W大于、小于或 等于约1:1。当需要时，可移动物体的重量与负载重量之比可W小于或等于：1:2、1:3、1:4、 1:5、1:10或者甚至更小。相反地，可移动物体的重量与负载重量之比还可W大于或等于： 2:1、3:1、4:1、5:1、10:1 或者甚至更大。 阳167] 在一些实施方式中，可移动物体可W具有低能耗。例如，可移动物体可W使用小于 约：5W/h、4W/h、3W/h、2W/h、lW/h或更小。在一些情况下，可移动物体的载体可W具有低能 耗。例如，所述载体可W使用小于约：5W/h、4W/h、3W/h、2W/h、lW/h或更小。可选地，可移动 物体的载荷可W具有低能耗，诸如小于约：5W/h、4W/h、3W/h、2W/h、lW/h或更小。 阳16引图10图示了根据本发明的实施方式的UAV 1000。该UAV可W是本文所述的可移 动物体的示例。UAV 1000可W包括具有四个旋翼1002、1004、1006和1008的推进系统。可 W提供任何数目的旋翼（例如，一个、两个、=个、四个、五个、六个或更多个）。所述旋翼可 W是本文其他各处所述的自紧式旋翼的实施方式。无人飞行器的旋翼、旋翼总成或其他推 进系统可使该无人飞行器能够悬停/保持位置、改变定向和/或改变位置。相对的旋翼的 轴之间的距离可W是任何合适的长度1010。例如，长度1010可W小于或等于2m，或者小于 或等于5m。在一些实施方式中，长度1010可W在从40cm至Ij Im、从IOcm到2m或者从5cm 到5m的范围内。本文对UAV的任何描述均可适用于可移动物体，诸如不同类型的可移动物 体，并且反之亦然。
[0169] 在一些实施方式中，可移动物体可W被配置用于携带负载。该负载可W包括乘客、 货物、设备、仪器等之中的一种或多种。该负载可W提供在外壳内。该外壳可W与可移动物 体的外壳相分离，或者是可移动物体的外壳的一部分。或者，可移动物体不具有外壳时负载 可W具备外壳。或者，该负载的一部分或者整个该负载均可W不具有外壳。负载可W相对 于所述可移动物体刚性固定。可选地，负载可W是相对于可移动物体是可W移动的（例如， 可W相对于可移动物体平移或旋转）。
[0170] 在一些实施方式中，负载包括载荷。所述载荷可被配置成不执行任何操作或功能。 或者，载荷可W是被配置用于执行操作或功能，亦称为功能性载荷。例如，载荷可W包括一 个或多个传感器，用于勘测一个或多个目标。可W向载荷中合并任何合适的传感器，诸如图 像捕捉设备（例如，相机）、音频捕捉设备（例如，抛物面麦克风）、红外成像设备或紫外成 像设备。所述传感器可W提供静态感测数据（例如，照片）或动态感测数据（例如，视频）。 在一些实施方式中，传感器提供针对载荷的目标的感测数据。备选地或组合地，载荷可W包 括一个或多个发射器，用于向一个或多个目标提供信号。可W使用任何合适的发射器，诸如 照明源或声源。在一些实施方式中，载荷包括一个或多个收发器，诸如用于与远离可移动物 体的模块通信。可选地，载荷可被配置用于与环境或目标相互作用。例如，载荷可W包括能 够操纵物体的工具、仪器或机构，诸如机械臂。 阳171] 可选地，负载可W包括载体。可W提供载体用于载荷，并且所述载荷可经由该载体 直接地（例如，直接接触可移动物体）或间接地（例如，不接触可移动物体）禪合至可移动 物体。相反地，载荷可在无需载体的情况下安装于可移动物体上。载荷可W与载体一体形 成。或者，载荷可W可拆卸地禪合至载体。在一些实施方式中，载荷可W包括一个或多个载 荷元件，并且所述载荷元件中的一个或多个可W如上文所述是相对于可移动物体和/或载 体可移动的。
[0172] 载体可W与可移动物体一体形成。或者，载体可W可拆卸地禪合至可移动物体。 载体可W直接地或间接地禪合至可移动物体。载体可W向载荷提供支撑（例如，承载所述 载荷的至少一部分重量）。载体可W包括合适的安装构造物（例如，云台平台），其能够稳 定和/或引导载荷的移动。在一些实施方式中，载体可W适于控制载荷相对于可移动物体 的状态（例如，位置和/或方向）。例如，载体可被配置用于相对于可移动物体而移动（例 如，关于一个、两个或=个平移度W及/或者一个、两个或=个旋转度），W使得载荷保持其 相对于合适的参考系的位置和/或方向，与可移动物体的移动无关。所述参考系可W是固 定参考系（例如，周围环境）。或者，所述参考系可W是移动参考系（例如，可移动物体、载 荷目标）。
[0173] 在一些实施方式中，载体可被配置用于允许载荷相对于载体和/或可移动物体的 移动。所述移动可W是关于多达=个自由度的平移（例如，沿着一个、两个或=个轴线）或 者是关于多达=个自由度的旋转（例如，围绕一个、两个或=个轴线），或者是其任何合适 的组合。
[0174] 在一些情况下，载体可W包括载体框架总成W及载体致动总成。所述载体框架总 成可W向载荷提供构造物支撑。载体框架总成可W包括单个的载体框架元件，其中一些元 件可W是可相对于彼此移动的。所述载体致动总成可W包括一个或多个致动器（例如，马 达），所述致动器致动单个载体框架元件的移动。致动器可W允许多个载体框架元件同时 移动，或者可被配置用于每次允许单一载体框架元件的移动。载体框架元件的移动可W产 生载荷的对应移动。例如，载体致动总成可W致动一个或多个载体框架元件围绕一个或多 个旋转轴（例如，横滚（roll)轴、俯仰（pitch)轴或偏航（yaw)轴）的旋转。所述一个或 多个载体框架元件的旋转可W使载荷相对于可移动物体围绕一个或多个旋转轴旋转。备选 地或组合地，载体致动总成可W致动一个或多个载体框架元件沿着一个或多个平移轴的平 移，并从而产生载荷相对于可移动物体沿着一个或多个对应的轴的平移。
[01巧]在一些实施方式中，可移动物体、载体和载荷相对于固定参考系（例如，周围环 境）和/或相对于彼此的移动可W由终端来控制。所述终端可W是处于远离所述可移动物 体、载体和/或载荷的位置处的遥控设备。终端可W安置于或者固定在支撑平台上。或者， 终端可W是手持式或可穿戴式设备。例如，终端可W包括智能电话、平板计算机、笔记本电 脑、计算机、眼镜、手套、头盎、麦克风或者其合适的组合。终端可W包括用户接口，诸如键 盘、鼠标、操纵杆、触摸屏或显示器。任何合适的用户输入均可用于与终端交互，诸如手动输 入指令、语音控制、手势控制或位置控制（例如，经由终端的移动、定位或倾斜）。
[0176] 终端可W用于控制可移动物体、载体和/或载荷的任何合适的状态。例如，终端可 W用于控制可移动物体、载体和/或载荷相对于固定参考物从和/或向彼此的位置和/或 方向。在一些实施方式中，终端可W用于控制可移动物体、载体和/或载荷的单个元件，诸 如载体的致动总成、载荷的传感器或者载荷的发射器。终端可W包括适于与可移动物体、载 体或载荷中的一个或多个相通信的无线通信设备。
[0177] 终端可W包括一个合适的显示单元，用于查看可移动物体、载体和/或载荷的信 息的。例如，终端可被配置用于显示可移动物体、载体和/或载荷的信息，所述信息关于位 置、平移速度、平移加速度、方向、角速度、角加速度或其任何合适的组合。在一些实施方式 中，终端可W显示由载荷提供的信息，诸如由功能性载荷提供的数据（例如，由相机或其他 图像捕捉设备记录的图像）。
[0178] 可选地，同一终端可W同时控制可移动物体、载体和/或载荷或者所述可移动物 体、载体和/或载荷的状态，W及接收和/或显示来自所述可移动物体、载体和/或载荷的 信息。例如，终端可W控制载荷相对于环境的定位，同时显示由载荷捕捉的图像数据，或者 关于载荷的位置的信息。或者，不同的终端可W用于不同的功能。例如，第一终端可W控制 可移动物体、载体和/或载荷的移动或状态，而第二终端可W接收和/或显示来自可移动物 体、载体和/或载荷的信息。例如，第一终端可W用于控制载荷相对于环境的定位，而第二 终端显示由该载荷捕捉的图像数据。多种通讯模式可W应用于一个可移动物体与一个集成 终端之间，该集成终端既控制该可移动物体又接收数据，或者，多种通讯模式可W应用于该 可移动物体与多个终端之间，该多个终端既控制该可移动物体又接收数据。。例如，在可移 动物体与同时控制该可移动物体并接收来自该可移动物体的数据的终端之间，可W形成至 少两种不同的通信模式。 阳179] 图11图示了根据实施方式中的包括载体1102和载荷1104的可移动物体1100。 虽然可移动物体1100被描绘为飞行器，但运样的描绘并不W此为限制，并且如前文所述可 W使用任何合适类型的可移动物体。本领域技术人员将会理解，本文在航空器系统的情景 下描述的任何实施方式均可适用于任何合适的可移动物体（例如，UAV)。在一些情况下，可 W在可移动物体1100上提供载荷1104而无需载体1102。可移动物体1100可W包括推进 机构1106、感测系统1108和通信系统1110。
[0180] 如前文所述，推进机构1106可W包括旋翼、螺旋奖、奖叶、引擎、马达、轮子、轴、磁 体或喷嘴中的一种或多种。例如，推进机构1106可W如本文其他各处所公开，是自紧式旋 翼、旋翼总成或其他旋转推进单元。可移动物体可W具有一个或多个、两个或更多个、=个 或更多个或者四个或更多个推进机构。推进机构可W全都是同一类型。或者，一个或多个 推进机构可W是不同类型的推进机构。推进机构1106可W使用任何合适的装置而安装在 可移动物体1100上，所述装置诸如为本文其他各处所述的支撑元件（例如，驱动轴）。推进 机构1106可W安装在可移动物体1100的任何合适的部分上，诸如顶部、底部、前面、后面、 侧面或其合适的组合。 阳181] 在一些实施方式中，推进机构1106可W使得可移动物体1100能够从一个表面垂 直地起飞或者垂直地降落在一个表面上，而无需可移动物体1100的任何水平移动（例如， 无需沿着跑道行进）。可选地，推进机构1106可W可操作地允许可移动物体1100 W指定位 置和/或方向悬停于空中。一个或多个推进机构1100可W独立于其他推进机构得到控制。 或者，推进机构1100可被配置成同时受到控制。例如，可移动物体1100可W具有多个水平 定向的旋翼，所述旋翼可W向该可移动物体提供升力和/或推力。可W致动所述多个水平 定向的旋翼W向可移动物体1100提供垂直起飞、垂直降落W及悬停能力。在一些实施方式 中，所述水平定向的旋翼中的一个或多个可W在顺时针方向上旋转，同时所述水平旋翼中 的一个或多个可W在逆时针方向上旋转。例如，顺时针旋翼的数目可W等于逆时针旋翼的 数目。每个水平定向的旋翼的旋转速率可独立地改变，W便控制由每个旋翼产生的升力和 /或推力，并从而调节可移动物体1100的空间排列、速度和/或加速度（例如，关于多达= 个平移自由度和多达=个旋转自由度）。
[0182] 感测系统1108可W包括一个或多个传感器，所述传感器可W感测可移动物体 1100的空间排列、速度和/或加速度（例如，关于多达=个平移自由度和多达=个旋转自由 度）。所述一个或多个传感器可W包括全球定位系统（GP巧传感器、运动传感器、惯性传感 器、距离传感器或图像传感器。由感测系统1208提供的感测数据可W用于控制可移动物体 1100的空间排列、速度和/或方向（例如，使用合适的处理单元和/或控制模块，如下文所 述）。或者，感测系统1108可W用于提供关于可移动物体周围环境的数据，诸如气象条件、 距潜在障碍物的距离、地理特征的位置、人造构造物的位置等。 阳183] 通信系统1110支持经由无线信号1116与具有通信系统1114的终端1112的通 信。通信系统1110、通信系统1114可W包括任何数目的适合于无线通信的发射器、接收器 和/或收发器。所述通信可W是单向通信，使得数据只能在一个方向上传输。例如，单向通 信可W仅设及可移动物体1100向终端1112传输数据，或者反之亦然。数据可W从通信系 统1110的一个或多个发射器传输至通信系统1112的一个或多个接收器，或者反之亦然。或 者，所述通信可W是双向通信，使得数据在可移动物体1100与终端1112之间的两个方向上 均可传输。双向通信可W设及从通信系统1110的一个或多个发射器向通信系统1114的一 个或多个接收器传输数据，并且反之亦然。 阳184] 在一些实施方式中，终端1112可W向可移动物体1100、载体1102和载荷1104中 的一个或多个提供控制数据，W及从可移动物体1100、载体1102和载荷1104中的一个或多 个接收信息（例如，可移动物体、载体或载荷的位置和/或运动信息；由载荷感测的数据，诸 如由载荷相机捕捉的图像数据）。在一些情况下，来自终端的控制数据可W包括针对可移动 物体、载体和/或载荷的相对位置、移动、致动或控制的指令。例如，控制数据可W导致可移 动物体的位置和/或定向的修改（例如，经由推进机构1106的控制），或者载荷相对于可移 动物体的移动（例如，经由载体1102的控制）。来自终端的控制数据可W导致对载荷的控 审IJ，诸如对相机或其他图像捕捉设备的操作的控制（例如，拍摄静态或移动图片、放大或缩 小、开启或关闭、切换成像模式、改变图像分辨率、改变聚焦、改变景深、改变曝光时间、改变 视角或视野）。在一些情况下，来自可移动物体、载体和/或载荷的通信可W包括来自一个 或多个传感器（例如，感测系统1108的或载荷1104的传感器）的信息。所述通信可W包 括来自一个或多个不同类型的传感器（例如，GI^传感器、运动传感器、惯性传感器、距离传 感器或图像传感器）的感测到的信息。运样的信息可W关于可移动物体、载体和/或载荷 的位置（例如，位置、方向）、移动或加速度。来自载荷的运样的信息可W包括由该载荷捕 捉的数据或感测到的该载荷的状态。由终端1112提供并传输的控制数据可被配置用于控 制可移动物体1100、载体1102或载荷1104中的一个或多个的状态。备选地或组合地，载 体1102和载荷1104还可W各自包括通信模块，该通信模块被配置用于与终端1112通信， W使得该终端可独立地与可移动物体1100、载体1102和载荷1104中的每一个通信和对其 加 W控制。 阳185] 在一些实施方式中，可移动物体1100可被配置用于与另一远程设备相通信一一附 加于终端1112或代替终端1112。终端1112也可被配置用于与另一远程设备W及可移动物 体1100相通信。例如，可移动物体1100和/或终端1112可W与另一可移动物体或者另一 可移动物体的载体或载荷相通信。当需要时，所述远程设备可W是第二终端或其他计算设 备（例如，计算机、笔记本电脑、平板计算机、智能电话或其他移动设备）。远程设备可被配 置用于向可移动物体1100传输数据、从可移动物体1100接收数据、向终端1112传输数据 W及/或者从终端1112接收数据。可选地，远程设备可W连接至因特网或其他电信网络， W使得从可移动物体1100和/或终端1112接收的数据可被上传至网站或服务器。 阳186] 图12是根据实施方式中的用于控制可移动物体的系统1200的通过框图来说明的 示意图。系统1200可W与本文所公开的系统、设备和方法的任何合适的实施方式结合使 用。系统1200可W包括感测模块1202、处理单元1204、非易失性计算机可读介质1206、控 制模块1208和通信模块1210。 阳187] 感测模块1202可W利用不同类型的传感器来通过不同方式收集与可移动物体有 关的信息。不同类型的传感器可W感测不同类型的信号或者来自不同来源的信号。例如， 所述传感器可W包括惯性传感器、GI^传感器、距离传感器（例如，激光雷达）或视觉/图 像传感器（例如，相机）。感测模块1202可W有效地禪合至具有多个处理器的处理单元 1204。在一些实施方式中，感测模块可W有效地禪合至传输模块1212(例如，Wi-Fi图像传 输模块），该传输模块被配置用于向合适的外部设备或系统直接传输感测数据。例如，传输 模块1212可W用于向远程终端传输由感测模块1202的相机捕捉的图像。
[0188] 处理单元1204可W具有一个或多个处理器，诸如可编程处理器（例如，中央处理 器（central processing unit, CPU))。处理单元1204可W有效地禪合至非易失性计算机 可读介质1206。非易失性计算机可读介质1206可W储存可由处理单元1204执行的逻辑、 代码和/或程序指令，用W执行一个或多个步骤。非易失性计算机可读介质可W包括一个 或多个存储器单元（例如，可移动介质或外部存储器，诸如SD卡或随机存取存储器（random access memcxry, RAM))。在一些实施方式中，来自感测模块1202的数据可直接传送至并储 存于非易失 性计算机可读介质1206的存储器单元内。非易失性计算机可读介质1206的存 储器单元可W储存可由处理单元1204执行的逻辑、代码和/或程序指令，用W执行本文所 描述的方法的任何合适的实施方式。例如，处理单元1204可被配置用于执行指令，从而使 处理单元1204的一个或多个处理器分析由感测模块产生的感测数据。存储器单元可W储 存要由处理单元1204处理的、来自感测模块的感测数据。在一些实施方式中，非易失性计 算机可读介质1206的存储单元可W用于储存由处理单元1204产生的处理结果。 阳189] 在一些实施方式中，处理单元1204可W有效地禪合至控制模块1208,该控制模块 1208被配置用于控制可移动物体的状态。例如，控制模块1208可被配置用于控制可移动物 体的推进机构W调节可移动物体关于六个自由度的空间排列、速度和/或加速度。备选地 或组合地，控制模块1208可W控制载体、载荷或感测模块的状态中的一个或多个。 阳190] 处理单元1204可W有效地禪合至通信模块1210,该通信模块1210被配置用于传 输数据和/或接收来自一个或多个外部设备（例如，终端、显示设备或其他遥控器）的数 据。可W使用任何合适的通信手段，诸如有线通信或无线通信。例如，通信模块1210可W 利用局域网（local area networks, LAN)、广域网（wide area networks, WAN)、红外线、无 线电、WiFi、点对点任oint-t〇-Point，P2P)网络、电信网络、云通信等之中的一种或多种。 可选地，可W使用中继站，诸如塔、卫星或移动台。无线通信可W依赖于距离或独立于距离。 在一些实施方式中，通信可能需要或者可能不需要视线。通信模块1210可W传输和/或接 收来自感测模块1202的感测数据、由处理单元1204产生的处理结果、预定控制数据、来自 终端或遥控器的用户命令等之中的一个或多个。 阳191] 系统1200的组件可W按任何合适的配置来布置。例如，系统1200的一个或多个 组件可W位于可移动物体、载体、载荷、终端、感测系统或与上述的一个或多个相通信的附 加的外部设备上。此外，虽然图12描绘了单一处理单元1204和单一非易失性计算机可读 介质1206,但本领域技术人员将会理解，运并不局限于此，并且系统1200可W包括多个处 理单元和/或非易失性计算机可读介质。在一些实施方式中，所述多个处理单元和/或非 易失性计算机可读介质中的一个或多个可W位于不同的位置，诸如在可移动物体、载体、载 荷、终端、感测模块、与上述的一个或多个相通信的附加的外部设备上或其合适的组合，W 使得由系统1200执行的处理和/或存储器功能的任何合适的方面可W发生于一个或多个 上述位置处。 阳192] 本文中使用的A和/或B包含A或B中的一个或多个W及其组合，诸如A和B。 阳193] 虽然本文已经示出和描述了本发明的优选实施方式，但对于本领域技术人员显而 易见的是，运样的实施方式只是W示例的方式提供的。本领域技术人员现将会在不偏离本 发明的情况下想到许多更改、改变和替代。应当理解，在实践本发明的过程中可W采用对本 文所描述的本发明实施方式的各种替代方案。W下权利要求旨在限定本发明的范围，并因 此覆盖运些权利要求范围内的方法、结构及其等效项。
【主权项】
1. 一种用于在环境内控制可移动物体的方法，所述方法包括： 使用由所述可移动物体携带的多个传感器中的至少一个传感器来确定所述可移动物 体的初始位置； 生成第一信号以使所述可移动物体在所述环境内航行； 使用所述多个传感器中的所述至少一个传感器来接收关于所述环境的感测数据； 基于所述感测数据，生成表示所述环境的至少一部分的环境地图； 接收返航至所述初始位置的指令；以及 基于所述环境地图，生成第二信号以使所述可移动物体返航至所述初始位置。2. 根据权利要求1所述的方法，其中所述无人飞行器被配置用于检测限制飞行区域的 存在，并且不在所述限制飞行区域的预定距离内飞行。3. 根据权利要求1所述的方法，其中所述多个传感器包括全球定位系统（GPS)传感器。4. 根据权利要求1所述的方法，其中所述多个传感器包括视觉传感器。5. 根据权利要求1所述的方法，其中所述多个传感器包括距离传感器。6. 根据权利要求5所述的方法，其中所述距离传感器包括以下至少一种：激光雷达传 感器、超声传感器或飞行时间相机传感器。7. 根据权利要求1所述的方法，其中所述环境地图包括拓扑地图。8. 根据权利要求1所述的方法，其中所述环境地图包括尺度地图。9. 根据权利要求8所述的方法，其中所述尺度地图包括以下至少一种：点云、3D网格地 图、2D网格地图或2. ?网格地图。10. 根据权利要求8所述的方法，其中所述尺度地图包括占据网格地图。11. 根据权利要求1所述的方法，其中生成所述第二信号包括： 使用所述多个传感器中的至少一个传感器来确定所述可移动物体的当前位置； 基于所述环境地图，确定从所述当前位置到所述初始位置的路径；以及 生成信号以使所述可移动物体沿着所述路径移动以返航至所述初始位置。12. 根据权利要求11所述的方法，其中确定所述路径包括确定从所述当前位置到所述 初始位置的最短路径。13. 根据权利要求11所述的方法，其中确定所述路径包括确定从所述当前位置到所述 初始位置的、避开所述环境内的一个或多个障碍物的路径。14. 根据权利要求11所述的方法，其中所述路径包括由所述可移动物体先前行进过的 一个或多个部分。15. 根据权利要求11所述的方法，其中所述路径不同于由所述可移动物体先前行进过 的路径。16. 根据权利要求11所述的方法，其中所述路径是所述可移动物体的飞行路径。17. 根据权利要求16所述的方法，其中所述路径包括所述可移动物体的空间位置和方 向。18. 根据权利要求11所述的方法，其中所述路径包括对应于所述可移动物体先前行进 过的位置的多个航点，所述多个航点是当所述可移动物体在所述环境内航行时被记录的。19. 根据权利要求18所述的方法，其中当所述可移动物体在所述环境内航行时，实时 地记录所述多个航点。20. 根据权利要求18所述的方法，其中当所述可移动物体在所述环境内航行时，以预 定时间间隔记录所述多个航点。21. 根据权利要求18所述的方法，其中将所述多个航点储存在列表数据结构中。22. 根据权利要求11所述的方法，其中生成所述信号以使所述可移动物体沿着所述路 径移动包括： 检测所述环境中沿着所述路径定位的障碍物； 修改所述路径以便避开所述障碍物；以及 生成信号以使所述可移动物体沿着经修改的路径移动。23. -种用于在环境内控制可移动物体的系统，所述系统包括： 由所述可移动物体携带的多个传感器；以及 一个或多个处理器，其被单个地或共同地配置用于： 使用所述多个传感器中的至少一个传感器来确定所述可移动物体的初始位置； 生成第一信号，该第一信号使所述可移动物体在所述环境内航行； 使用所述多个传感器中的所述至少一个传感器来接收关于所述环境的感测数据； 基于所述感测数据，生成表示所述环境的至少一部分的环境地图； 接收返航至所述初始位置的指令；以及 基于所述环境地图生成第二信号，该第二信号使所述可移动物体航行以返航至所述初 始位置。24. -种用于在环境内控制无人飞行器的方法，所述方法包括： 生成第一信号以使所述无人飞行器在所述环境内航行； 使用由所述无人飞行器携带的多个传感器来接收关于所述环境的至少一部分的感测 数据； 基于所述感测数据，生成表示所述环境的所述至少一部分的环境地图； 使用所述环境地图来检测位于所述环境的所述部分中的一个或多个障碍物；以及 使用所述环境地图来生成第二信号以使所述无人飞行器航行，以便避开所述一个或多 个障碍物。25. 根据权利要求24所述的方法，其中所述无人飞行器被配置用于检测限制飞行区域 的存在，并且不在所述限制飞行区域的预定距离内飞行。26. 根据权利要求24所述的方法，其中所述多个传感器包括全球定位系统（GPS)传感 器。27. 根据权利要求24所述的方法，其中所述多个传感器包括视觉传感器。28. 根据权利要求24所述的方法，其中所述多个传感器包括距离传感器。29. 根据权利要求28所述的方法，其中所述距离传感器包括以下至少一种：激光雷达 传感器、超声传感器或飞行时间相机传感器。30. 根据权利要求24所述的方法，其中所述环境地图包括拓扑地图。31. 根据权利要求24所述的方法，其中所述环境地图包括尺度地图。32. 根据权利要求31所述的方法，其中所述尺度地图包括以下至少一种：点云、3D网格 地图、2D网格地图或2. ?网格地图。33. 根据权利要求31所述的方法，其中所述尺度地图包括占据网格地图。34. 根据权利要求24所述的方法，其中基于从与所述无人飞行器通信的远程终端接收 到的指令来生成所述第一信号。35. 根据权利要求34所述的方法，其中所述指令由用户输入到所述远程终端中。36. 根据权利要求24所述的方法，其中由所述无人飞行器自主生成所述第一信号。37. 根据权利要求24所述的方法，其中所述感测数据包括相对于多个不同坐标系的数 据，并且生成所述环境地图包括将所述数据映射到单一坐标系上。38. 根据权利要求24所述的方法，其中生成所述第一信号包括为所述无人飞行器生成 的飞行路径，并且其中生成所述第二信号包括基于所述环境地图来修改所述飞行路径，以 便避开所述一个或多个障碍物。39. 根据权利要求38所述的方法，其中所述飞行路径被配置用于将所述无人飞行器从 当前位置引导至先前位置。40. -种用于在环境内控制无人飞行器的系统，所述系统包括： 由所述无人飞行器携带的多个传感器；以及 一个或多个处理器，其被单个地或共同地配置用于： 生成第一信号以使所述无人飞行器在所述环境内航行； 使用由所述无人飞行器携带的多个传感器来接收关于所述环境的至少一部分的感测 数据； 基于所述感测数据，生成表示所述环境的所述至少一部分的环境地图； 使用所述环境地图来检测位于所述环境的所述部分中的一个或多个障碍物；以及 使用所述环境地图来生成第二信号以使所述无人飞行器航行以便避开所述一个或多 个障碍物。41. 一种用于在环境内控制无人飞行器的方法，所述方法包括： 从第一传感器接收关于所述环境的第一感测信号，并从第二传感器接收关于所述环境 的第二感测信号，其中所述第一传感器和第二传感器是不同的传感器类型，并且其中所述 第一传感器和第二传感器由无人飞行器携带； 使用所述第一感测信号来生成第一环境地图，并使用所述第二感测信号来生成第二环 境地图，所述第一环境地图和第二环境地图各自包含所述环境的障碍物占据信息；以及 组合所述第一环境地图和第二环境地图，从而生成包含所述环境的障碍物占据信息的 最终环境地图。42. 根据权利要求41所述的方法，进一步包括： 至少部分基于所述最终环境地图中的障碍物占据信息，生成信号以使所述无人飞行器 在所述环境内航行。42. 根据权利要求41所述的方法，其中所述无人飞行器被配置用于检测限制飞行区域 的存在，并且不在所述限制飞行区域的预定距离内飞行。43. 根据权利要求41所述的方法，其中所述第一传感器或第二传感器中的至少一个传 感器包括全球定位系统（GPS)传感器。44. 根据权利要求41所述的方法，其中所述第一传感器或第二传感器中的至少一个传 感器包括视觉传感器。45. 根据权利要求41所述的方法，其中所述第一传感器或第二传感器中的至少一个传 感器包括距离传感器。46. 根据权利要求45所述的方法，其中所述距离传感器包括以下至少一种：激光雷达 传感器、超声传感器或飞行时间相机传感器。47. 根据权利要求41所述的方法，其中所述最终环境地图包括拓扑地图。48. 根据权利要求41所述的方法，其中所述最终环境地图包括尺度地图。49. 根据权利要求48所述的方法，其中所述尺度地图包括以下至少一种：点云、3D网格 地图、2D网格地图或2. ?网格地图。50. 根据权利要求48所述的方法，其中所述尺度地图包括占据网格地图。51. 根据权利要求41所述的方法，其中相对于第一坐标系提供所述第一环境地图，并 且相对于与所述第一坐标系不同的第二坐标系提供所述第二环境地图。52. 根据权利要求51所述的方法，其中所述第一坐标系是全局坐标系，而所述第二坐 标系是局部坐标系。53. 根据权利要求51所述的方法，其中组合所述第一环境地图和第二环境地图包括将 所述第一环境地图和第二环境地图转换至单一坐标系。54. 根据权利要求41所述的方法，其中所述第一传感器的感测范围不同于所述第二传 感器的感测范围。55. -种用于在环境内控制无人飞行器的系统，所述系统包括： 第一传感器，其由所述无人飞行器携带并且被配置用于生成关于所述环境的第一感测 信号； 第二传感器，其由所述无人飞行器携带并且被配置用于生成关于所述环境的第二感测 信号，其中所述第二传感器和所述第一传感器是不同的传感器类型；以及 一个或多个处理器，其被单个地或共同地配置用于： 接收所述第一感测信号和第二感测信号； 使用所述第一感测信号来生成第一环境地图并使用所述第二感测信号来生成第二环 境地图，所述第一环境地图和第二环境地图各自包含所述环境的障碍物占据信息；以及 组合所述第一环境地图和第二环境地图，从而生成包含所述环境的障碍物占据信息的 最终环境地图。56. -种用于在环境内控制无人飞行器的方法，所述方法包括： 使用由所述无人飞行器携带的多个传感器中的至少一个传感器来确定所述无人飞行 器的初始位置； 生成第一信号以使所述无人飞行器在所述环境内航行； 使用所述多个传感器中的所述至少一个传感器来接收关于所述环境的感测数据； 接收返航至所述初始位置的指令；以及 生成第二信号以使所述无人飞行器沿着路径返航至所述初始位置，其中当所述多个传 感器中的所述至少一个传感器检测到位于沿着所述路径的所述环境中的障碍物时，修改所 述路径以避开所述障碍物。57. 根据权利要求56所述的方法，其中所述无人飞行器被配置用于检测限制飞行区域 的存在，并且不在所述限制飞行区域的预定距离内飞行。58. 根据权利要求56所述的方法，其中所述多个传感器包括全球定位系统（GPS)传感 器。59. 根据权利要求56所述的方法，其中所述多个传感器包括视觉传感器。60. 根据权利要求56所述的方法，其中所述多个传感器包括距离传感器。61. 根据权利要求60所述的方法，其中所述距离传感器包括以下至少一种：激光雷达 传感器、超声传感器或飞行时间相机传感器。62. 根据权利要求56所述的方法，其中所述环境地图包括拓扑地图。63. 根据权利要求56所述的方法，其中所述环境地图包括尺度地图。64. 根据权利要求63所述的方法，其中所述尺度地图包括以下至少一种：点云、3D网格 地图、2D网格地图或2. ?网格地图。65. 根据权利要求63所述的方法，其中所述尺度地图包括占据网格地图。66. 根据权利要求56所述的方法，其中所述路径包括由所述无人飞行器先前行进过的 一个或多个部分。67. 根据权利要求56所述的方法，其中所述路径不同于由所述无人飞行器先前行进过 的路径。68. 根据权利要求56所述的方法，其中所述路径是所述无人飞行器的飞行路径。69. 根据权利要求68所述的方法，其中所述路径包括所述无人飞行器的空间位置和定 向。70. -种用于在环境内控制无人飞行器的系统，所述系统包括： 由所述可移动物体携带的多个传感器；以及 一个或多个处理器，其被单个地或共同地配置用于： 使用由所述无人飞行器携带的多个传感器中的至少一个传感器来确定所述可移动物 体的初始位置； 生成第一信号以使所述无人飞行器在所述环境内航行； 使用所述多个传感器中的所述至少一个传感器来接收关于所述环境的感测数据； 接收返航至所述初始位置的指令；以及 生成第二信号以使所述无人飞行器沿着路径返航至所述初始位置，其中当所述多个传 感器中的所述至少一个传感器检测到位于沿着所述路径的所述环境中的障碍物时，修改所 述路径以避开所述障碍物。71. -种用于生成环境的地图的方法，所述方法包括： 从由无人飞行器携带的一个或多个视觉传感器接收第一感测数据，所述第一感测数据 包含所述环境的深度信息； 从由所述无人飞行器携带的一个或多个距离传感器接收第二感测数据，所述第二感测 数据包含所述环境的深度信息；以及 使用所述第一感测数据和第二感测数据来生成包含所述环境的深度信息的环境地图。72. 根据权利要求71所述的方法，其中所述第一感测数据和第二感测数据各自包括 具有多个像素的至少一个图像，所述多个像素中的每个像素与二维图像坐标和深度值相关 联。73. 根据权利要求72所述的方法，其中所述多个像素中的每个像素与色值相关联。74. 根据权利要求71所述的方法，其中所述第一感测数据和第二感测数据各自包含所 述环境中的一个或多个物体的轮廓信息。75. 根据权利要求71所述的方法，进一步包括： 至少部分基于所述环境地图中的深度信息，生成信号以使所述无人飞行器在所述环境 内航行。76. 根据权利要求71所述的方法，其中所述无人飞行器被配置用于检测限制飞行区域 的存在，并且不在所述限制飞行区域的预定距离内飞行。77. 根据权利要求71所述的方法，其中所述一个或多个视觉传感器仅包括一个相机。78. 根据权利要求71所述的方法，其中所述一个或多个视觉传感器包括两个或更多个 相机。79. 根据权利要求71所述的方法，其中所述一个或多个距离传感器包括至少一个超声 传感器。80. 根据权利要求71所述的方法，其中所述一个或多个距离传感器包括至少一个激光 雷达传感器。81. 根据权利要求71所述的方法，其中所述第一感测数据包括第一组深度图像，而所 述第二感测数据包括第二组深度图像。82. 根据权利要求81所述的方法，其中生成所述环境地图包括： 辨别存在于所述第一组深度图像中的第一多个特征点； 辨别存在于所述第二组深度图像中的第二多个特征点，所述第二多个特征点中的每个 特征点对应于所述第一多个特征点中的一个特征点； 确定所述第一多个特征点与第二多个特征点之间的对应；以及 基于所述对应，通过组合所述第一组深度图像和第二组深度图像而生成所述环境地 图。83. 根据权利要求71所述的方法，其中相对于第一坐标系提供所述第一感测数据，并 且相对于与所述第一坐标系不同的第二坐标系提供所述第二感测数据。84. 根据权利要求83所述的方法，其中生成所述环境地图包括相对于第三坐标系来表 示所述第一感测数据和第二感测数据。85. 根据权利要求84所述的方法，其中所述第三坐标系是所述第一坐标系或所述第二 坐标系。86. 根据权利要求84所述的方法，其中所述第三坐标系不同于所述第一坐标系和所述 第二坐标系。87. 根据权利要求71所述的方法，其中所述环境地图包括拓扑地图。88. 根据权利要求71所述的方法，其中所述环境地图包括尺度地图。89. 根据权利要求88所述的方法，其中所述尺度地图包括以下至少一种：点云、3D网格 地图、2D网格地图或2. ?网格地图。90. 根据权利要求88所述的方法，其中所述尺度地图包括占据网格地图。91. 一种用于生成环境的地图的系统，所述系统包括： 一个或多个视觉传感器，其由无人飞行器携带并且被配置用于生成第一感测数据，所 述第一感测数据包含所述环境的深度信息； 一个或多个距离传感器，其由所述无人飞行器携带并且被配置用于生成第二感测数 据，所述第二感测数据包含所述环境的深度信息；以及 一个或多个处理器，其被单个地或共同地配置用于： 接收所述第一感测数据和第二感测数据；以及 使用所述第一感测数据和第二感测数据来生成包含所述环境的深度信息的环境地图。
【专利摘要】本发明提供了用于在环境内控制可移动物体的系统和方法。在一方面，一种方法可以包括：使用由所述可移动物体携带的多个传感器中的至少一个传感器来确定所述可移动物体的初始位置；生成第一信号以使所述可移动物体在所述环境内航行；使用所述多个传感器中的所述至少一个传感器来接收关于所述环境的感A数据；基于所述感测数据，生成表示所述环境的至少一部分的环境地图；接收返航至所述初始位置的指令；以及基于所述环境地图，生成第二信号以使所述可移动物体返航至所述初始位置。
【IPC分类】G05D1/10, G01C21/00
【公开号】CN105492985
【申请号】CN201480031173
【发明人】刘昂, 莫维宇, 凌永根
【申请人】深圳市大疆创新科技有限公司
【公开日】2016年4月13日
【申请日】2014年9月5日
【公告号】US20160070265, WO2016033797A1
最新回复(0)