基于图像匹配的确定智能手机位置和姿态的方法和系统的制作方法
基于图像匹配的确定智能手机位置和姿态的方法和系统的制作方法
【专利摘要】本发明涉及一种用于确定位置和姿态的方法和系统，能有效地被用于基于位置的服务。其通过使用在网络中的服务器上或用户终端上预先建立的地理定位参考图像数据库，以及用户终端的摄像头所拍摄的图像，精确地确定诸如智能手机的用户终端的关于位置和姿态的信息，并将所确定的位置和姿态提供给用户终端。
【专利说明】基于图像匹配的确定智能手机位置和姿态的方法和系统
【技术领域】
[0001] 本发明总体涉及确定用户终端（例如智能手机）的位置和姿态的方法和系统，更 具体地，涉及确定位置和姿态的方法和系统，其使用地理定位参考图像数据库（DB)更精确 地确定用户终端（例如智能手机）的位置和姿态的信息，该地理定位参考图像数据库（DB) 预先在用户终端或网络上的服务器中构建，从而使用户终端能够有效地利用所确定的关于 位置服务的信息。
【背景技术】
[0002] 近来，由于智能手机用户的数量增加以及智能手机的使用急剧扩大，基于地图的 道路导航系统或提供额外信息的系统的需求急剧增加。为了通过这种系统提供信息，必须 在真实世界的座标系中准确地检测智能手机的位置和姿态。然而，使用安装在终端中的全 球定位系统（GPS)确定用户位置目前具有误差范围大的缺点并且几乎不可能提供户内区 域的信息。
【发明内容】
[0003] 技术问题
[0004] 因此，本发明旨在解决上述问题。本发明的一个目标是提供一种确定位置和姿态 的方法和系统，其使用地理定位参考图像数据库（DB)，由从用户终端传输的传感器信息和 图像信息更精确地确定用户终端（例如智能手机）的关于位置和姿态的信息，所述地理定 位参考图像数据库预先在用户终端或网络上的服务器中构建，从而使用户终端有效地使用 所确定的关于定位服务的信息。
[0005] 技术方案
[0006] 对本发明的特征进行概括，为实现上述目标，根据本发明的一个方面，一种确定用 户终端的位置和姿态的系统包括：位置/姿态确定服务器，用于接收从用户终端传输的与 位置和姿态相关的传感器信息以及摄像头图像，所述用户终端通过网络与所述位置/姿态 确定服务器协同运作，其中，所述位置/姿态确定服务器由从用户终端传输的所述与位置 和姿态相关的传感器信息和摄像头图像，通过基于光束平差法（bundle adjustment)的地 理定位确定用户终端的位置信息和姿态信息，并将所述位置信息和姿态信息回馈到用户终 端。
[0007] 所述位置/姿态确定服务器可以包括：初始位置/姿态确定模块，用于基于所述传 感器信息确定用户终端的初始位置信息和初始姿态信息；数据库，用于预先存储地理定位 参考图像，在所述地理定位参考图像中指明了在通过地理定位获取图像时所获得的各个摄 像头的位置和姿态；搜索模块，用于在数据库中搜索地理定位参考图像，所述地理定位参考 图像包括与接收到的摄像头图像相似的图像；图像匹配模块，用于将接收到的多个摄像头 图像相互比对或将接收到的摄像头图像与找到的地理定位参考图像进行比对，并提取与匹 配的图像的位置相对应的图像点的座标作为连接点（tie point);以及位置/姿态调整模 块，用于对匹配的图像执行基于光束平差法的地理定位过程，然后对初始位置信息和初始 姿态信息进行校正，以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位 置信息和最终姿态信息。
[0008] 所述传感器信息可以包括由全球定位系统（GPS)模块测量的位置数据、由指南针 模块测量的方向数据、由陀螺仪传感器测量的姿态数据或由加速度传感器测量的加速度数 据。
[0009] 所述图像匹配模块可以提取在将从用户终端传输的多个摄像头图像中的任何两 个图像相互比对时的连接点，以及提取在将从用户终端传输的对应摄像头图像与找到的地 理定位参考图像相互比对时的连接点，并且提取可靠的连接点以使得所提取的多个连接点 在一单个点处会合，从而使误差最小化。
[0010] 所述位置/姿态调整模块可以由实时地从用户终端传输的传感器信息和摄像头 图像来确定最终位置信息和最终姿态信息，并将最终位置信息和最终姿态信息实时地回馈 到用户终端。
[0011] 所述用户终端可以基于回馈的最终位置信息和最终姿态信息，在与网络中的其它 服务器通信时接收给定的与位置和姿态相关的服务信息，并在屏幕中的地图上显示所接收 到的信息。
[0012] 根据本发明的另一个方面，一种确定用户终端的位置和姿态的方法，包括：由通过 网络与用户终端协同运作的服务器，接收由用户终端获取的与位置和姿态相关的传感器信 息和摄像头图像；所述服务器由从所述用户终端传输的所述与位置和姿态相关的传感器信 息和摄像头图像，通过基于光束平差法的地理定位来确定所述用户终端的位置信息和姿态 信息；以及所述服务器将所述位置信息和所述姿态信息回馈到所述用户终端。
[0013] 确定所述用户终端的位置信息和姿态信息并将这些信息回馈到所述用户终端可 以包括：根据所述传感器信息确定所述用户终端的初始位置信息和初始姿态信息；在数据 库中搜索地理定位参考图像，所述地理定位参考图像包括与接收到的摄像头图像相似的图 像，在所述数据库中预先存储了地理定位参考图像，在所述地理定位参考图像中指明了在 经由地理定位获取图像时所获得的各个摄像头的位置和姿态；经由地理定位获取所述位置 和姿态；将所接收的多个摄像头图像相互比对或将接收到的摄像头图像与找到的地理定位 参考图像进行比对，并提取与匹配的图像的位置对应的图像点的座标作为连接点；以及对 所述匹配的图像执行基于光束平差法的地理定位过程，然后对初始位置信息和初始姿态信 息进行校正，以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置信息 和最终姿态信息。
[0014] 根据本发明的又一个方面，一种用于确定用户终端的位置和姿态的方法，包括：使 用摄像头获取摄像头图像，并且使用一个或多个传感器测量与位置和姿态相关的传感器 信息；根据所述传感器信息确定初始位置信息和初始姿态信息；在数据库中搜索包括与所 述摄像头图像相似的图像的地理定位参考图像，所述数据库中预先存储了地理定位参考图 像，在所述地理定位参考图像中指明了在经由地理定位获取图像时所获得的各个摄像头的 位置和姿态；将该摄像头图像与找到的地理定位参考图像进行比对，并提取与匹配的图像 的位置对应的图像点的座标来作为连接点；以及对所述匹配的图像执行基于光束平差法的 地理定位过程，然后对初始位置信息和初始姿态信息进行校正，以确定与关于所述数据库 的所述连接点对应的所述用户终端的最终位置信息和最终姿态信息。
[0015] 根据本发明的又一个方面，一种确定用户终端的位置和姿态的装置，包括：摄像 头，用于获取摄像头图像；传感器模块，用于测量与位置和姿态相关的传感器信息；初始位 置/姿态确定模块，用于基于所述传感信息确定初始位置信息和初始姿态信息；数据库，所 述数据库用于预先存储地理定位参考图像，在所述地理定位参考图像中指明了在经由地理 定位获取图像时所获得的各个摄像头的位置和姿态；搜索模块，用于在所述数据库中搜索 包括与所述摄像头图像相似的图像的地理定位参考图像；图像匹配模块，用于将所述摄像 头图像与找到的地理定位参考图像相互比对，并且提取与匹配的图像的位置对应的图像点 的座标来作为连接点；以及位置/姿态调整模块，用于对所述匹配的图像执行基于光束平 差法的地理定位过程，然后对所述初始位置信息和初始姿态信息进行校正，以确定与关于 所述数据库的所述连接点对应的所述用户终端的最终位置信息和最终姿态信息。
[0016] 有益效果
[0017] 根据本发明的确定用户终端的位置和姿态的方法和系统，使用地理定位参考图像 数据库（DB)和由摄像头拍摄的图像更精确地确定关于用户终端的位置和姿态的信息，并 将其提供给所述用户终端，从而所述用户终端可以有效地将所确定的信息用于基于位置的 服务。被提供给所述用户终端的所述与位置和姿态相关的信息可以用于户内和户外，并且 可以有效地用于基于位置的服务，例如精确道路导航服务、提供额外信息的服务以及增强 现实的服务。
【专利附图】
【附图说明】
[0018] 图1是示出根据本发明实施例的确定用户终端的位置和姿态的系统的示意图；
[0019] 图2是示出图1的用户终端和位置/姿态确定服务器的详细方框图；
[0020] 图3是示出根据本发明实施例的确定用户终端的位置和姿态的系统的操作流程 图。
【具体实施方式】
[0021] 以下，将参考附图以及附图中的细节详细描述本发明的优选实施例，但本发明不 限于这些实施例。
[0022] 图1是示出根据本发明实施例的确定用户终端的位置和姿态的系统100的示意 图。
[0023] 参见图1，根据本发明实施例的确定用户终端的位置和姿态的系统100包括：位置 /姿态确定服务器120,用于通过网络协同用户终端110操作，并且所述网络可以包括基于 位置的服务（LBS)服务器，该服务器用于向用户终端110提供与用户终端110的位置和姿 态相关的LBS服务信息。
[0024] 此时，根据通信环镜，所述网络可以是（但不仅限于），因特网（包括Wi-Fi网 络），并且可以包括无线移动通信网络，诸如宽带码分多址移动通信系统（WCDMA，包括第三 代（3G)或基于长期演进（LTE)的4G)或无线宽带（WiBro)网络，或者包括有线电话网络 等。在用户终端110通过网络同与用户终端协同的位置/姿态确定服务器120协同操作 时，用户终端110可以被提供传输与位置和姿态相关的信息（传感器信息、摄像头图像信息 等）的服务，所述与位置和姿态相关的信息由用户终端110从户内或户外区域获得，并且用 户终端110可以从位置/姿态确定服务器120接收经更精确校正的与位置和姿态相关的信 息来作为回馈信息，该信息是通过对与拍摄摄像头图像时的位置和姿态相关的信息进行校 正来获得的。
[0025] 根据使用环境，用户终端110是能访问网络（例如互联网）并能利用数据服务的 终端，其可以是（但不仅限于）智能手机（例如iPod或Android手机），或者可以是便携或 移动终端，诸如移动电话或能通过网络进行通信的个人通信服务（PCS)电话、能进行无线 通信的同步/异步国际移动通信-2000 aMT-2000)终端、个人数字助理（PDA)、无线应用协 议（WAP)电话、移动PS (Play Station)游戏机、或其它类型的便携多媒体播放器（PMP)，可 以是笔记本式个人计算机（PC)、台式PC、掌上PC，并且可以包括能与其它电子应用通信并 且被全社会广泛使用的家用或商用的各种类型的电子应用或设备。
[0026] 用户终端110可以在与网络上的LBS服务器通信时，接收与相应的位置或姿态相 关的服务信息，该服务信息是基于最终位置信息（纬度、经度、高度等）或最终姿态信息 (由位置/姿态确定服务器120精确估算并回馈的旋转角信息，例如前向移动方向（横摇轴 方向）、前向移动方向的右侧方向（纵摇轴方向）、重力方向（首摇轴方向），并且可以在屏 幕中的地图上显示相应信息。例如，用户终端110可以在地图上提供更精确的道路导航服 务（例如导航系统所提供的服务），提供增强现实的服务以更准确地结合适合于给定姿态 的（虚拟）图像，并且提供适宜于用户终端110的精确位置和姿态的各种类型的额外信息。
[0027] 以下，将参考用户终端110的方框图和图2的位置/姿态确定服务器120以及图 3的流程图对根据本发明实施例的用于确定用户终端的位置和姿态的系统100的操作进行 详细描述。
[0028] 如图2所示，用户终端110包括传感器模块111、摄像头112以及采集传输模 块113,并且位置/姿态确定服务器120包括初始位置/姿态确定模块121、图像数据库 (DB) 122、图像搜索模块123、图像匹配模块124以及位置/姿态调整模块125。
[0029] 首先，在用户终端110中，根据用户的操作或当前服务的预定应用程序的操作，传 感器模块111测量与位置和姿态（PA)相关的传感器信息，摄像头112拍摄周围图像（可以 是多个静止或运动图像）并产生摄像头图像，并且采集传输模块113采集这种与位置和姿 态（PA)相关的传感器信息和摄像头图像（信息），并且将所采集的信息传输到位置/姿态 确定服务器120(图3, S10)。
[0030] 此时，传感器模块111测量的与位置和姿态（PA)相关的传感器信息可以是由全球 定位系统（GPS)模块测量的位置数据（纬度、经度、高度等）、由指南针模块测量的方向数据 (与运动方向有关的信息）、由陀螺仪传感器测量的姿态数据（与角速度的增量相关的旋转 角信息，例如前向移动方向（横摇轴方向）、前向移动方向的右侧方向（纵摇轴方向）和重 力方向（首摇轴方向）），或者由加速度传感器测量的加速度数据（与在运动方向上的速度 增量相关的加速度信息）。
[0031] 如果从用户终端110传输与位置和姿态（PA)相关的传感器信息和摄像头图像，那 么，初始位置/姿态确定模块121根据与位置和姿态（PA)相关的传感器信息，确定初始位 置信息（炉，入，h)(纬度、经度、高度等）和初始姿态信息（0 toll，0 Piteh，0 Yaw)(旋转角信 息，例如前向移动方向（横摇轴方向）、前向移动方向的右侧方向（纵摇轴方向）、重力方向 (首摇轴方向））来作为用户终端110的初始外部取向参数（图3, S20)。
[0032] 初始位置/姿态确定模块121通过将指南针模块的方向数据、陀螺仪传感器的姿 态数据、加速度传感器的加速度数据等与位置和姿态（PA)相关的传感器信息应用到预定 的导航方程式中，可以估算速度并确定位置信息和姿态信息，并且通过将GPS模块的位置 数据额外地应用到所提供的卡尔曼滤波器（Kalman filter)，可以确定上述初始位置信息 (炉，X，h)(纟韦度、经度、高度等）和初始姿态信息（0M1，0 pitc;h，0Yaw)，来作为用户终端 110的初始外部取向参数。由于使用这种导航方程式或卡尔曼滤波器估算与位置和姿态相 关的导航信息的技术在所属领域内是熟知的，所以省略了对其详细的描述。
[0033] 同时，在图像数据库122中，地理定位参考图像和各个图像点的座标被预先构建 并存储，其中，所述地理定位参考图像对应于各个摄像头的位置（史，A，h)和姿态（0 M1， ePitc;h，eYaw)，这些图像是在经由地理定位获取图像时所获得的，各个图像点的座标是图像 点的地面座标。图像搜索模块123在图像数据库122中搜索地理定位参考图像（图3, S30)， 该地理定位参考图像包括与从用户终端110接收的给定摄像头图像相似的图像。上述图像 点座标可以被存储在图像数据库122中，并且有效地用于计算与位置或姿态相关的信息， 下文将会对此描述。但这并不是必需的，其可以被省略并且可以由任意一种估算的图像相 对座标代替。
[0034] 地理定位是一种算法，其通过使用由多传感器（全球定位系统（GPS)、惯性测量单 元（IMU)、数字摄像头、激光扫描仪等）获取的摄像头的与位置和姿态相关的数据和图像数 据，来获取在图像或拍摄位置中所包含的地面物体的三维（3D)地面座标信息。根据数字 摄像头等的连续的与位置和姿态相关的数据来执行基于航空三角测量（AT)的地理定位过 程，然后可以估算在拍摄位置处的摄像头的图像或位置和姿态中所包括的地面物体的座标 (或图像点），同时诸如与位置和姿态相关的数据的外部取向参数被校正，并且可以获取与 在拍摄时的位置和姿态相对应的地理定位图像。
[0035] 通过这种地理定位方法，地理定位参考图像被预先构建并存储在数据库〇)B) 122 中，在所述地理定位参考图像中指明了在图像获取时的各个摄像头的位置和姿态。图像搜 索模块123可以在图像数据库122中搜索地理定位参考图像，所述地理定位参考图像包括 与用户终端110的摄像头图像相似的图像。
[0036] 图像匹配模块124可以将用户终端110的多个摄像头图像相互比对或者将摄像头 图像与由图像搜索模块123找到的地理定位参考图像进行比对，并且提取与摄像头的拍摄 位置（屮，A，h)对应的匹配的图像的图像点的座标，来作为连接点（共轭点）（图3，S40)。 此时，除了将自用户终端110传输的摄像头图像与找到的地理定位参考图像相互比对时的 连接点以外，在将自用户终端110传输的多个摄像头图像中的任何两个不同图像相互比对 时，可以进一步提取在相匹配的图像部分之间的一个或多个连接点。可以计算出为使得误 差最小化而能够让多个所提取的连接点在一点处会合的可靠连接点。
[0037] 例如，必须满足一个条件，其中对于单个地面点，在被估算为相同图像的摄像头图 像和由图像搜索模块123所找到的地理定位参考图像的匹配部分之间的图像点存在于预 定共线方程的单一直线上。然而，即使在相同地面点的情况中，也可能出现由于图像点（连 接点）的座标之间的误差而使得这些地面点不能在单个地面点处会合的情况。因此，通过 采用最小二乘法，可以将下面这种点计算为连接点：这种点允许对于单个地面点的多个共 线方程的直线在相对小范围内会合而使得误差最小化。
[0038] 如果已经以这种方式计算了这些连接点，那么位置/姿态调整模块125被配置为 以下情形：为了确定最终外部取向参数（所述最终外部取向参数能使用对应的连接点获取 连接点（使得可以获取对应的摄像头图像）），位置/姿态调整模块125可以校正由初始位 置/姿态确定模块121根据相互匹配的摄像头图像或地理定位参考图像（或这些图像的图 像点）确定的初始外部取向参数（初始位置信息和初始姿态信息），然后可以确定用户终 端110的最终外部取向参数（最终位置信息和最终姿态信息）（图3, S50)，并且将最终外部 取向参数回馈到用户终端110 (图3, S60)。在这种情况下，位置/姿态调整模块125根据 从用户终端110实时传输的PA传感器信息和摄像头图像来相继确定最终位置信息和最终 姿态信息，并将最终位置信息和最终姿态信息实时地回馈到用户终端110。在这种情况下， 可以引用存储在数据库122中的对应匹配部分的地理定位参考图像（包括图像点的地面座 标）。在这种情况下，位置/姿态调整模块125执行基于光束平差法的地理定位过程，并校 正初始外部取向参数（初始位置信息和初始姿态信息），从而精确地估算拍摄对应图像的 用户终端110的地面（拍摄）座标。
[0039] 基于光束平差法的地理定位是一种间接确定摄像头位置和姿态的方法，S卩，用户 终端110在获取图像时的位置和姿态。基于图像的光束平差法的位置/姿态调整模块125 使用一种数学模型（带有随机约束条件的高斯_马尔可夫模型），其使用带有随机约束条件 的共线条件表达式，将最小二乘法应用到初始外部取向参数（初始位置信息和姿态信息）， 其中从匹配的图像的部分（或这些图像的图像点）参考了与数据库122中的各个摄像头的 位置和姿态对应的地理定位参考图像（包括图像点的地面座标），并且在上述数学模型中 反复地计算预定的法方程，从而估算最终会聚的最终外部取向参数（最终位置信息和最终 姿态信息）。根据上述过程，可以将以下内容估算为关于拍摄对应摄像头图像的位置和姿态 的信息：在基于上述数学模型的预定法方程中，关于能够从匹配的参考图像部分获取连接 点的误差被最小化的最终位置和最终姿态的信息。
[0040] 如上所述，尽管已经示出用户终端110精确地接收用户终端110的对应位置信息 和姿态信息来作为回馈信息，同时与在网络上的位置/姿态确定服务器120协同操作的过 程，但该过程不限于此例。位置/姿态确定服务器120的组件被包括在用户终端110中来 作为位置/姿态确定器件，从而用户终端110可以直接估算并使用上述最终外部取向参数。 也就是说，用户终端110可以不仅仅包括传感器模块111、摄像头112和采集传输模块113， 还可以包括初始位置/姿态确定模块121、图像数据库122、图像搜索模块123、图像匹配模 块124和位置/姿态调整模块125。此时，用户终端110可以直接估算上述精确的最终外部 取向参数，而不需要将与位置和姿态相关的传感器信息、摄像头图像等传输到网络上的服 务器。
[0041] 用户终端110可以在与网络上的LBS服务器通信时接收相应的与位置或姿态相关 的服务信息并在屏幕中的地图上显示这些信息，该过程是基于由用户终端直接估算的最终 外部取向参数，或由网络上的位置/姿态确定服务器120精确地估算并从服务器120回馈 的最终外部取向参数，即，最终位置信息（少，A，h)(纬度、经度、高度等）或最终姿态信息 (0fcll，0Pitc；h， 0YaJ。例如，如在导航系统中的情况中，用户终端可以在地图上提供更 精确的道路导航服务，实现更精确地结合适用于给定姿态的（虚拟）图像来实施增强现实 服务，并且提供适用于用户终端110的精确位置和姿态的各种类型的额外信息。
[0042] 尽管参考了有限数目个实施例和附图来描述本发明，本发明不限于上述实施例， 并且本发明所属领域的技术人员可以做出多种改变和修改。因此，本发明的范围不应由上 述实施例限定，并且应当由所附权利要求书及其等同物限定。
【权利要求】
1. 一种用于确定用户终端的位置和姿态的系统，包括： 位置/姿态确定服务器，用于接收从用户终端传输的与位置和姿态有关的传感器信息 和摄像头图像，所述用户终端通过网络与所述位置/姿态确定服务器协同运作， 其中，所述位置/姿态确定服务器由从所述用户终端传输的所述与位置和姿态有关的 传感器信息和所述摄像头图像，通过基于光束平差法的地理定位，确定所述用户终端的位 置信息和姿态信息，并将所述位置信息和所述姿态信息回馈到所述用户终端。
2. 根据权利要求1所述的系统，其中所述位置/姿态确定服务器包括： 初始位置/姿态确定模块，用于基于所述传感器信息确定所述用户终端的初始位置信 息和初始姿态信息； 数据库，用于预先存储地理定位参考图像，在所述地理定位参考图像中指明了在经由 地理定位获取图像时所获得的各个摄像头的位置和姿态； 搜索模块，用于在所述数据库中搜索地理定位参考图像，所述地理定位参考图像包括 与接收到的摄像头图像相似的图像； 图像匹配模块，用于将接收到的多个摄像头图像相互比对或将接收到的摄像头图像与 找到的地理定位参考图像进行比对，并提取与匹配的图像的位置对应的图像点座标来作为 连接点；以及 位置/姿态调整模块，用于对所述匹配的图像执行基于光束平差法的地理定位过程， 然后校正所述初始位置信息和初始姿态信息，以确定与关于所述数据库的所述连接点对应 的所述用户终端的最终位置信息和最终姿态信息。
3. 根据权利要求1所述的系统，其中所述传感器信息包括：由全球定位系统（GPS)模 块测量的位置数据、由指南针模块测量的方向数据、由陀螺仪传感器测量的姿态数据或由 加速度传感器测量的加速度数据。
4. 根据权利要求2所述的系统，其中，所述图像匹配模块提取在将从所述用户终端传 输的多个摄像头图像中的任何两个图像相互比对时的连接点，提取在将从所述用户终端传 输的对应摄像头图像与所找到的地理定位参考图像相互比对时的连接点，并且提取可靠的 连接点以使多个所提取的连接点在一单个点处会合，从而使误差最小化。
5. 根据权利要求2所述的系统，其中，所述位置/姿态调整模块由从所述用户终端实时 地传输的传感器信息和摄像头图像确定所述最终位置信息和最终姿态信息，并将所述最终 位置信息和最终姿态信息实时地回馈到所述用户终端。
6. 根据权利要求1所述的系统，其中，所述用户终端根据所回馈的所述最终位置信息 或最终姿态信息，在与网络中的其它服务器通信时接收给定的与位置和姿态相关的服务信 息，并在屏幕中的地图上显示接收到的信息。
7. -种确定用户终端的位置和姿态的方法，包括： 由通过网络与用户终端协同运作的服务器来接收由所述用户终端获取的与位置和姿 态相关的传感器信息和摄像头图像；以及 所述服务器由从所述用户终端传输的所述与位置和姿态相关的传感器信息和所述摄 像头图像，通过基于光束平差法的地理定位，确定所述用户终端的位置信息和姿态信息，并 且所述服务器将所述位置信息和姿态信息回馈到所述用户终端。
8. 根据权利要求7所述的方法，其中，确定所述用户终端的所述位置信息和姿态信息 并将所述位置信息和姿态信息回馈到所述用户终端包括： 根据所述传感器信息确定所述用户终端的初始位置信息和初始姿态信息； 在数据库中搜索地理定位参考图像，其中所述地理定位参考图像包括与接收到的摄像 头图像相似的图像，在所述数据库中预先存储了地理定位参考图像，在所述地理定位参考 图像中指明了在经由地理定位获取图像时所获得的各个摄像头的位置和姿态； 经由地理定位获取所述位置和姿态； 将接收到的多个摄像头图像相互比对，或将所述接收到的图像与找到的地理定位参考 图像进行比对，并提取与匹配的图像的位置对应的图像点座标作为连接点；以及 对所述匹配的图像执行基于光束平差法的地理定位过程，然后校正所述初始位置信息 和初始姿态信息，以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置 信息和最终姿态信息。
9. 一种确定用户终端的位置和姿态的方法，包括： 使用摄像头获取摄像头图像，并使用一个或多个传感器测量与位置和姿态相关的传感 器信息； 根据所述传感器信息确定初始位置信息和初始姿态信息； 在数据库中搜索地理定位参考图像，其中所述地理定位参考图像包括与所述摄像头图 像相似的图像，所述数据库中预先存储了地理定位参考图像，在所述地理定位参考图像中 指明了在经由地理定位获取图像时所获得的各个摄像头的位置和姿态； 将所述摄像头图像与找到的地理定位参考图像进行比对，并提取与匹配的图像的位置 对应的图像点座标作为连接点；以及 对所述匹配的图像执行基于光束平差法的地理定位过程，然后校正所述初始位置信息 和初始姿态信息，以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置 信息和最终姿态信息。
10. -种用于确定用户终端的位置和姿态的装置，包括： 摄像头，用于获取摄像头图像； 传感器模块，用于测量与位置和姿态相关的传感器信息； 初始位置/姿态确定模块，用于基于所述传感器信息确定初始位置信息和初始姿态信 息； 数据库，用于预先存储地理定位参考图像，在所述地理定位参考图像中指明了在经由 地理定位获取图像时所获得的各个摄像头的位置和姿态； 搜索模块，用于在所述数据库中搜索地理定位参考图像，所述地理定位参考图像包括 与所述摄像头图像相似的图像； 图像匹配模块，用于将所述摄像头图像与找到的地理定位参考图像进行比对，并提取 与匹配的图像的位置对应的图像点座标作为连接点；以及 位置/姿态调整模块，用于对所述匹配的图像执行基于光束平差法的地理定位过程， 然后校正所述初始位置信息和初始姿态信息，以确定与关于所述数据库的所述连接点对应 的所述用户终端的最终位置信息和最终姿态信息。
【文档编号】H04W64/00GK104335649SQ201280072738
【公开日】2015年2月4日 申请日期:2012年11月14日 优先权日:2012年4月26日
【发明者】李林枰, 崔京儿, 金浩俊 申请人:首尔市立大学校产学协力团
【专利摘要】本发明涉及一种用于确定位置和姿态的方法和系统，能有效地被用于基于位置的服务。其通过使用在网络中的服务器上或用户终端上预先建立的地理定位参考图像数据库，以及用户终端的摄像头所拍摄的图像，精确地确定诸如智能手机的用户终端的关于位置和姿态的信息，并将所确定的位置和姿态提供给用户终端。
【专利说明】基于图像匹配的确定智能手机位置和姿态的方法和系统
【技术领域】
[0001] 本发明总体涉及确定用户终端（例如智能手机）的位置和姿态的方法和系统，更 具体地，涉及确定位置和姿态的方法和系统，其使用地理定位参考图像数据库（DB)更精确 地确定用户终端（例如智能手机）的位置和姿态的信息，该地理定位参考图像数据库（DB) 预先在用户终端或网络上的服务器中构建，从而使用户终端能够有效地利用所确定的关于 位置服务的信息。
【背景技术】
[0002] 近来，由于智能手机用户的数量增加以及智能手机的使用急剧扩大，基于地图的 道路导航系统或提供额外信息的系统的需求急剧增加。为了通过这种系统提供信息，必须 在真实世界的座标系中准确地检测智能手机的位置和姿态。然而，使用安装在终端中的全 球定位系统（GPS)确定用户位置目前具有误差范围大的缺点并且几乎不可能提供户内区 域的信息。
【发明内容】
[0003] 技术问题
[0004] 因此，本发明旨在解决上述问题。本发明的一个目标是提供一种确定位置和姿态 的方法和系统，其使用地理定位参考图像数据库（DB)，由从用户终端传输的传感器信息和 图像信息更精确地确定用户终端（例如智能手机）的关于位置和姿态的信息，所述地理定 位参考图像数据库预先在用户终端或网络上的服务器中构建，从而使用户终端有效地使用 所确定的关于定位服务的信息。
[0005] 技术方案
[0006] 对本发明的特征进行概括，为实现上述目标，根据本发明的一个方面，一种确定用 户终端的位置和姿态的系统包括：位置/姿态确定服务器，用于接收从用户终端传输的与 位置和姿态相关的传感器信息以及摄像头图像，所述用户终端通过网络与所述位置/姿态 确定服务器协同运作，其中，所述位置/姿态确定服务器由从用户终端传输的所述与位置 和姿态相关的传感器信息和摄像头图像，通过基于光束平差法（bundle adjustment)的地 理定位确定用户终端的位置信息和姿态信息，并将所述位置信息和姿态信息回馈到用户终 端。
[0007] 所述位置/姿态确定服务器可以包括：初始位置/姿态确定模块，用于基于所述传 感器信息确定用户终端的初始位置信息和初始姿态信息；数据库，用于预先存储地理定位 参考图像，在所述地理定位参考图像中指明了在通过地理定位获取图像时所获得的各个摄 像头的位置和姿态；搜索模块，用于在数据库中搜索地理定位参考图像，所述地理定位参考 图像包括与接收到的摄像头图像相似的图像；图像匹配模块，用于将接收到的多个摄像头 图像相互比对或将接收到的摄像头图像与找到的地理定位参考图像进行比对，并提取与匹 配的图像的位置相对应的图像点的座标作为连接点（tie point);以及位置/姿态调整模 块，用于对匹配的图像执行基于光束平差法的地理定位过程，然后对初始位置信息和初始 姿态信息进行校正，以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位 置信息和最终姿态信息。
[0008] 所述传感器信息可以包括由全球定位系统（GPS)模块测量的位置数据、由指南针 模块测量的方向数据、由陀螺仪传感器测量的姿态数据或由加速度传感器测量的加速度数 据。
[0009] 所述图像匹配模块可以提取在将从用户终端传输的多个摄像头图像中的任何两 个图像相互比对时的连接点，以及提取在将从用户终端传输的对应摄像头图像与找到的地 理定位参考图像相互比对时的连接点，并且提取可靠的连接点以使得所提取的多个连接点 在一单个点处会合，从而使误差最小化。
[0010] 所述位置/姿态调整模块可以由实时地从用户终端传输的传感器信息和摄像头 图像来确定最终位置信息和最终姿态信息，并将最终位置信息和最终姿态信息实时地回馈 到用户终端。
[0011] 所述用户终端可以基于回馈的最终位置信息和最终姿态信息，在与网络中的其它 服务器通信时接收给定的与位置和姿态相关的服务信息，并在屏幕中的地图上显示所接收 到的信息。
[0012] 根据本发明的另一个方面，一种确定用户终端的位置和姿态的方法，包括：由通过 网络与用户终端协同运作的服务器，接收由用户终端获取的与位置和姿态相关的传感器信 息和摄像头图像；所述服务器由从所述用户终端传输的所述与位置和姿态相关的传感器信 息和摄像头图像，通过基于光束平差法的地理定位来确定所述用户终端的位置信息和姿态 信息；以及所述服务器将所述位置信息和所述姿态信息回馈到所述用户终端。
[0013] 确定所述用户终端的位置信息和姿态信息并将这些信息回馈到所述用户终端可 以包括：根据所述传感器信息确定所述用户终端的初始位置信息和初始姿态信息；在数据 库中搜索地理定位参考图像，所述地理定位参考图像包括与接收到的摄像头图像相似的图 像，在所述数据库中预先存储了地理定位参考图像，在所述地理定位参考图像中指明了在 经由地理定位获取图像时所获得的各个摄像头的位置和姿态；经由地理定位获取所述位置 和姿态；将所接收的多个摄像头图像相互比对或将接收到的摄像头图像与找到的地理定位 参考图像进行比对，并提取与匹配的图像的位置对应的图像点的座标作为连接点；以及对 所述匹配的图像执行基于光束平差法的地理定位过程，然后对初始位置信息和初始姿态信 息进行校正，以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置信息 和最终姿态信息。
[0014] 根据本发明的又一个方面，一种用于确定用户终端的位置和姿态的方法，包括：使 用摄像头获取摄像头图像，并且使用一个或多个传感器测量与位置和姿态相关的传感器 信息；根据所述传感器信息确定初始位置信息和初始姿态信息；在数据库中搜索包括与所 述摄像头图像相似的图像的地理定位参考图像，所述数据库中预先存储了地理定位参考图 像，在所述地理定位参考图像中指明了在经由地理定位获取图像时所获得的各个摄像头的 位置和姿态；将该摄像头图像与找到的地理定位参考图像进行比对，并提取与匹配的图像 的位置对应的图像点的座标来作为连接点；以及对所述匹配的图像执行基于光束平差法的 地理定位过程，然后对初始位置信息和初始姿态信息进行校正，以确定与关于所述数据库 的所述连接点对应的所述用户终端的最终位置信息和最终姿态信息。
[0015] 根据本发明的又一个方面，一种确定用户终端的位置和姿态的装置，包括：摄像 头，用于获取摄像头图像；传感器模块，用于测量与位置和姿态相关的传感器信息；初始位 置/姿态确定模块，用于基于所述传感信息确定初始位置信息和初始姿态信息；数据库，所 述数据库用于预先存储地理定位参考图像，在所述地理定位参考图像中指明了在经由地理 定位获取图像时所获得的各个摄像头的位置和姿态；搜索模块，用于在所述数据库中搜索 包括与所述摄像头图像相似的图像的地理定位参考图像；图像匹配模块，用于将所述摄像 头图像与找到的地理定位参考图像相互比对，并且提取与匹配的图像的位置对应的图像点 的座标来作为连接点；以及位置/姿态调整模块，用于对所述匹配的图像执行基于光束平 差法的地理定位过程，然后对所述初始位置信息和初始姿态信息进行校正，以确定与关于 所述数据库的所述连接点对应的所述用户终端的最终位置信息和最终姿态信息。
[0016] 有益效果
[0017] 根据本发明的确定用户终端的位置和姿态的方法和系统，使用地理定位参考图像 数据库（DB)和由摄像头拍摄的图像更精确地确定关于用户终端的位置和姿态的信息，并 将其提供给所述用户终端，从而所述用户终端可以有效地将所确定的信息用于基于位置的 服务。被提供给所述用户终端的所述与位置和姿态相关的信息可以用于户内和户外，并且 可以有效地用于基于位置的服务，例如精确道路导航服务、提供额外信息的服务以及增强 现实的服务。
【专利附图】
【附图说明】
[0018] 图1是示出根据本发明实施例的确定用户终端的位置和姿态的系统的示意图；
[0019] 图2是示出图1的用户终端和位置/姿态确定服务器的详细方框图；
[0020] 图3是示出根据本发明实施例的确定用户终端的位置和姿态的系统的操作流程 图。
【具体实施方式】
[0021] 以下，将参考附图以及附图中的细节详细描述本发明的优选实施例，但本发明不 限于这些实施例。
[0022] 图1是示出根据本发明实施例的确定用户终端的位置和姿态的系统100的示意 图。
[0023] 参见图1，根据本发明实施例的确定用户终端的位置和姿态的系统100包括：位置 /姿态确定服务器120,用于通过网络协同用户终端110操作，并且所述网络可以包括基于 位置的服务（LBS)服务器，该服务器用于向用户终端110提供与用户终端110的位置和姿 态相关的LBS服务信息。
[0024] 此时，根据通信环镜，所述网络可以是（但不仅限于），因特网（包括Wi-Fi网 络），并且可以包括无线移动通信网络，诸如宽带码分多址移动通信系统（WCDMA，包括第三 代（3G)或基于长期演进（LTE)的4G)或无线宽带（WiBro)网络，或者包括有线电话网络 等。在用户终端110通过网络同与用户终端协同的位置/姿态确定服务器120协同操作 时，用户终端110可以被提供传输与位置和姿态相关的信息（传感器信息、摄像头图像信息 等）的服务，所述与位置和姿态相关的信息由用户终端110从户内或户外区域获得，并且用 户终端110可以从位置/姿态确定服务器120接收经更精确校正的与位置和姿态相关的信 息来作为回馈信息，该信息是通过对与拍摄摄像头图像时的位置和姿态相关的信息进行校 正来获得的。
[0025] 根据使用环境，用户终端110是能访问网络（例如互联网）并能利用数据服务的 终端，其可以是（但不仅限于）智能手机（例如iPod或Android手机），或者可以是便携或 移动终端，诸如移动电话或能通过网络进行通信的个人通信服务（PCS)电话、能进行无线 通信的同步/异步国际移动通信-2000 aMT-2000)终端、个人数字助理（PDA)、无线应用协 议（WAP)电话、移动PS (Play Station)游戏机、或其它类型的便携多媒体播放器（PMP)，可 以是笔记本式个人计算机（PC)、台式PC、掌上PC，并且可以包括能与其它电子应用通信并 且被全社会广泛使用的家用或商用的各种类型的电子应用或设备。
[0026] 用户终端110可以在与网络上的LBS服务器通信时，接收与相应的位置或姿态相 关的服务信息，该服务信息是基于最终位置信息（纬度、经度、高度等）或最终姿态信息 (由位置/姿态确定服务器120精确估算并回馈的旋转角信息，例如前向移动方向（横摇轴 方向）、前向移动方向的右侧方向（纵摇轴方向）、重力方向（首摇轴方向），并且可以在屏 幕中的地图上显示相应信息。例如，用户终端110可以在地图上提供更精确的道路导航服 务（例如导航系统所提供的服务），提供增强现实的服务以更准确地结合适合于给定姿态 的（虚拟）图像，并且提供适宜于用户终端110的精确位置和姿态的各种类型的额外信息。
[0027] 以下，将参考用户终端110的方框图和图2的位置/姿态确定服务器120以及图 3的流程图对根据本发明实施例的用于确定用户终端的位置和姿态的系统100的操作进行 详细描述。
[0028] 如图2所示，用户终端110包括传感器模块111、摄像头112以及采集传输模 块113,并且位置/姿态确定服务器120包括初始位置/姿态确定模块121、图像数据库 (DB) 122、图像搜索模块123、图像匹配模块124以及位置/姿态调整模块125。
[0029] 首先，在用户终端110中，根据用户的操作或当前服务的预定应用程序的操作，传 感器模块111测量与位置和姿态（PA)相关的传感器信息，摄像头112拍摄周围图像（可以 是多个静止或运动图像）并产生摄像头图像，并且采集传输模块113采集这种与位置和姿 态（PA)相关的传感器信息和摄像头图像（信息），并且将所采集的信息传输到位置/姿态 确定服务器120(图3, S10)。
[0030] 此时，传感器模块111测量的与位置和姿态（PA)相关的传感器信息可以是由全球 定位系统（GPS)模块测量的位置数据（纬度、经度、高度等）、由指南针模块测量的方向数据 (与运动方向有关的信息）、由陀螺仪传感器测量的姿态数据（与角速度的增量相关的旋转 角信息，例如前向移动方向（横摇轴方向）、前向移动方向的右侧方向（纵摇轴方向）和重 力方向（首摇轴方向）），或者由加速度传感器测量的加速度数据（与在运动方向上的速度 增量相关的加速度信息）。
[0031] 如果从用户终端110传输与位置和姿态（PA)相关的传感器信息和摄像头图像，那 么，初始位置/姿态确定模块121根据与位置和姿态（PA)相关的传感器信息，确定初始位 置信息（炉，入，h)(纬度、经度、高度等）和初始姿态信息（0 toll，0 Piteh，0 Yaw)(旋转角信 息，例如前向移动方向（横摇轴方向）、前向移动方向的右侧方向（纵摇轴方向）、重力方向 (首摇轴方向））来作为用户终端110的初始外部取向参数（图3, S20)。
[0032] 初始位置/姿态确定模块121通过将指南针模块的方向数据、陀螺仪传感器的姿 态数据、加速度传感器的加速度数据等与位置和姿态（PA)相关的传感器信息应用到预定 的导航方程式中，可以估算速度并确定位置信息和姿态信息，并且通过将GPS模块的位置 数据额外地应用到所提供的卡尔曼滤波器（Kalman filter)，可以确定上述初始位置信息 (炉，X，h)(纟韦度、经度、高度等）和初始姿态信息（0M1，0 pitc;h，0Yaw)，来作为用户终端 110的初始外部取向参数。由于使用这种导航方程式或卡尔曼滤波器估算与位置和姿态相 关的导航信息的技术在所属领域内是熟知的，所以省略了对其详细的描述。
[0033] 同时，在图像数据库122中，地理定位参考图像和各个图像点的座标被预先构建 并存储，其中，所述地理定位参考图像对应于各个摄像头的位置（史，A，h)和姿态（0 M1， ePitc;h，eYaw)，这些图像是在经由地理定位获取图像时所获得的，各个图像点的座标是图像 点的地面座标。图像搜索模块123在图像数据库122中搜索地理定位参考图像（图3, S30)， 该地理定位参考图像包括与从用户终端110接收的给定摄像头图像相似的图像。上述图像 点座标可以被存储在图像数据库122中，并且有效地用于计算与位置或姿态相关的信息， 下文将会对此描述。但这并不是必需的，其可以被省略并且可以由任意一种估算的图像相 对座标代替。
[0034] 地理定位是一种算法，其通过使用由多传感器（全球定位系统（GPS)、惯性测量单 元（IMU)、数字摄像头、激光扫描仪等）获取的摄像头的与位置和姿态相关的数据和图像数 据，来获取在图像或拍摄位置中所包含的地面物体的三维（3D)地面座标信息。根据数字 摄像头等的连续的与位置和姿态相关的数据来执行基于航空三角测量（AT)的地理定位过 程，然后可以估算在拍摄位置处的摄像头的图像或位置和姿态中所包括的地面物体的座标 (或图像点），同时诸如与位置和姿态相关的数据的外部取向参数被校正，并且可以获取与 在拍摄时的位置和姿态相对应的地理定位图像。
[0035] 通过这种地理定位方法，地理定位参考图像被预先构建并存储在数据库〇)B) 122 中，在所述地理定位参考图像中指明了在图像获取时的各个摄像头的位置和姿态。图像搜 索模块123可以在图像数据库122中搜索地理定位参考图像，所述地理定位参考图像包括 与用户终端110的摄像头图像相似的图像。
[0036] 图像匹配模块124可以将用户终端110的多个摄像头图像相互比对或者将摄像头 图像与由图像搜索模块123找到的地理定位参考图像进行比对，并且提取与摄像头的拍摄 位置（屮，A，h)对应的匹配的图像的图像点的座标，来作为连接点（共轭点）（图3，S40)。 此时，除了将自用户终端110传输的摄像头图像与找到的地理定位参考图像相互比对时的 连接点以外，在将自用户终端110传输的多个摄像头图像中的任何两个不同图像相互比对 时，可以进一步提取在相匹配的图像部分之间的一个或多个连接点。可以计算出为使得误 差最小化而能够让多个所提取的连接点在一点处会合的可靠连接点。
[0037] 例如，必须满足一个条件，其中对于单个地面点，在被估算为相同图像的摄像头图 像和由图像搜索模块123所找到的地理定位参考图像的匹配部分之间的图像点存在于预 定共线方程的单一直线上。然而，即使在相同地面点的情况中，也可能出现由于图像点（连 接点）的座标之间的误差而使得这些地面点不能在单个地面点处会合的情况。因此，通过 采用最小二乘法，可以将下面这种点计算为连接点：这种点允许对于单个地面点的多个共 线方程的直线在相对小范围内会合而使得误差最小化。
[0038] 如果已经以这种方式计算了这些连接点，那么位置/姿态调整模块125被配置为 以下情形：为了确定最终外部取向参数（所述最终外部取向参数能使用对应的连接点获取 连接点（使得可以获取对应的摄像头图像）），位置/姿态调整模块125可以校正由初始位 置/姿态确定模块121根据相互匹配的摄像头图像或地理定位参考图像（或这些图像的图 像点）确定的初始外部取向参数（初始位置信息和初始姿态信息），然后可以确定用户终 端110的最终外部取向参数（最终位置信息和最终姿态信息）（图3, S50)，并且将最终外部 取向参数回馈到用户终端110 (图3, S60)。在这种情况下，位置/姿态调整模块125根据 从用户终端110实时传输的PA传感器信息和摄像头图像来相继确定最终位置信息和最终 姿态信息，并将最终位置信息和最终姿态信息实时地回馈到用户终端110。在这种情况下， 可以引用存储在数据库122中的对应匹配部分的地理定位参考图像（包括图像点的地面座 标）。在这种情况下，位置/姿态调整模块125执行基于光束平差法的地理定位过程，并校 正初始外部取向参数（初始位置信息和初始姿态信息），从而精确地估算拍摄对应图像的 用户终端110的地面（拍摄）座标。
[0039] 基于光束平差法的地理定位是一种间接确定摄像头位置和姿态的方法，S卩，用户 终端110在获取图像时的位置和姿态。基于图像的光束平差法的位置/姿态调整模块125 使用一种数学模型（带有随机约束条件的高斯_马尔可夫模型），其使用带有随机约束条件 的共线条件表达式，将最小二乘法应用到初始外部取向参数（初始位置信息和姿态信息）， 其中从匹配的图像的部分（或这些图像的图像点）参考了与数据库122中的各个摄像头的 位置和姿态对应的地理定位参考图像（包括图像点的地面座标），并且在上述数学模型中 反复地计算预定的法方程，从而估算最终会聚的最终外部取向参数（最终位置信息和最终 姿态信息）。根据上述过程，可以将以下内容估算为关于拍摄对应摄像头图像的位置和姿态 的信息：在基于上述数学模型的预定法方程中，关于能够从匹配的参考图像部分获取连接 点的误差被最小化的最终位置和最终姿态的信息。
[0040] 如上所述，尽管已经示出用户终端110精确地接收用户终端110的对应位置信息 和姿态信息来作为回馈信息，同时与在网络上的位置/姿态确定服务器120协同操作的过 程，但该过程不限于此例。位置/姿态确定服务器120的组件被包括在用户终端110中来 作为位置/姿态确定器件，从而用户终端110可以直接估算并使用上述最终外部取向参数。 也就是说，用户终端110可以不仅仅包括传感器模块111、摄像头112和采集传输模块113， 还可以包括初始位置/姿态确定模块121、图像数据库122、图像搜索模块123、图像匹配模 块124和位置/姿态调整模块125。此时，用户终端110可以直接估算上述精确的最终外部 取向参数，而不需要将与位置和姿态相关的传感器信息、摄像头图像等传输到网络上的服 务器。
[0041] 用户终端110可以在与网络上的LBS服务器通信时接收相应的与位置或姿态相关 的服务信息并在屏幕中的地图上显示这些信息，该过程是基于由用户终端直接估算的最终 外部取向参数，或由网络上的位置/姿态确定服务器120精确地估算并从服务器120回馈 的最终外部取向参数，即，最终位置信息（少，A，h)(纬度、经度、高度等）或最终姿态信息 (0fcll，0Pitc；h， 0YaJ。例如，如在导航系统中的情况中，用户终端可以在地图上提供更 精确的道路导航服务，实现更精确地结合适用于给定姿态的（虚拟）图像来实施增强现实 服务，并且提供适用于用户终端110的精确位置和姿态的各种类型的额外信息。
[0042] 尽管参考了有限数目个实施例和附图来描述本发明，本发明不限于上述实施例， 并且本发明所属领域的技术人员可以做出多种改变和修改。因此，本发明的范围不应由上 述实施例限定，并且应当由所附权利要求书及其等同物限定。
【权利要求】
1. 一种用于确定用户终端的位置和姿态的系统，包括： 位置/姿态确定服务器，用于接收从用户终端传输的与位置和姿态有关的传感器信息 和摄像头图像，所述用户终端通过网络与所述位置/姿态确定服务器协同运作， 其中，所述位置/姿态确定服务器由从所述用户终端传输的所述与位置和姿态有关的 传感器信息和所述摄像头图像，通过基于光束平差法的地理定位，确定所述用户终端的位 置信息和姿态信息，并将所述位置信息和所述姿态信息回馈到所述用户终端。
2. 根据权利要求1所述的系统，其中所述位置/姿态确定服务器包括： 初始位置/姿态确定模块，用于基于所述传感器信息确定所述用户终端的初始位置信 息和初始姿态信息； 数据库，用于预先存储地理定位参考图像，在所述地理定位参考图像中指明了在经由 地理定位获取图像时所获得的各个摄像头的位置和姿态； 搜索模块，用于在所述数据库中搜索地理定位参考图像，所述地理定位参考图像包括 与接收到的摄像头图像相似的图像； 图像匹配模块，用于将接收到的多个摄像头图像相互比对或将接收到的摄像头图像与 找到的地理定位参考图像进行比对，并提取与匹配的图像的位置对应的图像点座标来作为 连接点；以及 位置/姿态调整模块，用于对所述匹配的图像执行基于光束平差法的地理定位过程， 然后校正所述初始位置信息和初始姿态信息，以确定与关于所述数据库的所述连接点对应 的所述用户终端的最终位置信息和最终姿态信息。
3. 根据权利要求1所述的系统，其中所述传感器信息包括：由全球定位系统（GPS)模 块测量的位置数据、由指南针模块测量的方向数据、由陀螺仪传感器测量的姿态数据或由 加速度传感器测量的加速度数据。
4. 根据权利要求2所述的系统，其中，所述图像匹配模块提取在将从所述用户终端传 输的多个摄像头图像中的任何两个图像相互比对时的连接点，提取在将从所述用户终端传 输的对应摄像头图像与所找到的地理定位参考图像相互比对时的连接点，并且提取可靠的 连接点以使多个所提取的连接点在一单个点处会合，从而使误差最小化。
5. 根据权利要求2所述的系统，其中，所述位置/姿态调整模块由从所述用户终端实时 地传输的传感器信息和摄像头图像确定所述最终位置信息和最终姿态信息，并将所述最终 位置信息和最终姿态信息实时地回馈到所述用户终端。
6. 根据权利要求1所述的系统，其中，所述用户终端根据所回馈的所述最终位置信息 或最终姿态信息，在与网络中的其它服务器通信时接收给定的与位置和姿态相关的服务信 息，并在屏幕中的地图上显示接收到的信息。
7. -种确定用户终端的位置和姿态的方法，包括： 由通过网络与用户终端协同运作的服务器来接收由所述用户终端获取的与位置和姿 态相关的传感器信息和摄像头图像；以及 所述服务器由从所述用户终端传输的所述与位置和姿态相关的传感器信息和所述摄 像头图像，通过基于光束平差法的地理定位，确定所述用户终端的位置信息和姿态信息，并 且所述服务器将所述位置信息和姿态信息回馈到所述用户终端。
8. 根据权利要求7所述的方法，其中，确定所述用户终端的所述位置信息和姿态信息 并将所述位置信息和姿态信息回馈到所述用户终端包括： 根据所述传感器信息确定所述用户终端的初始位置信息和初始姿态信息； 在数据库中搜索地理定位参考图像，其中所述地理定位参考图像包括与接收到的摄像 头图像相似的图像，在所述数据库中预先存储了地理定位参考图像，在所述地理定位参考 图像中指明了在经由地理定位获取图像时所获得的各个摄像头的位置和姿态； 经由地理定位获取所述位置和姿态； 将接收到的多个摄像头图像相互比对，或将所述接收到的图像与找到的地理定位参考 图像进行比对，并提取与匹配的图像的位置对应的图像点座标作为连接点；以及 对所述匹配的图像执行基于光束平差法的地理定位过程，然后校正所述初始位置信息 和初始姿态信息，以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置 信息和最终姿态信息。
9. 一种确定用户终端的位置和姿态的方法，包括： 使用摄像头获取摄像头图像，并使用一个或多个传感器测量与位置和姿态相关的传感 器信息； 根据所述传感器信息确定初始位置信息和初始姿态信息； 在数据库中搜索地理定位参考图像，其中所述地理定位参考图像包括与所述摄像头图 像相似的图像，所述数据库中预先存储了地理定位参考图像，在所述地理定位参考图像中 指明了在经由地理定位获取图像时所获得的各个摄像头的位置和姿态； 将所述摄像头图像与找到的地理定位参考图像进行比对，并提取与匹配的图像的位置 对应的图像点座标作为连接点；以及 对所述匹配的图像执行基于光束平差法的地理定位过程，然后校正所述初始位置信息 和初始姿态信息，以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置 信息和最终姿态信息。
10. -种用于确定用户终端的位置和姿态的装置，包括： 摄像头，用于获取摄像头图像； 传感器模块，用于测量与位置和姿态相关的传感器信息； 初始位置/姿态确定模块，用于基于所述传感器信息确定初始位置信息和初始姿态信 息； 数据库，用于预先存储地理定位参考图像，在所述地理定位参考图像中指明了在经由 地理定位获取图像时所获得的各个摄像头的位置和姿态； 搜索模块，用于在所述数据库中搜索地理定位参考图像，所述地理定位参考图像包括 与所述摄像头图像相似的图像； 图像匹配模块，用于将所述摄像头图像与找到的地理定位参考图像进行比对，并提取 与匹配的图像的位置对应的图像点座标作为连接点；以及 位置/姿态调整模块，用于对所述匹配的图像执行基于光束平差法的地理定位过程， 然后校正所述初始位置信息和初始姿态信息，以确定与关于所述数据库的所述连接点对应 的所述用户终端的最终位置信息和最终姿态信息。
【文档编号】H04W64/00GK104335649SQ201280072738
【公开日】2015年2月4日 申请日期:2012年11月14日 优先权日:2012年4月26日
【发明者】李林枰, 崔京儿, 金浩俊 申请人:首尔市立大学校产学协力团
最新回复(0)