一种移动平台上的实时全景跟踪与拼接方法

一种移动平台上的实时全景跟踪与拼接方法
【技术领域】
[0001] 本发明设及一种全景的场景表达方法，尤其设及一种移动平台上的实时全景跟踪 与拼接方法。 技术背景
[0002] 全景图是一种常见的场景浏览方式，可W看作是普通广角镜头的推广，具有更大 的视角和更广的场景信息。全景图W其特有的视觉表现形式可W广泛应用于场景漫游，虚 拟现实，纹理映射，增强现实等各个领域。
[0003] 传统的全景图生成方法，包括化vidLowe的基于尺度不变特征（SIFT) (Lowe,DavidG.DistinctiveImageFeaturesfromScale-InvariantKeypoints. InternationalJournalofComputerVision60. 2,2004:91-110.)的照片图像拼接方法 (MatthewBrown,DavidG.Lowe.AutomaticPanoramicImageStitchingusingInvariant Features.InternationalJournalofComputerVision, 2007, 74(1):59-73)，Google 的基于巧螺仪的全景拍摄App-化otoS地ere(ht1:ps://www.google,com/maps/油out/ contribute/地otos地ere/)，微软的基于图像特征拍摄的全景App-化otoSynthOittps: // photosynth.net/)。其中化vid的全景生成算法是基于SIFT特征匹配的，借助于SIFT算法 强大的特征描述能力和匹配精度，David的算法可W在大场景下，生成无边缝，无色差，几何 一致的全景图。但是由于SIFT的计算非常耗时，使得该种算法不适合在移动平台上使用。 Google的全景拍摄App是基于巧螺仪得到的旋转参数的，在移动平台上，巧螺仪该些传感 器的信息可W做到每秒60帖的更新频率，因为可W在移动平台上做到实时预览的效果。然 而内置的传感器会有很大的噪音，尤其当该些传感器的噪音映射到图像上之后，在图像上 会看到明显的边界和缝隙，一些基本的几何结构不能保持一致性，例如线段会在图像交接 处断开等。微软的化otoSynth用到图像的特征信息，因而在图像上能够保持比较明显的几 何一致性，边缘部分相对于Google的化otoS地ere有比较好的融合度。但是化otoSynth 虽然是假设相机的纯旋转运动，却并没有严格的限制手持用户的操作，即使用户有比较明 显的平移操作，即相机的中屯、移动了，还是会把图像加进来，该样做图像合成就会有比较明 显的几何误差，尤其是在室内场景中，由于物体的景深比较小，相机上微弱的移动反映在图 像上都是较大的偏移。因此非常有必要对相机的平移做一个检测，同时及时的给出反馈，保 证加入全景的图像不存在较大的平移，只有输入的原始图像符合纯旋转的几何属性，最终 生成的全景图才可能是几何一致的。传统的处理全景图的方法大都把注意力集中在如何去 消除相机中屯、移动造成的图像之间的几何误差上，而没有人去从源头检查输入的图像是否 满足纯旋转的约束。
[0004] 该发明首先设计一种在移动终端上实现的实时全景跟踪系统，实现了快速相机姿 态（3DCF)的估计，同时还能在跟踪的过程中，实时的检测每一帖的相机是否有平移运动， 并及时的做出反馈，指导用户按照纯旋转的方法进行拍摄。实验结果显示：通过该种实时的 检测和反馈的形式，普通用户能够很好的拍摄出无偏差的全景图。

【发明内容】

[0005] 本发明的目的在于针对传统全景制作方法的不足，提出一种移动平台上的实时全 景跟踪与拼接方法。
[0006] 一种移动平台上的实时全景跟踪与拼接方法包括如下步骤：
[0007] 1)基于球面模型的实时跟踪；每一帖通过相机捕获的图像，先做特征跟踪，然后 计算当前相机在=维空间的旋转姿态；
[000引2)快速鲁椿的平移检测：在进行实时跟踪相机旋转姿态的同时，还检测相机的中 屯、是否发生位移，当发生位移的时候，给用户相应的反馈，帮助用户回到初始的相机位置， 减小捕获的图像之间的平移误差，保证图像满足在一个球面上的约束；
[0009] 3)Map扩展和更新；添加关键帖和S维特征点，利用集束调整的方法进行优化，更 新整个Map,整个Mapping过程放在后台线程来计算；
[0010] 4)全景离线合成：后台离线将多张图像实时拼接在一起，对图像进行曝光补偿和 多频带融合，高质量的生成几何一致的全景图。
[0011] 所述的步骤1)具体为：
[0012] a)将获取的RGBA图像，转成灰度图后构建4层图像金字塔，在每一层上都检测 FAST特征点；
[0013] b)在每一帖的特征跟踪开始之前，基于上一帖相机的姿态W及当前帖的图像信 息，预估计当前帖的相机姿态；
[0014] C)用估计的相机姿态，将Map里的=维特征点投影到当前帖图像上，作为特征点 跟踪的初始位置，并将特征点捜索限制在距离当前特征点半径为10像素的窗口范围内；
[00巧]d)选用FAST来做特征检测，采用图像Patch来做特征跟踪和匹配，并进行图像亮 度变化和图像崎变处理；
[0016] e)定义能量函数估计相机姿态的增量，引入MEstimator剔除outliers,然后利用 加权最小二乘迭代优化，求解出当前帖的相机参数；
[0017] f)将图像分成四层金字塔，在最高两层估计初始相机姿态，在下面两层进行优化。 [001引所述步骤3)具体为：
[0019] 1)选取特征匹配达到30%W上，与之前添加关键帖有至少20帖距离的关键帖，且 严格控制相机中屯、做旋转运动，利用参考帖和当前帖的单应性关系扩展Map;
[0020] 2)将多个关键帖与多个特征点之间的投影约束关系放到一个能量函数里面，利用 球面模型的集束调整进行整体优化，更新整个Map,整个Mapping过程放在后台线程来计 算。
[0021] 本发明的优点在于；在移动终端上设计并实现了实时全景跟踪与生成系统，相比 较传统的全景系统，在进行实时的相机姿态估计的同时，还检测相机的中屯、是否发生位移， 当发生位移的时候，给用户相应的反馈，帮助用户回到初始的相机位置，最大程度上减小捕 获的图像之间的平移误差，保证图像最大可能满足在一个球面上的约束。利用集束调整的 方法优化相关的参数，更新整个Map,最终生成的全景图的质量也能得到保证。
【附图说明】
[0022] 图1是移动平台上实时全景跟踪系统框架图；
[0023] 图2是实时全景跟踪与Map扩展过程。
【具体实施方式】
[0024] 一种移动平台上的实时全景跟踪与拼接方法包括如下步骤：
[0025] 1)基于球面模型的实时跟踪；每一帖通过相机捕获的图像，先做特征跟踪，然后 计算当前相机在=维空间的旋转姿态；
[0026] 2)快速鲁椿的平移检测：在进行实时跟踪相机旋转姿态的同时，还检测相机的中 屯、是否发生位移，当发生位移的时候，给用户相应的反馈，帮助用户回到初始的相机位置， 减小捕获的图像之间的平移误差，保证图像满足在一个球面上的约束；
[0027] 3)Map扩展和更新；添加关键帖和S维特征点，利用集束调整的方法进行优化，更 新整个Map,整个Mapping过程放在后台线程来计算；
[002引 4)全景离线合成：后台离线将多张图像实时拼接在一起，对图像进行曝光补偿和 多频带融合，高质量的生成几何一致的全景图。
[0029] 图1为移动平台上的实时全景跟踪系统框架。
[0030] 所述的基于球面模型的实时跟踪；每一帖通过相机捕获的图像，先做特征跟踪，然 后计算当前相机在=维空间的旋转姿态的具体步骤为：
[0031] 1)图像获取
[0032] 首先从设备上获取640x480分辨率的RGBA格式图像，将图像转为8比特（256级） 的灰度图，然后构建图像金字塔，分为4个层次，每一层分别是前面一层图像的一半。在每 一层上都检测FAST特征点。
[0033] 2)运动估计
[0034] 在每一帖的特征跟踪开始之前，基于上一帖相机的姿态W及当前帖的图 像信息，预估计当前帖的相机姿态。该里选用原始图像的经过降采样之后的一个 SmallBlunrlmage，尺寸是40x30,即长宽分别是原始图像的十六分之一。然后利用图像的 灰度值来优化当前帖相对于上一帖的旋转。针对该种问题，定义如下函数：
[0035]
[0036]其中I,表示上一帖（参考帖）的灰度图，I。表示当前帖的灰度图，Pi表示图像上 的第i个像素坐标，W表示对图像做透视变换，X是W的参数。该问题是基于球面的全景跟 踪，所W需要估计的参数是3DOF的一个旋转参数。
[0037] 如特征点投影
[003引经过运动估计之后，就有了当前帖相机的一个初始的姿态。用该个估计的相机姿 态，将Map里的S维特征点找J投影到当前帖的图像上得到{Xi}，作为特征点跟踪的初始 位置。通过该个初始的特征点位置，每个特征点的捜索都被限定在在Xi周围的一个窗口内 (通常设置为半径为10的窗口）。该种方法可W显著减小特征点捜索的计算量，W及误匹 配的几率。
[0039] 4)基于化tch的特征跟踪
[0040] 选用FAST来做特征检测，采用图像化tch来做特征跟踪和匹配。每个特征点选 取周围8*8的窗口内的图像灰度值作为该特征的描述量。特征的相似度度量是计算两块 Patch的SSD(均方差）。考虑真实场景的光照会有亮度上的变化。使用归一化的化tch做 SSD。
[0041]
[0042] 其中是参考帖像素的平均值，M。是当前帖像素的平均值。每一个化tch都用当 前化tch像素的平均值做一个归一化，即使用灰度图的相对值，而不是绝对值，该样可W有 效的避免由图像亮度变化造成的不匹配。
[0043] 还考虑到图像的几何一致性，在相机做纯旋转的运动下，图像会有很明显崎变，为 了处理图像崎变造成的匹配问题，在计算化tch之间的SSD的时候，先要根据相机的相对运 动，把参考帖的图像利用单应性矩阵，变化到当前的帖的视角下。类似PTAM，该里直接采用 单应性变换化omography)来对图像做形变。即；
[0044] W(x,p) =H(p)
[0045] 其中H是单应性矩阵，单应性矩阵 有8个自由度，相对于6个自由度的仿射变换， 多了处理透视变换的功能。因而对处理纯旋转的跟踪有更好的描述能力。
[0046] 5)更新相机姿态
[0047] 在进行了有效的特征点跟踪之后，就有了 =维特征点在当前帖上的新的观测点， 接下来就是跟踪新的观测点来更新相机的姿态。定义如下能量函数：
[0048] f= 31 化*AR*initR*Vi)-相，Vi)T
[0049]
[0化日]其中Vi是球面上的S位点坐标，initR是运动估计时候得到的初始的相机姿态，AR是需要估计的相机姿态的增量。n是一个投影函数，把一个=维点投影到Z= 1的平 面上，得到一个归一化的（x，y)形式的二维坐标。
[0化^ 引入MEstimator剔除outliers,W处理在实际应用时特征点中产生的较大噪音
[0化2]
[005引 其中P是一个MEstimater，我们该里也是选I\ikey，
[0054]
[0055] T址ey对在离中屯、较近的点的权重较大，离中屯、较远的点的权重几乎为零。可W很 好的标记出将inliers和outliers区分开。
[0化6] 根据化key计算出来的权重，利用加权最小二乘迭代优化，即可求解出当前帖的 相机参数。
[0化7] 6)由粗到精的两步迭代过程
[005引由于移动手持设备在实际使用当中很有可能会有快速移动的情况。将图像分成几 层金字塔，第一步先在最高两层巧0*60和160*120)做特征跟踪，估计出来一个初始的相机 姿态。然后第二步再在下面两层（320*240和640*480)上面做更进一步去优化相机姿态， 同时patch的捜索半径也可W限制为原来的一半。一般在第一步可W得到40~60个特征 点对的匹配，在第二步可W得到800~1000的特征点匹配。经过该样由粗到精的过程，相 机的跟踪可W保持较好的鲁椿性和精确性。
[0059] 所述的快速鲁椿的平移检测；在进行实时的相机姿态估计的同时，还检测相机的 中屯、是否发生位移，当发生位移的时候，给用户相应的反馈，帮助用户回到初始的相机位 置，最大程度上减小捕获的图像之间的平移误差，保证图像最大可能满足在一个球面上的 约束具体为；
[0060] 在相机视点不动的情况下，有W下的几何投影关系：
[0061] Pc= (U"V" 1)T= 〇(*Rc*Vw)
[0062] Pr= (U " V" 1)T=〇(*Rr*Vj
[0063] 其中P。是当前帖上的投影点（像素坐标），Pf是参考帖上的投影点，对于同一个S 维坐标V，，通过当前帖和参考帖的相机姿态，分别投影到当前帖和参考帖的图像上，根据上 面公式可W推导出
[0064]Pc=K*Rc*Rr-i*K-i冲r
[00化]令H=财氏*心1体-1，则有；
[0066] Pc=H*Pr
[0067] 则H是一个从Pf到P。单应性变换。单应性矩阵H最多有8个自由度。而当相 机中屯、位置不变的时候，该个变换只有S个自由度。两帖之间的变化只有一个旋转量R= ，我们利用该个特性来检测相机的中屯、是否移动。
[0068] 所述的Map扩展和更新；添加关键帖和=维特征点，W及利用集束调整的方法优 化相关的参数，更新整个Map。整个Mapping过程放在后台线程来计算具体步骤为：
[0069]1)选取匹配特征较好，与之前添加关键帖有20帖距离的关键帖，且严格控制相机 中屯、做旋转运动。
[0070] 添加关键帖的原则：
[0071] 1.相机的跟踪质量必须足够好，定义从Map投影到图像上的所有特征点，有30% 匹配上的就认为跟踪质量是可靠的。
[0072] 2.当前帖距离最近一次添加关键帖要超过20帖，避免关键帖添加的太集中。
[0073] 3.当前相机距离Map中最近的关键帖的距离要足够大，该里的距离用余弦距离来 度量。关键帖的方向向量做内积，小于cos(5° )的，才能加入Map。
[0074] 4.针对基于球面全景跟踪的模型，还要限制相机中屯、的移动，如果相机中屯、有平 移操作，首先要等相机恢复到初始中屯、的位置，才能加入新的关键帖。
[0075] 在添加了新的关键帖之后，新的关键帖会引入新的特征点。根据单应性矩阵，把参 考帖的特征点投影到当前帖，然后在投影点周围10x10的窗口内捜索特征点，比较特征点 周围化tch的SSD，选取小于阔值的且SSD值最小的作为最佳匹配。把能够找到匹配的点加 入Map中，同时更新Map的相关数据。
[0076]Map扩展算法描述；
[0077] 1.检测关键帖町
[007引 2.选择Map中最近的关键帖町
[0079] 3.町与KF义间做非连续帖的特征匹配
[0080] a)计算町与KF义间的单应性矩阵H
[00川 b)计算町上的特征点在KF。上的投影
[00間 C)在町与KF。的重叠部分基于SSD做特征匹配，匹配得到的特征点被加入Map 中。
[008引 d)在町中没有匹配上的特征点，选取响应值最大的特征点加入Map
[0084] 4.将新的KF。和相关的特征点加入Map,更新Map
[0085] 5.局部集束调整
[0086] 图2展示了该算法在Ipad上实时拼接的过程，其中绿色方框是当前相机图像的实 时画面。随着相机的移动，Map中不断添加新的图像进来，全景图的面积不断扩大，覆盖的 视角也越来越大。
[0087] 2)将多个关键帖与多个特征点之间的投影约束关系放到一个能量函数里面，利用 球面模型的集束调整进行整体优化。
[008引 Map里面存储的信息主要是关键帖和=维特征点，因为增量式计算会有累计误差。 将多个关键帖与多个特征点之间的投影约束关系放到一个能量函数里面整体优化：
[0089]
[0090] 其中P是T址巧函数，b。表示第i个点在第j帖是否可见。若第i个点在第j 帖可见，by= 1，XU为第i个点在第j帖的投影；否则bu= 0。
[0091] 所述的全景离线合成：后台离线将多张图片实时拼接在一起，实现对图像的曝光 补偿和多频带融合，高质量的生成几何一致的全景图具体为：
[009引该方法也采用化vidG.Lowe的方法对图像做曝光补偿和多频带融合，同时借助于 开源的计算机视觉库化enCV来实现该一过程。
[0093] OpenCV中的ExposureCompensator模块实现了图像的曝光补偿功能， MultiBan地lender模块实现了图像的多频带融合功能，分别调用该两个模块实现对图像的 曝光补偿和多频带融合。
[0094] 对同一个场景拍摄了几组全景图片。从图片结果来看，无论是化otoS地ere还是 PhotoSynth，由于对拍摄者的拍摄行为不加约束，拍摄者很容易在拍摄的过程中，使相机中 屯、发生移动，该样捕获得到的图像就不满足纯旋转的约束。
【主权项】
1. 一种移动平台上的实时全景跟踪与拼接方法，其特征在于包括如下步骤： 1) 基于球面模型的实时跟踪：每一帧通过相机捕获的图像，先做特征跟踪，然后计算当 前相机在三维空间的旋转姿态； 2) 快速鲁棒的平移检测：在进行实时跟踪相机旋转姿态的同时，还检测相机的中心是 否发生位移，当发生位移的时候，给用户相应的反馈，帮助用户回到初始的相机位置，减小 捕获的图像之间的平移误差，保证图像满足在一个球面上的约束； 3. Map扩展和更新：添加关键帧和三维特征点，利用集束调整的方法进行优化，更新整 个Map，整个Mapping过程放在后台线程来计算； 4) 全景离线合成：后台离线将多张图像实时拼接在一起，对图像进行曝光补偿和多频 带融合，高质量的生成几何一致的全景图。2. 根据权利要求1所述的一种移动平台上的实时全景跟踪与拼接方法，其特征在于所 述的步骤1)具体为： a) 将获取的RGBA图像，转成灰度图后构建4层图像金字塔，在每一层上都检测FAST特 征点； b) 在每一帧的特征跟踪开始之前，基于上一帧相机的姿态以及当前帧的图像信息，预 估计当前帧的相机姿态； c) 用估计的相机姿态，将Map里的三维特征点投影到当前帧图像上，作为特征点跟踪 的初始位置，并将特征点搜索限制在距离当前特征点半径为10像素的窗口范围内； d) 选用FAST来做特征检测，采用图像Patch来做特征跟踪和匹配，并进行图像亮度变 化和图像畸变处理； e) 定义能量函数估计相机姿态的增量，引入MEstimator剔除outliers，然后利用加权 最小二乘迭代优化，求解出当前帧的相机参数； f) 将图像分成四层金字塔，在最高两层估计初始相机姿态，在下面两层进行优化。3. 根据权利要求1所述的一种移动平台上的实时全景跟踪与拼接方法，其特征在于所 述步骤3)具体为： 1) 选取特征匹配达到30%以上，与之前添加关键帧有至少20帧距离的关键帧，且严格 控制相机中心做旋转运动，利用参考帧和当前帧的单应性关系扩展Map ; 2) 将多个关键帧与多个特征点之间的投影约束关系放到一个能量函数里面，利用球面 模型的集束调整进行整体优化，更新整个Map，整个Mapping过程放在后台线程来计算。
【专利摘要】本发明提出了一种移动平台上的实时全景跟踪与拼接方法。1）每一帧通过相机捕获的图像，先做特征跟踪，然后计算当前相机在三维空间的旋转姿态；2）在进行实时的相机姿态估计的同时，还检测相机的中心是否发生位移，当发生位移的时候，给用户相应的反馈，帮助用户回到初始的相机位置，减小捕获的图像之间的平移误差，保证图像满足在一个球面上的约束；3)添加关键帧和三维特征点，以及利用集束调整的方法优化相关的参数，更新整个Map。4）全景离线合成：后台离线将多张图片实时拼接在一起，实现对图像的曝光补偿和多频带融合，高质量的生成几何一致的全景图；结果表明，本发明的基于多视角全景的场景表达方式具有非常好的场景表达能力。
【IPC分类】G06T7/00, G06T3/40
【公开号】CN104881869
【申请号】CN201510251194
【发明人】章国锋, 鲍虎军, 王楠, 刘宇, 林根
【申请人】浙江大学, 杭州深粉象数字科技有限公司
【公开日】2015年9月2日
【申请日】2015年5月15日