一种移动终端视频的电子稳像方法
一种移动终端视频的电子稳像方法
【技术领域】
[0001] 本发明属于视频处理技术领域，更具体地，设及一种移动终端视频的电子稳像方 法。
【背景技术】
[0002] 稳像技术在军事领域、民用测绘W及摄影系统中都有广泛应用。相比其他信息形 式，图像具有信息更加直观且信息含量丰富的特点，但是由于成像系统工作时要受到其载 体的姿态变化或震动的影响，导致获得的图像信息模糊和不稳定，极大的限制了图像信息 的有效性。通过稳像技术能消除或者减少摄像载体运动对图像的影响，大大提高获取图像 信息的质量。视频稳像一般包括W下几个步骤；视频帖预处理、运动估计、运动补偿和输出 稳像视频。
[0003] 电子稳像近几年的发展主要集中在PC平台上，而移动终端作为平台的电子稳像 方法却很少有提及，主要原因就是传统的运动估计算法由于计算量较大很难移植到计算能 力小的移动终端上，运动估计一直是视频稳像中研究的热点和难点，首先为了达到视频输 出的效果，每秒钟帖数必须达到要求，同时为了达到稳像效果，必须得到正确的运动矢量， 如何快速而准确的获得运动矢量往往是视频稳像的核屯、难点。现有的运动矢量获取一般是 由算法实现的，运行平台多为PC平台，比如吴浩，邓宏彬在文献"一种基于分块灰度投影运 动估计的视频稳像方法.兵工学报.2013 (04)"中，分块灰度投影运动估计的视频稳像方法 依据灰度梯度对子区域进行筛选，剔除容易导致错误运动估计的低对比度子区域，然后对 保留的子区域进行灰度投影及相关运算获得局部运动矢量，根据图像帖间运动模型由局部 运动计算出图像的全局运动矢量，最后根据运动补偿矢量对图像进行补偿，W获得稳定的 图像序列，该方法有一定的稳像效果。此类利用算法估计帖运动矢量的方法由于运动矢量 估计计算花费大，不适合移植到计算能力相对小的移动终端上，同时误匹配会使运动矢量 估计存在误差等等，快速性和准确性一般。
【发明内容】
[0004] 针对现有技术的缺陷，本发明提供了一种移动终端视频的电子稳像方法，其目的 在于避免由于无意识的抖动造成的视频帖间模糊，提高了稳像精度和速度。
[0005] 本发明提供了 一种移动终端视频的电子稳像方法，通过内置于移动终端的姿态传 感器获得所述移动终端晃动时姿态传感器的运动数据，并对所述运动数据进行处理获得摄 像头视频中每一帖的图像运动矢量，再根据所述图像运动矢量对每一帖图像进行平移或旋 转操作，从而实现稳像；其中，对所述运动数据进行处理具体为：根据姿态传感器的旋转角 度W及姿态传感器与摄像头的相对位置关系，获得摄像头的旋转角度；并根据摄像头的旋 转角度获得图像运动矢量。其中，通过姿态传感器获得运动数据的具体步骤如下：
[0006] (1)通过设置姿态传感器的波特率对所述姿态传感器进行初始化处理；
[0007] (2)当所述姿态传感器输出一组数据时，获得该组数据中表示姿态传感器=轴角 速度w及时间的部分；
[0008] (3)对角速度进行关于时间的积分处理获得姿态传感器的旋转角度，旋转角度包 括横滚角、俯仰角和航向角。
[0009] 更进一步地，对所述运动数据进行处理的具体步骤为：
[0010] 根据姿态传感器的旋转角度W及姿态传感器与摄像头的相对位置关系，获得摄像 头的旋转角度，姿态传感器和摄像头之间的角度转化关系为：0 = 0'、丫二丫'、= r;
[0011] 根据摄像头的旋转角度获得图像运动矢量，摄像头旋转和图像运动之间的对应关 系为
其中，0、r、1]^分别表示摄像头的俯仰角、横滚角、 航向角方向上的旋转角度，0'、丫'、分别表示姿态传感器的俯仰角、横滚角、航向角方 向上的旋转角度，化T、dyi、4分别表示图像在竖直方向上的位移、图像在水平方向上的位 移、图像在图像平面内的旋转角度。
[0012] 更进一步地，根据所述图像运动矢量对每一帖图像进行平移操作具体为；当图像 有位移时，根I
对图像进行平移操作；其中（Xi，yi)表示对图像进 行平移操作前某一像素点的坐标，（X2，y,)表示对图像进行平移操作后对应像素点的坐标，Ax、Ay分别表示图像需要在图像的x、y方向上移动的距离。
[0013] 更进一步地，根据所述图像运动矢量对每一帖图像进行旋转操作具体为；当图像 有航向角时，根据
时图像进行旋转操作；其中（Xi，yi)表示对 图像进行旋转操作前某一像素点的坐标，（X2，y,)表示对图像进行旋转操作后对应像素点的 坐标，4表示图像在图像平面内的旋转角度。
[0014] 更进一步地，所述电子稳像方法还包括输出稳像帖步骤：对图像运动矢量进行卡 尔曼滤波，根据原平移分量与滤波后的平移分量的差值确定感兴趣区域；并将所述感兴趣 区域的图像作为稳定帖输出。
[0015] 其中，所述感兴趣区域的尺寸与摄像头获取图片的尺寸一样。
[0016] 本发明利用姿态传感器测算数据直接换算得到图像的运动矢量，根据运动矢量对 图像进行运动补偿，从而达到稳像的目的。该方法具有很好的理论依据及实际操作价值，有 效降低了利用算法估计运动矢量的复杂度和难度，具有更高的精度，方法的快速性与准确 性较强，更容易移植到移动终端为视频的后续处理与信息提取提供可靠保障。
[0017] 本发明优点具体体现在：
[0018] (1)平行安装的姿态传感器和摄像头保证了载体姿态变化和振动对两者的位移量 和旋转角度的变化存在一定的量化关系，方便从姿态传感器的位移量和旋转角度换算得到 摄像头的位移及旋转角度；
[0019] (2)根据摄像头与图像之间的对应关系，由摄像头的位移及旋转角度换算得到图 像的运动矢量；
[0020] (3)本发明的核屯、是利用姿态传感器的位移及旋转角度与摄像头位移与旋转角度 之间的对应的关系，由姿态传感器的测量值直接计算出摄像头的位移及旋转量，进而计算 出图像的运动矢量，避免了由算法估计图像运动矢量的复杂度和难度，具有更高的速度和 精度。
【附图说明】
[0021] 图1为基于移动终端内置姿态传感器的视频电子稳像方法示意图；
[0022] 图2为姿态传感器沿俯仰角方向旋转对摄像头影响的示意图；
[0023] 图3为摄像头位移对图像影响的示意图，图3(a)为摄像头沿自身y轴方向位移， 图3(b)为摄像头沿自身X轴方向位移；
[0024] 图4为摄像头旋转对图像影响的示意图，图4(a)为摄像头沿俯仰角方向旋转，图 4(b)为摄像头沿航向角方向旋转；
[0025] 图5为基于移动终端内置姿态传感器获取运动矢量的视频稳像方法流程图；
[0026] 图6为姿态传感器获取图像运动矢量的流程图；
[0027] 图7为图像补偿方法示意图，图7 (a)为图像平移补偿方法，图7(b)为图像旋转补 偿方法；
[0028] 图8为存放图像的缓存刷新示意图；
[0029] 图9为获取输出帖提取区域方法的示意图；
[0030] 图中所有符号的物理含义解释如下；xyz为摄像头的坐标系，X'y'Z'为姿态传感 器的坐标系，0、r、分别为摄像头的俯仰角、横滚角、航向角，0 '、T'、分别表示姿 态传感器的俯仰角、横滚角、航向角，Ly、Ly、L,分别表示姿态传感器和摄像头在x、y、z方向 上的距离；L济Ly分别表示姿态传感器与摄像头中屯、在X方向和y方向上的距离，dx和dy 分别为姿态传感器延Z'轴旋转0'角度后，摄像头在自身X和y方向上的位移，0表示姿 态传感器延Z'轴旋转0'角度后，摄像头旋转的角度；S为物距，S为相距，0为景物中一点， 0和0'分别为摄像头延自身y轴平移dy前后0在图像上的投影冲Oy为摄像头在xoy方 向上的视场角大小，S和S分别为物距和相距，景物中距视场边缘距离Lc为1的一点0在摄 像头延自身X轴平移dx前后，在图像上的投影分别为0和0' ； 丫为摄像头产生的俯仰角大 小，0 ,为摄像头在XOZ平面上的视场角大小，1 ,为摄像头的CCD在XOZ平面上的长度；1]) 为摄像头产生的航向角大小，4表示图像自身产生的旋转角度；(xi，yi)表示对图像进行操 作前某一像素点的坐标，（X2，y2)表示对图像进行平移操作后对应像素点的坐标，Ax、Ay 分别表示对图像进行平移操作时图像需要在图像的x、y方向上移动的距离，d)表示对图像 进行旋转操作时图像在图像平面内的旋转角度；巧为由姿态传感器旋转角速度积分换算得 到的位移矢量，巧为吊经过卡尔曼滤波得到的矢量，吊与巧相减得到矢量巧，将巧尾部置 于缓存中屯、，箭头所指位置即为目标稳像帖的中屯、。
【具体实施方式】
[0031] 为了使本发明的目的、技术方案及优点更加清楚明白，W下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用w解释本发明，并 不用于限定本发明。
[0032] 本发明设及一种移动终端电子稳像方法，适用于视频采集过程中由于无意识的抖 动造成的视频帖间模糊的视频稳像，为视频的后期处理及信息获取提供保障。
[0033] 本发明提供一种基于移动终端内置姿态传感器的视频电子稳像方法，利用计算直 接获取运动矢量， 避免了利用算法估计运动运动矢量的复杂度和难度，降低了复杂度和难 度，提高了稳像精度和速度。
[0034] 在该方法下，当摄像头在连续采集图像的同时，姿态传感器也在不断对测得的角 速度进行积分，同时将积分得到的角度换算成对应图像的运动矢量，根据各帖图像的运动 矢量对每一帖图像进行补偿，选取补偿后图像的感兴趣部分作为稳像帖输出，从而达到稳 像的目的。
[0035] 本发明基于移动终端内置姿态传感器的视频电子稳像方法的内涵是；在视频成像 系统中，移动终端上的摄像头和姿态传感器平行安装，当载体产生振动和姿态角变化时，会 使摄像头的光轴产生相应角振动，从而导致各帖图像之间有不同程度的偏移，造成视觉上 的视频模糊。通过姿态传感器获取姿态传感器自身的位移W及旋转角度，因为姿态传感器 与摄像头平行安装，因此姿态传感器的位移及旋转角度与摄像头的位移及旋转角度之间存 在一定的变换关系，所W可W利用姿态传感器获得的旋转角度及位移量换算得到摄像头的 位移及旋转角度，进而换算出图像的运动矢量，最后通过运动补偿输出稳定图像来达到稳 像效果。
[0036] 移动终端中存在最多的姿态传感器为巧螺仪，而现有最多的移动终端为手机因此 下面W手机和巧螺仪为例对本发明进行介绍。
[0037] 在本发明实施例中，巧螺仪本身的坐标系定义为第一坐标系，其中第一坐标系包 括X'轴、y'轴和Z'轴，将巧螺仪自身所定义的x、y、z方向的加速度方向定义为X'轴、y' 轴和Z'轴；摄像头的坐标系定义为第二坐标系，第二坐标系包括X轴、y轴和Z轴，将摄像 头的拍摄方向定义为X轴，摄像头的正上方定义为y轴，摄像头的右方定义为Z轴。
[0038] 在本发明实施例中，巧螺仪位移及旋转角度与摄像头位移及旋转角度之间存在的 转换关系说明如下：
[0039] 巧螺仪位移及旋转与摄像头位移及旋转角度之间的关系，可W由巧螺仪旋转和位 移两个方面分别分析。
[0040] (1)巧螺仪位移对摄像头的影响
[0041] 因为巧螺仪与摄像头平行共轴安装，因此当巧螺仪产生沿自身X'、y'、Z'轴分别 为dx'、dy'、化'的位移时，摄像头的对应变化同样为沿自身X、y、Z轴位移dx、dy、化的长 度，即；dx=dx'（1)，dy=dy' 似，dz=dz'（3)
[0042] (2)巧螺仪旋转对摄像头的影响
[0043] 巧螺仪旋转对摄像头的影响也可分为两个方面分析，图2是巧螺仪产生角度为 e'的俯仰角的旋转角度前后巧螺仪和摄像头的位置关系，L,和Ly分别表示巧螺仪与摄像 头中屯、在X方向和y方向上的距离，dx和dy分别为巧螺仪沿Z'轴旋转0'角度后，摄像头 在自身X和y方向上的位移，0表示巧螺仪沿Z'轴旋转0'角度后，摄像头旋转的角度。 由几何关系可知：
[0047] 同理可w得到当巧螺仪绕自身y'轴旋转丫'角度后，摄像头的位置及姿态角变化 为：
[0051] 当巧螺仪绕自身X'轴旋转iF角度后，摄像头的位置及姿态角变化为：
[0055] 综合巧螺仪位移对摄像头的影响W及巧螺仪旋转对摄像头的影响可知：摄像头的 位移与巧螺仪的位移及旋转角度的关系可由W下几个公式表示：
[0059] 摄像头的旋转角度与巧螺仪的关系可由公式化）、巧）、（12)表示。
[0060] 在本发明实施例中，图像的位移及旋转与摄像头位移及旋转角度之间存在的转换 关系说明如下：
[0061] (1)摄像头位移对图像变化的影响
[0062] 图3 (a)为摄像头沿自身y轴方向位移dy前后摄取景物及图像变化的xoy平面截 面图，图中物距为S，相距为S，景物中一点0在摄像头沿自身y轴平移dy前后，在图像上的 投影分别为0和0'，则0'在图像中相对0移动的距离dy,可W用下面方式求取：
[0063] 由相似S角形可知：
[0064]对公式（16)化简可得到
[006引同理可W得到当摄像头沿自身Z轴方向产生大小为化的位移时，图像产生同方向 大小为化T的平移：
[0066] 图3化）为摄像头沿自身X轴方向位移dx前后摄取景物及图像变化的xoy平面截 面图，在xoy方向上的视场角大小为0y，图中物距为S，相距为S，景物中距视场边缘距离Lc 为1的一点0在摄像头沿自身X轴平移dx前后，在图像上的投影分别为0和0'，则0'在图 像中相对0移动的距离dxT可W用下面方式求取：
[0067] 首先根据位移后的相距大小W及视场角大小来求取位移前后在y方向的实际取 景长度L及Lw
则位移后0点在新的 景物中距离视场边缘的距离
；将公式（19)和公式（20)代入公式 (21)得到Lew的表达式为：
[006引
（22)
[0069] 由相似S角形可W知道位移前后点0在图像中投影0和0'与图像边缘的距 离：
U4);图像中图像沿y方向的位移为；dyT=Ltw-Lt (25);
[0070] 将公式（22)、（23)、（24)代入公式（25)得到图像沿y方向的位移为：
[0071]
(26)
[007引同理可W得到当摄像头沿自身X轴方向产生大小为化的位移时，图像产生同方向 大小为化T的平移
[0073] (2)摄像头旋转对图像变化的影响
[0074] 图4(a)为摄像头绕自身y轴旋转丫前后摄取景物及图像变化的XOZ平面截面图， 摄像头在XOZ平面上的视场角大小为0 ,，摄像头的CCD在XOZ平面上的长度为1,，可W看 到当摄像头绕自身y轴旋转在图像上表现为沿Z方向平移，两者之间的关系为：
[0075]
(28)
[0076] 同理可W得到摄像头绕自身Z轴旋转0时，在图像上表现为沿y方向平移dyi，摄 像头在XOZ平面上的视场角大小为0 ,，摄像头的CCD在xoy平面上的长度为ly，则dyi和 0之间的关系为：
[0077] (29)
[007引图4化）为摄像头绕自身X轴旋转iD前后图像的变化情况，当摄像头绕自身X轴 旋转时，图像绕自身旋转4,两者之间的关系为：
[0079] 4=1]) (30)
[0080] 综合上述可W知道摄像头平移旋转对图像的影响为：
[0083] 摄像头绕自身X轴旋转角度iD与图像绕自身旋转角度4之间的关系由公式（30) 表示。一般情况下在摄像过程中，相距S远小于物距S，即S<<S，因此公式（31)和公式 (32)的前两项可W忽略，分别近似为公式（28)和公式（29)，即摄像头的平移对图像不造成 影响。
[0084] 根据巧螺仪运动对摄像头的影响W及摄像头运动对图像的影响，我们可W得到巧 螺仪运动对图像的影响，由于摄像头的平移不对图像造成影响，而巧螺仪平移对摄像头的 影响表现为摄像头平移相同距离，因此巧螺仪平移不对图像造成影响，当且仅当巧螺仪旋 转角度发生变化时，图像才会发生变化，将公式化）、巧）、（12)分别代入公式（29)、（28)、 (30)得到W下关系：
[0085] 图5示出了基于巧螺仪的手机电子稳像方法流程图，具体实施步骤如下：
[0086] 步骤1 ;摄像头实时获取一帖图像。
[0087] 步骤2;通过巧螺仪获取与所述一帖图像相同时刻的运动矢量作为该图像的运动 矢量，为了保证实时性同时为了尽量减小误差，在获取、处理、输出图像的整个稳像过程中， 巧螺仪均在获取运动矢量，但只有一帖图像被获取时，才提取同时刻的运动矢量作为图像 运动矢量。
[0088] 图6示出了巧螺仪获取图像运动矢量的流程图，具体步骤如下；
[0089] (1)巧螺仪初始化。
[0090] 巧螺仪在运行之前需首先对巧螺仪的一些参数进行设置，其中最主要的参数是巧 螺仪的波特率，波特率的大小直接影响到巧螺仪数据的输出速率，波特率越大，巧螺仪的数 据输出速率越快，获得的数据越多，计算结果更精确，但同时计算的花费也更大，所W波特 率并不是越大越好，需要按自身的需求去设定波特率，只要能准确地获取巧螺仪实时地旋 转角度即可，所W对于振动频率较低的视频只需选取较低的波特率，而对于振动频率较高 的视频，要达到较好的稳像效果则需选取较高的波特率。当巧螺仪完成初始化后，巧螺仪会 连续输出数据，为了获取实时并且准确的运动矢量，之后需要对输出的数据进行实时处理， 即达到巧螺仪输出一组数据时就对该组数据进行处理来获取我们需要的运动矢量。
[0091] (2)当巧螺仪输出一组数据时，取出数据中表示巧螺仪S轴角速度W及时间的部 分。
[0092] 巧螺仪的数据是一组一组封装好的数据包，每一组数据表示一个时刻巧螺仪的各 个状态，一组数据一般包括W下几个部分：
[0093] (2. 1)字头，字头是一组数据的开头，一般获取数据就是通过字头来确定一组数据 的开头；
[0094] (2. 2)标志位，同种巧螺仪可W有不同状态，不同状态下巧螺仪各种数据的量程是 不同的，标志位就是用来表示不同的巧螺仪状态；
[0095] (2. 3)计时器，用来表示该组数据被取出时对应的时刻，每个数据周期中，计 时器 不断递增，满值为2"，n为计时器数据在一组数据中所占的位数，当记录的时间超过满值溢 出时则从0重新开始；
[0096] (2. 4)角速度，表示巧螺仪当前绕自身S轴旋转的角速度；
[0097] (2. 5)现加速度，表示巧螺仪在=方向上的线速度，该组数据在有的巧螺仪里使用 线加速度代替；
[009引 （2. 6)温度，表示巧螺仪所处环境当前的温度。
[0099] (2. 7)校验和，一组数据的结尾，通过校验和可W知道一组数据是否正确被接受。
[0100] 由公式桃）、（34)、做）可^知道，对图像运动造成影响的只有巧螺仪的旋转角 度，因此只需每组数据中取出时间和旋转角度部分即可。
[0101] (3)对角速度进行积分得到巧螺仪的实时旋转角度。
[0102] 取出的时间和角速度是2进制数，不能直接计算，在计算之前需将时间和角速度 转换为实际值，根据标志位确定时间和角速度的转换量程然后进行转换，对角速度进行积 分即得到巧螺仪的旋转角度。巧螺仪获取的时间是获取本组数据时所处的时刻，并不是获 取本组数据所花的时间，因此不能拿获得时间直接进行积分，可W通过计算本次数据获取 时刻与上次数据获取时刻的差值来确定获取本组数据所花的时间，在前面对计时器进行介 绍时已经提到了当计时器数据溢出时会从0重新计时，因此会存在后一次的时刻小于前一 次的时刻的情况，该种情况下可W在后一次的计数值上加上计时器满值2"，再与前一次计 时器的时刻相减得到获取本组数据所花的时间，再转换获得获取本组数据所花时间的实际 值。
[0103] (4)根据实时旋转角度计算图像运动矢量。
[0104] 根据公式（33)、（34)、（35)，将巧螺仪的旋转角度换算成图像运动矢量。
[0105] 在对巧螺仪进行初始化后，不断重复步骤（2)至（4)，即可达到对图像运动矢量进 行实时计算的目的，当图像需要获取其运动矢量时，只需取出产生图像对应时刻所计算出 的图像运动矢量即可。
[0106] 步骤3 ;根据图像运动矢量通过对图像进行平移、旋转操作实现运动补偿。
[0107] 由公式桃）、（34)、做）可W知道，图像的运动矢量包含立个部分；dzT、dyT、4，其 中化T表示图像在竖直方向上要平移的量，dyi表示图像在水平方向上要平移的量，4表示 图像将要旋转的角度。所W当巧螺仪测量之中航向角、横滚角、俯仰角发生变化时，图像的 对应的操作分别为旋转、水平移动、竖直移动。
[0108] 根据巧螺仪换算出的图像运动矢量中的平移部分实际是图像在摄像头内CCD平 移的距离，该距离是带长度单位的，而图像平移则是平移多少个像素长度，要知道两者之 间的换算关系必须知道面阵CCD的大小W及摄像头的最大分辨率，W2/3CCD，最大分辨率 1024*768为例，2/3CCD的祀面尺寸为宽8. 8mm*高6. 6mm，若在CCD上图像水平移动1mm， 则图像实际移动像素点个数为lmm*l〇24/8. 8mm，通过该种方式换算出图像的平移像素点个 数，得到了像素点平移数和旋转角度，接下来进行的就是根据像素点平移数和旋转角度对 图像平移和旋转。
[0109] 对图像的操作实际就是对像素点的操作，图7(a)为图像平移示意图，当图像产生 大小为Ax和Ay的位移时，对像素点的操作为；
[0110]
(36)
[0111]图7化）为图像旋转示意图，当图像旋转角度4时，对像素点的操作为：
[0112]
(37)
[0113] 对图像完成平移及旋转操作后，将图像放入缓存，如图8所示，通过对每一帖平移 和旋转后放入缓存的方式来不断刷新缓存。
[0114] 步骤4;对图像运动矢量进行卡尔曼滤波，根据原平移分量与滤波后的平移分量 的差值确定感兴趣区域，每次输出稳像帖时，我们都需要选取缓存中一定区域内的图像作 为输出，我们把该区域称为感兴趣区域。其中，该感兴趣区域的尺寸与摄像头获得图片的尺 寸一样。
[0115] 为了获取稳定的视频，必须不断从缓存取得合适区域取出图像作为稳像帖作为输 出，如果是对于固定目标的稳像，那么只需要每次从缓存的中屯、区域取出固定大小的图像 作为输出即可，但是如果摄像本身带有一些有意运动则需要用另外一种方法来获取输出的 稳定帖，图9为保留有意运动获取稳像帖方法，吊为由巧螺仪旋转角速度积分换算得到的 位移矢量，电为吊经过卡尔曼滤波得到的矢量，吊与它相减得到矢量5，将氏尾部置于 缓存中屯、，箭头所指位置即为目标稳像帖的中屯、。
[0116] 步骤5 ;取出感兴趣区域的图像作为稳定帖输出。
[0117] 不断重复步骤1至5即可输出稳定的稳像后的视频，从而达到稳像的目的。本方法 与一般的稳像方法的不同点在于本方法省略了一般稳像方法的运动估计环节，W巧螺仪测 量的航向角、横滚角、俯仰角直接换算的到图像补偿时所用的图像运动矢量，该种方法的好 处在于巧螺仪直接测量比运动估计相比大大的节省了获取运动矢量所需时间，同时也对运 行平台的计算量要求更小，因此可W应用于计算能力相对小的移动终端。其次通过运动估 计获取图像运动矢量要求相邻两帖之间需要有重合部分，当抖动剧烈时，该方法就会失效， 而巧螺仪没有此限制。综上所述，本方法比一般的稳像方法好。
[0118] 本领域的技术人员容易理解，W上所述仅为本发明的较佳实施例而已，并不用W 限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含 在本发明的保护范围之内。
【主权项】
1. 一种移动终端视频的电子稳像方法，其特征在于，通过内置于移动终端的姿态传感 器获得所述移动终端晃动时姿态传感器的运动数据，并对所述运动数据进行处理获得摄像 头视频中每一帧的图像运动矢量，再根据所述图像运动矢量对每一帧图像进行平移或旋转 操作，从而实现稳像。2. 如权利要求1所述的电子稳像方法，其特征在于，所述姿态传感器包括：陀螺仪、地 磁传感器和加速度传感器。3. 如权利要求2所述的电子稳像方法，其特征在于，通过姿态传感器获得运动数据的 具体步骤如下： (1) 通过设置姿态传感器的波特率对所述姿态传感器进行初始化处理； (2) 当所述姿态传感器输出一组数据时，获得该组数据中表示姿态传感器三轴角速度 以及时间的部分； (3) 对角速度进行关于时间的积分处理获得姿态传感器的旋转角度，旋转角度包括横 滚角、俯仰角和航向角。4. 如权利要求3所述的电子稳像方法，其特征在于，对所述运动数据进行处理的具体 步骤为： 根据姿态传感器的旋转角度以及姿态传感器与摄像头的相对位置关系，获得摄像头的 旋转角度，姿态传感器和摄像头之间的角度转化关系为：θ = θ'、γ = γ'、φ = φ'； 根据摄像头的旋转角度获得图像运动矢量，摄像头旋转和图像运动之间的对应关系为其中，θ、γ、φ分别表示摄像头的俯仰角、横滚角、航向角方向上的旋转角度，θ'、 γ'、Φ'分别表示姿态传感器的俯仰角、横滚角、航向角方向上的旋转角度，dzT、dyT、Φ分 别表示图像在竖直方向上的位移、图像在水平方向上的位移、图像在图像平面内的旋转角 度。5. 如权利要求1所述的电子稳像方法，其特征在于，根据所述图像运动矢量对每一帧 图像进行平移操作具体为：当图像有位移时，根据对图像进行平移 操作；其中Upy1)表示对图像进行平移操作前某一像素点的坐标，（x2，y2)表示对图像进行 平移操作后对应像素点的坐标，ΔΧ、Ay分别表示图像需要在图像的X、y方向上移动的距 离。6. 如权利要求1或5所述的电子稳像方法，其特征在于，根据所述图像运动矢量对每一 帧图像进行旋转操作具体为：当图像有航向角时，根据对图 像进行旋转操作；其中Ui，yi)表示对图像进行旋转操作前某一像素点的坐标，（X2，y2)表示对图像进行 旋转操作后对应像素点的坐标，Φ表示图像在图像平面内的旋转角度。7. 如权利要求1-6任一项所述的电子稳像方法，其特征在于，所述电子稳像方法还包 括输出稳像帧步骤： 对图像运动矢量进行卡尔曼滤波，根据原平移分量与滤波后的平移分量的差值确定感 兴趣区域；并将所述感兴趣区域的图像作为稳定帧输出。8. 如权利要求7所述的电子稳像方法，其特征在于，所述感兴趣区域的尺寸与摄像头 获取图片的尺寸一样。
【专利摘要】本发明公开了一种移动终端视频的电子稳像方法，在移动终端摄像过程中，当摄像头由于干扰产生无意识抖动时，利用移动终端内的姿态传感器获得的数据计算出摄像头的运动数据，并将这些数据通过换算得到每一帧图像的运动矢量，根据运动矢量对每一帧图像进行平移及旋转操作后输出显示，从而达到稳像的效果。由于本发明由移动终端内置姿态传感器直接获得运动矢量，省略了一般电子稳像在获取运动矢量时花费较大和因存在误匹配而有误差的运动估计环节，因此本发明具有更高的实时性与更强的抗干扰能力。
【IPC分类】H04N5/14, H04N5/21
【公开号】CN104902142
【申请号】CN201510283660
【发明人】马杰, 胡芳禹
【申请人】华中科技大学
【公开日】2015年9月9日
【申请日】2015年5月29日
【技术领域】
[0001] 本发明属于视频处理技术领域，更具体地，设及一种移动终端视频的电子稳像方 法。
【背景技术】
[0002] 稳像技术在军事领域、民用测绘W及摄影系统中都有广泛应用。相比其他信息形 式，图像具有信息更加直观且信息含量丰富的特点，但是由于成像系统工作时要受到其载 体的姿态变化或震动的影响，导致获得的图像信息模糊和不稳定，极大的限制了图像信息 的有效性。通过稳像技术能消除或者减少摄像载体运动对图像的影响，大大提高获取图像 信息的质量。视频稳像一般包括W下几个步骤；视频帖预处理、运动估计、运动补偿和输出 稳像视频。
[0003] 电子稳像近几年的发展主要集中在PC平台上，而移动终端作为平台的电子稳像 方法却很少有提及，主要原因就是传统的运动估计算法由于计算量较大很难移植到计算能 力小的移动终端上，运动估计一直是视频稳像中研究的热点和难点，首先为了达到视频输 出的效果，每秒钟帖数必须达到要求，同时为了达到稳像效果，必须得到正确的运动矢量， 如何快速而准确的获得运动矢量往往是视频稳像的核屯、难点。现有的运动矢量获取一般是 由算法实现的，运行平台多为PC平台，比如吴浩，邓宏彬在文献"一种基于分块灰度投影运 动估计的视频稳像方法.兵工学报.2013 (04)"中，分块灰度投影运动估计的视频稳像方法 依据灰度梯度对子区域进行筛选，剔除容易导致错误运动估计的低对比度子区域，然后对 保留的子区域进行灰度投影及相关运算获得局部运动矢量，根据图像帖间运动模型由局部 运动计算出图像的全局运动矢量，最后根据运动补偿矢量对图像进行补偿，W获得稳定的 图像序列，该方法有一定的稳像效果。此类利用算法估计帖运动矢量的方法由于运动矢量 估计计算花费大，不适合移植到计算能力相对小的移动终端上，同时误匹配会使运动矢量 估计存在误差等等，快速性和准确性一般。
【发明内容】
[0004] 针对现有技术的缺陷，本发明提供了一种移动终端视频的电子稳像方法，其目的 在于避免由于无意识的抖动造成的视频帖间模糊，提高了稳像精度和速度。
[0005] 本发明提供了 一种移动终端视频的电子稳像方法，通过内置于移动终端的姿态传 感器获得所述移动终端晃动时姿态传感器的运动数据，并对所述运动数据进行处理获得摄 像头视频中每一帖的图像运动矢量，再根据所述图像运动矢量对每一帖图像进行平移或旋 转操作，从而实现稳像；其中，对所述运动数据进行处理具体为：根据姿态传感器的旋转角 度W及姿态传感器与摄像头的相对位置关系，获得摄像头的旋转角度；并根据摄像头的旋 转角度获得图像运动矢量。其中，通过姿态传感器获得运动数据的具体步骤如下：
[0006] (1)通过设置姿态传感器的波特率对所述姿态传感器进行初始化处理；
[0007] (2)当所述姿态传感器输出一组数据时，获得该组数据中表示姿态传感器=轴角 速度w及时间的部分；
[0008] (3)对角速度进行关于时间的积分处理获得姿态传感器的旋转角度，旋转角度包 括横滚角、俯仰角和航向角。
[0009] 更进一步地，对所述运动数据进行处理的具体步骤为：
[0010] 根据姿态传感器的旋转角度W及姿态传感器与摄像头的相对位置关系，获得摄像 头的旋转角度，姿态传感器和摄像头之间的角度转化关系为：0 = 0'、丫二丫'、= r;
[0011] 根据摄像头的旋转角度获得图像运动矢量，摄像头旋转和图像运动之间的对应关 系为
其中，0、r、1]^分别表示摄像头的俯仰角、横滚角、 航向角方向上的旋转角度，0'、丫'、分别表示姿态传感器的俯仰角、横滚角、航向角方 向上的旋转角度，化T、dyi、4分别表示图像在竖直方向上的位移、图像在水平方向上的位 移、图像在图像平面内的旋转角度。
[0012] 更进一步地，根据所述图像运动矢量对每一帖图像进行平移操作具体为；当图像 有位移时，根I
对图像进行平移操作；其中（Xi，yi)表示对图像进 行平移操作前某一像素点的坐标，（X2，y,)表示对图像进行平移操作后对应像素点的坐标，Ax、Ay分别表示图像需要在图像的x、y方向上移动的距离。
[0013] 更进一步地，根据所述图像运动矢量对每一帖图像进行旋转操作具体为；当图像 有航向角时，根据
时图像进行旋转操作；其中（Xi，yi)表示对 图像进行旋转操作前某一像素点的坐标，（X2，y,)表示对图像进行旋转操作后对应像素点的 坐标，4表示图像在图像平面内的旋转角度。
[0014] 更进一步地，所述电子稳像方法还包括输出稳像帖步骤：对图像运动矢量进行卡 尔曼滤波，根据原平移分量与滤波后的平移分量的差值确定感兴趣区域；并将所述感兴趣 区域的图像作为稳定帖输出。
[0015] 其中，所述感兴趣区域的尺寸与摄像头获取图片的尺寸一样。
[0016] 本发明利用姿态传感器测算数据直接换算得到图像的运动矢量，根据运动矢量对 图像进行运动补偿，从而达到稳像的目的。该方法具有很好的理论依据及实际操作价值，有 效降低了利用算法估计运动矢量的复杂度和难度，具有更高的精度，方法的快速性与准确 性较强，更容易移植到移动终端为视频的后续处理与信息提取提供可靠保障。
[0017] 本发明优点具体体现在：
[0018] (1)平行安装的姿态传感器和摄像头保证了载体姿态变化和振动对两者的位移量 和旋转角度的变化存在一定的量化关系，方便从姿态传感器的位移量和旋转角度换算得到 摄像头的位移及旋转角度；
[0019] (2)根据摄像头与图像之间的对应关系，由摄像头的位移及旋转角度换算得到图 像的运动矢量；
[0020] (3)本发明的核屯、是利用姿态传感器的位移及旋转角度与摄像头位移与旋转角度 之间的对应的关系，由姿态传感器的测量值直接计算出摄像头的位移及旋转量，进而计算 出图像的运动矢量，避免了由算法估计图像运动矢量的复杂度和难度，具有更高的速度和 精度。
【附图说明】
[0021] 图1为基于移动终端内置姿态传感器的视频电子稳像方法示意图；
[0022] 图2为姿态传感器沿俯仰角方向旋转对摄像头影响的示意图；
[0023] 图3为摄像头位移对图像影响的示意图，图3(a)为摄像头沿自身y轴方向位移， 图3(b)为摄像头沿自身X轴方向位移；
[0024] 图4为摄像头旋转对图像影响的示意图，图4(a)为摄像头沿俯仰角方向旋转，图 4(b)为摄像头沿航向角方向旋转；
[0025] 图5为基于移动终端内置姿态传感器获取运动矢量的视频稳像方法流程图；
[0026] 图6为姿态传感器获取图像运动矢量的流程图；
[0027] 图7为图像补偿方法示意图，图7 (a)为图像平移补偿方法，图7(b)为图像旋转补 偿方法；
[0028] 图8为存放图像的缓存刷新示意图；
[0029] 图9为获取输出帖提取区域方法的示意图；
[0030] 图中所有符号的物理含义解释如下；xyz为摄像头的坐标系，X'y'Z'为姿态传感 器的坐标系，0、r、分别为摄像头的俯仰角、横滚角、航向角，0 '、T'、分别表示姿 态传感器的俯仰角、横滚角、航向角，Ly、Ly、L,分别表示姿态传感器和摄像头在x、y、z方向 上的距离；L济Ly分别表示姿态传感器与摄像头中屯、在X方向和y方向上的距离，dx和dy 分别为姿态传感器延Z'轴旋转0'角度后，摄像头在自身X和y方向上的位移，0表示姿 态传感器延Z'轴旋转0'角度后，摄像头旋转的角度；S为物距，S为相距，0为景物中一点， 0和0'分别为摄像头延自身y轴平移dy前后0在图像上的投影冲Oy为摄像头在xoy方 向上的视场角大小，S和S分别为物距和相距，景物中距视场边缘距离Lc为1的一点0在摄 像头延自身X轴平移dx前后，在图像上的投影分别为0和0' ； 丫为摄像头产生的俯仰角大 小，0 ,为摄像头在XOZ平面上的视场角大小，1 ,为摄像头的CCD在XOZ平面上的长度；1]) 为摄像头产生的航向角大小，4表示图像自身产生的旋转角度；(xi，yi)表示对图像进行操 作前某一像素点的坐标，（X2，y2)表示对图像进行平移操作后对应像素点的坐标，Ax、Ay 分别表示对图像进行平移操作时图像需要在图像的x、y方向上移动的距离，d)表示对图像 进行旋转操作时图像在图像平面内的旋转角度；巧为由姿态传感器旋转角速度积分换算得 到的位移矢量，巧为吊经过卡尔曼滤波得到的矢量，吊与巧相减得到矢量巧，将巧尾部置 于缓存中屯、，箭头所指位置即为目标稳像帖的中屯、。
【具体实施方式】
[0031] 为了使本发明的目的、技术方案及优点更加清楚明白，W下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用w解释本发明，并 不用于限定本发明。
[0032] 本发明设及一种移动终端电子稳像方法，适用于视频采集过程中由于无意识的抖 动造成的视频帖间模糊的视频稳像，为视频的后期处理及信息获取提供保障。
[0033] 本发明提供一种基于移动终端内置姿态传感器的视频电子稳像方法，利用计算直 接获取运动矢量， 避免了利用算法估计运动运动矢量的复杂度和难度，降低了复杂度和难 度，提高了稳像精度和速度。
[0034] 在该方法下，当摄像头在连续采集图像的同时，姿态传感器也在不断对测得的角 速度进行积分，同时将积分得到的角度换算成对应图像的运动矢量，根据各帖图像的运动 矢量对每一帖图像进行补偿，选取补偿后图像的感兴趣部分作为稳像帖输出，从而达到稳 像的目的。
[0035] 本发明基于移动终端内置姿态传感器的视频电子稳像方法的内涵是；在视频成像 系统中，移动终端上的摄像头和姿态传感器平行安装，当载体产生振动和姿态角变化时，会 使摄像头的光轴产生相应角振动，从而导致各帖图像之间有不同程度的偏移，造成视觉上 的视频模糊。通过姿态传感器获取姿态传感器自身的位移W及旋转角度，因为姿态传感器 与摄像头平行安装，因此姿态传感器的位移及旋转角度与摄像头的位移及旋转角度之间存 在一定的变换关系，所W可W利用姿态传感器获得的旋转角度及位移量换算得到摄像头的 位移及旋转角度，进而换算出图像的运动矢量，最后通过运动补偿输出稳定图像来达到稳 像效果。
[0036] 移动终端中存在最多的姿态传感器为巧螺仪，而现有最多的移动终端为手机因此 下面W手机和巧螺仪为例对本发明进行介绍。
[0037] 在本发明实施例中，巧螺仪本身的坐标系定义为第一坐标系，其中第一坐标系包 括X'轴、y'轴和Z'轴，将巧螺仪自身所定义的x、y、z方向的加速度方向定义为X'轴、y' 轴和Z'轴；摄像头的坐标系定义为第二坐标系，第二坐标系包括X轴、y轴和Z轴，将摄像 头的拍摄方向定义为X轴，摄像头的正上方定义为y轴，摄像头的右方定义为Z轴。
[0038] 在本发明实施例中，巧螺仪位移及旋转角度与摄像头位移及旋转角度之间存在的 转换关系说明如下：
[0039] 巧螺仪位移及旋转与摄像头位移及旋转角度之间的关系，可W由巧螺仪旋转和位 移两个方面分别分析。
[0040] (1)巧螺仪位移对摄像头的影响
[0041] 因为巧螺仪与摄像头平行共轴安装，因此当巧螺仪产生沿自身X'、y'、Z'轴分别 为dx'、dy'、化'的位移时，摄像头的对应变化同样为沿自身X、y、Z轴位移dx、dy、化的长 度，即；dx=dx'（1)，dy=dy' 似，dz=dz'（3)
[0042] (2)巧螺仪旋转对摄像头的影响
[0043] 巧螺仪旋转对摄像头的影响也可分为两个方面分析，图2是巧螺仪产生角度为 e'的俯仰角的旋转角度前后巧螺仪和摄像头的位置关系，L,和Ly分别表示巧螺仪与摄像 头中屯、在X方向和y方向上的距离，dx和dy分别为巧螺仪沿Z'轴旋转0'角度后，摄像头 在自身X和y方向上的位移，0表示巧螺仪沿Z'轴旋转0'角度后，摄像头旋转的角度。 由几何关系可知：
[0047] 同理可w得到当巧螺仪绕自身y'轴旋转丫'角度后，摄像头的位置及姿态角变化 为：
[0051] 当巧螺仪绕自身X'轴旋转iF角度后，摄像头的位置及姿态角变化为：
[0055] 综合巧螺仪位移对摄像头的影响W及巧螺仪旋转对摄像头的影响可知：摄像头的 位移与巧螺仪的位移及旋转角度的关系可由W下几个公式表示：
[0059] 摄像头的旋转角度与巧螺仪的关系可由公式化）、巧）、（12)表示。
[0060] 在本发明实施例中，图像的位移及旋转与摄像头位移及旋转角度之间存在的转换 关系说明如下：
[0061] (1)摄像头位移对图像变化的影响
[0062] 图3 (a)为摄像头沿自身y轴方向位移dy前后摄取景物及图像变化的xoy平面截 面图，图中物距为S，相距为S，景物中一点0在摄像头沿自身y轴平移dy前后，在图像上的 投影分别为0和0'，则0'在图像中相对0移动的距离dy,可W用下面方式求取：
[0063] 由相似S角形可知：
[0064]对公式（16)化简可得到
[006引同理可W得到当摄像头沿自身Z轴方向产生大小为化的位移时，图像产生同方向 大小为化T的平移：
[0066] 图3化）为摄像头沿自身X轴方向位移dx前后摄取景物及图像变化的xoy平面截 面图，在xoy方向上的视场角大小为0y，图中物距为S，相距为S，景物中距视场边缘距离Lc 为1的一点0在摄像头沿自身X轴平移dx前后，在图像上的投影分别为0和0'，则0'在图 像中相对0移动的距离dxT可W用下面方式求取：
[0067] 首先根据位移后的相距大小W及视场角大小来求取位移前后在y方向的实际取 景长度L及Lw
则位移后0点在新的 景物中距离视场边缘的距离
；将公式（19)和公式（20)代入公式 (21)得到Lew的表达式为：
[006引
（22)
[0069] 由相似S角形可W知道位移前后点0在图像中投影0和0'与图像边缘的距 离：
U4);图像中图像沿y方向的位移为；dyT=Ltw-Lt (25);
[0070] 将公式（22)、（23)、（24)代入公式（25)得到图像沿y方向的位移为：
[0071]
(26)
[007引同理可W得到当摄像头沿自身X轴方向产生大小为化的位移时，图像产生同方向 大小为化T的平移
[0073] (2)摄像头旋转对图像变化的影响
[0074] 图4(a)为摄像头绕自身y轴旋转丫前后摄取景物及图像变化的XOZ平面截面图， 摄像头在XOZ平面上的视场角大小为0 ,，摄像头的CCD在XOZ平面上的长度为1,，可W看 到当摄像头绕自身y轴旋转在图像上表现为沿Z方向平移，两者之间的关系为：
[0075]
(28)
[0076] 同理可W得到摄像头绕自身Z轴旋转0时，在图像上表现为沿y方向平移dyi，摄 像头在XOZ平面上的视场角大小为0 ,，摄像头的CCD在xoy平面上的长度为ly，则dyi和 0之间的关系为：
[0077] (29)
[007引图4化）为摄像头绕自身X轴旋转iD前后图像的变化情况，当摄像头绕自身X轴 旋转时，图像绕自身旋转4,两者之间的关系为：
[0079] 4=1]) (30)
[0080] 综合上述可W知道摄像头平移旋转对图像的影响为：
[0083] 摄像头绕自身X轴旋转角度iD与图像绕自身旋转角度4之间的关系由公式（30) 表示。一般情况下在摄像过程中，相距S远小于物距S，即S<<S，因此公式（31)和公式 (32)的前两项可W忽略，分别近似为公式（28)和公式（29)，即摄像头的平移对图像不造成 影响。
[0084] 根据巧螺仪运动对摄像头的影响W及摄像头运动对图像的影响，我们可W得到巧 螺仪运动对图像的影响，由于摄像头的平移不对图像造成影响，而巧螺仪平移对摄像头的 影响表现为摄像头平移相同距离，因此巧螺仪平移不对图像造成影响，当且仅当巧螺仪旋 转角度发生变化时，图像才会发生变化，将公式化）、巧）、（12)分别代入公式（29)、（28)、 (30)得到W下关系：
[0085] 图5示出了基于巧螺仪的手机电子稳像方法流程图，具体实施步骤如下：
[0086] 步骤1 ;摄像头实时获取一帖图像。
[0087] 步骤2;通过巧螺仪获取与所述一帖图像相同时刻的运动矢量作为该图像的运动 矢量，为了保证实时性同时为了尽量减小误差，在获取、处理、输出图像的整个稳像过程中， 巧螺仪均在获取运动矢量，但只有一帖图像被获取时，才提取同时刻的运动矢量作为图像 运动矢量。
[0088] 图6示出了巧螺仪获取图像运动矢量的流程图，具体步骤如下；
[0089] (1)巧螺仪初始化。
[0090] 巧螺仪在运行之前需首先对巧螺仪的一些参数进行设置，其中最主要的参数是巧 螺仪的波特率，波特率的大小直接影响到巧螺仪数据的输出速率，波特率越大，巧螺仪的数 据输出速率越快，获得的数据越多，计算结果更精确，但同时计算的花费也更大，所W波特 率并不是越大越好，需要按自身的需求去设定波特率，只要能准确地获取巧螺仪实时地旋 转角度即可，所W对于振动频率较低的视频只需选取较低的波特率，而对于振动频率较高 的视频，要达到较好的稳像效果则需选取较高的波特率。当巧螺仪完成初始化后，巧螺仪会 连续输出数据，为了获取实时并且准确的运动矢量，之后需要对输出的数据进行实时处理， 即达到巧螺仪输出一组数据时就对该组数据进行处理来获取我们需要的运动矢量。
[0091] (2)当巧螺仪输出一组数据时，取出数据中表示巧螺仪S轴角速度W及时间的部 分。
[0092] 巧螺仪的数据是一组一组封装好的数据包，每一组数据表示一个时刻巧螺仪的各 个状态，一组数据一般包括W下几个部分：
[0093] (2. 1)字头，字头是一组数据的开头，一般获取数据就是通过字头来确定一组数据 的开头；
[0094] (2. 2)标志位，同种巧螺仪可W有不同状态，不同状态下巧螺仪各种数据的量程是 不同的，标志位就是用来表示不同的巧螺仪状态；
[0095] (2. 3)计时器，用来表示该组数据被取出时对应的时刻，每个数据周期中，计 时器 不断递增，满值为2"，n为计时器数据在一组数据中所占的位数，当记录的时间超过满值溢 出时则从0重新开始；
[0096] (2. 4)角速度，表示巧螺仪当前绕自身S轴旋转的角速度；
[0097] (2. 5)现加速度，表示巧螺仪在=方向上的线速度，该组数据在有的巧螺仪里使用 线加速度代替；
[009引 （2. 6)温度，表示巧螺仪所处环境当前的温度。
[0099] (2. 7)校验和，一组数据的结尾，通过校验和可W知道一组数据是否正确被接受。
[0100] 由公式桃）、（34)、做）可^知道，对图像运动造成影响的只有巧螺仪的旋转角 度，因此只需每组数据中取出时间和旋转角度部分即可。
[0101] (3)对角速度进行积分得到巧螺仪的实时旋转角度。
[0102] 取出的时间和角速度是2进制数，不能直接计算，在计算之前需将时间和角速度 转换为实际值，根据标志位确定时间和角速度的转换量程然后进行转换，对角速度进行积 分即得到巧螺仪的旋转角度。巧螺仪获取的时间是获取本组数据时所处的时刻，并不是获 取本组数据所花的时间，因此不能拿获得时间直接进行积分，可W通过计算本次数据获取 时刻与上次数据获取时刻的差值来确定获取本组数据所花的时间，在前面对计时器进行介 绍时已经提到了当计时器数据溢出时会从0重新计时，因此会存在后一次的时刻小于前一 次的时刻的情况，该种情况下可W在后一次的计数值上加上计时器满值2"，再与前一次计 时器的时刻相减得到获取本组数据所花的时间，再转换获得获取本组数据所花时间的实际 值。
[0103] (4)根据实时旋转角度计算图像运动矢量。
[0104] 根据公式（33)、（34)、（35)，将巧螺仪的旋转角度换算成图像运动矢量。
[0105] 在对巧螺仪进行初始化后，不断重复步骤（2)至（4)，即可达到对图像运动矢量进 行实时计算的目的，当图像需要获取其运动矢量时，只需取出产生图像对应时刻所计算出 的图像运动矢量即可。
[0106] 步骤3 ;根据图像运动矢量通过对图像进行平移、旋转操作实现运动补偿。
[0107] 由公式桃）、（34)、做）可W知道，图像的运动矢量包含立个部分；dzT、dyT、4，其 中化T表示图像在竖直方向上要平移的量，dyi表示图像在水平方向上要平移的量，4表示 图像将要旋转的角度。所W当巧螺仪测量之中航向角、横滚角、俯仰角发生变化时，图像的 对应的操作分别为旋转、水平移动、竖直移动。
[0108] 根据巧螺仪换算出的图像运动矢量中的平移部分实际是图像在摄像头内CCD平 移的距离，该距离是带长度单位的，而图像平移则是平移多少个像素长度，要知道两者之 间的换算关系必须知道面阵CCD的大小W及摄像头的最大分辨率，W2/3CCD，最大分辨率 1024*768为例，2/3CCD的祀面尺寸为宽8. 8mm*高6. 6mm，若在CCD上图像水平移动1mm， 则图像实际移动像素点个数为lmm*l〇24/8. 8mm，通过该种方式换算出图像的平移像素点个 数，得到了像素点平移数和旋转角度，接下来进行的就是根据像素点平移数和旋转角度对 图像平移和旋转。
[0109] 对图像的操作实际就是对像素点的操作，图7(a)为图像平移示意图，当图像产生 大小为Ax和Ay的位移时，对像素点的操作为；
[0110]
(36)
[0111]图7化）为图像旋转示意图，当图像旋转角度4时，对像素点的操作为：
[0112]
(37)
[0113] 对图像完成平移及旋转操作后，将图像放入缓存，如图8所示，通过对每一帖平移 和旋转后放入缓存的方式来不断刷新缓存。
[0114] 步骤4;对图像运动矢量进行卡尔曼滤波，根据原平移分量与滤波后的平移分量 的差值确定感兴趣区域，每次输出稳像帖时，我们都需要选取缓存中一定区域内的图像作 为输出，我们把该区域称为感兴趣区域。其中，该感兴趣区域的尺寸与摄像头获得图片的尺 寸一样。
[0115] 为了获取稳定的视频，必须不断从缓存取得合适区域取出图像作为稳像帖作为输 出，如果是对于固定目标的稳像，那么只需要每次从缓存的中屯、区域取出固定大小的图像 作为输出即可，但是如果摄像本身带有一些有意运动则需要用另外一种方法来获取输出的 稳定帖，图9为保留有意运动获取稳像帖方法，吊为由巧螺仪旋转角速度积分换算得到的 位移矢量，电为吊经过卡尔曼滤波得到的矢量，吊与它相减得到矢量5，将氏尾部置于 缓存中屯、，箭头所指位置即为目标稳像帖的中屯、。
[0116] 步骤5 ;取出感兴趣区域的图像作为稳定帖输出。
[0117] 不断重复步骤1至5即可输出稳定的稳像后的视频，从而达到稳像的目的。本方法 与一般的稳像方法的不同点在于本方法省略了一般稳像方法的运动估计环节，W巧螺仪测 量的航向角、横滚角、俯仰角直接换算的到图像补偿时所用的图像运动矢量，该种方法的好 处在于巧螺仪直接测量比运动估计相比大大的节省了获取运动矢量所需时间，同时也对运 行平台的计算量要求更小，因此可W应用于计算能力相对小的移动终端。其次通过运动估 计获取图像运动矢量要求相邻两帖之间需要有重合部分，当抖动剧烈时，该方法就会失效， 而巧螺仪没有此限制。综上所述，本方法比一般的稳像方法好。
[0118] 本领域的技术人员容易理解，W上所述仅为本发明的较佳实施例而已，并不用W 限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含 在本发明的保护范围之内。
【主权项】
1. 一种移动终端视频的电子稳像方法，其特征在于，通过内置于移动终端的姿态传感 器获得所述移动终端晃动时姿态传感器的运动数据，并对所述运动数据进行处理获得摄像 头视频中每一帧的图像运动矢量，再根据所述图像运动矢量对每一帧图像进行平移或旋转 操作，从而实现稳像。2. 如权利要求1所述的电子稳像方法，其特征在于，所述姿态传感器包括：陀螺仪、地 磁传感器和加速度传感器。3. 如权利要求2所述的电子稳像方法，其特征在于，通过姿态传感器获得运动数据的 具体步骤如下： (1) 通过设置姿态传感器的波特率对所述姿态传感器进行初始化处理； (2) 当所述姿态传感器输出一组数据时，获得该组数据中表示姿态传感器三轴角速度 以及时间的部分； (3) 对角速度进行关于时间的积分处理获得姿态传感器的旋转角度，旋转角度包括横 滚角、俯仰角和航向角。4. 如权利要求3所述的电子稳像方法，其特征在于，对所述运动数据进行处理的具体 步骤为： 根据姿态传感器的旋转角度以及姿态传感器与摄像头的相对位置关系，获得摄像头的 旋转角度，姿态传感器和摄像头之间的角度转化关系为：θ = θ'、γ = γ'、φ = φ'； 根据摄像头的旋转角度获得图像运动矢量，摄像头旋转和图像运动之间的对应关系为其中，θ、γ、φ分别表示摄像头的俯仰角、横滚角、航向角方向上的旋转角度，θ'、 γ'、Φ'分别表示姿态传感器的俯仰角、横滚角、航向角方向上的旋转角度，dzT、dyT、Φ分 别表示图像在竖直方向上的位移、图像在水平方向上的位移、图像在图像平面内的旋转角 度。5. 如权利要求1所述的电子稳像方法，其特征在于，根据所述图像运动矢量对每一帧 图像进行平移操作具体为：当图像有位移时，根据对图像进行平移 操作；其中Upy1)表示对图像进行平移操作前某一像素点的坐标，（x2，y2)表示对图像进行 平移操作后对应像素点的坐标，ΔΧ、Ay分别表示图像需要在图像的X、y方向上移动的距 离。6. 如权利要求1或5所述的电子稳像方法，其特征在于，根据所述图像运动矢量对每一 帧图像进行旋转操作具体为：当图像有航向角时，根据对图 像进行旋转操作；其中Ui，yi)表示对图像进行旋转操作前某一像素点的坐标，（X2，y2)表示对图像进行 旋转操作后对应像素点的坐标，Φ表示图像在图像平面内的旋转角度。7. 如权利要求1-6任一项所述的电子稳像方法，其特征在于，所述电子稳像方法还包 括输出稳像帧步骤： 对图像运动矢量进行卡尔曼滤波，根据原平移分量与滤波后的平移分量的差值确定感 兴趣区域；并将所述感兴趣区域的图像作为稳定帧输出。8. 如权利要求7所述的电子稳像方法，其特征在于，所述感兴趣区域的尺寸与摄像头 获取图片的尺寸一样。
【专利摘要】本发明公开了一种移动终端视频的电子稳像方法，在移动终端摄像过程中，当摄像头由于干扰产生无意识抖动时，利用移动终端内的姿态传感器获得的数据计算出摄像头的运动数据，并将这些数据通过换算得到每一帧图像的运动矢量，根据运动矢量对每一帧图像进行平移及旋转操作后输出显示，从而达到稳像的效果。由于本发明由移动终端内置姿态传感器直接获得运动矢量，省略了一般电子稳像在获取运动矢量时花费较大和因存在误匹配而有误差的运动估计环节，因此本发明具有更高的实时性与更强的抗干扰能力。
【IPC分类】H04N5/14, H04N5/21
【公开号】CN104902142
【申请号】CN201510283660
【发明人】马杰, 胡芳禹
【申请人】华中科技大学
【公开日】2015年9月9日
【申请日】2015年5月29日
最新回复(0)