视频图像稳定化的制作方法
视频图像稳定化的制作方法
【专利摘要】本发明涉及一种方法，其包括：接收对于当前视频帧的裁剪信息；在摄影机传感器处捕获当前视频帧；利用第一裁剪窗口对当前视频帧施行第一裁剪从而形成经过裁剪的视频帧，其中已响应于所接收到的裁剪信息对第一裁剪窗口进行了动态调节；以及发送经过裁剪的视频帧以用于数字图像稳定化。
【专利说明】视频图像稳定化
【技术领域】
[0001] 本发明的实施例涉及实现更好的图像稳定化。
【背景技术】
[0002] 图像稳定化方法可以被划分成光学和数字两个类别。
[0003] 数字图像稳定化（DIS)方法使用数字信号处理方法从所捕获的图像序列中去除 不合需要的全局运动。所述处理去除由于摄影机相对于所捕获场景的不合需要的移动而导 致的运动伪像。
【发明内容】
[0004] 根据本发明的各个而不一定是所有实施例，提供一种方法，其包括：接收对于当前 视频帧的裁剪信息；在摄影机传感器处捕获当前视频帧；
[0005] 利用第一裁剪窗口对当前视频帧施行第一裁剪从而形成经过裁剪的视频帧，其中 已响应于所接收到的裁剪信息对第一裁剪窗口进行了动态调节；以及
[0006] 发送经过裁剪的视频帧以用于数字图像稳定化。
[0007] 根据本发明的各个而不一定是所有实施例，提供一种设备，其包括：被配置成捕获 当前视频帧的摄影机传感器；被配置成实施以下操作的裁剪电路：
[0008] 接收对于当前视频帧的裁剪信息；
[0009] 响应于裁剪信息定义第一裁剪窗口；
[0010] 利用第一裁剪窗口对当前视频帧进行裁剪，从而形成经过裁剪的视频帧；以及
[0011] 发送经过裁剪的视频帧以用于数字图像稳定化。
[0012] 根据本发明的各个而不一定是所有实施例，提供一种设备，其包括：至少一个处理 器；以及包括计算机程序代码的至少一个存储器，所述至少一个存储器和计算机程序代码 被配置成利用所述至少一个处理器使得摄影机模块对于一系列视频帧当中的每一个视频 帧至少施行以下操作 ：
[0013] 接收对于当前视频帧的裁剪信息；
[0014] 响应于裁剪信息动态地调节第一裁剪窗口；
[0015] 利用第一裁剪窗口对当前视频帧施行第一裁剪，从而形成经过裁剪的视频帧；以 及
[0016] 发送经过裁剪的视频帧以用于数字图像稳定化。
[0017] 根据本发明的各个而不一定是所有实施例，提供一种方法，其包括：
[0018] 在摄影机模块处接收对于视频帧的裁剪信息；
[0019] 在摄影机模块处获得经过裁剪的视频帧；以及
[0020] 发送经过裁剪的视频帧以用于数字图像稳定化。
[0021] 根据本发明的各个而不一定是所有实施例，提供一种方法，其包括：
[0022] 接收对于视频帧的裁剪信息；
[0023] 在摄影机传感器处捕获经过裁剪的视频帧；
[0024] 发送经过裁剪的视频帧以用于数字图像稳定化。
【专利附图】
【附图说明】
[0025] 为了更好地理解本发明的各个示例性实施例，下面将仅通过举例的方式来参照附 图，其中：
[0026] 图1示出了用于在数字图像稳定化之前处理所捕获的视频帧的方法的一个实例；
[0027] 图2示出了视频帧和经过裁剪的视频帧的一个实例；
[0028] 图3示出了经过裁剪的视频帧和经过双重裁剪的视频帧的一个实例；
[0029] 图4示出了包括摄影机模块和主机设备的系统的一个实例；
[0030] 图5示出了裁剪电路的一个实例；
[0031] 图6示出了用于施行极端数字图像稳定化的方法的一个实例；
[0032] 图7和8示出了用于施行涉及利用广角光学器件捕获的视频帧的极端数字图像稳 定化的方法的实例；以及
[0033] 图9示出了用于施行极端数字图像稳定化和元数据覆盖的方法的一个实例。
【具体实施方式】
[0034] 在可佩戴摄影机系统中，摄影机并不总是被持握在手中。因此，不存在通过手相对 于用户身体的移动而实现的关节式稳定化。因此，数字图像稳定化需要补偿与用户的身体 移动相关联的极端摄影机移动。
[0035] 在某些使用情况中，用户可能专注于例如体育运动之类的活动而不是视频记录， 并且用户的身体移动可能由用户活动决定而不是保持摄影机的稳定性。实际上对于用户来 说可能希望完全专注于所述活动。
[0036] 发明人已经认识到，需要更加鲁棒的数字图像稳定化。
[0037] 这可以通过使用能够对于输出视频帧支持大量裁剪并且仍然保持足够分辨率 (像素计数）的高分辨率（高像素计数）摄影机传感器以及通过使用对于视频帧的先发性、 自适应裁剪来实现，以便在施行数字图像稳定化之前降低其分辨率（像素计数）。
[0038] 如果在数字图像稳定化之前不对视频帧进行裁剪，则由于与高分辨率（像素计 数）视频帧的传输、处理和存储相关联的带宽的增加，成本也将会增加。
[0039] 图1示出了用于在数字图像稳定化之前对所捕获的视频帧进行处理的方法10的 一个实例。方法10包括：在方块3处，接收对于当前视频帧10的裁剪信息4 ;在方块5处， 在摄影机传感器22处捕获当前视频帧10 ;在方块7处，利用第一裁剪窗口 11对当前视频 帧10施行第一裁剪从而形成经过裁剪的视频帧12,其中已响应于所接收到的裁剪信息4对 第一裁剪窗口 11进行了动态调节；以及在方块9处，发送经过裁剪的视频帧12以用于数字 图像稳定化66。
[0040] 裁剪信息4可以基于（多个）历史视频帧而不是当前视频帧10来估计对于当前 视频帧10的裁剪窗口 11。因此，裁剪信息4可以取决于一个或更多先前视频帧而不是当前 视频帧10。通过使用（多个）历史视频帧而不是当前视频帧10允许在无需传输、处理和存 储整个当前视频帧10的情况下发生对于当前视频帧10的裁剪。
[0041] 对于一系列视频帧当中的每一个视频帧重复方法10。
[0042] 图2示出了当前视频帧10的一个实例。当前视频帧10具有N个像素的宽度和Μ 个像素的高度。
[0043] 图2还示出了第一裁剪窗口 11。该裁剪窗口 11位于当前视频帧10内的坐标（X，y) 处，并且具有m个像素的宽度和η个像素的高度。经过裁剪的视频帧12是当前视频帧10 的位于第一裁剪窗口 11内的该部分。
[0044] 经过裁剪的视频帧12的视场由裁剪窗口 11的尺寸（mxn)以及摄影机相对于裁剪 区域的光学特性决定。
[0045] 经过裁剪的视频帧12的内容由裁剪窗口 11的尺寸（mxn)和裁剪窗口 11的位置 (X，y)决定。
[0046] -系列所捕获的视频帧当中的某一视频帧在其刚刚被捕获后是"当前的"。其是可 用于处理的最近的视频帧。每一个当前视频帧10与其自身的裁剪信息4相关联，所述裁剪 信息4可以基于（多个）历史视频帧估计对于相关联的当前视频帧10的裁剪窗口 11。
[0047] 由于对应于每一个当前帧10的历史是不同的，因此可以利用不同的裁剪窗口 11 对每一个当前帧10进行裁剪。因此可以对于一系列视频帧当中的每一个视频帧动态地调 节裁剪窗口 11。
[0048] 在一系列视频帧10期间对于裁剪窗口 11的动态调节例如可以涉及响应于裁剪信 息4调节第一裁剪窗口 11的位置（X，y)。
[0049] 在一系列视频帧10期间对于裁剪窗口 11的动态调节例如可以涉及响应于裁剪信 息4调节裁剪窗口 11的尺寸（mxn)。
[0050] 裁剪窗口 11可以被约束到小于当前视频帧10的尺寸的一个已定义的阈值分数。 这一约束可以被选择成防止对于经过裁剪的视频帧12的传输、处理或存储需求变得过高。
[0051] 第一裁剪窗口 11例如可以小于当前视频帧10的尺寸的1/4,小于当前视频帧10 的尺寸的1/9,或者甚至更小。
[0052] 裁剪信息4可以定义第一裁剪窗口 11的尺寸从而使其预期会足够大于当前视频 帧10内的某一感兴趣区段，以便允许利用经过裁剪的视频帧12对所述感兴趣区段进行数 字图像稳定化。
[0053] 裁剪信息4还可以定义第一裁剪窗口 11的尺寸从而使其预期会足够大于所述感 兴趣区段，以便允许邻近感兴趣区段显示元数据。
[0054] 如果视频帧被摄影机模块20缩放到不同的分辨率，则裁剪信息4还可以取决于图 像缩放参数。
[0055] 图4示出了包括摄影机模块20和主机设备30的系统37的一个实例。在一些而 不一定是所有实施例中，系统37可以是可佩戴视频摄影机系统。
[0056] 图像捕获和低层级图像处理可以在摄影机模块20中发生。
[0057] 在该例中，摄影机模块20包括：被配置成捕获当前视频帧10的摄影机传感器22 ;
[0058] 被配置成从主机设备接收对于当前视频帧10的裁剪信息4的接口 31 ;以及
[0059] 裁剪电路26,其被配置成利用第一裁剪窗口 11对当前视频帧10进行裁剪从而形 成经过裁剪的视频巾贞12,其中已响应于所接收到的裁剪信息4对第一裁剪窗口 11进行了动 态调节，并且还被配合成经由接口 31发送经过裁剪的视频帧12以用于在主机设备30中进 行数字图像稳定化。
[0060] 摄影机传感器22可以是能够支持大量裁剪并且仍然对于经过裁剪的视频帧12的 适当显示保持足够分辨率的高分辨率图像传感器。举例来说，所述摄影机传感器可以具有 超出3000万像素。
[0061] 在所示出的实例中，单一接口 31将摄影机模块20与主机设备30互连。该单一物 理接口 31同时提供用于裁剪信息4的传送的输入接口 58和用于经过裁剪的视频帧12的 传送的输出接口 57。在其他实施例中，输入接口 58和输出接口 57可以在物理上分开。
[0062] 在该例中，摄影机模块20还包括被配置成控制在摄影机传感器22处捕获的视频 帧的摄影机控制电路24。
[0063] 摄影机模块20可以输出未经处理的视频帧数据，或者在某些情况下可以输出压 缩视频帧流。
[0064] 主机设备30被配置成向摄影机模块20提供裁剪信息4,并且从摄影机模块20接 收经过裁剪的视频帧12。主机设备30被配置成对于所接收到的经过裁剪的视频帧12施行 数字图像稳定化。
[0065] 作为数字图像稳定化处理的一部分，主机设备30被配置成利用第二裁剪窗口 13 对经过裁剪的视频帧12施行裁剪，从而形成经过双重裁剪的视频帧14。在图3中示出了对 于经过裁剪的视频帧12的裁剪从而形成经过双重裁剪的视频帧14。
[0066] 主机设备30被配置成通过对经过裁剪的视频帧10本身进行分析来确定对于经过 裁剪的视频帧12的裁剪。可以逐个视频帧地对第二裁剪窗口 13的位置和/或尺寸进行动 态调节。通常来说，第二裁剪窗口 13的尺寸和位置被确定为确保感兴趣区段保持在经过双 重裁剪的视频帧14内并且可能在其中处于居中位置。
[0067] 关于可以被用来跟踪感兴趣区段的数字处理技术的文献记录有很多。例如参见 Richard Hartley 等人的"Multiple View geometry in computer vision (计算机视觉中 的多视图几何学）"（第2版第4章）以及其他教科书。
[0068] 主机设备30被配置成重复使用被施行来识别第二裁剪窗口 13的处理以便生成对 应于下一个视频帧的裁剪信息4。裁剪信息4例如可以标识出现在被使用在数字图像稳定 化中的第二裁剪窗口 13。该裁剪信息随后被用来对后续的当前视频帧10进行裁剪。
[0069] 可以逐帧地动态调节第二裁剪窗口 13的位置和/或尺寸。作为响应，还可以在具 有一定滞后的情况下类似地动态调节第一裁剪窗口 11的位置。
[0070] 主机设备30可以被配置成将元数据引入到经过双重裁剪的视频帧14中，比如输 出视频帧的视向。
[0071] 在所示出的实例中，主机设备30包括图像信号处理器32。其包括被配置成通过 分析经过裁剪的视频帧10本身来确定对应于经过裁剪的视频帧12的裁剪窗口 13的电路 60'。其还包括被配置成利用第二裁剪窗口 13对经过裁剪的视频巾贞12进行裁剪从而形成 经过双重裁剪的视频帧14的电路55'。例如从图6到9的方块60和50可以认识到电路 60'和电路55'的操作。
[0072] 在图4所示出的实例中，主机设备30还包括中央处理单元34和图形处理单元36。
[0073] 主机设备30被配置成从/向存储器40进行读取和写入，经过双重裁剪的视频帧 14可以被存储在其中以供将来访问。
[0074] 主机设备30被配置成向显示器42提供命令，其中经过双重裁剪的视频帧14可以 被显示为一个图像序列。
[0075] 因此，系统37施行两阶段裁剪以便获得数字图像稳定化。一个阶段在摄影机模块 20处施行，第二阶段在主机设备30处施行。
[0076] 在第一阶段中使用粗略估计的裁剪窗口 11以减小带宽。随后在第二阶段中对所 得到的经过裁剪的视频帧12施行更加精确的数字图像稳定化。
[0077] 因此，摄影机模块20避免将非常高分辨率的视频帧序列从摄影机模块20流送到 主机设备30以进行处理。作为一个实例，如果摄影机传感器22产生20兆像素分辨率视频 帧10,则为了使得经过双重裁剪的视频帧14具有高清晰度视图1980xl080p的分辨率（2兆 像素），接口 31可以利用远低于20兆像素（例如2兆像素）来传送经过裁剪的视频帧12。 如果没有在摄影机模块20处对视频帧10进行裁剪，则由于带宽的增加将会导致成本增加。
[0078] 尽管使用了高分辨率摄影机传感器22,但是由于摄影机模块20处的裁剪，不需要 使用特殊设计的总线来进行高带宽传输，并且不需要特殊设计的处理器和存储器来进行高 带宽数字信号处理。这样不仅节省了潜在的硬件成本，而且还降低了摄影机系统37的潜在 能量消耗。
[0079] 图6示出了用于施行极端数字图像稳定化的方法50的一个实例。
[0080] 在方块51处，可以调节摄影机光学器件以便获得所期望的聚焦和可能的光学变 焦。
[0081] 在方块52处，通过摄影机传感器22捕获当前视频帧10。
[0082] 在方块53处，利用第一裁剪窗口 11对当前视频巾贞10进行裁剪，从而形成经过裁 剪的视频帧12。
[0083] 随后把经过裁剪的视频帧12从摄影机模块20提供到主机设备30。
[0084] 在方块55处，对经过裁剪的视频巾贞12进一步进行裁剪，从而产生经过双重裁剪的 视频帧14。所述进一步裁剪提供了数字图像稳定化。
[0085] 在方块56处，输出经过双重裁剪的视频帧14。
[0086] 第二项进一步裁剪由数字图像稳定化方块60控制。该方块控制被用来形成经过 双重裁剪的视频帧14的第二裁剪窗口 13的位置和/或尺寸。
[0087] 数字图像稳定化方块60可以采取许多形式。在所示出的实例中，图形序列预处理 在方块61处发生。这例如可以涉及将彩色图像转换成灰度图像。接下来在方块62处，局 部移动估计发生。举例来说，可以识别出图像内的感兴趣点。在方块63处，全局运动估计 发生。这可以涉及最小化所期望的成本函数。
[0088] 接下来在方块64处，对全局运动估计进行过滤，以便确保第二裁剪窗口 13的平滑 重定位。所述过滤通常是情境敏感的。取决于操作模式可以施行不同的过滤。
[0089] 数字图像稳定化算法通常具有用于区分摇摄（panning)和无规则移动的一些经 验阈值。可以根据系统37的操作模式对这些阈值进行调节。
[0090] 例如对于旅行电影模式，对于风景的稳定渲染的强调超过对于移动的精确监测。 小尺度图像稳定化可以总是发生，并且可以抑制大尺度图像稳定化以允许摇摄。
[0091] 例如对于体育运动电影（定向越野）模式，很重要的是从头戴式视频中看到参与 者在体育赛事期间所看到或者可能看到的景象。对于风景的稳定渲染没有记录参与者的大 尺度快速移动重要。当系统37具有大尺度移动时，小尺度图像稳定化可以总是发生，并且 可以暂时抑制大尺度图像稳定化。
[0092] 在另一个实例中，对于体育运动电影（山地自行车）模式，摄影机系统显示出不同 的海拔高度（elevation)如何影响表现，这是通过把地平线保持在恒定水平并且使得摄影 机视图与移动方向对准，而不对自行车在转弯时的自然倾斜做出补偿。这种模式对于视频 的舒适观看提供了最大图像稳定性以及来自例如蹬车之类的用户的周期性移动的最小干 扰。
[0093] 前面的实例示出了不同的应用如何可能对于数字图像稳定化具有不同的要求。极 端数字图像稳定化系统的好处在于，大尺度图像稳定化可以在很大程度上通过图像裁剪7 进行，从而数字图像稳定化9可以在更加有限数量的图像数据12上操作。当视频帧裁剪提 供可预测的经过裁剪的视频帧时，对应于数字图像稳定化的处理负荷变得更加鲁棒，并且 受到由于不同大小的摄影机移动所导致的处理负荷变化的影响更小。数字图像稳定化可以 节省存储器带宽，这是因为其可以把图像稳定化集中在经过裁剪的帧12内而不是处理整 个图像帧10。
[0094] 可以使用一个或更多运动传感器（例如三维加速度计、陀螺仪或电子罗盘）来检 测运动和/或指向的突然改变。
[0095] 图7示意性地示出了方法50的另一个实例。该方法类似于参照图6描述的方法， 并且相同的附图标记被用来标示相同的特征。关于图6给出的方法50的操作描述同样与 图7相关，这里将不再重复。相反重点将强调图7中所示出的方法50与图6中所示出的方 法50的不同之处。
[0096] 在该例中，在方块51处使用的光学器件是增大当前视频帧10的视场（FoV)的广 角光学器件。这样提供了在其上施行所述两阶段裁剪的更大区域。这样的广角光学器件的 一个实例是提供180度FoV的鱼眼透镜，以及提供360度水平FoV的全景光学器件。
[0097] 在该例中，在方块67处对经过裁剪的视频帧12进行校正，以便校正在方块51处 由广角光学器件引入的失真。方块67可以位于摄影机模块20或主机设备30中，从而使其 校正经过裁剪的视频帧12。
[0098] 在方块66处向方块54和方块67提供摄影机和光学器件参数。在方块54处，所 述参数影响第一裁剪窗口 11的位置。在方块67处，所述参数控制所应用的图像几何结构 校正。
[0099] 作为一种替换方案，如图8中所示，方块67可以在主机设备30中位于方块55之 后，从而使其校正经过双重裁剪的视频帧14。这是与图7相比不同的实现方式，因为方块 60处的数字图像稳定化在失真的经过裁剪的视频帧12上发生。
[0100] 图9示意性地示出了方法50的另一个实例。该方法类似于如在图7中增强的参 照图6所描述的方法，并且相同的附图标记被用来标示相同的特征。关于图6给出的方法 50的操作描述同样与图9相关，这里将不再重复。关于图7给出的方块66和67的操作描 述同样与图9相关，这里将不再重复。相反重点将强调图9中所示出的方法50与图7中所 示出的方法50的不同之处。
[0101] 在方块70处，元数据来源输出元数据。所述元数据可以是任何适当的信息。其例 如可以是罗盘方位、定位坐标、速度、经过的时间、地图数据等等。
[0102] 在方块71处，利用来自元数据来源的元数据施行元数据布局构成。该方块决定在 经过双重裁剪的视频帧14中应当把元数据置于何处。其可以被放置成使得不会遮挡感兴 趣区域。
[0103] 在方块72处，将元数据覆盖到经过双重裁剪的视频帧14上。
[0104] 在方块73处，施行元数据对准调节以便调节方块54处的第一裁剪窗口 11确定。 所述调节是基于如在方块71处确定的元数据在经过双重裁剪的视频帧14所处的位置来施 行的。在方块72处，可以调节第一裁剪窗口 11以避免元数据覆盖感兴趣区域。第一裁剪 窗口 11可以足够大于感兴趣区段，以便允许邻近感兴趣区段显示元数据。
[0105] 这样就可以把无法利用传统字幕技术实施的复杂元数据添加到视频帧中。在图像 编码（例如视频压缩）之前将元数据添加到经过双重裁剪的视频帧14中。元数据不限于 一种特定数据类型，而是指代可以被嵌入到视频帧中的辅助数据。元数据的一个实例例如 可以是来自次要摄影机的次要视频流的画中画（PIP)覆盖，其可以被嵌入到经过双重裁剪 的视频帧中，或者可以把当前位置的地形图视图嵌入到视频帧中。
[0106] 在方块75处示出了可以被用来跟踪摄影机移动的可选的传感器系统。如前所述， 这例如可以在方块60处的数字图像稳定化期间被用来在方块64处控制过滤。所述传感器 系统可以包括产生关于摄影机系统的移动估计的相关联的处理方块。
[0107] 摄影机模块20中的裁剪电路26可以利用实现硬件功能的指令来实施，例如通过 使用通用或专用处理器中的可以被存储在计算机可读存储介质（盘、存储器等等）上以便 由这样的处理器执行的可执行计算机程序指令。
[0108] 作为一个实例参照图5,裁剪电路26可以包括处理器25和存储器21。处理器25 被配置成从/向存储器21进行读取和写入。处理器25还可以包括输出接口和输入接口， 经由所述输出接口由处理器输出数据和/或命令，并且经由所述输入接口将数据和/或命 令输入到处理器25。
[0109] 存储器21存储计算机程序23,其包括在被加载到处理器25中时控制裁剪电路26 的操作的计算机程序指令。计算机程序指令23提供使得设备能够施行图1、2和6到9中所 示出的方法的逻辑和例程。处理器25通过读取存储器21能够加载并执行计算机程序23。
[0110] 因此，所述摄影机模块可以包括：至少一个处理器25 ;以及
[0111] 包括计算机程序代码23的至少一个存储器21，所述至少一个存储器21和计算机 程序代码23被配置成利用所述至少一个处理器25使得摄影机模块20对于一系列视频帧 当中的每一个视频帧至少施行以下操作：
[0112] 接收对于当前视频帧10的裁剪信息4 ;
[0113] 响应于裁剪信息4动态地调节第一裁剪窗口 11 ;
[0114] 利用第一裁剪窗口 11对当前视频帧10施行第一裁剪，从而形成经过裁剪的视频 帧12 ;以及
[0115] 发送经过裁剪的视频帧12以用于数字图像稳定化。
[0116] 在一种替换实现方式中，取代在捕获之后使用第一裁剪窗口 11来裁剪当前视频 帧10,裁剪窗口 11被用来控制当前视频10的捕获。参照图4,裁剪控制电路26可以控制 摄影机控制电路24,从而仅启用存在于摄影机传感器中的传感器元件的一个子集。所启用 的传感器元件的子集将对应于裁剪窗口 11。因此，在摄影机传感器22处直接捕获经过裁剪 的视频帧12。
[0117] 因此，在这种实现方式中，所述摄影机模块可以包括：至少一个处理器25 ;以及包 括计算机程序代码23的至少一个存储器21，所述至少一个存储器21和计算机程序代码23 被配置成利用所述至少一个处理器25使得摄影机模块20对于一系列视频帧当中的每一个 视频帧至少施行以下操作：
[0118] 接收对于视频帧的裁剪信息4 ;
[0119] 在摄影机传感器22处捕获经过裁剪的视频帧12 ;以及
[0120] 发送经过裁剪的视频帧12以用于数字图像稳定化。
[0121] 计算机程序23可以经由任何适当的递送机制到达系统37。所述递送机制例如可 以是非瞬时性计算机可读存储介质、计算机程序产品、存储器器件、例如紧致盘只读存储器 (CD-ROM)或数字通用盘（DVD)之类的记录介质、有形地具体实现计算机程序23的制造品。 所述递送机制可以是被配置成可靠地传输计算机程序23的信号。系统37可以将计算机程 序23作为计算机数据信号来传播或传送。
[0122] 虽然存储器21被示出为单一组件，但是其可以被实施为一个或更多分开的组件， 其中的一部分或全部可以被集成和/或可移除，并且/或者可以提供永久性/半永久性/ 动态/高速缓存的存储。
[0123] 在提到"计算机可读存储介质"、"计算机程序产品"、"有形地具体实现的计算机程 序"等等或者"控制器"、"计算机"、"处理器"、"电路"等等时，应当被理解成不仅涵盖具有例 如单处理器/多处理器架构以及顺序（Von Neumann)/并行架构之类的不同架构的计算机， 而且还涵盖例如现场可编程门阵列（FPGA)、专用集成电路（ASIC)、信号处理器件和其他处 理电路之类的专用电路。在提到计算机程序、指令、代码等等时，应当被理解成涵盖用于可 编程处理器的软件或者例如硬件器件的可编程内容之类的固件，不管是用于处理器的指令 还是用于固定功能器件、门阵列或可编程逻辑器件等等的配置设定。
[0124] 在本申请中所使用的术语"电路"指的是所有以下各项：
[0125] (a)仅有硬件的电路实现方式（比如仅在模拟和/或数字电路中的实现方式）；以 及
[0126] (b)电路与软件（和/或固件）的组合，比如（适用于）：（i)(多个）处理器的组 合或者（ii)(多个）处理器/软件的各个部分（其中包括一起工作来使得例如移动电话或 服务器之类的设备施行各项功能的（多个）数字信号处理器、软件和（多个）存储器）以 及
[0127] (c)需要软件或固件来操作的电路，比如（多个）微处理器或（多个）微处理器的 一部分，尽管所述软件或固件并不以物理方式存在。
[0128] "电路"的这一定义适用于本申请中对于该术语的所有使用，其中包括在任何权利 要求中的使用。作为另一个实例，在本申请中所使用的术语"电路"还将涵盖仅有（多个） 处理器或者处理器的一部分连同其伴随的软件和/或固件的实现方式。如果适用于特定权 利要求元素，术语"电路"例如还将涵盖用于移动电话的基带集成电路或应用处理器集成电 路，或者服务器、蜂窝网络器件或其他网络器件中的类似集成电路。
[0129] 这里所使用的术语"模块"指的是排除将由末端制造商或用户添加的特定部件/ 组件的单元或设备。
[0130] "视频"的定义是指其中接连的各个图像帧可以具有不同尺寸并且图像捕获间隔 还可以随着时间变化的图像序列。
[0131] 图1中所示出的各个方块可以代表一种方法中的各个步骤和/或计算机程序23 中各个代码段。各个方块的特定图示顺序并不一定意味着对于所述方块存在所要求或优选 的顺序，并且可以改变方块的顺序和设置。此外还有可能省略某些方块。
[0132] 虽然在前面的段落中参照各个实例描述了本发明的实施例，但是应当认识到，在 不背离所要求保护的本发明的范围的情况下可以对所给出的实例做出修改。
[0133] 前面的描述集中于单一视频流的视频稳定化，但是也可以被应用于多摄影机系 统，其中多台摄影机例如在立体视频摄影机中或者例如在可佩戴多摄影机系统中被机械耦 合在一起。
[0134] 在其中不同的摄影机模块被机械耦合并且具有已知的相对视场的多摄影机系统 中，裁剪信息可以被联合利用，这是因为各个摄影机模块无法独立地移动。这方面的一个实 例是立体摄影机系统，其中裁剪信息可以在很大程度上对于左侧和右侧摄影机全部二者被 重复使用，这是因为立体摄影机具有已知的摄影机配置和视差。裁剪信息可以包括对于第 一裁剪窗口的尺寸和位置约束。此外，视频稳定化对于左侧和右侧视图全部二者被同步，从 而使得视频稳定化不会干扰立体效果。在本领域内还知道，图像裁剪会与深度效果相互作 用，从而引入针对立体图像稳定化的附加约束。但是通过遵循立体成像领域内的已知约束， 所提出的结构可以被适配于立体图像稳定化。
[0135] 在前面的描述中所描述的各项特征可以按照不同于所明确描述的组合的其他组 合来使用。
[0136] 虽然前面参照特定特征描述了各项功能，但是这些功能可以由其他特征施行而不 管其是否被描述。
[0137] 虽然前面参照特定实施例描述了各项特征，但是这些特征还可以存在于其他实施 例中而不管其是否被描述。
[0138] 虽然在前面的说明书中着力于引起对于据信是具有特别重要性的本发明的那些 特征的关注，但是应当理解的是， 申请人:在前文中所提到和/或在附图中所示出的任何可 授予专利的特征或特征组合方面都要求保护，而不管是否对之给出了特别强调。
【权利要求】
1. 一种方法，其包括： 接收对于当前视频帧的裁剪信息； 在摄影机传感器处捕获当前视频帧； 利用第一裁剪窗口对当前视频帧施行第一裁剪从而形成经过裁剪的视频帧，其中已响 应于所接收到的裁剪信息对第一裁剪窗口进行了动态调节；以及 发送经过裁剪的视频帧以用于数字图像稳定化。
2. 如权利要求1所述的方法，其中，所述方法在摄影机传感器模块处被施行，所述摄影 机传感器模块包括： 被配置成从主机设备接收对于当前视频帧的裁剪信息的输入接口； 被配置成捕获当前视频帧的摄影机传感器； 被配置成利用第一裁剪窗口对当前视频帧进行裁剪从而形成经过裁剪的视频帧的裁 剪电路，其中已响应于所接收到的裁剪信息对第一裁剪窗口进行了动态调节；以及 被配置成发送经过裁剪的视频帧以用于在主机设备中进行数字图像稳定化的输出接 □。
3. 如任一条在前权利要求所述的方法，其中，响应于裁剪信息动态地调节第一裁剪窗 口的位置。
4. 如任一条在前权利要求所述的方法，其中，响应于裁剪信息动态地调节第一裁剪窗 口的尺寸。
5. 如任一条在前权利要求所述的方法，其中，第一裁剪窗口的尺寸被约束到小于当前 视频帧的尺寸的某一已定义分数。
6. 如任一条在前权利要求所述的方法，其中，裁剪信息取决于一个或更多先前视频中贞 而不是当前视频帧。
7. 如任一条在前权利要求所述的方法，其中，裁剪信息估计对于当前视频帧的裁剪窗 □。
8. 如任一条在前权利要求所述的方法，其中，裁剪信息定义第一裁剪窗口的尺寸，其足 够大于感兴趣区段从而允许所述感兴趣区段的数字图像稳定化。
9. 如任一条在前权利要求所述的方法，其中，裁剪信息定义第一裁剪窗口的尺寸，其足 够大于感兴趣区段从而允许邻近所述感兴趣区段显示元数据。
10. 如任一条在前权利要求所述的方法，其还包括： 作为数字图像稳定化的一部分，利用第二裁剪窗口对经过裁剪的视频帧施行裁剪，从 而形成经过双重裁剪的视频帧。
11. 如权利要求10所述的方法，其还包括：通过分析当前视频帧确定第二裁剪。
12. 如任一条在前权利要求所述的方法，其还包括：通过分析处于当前视频帧之前的 一个或更多视频帧而不是当前视频帧来确定裁剪信息。
13. 如权利要求12所述的方法，其中，裁剪信息标识出用在当前视频帧之前的视频帧 的数字图像稳定化中的裁剪窗口。
14. 如任一条在前权利要求所述的方法，其中，裁剪信息包括对于第一裁剪窗口的尺寸 和位置约束。
15. 如任一条在前权利要求所述的方法，其包括将元数据引入到经过双重裁剪的图像 中。
16. 如任一条在前权利要求所述的方法，其包括： 对于一个视频帧序列中的每一个视频帧： 捕获当如视频巾贞； 接收对于当前视频帧的裁剪信息； 响应于裁剪信息对第一裁剪窗口进行动态调节； 利用第一裁剪窗口对当前视频帧施行第一裁剪，从而形成经过裁剪的视频帧；以及 发送经过裁剪的视频帧以用于数字图像稳定化。
17. -种设备，其包括： 被配置成捕获当前视频帧的摄影机传感器； 被配置成实施以下操作的裁剪电路： 接收对于当前视频帧的裁剪信息； 响应于裁剪信息定义第一裁剪窗口； 利用第一裁剪窗口对当前视频帧进行裁剪，从而形成经过裁剪的视频帧；以及 发送经过裁剪的视频帧以用于数字图像稳定化。
18. 如权利要求17所述的设备，其中，所述设备是用在主机设备中的摄影机传感器模 块，其包括： 被配置成从主机设备接收对于当前视频帧的裁剪信息的输入接口； 被配置成捕获当前视频帧的摄影机传感器；以及 被配置成利用第一裁剪窗口对当前视频帧进行裁剪从而形成经过裁剪的视频帧的裁 剪电路，其中已响应于所接收到的裁剪信息对第一裁剪窗口进行了动态调节；以及 被配置成发送经过裁剪的视频帧以用于在主机设备中进行数字图像稳定化的输出接 □。
19. 如权利要求17或18所述的设备，其中，响应于裁剪信息动态地调节第一裁剪窗口 的位置。
20. 如权利要求17、18或19所述的设备，其中，响应于裁剪信息动态地调节第一裁剪窗 口的尺寸。
21. 如权利要求17到20当中的任一条所述的设备，其中，裁剪信息取决于一个或更多 先前视频帧而不是当前视频帧。
22. 如权利要求17到21当中的任一条所述的设备，其中，裁剪信息估计对于当前视频 帧的裁剪窗口。
23. -种系统，其包括如权利要求17到22当中的任一条所述的设备和主机设备，所述 主机设备被配置成作为数字图像稳定化的一部分利用第二裁剪窗口对经过裁剪的视频帧 施行裁剪从而形成经过双重裁剪的视频中贞。
24. 如权利要求23所述的系统，其中，主机设备被配置成通过分析当前视频帧确定第 二裁剪。
25. 如权利要求23或24所述的系统，其中，主机设备被配置成通过分析处于当前视频 帧之前的一个或更多视频帧而不是当前视频帧来确定裁剪信息。
26. 如权利要求23、24或25所述的系统，其中，裁剪信息标识出用在当前视频帧之前的 视频帧的数字图像稳定化中的裁剪窗口。
27. 如权利要求23到26当中的任一条所述的系统，其中，主机设备被配置成将元数据 引入到经过双重裁剪的图像中。
28. 如权利要求23到27当中的任一条所述的系统，其中，所述系统是可佩戴视频摄影 机系统。
29. -种设备，其包括：至少一个处理器；以及包括计算机程序代码的至少一个存储 器，所述至少一个存储器和计算机程序代码被配置成利用所述至少一个处理器使得摄影机 模块对于一系列视频帧当中的每一个视频帧至少施行以下操作： 接收对于当前视频帧的裁剪信息； 响应于裁剪信息动态地调节第一裁剪窗口； 利用第一裁剪窗口对当前视频帧施行第一裁剪，从而形成经过裁剪的视频帧；以及 发送经过裁剪的视频帧以用于数字图像稳定化。
30. -种方法，其包括： 在摄影机模块处接收对于视频帧的裁剪信息； 在摄影机模块处获得经过裁剪的视频帧；以及 发送经过裁剪的视频帧以用于数字图像稳定化。
31. -种方法，其包括： 接收对于视频帧的裁剪信息； 在摄影机传感器处捕获经过裁剪的视频帧；以及 发送经过裁剪的视频帧以用于数字图像稳定化。
【文档编号】H04N5/262GK104126299SQ201280069769
【公开日】2014年10月29日 申请日期:2012年12月20日 优先权日:2012年2月14日
【发明者】M·S·哈玛莱宁 申请人:诺基亚公司
【专利摘要】本发明涉及一种方法，其包括：接收对于当前视频帧的裁剪信息；在摄影机传感器处捕获当前视频帧；利用第一裁剪窗口对当前视频帧施行第一裁剪从而形成经过裁剪的视频帧，其中已响应于所接收到的裁剪信息对第一裁剪窗口进行了动态调节；以及发送经过裁剪的视频帧以用于数字图像稳定化。
【专利说明】视频图像稳定化
【技术领域】
[0001] 本发明的实施例涉及实现更好的图像稳定化。
【背景技术】
[0002] 图像稳定化方法可以被划分成光学和数字两个类别。
[0003] 数字图像稳定化（DIS)方法使用数字信号处理方法从所捕获的图像序列中去除 不合需要的全局运动。所述处理去除由于摄影机相对于所捕获场景的不合需要的移动而导 致的运动伪像。
【发明内容】
[0004] 根据本发明的各个而不一定是所有实施例，提供一种方法，其包括：接收对于当前 视频帧的裁剪信息；在摄影机传感器处捕获当前视频帧；
[0005] 利用第一裁剪窗口对当前视频帧施行第一裁剪从而形成经过裁剪的视频帧，其中 已响应于所接收到的裁剪信息对第一裁剪窗口进行了动态调节；以及
[0006] 发送经过裁剪的视频帧以用于数字图像稳定化。
[0007] 根据本发明的各个而不一定是所有实施例，提供一种设备，其包括：被配置成捕获 当前视频帧的摄影机传感器；被配置成实施以下操作的裁剪电路：
[0008] 接收对于当前视频帧的裁剪信息；
[0009] 响应于裁剪信息定义第一裁剪窗口；
[0010] 利用第一裁剪窗口对当前视频帧进行裁剪，从而形成经过裁剪的视频帧；以及
[0011] 发送经过裁剪的视频帧以用于数字图像稳定化。
[0012] 根据本发明的各个而不一定是所有实施例，提供一种设备，其包括：至少一个处理 器；以及包括计算机程序代码的至少一个存储器，所述至少一个存储器和计算机程序代码 被配置成利用所述至少一个处理器使得摄影机模块对于一系列视频帧当中的每一个视频 帧至少施行以下操作 ：
[0013] 接收对于当前视频帧的裁剪信息；
[0014] 响应于裁剪信息动态地调节第一裁剪窗口；
[0015] 利用第一裁剪窗口对当前视频帧施行第一裁剪，从而形成经过裁剪的视频帧；以 及
[0016] 发送经过裁剪的视频帧以用于数字图像稳定化。
[0017] 根据本发明的各个而不一定是所有实施例，提供一种方法，其包括：
[0018] 在摄影机模块处接收对于视频帧的裁剪信息；
[0019] 在摄影机模块处获得经过裁剪的视频帧；以及
[0020] 发送经过裁剪的视频帧以用于数字图像稳定化。
[0021] 根据本发明的各个而不一定是所有实施例，提供一种方法，其包括：
[0022] 接收对于视频帧的裁剪信息；
[0023] 在摄影机传感器处捕获经过裁剪的视频帧；
[0024] 发送经过裁剪的视频帧以用于数字图像稳定化。
【专利附图】
【附图说明】
[0025] 为了更好地理解本发明的各个示例性实施例，下面将仅通过举例的方式来参照附 图，其中：
[0026] 图1示出了用于在数字图像稳定化之前处理所捕获的视频帧的方法的一个实例；
[0027] 图2示出了视频帧和经过裁剪的视频帧的一个实例；
[0028] 图3示出了经过裁剪的视频帧和经过双重裁剪的视频帧的一个实例；
[0029] 图4示出了包括摄影机模块和主机设备的系统的一个实例；
[0030] 图5示出了裁剪电路的一个实例；
[0031] 图6示出了用于施行极端数字图像稳定化的方法的一个实例；
[0032] 图7和8示出了用于施行涉及利用广角光学器件捕获的视频帧的极端数字图像稳 定化的方法的实例；以及
[0033] 图9示出了用于施行极端数字图像稳定化和元数据覆盖的方法的一个实例。
【具体实施方式】
[0034] 在可佩戴摄影机系统中，摄影机并不总是被持握在手中。因此，不存在通过手相对 于用户身体的移动而实现的关节式稳定化。因此，数字图像稳定化需要补偿与用户的身体 移动相关联的极端摄影机移动。
[0035] 在某些使用情况中，用户可能专注于例如体育运动之类的活动而不是视频记录， 并且用户的身体移动可能由用户活动决定而不是保持摄影机的稳定性。实际上对于用户来 说可能希望完全专注于所述活动。
[0036] 发明人已经认识到，需要更加鲁棒的数字图像稳定化。
[0037] 这可以通过使用能够对于输出视频帧支持大量裁剪并且仍然保持足够分辨率 (像素计数）的高分辨率（高像素计数）摄影机传感器以及通过使用对于视频帧的先发性、 自适应裁剪来实现，以便在施行数字图像稳定化之前降低其分辨率（像素计数）。
[0038] 如果在数字图像稳定化之前不对视频帧进行裁剪，则由于与高分辨率（像素计 数）视频帧的传输、处理和存储相关联的带宽的增加，成本也将会增加。
[0039] 图1示出了用于在数字图像稳定化之前对所捕获的视频帧进行处理的方法10的 一个实例。方法10包括：在方块3处，接收对于当前视频帧10的裁剪信息4 ;在方块5处， 在摄影机传感器22处捕获当前视频帧10 ;在方块7处，利用第一裁剪窗口 11对当前视频 帧10施行第一裁剪从而形成经过裁剪的视频帧12,其中已响应于所接收到的裁剪信息4对 第一裁剪窗口 11进行了动态调节；以及在方块9处，发送经过裁剪的视频帧12以用于数字 图像稳定化66。
[0040] 裁剪信息4可以基于（多个）历史视频帧而不是当前视频帧10来估计对于当前 视频帧10的裁剪窗口 11。因此，裁剪信息4可以取决于一个或更多先前视频帧而不是当前 视频帧10。通过使用（多个）历史视频帧而不是当前视频帧10允许在无需传输、处理和存 储整个当前视频帧10的情况下发生对于当前视频帧10的裁剪。
[0041] 对于一系列视频帧当中的每一个视频帧重复方法10。
[0042] 图2示出了当前视频帧10的一个实例。当前视频帧10具有N个像素的宽度和Μ 个像素的高度。
[0043] 图2还示出了第一裁剪窗口 11。该裁剪窗口 11位于当前视频帧10内的坐标（X，y) 处，并且具有m个像素的宽度和η个像素的高度。经过裁剪的视频帧12是当前视频帧10 的位于第一裁剪窗口 11内的该部分。
[0044] 经过裁剪的视频帧12的视场由裁剪窗口 11的尺寸（mxn)以及摄影机相对于裁剪 区域的光学特性决定。
[0045] 经过裁剪的视频帧12的内容由裁剪窗口 11的尺寸（mxn)和裁剪窗口 11的位置 (X，y)决定。
[0046] -系列所捕获的视频帧当中的某一视频帧在其刚刚被捕获后是"当前的"。其是可 用于处理的最近的视频帧。每一个当前视频帧10与其自身的裁剪信息4相关联，所述裁剪 信息4可以基于（多个）历史视频帧估计对于相关联的当前视频帧10的裁剪窗口 11。
[0047] 由于对应于每一个当前帧10的历史是不同的，因此可以利用不同的裁剪窗口 11 对每一个当前帧10进行裁剪。因此可以对于一系列视频帧当中的每一个视频帧动态地调 节裁剪窗口 11。
[0048] 在一系列视频帧10期间对于裁剪窗口 11的动态调节例如可以涉及响应于裁剪信 息4调节第一裁剪窗口 11的位置（X，y)。
[0049] 在一系列视频帧10期间对于裁剪窗口 11的动态调节例如可以涉及响应于裁剪信 息4调节裁剪窗口 11的尺寸（mxn)。
[0050] 裁剪窗口 11可以被约束到小于当前视频帧10的尺寸的一个已定义的阈值分数。 这一约束可以被选择成防止对于经过裁剪的视频帧12的传输、处理或存储需求变得过高。
[0051] 第一裁剪窗口 11例如可以小于当前视频帧10的尺寸的1/4,小于当前视频帧10 的尺寸的1/9,或者甚至更小。
[0052] 裁剪信息4可以定义第一裁剪窗口 11的尺寸从而使其预期会足够大于当前视频 帧10内的某一感兴趣区段，以便允许利用经过裁剪的视频帧12对所述感兴趣区段进行数 字图像稳定化。
[0053] 裁剪信息4还可以定义第一裁剪窗口 11的尺寸从而使其预期会足够大于所述感 兴趣区段，以便允许邻近感兴趣区段显示元数据。
[0054] 如果视频帧被摄影机模块20缩放到不同的分辨率，则裁剪信息4还可以取决于图 像缩放参数。
[0055] 图4示出了包括摄影机模块20和主机设备30的系统37的一个实例。在一些而 不一定是所有实施例中，系统37可以是可佩戴视频摄影机系统。
[0056] 图像捕获和低层级图像处理可以在摄影机模块20中发生。
[0057] 在该例中，摄影机模块20包括：被配置成捕获当前视频帧10的摄影机传感器22 ;
[0058] 被配置成从主机设备接收对于当前视频帧10的裁剪信息4的接口 31 ;以及
[0059] 裁剪电路26,其被配置成利用第一裁剪窗口 11对当前视频帧10进行裁剪从而形 成经过裁剪的视频巾贞12,其中已响应于所接收到的裁剪信息4对第一裁剪窗口 11进行了动 态调节，并且还被配合成经由接口 31发送经过裁剪的视频帧12以用于在主机设备30中进 行数字图像稳定化。
[0060] 摄影机传感器22可以是能够支持大量裁剪并且仍然对于经过裁剪的视频帧12的 适当显示保持足够分辨率的高分辨率图像传感器。举例来说，所述摄影机传感器可以具有 超出3000万像素。
[0061] 在所示出的实例中，单一接口 31将摄影机模块20与主机设备30互连。该单一物 理接口 31同时提供用于裁剪信息4的传送的输入接口 58和用于经过裁剪的视频帧12的 传送的输出接口 57。在其他实施例中，输入接口 58和输出接口 57可以在物理上分开。
[0062] 在该例中，摄影机模块20还包括被配置成控制在摄影机传感器22处捕获的视频 帧的摄影机控制电路24。
[0063] 摄影机模块20可以输出未经处理的视频帧数据，或者在某些情况下可以输出压 缩视频帧流。
[0064] 主机设备30被配置成向摄影机模块20提供裁剪信息4,并且从摄影机模块20接 收经过裁剪的视频帧12。主机设备30被配置成对于所接收到的经过裁剪的视频帧12施行 数字图像稳定化。
[0065] 作为数字图像稳定化处理的一部分，主机设备30被配置成利用第二裁剪窗口 13 对经过裁剪的视频帧12施行裁剪，从而形成经过双重裁剪的视频帧14。在图3中示出了对 于经过裁剪的视频帧12的裁剪从而形成经过双重裁剪的视频帧14。
[0066] 主机设备30被配置成通过对经过裁剪的视频帧10本身进行分析来确定对于经过 裁剪的视频帧12的裁剪。可以逐个视频帧地对第二裁剪窗口 13的位置和/或尺寸进行动 态调节。通常来说，第二裁剪窗口 13的尺寸和位置被确定为确保感兴趣区段保持在经过双 重裁剪的视频帧14内并且可能在其中处于居中位置。
[0067] 关于可以被用来跟踪感兴趣区段的数字处理技术的文献记录有很多。例如参见 Richard Hartley 等人的"Multiple View geometry in computer vision (计算机视觉中 的多视图几何学）"（第2版第4章）以及其他教科书。
[0068] 主机设备30被配置成重复使用被施行来识别第二裁剪窗口 13的处理以便生成对 应于下一个视频帧的裁剪信息4。裁剪信息4例如可以标识出现在被使用在数字图像稳定 化中的第二裁剪窗口 13。该裁剪信息随后被用来对后续的当前视频帧10进行裁剪。
[0069] 可以逐帧地动态调节第二裁剪窗口 13的位置和/或尺寸。作为响应，还可以在具 有一定滞后的情况下类似地动态调节第一裁剪窗口 11的位置。
[0070] 主机设备30可以被配置成将元数据引入到经过双重裁剪的视频帧14中，比如输 出视频帧的视向。
[0071] 在所示出的实例中，主机设备30包括图像信号处理器32。其包括被配置成通过 分析经过裁剪的视频帧10本身来确定对应于经过裁剪的视频帧12的裁剪窗口 13的电路 60'。其还包括被配置成利用第二裁剪窗口 13对经过裁剪的视频巾贞12进行裁剪从而形成 经过双重裁剪的视频帧14的电路55'。例如从图6到9的方块60和50可以认识到电路 60'和电路55'的操作。
[0072] 在图4所示出的实例中，主机设备30还包括中央处理单元34和图形处理单元36。
[0073] 主机设备30被配置成从/向存储器40进行读取和写入，经过双重裁剪的视频帧 14可以被存储在其中以供将来访问。
[0074] 主机设备30被配置成向显示器42提供命令，其中经过双重裁剪的视频帧14可以 被显示为一个图像序列。
[0075] 因此，系统37施行两阶段裁剪以便获得数字图像稳定化。一个阶段在摄影机模块 20处施行，第二阶段在主机设备30处施行。
[0076] 在第一阶段中使用粗略估计的裁剪窗口 11以减小带宽。随后在第二阶段中对所 得到的经过裁剪的视频帧12施行更加精确的数字图像稳定化。
[0077] 因此，摄影机模块20避免将非常高分辨率的视频帧序列从摄影机模块20流送到 主机设备30以进行处理。作为一个实例，如果摄影机传感器22产生20兆像素分辨率视频 帧10,则为了使得经过双重裁剪的视频帧14具有高清晰度视图1980xl080p的分辨率（2兆 像素），接口 31可以利用远低于20兆像素（例如2兆像素）来传送经过裁剪的视频帧12。 如果没有在摄影机模块20处对视频帧10进行裁剪，则由于带宽的增加将会导致成本增加。
[0078] 尽管使用了高分辨率摄影机传感器22,但是由于摄影机模块20处的裁剪，不需要 使用特殊设计的总线来进行高带宽传输，并且不需要特殊设计的处理器和存储器来进行高 带宽数字信号处理。这样不仅节省了潜在的硬件成本，而且还降低了摄影机系统37的潜在 能量消耗。
[0079] 图6示出了用于施行极端数字图像稳定化的方法50的一个实例。
[0080] 在方块51处，可以调节摄影机光学器件以便获得所期望的聚焦和可能的光学变 焦。
[0081] 在方块52处，通过摄影机传感器22捕获当前视频帧10。
[0082] 在方块53处，利用第一裁剪窗口 11对当前视频巾贞10进行裁剪，从而形成经过裁 剪的视频帧12。
[0083] 随后把经过裁剪的视频帧12从摄影机模块20提供到主机设备30。
[0084] 在方块55处，对经过裁剪的视频巾贞12进一步进行裁剪，从而产生经过双重裁剪的 视频帧14。所述进一步裁剪提供了数字图像稳定化。
[0085] 在方块56处，输出经过双重裁剪的视频帧14。
[0086] 第二项进一步裁剪由数字图像稳定化方块60控制。该方块控制被用来形成经过 双重裁剪的视频帧14的第二裁剪窗口 13的位置和/或尺寸。
[0087] 数字图像稳定化方块60可以采取许多形式。在所示出的实例中，图形序列预处理 在方块61处发生。这例如可以涉及将彩色图像转换成灰度图像。接下来在方块62处，局 部移动估计发生。举例来说，可以识别出图像内的感兴趣点。在方块63处，全局运动估计 发生。这可以涉及最小化所期望的成本函数。
[0088] 接下来在方块64处，对全局运动估计进行过滤，以便确保第二裁剪窗口 13的平滑 重定位。所述过滤通常是情境敏感的。取决于操作模式可以施行不同的过滤。
[0089] 数字图像稳定化算法通常具有用于区分摇摄（panning)和无规则移动的一些经 验阈值。可以根据系统37的操作模式对这些阈值进行调节。
[0090] 例如对于旅行电影模式，对于风景的稳定渲染的强调超过对于移动的精确监测。 小尺度图像稳定化可以总是发生，并且可以抑制大尺度图像稳定化以允许摇摄。
[0091] 例如对于体育运动电影（定向越野）模式，很重要的是从头戴式视频中看到参与 者在体育赛事期间所看到或者可能看到的景象。对于风景的稳定渲染没有记录参与者的大 尺度快速移动重要。当系统37具有大尺度移动时，小尺度图像稳定化可以总是发生，并且 可以暂时抑制大尺度图像稳定化。
[0092] 在另一个实例中，对于体育运动电影（山地自行车）模式，摄影机系统显示出不同 的海拔高度（elevation)如何影响表现，这是通过把地平线保持在恒定水平并且使得摄影 机视图与移动方向对准，而不对自行车在转弯时的自然倾斜做出补偿。这种模式对于视频 的舒适观看提供了最大图像稳定性以及来自例如蹬车之类的用户的周期性移动的最小干 扰。
[0093] 前面的实例示出了不同的应用如何可能对于数字图像稳定化具有不同的要求。极 端数字图像稳定化系统的好处在于，大尺度图像稳定化可以在很大程度上通过图像裁剪7 进行，从而数字图像稳定化9可以在更加有限数量的图像数据12上操作。当视频帧裁剪提 供可预测的经过裁剪的视频帧时，对应于数字图像稳定化的处理负荷变得更加鲁棒，并且 受到由于不同大小的摄影机移动所导致的处理负荷变化的影响更小。数字图像稳定化可以 节省存储器带宽，这是因为其可以把图像稳定化集中在经过裁剪的帧12内而不是处理整 个图像帧10。
[0094] 可以使用一个或更多运动传感器（例如三维加速度计、陀螺仪或电子罗盘）来检 测运动和/或指向的突然改变。
[0095] 图7示意性地示出了方法50的另一个实例。该方法类似于参照图6描述的方法， 并且相同的附图标记被用来标示相同的特征。关于图6给出的方法50的操作描述同样与 图7相关，这里将不再重复。相反重点将强调图7中所示出的方法50与图6中所示出的方 法50的不同之处。
[0096] 在该例中，在方块51处使用的光学器件是增大当前视频帧10的视场（FoV)的广 角光学器件。这样提供了在其上施行所述两阶段裁剪的更大区域。这样的广角光学器件的 一个实例是提供180度FoV的鱼眼透镜，以及提供360度水平FoV的全景光学器件。
[0097] 在该例中，在方块67处对经过裁剪的视频帧12进行校正，以便校正在方块51处 由广角光学器件引入的失真。方块67可以位于摄影机模块20或主机设备30中，从而使其 校正经过裁剪的视频帧12。
[0098] 在方块66处向方块54和方块67提供摄影机和光学器件参数。在方块54处，所 述参数影响第一裁剪窗口 11的位置。在方块67处，所述参数控制所应用的图像几何结构 校正。
[0099] 作为一种替换方案，如图8中所示，方块67可以在主机设备30中位于方块55之 后，从而使其校正经过双重裁剪的视频帧14。这是与图7相比不同的实现方式，因为方块 60处的数字图像稳定化在失真的经过裁剪的视频帧12上发生。
[0100] 图9示意性地示出了方法50的另一个实例。该方法类似于如在图7中增强的参 照图6所描述的方法，并且相同的附图标记被用来标示相同的特征。关于图6给出的方法 50的操作描述同样与图9相关，这里将不再重复。关于图7给出的方块66和67的操作描 述同样与图9相关，这里将不再重复。相反重点将强调图9中所示出的方法50与图7中所 示出的方法50的不同之处。
[0101] 在方块70处，元数据来源输出元数据。所述元数据可以是任何适当的信息。其例 如可以是罗盘方位、定位坐标、速度、经过的时间、地图数据等等。
[0102] 在方块71处，利用来自元数据来源的元数据施行元数据布局构成。该方块决定在 经过双重裁剪的视频帧14中应当把元数据置于何处。其可以被放置成使得不会遮挡感兴 趣区域。
[0103] 在方块72处，将元数据覆盖到经过双重裁剪的视频帧14上。
[0104] 在方块73处，施行元数据对准调节以便调节方块54处的第一裁剪窗口 11确定。 所述调节是基于如在方块71处确定的元数据在经过双重裁剪的视频帧14所处的位置来施 行的。在方块72处，可以调节第一裁剪窗口 11以避免元数据覆盖感兴趣区域。第一裁剪 窗口 11可以足够大于感兴趣区段，以便允许邻近感兴趣区段显示元数据。
[0105] 这样就可以把无法利用传统字幕技术实施的复杂元数据添加到视频帧中。在图像 编码（例如视频压缩）之前将元数据添加到经过双重裁剪的视频帧14中。元数据不限于 一种特定数据类型，而是指代可以被嵌入到视频帧中的辅助数据。元数据的一个实例例如 可以是来自次要摄影机的次要视频流的画中画（PIP)覆盖，其可以被嵌入到经过双重裁剪 的视频帧中，或者可以把当前位置的地形图视图嵌入到视频帧中。
[0106] 在方块75处示出了可以被用来跟踪摄影机移动的可选的传感器系统。如前所述， 这例如可以在方块60处的数字图像稳定化期间被用来在方块64处控制过滤。所述传感器 系统可以包括产生关于摄影机系统的移动估计的相关联的处理方块。
[0107] 摄影机模块20中的裁剪电路26可以利用实现硬件功能的指令来实施，例如通过 使用通用或专用处理器中的可以被存储在计算机可读存储介质（盘、存储器等等）上以便 由这样的处理器执行的可执行计算机程序指令。
[0108] 作为一个实例参照图5,裁剪电路26可以包括处理器25和存储器21。处理器25 被配置成从/向存储器21进行读取和写入。处理器25还可以包括输出接口和输入接口， 经由所述输出接口由处理器输出数据和/或命令，并且经由所述输入接口将数据和/或命 令输入到处理器25。
[0109] 存储器21存储计算机程序23,其包括在被加载到处理器25中时控制裁剪电路26 的操作的计算机程序指令。计算机程序指令23提供使得设备能够施行图1、2和6到9中所 示出的方法的逻辑和例程。处理器25通过读取存储器21能够加载并执行计算机程序23。
[0110] 因此，所述摄影机模块可以包括：至少一个处理器25 ;以及
[0111] 包括计算机程序代码23的至少一个存储器21，所述至少一个存储器21和计算机 程序代码23被配置成利用所述至少一个处理器25使得摄影机模块20对于一系列视频帧 当中的每一个视频帧至少施行以下操作：
[0112] 接收对于当前视频帧10的裁剪信息4 ;
[0113] 响应于裁剪信息4动态地调节第一裁剪窗口 11 ;
[0114] 利用第一裁剪窗口 11对当前视频帧10施行第一裁剪，从而形成经过裁剪的视频 帧12 ;以及
[0115] 发送经过裁剪的视频帧12以用于数字图像稳定化。
[0116] 在一种替换实现方式中，取代在捕获之后使用第一裁剪窗口 11来裁剪当前视频 帧10,裁剪窗口 11被用来控制当前视频10的捕获。参照图4,裁剪控制电路26可以控制 摄影机控制电路24,从而仅启用存在于摄影机传感器中的传感器元件的一个子集。所启用 的传感器元件的子集将对应于裁剪窗口 11。因此，在摄影机传感器22处直接捕获经过裁剪 的视频帧12。
[0117] 因此，在这种实现方式中，所述摄影机模块可以包括：至少一个处理器25 ;以及包 括计算机程序代码23的至少一个存储器21，所述至少一个存储器21和计算机程序代码23 被配置成利用所述至少一个处理器25使得摄影机模块20对于一系列视频帧当中的每一个 视频帧至少施行以下操作：
[0118] 接收对于视频帧的裁剪信息4 ;
[0119] 在摄影机传感器22处捕获经过裁剪的视频帧12 ;以及
[0120] 发送经过裁剪的视频帧12以用于数字图像稳定化。
[0121] 计算机程序23可以经由任何适当的递送机制到达系统37。所述递送机制例如可 以是非瞬时性计算机可读存储介质、计算机程序产品、存储器器件、例如紧致盘只读存储器 (CD-ROM)或数字通用盘（DVD)之类的记录介质、有形地具体实现计算机程序23的制造品。 所述递送机制可以是被配置成可靠地传输计算机程序23的信号。系统37可以将计算机程 序23作为计算机数据信号来传播或传送。
[0122] 虽然存储器21被示出为单一组件，但是其可以被实施为一个或更多分开的组件， 其中的一部分或全部可以被集成和/或可移除，并且/或者可以提供永久性/半永久性/ 动态/高速缓存的存储。
[0123] 在提到"计算机可读存储介质"、"计算机程序产品"、"有形地具体实现的计算机程 序"等等或者"控制器"、"计算机"、"处理器"、"电路"等等时，应当被理解成不仅涵盖具有例 如单处理器/多处理器架构以及顺序（Von Neumann)/并行架构之类的不同架构的计算机， 而且还涵盖例如现场可编程门阵列（FPGA)、专用集成电路（ASIC)、信号处理器件和其他处 理电路之类的专用电路。在提到计算机程序、指令、代码等等时，应当被理解成涵盖用于可 编程处理器的软件或者例如硬件器件的可编程内容之类的固件，不管是用于处理器的指令 还是用于固定功能器件、门阵列或可编程逻辑器件等等的配置设定。
[0124] 在本申请中所使用的术语"电路"指的是所有以下各项：
[0125] (a)仅有硬件的电路实现方式（比如仅在模拟和/或数字电路中的实现方式）；以 及
[0126] (b)电路与软件（和/或固件）的组合，比如（适用于）：（i)(多个）处理器的组 合或者（ii)(多个）处理器/软件的各个部分（其中包括一起工作来使得例如移动电话或 服务器之类的设备施行各项功能的（多个）数字信号处理器、软件和（多个）存储器）以 及
[0127] (c)需要软件或固件来操作的电路，比如（多个）微处理器或（多个）微处理器的 一部分，尽管所述软件或固件并不以物理方式存在。
[0128] "电路"的这一定义适用于本申请中对于该术语的所有使用，其中包括在任何权利 要求中的使用。作为另一个实例，在本申请中所使用的术语"电路"还将涵盖仅有（多个） 处理器或者处理器的一部分连同其伴随的软件和/或固件的实现方式。如果适用于特定权 利要求元素，术语"电路"例如还将涵盖用于移动电话的基带集成电路或应用处理器集成电 路，或者服务器、蜂窝网络器件或其他网络器件中的类似集成电路。
[0129] 这里所使用的术语"模块"指的是排除将由末端制造商或用户添加的特定部件/ 组件的单元或设备。
[0130] "视频"的定义是指其中接连的各个图像帧可以具有不同尺寸并且图像捕获间隔 还可以随着时间变化的图像序列。
[0131] 图1中所示出的各个方块可以代表一种方法中的各个步骤和/或计算机程序23 中各个代码段。各个方块的特定图示顺序并不一定意味着对于所述方块存在所要求或优选 的顺序，并且可以改变方块的顺序和设置。此外还有可能省略某些方块。
[0132] 虽然在前面的段落中参照各个实例描述了本发明的实施例，但是应当认识到，在 不背离所要求保护的本发明的范围的情况下可以对所给出的实例做出修改。
[0133] 前面的描述集中于单一视频流的视频稳定化，但是也可以被应用于多摄影机系 统，其中多台摄影机例如在立体视频摄影机中或者例如在可佩戴多摄影机系统中被机械耦 合在一起。
[0134] 在其中不同的摄影机模块被机械耦合并且具有已知的相对视场的多摄影机系统 中，裁剪信息可以被联合利用，这是因为各个摄影机模块无法独立地移动。这方面的一个实 例是立体摄影机系统，其中裁剪信息可以在很大程度上对于左侧和右侧摄影机全部二者被 重复使用，这是因为立体摄影机具有已知的摄影机配置和视差。裁剪信息可以包括对于第 一裁剪窗口的尺寸和位置约束。此外，视频稳定化对于左侧和右侧视图全部二者被同步，从 而使得视频稳定化不会干扰立体效果。在本领域内还知道，图像裁剪会与深度效果相互作 用，从而引入针对立体图像稳定化的附加约束。但是通过遵循立体成像领域内的已知约束， 所提出的结构可以被适配于立体图像稳定化。
[0135] 在前面的描述中所描述的各项特征可以按照不同于所明确描述的组合的其他组 合来使用。
[0136] 虽然前面参照特定特征描述了各项功能，但是这些功能可以由其他特征施行而不 管其是否被描述。
[0137] 虽然前面参照特定实施例描述了各项特征，但是这些特征还可以存在于其他实施 例中而不管其是否被描述。
[0138] 虽然在前面的说明书中着力于引起对于据信是具有特别重要性的本发明的那些 特征的关注，但是应当理解的是， 申请人:在前文中所提到和/或在附图中所示出的任何可 授予专利的特征或特征组合方面都要求保护，而不管是否对之给出了特别强调。
【权利要求】
1. 一种方法，其包括： 接收对于当前视频帧的裁剪信息； 在摄影机传感器处捕获当前视频帧； 利用第一裁剪窗口对当前视频帧施行第一裁剪从而形成经过裁剪的视频帧，其中已响 应于所接收到的裁剪信息对第一裁剪窗口进行了动态调节；以及 发送经过裁剪的视频帧以用于数字图像稳定化。
2. 如权利要求1所述的方法，其中，所述方法在摄影机传感器模块处被施行，所述摄影 机传感器模块包括： 被配置成从主机设备接收对于当前视频帧的裁剪信息的输入接口； 被配置成捕获当前视频帧的摄影机传感器； 被配置成利用第一裁剪窗口对当前视频帧进行裁剪从而形成经过裁剪的视频帧的裁 剪电路，其中已响应于所接收到的裁剪信息对第一裁剪窗口进行了动态调节；以及 被配置成发送经过裁剪的视频帧以用于在主机设备中进行数字图像稳定化的输出接 □。
3. 如任一条在前权利要求所述的方法，其中，响应于裁剪信息动态地调节第一裁剪窗 口的位置。
4. 如任一条在前权利要求所述的方法，其中，响应于裁剪信息动态地调节第一裁剪窗 口的尺寸。
5. 如任一条在前权利要求所述的方法，其中，第一裁剪窗口的尺寸被约束到小于当前 视频帧的尺寸的某一已定义分数。
6. 如任一条在前权利要求所述的方法，其中，裁剪信息取决于一个或更多先前视频中贞 而不是当前视频帧。
7. 如任一条在前权利要求所述的方法，其中，裁剪信息估计对于当前视频帧的裁剪窗 □。
8. 如任一条在前权利要求所述的方法，其中，裁剪信息定义第一裁剪窗口的尺寸，其足 够大于感兴趣区段从而允许所述感兴趣区段的数字图像稳定化。
9. 如任一条在前权利要求所述的方法，其中，裁剪信息定义第一裁剪窗口的尺寸，其足 够大于感兴趣区段从而允许邻近所述感兴趣区段显示元数据。
10. 如任一条在前权利要求所述的方法，其还包括： 作为数字图像稳定化的一部分，利用第二裁剪窗口对经过裁剪的视频帧施行裁剪，从 而形成经过双重裁剪的视频帧。
11. 如权利要求10所述的方法，其还包括：通过分析当前视频帧确定第二裁剪。
12. 如任一条在前权利要求所述的方法，其还包括：通过分析处于当前视频帧之前的 一个或更多视频帧而不是当前视频帧来确定裁剪信息。
13. 如权利要求12所述的方法，其中，裁剪信息标识出用在当前视频帧之前的视频帧 的数字图像稳定化中的裁剪窗口。
14. 如任一条在前权利要求所述的方法，其中，裁剪信息包括对于第一裁剪窗口的尺寸 和位置约束。
15. 如任一条在前权利要求所述的方法，其包括将元数据引入到经过双重裁剪的图像 中。
16. 如任一条在前权利要求所述的方法，其包括： 对于一个视频帧序列中的每一个视频帧： 捕获当如视频巾贞； 接收对于当前视频帧的裁剪信息； 响应于裁剪信息对第一裁剪窗口进行动态调节； 利用第一裁剪窗口对当前视频帧施行第一裁剪，从而形成经过裁剪的视频帧；以及 发送经过裁剪的视频帧以用于数字图像稳定化。
17. -种设备，其包括： 被配置成捕获当前视频帧的摄影机传感器； 被配置成实施以下操作的裁剪电路： 接收对于当前视频帧的裁剪信息； 响应于裁剪信息定义第一裁剪窗口； 利用第一裁剪窗口对当前视频帧进行裁剪，从而形成经过裁剪的视频帧；以及 发送经过裁剪的视频帧以用于数字图像稳定化。
18. 如权利要求17所述的设备，其中，所述设备是用在主机设备中的摄影机传感器模 块，其包括： 被配置成从主机设备接收对于当前视频帧的裁剪信息的输入接口； 被配置成捕获当前视频帧的摄影机传感器；以及 被配置成利用第一裁剪窗口对当前视频帧进行裁剪从而形成经过裁剪的视频帧的裁 剪电路，其中已响应于所接收到的裁剪信息对第一裁剪窗口进行了动态调节；以及 被配置成发送经过裁剪的视频帧以用于在主机设备中进行数字图像稳定化的输出接 □。
19. 如权利要求17或18所述的设备，其中，响应于裁剪信息动态地调节第一裁剪窗口 的位置。
20. 如权利要求17、18或19所述的设备，其中，响应于裁剪信息动态地调节第一裁剪窗 口的尺寸。
21. 如权利要求17到20当中的任一条所述的设备，其中，裁剪信息取决于一个或更多 先前视频帧而不是当前视频帧。
22. 如权利要求17到21当中的任一条所述的设备，其中，裁剪信息估计对于当前视频 帧的裁剪窗口。
23. -种系统，其包括如权利要求17到22当中的任一条所述的设备和主机设备，所述 主机设备被配置成作为数字图像稳定化的一部分利用第二裁剪窗口对经过裁剪的视频帧 施行裁剪从而形成经过双重裁剪的视频中贞。
24. 如权利要求23所述的系统，其中，主机设备被配置成通过分析当前视频帧确定第 二裁剪。
25. 如权利要求23或24所述的系统，其中，主机设备被配置成通过分析处于当前视频 帧之前的一个或更多视频帧而不是当前视频帧来确定裁剪信息。
26. 如权利要求23、24或25所述的系统，其中，裁剪信息标识出用在当前视频帧之前的 视频帧的数字图像稳定化中的裁剪窗口。
27. 如权利要求23到26当中的任一条所述的系统，其中，主机设备被配置成将元数据 引入到经过双重裁剪的图像中。
28. 如权利要求23到27当中的任一条所述的系统，其中，所述系统是可佩戴视频摄影 机系统。
29. -种设备，其包括：至少一个处理器；以及包括计算机程序代码的至少一个存储 器，所述至少一个存储器和计算机程序代码被配置成利用所述至少一个处理器使得摄影机 模块对于一系列视频帧当中的每一个视频帧至少施行以下操作： 接收对于当前视频帧的裁剪信息； 响应于裁剪信息动态地调节第一裁剪窗口； 利用第一裁剪窗口对当前视频帧施行第一裁剪，从而形成经过裁剪的视频帧；以及 发送经过裁剪的视频帧以用于数字图像稳定化。
30. -种方法，其包括： 在摄影机模块处接收对于视频帧的裁剪信息； 在摄影机模块处获得经过裁剪的视频帧；以及 发送经过裁剪的视频帧以用于数字图像稳定化。
31. -种方法，其包括： 接收对于视频帧的裁剪信息； 在摄影机传感器处捕获经过裁剪的视频帧；以及 发送经过裁剪的视频帧以用于数字图像稳定化。
【文档编号】H04N5/262GK104126299SQ201280069769
【公开日】2014年10月29日 申请日期:2012年12月20日 优先权日:2012年2月14日
【发明者】M·S·哈玛莱宁 申请人:诺基亚公司
最新回复(0)