为了稳定而使用动态裁切对视频进行处理的方法和系统的制作方法
为了稳定而使用动态裁切对视频进行处理的方法和系统的制作方法
【专利摘要】描述了一种用于处理视频以便进行稳定的方法和系统。所记录的视频可以通过去除该视频中所引入的至少一部分晃动而被稳定。可以确定用来记录该视频的相机的原始相机路径。可以选择裁切窗口大小并且可以相应地确定裁切窗口变换。裁切窗口变换可以描述原始相机路径到比原始相机路径更为平滑的经修改的相机路径的变换。可以确定指示经修改的路径的平滑程度的平滑度量。基于该平滑度量与预定阈值的比较，例如可以对原始视频应用裁切窗口变换以获得稳定的经修改的视频。
【专利说明】为了稳定而使用动态裁切对视频进行处理的方法和系统
[0001]相关申请的交叉引用
[0002]本申请要求于2012年I月16日提交的题为“Methods and Systems forProcessing a Video for Stabilizat1n Using Dynamic Crop” 的美国专利申请序列号13/351，037的优先权，其通过引用全文结合于此而如同在该描述中给出。
【背景技术】
[0003]视频稳定(video stabilizat1n)技术可以被用来改善所记录的视频。利用视频相机，相机的晃动会导致所记录的视频中可看到的帧至帧抖动。例如，由于握持相机的操作人员在记录期间的移动，手持记录的视频可能比使用安装有三脚架的相机(或者其它稳定装置，诸如相机移动台车或稳定相机)所记录的视频感觉上更为晃动。然而，使用手持视频记录来记录视频能够获得更多的拍摄机会。
[0004]视频稳定技术可以被用来创建临时摄制的视频(例如，在具有很少或没有稳定装置的设备上记录的视频)的稳定版本。视频稳定技术通常尝试对所记录的视频进行呈现而使得该视频就像是从平滑或稳定的相机路径所记录的一样。
【发明内容】
[0005]本申请公开了为了稳定而使用动态裁切对视频进行处理的方法和系统。在一个方面，描述了一种方法。该方法可以包括估计记录视频的相机的原始运动路径。该方法还可以包括选择比该视频的视频帧大小小的裁切窗口大小。该方法可以进一步包括确定裁切窗口变换以将相机的原始运动路径变换为经修改的运动相机路径。与裁切窗口变换相关联的裁切窗口可以被限制为裁切窗口大小。该方法还可以包括确定指示经修改的运动相机路径的平滑程度的平滑度量。该方法可以进一步包括基于该平滑度量与预定阈值的比较对该视频应用裁切窗口变换以从经修改的运动相机路径的视点提供修改视的频。
[0006]在另一个方面，描述了一种其上存储有指令的非瞬时计算机可读介质，该指令可由计算设备执行而使得该计算设备执行功能。该功能可以包括估计记录视频的相机的原始运动路径。该功能还可以包括选择比该视频的视频帧大小小的裁切窗口大小。该功能可以进一步包括确定裁切窗口变换以将相机的原始运动路径变换为经修改的运动相机路径。与裁切窗口变换相关联的裁切窗口可以被限制为裁切窗口大小。该功能还可以包括确定指示经修改的运动相机路径的平滑程度的平滑度量。该功能可以进一步包括基于该平滑度量与预定阈值的比较对该视频应用裁切窗口变换以从经修改的运动相机路径的视点提供修改的视频。
[0007]在又另一个方面，描述了一种系统。该系统可以包括相机路径估计模块，其被配置为接收视频并且估计记录视频的相机的原始运动路径。该系统还可以包括视频稳定模块，其与该相机路径估计模块通信并且可以被配置为选择比该视频的视频帧大小于的裁切窗口大小，并且确定裁切窗口变换以将相机的原始运动路径变换为经修改的运动相机路径。与裁切窗口变换相关联的裁切窗口可以被限制为裁切窗口大小。该视频稳定模块可以进一步被配置为确定指示经修改的运动相机路径的平滑程度的平滑度量。该系统可以进一步包括视频转换模块，其与该相机路径估计模块和视频稳定模块通信并且可以被配置为基于该平滑度量与预定阈值的比较而对该视频应用裁切窗口变换以从经修改的运动相机路径的视点提供修改的视频。
[0008]以上
【发明内容】
仅是说明性的而并非意在以任何方式进行限制。除了以上所描述的说明性方面、实施例和特征之外，另外的方面、实施例和特征将通过参考附图和以下的详细描述而是显而易见的。
【专利附图】
【附图说明】
[0009]图1图不了不例的最优裁切和视频稳定系统的框图。
[0010]图2是图示视频托管服务的示例系统视图的框图，该视频托管服务包括示例的最优动态裁切和视频稳定系统。
[0011]图3A-3B是依据这里所描述的至少一些实施例的为了视频稳定而使用最优裁切来处理视频的方法的示例流程图。
[0012]图4图不了最优相机路径和原始相机路径的不例图形。
[0013]图5图示了示例视频巾贞和示例裁切窗口。
[0014]图6A-6B图示了示出目标函数值关于裁切窗口大小的变化的示例图形。
[0015]图7A-7B图示了目标函数值关于视频内的多个视频分段的裁切窗口大小的变化的示例图形。
[0016]图8A-8H图示了来自不同视频分段的示例视频巾贞以及具有变化大小的示例裁切窗P。
[0017]图9是图示在依据这里所描述的至少一些实施例部署的计算系统中使用的示例计算设备的功能框图。
[0018]图10是图示包括用于在依据这里所描述的至少一些实施例部署的计算设备上执行计算机过程的计算机程序的示例计算机程序产品的概念性部分视图的示意图。
【具体实施方式】
[0019]以下具体描述参考附图来描述了所公开的系统和方法的各种特征和功能。在图中，除非上下文另外指示，否则相似的附图标记表示相似的组件。这里所描述的说明性系统和方法实施例并非意在作为限制。可以容易理解的是，所公开的系统和方法的某些方面能够以各种不同配置进行部署和组合，所有这些都在这里得到预期。
[0020]本公开可以公开用于对视频进行稳定的系统和方法。所记录的视频可以通过去除视频中所引入的至少一部分晃动而被稳定。可以确定用来记录该视频的相机的原始相机路径。可以选择裁切窗口大小并且可以相应地确定裁切窗口变换。裁切窗口变换可以描述原始相机路径到比原始相机路径更为平滑的经修改的相机路径的变换。可以确定指示经修改的路径的平滑程度的平滑度量。基于该平滑度量与预定阈值的比较，例如可以对原始视频应用裁切窗口变换以获得稳定的经修改的视频。
[0021]在一个示例中，视频可以通过执行后处理技术而被稳定。可以对视频进行处理以估计记录该视频的相机的原始路径(例如，运动)，以估计新的稳定/平滑的相机路径，并且从该新的平滑相机路径的视点对视频进行重构。例如，该稳定或平滑的相机路径可以抑制高频抖动并且去除在手持摇摄或人在行走时记录视频期间所出现的低频失真。
[0022]在一个示例中，为了估计新的相机路径，可以确定能够应用于原始路径以获得新路径的裁切窗口变换。与该裁切窗口变换相关联的裁切窗口的大小可以被限制为比原始帧大小小的大小。为了确定最优裁切窗口大小，可以使用迭代方法，其中该迭代方法的目标可以是确定平滑的相机路径同时去除或裁切掉尽可能少量的内容。
[0023]可以确定指示新路径的平滑程度的平滑度量。可以基于平滑度量与预定阈值的比较来确定裁切窗口大小是否为最优。例如，如果平滑度量超过了第一预定阈值，则裁切窗口大小可能是最优的并且可以向视频应用裁切窗口变换而从新的平滑相机路径的视点获得修改的视频。如果该平滑度量没有超过第一预定阈值，则可以选择更小的裁切窗口大小并且可以针对相应的新的相机路径来确定相应的平滑度量。例如，以迭代方式，可以选择连续更小的裁切窗口大小并且可以确定连续的平滑度量直至对应于给定裁切窗口大小的给定平滑度量可以超过第一预定阈值。在另一个实施例，可以继续利用连续更小的裁切窗口大小的迭代并且可以将与两个相应裁切窗口大小相关联的两个连续平滑度量之间的差值与第二预定阈值进行比较以确定更小的裁切窗口大小是否可以改善相应相机路径的平滑。
[0024]例如,作为该迭代方法的结果,可以确定最优裁切窗口大小以及相对应的裁切窗口变换，并且能够将其应用于所记录的视频以重构所记录的视频，就像该视频是从平滑相机路径记录的一样，从而从该记录的视频中去除晃动。
[0025]现在参考附图，图1图示了示例的最优动态裁切和视频稳定系统100的框图。系统100包括相机路径估计模块102、与相机路径估计模块102通信的视频稳定模块104、以及与相机路径估计模块102和视频稳定模块104通信的视频转换模块106。系统100可以被配置为从相机108接收视频，并且对该视频执行视频稳定过程。例如,相机路径估计模块102可以被配置为基于所接收的视频内的背景对象的运动来估计记录视频的相机的路径。视频稳定模块104因此可以被配置为估计新的稳定/平滑的相机路径，并且视频转换模块106可以被配置为从视频稳定模块104所确定的平滑相机路径的视点对所接收的视频进行重构。系统100的组件可以被配置为以彼此和/或与耦合至相应系统的其它组件互连的方式进行工作。
[0026]在一个示例中，相机路径估计模块102可以被配置为基于所接收的视频内的背景对象或帧的运动来估计记录视频的相机的路径。可以通过提取视频帧中的可追踪特征、匹配特征、并且执行局部异常值抛弃以去除可能使得运动估计失真的虚假匹配来估计相机路径。线性运动模型(例如，转换、相似性、仿射)可以对被追踪特征进行拟合以估计两个帧之间的相机运动，并且能够将该运动模型变换至共用坐标系统并且进行连接以在所有视频帧上产生估计的原始相机路径。
[0027]视频稳定模块104可以被配置为基于约束来估计新的稳定/平滑相机路径。平滑相机路径可以使用如相机路径估计模块102估计的原始相机路径的导数最小化来进行估
dP
计。例如，恒定路径可以表示静态相机，即Y = O (其中P是表示相机路径的函数)，恒定
at
速度的路径可以表示摇摄或移动摄像车拍摄，即4=0，并且恒定加速度的路径可以表示
d~t静态和摇摄相机之间的慢速开始(ease-1n)和慢速结束(ease-out)变换，即
【权利要求】
1.一种方法，包括: 确定记录视频的相机的原始运动路径的估计； 选择比所述视频的视频帧大小小的裁切窗口大小； 确定裁切窗口变换以将所述相机的所述原始运动路径变换为经修改的运动相机路径，其中与所述裁切窗口变换相关联的裁切窗口被限制为所述裁切窗口大小； 确定指示所述经修改的运动相机路径的平滑程度的平滑度量；以及基于所述平滑度量与预定阈值的比较，对所述视频应用所述裁切窗口变换以从所述经修改的运动相机路径的视点提供修改的视频。
2.根据权利要求1所述的方法，所述方法进一步包括: 选择更小的裁切窗口大小； 确定对应于所述更小的裁切窗口大小的相应裁切窗口变换以及相应平滑度量； 确定所述平滑度量和所述相应平滑度量之间的数值变化；以及基于给定的预定阈值与所述变化的比较，向所述视频应用所述裁切窗口变换以提供修改的视频。
3.根据权利要求2所述的方法，其中所述平滑度量与所述预定阈值的比较提供所述经修改的运动相机路径的绝对平滑程度的指示，并且其中所述给定的预定阈值与所述变化的比较提供所述经修改的运动相机路径关于相应的经修改的运动相机路径的相对平滑程度的指示。
4.根据权利要求2所述的方法，进一步包括: 使用连续的更小裁切窗口大小迭代地确定连续的平滑度量；以及基于所述给定的预定阈值与对应于两个连续裁切窗口大小的两个连续的平滑度量之间的相应数值变化的比较，向所述视频应用对应于所述两个连续裁切窗口大小中的较大裁切窗口大小的给定的裁切窗口变换以提供修改的视频。
5.根据权利要求1所述的方法，进一步包括: 将所述视频划分为多于一个视频分段； 针对每个视频分段: 估计记录该视频分段的所述相机的相应原始运动路径； 选择相应裁切窗口大小； 确定相应裁切窗口变换以将所述相机的所述相应原始运动路径变换为相应经修改的运动相机路径，其中与所述相应裁切窗口变换相关联的相应裁切窗口被限制为所述相应裁切窗口大小； 确定指示所述相应经修改的运动相机路径的相应平滑程度的相应平滑度量；以及基于所述相应平滑度量与所述预定阈值的比较，对该视频分段应用相应裁切窗口变换以从所述相应经修改的运动相机路径的相应视点提供相应经修改的视频分段。
6.根据权利要求5所述的方法，进一步包括: 针对每个视频分段: 选择给定的更小的裁切窗口大小； 确定对应于所述给定的更小的裁切窗口大小的给定裁切窗口变换以及给定平滑度量; 确定所述相应平滑度量和所述给定平滑度量之间的给定数值变化；以及基于给定预定阈值与给定变化的比较，向该视频分段应用相应裁切窗口变换以提供相应经修改的视频分段。
7.根据权利要求5所述的方法，其中将所述视频划分为多于一个视频分段包括:对所述视频进行划分，使得第一视频分段的结尾部分和与所述第一视频分段连续的第二视频分段的开始部分重叠。
8.根据权利要求7所述的方法，进一步包括: 针对所述第一视频分段确定第一经修改的运动相机路径P1 ；以及针对所述第二视频分段确定第二经修改的运动相机路径P2，其中在所述第二视频分段与所述第一视频分段的结尾部分相重叠的开始部分中P2 = P1.S，其中S是具有统一比例$的缩放变换，并且其中C1是针对所述第一视频分段选择的第一相应裁切窗口大小而(32是针对所述第二视频分段选择的第二相应裁切窗口大小。
9.根据权利要求1所述的方法，其中对所述视频应用所述裁切窗口变换以从经修改的运动相机路径的视点提供修改的视频包括:从所述视频去除内容。
10.根据权利要求1所述的方法，其中对所述视频应用所述裁切窗口变换以从经修改的运动相机路径提供修改的视频包括:稳定所述视频。
11.一种其上存储有指令的非瞬时计算机可读介质，所述指令可由计算设备执行而使得该计算设备执行功能，所述功能包括: 估计记录视频的相机的原始运动路径； 选择比所述视频的视频帧大小小的裁切窗口大小； 确定裁切窗口变换以将所述相机的原始运动路径变换为经修改的运动相机路径，其中与所述裁切窗口变换相关联的裁切窗口被限制为所述裁切窗口大小； 确定指示所述经修改的运动相机路径的平滑程度的平滑度量；以及基于所述平滑度量与预定阈值的比较，对所述视频应用所述裁切窗口变换以从所述经修改的运动相机路径的视点提供修改的视频。
12.根据权利要求11所述的非瞬时计算机可读介质，其中所述指令可进一步由所述计算设备执行而使得所述计算设备执行功能，所述功能包括: 选择更小的裁切窗口大小； 确定对应于所述更小的裁切窗口大小的相应裁切窗口变换以及相应平滑度量； 确定所述平滑度量和所述相应平滑度量之间的数值变化；以及 应用以下中的一个: (i)基于所述相应平滑度量与所述预定阈值的比较，向所述视频应用所述相应裁切窗口变换以提供相应修改的视频，和 (?)基于给定的预定阈值与所述变化的比较，向所述视频应用所述裁切窗口变换以提供修改的视频。
13.根据权利要求11所述的非瞬时计算机可读介质，其中所述裁切窗口变换为B(t)，其中B(t) = CUr1Pa)，并且C(t)是所述原始运动路径而P(t)是所述经修改的运动相机路径。
14.根据权利要求13所述的非瞬时计算机可读介质，其中所述经修改的运动相机路径
dpi d2P d3P\p(t)通过使得目标函数if j+6]^+e-p最小化而确定，其中a、b和c为线性权重，使得与所述裁切窗口变换B (t)相关联的裁切窗口被限制为所述裁切窗口大小。
15.根据权利要求14所述的非瞬时计算机可读介质，其中使得所述目标函数最小化包括执行LI最小化。
16.根据权利要求14所述的非瞬时计算机可读介质，进一步包括每k个帧对所述相机I ,/P jIi/1/5的所述原始运动路径进行时间二次米样，使得所述目标函数为丨+ bkr —rrl-t'ct —r? II dt I dr I I dt其中k是比例因数。
17.—种系统,包括: 相机路径估计模块，被配置为接收视频并且估计记录所述视频的相机的原始运动路径; 视频稳定模块，与所述相机路径估计模块通信并且被配置为选择比所述视频的视频帧大小小的裁切窗口大小，所述视频稳定模块被配置为确定裁切窗口变换以将所述相机的原始运动路径变换为经修改的运动相机路径，其中与所述裁切窗口变换相关联的裁切窗口被限制为所述裁切窗口大小，并且所述视频稳定模块被配置为确定指示所述经修改的运动相机路径的平滑程度的平滑度量；以及 视频转换模块，与所述相机路径估计模块和所述视频稳定模块通信并且被配置为基于所述平滑度量与预定阈值的比较而对所述视频应用所述裁切窗口变换以从所述经修改的运动相机路径的视点提供修改的视频。
18.根据权利要求17所述的系统，其中所述视频稳定模块进一步被配置为选择更小的裁切窗口大小，确定相应裁切窗口变换以及相应平滑度量，并且进一步被配置为确定所述平滑度量和所述相应平滑度量之间的数值变化；以及 基于给定预定阈值与所述变化的比较，所述视频转换模块进一步被配置为向所述视频应用所述裁切窗口变换以提供所述修改的视频。
19.根据权利要求17所述的系统，进一步包括服务器，所述服务器包括所述相机路径估计模块、所述视频稳定模块和所述视频转换模块。
20.根据权利要求19所述的系统，其中所述服务器被配置为: 接收所述视频； 接收请求稳定所述视频的单个动作所给出的单一命令；以及 将经修改的稳定视频上传至视频托管网站。
【文档编号】H04N5/232GK104170370SQ201280071451
【公开日】2014年11月26日 申请日期:2012年11月12日 优先权日:2012年1月16日
【发明者】马蒂亚斯·格伦德曼, 维韦克·夸特拉, 伊尔凡·埃萨 申请人:谷歌公司
【专利摘要】描述了一种用于处理视频以便进行稳定的方法和系统。所记录的视频可以通过去除该视频中所引入的至少一部分晃动而被稳定。可以确定用来记录该视频的相机的原始相机路径。可以选择裁切窗口大小并且可以相应地确定裁切窗口变换。裁切窗口变换可以描述原始相机路径到比原始相机路径更为平滑的经修改的相机路径的变换。可以确定指示经修改的路径的平滑程度的平滑度量。基于该平滑度量与预定阈值的比较，例如可以对原始视频应用裁切窗口变换以获得稳定的经修改的视频。
【专利说明】为了稳定而使用动态裁切对视频进行处理的方法和系统
[0001]相关申请的交叉引用
[0002]本申请要求于2012年I月16日提交的题为“Methods and Systems forProcessing a Video for Stabilizat1n Using Dynamic Crop” 的美国专利申请序列号13/351，037的优先权，其通过引用全文结合于此而如同在该描述中给出。
【背景技术】
[0003]视频稳定(video stabilizat1n)技术可以被用来改善所记录的视频。利用视频相机，相机的晃动会导致所记录的视频中可看到的帧至帧抖动。例如，由于握持相机的操作人员在记录期间的移动，手持记录的视频可能比使用安装有三脚架的相机(或者其它稳定装置，诸如相机移动台车或稳定相机)所记录的视频感觉上更为晃动。然而，使用手持视频记录来记录视频能够获得更多的拍摄机会。
[0004]视频稳定技术可以被用来创建临时摄制的视频(例如，在具有很少或没有稳定装置的设备上记录的视频)的稳定版本。视频稳定技术通常尝试对所记录的视频进行呈现而使得该视频就像是从平滑或稳定的相机路径所记录的一样。
【发明内容】
[0005]本申请公开了为了稳定而使用动态裁切对视频进行处理的方法和系统。在一个方面，描述了一种方法。该方法可以包括估计记录视频的相机的原始运动路径。该方法还可以包括选择比该视频的视频帧大小小的裁切窗口大小。该方法可以进一步包括确定裁切窗口变换以将相机的原始运动路径变换为经修改的运动相机路径。与裁切窗口变换相关联的裁切窗口可以被限制为裁切窗口大小。该方法还可以包括确定指示经修改的运动相机路径的平滑程度的平滑度量。该方法可以进一步包括基于该平滑度量与预定阈值的比较对该视频应用裁切窗口变换以从经修改的运动相机路径的视点提供修改视的频。
[0006]在另一个方面，描述了一种其上存储有指令的非瞬时计算机可读介质，该指令可由计算设备执行而使得该计算设备执行功能。该功能可以包括估计记录视频的相机的原始运动路径。该功能还可以包括选择比该视频的视频帧大小小的裁切窗口大小。该功能可以进一步包括确定裁切窗口变换以将相机的原始运动路径变换为经修改的运动相机路径。与裁切窗口变换相关联的裁切窗口可以被限制为裁切窗口大小。该功能还可以包括确定指示经修改的运动相机路径的平滑程度的平滑度量。该功能可以进一步包括基于该平滑度量与预定阈值的比较对该视频应用裁切窗口变换以从经修改的运动相机路径的视点提供修改的视频。
[0007]在又另一个方面，描述了一种系统。该系统可以包括相机路径估计模块，其被配置为接收视频并且估计记录视频的相机的原始运动路径。该系统还可以包括视频稳定模块，其与该相机路径估计模块通信并且可以被配置为选择比该视频的视频帧大小于的裁切窗口大小，并且确定裁切窗口变换以将相机的原始运动路径变换为经修改的运动相机路径。与裁切窗口变换相关联的裁切窗口可以被限制为裁切窗口大小。该视频稳定模块可以进一步被配置为确定指示经修改的运动相机路径的平滑程度的平滑度量。该系统可以进一步包括视频转换模块，其与该相机路径估计模块和视频稳定模块通信并且可以被配置为基于该平滑度量与预定阈值的比较而对该视频应用裁切窗口变换以从经修改的运动相机路径的视点提供修改的视频。
[0008]以上
【发明内容】
仅是说明性的而并非意在以任何方式进行限制。除了以上所描述的说明性方面、实施例和特征之外，另外的方面、实施例和特征将通过参考附图和以下的详细描述而是显而易见的。
【专利附图】
【附图说明】
[0009]图1图不了不例的最优裁切和视频稳定系统的框图。
[0010]图2是图示视频托管服务的示例系统视图的框图，该视频托管服务包括示例的最优动态裁切和视频稳定系统。
[0011]图3A-3B是依据这里所描述的至少一些实施例的为了视频稳定而使用最优裁切来处理视频的方法的示例流程图。
[0012]图4图不了最优相机路径和原始相机路径的不例图形。
[0013]图5图示了示例视频巾贞和示例裁切窗口。
[0014]图6A-6B图示了示出目标函数值关于裁切窗口大小的变化的示例图形。
[0015]图7A-7B图示了目标函数值关于视频内的多个视频分段的裁切窗口大小的变化的示例图形。
[0016]图8A-8H图示了来自不同视频分段的示例视频巾贞以及具有变化大小的示例裁切窗P。
[0017]图9是图示在依据这里所描述的至少一些实施例部署的计算系统中使用的示例计算设备的功能框图。
[0018]图10是图示包括用于在依据这里所描述的至少一些实施例部署的计算设备上执行计算机过程的计算机程序的示例计算机程序产品的概念性部分视图的示意图。
【具体实施方式】
[0019]以下具体描述参考附图来描述了所公开的系统和方法的各种特征和功能。在图中，除非上下文另外指示，否则相似的附图标记表示相似的组件。这里所描述的说明性系统和方法实施例并非意在作为限制。可以容易理解的是，所公开的系统和方法的某些方面能够以各种不同配置进行部署和组合，所有这些都在这里得到预期。
[0020]本公开可以公开用于对视频进行稳定的系统和方法。所记录的视频可以通过去除视频中所引入的至少一部分晃动而被稳定。可以确定用来记录该视频的相机的原始相机路径。可以选择裁切窗口大小并且可以相应地确定裁切窗口变换。裁切窗口变换可以描述原始相机路径到比原始相机路径更为平滑的经修改的相机路径的变换。可以确定指示经修改的路径的平滑程度的平滑度量。基于该平滑度量与预定阈值的比较，例如可以对原始视频应用裁切窗口变换以获得稳定的经修改的视频。
[0021]在一个示例中，视频可以通过执行后处理技术而被稳定。可以对视频进行处理以估计记录该视频的相机的原始路径(例如，运动)，以估计新的稳定/平滑的相机路径，并且从该新的平滑相机路径的视点对视频进行重构。例如，该稳定或平滑的相机路径可以抑制高频抖动并且去除在手持摇摄或人在行走时记录视频期间所出现的低频失真。
[0022]在一个示例中，为了估计新的相机路径，可以确定能够应用于原始路径以获得新路径的裁切窗口变换。与该裁切窗口变换相关联的裁切窗口的大小可以被限制为比原始帧大小小的大小。为了确定最优裁切窗口大小，可以使用迭代方法，其中该迭代方法的目标可以是确定平滑的相机路径同时去除或裁切掉尽可能少量的内容。
[0023]可以确定指示新路径的平滑程度的平滑度量。可以基于平滑度量与预定阈值的比较来确定裁切窗口大小是否为最优。例如，如果平滑度量超过了第一预定阈值，则裁切窗口大小可能是最优的并且可以向视频应用裁切窗口变换而从新的平滑相机路径的视点获得修改的视频。如果该平滑度量没有超过第一预定阈值，则可以选择更小的裁切窗口大小并且可以针对相应的新的相机路径来确定相应的平滑度量。例如，以迭代方式，可以选择连续更小的裁切窗口大小并且可以确定连续的平滑度量直至对应于给定裁切窗口大小的给定平滑度量可以超过第一预定阈值。在另一个实施例，可以继续利用连续更小的裁切窗口大小的迭代并且可以将与两个相应裁切窗口大小相关联的两个连续平滑度量之间的差值与第二预定阈值进行比较以确定更小的裁切窗口大小是否可以改善相应相机路径的平滑。
[0024]例如,作为该迭代方法的结果,可以确定最优裁切窗口大小以及相对应的裁切窗口变换，并且能够将其应用于所记录的视频以重构所记录的视频，就像该视频是从平滑相机路径记录的一样，从而从该记录的视频中去除晃动。
[0025]现在参考附图，图1图示了示例的最优动态裁切和视频稳定系统100的框图。系统100包括相机路径估计模块102、与相机路径估计模块102通信的视频稳定模块104、以及与相机路径估计模块102和视频稳定模块104通信的视频转换模块106。系统100可以被配置为从相机108接收视频，并且对该视频执行视频稳定过程。例如,相机路径估计模块102可以被配置为基于所接收的视频内的背景对象的运动来估计记录视频的相机的路径。视频稳定模块104因此可以被配置为估计新的稳定/平滑的相机路径，并且视频转换模块106可以被配置为从视频稳定模块104所确定的平滑相机路径的视点对所接收的视频进行重构。系统100的组件可以被配置为以彼此和/或与耦合至相应系统的其它组件互连的方式进行工作。
[0026]在一个示例中，相机路径估计模块102可以被配置为基于所接收的视频内的背景对象或帧的运动来估计记录视频的相机的路径。可以通过提取视频帧中的可追踪特征、匹配特征、并且执行局部异常值抛弃以去除可能使得运动估计失真的虚假匹配来估计相机路径。线性运动模型(例如，转换、相似性、仿射)可以对被追踪特征进行拟合以估计两个帧之间的相机运动，并且能够将该运动模型变换至共用坐标系统并且进行连接以在所有视频帧上产生估计的原始相机路径。
[0027]视频稳定模块104可以被配置为基于约束来估计新的稳定/平滑相机路径。平滑相机路径可以使用如相机路径估计模块102估计的原始相机路径的导数最小化来进行估
dP
计。例如，恒定路径可以表示静态相机，即Y = O (其中P是表示相机路径的函数)，恒定
at
速度的路径可以表示摇摄或移动摄像车拍摄，即4=0，并且恒定加速度的路径可以表示
d~t静态和摇摄相机之间的慢速开始(ease-1n)和慢速结束(ease-out)变换，即
【权利要求】
1.一种方法，包括: 确定记录视频的相机的原始运动路径的估计； 选择比所述视频的视频帧大小小的裁切窗口大小； 确定裁切窗口变换以将所述相机的所述原始运动路径变换为经修改的运动相机路径，其中与所述裁切窗口变换相关联的裁切窗口被限制为所述裁切窗口大小； 确定指示所述经修改的运动相机路径的平滑程度的平滑度量；以及基于所述平滑度量与预定阈值的比较，对所述视频应用所述裁切窗口变换以从所述经修改的运动相机路径的视点提供修改的视频。
2.根据权利要求1所述的方法，所述方法进一步包括: 选择更小的裁切窗口大小； 确定对应于所述更小的裁切窗口大小的相应裁切窗口变换以及相应平滑度量； 确定所述平滑度量和所述相应平滑度量之间的数值变化；以及基于给定的预定阈值与所述变化的比较，向所述视频应用所述裁切窗口变换以提供修改的视频。
3.根据权利要求2所述的方法，其中所述平滑度量与所述预定阈值的比较提供所述经修改的运动相机路径的绝对平滑程度的指示，并且其中所述给定的预定阈值与所述变化的比较提供所述经修改的运动相机路径关于相应的经修改的运动相机路径的相对平滑程度的指示。
4.根据权利要求2所述的方法，进一步包括: 使用连续的更小裁切窗口大小迭代地确定连续的平滑度量；以及基于所述给定的预定阈值与对应于两个连续裁切窗口大小的两个连续的平滑度量之间的相应数值变化的比较，向所述视频应用对应于所述两个连续裁切窗口大小中的较大裁切窗口大小的给定的裁切窗口变换以提供修改的视频。
5.根据权利要求1所述的方法，进一步包括: 将所述视频划分为多于一个视频分段； 针对每个视频分段: 估计记录该视频分段的所述相机的相应原始运动路径； 选择相应裁切窗口大小； 确定相应裁切窗口变换以将所述相机的所述相应原始运动路径变换为相应经修改的运动相机路径，其中与所述相应裁切窗口变换相关联的相应裁切窗口被限制为所述相应裁切窗口大小； 确定指示所述相应经修改的运动相机路径的相应平滑程度的相应平滑度量；以及基于所述相应平滑度量与所述预定阈值的比较，对该视频分段应用相应裁切窗口变换以从所述相应经修改的运动相机路径的相应视点提供相应经修改的视频分段。
6.根据权利要求5所述的方法，进一步包括: 针对每个视频分段: 选择给定的更小的裁切窗口大小； 确定对应于所述给定的更小的裁切窗口大小的给定裁切窗口变换以及给定平滑度量; 确定所述相应平滑度量和所述给定平滑度量之间的给定数值变化；以及基于给定预定阈值与给定变化的比较，向该视频分段应用相应裁切窗口变换以提供相应经修改的视频分段。
7.根据权利要求5所述的方法，其中将所述视频划分为多于一个视频分段包括:对所述视频进行划分，使得第一视频分段的结尾部分和与所述第一视频分段连续的第二视频分段的开始部分重叠。
8.根据权利要求7所述的方法，进一步包括: 针对所述第一视频分段确定第一经修改的运动相机路径P1 ；以及针对所述第二视频分段确定第二经修改的运动相机路径P2，其中在所述第二视频分段与所述第一视频分段的结尾部分相重叠的开始部分中P2 = P1.S，其中S是具有统一比例$的缩放变换，并且其中C1是针对所述第一视频分段选择的第一相应裁切窗口大小而(32是针对所述第二视频分段选择的第二相应裁切窗口大小。
9.根据权利要求1所述的方法，其中对所述视频应用所述裁切窗口变换以从经修改的运动相机路径的视点提供修改的视频包括:从所述视频去除内容。
10.根据权利要求1所述的方法，其中对所述视频应用所述裁切窗口变换以从经修改的运动相机路径提供修改的视频包括:稳定所述视频。
11.一种其上存储有指令的非瞬时计算机可读介质，所述指令可由计算设备执行而使得该计算设备执行功能，所述功能包括: 估计记录视频的相机的原始运动路径； 选择比所述视频的视频帧大小小的裁切窗口大小； 确定裁切窗口变换以将所述相机的原始运动路径变换为经修改的运动相机路径，其中与所述裁切窗口变换相关联的裁切窗口被限制为所述裁切窗口大小； 确定指示所述经修改的运动相机路径的平滑程度的平滑度量；以及基于所述平滑度量与预定阈值的比较，对所述视频应用所述裁切窗口变换以从所述经修改的运动相机路径的视点提供修改的视频。
12.根据权利要求11所述的非瞬时计算机可读介质，其中所述指令可进一步由所述计算设备执行而使得所述计算设备执行功能，所述功能包括: 选择更小的裁切窗口大小； 确定对应于所述更小的裁切窗口大小的相应裁切窗口变换以及相应平滑度量； 确定所述平滑度量和所述相应平滑度量之间的数值变化；以及 应用以下中的一个: (i)基于所述相应平滑度量与所述预定阈值的比较，向所述视频应用所述相应裁切窗口变换以提供相应修改的视频，和 (?)基于给定的预定阈值与所述变化的比较，向所述视频应用所述裁切窗口变换以提供修改的视频。
13.根据权利要求11所述的非瞬时计算机可读介质，其中所述裁切窗口变换为B(t)，其中B(t) = CUr1Pa)，并且C(t)是所述原始运动路径而P(t)是所述经修改的运动相机路径。
14.根据权利要求13所述的非瞬时计算机可读介质，其中所述经修改的运动相机路径
dpi d2P d3P\p(t)通过使得目标函数if j+6]^+e-p最小化而确定，其中a、b和c为线性权重，使得与所述裁切窗口变换B (t)相关联的裁切窗口被限制为所述裁切窗口大小。
15.根据权利要求14所述的非瞬时计算机可读介质，其中使得所述目标函数最小化包括执行LI最小化。
16.根据权利要求14所述的非瞬时计算机可读介质，进一步包括每k个帧对所述相机I ,/P jIi/1/5的所述原始运动路径进行时间二次米样，使得所述目标函数为丨+ bkr —rrl-t'ct —r? II dt I dr I I dt其中k是比例因数。
17.—种系统,包括: 相机路径估计模块，被配置为接收视频并且估计记录所述视频的相机的原始运动路径; 视频稳定模块，与所述相机路径估计模块通信并且被配置为选择比所述视频的视频帧大小小的裁切窗口大小，所述视频稳定模块被配置为确定裁切窗口变换以将所述相机的原始运动路径变换为经修改的运动相机路径，其中与所述裁切窗口变换相关联的裁切窗口被限制为所述裁切窗口大小，并且所述视频稳定模块被配置为确定指示所述经修改的运动相机路径的平滑程度的平滑度量；以及 视频转换模块，与所述相机路径估计模块和所述视频稳定模块通信并且被配置为基于所述平滑度量与预定阈值的比较而对所述视频应用所述裁切窗口变换以从所述经修改的运动相机路径的视点提供修改的视频。
18.根据权利要求17所述的系统，其中所述视频稳定模块进一步被配置为选择更小的裁切窗口大小，确定相应裁切窗口变换以及相应平滑度量，并且进一步被配置为确定所述平滑度量和所述相应平滑度量之间的数值变化；以及 基于给定预定阈值与所述变化的比较，所述视频转换模块进一步被配置为向所述视频应用所述裁切窗口变换以提供所述修改的视频。
19.根据权利要求17所述的系统，进一步包括服务器，所述服务器包括所述相机路径估计模块、所述视频稳定模块和所述视频转换模块。
20.根据权利要求19所述的系统，其中所述服务器被配置为: 接收所述视频； 接收请求稳定所述视频的单个动作所给出的单一命令；以及 将经修改的稳定视频上传至视频托管网站。
【文档编号】H04N5/232GK104170370SQ201280071451
【公开日】2014年11月26日 申请日期:2012年11月12日 优先权日:2012年1月16日
【发明者】马蒂亚斯·格伦德曼, 维韦克·夸特拉, 伊尔凡·埃萨 申请人:谷歌公司
最新回复(0)