视频摄像机、视频处理系统及其方法
专利名称：视频摄像机、视频处理系统及其方法
技术领域：
本发明涉及视频处理设备，更具体地说，涉及一种视频捕捉和处理系统。
技术背景电影和其他视频内容通常使用35mm胶片以16: 9的纵横比拍摄。在电影 进入一级市场时，35mm胶片将进行复制然后分发给各个电影院，从而将电 影卖给电影观众。例如，电影院通常将电影投射在"大屏幕"上以供付费观众观 看，这是通过使用高流明光束透射35mm胶片来实现的。 一旦电影离开"大屏 幕"，便进入二级市场，通过销售包含电影的影碟或影带(例如VHS影带、 DVD、高清(HD) -DVD、蓝光DVD和其他录制媒体)来将电影分发给个人 观众。其他用于在二级市场中分发电影的方法，还包括通过互联网下载和通过 电视网络提供商广播。为能通过二级市场分发，35mm电影内容将以每胶片帧为单位转换为原始 数字视频。要想达到HD的清晰度，每个胶片帧至少需要1920x1080像素，对 于一个两小时长的电影，这种原始数字视频需要大约25GB存储空间。为避免 这种存储要求，通常使用编码器来编码和压縮原始数字视频，以此来显著的降 低存储要求。编码标准包括例如但不限于运动图象专家组(MPEG) -1、 MPEG-2、用于HD的增强型MPEG-2、 MPEG-4 AVC、 H.261、 H.263和电影 和电视工程师学会(SMPTE) VC-1。为了能够满足在电话机、个人数字助理(PDA)和其他手持设备上显示电 影的要求，压縮的数字视频数据通常通过互联网下载、上传或存储到手持设备 上，然后由手持设备对视频数据进行解压、解码，以便显示在手持设备的视频 显示器上，从而展示给用户。然而，这种手持设备的尺寸通常会限制其上的视 频显示器(屏幕)的尺寸。例如，手持设备上的小屏幕通常只有2英寸(5.08cm)
长(对角线)。相比之下，电视机的屏幕通常为30—60英寸(76.2cm—152.4cm)(对角线测量)或更大。屏幕尺寸上的差异对观众所能感觉得到的图象质量有 着较大的影响。例如，常见的传统PDA和高端电话机屏幕有着与人眼相同的宽高比。在 小屏幕上，人眼往往无法察觉细小的细节，例如文本、面部特征和远处的物体。 例如，在电影院中，对于包含位于远处的演员和铁路标记的全景画面来说，观 众可以轻易识别出演员的面部表情和阅读标记上的文字。在HD电视机屏幕 上，观众也有可能做到这一点。但是，在转换到手持设备的小屏幕上时，由于 人眼的限制，将不再可能识别面部特征和文字。无论屏幕有多大，其清晰度不是受技术限制，就是受人眼的限制。但是， 在小屏幕上，这种限制更加明显。例如，常见的传统PDA和高端电话机屏幕 的宽高比为4: 3，通常能够显示分辨率为320x240像素的QVGA视频。相比 之下，HD电视机屏幕的宽高比通常为16: 9，通常能够显示分辨率高达 1920x1080像素的视频。在对HD视频进行转换、以便使其适合在像素上少很 多的小屏幕上显示的过程中，像素数据将进行合并，视频细节的损失会很多。 将小屏幕像素数增加至HD电视机的水平能够避免上述转换过程，但是，正如 前面提到的那样，人眼会施加其自身的限制，视频的细节仍会损失。通常使用视频编码转换和编辑系统将视频从一种格式和清晰度转换到另 一种格式和清晰度，以便在特定的屏幕上进行回放。例如，输入这种系统的可 能是DVD视频，而在转换过程之后，输出的视频将在QVGA屏幕上重新播放。 转换过程中还可使用交互编辑功能来生成编辑和转换后的输出视频。为了能够 支持多种不同的屏幕尺寸、清晰度和编码标准，需要生成多种输出视频流或文 件。视频通常是以"大屏幕"格式拍摄的，这种格式在供电影院观看时会收到良 好的效果。因为视频随后将进行编码转换，所以"大屏幕"格式视频可能不足以 支持转换到小屏幕尺寸。在这种情况下，还没有一种转换方法能够生成可供小 屏幕显示的合适视频。通过本文的介绍并参考附图，与本发明技术方案相比， 现有和传统方法的局限性和缺点对于本领域的技术人员来说将变得更加明显
发明内容
本发明涉及一种装置和操作方法，其在
具体实施方式
和权利要 求中进行了进一步的描述。根据本发明的一个方面，本发明提供了一种与第一目标视频设备和第二目 标视频设备一起使用的视频摄像机，所述第一 目标视频设备包括第一视频显示 器器，所述第二目标设备包括第二视频显示器，所述第一视频显示器的显示屏 分辨率大于所述第二视频显示器的显示屏分辨率，所述视频摄像机包括摄像机视频显示器；用户输入接口；捕捉电路，用于捕捉原始视频帧序列；处理电路，与所述摄像机视频显示器、所述捕捉电路和所述用户输入接口 相连，用于将所述原始视频帧序列中的至少一个帧发往所述摄像机视频显示 器；所述处理电路响应所述用户输入接口 ，在所述摄像机视频显示器上显示子 帧，所述子帧对应于所述原始视频帧序列中所述至少一个帧中的一个区域；所述处理电路生成对应于所述子帧的元数据，所述元数据用于调整所述原 始视频帧序列，以在所述第二目标视频设备的所述第二显示器上生成对应所述 子帧的全屏显示。在本发明所述的视频摄像机中，所述第一 目标视频设备在所述第一视频显 示器上生成对应于所述原始视频帧序列的全屏显示。在本发明所述的视频摄像机中，所述处理电路还生成对应于所述摄像机视 频显示器上另一子帧的另一元数据，所述第一 目标视频设备使用所述另一元数 据调整所述原始视频帧序列，以在所述第一视频显示器上生成对应所述另一子 帧的另一全屏显示。在本发明所述的视频摄像机中，所述处理电路使用所述元数据调整所述原 始视频帧序列，以生成输出，第三目标视频设备使用所述输出在第三视频显示 器上生成全屏显示。
在本发明所述的视频摄像机中，所述第二目标视频设备使用所述元数据调 整所述原始视频帧序列，以在所述第二视频显示器上生成全屏显示。根据本发明的一个方面，本发明提供了一种与第一目标视频设备和第二目 标视频设备一起使用的视频摄像机系统，所述视频摄像机系统包括视频显示器，具有全屏区域；用户输入接口；处理电路，响应所述用户输入接口，在所述视频显示器上显示子帧，所述 子帧对应所述全屏区域内的一个区域；视频捕捉电路，用于捕捉原始视频帧序列；所述处理电路传送所述原始视频帧序列中的至少一个帧，以供使用所述视频显示器的所述全屏区域显示；所述处理电路生成第一输出以用于在所述第一 目标视频设备上生成第一显示，所述第一输出对应于所述全屏区域；所述处理电路生成第二输出以用于在所述第二目标视频设备上生成第二显示，所述第二输出对应于所述子帧。在本发明所述的视频摄像机系统中，所述第二输出包括元数据。 在本发明所述的视频摄像机系统中，所述第二输出包括视频输出。 在本发明所述的视频摄像机系统中，所述视频输出包括经过编码的视频输出。在本发明所述的视频摄像机系统中，所述处理电路生成第三输出，该第三 输出对应于所述视频显示器显示上的另一子帧。在本发明所述的视频摄像机系统中，所述视频摄像机系统还包括摄像机壳 体，其中装有所述视频显示器、所述用户输入接口、所述处理电路和所述视频 捕捉电路。在本发明所述的视频摄像机系统中，所述视频摄像机系统还包括摄像机壳 体和支持系统壳体，所述摄像机壳体装有所述视频捕捉电路，所述支持系统壳 体装有所述处理电路的至少一部分。根据本发明的一个方面，本发明提供了一种视频处理系统，用于帮助视频 摄像机捕捉视频，所述视频处理系统包括视频摄像机接口 ，用于接收所述视频摄像机捕捉的原始视频帧序列；视频显示器接口，用于生成发往视频显示器的视频输出；处理电路，与所述摄像机接口、所述视频显示接口和所述输入接口相连，用于通过所述视频显示接口在所述视频显示器上显示所述原始视频帧序列中 的至少一个帧；所述处理电路响应代表用户输入的信号，在所述视频显示器上显示子帧， 所述子帧对应于所述原始视频帧序列中所述至少一个帧上的一个区域，该区域 是在所述代表用户输入的信号中指定的；所述处理电路用于生成对应所述子帧的元数据，目标视频播放器使用所述 元数据调整所述原始视频帧序列，以在所述目标视频播放器的目标视频显示器 上生成对应所述子帧的全屏显示；所述视频显示器具有比所述目标视频显示器大的可视区域。在本发明所述的视频处理系统中，所述视频显示器接口还用于生成对应于 辅助视频显示器上显示的所述原始视频帧序列中所述至少一个帧中的一个区 域的子帧。在本发明所述的视频处理系统中，所述处理电路在所述元数据中生成所述 子帧与所述原始视频帧序列中多个帧之间的关联关系。 在本发明所述的视频处理系统中，所述处理电路还响应代表用户输入的其他信号，在所述视频显示器上显示 与所述原始视频帧序列相关联的另一子帧；所述处理电路还生成对应于所述另一子帧的另一元数据，由另一 目标视频 播放器用于调整所述原始视频帧序列，以在所述另一 目标视频显示器上生成全 屏显示；所述处理电路生成的所述元数据和所述另 一元数据共同定义一个子帧组。 在本发明所述的视频处理系统中，在所述子帧组中至少有两个子帧与所述 原始视频帧序列中的一个子帧相对应。在本发明所述的视频处理系统中，所述子帧组中至少两个子帧包含有一个 物体，该物体的空间位置随所述原始视频帧序列而变化。在本发明所述的视频处理系统中，所述子帧组中的两个子帧对应于所述原 始视频帧序列中至少两个不同的帧。在本发明所述的视频处理系统中，所述子帧组中的至少一部分对应于由所 述原始视频帧序列描述的画面的一个子画面。在本发明所述的视频处理系统中，所述元数据还包括编辑信息，由目标视 频播放器电路用于编辑所显示的子帧。在本发明所述的视频处理系统中，所述编辑信息包括应用到与所述子帧相 关联的所述原始视频帧序列中对应部分上的视觉调整。在本发明所述的视频处理系统中，所述编辑信息包括应用到所述子帧上的 运动信息。在本发明所述的视频处理系统中，所述编辑信息包括应用到所述子帧上的 尺寸调整信息。在本发明所述的视频处理系统中，所述编辑信息包括应用到所述子帧上的 媒介。在本发明所述的视频处理系统中，所述系统还包括 麦克风接口 ，用于接收对应于所述原始视频帧序列的音频信息； 所述元数据将进一步由所述目标视频播放器电路用于调整由所述目标视 频播放器播放的对应于所述子帧的所述音频信息。根据本发明的一个方面，本发明提供了一种方法，包括 通过视频摄像机捕捉原始视频帧序列；在视频显示器上显示所述原始视频帧序列中的至少一个帧； 接收与所述原始视频帧序列有关的用户输入；在所述视频显示器上显示子帧，所述子帧对应于所述原始视频帧序列中的 所述至少一个帧中的一个区域，该区域由所述用户输入指定；生成对应所述子帧的元数据，由目标视频播放器用于调整所述原始视频帧 序列，以在所述目标视频播放器的目标视频显示器上生成对应所述子帧的全屏 显示，且所述视频显示器具有比所述目标视频显示器大的可视区域。
在本发明所述的方法中，所述方法进一步包括将对应于所述原始视频帧序 列中的所述至少一个帧中的所述一个区域的子帧发往辅助视频显示器。在本发明所述的方法中，所述元数据包括所述子帧与所述原始视频帧序列 中多个帧之间的关联关系。在本发明所述的方法中，所述方法还包括响应代表用户输入的另一信号，在所述视频显示器上显示与所述原始视频 帧序列相关联的另一子帧；生成对应于所述另一子帧的另一元数据，由另一目标视频播放器用于调整 所述原始视频帧序列，以在所述另一目标视频显示器上生成全屏显示，由所述 处理电路生成的所述元数据和所述另一元数据共同定义一个子帧组。在本发明所述的方法中，在所述子帧组中至少有两个子帧与所述原始视频 帧序列中的一个子帧相对应。在本发明所述的方法中，所述子帧组中的至少两个子帧包含一个物体，该 物体的空间位置随所述原始视频帧序列而变化。在本发明所述的方法中，所述子帧组中的两个子帧对应于所述原始视频帧 序列中至少两个不同的帧。在本发明所述的方法中，所述子帧组中的至少一部分对应于由所述原始视 频帧序列描述的画面的一个子画面。在本发明所述的方法中，所述元数据还包括编辑信息，由目标视频播放器 电路用于编辑所显示的子帧。在本发明所述的方法中，所述编辑信息包括应用到与所述子帧相关联的所 述原始视频帧序列中对应部分上的视觉调整。在本发明所述的方法中，所述编辑信息包括应用到所述子帧上的运动信息。在本发明所述的方法中，所述编辑信息包括应用到所述子帧上的尺寸调整 信息。在本发明所述的方法中，所述编辑信息包括应用到所述子帧上的媒介。 在本发明所述的方法中，所述方法还包括
接收对应所述原始视频帧序列的音频信息；生成所述元数据，其中包括由目标视频播放器电路用来调整由所述目标视 频播放器播放的对应于所述子帧的音频信息的信息。通过下面的具体实施方式
及说明书附图，本发明的多种特征和优点将更为 清晰。
图1是依据本发明的视频处理系统实施例的系统示意图；图2是依据本发明实施例的视频处理系统的视频显示器上子帧布局示意图；图3是依据本发明的视频处理系统另一实施例的系统示意图； 图4是依据本发明的视频处理系统又一实施例的系统示意图； 图5是依据本发明的视频处理设备一实施例的结构示意图； 图6是依据本发明的视频处理设备在生成子帧元数据时操作过程实施例 的示意图；图7是依据本发明的原始视频帧和对应子帧实施例的示意图；图8是依据本发明的子帧序列中示范性子帧元数据的示意图；图9是依据本发明的包含子帧编辑信息的的示范性子帧元数据的示意图；图IO是依据本发明的视频处理系统显示器实施例的示意图，该显示器提供有图形用户接口 ，其中包含用于创建子帧的视频编辑工具；图11是依据本发明的用于生成多组子帧元数据的视频处理系统实施例的系统示意图；图12是依据本发明的用于为多个目标视频显示器生成多组子帧元数据的 视频处理系统另一实施例的系统示意图；图13是依据本发明的生成子帧元数据过程的逻辑图；图14是依据本发明的视频处理系统另一实施例的系统示意图；图15是依据本发明的视频处理系统又一实施例的系统示意图。
具体实施方式
图1是依据本发明的视频处理系统实施例的系统示意图。视频处理系统120与摄像机110相连，用于从摄像机110接收原始视频帧。摄像机110捕捉 的原始视频帧序列组成画面102。画面102可以是摄像机110捕捉的任一种画 面。例如，画面102可以是一大幅风景，且画面极为详细。此外，画面102 还可以是互相对话的演员的头部照。另外，画面102还可以是如图1所示的狗 追球的动作画面。在捕捉原始视频帧的过程中，画面102的类型通常会随时间 发生变化。在现有的视频拍摄系统中，用户操作摄像机1来捕捉画面102的原始视频 帧，这些帧进行了优化，以适应"大屏幕"格式。在本发明中，这些原始视频帧 随后才会进行转换，以便由配有各自的视频显示器的目标视频播放器最终显示 出来。因为视频处理系统120会随时间捕捉不同类型的画面，对捕捉的视频进 行转换以生成用于在目标视频播放器上观看的子帧的方式也会随时间发生变 化。"大屏幕"格式并不总是能够很好的转换为小屏幕类型。因此，本发明的视 频处理系统120支持这样一种原始视频帧捕捉方式，即在转换到较小格式时， 这种方式可以提供高质量的视频子帧，以供显示在目标视频播放器的一个或多 个视频显示器上。为支持这种能够生成高质量视频子帧的原始视频帧的捕捉，视频处理系统 120运行子帧元数据生成应用(SMGA) 140，其可以是软件应用程序、专用 的硬件或硬件与软件的组合。视频处理系统从摄像机110接收代表画面102的 原始视频帧序列。视频处理系统120包括视频显示器130，其具有由数字132 代表的特定的对角尺寸。视频处理系统120将代表原始视频帧序列的视频输出 提供给视频显示器130。视频处理系统120还从一个或多个用户输入设备接收代表用户输入的信 号。这些用户输入设备包括键盘123、鼠标121和/或用于接收用户输入的其他 用户输入设备。视频处理系统120响应代表用户输入的信号，将子帧通过视频 显示器130展示给用户。每个子帧都代表转换后将要显示在目标视频播放器显 示屏上的图像。因此，视频处理系统120允许用户捕捉这样一种原始视频帧，
这种帧能够很好的转换为子帧，以便随后通过一个或多个目标视频播放器的显 示屏来观看。这些子帧的显示方式将结合图2到图4进一步描述。视频处理系统120还会生成对应子帧的元数据。目标视频播放器使用该元 数据来调整原始视频帧序列，在目标视频播放器的目标视频显示器上生成对应 子帧的全屏显示。使用元数据在目标视频播放器的目标视频显示器上生成全屏 显示的方式将结合图4_图13进一步描述。在多数情况下，视频显示器130 的可视区域要大于目标视频显示器。这一点将结合图2 —图13进一步描述。视频处理系统120还可用于接收对应原始视频帧序列的音频信息。视频处 理系统120从多个麦克风111A、 111B和111C中接收音频信息。在一种实现 方式中，多个麦克风111A、 111B和111C设置在不同的位置，以便捕捉与画 面102有关的不同音频信息。根据本发明，视频处理系统基于用户的输入，以 与子帧相对应的方式调整多个麦克风111A、 111B和111C捕捉的音频信息。 此外，元数据中还包括其他信息，目标视频播放器使用这些信息来调整对应子 帧的音频信息，以播放出来。图2是依据本发明实施例的视频处理系统的视频显示器上子帧布局示意 图。如图所示，视频显示器130中存在一个可视区域，其中显示了代表图1 中画面102的原始视频帧序列。根据图2所示的实施例，视频处理系统120 还用于响应代表用户输入的其他信号，在视频显示器130上显示除子帧131 以外的、与原始视频帧序列相关联的其他子帧133和135。这些子帧131中的 每一个都具有与多个目标视频显示器其中之一相对应的纵横比和尺寸。此外， 视频处理系统120生成每一个子帧131、 133和135的元数据。视频处理系统 120所生成的子帧131、 133和135的元数据使得对应的目标视频显示器在其 视频显示器上生成对应的显示画面。在图2所示的实施例中，视频处理系统 120包括单个视频显示器130，每个子帧131、 133和135正是通过该显示器显 示出来的。在将参考图4进行描述的另一实施例中，视频处理系统生成的每个 子帧将独立的显示在对应的目标视频播放器上。在图2所示的实施例中，在子帧组中至少有两个子帧133和135与原始视 频帧序列中的一个帧相对应。因此，例如，在特定的目标视频播放器中，子帧
133和135以及其中包含的相关视频信息将会在不同的时间显示在单个目标视 频播放器上。在图2所示的实施例中，目标视频播放器所显示视频的第一部分 展示的是子帧133中包含的狗追球的画面，而目标视频播放器所显示视频的第 二部分展示的是子帧135中描述的反弹球的画面。因此，在本实施例中，目标 视频播放器上显示的在时间上相邻的视频序列是由单个原始视频帧序列生成 的。此外，在图2所示的实施例中，在子帧组中至少有两个子帧包含空间位置 随原始视频帧序列变化的物体。在这种帧中，显示狗的子帧133的空间位置会 随与显示反弹球的子帧135有关的原始视频帧序列变化。此外，在图2所示的 实施例中，在子帧组中至少有两个子帧可对应原始视频帧序列中的至少两个不 同的帧。这种情况下，子帧133和135会对应显示在视频显示器130上的原始 视频帧序列中的不同帧。这种情况下，在第一时间段，选择子帧133以便在一 段时间内显示狗的图象。此外，在这种情况下，子帧135可对应不同的时间段， 用于显示反弹球。在该实施例中，子帧133和135组中的至少一部分可对应由 原始视频帧序列所描述画面的一个子画面。所描述的序列可在整个显示屏130 上显示，也可在子帧131中显示。图3是依据本发明的视频处理系统另一实施例的系统示意图。图3中的视 频处理系统151与图1所示实施例的不同之处在于包括摄像机在内的所有组件 都包含在一个单独的单元中。因此视频处理系统151包括显示器153、输入接 口 155、输出接口 157、处理电路159和摄像机电路167。图3中视频处理系 统151中的各组件153、 155、 157、 159和167按要求连接，以此来支持视频 处理系统151的功能。接口 155和157以及视频处理系统151中组件的连接关 系将结合图5进一步描述。视频处理系统中各组件的连接关系将在本文进一步 描述，因为这与理解本发明有关。在图3所示的实施例中，视频处理系统151使用其摄像机电路167捕捉原 始视频帧序列。输入接口 155用于从用户处接收代表用户输入的信号。处理电 路159连接到摄像机电路167、视频显示器153和输入接口 155，用于将原始 视频帧序列中的至少一个帧显示在显示器153上。此外，处理电路159响应代
表用户输入的信号，将至少一个子帧161、 163和/或165显示在视频显示器153 上。在图3所示的实施例中，每个子帧161、 163和/或165可对应上述原始视 频帧序列至少一个帧中由代表用户输入的信号所确定的一个区域。处理电路159还用于生成对应子帧161、 163和/或165的元数据。与图1 实施例中的情况相同，在图3所示的实施例中，目标视频播放器使用元数据来 调整原始视频帧序列，在目标视频播放器的目标视频显示器上生成对应子帧的 全屏显示。与图1中实施例的情况相同，视频显示器153的可视区域要大于目 标视频显示器。图4是依据本发明的视频处理系统又一实施例的系统示意图。视频处理系 统120为计算机，或者能够处理从摄像机收到的视频数据并向通信连接到视频 处理系统120的显示器130输出数据的其他设备。摄像机110能够以任意格式 捕捉包含视频内容的原始视频帧序列。在一个实施例中，视频数据是高清视频 数据，每个视频帧由例如1920x1080 (水平x垂直)像素组成，纵横比为16: 9。在另一实施例中，视频数据是标准或低清晰度视频数据，每个视频帧由特 定数量的像素组成，纵横比为4: 3。例如，如果标准视频数据是国家电视系 统委员会(NTSC)视频数据，则每个视频帧由例如720x486或720x540像素 (水平x垂直)组成。在另一实施例中，如果标准视频数据是逐行倒相(PAL) 视频数据，则每个视频帧由720x576像素(水平x垂直)组成。此外，视频数 据115可以是经过编码和压縮的、未经过压縮但经过编码的或者未经过压縮也 未经过编码的，在编码时可使用任意标准例如MPEG-l/MPEG-2、用于HD的 增强型MPEG-2、 MPEG-4AVC、 H.261、 H.263和SMPTE VC-1 。视频处理系统120还执行子帧元数据生成应用140。在本文中，短语"子 帧元数据生成应用"是指在执行下文中的子帧元数据生成应用140时所必须的 任意类型的硬件、软件和/或固件。通常，子帧元数据生成应用140的输入端 接收摄像机110生成的视频数据，从视频数据115中生成子帧元数据150，用 于调整视频数据115，以便显示在不同视频显示设备160的不同尺寸的目标视 频显示器165上。视频显示设备160包括但不限于电视机160a、个人数字助理(PDA) 160b、 蜂窝电话机160c和笔记本电脑160d。每个视频显示设备160a—160d通信连 接到各自的视频显示器165a—165d，每个显示器的尺寸(或可视区域)分别 为162、 165、 166和168。每个视频显示器165a—165d的可视区域162、 164、 166和168是指显示屏165a—165d的对角线长度。PDA 160B和蜂窝电话机 160c的视频显示器165b和165c代表小视频显示器，电视机160a和笔记本电 脑160d的视频显示器165a和165d代表大视频显示器。在本文中，短语"小视 频显示器"是指可视区域(例如164和166)小于生成子帧元数据150的视频 处理系统120的显示器130的可视区域132的视频显示器。在一项操作过程中，子帧元数据生成应用140用于从摄像机110接收视频 数据，将视频数据显示在显示器130上展示给用户，接收用户响应所显示的视 频数据后输入的用户输入，响应用户输入，生成子帧元数据150。具体来说， 子帧元数据生成应用140用于将视频数据中原始视频帧序列中的至少一个帧 显示在显示器130上展示给用户，接收用户输入的指定其中一个子帧的子帧信 息，所指定的子帧对应所显示的帧所描述画面中的一个用户所感兴趣的区域， 并从该子帧信息中生成子帧元数据150。在本文中，术语"子帧"包括原始视频 帧的至少一部分，或者可包括整个原始视频帧。得到的子帧元数据150定义了 一个子帧序列，用于调整原始视频帧(视频数据)序列，以此来在目标视频显 示器165a-165d上生成子帧的全屏显示。子帧元数据生成应用140生成的子帧元数据150可包括一个或多个子帧元 数据150组，每一个都是专门为特定的目标显示屏165a—165d和/或特定尺寸 162—168的视频显示器165a—165d生成的。因此，为了能在特定的显示屏(例 如显示屏165a)上显示，每一个视频显示设备160都通过收到的一组专门为 该视频显示器165生成的视频帧元数据150来调整原始视频数据。例如，在收 到原始视频数据和多组子帧元数据中的一组(也就是子帧元数据组C)后，蜂 窝电话机160c使用收到的子帧元数据150组来调整原始视频数据，在其视频 显示器(视频显示器165c)上显示调整后的视频。此外，子帧元数据生成应用140还可用于在子帧元数据150中添加编辑信 息，由目标视频显示器将其应用到原始视频数据中。例如，在一个实施例中， 编辑信息是在用户响应原始视频数据交互显示、作为其他用户输入而提供的。
子帧元数据生成应用140接收编辑信息，然后将其添加到生成的子帧元数据 150中。
编辑信息包括但不限于，摇摄方向和摇摄率、縮放率、对比度调整、亮度 调整、滤光镜参数和视频效果参数。具体来说，与子帧相关联，存在几种类型 可以应用的编辑信息，它们与下列内容有关a)视觉调整，例如亮度、滤光、 视频效果、对比度和色彩调整；b)运动信息，例如摇摄、加速、速率、子帧 在原始帧序列上的移动方向；c)子帧在原始帧序列上的尺寸调整信息，例如 縮放(包括放大、縮小和縮放比例)；d)与原始视频数据落入子帧中的那些部 分相关联、合并或被其叠加的任何类型的补充媒介(例如叠加的文本或图形或 补充的音频)。
结合图1到图4可知，本发明视频处理系统120可在捕捉原始视频帧过程 中对导演和/或摄像机操作者提供帮助。通过同时展示原始视频帧和子帧，视 频处理系统120能够向导演和/或摄像机操作者提供立即反馈，使得导演和/或 摄像机操作者可以确保捕捉到的原始视频数据能够很好的转换到所有可能使 用的目标视频播放器上。通过使用视频处理系统120提供的反馈，导演和/或 摄像机操作者可调整摄像机110的工作方式，以便捕捉合适的原始视频帧。
图5是依据本发明的视频处理设备一实施例的结构示意图。视频处理系统 120包括视频处理电路200，用于处理视频数据，以及从视频数据中生成子帧 元数据150。视频处理电路200包括处理电路210和与其通信连接的本地存储 器230。本地存储器230中存储有对应于这里描述的至少一部分功能的操作指 令，这些指令由处理电路210来执行。例如，在一个实施例中，本地存储器 210中存储有操作系统240、子帧元数据生成软件模块250、解码器260和像 素转换模块270。
子帧元数据生成软件模块250中包括有由处理电路210执行的、用于从视 频数据和用户输入中生成子帧元数据150的指令。子帧元数据生成软件模块 250将指令发往处理电路210，这些指令用于接收、存储和获取原始视频帧115 序列、向用户显示原始视频帧115、处理用户输入(这些用户输入是用户对所
显示的原始视频帧的响应)、生成将要展示在视频显示器上的子帧，以及响应用户输入，生成子帧元数据150。在视频数据115进行了编码的实施例中，解码器260中包含解码指令，处 理电路210执行这些指令，对编码的视频数据进行解码，生成解码视频数据。 例如，在离散余弦变换(DCT)编码/压縮格式(例如MPEG-1、 MPEG-2、用 于HD的增强型MPEG-2、 MPEG-4 AVC、 H.261、 H.263)中，考虑到通常会 出现的帧间(inter-frame)或域间(inter-field)运动，使用运动向量来从相邻 帧或域构建基于帧或域的预测。例如，在使用MPEG编码标准时，原始视频 帧序列将编码为由三种不同类型的帧组成的序列T帧、"B"帧和"P"帧。T 帧是帧内编码的，"P"帧和"B"帧是帧间编码的。因此，"r，帧是独立的，也就 是说它们在重建过程中无需参考其他帧，而"P"帧和"B"帧是相关的，也就是说， 它们需要依靠其他帧来进行重建。具体来说，从上一个I帧或P帧前向预测P 帧，而可从上一个/下一个I帧或P帧向前预测和向后预测B帧。利用DCT对 IPB帧序列进行压縮，从而将'T，帧、"P"帧、或"B"帧中的NxN像素数据块转 换成DCT域，其中N通常设置为8，且在DCT域中更容易地执行量化。然后 对经量化的比特流执行游程编码和熵编码，以生成比特率显著小于初始压縮视 频数据的压縮比特流。解码器260对压縮的视频数据进行解压縮以生成编码视 频数据，然后对该编码视频数据解码，生成初始视频帧序列(经解码的视频数 据)。子帧元数据生成软件模块250将解码视频数据提供给处理电路210，以便 将原始视频帧显示给用户，并生成子帧元数据150。例如，在一个实施例中， 子帧元数据150是通过参考原始的视频帧序列来生成的。在另一实施例中，如 果视频数据115使用MPEG编码标准进行了编码，即原始的视频帧序列被编 码成'T，、 "P"和"B"帧序列，则子帧元数据150可通过参考视频帧序列的IPB 序列(编码)来生成。像素转换模块270中包含一些指令，处理电路210执行这些指令，将视频 数据115的像素分辨率转换为与子帧元数据150相关联的目标视频显示器的像 素分辨率。例如，在一个实施例中，视频数据115的像素分辨率为高清分辨率 (也就是每帧1920x1080像素)，而与子帧元数据相关联的目标视频显示器的 分辨率为每帧320x240像素，则像素转换模块270将视频数据115从每帧 1920x1080像素转换为每帧320x240像素，以便在目标视频显示器上正常显示。处理电路210可使用共享处理设备、单个处理设备或多个处理设备来实 现。这种处理设备可以是微处理器、微控制器、数字信号处理器、微型计算机、 中央处理单元、现场可编程门阵列、可编程逻辑设备、状态机、逻辑电路、模 拟电路、数字电路和/或基于操作指令处理信号(模拟和/或数字)的任何设备。 本地存储器230可以使单个存储设备或多个存储设备。这种存储设备可以使只 读存储器、随机访问存储器、易失性存储器、非易失性存储器、静态存储器、 动态存储器、闪存和/或可以存储数字信息的任何设备。需要注意的是，当处 理电路通过状态机、模拟电路、数字电路和/或逻辑电路来实现其自身的一种 或多种功能时，存储对应的操作指令的存储器是嵌入在包含所述状态机、模拟 电路、数字电路和/或逻辑电路的电路中的。视频处理电路200进一步包括主显示器接口 220、第一目标显示器接口 222、第二目标显示器接口 224、用户输入接口 217、全帧视频和子帧元数据输 出接口 280和视频摄像机输入接口 290，上述接口中的每一个都通信连接到本 地存储器230和处理电路210。主显示器接口 220提供到视频处理设备主显示 器的接口 ，第一 目标显示器接口 222和第二目标显示器接口 224中的每一个都 提供到各自目标视频显示器的接口，依照子帧元数据150调整后的视频数据 115正是在这些目标视频显示器上显示出来的。用户输入接口 217提供一个和 多个接口，用于通过一个和多个输入设备(例如鼠标、键盘等)从操作视频处 理系统120的用户处接收用户输入。例如，这种用户输入可包括子帧信息和编 辑信息，该子帧确定所显示的帧所描述画面中的一个用户所感兴趣(子帧)的 区域，该编辑信息用于编辑子帧信息。视频数据和子帧元数据输出接口 280提供一个和多个接口，用于输出视频 数据115和生成的子帧元数据150。例如，视频数据和子帧元数据输出接口 280 可包括到存储介质(例如视频碟片、视频磁带和其他存储媒介)的接口，用于 存储视频数据115和子帧元数据150;还包括到传输介质的接口，用于传送视 例如通过互联网、其内内部网和其他网络进行 传送)；和/或到用于对视频数据115和子帧元数据150进行进一步处理的其他 处理电路的接口。视频摄像机接口 290包括一个和多个接口，用于接收压縮和 未压縮格式的视频数据115。在另一项操作中，子帧元数据生成软件模块250在初始化后，向处理电路 210发出指令，通知其或者通过视频摄像机接口 290接收视频数据115，或者 从本地存储器230中读取先前存储的视频数据115。如果视频数据115进行了 编码，则子帧元数据生成软件模块250进一步向处理电路210发出指令，通知 其访问解码器260，使用解码器260所提供的指令对编码的视频数据进行解码。子帧元数据生成软件模块250随后向处理电路210发出指令,通知其从视 频数据115中读取原始视频帧序列中的至少一个帧，并通过主显示器接口 220 将该原始视频帧显示给用户。用户通过用户输入接口217进行输入，指定与所 显示的帧所描述画面中的一个用户所感兴趣的区域相对应的子帧，作为对用户 输入的响应，子帧元数据生成软件模块250随后向处理电路210发出指令，通 知其从用户输入中生成子帧元数据150，并将生成的子帧元数据150存储在本 地存储器230中。在需要进行像素转换的实施例中，子帧元数据生成软件模块 250进一步引导处理电路210访问像素转换模块270，以生成具有合适的像素 分辨率的子帧元数据150。子帧元数据生成软件模块250根据目标视频显示器进行编程，根据该目标 视频显示器的类型，子帧元数据生成软件模块250生成的子帧元数据150可包 括一个和多个子帧元数据150组，每一组都是专门为特定的目标视频显示器而 生成的。例如，在一个实施例中，为了能在特定的视频显示器上显示(例如第 一目标视频显示器)，处理电路210通过第一目标显示器接口 222输出对应于 第一目标视频显示器的原始视频数据和子帧元数据150组。在另一实施例中， 处理电路210通过输出接口 280输出原始视频数据和一个和多个子帧元数据 150组，以便进行随后的处理、存储和传送。图6是依据本发明的视频处理设备在生成子帧元数据时操作过程实施例 的示意图。在图6中，视频数据115表示为原始视频帧序列310。原始视频帧 序列(视频数据115)中的每个帧310都将输入到子帧元数据生成应用140中， 生成子帧元数据150。此外，如图1一图5所述，原始视频帧序列中的每个帧 310都将显示在视频处理系统120的显示器130上，以供用户观看和操作。例如，用户可操作输入设备320如鼠标来控制指针330在显示屏130上的 位置。指针330可用于指定对应于显示在显示屏130上当前帧310中感兴趣区 域的子帧315。例如，用户可使用指针330在显示屏上创建一个窗口，并通过 在鼠标320上执行一系列的点击和拖动操作来控制该窗口的尺寸和位置。 一旦 用户使用输入设备320在显示屏130上创建了窗口，用户还可使用输入设备 320来指示该窗口定义了一个子帧315，这是通过经由用户接口 217向子帧元 数据生成应用140发出用户信号325来实现的。从用户信号325中，子帧元数 据生成应用140生成子帧元数据150。例如，子帧元数据150可指定窗口的中 心在当前帧310上的空间位置(例如在当前帧310上对应窗口中心的像素位置) 和窗口的尺寸(例如以像素数量表示的窗口的长度和宽度)。子帧元数据生成应用140包括子帧标识模块340、子帧编辑模块350和元 数据生成模块360。 一旦收到创建子帧315的用户信号325，子帧标识模块340 便为该子帧分配子帧标识符345。该子帧标识符345用于标识子帧元数据150 所定义的子帧序列中的该子帧。子帧编辑模块350响应其他的用户信号325，在子帧上执行编辑操作。例 如， 一旦用户使用输入设备320创建了子帧315，用户还可进一步使用输入设 备320来编辑子帧315，并通过用户接口 217向子帧元数据生成应用140发出 以编辑内容为内容的用户信号325。用户信号将输入给子帧编辑模块350，生 成编辑信息355，该编辑信息用于描述需要在子帧315上所执行的编辑操作。 编辑信息355包含在子帧元数据150中，用于在目标视频显示器显示该子帧之 前，对目标显示设备上的子帧315进行编辑。尽管可特别指出将编辑信息应用 于与整个视频数据，但多数编辑信息都只应用到特定的一个和多个子帧上。编辑信息355的例子包括但不限于摇摄方向和摇摄率、縮放比例、对比度 调整、亮度调整、滤光镜参数和视频效果参数。视频效果参数的例子包括但不 限于剧割(wipe)、淡入淡出(fade)、溶入、表面和物体渐变、聚光和打亮、
色彩和类型填充、视频和图形叠加、色彩修正、3D透视修正和3D纹理贴图 (3D texture mapping)。视频效果的其他例子包括"时移"。第一子帧定义的第 一序列可在播放时进行慢放，这仅需添加与第一子帧相关联的、用于控制进行 这种播放的元数据编辑信息即可。与第二子帧相关联的第二序列可进行正常的 播放，与第三子帧相关联的第三序列可进行快放。时移的实现方法可包括增加 和降低帧速率和仅仅复制和丢弃原始视频序列中选中的帧，还可通过更为复杂 的方式来合并帧，以生成其他帧或降低帧总数。子帧标识模块340分配的子帧标识符345、子帧编辑模块350生成的编辑 信息355、当前原始视频帧310和定义子帧315尺寸和位置的用户信号325将 输入到子帧元数据生成模块360中，来生成子帧元数据150。通常，对于每个 子帧315，子帧元数据150都包括子帧标识符345，从中提取子帧315的原始 视频帧310的标识符，与原始视频帧310有关的子帧315的位置和尺寸和与子 帧315有关的任何编辑信息355。子帧元数据生成模块360为每个子帧315生成子帧元数据150，并输出用 于定义一系列子帧315的子帧元数据150集合。子帧315序列可包括每个原始 视频帧310的一个子帧、每个原始视频帧310中顺序显示的多个子帧315、对 应由原始视频帧310序列描述的画面的子画面的多个子帧315或由原始视频帧 310描述的多个子画面的多个子帧315。例如，子帧元数据150可包括顺序元 数据，即标识出一系列子画面，也标识出与该一系列子画面中的每个子画面相 关的每个子帧315。子帧元数据150可进一步指出子画面中子帧315位置的相对差(relative difference)。例如，在一个实施例中，子帧元数据150可指出子画面中的每个 子帧315都位于视频显示器130上同一固定的空间位置(例如每个子帧315 包含相同的像素位置)。在另一实施例中，子帧元数据150可指出子画面中每 个子帧315的空间位置随子帧而变化。例如，子画面中子帧序列中的每个子帧 315都可包含一个物体，其空间位置随对应的原始视频帧而变化。图7是依据本发明的原始视频帧和对应子帧实施例的示意图。在图7中， 通过初始视频帧310的第一序列410描绘第一画面405，通过初始视频帧310
的第二序列420描绘第二画面408。因此，每个画面405和408均包括有初始 视频帧310的对应序列410和420，并通过连续显示初始视频帧310的各序列 410和420中的每个初始视频帧310来观看。但是，为了在小视频显示器上显示每个画面405和408而不降低观看者感 知的视频质量，每个画面405和408都可被分割为多个单独显示的子画面。例 如，如图7所示，在第一画面405中，有两个子画面406和407;在第二画面 408中，有一个子画面409。就像可通过连续显示初始视频帧310的各序列410 和420来观看各画面405和408 —样，可通过显示各个子帧315序列来观看各 个子画面406、 407和409。例如，看到初始视频帧的第一序列410中的第一帧310a，用户可标识两 个子帧315a和315b，每个子帧都包含有表示不同子画面406和407的视频数 据。假设子画面406和407继续遍及初始视频帧310的第一序列410，用户可 进一步标识出初始视频帧310的第一序列410中的各初始视频帧310的两个子 帧315， 一个子帧对应一个子画面406和407。生成的结果是第一子帧序列430 和第二子帧序列440，其中，第一子帧序列430中的每个子帧315a包括表示 子画面406的视频内容；第二子帧序列440中的每个子帧315b包括表示子画 面407的视频内容。每个子帧序列430和440都被连续地显示。例如，可连续 显示对应于第一子画面406的所有子帧315a，之后连续显示对应第二子画面 407的所有子帧315。用这种方式，电影保持了画面405的逻辑流，同时允许 观众感知画面405中的细节。同理，看到初始视频帧的第二序列420中的第一帧310b，用户可标识出 与子画面409对应的子帧315c。再次，假设子画面409继续遍及初始视频帧 310的第二序列420中，用户可进一步在第二序列420的随后初始视频帧310 中标识出包含子画面409的子帧315c。结果产生子帧序列450，其中的每个子 帧315c包含表示子画面409的视频内容。图8是依据本发明的子帧序列中示范性子帧元数据的示意图。图8中展示 的子帧元数据150中包含的是顺序排列的元数据500，用于指示子帧的顺序(也 就是显示顺序)。例如，顺序排列的元数据500可标识子画面序列和每个子画
面的子帧序列。使用图7中展示的例子，顺序排列的元数据500可分成多个子 帧元数据150组520，每个组520对应特定的子画面。例如，在第一组520中，顺序元数据500从第一子帧序列(例如，序列 430)中的第一子帧开始，之后是第一序列430中的其它子帧。在图8中，第 一序列中的第一子帧被标记为初始视频帧A的子帧A，第一序列中最后一个 子帧被标记为初始视频帧F的子帧F。在第一序列430的最后一个子帧之后， 顺序元数据500继续第二组520，第二组520从第二子帧序列(例如，序列440) 的第一子帧(例如，子帧315b)开始，至第二序列440的最后一个子帧结束。 在图8中，第二序列的第一子帧被标记为初始视频帧A的子帧G，第一序列 中的最后一个子帧被标记为初始视频帧F的子帧L。最后一组520从第三序列 (例如，序列450)中的第一子帧(例如，子帧315c)开始，至第三序列450 的最后一个子帧结束。在图8中，第三序列的第一个子帧被标记为初始视频帧 G的子帧M，第三序列中的最后一个子帧被标记为初始视频帧I的子帧P。在各组520中的是该组520中的各个子帧的子帧元数据。例如，第一组 520包括第一子帧序列430中的各子帧的子帧元数据150。在典型的实施例中， 子帧元数据150可被组织为包括多个条目510的元数据文本文件。元数据文本 文件中的每个条目510包括有特定子帧的子帧元数据150。因此，元数据文本 文件中的每个条目包括有标识出与该元数据相关的特定子帧的子帧标识符，且 与初始视频帧序列中的一个帧相关联。图9是依据本发明的包含子帧编辑信息的的示范性子帧元数据的示意图。 因此，图9中包含在上文结合图8描述的元数据文本文件中的条目510中可能 包含的多种子帧元数据150。每个子帧的子帧元数据150包括子帧常规信息 600，例如分配给该子帧的子帧标识符(SF ID)、与从中提取除该子帧的原始 视频帧相关联的信息(OFID、 OF计数、播放偏移量)、子帧位置和尺寸和将 要显示该子帧的显示屏的纵横比(SF比)。此外，如图9所示，特定子帧的子 帧信息150可包括用于编辑该子帧的编辑信息355。图9中所示的编辑信息355 的例子包括摇摄方向和摇摄率、縮放比例、色彩调整、滤光镜参数、对图像或 视频序列的补充、其他视频效果和相关参数。
图IO是依据本发明的视频处理系统显示器一个实施例的示意图，该显示器提供有图形用户接口，其中包含用于创建子帧的视频编辑工具。视频处理显示器130上显示的是当前帧310及其子帧315。子帧315包括如图6中所描述 的由用户指定的感兴趣区域内的视频数据。 一旦指定了子帧315，用户便可使 用通过GUI 710提供给用户的一种或多种能够视频编辑工具来编辑子帧315。 例如，如图10所示，通过点击或选择GUI710中的一种编辑工具，用户可对 子帧315应用滤光镜、色彩修正、叠加或其他编辑工具。此外，GUI 710还可 允许用户在原始帧和/或子帧之间移动，以便观看和比较原始子帧序列和子帧 序列。图11是依据本发明的用于生成多组子帧元数据的视频处理系统一个实施 例的系统示意图。根据视频处理系统120所要为其生成子帧元数据的目标视频 显示器的数量和类型，视频处理系统120的处理电路210可从原始视频数据中 生成一组或多组子帧元数据150a、 150b、…150N，每组子帧元数据150a、 150b、 ...150N都是专门为特定的目标视频显示器而生成的。例如，在一个实 施例中，为了能显示在第一目标视频显示器上，处理电路210生成第一组子帧 元数据150a，其定义了子帧序列。第一组子帧元数据150a用于调整原始视频 数据，在第一目标视频显示器上生成子帧序列的全屏显示。图12是依据本发明的用于为多个目标视频显示器生成多组子帧元数据的 视频处理系统另一实施例的系统示意图。正如图1中描述的那样，视频处理系 统120如计算机或能够处理视频数据115的其他设备运行子帧元数据生成应用 140。子帧元数据生成应用140接收摄像机110捕捉的原始视频数据作为输入， 生成定义子帧序列的子帧元数据150，用于调整原始视频帧序列(视频数据 115)，在视频显示设备160的目标视频显示器165上生成子帧的全屏显示。图12中展示的是下列示范性视频显示设备电视机160a、个人数字助理 (PDA) 160b、蜂窝电话机160c和笔记本电脑160d。每个视频显示设备 160a-160d都通信连接到各自的视频显示器165a-165d。此外，每个视频显示设 备160a-160d还通信连接到各自的媒体播放器910a-910d。每个媒体播放器 910a-910d都包含视频播放电路，用于处理并在各自的视频显示器165a-165d 上显示视频内容。媒体播放器910可设置在视频显示设备160内，或者通信连 接到视频显示设备160。例如，与电视机160a相关联的媒体播放器910a可以 是VCR、 DVD播放器或者其他类似的设备。子帧元数据生成应用140生成的子帧元数据150可包含一个或多个子帧元 数据组150a—150d，每一组都是专门为特定的目标视频显示器165a—165d生 成的。例如，如图12所示，子帧元数据生成应用140为四个目标视频显示器 165a—615d生成四个子帧元数据组150a—150d。因此，为能在特定的视频显 示器(例如显示屏165a)上进行显示，需要使用专门为视频显示器165a生成 的视频元数据组150a对原始视频数据进行调整。在一项示范性操作中，通信连接的每个媒体播放器910都接收包含原始视 频帧序列的原始视频数据115和定义子帧序列的子帧元数据组150。原始视频 数据和子帧元数据150组可以按照通过互联网或另一网络下载的方式接收，或 者以广播的方式接收，还可以从通信连接到媒体播放器910的存储设备中上 传。媒体播放器910使用子帧元数据150调整原始视频帧序列，在目标视频显 示器165上生成对应子帧序列的全屏显示。例如，通信连接的媒体播放器910a 接收原始视频数据和子帧元数据150a;通信连接的媒体播放器910b接收原始 视频数据和子帧元数据150b;通信连接的媒体播放器910c接收原始视频数据 和子帧元数据150c;通信连接的媒体播放器910d接收原始视频数据和子帧元 数据150d。图13是依据本发明的生成子帧元数据过程的逻辑图。该过程开始于步骤 1010，从任意类型的视频源(例如视频摄像机、视频碟片、或视频影带)接收 包含视频内容的原始视频数据。该原始视频数据包含原始视频帧序列，其中包 含任意格式的视频内容。此外，接收到的视频数据可能已由任意编码标准进行 过编码和压縮，或者未经过压縮但经过编码，还可以是未经过压縮也未经过编 码的。如果原始视频数据是经过压縮/编码的，则视频数据将进行解压縮和解 码，生成原始视频帧序列。该过程继续进行步骤1020，将向用户展示原始视频帧序列中的第一帧。 例如，该第一帧可显示在用户能够观看的到的视频显示器上。随后该过程继续
进行判断步骤1030，确定是否指定了第一帧的子帧。例如，用户可发出用户 输入，以此来指定对应于第一帧中用户感兴趣区域的子帧。若指定了子帧(步 骤1030的"是"分支)，则该过程继续进行步骤1040，为所指定的子帧生成子 帧元数据。例如，为特定子帧生成的子帧元数据可包括子帧标识符、从中提取 除该子帧的原始视频帧的标识符、与原始视频帧有关的子帧的位置和尺寸和用 于编辑该子帧的任意编辑信息。对于第一帧中的每个子帧，本过程将重复进行 步骤1050。因此，如果在第一帧中指定了另一子帧(步骤1050的"是"分支)， 则本过程将返回步骤1040，为该子帧生成子帧元数据。若在第一帧中未指定子帧(步骤1030的"否"分支)，或者在第一帧中不会 再有子帧被指定(步骤1050的"否"分支)，该过程将继续进行判断步骤1060， 确定原始视频帧序列中是否还有其他帧。若还有其他原始视频帧(步骤1060 的"是"分支)，则该过程继续进行步骤1070，向用户展示原始视频帧序列中的 下一帧，然后该过程将重复进行步骤1030。但是，如果不存在其他原始视频 帧(步骤1060的"否"分支)，则该过程继续进行步骤1080，将为每个指定的 子帧生成的子帧元数据存储到元数据文件中。图14是依据本发明的视频处理系统另一实施例的系统示意图。图14中的 视频摄像机1400与第一目标视频设备1422和第二目标视频设备1420 —同使 用。第一目标视频设备1422包括第一视频显示器，第二目标视频设备包括第 二视频显示器。第一目标视频设备1422的第一视频显示器的屏幕分辨率远大 于第二目标视频设备1420的第二视频显示器的屏幕分辨率。第一目标视频设 备1422的第一视频显示器的可视区域也大于第二目标视频设备1420的可视区 域。视频摄像机1400包括摄像机视频显示器1402、用户输入接口 1408、视频 捕捉电路1410、处理电路1406，可选的，还可包括编码电路1404。摄像机视 频显示器1402可以是图2中展示和描述的单个视频显示器，也可以包括多个 视频显示器。参考图1所述，用户输入接口 M08接收用户输入，以供运行的 子帧元数据生成应用程序使用。用户输入接口 1408可包括键盘、鼠标或用于 接收用户输入的其他用户接口设备。捕捉电路1410捕捉原始视频帧序列。参
考图1一图5所述，捕捉电路1410包括摄像机类电路。
处理电路1406连接到摄像机视频显示器1402、捕捉电路1410和用户输 入接口 1408。处理电路1406可以是执行软件和/或固件指令并对数据进行操作 的任意类型的数字处理电路。处理电路1406将捕捉电路1410捕捉到的原始视 频帧序列中的至少一个帧发往摄像机视频显示器1402。原始视频帧序列中这 至少一个帧在摄像机视频显示器1402上的显示方式在图2和图3中己作了描 述。
处理电路1406响应用户输入接口 1408，在摄像机视频显示器1402上显 示一个子帧。该子帧在摄像机视频显示器1402上的显示方式与图2和/或图3 中描述的方式相同或相似。该子帧对应于原始视频帧序列中至少一个帧中的一 个区域。原始视频帧和子帧在摄像机视频显示器上的显示方式与图2中描述的 方式相同或相似。
处理电路1406生成对应于子帧的元数据150。元数据150将用于调整原 始视频帧序列，以在第二目标视频设备1420的第二显示器上生成全屏显示。 这种在第二目标视频设备1420的第二显示器上的全屏显示对应于由处理电路 1406在摄像机视频显示器1402上显示的子帧。
如图所示，摄像机1402将原始视频帧序列115同时发往第一目标视频设 备1422和第二目标视频设备1420。此外，摄像机1400为第二目标视频设备 1420生成元数据150n，可选的，还可为第一目标视频设备1422生成元数据 150p。在摄像机1400的第一项操作中，第一目标视频设备1422在第一视频显 示器上生成对应于原始视频帧序列115的全屏显示。此外，通过此项操作，第 二目标视频设备1420使用元数据150n来调整原始视频帧115序列，在其第二 视频显示器上生成全屏显示。
在类似于上述操作的另一项操作中，第一目标视频设备1422使用元数据 150p来调整原始视频帧115序列，在其第一视频显示器上生成另一全屏显示。 第一目标视频设备1422的第一视频显示器上的这另一全屏显示对应于为响应 用户输入接口 1408而在摄像机视频显示器1402上显示的另一子帧。本发明的 这些基于响应用户输入而生成的多种子帧来生成元数据的操作已在图2—图13中进行了描述。
根据摄像机1400的另一项操作，编码电路1404生成编码输出1424、 1426 和1428，并分别发往目标视频设备1414、 1416和1418。在生成这些输出1424、 1426和1428的过程中，处理电路1406生成输出1423，并发往编码电路1404。 这些输出可包括将目标视频设备1414、 1416和1418看成一个设备组、对应该 组中的所有设备而生成的视频，或者为每个目标视频设备1414、 1416和1418 专门剪裁而生成的视频。编码电路1404对从处理电路1406收到的输出1423 进行编码，生成输出1424、 1426和1428。这些输出1424、 1426和1428将用 于在其他目标视频设备1414、 1416和1418的其他目标视频显示器上生成全屏 显示。特别的，编码电路1404基于对应于目标视频设备1414的第一编码参数 生成第一编码输出1424。此外，编码电路还基于对应于目标视频设备1416和 1418的第二和第三编码参数生成编码视频输出1426和1428。
因此，根据图14中展示的实施例，作为其输出，视频摄像机1400生成原 始视频帧序列115、元数据150和视频输出1424、 1426和1428。视频摄像机 1400的输出可在捕捉原始视频帧序列1410的过程中生成。或者，视频摄像机 1400还可捕捉并存储原始视频帧序列，然后生成其输出，并发往视频设备和/ 或存储设备。
图15是依据本发明的视频处理系统又一实施例的系统示意图。图15中的 视频摄像机系统1500包括摄像机1510和并行视频处理系统1501 。摄像机1510 捕捉原始视频帧115序列。视频摄像机1510也称为视频捕捉电路，其生成原 始视频帧115序列，同时发往并行视频处理系统1501和第一目标视频设备 1522。
并行视频处理系统1501包括一个或多个视频显示器1502、用户接口 1508、 处理电路1506，还可包括编码电路1504。图15中的并行视频处理系统1501 中的一些部件与图14中视频摄像机1400中具有相同名称的部件具有相同的功 能，因此这些部件在此处不再详述。视频显示器1502具有全屏区，其可对应 于图2中展示和描述的视频显示器130。并行视频处理系统1501中的处理电 路1506可以是专用硬件、通用硬件和/或可执行并行视频处理系统1501操作
的软件，或者其中的一部分。处理电路1506响应用户输入接口 1508，在视频 显示器1502上显示子帧。显示在视频显示器1502上的子帧对应于视频显示器 1502的全屏区中的一个区域。参考图2，该子帧可以对应子帧131、 133或135， 这些子帧中的每一个在视频显示器1502的全屏区130内都是可见的。
再来看图15,视频捕捉电路(摄像机)1510捕捉原始视频帧115序列。 处理电路1506传送原始视频帧序列中的至少一个帧，以便使用视频显示器 1502的全屏区来显示。处理电路1506进一步生成第一输出，用于在第一目标 视频设备1522的第一显示器上生成对应于全屏区的第一显示。此外，处理电 路1506生成第二输出，用于在第二目标视频设备1520的第二显示器上生成第 二显示，第二输出对应于一个或多个子帧。如图15所示，处理电路1506可生 成对应于原始视频帧序列的第一输出115。或者，所生成的发往第一目标视频 设备1522的输出可同时包括原始视频帧115序列和元数据150r。处理电路1506 进一步生成第二输出，用于在第二目标视频设备1520上生成对应于子帧的第 二显示。所生成的发往第二目标视频设备1520的输出可包括元数据150q，还 可包括原始视频帧115序列。第一 目标视频设备1522和第二目标视频设备1520 使用发往其各自的包含原始视频帧115序列和元数据150q和150r的输入，生 成各自的显示。
根据图15中视频摄像机系统的另一项操作，处理电路1506还与编码电路 1504—同工作，生成编码视频输出1524、 1526和1528，并分别发往目标视频 设备1514、 1516和1518。经过编码的视频输出1524、 1526和1528是基于第 一、第二和第三编码参数编码的，这些参数分别与目标视频设备1514、 1516 和1518有关。视频数据1523将由处理电路1506发往编码电路1504。
因此，与现有技术相比，图15中的视频摄像机系统直接生成专门为特定 目标视频设备而剪裁好的编码视频。此外，图15中的视频摄像机系统不仅生 成编码视频，还生成元数据和原始视频帧115序列。此外，正如图1_图14 所述，处理电路还可响应用户输入接口 1508，生成与显示在视频显示器152 上的其他子帧有关的其他输出。因此，对于每个特定的子帧，图15中的视频 摄像机系统1500都可生成专门为特定的目标视频显示器剪裁好的输出。此外，
视频摄像机系统1500还可简单的生成子帧元数据，其中包括与多个目标设备 有关的信息。目标设备随后可从元数据150中提取相关的部分，用于基于原始 视频帧序列生成视频数据。
根据图15中视频摄像机系统的另一方面，视频摄像机系统包括摄像机壳 体，其中装有视频显示器1502、用户输入接口 1508、处理电路1506和视频捕 捉电路1510。该壳体中还可装有编码电路1504。根据图15中视频摄像机系统 的另一方面，视频摄像机系统1500包括摄像机壳体和支持系统壳体。摄像机 壳体中装有视频步骤电路1510，支持系统壳体中装有处理电路1506的至少一 部分。支持系统壳体还可装有显示器1502、用户输入接口 1508和编码电路 1504。
本领域普通技术人员可知，本申请中所使用的短语"可操作地连接""可通 信地连接"包括直接连接和通过另一个部件、元件、电路或模块间接连接，其 中，对于间接连接，介入的部件、元件、电路或模块不会修改信号的信息，但 是可能会调整其电流大小、电压大小和/或功率大小。本领域普通技术人员还 可理解，推定连接(即推定一个部件与另一个部件连接)包括两个部件之间与 "可操作地连接"和"可通信地连接"方式相同直接的和间接的连接。
本发明通过借助方法步骤展示了本发明的特定功能及其关系。所述方法步 骤的范围和顺序是为了便于描述任意定义的。只要能够执行特定的功能和顺 序，也可应用其它界限和顺序。任何所述或选的界限或顺序因此落入本发明的 范围和精神实质。
本发明还借助功能模块对某些重要的功能进行了描述。所述功能模块的界 限和各种功能模块的关系是为了便于描述任意定义的。只要能够执行特定的功 能，也可应用其它的界限或关系。类似地，此处定义了流程框图，以解释特定 的重要功能。只要能达到使用目的，也可应用其它的界限或关系，仍执行特定 的重要功能。所述其它的界限或关系也因此落入本发明的范围和精神实质。
本领域普通技术人员还可知，本申请中的功能模块和其它展示性模块和组 件可实现为离散组件、专用集成电路、执行恰当软件的处理器和前述的任意组
此外，尽管以上是通过一些实施例对本发明进行的描述，本领域技术人员 知悉，本发明不局限于这些实施例，在不脱离本发明的精神和范围的情况下， 可以对这些特征和实施例进行各种改变或等效替换。本发明的保护范围仅由本 申请的权利要求书来限定。
本申请涉及并引用以下专利申请
申请日为2006年6月23日的美国专利申请11/474,032 "VIDEO PROCESSING SYSTEM THAT GENERATES SUB-FRAME METADATA (生成 子帧元数据的视频处理系统)"；
申请日为2006年7月20日的美国专利申请11/xxx,xxx (代理所案号 BP5446) "ADAPTIVE VIDEO PROCESSING CIRCUITRY & PLAYER USING SUB-FRAME METADATA (使用子帧元数据的自适应视频处理电路和播放 器)"；
申请日为2006年7月20日的美国专利申请11/xxx，xxx (代理所案号 BP5447 ) " ADAPTIVE VIDEO PROCESSING USING SUB-FRAME METADATA (使用子帧元数据的自适应视频处理)"。
权利要求
1、一种与第一目标视频设备和第二目标视频设备一起使用的视频摄像机，所述第一目标视频设备包括第一视频显示器器，所述第二目标设备包括第二视频显示器，所述第一视频显示器的显示屏分辨率大于所述第二视频显示器的显示屏分辨率，其特征在于，所述视频摄像机包括摄像机视频显示器；用户输入接口；捕捉电路，用于捕捉原始视频帧序列；处理电路，与所述摄像机视频显示器、所述捕捉电路和所述用户输入接口相连，用于将所述原始视频帧序列中的至少一个帧发往所述摄像机视频显示器；所述处理电路响应所述用户输入接口，在所述摄像机视频显示器上显示子帧，所述子帧对应于所述原始视频帧序列中所述至少一个帧中的一个区域；所述处理电路生成对应于所述子帧的元数据，所述元数据用于调整所述原始视频帧序列，以在所述第二目标视频设备的所述第二显示器上生成对应所述子帧的全屏显示。
2、 根据权利要求1所述的视频摄像机，其特征在于，所述第一目标视频 设备在所述第一视频显示器上生成对应于所述原始视频帧序列的全屏显示。
3、 根据权利要求1所述的视频摄像机，其特征在于，所述处理电路还生 成对应于所述摄像机视频显示器上另一子帧的另一元数据，所述第一目标视频 设备使用所述另一元数据调整所述原始视频帧序列，以在所述第一视频显示器 上生成对应所述另一子帧的另一全屏显示。
4、 根据权利要求1所述的视频摄像机，其特征在于，所述处理电路使用 所述元数据调整所述原始视频帧序列，以生成输出，第三目标视频设备使用所 述输出在第三视频显示器上生成全屏显示。
5、 一种与第一 目标视频设备和第二目标视频设备一起使用的视频摄像机 系统，其特征在于，所述视频摄像机系统包括 视频显示器，具有全屏区域； 用户输入接口；处理电路，响应所述用户输入接口，在所述视频显示器上显示子帧，所述 子帧对应所述全屏区域内的一个区域；视频捕捉电路，用于捕捉原始视频帧序列；所述处理电路传送所述原始视频帧序列中的至少一个帧，以供使用所述视 频显示器的所述全屏区域显示；所述处理电路生成第一输出以用于在所述第一目标视频设备上生成第一 显示，所述第一输出对应于所述全屏区域；所述处理电路生成第二输出以用于在所述第二目标视频设备上生成第二 显示，所述第二输出对应于所述子帧。
6、 根据权利要求5所述的视频摄像机系统，其特征在于，所述第二输出 包括元数据。
7、 一种视频处理系统，用于帮助视频摄像机捕捉视频，其特征在于，所 述视频处理系统包括视频摄像机接口 ，用于接收所述视频摄像机捕捉的原始视频帧序列；视频显示器接口，用于生成发往视频显示器的视频输出；处理电路，与所述摄像机接口、所述视频显示接口和所述输入接口相连，用于通过所述视频显示接口在所述视频显示器上显示所述原始视频帧序列中 的至少一个帧；所述处理电路响应代表用户输入的信号，在所述视频显示器上显示子帧， 所述子帧对应于所述原始视频帧序列中所述至少一个帧上的一个区域，该区域 是在所述代表用户输入的信号中指定的；所述处理电路用于生成对应所述子帧的元数据，目标视频播放器使用所述 元数据调整所述原始视频帧序列，以在所述目标视频播放器的目标视频显示器 上生成对应所述子帧的全屏显示；所述视频显示器具有比所述目标视频显示器大的可视区域。
8、 根据权利要求7所述的视频处理系统，其特征在于，所述视频显示器 接口还用于生成对应于辅助视频显示器上显示的所述原始视频帧序列中所述 至少一个帧中的一个区域的子帧。
9、 一种方法，其特征在于，包括 通过视频摄像机捕捉原始视频帧序列；在视频显示器上显示所述原始视频帧序列中的至少一个帧； 接收与所述原始视频帧序列有关的用户输入；在所述视频显示器上显示子帧，所述子帧对应于所述原始视频帧序列中的 所述至少一个帧中的一个区域，该区域由所述用户输入指定；生成对应所述子帧的元数据，由目标视频播放器用于调整所述原始视频帧 序列，以在所述目标视频播放器的目标视频显示器上生成对应所述子帧的全屏 显示，且所述视频显示器具有比所述目标视频显示器大的可视区域。
10、 根据权利要求9所述的方法，其特征在于，所述方法进一步包括将对 应于所述原始视频帧序列中的所述至少一个帧中的所述一个区域的子帧发往 辅助视频显示器。
全文摘要
本发明公开了一种带有视频摄像机的用于捕捉原始视频帧序列的视频处理系统，将原始视频帧序列中的至少一个帧显示在视频显示器上，其接收与原始视频帧序列有关的用户输入，在视频显示器上显示子帧，该子帧对应于原始视频帧序列中至少一个帧中的一个区域，该区域由用户输入指定。该视频处理系统还生成对应于该子帧的元数据，目标视频播放器使用该元数据调整原始视频帧序列，以在目标视频播放器的目标视频显示器上生成对应该子帧的全屏显示。本发明可为特定的屏幕或屏幕尺寸专门生成目标子帧的元数据。
文档编号G09G5/36GK101106704SQ20071012802
公开日2008年1月16日 申请日期2007年6月21日 优先权日2006年6月23日
发明者詹姆士·D·贝内特 申请人:美国博通公司
技术领域：
本发明涉及视频处理设备，更具体地说，涉及一种视频捕捉和处理系统。
技术背景电影和其他视频内容通常使用35mm胶片以16: 9的纵横比拍摄。在电影 进入一级市场时，35mm胶片将进行复制然后分发给各个电影院，从而将电 影卖给电影观众。例如，电影院通常将电影投射在"大屏幕"上以供付费观众观 看，这是通过使用高流明光束透射35mm胶片来实现的。 一旦电影离开"大屏 幕"，便进入二级市场，通过销售包含电影的影碟或影带(例如VHS影带、 DVD、高清(HD) -DVD、蓝光DVD和其他录制媒体)来将电影分发给个人 观众。其他用于在二级市场中分发电影的方法，还包括通过互联网下载和通过 电视网络提供商广播。为能通过二级市场分发，35mm电影内容将以每胶片帧为单位转换为原始 数字视频。要想达到HD的清晰度，每个胶片帧至少需要1920x1080像素，对 于一个两小时长的电影，这种原始数字视频需要大约25GB存储空间。为避免 这种存储要求，通常使用编码器来编码和压縮原始数字视频，以此来显著的降 低存储要求。编码标准包括例如但不限于运动图象专家组(MPEG) -1、 MPEG-2、用于HD的增强型MPEG-2、 MPEG-4 AVC、 H.261、 H.263和电影 和电视工程师学会(SMPTE) VC-1。为了能够满足在电话机、个人数字助理(PDA)和其他手持设备上显示电 影的要求，压縮的数字视频数据通常通过互联网下载、上传或存储到手持设备 上，然后由手持设备对视频数据进行解压、解码，以便显示在手持设备的视频 显示器上，从而展示给用户。然而，这种手持设备的尺寸通常会限制其上的视 频显示器(屏幕)的尺寸。例如，手持设备上的小屏幕通常只有2英寸(5.08cm)
长(对角线)。相比之下，电视机的屏幕通常为30—60英寸(76.2cm—152.4cm)(对角线测量)或更大。屏幕尺寸上的差异对观众所能感觉得到的图象质量有 着较大的影响。例如，常见的传统PDA和高端电话机屏幕有着与人眼相同的宽高比。在 小屏幕上，人眼往往无法察觉细小的细节，例如文本、面部特征和远处的物体。 例如，在电影院中，对于包含位于远处的演员和铁路标记的全景画面来说，观 众可以轻易识别出演员的面部表情和阅读标记上的文字。在HD电视机屏幕 上，观众也有可能做到这一点。但是，在转换到手持设备的小屏幕上时，由于 人眼的限制，将不再可能识别面部特征和文字。无论屏幕有多大，其清晰度不是受技术限制，就是受人眼的限制。但是， 在小屏幕上，这种限制更加明显。例如，常见的传统PDA和高端电话机屏幕 的宽高比为4: 3，通常能够显示分辨率为320x240像素的QVGA视频。相比 之下，HD电视机屏幕的宽高比通常为16: 9，通常能够显示分辨率高达 1920x1080像素的视频。在对HD视频进行转换、以便使其适合在像素上少很 多的小屏幕上显示的过程中，像素数据将进行合并，视频细节的损失会很多。 将小屏幕像素数增加至HD电视机的水平能够避免上述转换过程，但是，正如 前面提到的那样，人眼会施加其自身的限制，视频的细节仍会损失。通常使用视频编码转换和编辑系统将视频从一种格式和清晰度转换到另 一种格式和清晰度，以便在特定的屏幕上进行回放。例如，输入这种系统的可 能是DVD视频，而在转换过程之后，输出的视频将在QVGA屏幕上重新播放。 转换过程中还可使用交互编辑功能来生成编辑和转换后的输出视频。为了能够 支持多种不同的屏幕尺寸、清晰度和编码标准，需要生成多种输出视频流或文 件。视频通常是以"大屏幕"格式拍摄的，这种格式在供电影院观看时会收到良 好的效果。因为视频随后将进行编码转换，所以"大屏幕"格式视频可能不足以 支持转换到小屏幕尺寸。在这种情况下，还没有一种转换方法能够生成可供小 屏幕显示的合适视频。通过本文的介绍并参考附图，与本发明技术方案相比， 现有和传统方法的局限性和缺点对于本领域的技术人员来说将变得更加明显
发明内容
本发明涉及一种装置和操作方法，其在
具体实施方式
和权利要 求中进行了进一步的描述。根据本发明的一个方面，本发明提供了一种与第一目标视频设备和第二目 标视频设备一起使用的视频摄像机，所述第一 目标视频设备包括第一视频显示 器器，所述第二目标设备包括第二视频显示器，所述第一视频显示器的显示屏 分辨率大于所述第二视频显示器的显示屏分辨率，所述视频摄像机包括摄像机视频显示器；用户输入接口；捕捉电路，用于捕捉原始视频帧序列；处理电路，与所述摄像机视频显示器、所述捕捉电路和所述用户输入接口 相连，用于将所述原始视频帧序列中的至少一个帧发往所述摄像机视频显示 器；所述处理电路响应所述用户输入接口 ，在所述摄像机视频显示器上显示子 帧，所述子帧对应于所述原始视频帧序列中所述至少一个帧中的一个区域；所述处理电路生成对应于所述子帧的元数据，所述元数据用于调整所述原 始视频帧序列，以在所述第二目标视频设备的所述第二显示器上生成对应所述 子帧的全屏显示。在本发明所述的视频摄像机中，所述第一 目标视频设备在所述第一视频显 示器上生成对应于所述原始视频帧序列的全屏显示。在本发明所述的视频摄像机中，所述处理电路还生成对应于所述摄像机视 频显示器上另一子帧的另一元数据，所述第一 目标视频设备使用所述另一元数 据调整所述原始视频帧序列，以在所述第一视频显示器上生成对应所述另一子 帧的另一全屏显示。在本发明所述的视频摄像机中，所述处理电路使用所述元数据调整所述原 始视频帧序列，以生成输出，第三目标视频设备使用所述输出在第三视频显示 器上生成全屏显示。
在本发明所述的视频摄像机中，所述第二目标视频设备使用所述元数据调 整所述原始视频帧序列，以在所述第二视频显示器上生成全屏显示。根据本发明的一个方面，本发明提供了一种与第一目标视频设备和第二目 标视频设备一起使用的视频摄像机系统，所述视频摄像机系统包括视频显示器，具有全屏区域；用户输入接口；处理电路，响应所述用户输入接口，在所述视频显示器上显示子帧，所述 子帧对应所述全屏区域内的一个区域；视频捕捉电路，用于捕捉原始视频帧序列；所述处理电路传送所述原始视频帧序列中的至少一个帧，以供使用所述视频显示器的所述全屏区域显示；所述处理电路生成第一输出以用于在所述第一 目标视频设备上生成第一显示，所述第一输出对应于所述全屏区域；所述处理电路生成第二输出以用于在所述第二目标视频设备上生成第二显示，所述第二输出对应于所述子帧。在本发明所述的视频摄像机系统中，所述第二输出包括元数据。 在本发明所述的视频摄像机系统中，所述第二输出包括视频输出。 在本发明所述的视频摄像机系统中，所述视频输出包括经过编码的视频输出。在本发明所述的视频摄像机系统中，所述处理电路生成第三输出，该第三 输出对应于所述视频显示器显示上的另一子帧。在本发明所述的视频摄像机系统中，所述视频摄像机系统还包括摄像机壳 体，其中装有所述视频显示器、所述用户输入接口、所述处理电路和所述视频 捕捉电路。在本发明所述的视频摄像机系统中，所述视频摄像机系统还包括摄像机壳 体和支持系统壳体，所述摄像机壳体装有所述视频捕捉电路，所述支持系统壳 体装有所述处理电路的至少一部分。根据本发明的一个方面，本发明提供了一种视频处理系统，用于帮助视频 摄像机捕捉视频，所述视频处理系统包括视频摄像机接口 ，用于接收所述视频摄像机捕捉的原始视频帧序列；视频显示器接口，用于生成发往视频显示器的视频输出；处理电路，与所述摄像机接口、所述视频显示接口和所述输入接口相连，用于通过所述视频显示接口在所述视频显示器上显示所述原始视频帧序列中 的至少一个帧；所述处理电路响应代表用户输入的信号，在所述视频显示器上显示子帧， 所述子帧对应于所述原始视频帧序列中所述至少一个帧上的一个区域，该区域 是在所述代表用户输入的信号中指定的；所述处理电路用于生成对应所述子帧的元数据，目标视频播放器使用所述 元数据调整所述原始视频帧序列，以在所述目标视频播放器的目标视频显示器 上生成对应所述子帧的全屏显示；所述视频显示器具有比所述目标视频显示器大的可视区域。在本发明所述的视频处理系统中，所述视频显示器接口还用于生成对应于 辅助视频显示器上显示的所述原始视频帧序列中所述至少一个帧中的一个区 域的子帧。在本发明所述的视频处理系统中，所述处理电路在所述元数据中生成所述 子帧与所述原始视频帧序列中多个帧之间的关联关系。 在本发明所述的视频处理系统中，所述处理电路还响应代表用户输入的其他信号，在所述视频显示器上显示 与所述原始视频帧序列相关联的另一子帧；所述处理电路还生成对应于所述另一子帧的另一元数据，由另一 目标视频 播放器用于调整所述原始视频帧序列，以在所述另一 目标视频显示器上生成全 屏显示；所述处理电路生成的所述元数据和所述另 一元数据共同定义一个子帧组。 在本发明所述的视频处理系统中，在所述子帧组中至少有两个子帧与所述 原始视频帧序列中的一个子帧相对应。在本发明所述的视频处理系统中，所述子帧组中至少两个子帧包含有一个 物体，该物体的空间位置随所述原始视频帧序列而变化。在本发明所述的视频处理系统中，所述子帧组中的两个子帧对应于所述原 始视频帧序列中至少两个不同的帧。在本发明所述的视频处理系统中，所述子帧组中的至少一部分对应于由所 述原始视频帧序列描述的画面的一个子画面。在本发明所述的视频处理系统中，所述元数据还包括编辑信息，由目标视 频播放器电路用于编辑所显示的子帧。在本发明所述的视频处理系统中，所述编辑信息包括应用到与所述子帧相 关联的所述原始视频帧序列中对应部分上的视觉调整。在本发明所述的视频处理系统中，所述编辑信息包括应用到所述子帧上的 运动信息。在本发明所述的视频处理系统中，所述编辑信息包括应用到所述子帧上的 尺寸调整信息。在本发明所述的视频处理系统中，所述编辑信息包括应用到所述子帧上的 媒介。在本发明所述的视频处理系统中，所述系统还包括 麦克风接口 ，用于接收对应于所述原始视频帧序列的音频信息； 所述元数据将进一步由所述目标视频播放器电路用于调整由所述目标视 频播放器播放的对应于所述子帧的所述音频信息。根据本发明的一个方面，本发明提供了一种方法，包括 通过视频摄像机捕捉原始视频帧序列；在视频显示器上显示所述原始视频帧序列中的至少一个帧； 接收与所述原始视频帧序列有关的用户输入；在所述视频显示器上显示子帧，所述子帧对应于所述原始视频帧序列中的 所述至少一个帧中的一个区域，该区域由所述用户输入指定；生成对应所述子帧的元数据，由目标视频播放器用于调整所述原始视频帧 序列，以在所述目标视频播放器的目标视频显示器上生成对应所述子帧的全屏 显示，且所述视频显示器具有比所述目标视频显示器大的可视区域。
在本发明所述的方法中，所述方法进一步包括将对应于所述原始视频帧序 列中的所述至少一个帧中的所述一个区域的子帧发往辅助视频显示器。在本发明所述的方法中，所述元数据包括所述子帧与所述原始视频帧序列 中多个帧之间的关联关系。在本发明所述的方法中，所述方法还包括响应代表用户输入的另一信号，在所述视频显示器上显示与所述原始视频 帧序列相关联的另一子帧；生成对应于所述另一子帧的另一元数据，由另一目标视频播放器用于调整 所述原始视频帧序列，以在所述另一目标视频显示器上生成全屏显示，由所述 处理电路生成的所述元数据和所述另一元数据共同定义一个子帧组。在本发明所述的方法中，在所述子帧组中至少有两个子帧与所述原始视频 帧序列中的一个子帧相对应。在本发明所述的方法中，所述子帧组中的至少两个子帧包含一个物体，该 物体的空间位置随所述原始视频帧序列而变化。在本发明所述的方法中，所述子帧组中的两个子帧对应于所述原始视频帧 序列中至少两个不同的帧。在本发明所述的方法中，所述子帧组中的至少一部分对应于由所述原始视 频帧序列描述的画面的一个子画面。在本发明所述的方法中，所述元数据还包括编辑信息，由目标视频播放器 电路用于编辑所显示的子帧。在本发明所述的方法中，所述编辑信息包括应用到与所述子帧相关联的所 述原始视频帧序列中对应部分上的视觉调整。在本发明所述的方法中，所述编辑信息包括应用到所述子帧上的运动信息。在本发明所述的方法中，所述编辑信息包括应用到所述子帧上的尺寸调整 信息。在本发明所述的方法中，所述编辑信息包括应用到所述子帧上的媒介。 在本发明所述的方法中，所述方法还包括
接收对应所述原始视频帧序列的音频信息；生成所述元数据，其中包括由目标视频播放器电路用来调整由所述目标视 频播放器播放的对应于所述子帧的音频信息的信息。通过下面的具体实施方式
及说明书附图，本发明的多种特征和优点将更为 清晰。
图1是依据本发明的视频处理系统实施例的系统示意图；图2是依据本发明实施例的视频处理系统的视频显示器上子帧布局示意图；图3是依据本发明的视频处理系统另一实施例的系统示意图； 图4是依据本发明的视频处理系统又一实施例的系统示意图； 图5是依据本发明的视频处理设备一实施例的结构示意图； 图6是依据本发明的视频处理设备在生成子帧元数据时操作过程实施例 的示意图；图7是依据本发明的原始视频帧和对应子帧实施例的示意图；图8是依据本发明的子帧序列中示范性子帧元数据的示意图；图9是依据本发明的包含子帧编辑信息的的示范性子帧元数据的示意图；图IO是依据本发明的视频处理系统显示器实施例的示意图，该显示器提供有图形用户接口 ，其中包含用于创建子帧的视频编辑工具；图11是依据本发明的用于生成多组子帧元数据的视频处理系统实施例的系统示意图；图12是依据本发明的用于为多个目标视频显示器生成多组子帧元数据的 视频处理系统另一实施例的系统示意图；图13是依据本发明的生成子帧元数据过程的逻辑图；图14是依据本发明的视频处理系统另一实施例的系统示意图；图15是依据本发明的视频处理系统又一实施例的系统示意图。
具体实施方式
图1是依据本发明的视频处理系统实施例的系统示意图。视频处理系统120与摄像机110相连，用于从摄像机110接收原始视频帧。摄像机110捕捉 的原始视频帧序列组成画面102。画面102可以是摄像机110捕捉的任一种画 面。例如，画面102可以是一大幅风景，且画面极为详细。此外，画面102 还可以是互相对话的演员的头部照。另外，画面102还可以是如图1所示的狗 追球的动作画面。在捕捉原始视频帧的过程中，画面102的类型通常会随时间 发生变化。在现有的视频拍摄系统中，用户操作摄像机1来捕捉画面102的原始视频 帧，这些帧进行了优化，以适应"大屏幕"格式。在本发明中，这些原始视频帧 随后才会进行转换，以便由配有各自的视频显示器的目标视频播放器最终显示 出来。因为视频处理系统120会随时间捕捉不同类型的画面，对捕捉的视频进 行转换以生成用于在目标视频播放器上观看的子帧的方式也会随时间发生变 化。"大屏幕"格式并不总是能够很好的转换为小屏幕类型。因此，本发明的视 频处理系统120支持这样一种原始视频帧捕捉方式，即在转换到较小格式时， 这种方式可以提供高质量的视频子帧，以供显示在目标视频播放器的一个或多 个视频显示器上。为支持这种能够生成高质量视频子帧的原始视频帧的捕捉，视频处理系统 120运行子帧元数据生成应用(SMGA) 140，其可以是软件应用程序、专用 的硬件或硬件与软件的组合。视频处理系统从摄像机110接收代表画面102的 原始视频帧序列。视频处理系统120包括视频显示器130，其具有由数字132 代表的特定的对角尺寸。视频处理系统120将代表原始视频帧序列的视频输出 提供给视频显示器130。视频处理系统120还从一个或多个用户输入设备接收代表用户输入的信 号。这些用户输入设备包括键盘123、鼠标121和/或用于接收用户输入的其他 用户输入设备。视频处理系统120响应代表用户输入的信号，将子帧通过视频 显示器130展示给用户。每个子帧都代表转换后将要显示在目标视频播放器显 示屏上的图像。因此，视频处理系统120允许用户捕捉这样一种原始视频帧，
这种帧能够很好的转换为子帧，以便随后通过一个或多个目标视频播放器的显 示屏来观看。这些子帧的显示方式将结合图2到图4进一步描述。视频处理系统120还会生成对应子帧的元数据。目标视频播放器使用该元 数据来调整原始视频帧序列，在目标视频播放器的目标视频显示器上生成对应 子帧的全屏显示。使用元数据在目标视频播放器的目标视频显示器上生成全屏 显示的方式将结合图4_图13进一步描述。在多数情况下，视频显示器130 的可视区域要大于目标视频显示器。这一点将结合图2 —图13进一步描述。视频处理系统120还可用于接收对应原始视频帧序列的音频信息。视频处 理系统120从多个麦克风111A、 111B和111C中接收音频信息。在一种实现 方式中，多个麦克风111A、 111B和111C设置在不同的位置，以便捕捉与画 面102有关的不同音频信息。根据本发明，视频处理系统基于用户的输入，以 与子帧相对应的方式调整多个麦克风111A、 111B和111C捕捉的音频信息。 此外，元数据中还包括其他信息，目标视频播放器使用这些信息来调整对应子 帧的音频信息，以播放出来。图2是依据本发明实施例的视频处理系统的视频显示器上子帧布局示意 图。如图所示，视频显示器130中存在一个可视区域，其中显示了代表图1 中画面102的原始视频帧序列。根据图2所示的实施例，视频处理系统120 还用于响应代表用户输入的其他信号，在视频显示器130上显示除子帧131 以外的、与原始视频帧序列相关联的其他子帧133和135。这些子帧131中的 每一个都具有与多个目标视频显示器其中之一相对应的纵横比和尺寸。此外， 视频处理系统120生成每一个子帧131、 133和135的元数据。视频处理系统 120所生成的子帧131、 133和135的元数据使得对应的目标视频显示器在其 视频显示器上生成对应的显示画面。在图2所示的实施例中，视频处理系统 120包括单个视频显示器130，每个子帧131、 133和135正是通过该显示器显 示出来的。在将参考图4进行描述的另一实施例中，视频处理系统生成的每个 子帧将独立的显示在对应的目标视频播放器上。在图2所示的实施例中，在子帧组中至少有两个子帧133和135与原始视 频帧序列中的一个帧相对应。因此，例如，在特定的目标视频播放器中，子帧
133和135以及其中包含的相关视频信息将会在不同的时间显示在单个目标视 频播放器上。在图2所示的实施例中，目标视频播放器所显示视频的第一部分 展示的是子帧133中包含的狗追球的画面，而目标视频播放器所显示视频的第 二部分展示的是子帧135中描述的反弹球的画面。因此，在本实施例中，目标 视频播放器上显示的在时间上相邻的视频序列是由单个原始视频帧序列生成 的。此外，在图2所示的实施例中，在子帧组中至少有两个子帧包含空间位置 随原始视频帧序列变化的物体。在这种帧中，显示狗的子帧133的空间位置会 随与显示反弹球的子帧135有关的原始视频帧序列变化。此外，在图2所示的 实施例中，在子帧组中至少有两个子帧可对应原始视频帧序列中的至少两个不 同的帧。这种情况下，子帧133和135会对应显示在视频显示器130上的原始 视频帧序列中的不同帧。这种情况下，在第一时间段，选择子帧133以便在一 段时间内显示狗的图象。此外，在这种情况下，子帧135可对应不同的时间段， 用于显示反弹球。在该实施例中，子帧133和135组中的至少一部分可对应由 原始视频帧序列所描述画面的一个子画面。所描述的序列可在整个显示屏130 上显示，也可在子帧131中显示。图3是依据本发明的视频处理系统另一实施例的系统示意图。图3中的视 频处理系统151与图1所示实施例的不同之处在于包括摄像机在内的所有组件 都包含在一个单独的单元中。因此视频处理系统151包括显示器153、输入接 口 155、输出接口 157、处理电路159和摄像机电路167。图3中视频处理系 统151中的各组件153、 155、 157、 159和167按要求连接，以此来支持视频 处理系统151的功能。接口 155和157以及视频处理系统151中组件的连接关 系将结合图5进一步描述。视频处理系统中各组件的连接关系将在本文进一步 描述，因为这与理解本发明有关。在图3所示的实施例中，视频处理系统151使用其摄像机电路167捕捉原 始视频帧序列。输入接口 155用于从用户处接收代表用户输入的信号。处理电 路159连接到摄像机电路167、视频显示器153和输入接口 155，用于将原始 视频帧序列中的至少一个帧显示在显示器153上。此外，处理电路159响应代
表用户输入的信号，将至少一个子帧161、 163和/或165显示在视频显示器153 上。在图3所示的实施例中，每个子帧161、 163和/或165可对应上述原始视 频帧序列至少一个帧中由代表用户输入的信号所确定的一个区域。处理电路159还用于生成对应子帧161、 163和/或165的元数据。与图1 实施例中的情况相同，在图3所示的实施例中，目标视频播放器使用元数据来 调整原始视频帧序列，在目标视频播放器的目标视频显示器上生成对应子帧的 全屏显示。与图1中实施例的情况相同，视频显示器153的可视区域要大于目 标视频显示器。图4是依据本发明的视频处理系统又一实施例的系统示意图。视频处理系 统120为计算机，或者能够处理从摄像机收到的视频数据并向通信连接到视频 处理系统120的显示器130输出数据的其他设备。摄像机110能够以任意格式 捕捉包含视频内容的原始视频帧序列。在一个实施例中，视频数据是高清视频 数据，每个视频帧由例如1920x1080 (水平x垂直)像素组成，纵横比为16: 9。在另一实施例中，视频数据是标准或低清晰度视频数据，每个视频帧由特 定数量的像素组成，纵横比为4: 3。例如，如果标准视频数据是国家电视系 统委员会(NTSC)视频数据，则每个视频帧由例如720x486或720x540像素 (水平x垂直)组成。在另一实施例中，如果标准视频数据是逐行倒相(PAL) 视频数据，则每个视频帧由720x576像素(水平x垂直)组成。此外，视频数 据115可以是经过编码和压縮的、未经过压縮但经过编码的或者未经过压縮也 未经过编码的，在编码时可使用任意标准例如MPEG-l/MPEG-2、用于HD的 增强型MPEG-2、 MPEG-4AVC、 H.261、 H.263和SMPTE VC-1 。视频处理系统120还执行子帧元数据生成应用140。在本文中，短语"子 帧元数据生成应用"是指在执行下文中的子帧元数据生成应用140时所必须的 任意类型的硬件、软件和/或固件。通常，子帧元数据生成应用140的输入端 接收摄像机110生成的视频数据，从视频数据115中生成子帧元数据150，用 于调整视频数据115，以便显示在不同视频显示设备160的不同尺寸的目标视 频显示器165上。视频显示设备160包括但不限于电视机160a、个人数字助理(PDA) 160b、 蜂窝电话机160c和笔记本电脑160d。每个视频显示设备160a—160d通信连 接到各自的视频显示器165a—165d，每个显示器的尺寸(或可视区域)分别 为162、 165、 166和168。每个视频显示器165a—165d的可视区域162、 164、 166和168是指显示屏165a—165d的对角线长度。PDA 160B和蜂窝电话机 160c的视频显示器165b和165c代表小视频显示器，电视机160a和笔记本电 脑160d的视频显示器165a和165d代表大视频显示器。在本文中，短语"小视 频显示器"是指可视区域(例如164和166)小于生成子帧元数据150的视频 处理系统120的显示器130的可视区域132的视频显示器。在一项操作过程中，子帧元数据生成应用140用于从摄像机110接收视频 数据，将视频数据显示在显示器130上展示给用户，接收用户响应所显示的视 频数据后输入的用户输入，响应用户输入，生成子帧元数据150。具体来说， 子帧元数据生成应用140用于将视频数据中原始视频帧序列中的至少一个帧 显示在显示器130上展示给用户，接收用户输入的指定其中一个子帧的子帧信 息，所指定的子帧对应所显示的帧所描述画面中的一个用户所感兴趣的区域， 并从该子帧信息中生成子帧元数据150。在本文中，术语"子帧"包括原始视频 帧的至少一部分，或者可包括整个原始视频帧。得到的子帧元数据150定义了 一个子帧序列，用于调整原始视频帧(视频数据)序列，以此来在目标视频显 示器165a-165d上生成子帧的全屏显示。子帧元数据生成应用140生成的子帧元数据150可包括一个或多个子帧元 数据150组，每一个都是专门为特定的目标显示屏165a—165d和/或特定尺寸 162—168的视频显示器165a—165d生成的。因此，为了能在特定的显示屏(例 如显示屏165a)上显示，每一个视频显示设备160都通过收到的一组专门为 该视频显示器165生成的视频帧元数据150来调整原始视频数据。例如，在收 到原始视频数据和多组子帧元数据中的一组(也就是子帧元数据组C)后，蜂 窝电话机160c使用收到的子帧元数据150组来调整原始视频数据，在其视频 显示器(视频显示器165c)上显示调整后的视频。此外，子帧元数据生成应用140还可用于在子帧元数据150中添加编辑信 息，由目标视频显示器将其应用到原始视频数据中。例如，在一个实施例中， 编辑信息是在用户响应原始视频数据交互显示、作为其他用户输入而提供的。
子帧元数据生成应用140接收编辑信息，然后将其添加到生成的子帧元数据 150中。
编辑信息包括但不限于，摇摄方向和摇摄率、縮放率、对比度调整、亮度 调整、滤光镜参数和视频效果参数。具体来说，与子帧相关联，存在几种类型 可以应用的编辑信息，它们与下列内容有关a)视觉调整，例如亮度、滤光、 视频效果、对比度和色彩调整；b)运动信息，例如摇摄、加速、速率、子帧 在原始帧序列上的移动方向；c)子帧在原始帧序列上的尺寸调整信息，例如 縮放(包括放大、縮小和縮放比例)；d)与原始视频数据落入子帧中的那些部 分相关联、合并或被其叠加的任何类型的补充媒介(例如叠加的文本或图形或 补充的音频)。
结合图1到图4可知，本发明视频处理系统120可在捕捉原始视频帧过程 中对导演和/或摄像机操作者提供帮助。通过同时展示原始视频帧和子帧，视 频处理系统120能够向导演和/或摄像机操作者提供立即反馈，使得导演和/或 摄像机操作者可以确保捕捉到的原始视频数据能够很好的转换到所有可能使 用的目标视频播放器上。通过使用视频处理系统120提供的反馈，导演和/或 摄像机操作者可调整摄像机110的工作方式，以便捕捉合适的原始视频帧。
图5是依据本发明的视频处理设备一实施例的结构示意图。视频处理系统 120包括视频处理电路200，用于处理视频数据，以及从视频数据中生成子帧 元数据150。视频处理电路200包括处理电路210和与其通信连接的本地存储 器230。本地存储器230中存储有对应于这里描述的至少一部分功能的操作指 令，这些指令由处理电路210来执行。例如，在一个实施例中，本地存储器 210中存储有操作系统240、子帧元数据生成软件模块250、解码器260和像 素转换模块270。
子帧元数据生成软件模块250中包括有由处理电路210执行的、用于从视 频数据和用户输入中生成子帧元数据150的指令。子帧元数据生成软件模块 250将指令发往处理电路210，这些指令用于接收、存储和获取原始视频帧115 序列、向用户显示原始视频帧115、处理用户输入(这些用户输入是用户对所
显示的原始视频帧的响应)、生成将要展示在视频显示器上的子帧，以及响应用户输入，生成子帧元数据150。在视频数据115进行了编码的实施例中，解码器260中包含解码指令，处 理电路210执行这些指令，对编码的视频数据进行解码，生成解码视频数据。 例如，在离散余弦变换(DCT)编码/压縮格式(例如MPEG-1、 MPEG-2、用 于HD的增强型MPEG-2、 MPEG-4 AVC、 H.261、 H.263)中，考虑到通常会 出现的帧间(inter-frame)或域间(inter-field)运动，使用运动向量来从相邻 帧或域构建基于帧或域的预测。例如，在使用MPEG编码标准时，原始视频 帧序列将编码为由三种不同类型的帧组成的序列T帧、"B"帧和"P"帧。T 帧是帧内编码的，"P"帧和"B"帧是帧间编码的。因此，"r，帧是独立的，也就 是说它们在重建过程中无需参考其他帧，而"P"帧和"B"帧是相关的，也就是说， 它们需要依靠其他帧来进行重建。具体来说，从上一个I帧或P帧前向预测P 帧，而可从上一个/下一个I帧或P帧向前预测和向后预测B帧。利用DCT对 IPB帧序列进行压縮，从而将'T，帧、"P"帧、或"B"帧中的NxN像素数据块转 换成DCT域，其中N通常设置为8，且在DCT域中更容易地执行量化。然后 对经量化的比特流执行游程编码和熵编码，以生成比特率显著小于初始压縮视 频数据的压縮比特流。解码器260对压縮的视频数据进行解压縮以生成编码视 频数据，然后对该编码视频数据解码，生成初始视频帧序列(经解码的视频数 据)。子帧元数据生成软件模块250将解码视频数据提供给处理电路210，以便 将原始视频帧显示给用户，并生成子帧元数据150。例如，在一个实施例中， 子帧元数据150是通过参考原始的视频帧序列来生成的。在另一实施例中，如 果视频数据115使用MPEG编码标准进行了编码，即原始的视频帧序列被编 码成'T，、 "P"和"B"帧序列，则子帧元数据150可通过参考视频帧序列的IPB 序列(编码)来生成。像素转换模块270中包含一些指令，处理电路210执行这些指令，将视频 数据115的像素分辨率转换为与子帧元数据150相关联的目标视频显示器的像 素分辨率。例如，在一个实施例中，视频数据115的像素分辨率为高清分辨率 (也就是每帧1920x1080像素)，而与子帧元数据相关联的目标视频显示器的 分辨率为每帧320x240像素，则像素转换模块270将视频数据115从每帧 1920x1080像素转换为每帧320x240像素，以便在目标视频显示器上正常显示。处理电路210可使用共享处理设备、单个处理设备或多个处理设备来实 现。这种处理设备可以是微处理器、微控制器、数字信号处理器、微型计算机、 中央处理单元、现场可编程门阵列、可编程逻辑设备、状态机、逻辑电路、模 拟电路、数字电路和/或基于操作指令处理信号(模拟和/或数字)的任何设备。 本地存储器230可以使单个存储设备或多个存储设备。这种存储设备可以使只 读存储器、随机访问存储器、易失性存储器、非易失性存储器、静态存储器、 动态存储器、闪存和/或可以存储数字信息的任何设备。需要注意的是，当处 理电路通过状态机、模拟电路、数字电路和/或逻辑电路来实现其自身的一种 或多种功能时，存储对应的操作指令的存储器是嵌入在包含所述状态机、模拟 电路、数字电路和/或逻辑电路的电路中的。视频处理电路200进一步包括主显示器接口 220、第一目标显示器接口 222、第二目标显示器接口 224、用户输入接口 217、全帧视频和子帧元数据输 出接口 280和视频摄像机输入接口 290，上述接口中的每一个都通信连接到本 地存储器230和处理电路210。主显示器接口 220提供到视频处理设备主显示 器的接口 ，第一 目标显示器接口 222和第二目标显示器接口 224中的每一个都 提供到各自目标视频显示器的接口，依照子帧元数据150调整后的视频数据 115正是在这些目标视频显示器上显示出来的。用户输入接口 217提供一个和 多个接口，用于通过一个和多个输入设备(例如鼠标、键盘等)从操作视频处 理系统120的用户处接收用户输入。例如，这种用户输入可包括子帧信息和编 辑信息，该子帧确定所显示的帧所描述画面中的一个用户所感兴趣(子帧)的 区域，该编辑信息用于编辑子帧信息。视频数据和子帧元数据输出接口 280提供一个和多个接口，用于输出视频 数据115和生成的子帧元数据150。例如，视频数据和子帧元数据输出接口 280 可包括到存储介质(例如视频碟片、视频磁带和其他存储媒介)的接口，用于 存储视频数据115和子帧元数据150;还包括到传输介质的接口，用于传送视 例如通过互联网、其内内部网和其他网络进行 传送)；和/或到用于对视频数据115和子帧元数据150进行进一步处理的其他 处理电路的接口。视频摄像机接口 290包括一个和多个接口，用于接收压縮和 未压縮格式的视频数据115。在另一项操作中，子帧元数据生成软件模块250在初始化后，向处理电路 210发出指令，通知其或者通过视频摄像机接口 290接收视频数据115，或者 从本地存储器230中读取先前存储的视频数据115。如果视频数据115进行了 编码，则子帧元数据生成软件模块250进一步向处理电路210发出指令，通知 其访问解码器260，使用解码器260所提供的指令对编码的视频数据进行解码。子帧元数据生成软件模块250随后向处理电路210发出指令,通知其从视 频数据115中读取原始视频帧序列中的至少一个帧，并通过主显示器接口 220 将该原始视频帧显示给用户。用户通过用户输入接口217进行输入，指定与所 显示的帧所描述画面中的一个用户所感兴趣的区域相对应的子帧，作为对用户 输入的响应，子帧元数据生成软件模块250随后向处理电路210发出指令，通 知其从用户输入中生成子帧元数据150，并将生成的子帧元数据150存储在本 地存储器230中。在需要进行像素转换的实施例中，子帧元数据生成软件模块 250进一步引导处理电路210访问像素转换模块270，以生成具有合适的像素 分辨率的子帧元数据150。子帧元数据生成软件模块250根据目标视频显示器进行编程，根据该目标 视频显示器的类型，子帧元数据生成软件模块250生成的子帧元数据150可包 括一个和多个子帧元数据150组，每一组都是专门为特定的目标视频显示器而 生成的。例如，在一个实施例中，为了能在特定的视频显示器上显示(例如第 一目标视频显示器)，处理电路210通过第一目标显示器接口 222输出对应于 第一目标视频显示器的原始视频数据和子帧元数据150组。在另一实施例中， 处理电路210通过输出接口 280输出原始视频数据和一个和多个子帧元数据 150组，以便进行随后的处理、存储和传送。图6是依据本发明的视频处理设备在生成子帧元数据时操作过程实施例 的示意图。在图6中，视频数据115表示为原始视频帧序列310。原始视频帧 序列(视频数据115)中的每个帧310都将输入到子帧元数据生成应用140中， 生成子帧元数据150。此外，如图1一图5所述，原始视频帧序列中的每个帧 310都将显示在视频处理系统120的显示器130上，以供用户观看和操作。例如，用户可操作输入设备320如鼠标来控制指针330在显示屏130上的 位置。指针330可用于指定对应于显示在显示屏130上当前帧310中感兴趣区 域的子帧315。例如，用户可使用指针330在显示屏上创建一个窗口，并通过 在鼠标320上执行一系列的点击和拖动操作来控制该窗口的尺寸和位置。 一旦 用户使用输入设备320在显示屏130上创建了窗口，用户还可使用输入设备 320来指示该窗口定义了一个子帧315，这是通过经由用户接口 217向子帧元 数据生成应用140发出用户信号325来实现的。从用户信号325中，子帧元数 据生成应用140生成子帧元数据150。例如，子帧元数据150可指定窗口的中 心在当前帧310上的空间位置(例如在当前帧310上对应窗口中心的像素位置) 和窗口的尺寸(例如以像素数量表示的窗口的长度和宽度)。子帧元数据生成应用140包括子帧标识模块340、子帧编辑模块350和元 数据生成模块360。 一旦收到创建子帧315的用户信号325，子帧标识模块340 便为该子帧分配子帧标识符345。该子帧标识符345用于标识子帧元数据150 所定义的子帧序列中的该子帧。子帧编辑模块350响应其他的用户信号325，在子帧上执行编辑操作。例 如， 一旦用户使用输入设备320创建了子帧315，用户还可进一步使用输入设 备320来编辑子帧315，并通过用户接口 217向子帧元数据生成应用140发出 以编辑内容为内容的用户信号325。用户信号将输入给子帧编辑模块350，生 成编辑信息355，该编辑信息用于描述需要在子帧315上所执行的编辑操作。 编辑信息355包含在子帧元数据150中，用于在目标视频显示器显示该子帧之 前，对目标显示设备上的子帧315进行编辑。尽管可特别指出将编辑信息应用 于与整个视频数据，但多数编辑信息都只应用到特定的一个和多个子帧上。编辑信息355的例子包括但不限于摇摄方向和摇摄率、縮放比例、对比度 调整、亮度调整、滤光镜参数和视频效果参数。视频效果参数的例子包括但不 限于剧割(wipe)、淡入淡出(fade)、溶入、表面和物体渐变、聚光和打亮、
色彩和类型填充、视频和图形叠加、色彩修正、3D透视修正和3D纹理贴图 (3D texture mapping)。视频效果的其他例子包括"时移"。第一子帧定义的第 一序列可在播放时进行慢放，这仅需添加与第一子帧相关联的、用于控制进行 这种播放的元数据编辑信息即可。与第二子帧相关联的第二序列可进行正常的 播放，与第三子帧相关联的第三序列可进行快放。时移的实现方法可包括增加 和降低帧速率和仅仅复制和丢弃原始视频序列中选中的帧，还可通过更为复杂 的方式来合并帧，以生成其他帧或降低帧总数。子帧标识模块340分配的子帧标识符345、子帧编辑模块350生成的编辑 信息355、当前原始视频帧310和定义子帧315尺寸和位置的用户信号325将 输入到子帧元数据生成模块360中，来生成子帧元数据150。通常，对于每个 子帧315，子帧元数据150都包括子帧标识符345，从中提取子帧315的原始 视频帧310的标识符，与原始视频帧310有关的子帧315的位置和尺寸和与子 帧315有关的任何编辑信息355。子帧元数据生成模块360为每个子帧315生成子帧元数据150，并输出用 于定义一系列子帧315的子帧元数据150集合。子帧315序列可包括每个原始 视频帧310的一个子帧、每个原始视频帧310中顺序显示的多个子帧315、对 应由原始视频帧310序列描述的画面的子画面的多个子帧315或由原始视频帧 310描述的多个子画面的多个子帧315。例如，子帧元数据150可包括顺序元 数据，即标识出一系列子画面，也标识出与该一系列子画面中的每个子画面相 关的每个子帧315。子帧元数据150可进一步指出子画面中子帧315位置的相对差(relative difference)。例如，在一个实施例中，子帧元数据150可指出子画面中的每个 子帧315都位于视频显示器130上同一固定的空间位置(例如每个子帧315 包含相同的像素位置)。在另一实施例中，子帧元数据150可指出子画面中每 个子帧315的空间位置随子帧而变化。例如，子画面中子帧序列中的每个子帧 315都可包含一个物体，其空间位置随对应的原始视频帧而变化。图7是依据本发明的原始视频帧和对应子帧实施例的示意图。在图7中， 通过初始视频帧310的第一序列410描绘第一画面405，通过初始视频帧310
的第二序列420描绘第二画面408。因此，每个画面405和408均包括有初始 视频帧310的对应序列410和420，并通过连续显示初始视频帧310的各序列 410和420中的每个初始视频帧310来观看。但是，为了在小视频显示器上显示每个画面405和408而不降低观看者感 知的视频质量，每个画面405和408都可被分割为多个单独显示的子画面。例 如，如图7所示，在第一画面405中，有两个子画面406和407;在第二画面 408中，有一个子画面409。就像可通过连续显示初始视频帧310的各序列410 和420来观看各画面405和408 —样，可通过显示各个子帧315序列来观看各 个子画面406、 407和409。例如，看到初始视频帧的第一序列410中的第一帧310a，用户可标识两 个子帧315a和315b，每个子帧都包含有表示不同子画面406和407的视频数 据。假设子画面406和407继续遍及初始视频帧310的第一序列410，用户可 进一步标识出初始视频帧310的第一序列410中的各初始视频帧310的两个子 帧315， 一个子帧对应一个子画面406和407。生成的结果是第一子帧序列430 和第二子帧序列440，其中，第一子帧序列430中的每个子帧315a包括表示 子画面406的视频内容；第二子帧序列440中的每个子帧315b包括表示子画 面407的视频内容。每个子帧序列430和440都被连续地显示。例如，可连续 显示对应于第一子画面406的所有子帧315a，之后连续显示对应第二子画面 407的所有子帧315。用这种方式，电影保持了画面405的逻辑流，同时允许 观众感知画面405中的细节。同理，看到初始视频帧的第二序列420中的第一帧310b，用户可标识出 与子画面409对应的子帧315c。再次，假设子画面409继续遍及初始视频帧 310的第二序列420中，用户可进一步在第二序列420的随后初始视频帧310 中标识出包含子画面409的子帧315c。结果产生子帧序列450，其中的每个子 帧315c包含表示子画面409的视频内容。图8是依据本发明的子帧序列中示范性子帧元数据的示意图。图8中展示 的子帧元数据150中包含的是顺序排列的元数据500，用于指示子帧的顺序(也 就是显示顺序)。例如，顺序排列的元数据500可标识子画面序列和每个子画
面的子帧序列。使用图7中展示的例子，顺序排列的元数据500可分成多个子 帧元数据150组520，每个组520对应特定的子画面。例如，在第一组520中，顺序元数据500从第一子帧序列(例如，序列 430)中的第一子帧开始，之后是第一序列430中的其它子帧。在图8中，第 一序列中的第一子帧被标记为初始视频帧A的子帧A，第一序列中最后一个 子帧被标记为初始视频帧F的子帧F。在第一序列430的最后一个子帧之后， 顺序元数据500继续第二组520，第二组520从第二子帧序列(例如，序列440) 的第一子帧(例如，子帧315b)开始，至第二序列440的最后一个子帧结束。 在图8中，第二序列的第一子帧被标记为初始视频帧A的子帧G，第一序列 中的最后一个子帧被标记为初始视频帧F的子帧L。最后一组520从第三序列 (例如，序列450)中的第一子帧(例如，子帧315c)开始，至第三序列450 的最后一个子帧结束。在图8中，第三序列的第一个子帧被标记为初始视频帧 G的子帧M，第三序列中的最后一个子帧被标记为初始视频帧I的子帧P。在各组520中的是该组520中的各个子帧的子帧元数据。例如，第一组 520包括第一子帧序列430中的各子帧的子帧元数据150。在典型的实施例中， 子帧元数据150可被组织为包括多个条目510的元数据文本文件。元数据文本 文件中的每个条目510包括有特定子帧的子帧元数据150。因此，元数据文本 文件中的每个条目包括有标识出与该元数据相关的特定子帧的子帧标识符，且 与初始视频帧序列中的一个帧相关联。图9是依据本发明的包含子帧编辑信息的的示范性子帧元数据的示意图。 因此，图9中包含在上文结合图8描述的元数据文本文件中的条目510中可能 包含的多种子帧元数据150。每个子帧的子帧元数据150包括子帧常规信息 600，例如分配给该子帧的子帧标识符(SF ID)、与从中提取除该子帧的原始 视频帧相关联的信息(OFID、 OF计数、播放偏移量)、子帧位置和尺寸和将 要显示该子帧的显示屏的纵横比(SF比)。此外，如图9所示，特定子帧的子 帧信息150可包括用于编辑该子帧的编辑信息355。图9中所示的编辑信息355 的例子包括摇摄方向和摇摄率、縮放比例、色彩调整、滤光镜参数、对图像或 视频序列的补充、其他视频效果和相关参数。
图IO是依据本发明的视频处理系统显示器一个实施例的示意图，该显示器提供有图形用户接口，其中包含用于创建子帧的视频编辑工具。视频处理显示器130上显示的是当前帧310及其子帧315。子帧315包括如图6中所描述 的由用户指定的感兴趣区域内的视频数据。 一旦指定了子帧315，用户便可使 用通过GUI 710提供给用户的一种或多种能够视频编辑工具来编辑子帧315。 例如，如图10所示，通过点击或选择GUI710中的一种编辑工具，用户可对 子帧315应用滤光镜、色彩修正、叠加或其他编辑工具。此外，GUI 710还可 允许用户在原始帧和/或子帧之间移动，以便观看和比较原始子帧序列和子帧 序列。图11是依据本发明的用于生成多组子帧元数据的视频处理系统一个实施 例的系统示意图。根据视频处理系统120所要为其生成子帧元数据的目标视频 显示器的数量和类型，视频处理系统120的处理电路210可从原始视频数据中 生成一组或多组子帧元数据150a、 150b、…150N，每组子帧元数据150a、 150b、 ...150N都是专门为特定的目标视频显示器而生成的。例如，在一个实 施例中，为了能显示在第一目标视频显示器上，处理电路210生成第一组子帧 元数据150a，其定义了子帧序列。第一组子帧元数据150a用于调整原始视频 数据，在第一目标视频显示器上生成子帧序列的全屏显示。图12是依据本发明的用于为多个目标视频显示器生成多组子帧元数据的 视频处理系统另一实施例的系统示意图。正如图1中描述的那样，视频处理系 统120如计算机或能够处理视频数据115的其他设备运行子帧元数据生成应用 140。子帧元数据生成应用140接收摄像机110捕捉的原始视频数据作为输入， 生成定义子帧序列的子帧元数据150，用于调整原始视频帧序列(视频数据 115)，在视频显示设备160的目标视频显示器165上生成子帧的全屏显示。图12中展示的是下列示范性视频显示设备电视机160a、个人数字助理 (PDA) 160b、蜂窝电话机160c和笔记本电脑160d。每个视频显示设备 160a-160d都通信连接到各自的视频显示器165a-165d。此外，每个视频显示设 备160a-160d还通信连接到各自的媒体播放器910a-910d。每个媒体播放器 910a-910d都包含视频播放电路，用于处理并在各自的视频显示器165a-165d 上显示视频内容。媒体播放器910可设置在视频显示设备160内，或者通信连 接到视频显示设备160。例如，与电视机160a相关联的媒体播放器910a可以 是VCR、 DVD播放器或者其他类似的设备。子帧元数据生成应用140生成的子帧元数据150可包含一个或多个子帧元 数据组150a—150d，每一组都是专门为特定的目标视频显示器165a—165d生 成的。例如，如图12所示，子帧元数据生成应用140为四个目标视频显示器 165a—615d生成四个子帧元数据组150a—150d。因此，为能在特定的视频显 示器(例如显示屏165a)上进行显示，需要使用专门为视频显示器165a生成 的视频元数据组150a对原始视频数据进行调整。在一项示范性操作中，通信连接的每个媒体播放器910都接收包含原始视 频帧序列的原始视频数据115和定义子帧序列的子帧元数据组150。原始视频 数据和子帧元数据150组可以按照通过互联网或另一网络下载的方式接收，或 者以广播的方式接收，还可以从通信连接到媒体播放器910的存储设备中上 传。媒体播放器910使用子帧元数据150调整原始视频帧序列，在目标视频显 示器165上生成对应子帧序列的全屏显示。例如，通信连接的媒体播放器910a 接收原始视频数据和子帧元数据150a;通信连接的媒体播放器910b接收原始 视频数据和子帧元数据150b;通信连接的媒体播放器910c接收原始视频数据 和子帧元数据150c;通信连接的媒体播放器910d接收原始视频数据和子帧元 数据150d。图13是依据本发明的生成子帧元数据过程的逻辑图。该过程开始于步骤 1010，从任意类型的视频源(例如视频摄像机、视频碟片、或视频影带)接收 包含视频内容的原始视频数据。该原始视频数据包含原始视频帧序列，其中包 含任意格式的视频内容。此外，接收到的视频数据可能已由任意编码标准进行 过编码和压縮，或者未经过压縮但经过编码，还可以是未经过压縮也未经过编 码的。如果原始视频数据是经过压縮/编码的，则视频数据将进行解压縮和解 码，生成原始视频帧序列。该过程继续进行步骤1020，将向用户展示原始视频帧序列中的第一帧。 例如，该第一帧可显示在用户能够观看的到的视频显示器上。随后该过程继续
进行判断步骤1030，确定是否指定了第一帧的子帧。例如，用户可发出用户 输入，以此来指定对应于第一帧中用户感兴趣区域的子帧。若指定了子帧(步 骤1030的"是"分支)，则该过程继续进行步骤1040，为所指定的子帧生成子 帧元数据。例如，为特定子帧生成的子帧元数据可包括子帧标识符、从中提取 除该子帧的原始视频帧的标识符、与原始视频帧有关的子帧的位置和尺寸和用 于编辑该子帧的任意编辑信息。对于第一帧中的每个子帧，本过程将重复进行 步骤1050。因此，如果在第一帧中指定了另一子帧(步骤1050的"是"分支)， 则本过程将返回步骤1040，为该子帧生成子帧元数据。若在第一帧中未指定子帧(步骤1030的"否"分支)，或者在第一帧中不会 再有子帧被指定(步骤1050的"否"分支)，该过程将继续进行判断步骤1060， 确定原始视频帧序列中是否还有其他帧。若还有其他原始视频帧(步骤1060 的"是"分支)，则该过程继续进行步骤1070，向用户展示原始视频帧序列中的 下一帧，然后该过程将重复进行步骤1030。但是，如果不存在其他原始视频 帧(步骤1060的"否"分支)，则该过程继续进行步骤1080，将为每个指定的 子帧生成的子帧元数据存储到元数据文件中。图14是依据本发明的视频处理系统另一实施例的系统示意图。图14中的 视频摄像机1400与第一目标视频设备1422和第二目标视频设备1420 —同使 用。第一目标视频设备1422包括第一视频显示器，第二目标视频设备包括第 二视频显示器。第一目标视频设备1422的第一视频显示器的屏幕分辨率远大 于第二目标视频设备1420的第二视频显示器的屏幕分辨率。第一目标视频设 备1422的第一视频显示器的可视区域也大于第二目标视频设备1420的可视区 域。视频摄像机1400包括摄像机视频显示器1402、用户输入接口 1408、视频 捕捉电路1410、处理电路1406，可选的，还可包括编码电路1404。摄像机视 频显示器1402可以是图2中展示和描述的单个视频显示器，也可以包括多个 视频显示器。参考图1所述，用户输入接口 M08接收用户输入，以供运行的 子帧元数据生成应用程序使用。用户输入接口 1408可包括键盘、鼠标或用于 接收用户输入的其他用户接口设备。捕捉电路1410捕捉原始视频帧序列。参
考图1一图5所述，捕捉电路1410包括摄像机类电路。
处理电路1406连接到摄像机视频显示器1402、捕捉电路1410和用户输 入接口 1408。处理电路1406可以是执行软件和/或固件指令并对数据进行操作 的任意类型的数字处理电路。处理电路1406将捕捉电路1410捕捉到的原始视 频帧序列中的至少一个帧发往摄像机视频显示器1402。原始视频帧序列中这 至少一个帧在摄像机视频显示器1402上的显示方式在图2和图3中己作了描 述。
处理电路1406响应用户输入接口 1408，在摄像机视频显示器1402上显 示一个子帧。该子帧在摄像机视频显示器1402上的显示方式与图2和/或图3 中描述的方式相同或相似。该子帧对应于原始视频帧序列中至少一个帧中的一 个区域。原始视频帧和子帧在摄像机视频显示器上的显示方式与图2中描述的 方式相同或相似。
处理电路1406生成对应于子帧的元数据150。元数据150将用于调整原 始视频帧序列，以在第二目标视频设备1420的第二显示器上生成全屏显示。 这种在第二目标视频设备1420的第二显示器上的全屏显示对应于由处理电路 1406在摄像机视频显示器1402上显示的子帧。
如图所示，摄像机1402将原始视频帧序列115同时发往第一目标视频设 备1422和第二目标视频设备1420。此外，摄像机1400为第二目标视频设备 1420生成元数据150n，可选的，还可为第一目标视频设备1422生成元数据 150p。在摄像机1400的第一项操作中，第一目标视频设备1422在第一视频显 示器上生成对应于原始视频帧序列115的全屏显示。此外，通过此项操作，第 二目标视频设备1420使用元数据150n来调整原始视频帧115序列，在其第二 视频显示器上生成全屏显示。
在类似于上述操作的另一项操作中，第一目标视频设备1422使用元数据 150p来调整原始视频帧115序列，在其第一视频显示器上生成另一全屏显示。 第一目标视频设备1422的第一视频显示器上的这另一全屏显示对应于为响应 用户输入接口 1408而在摄像机视频显示器1402上显示的另一子帧。本发明的 这些基于响应用户输入而生成的多种子帧来生成元数据的操作已在图2—图13中进行了描述。
根据摄像机1400的另一项操作，编码电路1404生成编码输出1424、 1426 和1428，并分别发往目标视频设备1414、 1416和1418。在生成这些输出1424、 1426和1428的过程中，处理电路1406生成输出1423，并发往编码电路1404。 这些输出可包括将目标视频设备1414、 1416和1418看成一个设备组、对应该 组中的所有设备而生成的视频，或者为每个目标视频设备1414、 1416和1418 专门剪裁而生成的视频。编码电路1404对从处理电路1406收到的输出1423 进行编码，生成输出1424、 1426和1428。这些输出1424、 1426和1428将用 于在其他目标视频设备1414、 1416和1418的其他目标视频显示器上生成全屏 显示。特别的，编码电路1404基于对应于目标视频设备1414的第一编码参数 生成第一编码输出1424。此外，编码电路还基于对应于目标视频设备1416和 1418的第二和第三编码参数生成编码视频输出1426和1428。
因此，根据图14中展示的实施例，作为其输出，视频摄像机1400生成原 始视频帧序列115、元数据150和视频输出1424、 1426和1428。视频摄像机 1400的输出可在捕捉原始视频帧序列1410的过程中生成。或者，视频摄像机 1400还可捕捉并存储原始视频帧序列，然后生成其输出，并发往视频设备和/ 或存储设备。
图15是依据本发明的视频处理系统又一实施例的系统示意图。图15中的 视频摄像机系统1500包括摄像机1510和并行视频处理系统1501 。摄像机1510 捕捉原始视频帧115序列。视频摄像机1510也称为视频捕捉电路，其生成原 始视频帧115序列，同时发往并行视频处理系统1501和第一目标视频设备 1522。
并行视频处理系统1501包括一个或多个视频显示器1502、用户接口 1508、 处理电路1506，还可包括编码电路1504。图15中的并行视频处理系统1501 中的一些部件与图14中视频摄像机1400中具有相同名称的部件具有相同的功 能，因此这些部件在此处不再详述。视频显示器1502具有全屏区，其可对应 于图2中展示和描述的视频显示器130。并行视频处理系统1501中的处理电 路1506可以是专用硬件、通用硬件和/或可执行并行视频处理系统1501操作
的软件，或者其中的一部分。处理电路1506响应用户输入接口 1508，在视频 显示器1502上显示子帧。显示在视频显示器1502上的子帧对应于视频显示器 1502的全屏区中的一个区域。参考图2，该子帧可以对应子帧131、 133或135， 这些子帧中的每一个在视频显示器1502的全屏区130内都是可见的。
再来看图15,视频捕捉电路(摄像机)1510捕捉原始视频帧115序列。 处理电路1506传送原始视频帧序列中的至少一个帧，以便使用视频显示器 1502的全屏区来显示。处理电路1506进一步生成第一输出，用于在第一目标 视频设备1522的第一显示器上生成对应于全屏区的第一显示。此外，处理电 路1506生成第二输出，用于在第二目标视频设备1520的第二显示器上生成第 二显示，第二输出对应于一个或多个子帧。如图15所示，处理电路1506可生 成对应于原始视频帧序列的第一输出115。或者，所生成的发往第一目标视频 设备1522的输出可同时包括原始视频帧115序列和元数据150r。处理电路1506 进一步生成第二输出，用于在第二目标视频设备1520上生成对应于子帧的第 二显示。所生成的发往第二目标视频设备1520的输出可包括元数据150q，还 可包括原始视频帧115序列。第一 目标视频设备1522和第二目标视频设备1520 使用发往其各自的包含原始视频帧115序列和元数据150q和150r的输入，生 成各自的显示。
根据图15中视频摄像机系统的另一项操作，处理电路1506还与编码电路 1504—同工作，生成编码视频输出1524、 1526和1528，并分别发往目标视频 设备1514、 1516和1518。经过编码的视频输出1524、 1526和1528是基于第 一、第二和第三编码参数编码的，这些参数分别与目标视频设备1514、 1516 和1518有关。视频数据1523将由处理电路1506发往编码电路1504。
因此，与现有技术相比，图15中的视频摄像机系统直接生成专门为特定 目标视频设备而剪裁好的编码视频。此外，图15中的视频摄像机系统不仅生 成编码视频，还生成元数据和原始视频帧115序列。此外，正如图1_图14 所述，处理电路还可响应用户输入接口 1508，生成与显示在视频显示器152 上的其他子帧有关的其他输出。因此，对于每个特定的子帧，图15中的视频 摄像机系统1500都可生成专门为特定的目标视频显示器剪裁好的输出。此外，
视频摄像机系统1500还可简单的生成子帧元数据，其中包括与多个目标设备 有关的信息。目标设备随后可从元数据150中提取相关的部分，用于基于原始 视频帧序列生成视频数据。
根据图15中视频摄像机系统的另一方面，视频摄像机系统包括摄像机壳 体，其中装有视频显示器1502、用户输入接口 1508、处理电路1506和视频捕 捉电路1510。该壳体中还可装有编码电路1504。根据图15中视频摄像机系统 的另一方面，视频摄像机系统1500包括摄像机壳体和支持系统壳体。摄像机 壳体中装有视频步骤电路1510，支持系统壳体中装有处理电路1506的至少一 部分。支持系统壳体还可装有显示器1502、用户输入接口 1508和编码电路 1504。
本领域普通技术人员可知，本申请中所使用的短语"可操作地连接""可通 信地连接"包括直接连接和通过另一个部件、元件、电路或模块间接连接，其 中，对于间接连接，介入的部件、元件、电路或模块不会修改信号的信息，但 是可能会调整其电流大小、电压大小和/或功率大小。本领域普通技术人员还 可理解，推定连接(即推定一个部件与另一个部件连接)包括两个部件之间与 "可操作地连接"和"可通信地连接"方式相同直接的和间接的连接。
本发明通过借助方法步骤展示了本发明的特定功能及其关系。所述方法步 骤的范围和顺序是为了便于描述任意定义的。只要能够执行特定的功能和顺 序，也可应用其它界限和顺序。任何所述或选的界限或顺序因此落入本发明的 范围和精神实质。
本发明还借助功能模块对某些重要的功能进行了描述。所述功能模块的界 限和各种功能模块的关系是为了便于描述任意定义的。只要能够执行特定的功 能，也可应用其它的界限或关系。类似地，此处定义了流程框图，以解释特定 的重要功能。只要能达到使用目的，也可应用其它的界限或关系，仍执行特定 的重要功能。所述其它的界限或关系也因此落入本发明的范围和精神实质。
本领域普通技术人员还可知，本申请中的功能模块和其它展示性模块和组 件可实现为离散组件、专用集成电路、执行恰当软件的处理器和前述的任意组
此外，尽管以上是通过一些实施例对本发明进行的描述，本领域技术人员 知悉，本发明不局限于这些实施例，在不脱离本发明的精神和范围的情况下， 可以对这些特征和实施例进行各种改变或等效替换。本发明的保护范围仅由本 申请的权利要求书来限定。
本申请涉及并引用以下专利申请
申请日为2006年6月23日的美国专利申请11/474,032 "VIDEO PROCESSING SYSTEM THAT GENERATES SUB-FRAME METADATA (生成 子帧元数据的视频处理系统)"；
申请日为2006年7月20日的美国专利申请11/xxx,xxx (代理所案号 BP5446) "ADAPTIVE VIDEO PROCESSING CIRCUITRY & PLAYER USING SUB-FRAME METADATA (使用子帧元数据的自适应视频处理电路和播放 器)"；
申请日为2006年7月20日的美国专利申请11/xxx，xxx (代理所案号 BP5447 ) " ADAPTIVE VIDEO PROCESSING USING SUB-FRAME METADATA (使用子帧元数据的自适应视频处理)"。
权利要求
1、一种与第一目标视频设备和第二目标视频设备一起使用的视频摄像机，所述第一目标视频设备包括第一视频显示器器，所述第二目标设备包括第二视频显示器，所述第一视频显示器的显示屏分辨率大于所述第二视频显示器的显示屏分辨率，其特征在于，所述视频摄像机包括摄像机视频显示器；用户输入接口；捕捉电路，用于捕捉原始视频帧序列；处理电路，与所述摄像机视频显示器、所述捕捉电路和所述用户输入接口相连，用于将所述原始视频帧序列中的至少一个帧发往所述摄像机视频显示器；所述处理电路响应所述用户输入接口，在所述摄像机视频显示器上显示子帧，所述子帧对应于所述原始视频帧序列中所述至少一个帧中的一个区域；所述处理电路生成对应于所述子帧的元数据，所述元数据用于调整所述原始视频帧序列，以在所述第二目标视频设备的所述第二显示器上生成对应所述子帧的全屏显示。
2、 根据权利要求1所述的视频摄像机，其特征在于，所述第一目标视频 设备在所述第一视频显示器上生成对应于所述原始视频帧序列的全屏显示。
3、 根据权利要求1所述的视频摄像机，其特征在于，所述处理电路还生 成对应于所述摄像机视频显示器上另一子帧的另一元数据，所述第一目标视频 设备使用所述另一元数据调整所述原始视频帧序列，以在所述第一视频显示器 上生成对应所述另一子帧的另一全屏显示。
4、 根据权利要求1所述的视频摄像机，其特征在于，所述处理电路使用 所述元数据调整所述原始视频帧序列，以生成输出，第三目标视频设备使用所 述输出在第三视频显示器上生成全屏显示。
5、 一种与第一 目标视频设备和第二目标视频设备一起使用的视频摄像机 系统，其特征在于，所述视频摄像机系统包括 视频显示器，具有全屏区域； 用户输入接口；处理电路，响应所述用户输入接口，在所述视频显示器上显示子帧，所述 子帧对应所述全屏区域内的一个区域；视频捕捉电路，用于捕捉原始视频帧序列；所述处理电路传送所述原始视频帧序列中的至少一个帧，以供使用所述视 频显示器的所述全屏区域显示；所述处理电路生成第一输出以用于在所述第一目标视频设备上生成第一 显示，所述第一输出对应于所述全屏区域；所述处理电路生成第二输出以用于在所述第二目标视频设备上生成第二 显示，所述第二输出对应于所述子帧。
6、 根据权利要求5所述的视频摄像机系统，其特征在于，所述第二输出 包括元数据。
7、 一种视频处理系统，用于帮助视频摄像机捕捉视频，其特征在于，所 述视频处理系统包括视频摄像机接口 ，用于接收所述视频摄像机捕捉的原始视频帧序列；视频显示器接口，用于生成发往视频显示器的视频输出；处理电路，与所述摄像机接口、所述视频显示接口和所述输入接口相连，用于通过所述视频显示接口在所述视频显示器上显示所述原始视频帧序列中 的至少一个帧；所述处理电路响应代表用户输入的信号，在所述视频显示器上显示子帧， 所述子帧对应于所述原始视频帧序列中所述至少一个帧上的一个区域，该区域 是在所述代表用户输入的信号中指定的；所述处理电路用于生成对应所述子帧的元数据，目标视频播放器使用所述 元数据调整所述原始视频帧序列，以在所述目标视频播放器的目标视频显示器 上生成对应所述子帧的全屏显示；所述视频显示器具有比所述目标视频显示器大的可视区域。
8、 根据权利要求7所述的视频处理系统，其特征在于，所述视频显示器 接口还用于生成对应于辅助视频显示器上显示的所述原始视频帧序列中所述 至少一个帧中的一个区域的子帧。
9、 一种方法，其特征在于，包括 通过视频摄像机捕捉原始视频帧序列；在视频显示器上显示所述原始视频帧序列中的至少一个帧； 接收与所述原始视频帧序列有关的用户输入；在所述视频显示器上显示子帧，所述子帧对应于所述原始视频帧序列中的 所述至少一个帧中的一个区域，该区域由所述用户输入指定；生成对应所述子帧的元数据，由目标视频播放器用于调整所述原始视频帧 序列，以在所述目标视频播放器的目标视频显示器上生成对应所述子帧的全屏 显示，且所述视频显示器具有比所述目标视频显示器大的可视区域。
10、 根据权利要求9所述的方法，其特征在于，所述方法进一步包括将对 应于所述原始视频帧序列中的所述至少一个帧中的所述一个区域的子帧发往 辅助视频显示器。
全文摘要
本发明公开了一种带有视频摄像机的用于捕捉原始视频帧序列的视频处理系统，将原始视频帧序列中的至少一个帧显示在视频显示器上，其接收与原始视频帧序列有关的用户输入，在视频显示器上显示子帧，该子帧对应于原始视频帧序列中至少一个帧中的一个区域，该区域由用户输入指定。该视频处理系统还生成对应于该子帧的元数据，目标视频播放器使用该元数据调整原始视频帧序列，以在目标视频播放器的目标视频显示器上生成对应该子帧的全屏显示。本发明可为特定的屏幕或屏幕尺寸专门生成目标子帧的元数据。
文档编号G09G5/36GK101106704SQ20071012802
公开日2008年1月16日 申请日期2007年6月21日 优先权日2006年6月23日
发明者詹姆士·D·贝内特 申请人:美国博通公司
最新回复(0)