图像处理装置,图像处理方法和程序的制作方法
专利名称：图像处理装置,图像处理方法和程序的制作方法
技术领域：
本发明涉及一种图像捕获装置、图像处理装置、图像处理方法和程序。 本发明尤其涉及一种可实现图像压缩处理的加速的图像捕获装置、图像处 理装置、图像处理方法和程序。
背景技术：
近年来在图像捕获装置领域中，已经可获得能以比常皿频帧频(每 秒60帧，每秒50帧，每秒24帧等)高的速率进行图像捕获的高速图像 捕获装置。在这种高速图像捕获装置中，高分辨率和高帧频的图像捕获信 号的数据速率变高，且对以该高速数据速率输入的数据所进行的图像信号 处理和图像压缩处理需要以较高的it^进行。然而，存在一个问题，即很
这样的信号处理。
由于该原因，对于现有技术的高速图像捕获装置，已经提出了下述一
存储器中，^完成了图像捕获处理之后从外部控制器件(主要是计算机) 读取半导M储器内的捕获图^Jt据，并进行处理，并且还提出了下述一
种方法，即其中在完成图像捕获处理之后，以与将要在后一阶段进行的视
体存储器读取捕获的图像数据，对其进行图像信号处理和图像压缩处理， 并将所述捕获图像数据记录在记录介质上。
然而，在其中以上述方式临时将捕获图像数据存储在半导体存储器中 的构造的情形中，因为安M高速图像捕获装置中的半导M储器的容量 有P艮，所以存在其中用于连续图像捕获的记录时间周期有限的问题。为了 克服该问题，必需对从图^Mt获元件输出的捕获图^Jt据实时进行图像信 号处理和图像压缩处理并将捕获图像数据转换为与在诸如磁带、M盘或^it这样的记录介质上进行记录的位率(比特率)对应的信号。
近年来，作为实现高速压缩比的压缩方法，已经使用H.264视频编 解码器。然而，目前，诸如上述压缩方法[H.264视频编解码器这样的许 多高压缩型压缩方法的处理较复杂M时。就是说，目前的情况是还没有 获得可实现与超过常规视频帧频的高速帧频匹配的高速处理的电路和 LSI。
为了解决与压缩处理iUL有关的问题，已经提出了下述一种方法，即 其中通过在空间上将一 帧的图像分成区域并通过对每个区域并行进行处 理来实现高速处理，因而，可实现与高速图1象捕获匹配的图〗象压缩。例如， 在曰本未审专利申请公开No.1-286586中，公开了下述一种图像捕获装置，
行处理。在日本未审专利申请公开]\0.5-316402中，公开了下述一种图像 捕获装置，即其使用棱镜进行分光并对多个固态图1象捕获元件的输出信号 进行并行处理。
另一方面，作为用于在时间方向(帧频)上实现可缩放性的编码方法， 已经提出了可缩it视频编解码器(SVC )。在Heiko Schwarz， Detlev Marpe 和Thomas Wiegand ， "MCTF and Scalability Extension of H.264/AVC"， PCS，04， December 2004，以及J.Reichel和H.Schwarz， "Scalable Video Coding-Joint Scalable Video Model JSVM國2"， JVT國0201， Apri.2005公开 的svc中，在时间方向上进行子带分割，并以分级的方式对每个信号编
码，由此实现时间方向上的可缩放性。
发明内容
现有技术的上述高速图像捕获装置具有下述的问题。为了进行高速图
像处理的目的，在日本未审专利申请公开No.1-286586中公开的图像捕获 装置通过在空间上分割图像并通过并行进行处理可以以高分辨率和高帧 频长时间地记录图像。然而在日本未审专利申请公开No.1-286586中公开 的图像捕获装置中，形成了其中使用多个磁带录#^ (VTR)记录并行的 信号的大尺寸构造。此外，没有具体提到图像压缩。
在日本未审专利申请公开No.5-316402公开的图像捕获装置中，通过 使用多个图像捕获元件并进行图像捕获，相对于时间移动使用棱镜而经历 分光的入射光的相位，并通过并行处理所获得的信号，实现高分辨率和高 帧频的图像捕获。然而，在日本未审专利申请公开No.5-316402公开的图像捕获装置中，没有详细提到图像压缩，形成了其中在半导体存储器中进 行记录的构造。如果该构造以下述方式形成，即压缩以时分方式并行的图 像信号，则必需具有多个图像压缩器件，导致成4^目当大的增加。
在Heiko Schwarz， Detlev Marpe和Thomas Wiegand, "MCTFand Scalability Extension of H.264/AVC"， PCS,04， December 2004，以及 J.Rdchel和H.Schwarz, "Scalable Video Coding-Joint Scalable Video ModelJSVM-2"， JVT-0201, Apri.2005乂〉开的编码方法中，通iit目同的 编码处理压缩每个被分割子带的层次(subband-divided hierarchy )。对于 这种构造，在其中存在多个具有改善的压缩效率的编码处理器的情形中， 导致成4^目当大的增加，而在使用低成本编码处理器的构造的情形中，很 难提高压缩效率.
希望提供一种如下的图像捕获装置和图像处理装置、图像处理方法和 程序，该图像捕获装置可解决上述问题，可在没有相当大地增加成本的情 况下实现以高分辨率和高帧频长时间地记录图像，且包括在再现和输出时 可实现帧频具有可缩放性的图像压缩单元。
根据本发明的一个实施例，提供了一种图4象捕获装置，包括时间子 带分割部件，用于通过在时间方向上对图像信号进行子带分割处理而产生 低频子带分割信号和高频子带分割信号，所述低频子带分割信号由帧频比 所述图像信号的帧频低的低频分量形成，所述高频子带分割信号由高频分 量形成；第一编码部件，用于压缩所述低频子带分割信号；和第二编码部 件，用于压缩所述高频子带分割信号，其中所述第一编码部件和所述第二 编码部件进行不同的编码处理。
所述第 一编码部件可包括压缩效率比所述第二编码部件高的编码处 理部件。
所述第二编码部件可包括电路尺寸比所述第 一编码部件小的编码处 理部件。
所述时间子带分割部件可以是在所述时间方向上的小波变换器，并可 进行下述处理，即通过在所述时间方向上相邻的多个帧之间进行哈尔变换 而将帧信号分割为低频分量和高频分量。
所述时间子带分割部件可接收P帧每秒的图像信号作为所述图像信 号(P为整数)，并可通过在所述时间方向上进行子带分割处理而产生 (P/Q)帧每秒的低频子带分割信号和高频子带分割信号(Q为2或比2大的整数)。
所述第一编码部件和所述第二编码部件可以(P/Q )帧/每秒进行编码 处理。
所述图像处理装置可进一步包括记录部件，该记录部件用于记录从 所述第一编码部件输出的低频流数据和从所述第二编码部件输出的高频 流数据；第一解码部件，用于接收在所述记录部件中记录的所述低频流数 据并进行用于将低频分量解压缩的处理；第二解码部件，用于接收在所述 记录部件中记录的所述高频流数据并进行用于将高频分量解压缩的处理； 和时间子带合并部件，用于通过对作为所述第一解码部件和所述第二解码 部件的解码结果的图像信号进行在所述时间方向上的子带合并处理，产生 帧频比作为所述第 一解码部件和所述第二解码部件的解码结果的图 <象信 号的帧频高的合并后图像信号。
所述时间子带合并部件可以是在所述时间方向上的小波逆变换器。
所述时间子带分割部件可产生多个高频子带分割信号作为所述高频 子带分割信号，所述低频子带分割信号的帧频和所述多个高频子带分割信 号的帧频可以是根据所述低频子带分割信号和所述多个高频子带分割信 号的总数而确定的。
所述第二编码部件可包括用于对所述多个高频子带分割信号中的每 个进行压缩处理的多个不同的编码部件。
所述时间子带分割部件可通过用于添加在所述图像信号中所包含的 相对于时间连续的N个图像帧的对象像素的信号值的处理而产生一个低 频子带分割信号(N^2)，并通过用于添加和减去在所述图傳4T号中所包 含的相对于时间连续的N个图像帧的对象像素的信号值的处理而产生 N-l个高频子带分割信号(N^2)，所述N-1个高频子带分割信号中的每个
算得到的信号。
所述图像处理装置还可包括图像捕获元件，该图像捕获元件被配置成 通过光电转换获得图像信号，所述时间子带分割部件通过对来自所述图像 捕获元件的图像信号进行处理而产生高频子带分割信号和帧频比来自所 述图《象捕获元件的信号的帧频低的和低频子带分割信号。
根据本发明的另一实施例，提供了一种图像处理装置，包括第一解 码部件，用于接收在记录部件中记录的低频流数据并进行用于将低频分量解压缩的处理；第二解码部件，用于接收在所述记录部件中记录的高频流 数据并进行用于将高频分量解压缩的处理；和时间子带合并部件，用于通 过在时间方向上对作为所述第 一解码部件和所述第二解码部件的解码结 果的图像信号进行子带合并处理，产生帧频比作为所述第 一解码部件和所 述第二解码部件的解码结果的所述图像信号的帧频高的合并后图像信号。
所述第一解码部件可对编码数据进行压缩效率比所述第二解码部件 高的解码。
所述第二解码部件可接收在所述记录部件中记录的多个不同的高频
流数据并产生由高频分量组成的多个不同的图4象信号；和所述时间子带合
并部件可接收作为所述第 一解码部件的解码结果的图《象信号和作为所述 第二解码部件的解码结果的多个不同的图^象信号，并可通过在所述时间方
向上进行子带合并处理而产生高帧频的合并后图像信号。
所述时间子带合并部件可以产生具有如下帧频的合并后图像信号，所 述帧频是才艮据由所述第 一解码部件产生的所述低频分量图4象信号和由所 述第二解码部件产生的高频分量图4象信号的总数而确定的。
所述第二解码部件可包括用于对在所述记录部件中记录的多个高频 流数据中的每个进行解压缩处理的多个不同的解码部件。
根据本发明的另一实施例，提供了一种图像处理方法，该方法包括下 述步骤通过在时间方向上对图像信号进行子带分割处理，产生由帧频比 所述图^象信号的帧频低的低频分量形成的低频子带分割信号和由高频分 量形成的高频子带分割信号；压缩所述低频子带分割信号；和压缩所述高 频子带分割信号，其中在压缩所述低频子带分割信号的步骤和压缩所述高 频子带分割信号的步骤中，进行不同的编码处理。
根据本发明的另一实施例，提供了一种图像处理方法，该方法包括下 述步骤接收低频流数据并进行用于将低频分量解压缩的处理；接收高频 流数据并进行用于将高频分量解压缩的处理；和基于用于将所述低频流数 据解压缩的处理而获得的第一图^象信号和用于将所述高频流数据解压缩
的处理而获得第二图像信号，通过在时间方向上进行子带合并处理产生帧 频比所述第一图^L的帧频高的合并后图《象信号。
根据本发明的另一实施例，提供了一种程序，该程序使计算机进行包 括下述步骤的图像处理方法通过在时间方向上对图像信号进行子带分割 处理，产生由帧频比所述图像信号的帧频低的低频分量形成的低频子带分割信号和由高频分量形成的高频子带分割信号；压缩所述低频子带分割信
号；和压缩所述高频子带分割信号，其中在压缩所述低频子带分割信号的
步骤和压缩所述高频子带分割信号的步骤中，进行不同的编码处理。 根据本发明的另一实施例，提供了一种程序，该程序使计算机进行包
括下述步骤的图像处理方法接收低频流数据并进行用于将低频分量解压 缩的处理；接收高频流数据并进行用于将高频分量解压缩的处理；和基于 用于将所述低频流数据解压缩的处理而获得的第一图像信号和用于将所 述高频流数据解压缩的处理而获得第二图像信号，通过在时间方向上进行 子带合并处理产生帧频比所述第 一 图 <象的帧频高的合并后图傳_信号。
根据本发明的实施例，设置了两个编码部件来接收图像信号，即例如 图像捕获元件的输出信号，在时间方向上对图像信号进行子带分割处理， 由此产生低频子带分割信号和高频子带分割信号，所述低频子带分割信号 的帧频比输入帧频低，并压缩产生的低频子带分割信号和高频子带分割信 号。例如形成具有不同压缩效率的编码部件的组合，用于所述低频子带分 割信号例如形成为H.264编解码器，用于所述高频子带分割信号的编码部 件例如形成为JPEG编解码器。通过该构造，在每个编码部件中，通过以 与低帧频一致的it;变的编码处理，可实现对高帧频的输入数据，例如图像 捕获数据的实时处理。
此外，在根据本发明实施例的装置中，在其中进行了不同编码处理的 数据的解码和再现中，通过各个不同的解码处理部件解码低频流数据和高 频流数据，例如，低频流数据经过使用H,264编解码器的解码处理，高频 流数据经过使用JPEG编解码器的解码处理。然后，合并解码结果并作为 高帧频的视频信号输出。可选择地，可仅输出通过IL264编解码器对所述 低频流数据进行的解码处理的结果，可输出低帧频的视频信号。
图1图解了根据本发明一个实施例的图像捕获装置的典型构造；
图2图解了根据本发明该实施例的所述图像捕获装置的典型数据处
理；
图3图解了根据本发明该实施例的所述图像捕获装置的典型数据处
理；
图4图解了根据本发明该实施例的所述图像捕获装置的典型数据处
理；图5图解了根据本发明该实施例的所述图像捕获装置的典型数据处
理；
图6图解了根据本发明一个实施例的图像捕获装置的典型构造； 图7图解了根据本发明一个实施例的图像捕获装置的典型构造； 图8图解了根据本发明一个实施例的图像捕获装置的典型构造； 图9图解了根据本发明一个实施例的图像捕获装置的典型构造； 图10图解了根据本发明一个实施例的图像捕获装置的典型构造； 图11图解了根据本发明一个实施例的图像捕获装置的构造的示例； 图12图解了根据本发明一个实施例的图像捕获装置的数据处理的示
例；
图13图解了根据本发明一个实施例的图像捕获装置的数据处理的示
例；
图14图解了根据本发明一个实施例的图像捕获装置的数据处理的示
例；
图15图解了存储在帧存储器中的图像数据的数据处理次序的示例。
具体实施例方式
参照附图，下面将给出根据本发明实施例的图像捕获装置、图像处理 装置、图像处理方法和程序的细节的描述。
A. 用于对具有高速(2倍)帧频的图像捕获数据进行处理的构造的
示例
B. 用于对具有高速(2倍)帧频的图像捕获数据进行处理的另一实
施例
C. 用于对具有高速(N倍)帧频的图像捕获数据进行处理的构造的
示例
A.用于对具有高速(2倍)帧频的图傳屬获数据进行处理的构造的
示例
图1显示了根据本发明的图像捕获装置的一个实施例的图像捕获装置的构造。所述图像捕获装置是以与常规视频速率两倍高的帧频实现图像 捕获、处理和记录的装置。
首先，将参照附图描述图像捕获过程中的操作。图像捕获装置100 通过使用图像捕获元件2接收经由图像捕获光学系统1进入的光。所述图 像捕获元件2是能以高分辨率(在本实施例中设为HD (高清)分辨率) 和高帧频(在本实施例中设为每秒120帧)进行图像捕获的固态图像捕获 元件，例如为CMOS固态图傳4获元件，并输出经由AD转换器(没有 示出燉字转换的捕获图像数据。这里，所述AD转换器安装在所述CMOS 固态图像捕获元件中或布置在所述固态图像捕获元件外部。此外，在本实 施例中，所述图像捕获元件2是具有滤色器的单板彩色方法的固态图像捕 获元件，该滤色器在光接收表面上对于每个像素来说使不同波长范围的光 透过。
从所述图像捕获元件2输出的捕获图像数据输入到时间子带分割单 元31。所述时间子带分割单元31临时将从所述图像捕获元件2供给的当 前帧的捕获图像数据存储在帧存储器4中，并同时从所述帧存储器4读取 前两帧的捕获图^lt据，根据下&达式1进行子带分割处理，并输出低 频的信号11和高频的信号12。
Ol(x,-一，-)+"，2"1)
0H(x，j;，2,)=^^^^+， ...(表达式l)
上面的表达式1表示在时间方向上的小波变换，其中使用哈尔(Haar) 函数作为基(base)。在上面的表达式中，显示了下述值
1(x，y,2t):在时间2t时在像素位置(x,y)处的输入值
1(x，y，2t+l):在时间2t+l时在像素位置(x,y)处的输入值
(Mx，y，2t):在时间2t时在像素位置(x,y)处的低频信号输出值
0H(x,y，2t):在时间2t时在4象素位置(x，y)处的高频信号输出值
Range: —个像素的像素值的分辨率数。
例如在本实施例中用8位的每个颜色表示一个像素的情形中，分辨率 数变为256，用8位描述每个颜色。
通过两个连续输入帧的相应像素值的加法处理产生所述低频信号输 出值OrXx，y，2t)。通过两个连续输入帧的相应《象素值的减法处理产生所述 高频信号输出值0H(x，y，2t)。就是说，根据在时间方向上连续的两个帧的相应信号值产生一个低频信号输出值和一个高频信号输出值。作为该处理
的结果，输出帧频相对于输入帧频变为1/2。下面所示的表达式2表示其 中使用哈尔(Haar)函数作为基的小波逆变换。
R(x，y,2t) = 0，L(X，y，2t)+0，H(x,y,2t)-
R(x，y，2t+1) = 0，L(x，y，2t)-0，H(x,y，2t)- …(表达式2 )
上面的表达式2中所示的所述小波逆变换，是下W达式，即其用于 从前面所述表达式1中所示的小波变换中产生的值[OjXx，y，2t)和 [OH(x，y，2t)计算在时间2t和2t+l时与初始帧频对应的两个连续帧的相应 像素(x，y)的像素值[R(x，y，2t)I和[R(x,y,2t+l)。表达式2用于解码处理。
在该实施例中，作为所述时间子带分割单元31中的时间子带分割处 理，使用很容易安装的哈尔(Haar)小波。此外，可使用其中使用其他 基的小波变换，或其他子带分割处理。
图2显示了在所述时间子带分割单元31中的所述时间子带分割处理 的细节。在图2中，显示了从所述帧存储器4读取的第一帧(Frame0) 和第二帧(Frame 1)的捕获图像数据。每个捕获图像数据帧都具有RAW 数据，对于每个像素来说，RAW数据具有单色信号，即RGB之一的一 个颜色信号。例如，每帧的左上端表示G信号，每个信号值按GRGR的 顺序存储在右侧，在第二行中，信号值按BGBG的顺序存储。例如，对 于每帧左上端的G信号，显示了下面的值
G(0,0，0)的G是RGB信号的G信号，
G(0,0，0)的最初(0,0)表示坐标位置(x,y) = (O，O)
G(0，0,0)的最后(0)表示帧ID = Frame 0。
就每个帧中的空间而言，所述时间子带分割单元31在相同位置处的 像素之间进行加法处理和减法处理。例如，在图2中所示的第一帧(Frame 0)的像素G(0，0，0)与第二帧(Frame 1)的像素G(0,0,1)之间，进行表达 式l中所示的处理，由此通过两个连续输入帧的相应〗象素值的加法处理计 算低频信号输出值(Mx，y,2t)，通过两个连续输入帧的相应《象素值的减法 处理产生高频信号输出值0H(x,y，2t)。在下面，根据RGB的信号值之一是 哪个，[OL(x，y，2t)和[OH(x，y,2t)如下表示
在R的情形中为[R!ix,y,2t)和[RH(x，y,2t+l)，
在G的情形中为[GL(x,y,2t)l和[Ga(x，y，2t+l)，和在B的情形中为[B!Xx,y，2t)和[BH(x，y，2t+l)。
所述时间子带分割单元31例如在图2中所示的第一帧(Frame 0 )的 像素G(O，O，O)与第二帧(Frame 1)的像素G(0，0，1)之间进行表达式1中所 示的处理，从而通过两个连续输入帧的相应像素值的加法处理产生低频信 号输出值GL(0，0,0)，通过两个连续输入帧的相应1象素值的减法处理产生高 频信号输出值Gh(O，O，O)。类似地，在像素R(1,0,0)与像素R(1，0，1)之间进 行处理，由此输出低频信号RjXl,O,O)和高频信号Rh(I，O，O)。
在上述方式中，以下述方式获得由所述时间子带分割单元31转换的 所述低频信号11，即相邻两帧的捕获图像数据的像素经过加法处理，其 等价于以所述图像捕获帧频(在本实施例中为每秒120帧)的一半(每秒 60帧)的帧频捕获的捕获图像RAW数据。另一方面，通过确定相邻两帧 的图像捕获数据之间的差获得由所述时间子带分割单元31转换的所述高 频信号12，其是下述RAW数据，即有效像素值仅存在于运动物体的区域， 其他区域形成为表示没有差别的固定值(考虑到安装，指定中心值128)。 此外，所述低频信号11和所述高频信号12的帧频均是每秒60帧。
如上所述，所述时间子带分割单元31接收从所述图像捕获元件2输 出的图像信号，并通过在时间方向上的子带分割处理，产生由低频分量形 成的低频子带分割信号、和由高频分量形成的高频子带分割信号，所述低 频分量以比来自所述图像捕获元件2的输入帧频低的帧频形成。
从所述时间子带分割单元31输出的所述低频信号11输入到相机信号 处理器A51。类似地，从所述时间子带分割单元31输出的所述高频信号 12输入到相机信号处理器B52。
所勤目机信号处理器A51和相机信号处理器B52对从所述时间子带 分割单元31输出的所述低频信号11和所述高频信号12进行相机信号处 理，如白平衡修正、增益修正、demosaic处理、矩阵处理和伽马修正。 所勤目^L信号处理器A51和相^Mt号处理器B52是进^f相同处理的处理 器，并分别对所述低频信号11和所述高频信号12并行进行处理。
如上所述，从所述时间子带分割单元31输出的所述低频信号11和所 述高频信号12是每秒60帧(60f/s)的数据，其速率是从图像捕获帧频的 高速(120f/s)帧频转换而来的。
所勤目机信号处理器A51和相机信号处理器B52仅需要对每秒60帧 (60f/s)的数据进行信号处理。就是说，可以以与每秒60帧的图像捕获200910005682.4
说明书第11/41页
RAW数据相等的处理速度进行处理。
从所述时间子带分割单元31输出的所述高频信号12是表示相邻两帧 之间的差别的RAW数据。因此，其中在所勤目机信号处理器B52中的 demosaic处理中进行非线性处理的情形中，在其中发生亮度变化的边缘 部分等中可能产生噪声。在根据本实施例的所述图像捕获装置100的构造 的情形中，可通过以常规帧频(每秒60帧)的处理来实现所勤目机信号 处理器A51和相机信号处理器B52，由此提供了不必加速的优点。
已将所^目机信号处理器51和52描述为其中对从所述时间子带分割 单元31输出的每个所述低频信号11和所述高频信号12进M如白平衡 修正、增益修正、demosaic处理、矩阵处理和伽马修正这样的相机信号 处理的构造。然而，进行的信号处理的形式不限于该实例，各种形式都是 可能的。之后将参照图3和4描述所述时间子带分割单元31中的处理的 细节。
从所i^目机信号处理器A51输出的低频的图像数据输入到第一编解 码器单元61，并还输入到取景器输出单元9。另一方面，从所i^目机信号 处理器B52输出的高频的图像数据输入到第二编解码器单元62。
所述取景器输出单元9将从所勤目机信号处理器A51供给的低频的 图^Jt据转换为在取景器(没有示出)上显示的信号并将其输出。当在取 景器上显示的所述图4象与输入图傳Jt据相比时，分辨率和帧频可不同。在 这种情形中，所述取景器输出单元9进行分辨率转换处理和帧频转换处 理。当进行所述帧频转换处理时，使用帧存储器(没有示出)。此外，在 所述取景器上显示的图像必需是亮度图像。在这种情形中，所述取景器输 出单元9将所述输入图像转换为亮度图像并将其输出。
所述第一编解码器单元61通过4吏用所述第一图1象编解码器压缩从所 勤目机信号处理器A51供给的低频的图^Jt据，并输出低频流数据13。 所述第一编解码器单元61由例如H.264编解码方法的帧间编解码器形 成。如上所述,低频的图像数据等价于所述图像捕获帧频的一半的帧频(本 实施例中为每秒60帧)的图像捕获数据。
根据标准规范，如H.264高画质(High Profile)规范，所述第一编 解码器单元61通过将低频的图像数据假定为常规的每秒60帧的运动图像 数据，压缩低频的图傳教据。然而，所述第一编解码器不限于H.264编 解码器，可是用任何方法，只要其能压缩常规的运动图像数据就行。例如，可使用MPEG-2的帧间编解码器、Motion-JPEG的帧内编解码器、或根 据MPEG4或高级视频编解码高清晰度(AVCHD)格式而进行处理的编 解码器。此外，由所述第一编解码器单元61输出的流数据13可不符合标 准规范。
所述第二编解码器单元62通过第二图像编解码器压缩从所i^t目机信 号处理器B52供给的高频的图傳教据，并输出高频流数据14。所述第二 编解码器例如由JPEG编解码方法的帧内编解码器形成。如上所述，通过 确定相邻两帧之间的差别获得高频的图像数据，其是下述一种运动图像数 据，即有效像素值仅存在于运动物体的区域中。就是说，所述高频的图像 数据是下述一种数据，即在没有与时间相关的变化的部分中不存在信息 (形成为固定值)，且在存在动作的部分中，具有少量信息的数据存在于 具有较小亮度差的区域中。通常，这种图像信号很容易压缩。即使不使用 具有高压缩效率(尽管该处理是复杂的且具有高成本)的帧间编解码器， 也可使用诸如具有低成本的JPEG编解码器这样的帧内编解码器压缩足 够少量的信息。因此，所述第二编解码器单元62通过4吏用JPEG编解码 器对于每一帧压缩所述高频的图像数据。
如上所述，所述第一编解码器单元61能^^殳定为压缩效率比所述第 二编码单元62高的编码处理部件，并且所述第二编码单元62能被配置为 压缩效率比所述第一编码单元61且电路尺寸比所述第一编码单元62小的 编码处理部件。
近年来的一些图像捕获装置包括捕获静止图像的功能，它们大部分都 包括用于静止图像的JPEG编解码器作为组件。因此，在其中使用JPEG 编解码器形成用于压缩所述高频的图傳Jt据的所述第二编解码器单元62 的情形中，具有下述优点，即为了进行所述高帧频图像的压缩，不需要额 外的成本。然而，所述第二编解码器不限于JPEG编解码器，可使用任意 方法，只要其能压缩常规的图像数据就行。例如，可使用JPEG2000的帧 内编解码器或MPEG-2的帧间编解码器。
从所述笫一编解码器单元61和所述第二编解码器单元62输出的所述 流数据13和14分别输入到流控制器7。
所述流控制器7把其中压缩有从所述第一编解码器单元61输入的所 述低频的图像数据的所述流数据13与其中压缩有从所述第二编解码器单 元62输入的所述高频的图像数据的所述流数据14合并，并将流数据输出 到所述记录器8。如上所述，从所述第一编解码器单元61供给的所述低频的流数据13是其中使用H.264编解码器等压缩每秒60帧的运动图像的 数据，其是符合标准规范的流。
另一方面，从所述第二编解码器单元62供给的所述高频的流数据14 是其中使用JPEG编解码器压缩每秒60帧的差图像的数据，其与标准的 视频流不同。所述流控制器7将从所述第二编解码器单元62供给的所述 流数据14打包，并作为用户lt据将其叠加在从所述第一编解码器单元61 供给的符合标准规范的所述流中。
就是说，作为其中将高频的压缩数据打包的用户数据，从所述第二编 解码器单元62供给的所述流数据叠加在从所述第一编解码器单元61供给 的符合标准规范的所述流中。为了解码，将设为用户数据的包分离，并进 行处理。之后将描述该处理。
从所述流控制器7输出的所述合并的流数据输入到所述记录器8。
所述记录器8将从所述流控制器7供给的符合标准规范的所述流数据 记录在诸如磁带、光磁盘、硬盘或半导体存储器这样的记录介质上。
作为上述操作的结果，通过使用具有超级压缩效率的所述第一编解码 器和能以低成本实现的所述第二编解码器，可以以与常规帧频(本实施例 中为每秒60帧)的处理t变匹配的速度，压缩以常规帧频两倍高的帧频 (本实施例中为每秒120帧)捕获的图像信号。因而，提供了在4吏成4^t 加最小的同时可以以较高的帧频实现图像捕获、处理和记录的图傳屬获装 置。
接下来，将参照附图给出在再现过程中的操作的描述。为了仅再现记 录的运动图像，所述图4象捕获装置100根据用户的^Mt读取在如上所述的 记录器8中记录的流数据。从所述记录器8读取的所述流数据输入到所述 流控制器7。
所述流控制器7接,所述记录器8供给的所述流数据，并将其分离 为由所述第一编解码器61压缩的低频流数据和由所述第二编解码器62 压缩的高频流数据。如上所述，所述记录器8中记录的所述流数据是在使 用所述第一编解码器单元61的压缩方法中符合标准规范的流数据，由所 述第二编解码器单元62压缩的所述流数据被打包并作为用户数据叠加。
所述流控制器7从所述记录器8接收的所述流数据提取下述数据(即 其中打包有作为用户数据而叠加并被所述第二编解码器单元62压缩的流 数据),将所述数据分离为由所述第一编解码器61压缩的所述低频流数据13和由所述第二编解码器62压缩的所述高频流数据14,并将它们分别输 出到所述第一编解码器61和所述第二编解码器62。
所述第一编解码器61接收从所述流控制器7供给的所述流数据13， 并进行解码，即解压缩处理。如上所述，所述第一编解码器61例如由H.264 编解码方法的帧间编解码器形成。此外，所述流lt据13是在所述第一编 解码器61中才艮据诸如H.264高画质这样的标准规范而压缩的流。所述第 一编解码器61将所述流数据13解压缩，从而将其转换为每秒60帧的低 频的运动图像数据。如上所述，因为低频的运动图像数据等价于每秒60 帧的图《象捕获数据，所以从所述第一编解码器61输出的所述运动图傳教 据是常规的每秒60帧的运动图像。
所述第二编解码器62接ij^所述流控制器7供给的所述流数据14， 并进行解压缩处理。如上所述，所述第二编解码器62例如由JPEG编解 码方法的帧内编解码器形成。所述第二编解码器62将所述流数据14解压 缩，从而将其转换为每秒60帧的高频的运动图像。如上所述，因为通过 确定图像捕获数据的相邻两帧之间的差别获得高频的运动图像数据，从所 述第二编解码器62输出的运动图像数据是每秒60帧的时间差分(time differential)运动图4象。
从所述第一编解码器61和所述第二编解码器62输出的所述运动图傳_ 数据都输入到所述时间子带分割单元31。在该情形中，所述时间子带分 割单元用作所述时间子带合并单元31。就;li兌，通过接收所述第一编解 码器61和所述第二编解码器62的解码结果并通过在时间方向上进行子带 合并处理，产生了合并的图像信号，该合并的图像信号以比由每个编解码 器输出的图像信号的帧频高的帧频形成。
更具体地说，所述时间子带分割单元31根据上&达式2对从所述 第一编解码器61和所述第二编解码器62供给的低频的运动图傳Jt据和高 频的运动图像数据进行反变换(在时间方向上的小波逆变换)，由此产生
图像)。所述时 司子带分割单元;1临时将所述奇数帧图像和偶数帧图^# 储在所述帧存储器4中，并还以两倍高的帧频(每秒120帧)交替读取之 前的奇数帧图像和偶数帧图像。通过进行这种处理，可恢复每秒120帧的 运动图像数据。
此外，在其中用户的操作或从连接的图像显示器件获得的信息要求输 出每秒60帧的运动图像的情形中，所述时间子带分割单元31输出从所述第一编解码器单元61供给的所述低频的运动图傳Jt据。如上所述，因为 从所述第一编解码器单元61输出的所述运动图像数据是通过#^秒120 帧的两个相邻帧图^^目加而产生的运动图像，所以其等价于以每秒60帧 捕获的运动图像。在其中将要进行这种操作的情形中，所述控制器(没有 示出)可控制所述第二编解码器单元62不进行操作，可实现低功率消耗 的操作。
从所述时间子带分割单元31输出的所述运动图傳教据输入到所述视 频输出单元10。
所述视频输出单元10输出从所述时间子带分割单元31供给的运动图 像数据，以作为每秒120帧的视频数据。在此输出的视频数据可以符合数 字视频信号格式，如HDMI (高清多媒体接口 )标准或DVI (数字视频 接口 )标准，或者其符合使用D端口的模拟分量信号格式。所述视频输 出单元10根据输出视频信号的格式进行信号转换处理。
作为上述操作的结果，可以再现下述数据，即其中记录有以与常规帧 频两倍高的帧频(本实施例中为每秒120帧)捕获的图4象信号，并可通过 使用具有超级压缩效率的所述第一编解码器和能以低成本实现的所述第 二编解码器将其解压缩。因而，提供了在使成本增加最小的同时可实现高 帧频视频数据的再现输出的图像捕获装置。
此夕卜，如上所述，在其中根据从所述连接的图像显示器件获得的信息 而要>1^动图像以每秒60帧进行输出的情形中，可输出从所述第一编解 码器单元61供给的低频的运动图像数据。在该情形中，在再现过程中， 可停止所述第二编解码器的处理，可减小功率消耗并以常规的视频帧频实 现视频图<|^出。
下面将参照附图3到5描述在该图像捕获装置中的所述时间子带分割 单元31中的时间子带分割处理和编解码处理的典型^Mt。
首先将参照图3描述在图像捕获过程中的操作。图3显示了在图像捕 获过程中在所述时间子带分割单元31中的时间子带分割处理，即对在时 间方向连续的帧的处理。在图3的部分(a)中来自图像捕获元件的输出 数据是图1中所示的图像捕获元件2的输出。对于该数据，HD分辨率的 图像帧(图中的N到N+7)以每秒120帧的速度输出，其中N是任意的 奇数。
部分(b )中的所述低频图傳教据是低频的图傳教据(本实施例中为每秒60帧)，其由图1中所示的所述时间子带分割单元31中的所述时间 子带处理产生并输出作为所i^目机信号处理器A51和所述第一编解码器 61中的被处理的信号。
部分(c)中的所述高频图像数据是高频的图像数据(本实施例中为 每秒60帧)，其由图1中所示的所述时间子带分割单元31中的所述时间 子带处理产生并输出作为所^Nl机信号处理器B52和所述第二编解码器 62中的被处理的信号。
从所述图像捕获元件2输出的所述帧图像临时存储在所述时间子带 分割单元31中的所述帧存储器4中。此时，所述帧存储器4中的存储速 度是每秒120帧。所述时间子带分割单元31将所述帧图傳存储在所述帧 存储器4中，同时读取已经存储的之前的奇数帧图像和偶数帧图像。此时， 来自所述帧存储器4的所述奇数帧图像和偶数帧图像的读m度是每秒 60帧。
下面将描述用于在所述时间子带分割单元31中产生(b )低频图4象数 据和(c)高频图像数据的处理的具体典型^Mt，其涉及所述帧存储器4 的控制。当图〗象捕获开始时，在图3中所示的周期A中，所述时间子带 分割单元31从所述图像捕获元件2接收帧图像N并将其存储在所述帧存 储器4中。接着，在周期B中，从所述图^4t获元件2输入帧图像N+l 并存储在所述帧存储器4中。
在周期C中，所述时间子带分割单元31将帧图像N+2存储在所述帧 存储器4中，同时从所述存储器4读取帧图像N和帧图像N+l。此时， 因为所述读^il度是存储速度的一半(本实施例中为每秒120帧/2-60 帧/秒)，所以仅读取所述帧图像N和帧图像N+1的图像区域的上半部分。
在周期D中，所述时间子带分割单元31将帧图像N+3存储在所述帧 存储器4中，同时读取所述帧图像N和帧图像N+1的其余部分。在周期 D中，对于所述帧图像N和帧图像N+1，仅读取图像区域的下半部分。
之后，以类似的方式，在周期E中，存储帧图像N+4，并还读取所 述帧图像N+2和所述帧图像N+3的上半部分。在周期F中，存储帧图像 N+5，并还读取所述帧图像N+2和所述帧图像N+3的下半部分。在周期 G中，存储帧图像N+6，并还读取所述帧图像N+4和所述帧图像N+5的 上半部分。在周期H中，存储帧图像N+7，并还读取所述帧图像N+4和 所述帧图像N+5的下半部分。以上述的方式，在所述时间子带分割单元31中，产生了量等于两帧的延迟。
从所述帧存储器4读取的所述奇数帧图像(图中为N，N+2，N+4,N+6 ) 和所述偶数帧图像(图中为N+l，N+3，N+5,N+7 )通过所述时间子带分割 单元经历表达式1中所示的变换，从而将它们分割为低频图像数据(例如， N+ (N+l))和高频图像数据(例如，N- (N+l))。这里，所述低频图像 数据和高频图像数据是每秒60帧的运动图像数据。
如上所述，通过所W目机信号处理器A51处理从所述时间子带分割 单元31输出的所述低频图傳Jt据，然后在所述第一编解码器单元61 (图 中为H,264编码器)中经历压缩处理。另一方面，以上述方式通过所i^目 机信号处理器B52处理从所述时间子带分割单元31输出的所述高频图像 数据，然后在所述第二编解码器单元62 (图中为JPEG编码器)中经历 压缩处理。
接下来，将参照图4描述再现过程中的操作。
图4显示了在再现过程中对在时间方向上连续的帧的处理。
从所述记录器8读取的所述流数据在所述流控制器7中被分离为低频 流数据和高频流数据，并分别在所述第一编解码器单元61 (图中为H.264 解码器)和所述第二编解码器单元62 (图中为JPEG解码器)中经历解 压缩处理。作为进行的解压缩处理的结果，从所述第一编解码器单元61 输出低频图^Nt据，从所述第二编解码器单元62输出高频图^Jt据。这 些图像数据的这些项目是每秒60帧的运动图像数据。这些是图4中所示 的(d)低频图傳JL据和(e)高频图^lt据。
从所述第一编解码器单元61和所述第二编解码器单元62输出的图《象 数据输入到所述时间子带分割单元31。在所述时间子带分割单元31中， 在其上进行上面表达式2中所示的变换(其中使用哈尔(Haar)函数作 为基的小波逆变换)，从而所述图^Jt据变换为每秒120帧的运动图像中 的奇数帧图像(图中为N，N+2，N+4 )和所述偶数帧图像(图中为 N+l,N+3,N+5 )。变换后的奇数帧图像和偶数帧图像临时存储在所述时间 子带分割单元31中的所述帧存储器4中。
此时，在所述帧存储器4中的各个存储速度是每秒60帧。所述时间 子带分割单元31将所述奇数帧图像和偶数帧图像存储在所述帧存储器4 中，读取已经存储的之前的帧图像。此时，从所述帧存储器4读取帧图像 的速Jbi每秒120帧。下面具体描述关于控制所述帧存储器的IMt。当再现开始时，在周期A，中，对所述低频图傳Jt据(N+ (N+l))和 所述高频图像数据(N- (N+l))的每个图像区域的上半部分进行反变换， 从而产生所述帧图像N和帧图像N+1的+,部，。所述时间，带分割单4中。接着，在周期B，中，对所述低频图像数据(N+(N+l))和所述高频 图像数据(N- (N+l))的每个图像区域的下半部分进行反变换，从而产 生所，帧图像N和帧图像N+l的下,部，。所述时间子带分割单元31在周期C，中，对所述低频图INt据((N+2) + (N+3))和所述高频 图像数据((N+2) - (N+3))的上半部分进行反变换，从而产生所述帧图 像N+2和所述帧图像N+3的上半部分。所述时间子带分割单元31将所述 帧图像N+2和所述帧图像N+3的上半部分同时存储在所述帧存储器4中。在周期D，中，对每个所述低频图<綠据((N+2) + (N+3))和所述 高频图像数据((N+2) - (N+3))的下半部分进行反变换，从而产生所述 帧图像N+2和所述帧图像N+3的下半部分。所述时间子带分割单元31 将所述帧图像N+2和所述帧图像N+3的下半部分同时存储在所述帧存储 器4中。之后，以类似的方式，在周期E，中，从所述低频图#Ji:据((N+4) + (N+5))和所述高频图像数据((N+4) - (N+5))产生所述帧图像N+4 和所述帧图像N+5的上半部分并存储在所述帧存储器4中，并还读取所 述帧图〗象N+2。在周期F，中，从所述低频图像数据((N+4) + (N+5))和所述高频 图HJt据((N+4) - (N+5))产生所述帧图像N+4和所述帧图像N+5的 下半部分并将其存储在所述帧存储器4中，并还读取所述帧图像N+3。在周期G，中，从所述低频图^Jt据((N+6) + (N+7))和所述高频 图^Jt据((N+6) - (N+7))产生所述帧图像N+6和所述帧图像N+7的 上半部分并将其存储在所述帧存储器4中，并还读取所述帧图像N+4。在周期H，中，从所述低频图^lt据((N+6) + (N+7))和所述高频 图^Ji:据((N+6) - (N+7))产生所述帧图像N+6和所述帧图像N+7的 下半部分并将其存储在所述帧存储器4中，并还读取所述帧图像N+5。以上述方式，对于从所述时间子带分割单元31输出的图像数据，产 生了量等于两帧的延迟。此外，作为图4中所示进行的操作的结果，所述图像捕获装置ioo实现了每秒120帧的运动图^^r出。接下来，将参照图5描述在再现过程中每秒60帧的操作。如前面所 述，在其中根据用户的操作或从连接的图像显示器件获得的信息而要求以 每秒60帧输出运动图像的情形中，所述时间子带分割单元31输出从所述 第一编解码器单元61供给的所述低频的运动图像数据。因为从所述第一 编解码器单元61输出的所述运动图像数据是通过将每秒120帧的两个相 邻帧图像相加而产生的运动图像，所以其等价于以每秒60帧捕获的运动 图像。在其中将要进行这种操作的情形中，可进行下述控制，即所述第二 编解码器单元62不操作，可实现低功率消耗的操作。图5显示了在再现过程中以每秒60帧对在时间方向上连续的帧的操 作。如上所述，因为所述低频的图像数据等价于每秒60帧捕获的图像数 据，所以在每秒60帧的再现过程中，仅处理所述低频的图像数据并将其 输出。对于从所述记录器8读取的所述流数据，通过所述流控制器7仅提取 出所述低频流数据，并在所述第一编解码器单元61 (图中为H.264解码 器)中经历解压缩处理。作为进行的解压缩处理的结果，从所述第一编解 码器单元61输出低频图傳教据。这是图5中所示的(g)低频图傳教据。如上所述，从所述第一编解码器单元61输出的图5的部分(g)中的 所述低频图傳教据(N+ (N+l))是每秒60帧的常规运动图像数据。因此， 所述时间子带分割单元31跳过处理，即不格外进行处理，并将所述第一 编解码器单元61输出的图5的部分(g)中的所述低频图像数据供给到图 1中所示的框图的所述视频输出单元IO。以上述的方式，所述视频输出单 元10很容易从以两倍于常规帧频的帧频(本实施例中为每秒120帧)捕 获并被压缩的所述流数据实现常规帧频(本实施例中为每秒60帧)的运 动图傳瑜出。如上所述，在该处理中，如此进行控制，即所述第二编解码器单元 62不进行操作，因而可实现低功率消耗的操作。B.用于对具有高速(2倍)帧频的图像捕获数据进行处理的另一实施例接下来，将参照图6到10描述与参照图1描述的图像捕获装置不同的构造的实施例。图6显示了根据本发明的所述图像捕获装置的另一个实施例。图6 中所示的图像捕获装置101与参照图1所述的图像捕获装置100不同在于 不存在所W目机信号处理器B52。在本实施例中，在所述时间子带分割单元32中，仅对从所述时间子 带分割单元32输出的高频信号12进行伽马修正处理，所述高频信号12 输入到所述第二编解码器单元62，而没有进行相机信号处理。如上所述， 所述高频信号12仅在其中相对于时间具有运动的区域中具有信息，其他 区域具有固定的值。因此，即使在所述数据保持为RAW数据的同时进行 图像压缩，也不会大大影响压缩效率。在再现过程中，在所述时间子带分割单元32中，所述图像捕获装置 101根据表达式2对从所述第一编解码器单元61输出的低频的图傳Jt据 和从所述第二编解码器单元62输出的高频的RAW数据进行反变换，并 进^^L频输出。此时，所述高频的RAW数据是其中仅存在R(红色)、G(绿色)和B(蓝色)之一的彩色信号的数据。结果，如果在所述信号保 持为其中亮JL值为零的彩色信号的同时进行反变换，则转换后的亮度值变 为无效的。由于该原因，所述时间子带分割单元32用表示零差的固定值(本实施例中为128)填充损失的彩色信号，或在其上进行来自周围《象素 的线性内插处理。最初，由于JPEG编解码器等的图像压缩处理是适于使用其上已进行 过demosaic处理的图像数据的压缩技术，所以如果在所述数据保持为 RAW数据的同时进行压缩，则存在下述可能性，即例如在图像的边缘部 分中可能产生噪声。在^L据本实施例的图《象捕获装置101的构造的情形 中，不必设置多个相机信号处理器，并可用常规帧频(每秒60帧)的处 理实现图像压缩处理。结果，具有不必加快iiv变并可降低成本的优点。图7显示了根据本发明的图像捕获装置的再一个实施例。图7中所示 的图像捕获装置102与参照图1所述的图像捕获装置100不同在于在所述 时间子带分割单元33前面一级布置有相机信号处理器53。在本实施例中，最初，从所述图像捕获元件2输出的每秒120帧的图 像捕获信号在所勤目机信号处理器53中经it^目机信号处理，如白平衡修 正、增益修正、demosaic处理、矩阵处理和伽马修正。从所i^目机信号 处理器53输出的信号形成为每秒120帧的运动图像数据。所述时间子带分割单元33接收从所W目机信号处理器53输出的运动 图像数据，根据上述表达式1进行变换，并将其分割为低频的图像数据 15和高频的图像数据16。与所述图〗象捕获装置100中的所述时间子带分 割单元31不同，所述时间子带分割单元33在其中为每个像素完全收集彩 色信号的帧图像之间进行处理。因此，从所述时间子带分割单元33输出 的所述低频的图^Nft据15是每秒60帧的常规运动图傳教据，所述高频的 图傳教据16是每秒60帧的时间差分运动图傳Jt据。
因为图7中所示的图像捕获装置102可对捕获的RAW数据进行相机 信号处理，所以就图像质量而言，可抑制产生假象。然而，因为对于所述 相机信号处理器53来说必需以每秒120帧的速度进行处理，所以高速处 理器是必需的。
下面将参照图8描述其中流控制器的构造不同的实施例。图8显示了 其中使用根据本发明的不同的图像捕获装置的实施例。图8中所示的图像 捕获装置103与前面参照图1所述的图4象捕获装置100不同在于设置流控 制器和记录器的两个系统。
在本实施例中，从所述第一编解码器单元61输出的所述低频流数据 13输入到流控制器A71。另一方面，从所述第二编解码器单元62输出的 所述高频流数据14输入到流控制器B72。
所述流控制器A71控制从所述第一编解码器单元61供给的所述低频 流数据13，将其转换为可记录的信号，然后将所述信号输出到记录器A81。 这里，如上所述，所述低频的流数据13是符合11.264编解码器等的标准 规范的流。
所述流控制器B72控制从所述第二编解码器单元62供给的所述高频 流数据14,将其转换为可记录的信号，然后将所述信号输出到记录器B82。 这里，如上所述，所述高频的流数据14是由JPEG编解码器等压缩的但 不必符合标准规范的流。
所述记录器A81将从所述流控制器A71供给的所述低频流记录在诸 如磁带、M盘、硬盘或半导体存储器这样的记录介质上。
所述记录器B82将来自所述流控制器B72的所述高频流记录在诸如 磁带、M盘、硬盘或半导体存储器这样的记录介质上。
这里，在其上通过所述记录器A81和所述记录器B82进行记录的记 录介质不必是相同类型的。例如，根据符合标准规范的格式，所述记录器A81可将低频的流数据记录在;^盘上，根据专用的格式，所述记录器 B82可将高频的流数据记录在半导体存储器中。
在再现过程中，图8中所示的图像捕获装置103将从所述记录器A81 读取的所述低频流数据输入到所述流控制器A71。此外，所述图像捕获装 置103将从所述记录器B82读取的所述高频流数据输入到所述流控制器 B72。
所述流控制器A71将从所述记录器A81供给的所述低频流输入到所 述第一编解码器单元61。另一方面，所述流控制器B72将从所述记录器 B82供给的所述高频流输入到所述第二编解码器单元62。
这里，当图8中所示的图像捕获装置103以每秒60帧进行再现时， 对于所述图像捕获装置103来说只需要控制所述记录器A81读取低频的 数据，所述记录器B82可暂停。结果，可实现降低的功率消耗。
接下来，将参照图9描述根据本发明的使用图像压缩处理的图像记录 器件的一个实施例。
图9显示了图傳_记录器件的一个实施例。图9中所示的图《象记录器件 200是以下述方式构造的图像记录器件的典型构造，即从参照图7所述的 图像捕获装置102省略图像捕获功能并设置视频输入单元17。就是说， 从参照图7所述的图像捕获装置102删除所述图像捕获光学系统1、所述 图傳省获元件2和所W目;^信号处理器53，替代地设置视频输入单元17。
图9中所示的图像记录器件200在所述视频输入单元17中接Jjt^外 部视频输出器件供给的视频信号。此时，接收的所述视频信号是与常皿 频速率两倍高的速率(本实施例中为每秒120帧)的运动图像数据。此外， 输入的所述视频信号格式可符合数字视频信号格式，如HDMI标准或DVI 标准，或者其符合在D端口中使用的模拟分量信号格式等。所述视频输 入单元17根据所述输入视频信号格式进行信号转换处理。
所述图像记录器件200对从外部接收的所述视频信号进行时间子带 分割，记录由所述第一编解码器和所述第二编解码器压缩的流lt据。此外， 所述图像记录器件200再现记录的流数据，在所述第一编解码器和所述第 二编解码器中进行解压缩处理，并进行与所述时间子带分割相反的变换， 然后进e^L频输出。
在其中将要进行每秒60帧的再现的情形中，与所述图像捕获装置100 类似，只驱动所述第一编解码器单元61，输出低频的图傳Jt据。下面将参照图10描述根据本发明的使用图像压缩处理的图像再现器
件的一个实施例。
图IO显示了根据本发明的图像再现器件的一个实施例。图10中所示 的图像再现器件300以下述方式构造，即排除参照图9所述的图像记录器 件200中的所述视频输入单元17，且只进行再现操作，不进行记录操作。
图10中所示的图^象再现器件300包括可移除了记录介质的记录器8， 从而通过外部图像捕获装置或图像记录器件记录的记录介质插入到其中， 可再现记录介质上记录的流。这里，在所述记录^h质上记录有由根据本发 明实施例的图像捕获装置100到103或图像记录器件200压缩的流lt据。 所述图4象再现器件300在所述第一编解码器和所述第二编解码器中对从 所述记录器8再现的流数据进行解压缩处理，在所述时间子带合并单元 34中进行与所述时间子带分割相反的变换，然后进fr现频输出。
近来的一些图像再现器件包括再现记录介质上所记录的静止图像的 功能，大部分图像再现器件都包括作为组件的用于静止图像的JPEG编解 码器。因此，在其中通过JPEG编解码器形成用于压缩高频的图傳Jt据的 所述第二编解码器单元62的情形中，具有下述优点，即不需要额外的成 本来进行高帧频图像捕获。
如上所述，根据本发明该实施例的图像捕获装置包括用于以常皿频 速率两倍高的帧频进行图像捕获的图像捕获元件。通过对从所述图像捕获
元件输出的图像捕获数据进行时间子带分割，可通过具有高压缩效率的第 一编解码器压缩低频的运动图像数据，并可通过能以低成本实现的所述第 二编解码器压缩高频的运动图傳Jt据。因而，可在抑制成本增加的同时压 缩高频的图像捕获信号并将其记录。
此外，根据本发明该实施例的所述图像捕获装置如此进行时间子带分 割，以便将所述图像捕获数据分割为低频的运动图傳教据和高频的运动图 寸UL据，然后进行处理。结果，因为所述低频的运动图像数据等价于以常 皿频速率(图像捕获视频速率的一半)捕获的运动图像，所以在再现过 程中，通过仅进行所述低频的运动图像的处理，4艮容易以常皿频速率实 现运动图像再现。
在本实施例中，所述常皿频速率设为每秒60帧，所述常皿频速 率两倍高的速率设为每秒120帧。然而，所述常规视频速率并不限于此； 作为所述常M^L频速率，可使用例如每秒24帧、每秒30帧或每秒50帧的帧频。
C.用于对具有高速(N倍)帧频的图像捕获数据进行处理的构造的
示例
在参照图l至图IO描述的实施例中，已经给出了对其中常规帧频设 为每秒60帧且以两倍的帧频(即，以每秒120帧)来捕获图像数据的处 理的示例的描述。
在根据本发明的实施例的图像捕获装置中，除了以常规两倍帧频捕获 的图像数据之外，针对以任何倍数的常规帧频捕获的(即，以N倍的帧 频捕获的)图傳教据的处理是可行的。N是等于大于2的整数。下面将给 出用于对以N倍帧频捕获的图像数据执行处理的图像捕获装置的配置以 及处理的示例的描述。
在下文中，作为实施例，将给出对其中N=4的示例的描述。也就是
的示例。将给出对其中常规帧频设为每秒60帧且针对以四倍的帧频(即， 以每秒240帧)捕获的图像数据执行处理的示例的描述。
图11示出了根据本发明的图像捕获装置的实施例。图11所示的图像 捕获装置400是用于以四倍于常皿频速率的帧频来实现图像捕获、处理 和记录的设备。图像捕获装置400的时间子带分割单元35针对图像捕获 装置100的时间子带分割单元31的两层执行处理，这已在先前参照图1 进行了描述。也就是说，通过使用以每秒240帧捕获的图像数据中的四个 连续帧，产生并输出了以每秒60帧的四项图傳Jt据。
首先将描站图像捕获期间的操作。图^Mt获装置400通过使用图像 捕获元件25来接收经由图像捕获光学系统1 l的光。图像捕获元件25 是能够以高分辨率(在本实施例中假设为HD (高清晰度)分辨率)和高 帧频(在本实施例中假设为每秒240帧)执行图像捕获的固态图像捕获元 件(例如CMOS固态图<緒获元件)，并输出经由m转换器(未示出) 进行了数字转换的图像捕获数据。这里，m转换器被安装在所述CMOS 固态图像捕获元件上，或被布置在所述固态图像捕获元件外部。此外，在 本实施例中，图傳捕获元件25是具有滤色器的单板彩色方法的固态图像 捕获元件，该滤色器在光接^面上对于每个像素而言使不同波长范围的 光透过。
从图像捕获元件25输出的图像捕获数据被输入时间子带分割单元35。时间子带分割单元35将从图像捕获元件25供给的、在当前帧处的图 像捕获数据临时存储在帧存储器4中，并且g帧存储器4读取后四帧的 图像捕获数据，根据下W达式3进行子带分割处理，并输出低频LL信 号91、高频LH信号92、高频HL信号93以及高频HH信号94。
^ 4,) = /(x, 乂40 + /(x, +1) + /(x, 乂4Z + 2) + /(x, y,4z + 3)
O & j, _ 少,40 — J" 乂4, + D + 7"几"+ 2) — 7" 乂" + 3),"朋取 O (x ), ^,) — /(A 乂4,) - /(x, _y,4, +1) - /(x, 乂4, + 2) + /(x， 乂4z + 3) , i a"gg
(表达式3)
上述表达式3表示在时间方向上的小波变换，其中使用哈尔函数作为 基。在上i^达式中示出了以下值
1(x，y，4t):在时间4t时在像素位置(x，y)处的输入值，
1(x，y，4t+l):在时间4t+l时在像素位置(x,y)处的输入值，
1(x,y，4t+2):在时间4t+2时在像素位置(x，y)处的输入值，
1(x，y，4t+3):在时间4t+3时在像素位置(x，y)处的输入值，
OLL(x，y，4t):在时间4t时在像素位置(x,y)处的低频LL信号输出值，
OLH(x，y,4t):在时间4t时在像素位置(x，y)处的高频LH信号输出值，
0HIj(x，y，4t):在时间4t时在像素位置(x，y)处的高频HL信号输出值，
0HH(x，y,4t):在时间4t时在像素位置(x，y)处的高频HH信号输出值，
以及
Range: —个像素的像素值的分辨率的数字。
在例如针对每种颜色使用8位表示一个像素的情况下，分辨率的数字 为256。在本实施例中，每种颜色祐j稱述为8位。
通过用于将四个连续输入帧的湘应像素值相加的处理来产生低频LL信号输出值0!x(x，y，4t)。通过表达式3中所示的基于四个连续输入帧的相应像素值的加法/减法处理来产生其它三个高频信号输出值，即，以下高频信号输出值
高频LH信号输出值Ou!(x,y,4t)，
高频HL信号输出值0HL(x，y，4t),以及
高频HH信号输出值0冊(x，y，4t)。
以以下方式来^殳置高频HL信号输出值0LH(x，y，4t):将四个连续输入帧的相应l象素中的、在时间4t和4t+l时的前两个帧的相应^象素值(信号值)设为加法数据，并将在时间4t+2和4t+3时的后两个帧的相应像素值i史为减法lt据。
以以下方式来设置高频HL信号输出值0HL(x，y,4t):将四个连续输入帧的相应像素中的、在时间4t和4t+2时的两个帧的相应l象素值设为加法数据，并将在时间4t+l和4t+3时的两个帧的相应像素值设为减法数据。
以以下方式来设置高频HH信号输出值0HH(x，y，4t):将四个连续输入帧的相应^f象素中的、在时间4t和4t+3时的两个帧的相应《象素值设为加法数据，并将在时间4t+l和4t+2时的两个帧的相应像素值设为减法数据。
时间子带分割单元35基于与上述的时间方向上连续的四个帧相对应的信号值来产生一个低频信号输出值和三个高频信号输出值。作为该处理的结果，输出帧频变为相对于输入帧频的1/4。下面示出的表达式4表示其中使用哈尔函数作为基的小波逆变换。
<formula>formula see original document page 32</formula> - (x, 乂4,) - O'肌(x, 乂4,) + O'册(x, y,4,) +
(表达式4)
表达式4中所示的小波逆变换是用于以下计算的表达式根据前述的表达式3中所示的小波变换中产生的值
、 [R(x，y,4t+l)、[R(x,y,4t+2)和[R(x,y,4t+3)]。上ii^达式4用于解码处理。
在本实施例中，在时间子带分割单元35中的时间子带分割处理中4吏用易于实现的哈尔小波。可以使用其中使用另外的基的小波变换、或另外的子带分割处理。
图12示出了在时间子带分割单元35中的时间子带分割处理的细节。图12示出了从帧存储器4读取的第一帧(帧0)、第二帧(帧l)、第三帧(帧2)和第四帧(帧3)的图像捕获数据。每个图像捕获数据帧是对于每个像素而言具有单色信号的RAW数据，所述单色信号即具有RGB之一的一个颜色信号。例如，每帧的左上端为G信号，每个信号值被按GRGR的顺序存储在右侧，并且按BGBG的顺序将信号值存储在第二行中。例如，对于在每个帧的左上端的G信号，显示了以下值
G(0，0，0)中的G是RGB信号的G信号，
G(0，0，0)中的起首的(0，0)表示坐标位置(x,y) = (0,0)
G(0，0，0)中的末尾的(0)表示帧ID =帧0。
就四个连续帧中的空间而言，时间子带分割单元35在位于相同位置处的^f象素之间执行加法处理和减法处理。例如，在图12所示的第一帧的像素G(O，O，O)、第二帧的像素G(O，O，l)、第三帧的像素G (0，0，2)、以及第四帧的像素G(0，0,3)之间，执行表达式3所示的处理。用于将四个连续输入帧的相应像素值相加的处理计算低频信号输出值OuXx，y,4t)。用于将四个连续输入帧的相应l象素值相加和相减的处理产生三个信号，即，高频信号输出值Ouj(x,y,4t)、高频信号输出值OmXx，y，4t)、以及高频信号输出值0冊(x，y，4t)。
在下文中，根据信号值是RGB中的哪一个，将[OLL(x，y，4t)、
、 [RLH(x,y，4t)、[R肌(x,y，4t)和[RHH(x，y,4t)，
在G的情况下，表示为[dx(x，y，4t)、[GLH(x，y，4t)、[GaL(x，y,4t)和[GnH(x,y，4t)，在B的情况下，表示为[BLL(x,y，4t)、[BLH(x,y，4t)、[B肌(x，y，4t)和[G冊(x,y，4t)1。
时间子带分割单元35例如在图12所示的第一帧的4象素G(0，0，0)、第二帧的像素G(O,O，l)、第三帧的像素G(0,0,2)、以及第四帧的像素G(0，0,3)之间、执行表达式3所示的处理，并产生四个输出值。
也就是说，用于将四个连续输入帧的相应像素值相加的处理产生低频信号输出值dx(O,O，O)。此外，用于将四个连续输入帧的相应〗象素值相加和相减的处理产生高频信号Glh(O,O，O)、高频信号输出值Ghl(O，O，O)、以及高频信号输出值GHH(0，0，0)。
以类似的方式，在像素R(l，O,O)、像素R(1，0,1)以及像素R(l,0,2)之间执行处理，由此输出低频信号输出值Rxx(l，O，O)和三个信号，所述三个信号即高频信号Rm(l，O，O)、高频信号rhl(l，O,O)、以及高频信号Rhh(I，O，O)。
由时间子带分割单元35转换的低频信号91是通过将图像捕获数据的四个相邻帧的像素相加来获得的，并且对应于以图像捕获帧频(在本实施例中为每秒240帧)的1/4的帧频(每秒60帧)的、图像捕获RAW数据。另一方面，由时间子带分割单元35转换的高频信号92至94是通过确定图像捕获数据的四个相邻帧之间的差别来获得的，并且是变成指示以下内容的固定值(就安装而言制定了中心值128)的RAW数据只在运动物体的区域中存在有效《象素值，在其它区域中无差别。低频信号91和高频信号92至94中的每个信号的帧频均是每秒60帧。
时间子带分割部件35接收从图像捕获元件25输出的图像信号，并在时间方向上执行子带分割处理，由此产生由低频分量构成的低频子带分割信号以及多个由高频分量形成的高频子带分割信号，其中使所述低频子带分割信号具有比来自图像捕获元件25的信号的输入帧频低的帧频。
如上文所述，^L据本实施例的时间子带分割部件35产生多个高频子带分割信号作为高频子带分割信号。由时间子带分割部件35产生的低频子带分割信号和多个高频子带分割信号中的每个信号的帧频是根据所述较低频子带分割信号和多个高频子带分割信号的总数来确定的.
从时间子带分割单元35输出的低频信号91 (低频信号)被输入到相机信号处理器A56。以类似的方式，从时间子带分割单元35输出的高频信号92 (高频信号Olh )被输入到相积4f号处理器B57。由此而来的高频信号93 (高频信号O肌)被输入到相机信号处理器C58。由此而来的高频信号94 (高频信号Ohh )被输入到相机信号处理器D59。
相机信号处理器A56、 B57、 C58和D59对从时间子带分割单元35输出的低频信号91和高频信号92至94执行相机信号处理，例如白平衡校正、增益校正、去马赛克(demosaic)处理、矩阵处理和伽玛校正。相机信号处理器A56和相枳i信号处理器B57至D59是执行相同的处理且分别对低频信号91和高频信号92至94并行地执行处理的处理器。
如上文所述，从时间子带分割单元35输出的低频信号91和高频信号92至94是每秒60帧(60 f/s )的数据，所述每秒60帧(60 f/s )是从作为图像捕获帧频的高速(240 f/s)帧频进行速率转换后的帧频。
相积i信号处理器A56和相积i信号处理器B57至D59应当针对以每秒60帧(60 f/s)的数据执行信号处理。也就是说，可以以与针对以每秒60帧的图像捕获RAW数据的处理iUL相等的处理速度来执行处理。
从时间子带分割单元35输出的高频信号92至94是指示四个相邻帧之间的差别的RAW数据。因此，在在相机信号处理器B57至D59中的去马赛克处理中执行非线性处理的情况下，存在可能在亮度变化之处的边缘部分中产生噪声的可能性。但是，在根据本实施例的图像捕获装置400的配置的情况下，由于可通过以常规帧频(每秒60帧)的处理来实现所^目机信号处理器A56和相;tMt号处理器B57至D59，因此存在不必加速的优点。
已将相机信号处理器A56、 B57、 C58和D59以及时间子带分割单元35描述为用于分别对低频信号91和高频信号92至94执行诸如白平衡校正、增益校正、去马赛克处理、矩阵处理和伽玛校正之类的相机信号处理的组件。所述信号处理形式不限于该示例，并且各种形式都是可能的。之后将参照图13和14来描述时间子带分割单元35中的处理的细节。
W目机信号处理器A56输出的低频图^Jt据被输入到第一编解码器单元63，并且还被输入到取景器输出单元9。 ^目机信号处理器B57输出的高频图傳教据被输入到第二编解码器单元64。在下文中，以类似的方式，^目机信号处理器C58输出的高频图傳教据被输入到第三编解码器单元65，并JUM目机信号处理器D59输出的高频图像数据被输入到第四编解码器单元66。
取景器输出单元9将vM目机信号处理器A56供给的低频图像数据转换为要在取景器(未示出)上显示的信号并输出该信号。要在取景器上显示的图像的分辨率和帧频与输入图像数据相比可能不相同。在这种情况
下，取景器输出单元9执行分辨率转换处理和帧频转换处理。在要执行帧 频转换处理时，使用帧存储器(未示出)。要在取景器上显示的图像可能 必须是亮度图像。在这种情况下，取景器输出单元9将输入图像转换为亮 度图像并将其输出。
第一编解码器单元63通过使用第一图^象编解码器来压缩^目机信号 处理器A56供给的较低频的图傳教据，并输出低频流数据95。第一编解 码器单元63由例如4吏用H.264编解码方法的帧间编解码器构成。如上文 所述，低频图傳Jt据对应于以作为图^象捕获帧频的1/4的帧频(本实施例 中为每秒60帧)的图像捕获数据。
第一编解码器单元63通过将低频图像数据假设为以常规的每秒60 帧的运动图<綠据来根据诸如H.264高画质规范之类的标准规范对图像 数据进行压缩。但是第一编解码器不限于H,264编解码器。可以使用任何 方法，只要该方法可以压缩常规的运动图像数据即可。例如，可以使用以 诸如MPEG-2等的帧间编解码器、以诸如Motion-JPEG等的帧内编解码 器、或根据MPEG4格式或AVCHD格式执行处理的编解码器。此外，由 第一编解码器单元63输出的流数据95可以不符合标准规范。
第二编解码器单元64对与^目机信号处理器B57供给的高频信号92 (高频信号Olh)相对应的高频图像数据进行压缩，并输出高频流数据96。
第二编解码器64由例如以JPEG编解码方法的帧内编解码器构成。 如上文所述，所述高频图傳教据使得四个相邻帧之间的差别被确定，并且 是使得只在运动物体的区域中存在有效像素值的运动图像数据。也就是 说，所述高频图像数据使得在没有与时间相关的变化的部分中不存在信 息(变成固定值)，并且在存在动作的部分中、在具有小的亮度差的区域 中具有少量信息。通常，这种图像信号易于压缩。即使不使用具有高压缩 效率(尽管该处理是复杂的且具有高成本)的帧间编解码器，诸如低成本 的JPEG编解码器之类的帧内编解码器也允许压缩到足够小的量的信息。 因此，第二编解码器单元64通过使用JPEG编解码器来针对每一帧压缩 高频图^lt据，
第三编解码器单元65对与W目机信号处理器C58供给的高频信号93 (高频信号Ohl)相对应的高频图像数据进行压缩，并输出高频流数据
9根据与第二编解码器单元64相类似的编解码器构造(例如以JPEG 方法的帧内编解码器)来配置第三编解码器单元65。
第四编解码器单元66对与v^目机信号处理器D59供给的高频信号93 (高频信号Ohh)相对应的高频图像数据进行压缩，并输出高频流数据 98。
同样地，才艮据与第二编解码器单元64相类似的编解码器构造(例如 以JPEG编解码器方法的帧内编解码器)来配置第四编解码器单元66。
如上文所述，第一编解码器单元63被设置为具有比第二编解码器单 元64至第四编解码器单元66的压缩效率高的压缩效率的压缩处理部件。 第二编解码器单元64至第四编解码器单元66可以被配置为具有比第一编 解码器单元63的压缩效率低的压缩效率且具有小的电路尺寸。
许多近来的图像捕获装置具有捕获静止图像的功能，并且其中大多数 包括作为组件的用于静止图像的JPEG编解码器。因此，在通过JPEG编 解码器来配置用于压缩高频图像数据的第二编解码器单元64至第四编解 码器单元66的情况下，可以使用用于静止图像的JPEG编解码器。在这 种情况下存在以下优点用于执行对高帧频图像的压缩的额外成本是不必 要的。但是，第二编解码器单元64至第四编解码器单元66不限于JPEG 编解码器。可以使用任何用于压缩常规图像数据的方法。例如，可以使用 以JPEG2000等的帧内编解码器或以MPEG-2等的帧间编解码器。
可以通过具有相同形式的编码处理部件来配置用于对多个高频子带 分割信号中的每个信号执行压缩处理的第二编解码器单元64至第四编解 码器单元66。此外，可以通过用于执行不同的编码处理的编码处理部件 来配置编解码器单元64至66。
分别从第一编解码器单元63和第二编解码器单元64至第四编解码器 单元66输出的、压缩的流数据95和流数据96至98被输入到流控制器 71中。
流控制器71将从第一编解码器单元63输入的、通过压缩低频图係教 据而获得的流数据95与从第二编解码器单元64至第四编解码器单元66 输入的、通it^缩高频图^JL据而获得的流数据96至98相合并，并将作 为结果的数据输出至记录器81。如上文所述，从第一编解码器单元63供 给的低频流数据95是通过利用11.264编解码器压缩每秒60帧的运动图像 而获得的数据，并且是符合标准规范的流。另 一方面，从第二编解码器单元64至第四编解码器单元66供给的高 频流数据96至98是通过利用JPEG编解码器压缩每秒60帧的差分图像 而获得的数据，所述流数据96至98与标准视频流不同。流控制器71将 从第二编解码器单元64至第四编解码器单元66供给的流数据96至98打 包，并将该流数据作为用户数据叠加在从第一编解码器单元63供给的符 合标准规范的流上。
也就是说，流控制器71将通过将从第二编解码器单元64至第四编解 码器单元66供给的压缩的高频数据打包而获得的数据作为用户数据而叠 加在从第一编解码器单元63供给的符合标准规范的流上。对于解码而言， 将^Li殳置为用户数据的包分离，并将执行处理。稍后将描述该处理。
从流控制器71输出的合并的流数据被输入到记录器81中。
记录器81将从流控制器71供给的符合标准规范的流数据记录在诸如 磁带、磁光盘、硬盘或半导体存储器之类的记录介质上。
作为上述操作的结果，通过应用具有超级压缩效率的第一编解码器和 可以以低成本实现的第二至第四编解码器，变得可以以与以常规帧频(在 本实施例中为每秒60帧)的处理速度相匹配的速度，压缩以作为常规帧 频的四倍的帧频(在本实施例中为每秒120帧)捕获的图像信号。因此， 提供了在使成本增加最小化的同时以高帧频实现图像捕获、处理和记录的 图像捕获装置。
在本实施例中，已经描述了以作为常规帧频的四倍的帧频(每秒240 帧)来实现图像捕获、处理和记录的图像捕获装置。该处理不限于两倍或 四倍的帧频。可以将本实施例扩展到以N倍(N是2的幂)的帧频(每 秒60的N倍个帧)来实现图《象捕获、处理和记录的图像捕获装置。
接下来将参照附图来描述在再现过程中的操作。
为了再现所记录的运动图像，图像捕获装置400根据用户的操作以所 述方式来读取记录在记录器81中的流lt据。从记录器81读取的流lt据被 输入到流控制器71中。
流控制器71接^记录器81供给的流数据，并将其分离为由第一编 解码器单元63压缩的低频流数据和由第二编解码器单元64至66压缩的 高频流数据。如上文所述，记录器81中记录的流数据是以第一编解码器 单元63的压缩方法的、符合标准规范的流数据。由第二编解码器单元64 至6 6压缩的流数据已被打包并被作为用户数据而叠加。流控制器71从记录器81接收的流数据中提取通过对由第二编解码器 单元64至第四编解码器单元66压缩的流数据进行打包而获得的、已被作 为用户数据而叠加的数据，并将该数据分离为由第一编解码器单元63压 缩的低频流数据95和由第二编解码器单元64至第四编解码器单元66压 缩的高频流数据96至98，并将它们分别输出至第一编解码器单元63和 第二编解码器单元64至第四编解码器单元66。
第一编解码器单元63接iJ^流控制器71供给的流数据95，并执行 解码(即解压缩处理)。如上文所述，第一编解码器单元63由例如以H.264 编解码方法的帧间编解码器构成。此外，流lt据95是在第一编解码器单 元63中根据诸如H.264高画质规范之类的标准规范而压缩的流。第一编 解码器单元63将流数据95解压缩，并将其转换为每秒60帧的低频运动 图像数据。如上文所述，由于低频运动图像数据对应于每秒60帧的图像 捕获数据，因此从第一编解码器单元63输出的运动图像数据是以常规的 每秒60帧的运动图像。
第二编解码器单元64接收从流控制器71供给的流数据96，并执行 解压缩处理。如上文所述，第二编解码器单元64由例如以JPEG编解码 方法的帧内编解码器构成。第二编解码器单元64将流lt据96解压缩以将 其转换为每秒60帧的高频运动图像。如上文所述，由于高频运动图像数 据使得图像捕获数据的相邻的四个帧之间的差别被确定，因此从第二编解 码器单元64输出的运动图像数据是每秒60帧的时间差分运动图像。
第三编解码器单元65接^流控制器71供给的流数据97，并执行 解压缩处理。如上文所述，第三编解码器单元65是与第二编解码器单元 64相同的处理器，并且从第三编解码器单元65输出的运动图像数据是每 秒60帧的时间差分运动图像。
第四编解码器单元66接JJ^流控制器71供给的流数据98，并执行 解压缩处理。如上文所述，第四编解码器单元66是与第二编解码器单元 64相同的处理器，并iU^第四编解码器单元66输出的运动图^Jt据是每 秒60帧的时间差分运动图像。
可以通过具有相同形式的解码处理部件来配置用于对从流控制器71 供给的高频流数据96至98执行解压缩处理的第二编解码器单元64至第 四编解码器单元66。此外，可以通过执行不同的解码处理的解码部件来 配置它们。从第一编解码器单元63输出的所有运动图像数据以及从第二编解码 器单元64至第四编解码器单元66输出的运动图《象数据被输入到时间子带 分割单元35中。在这种情况下，时间子带分割单元用作时间子带合并单 元35。也就是说，通过接收第一编解码器单元63和第二编解码器单元64 至第四编解码器单元66的解码结果，并通过在时间方向上进行子带合并 处理，产生了合并的图像信号，该合并的图像信号的帧频比由每个编解码 器输出的图l象信号的帧频高。
更具体地，时间子带分割单元(时间子带合并单元)35根据上述的 表达式4、对从第一编解码器单元63和第二编解码器单元64至第四编解 码器单元66供给的低频运动图像数据和高频运动图像数据进行逆变换 (在时间方向上的小波逆变换)，由此产生以每秒240帧的具有四个连续 帧的图像。时间子带分割单元35将该四个连续帧图像临时存储在帧存储 器4中，并且还以四倍的帧频(每秒240帧)交替读取之前的连续四个帧 的图像。通过进行这种处理，可以恢复每秒240帧的运动图像数据。
由时间子带分割单元(时间子带合并单元)35产生的运动图^象是以 基于以下图像信号的总数而确定的帧频的、合并的图像信号具有由第一 编解码器单元63产生的低频分量的图像信号，以及具有由第二编解码器 单元64至第四编解码器单元66产生的高频分量的图《象信号。
此夕卜，当用户的操作或从连接的图像显示器件获得的信息要求输出每 秒60帧的运动图像时，时间子带分割单元35按原样输出从第一编解码器 单元63供给的低频运动图像数据。如上文所述，由于从第一编解码器单 元63输出的运动图像数据是通过以每秒240帧将四个相邻帧图像相加而 产生的运动图像，因此该运动图像数据对应于以每秒60帧捕获的运动图 像。当要进行这种操作时，控制器(未示出)可以控制第二编解码器单元 64至第四编解码器单元66不进行操作，并且具有低功耗的操作是可行的。
此夕卜，当用户的操作和从连接的图像显示器件获得的信息要求输出每 秒120帧的运动图像时，时间子带分割单元35基于从第一编解码器单元 63供给的低频运动图像数据和从第二编解码器单元64供给的高频运动图 像数据、根据下面示出的表达式5来转换数据，由此产生每秒120帧的运 动图像。<formula>formula see original document page 41</formula>
(表达式5 )
上述转换后的运动图像数据是通过以每秒120帧将两个相邻帧图像 相加而获得的运动图像，并且对应于以每秒120帧捕获的运动图像。在要 进行这种操作的情况下，控制器(未示出)可以控制第三编解码器单元 65和第四编解码器单元66不进行操作，并且具有低功耗的操作是可行的。
从时间子带分割单元35输出的运动图HJt据被输入到视频输出单元 10中。
视频输出单元10将从时间子带分割单元35供给的运动图像数据作为 每秒240帧的视频数据而输出。在此要输出的视频数据可以是一种符合诸 如HDMI (高清多媒体接口 )标准或DVI (数字视频接口 )标准之类的 数字视频信号格式的视频数据，或者可以是一种符^^吏用D端子的模拟 分量信号格式的视频数据。视频输出单元10根据输出的视频信号的格式 来执行信号转换处理。
作为上述操作的结果，可以再现其中记录有以四倍于常规帧频的帧频 (本实施例中为每秒240帧)捕获的图像信号的数据，并且可以通过4吏用 具有超级压缩效率的第一编解码器和能以低成本实现的第二至第四编解 码器来解压缩该数据。因此，提供了在使成本增加最小化的同时实现对高 帧频视频的再现输出的图像捕获装置。
此夕卜，如上文所述，在根据从连接的图像显示器件获得的信息来要求 输出每秒60帧的运动图像的情况下，可以以直接输出从第一编解码器单 元63供给的低频运动图傳教据的方式来形成该结构。在此情况下，在再 现过程中，可以停止第二至第四编解码器的处理，并且可以实现功耗的减 少以及以常皿频帧频的视频图4IJ^出。
此外，如上文所述，在根据从连接的图像显示器件获得的信息来要求 输出每秒120帧的运动图像的情况下，可以以输出根据以下数据创建的运 动图像的方式来形成该结构从第一编解码器单元63供给的低频运动图 像数据，以及从第二编解码器单元64供给的高频运动图傳教据。在此情况下，在再现过程中，可以停止第三编解码器单元65和第四编解码器单 元66的处理，并且可以实现功耗的减少以及以常皿频帧频的视频图像 输出。
在上述的本实施例中，已经描述了以四倍于常规帧频的帧频(每秒 240帧)来实现视频再现的图像捕获装置。该处理不限于两倍或四倍的帧 频，并且可以将本实施例扩展到以N倍(N是2的幂)的帧频(每秒60 的N倍个帧)来实现视频输出的图《象捕获装置，这可以通过分层时间子 带分割来实现。此时，可以以任意的M倍(M是2的幂，且小于等于N) 的帧频(每秒60的M倍个帧)来实现视频再现。在以M倍的帧频的再 现的情况下，可以通过停止一些编解码器单元的处理来实现功耗的减少。
将参照图13至15来描述本图像捕获装置中的时间子带分割单元35 中的时间子带分割处理和编解码处理的示例性^Mt 。
首先将参照图13来描述在图像捕获过程中的操作。
图13示出了在图像捕获过程中在时间子带分割单元3 5中的时间子带 分割处理，即，针对时间方向上的连续帧的处理。
(a)图像捕获元件输出的数据是图11所示的图像捕获元件25的输 出。对于该数据，具有HD分辨率的图像帧(图中的N至N+7)以每秒 240帧的速度输出。这里N^:任意整数。
其由图11所示的时间子带分割单元35中的时间子带处理产生，并被作为 在相机信号处理器A56和第一编解码器单元63中处理后的信号而输出。
(c )高频LH图像数据是高频的图像数据(本实施例中为每秒60帧)， 其由图11所示的时间子带分割单元35中的时间子带处理产生，并祐:作为 在相机信号处理器B57和第二编解码器单元64中处理后的信号而输出。
(d)高频HL图像数据是高频的图^Jt据(本实施例中为每秒60 帧)，其由图11所示的时间子带分割单元35中的时间子带处理产生，并 被作为在相机信号处理器C58和第三编解码器单元65中处理后的信号而 输出。
(e )高频HH图像数据是高频的图傳教据(本实施例中为每秒60帧)， 其由图11所示的时间子带分割单元35中的时间子带处理产生，并被作为 在相机信号处理器D59和第四编解码器单元66中处理后的信号而输出。中的帧存储器4中。此时，存储到帧存储器4中的存储速Jbl每秒240 帧。时间子带分割单元35将帧图像存储在帧存储器4中，同时还读取已 存储的之前的连续四个帧的图像。此时，从帧存储器4读取连续四个帧的 图像的速度是每秒60帧。
下面将给出对用于在时间子带分割单元35中产生(b )低频LL图像 数据、(c)高频LH图像数据、(d)高频HL图像数据和(e)高频HH 图像数据的、涉及对帧存储器4的控制的处理的具体操作示例的描述。当 图像捕获开始时，在图13所示的周期A中，时间子带分割单元35接收 从图像捕获元件25输入的帧图像N，并将该帧图像N存储在帧存储器4 中。接着，在周期B中，时间子带分割单元35接收来自图像捕获元件25 的帧图像N+1，并将该帧图像N+1存储在帧存储器4中。以类似的方式， 时间子带分割单元35在周期C中接收来自图像捕获元件25的帧图像 N+2，在周期D中接收帧图像N+3，并将其存储在帧存储器4中。
在周期E中，时间子带分割单元35将帧图像N+4存储在帧存储器4 中，同时还M储器4读取帧图像N、帧图像N+1、帧图像N+2和帧图 像N+3。此时，由于读^JL是存储速度的1/4 (本实施例中为每秒240 帧/4 = 60帧/秒)，因此对于帧图像N至N+3，只读取屏幕的上l/4部分。 图15示出了存储在帧存储器4中的一个帧图^Jt据。在周期E中，时间 子带分割单元35只读取帧图像N至N+3的屏幕的上1/4部分(图15所 示的I部分)。
在接下来的周期F中，时间子带分割单元35将帧图像N+5存储在帧 存储器4中，同时还M储器4读取帧图像N、帧图像N+1、帧图像N+2 和帧图像N+3。在周期F中，读取帧图像N至N+3的接下来的1/4数据， 即，只读取图15所示的J区域。
在周期G中，时间子带分割单元35将帧图像N+6存储在帧存储器4 中，同时还M储器4读取帧图像N、帧图像N+1、帧图像N+2和帧图 像N+3。在周期G中，读取帧图像N至N+3的接下来的1/4数据，即， 只读取图15所示的K区域。
在周期H中，时间子带分割单元35将帧图像N+5存储在帧存储器4 中，同时还从存储器4读取帧图像N、帧图像N+1、帧图像N+2和帧图 像N+3。在周期H中，读取帧图像N至N+3的剩余的1/4数据，即，只 读取图15所示的L区域。如上文所述，在时间子带分割单元35中产生了针对四个帧的延迟。
从帧存储器4读取的连续四帧图像(例如图中的N、 N+l、 N+2和 N+3)在时间子带分割单元35中经历前述的表达式3中所示的变换，并 被分割为低频图像数据(LL图像数据)和三项高频图像数据(LH图像 数据、HL图像数据和HH图像数据)。这里，所述低频图傳Jt据和高频 图^Ji:据中的每种数据均是每秒60帧的运动图^Jt据。
如上文所述，从时间子带分割单元35输出的低频图像数据被相机信 号处理器A56处理，然后在第一编解码器单元63 (图中为H.264编码器) 中经历压缩处理。另一方面，如上文所述，从时间子带分割单元35输出 的高频图像数据在相机信号处理器B57至相机信号处理器D59中被处理， 然后在第二编解码器单元64至第四编解码器单元66 (图中为JPEG编码 器)中经历压缩处理。
接下来将参照图14来描述再现过程中的操作。
图14示出了在再现过程中对时间方向上连续的帧的处理。
从记录器81读取的流数据在流控制器71中被分离为低频流数据和三 种高频流数据。这些流数据分别在第一编解码器单元63 (图中为H.264 编码器)和第二编解码器单元64至第四编解码器单元66 (图中为JPEG 编码器)中经历解压缩处理。作为经历解压缩处理的结果，从第一编解码 器单元63输出低频图像数据，从第二编解码器单元64至第四编解码器单 元66输出三种高频图像数据。这些图像数据均为每秒60帧的运动图像数 据。它们是图14所示的(f)低频LL图像数据、(g)高频LH图^Jt据、 (h)高频HL图傳Jt据和(i)高频HH图傳Jt据。
从第 一编解码器单元63和第二编解码器单元64至第四编解码器单元 66输出的图傳教据都被输入到时间子带分割单元35中。时间子带分割单 元35对该图像数据执行上述的表达式4所示的变换(使用哈尔函数作为 基的小波逆变换)，使得该图HJt据被转换为每秒240帧的运动图像中的 连续四帧图像(例如图中的N、 N+l、 N+2和N+3)。转换后的连续四帧 图傳被时间子带分割单元35临时存储在帧存储器4中。
此时，存储到帧存储器4中的速Jb^每秒60帧。时间子带分割单元 (时间子带合并单元)35将所述连续四帧图像存储在帧存储器4中，并 且还读取已经存储的之前的帧图像。此时，从帧存储器4读取帧图像的速 度是每秒240帧。下面将更具体地描述与对帧存储器的控制相关的操作。
当再现开始时，在周期A'中，时间子带分割单元(时间子带合并单 元)35只对低频LL图像、高频LH图像、高频HL图像和高频HH图像 的第一帧图像(例如N十(N+l) + (N+2) + (N+3))中的1/4数据部分 执行逆变换。
下面将参照图15进行描述。时间子带分割单元(时间子带合并单元) 35只对图15所示的帧数据中的I区域执行逆变换，由此产生具有帧图傳_ N至N+3的1/4的图傳教据(图15中的I区域)。同时，时间子带分割单 元(时间子带合并单元)35将该具有帧图像N至N+3的1/4的图傳Jt据 (图15中的I区域)存储在帧存储器4中。
接下来，在周期B'中，时间子带分割单元(时间子带合并单元)35 对相对于低频LL图像、高频LH图像、高频HL图像和高频HH图像的 第一帧图像(例如N十(N+l) + (N+2) + (N+3))中的每个帧图l象的、 接下来的1/4数据(图15所示的J区域)执行逆变换。产生了帧图像N 至N+3中的、图15中的J区域。同时，时间子带分割单元35将该帧图 像N至N+3的屏幕中的、图15中的J区域存储在帧存储器4中。
在周期C'中，以类似的方式，时间子带分割单元(时间子带合并单 元)35对相对于低频LL图像、高频LH图像、高频HL图像和高频HH 图《象的第一帧图4象(例如N十(N+l) + (N+2) + (N+3))中的每个帧图 像的、接下来的l/4数据(图15所示的K区域)执行逆变换。产生了帧 图像N至N+3的屏幕中的、图15中的K区域。同时，时间子带分割单 元35将该帧图像N至N+3的屏幕上的、图15中的K区域存储在帧存储 器4中。
在周期D'中，以类似的方式，时间子带分割单元(时间子带合并单 元)35对相对于低频LL图像、高频LH图像、高频HL图像和高频HH 图像的第一帧图像(例如N十(N+l) + (N+2) + (N+3))中的每个帧图 像的、接下来的1/4数据(图15所示的L区域)执行逆变换。产生了帧 图像N至N+3的屏幕上的、图15所示的L区域。同时，时间子带分割 单元35将该帧图像N至N+3的屏幕上的、图15中的L区域存储在帧存 储器4中。
接下来，在周期E'中，时间子带分割单元(时间子带合并单元)35 对相对于低频LL图像、高频LH图像、高频HL图像和高频HH图像的下一帧图像(例如(N+4) + (N+5) + (N+6) + (N+7))中的每个帧图 像的、接下来的1/4数据(图15所示的I区域)执行逆变换。产生了帧 图像N+4至N+7的屏幕上的、图15中的I区域。同时，时间子带分割单 元35将该帧图像N+4至N+7的屏幕上的、图15中的I区域存储在帧存 储器4中，并且还读取帧图像N。
在周期F'中，时间子带分割单元(时间子带合并单元)35对相对于 低频LL图像、高频LH图像、高频HL图像和高频HH图像的帧图像(例 如(N+4) + (N+5) + (N+6) + (N+7))中的每个帧图像的、接下来的 1/4数据(图15所示的J区域)执行逆变换。产生了帧图像N+4至N+7 的屏幕上的、图15中的J区域。同时，时间子带分割单元35将该帧图像 N+4至N+7的屏幕上的、图15中的J区域存储在帧存储器4中，并且还 读取帧图像N+1。
在周期G'中，以类似的方式，时间子带分割单元(时间子带合并单 元)35对相对于低频LL图像、高频LH图像、高频HL图像和高频HH 图《象的帧图像(例如(N+4) + (N+5) + (N+6) + (N+7))中的每个帧 图像的、接下来的1/4数据(图15所示的K区域)执行逆变换。产生了 帧图像N+4至N+7的屏幕上的、图15中的K区域。同时，时间子带分 割单元35将该帧图像N+4至N+7的屏幕上的、图15中的K区域存储在 帧存储器4中，并且还读取帧图像N+2。
在周期H'中，以类似的方式，时间子带分割单元(时间子带合并单 元)35对相对于低频LL图像、高频LH图像、高频HL图像和高频HH 图《象的帧图像(例如(N+4) + (N+5) + (N+6) + (N+7))中的每个帧 图像的、接下来的1/4数据(图15所示的L区域)执行逆变换。产生了 帧图像N+4至N+7的屏幕上的、图15中的L区域。同时，时间子带分 割单元35将该帧图像N+4至N+7的屏幕上的、图15中的L区域存储在 帧存储器4中，并且还读取帧图像N+3。
如上文所述，对于从时间子带分割单元35输出的图像数据，产生了 针对四个帧的延迟。此外，作为执行图14所示的^Mt的结果，图像捕获 装置400实现了每秒240帧的运动图^L#"出。
对于已参照图11至15描述的、用于以高速(N倍的)帧频来对图像 捕获lt据执行处理的配置的示例而言，与先前参照图6至10描述的那些 修^bt目同的修改是可行的。也就是+兌，以下配置是可行的
其中省略了参照图6描述的一些相积i信号处理器的配置，
其中将参照图7描述的相机信号处理器设于图像捕获元件与时间子 带分割单元之间的配置，
其中基于每个信号地设置参照图8描述的流控制器和存储单元的配
置，
参照图9描述的、其中输入视频信号并执行处理的配置， 参照图10描述的、用于只执行再现处理的图像处理设备的配置，以
及
图11所示的配置，其中该配置被用作基础并^L修改为图6至10所示 的每个配置，并且执行处理。
上面在参照具体实施例的同时详细描述了本发明。然而，在本发明的 精神和范围内可进行实施例的修改和替换，这是显而易见的。就是说，作 为典型的实施例公开了本发明，不应解释为限制。为了确定本发明的本质， 应考虑权利要求。
注意，可通过硬件、软件或它们的组合进行说明书中描述的一系列处 理。在其中通过软件进行所述一系列处理的情形中，可在嵌在专门硬件中 的计算机中的存储器中安装记录所述处理顺序的程序并执行。可选择地，
所述程序可安装在能进行各种处理的通用计算机上。例如，所述程序可记 录在记录介质上。注意，除将所述记录介质的程序安装到计算机之外，所 述程序还可通过诸如LAN (局域网)或因特网这样的网络安装在诸如内 部^it这样的记录介质上。
注意，说明书中描述的各种处理不必按所述的顺序连续进行，其可根 据进行所述处理的装置的处理性能或的必要性而并行或单独进行。此外， 本说明书中的系统是指多个装置的逻辑组合，不限于其中在单个壳体中包 含具有单独结构的装置的组合。
本领域技术人员应当理解，根据设计条件和其他因素可产生各种修 改、组合、再组合和替换，只要它们在所附权利要求或其等价物的范围内 就行。
权利要求
1.一种图像处理装置，包括时间子带分割部件，用于通过在时间方向上对图像信号进行子带分割处理而产生低频子带分割信号和高频子带分割信号，所述低频子带分割信号由帧频比所述图像信号的帧频低的低频分量形成，所述高频子带分割信号由高频分量形成；第一编码部件，用于压缩所述低频子带分割信号；和第二编码部件，用于压缩所述高频子带分割信号，其中所述第一编码部件和所述第二编码部件进行不同的编码处理。
2. 根据权利要求l所述的图像处理装置，其中所述第一编码部件包 括压缩效率比所述第二编码部件高的编码处理部件。
3. 根据权利要求l所述的图像处理装置，其中所述第二编码部件包 括电路尺寸比所述第一编码部件小的编码处理部件。
4. 根据权利要求l所述的图像处理装置，其中所述时间子带分割部 件是在所述时间方向上的小波变换器，并进行下述处理，即通过在所述时 间方向上相邻的多个帧之间进行哈尔变换而将帧信号分割为低频分量和 高频分量。
5. 根据权利要求l所述的图像处理装置，其中所述时间子带分割部 件接收P帧每秒的图像信号作为所述图像信号(P为整数)，并通过在所 述时间方向上进行子带分割处理而产生(P/Q)帧每秒的低频子带分割信 号和高频子带分割信号(Q为2或比2大的整数)。
6. 根据权利要求5所述的图像处理装置，其中所述第一编码部件和 所述第二编码部件每个都以(P/Q)帧/每秒进行编码处理。
7. 根据权利要求l所述的图像处理装置，进一步包^&录部件，该 记录部件用于记录从所述第一编码部件输出的低频流数据和从所述第二 编码部件输出的高频流数据；第一解码部件，用于接收在所述记录部件中记录的所述低频流数据并 进行用于将低频分量解压缩的处理；第二解码部件，用于接收在所述记录部件中记录的所述高频流数据并 进行用于将高频分量解压缩的处理；和时间子带合并部件，用于通过对作为所述第 一解码部件和所述第二解 码部件的解码结果的图像信号进行在所述时间方向上的子带合并处理，产 生帧频比作为所述第一解码部件和所述第二解码部件的解码结果的图4象 信号的帧频高的合并后图像信号。
8. 根据权利要求7所述的图像处理装置，其中所述时间子带合并部 件是在所述时间方向上的小波逆变换器。
9. 根据权利要求l所述的图像处理装置，其中所述时间子带分割部件产生多个高频子带分割信号作为所述高频子 带分割信号，所述低频子带分割信号的帧频和所述多个高频子带分割信号的帧频 是根据所述低频子带分割信号和所述多个高频子带分割信号的总数而确 定的。
10. 根据权利要求9所述的图像处理装置，其中所述第二编码部件包 括用于对所述多个高频子带分割信号中的每个进行压缩处理的多个不同 的编码部件。
11. 根据权利要求l所述的图像处理装置，其中所述时间子带分割部 件通过用于添加在所述图像信号中所包含的相对于时间连续的N个图像 帧的对象像素的信号值的处理而产生一个低频子带分割信号(NS)，并 通过用于添加和减去在所述图〗象信号中所包含的相对于时间连续的N个 图像帧的对象像素的信号值的处理而产生N-l个高频子带分割信号(N^2 )，所述N-l个高频子带分割信号中的每个是通过区别地设定被执行加 法处理和减法处理的图像帧的组合而计算得到的信号。
12. 根据权利要求1所述的图像处理装置，其中还包括图像捕获元件， 该图《象捕获元件被配置成通过光电转换获得图 <象信号，所述时间子带分割部件通过对来自所述图像捕获元件的图像信号进 行处理而产生高频子带分割信号和帧频比来自所述图像捕获元件的信号 的帧频低的和低频子带分割信号。
13. —种图像处理装置，包括第一解码部件，用于接收在记录部件中记录的低频流数据并进行用于 将低频分量解压缩的处理；第二解码部件，用于接收在所述记录部件中记录的高频流数据并进行用于将高频分量解压缩的处理；和时间子带合并部件，用于通过在时间方向上对作为所述第 一解码部件 和所述第二解码部件的解码结果的图〗象信号进行子带合并处理，产生帧频 比作为所述第 一解码部件和所述第二解码部件的解码结果的所述图4象信 号的帧频高的合并后图像信号。
14. 根据权利要求13所述的图像处理装置，其中所述第一解码部件 对编码数据进行压缩效率比所述第二解码部件高的解码。
15. 根据权利要求13所述的图像处理装置，其中所述第二解码部件 接收在所述记录部件中记录的多个不同的高频流数据并产生由高频分量 组成的多个不同的图傳_信号；和所述时间子带合并部件通过在所述时间方向上对作为所述第 一解码 部件的解码结果的图《象信号和作为所述第二解码部件的解码结果的多个 不同的图像信号进行子带合并处理，产生高帧频的合并后图像信号。
16. 根据权利要求13所述的图像处理装置，其中所述时间子带合并 部件产生的合并后图像信号的帧频是根据由所述第 一解码部件产生的所 述低频分量图《象信号和由所述第二解码部件产生的高频分量图4象信号的 总数而确定的。
17. 根据权利要求13所述的图像处理装置，其中所述第二解码部件 包括用于对在所述记录部件中记录的多个高频流数据中的每个进行解压 缩处理的多个不同的解码部件。
18. —种图像处理方法，包括下述步骤通过在时间方向上对图像信号进行子带分割处理，产生由帧频比所述 图像信号的帧频低的低频分量形成的低频子带分割信号和由高频分量形 成的高频子带分割信号；压缩所述低频子带分割信号；和压缩所述高频子带分割信号，其中在压缩所述低频子带分割信号的步骤和压缩所述高频子带分割 信号的步骤中，进行不同的编码处理。
19. 一种图像处理方法，包括下述步骤接收低频流数据并进行用于将低频分量解压缩的处理；接收高频流数据并进行用于将高频分量解压缩的处理；和基于用于将所述低频流数据解压缩的处理而获得的第一图像信号和 用于将所述高频流数据解压缩的处理而获得第二图像信号，通过在时间方 向上进行子带合并处理产生帧频比所述第 一 图像的帧频高的合并后图像 信号。
20. —种程序，使计算机进行包括下述步骤的图像处理方法通过在时间方向上对图像信号进行子带分割处理，产生由帧频比所述 图寸象信号的帧频低的低频分量形成的低频子带分割信号和由高频分量形 成的高频子带分割信号；压缩所述低频子带分割信号；和压缩所述高频子带分割信号，其中在压缩所述低频子带分割信号的步骤和压缩所述高频子带分割 信号的步骤中，进行不同的编码处理。
21. —种程序，使计算机进行包括下述步骤的图像处理方法接收低频流数据并进行用于将低频分量解压缩的处理；接收高频流数据并进行用于将高频分量解压缩的处理；和基于用于将所述低频流数据解压缩的处理而获得的第一图像信号和 用于将所述高频流数据解压缩的处理而获得第二图像信号，通过在时间方 向上进行子带合并处理产生帧频比所述第 一 图像的帧频高的合并后图像 信号。
22. —种图像处理装置，包括时间子带分割部件，被配置成通过在时间方向上对图像信号进行子带 分割处理而产生低频子带分割信号和高频子带分割信号，所述低频子带分 割信号由帧频比所述图像信号的帧频低的低频分量形成，所述高频子带分 割信号由高频分量形成；笫一编码部件，被配置成压缩所述低频子带分割信号；和第二编码部件，被配置成压缩所述高频子带分割信号，其中所述第 一编码部件和所述第二编码部件进行不同的编码处理。
23. —种图l象处理装置，包括第一解码部件，被配置成接收在记录部件中记录的低频流数据并进行 用于将低频分量解压缩的处理；第二解码部件，被配置成接收在所述记录部件中记录的高频流数据并 进行用于将高频分量解压缩的处理；和时间子带合并部件，被配置成通过在时间方向上对作为所述第 一解码 部件和所述第二解码部件的解码结果的图〗象信号进行子带合并处理，产生 帧频比作为所述第 一解码部件和所述第二解码部件的解码结果的图4象信 号的帧频高的合并后图像信号。
全文摘要
本发明涉及图像处理装置，图像处理方法和程序。图像处理装置包括时间子带分割单元，被配置成通过在时间方向上对图像信号进行子带分割处理而产生低频子带分割信号和高频子带分割信号，所述低频子带分割信号由帧频比所述图像信号的帧频低的低频分量形成，所述高频子带分割信号由高频分量形成；第一编码单元，被配置成压缩所述低频子带分割信号；和第二编码单元，被配置成压缩所述高频子带分割信号，其中所述第一编码单元和所述第二编码单元进行不同的编码处理。
文档编号H04N5/232GK101516031SQ20091000568
公开日2009年8月26日 申请日期2009年2月19日 优先权日2008年2月19日
发明者小林诚司 申请人:索尼株式会社
技术领域：
本发明涉及一种图像捕获装置、图像处理装置、图像处理方法和程序。 本发明尤其涉及一种可实现图像压缩处理的加速的图像捕获装置、图像处 理装置、图像处理方法和程序。
背景技术：
近年来在图像捕获装置领域中，已经可获得能以比常皿频帧频(每 秒60帧，每秒50帧，每秒24帧等)高的速率进行图像捕获的高速图像 捕获装置。在这种高速图像捕获装置中，高分辨率和高帧频的图像捕获信 号的数据速率变高，且对以该高速数据速率输入的数据所进行的图像信号 处理和图像压缩处理需要以较高的it^进行。然而，存在一个问题，即很
这样的信号处理。
由于该原因，对于现有技术的高速图像捕获装置，已经提出了下述一
存储器中，^完成了图像捕获处理之后从外部控制器件(主要是计算机) 读取半导M储器内的捕获图^Jt据，并进行处理，并且还提出了下述一
种方法，即其中在完成图像捕获处理之后，以与将要在后一阶段进行的视
体存储器读取捕获的图像数据，对其进行图像信号处理和图像压缩处理， 并将所述捕获图像数据记录在记录介质上。
然而，在其中以上述方式临时将捕获图像数据存储在半导体存储器中 的构造的情形中，因为安M高速图像捕获装置中的半导M储器的容量 有P艮，所以存在其中用于连续图像捕获的记录时间周期有限的问题。为了 克服该问题，必需对从图^Mt获元件输出的捕获图^Jt据实时进行图像信 号处理和图像压缩处理并将捕获图像数据转换为与在诸如磁带、M盘或^it这样的记录介质上进行记录的位率(比特率)对应的信号。
近年来，作为实现高速压缩比的压缩方法，已经使用H.264视频编 解码器。然而，目前，诸如上述压缩方法[H.264视频编解码器这样的许 多高压缩型压缩方法的处理较复杂M时。就是说，目前的情况是还没有 获得可实现与超过常规视频帧频的高速帧频匹配的高速处理的电路和 LSI。
为了解决与压缩处理iUL有关的问题，已经提出了下述一种方法，即 其中通过在空间上将一 帧的图像分成区域并通过对每个区域并行进行处 理来实现高速处理，因而，可实现与高速图1象捕获匹配的图〗象压缩。例如， 在曰本未审专利申请公开No.1-286586中，公开了下述一种图像捕获装置，
行处理。在日本未审专利申请公开]\0.5-316402中，公开了下述一种图像 捕获装置，即其使用棱镜进行分光并对多个固态图1象捕获元件的输出信号 进行并行处理。
另一方面，作为用于在时间方向(帧频)上实现可缩放性的编码方法， 已经提出了可缩it视频编解码器(SVC )。在Heiko Schwarz， Detlev Marpe 和Thomas Wiegand ， "MCTF and Scalability Extension of H.264/AVC"， PCS，04， December 2004，以及J.Reichel和H.Schwarz， "Scalable Video Coding-Joint Scalable Video Model JSVM國2"， JVT國0201， Apri.2005公开 的svc中，在时间方向上进行子带分割，并以分级的方式对每个信号编
码，由此实现时间方向上的可缩放性。
发明内容
现有技术的上述高速图像捕获装置具有下述的问题。为了进行高速图
像处理的目的，在日本未审专利申请公开No.1-286586中公开的图像捕获 装置通过在空间上分割图像并通过并行进行处理可以以高分辨率和高帧 频长时间地记录图像。然而在日本未审专利申请公开No.1-286586中公开 的图像捕获装置中，形成了其中使用多个磁带录#^ (VTR)记录并行的 信号的大尺寸构造。此外，没有具体提到图像压缩。
在日本未审专利申请公开No.5-316402公开的图像捕获装置中，通过 使用多个图像捕获元件并进行图像捕获，相对于时间移动使用棱镜而经历 分光的入射光的相位，并通过并行处理所获得的信号，实现高分辨率和高 帧频的图像捕获。然而，在日本未审专利申请公开No.5-316402公开的图像捕获装置中，没有详细提到图像压缩，形成了其中在半导体存储器中进 行记录的构造。如果该构造以下述方式形成，即压缩以时分方式并行的图 像信号，则必需具有多个图像压缩器件，导致成4^目当大的增加。
在Heiko Schwarz， Detlev Marpe和Thomas Wiegand, "MCTFand Scalability Extension of H.264/AVC"， PCS,04， December 2004，以及 J.Rdchel和H.Schwarz, "Scalable Video Coding-Joint Scalable Video ModelJSVM-2"， JVT-0201, Apri.2005乂〉开的编码方法中，通iit目同的 编码处理压缩每个被分割子带的层次(subband-divided hierarchy )。对于 这种构造，在其中存在多个具有改善的压缩效率的编码处理器的情形中， 导致成4^目当大的增加，而在使用低成本编码处理器的构造的情形中，很 难提高压缩效率.
希望提供一种如下的图像捕获装置和图像处理装置、图像处理方法和 程序，该图像捕获装置可解决上述问题，可在没有相当大地增加成本的情 况下实现以高分辨率和高帧频长时间地记录图像，且包括在再现和输出时 可实现帧频具有可缩放性的图像压缩单元。
根据本发明的一个实施例，提供了一种图4象捕获装置，包括时间子 带分割部件，用于通过在时间方向上对图像信号进行子带分割处理而产生 低频子带分割信号和高频子带分割信号，所述低频子带分割信号由帧频比 所述图像信号的帧频低的低频分量形成，所述高频子带分割信号由高频分 量形成；第一编码部件，用于压缩所述低频子带分割信号；和第二编码部 件，用于压缩所述高频子带分割信号，其中所述第一编码部件和所述第二 编码部件进行不同的编码处理。
所述第 一编码部件可包括压缩效率比所述第二编码部件高的编码处 理部件。
所述第二编码部件可包括电路尺寸比所述第 一编码部件小的编码处 理部件。
所述时间子带分割部件可以是在所述时间方向上的小波变换器，并可 进行下述处理，即通过在所述时间方向上相邻的多个帧之间进行哈尔变换 而将帧信号分割为低频分量和高频分量。
所述时间子带分割部件可接收P帧每秒的图像信号作为所述图像信 号(P为整数)，并可通过在所述时间方向上进行子带分割处理而产生 (P/Q)帧每秒的低频子带分割信号和高频子带分割信号(Q为2或比2大的整数)。
所述第一编码部件和所述第二编码部件可以(P/Q )帧/每秒进行编码 处理。
所述图像处理装置可进一步包括记录部件，该记录部件用于记录从 所述第一编码部件输出的低频流数据和从所述第二编码部件输出的高频 流数据；第一解码部件，用于接收在所述记录部件中记录的所述低频流数 据并进行用于将低频分量解压缩的处理；第二解码部件，用于接收在所述 记录部件中记录的所述高频流数据并进行用于将高频分量解压缩的处理； 和时间子带合并部件，用于通过对作为所述第一解码部件和所述第二解码 部件的解码结果的图像信号进行在所述时间方向上的子带合并处理，产生 帧频比作为所述第 一解码部件和所述第二解码部件的解码结果的图 <象信 号的帧频高的合并后图像信号。
所述时间子带合并部件可以是在所述时间方向上的小波逆变换器。
所述时间子带分割部件可产生多个高频子带分割信号作为所述高频 子带分割信号，所述低频子带分割信号的帧频和所述多个高频子带分割信 号的帧频可以是根据所述低频子带分割信号和所述多个高频子带分割信 号的总数而确定的。
所述第二编码部件可包括用于对所述多个高频子带分割信号中的每 个进行压缩处理的多个不同的编码部件。
所述时间子带分割部件可通过用于添加在所述图像信号中所包含的 相对于时间连续的N个图像帧的对象像素的信号值的处理而产生一个低 频子带分割信号(N^2)，并通过用于添加和减去在所述图傳4T号中所包 含的相对于时间连续的N个图像帧的对象像素的信号值的处理而产生 N-l个高频子带分割信号(N^2)，所述N-1个高频子带分割信号中的每个
算得到的信号。
所述图像处理装置还可包括图像捕获元件，该图像捕获元件被配置成 通过光电转换获得图像信号，所述时间子带分割部件通过对来自所述图像 捕获元件的图像信号进行处理而产生高频子带分割信号和帧频比来自所 述图《象捕获元件的信号的帧频低的和低频子带分割信号。
根据本发明的另一实施例，提供了一种图像处理装置，包括第一解 码部件，用于接收在记录部件中记录的低频流数据并进行用于将低频分量解压缩的处理；第二解码部件，用于接收在所述记录部件中记录的高频流 数据并进行用于将高频分量解压缩的处理；和时间子带合并部件，用于通 过在时间方向上对作为所述第 一解码部件和所述第二解码部件的解码结 果的图像信号进行子带合并处理，产生帧频比作为所述第 一解码部件和所 述第二解码部件的解码结果的所述图像信号的帧频高的合并后图像信号。
所述第一解码部件可对编码数据进行压缩效率比所述第二解码部件 高的解码。
所述第二解码部件可接收在所述记录部件中记录的多个不同的高频
流数据并产生由高频分量组成的多个不同的图4象信号；和所述时间子带合
并部件可接收作为所述第 一解码部件的解码结果的图《象信号和作为所述 第二解码部件的解码结果的多个不同的图^象信号，并可通过在所述时间方
向上进行子带合并处理而产生高帧频的合并后图像信号。
所述时间子带合并部件可以产生具有如下帧频的合并后图像信号，所 述帧频是才艮据由所述第 一解码部件产生的所述低频分量图4象信号和由所 述第二解码部件产生的高频分量图4象信号的总数而确定的。
所述第二解码部件可包括用于对在所述记录部件中记录的多个高频 流数据中的每个进行解压缩处理的多个不同的解码部件。
根据本发明的另一实施例，提供了一种图像处理方法，该方法包括下 述步骤通过在时间方向上对图像信号进行子带分割处理，产生由帧频比 所述图^象信号的帧频低的低频分量形成的低频子带分割信号和由高频分 量形成的高频子带分割信号；压缩所述低频子带分割信号；和压缩所述高 频子带分割信号，其中在压缩所述低频子带分割信号的步骤和压缩所述高 频子带分割信号的步骤中，进行不同的编码处理。
根据本发明的另一实施例，提供了一种图像处理方法，该方法包括下 述步骤接收低频流数据并进行用于将低频分量解压缩的处理；接收高频 流数据并进行用于将高频分量解压缩的处理；和基于用于将所述低频流数 据解压缩的处理而获得的第一图^象信号和用于将所述高频流数据解压缩
的处理而获得第二图像信号，通过在时间方向上进行子带合并处理产生帧 频比所述第一图^L的帧频高的合并后图《象信号。
根据本发明的另一实施例，提供了一种程序，该程序使计算机进行包 括下述步骤的图像处理方法通过在时间方向上对图像信号进行子带分割 处理，产生由帧频比所述图像信号的帧频低的低频分量形成的低频子带分割信号和由高频分量形成的高频子带分割信号；压缩所述低频子带分割信
号；和压缩所述高频子带分割信号，其中在压缩所述低频子带分割信号的
步骤和压缩所述高频子带分割信号的步骤中，进行不同的编码处理。 根据本发明的另一实施例，提供了一种程序，该程序使计算机进行包
括下述步骤的图像处理方法接收低频流数据并进行用于将低频分量解压 缩的处理；接收高频流数据并进行用于将高频分量解压缩的处理；和基于 用于将所述低频流数据解压缩的处理而获得的第一图像信号和用于将所 述高频流数据解压缩的处理而获得第二图像信号，通过在时间方向上进行 子带合并处理产生帧频比所述第 一 图 <象的帧频高的合并后图傳_信号。
根据本发明的实施例，设置了两个编码部件来接收图像信号，即例如 图像捕获元件的输出信号，在时间方向上对图像信号进行子带分割处理， 由此产生低频子带分割信号和高频子带分割信号，所述低频子带分割信号 的帧频比输入帧频低，并压缩产生的低频子带分割信号和高频子带分割信 号。例如形成具有不同压缩效率的编码部件的组合，用于所述低频子带分 割信号例如形成为H.264编解码器，用于所述高频子带分割信号的编码部 件例如形成为JPEG编解码器。通过该构造，在每个编码部件中，通过以 与低帧频一致的it;变的编码处理，可实现对高帧频的输入数据，例如图像 捕获数据的实时处理。
此外，在根据本发明实施例的装置中，在其中进行了不同编码处理的 数据的解码和再现中，通过各个不同的解码处理部件解码低频流数据和高 频流数据，例如，低频流数据经过使用H,264编解码器的解码处理，高频 流数据经过使用JPEG编解码器的解码处理。然后，合并解码结果并作为 高帧频的视频信号输出。可选择地，可仅输出通过IL264编解码器对所述 低频流数据进行的解码处理的结果，可输出低帧频的视频信号。
图1图解了根据本发明一个实施例的图像捕获装置的典型构造；
图2图解了根据本发明该实施例的所述图像捕获装置的典型数据处
理；
图3图解了根据本发明该实施例的所述图像捕获装置的典型数据处
理；
图4图解了根据本发明该实施例的所述图像捕获装置的典型数据处
理；图5图解了根据本发明该实施例的所述图像捕获装置的典型数据处
理；
图6图解了根据本发明一个实施例的图像捕获装置的典型构造； 图7图解了根据本发明一个实施例的图像捕获装置的典型构造； 图8图解了根据本发明一个实施例的图像捕获装置的典型构造； 图9图解了根据本发明一个实施例的图像捕获装置的典型构造； 图10图解了根据本发明一个实施例的图像捕获装置的典型构造； 图11图解了根据本发明一个实施例的图像捕获装置的构造的示例； 图12图解了根据本发明一个实施例的图像捕获装置的数据处理的示
例；
图13图解了根据本发明一个实施例的图像捕获装置的数据处理的示
例；
图14图解了根据本发明一个实施例的图像捕获装置的数据处理的示
例；
图15图解了存储在帧存储器中的图像数据的数据处理次序的示例。
具体实施例方式
参照附图，下面将给出根据本发明实施例的图像捕获装置、图像处理 装置、图像处理方法和程序的细节的描述。
A. 用于对具有高速(2倍)帧频的图像捕获数据进行处理的构造的
示例
B. 用于对具有高速(2倍)帧频的图像捕获数据进行处理的另一实
施例
C. 用于对具有高速(N倍)帧频的图像捕获数据进行处理的构造的
示例
A.用于对具有高速(2倍)帧频的图傳屬获数据进行处理的构造的
示例
图1显示了根据本发明的图像捕获装置的一个实施例的图像捕获装置的构造。所述图像捕获装置是以与常规视频速率两倍高的帧频实现图像 捕获、处理和记录的装置。
首先，将参照附图描述图像捕获过程中的操作。图像捕获装置100 通过使用图像捕获元件2接收经由图像捕获光学系统1进入的光。所述图 像捕获元件2是能以高分辨率(在本实施例中设为HD (高清)分辨率) 和高帧频(在本实施例中设为每秒120帧)进行图像捕获的固态图像捕获 元件，例如为CMOS固态图傳4获元件，并输出经由AD转换器(没有 示出燉字转换的捕获图像数据。这里，所述AD转换器安装在所述CMOS 固态图像捕获元件中或布置在所述固态图像捕获元件外部。此外，在本实 施例中，所述图像捕获元件2是具有滤色器的单板彩色方法的固态图像捕 获元件，该滤色器在光接收表面上对于每个像素来说使不同波长范围的光 透过。
从所述图像捕获元件2输出的捕获图像数据输入到时间子带分割单 元31。所述时间子带分割单元31临时将从所述图像捕获元件2供给的当 前帧的捕获图像数据存储在帧存储器4中，并同时从所述帧存储器4读取 前两帧的捕获图^lt据，根据下&达式1进行子带分割处理，并输出低 频的信号11和高频的信号12。
Ol(x,-一，-)+"，2"1)
0H(x，j;，2,)=^^^^+， ...(表达式l)
上面的表达式1表示在时间方向上的小波变换，其中使用哈尔(Haar) 函数作为基(base)。在上面的表达式中，显示了下述值
1(x，y,2t):在时间2t时在像素位置(x,y)处的输入值
1(x，y，2t+l):在时间2t+l时在像素位置(x,y)处的输入值
(Mx，y，2t):在时间2t时在像素位置(x,y)处的低频信号输出值
0H(x,y，2t):在时间2t时在4象素位置(x，y)处的高频信号输出值
Range: —个像素的像素值的分辨率数。
例如在本实施例中用8位的每个颜色表示一个像素的情形中，分辨率 数变为256，用8位描述每个颜色。
通过两个连续输入帧的相应像素值的加法处理产生所述低频信号输 出值OrXx，y，2t)。通过两个连续输入帧的相应《象素值的减法处理产生所述 高频信号输出值0H(x，y，2t)。就是说，根据在时间方向上连续的两个帧的相应信号值产生一个低频信号输出值和一个高频信号输出值。作为该处理
的结果，输出帧频相对于输入帧频变为1/2。下面所示的表达式2表示其 中使用哈尔(Haar)函数作为基的小波逆变换。
R(x，y,2t) = 0，L(X，y，2t)+0，H(x,y,2t)-
R(x，y，2t+1) = 0，L(x，y，2t)-0，H(x,y，2t)- …(表达式2 )
上面的表达式2中所示的所述小波逆变换，是下W达式，即其用于 从前面所述表达式1中所示的小波变换中产生的值[OjXx，y，2t)和 [OH(x，y，2t)计算在时间2t和2t+l时与初始帧频对应的两个连续帧的相应 像素(x，y)的像素值[R(x，y，2t)I和[R(x,y,2t+l)。表达式2用于解码处理。
在该实施例中，作为所述时间子带分割单元31中的时间子带分割处 理，使用很容易安装的哈尔(Haar)小波。此外，可使用其中使用其他 基的小波变换，或其他子带分割处理。
图2显示了在所述时间子带分割单元31中的所述时间子带分割处理 的细节。在图2中，显示了从所述帧存储器4读取的第一帧(Frame0) 和第二帧(Frame 1)的捕获图像数据。每个捕获图像数据帧都具有RAW 数据，对于每个像素来说，RAW数据具有单色信号，即RGB之一的一 个颜色信号。例如，每帧的左上端表示G信号，每个信号值按GRGR的 顺序存储在右侧，在第二行中，信号值按BGBG的顺序存储。例如，对 于每帧左上端的G信号，显示了下面的值
G(0,0，0)的G是RGB信号的G信号，
G(0,0，0)的最初(0,0)表示坐标位置(x,y) = (O，O)
G(0，0,0)的最后(0)表示帧ID = Frame 0。
就每个帧中的空间而言，所述时间子带分割单元31在相同位置处的 像素之间进行加法处理和减法处理。例如，在图2中所示的第一帧(Frame 0)的像素G(0，0，0)与第二帧(Frame 1)的像素G(0,0,1)之间，进行表达 式l中所示的处理，由此通过两个连续输入帧的相应〗象素值的加法处理计 算低频信号输出值(Mx，y,2t)，通过两个连续输入帧的相应《象素值的减法 处理产生高频信号输出值0H(x,y，2t)。在下面，根据RGB的信号值之一是 哪个，[OL(x，y，2t)和[OH(x，y,2t)如下表示
在R的情形中为[R!ix,y,2t)和[RH(x，y,2t+l)，
在G的情形中为[GL(x,y,2t)l和[Ga(x，y，2t+l)，和在B的情形中为[B!Xx,y，2t)和[BH(x，y，2t+l)。
所述时间子带分割单元31例如在图2中所示的第一帧(Frame 0 )的 像素G(O，O，O)与第二帧(Frame 1)的像素G(0，0，1)之间进行表达式1中所 示的处理，从而通过两个连续输入帧的相应像素值的加法处理产生低频信 号输出值GL(0，0,0)，通过两个连续输入帧的相应1象素值的减法处理产生高 频信号输出值Gh(O，O，O)。类似地，在像素R(1,0,0)与像素R(1，0，1)之间进 行处理，由此输出低频信号RjXl,O,O)和高频信号Rh(I，O，O)。
在上述方式中，以下述方式获得由所述时间子带分割单元31转换的 所述低频信号11，即相邻两帧的捕获图像数据的像素经过加法处理，其 等价于以所述图像捕获帧频(在本实施例中为每秒120帧)的一半(每秒 60帧)的帧频捕获的捕获图像RAW数据。另一方面，通过确定相邻两帧 的图像捕获数据之间的差获得由所述时间子带分割单元31转换的所述高 频信号12，其是下述RAW数据，即有效像素值仅存在于运动物体的区域， 其他区域形成为表示没有差别的固定值(考虑到安装，指定中心值128)。 此外，所述低频信号11和所述高频信号12的帧频均是每秒60帧。
如上所述，所述时间子带分割单元31接收从所述图像捕获元件2输 出的图像信号，并通过在时间方向上的子带分割处理，产生由低频分量形 成的低频子带分割信号、和由高频分量形成的高频子带分割信号，所述低 频分量以比来自所述图像捕获元件2的输入帧频低的帧频形成。
从所述时间子带分割单元31输出的所述低频信号11输入到相机信号 处理器A51。类似地，从所述时间子带分割单元31输出的所述高频信号 12输入到相机信号处理器B52。
所勤目机信号处理器A51和相机信号处理器B52对从所述时间子带 分割单元31输出的所述低频信号11和所述高频信号12进行相机信号处 理，如白平衡修正、增益修正、demosaic处理、矩阵处理和伽马修正。 所勤目^L信号处理器A51和相^Mt号处理器B52是进^f相同处理的处理 器，并分别对所述低频信号11和所述高频信号12并行进行处理。
如上所述，从所述时间子带分割单元31输出的所述低频信号11和所 述高频信号12是每秒60帧(60f/s)的数据，其速率是从图像捕获帧频的 高速(120f/s)帧频转换而来的。
所勤目机信号处理器A51和相机信号处理器B52仅需要对每秒60帧 (60f/s)的数据进行信号处理。就是说，可以以与每秒60帧的图像捕获200910005682.4
说明书第11/41页
RAW数据相等的处理速度进行处理。
从所述时间子带分割单元31输出的所述高频信号12是表示相邻两帧 之间的差别的RAW数据。因此，其中在所勤目机信号处理器B52中的 demosaic处理中进行非线性处理的情形中，在其中发生亮度变化的边缘 部分等中可能产生噪声。在根据本实施例的所述图像捕获装置100的构造 的情形中，可通过以常规帧频(每秒60帧)的处理来实现所勤目机信号 处理器A51和相机信号处理器B52，由此提供了不必加速的优点。
已将所^目机信号处理器51和52描述为其中对从所述时间子带分割 单元31输出的每个所述低频信号11和所述高频信号12进M如白平衡 修正、增益修正、demosaic处理、矩阵处理和伽马修正这样的相机信号 处理的构造。然而，进行的信号处理的形式不限于该实例，各种形式都是 可能的。之后将参照图3和4描述所述时间子带分割单元31中的处理的 细节。
从所i^目机信号处理器A51输出的低频的图像数据输入到第一编解 码器单元61，并还输入到取景器输出单元9。另一方面，从所i^目机信号 处理器B52输出的高频的图像数据输入到第二编解码器单元62。
所述取景器输出单元9将从所勤目机信号处理器A51供给的低频的 图^Jt据转换为在取景器(没有示出)上显示的信号并将其输出。当在取 景器上显示的所述图4象与输入图傳Jt据相比时，分辨率和帧频可不同。在 这种情形中，所述取景器输出单元9进行分辨率转换处理和帧频转换处 理。当进行所述帧频转换处理时，使用帧存储器(没有示出)。此外，在 所述取景器上显示的图像必需是亮度图像。在这种情形中，所述取景器输 出单元9将所述输入图像转换为亮度图像并将其输出。
所述第一编解码器单元61通过4吏用所述第一图1象编解码器压缩从所 勤目机信号处理器A51供给的低频的图^Jt据，并输出低频流数据13。 所述第一编解码器单元61由例如H.264编解码方法的帧间编解码器形 成。如上所述,低频的图像数据等价于所述图像捕获帧频的一半的帧频(本 实施例中为每秒60帧)的图像捕获数据。
根据标准规范，如H.264高画质(High Profile)规范，所述第一编 解码器单元61通过将低频的图像数据假定为常规的每秒60帧的运动图像 数据，压缩低频的图傳教据。然而，所述第一编解码器不限于H.264编 解码器，可是用任何方法，只要其能压缩常规的运动图像数据就行。例如，可使用MPEG-2的帧间编解码器、Motion-JPEG的帧内编解码器、或根 据MPEG4或高级视频编解码高清晰度(AVCHD)格式而进行处理的编 解码器。此外，由所述第一编解码器单元61输出的流数据13可不符合标 准规范。
所述第二编解码器单元62通过第二图像编解码器压缩从所i^t目机信 号处理器B52供给的高频的图傳教据，并输出高频流数据14。所述第二 编解码器例如由JPEG编解码方法的帧内编解码器形成。如上所述，通过 确定相邻两帧之间的差别获得高频的图像数据，其是下述一种运动图像数 据，即有效像素值仅存在于运动物体的区域中。就是说，所述高频的图像 数据是下述一种数据，即在没有与时间相关的变化的部分中不存在信息 (形成为固定值)，且在存在动作的部分中，具有少量信息的数据存在于 具有较小亮度差的区域中。通常，这种图像信号很容易压缩。即使不使用 具有高压缩效率(尽管该处理是复杂的且具有高成本)的帧间编解码器， 也可使用诸如具有低成本的JPEG编解码器这样的帧内编解码器压缩足 够少量的信息。因此，所述第二编解码器单元62通过4吏用JPEG编解码 器对于每一帧压缩所述高频的图像数据。
如上所述，所述第一编解码器单元61能^^殳定为压缩效率比所述第 二编码单元62高的编码处理部件，并且所述第二编码单元62能被配置为 压缩效率比所述第一编码单元61且电路尺寸比所述第一编码单元62小的 编码处理部件。
近年来的一些图像捕获装置包括捕获静止图像的功能，它们大部分都 包括用于静止图像的JPEG编解码器作为组件。因此，在其中使用JPEG 编解码器形成用于压缩所述高频的图傳Jt据的所述第二编解码器单元62 的情形中，具有下述优点，即为了进行所述高帧频图像的压缩，不需要额 外的成本。然而，所述第二编解码器不限于JPEG编解码器，可使用任意 方法，只要其能压缩常规的图像数据就行。例如，可使用JPEG2000的帧 内编解码器或MPEG-2的帧间编解码器。
从所述笫一编解码器单元61和所述第二编解码器单元62输出的所述 流数据13和14分别输入到流控制器7。
所述流控制器7把其中压缩有从所述第一编解码器单元61输入的所 述低频的图像数据的所述流数据13与其中压缩有从所述第二编解码器单 元62输入的所述高频的图像数据的所述流数据14合并，并将流数据输出 到所述记录器8。如上所述，从所述第一编解码器单元61供给的所述低频的流数据13是其中使用H.264编解码器等压缩每秒60帧的运动图像的 数据，其是符合标准规范的流。
另一方面，从所述第二编解码器单元62供给的所述高频的流数据14 是其中使用JPEG编解码器压缩每秒60帧的差图像的数据，其与标准的 视频流不同。所述流控制器7将从所述第二编解码器单元62供给的所述 流数据14打包，并作为用户lt据将其叠加在从所述第一编解码器单元61 供给的符合标准规范的所述流中。
就是说，作为其中将高频的压缩数据打包的用户数据，从所述第二编 解码器单元62供给的所述流数据叠加在从所述第一编解码器单元61供给 的符合标准规范的所述流中。为了解码，将设为用户数据的包分离，并进 行处理。之后将描述该处理。
从所述流控制器7输出的所述合并的流数据输入到所述记录器8。
所述记录器8将从所述流控制器7供给的符合标准规范的所述流数据 记录在诸如磁带、光磁盘、硬盘或半导体存储器这样的记录介质上。
作为上述操作的结果，通过使用具有超级压缩效率的所述第一编解码 器和能以低成本实现的所述第二编解码器，可以以与常规帧频(本实施例 中为每秒60帧)的处理t变匹配的速度，压缩以常规帧频两倍高的帧频 (本实施例中为每秒120帧)捕获的图像信号。因而，提供了在4吏成4^t 加最小的同时可以以较高的帧频实现图像捕获、处理和记录的图傳屬获装 置。
接下来，将参照附图给出在再现过程中的操作的描述。为了仅再现记 录的运动图像，所述图4象捕获装置100根据用户的^Mt读取在如上所述的 记录器8中记录的流数据。从所述记录器8读取的所述流数据输入到所述 流控制器7。
所述流控制器7接,所述记录器8供给的所述流数据，并将其分离 为由所述第一编解码器61压缩的低频流数据和由所述第二编解码器62 压缩的高频流数据。如上所述，所述记录器8中记录的所述流数据是在使 用所述第一编解码器单元61的压缩方法中符合标准规范的流数据，由所 述第二编解码器单元62压缩的所述流数据被打包并作为用户数据叠加。
所述流控制器7从所述记录器8接收的所述流数据提取下述数据(即 其中打包有作为用户数据而叠加并被所述第二编解码器单元62压缩的流 数据),将所述数据分离为由所述第一编解码器61压缩的所述低频流数据13和由所述第二编解码器62压缩的所述高频流数据14,并将它们分别输 出到所述第一编解码器61和所述第二编解码器62。
所述第一编解码器61接收从所述流控制器7供给的所述流数据13， 并进行解码，即解压缩处理。如上所述，所述第一编解码器61例如由H.264 编解码方法的帧间编解码器形成。此外，所述流lt据13是在所述第一编 解码器61中才艮据诸如H.264高画质这样的标准规范而压缩的流。所述第 一编解码器61将所述流数据13解压缩，从而将其转换为每秒60帧的低 频的运动图像数据。如上所述，因为低频的运动图像数据等价于每秒60 帧的图《象捕获数据，所以从所述第一编解码器61输出的所述运动图傳教 据是常规的每秒60帧的运动图像。
所述第二编解码器62接ij^所述流控制器7供给的所述流数据14， 并进行解压缩处理。如上所述，所述第二编解码器62例如由JPEG编解 码方法的帧内编解码器形成。所述第二编解码器62将所述流数据14解压 缩，从而将其转换为每秒60帧的高频的运动图像。如上所述，因为通过 确定图像捕获数据的相邻两帧之间的差别获得高频的运动图像数据，从所 述第二编解码器62输出的运动图像数据是每秒60帧的时间差分(time differential)运动图4象。
从所述第一编解码器61和所述第二编解码器62输出的所述运动图傳_ 数据都输入到所述时间子带分割单元31。在该情形中，所述时间子带分 割单元用作所述时间子带合并单元31。就;li兌，通过接收所述第一编解 码器61和所述第二编解码器62的解码结果并通过在时间方向上进行子带 合并处理，产生了合并的图像信号，该合并的图像信号以比由每个编解码 器输出的图像信号的帧频高的帧频形成。
更具体地说，所述时间子带分割单元31根据上&达式2对从所述 第一编解码器61和所述第二编解码器62供给的低频的运动图傳Jt据和高 频的运动图像数据进行反变换(在时间方向上的小波逆变换)，由此产生
图像)。所述时 司子带分割单元;1临时将所述奇数帧图像和偶数帧图^# 储在所述帧存储器4中，并还以两倍高的帧频(每秒120帧)交替读取之 前的奇数帧图像和偶数帧图像。通过进行这种处理，可恢复每秒120帧的 运动图像数据。
此外，在其中用户的操作或从连接的图像显示器件获得的信息要求输 出每秒60帧的运动图像的情形中，所述时间子带分割单元31输出从所述第一编解码器单元61供给的所述低频的运动图傳Jt据。如上所述，因为 从所述第一编解码器单元61输出的所述运动图像数据是通过#^秒120 帧的两个相邻帧图^^目加而产生的运动图像，所以其等价于以每秒60帧 捕获的运动图像。在其中将要进行这种操作的情形中，所述控制器(没有 示出)可控制所述第二编解码器单元62不进行操作，可实现低功率消耗 的操作。
从所述时间子带分割单元31输出的所述运动图傳教据输入到所述视 频输出单元10。
所述视频输出单元10输出从所述时间子带分割单元31供给的运动图 像数据，以作为每秒120帧的视频数据。在此输出的视频数据可以符合数 字视频信号格式，如HDMI (高清多媒体接口 )标准或DVI (数字视频 接口 )标准，或者其符合使用D端口的模拟分量信号格式。所述视频输 出单元10根据输出视频信号的格式进行信号转换处理。
作为上述操作的结果，可以再现下述数据，即其中记录有以与常规帧 频两倍高的帧频(本实施例中为每秒120帧)捕获的图4象信号，并可通过 使用具有超级压缩效率的所述第一编解码器和能以低成本实现的所述第 二编解码器将其解压缩。因而，提供了在使成本增加最小的同时可实现高 帧频视频数据的再现输出的图像捕获装置。
此夕卜，如上所述，在其中根据从所述连接的图像显示器件获得的信息 而要>1^动图像以每秒60帧进行输出的情形中，可输出从所述第一编解 码器单元61供给的低频的运动图像数据。在该情形中，在再现过程中， 可停止所述第二编解码器的处理，可减小功率消耗并以常规的视频帧频实 现视频图<|^出。
下面将参照附图3到5描述在该图像捕获装置中的所述时间子带分割 单元31中的时间子带分割处理和编解码处理的典型^Mt。
首先将参照图3描述在图像捕获过程中的操作。图3显示了在图像捕 获过程中在所述时间子带分割单元31中的时间子带分割处理，即对在时 间方向连续的帧的处理。在图3的部分(a)中来自图像捕获元件的输出 数据是图1中所示的图像捕获元件2的输出。对于该数据，HD分辨率的 图像帧(图中的N到N+7)以每秒120帧的速度输出，其中N是任意的 奇数。
部分(b )中的所述低频图傳教据是低频的图傳教据(本实施例中为每秒60帧)，其由图1中所示的所述时间子带分割单元31中的所述时间 子带处理产生并输出作为所i^目机信号处理器A51和所述第一编解码器 61中的被处理的信号。
部分(c)中的所述高频图像数据是高频的图像数据(本实施例中为 每秒60帧)，其由图1中所示的所述时间子带分割单元31中的所述时间 子带处理产生并输出作为所^Nl机信号处理器B52和所述第二编解码器 62中的被处理的信号。
从所述图像捕获元件2输出的所述帧图像临时存储在所述时间子带 分割单元31中的所述帧存储器4中。此时，所述帧存储器4中的存储速 度是每秒120帧。所述时间子带分割单元31将所述帧图傳存储在所述帧 存储器4中，同时读取已经存储的之前的奇数帧图像和偶数帧图像。此时， 来自所述帧存储器4的所述奇数帧图像和偶数帧图像的读m度是每秒 60帧。
下面将描述用于在所述时间子带分割单元31中产生(b )低频图4象数 据和(c)高频图像数据的处理的具体典型^Mt，其涉及所述帧存储器4 的控制。当图〗象捕获开始时，在图3中所示的周期A中，所述时间子带 分割单元31从所述图像捕获元件2接收帧图像N并将其存储在所述帧存 储器4中。接着，在周期B中，从所述图^4t获元件2输入帧图像N+l 并存储在所述帧存储器4中。
在周期C中，所述时间子带分割单元31将帧图像N+2存储在所述帧 存储器4中，同时从所述存储器4读取帧图像N和帧图像N+l。此时， 因为所述读^il度是存储速度的一半(本实施例中为每秒120帧/2-60 帧/秒)，所以仅读取所述帧图像N和帧图像N+1的图像区域的上半部分。
在周期D中，所述时间子带分割单元31将帧图像N+3存储在所述帧 存储器4中，同时读取所述帧图像N和帧图像N+1的其余部分。在周期 D中，对于所述帧图像N和帧图像N+1，仅读取图像区域的下半部分。
之后，以类似的方式，在周期E中，存储帧图像N+4，并还读取所 述帧图像N+2和所述帧图像N+3的上半部分。在周期F中，存储帧图像 N+5，并还读取所述帧图像N+2和所述帧图像N+3的下半部分。在周期 G中，存储帧图像N+6，并还读取所述帧图像N+4和所述帧图像N+5的 上半部分。在周期H中，存储帧图像N+7，并还读取所述帧图像N+4和 所述帧图像N+5的下半部分。以上述的方式，在所述时间子带分割单元31中，产生了量等于两帧的延迟。
从所述帧存储器4读取的所述奇数帧图像(图中为N，N+2，N+4,N+6 ) 和所述偶数帧图像(图中为N+l，N+3，N+5,N+7 )通过所述时间子带分割 单元经历表达式1中所示的变换，从而将它们分割为低频图像数据(例如， N+ (N+l))和高频图像数据(例如，N- (N+l))。这里，所述低频图像 数据和高频图像数据是每秒60帧的运动图像数据。
如上所述，通过所W目机信号处理器A51处理从所述时间子带分割 单元31输出的所述低频图傳Jt据，然后在所述第一编解码器单元61 (图 中为H,264编码器)中经历压缩处理。另一方面，以上述方式通过所i^目 机信号处理器B52处理从所述时间子带分割单元31输出的所述高频图像 数据，然后在所述第二编解码器单元62 (图中为JPEG编码器)中经历 压缩处理。
接下来，将参照图4描述再现过程中的操作。
图4显示了在再现过程中对在时间方向上连续的帧的处理。
从所述记录器8读取的所述流数据在所述流控制器7中被分离为低频 流数据和高频流数据，并分别在所述第一编解码器单元61 (图中为H.264 解码器)和所述第二编解码器单元62 (图中为JPEG解码器)中经历解 压缩处理。作为进行的解压缩处理的结果，从所述第一编解码器单元61 输出低频图^Nt据，从所述第二编解码器单元62输出高频图^Jt据。这 些图像数据的这些项目是每秒60帧的运动图像数据。这些是图4中所示 的(d)低频图傳JL据和(e)高频图^lt据。
从所述第一编解码器单元61和所述第二编解码器单元62输出的图《象 数据输入到所述时间子带分割单元31。在所述时间子带分割单元31中， 在其上进行上面表达式2中所示的变换(其中使用哈尔(Haar)函数作 为基的小波逆变换)，从而所述图^Jt据变换为每秒120帧的运动图像中 的奇数帧图像(图中为N，N+2，N+4 )和所述偶数帧图像(图中为 N+l,N+3,N+5 )。变换后的奇数帧图像和偶数帧图像临时存储在所述时间 子带分割单元31中的所述帧存储器4中。
此时，在所述帧存储器4中的各个存储速度是每秒60帧。所述时间 子带分割单元31将所述奇数帧图像和偶数帧图像存储在所述帧存储器4 中，读取已经存储的之前的帧图像。此时，从所述帧存储器4读取帧图像 的速Jbi每秒120帧。下面具体描述关于控制所述帧存储器的IMt。当再现开始时，在周期A，中，对所述低频图傳Jt据(N+ (N+l))和 所述高频图像数据(N- (N+l))的每个图像区域的上半部分进行反变换， 从而产生所述帧图像N和帧图像N+1的+,部，。所述时间，带分割单4中。接着，在周期B，中，对所述低频图像数据(N+(N+l))和所述高频 图像数据(N- (N+l))的每个图像区域的下半部分进行反变换，从而产 生所，帧图像N和帧图像N+l的下,部，。所述时间子带分割单元31在周期C，中，对所述低频图INt据((N+2) + (N+3))和所述高频 图像数据((N+2) - (N+3))的上半部分进行反变换，从而产生所述帧图 像N+2和所述帧图像N+3的上半部分。所述时间子带分割单元31将所述 帧图像N+2和所述帧图像N+3的上半部分同时存储在所述帧存储器4中。在周期D，中，对每个所述低频图<綠据((N+2) + (N+3))和所述 高频图像数据((N+2) - (N+3))的下半部分进行反变换，从而产生所述 帧图像N+2和所述帧图像N+3的下半部分。所述时间子带分割单元31 将所述帧图像N+2和所述帧图像N+3的下半部分同时存储在所述帧存储 器4中。之后，以类似的方式，在周期E，中，从所述低频图#Ji:据((N+4) + (N+5))和所述高频图像数据((N+4) - (N+5))产生所述帧图像N+4 和所述帧图像N+5的上半部分并存储在所述帧存储器4中，并还读取所 述帧图〗象N+2。在周期F，中，从所述低频图像数据((N+4) + (N+5))和所述高频 图HJt据((N+4) - (N+5))产生所述帧图像N+4和所述帧图像N+5的 下半部分并将其存储在所述帧存储器4中，并还读取所述帧图像N+3。在周期G，中，从所述低频图^Jt据((N+6) + (N+7))和所述高频 图^Jt据((N+6) - (N+7))产生所述帧图像N+6和所述帧图像N+7的 上半部分并将其存储在所述帧存储器4中，并还读取所述帧图像N+4。在周期H，中，从所述低频图^lt据((N+6) + (N+7))和所述高频 图^Ji:据((N+6) - (N+7))产生所述帧图像N+6和所述帧图像N+7的 下半部分并将其存储在所述帧存储器4中，并还读取所述帧图像N+5。以上述方式，对于从所述时间子带分割单元31输出的图像数据，产 生了量等于两帧的延迟。此外，作为图4中所示进行的操作的结果，所述图像捕获装置ioo实现了每秒120帧的运动图^^r出。接下来，将参照图5描述在再现过程中每秒60帧的操作。如前面所 述，在其中根据用户的操作或从连接的图像显示器件获得的信息而要求以 每秒60帧输出运动图像的情形中，所述时间子带分割单元31输出从所述 第一编解码器单元61供给的所述低频的运动图像数据。因为从所述第一 编解码器单元61输出的所述运动图像数据是通过将每秒120帧的两个相 邻帧图像相加而产生的运动图像，所以其等价于以每秒60帧捕获的运动 图像。在其中将要进行这种操作的情形中，可进行下述控制，即所述第二 编解码器单元62不操作，可实现低功率消耗的操作。图5显示了在再现过程中以每秒60帧对在时间方向上连续的帧的操 作。如上所述，因为所述低频的图像数据等价于每秒60帧捕获的图像数 据，所以在每秒60帧的再现过程中，仅处理所述低频的图像数据并将其 输出。对于从所述记录器8读取的所述流数据，通过所述流控制器7仅提取 出所述低频流数据，并在所述第一编解码器单元61 (图中为H.264解码 器)中经历解压缩处理。作为进行的解压缩处理的结果，从所述第一编解 码器单元61输出低频图傳教据。这是图5中所示的(g)低频图傳教据。如上所述，从所述第一编解码器单元61输出的图5的部分(g)中的 所述低频图傳教据(N+ (N+l))是每秒60帧的常规运动图像数据。因此， 所述时间子带分割单元31跳过处理，即不格外进行处理，并将所述第一 编解码器单元61输出的图5的部分(g)中的所述低频图像数据供给到图 1中所示的框图的所述视频输出单元IO。以上述的方式，所述视频输出单 元10很容易从以两倍于常规帧频的帧频(本实施例中为每秒120帧)捕 获并被压缩的所述流数据实现常规帧频(本实施例中为每秒60帧)的运 动图傳瑜出。如上所述，在该处理中，如此进行控制，即所述第二编解码器单元 62不进行操作，因而可实现低功率消耗的操作。B.用于对具有高速(2倍)帧频的图像捕获数据进行处理的另一实施例接下来，将参照图6到10描述与参照图1描述的图像捕获装置不同的构造的实施例。图6显示了根据本发明的所述图像捕获装置的另一个实施例。图6 中所示的图像捕获装置101与参照图1所述的图像捕获装置100不同在于 不存在所W目机信号处理器B52。在本实施例中，在所述时间子带分割单元32中，仅对从所述时间子 带分割单元32输出的高频信号12进行伽马修正处理，所述高频信号12 输入到所述第二编解码器单元62，而没有进行相机信号处理。如上所述， 所述高频信号12仅在其中相对于时间具有运动的区域中具有信息，其他 区域具有固定的值。因此，即使在所述数据保持为RAW数据的同时进行 图像压缩，也不会大大影响压缩效率。在再现过程中，在所述时间子带分割单元32中，所述图像捕获装置 101根据表达式2对从所述第一编解码器单元61输出的低频的图傳Jt据 和从所述第二编解码器单元62输出的高频的RAW数据进行反变换，并 进^^L频输出。此时，所述高频的RAW数据是其中仅存在R(红色)、G(绿色)和B(蓝色)之一的彩色信号的数据。结果，如果在所述信号保 持为其中亮JL值为零的彩色信号的同时进行反变换，则转换后的亮度值变 为无效的。由于该原因，所述时间子带分割单元32用表示零差的固定值(本实施例中为128)填充损失的彩色信号，或在其上进行来自周围《象素 的线性内插处理。最初，由于JPEG编解码器等的图像压缩处理是适于使用其上已进行 过demosaic处理的图像数据的压缩技术，所以如果在所述数据保持为 RAW数据的同时进行压缩，则存在下述可能性，即例如在图像的边缘部 分中可能产生噪声。在^L据本实施例的图《象捕获装置101的构造的情形 中，不必设置多个相机信号处理器，并可用常规帧频(每秒60帧)的处 理实现图像压缩处理。结果，具有不必加快iiv变并可降低成本的优点。图7显示了根据本发明的图像捕获装置的再一个实施例。图7中所示 的图像捕获装置102与参照图1所述的图像捕获装置100不同在于在所述 时间子带分割单元33前面一级布置有相机信号处理器53。在本实施例中，最初，从所述图像捕获元件2输出的每秒120帧的图 像捕获信号在所勤目机信号处理器53中经it^目机信号处理，如白平衡修 正、增益修正、demosaic处理、矩阵处理和伽马修正。从所i^目机信号 处理器53输出的信号形成为每秒120帧的运动图像数据。所述时间子带分割单元33接收从所W目机信号处理器53输出的运动 图像数据，根据上述表达式1进行变换，并将其分割为低频的图像数据 15和高频的图像数据16。与所述图〗象捕获装置100中的所述时间子带分 割单元31不同，所述时间子带分割单元33在其中为每个像素完全收集彩 色信号的帧图像之间进行处理。因此，从所述时间子带分割单元33输出 的所述低频的图^Nft据15是每秒60帧的常规运动图傳教据，所述高频的 图傳教据16是每秒60帧的时间差分运动图傳Jt据。
因为图7中所示的图像捕获装置102可对捕获的RAW数据进行相机 信号处理，所以就图像质量而言，可抑制产生假象。然而，因为对于所述 相机信号处理器53来说必需以每秒120帧的速度进行处理，所以高速处 理器是必需的。
下面将参照图8描述其中流控制器的构造不同的实施例。图8显示了 其中使用根据本发明的不同的图像捕获装置的实施例。图8中所示的图像 捕获装置103与前面参照图1所述的图4象捕获装置100不同在于设置流控 制器和记录器的两个系统。
在本实施例中，从所述第一编解码器单元61输出的所述低频流数据 13输入到流控制器A71。另一方面，从所述第二编解码器单元62输出的 所述高频流数据14输入到流控制器B72。
所述流控制器A71控制从所述第一编解码器单元61供给的所述低频 流数据13，将其转换为可记录的信号，然后将所述信号输出到记录器A81。 这里，如上所述，所述低频的流数据13是符合11.264编解码器等的标准 规范的流。
所述流控制器B72控制从所述第二编解码器单元62供给的所述高频 流数据14,将其转换为可记录的信号，然后将所述信号输出到记录器B82。 这里，如上所述，所述高频的流数据14是由JPEG编解码器等压缩的但 不必符合标准规范的流。
所述记录器A81将从所述流控制器A71供给的所述低频流记录在诸 如磁带、M盘、硬盘或半导体存储器这样的记录介质上。
所述记录器B82将来自所述流控制器B72的所述高频流记录在诸如 磁带、M盘、硬盘或半导体存储器这样的记录介质上。
这里，在其上通过所述记录器A81和所述记录器B82进行记录的记 录介质不必是相同类型的。例如，根据符合标准规范的格式，所述记录器A81可将低频的流数据记录在;^盘上，根据专用的格式，所述记录器 B82可将高频的流数据记录在半导体存储器中。
在再现过程中，图8中所示的图像捕获装置103将从所述记录器A81 读取的所述低频流数据输入到所述流控制器A71。此外，所述图像捕获装 置103将从所述记录器B82读取的所述高频流数据输入到所述流控制器 B72。
所述流控制器A71将从所述记录器A81供给的所述低频流输入到所 述第一编解码器单元61。另一方面，所述流控制器B72将从所述记录器 B82供给的所述高频流输入到所述第二编解码器单元62。
这里，当图8中所示的图像捕获装置103以每秒60帧进行再现时， 对于所述图像捕获装置103来说只需要控制所述记录器A81读取低频的 数据，所述记录器B82可暂停。结果，可实现降低的功率消耗。
接下来，将参照图9描述根据本发明的使用图像压缩处理的图像记录 器件的一个实施例。
图9显示了图傳_记录器件的一个实施例。图9中所示的图《象记录器件 200是以下述方式构造的图像记录器件的典型构造，即从参照图7所述的 图像捕获装置102省略图像捕获功能并设置视频输入单元17。就是说， 从参照图7所述的图像捕获装置102删除所述图像捕获光学系统1、所述 图傳省获元件2和所W目;^信号处理器53，替代地设置视频输入单元17。
图9中所示的图像记录器件200在所述视频输入单元17中接Jjt^外 部视频输出器件供给的视频信号。此时，接收的所述视频信号是与常皿 频速率两倍高的速率(本实施例中为每秒120帧)的运动图像数据。此外， 输入的所述视频信号格式可符合数字视频信号格式，如HDMI标准或DVI 标准，或者其符合在D端口中使用的模拟分量信号格式等。所述视频输 入单元17根据所述输入视频信号格式进行信号转换处理。
所述图像记录器件200对从外部接收的所述视频信号进行时间子带 分割，记录由所述第一编解码器和所述第二编解码器压缩的流lt据。此外， 所述图像记录器件200再现记录的流数据，在所述第一编解码器和所述第 二编解码器中进行解压缩处理，并进行与所述时间子带分割相反的变换， 然后进e^L频输出。
在其中将要进行每秒60帧的再现的情形中，与所述图像捕获装置100 类似，只驱动所述第一编解码器单元61，输出低频的图傳Jt据。下面将参照图10描述根据本发明的使用图像压缩处理的图像再现器
件的一个实施例。
图IO显示了根据本发明的图像再现器件的一个实施例。图10中所示 的图像再现器件300以下述方式构造，即排除参照图9所述的图像记录器 件200中的所述视频输入单元17，且只进行再现操作，不进行记录操作。
图10中所示的图^象再现器件300包括可移除了记录介质的记录器8， 从而通过外部图像捕获装置或图像记录器件记录的记录介质插入到其中， 可再现记录介质上记录的流。这里，在所述记录^h质上记录有由根据本发 明实施例的图像捕获装置100到103或图像记录器件200压缩的流lt据。 所述图4象再现器件300在所述第一编解码器和所述第二编解码器中对从 所述记录器8再现的流数据进行解压缩处理，在所述时间子带合并单元 34中进行与所述时间子带分割相反的变换，然后进fr现频输出。
近来的一些图像再现器件包括再现记录介质上所记录的静止图像的 功能，大部分图像再现器件都包括作为组件的用于静止图像的JPEG编解 码器。因此，在其中通过JPEG编解码器形成用于压缩高频的图傳Jt据的 所述第二编解码器单元62的情形中，具有下述优点，即不需要额外的成 本来进行高帧频图像捕获。
如上所述，根据本发明该实施例的图像捕获装置包括用于以常皿频 速率两倍高的帧频进行图像捕获的图像捕获元件。通过对从所述图像捕获
元件输出的图像捕获数据进行时间子带分割，可通过具有高压缩效率的第 一编解码器压缩低频的运动图像数据，并可通过能以低成本实现的所述第 二编解码器压缩高频的运动图傳Jt据。因而，可在抑制成本增加的同时压 缩高频的图像捕获信号并将其记录。
此外，根据本发明该实施例的所述图像捕获装置如此进行时间子带分 割，以便将所述图像捕获数据分割为低频的运动图傳教据和高频的运动图 寸UL据，然后进行处理。结果，因为所述低频的运动图像数据等价于以常 皿频速率(图像捕获视频速率的一半)捕获的运动图像，所以在再现过 程中，通过仅进行所述低频的运动图像的处理，4艮容易以常皿频速率实 现运动图像再现。
在本实施例中，所述常皿频速率设为每秒60帧，所述常皿频速 率两倍高的速率设为每秒120帧。然而，所述常规视频速率并不限于此； 作为所述常M^L频速率，可使用例如每秒24帧、每秒30帧或每秒50帧的帧频。
C.用于对具有高速(N倍)帧频的图像捕获数据进行处理的构造的
示例
在参照图l至图IO描述的实施例中，已经给出了对其中常规帧频设 为每秒60帧且以两倍的帧频(即，以每秒120帧)来捕获图像数据的处 理的示例的描述。
在根据本发明的实施例的图像捕获装置中，除了以常规两倍帧频捕获 的图像数据之外，针对以任何倍数的常规帧频捕获的(即，以N倍的帧 频捕获的)图傳教据的处理是可行的。N是等于大于2的整数。下面将给 出用于对以N倍帧频捕获的图像数据执行处理的图像捕获装置的配置以 及处理的示例的描述。
在下文中，作为实施例，将给出对其中N=4的示例的描述。也就是
的示例。将给出对其中常规帧频设为每秒60帧且针对以四倍的帧频(即， 以每秒240帧)捕获的图像数据执行处理的示例的描述。
图11示出了根据本发明的图像捕获装置的实施例。图11所示的图像 捕获装置400是用于以四倍于常皿频速率的帧频来实现图像捕获、处理 和记录的设备。图像捕获装置400的时间子带分割单元35针对图像捕获 装置100的时间子带分割单元31的两层执行处理，这已在先前参照图1 进行了描述。也就是说，通过使用以每秒240帧捕获的图像数据中的四个 连续帧，产生并输出了以每秒60帧的四项图傳Jt据。
首先将描站图像捕获期间的操作。图^Mt获装置400通过使用图像 捕获元件25来接收经由图像捕获光学系统1 l的光。图像捕获元件25 是能够以高分辨率(在本实施例中假设为HD (高清晰度)分辨率)和高 帧频(在本实施例中假设为每秒240帧)执行图像捕获的固态图像捕获元 件(例如CMOS固态图<緒获元件)，并输出经由m转换器(未示出) 进行了数字转换的图像捕获数据。这里，m转换器被安装在所述CMOS 固态图像捕获元件上，或被布置在所述固态图像捕获元件外部。此外，在 本实施例中，图傳捕获元件25是具有滤色器的单板彩色方法的固态图像 捕获元件，该滤色器在光接^面上对于每个像素而言使不同波长范围的 光透过。
从图像捕获元件25输出的图像捕获数据被输入时间子带分割单元35。时间子带分割单元35将从图像捕获元件25供给的、在当前帧处的图 像捕获数据临时存储在帧存储器4中，并且g帧存储器4读取后四帧的 图像捕获数据，根据下W达式3进行子带分割处理，并输出低频LL信 号91、高频LH信号92、高频HL信号93以及高频HH信号94。
^ 4,) = /(x, 乂40 + /(x, +1) + /(x, 乂4Z + 2) + /(x, y,4z + 3)
O & j, _ 少,40 — J" 乂4, + D + 7"几"+ 2) — 7" 乂" + 3),"朋取 O (x ), ^,) — /(A 乂4,) - /(x, _y,4, +1) - /(x, 乂4, + 2) + /(x， 乂4z + 3) , i a"gg
(表达式3)
上述表达式3表示在时间方向上的小波变换，其中使用哈尔函数作为 基。在上i^达式中示出了以下值
1(x，y，4t):在时间4t时在像素位置(x，y)处的输入值，
1(x，y，4t+l):在时间4t+l时在像素位置(x,y)处的输入值，
1(x,y，4t+2):在时间4t+2时在像素位置(x，y)处的输入值，
1(x，y，4t+3):在时间4t+3时在像素位置(x，y)处的输入值，
OLL(x，y，4t):在时间4t时在像素位置(x,y)处的低频LL信号输出值，
OLH(x，y,4t):在时间4t时在像素位置(x，y)处的高频LH信号输出值，
0HIj(x，y，4t):在时间4t时在像素位置(x，y)处的高频HL信号输出值，
0HH(x，y,4t):在时间4t时在像素位置(x，y)处的高频HH信号输出值，
以及
Range: —个像素的像素值的分辨率的数字。
在例如针对每种颜色使用8位表示一个像素的情况下，分辨率的数字 为256。在本实施例中，每种颜色祐j稱述为8位。
通过用于将四个连续输入帧的湘应像素值相加的处理来产生低频LL信号输出值0!x(x，y，4t)。通过表达式3中所示的基于四个连续输入帧的相应像素值的加法/减法处理来产生其它三个高频信号输出值，即，以下高频信号输出值
高频LH信号输出值Ou!(x,y,4t)，
高频HL信号输出值0HL(x，y，4t),以及
高频HH信号输出值0冊(x，y，4t)。
以以下方式来^殳置高频HL信号输出值0LH(x，y，4t):将四个连续输入帧的相应l象素中的、在时间4t和4t+l时的前两个帧的相应^象素值(信号值)设为加法数据，并将在时间4t+2和4t+3时的后两个帧的相应像素值i史为减法lt据。
以以下方式来设置高频HL信号输出值0HL(x，y,4t):将四个连续输入帧的相应像素中的、在时间4t和4t+2时的两个帧的相应l象素值设为加法数据，并将在时间4t+l和4t+3时的两个帧的相应像素值设为减法数据。
以以下方式来设置高频HH信号输出值0HH(x，y，4t):将四个连续输入帧的相应^f象素中的、在时间4t和4t+3时的两个帧的相应《象素值设为加法数据，并将在时间4t+l和4t+2时的两个帧的相应像素值设为减法数据。
时间子带分割单元35基于与上述的时间方向上连续的四个帧相对应的信号值来产生一个低频信号输出值和三个高频信号输出值。作为该处理的结果，输出帧频变为相对于输入帧频的1/4。下面示出的表达式4表示其中使用哈尔函数作为基的小波逆变换。
<formula>formula see original document page 32</formula> - (x, 乂4,) - O'肌(x, 乂4,) + O'册(x, y,4,) +
(表达式4)
表达式4中所示的小波逆变换是用于以下计算的表达式根据前述的表达式3中所示的小波变换中产生的值
、 [R(x，y,4t+l)、[R(x,y,4t+2)和[R(x,y,4t+3)]。上ii^达式4用于解码处理。
在本实施例中，在时间子带分割单元35中的时间子带分割处理中4吏用易于实现的哈尔小波。可以使用其中使用另外的基的小波变换、或另外的子带分割处理。
图12示出了在时间子带分割单元35中的时间子带分割处理的细节。图12示出了从帧存储器4读取的第一帧(帧0)、第二帧(帧l)、第三帧(帧2)和第四帧(帧3)的图像捕获数据。每个图像捕获数据帧是对于每个像素而言具有单色信号的RAW数据，所述单色信号即具有RGB之一的一个颜色信号。例如，每帧的左上端为G信号，每个信号值被按GRGR的顺序存储在右侧，并且按BGBG的顺序将信号值存储在第二行中。例如，对于在每个帧的左上端的G信号，显示了以下值
G(0，0，0)中的G是RGB信号的G信号，
G(0，0，0)中的起首的(0，0)表示坐标位置(x,y) = (0,0)
G(0，0，0)中的末尾的(0)表示帧ID =帧0。
就四个连续帧中的空间而言，时间子带分割单元35在位于相同位置处的^f象素之间执行加法处理和减法处理。例如，在图12所示的第一帧的像素G(O，O，O)、第二帧的像素G(O，O，l)、第三帧的像素G (0，0，2)、以及第四帧的像素G(0，0,3)之间，执行表达式3所示的处理。用于将四个连续输入帧的相应像素值相加的处理计算低频信号输出值OuXx，y,4t)。用于将四个连续输入帧的相应l象素值相加和相减的处理产生三个信号，即，高频信号输出值Ouj(x,y,4t)、高频信号输出值OmXx，y，4t)、以及高频信号输出值0冊(x，y，4t)。
在下文中，根据信号值是RGB中的哪一个，将[OLL(x，y，4t)、
、 [RLH(x,y，4t)、[R肌(x,y，4t)和[RHH(x，y,4t)，
在G的情况下，表示为[dx(x，y，4t)、[GLH(x，y，4t)、[GaL(x，y,4t)和[GnH(x,y，4t)，在B的情况下，表示为[BLL(x,y，4t)、[BLH(x,y，4t)、[B肌(x，y，4t)和[G冊(x,y，4t)1。
时间子带分割单元35例如在图12所示的第一帧的4象素G(0，0，0)、第二帧的像素G(O,O，l)、第三帧的像素G(0,0,2)、以及第四帧的像素G(0，0,3)之间、执行表达式3所示的处理，并产生四个输出值。
也就是说，用于将四个连续输入帧的相应像素值相加的处理产生低频信号输出值dx(O,O，O)。此外，用于将四个连续输入帧的相应〗象素值相加和相减的处理产生高频信号Glh(O,O，O)、高频信号输出值Ghl(O，O，O)、以及高频信号输出值GHH(0，0，0)。
以类似的方式，在像素R(l，O,O)、像素R(1，0,1)以及像素R(l,0,2)之间执行处理，由此输出低频信号输出值Rxx(l，O，O)和三个信号，所述三个信号即高频信号Rm(l，O，O)、高频信号rhl(l，O,O)、以及高频信号Rhh(I，O，O)。
由时间子带分割单元35转换的低频信号91是通过将图像捕获数据的四个相邻帧的像素相加来获得的，并且对应于以图像捕获帧频(在本实施例中为每秒240帧)的1/4的帧频(每秒60帧)的、图像捕获RAW数据。另一方面，由时间子带分割单元35转换的高频信号92至94是通过确定图像捕获数据的四个相邻帧之间的差别来获得的，并且是变成指示以下内容的固定值(就安装而言制定了中心值128)的RAW数据只在运动物体的区域中存在有效《象素值，在其它区域中无差别。低频信号91和高频信号92至94中的每个信号的帧频均是每秒60帧。
时间子带分割部件35接收从图像捕获元件25输出的图像信号，并在时间方向上执行子带分割处理，由此产生由低频分量构成的低频子带分割信号以及多个由高频分量形成的高频子带分割信号，其中使所述低频子带分割信号具有比来自图像捕获元件25的信号的输入帧频低的帧频。
如上文所述，^L据本实施例的时间子带分割部件35产生多个高频子带分割信号作为高频子带分割信号。由时间子带分割部件35产生的低频子带分割信号和多个高频子带分割信号中的每个信号的帧频是根据所述较低频子带分割信号和多个高频子带分割信号的总数来确定的.
从时间子带分割单元35输出的低频信号91 (低频信号)被输入到相机信号处理器A56。以类似的方式，从时间子带分割单元35输出的高频信号92 (高频信号Olh )被输入到相积4f号处理器B57。由此而来的高频信号93 (高频信号O肌)被输入到相机信号处理器C58。由此而来的高频信号94 (高频信号Ohh )被输入到相机信号处理器D59。
相机信号处理器A56、 B57、 C58和D59对从时间子带分割单元35输出的低频信号91和高频信号92至94执行相机信号处理，例如白平衡校正、增益校正、去马赛克(demosaic)处理、矩阵处理和伽玛校正。相机信号处理器A56和相枳i信号处理器B57至D59是执行相同的处理且分别对低频信号91和高频信号92至94并行地执行处理的处理器。
如上文所述，从时间子带分割单元35输出的低频信号91和高频信号92至94是每秒60帧(60 f/s )的数据，所述每秒60帧(60 f/s )是从作为图像捕获帧频的高速(240 f/s)帧频进行速率转换后的帧频。
相积i信号处理器A56和相积i信号处理器B57至D59应当针对以每秒60帧(60 f/s)的数据执行信号处理。也就是说，可以以与针对以每秒60帧的图像捕获RAW数据的处理iUL相等的处理速度来执行处理。
从时间子带分割单元35输出的高频信号92至94是指示四个相邻帧之间的差别的RAW数据。因此，在在相机信号处理器B57至D59中的去马赛克处理中执行非线性处理的情况下，存在可能在亮度变化之处的边缘部分中产生噪声的可能性。但是，在根据本实施例的图像捕获装置400的配置的情况下，由于可通过以常规帧频(每秒60帧)的处理来实现所^目机信号处理器A56和相;tMt号处理器B57至D59，因此存在不必加速的优点。
已将相机信号处理器A56、 B57、 C58和D59以及时间子带分割单元35描述为用于分别对低频信号91和高频信号92至94执行诸如白平衡校正、增益校正、去马赛克处理、矩阵处理和伽玛校正之类的相机信号处理的组件。所述信号处理形式不限于该示例，并且各种形式都是可能的。之后将参照图13和14来描述时间子带分割单元35中的处理的细节。
W目机信号处理器A56输出的低频图^Jt据被输入到第一编解码器单元63，并且还被输入到取景器输出单元9。 ^目机信号处理器B57输出的高频图傳教据被输入到第二编解码器单元64。在下文中，以类似的方式，^目机信号处理器C58输出的高频图傳教据被输入到第三编解码器单元65，并JUM目机信号处理器D59输出的高频图像数据被输入到第四编解码器单元66。
取景器输出单元9将vM目机信号处理器A56供给的低频图像数据转换为要在取景器(未示出)上显示的信号并输出该信号。要在取景器上显示的图像的分辨率和帧频与输入图像数据相比可能不相同。在这种情况
下，取景器输出单元9执行分辨率转换处理和帧频转换处理。在要执行帧 频转换处理时，使用帧存储器(未示出)。要在取景器上显示的图像可能 必须是亮度图像。在这种情况下，取景器输出单元9将输入图像转换为亮 度图像并将其输出。
第一编解码器单元63通过使用第一图^象编解码器来压缩^目机信号 处理器A56供给的较低频的图傳教据，并输出低频流数据95。第一编解 码器单元63由例如4吏用H.264编解码方法的帧间编解码器构成。如上文 所述，低频图傳Jt据对应于以作为图^象捕获帧频的1/4的帧频(本实施例 中为每秒60帧)的图像捕获数据。
第一编解码器单元63通过将低频图像数据假设为以常规的每秒60 帧的运动图<綠据来根据诸如H.264高画质规范之类的标准规范对图像 数据进行压缩。但是第一编解码器不限于H,264编解码器。可以使用任何 方法，只要该方法可以压缩常规的运动图像数据即可。例如，可以使用以 诸如MPEG-2等的帧间编解码器、以诸如Motion-JPEG等的帧内编解码 器、或根据MPEG4格式或AVCHD格式执行处理的编解码器。此外，由 第一编解码器单元63输出的流数据95可以不符合标准规范。
第二编解码器单元64对与^目机信号处理器B57供给的高频信号92 (高频信号Olh)相对应的高频图像数据进行压缩，并输出高频流数据96。
第二编解码器64由例如以JPEG编解码方法的帧内编解码器构成。 如上文所述，所述高频图傳教据使得四个相邻帧之间的差别被确定，并且 是使得只在运动物体的区域中存在有效像素值的运动图像数据。也就是 说，所述高频图像数据使得在没有与时间相关的变化的部分中不存在信 息(变成固定值)，并且在存在动作的部分中、在具有小的亮度差的区域 中具有少量信息。通常，这种图像信号易于压缩。即使不使用具有高压缩 效率(尽管该处理是复杂的且具有高成本)的帧间编解码器，诸如低成本 的JPEG编解码器之类的帧内编解码器也允许压缩到足够小的量的信息。 因此，第二编解码器单元64通过使用JPEG编解码器来针对每一帧压缩 高频图^lt据，
第三编解码器单元65对与W目机信号处理器C58供给的高频信号93 (高频信号Ohl)相对应的高频图像数据进行压缩，并输出高频流数据
9根据与第二编解码器单元64相类似的编解码器构造(例如以JPEG 方法的帧内编解码器)来配置第三编解码器单元65。
第四编解码器单元66对与v^目机信号处理器D59供给的高频信号93 (高频信号Ohh)相对应的高频图像数据进行压缩，并输出高频流数据 98。
同样地，才艮据与第二编解码器单元64相类似的编解码器构造(例如 以JPEG编解码器方法的帧内编解码器)来配置第四编解码器单元66。
如上文所述，第一编解码器单元63被设置为具有比第二编解码器单 元64至第四编解码器单元66的压缩效率高的压缩效率的压缩处理部件。 第二编解码器单元64至第四编解码器单元66可以被配置为具有比第一编 解码器单元63的压缩效率低的压缩效率且具有小的电路尺寸。
许多近来的图像捕获装置具有捕获静止图像的功能，并且其中大多数 包括作为组件的用于静止图像的JPEG编解码器。因此，在通过JPEG编 解码器来配置用于压缩高频图像数据的第二编解码器单元64至第四编解 码器单元66的情况下，可以使用用于静止图像的JPEG编解码器。在这 种情况下存在以下优点用于执行对高帧频图像的压缩的额外成本是不必 要的。但是，第二编解码器单元64至第四编解码器单元66不限于JPEG 编解码器。可以使用任何用于压缩常规图像数据的方法。例如，可以使用 以JPEG2000等的帧内编解码器或以MPEG-2等的帧间编解码器。
可以通过具有相同形式的编码处理部件来配置用于对多个高频子带 分割信号中的每个信号执行压缩处理的第二编解码器单元64至第四编解 码器单元66。此外，可以通过用于执行不同的编码处理的编码处理部件 来配置编解码器单元64至66。
分别从第一编解码器单元63和第二编解码器单元64至第四编解码器 单元66输出的、压缩的流数据95和流数据96至98被输入到流控制器 71中。
流控制器71将从第一编解码器单元63输入的、通过压缩低频图係教 据而获得的流数据95与从第二编解码器单元64至第四编解码器单元66 输入的、通it^缩高频图^JL据而获得的流数据96至98相合并，并将作 为结果的数据输出至记录器81。如上文所述，从第一编解码器单元63供 给的低频流数据95是通过利用11.264编解码器压缩每秒60帧的运动图像 而获得的数据，并且是符合标准规范的流。另 一方面，从第二编解码器单元64至第四编解码器单元66供给的高 频流数据96至98是通过利用JPEG编解码器压缩每秒60帧的差分图像 而获得的数据，所述流数据96至98与标准视频流不同。流控制器71将 从第二编解码器单元64至第四编解码器单元66供给的流数据96至98打 包，并将该流数据作为用户数据叠加在从第一编解码器单元63供给的符 合标准规范的流上。
也就是说，流控制器71将通过将从第二编解码器单元64至第四编解 码器单元66供给的压缩的高频数据打包而获得的数据作为用户数据而叠 加在从第一编解码器单元63供给的符合标准规范的流上。对于解码而言， 将^Li殳置为用户数据的包分离，并将执行处理。稍后将描述该处理。
从流控制器71输出的合并的流数据被输入到记录器81中。
记录器81将从流控制器71供给的符合标准规范的流数据记录在诸如 磁带、磁光盘、硬盘或半导体存储器之类的记录介质上。
作为上述操作的结果，通过应用具有超级压缩效率的第一编解码器和 可以以低成本实现的第二至第四编解码器，变得可以以与以常规帧频(在 本实施例中为每秒60帧)的处理速度相匹配的速度，压缩以作为常规帧 频的四倍的帧频(在本实施例中为每秒120帧)捕获的图像信号。因此， 提供了在使成本增加最小化的同时以高帧频实现图像捕获、处理和记录的 图像捕获装置。
在本实施例中，已经描述了以作为常规帧频的四倍的帧频(每秒240 帧)来实现图像捕获、处理和记录的图像捕获装置。该处理不限于两倍或 四倍的帧频。可以将本实施例扩展到以N倍(N是2的幂)的帧频(每 秒60的N倍个帧)来实现图《象捕获、处理和记录的图像捕获装置。
接下来将参照附图来描述在再现过程中的操作。
为了再现所记录的运动图像，图像捕获装置400根据用户的操作以所 述方式来读取记录在记录器81中的流lt据。从记录器81读取的流lt据被 输入到流控制器71中。
流控制器71接^记录器81供给的流数据，并将其分离为由第一编 解码器单元63压缩的低频流数据和由第二编解码器单元64至66压缩的 高频流数据。如上文所述，记录器81中记录的流数据是以第一编解码器 单元63的压缩方法的、符合标准规范的流数据。由第二编解码器单元64 至6 6压缩的流数据已被打包并被作为用户数据而叠加。流控制器71从记录器81接收的流数据中提取通过对由第二编解码器 单元64至第四编解码器单元66压缩的流数据进行打包而获得的、已被作 为用户数据而叠加的数据，并将该数据分离为由第一编解码器单元63压 缩的低频流数据95和由第二编解码器单元64至第四编解码器单元66压 缩的高频流数据96至98，并将它们分别输出至第一编解码器单元63和 第二编解码器单元64至第四编解码器单元66。
第一编解码器单元63接iJ^流控制器71供给的流数据95，并执行 解码(即解压缩处理)。如上文所述，第一编解码器单元63由例如以H.264 编解码方法的帧间编解码器构成。此外，流lt据95是在第一编解码器单 元63中根据诸如H.264高画质规范之类的标准规范而压缩的流。第一编 解码器单元63将流数据95解压缩，并将其转换为每秒60帧的低频运动 图像数据。如上文所述，由于低频运动图像数据对应于每秒60帧的图像 捕获数据，因此从第一编解码器单元63输出的运动图像数据是以常规的 每秒60帧的运动图像。
第二编解码器单元64接收从流控制器71供给的流数据96，并执行 解压缩处理。如上文所述，第二编解码器单元64由例如以JPEG编解码 方法的帧内编解码器构成。第二编解码器单元64将流lt据96解压缩以将 其转换为每秒60帧的高频运动图像。如上文所述，由于高频运动图像数 据使得图像捕获数据的相邻的四个帧之间的差别被确定，因此从第二编解 码器单元64输出的运动图像数据是每秒60帧的时间差分运动图像。
第三编解码器单元65接^流控制器71供给的流数据97，并执行 解压缩处理。如上文所述，第三编解码器单元65是与第二编解码器单元 64相同的处理器，并且从第三编解码器单元65输出的运动图像数据是每 秒60帧的时间差分运动图像。
第四编解码器单元66接JJ^流控制器71供给的流数据98，并执行 解压缩处理。如上文所述，第四编解码器单元66是与第二编解码器单元 64相同的处理器，并iU^第四编解码器单元66输出的运动图^Jt据是每 秒60帧的时间差分运动图像。
可以通过具有相同形式的解码处理部件来配置用于对从流控制器71 供给的高频流数据96至98执行解压缩处理的第二编解码器单元64至第 四编解码器单元66。此外，可以通过执行不同的解码处理的解码部件来 配置它们。从第一编解码器单元63输出的所有运动图像数据以及从第二编解码 器单元64至第四编解码器单元66输出的运动图《象数据被输入到时间子带 分割单元35中。在这种情况下，时间子带分割单元用作时间子带合并单 元35。也就是说，通过接收第一编解码器单元63和第二编解码器单元64 至第四编解码器单元66的解码结果，并通过在时间方向上进行子带合并 处理，产生了合并的图像信号，该合并的图像信号的帧频比由每个编解码 器输出的图l象信号的帧频高。
更具体地，时间子带分割单元(时间子带合并单元)35根据上述的 表达式4、对从第一编解码器单元63和第二编解码器单元64至第四编解 码器单元66供给的低频运动图像数据和高频运动图像数据进行逆变换 (在时间方向上的小波逆变换)，由此产生以每秒240帧的具有四个连续 帧的图像。时间子带分割单元35将该四个连续帧图像临时存储在帧存储 器4中，并且还以四倍的帧频(每秒240帧)交替读取之前的连续四个帧 的图像。通过进行这种处理，可以恢复每秒240帧的运动图像数据。
由时间子带分割单元(时间子带合并单元)35产生的运动图^象是以 基于以下图像信号的总数而确定的帧频的、合并的图像信号具有由第一 编解码器单元63产生的低频分量的图像信号，以及具有由第二编解码器 单元64至第四编解码器单元66产生的高频分量的图《象信号。
此夕卜，当用户的操作或从连接的图像显示器件获得的信息要求输出每 秒60帧的运动图像时，时间子带分割单元35按原样输出从第一编解码器 单元63供给的低频运动图像数据。如上文所述，由于从第一编解码器单 元63输出的运动图像数据是通过以每秒240帧将四个相邻帧图像相加而 产生的运动图像，因此该运动图像数据对应于以每秒60帧捕获的运动图 像。当要进行这种操作时，控制器(未示出)可以控制第二编解码器单元 64至第四编解码器单元66不进行操作，并且具有低功耗的操作是可行的。
此夕卜，当用户的操作和从连接的图像显示器件获得的信息要求输出每 秒120帧的运动图像时，时间子带分割单元35基于从第一编解码器单元 63供给的低频运动图像数据和从第二编解码器单元64供给的高频运动图 像数据、根据下面示出的表达式5来转换数据，由此产生每秒120帧的运 动图像。<formula>formula see original document page 41</formula>
(表达式5 )
上述转换后的运动图像数据是通过以每秒120帧将两个相邻帧图像 相加而获得的运动图像，并且对应于以每秒120帧捕获的运动图像。在要 进行这种操作的情况下，控制器(未示出)可以控制第三编解码器单元 65和第四编解码器单元66不进行操作，并且具有低功耗的操作是可行的。
从时间子带分割单元35输出的运动图HJt据被输入到视频输出单元 10中。
视频输出单元10将从时间子带分割单元35供给的运动图像数据作为 每秒240帧的视频数据而输出。在此要输出的视频数据可以是一种符合诸 如HDMI (高清多媒体接口 )标准或DVI (数字视频接口 )标准之类的 数字视频信号格式的视频数据，或者可以是一种符^^吏用D端子的模拟 分量信号格式的视频数据。视频输出单元10根据输出的视频信号的格式 来执行信号转换处理。
作为上述操作的结果，可以再现其中记录有以四倍于常规帧频的帧频 (本实施例中为每秒240帧)捕获的图像信号的数据，并且可以通过4吏用 具有超级压缩效率的第一编解码器和能以低成本实现的第二至第四编解 码器来解压缩该数据。因此，提供了在使成本增加最小化的同时实现对高 帧频视频的再现输出的图像捕获装置。
此夕卜，如上文所述，在根据从连接的图像显示器件获得的信息来要求 输出每秒60帧的运动图像的情况下，可以以直接输出从第一编解码器单 元63供给的低频运动图傳教据的方式来形成该结构。在此情况下，在再 现过程中，可以停止第二至第四编解码器的处理，并且可以实现功耗的减 少以及以常皿频帧频的视频图4IJ^出。
此外，如上文所述，在根据从连接的图像显示器件获得的信息来要求 输出每秒120帧的运动图像的情况下，可以以输出根据以下数据创建的运 动图像的方式来形成该结构从第一编解码器单元63供给的低频运动图 像数据，以及从第二编解码器单元64供给的高频运动图傳教据。在此情况下，在再现过程中，可以停止第三编解码器单元65和第四编解码器单 元66的处理，并且可以实现功耗的减少以及以常皿频帧频的视频图像 输出。
在上述的本实施例中，已经描述了以四倍于常规帧频的帧频(每秒 240帧)来实现视频再现的图像捕获装置。该处理不限于两倍或四倍的帧 频，并且可以将本实施例扩展到以N倍(N是2的幂)的帧频(每秒60 的N倍个帧)来实现视频输出的图《象捕获装置，这可以通过分层时间子 带分割来实现。此时，可以以任意的M倍(M是2的幂，且小于等于N) 的帧频(每秒60的M倍个帧)来实现视频再现。在以M倍的帧频的再 现的情况下，可以通过停止一些编解码器单元的处理来实现功耗的减少。
将参照图13至15来描述本图像捕获装置中的时间子带分割单元35 中的时间子带分割处理和编解码处理的示例性^Mt 。
首先将参照图13来描述在图像捕获过程中的操作。
图13示出了在图像捕获过程中在时间子带分割单元3 5中的时间子带 分割处理，即，针对时间方向上的连续帧的处理。
(a)图像捕获元件输出的数据是图11所示的图像捕获元件25的输 出。对于该数据，具有HD分辨率的图像帧(图中的N至N+7)以每秒 240帧的速度输出。这里N^:任意整数。
其由图11所示的时间子带分割单元35中的时间子带处理产生，并被作为 在相机信号处理器A56和第一编解码器单元63中处理后的信号而输出。
(c )高频LH图像数据是高频的图像数据(本实施例中为每秒60帧)， 其由图11所示的时间子带分割单元35中的时间子带处理产生，并祐:作为 在相机信号处理器B57和第二编解码器单元64中处理后的信号而输出。
(d)高频HL图像数据是高频的图^Jt据(本实施例中为每秒60 帧)，其由图11所示的时间子带分割单元35中的时间子带处理产生，并 被作为在相机信号处理器C58和第三编解码器单元65中处理后的信号而 输出。
(e )高频HH图像数据是高频的图傳教据(本实施例中为每秒60帧)， 其由图11所示的时间子带分割单元35中的时间子带处理产生，并被作为 在相机信号处理器D59和第四编解码器单元66中处理后的信号而输出。中的帧存储器4中。此时，存储到帧存储器4中的存储速Jbl每秒240 帧。时间子带分割单元35将帧图像存储在帧存储器4中，同时还读取已 存储的之前的连续四个帧的图像。此时，从帧存储器4读取连续四个帧的 图像的速度是每秒60帧。
下面将给出对用于在时间子带分割单元35中产生(b )低频LL图像 数据、(c)高频LH图像数据、(d)高频HL图像数据和(e)高频HH 图像数据的、涉及对帧存储器4的控制的处理的具体操作示例的描述。当 图像捕获开始时，在图13所示的周期A中，时间子带分割单元35接收 从图像捕获元件25输入的帧图像N，并将该帧图像N存储在帧存储器4 中。接着，在周期B中，时间子带分割单元35接收来自图像捕获元件25 的帧图像N+1，并将该帧图像N+1存储在帧存储器4中。以类似的方式， 时间子带分割单元35在周期C中接收来自图像捕获元件25的帧图像 N+2，在周期D中接收帧图像N+3，并将其存储在帧存储器4中。
在周期E中，时间子带分割单元35将帧图像N+4存储在帧存储器4 中，同时还M储器4读取帧图像N、帧图像N+1、帧图像N+2和帧图 像N+3。此时，由于读^JL是存储速度的1/4 (本实施例中为每秒240 帧/4 = 60帧/秒)，因此对于帧图像N至N+3，只读取屏幕的上l/4部分。 图15示出了存储在帧存储器4中的一个帧图^Jt据。在周期E中，时间 子带分割单元35只读取帧图像N至N+3的屏幕的上1/4部分(图15所 示的I部分)。
在接下来的周期F中，时间子带分割单元35将帧图像N+5存储在帧 存储器4中，同时还M储器4读取帧图像N、帧图像N+1、帧图像N+2 和帧图像N+3。在周期F中，读取帧图像N至N+3的接下来的1/4数据， 即，只读取图15所示的J区域。
在周期G中，时间子带分割单元35将帧图像N+6存储在帧存储器4 中，同时还M储器4读取帧图像N、帧图像N+1、帧图像N+2和帧图 像N+3。在周期G中，读取帧图像N至N+3的接下来的1/4数据，即， 只读取图15所示的K区域。
在周期H中，时间子带分割单元35将帧图像N+5存储在帧存储器4 中，同时还从存储器4读取帧图像N、帧图像N+1、帧图像N+2和帧图 像N+3。在周期H中，读取帧图像N至N+3的剩余的1/4数据，即，只 读取图15所示的L区域。如上文所述，在时间子带分割单元35中产生了针对四个帧的延迟。
从帧存储器4读取的连续四帧图像(例如图中的N、 N+l、 N+2和 N+3)在时间子带分割单元35中经历前述的表达式3中所示的变换，并 被分割为低频图像数据(LL图像数据)和三项高频图像数据(LH图像 数据、HL图像数据和HH图像数据)。这里，所述低频图傳Jt据和高频 图^Ji:据中的每种数据均是每秒60帧的运动图^Jt据。
如上文所述，从时间子带分割单元35输出的低频图像数据被相机信 号处理器A56处理，然后在第一编解码器单元63 (图中为H.264编码器) 中经历压缩处理。另一方面，如上文所述，从时间子带分割单元35输出 的高频图像数据在相机信号处理器B57至相机信号处理器D59中被处理， 然后在第二编解码器单元64至第四编解码器单元66 (图中为JPEG编码 器)中经历压缩处理。
接下来将参照图14来描述再现过程中的操作。
图14示出了在再现过程中对时间方向上连续的帧的处理。
从记录器81读取的流数据在流控制器71中被分离为低频流数据和三 种高频流数据。这些流数据分别在第一编解码器单元63 (图中为H.264 编码器)和第二编解码器单元64至第四编解码器单元66 (图中为JPEG 编码器)中经历解压缩处理。作为经历解压缩处理的结果，从第一编解码 器单元63输出低频图像数据，从第二编解码器单元64至第四编解码器单 元66输出三种高频图像数据。这些图像数据均为每秒60帧的运动图像数 据。它们是图14所示的(f)低频LL图像数据、(g)高频LH图^Jt据、 (h)高频HL图傳Jt据和(i)高频HH图傳Jt据。
从第 一编解码器单元63和第二编解码器单元64至第四编解码器单元 66输出的图傳教据都被输入到时间子带分割单元35中。时间子带分割单 元35对该图像数据执行上述的表达式4所示的变换(使用哈尔函数作为 基的小波逆变换)，使得该图HJt据被转换为每秒240帧的运动图像中的 连续四帧图像(例如图中的N、 N+l、 N+2和N+3)。转换后的连续四帧 图傳被时间子带分割单元35临时存储在帧存储器4中。
此时，存储到帧存储器4中的速Jb^每秒60帧。时间子带分割单元 (时间子带合并单元)35将所述连续四帧图像存储在帧存储器4中，并 且还读取已经存储的之前的帧图像。此时，从帧存储器4读取帧图像的速 度是每秒240帧。下面将更具体地描述与对帧存储器的控制相关的操作。
当再现开始时，在周期A'中，时间子带分割单元(时间子带合并单 元)35只对低频LL图像、高频LH图像、高频HL图像和高频HH图像 的第一帧图像(例如N十(N+l) + (N+2) + (N+3))中的1/4数据部分 执行逆变换。
下面将参照图15进行描述。时间子带分割单元(时间子带合并单元) 35只对图15所示的帧数据中的I区域执行逆变换，由此产生具有帧图傳_ N至N+3的1/4的图傳教据(图15中的I区域)。同时，时间子带分割单 元(时间子带合并单元)35将该具有帧图像N至N+3的1/4的图傳Jt据 (图15中的I区域)存储在帧存储器4中。
接下来，在周期B'中，时间子带分割单元(时间子带合并单元)35 对相对于低频LL图像、高频LH图像、高频HL图像和高频HH图像的 第一帧图像(例如N十(N+l) + (N+2) + (N+3))中的每个帧图l象的、 接下来的1/4数据(图15所示的J区域)执行逆变换。产生了帧图像N 至N+3中的、图15中的J区域。同时，时间子带分割单元35将该帧图 像N至N+3的屏幕中的、图15中的J区域存储在帧存储器4中。
在周期C'中，以类似的方式，时间子带分割单元(时间子带合并单 元)35对相对于低频LL图像、高频LH图像、高频HL图像和高频HH 图《象的第一帧图4象(例如N十(N+l) + (N+2) + (N+3))中的每个帧图 像的、接下来的l/4数据(图15所示的K区域)执行逆变换。产生了帧 图像N至N+3的屏幕中的、图15中的K区域。同时，时间子带分割单 元35将该帧图像N至N+3的屏幕上的、图15中的K区域存储在帧存储 器4中。
在周期D'中，以类似的方式，时间子带分割单元(时间子带合并单 元)35对相对于低频LL图像、高频LH图像、高频HL图像和高频HH 图像的第一帧图像(例如N十(N+l) + (N+2) + (N+3))中的每个帧图 像的、接下来的1/4数据(图15所示的L区域)执行逆变换。产生了帧 图像N至N+3的屏幕上的、图15所示的L区域。同时，时间子带分割 单元35将该帧图像N至N+3的屏幕上的、图15中的L区域存储在帧存 储器4中。
接下来，在周期E'中，时间子带分割单元(时间子带合并单元)35 对相对于低频LL图像、高频LH图像、高频HL图像和高频HH图像的下一帧图像(例如(N+4) + (N+5) + (N+6) + (N+7))中的每个帧图 像的、接下来的1/4数据(图15所示的I区域)执行逆变换。产生了帧 图像N+4至N+7的屏幕上的、图15中的I区域。同时，时间子带分割单 元35将该帧图像N+4至N+7的屏幕上的、图15中的I区域存储在帧存 储器4中，并且还读取帧图像N。
在周期F'中，时间子带分割单元(时间子带合并单元)35对相对于 低频LL图像、高频LH图像、高频HL图像和高频HH图像的帧图像(例 如(N+4) + (N+5) + (N+6) + (N+7))中的每个帧图像的、接下来的 1/4数据(图15所示的J区域)执行逆变换。产生了帧图像N+4至N+7 的屏幕上的、图15中的J区域。同时，时间子带分割单元35将该帧图像 N+4至N+7的屏幕上的、图15中的J区域存储在帧存储器4中，并且还 读取帧图像N+1。
在周期G'中，以类似的方式，时间子带分割单元(时间子带合并单 元)35对相对于低频LL图像、高频LH图像、高频HL图像和高频HH 图《象的帧图像(例如(N+4) + (N+5) + (N+6) + (N+7))中的每个帧 图像的、接下来的1/4数据(图15所示的K区域)执行逆变换。产生了 帧图像N+4至N+7的屏幕上的、图15中的K区域。同时，时间子带分 割单元35将该帧图像N+4至N+7的屏幕上的、图15中的K区域存储在 帧存储器4中，并且还读取帧图像N+2。
在周期H'中，以类似的方式，时间子带分割单元(时间子带合并单 元)35对相对于低频LL图像、高频LH图像、高频HL图像和高频HH 图《象的帧图像(例如(N+4) + (N+5) + (N+6) + (N+7))中的每个帧 图像的、接下来的1/4数据(图15所示的L区域)执行逆变换。产生了 帧图像N+4至N+7的屏幕上的、图15中的L区域。同时，时间子带分 割单元35将该帧图像N+4至N+7的屏幕上的、图15中的L区域存储在 帧存储器4中，并且还读取帧图像N+3。
如上文所述，对于从时间子带分割单元35输出的图像数据，产生了 针对四个帧的延迟。此外，作为执行图14所示的^Mt的结果，图像捕获 装置400实现了每秒240帧的运动图^L#"出。
对于已参照图11至15描述的、用于以高速(N倍的)帧频来对图像 捕获lt据执行处理的配置的示例而言，与先前参照图6至10描述的那些 修^bt目同的修改是可行的。也就是+兌，以下配置是可行的
其中省略了参照图6描述的一些相积i信号处理器的配置，
其中将参照图7描述的相机信号处理器设于图像捕获元件与时间子 带分割单元之间的配置，
其中基于每个信号地设置参照图8描述的流控制器和存储单元的配
置，
参照图9描述的、其中输入视频信号并执行处理的配置， 参照图10描述的、用于只执行再现处理的图像处理设备的配置，以
及
图11所示的配置，其中该配置被用作基础并^L修改为图6至10所示 的每个配置，并且执行处理。
上面在参照具体实施例的同时详细描述了本发明。然而，在本发明的 精神和范围内可进行实施例的修改和替换，这是显而易见的。就是说，作 为典型的实施例公开了本发明，不应解释为限制。为了确定本发明的本质， 应考虑权利要求。
注意，可通过硬件、软件或它们的组合进行说明书中描述的一系列处 理。在其中通过软件进行所述一系列处理的情形中，可在嵌在专门硬件中 的计算机中的存储器中安装记录所述处理顺序的程序并执行。可选择地，
所述程序可安装在能进行各种处理的通用计算机上。例如，所述程序可记 录在记录介质上。注意，除将所述记录介质的程序安装到计算机之外，所 述程序还可通过诸如LAN (局域网)或因特网这样的网络安装在诸如内 部^it这样的记录介质上。
注意，说明书中描述的各种处理不必按所述的顺序连续进行，其可根 据进行所述处理的装置的处理性能或的必要性而并行或单独进行。此外， 本说明书中的系统是指多个装置的逻辑组合，不限于其中在单个壳体中包 含具有单独结构的装置的组合。
本领域技术人员应当理解，根据设计条件和其他因素可产生各种修 改、组合、再组合和替换，只要它们在所附权利要求或其等价物的范围内 就行。
权利要求
1.一种图像处理装置，包括时间子带分割部件，用于通过在时间方向上对图像信号进行子带分割处理而产生低频子带分割信号和高频子带分割信号，所述低频子带分割信号由帧频比所述图像信号的帧频低的低频分量形成，所述高频子带分割信号由高频分量形成；第一编码部件，用于压缩所述低频子带分割信号；和第二编码部件，用于压缩所述高频子带分割信号，其中所述第一编码部件和所述第二编码部件进行不同的编码处理。
2. 根据权利要求l所述的图像处理装置，其中所述第一编码部件包 括压缩效率比所述第二编码部件高的编码处理部件。
3. 根据权利要求l所述的图像处理装置，其中所述第二编码部件包 括电路尺寸比所述第一编码部件小的编码处理部件。
4. 根据权利要求l所述的图像处理装置，其中所述时间子带分割部 件是在所述时间方向上的小波变换器，并进行下述处理，即通过在所述时 间方向上相邻的多个帧之间进行哈尔变换而将帧信号分割为低频分量和 高频分量。
5. 根据权利要求l所述的图像处理装置，其中所述时间子带分割部 件接收P帧每秒的图像信号作为所述图像信号(P为整数)，并通过在所 述时间方向上进行子带分割处理而产生(P/Q)帧每秒的低频子带分割信 号和高频子带分割信号(Q为2或比2大的整数)。
6. 根据权利要求5所述的图像处理装置，其中所述第一编码部件和 所述第二编码部件每个都以(P/Q)帧/每秒进行编码处理。
7. 根据权利要求l所述的图像处理装置，进一步包^&录部件，该 记录部件用于记录从所述第一编码部件输出的低频流数据和从所述第二 编码部件输出的高频流数据；第一解码部件，用于接收在所述记录部件中记录的所述低频流数据并 进行用于将低频分量解压缩的处理；第二解码部件，用于接收在所述记录部件中记录的所述高频流数据并 进行用于将高频分量解压缩的处理；和时间子带合并部件，用于通过对作为所述第 一解码部件和所述第二解 码部件的解码结果的图像信号进行在所述时间方向上的子带合并处理，产 生帧频比作为所述第一解码部件和所述第二解码部件的解码结果的图4象 信号的帧频高的合并后图像信号。
8. 根据权利要求7所述的图像处理装置，其中所述时间子带合并部 件是在所述时间方向上的小波逆变换器。
9. 根据权利要求l所述的图像处理装置，其中所述时间子带分割部件产生多个高频子带分割信号作为所述高频子 带分割信号，所述低频子带分割信号的帧频和所述多个高频子带分割信号的帧频 是根据所述低频子带分割信号和所述多个高频子带分割信号的总数而确 定的。
10. 根据权利要求9所述的图像处理装置，其中所述第二编码部件包 括用于对所述多个高频子带分割信号中的每个进行压缩处理的多个不同 的编码部件。
11. 根据权利要求l所述的图像处理装置，其中所述时间子带分割部 件通过用于添加在所述图像信号中所包含的相对于时间连续的N个图像 帧的对象像素的信号值的处理而产生一个低频子带分割信号(NS)，并 通过用于添加和减去在所述图〗象信号中所包含的相对于时间连续的N个 图像帧的对象像素的信号值的处理而产生N-l个高频子带分割信号(N^2 )，所述N-l个高频子带分割信号中的每个是通过区别地设定被执行加 法处理和减法处理的图像帧的组合而计算得到的信号。
12. 根据权利要求1所述的图像处理装置，其中还包括图像捕获元件， 该图《象捕获元件被配置成通过光电转换获得图 <象信号，所述时间子带分割部件通过对来自所述图像捕获元件的图像信号进 行处理而产生高频子带分割信号和帧频比来自所述图像捕获元件的信号 的帧频低的和低频子带分割信号。
13. —种图像处理装置，包括第一解码部件，用于接收在记录部件中记录的低频流数据并进行用于 将低频分量解压缩的处理；第二解码部件，用于接收在所述记录部件中记录的高频流数据并进行用于将高频分量解压缩的处理；和时间子带合并部件，用于通过在时间方向上对作为所述第 一解码部件 和所述第二解码部件的解码结果的图〗象信号进行子带合并处理，产生帧频 比作为所述第 一解码部件和所述第二解码部件的解码结果的所述图4象信 号的帧频高的合并后图像信号。
14. 根据权利要求13所述的图像处理装置，其中所述第一解码部件 对编码数据进行压缩效率比所述第二解码部件高的解码。
15. 根据权利要求13所述的图像处理装置，其中所述第二解码部件 接收在所述记录部件中记录的多个不同的高频流数据并产生由高频分量 组成的多个不同的图傳_信号；和所述时间子带合并部件通过在所述时间方向上对作为所述第 一解码 部件的解码结果的图《象信号和作为所述第二解码部件的解码结果的多个 不同的图像信号进行子带合并处理，产生高帧频的合并后图像信号。
16. 根据权利要求13所述的图像处理装置，其中所述时间子带合并 部件产生的合并后图像信号的帧频是根据由所述第 一解码部件产生的所 述低频分量图《象信号和由所述第二解码部件产生的高频分量图4象信号的 总数而确定的。
17. 根据权利要求13所述的图像处理装置，其中所述第二解码部件 包括用于对在所述记录部件中记录的多个高频流数据中的每个进行解压 缩处理的多个不同的解码部件。
18. —种图像处理方法，包括下述步骤通过在时间方向上对图像信号进行子带分割处理，产生由帧频比所述 图像信号的帧频低的低频分量形成的低频子带分割信号和由高频分量形 成的高频子带分割信号；压缩所述低频子带分割信号；和压缩所述高频子带分割信号，其中在压缩所述低频子带分割信号的步骤和压缩所述高频子带分割 信号的步骤中，进行不同的编码处理。
19. 一种图像处理方法，包括下述步骤接收低频流数据并进行用于将低频分量解压缩的处理；接收高频流数据并进行用于将高频分量解压缩的处理；和基于用于将所述低频流数据解压缩的处理而获得的第一图像信号和 用于将所述高频流数据解压缩的处理而获得第二图像信号，通过在时间方 向上进行子带合并处理产生帧频比所述第 一 图像的帧频高的合并后图像 信号。
20. —种程序，使计算机进行包括下述步骤的图像处理方法通过在时间方向上对图像信号进行子带分割处理，产生由帧频比所述 图寸象信号的帧频低的低频分量形成的低频子带分割信号和由高频分量形 成的高频子带分割信号；压缩所述低频子带分割信号；和压缩所述高频子带分割信号，其中在压缩所述低频子带分割信号的步骤和压缩所述高频子带分割 信号的步骤中，进行不同的编码处理。
21. —种程序，使计算机进行包括下述步骤的图像处理方法接收低频流数据并进行用于将低频分量解压缩的处理；接收高频流数据并进行用于将高频分量解压缩的处理；和基于用于将所述低频流数据解压缩的处理而获得的第一图像信号和 用于将所述高频流数据解压缩的处理而获得第二图像信号，通过在时间方 向上进行子带合并处理产生帧频比所述第 一 图像的帧频高的合并后图像 信号。
22. —种图像处理装置，包括时间子带分割部件，被配置成通过在时间方向上对图像信号进行子带 分割处理而产生低频子带分割信号和高频子带分割信号，所述低频子带分 割信号由帧频比所述图像信号的帧频低的低频分量形成，所述高频子带分 割信号由高频分量形成；笫一编码部件，被配置成压缩所述低频子带分割信号；和第二编码部件，被配置成压缩所述高频子带分割信号，其中所述第 一编码部件和所述第二编码部件进行不同的编码处理。
23. —种图l象处理装置，包括第一解码部件，被配置成接收在记录部件中记录的低频流数据并进行 用于将低频分量解压缩的处理；第二解码部件，被配置成接收在所述记录部件中记录的高频流数据并 进行用于将高频分量解压缩的处理；和时间子带合并部件，被配置成通过在时间方向上对作为所述第 一解码 部件和所述第二解码部件的解码结果的图〗象信号进行子带合并处理，产生 帧频比作为所述第 一解码部件和所述第二解码部件的解码结果的图4象信 号的帧频高的合并后图像信号。
全文摘要
本发明涉及图像处理装置，图像处理方法和程序。图像处理装置包括时间子带分割单元，被配置成通过在时间方向上对图像信号进行子带分割处理而产生低频子带分割信号和高频子带分割信号，所述低频子带分割信号由帧频比所述图像信号的帧频低的低频分量形成，所述高频子带分割信号由高频分量形成；第一编码单元，被配置成压缩所述低频子带分割信号；和第二编码单元，被配置成压缩所述高频子带分割信号，其中所述第一编码单元和所述第二编码单元进行不同的编码处理。
文档编号H04N5/232GK101516031SQ20091000568
公开日2009年8月26日 申请日期2009年2月19日 优先权日2008年2月19日
发明者小林诚司 申请人:索尼株式会社
最新回复(0)