图像处理装置和图像处理方法
专利名称：图像处理装置和图像处理方法
技术领域：
、B4=l/24 [秒
如上所述，相对时间设置单元110可以使用经过时间的线性函数来设 置相对时间。然而，本实施例不限于此.例如，可以卩吏用二次函数或更高 次函数或指数函数等高维函数来设置相对时间。或者，可以使用任意设定 的函数来设置相对时间。
也可以考虑将Ak*t (k=l到4)推广为任意函数f"t)的方法。其中， 所述函数的定义要满足条件《(Xf"t)Sf2(t); &(0)=&(0)=0; &(60)=1/120秒， 6(60)=2/120[秒}，以及《f3(t)^f4(t)《[秒；f3(0)=f4(0)=0[#'；f3(60)= - 2/120 [秒，f4(60)=-1/120 [秒}。同样，函数类型可以是任意的。然而，设置函数类型使得当满足经过
时间t=0时所有的相对时间都与原始图像的时间匹配，而当经过时间t达 到预定的帧周期(t=60)时，所有的相对时间都与目标时间相匹配。在上 面的说明中，函数的类型表示为"函数"。同样，相对时间设置单元110可 以被配置来基于预定函数类型针对经过时间的输入来操作并输出相对时 间。然而，可以配置相对时间设置单元110,使得保持与所述"函数，，相对 应的表，并参考该表来设置预定的相对时间。
已经说明了根据本实施例的显示设备100的功能结构。如上所述，根 据本实施例的显示设备100可以在容易产生抖动的图像类型切换部分之 后设置产生插值图像的相对时间以接近原始图像的时间。此夕卜，显示设备 100可以使用图像类型发生了变化处的原始图像的时间作为起点来设置 相对时间，使得所i^目对时间根据经过时间的大小逐渐接近目标时间。
因此，即使图像类型切换时刻产生了抖动，由于在插值处理之后相应 图像逐渐地变为平滑图《象，因此观看者难以识别出插值处理的切换部分。 于是，观看者难以识别出类型彼此不同的图像之间的时间变化点，这样就 可以实现能够最大程度地使每个图像平滑的显示。 A2= - 2/(120*60)[秒
A3= 2/(120*60)[秒] A4= 1/(120*60)[秒
B产(经过时间1=0处的相对时间(Tn+ATfO)[秒
B产(经过时间1=0处的相对时间(Tc+ATf2))[秒] Bf(经过时间1=0处的相对时间(T(3+ATo))[秒
B^(经过时间1=0处的相对时间(Tf4+ATf4))[秒l
如上所述，相对时间i殳置单元210能够^^用经过时间1的线性函数来 设置相对时间。然而，本实施例不限于此。例如，可以使用二次函数或更 高次函数或指数函数等高维函数来设置相对时间。可选择地，可以使用任 意设定的函数来设置相对时间。类似于上述等式(1)到(4)的情形，也 考虑将Ak*t ( k-l到4 )推广为任意函数f，"t)的方法。
(第二个具体例子iUL超出—i!JL未超出)
接下来考虑这样的情形，其中，相对时间用速度超出状态变为iiJL未 超出状态之后的经过时间2的线性函数来表示。作为与图4相对应的具体 例子，假设在两个原始图像OP!和OP2之间产生4个插值图像CFF1 、 CFF2 、CF^和CFw，并且各个插值图像按等间隔设置，插值处理变为平滑插值 处理。另外，假设图7所示的例子为运动量变化的例子。然而，假i殳插值 图4象CFFk (k=l到4 )的目标时间为Tfl^k/120秒。
此外，假设原始图像OPi是这样的时间序列图像信号的图像其时 间为紧临速度超出状态变为速度未超出状态之后(经过时间2=0 )从时间 序列图像信号的时间过去了预定时间t (帧单位)后的时间，并且原始图 像OR的时间为相对时间的基准(0秒)。在这种情况下，例如，相对于 从原始图像0^算起的经过时间t (帧单位)来设置插值图像CF^ (k=l 到4)的相对时间(T汰+ATflJ，如下面的等式(9)到(12)所表示的。
在下面的等式(9 )到(12 )中，将Bk (k=l到4)定义为经过时间 2=0处的相对时间值(Tfk+ATfk)的原因是可以假设相对时间是根据图 像类型的切换而设置的。在这种情况下，代替按等间隔设置的插值图像 CFFk (k=l到4)的时间Tfk，经过时间2=0处每个插值图像的相对时间 (Tffc+ATfk)变为设置基准。即使在另一个相对时间设置处理期间，也通 过上述设置来维持相对时间信息的连续性。
如果对下面的等式(9)和(10)相互进行比较，则设置比插值图像 CFF2更靠近原始图像OR的插值图像CFF1的相对时间，使得相对于经过 时间t的斜率&较小。斜率&和A 2的每一个指示这样的距离变化量 随着经过时间t的过去插值图像CF^和CF^按该距离变化量远离原始图 像OPla就是说，下面的等式(9)和(10)示出这样的设置相对时间的 设置方法，使得插值图像CFF2随着时间的过去变得远离原始图像OR 。
同样，如果对下面的等式(11)和(12)相互进行比较，则设置比插 值图像CFF3更靠近原始图像OP2的插值图像CFF4的相对时间，使得相对
于经过时间t的斜率A4较小。斜率A3和A4的每一个指示这样的距离变
化量随着经过时间t的过去，插值图像CFM和CF^按该距离变化量变 得远离原始图像OP2。就是说，下面的等式(11)和(12)示出这样的设 置相对时间的设置方法，使得插值图像CFp3随着时间过去进一步远离原
始图像OP2。
相对时间(Tf!+ATfx^ A^t+Bi (9 )
相对时间(Tn+ATn" A2*t+B2 (10 )相对时间(Tfi+ATfi)= A3*t+B: 相对时间(Tf4+ATf4)= A4*t+B, A产1/(120*60)[秒
A2= 2/(120*60)[秒
说明书第28/38页
(11)
(12)
A3= - 2/(120*60)[秒
A4= -1/(120*60)[秒
B产(经过时间2=0处的相对时间(Tfx+ATf！))[秒
B尸(经过时间2=0处的相对时间(Tf2+ATfi))[秒
Bf(经过时间2=0处的相对时间(To+ATj3))[秒
B^(经过时间2=0处的相对时间(1>4+^1>4))[秒
如上所述，相对时间设置单元210能够使用经过时间2的线性函数来 设置相对时间。然而，本实施例不限于此。例如，可以使用二次函数或更 高次函数或指数函数等高维函数来设置相对时间。可选择地，可以使用任 意设定的函数来设置相对时间。类似于上述等式(1)到(4)的情形，也 可以考虑将Ak*t (k=l到4)推广为任意函数f，，k(t)的方法。
已经说明了根据本实施例的显示设备200的功能结构。如上所述，根 据本实施例的显示设备200能够相对于时间序列图像信号的运动量超过 预定阈值的那部分之后的部分来设置产生插值图像的相对时间，以逐渐地 接i^f、始图像的时间。同样，显示设备200能够这样来设置相对时间使 得从时间序列图像信号的运动量超过预定阈值的状态变为运动量不超过 预定阈值的状态的部分变得逐渐远离原始图像。
此时，显示设备200能够这样来设置相对时间，使得该相对时间随着
间。因而，产生了抖动的图像与在速度超出/未超出切换的时刻进行插值 处理之后的平滑图像之间的快速变化就得以緩解，并且观看者难以识别出 插值处理的切换部分。于是，观看者难以识别出类型彼此不同的图像之间 的变化点。于是，可以实现能够最大程度地使每个图像平滑的显示。
31[关于图^^处理方法
下面将参考图8说明根据本实施例的图像处理方法的处理流程。图8 是示出根据本实施例的图像处理方法的处理流程的图。然而，假设在第一
阶段中摄^N^图像的时间序列图像信号被输入到显示设备200中。
首先，如果时间序列图像信号流被输入到显示设备200中，则图^象的 类型由图像类型确定单元102来确定。当图《象类型确定单元102检测到摄 ^^L图像时，作为表明是摄^^图像的确定结果，摄^^L图^M^测信号就 被输入到算术处理块B22 (S202)中。此时，时间序列图像信号的图像类 型为摄像机图像，其图像类型不变化，算术处理块B22可以不向图像处 理块B21输入与插值方法有关的信息。同样，在摄像机图像的时间序列 图像信号被连续地输入的一段时间(摄#^图#^测时段)期间，由图像 处理块B21使用的插值方法不变。
在任何时刻，当由图像类型确定单元102检测到胶片图像时(胶片图 寸l^r测间隔)，作为表明AJI^片图像的确定结果，胶片图^M^测信号被输 入到算术处理块B22中(S204)。如果输入了胶片图像检测信号，则由算 术处理块B22确定所述确定结果的可靠性。在可靠性确定处理期间(可 靠性确定间隔)，多个胶片图像检测信号被输入到算术处理块B22中
(S206 )。这些胶片图《IM^测信号是在时间序列图像信号的帧周期单位内
(1/60秒)被输入的。
如果使用胶片图^M^r测信号确认了图像类型确定结果的可靠性，则由 算术处理块B22设置相对时间，并且将相对时间信息R发送到图像处理 块B21中(S208 )。
无iW时胶片图^^r测信号被从图像类型确定单元102连续地输入， 并被发送到图像处理块B21中(S210和S214 )，都产生相对时间信息(Fn (n=l到N))。此时，由相对时间信息(Fn (n=l到N))指示的相对时 间基于上述等式(1)到(4)来设置。
然而，在任何时刻，如果由速度检测单元214输入了表明运动量已经 超过预定阈值的运动量超出信号(S212 )，则算术处理块B22就基于上述 等式(5)到(8)设置相对时间，并将相对时间信息F^发送到图像处理 块B21中(S216)。然后，基于上述等式(5)到(8)连续地发送相对时 间信息FAn (2SnSN) ( S218 )。另夕卜，在任何时刻，如果由i!JL检测单元214输入了表明运动量已经 低于预定阈值的运动量超出解除信号(S220)，则算术处理块B22就基于 上述等式(9)到(12)设置相对时间，并将相对时间信息F^发送到图 像处理块B21中(S222)。然后，基于上述等式(9)到(12)连续地发 i^目对时间信息FBn (2￡nSN) (S224)。此外，在上述处理期间，不管运 动量的超出/未超出，从图像类型确定单元102输入胶片图<|^测信号 (S226 )。
此夕卜，在任何时刻，当由图像类型确定单元102再次检测到摄像机图 像时，作为表明是摄^4^图像的确定结果，摄^^图^^r测信号被输入到 算术处理块B22 (S228 )。如果输入了摄^^图像检测信号，则由算术处 理块B22确定所述确定结果的可靠性。
在可靠性确定处理期间(可靠性确定间隔)，多个才聂<|*图像检测信 号被输入到算术处理块B22 (S230)。如果使用摄^J机图像检测信号确认 了图4象类型确定结果的可靠性，则相对时间就由算术处理块B22 i殳置， 并J^目对时间信息C被发送到图像处理块B21 ( S232 )。
然而，当胶片图像变为摄^^图像时所发送的相对时间信息C是适 合于摄^4^图像的目标时间的信息。类似于根据第一实施例的图像处理方 法，在时间序列图像信号流为摄^^图像类型这种状态中，发送该目标时 间信息的原因是，防止连续进行适合于胶片图像的插值处理而在图像之间 产生不自然的运动。
就是说，与根据上述第一实施例的图像处理方法相同，可以在胶片图 像变为摄^4^图像之后，立即将插值方法切换为适合于摄^^图像的插值 方法。如果发送了摄^J机图像的相对时间信息C,则在摄#^图像检测间 隔期间，图像处理块B21使用适合于摄^^图像的插值方法对时间序列 图4象信号流ii行图4象处理，并输出处理结果。
已经说明了根据本实施例的图像处理方法的处理流程。如上所述，根 据本实施例的图像处理方法，由算术处理块B22根据由图像类型确定单 元102所检测到的图像类型产生相对时间信息。当运动量超过预定阈值或 落在预定阈值之下时，由算术处理块B22设置相对时间信息。另外，由 图像处理块B21基于由算术处理块B22所设置的相对时间来进行插值处 理。
33此时，在算术处理块B22中，设置相对时间，使得具有根据图像类 型的切换而产生的抖动的图像逐渐地变为平滑图像。此外，设置相对时间， 使得进行从平滑图像到根据运动量的变化而产生抖动的图像的逐渐变化。 于是，可以緩解由于插值处理的快速变化而使观看者感到的不适。
<第一变型>
接下来，将说明第二实施例的第一变型。该变型涉及在输入的摄^^ 图像中检测到运动或场景的快速变化时的插值处理方法。在所述图像处理 方法中，当在输M片图像的同时产生了运动量的超出(或超出解除)时， 适当地调整相对时间。然而，该方法能够运用于摄^^图像。
例如，根据从由i!JL检测单元214检测出大于等于预定阈值的运动量 的时刻算起的或者从所^i^超出被解除的时刻算起的经过时间t (帧单 位)，如下面的等式(13)所表示的，设置插值图像CFd的相对时间TC1 (参考图3)。然而，才艮据目标时间分辨率(例如，1/120秒)控制相对时 间TC1以满足条件0^rcl$l/120秒。
Tc产A,Bi (13)
情形l:检测到it^超出
A产-1/(120*60)[秒]
B尸(经过时间1=0处的Td)[秒] 情形2:解除了M超出
A产l/(120央60)[秒
B尸(经过时间1=0处的Td)[秒
如上所述，能够使用经过时间t的线性函数来设置相对时间Td。然 而，本实施例不限于此。例如，可以使用二次函数或更高次函数或指数函 数等高维函数来设置相对时间。可选择地，可以使用任意设定的函数来设 置相对时间。已经说明了本实施例的第一变型。如在所述第一变型中所说 明的，根据本实施例的插值处理方法能够运用于摄像K图像。
<第二变型>接下来，将参考图9说明本实施例的第二变型。该变型涉及显示设备 200中包括的速度检测单元214和相对时间设置单元210的功能。当运动 量超出预定阈值时，根据超出量来调整相对时间的设置值。
在上面已经说明了的显示设备200的结构中，假设在产生了速度超出 时临时停止插值处理。然而，本变型涉及一种技术，其中，即使在产生了 速度超出时，插值处理也不停止，并且通过调整相对时间来减少图像的扰 动。这种技术用来实现下列效果。在靠近原始图像的时间产生插值图像， 因此能够减小不正确的运动信息所导致的不利影响。于是，可以抑制图像 的扰动。
(关于速度检测单元2"的功能)
首先，将说明根据本变型的速度检测单元214的功能。为了实现上述 功能，当运动量超出预定阈值时，速度检测单元214向相对时间设置单元 210输入在经过时间的一个控制周期(例如， 一个帧单位)期间速度超出 量V的变化。此外，速度检测单元214可以将iiA确定结果输入到相对 时间设置单元210。然而，速度检测单元214可以只输入itJL超出量V。
(关于相对时间设置单元210的功能)
相对时间设置单元210根据vyJt度检测单元214输入的iUL超出量V 来设置相对时间，使得插值图像接近原始图像。例如，相对时间设置单元 210根据il^L超出之后经过时间为t处的速度超出量V来设置相对时间的 变化ATfk(k-l到4)(对应着图4中的情形)，如下面的等式(14)到(17) 所表示的。然而，V(t)指示在经过时间t处的速JL^出量。
ATn=A，(t) - V(t-l))十Bi(14)
瑪=A2*(V(t) - V(t -1))+B2(15)
AT0=A3*(V(t) - V(t-1))+B3(16)
ATf4=A4*(V(t) - V(t -1))+B4(17)
A产一1/(120*30)[秒、B产一1/(120*60)[秒
A2=—2/(120*30)[秒、B2=—1/(120*60)秒入3=2/(120*30)[秒、B3= - 1/(120*60)[秒
入4=1/(120*30)[秒、B4= - 1/(120*60)[秒
然而，当速度超出量之间的差(V(t)-V(t-l))超过30时，设置相对时间， 使得插值图像在一个控制周期内与原始图像匹配。
同样，可以通过使用经过时间t处的运动量V的变化的线性函数来设 置相对时间的变化ATfk (k=l到4)。然而，本实施例不限于此。例如， 可以使用二次函数或更高次函数或指数函数等高维函数来设置相对时间。
此外，当运动量V相对于经过时间t的过去变为常数时，变化与上述 等式(5)到(8)所表示的变化相同。同时，当速度超出,除并且不从 速度检测单元214输AJl度超出量时，相对时间设置单元210根据使用速 度超出被解除的时刻作为基点的经过时间t、基于上述等式(9)到(12) 来设置相对时间。
已经说明了本实施例的第二变型。如果运用才艮据第二变型的技术，则 即使当时间序列图像信号之间的运动量超出预定阈值时，因运动检测准确 度的减小而导致的图像扰动也能减小。在这种情况下， 一般就停止进行插 值处理，以防止由于插值处理而导致不必要的图像扰动的发生。
然而，根据该变型，由于能够连续地进行插值处理，同时4吏观看者识 别不出图像扰动，所以，即4吏产生了运动或场景的快速变化，也能实现相 对平滑的图像。此外，能够抑制插值处理的快速变化，并能进一步有效地 减小观看者的不适感。
[关于图《象处理方法
这里将参考
图10来说明根据本实施例第二变型的图像处理方法的处 理^ME。图10是示出根据该变型的图像处理方法的处理^^的图。然而， 假设在第一阶段摄^^图像的时间序列图像信号被输入到显示设备200。 另外，在相应的时刻，假设运动量没有超出阈值(S250 )。
首先，如果时间序列图像信号流被输入到显示设备200，则图像的类 型由图4象类型确定单元102来确定。当图像类型确定单元102检测到^W象 机图像时，作为表明是摄^^图像的确定结果，摄^^图^^r测信号被输 入到算术处理块B22 (S252)。
36此时，由于时间序列图像信号为摄^^图像，其图像类型没有变化，
算术处理块B22可以不向图像处理块B21输入与插值方法有关的信息。 同样，在摄^^图像的时间序列图像信号被连续地输入的一段时间(摄像 机图<|*测间隔)期间，由图像处理块B21使用的插值方法不变。
在任何时刻，当图像类型确定单元102检测到胶片图像时(胶片图像 检测间隔)，作为表明^J^片图像的确定结果，胶片图#^测信号被输入 到算术处理块B22 (S254)。如果输入了胶片图像检测信号，则由算术处 理块B22确定所述确定结果的可靠性。在可靠性确定处理期间(可靠性 确定间隔)，多个胶片图像检测信号被输入到算术处理块B22 (S256)。
如果使用胶片图像检测信号确认了图像类型确定结果的可靠性，则由 算术处理块B22设置相对时间，并且将相对时间信息R发送到图像处理 块B21 (S258).
无论何时胶片图像检测信号被从图像类型确定单元102连续地输入， 并^L送到图像处理块B21( S260和S264 )，都产生相对时间信息Fn( n=l 到N) ( S260和S264 )。此时，由相对时间信息Fn (n=l到N)指示的相 对时间基于上述等式(1)到(4)来设置。
然而，在任何时刻，如果由iUL检测单元214输入了运动量的逸变超 出量(超出1) ( S266 )，则算术处理块B22就基于上述等式(14)到(17) 设置相对时间，并将相对时间信息Fd发送到图像处理块B21 (S268)。
然后，根据>^^1>1检测单元214顺序输入的速度超出量(超出2.....和
超出n) ( S270和S274 )，连续地发^目对时间信息FC2.....和FCn (S272
和S276 )。
此夕卜，在任何时刻，如果>^^1>1检测单元214输入了表明运动量没有 超出预定阈值的信息(S278),则算术处理块B22就基于上述等式(9) 到(12)设置相对时间，并将相对时间信息Fm发送到图像处理块B21 (S280)'
然后，基于上述等式(9 )到(12 )连续地发ilU目对时间信息FDn( 2Sn$N) (S282)。此外，在上述处理期间，不管运动量的超出/未超出，从图像类 型确定单元102输入胶片图^^r测信号(S284 )。
此外，在任何时刻，当由图像类型确定单元102再次检测到摄像机图像时，作为表明是摄像K图像的确定结果，摄^^图像检测信号被输入到
算术处理块B22 ( S286 )。如果输入了摄^J机图像检测信号，则由算术处 理块B22确定所述确定结果的可靠性。
在可靠性确定处理期间(可靠性确定间隔)，多个摄^^L图像检测信 号被输入到算术处理块B22 (S288)。如果使用摄^^图像检测信号确认 了图〗象类型确定结果的可靠性，则相对时间由算术处理块B22进fr没置， 并JU目对时间信息C ^JC送到图像处理块B21 ( S290 )。
已经说明了根据本变型的图像处理方法的处理流程。根据本变型的图 像处理方法，根据由图像类型确定单元102检测到的图^象类型，由算术处 理块B22来产生相对时间信息。当运动量超过了预定阈值或落到预定阈 值以下时，基于速度超出量来设置相对时间信息。
另外，基于由算术处理块B22设置的相对时间由图像处理块B21进 行插值处理。于是，即4吏产生了运动或场景的快速变化，也可以实现相对 平滑的图像。此外，能够抑制插值处理的快速变化，并能进一步有效地减 小观看者的不适感。
[详细的硬件结构例子
可以通过使用图11所示的一部分或全部硬件结构来实现所述i殳备具 有的图像信号处理功能。图ll是具体示出硬件结构例子的图，该硬件结 构用来实现所述设备的图像信号处理单元所具有的功能。
如图11所示，显示i殳备100和200的每一个包括显示面板24和支座 (body stand )50。例如使用液晶显示面板或有机EL板作为显示面板24。 有机EL板通过使用自发射型发光元件(有机EL元件)来构造，并且不 需要诸如背光的设备。因此，与需要诸如背光的设备的液晶显示面;M目比， 使用有机EL板的显示设备能够做得小而轻。在实际中，有机EL板的厚 度可以被压缩到大约3 mm或更小。由于基于上述特性能够增加布置的自 由度，所以可以预期有机EL板将越来越多地用做显示面板24。
显示设备100和200的每一个的图像处理单元被设置在显示面板24 所处的支座50内部，或在显示面板24的背面上。在支座50中，例如， 合并有各种端口 ，诸如卫星广播(BS和CS)和数字地面广播调谐器、局 域网(LAN)、高清晰多媒体界面(HDMI)以及通用串行总线(USB)的端口。此外，支座50具有接收数字地面广播的接收天线(未示出)，诸 如棒状天线或片状天线。此外，在支座50中有用于音频输出的扬声器盒 和用于用户操作的操作掩組。
在这种情况下，将说明支座50中设置的图像处理单元的结构。如图 ll所示，支座50包括接收电路52和56、多i^T出选择器54和60、解 扰电路58、音频信号处理单元62、数据信号处理单元64、图像信号处理 单元66、 OSD (屏^L控系统，On Screen Display)电路68、合成电路 70以及微型计算机72。
在本例中，支座50设置有两个接收电路系统52和56、以及与接收 电路相对应的两个多3^出选择器54和60。接收电路52是接收通过任 意频道分发的附加信息信号的电路。同时，接收电路56是接收通过对应 频道发布的节目广播信号的电路。当图像处理单元通电时，该图像处理单 元通过接收电路52接收附加信息信号。此外，图像处理单元通过接收电 路56接收节目广播信号。
微型计算机72对支座50中合并的图像处理单元的各个构成元件进行 控制。微型计算机72包括中央处理单元(CPU) 722、只读存储器(ROM) 724、随;M取存储器(RAM) 726、电可擦除可编程ROM (EEPROM) 728、动态RAM (DRAM) 730以及总线732。 CPU 722、 ROM 724、 RAM 726、 EEPROM 728以及DRAM 730通过总线732彼此连接。
在这种情况下，基于微型计算机72的功能，将简短地说明由图像处 理单元所进行的一系列处理。微型计算机72具有在EEPROM 728中存储 在刚要断电之前接收到的广播信息(诸如节目广播信号的频道频率或节目 ID)的功能。另外，当再次通电时，微型计算机72能够从EEPROM728 中读出在刚要断电之前所接收到的节目广旨号的广#^息，并输出频道 选择控制信号以重新选择频道。
频ili^择控制信号被输入到通过总线732连接的接收电路56，然后 由接收电路56进行处理。然后，频道选择控制信号由解扰电路58进行处 理并被输入到多路输出选择器60。首先将说明该处理流程。组成接收电 路56的调谐器562以从微型计算机72输入的频道选择控制信号所指示的 频道频率来接收节目广播信号。另外，由调谐器562接收到的节目广旨 号被输入到解调单元564。解调单元564对通过预定的调制方案进行了调制的节目广M号进行解调，并产生流信号。
另外，由解调单元564产生的流信号被输入到纠错单元566。纠错单 元566对输入的流信号进行纠错处理，并将所述流信号输入到解扰电路 58。此时，纠错单元566对利用使用Reed-Solomon码的编码方案进行了 编码的流信号进行纠错处理。基于从微型计算机72获得的信息，解扰电 路58在纠错之后对流信号上进行的扰码(scramble)进行解除，并再现 节目广播信号。由解扰电路58解除了扰码的节目广播信号被输入到多路 输出选择器60。
接下来，将说明直到从输入到多路输出选择器60的节目广播信号输 出图像或音频信号的处理流程。多,出选择器60基于通过总线732从 微型计算机72输入的选择控制信号，从节目广播信号抽取广播节目数据。 另外，多膝渝出选择器60才艮据所抽取的广播节目数据的类型将广播节目 数据输入到音频信号处理单元62、数据信号处理单元64或图像信号处理 单元66中。在音频信号处理单元62中，从输入的广播节目数据产生音频 信号。在数据信号处理单元64中，从输入的广播节目数据产生图像信号 以显示字符或图像。在图像信号处理单元66中，从输入的广播节目数据 产生图像信号以显示图像。
由音频信号处理单元62所产生的音频信号被输出到音频输出终端 (未示出)。由数据信号处理单元64产生的图像信号被输入到合成电路 70。相似地，由图像信号处理单元66产生的图像信号被输入到合成电路 70。此外，合成电路70也接收由OSD电路68产生的图像信号。OSD电 路68产生用来显示电子节目指南表或各种指南消息的图4象信号。如果输 入了这些图像信号，则合成电路70就将从数据信号处理单元64、图像信 号处理单元66以及OSD电路68输入的图像信号进行合成，并将合成的 图像信号输出到图^^T出终端(未示出)。
接下来，将简要说明直到附加信息由接收电路52接收并被输入到多 5 出选择器54的处理流程。微型计算机72基于被复用为频道选,道 信号的附加信息信号来指定频道频率，并将指示频道频率的频道选#^控制 信号输入到接收电路52。接收电路52中包括的调谐器522基于从微型计 算机72输入的频道选择控制信号接收附加信息信号。由调谐器522接收 的附加信息信号被输入到解调单元524。解调单元524对从调谐器522输 入的附加信息信号进行解调，并将解调了的附加信息信号输入到纠错单元526。纠错单元526对从解调单元524输入的附加信息信号进行纠错处理。 另外，由纠错单元526进行了纠错的附加信息信号被输入到多膝输出选择 器54。
多 出选择器54在微型计算机72的控制下从纠错后的附加信息信 号提取诸如电子节目指南的附加信息。抽取的附加信息被输入到微型计算 机72。微型计算机72将由多路输出选择器54抽取的附加信息临时存储 在DRAM 730中。微型计算机72通过总线732控制OSD电路68，从而 基于附加信息输出诸如电子节目指南的OSD信号。
使用具体例子说明了实现图像处理单元的功能结构的硬件结构。作为 能够运用根据本实施例的技术的例子说明了该结构，但本实施例不限于上 述例子。
本领域中的技术人员应该理解，根据设计和其它因素，可以进行各种 变型、组合、子组合和改变，只要它们在所附权利要求书或其等同物的范 围内即可。
例如，在根据实施例的说明中，作为相对时间的计算表达式，已经举 例说明了在摄^^图像和胶片图像之间进行了切换或者运动量超出了预 定阈值的情况。然而，基于下面的条件差异，可以改变系数或表达式。例 如，在检测到图像质量模式(亮度、对比度和锐度)之间的切换或者检测 到电影制式间的差异(2-2电影/3-2电影)的情况下，才艮据相应的情形可 以改变相对时间的计算表达式。
此外，在运动量超出阈值并且插值图像接近原始图像的情况下以;Mt
运动量落在阈值之下并且插值图像按等间隔排列的情况下，可以使用不同 的计算表达式。此外，作为与摄^N^图像的相对时间有关的计算表达式和 与胶片图像的相对时间有关的计算表达式，可以使用不同的计算表达式。 另外，相对于由iUL检测单元214的iUL^出检测因素(部分速度超出、 场景变化、平转以及镜头推拉)之间的不同，可以使用不同的计算表达式。
除了上面的例子外，还可以在两个原始图像0&和OP2之间所产生 的多个插值图像CFFk (k=l到4 )中的每个插值图像中使用不同的计算表 达式(函数形式)。当然，无需说，根据目标时间分辨率或目标时间产生 的插值图像的数目是不同的。同样，能够进行各种变型。
4权利要求
1.一种图像处理装置，其基于连续输入的时间序列图像信号之间的运动矢量产生插值图像信号，且提高时间分辨率，所述图像处理装置包括特征变化检测单元，检测所述时间序列图像信号之间的预定特征变化；产生时间设置单元，设置所述插值图像信号的产生时间；以及插值图像信号产生单元，在由所述产生时间设置单元设置的产生时间处产生所述插值图像信号，其中，当所述产生时间设置单元在已由所述特征变化检测单元检测出所述时间序列图像信号的特征变化之后设置所述产生时间时，所述产生时间设置单元设置所述产生时间，以接近时间被安排在所述产生时间之前和之后的时间序列图像信号中的任何一个时间序列图像信号的接近时间。
2. 根据权利要求l所述的图像处理装置，其中，所述产生时间设置 单元设置所述产生时间，使得当特征变化已由所述特征变化检测单元检测 出的时间序列图像信号与时间被安排在所述产生时间之前的时间序列图 像信号之间的时间差增加时，所述产生时间的接近程度减小。
3. 根据权利要求2所述的图像处理装置，其中，所述特征变化检测 单元检测所述时间序列图像信号之间的时间分辨率之差，作为所述预定特 征变化。
4. 根据权利要求2所述的图像处理装置，其中，所述特征变化检测 单元检测所述时间序列图像信号之间的运动量是否超出预定值，作为所述 预定特征变化。
5. 根据权利要求4所述的图像处理装置，其中，所述产生时间设置 单元设置所述产生时间，使得当所述时间序列图像信号之间的运动量增加 时，所述产生时间的接近程度增加。
6. 根据权利要求2所述的图像处理装置，其中，所述特征变化检测 单元检测所述时间序列图像信号之间的图像场景切换，作为所述预定特征 变化。
7. —种图像处理方法，其基于连续输入的时间序列图像信号之间的 运动矢量产生插值图像信号，且提高时间分辨率，所述图像处理方法包括 步骤检测所述时间序列图像信号之间的预定特征变化； 设置所述插值图像信号的产生时间；以及在所述产生时间设置步骤中设置的产生时间处产生所述插值图像信号，其中，在所述产生时间设置步骤中，当在所述特征变化检测步骤中检 测出所述时间序列图像信号的特征变化之后设置所述产生时间时，设置所 述产生时间，以接近时间被安排在所述产生时间之前和之后的时间序列图 像信号中的任何一个时间序列图像信号的接近时间。
全文摘要
本发明提供一种图像处理装置和图像处理方法。该图像处理装置基于连续输入的时间序列图像信号之间的运动矢量产生插值图像信号，且提高时间分辨率，图像处理装置包括特征变化检测单元，检测时间序列图像信号之间的预定特征变化；产生时间设置单元，设置插值图像信号的产生时间；以及插值图像信号产生单元，在由产生时间设置单元设置的产生时间处产生插值图像信号。另外，当产生时间设置单元在已由特征变化检测单元检测出时间序列图像信号的特征变化之后设置产生时间时，产生时间设置单元设置产生时间，以接近时间被安排在产生时间之前和之后的时间序列图像信号中的任何一个时间序列图像信号的接近时间。
文档编号H04N7/01GK101516014SQ200910006549
公开日2009年8月26日 申请日期2009年2月17日 优先权日2008年2月18日
发明者小林贤吉, 漆原稔, 竹内宏, 薄木雅人 申请人:索尼株式会社
技术领域：
、B4=l/24 [秒
如上所述，相对时间设置单元110可以使用经过时间的线性函数来设 置相对时间。然而，本实施例不限于此.例如，可以卩吏用二次函数或更高 次函数或指数函数等高维函数来设置相对时间。或者，可以使用任意设定 的函数来设置相对时间。
也可以考虑将Ak*t (k=l到4)推广为任意函数f"t)的方法。其中， 所述函数的定义要满足条件《(Xf"t)Sf2(t); &(0)=&(0)=0; &(60)=1/120秒， 6(60)=2/120[秒}，以及《f3(t)^f4(t)《[秒；f3(0)=f4(0)=0[#'；f3(60)= - 2/120 [秒，f4(60)=-1/120 [秒}。同样，函数类型可以是任意的。然而，设置函数类型使得当满足经过
时间t=0时所有的相对时间都与原始图像的时间匹配，而当经过时间t达 到预定的帧周期(t=60)时，所有的相对时间都与目标时间相匹配。在上 面的说明中，函数的类型表示为"函数"。同样，相对时间设置单元110可 以被配置来基于预定函数类型针对经过时间的输入来操作并输出相对时 间。然而，可以配置相对时间设置单元110,使得保持与所述"函数，，相对 应的表，并参考该表来设置预定的相对时间。
已经说明了根据本实施例的显示设备100的功能结构。如上所述，根 据本实施例的显示设备100可以在容易产生抖动的图像类型切换部分之 后设置产生插值图像的相对时间以接近原始图像的时间。此夕卜，显示设备 100可以使用图像类型发生了变化处的原始图像的时间作为起点来设置 相对时间，使得所i^目对时间根据经过时间的大小逐渐接近目标时间。
因此，即使图像类型切换时刻产生了抖动，由于在插值处理之后相应 图像逐渐地变为平滑图《象，因此观看者难以识别出插值处理的切换部分。 于是，观看者难以识别出类型彼此不同的图像之间的时间变化点，这样就 可以实现能够最大程度地使每个图像平滑的显示。 A2= - 2/(120*60)[秒
A3= 2/(120*60)[秒] A4= 1/(120*60)[秒
B产(经过时间1=0处的相对时间(Tn+ATfO)[秒
B产(经过时间1=0处的相对时间(Tc+ATf2))[秒] Bf(经过时间1=0处的相对时间(T(3+ATo))[秒
B^(经过时间1=0处的相对时间(Tf4+ATf4))[秒l
如上所述，相对时间i殳置单元210能够^^用经过时间1的线性函数来 设置相对时间。然而，本实施例不限于此。例如，可以使用二次函数或更 高次函数或指数函数等高维函数来设置相对时间。可选择地，可以使用任 意设定的函数来设置相对时间。类似于上述等式(1)到(4)的情形，也 考虑将Ak*t ( k-l到4 )推广为任意函数f，"t)的方法。
(第二个具体例子iUL超出—i!JL未超出)
接下来考虑这样的情形，其中，相对时间用速度超出状态变为iiJL未 超出状态之后的经过时间2的线性函数来表示。作为与图4相对应的具体 例子，假设在两个原始图像OP!和OP2之间产生4个插值图像CFF1 、 CFF2 、CF^和CFw，并且各个插值图像按等间隔设置，插值处理变为平滑插值 处理。另外，假设图7所示的例子为运动量变化的例子。然而，假i殳插值 图4象CFFk (k=l到4 )的目标时间为Tfl^k/120秒。
此外，假设原始图像OPi是这样的时间序列图像信号的图像其时 间为紧临速度超出状态变为速度未超出状态之后(经过时间2=0 )从时间 序列图像信号的时间过去了预定时间t (帧单位)后的时间，并且原始图 像OR的时间为相对时间的基准(0秒)。在这种情况下，例如，相对于 从原始图像0^算起的经过时间t (帧单位)来设置插值图像CF^ (k=l 到4)的相对时间(T汰+ATflJ，如下面的等式(9)到(12)所表示的。
在下面的等式(9 )到(12 )中，将Bk (k=l到4)定义为经过时间 2=0处的相对时间值(Tfk+ATfk)的原因是可以假设相对时间是根据图 像类型的切换而设置的。在这种情况下，代替按等间隔设置的插值图像 CFFk (k=l到4)的时间Tfk，经过时间2=0处每个插值图像的相对时间 (Tffc+ATfk)变为设置基准。即使在另一个相对时间设置处理期间，也通 过上述设置来维持相对时间信息的连续性。
如果对下面的等式(9)和(10)相互进行比较，则设置比插值图像 CFF2更靠近原始图像OR的插值图像CFF1的相对时间，使得相对于经过 时间t的斜率&较小。斜率&和A 2的每一个指示这样的距离变化量 随着经过时间t的过去插值图像CF^和CF^按该距离变化量远离原始图 像OPla就是说，下面的等式(9)和(10)示出这样的设置相对时间的 设置方法，使得插值图像CFF2随着时间的过去变得远离原始图像OR 。
同样，如果对下面的等式(11)和(12)相互进行比较，则设置比插 值图像CFF3更靠近原始图像OP2的插值图像CFF4的相对时间，使得相对
于经过时间t的斜率A4较小。斜率A3和A4的每一个指示这样的距离变
化量随着经过时间t的过去，插值图像CFM和CF^按该距离变化量变 得远离原始图像OP2。就是说，下面的等式(11)和(12)示出这样的设 置相对时间的设置方法，使得插值图像CFp3随着时间过去进一步远离原
始图像OP2。
相对时间(Tf!+ATfx^ A^t+Bi (9 )
相对时间(Tn+ATn" A2*t+B2 (10 )相对时间(Tfi+ATfi)= A3*t+B: 相对时间(Tf4+ATf4)= A4*t+B, A产1/(120*60)[秒
A2= 2/(120*60)[秒
说明书第28/38页
(11)
(12)
A3= - 2/(120*60)[秒
A4= -1/(120*60)[秒
B产(经过时间2=0处的相对时间(Tfx+ATf！))[秒
B尸(经过时间2=0处的相对时间(Tf2+ATfi))[秒
Bf(经过时间2=0处的相对时间(To+ATj3))[秒
B^(经过时间2=0处的相对时间(1>4+^1>4))[秒
如上所述，相对时间设置单元210能够使用经过时间2的线性函数来 设置相对时间。然而，本实施例不限于此。例如，可以使用二次函数或更 高次函数或指数函数等高维函数来设置相对时间。可选择地，可以使用任 意设定的函数来设置相对时间。类似于上述等式(1)到(4)的情形，也 可以考虑将Ak*t (k=l到4)推广为任意函数f，，k(t)的方法。
已经说明了根据本实施例的显示设备200的功能结构。如上所述，根 据本实施例的显示设备200能够相对于时间序列图像信号的运动量超过 预定阈值的那部分之后的部分来设置产生插值图像的相对时间，以逐渐地 接i^f、始图像的时间。同样，显示设备200能够这样来设置相对时间使 得从时间序列图像信号的运动量超过预定阈值的状态变为运动量不超过 预定阈值的状态的部分变得逐渐远离原始图像。
此时，显示设备200能够这样来设置相对时间，使得该相对时间随着
间。因而，产生了抖动的图像与在速度超出/未超出切换的时刻进行插值 处理之后的平滑图像之间的快速变化就得以緩解，并且观看者难以识别出 插值处理的切换部分。于是，观看者难以识别出类型彼此不同的图像之间 的变化点。于是，可以实现能够最大程度地使每个图像平滑的显示。
31[关于图^^处理方法
下面将参考图8说明根据本实施例的图像处理方法的处理流程。图8 是示出根据本实施例的图像处理方法的处理流程的图。然而，假设在第一
阶段中摄^N^图像的时间序列图像信号被输入到显示设备200中。
首先，如果时间序列图像信号流被输入到显示设备200中，则图^象的 类型由图像类型确定单元102来确定。当图《象类型确定单元102检测到摄 ^^L图像时，作为表明是摄^^图像的确定结果，摄^^L图^M^测信号就 被输入到算术处理块B22 (S202)中。此时，时间序列图像信号的图像类 型为摄像机图像，其图像类型不变化，算术处理块B22可以不向图像处 理块B21输入与插值方法有关的信息。同样，在摄像机图像的时间序列 图像信号被连续地输入的一段时间(摄#^图#^测时段)期间，由图像 处理块B21使用的插值方法不变。
在任何时刻，当由图像类型确定单元102检测到胶片图像时(胶片图 寸l^r测间隔)，作为表明AJI^片图像的确定结果，胶片图^M^测信号被输 入到算术处理块B22中(S204)。如果输入了胶片图像检测信号，则由算 术处理块B22确定所述确定结果的可靠性。在可靠性确定处理期间(可 靠性确定间隔)，多个胶片图像检测信号被输入到算术处理块B22中
(S206 )。这些胶片图《IM^测信号是在时间序列图像信号的帧周期单位内
(1/60秒)被输入的。
如果使用胶片图^M^r测信号确认了图像类型确定结果的可靠性，则由 算术处理块B22设置相对时间，并且将相对时间信息R发送到图像处理 块B21中(S208 )。
无iW时胶片图^^r测信号被从图像类型确定单元102连续地输入， 并被发送到图像处理块B21中(S210和S214 )，都产生相对时间信息(Fn (n=l到N))。此时，由相对时间信息(Fn (n=l到N))指示的相对时 间基于上述等式(1)到(4)来设置。
然而，在任何时刻，如果由速度检测单元214输入了表明运动量已经 超过预定阈值的运动量超出信号(S212 )，则算术处理块B22就基于上述 等式(5)到(8)设置相对时间，并将相对时间信息F^发送到图像处理 块B21中(S216)。然后，基于上述等式(5)到(8)连续地发送相对时 间信息FAn (2SnSN) ( S218 )。另夕卜，在任何时刻，如果由i!JL检测单元214输入了表明运动量已经 低于预定阈值的运动量超出解除信号(S220)，则算术处理块B22就基于 上述等式(9)到(12)设置相对时间，并将相对时间信息F^发送到图 像处理块B21中(S222)。然后，基于上述等式(9)到(12)连续地发 i^目对时间信息FBn (2￡nSN) (S224)。此外，在上述处理期间，不管运 动量的超出/未超出，从图像类型确定单元102输入胶片图<|^测信号 (S226 )。
此夕卜，在任何时刻，当由图像类型确定单元102再次检测到摄像机图 像时，作为表明是摄^4^图像的确定结果，摄^^图^^r测信号被输入到 算术处理块B22 (S228 )。如果输入了摄^^图像检测信号，则由算术处 理块B22确定所述确定结果的可靠性。
在可靠性确定处理期间(可靠性确定间隔)，多个才聂<|*图像检测信 号被输入到算术处理块B22 (S230)。如果使用摄^J机图像检测信号确认 了图4象类型确定结果的可靠性，则相对时间就由算术处理块B22 i殳置， 并J^目对时间信息C被发送到图像处理块B21 ( S232 )。
然而，当胶片图像变为摄^^图像时所发送的相对时间信息C是适 合于摄^4^图像的目标时间的信息。类似于根据第一实施例的图像处理方 法，在时间序列图像信号流为摄^^图像类型这种状态中，发送该目标时 间信息的原因是，防止连续进行适合于胶片图像的插值处理而在图像之间 产生不自然的运动。
就是说，与根据上述第一实施例的图像处理方法相同，可以在胶片图 像变为摄^4^图像之后，立即将插值方法切换为适合于摄^^图像的插值 方法。如果发送了摄^J机图像的相对时间信息C,则在摄#^图像检测间 隔期间，图像处理块B21使用适合于摄^^图像的插值方法对时间序列 图4象信号流ii行图4象处理，并输出处理结果。
已经说明了根据本实施例的图像处理方法的处理流程。如上所述，根 据本实施例的图像处理方法，由算术处理块B22根据由图像类型确定单 元102所检测到的图像类型产生相对时间信息。当运动量超过预定阈值或 落在预定阈值之下时，由算术处理块B22设置相对时间信息。另外，由 图像处理块B21基于由算术处理块B22所设置的相对时间来进行插值处 理。
33此时，在算术处理块B22中，设置相对时间，使得具有根据图像类 型的切换而产生的抖动的图像逐渐地变为平滑图像。此外，设置相对时间， 使得进行从平滑图像到根据运动量的变化而产生抖动的图像的逐渐变化。 于是，可以緩解由于插值处理的快速变化而使观看者感到的不适。
<第一变型>
接下来，将说明第二实施例的第一变型。该变型涉及在输入的摄^^ 图像中检测到运动或场景的快速变化时的插值处理方法。在所述图像处理 方法中，当在输M片图像的同时产生了运动量的超出(或超出解除)时， 适当地调整相对时间。然而，该方法能够运用于摄^^图像。
例如，根据从由i!JL检测单元214检测出大于等于预定阈值的运动量 的时刻算起的或者从所^i^超出被解除的时刻算起的经过时间t (帧单 位)，如下面的等式(13)所表示的，设置插值图像CFd的相对时间TC1 (参考图3)。然而，才艮据目标时间分辨率(例如，1/120秒)控制相对时 间TC1以满足条件0^rcl$l/120秒。
Tc产A,Bi (13)
情形l:检测到it^超出
A产-1/(120*60)[秒]
B尸(经过时间1=0处的Td)[秒] 情形2:解除了M超出
A产l/(120央60)[秒
B尸(经过时间1=0处的Td)[秒
如上所述，能够使用经过时间t的线性函数来设置相对时间Td。然 而，本实施例不限于此。例如，可以使用二次函数或更高次函数或指数函 数等高维函数来设置相对时间。可选择地，可以使用任意设定的函数来设 置相对时间。已经说明了本实施例的第一变型。如在所述第一变型中所说 明的，根据本实施例的插值处理方法能够运用于摄像K图像。
<第二变型>接下来，将参考图9说明本实施例的第二变型。该变型涉及显示设备 200中包括的速度检测单元214和相对时间设置单元210的功能。当运动 量超出预定阈值时，根据超出量来调整相对时间的设置值。
在上面已经说明了的显示设备200的结构中，假设在产生了速度超出 时临时停止插值处理。然而，本变型涉及一种技术，其中，即使在产生了 速度超出时，插值处理也不停止，并且通过调整相对时间来减少图像的扰 动。这种技术用来实现下列效果。在靠近原始图像的时间产生插值图像， 因此能够减小不正确的运动信息所导致的不利影响。于是，可以抑制图像 的扰动。
(关于速度检测单元2"的功能)
首先，将说明根据本变型的速度检测单元214的功能。为了实现上述 功能，当运动量超出预定阈值时，速度检测单元214向相对时间设置单元 210输入在经过时间的一个控制周期(例如， 一个帧单位)期间速度超出 量V的变化。此外，速度检测单元214可以将iiA确定结果输入到相对 时间设置单元210。然而，速度检测单元214可以只输入itJL超出量V。
(关于相对时间设置单元210的功能)
相对时间设置单元210根据vyJt度检测单元214输入的iUL超出量V 来设置相对时间，使得插值图像接近原始图像。例如，相对时间设置单元 210根据il^L超出之后经过时间为t处的速度超出量V来设置相对时间的 变化ATfk(k-l到4)(对应着图4中的情形)，如下面的等式(14)到(17) 所表示的。然而，V(t)指示在经过时间t处的速JL^出量。
ATn=A，(t) - V(t-l))十Bi(14)
瑪=A2*(V(t) - V(t -1))+B2(15)
AT0=A3*(V(t) - V(t-1))+B3(16)
ATf4=A4*(V(t) - V(t -1))+B4(17)
A产一1/(120*30)[秒、B产一1/(120*60)[秒
A2=—2/(120*30)[秒、B2=—1/(120*60)秒入3=2/(120*30)[秒、B3= - 1/(120*60)[秒
入4=1/(120*30)[秒、B4= - 1/(120*60)[秒
然而，当速度超出量之间的差(V(t)-V(t-l))超过30时，设置相对时间， 使得插值图像在一个控制周期内与原始图像匹配。
同样，可以通过使用经过时间t处的运动量V的变化的线性函数来设 置相对时间的变化ATfk (k=l到4)。然而，本实施例不限于此。例如， 可以使用二次函数或更高次函数或指数函数等高维函数来设置相对时间。
此外，当运动量V相对于经过时间t的过去变为常数时，变化与上述 等式(5)到(8)所表示的变化相同。同时，当速度超出,除并且不从 速度检测单元214输AJl度超出量时，相对时间设置单元210根据使用速 度超出被解除的时刻作为基点的经过时间t、基于上述等式(9)到(12) 来设置相对时间。
已经说明了本实施例的第二变型。如果运用才艮据第二变型的技术，则 即使当时间序列图像信号之间的运动量超出预定阈值时，因运动检测准确 度的减小而导致的图像扰动也能减小。在这种情况下， 一般就停止进行插 值处理，以防止由于插值处理而导致不必要的图像扰动的发生。
然而，根据该变型，由于能够连续地进行插值处理，同时4吏观看者识 别不出图像扰动，所以，即4吏产生了运动或场景的快速变化，也能实现相 对平滑的图像。此外，能够抑制插值处理的快速变化，并能进一步有效地 减小观看者的不适感。
[关于图《象处理方法
这里将参考
图10来说明根据本实施例第二变型的图像处理方法的处 理^ME。图10是示出根据该变型的图像处理方法的处理^^的图。然而， 假设在第一阶段摄^^图像的时间序列图像信号被输入到显示设备200。 另外，在相应的时刻，假设运动量没有超出阈值(S250 )。
首先，如果时间序列图像信号流被输入到显示设备200，则图像的类 型由图4象类型确定单元102来确定。当图像类型确定单元102检测到^W象 机图像时，作为表明是摄^^图像的确定结果，摄^^图^^r测信号被输 入到算术处理块B22 (S252)。
36此时，由于时间序列图像信号为摄^^图像，其图像类型没有变化，
算术处理块B22可以不向图像处理块B21输入与插值方法有关的信息。 同样，在摄^^图像的时间序列图像信号被连续地输入的一段时间(摄像 机图<|*测间隔)期间，由图像处理块B21使用的插值方法不变。
在任何时刻，当图像类型确定单元102检测到胶片图像时(胶片图像 检测间隔)，作为表明^J^片图像的确定结果，胶片图#^测信号被输入 到算术处理块B22 (S254)。如果输入了胶片图像检测信号，则由算术处 理块B22确定所述确定结果的可靠性。在可靠性确定处理期间(可靠性 确定间隔)，多个胶片图像检测信号被输入到算术处理块B22 (S256)。
如果使用胶片图像检测信号确认了图像类型确定结果的可靠性，则由 算术处理块B22设置相对时间，并且将相对时间信息R发送到图像处理 块B21 (S258).
无论何时胶片图像检测信号被从图像类型确定单元102连续地输入， 并^L送到图像处理块B21( S260和S264 )，都产生相对时间信息Fn( n=l 到N) ( S260和S264 )。此时，由相对时间信息Fn (n=l到N)指示的相 对时间基于上述等式(1)到(4)来设置。
然而，在任何时刻，如果由iUL检测单元214输入了运动量的逸变超 出量(超出1) ( S266 )，则算术处理块B22就基于上述等式(14)到(17) 设置相对时间，并将相对时间信息Fd发送到图像处理块B21 (S268)。
然后，根据>^^1>1检测单元214顺序输入的速度超出量(超出2.....和
超出n) ( S270和S274 )，连续地发^目对时间信息FC2.....和FCn (S272
和S276 )。
此夕卜，在任何时刻，如果>^^1>1检测单元214输入了表明运动量没有 超出预定阈值的信息(S278),则算术处理块B22就基于上述等式(9) 到(12)设置相对时间，并将相对时间信息Fm发送到图像处理块B21 (S280)'
然后，基于上述等式(9 )到(12 )连续地发ilU目对时间信息FDn( 2Sn$N) (S282)。此外，在上述处理期间，不管运动量的超出/未超出，从图像类 型确定单元102输入胶片图^^r测信号(S284 )。
此外，在任何时刻，当由图像类型确定单元102再次检测到摄像机图像时，作为表明是摄像K图像的确定结果，摄^^图像检测信号被输入到
算术处理块B22 ( S286 )。如果输入了摄^J机图像检测信号，则由算术处 理块B22确定所述确定结果的可靠性。
在可靠性确定处理期间(可靠性确定间隔)，多个摄^^L图像检测信 号被输入到算术处理块B22 (S288)。如果使用摄^^图像检测信号确认 了图〗象类型确定结果的可靠性，则相对时间由算术处理块B22进fr没置， 并JU目对时间信息C ^JC送到图像处理块B21 ( S290 )。
已经说明了根据本变型的图像处理方法的处理流程。根据本变型的图 像处理方法，根据由图像类型确定单元102检测到的图^象类型，由算术处 理块B22来产生相对时间信息。当运动量超过了预定阈值或落到预定阈 值以下时，基于速度超出量来设置相对时间信息。
另外，基于由算术处理块B22设置的相对时间由图像处理块B21进 行插值处理。于是，即4吏产生了运动或场景的快速变化，也可以实现相对 平滑的图像。此外，能够抑制插值处理的快速变化，并能进一步有效地减 小观看者的不适感。
[详细的硬件结构例子
可以通过使用图11所示的一部分或全部硬件结构来实现所述i殳备具 有的图像信号处理功能。图ll是具体示出硬件结构例子的图，该硬件结 构用来实现所述设备的图像信号处理单元所具有的功能。
如图11所示，显示i殳备100和200的每一个包括显示面板24和支座 (body stand )50。例如使用液晶显示面板或有机EL板作为显示面板24。 有机EL板通过使用自发射型发光元件(有机EL元件)来构造，并且不 需要诸如背光的设备。因此，与需要诸如背光的设备的液晶显示面;M目比， 使用有机EL板的显示设备能够做得小而轻。在实际中，有机EL板的厚 度可以被压缩到大约3 mm或更小。由于基于上述特性能够增加布置的自 由度，所以可以预期有机EL板将越来越多地用做显示面板24。
显示设备100和200的每一个的图像处理单元被设置在显示面板24 所处的支座50内部，或在显示面板24的背面上。在支座50中，例如， 合并有各种端口 ，诸如卫星广播(BS和CS)和数字地面广播调谐器、局 域网(LAN)、高清晰多媒体界面(HDMI)以及通用串行总线(USB)的端口。此外，支座50具有接收数字地面广播的接收天线(未示出)，诸 如棒状天线或片状天线。此外，在支座50中有用于音频输出的扬声器盒 和用于用户操作的操作掩組。
在这种情况下，将说明支座50中设置的图像处理单元的结构。如图 ll所示，支座50包括接收电路52和56、多i^T出选择器54和60、解 扰电路58、音频信号处理单元62、数据信号处理单元64、图像信号处理 单元66、 OSD (屏^L控系统，On Screen Display)电路68、合成电路 70以及微型计算机72。
在本例中，支座50设置有两个接收电路系统52和56、以及与接收 电路相对应的两个多3^出选择器54和60。接收电路52是接收通过任 意频道分发的附加信息信号的电路。同时，接收电路56是接收通过对应 频道发布的节目广播信号的电路。当图像处理单元通电时，该图像处理单 元通过接收电路52接收附加信息信号。此外，图像处理单元通过接收电 路56接收节目广播信号。
微型计算机72对支座50中合并的图像处理单元的各个构成元件进行 控制。微型计算机72包括中央处理单元(CPU) 722、只读存储器(ROM) 724、随;M取存储器(RAM) 726、电可擦除可编程ROM (EEPROM) 728、动态RAM (DRAM) 730以及总线732。 CPU 722、 ROM 724、 RAM 726、 EEPROM 728以及DRAM 730通过总线732彼此连接。
在这种情况下，基于微型计算机72的功能，将简短地说明由图像处 理单元所进行的一系列处理。微型计算机72具有在EEPROM 728中存储 在刚要断电之前接收到的广播信息(诸如节目广播信号的频道频率或节目 ID)的功能。另外，当再次通电时，微型计算机72能够从EEPROM728 中读出在刚要断电之前所接收到的节目广旨号的广#^息，并输出频道 选择控制信号以重新选择频道。
频ili^择控制信号被输入到通过总线732连接的接收电路56，然后 由接收电路56进行处理。然后，频道选择控制信号由解扰电路58进行处 理并被输入到多路输出选择器60。首先将说明该处理流程。组成接收电 路56的调谐器562以从微型计算机72输入的频道选择控制信号所指示的 频道频率来接收节目广播信号。另外，由调谐器562接收到的节目广旨 号被输入到解调单元564。解调单元564对通过预定的调制方案进行了调制的节目广M号进行解调，并产生流信号。
另外，由解调单元564产生的流信号被输入到纠错单元566。纠错单 元566对输入的流信号进行纠错处理，并将所述流信号输入到解扰电路 58。此时，纠错单元566对利用使用Reed-Solomon码的编码方案进行了 编码的流信号进行纠错处理。基于从微型计算机72获得的信息，解扰电 路58在纠错之后对流信号上进行的扰码(scramble)进行解除，并再现 节目广播信号。由解扰电路58解除了扰码的节目广播信号被输入到多路 输出选择器60。
接下来，将说明直到从输入到多路输出选择器60的节目广播信号输 出图像或音频信号的处理流程。多,出选择器60基于通过总线732从 微型计算机72输入的选择控制信号，从节目广播信号抽取广播节目数据。 另外，多膝渝出选择器60才艮据所抽取的广播节目数据的类型将广播节目 数据输入到音频信号处理单元62、数据信号处理单元64或图像信号处理 单元66中。在音频信号处理单元62中，从输入的广播节目数据产生音频 信号。在数据信号处理单元64中，从输入的广播节目数据产生图像信号 以显示字符或图像。在图像信号处理单元66中，从输入的广播节目数据 产生图像信号以显示图像。
由音频信号处理单元62所产生的音频信号被输出到音频输出终端 (未示出)。由数据信号处理单元64产生的图像信号被输入到合成电路 70。相似地，由图像信号处理单元66产生的图像信号被输入到合成电路 70。此外，合成电路70也接收由OSD电路68产生的图像信号。OSD电 路68产生用来显示电子节目指南表或各种指南消息的图4象信号。如果输 入了这些图像信号，则合成电路70就将从数据信号处理单元64、图像信 号处理单元66以及OSD电路68输入的图像信号进行合成，并将合成的 图像信号输出到图^^T出终端(未示出)。
接下来，将简要说明直到附加信息由接收电路52接收并被输入到多 5 出选择器54的处理流程。微型计算机72基于被复用为频道选,道 信号的附加信息信号来指定频道频率，并将指示频道频率的频道选#^控制 信号输入到接收电路52。接收电路52中包括的调谐器522基于从微型计 算机72输入的频道选择控制信号接收附加信息信号。由调谐器522接收 的附加信息信号被输入到解调单元524。解调单元524对从调谐器522输 入的附加信息信号进行解调，并将解调了的附加信息信号输入到纠错单元526。纠错单元526对从解调单元524输入的附加信息信号进行纠错处理。 另外，由纠错单元526进行了纠错的附加信息信号被输入到多膝输出选择 器54。
多 出选择器54在微型计算机72的控制下从纠错后的附加信息信 号提取诸如电子节目指南的附加信息。抽取的附加信息被输入到微型计算 机72。微型计算机72将由多路输出选择器54抽取的附加信息临时存储 在DRAM 730中。微型计算机72通过总线732控制OSD电路68，从而 基于附加信息输出诸如电子节目指南的OSD信号。
使用具体例子说明了实现图像处理单元的功能结构的硬件结构。作为 能够运用根据本实施例的技术的例子说明了该结构，但本实施例不限于上 述例子。
本领域中的技术人员应该理解，根据设计和其它因素，可以进行各种 变型、组合、子组合和改变，只要它们在所附权利要求书或其等同物的范 围内即可。
例如，在根据实施例的说明中，作为相对时间的计算表达式，已经举 例说明了在摄^^图像和胶片图像之间进行了切换或者运动量超出了预 定阈值的情况。然而，基于下面的条件差异，可以改变系数或表达式。例 如，在检测到图像质量模式(亮度、对比度和锐度)之间的切换或者检测 到电影制式间的差异(2-2电影/3-2电影)的情况下，才艮据相应的情形可 以改变相对时间的计算表达式。
此外，在运动量超出阈值并且插值图像接近原始图像的情况下以;Mt
运动量落在阈值之下并且插值图像按等间隔排列的情况下，可以使用不同 的计算表达式。此外，作为与摄^N^图像的相对时间有关的计算表达式和 与胶片图像的相对时间有关的计算表达式，可以使用不同的计算表达式。 另外，相对于由iUL检测单元214的iUL^出检测因素(部分速度超出、 场景变化、平转以及镜头推拉)之间的不同，可以使用不同的计算表达式。
除了上面的例子外，还可以在两个原始图像0&和OP2之间所产生 的多个插值图像CFFk (k=l到4 )中的每个插值图像中使用不同的计算表 达式(函数形式)。当然，无需说，根据目标时间分辨率或目标时间产生 的插值图像的数目是不同的。同样，能够进行各种变型。
4权利要求
1.一种图像处理装置，其基于连续输入的时间序列图像信号之间的运动矢量产生插值图像信号，且提高时间分辨率，所述图像处理装置包括特征变化检测单元，检测所述时间序列图像信号之间的预定特征变化；产生时间设置单元，设置所述插值图像信号的产生时间；以及插值图像信号产生单元，在由所述产生时间设置单元设置的产生时间处产生所述插值图像信号，其中，当所述产生时间设置单元在已由所述特征变化检测单元检测出所述时间序列图像信号的特征变化之后设置所述产生时间时，所述产生时间设置单元设置所述产生时间，以接近时间被安排在所述产生时间之前和之后的时间序列图像信号中的任何一个时间序列图像信号的接近时间。
2. 根据权利要求l所述的图像处理装置，其中，所述产生时间设置 单元设置所述产生时间，使得当特征变化已由所述特征变化检测单元检测 出的时间序列图像信号与时间被安排在所述产生时间之前的时间序列图 像信号之间的时间差增加时，所述产生时间的接近程度减小。
3. 根据权利要求2所述的图像处理装置，其中，所述特征变化检测 单元检测所述时间序列图像信号之间的时间分辨率之差，作为所述预定特 征变化。
4. 根据权利要求2所述的图像处理装置，其中，所述特征变化检测 单元检测所述时间序列图像信号之间的运动量是否超出预定值，作为所述 预定特征变化。
5. 根据权利要求4所述的图像处理装置，其中，所述产生时间设置 单元设置所述产生时间，使得当所述时间序列图像信号之间的运动量增加 时，所述产生时间的接近程度增加。
6. 根据权利要求2所述的图像处理装置，其中，所述特征变化检测 单元检测所述时间序列图像信号之间的图像场景切换，作为所述预定特征 变化。
7. —种图像处理方法，其基于连续输入的时间序列图像信号之间的 运动矢量产生插值图像信号，且提高时间分辨率，所述图像处理方法包括 步骤检测所述时间序列图像信号之间的预定特征变化； 设置所述插值图像信号的产生时间；以及在所述产生时间设置步骤中设置的产生时间处产生所述插值图像信号，其中，在所述产生时间设置步骤中，当在所述特征变化检测步骤中检 测出所述时间序列图像信号的特征变化之后设置所述产生时间时，设置所 述产生时间，以接近时间被安排在所述产生时间之前和之后的时间序列图 像信号中的任何一个时间序列图像信号的接近时间。
全文摘要
本发明提供一种图像处理装置和图像处理方法。该图像处理装置基于连续输入的时间序列图像信号之间的运动矢量产生插值图像信号，且提高时间分辨率，图像处理装置包括特征变化检测单元，检测时间序列图像信号之间的预定特征变化；产生时间设置单元，设置插值图像信号的产生时间；以及插值图像信号产生单元，在由产生时间设置单元设置的产生时间处产生插值图像信号。另外，当产生时间设置单元在已由特征变化检测单元检测出时间序列图像信号的特征变化之后设置产生时间时，产生时间设置单元设置产生时间，以接近时间被安排在产生时间之前和之后的时间序列图像信号中的任何一个时间序列图像信号的接近时间。
文档编号H04N7/01GK101516014SQ200910006549
公开日2009年8月26日 申请日期2009年2月17日 优先权日2008年2月18日
发明者小林贤吉, 漆原稔, 竹内宏, 薄木雅人 申请人:索尼株式会社
最新回复(0)