运动图像自适应滤波方法
专利名称：运动图像自适应滤波方法
技术领域：
本发明涉及一种图像滤波方法，尤其是涉及一种针对运动图像模糊问题的运动 图像自适应滤波方法。
背景技术：
当前平板显示器通常在一帧时间里保持较长的显示时间，例如，液晶显示器在 一行视频信号扫描完后，象素所显示的亮度信息会保持到下一次扫描才更新，即 保持一帧时间。这种保持型显示方式会使所显示的运动图像在人眼观看时变得模 糊，并且运动图像的速度越快模糊越严重。这种运动图像的模糊问题不是图像源 或显示器本身对图像损伤所产生的，它与人眼平滑的视觉跟随运动(smooth pursuit eye movement)相关。人眼在观看运动中的物体时会产生一种平滑的视觉跟随运动，从而使运动物体的影像保持在视网膜的中央。对于保持型显示器， 在一帧时间里显示的图像是静止得，但此时人眼平滑的视觉跟随运动仍然会在显示的运动图像轨迹上保持平滑运动。因此在一帧时间里，人眼所感知到的亮度信 息为显示图像运动轨迹上相邻象素亮度信息在时域和空域上的积分和。当物体的 运动速度越快，则积分所包含的相邻象素越多，从而图像越模糊。对于当前的液晶显示器而言，液晶分子较慢的响应时间也是造成运动图像模糊 的因素之一。因此解决液晶显示器运动图像模糊问题可以从三方面入手 一是加 快液晶的响应时间、二是縮短液晶电视的一帧保持时间、三是运动补偿人眼平滑 的视觉跟随运动。EP0657860A2公开了一种运动图像模糊的自适应补偿方法，即根 据运动图像的运动速度，调整滤波器的宽度。该方法可以部分的补偿人眼平滑的 视觉跟随运动所产生的运动图像模糊。但是该补偿方法也存在一些不足 一是其 高频增强部分与图像模糊所产生的高频抑制不一致，滤波后运动图像模糊的消除效果一般；二是该方法不能有效地抑制图像噪声对高频增强的影响。 技术问题针对保持型显示器的运动图像模糊问题，本发明提供一种运动图 像自适应滤波方法，该方法能根据运动图像的模糊程度自适应调整滤波器的频率 响应，该方法同时能根据图像内容噪声调整高频增益，防止噪声对图像质量的影 响，该方法还可以根据图像内容特征调整滤波器频率响应，防止由于滤波处理导致的图像内容溢出(即，显示图像内容的灰度信息高于255级灰度或低于0级灰 度)，从而有效提高保持型显示器上运动图像的显示质量。技术方案本发明的技术方案如图1所示，在保持型显示器的视频电路中增 加一个运动图像自适应滤波单元2;传输给保持型显示器的视频信号1首先输入到 运动图像自适应滤波单元2;运动图像自适应滤波单元2主要由两部分组成，包括运动矢量估计单元6和自适应滤波器单元4，运动矢量估计单元6根据多个相邻视频帧信号计算出当前帧每个显示象素的运动矢量信息，计算出的运动矢量信息与输入的视频信号1同时输入到自适应滤波器单元4，自适应滤波器单元4根据每个 象素的运动矢量信息调整滤波器参数并对当前显示象素视频信号进行滤波，滤波 后的视频信号进一步输出到保持型显示器行列驱动电路5中，实现视频图像的显 示。本发明所提供的运动图像自适应滤波方法，可以如图1中所示，独立于保持型 显示器行列驱动电路5，也可以包含在保持型显示器行列驱动电路5中，还可以与 其他视频信号增强电路相结合，例如， 一些显示器所包含的视频帧率倍增电路单 元3 (即，将标准的50Hz或60Hz视频帧率转换为100Hz或120Hz视频帧率)，此 时运动矢量估计单元6可以与视频帧率倍增电路单元3共享，如图1中虚线所示， 运动矢量估计单元6的计算值同时输入到视频帧率倍增电路单元3和自适应滤波 器单元4。本发明所提供的运动矢量估计单元6可以采用当前各种通用的运动矢量估计 算法，例如全搜索块匹配法。基于块的运动矢量值可以直接输入到自适应滤波器 单元4，也可以进一步采用线性插值的方法，使运动矢量精度达到单个象素，然后 再输入到自适应滤波器单元4。本发明所提供的自适应滤波器单元4包含一个五阶的参数可调自适应滤波器， 如下列公式(1)所示， <formula>formula see original document page 6</formula> (1)其中，ni表示位置在i的单个显示象素的亮度值，参数k和1分别表示与运动 矢量值和图像内容相关的自适应可调参数。如图2所示，自适应滤波器的频率响 应特性为中高频率信号增强，参数k可以调整中高频率的增益，且随着k值的增 加，中高频率的增益也随之增加，如图中第一频率响应曲线7、第二频率响应曲线 8、第三频率响应曲线9;参数l可以调整高频部分的增益，且随着l值的增加， 高频部分的增益也随之增加，如图中频率响应曲线第三频率响应曲线9、第六频率 响应曲线12、第九频率响应曲线15。公式(1)所示为一维中高频率增益滤波器， 其可以用于二维的运动图像模糊滤波，本发明的方案为将运动矢量分解为水平 和垂直两个方向，利用公式(1)本别在水平和垂直方向进行滤波；还可以利用水 平方向运动矢量和公式(1)，仅对视频图像进行水平方向滤波。公式(1)可以针 对图像亮度信息进行滤波，也可以分别针对R、 G、 B三种颜色进行滤波。为了补偿显示图像在不同运动速度条件下的模糊问题，需了解运动图像模糊所 对应的点分布函数(point spread function)。对于保持型显示器，可以近似假 设人眼对运动图像的平滑跟随运动为匀速跟随，因此可以用滑动滤波器来近似点 分布函数，具体如下列公式(2):<formula>formula see original document page 6</formula>(2)其中，dx表示当前象素对应的运动矢量绝对值。公式(2)可以看作是沿着运 动矢量方向，与运动矢量值相关的一维滑动滤波器。对于二维运动矢量，将其分 解为水平和垂直方向，从而可以利用公式(2)在水平和垂直方向分别进行近似。滤波方法具体为-步骤a)根据显示图像分辨率和系统噪声幅值确定公式1中的参数1，视频图 像分辨率较高时采用较高的1值，视频图像分辨率较低时采用较低的1值，系统 噪声较高时，降低1值，系统噪声较低时，提高l值；步骤b) 计算保持型显示器点分布函数，首先针对不同运动矢量分别计算平 均分布函数，其次，根据测量的液晶响应曲线，计算高斯分布函数，最后，将平 均分布函数和高斯分布函数进行巻积则获得点分布函数；步骤c)计算不同运动矢量值对应的公式1中参数k，将点分布函数和不同运
动矢量对应的5阶滤波器函数进行巻积，搜索计算最优k值，使对应的频率响曲线幅值的最大值最接近或等于l，为防止图像内容溢出，设定k值上限值； 运动图像自适应滤波单元2的滤波步骤为-步骤d)计算每帧图像所有象素的运动矢量值，将二维运动矢量分解成水平和垂直方向的二维数据矩阵存储于计算机内存或RAM芯片中；步骤e)视频图像水平方向滤波，将水平方向运动矢量取绝对值，利用对应 的最优系数进行滤波，并将滤波后的象素保存为显示亮度信息；当视频图像为隔 行图像内容时，即结束；步骤f)当视频图像为逐行图像内容时，视频图像垂直方向滤波，将垂直方向 运动矢量取绝对值，利用对应的最优系数进行滤波，并将滤波后的象素保存为显 示亮度信息。运动图像自适应滤波单元是独立的处理单元，或是嵌入在保持型显示器行列 驱动电路5中，或与其他视频信号增强电路相结合。运动矢量估计单元采用块匹配搜索方法，将计算的基于图像块的运动矢量信 息输入到自适应滤波器单元，或进一步利用线性插值方法，将运动矢量信息的精 度提高到单个象素，然后再输入到自适应滤波器单元。自适应滤波器单元根据二维运动矢量对图像进行滤波，其方法为将二维运动矢量分解为水平和垂直方向，首先在水平方向根据运动矢量水平方向的绝 对值对图像进行滤波，然后在垂直方向，根据运动矢量垂直方向的绝对值对图像 再次进行滤波。运动图像自适应滤波单元用于数码相机的图像处理系统中，降低由于运动导致的图像模糊问题。对于液晶显示器而言，液晶较慢的响应时间也是运动图像模糊的原因之一， 相关研究表明，当液晶响应时间小于一帧保持时间时，运动图像模糊主要是由于 保持时间决定得，此时釆用公式(2)可以较好的近似点分布函数。当液晶响应时 间较长，接近或大于一帧保持时间时，需考虑液晶响应时间对点分布函数的影响。但是，由于液晶显示器不同灰度之间、以及上升沿和下降沿转换的响应时间都不同，无法用统一的公式去近似液晶响应时间的点分布函数。考虑到液晶响应时间 对显示图像的影响表现为亮度信号的增减，本发明采用高斯分布去近似液晶响应 时间的点分布函数。具体如下列公式(3)所示G(jc)w^ (3) 其中，A由液晶响应曲线宽度，a满足将公式(3)离散化为一维数组后所有系数 和为1。将公式(2)和公式(3)巻积便可以获得液晶显示器的近似点分布函数。对于保持型显示器而言，根据点分布函数，便可以确定公式(1)中的参数k， 1。以液晶显示器为例，根据显示图像的分辩率和图像噪声强度首先确定参数l， 具体方案为当显示器图像分辩率较高时采用较大的1值，如1 2，相反分辩率 较低时采用较低的l值，如0 1;信道噪声的影响相反，当确定噪声较大时可以 降低1值例如，降低0.5 1，在某些情况下可以将1值降低为0，此时高频信号 不产生增益，对于当前数字电视而言，信道噪声已经很低，因此可以使用较大1 值，即根据图像分辩率确定l值即可。在确定参数1和近似点分布函数后，即可计算不同运动矢量值对应的参数k。 具体方法为逐步增加k值，计算公式(1)、 (2)、 (3)巻积后的频率响应曲线， 当某个k值满足频率响应曲线上所有频率点上幅值的最大值最接近或等于1时， 即为最优k值。由于所有象素都采用5阶滤波器，因此可以将不同运动矢量对应 的k值以査找表的方式放在计算机内存中或ROM等硬件内核中。当运动矢量值较大时，上述方法所计算的参数k值较高，此时易造成滤波后图 像溢出。本发明所采用的方案为限定k值的上限值，即当搜索计算的k值超过 上限值时取上限值；也可限定补偿的运动矢量上限值，即当运动矢量大于上限值 时，采用运动矢量上限值所对应的k值进行滤波；还可以对运动矢量值高于上限 值的象素不进行滤波，即将参数k、 1设为0。本发明所提供的方法也可用于其它图像模糊的信号补偿系统中。例如在数码相 机中，首先利用连续拍摄的多帧图像或传感器，计算出拍摄曝光过程中由于手抖 动造成地相机位移矢量，然后利用本发明所提供的滤波器可以在运动矢量方向对 拍摄的模糊图像进行补偿。有益效果本发明的有益效果是利用参数可变、固定阶数的滤波器对视频 图像进行一维或二维滤波，结构简单；自适应参数可以预先计算确定，易于快速 算法的设计和实现；通过自适应调整参数可以有效抑制噪声对滤波图像质量的影 响；通过设置参数上限值，可以有效抑制图像溢出问题对图像质量的影响。
图l是自适应滤波系统框图。图2是运动图像自适应滤波器频率响应特性曲线图。 图3是运动图像自适应滤波器参数计算流程图。 图4是运动图像自适应滤波流程图。以上的图中有视频信号l、运动图像自适应滤波单元2、视频帧率倍增电路 单元3、自适应滤波器单元4、保持型显示器行列驱动电路5、运动矢量估计单元 6、第一频率响应曲线7、第二频率响应曲线8、第三频率响应曲线9、第四频率响 应曲线10、第五频率响应曲线11、第六频率响应曲线12、第七频率响应曲线13、 第八频率响应曲线14、第九频率响应曲线15。
具体实施方式
在图1所示优选实施例中，运动图像自适应滤波单元2嵌入在保持型显示器 的视频信号1和保持型显示器行列驱动电路5之间，视频信号1分别输入到运动 矢量估计单元6和自适应滤波器单元4，运动矢量估计单元6计算的运动矢量信息 输入到自适应滤波器单元4，自适应滤波器单元4利用运动矢量信息对视频图像进 行滤波，并将滤波后的视频信息输入到保持型显示器行列驱动电路5中。自适应 滤波器单元4的滤波器参数可预先计算，如图3所示，其步骤为步骤(a)根据显示图像分辨率和系统噪声幅值确定参数1,显示图像分辨率 分为三类高清(高于1280X720)、标清(1280X720与720X576之间)、低分 辨率(低于720X576)，分别对应参数l的范围为3 1、 2 0.5、 1 0，当系统 传输噪声较低时可以选择较高的参数l值，例如，此时高清可以设定1值为3，当 噪声较高时，可以选择较低的参数l值，例如，此时高清可以设定l值为l; 步骤(b)计算保持型显示器点分布函数，以液晶显示器为例，液晶显示器保持 时间对应的点分布函数是宽度为当前象素运动矢量值的均匀分布函数，液晶响应
曲线对应的点分布函数是A值与响应曲线长度相等的高斯分布函数，上述均匀分 布函数和高斯分布函数巻积即为当前象素的点分布函数；步骤(C)计算不同运动矢量值对应的参数k，具体方法为对于不同的运动矢量绝对值，分别搜索计算最优k值，即将不同运动矢量绝对值条件下的点分布函数 与本发明提出的5阶滤波器进行巻积，当巻积后的频率响应曲线在所有频率点上 幅值的最大值最接近或等于1时，即为最优k值，为了避免滤波后视频图像出现 溢出，可以设置k值上限值，例如设置k值的上限值为4，当搜索计算的k值大 于4时，则将当前象素对应的k值设定为4。预先计算的最优k值可以以查找表的形式存在于计算机的内存中或存在于固 化的R0M芯片中。根据输入的运动矢量信息，运动图像自适应滤波单元2对视频 图像进行滤波的步骤如图4所示，具体为步骤(d)计算每帧图像所有象素的运动矢量值，将当前帧分成16X16或8X 8的象素块，采用全搜索方法在当前帧和前一帧之间搜索计算每个象素块的最佳匹 配位置，基于象素块的运动矢量可以输入到自适应滤波器单元4，也可以对运动矢 量值进一步线性插值，使运动矢量值精确到单个象素，然后再输入到自适应滤波 器单元4，二维运动矢量分解成水平和垂直方向的二维数据矩阵存储于计算机内存 或RAM芯片中；步骤(e)视频图像水平方向滤波，对于每个象素首先将水平方向运动矢量二 维数据矩阵取绝对值，根据运动矢量绝对值在査找表中査找最优k值，确定滤波 器系数后，便可以利用水平方向左右各相邻两个象素进行滤波，并将滤波后的数 值保存为当前象素的显示亮度信息；步骤(f)视频图像垂直方向滤波，对于每个象素首先将垂直方向运动矢量二 维数据矩阵取绝对值，根据运动矢量绝对值在査找表中查找最优k值，确定滤波 器系数后，便可以利用垂直方向左右各相邻两个象素进行滤波，并将滤波后的数 值保存为当前象素的显示亮度信息，在一些应用中也可以省略视频图像垂直方向 滤波，例如，对于标清隔行视频图像可以仅在水平方向进行滤波。本发明的第二优选实施例为，运动图像自适应滤波单元2可以集成在其他视频 信号增强电路中，如图1中虚线所示视频帧率倍增电路单元3和自适应滤波器单 元4共享运动矢量估计单元6，视频帧率倍增电路单元3利用运动运动矢量估计单 元6计算的运动矢量信息进行视频图像帧插值，从而实现视频显示帧率倍增，倍 增后的视频输入到自适应滤波器单元4，利用输入的运动矢量信息，自适应滤波器 单元4对倍增后的视频进行滤波，并将滤波后的视频输入到保持型显示器行列驱 动电路5中。本发明的第三优选实施例为，运动图像自适应滤波单元2可用于其它图像模糊 的信号补偿系统中。例如在数码相机中，首先利用连续拍摄的多帧图像或传感器， 计算出拍摄曝光过程中由于手抖动造成地相机位移矢量(对应于图1中运动矢量 估计单元6)，然后利用本发明所提供的滤波器可以在运动矢量方向对拍摄的单帧 模糊图像进行补偿(对应于图1中自适应滤波器单元4)。
权利要求
1.一种运动图像自适应滤波方法，其特征在于该方法为公式1为n′i＝-k·ni-2-l·ni-1+(1+2·k+2·l)·ni-l·ni+1-k·ni+2步骤a)根据显示图像分辨率和系统噪声幅值确定公式1中的参数1，视频图像分辨率较高时采用较高的1值，视频图像分辨率较低时采用较低的1值，系统噪声较高时，降低1值，系统噪声较低时，提高1值；步骤b)计算保持型显示器点分布函数，首先针对不同运动矢量分别计算平均分布函数，其次，根据测量的液晶响应曲线，计算高斯分布函数，最后，将平均分布函数和高斯分布函数进行卷积则获得点分布函数；步骤c)计算不同运动矢量值对应的公式1中参数k，将点分布函数和不同运动矢量对应的5阶滤波器函数进行卷积，搜索计算最优k值，使对应的频率响应曲线幅值的最大值最接近或等于1，为防止图像内容溢出，设定k值上限值；运动图像自适应滤波单元(2)的滤波步骤为步骤d)计算每帧图像所有象素的运动矢量值，将二维运动矢量分解成水平和垂直方向的二维数据矩阵存储于计算机内存或RAM芯片中；步骤e)视频图像水平方向滤波，将水平方向运动矢量取绝对值，利用对应的最优系数进行滤波，并将滤波后的象素保存为显示亮度信息；当视频图像为隔行图像内容时，即结束；步骤f)当视频图像为逐行图像内容时，视频图像垂直方向滤波，将垂直方向运动矢量取绝对值，利用对应的最优系数进行滤波，并将滤波后的象素保存为显示亮度信息。
2. 根据权利要求1所述运动图像自适应滤波方法，其特征是运动图像自适 应滤波单元(2)是独立的处理单元，或是嵌入在保持型显示器行列驱动电路5中， 或与其他视频信号增强电路相结合。
3. 根据权利要求1所述运动图像自适应滤波方法，其特征是运动矢量估计单元(6)采用块匹配搜索方法，将计算的基于图像块的运动矢量信息输入到自适 应滤波器单元(4)，或进一步利用线性插值方法，将运动矢量信息的精度提高到 单个象素，然后再输入到自适应滤波器单元(4)。
4. 根据权利要求l所述运动图像自适应滤波方法，其特征是自适应滤波单 元(4)根据二维运动矢量对图像进行滤波，其方法为将二维运动矢量分解为水 平和垂直方向，首先在水平方向根据运动矢量水平方向的绝对值对图像进行滤波， 然后在垂直方向，根据运动矢量垂直方向的绝对值对图像再次进行滤波。
5. 根据权利要求l所述运动图像自适应滤波方法，其特征是运动图像自应 滤波单元(2)用于数码相机的图像处理系统中，降低由于运动导致的图像模糊问 题。
全文摘要
运动图像自适应滤波方法，其包括以下步骤由显示图像分辨率和系统噪声幅值，设定滤波后高频信号的增益；计算保持时间和响应时间对应的点分布函数；计算不同运动矢量值对应的滤波器自适应参数；计算每帧图像所有象素的运动矢量值；利用运动自适应滤波器对视频图像水平方向和垂直方向依次滤波。本发明通过运动图像自适应滤波能有效改善运动图像在保持型显示器上的模糊问题，参数可调、固定阶数的滤波器结构简单，易于实现，通过自适应调整参数能有效抑制噪声对滤波图像质量的影响，并防止滤波后图像溢出问题。
文档编号G09G3/36GK101127828SQ20071013148
公开日2008年2月20日 申请日期2007年8月31日 优先权日2007年8月31日
发明者军 夏 申请人:东南大学
技术领域：
本发明涉及一种图像滤波方法，尤其是涉及一种针对运动图像模糊问题的运动 图像自适应滤波方法。
背景技术：
当前平板显示器通常在一帧时间里保持较长的显示时间，例如，液晶显示器在 一行视频信号扫描完后，象素所显示的亮度信息会保持到下一次扫描才更新，即 保持一帧时间。这种保持型显示方式会使所显示的运动图像在人眼观看时变得模 糊，并且运动图像的速度越快模糊越严重。这种运动图像的模糊问题不是图像源 或显示器本身对图像损伤所产生的，它与人眼平滑的视觉跟随运动(smooth pursuit eye movement)相关。人眼在观看运动中的物体时会产生一种平滑的视觉跟随运动，从而使运动物体的影像保持在视网膜的中央。对于保持型显示器， 在一帧时间里显示的图像是静止得，但此时人眼平滑的视觉跟随运动仍然会在显示的运动图像轨迹上保持平滑运动。因此在一帧时间里，人眼所感知到的亮度信 息为显示图像运动轨迹上相邻象素亮度信息在时域和空域上的积分和。当物体的 运动速度越快，则积分所包含的相邻象素越多，从而图像越模糊。对于当前的液晶显示器而言，液晶分子较慢的响应时间也是造成运动图像模糊 的因素之一。因此解决液晶显示器运动图像模糊问题可以从三方面入手 一是加 快液晶的响应时间、二是縮短液晶电视的一帧保持时间、三是运动补偿人眼平滑 的视觉跟随运动。EP0657860A2公开了一种运动图像模糊的自适应补偿方法，即根 据运动图像的运动速度，调整滤波器的宽度。该方法可以部分的补偿人眼平滑的 视觉跟随运动所产生的运动图像模糊。但是该补偿方法也存在一些不足 一是其 高频增强部分与图像模糊所产生的高频抑制不一致，滤波后运动图像模糊的消除效果一般；二是该方法不能有效地抑制图像噪声对高频增强的影响。 技术问题针对保持型显示器的运动图像模糊问题，本发明提供一种运动图 像自适应滤波方法，该方法能根据运动图像的模糊程度自适应调整滤波器的频率 响应，该方法同时能根据图像内容噪声调整高频增益，防止噪声对图像质量的影 响，该方法还可以根据图像内容特征调整滤波器频率响应，防止由于滤波处理导致的图像内容溢出(即，显示图像内容的灰度信息高于255级灰度或低于0级灰 度)，从而有效提高保持型显示器上运动图像的显示质量。技术方案本发明的技术方案如图1所示，在保持型显示器的视频电路中增 加一个运动图像自适应滤波单元2;传输给保持型显示器的视频信号1首先输入到 运动图像自适应滤波单元2;运动图像自适应滤波单元2主要由两部分组成，包括运动矢量估计单元6和自适应滤波器单元4，运动矢量估计单元6根据多个相邻视频帧信号计算出当前帧每个显示象素的运动矢量信息，计算出的运动矢量信息与输入的视频信号1同时输入到自适应滤波器单元4，自适应滤波器单元4根据每个 象素的运动矢量信息调整滤波器参数并对当前显示象素视频信号进行滤波，滤波 后的视频信号进一步输出到保持型显示器行列驱动电路5中，实现视频图像的显 示。本发明所提供的运动图像自适应滤波方法，可以如图1中所示，独立于保持型 显示器行列驱动电路5，也可以包含在保持型显示器行列驱动电路5中，还可以与 其他视频信号增强电路相结合，例如， 一些显示器所包含的视频帧率倍增电路单 元3 (即，将标准的50Hz或60Hz视频帧率转换为100Hz或120Hz视频帧率)，此 时运动矢量估计单元6可以与视频帧率倍增电路单元3共享，如图1中虚线所示， 运动矢量估计单元6的计算值同时输入到视频帧率倍增电路单元3和自适应滤波 器单元4。本发明所提供的运动矢量估计单元6可以采用当前各种通用的运动矢量估计 算法，例如全搜索块匹配法。基于块的运动矢量值可以直接输入到自适应滤波器 单元4，也可以进一步采用线性插值的方法，使运动矢量精度达到单个象素，然后 再输入到自适应滤波器单元4。本发明所提供的自适应滤波器单元4包含一个五阶的参数可调自适应滤波器， 如下列公式(1)所示， <formula>formula see original document page 6</formula> (1)其中，ni表示位置在i的单个显示象素的亮度值，参数k和1分别表示与运动 矢量值和图像内容相关的自适应可调参数。如图2所示，自适应滤波器的频率响 应特性为中高频率信号增强，参数k可以调整中高频率的增益，且随着k值的增 加，中高频率的增益也随之增加，如图中第一频率响应曲线7、第二频率响应曲线 8、第三频率响应曲线9;参数l可以调整高频部分的增益，且随着l值的增加， 高频部分的增益也随之增加，如图中频率响应曲线第三频率响应曲线9、第六频率 响应曲线12、第九频率响应曲线15。公式(1)所示为一维中高频率增益滤波器， 其可以用于二维的运动图像模糊滤波，本发明的方案为将运动矢量分解为水平 和垂直两个方向，利用公式(1)本别在水平和垂直方向进行滤波；还可以利用水 平方向运动矢量和公式(1)，仅对视频图像进行水平方向滤波。公式(1)可以针 对图像亮度信息进行滤波，也可以分别针对R、 G、 B三种颜色进行滤波。为了补偿显示图像在不同运动速度条件下的模糊问题，需了解运动图像模糊所 对应的点分布函数(point spread function)。对于保持型显示器，可以近似假 设人眼对运动图像的平滑跟随运动为匀速跟随，因此可以用滑动滤波器来近似点 分布函数，具体如下列公式(2):<formula>formula see original document page 6</formula>(2)其中，dx表示当前象素对应的运动矢量绝对值。公式(2)可以看作是沿着运 动矢量方向，与运动矢量值相关的一维滑动滤波器。对于二维运动矢量，将其分 解为水平和垂直方向，从而可以利用公式(2)在水平和垂直方向分别进行近似。滤波方法具体为-步骤a)根据显示图像分辨率和系统噪声幅值确定公式1中的参数1，视频图 像分辨率较高时采用较高的1值，视频图像分辨率较低时采用较低的1值，系统 噪声较高时，降低1值，系统噪声较低时，提高l值；步骤b) 计算保持型显示器点分布函数，首先针对不同运动矢量分别计算平 均分布函数，其次，根据测量的液晶响应曲线，计算高斯分布函数，最后，将平 均分布函数和高斯分布函数进行巻积则获得点分布函数；步骤c)计算不同运动矢量值对应的公式1中参数k，将点分布函数和不同运
动矢量对应的5阶滤波器函数进行巻积，搜索计算最优k值，使对应的频率响曲线幅值的最大值最接近或等于l，为防止图像内容溢出，设定k值上限值； 运动图像自适应滤波单元2的滤波步骤为-步骤d)计算每帧图像所有象素的运动矢量值，将二维运动矢量分解成水平和垂直方向的二维数据矩阵存储于计算机内存或RAM芯片中；步骤e)视频图像水平方向滤波，将水平方向运动矢量取绝对值，利用对应 的最优系数进行滤波，并将滤波后的象素保存为显示亮度信息；当视频图像为隔 行图像内容时，即结束；步骤f)当视频图像为逐行图像内容时，视频图像垂直方向滤波，将垂直方向 运动矢量取绝对值，利用对应的最优系数进行滤波，并将滤波后的象素保存为显 示亮度信息。运动图像自适应滤波单元是独立的处理单元，或是嵌入在保持型显示器行列 驱动电路5中，或与其他视频信号增强电路相结合。运动矢量估计单元采用块匹配搜索方法，将计算的基于图像块的运动矢量信 息输入到自适应滤波器单元，或进一步利用线性插值方法，将运动矢量信息的精 度提高到单个象素，然后再输入到自适应滤波器单元。自适应滤波器单元根据二维运动矢量对图像进行滤波，其方法为将二维运动矢量分解为水平和垂直方向，首先在水平方向根据运动矢量水平方向的绝 对值对图像进行滤波，然后在垂直方向，根据运动矢量垂直方向的绝对值对图像 再次进行滤波。运动图像自适应滤波单元用于数码相机的图像处理系统中，降低由于运动导致的图像模糊问题。对于液晶显示器而言，液晶较慢的响应时间也是运动图像模糊的原因之一， 相关研究表明，当液晶响应时间小于一帧保持时间时，运动图像模糊主要是由于 保持时间决定得，此时釆用公式(2)可以较好的近似点分布函数。当液晶响应时 间较长，接近或大于一帧保持时间时，需考虑液晶响应时间对点分布函数的影响。但是，由于液晶显示器不同灰度之间、以及上升沿和下降沿转换的响应时间都不同，无法用统一的公式去近似液晶响应时间的点分布函数。考虑到液晶响应时间 对显示图像的影响表现为亮度信号的增减，本发明采用高斯分布去近似液晶响应 时间的点分布函数。具体如下列公式(3)所示G(jc)w^ (3) 其中，A由液晶响应曲线宽度，a满足将公式(3)离散化为一维数组后所有系数 和为1。将公式(2)和公式(3)巻积便可以获得液晶显示器的近似点分布函数。对于保持型显示器而言，根据点分布函数，便可以确定公式(1)中的参数k， 1。以液晶显示器为例，根据显示图像的分辩率和图像噪声强度首先确定参数l， 具体方案为当显示器图像分辩率较高时采用较大的1值，如1 2，相反分辩率 较低时采用较低的l值，如0 1;信道噪声的影响相反，当确定噪声较大时可以 降低1值例如，降低0.5 1，在某些情况下可以将1值降低为0，此时高频信号 不产生增益，对于当前数字电视而言，信道噪声已经很低，因此可以使用较大1 值，即根据图像分辩率确定l值即可。在确定参数1和近似点分布函数后，即可计算不同运动矢量值对应的参数k。 具体方法为逐步增加k值，计算公式(1)、 (2)、 (3)巻积后的频率响应曲线， 当某个k值满足频率响应曲线上所有频率点上幅值的最大值最接近或等于1时， 即为最优k值。由于所有象素都采用5阶滤波器，因此可以将不同运动矢量对应 的k值以査找表的方式放在计算机内存中或ROM等硬件内核中。当运动矢量值较大时，上述方法所计算的参数k值较高，此时易造成滤波后图 像溢出。本发明所采用的方案为限定k值的上限值，即当搜索计算的k值超过 上限值时取上限值；也可限定补偿的运动矢量上限值，即当运动矢量大于上限值 时，采用运动矢量上限值所对应的k值进行滤波；还可以对运动矢量值高于上限 值的象素不进行滤波，即将参数k、 1设为0。本发明所提供的方法也可用于其它图像模糊的信号补偿系统中。例如在数码相 机中，首先利用连续拍摄的多帧图像或传感器，计算出拍摄曝光过程中由于手抖 动造成地相机位移矢量，然后利用本发明所提供的滤波器可以在运动矢量方向对 拍摄的模糊图像进行补偿。有益效果本发明的有益效果是利用参数可变、固定阶数的滤波器对视频 图像进行一维或二维滤波，结构简单；自适应参数可以预先计算确定，易于快速 算法的设计和实现；通过自适应调整参数可以有效抑制噪声对滤波图像质量的影 响；通过设置参数上限值，可以有效抑制图像溢出问题对图像质量的影响。
图l是自适应滤波系统框图。图2是运动图像自适应滤波器频率响应特性曲线图。 图3是运动图像自适应滤波器参数计算流程图。 图4是运动图像自适应滤波流程图。以上的图中有视频信号l、运动图像自适应滤波单元2、视频帧率倍增电路 单元3、自适应滤波器单元4、保持型显示器行列驱动电路5、运动矢量估计单元 6、第一频率响应曲线7、第二频率响应曲线8、第三频率响应曲线9、第四频率响 应曲线10、第五频率响应曲线11、第六频率响应曲线12、第七频率响应曲线13、 第八频率响应曲线14、第九频率响应曲线15。
具体实施方式
在图1所示优选实施例中，运动图像自适应滤波单元2嵌入在保持型显示器 的视频信号1和保持型显示器行列驱动电路5之间，视频信号1分别输入到运动 矢量估计单元6和自适应滤波器单元4，运动矢量估计单元6计算的运动矢量信息 输入到自适应滤波器单元4，自适应滤波器单元4利用运动矢量信息对视频图像进 行滤波，并将滤波后的视频信息输入到保持型显示器行列驱动电路5中。自适应 滤波器单元4的滤波器参数可预先计算，如图3所示，其步骤为步骤(a)根据显示图像分辨率和系统噪声幅值确定参数1,显示图像分辨率 分为三类高清(高于1280X720)、标清(1280X720与720X576之间)、低分 辨率(低于720X576)，分别对应参数l的范围为3 1、 2 0.5、 1 0，当系统 传输噪声较低时可以选择较高的参数l值，例如，此时高清可以设定1值为3，当 噪声较高时，可以选择较低的参数l值，例如，此时高清可以设定l值为l; 步骤(b)计算保持型显示器点分布函数，以液晶显示器为例，液晶显示器保持 时间对应的点分布函数是宽度为当前象素运动矢量值的均匀分布函数，液晶响应
曲线对应的点分布函数是A值与响应曲线长度相等的高斯分布函数，上述均匀分 布函数和高斯分布函数巻积即为当前象素的点分布函数；步骤(C)计算不同运动矢量值对应的参数k，具体方法为对于不同的运动矢量绝对值，分别搜索计算最优k值，即将不同运动矢量绝对值条件下的点分布函数 与本发明提出的5阶滤波器进行巻积，当巻积后的频率响应曲线在所有频率点上 幅值的最大值最接近或等于1时，即为最优k值，为了避免滤波后视频图像出现 溢出，可以设置k值上限值，例如设置k值的上限值为4，当搜索计算的k值大 于4时，则将当前象素对应的k值设定为4。预先计算的最优k值可以以查找表的形式存在于计算机的内存中或存在于固 化的R0M芯片中。根据输入的运动矢量信息，运动图像自适应滤波单元2对视频 图像进行滤波的步骤如图4所示，具体为步骤(d)计算每帧图像所有象素的运动矢量值，将当前帧分成16X16或8X 8的象素块，采用全搜索方法在当前帧和前一帧之间搜索计算每个象素块的最佳匹 配位置，基于象素块的运动矢量可以输入到自适应滤波器单元4，也可以对运动矢 量值进一步线性插值，使运动矢量值精确到单个象素，然后再输入到自适应滤波 器单元4，二维运动矢量分解成水平和垂直方向的二维数据矩阵存储于计算机内存 或RAM芯片中；步骤(e)视频图像水平方向滤波，对于每个象素首先将水平方向运动矢量二 维数据矩阵取绝对值，根据运动矢量绝对值在査找表中査找最优k值，确定滤波 器系数后，便可以利用水平方向左右各相邻两个象素进行滤波，并将滤波后的数 值保存为当前象素的显示亮度信息；步骤(f)视频图像垂直方向滤波，对于每个象素首先将垂直方向运动矢量二 维数据矩阵取绝对值，根据运动矢量绝对值在査找表中查找最优k值，确定滤波 器系数后，便可以利用垂直方向左右各相邻两个象素进行滤波，并将滤波后的数 值保存为当前象素的显示亮度信息，在一些应用中也可以省略视频图像垂直方向 滤波，例如，对于标清隔行视频图像可以仅在水平方向进行滤波。本发明的第二优选实施例为，运动图像自适应滤波单元2可以集成在其他视频 信号增强电路中，如图1中虚线所示视频帧率倍增电路单元3和自适应滤波器单 元4共享运动矢量估计单元6，视频帧率倍增电路单元3利用运动运动矢量估计单 元6计算的运动矢量信息进行视频图像帧插值，从而实现视频显示帧率倍增，倍 增后的视频输入到自适应滤波器单元4，利用输入的运动矢量信息，自适应滤波器 单元4对倍增后的视频进行滤波，并将滤波后的视频输入到保持型显示器行列驱 动电路5中。本发明的第三优选实施例为，运动图像自适应滤波单元2可用于其它图像模糊 的信号补偿系统中。例如在数码相机中，首先利用连续拍摄的多帧图像或传感器， 计算出拍摄曝光过程中由于手抖动造成地相机位移矢量(对应于图1中运动矢量 估计单元6)，然后利用本发明所提供的滤波器可以在运动矢量方向对拍摄的单帧 模糊图像进行补偿(对应于图1中自适应滤波器单元4)。
权利要求
1.一种运动图像自适应滤波方法，其特征在于该方法为公式1为n′i＝-k·ni-2-l·ni-1+(1+2·k+2·l)·ni-l·ni+1-k·ni+2步骤a)根据显示图像分辨率和系统噪声幅值确定公式1中的参数1，视频图像分辨率较高时采用较高的1值，视频图像分辨率较低时采用较低的1值，系统噪声较高时，降低1值，系统噪声较低时，提高1值；步骤b)计算保持型显示器点分布函数，首先针对不同运动矢量分别计算平均分布函数，其次，根据测量的液晶响应曲线，计算高斯分布函数，最后，将平均分布函数和高斯分布函数进行卷积则获得点分布函数；步骤c)计算不同运动矢量值对应的公式1中参数k，将点分布函数和不同运动矢量对应的5阶滤波器函数进行卷积，搜索计算最优k值，使对应的频率响应曲线幅值的最大值最接近或等于1，为防止图像内容溢出，设定k值上限值；运动图像自适应滤波单元(2)的滤波步骤为步骤d)计算每帧图像所有象素的运动矢量值，将二维运动矢量分解成水平和垂直方向的二维数据矩阵存储于计算机内存或RAM芯片中；步骤e)视频图像水平方向滤波，将水平方向运动矢量取绝对值，利用对应的最优系数进行滤波，并将滤波后的象素保存为显示亮度信息；当视频图像为隔行图像内容时，即结束；步骤f)当视频图像为逐行图像内容时，视频图像垂直方向滤波，将垂直方向运动矢量取绝对值，利用对应的最优系数进行滤波，并将滤波后的象素保存为显示亮度信息。
2. 根据权利要求1所述运动图像自适应滤波方法，其特征是运动图像自适 应滤波单元(2)是独立的处理单元，或是嵌入在保持型显示器行列驱动电路5中， 或与其他视频信号增强电路相结合。
3. 根据权利要求1所述运动图像自适应滤波方法，其特征是运动矢量估计单元(6)采用块匹配搜索方法，将计算的基于图像块的运动矢量信息输入到自适 应滤波器单元(4)，或进一步利用线性插值方法，将运动矢量信息的精度提高到 单个象素，然后再输入到自适应滤波器单元(4)。
4. 根据权利要求l所述运动图像自适应滤波方法，其特征是自适应滤波单 元(4)根据二维运动矢量对图像进行滤波，其方法为将二维运动矢量分解为水 平和垂直方向，首先在水平方向根据运动矢量水平方向的绝对值对图像进行滤波， 然后在垂直方向，根据运动矢量垂直方向的绝对值对图像再次进行滤波。
5. 根据权利要求l所述运动图像自适应滤波方法，其特征是运动图像自应 滤波单元(2)用于数码相机的图像处理系统中，降低由于运动导致的图像模糊问 题。
全文摘要
运动图像自适应滤波方法，其包括以下步骤由显示图像分辨率和系统噪声幅值，设定滤波后高频信号的增益；计算保持时间和响应时间对应的点分布函数；计算不同运动矢量值对应的滤波器自适应参数；计算每帧图像所有象素的运动矢量值；利用运动自适应滤波器对视频图像水平方向和垂直方向依次滤波。本发明通过运动图像自适应滤波能有效改善运动图像在保持型显示器上的模糊问题，参数可调、固定阶数的滤波器结构简单，易于实现，通过自适应调整参数能有效抑制噪声对滤波图像质量的影响，并防止滤波后图像溢出问题。
文档编号G09G3/36GK101127828SQ20071013148
公开日2008年2月20日 申请日期2007年8月31日 优先权日2007年8月31日
发明者军 夏 申请人:东南大学
最新回复(0)