液晶显示设备的视频处理方法
专利名称：液晶显示设备的视频处理方法
技术领域：
本发明涉及一种视频处理方法，具体来说，涉及一种针对液晶显示设备的拖尾现 象的视频处理技术。
背景技术：
液晶显示设备(IXD)作为平板显示器技术中发展最为迅速的一种技术，随着其亮 度、对比度和视角等问题的顺利解决，其色彩丰富的优点得到充分发挥，在静态图像和文本 的显示效果方面已经赶上甚至超过了成熟CRT的显示效果，其应用得到了极大的推广。近 几年，使用于PC与TV上的IXD面板大型化正在急速发展，目前，用IXD面板业者正积极改 善动态画质，IXD对运动的图像文字显示方面，还存在一个难于解决的缺陷，这就是拖尾的 问题。近几年来的研究表明，导致IXD显示运动图像拖尾的原因主要有以下四个方面 1)IXD显示材料的慢响应过程；2)IXD显示的“抽样一保持”特性，就是在显示的刷新周期内 保持各像素点的显示亮度；3)人眼视觉系统(HVS)的运动跟踪特性；4)人眼视觉系统(HVS) 的低通滤波特性。目前，国内外的学者提出各种办法来改善这种IXD显示运动图像拖尾的状况，主 要包括(1)提高液晶像素的响应速度；(2)改进IXD的保持特性；(3)采用图像处理技术。 (1)、(2)从物理性能上的提高总是有限度的，例如不能让液晶材料的响应时间无限小，一般 会在100-200ms之间，采用各种技术可以提高到几毫秒，虽然这样的响应速度已经可以比 较好地改善拖尾现象了，可是对于视频图像而言，帧率一般在20-30之间，这时，液晶的保 持特性是引起拖尾的主要因素。研究表明即使液晶材料的响应时间为零，在显示动态视频 的时候，仍然会有拖尾现象。近几年，液晶显示倍频技术(又称帧率上变换)，将液晶显示设备显示信号从原来 的50HZ/60HZ，提高到100HZ/120HZ，甚至200HZ/240HZ，一定程度上解决了液晶显示设备 显示动态视频出现的拖尾现象。倍频技术之所以可以改善拖尾现象，主要原因是根据Hao I^an等在“LCD MOTION BLUR MODELING AND ANALYSIS” 一文中指出液晶显示动态视频图 像的模糊边沿的宽度是和视频图像像素的运动速度成正比的，模糊宽度w和运动速度ν的 关系近似为w=0. 8VT, T为帧周期，ν为图像边沿沿着χ轴运动速度，通过倍频技术可以降 低图像边沿的运动速度，从而有效降低液晶显示设备拖尾现象。液晶显示倍频技术，是指在两帧之间没有本地参考信息的时间点，利用相邻两帧 的信息重构图像。倍频技术的基本原理如图2所示，图中T表示原始图像序列两连续帧之 间的时间间隔，称为帧周期，Ft^1和Fw为输入帧序列，Ft为待插帧，假设fin为输入图像序 列的帧率，f。ut为输出图像序列的帧率引入参数k为帧频提升因子，即f。ut ZkfinJgSFw 中的一点A，经过时间T后，移动了一个运动矢量Vi,运动到了 Fw帧中的B点，P点即为在 待插帧Ft中的待插补点。帧率上变换的不同算法指的就是插入Ft的不同方法，即如何得到 P点的像素值，按照算法是否进行了运动估计和相应的运动补偿，可以把算法分为非运动补偿插帧和运动补偿插帧。非运动补偿插帧算法不考虑物体运动，直接利用相邻帧的各种组 合内插出中间帧，例如帧重复和帧平均。尽管这些方法在图像不存在物体运动时，能够得到 质量可接受的待插帧，但当图像存在物体运大时，插值效果会很差，帧重复会产生运动物体 明显的运动突变现象，而帧平均会在运动物体边缘产生明显的模糊。为了减少运动突变和 模糊，运动补偿插帧算法使用物体运动信息，采用运动估计得到运动矢量，进而运动补偿插 值得到待插帧。采用液晶显示倍频技术虽然是一种改善液晶显示设备拖尾现象的好方法，但是这 种方法会增加液晶显示设备成本，而且，对于目前家庭用户主流采用的50HZ/60HZ的液晶 显示设备是不实用的。因此，有必要提出一种能够改善目前主流液晶显示设备显示动态图 像出现拖尾现象的方法。
发明内容
针对以上的不足，本发明提供了一种采用插帧和丢帧技术有效降低视频图像像 素运动速度，从而有效降低液晶显示设备拖尾现象的液晶显示设备的视频处理方法，它包 括
1)接收待显示的视频信号，进行缓存；
2)对缓存的视频信号进行分类；
3)对分类后的视频信号进行插帧和丢帧处理；
4)完成插帧视频、丢帧视频和原始视频的整合，保持输出视频信号的帧率等于接收的 视频信号的帧率。所述步骤2)还包括
21)对接收到的连续视频进行基于块的运动估计，得到运动矢量MV(fn，fn+1)和MV(fn+1，
fn+2 ).
22)根据运动矢量MV(fn，fn+1)和MV (4+1，4+2)，对原始视频信号进行分类； 其中fn、fn+1、和fn+2为连续的三帧原始视频，η为自然数。所述步骤21)采用全搜索的基于块的运动估计算法对连续两帧视频进行基于块的 运动估计，块的大小为16x16 ；
所述步骤22)对接收的连续三帧视频进行分类，分类后的视频包括运动画面很小的视 频、运动画面适中的视频和运动画面很大的视频，所述运动画面很小的视频是指MV (fn, fn+1)和MV (fn+1，U的值都小于阀值Tl ；所述运动画面适中的视频是指MV (fn，fn+1)和MV (fn+1，D其中一个值大于阀值Tl，小于阀值T2，另一个值小于T2;所述运动画面很大的视 频帧是指MV (fn，fn+1)和MV (fn+1，fn+2)的值至少有一个大于阀值T2，其中阀值Tl小于阀 值T2。所述步骤3)是指对运动画面适中的视频不进行处理；对运动画面很小的视频进 行丢帧处理，将连续三帧视频的中间的帧去掉；对运动画面很大的视频进行插帧处理。所述步骤3)采用基于双向运动估计和运动补偿的插帧技术对运动画面很大的视 频进行插帧处理。所述步骤3)中在运动画面很大的视频中所插入的一帧视频不再参与运动估计，直 接输出。
它采用一个计数器进行接收视频、插帧和丢帧控制，计数器的初始值设为0，最大 值由存储器的大小决定，计数器的最小值为2，以保证存储器中至少可形成连续三帧视频。本发明的有益效果本发明通过对连续三帧视频分成运动画面很小的视频、运 动画面适中的视频和运动画面很大的视频三种类型，对运动画面适中的视频不进行处 理；对运动画面很小的视频进行丢帧处理，将连续三帧视频的中间的帧去掉；对运动画 面很大的视频进行插帧处理，可以有效的降低了画面的运动程度，进而改善了液晶显示 设备的拖尾现象，此外，本发明既适用目前主流的50HZ/60HZ液晶显示设备，也适用高端 100HZ/120HZ/200HZ/240HZ 等液晶显示设备。
图1为本发明的视频处理方法流程图； 图2为传统倍频技术的基本原理图3为本发明视频分类示意图； 图4为本发明视频插帧和丢帧示意图； 图5为本发明双向运动估计原理框图； 图6为本发明视频插帧和丢帧后的视频周期变化示意图。
具体实施例方式下面结合附图对本发明进行进一步阐述。本发明的目的是针对目前主流液晶显示设备在显示动态视频会现的拖尾现象，提 供一种改善拖尾现象的方法，不需更换液晶显示设备，这种方法可以有效改善动态视频显 示的质量。如图1所示，本发明的液晶显示设备的视频处理方法包括 一、接收待显示的视频信号，进行缓存。设置一个用于计算帧数的计数器，以及用于缓存视频的存储器，其中，计数器的初 始值为0，最大值存储器的大小决定，计数器的最小值为2，以保证存储器中至少可形成连 续三帧视频。开始接收视频，并进行存储(视频信号)，每存储一帧视频，计数器加1。二、对缓存的视频信号进行分类。当存储器中缓存两帧视频之后，即计数器等于2，对缓存到存储器的第一帧视频 fl和第二帧视频f2进行基于块的运动估计，得到运动矢量MV (fl，f2);存储器中缓存第三 帧视频f3之后，计数器等于3，对缓存到存储器的第二帧视频f2和第三帧视频f3进行基于 块的运动估计，得到运动矢量MV (f2, f3)，本发明优先考虑采用全搜索的基于块的运动估 计算法进行连续两帧视频基于块的运动估计，块的大小为16x16 ；
根据上述MV (fl，f2)和MV (f2，f3)的结果，对比阀值Tl和T2，对缓存到存储器的连 续三帧视频进行分类，分类后的视频包括运动画面很小的视频(A类)、运动画面很大的视频 (B类)和运动画面适中的视频(C类)。如图3所示，所述运动画面很小的视频是指MV (fl, f2)和MV(f2，f3)的值都小于阀值Tl ；所述运动画面适中的视频是指MV (fl，f2)和MV(f2， f3)其中一个值大于阀值Tl，小于阀值T2，另一个值小于T2 ；所述运动画面很大的视频帧是 指MV (fl, f2)和MV(f2，f3)的值至少有一个大于阀值T2，其中阀值Tl小于阀值T2，阀值Tl和T2值针对不同的视频分辨率而不同，根据实际情况而定，其单位为像素/帧。三、对分类后的视频信号进行插帧和丢帧处理。如图4所示，根据步骤二中连续三帧视频的分类，对于运动画面很小的视频帧，我 们采取丢帧技术，在连续三帧之间去掉中间一帧；对于运动画面很大的视频帧，我们采用插 帧技术，采用基于运动估计和运动补偿插帧技术；对运动画面适中的视频，不处理，直接输 出，且在运动画面很大的视频中所插入的一帧视频不再参与运动估计，直接输出。本发明采用计数器来控制插帧/丢帧的数量，计数器等于3的时候，开始进行视频 输出。每输出一帧视频，将该帧视频从存储器中删除；每插入一帧，计数器加1 ；每丢掉一 帧，计数器减1 ；计数器最小值为2，即当计数器为2的时候，即停止丢帧；计数器的最大值 由存储器的大小和视频帧的大小决定，我们这里设置为5 ；当计数器小于最大值的时候， 如果视频属于运动画面很大的视频帧(画面运动剧烈)，即进行插帧。当计数器等于5的时 候，停止插帧。对运动画面很大的视频(B类)进行插帧处理，这里我们采用基于运动估计和运动 补偿的插帧技术。其中，运动估计如果采用单向运动估计，重叠和空洞问题是不可避免的， 采用双向运动估计，直接估计内插帧的运动矢量，可以解决重叠和空洞问题。对于内插帧的 一个块，通过比较其前一帧中一定位移处的块与其后一帧相反位移处的块，找到使两者最 相似的位移作为该块的运动矢量，双向运动估计原理如图5所示，fn_i、fn和fn+1分别表示 参考帧、内插帧和当前帧，s为表示像素空间位置的二维矢量，ν为每个内插像素的运动估 计矢量，Fn[s]为第η帧的空间s位置的像素值，Biij表示内插帧的一个块。假设其运动矢 量在[1，a]内，对此范围内的每一个候选运动矢量V，计算该块在前帧fy中移动-ν后和 后帧fn+1中移动+ν后对应块每个像素的双向绝对差的和(SBAD of bilateral absolute difference)
SBAD[Btj,v]= Σ 口s-小Us+V]l
在[- a]内搜索到SBAD最小值的ν即为该块的估计运动矢量。由于，插帧器对运动矢量准确性要求比较高，双向运动估计后，再对运动矢量进行 修正，这里我们采用矢量中值滤波来进行运动矢量修正，矢量修正后，需要进行运动补偿， 进行插值来重内插帧，这里我们采用中值滤波的运动补偿方法，插帧块B。ut为
Bout = median (Vtj 3\j,|(B\j +B2ij)j
其中，median函数是中值滤波函数。以目前我国的数字电视为例，进行插帧和丢帧后，视频信号的帧率变化参见图6， 输入视频的帧周期为16. 67ms,当进行插帧后，视频帧周期变为8. 83ms,当进行丢帧后，视 频周期变为33. 34ms 0四、完成插帧视频和原始视频帧的整合，保持输出视频信号的帧率等于接收的视 频信号的帧率。计数器等于3的时候，开始进行视频输出，对存储在存储器中的原始视频、丢帧 视频和插帧视频进行整合，对于目前主流的刷新率50HZ/60HZ液晶显示设备，保持视频 输出流的速度等于原始视频流的输入速率，本实施例中，参见图6，保持视频的帧周期为16.67ms。下面就具体实例说明图像处理的过程，比如说f广f5为输入的连续的五帧视频， 可能存在一下几种情况(下面K为每帧视频的块数)
1、先接收并存储第一帧视频π和第二帧视频f2，对第一帧视频Π和第二帧视频f2进 行运动估计得到MV1K，如果MVik中的值都小于Tl，则存储器接收并存储第三帧视频f3，再对 第二帧视频f2和第三帧视频f3进行运动估计得到MV2K，如果MV2k中的值也都小于Tl，则归 为A类，即运动画面很小的视频，需要进行丢帧处理，丢掉第二帧视频f2，计数器减1，计数 器值为2，此时进行视频输出Π，同时接收并存储视频f4，对(f3，f4)进行运动估计；此时进 行视频输出f3，同时接收并存储视频f5; f3、f4和f5形成新的连续三帧视频，再对(f4， f5)进行运动估计，并对f3、f4和f5帧进行分类和对应的处理，此时计数器为2，连续三帧 视频停止丢帧操作。2、先接收并存储第一帧视频Π和第二帧视频f2，对第一帧视频Π和第二帧视频 f2进行运动估计得到MV1K，如果MVik的值都小于Tl，则存储器接收并存储第三帧视频f3，再 对第二帧视频f2和第三帧视频f3进行运动估计得到MV2K，如果MV2k中的值都大于Tl，而小 于T2，则归为C类，即运动画面适中的视频，不进行处理。由于计数器为3，存储器中视频帧 数为3，直接输出第一帧视频Π，并接收存储第四帧视频f4，f2、f3和f4形成新的连续三 帧视频，再对(f3，f4)进行运动估计，并对f2、f3和f4帧进行分类和对应的处理。3、先接收并存储第一帧视频Π和第二帧视频f2，对第一帧视频Π和第二帧视频 f2进行运动估计得到MV1K，如果MVik的值都小于Tl，则存储器接收并存储第三帧视频f3，再 对第二帧视频f2和第三帧视频f3进行运动估计得到MV2K，如果MV2k中的值有一个大于T2， 则归为B类，即运动画面很大的视频，需要进行插帧处理，在第二帧视频f2和第三帧视频f3 之间插入fa2帧，计数器加1，由于此时计数器为4，存储器中的视频帧数为4 ；输出并删除 fl，同时接收并存储f4，对(f3，f4)进行运动估计；输出并删除f2，同时接收并存储f5，对 (f4，f5)进行运动估计；输出并删除fa2，同时接收并存储f6; f3、f4和f 5形成新的连续 三帧视频，对f3、f4和f5帧进行分类和对应的处理。4、先接收并存储第一帧视频Π和第二帧视频f2，对第一帧视频Π和第二帧视频 f2进行运动估计得到MV1K，如果MVik中的值都大于Tl，而小于T2，则存储器接收并存储第三 帧视频f3，再对第二帧视频f2和第三帧视频f3进行运动估计得到MV2K，如果MV2k中的值都 小于T2或Tl，则归为C类，即运动画面适中的视频，不进行处理，直接输出第一帧视频f 1并 接收存储第四帧视频f4。f2、f3和f 4形成新的连续三帧视频，再对(f3，f4)进行运动估 计，并对f2、f3和f4帧进行分类和对应的处理。5、先接收并存储第一帧视频Π和第二帧视频f2，对第一帧视频Π和第二帧视频 f2进行运动估计得到MV1K，如果MVik中的值有一个大于T2，则直接在第一帧视频Π和第二 帧视频f2之间插入fal帧，计数器加1，此时计数器为3，接收并存储f3，再对第二帧视频 f2和第三帧视频f3进行运动估计得到MV2K，如果MV2k中的值没有一个大于T2，则不进行视 频处理，连续三帧视频Π、f2和f3归为运动画面很大的视频(B类)。输出并删除fl和接 收并存储f4 ；f2、f3和f4形成新的连续三帧视频，再对(f3，f4)进行运动估计，并对f2、f3 和f4帧进行分类和对应的处理。6、先接收并存储第一帧视频Π和第二帧视频f2，对第一帧视频Π和第二帧视频f2进行运动估计得到MV1K，如果MVik中的值有一个大于T2，则直接在第一帧视频Π和第二 帧视频f2之间插入fal帧，计数器加1，此时计数器为3，接收并存储f3，再对第二帧视频f2 和第三帧视频f3进行运动估计得到MV2K，如果MV2k中的值有一个大于T2，则直接在第一帧 视频f2和第二帧视频fa3之间插入fa2帧，数器加1，此时计数器为5，连续三帧视频f l、f2 和f3归为运动画面很大的视频(B类)。输出并删除fl和接收并存储f4，输出并删除fal 和接收并存储f5 ；f3、f4和f 5形成新的连续三帧视频，再对(f4，f5)进行运动估计，并对 f3、f4和f5帧进行分类和对应的处理，这时，即使属于运动画面很大的视频(B类)，也不进 行插帧操作。 以上所述仅为本发明的较佳实施方式，本发明并不局限于上述实施方式，在实施 过程中可能存在局部微小的步骤改动，如果对本发明的改动不脱离本发明的精神和范围， 且属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变型。
权利要求
1.一种液晶显示设备的视频处理方法，其特征在于，它包括1)接收待显示的视频信号，进行缓存；2)对缓存的视频信号进行分类；3)对分类后的视频信号进行插帧和丢帧处理；4)完成插帧视频、丢帧视频和原始视频的整合，保持输出视频信号的帧率等于接收的 视频信号的帧率。
2.根据权利要求1所述的液晶显示设备的视频处理方法，其特征在于，所述步骤2)还 包括21)对接收到的连续的视频进行基于块的运动估计，得到运动矢量MV(fn, fn+1)和MV(f n+1，f n+2、‘22)根据运动矢量MV(fn，fn+1)和MV (4+1，4+2)，对原始视频信号进行分类；其中fn、fn+1、和fn+2为连续的三帧原始视频，η为自然数。
3.根据权利要求2所述的液晶显示设备的视频处理方法，其特征在于，所述步骤21) 采用全搜索的基于块的运动估计算法对连续两帧视频进行基于块的运动估计，块的大小为 16x16 ；所述步骤22)对接收的连续三帧视频进行分类，分类后的视频包括运动画面很小的视 频、运动画面适中的视频和运动画面很大的视频，所述运动画面很小的视频是指MV (fn， fn+1)和MV (fn+1，U的值都小于阀值Tl ；所述运动画面适中的视频是指MV (fn，fn+1)和MV (fn+1，D其中一个值大于阀值Tl，小于阀值T2，另一个值小于T2;所述运动画面很大的视 频帧是指MV (fn，fn+1)和MV (fn+1，fn+2)的值至少有一个大于阀值T2，其中阀值Tl小于阀 值T2。
4.根据权利要求3所述的液晶显示设备的视频处理方法，其特征在于，所述步骤3)是 指对运动画面适中的视频不进行处理；对运动画面很小的视频进行丢帧处理，将连续三 帧视频的中间的帧去掉；对运动画面很大的视频进行插帧处理。
5.根据权利要求4所述的液晶显示设备的视频处理方法，其特征在于，所述步骤3)采 用基于双向运动估计和运动补偿的插帧技术对运动画面很大的视频进行插帧处理。
6.根据权利要求4所述的液晶显示设备的视频处理方法，其特征在于，所述步骤3)中 在运动画面很大的视频中所插入的一帧视频不再参与运动估计，直接输出。
7.根据权利要求6所述的液晶显示设备的视频处理方法，其特征在于，它采用一个计 数器进行接收视频、插帧和丢帧控制，计数器的初始值设为0，最大值由存储器的大小决定， 计数器的最小值为2，以保证存储器中至少可形成连续三帧视频。
全文摘要
本发明公开了一种利用插帧和丢帧技术降低视频图像运动速度，从而有效降低液晶显示设备拖尾现象的液晶显示设备的视频处理方法，它包括1)接收待显示的视频信号，进行缓存；2)对连续两帧视频进行运动估计，将连续三帧视频划分为运动画面很小的视频、运动画面适中的视频和运动画面很大的视频；3)对运动画面很小的视频进行丢帧处理，将连续三帧视频的中间帧去掉；对运动画面适中的视频不处理；采用基于双向运动估计和运动补偿的插帧技术对运动画面很大的视频进行插帧处理；4)完成插帧视频、丢帧视频和原始视频的整合，保持输出视频信号的帧率等于接收的视频信号的帧率。本发明不但适用目前主流的50Hz/60Hz液晶显示设备，也适用高端100Hz/120Hz/200Hz/240Hz等液晶显示设备。
文档编号G09G3/36GK102082896SQ201110053110
公开日2011年6月1日 申请日期2011年3月4日 优先权日2011年3月4日
发明者庞志勇, 桂海田, 谭洪舟, 陈弟虎 申请人:中山大学
技术领域：
本发明涉及一种视频处理方法，具体来说，涉及一种针对液晶显示设备的拖尾现 象的视频处理技术。
背景技术：
液晶显示设备(IXD)作为平板显示器技术中发展最为迅速的一种技术，随着其亮 度、对比度和视角等问题的顺利解决，其色彩丰富的优点得到充分发挥，在静态图像和文本 的显示效果方面已经赶上甚至超过了成熟CRT的显示效果，其应用得到了极大的推广。近 几年，使用于PC与TV上的IXD面板大型化正在急速发展，目前，用IXD面板业者正积极改 善动态画质，IXD对运动的图像文字显示方面，还存在一个难于解决的缺陷，这就是拖尾的 问题。近几年来的研究表明，导致IXD显示运动图像拖尾的原因主要有以下四个方面 1)IXD显示材料的慢响应过程；2)IXD显示的“抽样一保持”特性，就是在显示的刷新周期内 保持各像素点的显示亮度；3)人眼视觉系统(HVS)的运动跟踪特性；4)人眼视觉系统(HVS) 的低通滤波特性。目前，国内外的学者提出各种办法来改善这种IXD显示运动图像拖尾的状况，主 要包括(1)提高液晶像素的响应速度；(2)改进IXD的保持特性；(3)采用图像处理技术。 (1)、(2)从物理性能上的提高总是有限度的，例如不能让液晶材料的响应时间无限小，一般 会在100-200ms之间，采用各种技术可以提高到几毫秒，虽然这样的响应速度已经可以比 较好地改善拖尾现象了，可是对于视频图像而言，帧率一般在20-30之间，这时，液晶的保 持特性是引起拖尾的主要因素。研究表明即使液晶材料的响应时间为零，在显示动态视频 的时候，仍然会有拖尾现象。近几年，液晶显示倍频技术(又称帧率上变换)，将液晶显示设备显示信号从原来 的50HZ/60HZ，提高到100HZ/120HZ，甚至200HZ/240HZ，一定程度上解决了液晶显示设备 显示动态视频出现的拖尾现象。倍频技术之所以可以改善拖尾现象，主要原因是根据Hao I^an等在“LCD MOTION BLUR MODELING AND ANALYSIS” 一文中指出液晶显示动态视频图 像的模糊边沿的宽度是和视频图像像素的运动速度成正比的，模糊宽度w和运动速度ν的 关系近似为w=0. 8VT, T为帧周期，ν为图像边沿沿着χ轴运动速度，通过倍频技术可以降 低图像边沿的运动速度，从而有效降低液晶显示设备拖尾现象。液晶显示倍频技术，是指在两帧之间没有本地参考信息的时间点，利用相邻两帧 的信息重构图像。倍频技术的基本原理如图2所示，图中T表示原始图像序列两连续帧之 间的时间间隔，称为帧周期，Ft^1和Fw为输入帧序列，Ft为待插帧，假设fin为输入图像序 列的帧率，f。ut为输出图像序列的帧率引入参数k为帧频提升因子，即f。ut ZkfinJgSFw 中的一点A，经过时间T后，移动了一个运动矢量Vi,运动到了 Fw帧中的B点，P点即为在 待插帧Ft中的待插补点。帧率上变换的不同算法指的就是插入Ft的不同方法，即如何得到 P点的像素值，按照算法是否进行了运动估计和相应的运动补偿，可以把算法分为非运动补偿插帧和运动补偿插帧。非运动补偿插帧算法不考虑物体运动，直接利用相邻帧的各种组 合内插出中间帧，例如帧重复和帧平均。尽管这些方法在图像不存在物体运动时，能够得到 质量可接受的待插帧，但当图像存在物体运大时，插值效果会很差，帧重复会产生运动物体 明显的运动突变现象，而帧平均会在运动物体边缘产生明显的模糊。为了减少运动突变和 模糊，运动补偿插帧算法使用物体运动信息，采用运动估计得到运动矢量，进而运动补偿插 值得到待插帧。采用液晶显示倍频技术虽然是一种改善液晶显示设备拖尾现象的好方法，但是这 种方法会增加液晶显示设备成本，而且，对于目前家庭用户主流采用的50HZ/60HZ的液晶 显示设备是不实用的。因此，有必要提出一种能够改善目前主流液晶显示设备显示动态图 像出现拖尾现象的方法。
发明内容
针对以上的不足，本发明提供了一种采用插帧和丢帧技术有效降低视频图像像 素运动速度，从而有效降低液晶显示设备拖尾现象的液晶显示设备的视频处理方法，它包 括
1)接收待显示的视频信号，进行缓存；
2)对缓存的视频信号进行分类；
3)对分类后的视频信号进行插帧和丢帧处理；
4)完成插帧视频、丢帧视频和原始视频的整合，保持输出视频信号的帧率等于接收的 视频信号的帧率。所述步骤2)还包括
21)对接收到的连续视频进行基于块的运动估计，得到运动矢量MV(fn，fn+1)和MV(fn+1，
fn+2 ).
22)根据运动矢量MV(fn，fn+1)和MV (4+1，4+2)，对原始视频信号进行分类； 其中fn、fn+1、和fn+2为连续的三帧原始视频，η为自然数。所述步骤21)采用全搜索的基于块的运动估计算法对连续两帧视频进行基于块的 运动估计，块的大小为16x16 ；
所述步骤22)对接收的连续三帧视频进行分类，分类后的视频包括运动画面很小的视 频、运动画面适中的视频和运动画面很大的视频，所述运动画面很小的视频是指MV (fn, fn+1)和MV (fn+1，U的值都小于阀值Tl ；所述运动画面适中的视频是指MV (fn，fn+1)和MV (fn+1，D其中一个值大于阀值Tl，小于阀值T2，另一个值小于T2;所述运动画面很大的视 频帧是指MV (fn，fn+1)和MV (fn+1，fn+2)的值至少有一个大于阀值T2，其中阀值Tl小于阀 值T2。所述步骤3)是指对运动画面适中的视频不进行处理；对运动画面很小的视频进 行丢帧处理，将连续三帧视频的中间的帧去掉；对运动画面很大的视频进行插帧处理。所述步骤3)采用基于双向运动估计和运动补偿的插帧技术对运动画面很大的视 频进行插帧处理。所述步骤3)中在运动画面很大的视频中所插入的一帧视频不再参与运动估计，直 接输出。
它采用一个计数器进行接收视频、插帧和丢帧控制，计数器的初始值设为0，最大 值由存储器的大小决定，计数器的最小值为2，以保证存储器中至少可形成连续三帧视频。本发明的有益效果本发明通过对连续三帧视频分成运动画面很小的视频、运 动画面适中的视频和运动画面很大的视频三种类型，对运动画面适中的视频不进行处 理；对运动画面很小的视频进行丢帧处理，将连续三帧视频的中间的帧去掉；对运动画 面很大的视频进行插帧处理，可以有效的降低了画面的运动程度，进而改善了液晶显示 设备的拖尾现象，此外，本发明既适用目前主流的50HZ/60HZ液晶显示设备，也适用高端 100HZ/120HZ/200HZ/240HZ 等液晶显示设备。
图1为本发明的视频处理方法流程图； 图2为传统倍频技术的基本原理图3为本发明视频分类示意图； 图4为本发明视频插帧和丢帧示意图； 图5为本发明双向运动估计原理框图； 图6为本发明视频插帧和丢帧后的视频周期变化示意图。
具体实施例方式下面结合附图对本发明进行进一步阐述。本发明的目的是针对目前主流液晶显示设备在显示动态视频会现的拖尾现象，提 供一种改善拖尾现象的方法，不需更换液晶显示设备，这种方法可以有效改善动态视频显 示的质量。如图1所示，本发明的液晶显示设备的视频处理方法包括 一、接收待显示的视频信号，进行缓存。设置一个用于计算帧数的计数器，以及用于缓存视频的存储器，其中，计数器的初 始值为0，最大值存储器的大小决定，计数器的最小值为2，以保证存储器中至少可形成连 续三帧视频。开始接收视频，并进行存储(视频信号)，每存储一帧视频，计数器加1。二、对缓存的视频信号进行分类。当存储器中缓存两帧视频之后，即计数器等于2，对缓存到存储器的第一帧视频 fl和第二帧视频f2进行基于块的运动估计，得到运动矢量MV (fl，f2);存储器中缓存第三 帧视频f3之后，计数器等于3，对缓存到存储器的第二帧视频f2和第三帧视频f3进行基于 块的运动估计，得到运动矢量MV (f2, f3)，本发明优先考虑采用全搜索的基于块的运动估 计算法进行连续两帧视频基于块的运动估计，块的大小为16x16 ；
根据上述MV (fl，f2)和MV (f2，f3)的结果，对比阀值Tl和T2，对缓存到存储器的连 续三帧视频进行分类，分类后的视频包括运动画面很小的视频(A类)、运动画面很大的视频 (B类)和运动画面适中的视频(C类)。如图3所示，所述运动画面很小的视频是指MV (fl, f2)和MV(f2，f3)的值都小于阀值Tl ；所述运动画面适中的视频是指MV (fl，f2)和MV(f2， f3)其中一个值大于阀值Tl，小于阀值T2，另一个值小于T2 ；所述运动画面很大的视频帧是 指MV (fl, f2)和MV(f2，f3)的值至少有一个大于阀值T2，其中阀值Tl小于阀值T2，阀值Tl和T2值针对不同的视频分辨率而不同，根据实际情况而定，其单位为像素/帧。三、对分类后的视频信号进行插帧和丢帧处理。如图4所示，根据步骤二中连续三帧视频的分类，对于运动画面很小的视频帧，我 们采取丢帧技术，在连续三帧之间去掉中间一帧；对于运动画面很大的视频帧，我们采用插 帧技术，采用基于运动估计和运动补偿插帧技术；对运动画面适中的视频，不处理，直接输 出，且在运动画面很大的视频中所插入的一帧视频不再参与运动估计，直接输出。本发明采用计数器来控制插帧/丢帧的数量，计数器等于3的时候，开始进行视频 输出。每输出一帧视频，将该帧视频从存储器中删除；每插入一帧，计数器加1 ；每丢掉一 帧，计数器减1 ；计数器最小值为2，即当计数器为2的时候，即停止丢帧；计数器的最大值 由存储器的大小和视频帧的大小决定，我们这里设置为5 ；当计数器小于最大值的时候， 如果视频属于运动画面很大的视频帧(画面运动剧烈)，即进行插帧。当计数器等于5的时 候，停止插帧。对运动画面很大的视频(B类)进行插帧处理，这里我们采用基于运动估计和运动 补偿的插帧技术。其中，运动估计如果采用单向运动估计，重叠和空洞问题是不可避免的， 采用双向运动估计，直接估计内插帧的运动矢量，可以解决重叠和空洞问题。对于内插帧的 一个块，通过比较其前一帧中一定位移处的块与其后一帧相反位移处的块，找到使两者最 相似的位移作为该块的运动矢量，双向运动估计原理如图5所示，fn_i、fn和fn+1分别表示 参考帧、内插帧和当前帧，s为表示像素空间位置的二维矢量，ν为每个内插像素的运动估 计矢量，Fn[s]为第η帧的空间s位置的像素值，Biij表示内插帧的一个块。假设其运动矢 量在[1，a]内，对此范围内的每一个候选运动矢量V，计算该块在前帧fy中移动-ν后和 后帧fn+1中移动+ν后对应块每个像素的双向绝对差的和(SBAD of bilateral absolute difference)
SBAD[Btj,v]= Σ 口s-小Us+V]l
在[- a]内搜索到SBAD最小值的ν即为该块的估计运动矢量。由于，插帧器对运动矢量准确性要求比较高，双向运动估计后，再对运动矢量进行 修正，这里我们采用矢量中值滤波来进行运动矢量修正，矢量修正后，需要进行运动补偿， 进行插值来重内插帧，这里我们采用中值滤波的运动补偿方法，插帧块B。ut为
Bout = median (Vtj 3\j,|(B\j +B2ij)j
其中，median函数是中值滤波函数。以目前我国的数字电视为例，进行插帧和丢帧后，视频信号的帧率变化参见图6， 输入视频的帧周期为16. 67ms,当进行插帧后，视频帧周期变为8. 83ms,当进行丢帧后，视 频周期变为33. 34ms 0四、完成插帧视频和原始视频帧的整合，保持输出视频信号的帧率等于接收的视 频信号的帧率。计数器等于3的时候，开始进行视频输出，对存储在存储器中的原始视频、丢帧 视频和插帧视频进行整合，对于目前主流的刷新率50HZ/60HZ液晶显示设备，保持视频 输出流的速度等于原始视频流的输入速率，本实施例中，参见图6，保持视频的帧周期为16.67ms。下面就具体实例说明图像处理的过程，比如说f广f5为输入的连续的五帧视频， 可能存在一下几种情况(下面K为每帧视频的块数)
1、先接收并存储第一帧视频π和第二帧视频f2，对第一帧视频Π和第二帧视频f2进 行运动估计得到MV1K，如果MVik中的值都小于Tl，则存储器接收并存储第三帧视频f3，再对 第二帧视频f2和第三帧视频f3进行运动估计得到MV2K，如果MV2k中的值也都小于Tl，则归 为A类，即运动画面很小的视频，需要进行丢帧处理，丢掉第二帧视频f2，计数器减1，计数 器值为2，此时进行视频输出Π，同时接收并存储视频f4，对(f3，f4)进行运动估计；此时进 行视频输出f3，同时接收并存储视频f5; f3、f4和f5形成新的连续三帧视频，再对(f4， f5)进行运动估计，并对f3、f4和f5帧进行分类和对应的处理，此时计数器为2，连续三帧 视频停止丢帧操作。2、先接收并存储第一帧视频Π和第二帧视频f2，对第一帧视频Π和第二帧视频 f2进行运动估计得到MV1K，如果MVik的值都小于Tl，则存储器接收并存储第三帧视频f3，再 对第二帧视频f2和第三帧视频f3进行运动估计得到MV2K，如果MV2k中的值都大于Tl，而小 于T2，则归为C类，即运动画面适中的视频，不进行处理。由于计数器为3，存储器中视频帧 数为3，直接输出第一帧视频Π，并接收存储第四帧视频f4，f2、f3和f4形成新的连续三 帧视频，再对(f3，f4)进行运动估计，并对f2、f3和f4帧进行分类和对应的处理。3、先接收并存储第一帧视频Π和第二帧视频f2，对第一帧视频Π和第二帧视频 f2进行运动估计得到MV1K，如果MVik的值都小于Tl，则存储器接收并存储第三帧视频f3，再 对第二帧视频f2和第三帧视频f3进行运动估计得到MV2K，如果MV2k中的值有一个大于T2， 则归为B类，即运动画面很大的视频，需要进行插帧处理，在第二帧视频f2和第三帧视频f3 之间插入fa2帧，计数器加1，由于此时计数器为4，存储器中的视频帧数为4 ；输出并删除 fl，同时接收并存储f4，对(f3，f4)进行运动估计；输出并删除f2，同时接收并存储f5，对 (f4，f5)进行运动估计；输出并删除fa2，同时接收并存储f6; f3、f4和f 5形成新的连续 三帧视频，对f3、f4和f5帧进行分类和对应的处理。4、先接收并存储第一帧视频Π和第二帧视频f2，对第一帧视频Π和第二帧视频 f2进行运动估计得到MV1K，如果MVik中的值都大于Tl，而小于T2，则存储器接收并存储第三 帧视频f3，再对第二帧视频f2和第三帧视频f3进行运动估计得到MV2K，如果MV2k中的值都 小于T2或Tl，则归为C类，即运动画面适中的视频，不进行处理，直接输出第一帧视频f 1并 接收存储第四帧视频f4。f2、f3和f 4形成新的连续三帧视频，再对(f3，f4)进行运动估 计，并对f2、f3和f4帧进行分类和对应的处理。5、先接收并存储第一帧视频Π和第二帧视频f2，对第一帧视频Π和第二帧视频 f2进行运动估计得到MV1K，如果MVik中的值有一个大于T2，则直接在第一帧视频Π和第二 帧视频f2之间插入fal帧，计数器加1，此时计数器为3，接收并存储f3，再对第二帧视频 f2和第三帧视频f3进行运动估计得到MV2K，如果MV2k中的值没有一个大于T2，则不进行视 频处理，连续三帧视频Π、f2和f3归为运动画面很大的视频(B类)。输出并删除fl和接 收并存储f4 ；f2、f3和f4形成新的连续三帧视频，再对(f3，f4)进行运动估计，并对f2、f3 和f4帧进行分类和对应的处理。6、先接收并存储第一帧视频Π和第二帧视频f2，对第一帧视频Π和第二帧视频f2进行运动估计得到MV1K，如果MVik中的值有一个大于T2，则直接在第一帧视频Π和第二 帧视频f2之间插入fal帧，计数器加1，此时计数器为3，接收并存储f3，再对第二帧视频f2 和第三帧视频f3进行运动估计得到MV2K，如果MV2k中的值有一个大于T2，则直接在第一帧 视频f2和第二帧视频fa3之间插入fa2帧，数器加1，此时计数器为5，连续三帧视频f l、f2 和f3归为运动画面很大的视频(B类)。输出并删除fl和接收并存储f4，输出并删除fal 和接收并存储f5 ；f3、f4和f 5形成新的连续三帧视频，再对(f4，f5)进行运动估计，并对 f3、f4和f5帧进行分类和对应的处理，这时，即使属于运动画面很大的视频(B类)，也不进 行插帧操作。 以上所述仅为本发明的较佳实施方式，本发明并不局限于上述实施方式，在实施 过程中可能存在局部微小的步骤改动，如果对本发明的改动不脱离本发明的精神和范围， 且属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变型。
权利要求
1.一种液晶显示设备的视频处理方法，其特征在于，它包括1)接收待显示的视频信号，进行缓存；2)对缓存的视频信号进行分类；3)对分类后的视频信号进行插帧和丢帧处理；4)完成插帧视频、丢帧视频和原始视频的整合，保持输出视频信号的帧率等于接收的 视频信号的帧率。
2.根据权利要求1所述的液晶显示设备的视频处理方法，其特征在于，所述步骤2)还 包括21)对接收到的连续的视频进行基于块的运动估计，得到运动矢量MV(fn, fn+1)和MV(f n+1，f n+2、‘22)根据运动矢量MV(fn，fn+1)和MV (4+1，4+2)，对原始视频信号进行分类；其中fn、fn+1、和fn+2为连续的三帧原始视频，η为自然数。
3.根据权利要求2所述的液晶显示设备的视频处理方法，其特征在于，所述步骤21) 采用全搜索的基于块的运动估计算法对连续两帧视频进行基于块的运动估计，块的大小为 16x16 ；所述步骤22)对接收的连续三帧视频进行分类，分类后的视频包括运动画面很小的视 频、运动画面适中的视频和运动画面很大的视频，所述运动画面很小的视频是指MV (fn， fn+1)和MV (fn+1，U的值都小于阀值Tl ；所述运动画面适中的视频是指MV (fn，fn+1)和MV (fn+1，D其中一个值大于阀值Tl，小于阀值T2，另一个值小于T2;所述运动画面很大的视 频帧是指MV (fn，fn+1)和MV (fn+1，fn+2)的值至少有一个大于阀值T2，其中阀值Tl小于阀 值T2。
4.根据权利要求3所述的液晶显示设备的视频处理方法，其特征在于，所述步骤3)是 指对运动画面适中的视频不进行处理；对运动画面很小的视频进行丢帧处理，将连续三 帧视频的中间的帧去掉；对运动画面很大的视频进行插帧处理。
5.根据权利要求4所述的液晶显示设备的视频处理方法，其特征在于，所述步骤3)采 用基于双向运动估计和运动补偿的插帧技术对运动画面很大的视频进行插帧处理。
6.根据权利要求4所述的液晶显示设备的视频处理方法，其特征在于，所述步骤3)中 在运动画面很大的视频中所插入的一帧视频不再参与运动估计，直接输出。
7.根据权利要求6所述的液晶显示设备的视频处理方法，其特征在于，它采用一个计 数器进行接收视频、插帧和丢帧控制，计数器的初始值设为0，最大值由存储器的大小决定， 计数器的最小值为2，以保证存储器中至少可形成连续三帧视频。
全文摘要
本发明公开了一种利用插帧和丢帧技术降低视频图像运动速度，从而有效降低液晶显示设备拖尾现象的液晶显示设备的视频处理方法，它包括1)接收待显示的视频信号，进行缓存；2)对连续两帧视频进行运动估计，将连续三帧视频划分为运动画面很小的视频、运动画面适中的视频和运动画面很大的视频；3)对运动画面很小的视频进行丢帧处理，将连续三帧视频的中间帧去掉；对运动画面适中的视频不处理；采用基于双向运动估计和运动补偿的插帧技术对运动画面很大的视频进行插帧处理；4)完成插帧视频、丢帧视频和原始视频的整合，保持输出视频信号的帧率等于接收的视频信号的帧率。本发明不但适用目前主流的50Hz/60Hz液晶显示设备，也适用高端100Hz/120Hz/200Hz/240Hz等液晶显示设备。
文档编号G09G3/36GK102082896SQ201110053110
公开日2011年6月1日 申请日期2011年3月4日 优先权日2011年3月4日
发明者庞志勇, 桂海田, 谭洪舟, 陈弟虎 申请人:中山大学
最新回复(0)