基于图像构建的视频显示系统的制作方法
专利名称：基于图像构建的视频显示系统的制作方法
技术领域：
本发明涉及图像和视频显示器，更特别地涉及用作静态图像和/或视频监视器的平板显示器，以及在这些显示设备上生成和驱动图像和视频数据的方法。
背景技术：
诸如等离子体显示器、液晶显示器(IXD)和发光二极管(LED)显示器的平板显示器通常使用像素寻址方案，其中通过列和行选择信号单独地对像素寻址。通常，对于布置为 M行和N列的MXN像素或者图片元素，将存在M个行选择线和N个数据线。当特定行被选择时，N个数据线被加电到所需的像素电压或电流以将图像信息加载到显示元件。在通常的有源矩阵型LCD实施例中，该信息是对特定像素唯一的电容器中存储的电压(参见图1)。 当行和列信号解除选择(de-select)像素时，图像信息被保留在电容器上。在无源矩阵型 LCD实施例中，行和列被布置为电极带，其构成按彼此垂直的方式取向的顶部和底部金属平面(参见图2)。单个或多个行线和列线是用一个或多个交叉点选择的，所述交叉点定义具有瞬时视频信息的像素。在该情况中，行或列信号将具有与像素信息成比例的施加电压。在发光二极管显示器类型实施例中，信息是通过像素LED的瞬时电流，其导致与施加电流成比例的光发射。可以进行LED阵列的有源和无源矩阵驱动。在所提及的所有这些显示器类型中，像素分辨率等于或小于像素的几何维度(dimension).例如，在VGA分辨率屏幕中，对于每个颜色分量，我们需要实施至少640X400单独像素。每个视频帧的传输到显示布置的总信息则被给出为MXNX3X位宽度，其中因子3来自构成图像的三种基本颜色，即红色、 绿色和蓝色，并且位宽度是根据像素值的最大分辨率确定的。用于商用显示系统的最常见的像素值分辨率是每种颜色8位。例如，对于VGA分辨率显示器，每个图像帧的需要传输的总信息将是640X400X3X8，等于6兆位，所述图像帧以特定帧刷新速率进行刷新。该帧刷新速率可以是对、30、50、60等帧每秒(fps)。屏幕的较快速率能力通常用于消除运动模糊，其中在商用设备中可以找到速率为120或MO fps的实施方式。对于灰度图像，由于仅需要亮度信息，因此信息内容减少到1/3。
视屏和静态图像通常被转换为用于存储和传送的压缩形式，诸如MPEG4、H. 264, JPEG 2000等格式和系统。图像压缩方法是基于数据的正交函数分解、数据冗余性和人眼对空间特征的特定敏感特性。常见的图像压缩方案牵涉使用如JPEG或运动JPEG中的直接余弦变换、或者离散Walsh变换。视频解码器用于将作为一系列正交基函数系数的压缩图像信息转换为行和列像素信息以产生图像信息，该图像信息将例如是以如VGA分辨率显示器中的6兆位每帧。然而，从信息内容的观点来看，由于图像最初已被处理为压缩形式，因此大部分该视频信息实际上是冗余的，或者具有人眼对其不敏感的信息内容。所有这些技术与软件或数字处理领域中的显示系统的部件相关，并且包括MXN像素的实际光学显示器的结构不会因用于视频格式的任何技术而改变，除了像素数目和帧速率以外。
空间光调制器(SLM)是改变二维中的透射光束或反射光束的幅度或相位或者此两者的设备，由此将图像编码为另外的均勻光照。图像像素可以通过电气或光学寻址手段而写入设备。一种简单形式的空间光调制器是运动图片胶片，其中图像通过光化学手段被编码在涂银的胶片上。IXD系统也是特定种类的SLM，使得每个像素信息通过电气手段被编码到具体位置，并且通常在整个显示区域上均勻的背光光源的空间轮廓(profile)因像素的透射率而改变。
本领域中的现有技术通常解决眼前问题的单个部分。例如，图像压缩和解压缩技术未被直接应用在显示元件上，而是仅应用于显示用数据的传送、存储以及图像翻新和准备(如Go，2000中的)。可以实施并入空间光调制的系统，其中像素被打开和关闭以透射背光从而具有各种程度的调制(例如，如May，2000中的多行选择)，或者背光和图像调制两者都可以用于增强图像的分辨率(如Margulis，2007和Ward，2008中的)。在尤其后者的应用及其相关公开中，没有一种图像构建方法在合成图像帧时并入时间维度，这是本公开的主题。由此表示在逐帧的基础上逐像素地显示图像的常规方法的这两种系统未受益于接口的固有简化以及数据吞吐量一其被嵌入到传送视频所用的图像压缩过程中。
图1描绘了在有源矩阵平板显示器具体地是有源矩阵液晶显示器中使用的像素选择方法。通过行和列选择信号对每个像素进行寻址，通过所述选择信号中的任一个来施加视频信息。对于MXN像素系统，存在M个行选择信号以及N个数据线。数据(视频信息) 由数模转换器生成，并且电压存储在每个像素的电容器中。电压被施加到由诸如ITO(氧化铟钨)的透明电极组成的两个平行板。
图2描绘了在无源矩阵LCD显示器中采用的像素选择方法。存在M个行选择信号和N个数据信号。信号定时确定了哪个位置将具有施加在两个电极之间的瞬时电压，其间的液晶分子将对该瞬时电压作出反应。
图3示出了以针对4X4像素分组(grouping)的掩模图案(mask pattern)的形式的、空间光调制器将实施的基本函数。
图4示出了以针对8 X 8像素分组的掩模图案的形式的、空间光调制器将实施的基本函数。
图5示出了针对2X2像素分组的掩蔽图案(masking pattern)，其中未使用数据压缩。由于一次打开一个像素，因此光效率减少到1/4。
图6示出了采用粗糙像素化视频源、空间光调制器、用于图像处理的计算设备、定时生成器块的视频显示系统的框图。
图7示出了用于诸如有源矩阵LCD显示器的具有长切换速度的粗糙显示器类型的时隙优化方法。反映确定分量的位准确性的量化矩阵，可以使每个相应时隙分配与所需的精度成比例，使得较大时隙被分配给需要最高精度的Dtltl分量并且较小时隙被分配给其他分量。
图8示出了使用LED阵列作为光源、使用无源矩阵IXD作为SLM的显示系统的细节。
图9示出了针对4X4像素分组的用作空间光调制器的无源矩阵IXD的操作细节。 顶部透明电极(例如，ΙΤ0)层150由4个选择线wert(i) 155驱动，并且底部ITO层160 由4个选择线vhorz (i) 165驱动。为了实施不同的基函数Wc 至W33，不同的电压被施加到 155 和 165。
图10示出了针对4X4像素分组的施加到用作空间光调制器的无源矩阵IXD 的电压波形、以及对应的空间基函数Wij。对于每个后继帧，电压图案可以是先前帧的逆 (inverse)。
本发明可以具有来自附图中描绘的具体实施例的各种修改和替选形式。这些附图不把本发明限于所公开的具体实施例。本发明涵盖下面要求保护的所有修改、改进和替选实施方式。
具体实施例方式本发明的一个方面是一种显示方法和系统，其通过在使用以高帧速率操作的粗糙像素化光阵列生成的子帧中连续地显示多个图像分量来构建图像和/或视频；以及一种空间光调制器，其在相同帧速率下以比底层光源更精细的分辨率产生与正交基函数相关的特定图案。图像构建系统利用使用图像压缩分量，由此通过使用空间光调制器对视频图像编码而使这些分量分布在时域中。在每个帧中，待驱动的源图像被首先一起分组为由nx X ny 像素组成的特定尺寸。例如，我们可以将图像分为4X4或8X8像素、4X1、8X1或者任何其他任意组尺寸的矩形分组，只要我们可以在一个或两个维度中生成正交基函数。1X1的情况没有任何压缩益处，并且对应于常规显示系统中采用的方法。分组尺寸受限于帧速率， 帧速率受限于这里描述的分量的切换速度和图像压缩比。每个图像分组，或者从此处起将被称为的宏像素，被分解为与一系列所述正交图像基函数成比例的分量(正交分解)。这些图像函数是在显示硬件中使用空间光调制器实施的，所述空间光调制器调制底层光的幅度和/或相位，使得其具有正交图像基函数的所期望的空间轮廓。图3中示出了针对4X4像素分组的图像基函数，而图4中示出了针对8X8像素分组的图像基函数。所示出的特定基函数还被统称为Walsh函数。诸如直接余弦变换基函数的其他基函数也可以用于基函数图案，只要空间光调制器可以产生余弦状幅度轮廓。对于4X1或8X1分组，基函数是每个图的第一行中的那些基函数。在这些图中，黑色区域表示0%的透射率或者阻挡光，而白色区域表示理想100%的透射率。注意，该定义不同于图像压缩技术中使用的定义，因为基函数的值为-1或+1，而非0或+1。这里描述了一种校正该差异的方法。对于首先的4X4像素分组，存在16个基函数，而对于后面的8 X 8像素分组，存在64个基函数。将基函数表示为 wuv(x, y)，其中u和ν是基函数索引，并且X，y是跨越像素分组维度的区域的直角坐标。将 fc(x, y)表示为针对颜色分量的二维图像信息。这里，上标c表示颜色红色、绿色或蓝色(原色)。该方法对于灰度图像是相同的，在该情况中f(x，y)将与图像的亮度成比例。使用空间光调制器的宏像素区域的快速掩蔽还可以用于如图5中表明的无损图像构建，这从数据速率的观点来看将是不太高效的并且与基于压缩的方法相比具有对空间光调制器切换速度更严格的限制。在该情况中，由于宏像素分组当中的仅一个像素通过掩蔽图案被透射，因此该实施方式的功率效率非常低。对于2X2像素分组，最大平均透射率是25%，而对于4X4 和8X8分组，最大平均透射率更小，原因在于一次透射宏像素中的16个或64个像素当中的一个像素。对于基于图像分解的方案，对于与Dcitl相比是小的Duv的非零空间分量，透射光在一半像素中被阻挡。像素的平均透射率值总是大于75% (未考虑到诸如偏振器损失的其他实施损失)。
任何图像可以被分解为分量，这些分量可以通过使图像数据与像图3和图4中示出的那些的基函数积分来获得。这两个图中的左上部的函数是单值函数W,当我们向右前进时，函数将在水平方向上变化，对于较高索引编号Ov具有较快变化。较高索引与具有较高空间频率的图像函数相关。相似地，基函数在竖直方向上的变化由具有索引UO的竖直空间频率分量描述。其他基函数分量可以是对角分量，诸如Wii以及非对角分量Wij，其中i和 j是非零并且不同。对于作为空间离散函数的视频像素阵列，该积分具有求和的形式。将图像分量表示为Dcuv，其中u和ν是两个维度中的基函数索引，并且c表示颜色分量红色、绿色或蓝色。随后根据下式确定Dcuv
本发明是基于式1的逆变换，即图像fix，y)可以被构建为DcuJwuv的求和。
权利要求
1.一种视频系统，包括视频显示器，具有MXN粗糙像素的阵列，其中每个粗糙像素包括用于颜色操作的原色光源的集合或者用于灰度操作的白色光源，其中每个光源的强度是可控的；空间光调制器，与所述MXN粗糙像素的阵列第一视频显示对准以生成用于阻挡或通过光的空间掩蔽图案，所述空间掩蔽图案具有比粗糙像素尺寸精细P倍的分辨率；图像处理器，被耦合为接收将显示的视频信息、控制所述空间光调制器以生成所述空间掩蔽图案并且生成图像分量以为所述MXN粗糙像素的每一个中的一个或多个光源提供对应于由所述空间光调制器生成的所述空间掩蔽图案的驱动信息；由此，得到的视频系统能够以高达比MXN粗糙像素精细ρ倍的分辨率显示图像。
2.根据权利要求1所述的视频系统，其中所述视频系统能够显示视频和静态图像。
3.根据权利要求1所述的视频系统，其中所述图形处理器针对每个粗糙像素将视频信息分解为与一系列正交图像基函数成比例的分量，并且所述空间光调制器生成用于图像重建的与正交基函数对应的空间掩蔽图案。
4.根据权利要求3所述的视频系统，其中对于灰度图像，所述图像处理器针对每个粗糙像素计算与图像f^x，y)相关的图像分量Duv，其中u和ν是针对基函数的索引并且χ和 y是粗糙像素的坐标，所述图像处理器通过使用对应于^uv(χ, y)的空间光调制器来施加光强度掩模，其中W = (w+1)/2并且w是正交基函数，并且所述图像处理器为针对每个粗糙像素的光源提供与Duv成比例的驱动信息。
5.根据权利要求4所述的视频系统，其中对于为负的图像分量Duv，使用相应掩蔽图案的逆。
6.根据权利要求3所述的视频系统，其中对于彩色图像，所述图像处理器针对每个粗糙像素的每种颜色计算与图像fix，y)相关的图像分量Dcuv，其中u和ν是针对基函数的索引并且χ和y是粗糙像素的坐标，所述图像处理器通过使用对应于^uv(χ，y)的空间光调制器来施加光强度掩模，其中^ = (w+1)/2并且w是正交基函数，并且所述图像处理器为每个粗糙像素的相应颜色光源提供与Duv成比例的驱动信息。
7.根据权利要求6所述的视频系统，其中对于为负的图像分量Dcuv，使用相应掩蔽图案的逆。
8.根据权利要求1所述的视频系统，其中所述光源是原色固态光源。
9.根据权利要求8所述的视频系统，其中所述原色固态光源是红色、绿色和蓝色LED光源。
10.根据权利要求1所述的视频系统，其中所述空间光调制器是有源或无源矩阵液晶空间光调制器。
11.根据权利要求3所述的视频系统，其中所述空间光调制器被配置为针对所有粗糙像素同时生成相同的空间掩蔽图案。
12.根据权利要求3所述的视频系统，其中所述空间光调制器被配置为针对多个粗糙像素的阵列同时生成相同的空间掩蔽图案，所述多个粗糙像素的阵列是所述MXN粗糙像素的阵列的子阵列，由此所述空间掩蔽图案的定时对于任何一个子阵列内的每个粗糙像素将是同时的，但是不同的子阵列内的每个图案的定时能够是不同的。
13.根据权利要求3所述的视频系统，其中所述空间光调制器被配置为针对每个粗糙像素分立地生成空间掩蔽图案，由此针对不同的粗糙像素的每个图案的定时能够是不同的。
14.根据权利要求3所述的视频系统，其中所述空间掩蔽图案具有低阶和高阶空间频率分量，并且其中所述图像处理器向具有低阶空间频率分量的空间掩蔽图案分配较多时间并且向具有高阶空间频率分量的空间掩蔽图案分配较少时间。
15.根据权利要求3所述的视频系统，其中所述空间掩蔽图案具有低阶和高阶空间频率分量，并且其中所述图像处理器被配置为至少一次忽略至少一个高阶空间掩蔽图案。
16.根据权利要求15所述的视频系统，其中当忽略至少一个高阶空间掩蔽图案时，所述图像处理器向至少一个未被忽略的空间掩蔽图案分配较多时间。
17.根据权利要求15所述的视频系统，其中将被忽略的至少一个高阶空间掩蔽图案由所述图像处理器响应于针对该空间掩蔽图案的图像分量来选择。
18.根据权利要求1所述的视频系统，其中所述空间掩蔽图案具有低阶和高阶空间频率分量，并且其中所述图像处理器被配置为通过使用对应于所述低阶空间频率分量的可用图像系数的子集来减小施加到所述视频系统的视频数据速率。
19.根据权利要求12所述的视频系统，其中通过使用特定阈值在所述图像处理器中动态地确定针对显示器上的任何给定粗糙像素的将用于重现图像的图像分量的数目，其中当显示子阵列时，所述特定阈值以下的分量被放弃。
20.根据权利要求3所述的视频系统，其中所述空间掩蔽图案具有低阶和高阶空间频率分量，并且其中用由量化矩阵确定的位精度来描述针对每个粗糙像素的图像分量，所述量化矩阵向与低阶掩蔽图案关联的图像分量分配较多位并且向与高阶掩蔽图案关联的图像分量分配较少位，由此减小总视频数据速率。
21.—种显示视频图像的方法，包括将视频图像分为MXN粗糙像素的阵列，其中每个粗糙像素包括用于颜色操作的原色光源的集合或者用于灰度操作的白色光源；提供空间光调制器，其与所述MXN粗糙像素的阵列第一视频显示对准以生成用于阻挡或通过光的空间掩蔽图案，所述空间掩蔽图案具有比粗糙像素尺寸精细P倍的分辨率；控制所述空间光调制器以生成所述空间掩蔽图案并且生成图像分量以为所述MXN粗糙像素的每一个中的一个或多个光源提供对应于由所述空间光调制器生成的所述空间掩蔽图案的驱动信息；由此，得到的视频图像以高达比MXN粗糙像素精细ρ倍的分辨率显示。
22.根据权利要求21所述的方法，其中针对每个粗糙像素将视频信息分解为与一系列正交图像基函数成比例的分量，并且控制所述空间光调制器以生成用于图像重建的与正交基函数对应的空间掩蔽图案。
23.根据权利要求22所述的方法，其中对于灰度图像，针对每个粗糙像素计算与图像 fc(x, y)相关的图像分量Duv，其中u和ν是针对基函数的索引并且χ和y是粗糙像素的坐标，通过使用对应于Zuv(x，y)的空间光调制器来施加光强度掩模，其中^ = (w+l)/2并且 w是正交基函数，并且与Duv成比例的驱动信息被施加到针对每个粗糙像素的光源，被提供给所述光源。
24.根据权利要求23所述的方法，其中对于为负的图像分量Duv，使用相应掩蔽图案的逆。
25.根据权利要求22所述的方法，其中对于彩色图像，针对每个粗糙像素的每种颜色计算与图像f (x, y)相关的图像分量Dcuv，其中u和ν是针对基函数的索引并且χ和y是粗糙像素的坐标，通过使用对应于^uv(x，y)的空间光调制器来施加光强度掩模，其中^ = (w+1) /2并且w是正交基函数，并且将针对每个粗糙像素的相应颜色光源的与Duv成比例的驱动信息提供给光源。
26.根据权利要求25所述的方法，其中对于为负的图像分量Duv，使用相应掩蔽图案的逆。
27.根据权利要求21所述的方法，其中所述光源是原色固态光源。
28.根据权利要求27所述的方法，其中所述原色固态光源是红色、绿色和蓝色LED光源。
29.根据权利要求21所述的方法，其中使用有源或无源矩阵液晶空间光调制器。
30.根据权利要求22所述的方法，其中针对所有粗糙像素同时生成相同的空间掩蔽图案。
31.根据权利要求22所述的方法，其中针对多个粗糙像素的阵列同时生成相同的空间掩蔽图案，所述多个粗糙像素的阵列是所述MXN粗糙像素的阵列的子阵列，由此所述空间掩蔽图案的定时对于任何一个子阵列内的每个粗糙像素将是同时的，但是不同的子阵列内的每个图案的定时是不同的。
32.根据权利要求22所述的方法，其中所述空间光调制器被配置为针对每个粗糙像素分立地生成空间掩蔽图案，由此针对不同的粗糙像素的每个图案的定时能够是不同的。
33.根据权利要求22所述的方法，其中所述空间掩蔽图案具有低阶和高阶空间频率分量，并且其中向具有低阶空间频率分量的空间掩蔽图案分配较多时间并且向具有高阶空间频率分量的空间掩蔽图案分配较少时间。
34.根据权利要求22所述的方法，其中所述空间掩蔽图案具有低阶和高阶空间频率分量，并且其中至少一次忽略至少一个高阶空间掩蔽图案。
35.根据权利要求34所述的方法，其中当忽略至少一个高阶空间掩蔽图案时，向至少一个未被忽略的空间掩蔽图案分配较多时间。
36.根据权利要求34所述的方法，其中将被忽略的至少一个高阶空间掩蔽图案是响应于针对该空间掩蔽图案的图像分量而选择的。
37.根据权利要求22所述的方法，其中所述空间掩蔽图案具有低阶和高阶空间频率分量，并且其中通过使用对应于所述低阶空间频率分量的可用图像系数的子集来减小视频数据速率。
38.根据权利要求31所述的方法，其中通过使用特定阈值动态地确定针对任何给定粗糙像素的将用于重现图像的图像分量的数目，其中当显示子阵列时，所述特定阈值以下的分量被放弃。
39.根据权利要求21所述的方法，其中所述空间掩蔽图案具有低阶和高阶空间频率分量，并且其中用由量化矩阵确定的位精度来描述针对每个粗糙像素的图像分量，所述量化矩阵向与低阶掩蔽图案关联的图像分量分配较多位，并且向与高阶掩蔽图案关联的图像分量分配较少位，由此减小总视频数据速率。
全文摘要
公开了一种基于通过对图像的正交基函数分量进行显示来构建图像的视频显示系统。该系统包括同时对准和驱动的两个显示分量。第一显示分量是粗糙像素阵列。第二显示分量是空间光调制器，其几何细节比第一像素阵列更精细。总体系统通过使用正交图像基函数分量的时域显示以最小的图像质量损失重建待以第二显示分量的较精细几何细节显示的预期视频。得到的系统具有显著减少的互连复杂性和有源电路元件数目，并且如果使用有损图像重建方案，还需要显著较小的视频数据速率。这里描述了利用这些概念和方法来驱动显示器的具有基于LED的显示器和基于LCD的空间光调制器的实施例。
文档编号G09G3/34GK102187383SQ200980134961
公开日2011年9月14日 申请日期2009年7月9日 优先权日2008年7月9日
发明者S·E·甘塞 申请人:奥斯坦多科技公司
技术领域：
本发明涉及图像和视频显示器，更特别地涉及用作静态图像和/或视频监视器的平板显示器，以及在这些显示设备上生成和驱动图像和视频数据的方法。
背景技术：
诸如等离子体显示器、液晶显示器(IXD)和发光二极管(LED)显示器的平板显示器通常使用像素寻址方案，其中通过列和行选择信号单独地对像素寻址。通常，对于布置为 M行和N列的MXN像素或者图片元素，将存在M个行选择线和N个数据线。当特定行被选择时，N个数据线被加电到所需的像素电压或电流以将图像信息加载到显示元件。在通常的有源矩阵型LCD实施例中，该信息是对特定像素唯一的电容器中存储的电压(参见图1)。 当行和列信号解除选择(de-select)像素时，图像信息被保留在电容器上。在无源矩阵型 LCD实施例中，行和列被布置为电极带，其构成按彼此垂直的方式取向的顶部和底部金属平面(参见图2)。单个或多个行线和列线是用一个或多个交叉点选择的，所述交叉点定义具有瞬时视频信息的像素。在该情况中，行或列信号将具有与像素信息成比例的施加电压。在发光二极管显示器类型实施例中，信息是通过像素LED的瞬时电流，其导致与施加电流成比例的光发射。可以进行LED阵列的有源和无源矩阵驱动。在所提及的所有这些显示器类型中，像素分辨率等于或小于像素的几何维度(dimension).例如，在VGA分辨率屏幕中，对于每个颜色分量，我们需要实施至少640X400单独像素。每个视频帧的传输到显示布置的总信息则被给出为MXNX3X位宽度，其中因子3来自构成图像的三种基本颜色，即红色、 绿色和蓝色，并且位宽度是根据像素值的最大分辨率确定的。用于商用显示系统的最常见的像素值分辨率是每种颜色8位。例如，对于VGA分辨率显示器，每个图像帧的需要传输的总信息将是640X400X3X8，等于6兆位，所述图像帧以特定帧刷新速率进行刷新。该帧刷新速率可以是对、30、50、60等帧每秒(fps)。屏幕的较快速率能力通常用于消除运动模糊，其中在商用设备中可以找到速率为120或MO fps的实施方式。对于灰度图像，由于仅需要亮度信息，因此信息内容减少到1/3。
视屏和静态图像通常被转换为用于存储和传送的压缩形式，诸如MPEG4、H. 264, JPEG 2000等格式和系统。图像压缩方法是基于数据的正交函数分解、数据冗余性和人眼对空间特征的特定敏感特性。常见的图像压缩方案牵涉使用如JPEG或运动JPEG中的直接余弦变换、或者离散Walsh变换。视频解码器用于将作为一系列正交基函数系数的压缩图像信息转换为行和列像素信息以产生图像信息，该图像信息将例如是以如VGA分辨率显示器中的6兆位每帧。然而，从信息内容的观点来看，由于图像最初已被处理为压缩形式，因此大部分该视频信息实际上是冗余的，或者具有人眼对其不敏感的信息内容。所有这些技术与软件或数字处理领域中的显示系统的部件相关，并且包括MXN像素的实际光学显示器的结构不会因用于视频格式的任何技术而改变，除了像素数目和帧速率以外。
空间光调制器(SLM)是改变二维中的透射光束或反射光束的幅度或相位或者此两者的设备，由此将图像编码为另外的均勻光照。图像像素可以通过电气或光学寻址手段而写入设备。一种简单形式的空间光调制器是运动图片胶片，其中图像通过光化学手段被编码在涂银的胶片上。IXD系统也是特定种类的SLM，使得每个像素信息通过电气手段被编码到具体位置，并且通常在整个显示区域上均勻的背光光源的空间轮廓(profile)因像素的透射率而改变。
本领域中的现有技术通常解决眼前问题的单个部分。例如，图像压缩和解压缩技术未被直接应用在显示元件上，而是仅应用于显示用数据的传送、存储以及图像翻新和准备(如Go，2000中的)。可以实施并入空间光调制的系统，其中像素被打开和关闭以透射背光从而具有各种程度的调制(例如，如May，2000中的多行选择)，或者背光和图像调制两者都可以用于增强图像的分辨率(如Margulis，2007和Ward，2008中的)。在尤其后者的应用及其相关公开中，没有一种图像构建方法在合成图像帧时并入时间维度，这是本公开的主题。由此表示在逐帧的基础上逐像素地显示图像的常规方法的这两种系统未受益于接口的固有简化以及数据吞吐量一其被嵌入到传送视频所用的图像压缩过程中。
图1描绘了在有源矩阵平板显示器具体地是有源矩阵液晶显示器中使用的像素选择方法。通过行和列选择信号对每个像素进行寻址，通过所述选择信号中的任一个来施加视频信息。对于MXN像素系统，存在M个行选择信号以及N个数据线。数据(视频信息) 由数模转换器生成，并且电压存储在每个像素的电容器中。电压被施加到由诸如ITO(氧化铟钨)的透明电极组成的两个平行板。
图2描绘了在无源矩阵LCD显示器中采用的像素选择方法。存在M个行选择信号和N个数据信号。信号定时确定了哪个位置将具有施加在两个电极之间的瞬时电压，其间的液晶分子将对该瞬时电压作出反应。
图3示出了以针对4X4像素分组(grouping)的掩模图案(mask pattern)的形式的、空间光调制器将实施的基本函数。
图4示出了以针对8 X 8像素分组的掩模图案的形式的、空间光调制器将实施的基本函数。
图5示出了针对2X2像素分组的掩蔽图案(masking pattern)，其中未使用数据压缩。由于一次打开一个像素，因此光效率减少到1/4。
图6示出了采用粗糙像素化视频源、空间光调制器、用于图像处理的计算设备、定时生成器块的视频显示系统的框图。
图7示出了用于诸如有源矩阵LCD显示器的具有长切换速度的粗糙显示器类型的时隙优化方法。反映确定分量的位准确性的量化矩阵，可以使每个相应时隙分配与所需的精度成比例，使得较大时隙被分配给需要最高精度的Dtltl分量并且较小时隙被分配给其他分量。
图8示出了使用LED阵列作为光源、使用无源矩阵IXD作为SLM的显示系统的细节。
图9示出了针对4X4像素分组的用作空间光调制器的无源矩阵IXD的操作细节。 顶部透明电极(例如，ΙΤ0)层150由4个选择线wert(i) 155驱动，并且底部ITO层160 由4个选择线vhorz (i) 165驱动。为了实施不同的基函数Wc 至W33，不同的电压被施加到 155 和 165。
图10示出了针对4X4像素分组的施加到用作空间光调制器的无源矩阵IXD 的电压波形、以及对应的空间基函数Wij。对于每个后继帧，电压图案可以是先前帧的逆 (inverse)。
本发明可以具有来自附图中描绘的具体实施例的各种修改和替选形式。这些附图不把本发明限于所公开的具体实施例。本发明涵盖下面要求保护的所有修改、改进和替选实施方式。
具体实施例方式本发明的一个方面是一种显示方法和系统，其通过在使用以高帧速率操作的粗糙像素化光阵列生成的子帧中连续地显示多个图像分量来构建图像和/或视频；以及一种空间光调制器，其在相同帧速率下以比底层光源更精细的分辨率产生与正交基函数相关的特定图案。图像构建系统利用使用图像压缩分量，由此通过使用空间光调制器对视频图像编码而使这些分量分布在时域中。在每个帧中，待驱动的源图像被首先一起分组为由nx X ny 像素组成的特定尺寸。例如，我们可以将图像分为4X4或8X8像素、4X1、8X1或者任何其他任意组尺寸的矩形分组，只要我们可以在一个或两个维度中生成正交基函数。1X1的情况没有任何压缩益处，并且对应于常规显示系统中采用的方法。分组尺寸受限于帧速率， 帧速率受限于这里描述的分量的切换速度和图像压缩比。每个图像分组，或者从此处起将被称为的宏像素，被分解为与一系列所述正交图像基函数成比例的分量(正交分解)。这些图像函数是在显示硬件中使用空间光调制器实施的，所述空间光调制器调制底层光的幅度和/或相位，使得其具有正交图像基函数的所期望的空间轮廓。图3中示出了针对4X4像素分组的图像基函数，而图4中示出了针对8X8像素分组的图像基函数。所示出的特定基函数还被统称为Walsh函数。诸如直接余弦变换基函数的其他基函数也可以用于基函数图案，只要空间光调制器可以产生余弦状幅度轮廓。对于4X1或8X1分组，基函数是每个图的第一行中的那些基函数。在这些图中，黑色区域表示0%的透射率或者阻挡光，而白色区域表示理想100%的透射率。注意，该定义不同于图像压缩技术中使用的定义，因为基函数的值为-1或+1，而非0或+1。这里描述了一种校正该差异的方法。对于首先的4X4像素分组，存在16个基函数，而对于后面的8 X 8像素分组，存在64个基函数。将基函数表示为 wuv(x, y)，其中u和ν是基函数索引，并且X，y是跨越像素分组维度的区域的直角坐标。将 fc(x, y)表示为针对颜色分量的二维图像信息。这里，上标c表示颜色红色、绿色或蓝色(原色)。该方法对于灰度图像是相同的，在该情况中f(x，y)将与图像的亮度成比例。使用空间光调制器的宏像素区域的快速掩蔽还可以用于如图5中表明的无损图像构建，这从数据速率的观点来看将是不太高效的并且与基于压缩的方法相比具有对空间光调制器切换速度更严格的限制。在该情况中，由于宏像素分组当中的仅一个像素通过掩蔽图案被透射，因此该实施方式的功率效率非常低。对于2X2像素分组，最大平均透射率是25%，而对于4X4 和8X8分组，最大平均透射率更小，原因在于一次透射宏像素中的16个或64个像素当中的一个像素。对于基于图像分解的方案，对于与Dcitl相比是小的Duv的非零空间分量，透射光在一半像素中被阻挡。像素的平均透射率值总是大于75% (未考虑到诸如偏振器损失的其他实施损失)。
任何图像可以被分解为分量，这些分量可以通过使图像数据与像图3和图4中示出的那些的基函数积分来获得。这两个图中的左上部的函数是单值函数W,当我们向右前进时，函数将在水平方向上变化，对于较高索引编号Ov具有较快变化。较高索引与具有较高空间频率的图像函数相关。相似地，基函数在竖直方向上的变化由具有索引UO的竖直空间频率分量描述。其他基函数分量可以是对角分量，诸如Wii以及非对角分量Wij，其中i和 j是非零并且不同。对于作为空间离散函数的视频像素阵列，该积分具有求和的形式。将图像分量表示为Dcuv，其中u和ν是两个维度中的基函数索引，并且c表示颜色分量红色、绿色或蓝色。随后根据下式确定Dcuv
本发明是基于式1的逆变换，即图像fix，y)可以被构建为DcuJwuv的求和。
权利要求
1.一种视频系统，包括视频显示器，具有MXN粗糙像素的阵列，其中每个粗糙像素包括用于颜色操作的原色光源的集合或者用于灰度操作的白色光源，其中每个光源的强度是可控的；空间光调制器，与所述MXN粗糙像素的阵列第一视频显示对准以生成用于阻挡或通过光的空间掩蔽图案，所述空间掩蔽图案具有比粗糙像素尺寸精细P倍的分辨率；图像处理器，被耦合为接收将显示的视频信息、控制所述空间光调制器以生成所述空间掩蔽图案并且生成图像分量以为所述MXN粗糙像素的每一个中的一个或多个光源提供对应于由所述空间光调制器生成的所述空间掩蔽图案的驱动信息；由此，得到的视频系统能够以高达比MXN粗糙像素精细ρ倍的分辨率显示图像。
2.根据权利要求1所述的视频系统，其中所述视频系统能够显示视频和静态图像。
3.根据权利要求1所述的视频系统，其中所述图形处理器针对每个粗糙像素将视频信息分解为与一系列正交图像基函数成比例的分量，并且所述空间光调制器生成用于图像重建的与正交基函数对应的空间掩蔽图案。
4.根据权利要求3所述的视频系统，其中对于灰度图像，所述图像处理器针对每个粗糙像素计算与图像f^x，y)相关的图像分量Duv，其中u和ν是针对基函数的索引并且χ和 y是粗糙像素的坐标，所述图像处理器通过使用对应于^uv(χ, y)的空间光调制器来施加光强度掩模，其中W = (w+1)/2并且w是正交基函数，并且所述图像处理器为针对每个粗糙像素的光源提供与Duv成比例的驱动信息。
5.根据权利要求4所述的视频系统，其中对于为负的图像分量Duv，使用相应掩蔽图案的逆。
6.根据权利要求3所述的视频系统，其中对于彩色图像，所述图像处理器针对每个粗糙像素的每种颜色计算与图像fix，y)相关的图像分量Dcuv，其中u和ν是针对基函数的索引并且χ和y是粗糙像素的坐标，所述图像处理器通过使用对应于^uv(χ，y)的空间光调制器来施加光强度掩模，其中^ = (w+1)/2并且w是正交基函数，并且所述图像处理器为每个粗糙像素的相应颜色光源提供与Duv成比例的驱动信息。
7.根据权利要求6所述的视频系统，其中对于为负的图像分量Dcuv，使用相应掩蔽图案的逆。
8.根据权利要求1所述的视频系统，其中所述光源是原色固态光源。
9.根据权利要求8所述的视频系统，其中所述原色固态光源是红色、绿色和蓝色LED光源。
10.根据权利要求1所述的视频系统，其中所述空间光调制器是有源或无源矩阵液晶空间光调制器。
11.根据权利要求3所述的视频系统，其中所述空间光调制器被配置为针对所有粗糙像素同时生成相同的空间掩蔽图案。
12.根据权利要求3所述的视频系统，其中所述空间光调制器被配置为针对多个粗糙像素的阵列同时生成相同的空间掩蔽图案，所述多个粗糙像素的阵列是所述MXN粗糙像素的阵列的子阵列，由此所述空间掩蔽图案的定时对于任何一个子阵列内的每个粗糙像素将是同时的，但是不同的子阵列内的每个图案的定时能够是不同的。
13.根据权利要求3所述的视频系统，其中所述空间光调制器被配置为针对每个粗糙像素分立地生成空间掩蔽图案，由此针对不同的粗糙像素的每个图案的定时能够是不同的。
14.根据权利要求3所述的视频系统，其中所述空间掩蔽图案具有低阶和高阶空间频率分量，并且其中所述图像处理器向具有低阶空间频率分量的空间掩蔽图案分配较多时间并且向具有高阶空间频率分量的空间掩蔽图案分配较少时间。
15.根据权利要求3所述的视频系统，其中所述空间掩蔽图案具有低阶和高阶空间频率分量，并且其中所述图像处理器被配置为至少一次忽略至少一个高阶空间掩蔽图案。
16.根据权利要求15所述的视频系统，其中当忽略至少一个高阶空间掩蔽图案时，所述图像处理器向至少一个未被忽略的空间掩蔽图案分配较多时间。
17.根据权利要求15所述的视频系统，其中将被忽略的至少一个高阶空间掩蔽图案由所述图像处理器响应于针对该空间掩蔽图案的图像分量来选择。
18.根据权利要求1所述的视频系统，其中所述空间掩蔽图案具有低阶和高阶空间频率分量，并且其中所述图像处理器被配置为通过使用对应于所述低阶空间频率分量的可用图像系数的子集来减小施加到所述视频系统的视频数据速率。
19.根据权利要求12所述的视频系统，其中通过使用特定阈值在所述图像处理器中动态地确定针对显示器上的任何给定粗糙像素的将用于重现图像的图像分量的数目，其中当显示子阵列时，所述特定阈值以下的分量被放弃。
20.根据权利要求3所述的视频系统，其中所述空间掩蔽图案具有低阶和高阶空间频率分量，并且其中用由量化矩阵确定的位精度来描述针对每个粗糙像素的图像分量，所述量化矩阵向与低阶掩蔽图案关联的图像分量分配较多位并且向与高阶掩蔽图案关联的图像分量分配较少位，由此减小总视频数据速率。
21.—种显示视频图像的方法，包括将视频图像分为MXN粗糙像素的阵列，其中每个粗糙像素包括用于颜色操作的原色光源的集合或者用于灰度操作的白色光源；提供空间光调制器，其与所述MXN粗糙像素的阵列第一视频显示对准以生成用于阻挡或通过光的空间掩蔽图案，所述空间掩蔽图案具有比粗糙像素尺寸精细P倍的分辨率；控制所述空间光调制器以生成所述空间掩蔽图案并且生成图像分量以为所述MXN粗糙像素的每一个中的一个或多个光源提供对应于由所述空间光调制器生成的所述空间掩蔽图案的驱动信息；由此，得到的视频图像以高达比MXN粗糙像素精细ρ倍的分辨率显示。
22.根据权利要求21所述的方法，其中针对每个粗糙像素将视频信息分解为与一系列正交图像基函数成比例的分量，并且控制所述空间光调制器以生成用于图像重建的与正交基函数对应的空间掩蔽图案。
23.根据权利要求22所述的方法，其中对于灰度图像，针对每个粗糙像素计算与图像 fc(x, y)相关的图像分量Duv，其中u和ν是针对基函数的索引并且χ和y是粗糙像素的坐标，通过使用对应于Zuv(x，y)的空间光调制器来施加光强度掩模，其中^ = (w+l)/2并且 w是正交基函数，并且与Duv成比例的驱动信息被施加到针对每个粗糙像素的光源，被提供给所述光源。
24.根据权利要求23所述的方法，其中对于为负的图像分量Duv，使用相应掩蔽图案的逆。
25.根据权利要求22所述的方法，其中对于彩色图像，针对每个粗糙像素的每种颜色计算与图像f (x, y)相关的图像分量Dcuv，其中u和ν是针对基函数的索引并且χ和y是粗糙像素的坐标，通过使用对应于^uv(x，y)的空间光调制器来施加光强度掩模，其中^ = (w+1) /2并且w是正交基函数，并且将针对每个粗糙像素的相应颜色光源的与Duv成比例的驱动信息提供给光源。
26.根据权利要求25所述的方法，其中对于为负的图像分量Duv，使用相应掩蔽图案的逆。
27.根据权利要求21所述的方法，其中所述光源是原色固态光源。
28.根据权利要求27所述的方法，其中所述原色固态光源是红色、绿色和蓝色LED光源。
29.根据权利要求21所述的方法，其中使用有源或无源矩阵液晶空间光调制器。
30.根据权利要求22所述的方法，其中针对所有粗糙像素同时生成相同的空间掩蔽图案。
31.根据权利要求22所述的方法，其中针对多个粗糙像素的阵列同时生成相同的空间掩蔽图案，所述多个粗糙像素的阵列是所述MXN粗糙像素的阵列的子阵列，由此所述空间掩蔽图案的定时对于任何一个子阵列内的每个粗糙像素将是同时的，但是不同的子阵列内的每个图案的定时是不同的。
32.根据权利要求22所述的方法，其中所述空间光调制器被配置为针对每个粗糙像素分立地生成空间掩蔽图案，由此针对不同的粗糙像素的每个图案的定时能够是不同的。
33.根据权利要求22所述的方法，其中所述空间掩蔽图案具有低阶和高阶空间频率分量，并且其中向具有低阶空间频率分量的空间掩蔽图案分配较多时间并且向具有高阶空间频率分量的空间掩蔽图案分配较少时间。
34.根据权利要求22所述的方法，其中所述空间掩蔽图案具有低阶和高阶空间频率分量，并且其中至少一次忽略至少一个高阶空间掩蔽图案。
35.根据权利要求34所述的方法，其中当忽略至少一个高阶空间掩蔽图案时，向至少一个未被忽略的空间掩蔽图案分配较多时间。
36.根据权利要求34所述的方法，其中将被忽略的至少一个高阶空间掩蔽图案是响应于针对该空间掩蔽图案的图像分量而选择的。
37.根据权利要求22所述的方法，其中所述空间掩蔽图案具有低阶和高阶空间频率分量，并且其中通过使用对应于所述低阶空间频率分量的可用图像系数的子集来减小视频数据速率。
38.根据权利要求31所述的方法，其中通过使用特定阈值动态地确定针对任何给定粗糙像素的将用于重现图像的图像分量的数目，其中当显示子阵列时，所述特定阈值以下的分量被放弃。
39.根据权利要求21所述的方法，其中所述空间掩蔽图案具有低阶和高阶空间频率分量，并且其中用由量化矩阵确定的位精度来描述针对每个粗糙像素的图像分量，所述量化矩阵向与低阶掩蔽图案关联的图像分量分配较多位，并且向与高阶掩蔽图案关联的图像分量分配较少位，由此减小总视频数据速率。
全文摘要
公开了一种基于通过对图像的正交基函数分量进行显示来构建图像的视频显示系统。该系统包括同时对准和驱动的两个显示分量。第一显示分量是粗糙像素阵列。第二显示分量是空间光调制器，其几何细节比第一像素阵列更精细。总体系统通过使用正交图像基函数分量的时域显示以最小的图像质量损失重建待以第二显示分量的较精细几何细节显示的预期视频。得到的系统具有显著减少的互连复杂性和有源电路元件数目，并且如果使用有损图像重建方案，还需要显著较小的视频数据速率。这里描述了利用这些概念和方法来驱动显示器的具有基于LED的显示器和基于LCD的空间光调制器的实施例。
文档编号G09G3/34GK102187383SQ200980134961
公开日2011年9月14日 申请日期2009年7月9日 优先权日2008年7月9日
发明者S·E·甘塞 申请人:奥斯坦多科技公司
最新回复(0)