具有三维和场序颜色合成控制的高动态范围显示器的制作方法
专利名称：具有三维和场序颜色合成控制的高动态范围显示器的制作方法
技术领域：
本发明的实施例一般地涉及显示图像，尤其涉及操作图像显示系统以改进数字图像的颜色再现中的动态范围的系统、装置、集成电路、计算机可读介质以及方法。
背景技术：
可以根据液晶显示(IXD)面板、以及沿着光路布置以照亮IXD面板的发光二极管 (LED)的阵列的光学组合形成高动态范围(HDR)显示器。像素强度通常因为每个LED与许多IXD像素交叠所以未彼此独立地受控，并对显示的图像的亮度有贡献。通过HDR显示器生成的图像的强度和动态范围通常超过传统成像技术的强度和动态范围。此外，已开发了三维颜色合成和场序颜色合成的技术，以增强各种显示设备的数字影像。可是，显示设备中的许多显示设备尚未非常适合具有HDR成像的这种技术的组合。鉴于以上内容，持续努力改进用以操作具有输出图像的改进的有效高动态范围的 HDR显示器的系统、装置、集成电路、计算机可读介质以及方法。
发明内容
实施例一般地涉及基于计算机的图像处理，尤其涉及有助于通过例如利用颜色补偿技术生成子图像来操作具有相对高动态范围的图像显示系统的系统、装置、集成电路、计算机可读介质以及方法。图像显示系统可以产生与(目标)后调制器驱动水平相对应的目标子图像，其中，这种驱动水平可以使得较高分辨率子图像能够被准确地再现，并在具有可操作滤波器(在一些实例中可以是像素拼图)的图像显示系统的输出处没有某个(些) 颜色的颜色误差。合适的目标驱动水平可以被用来在前调制器并未正适当地调制的较高分辨率子图像中在一些实例中局部地、以及在其它实例中全局地校正颜色误差。在至少一些实施例中，可以通过合适的组合函数将目标子图像和输入图像转变为有效(后调制器)驱动水平，以使得能够进行颜色校正。在一些实例中，可以利用作为颜色层次凸组合的组合函数。可以在一些实例中在此变换期间利用包括颜色重要性图的局部颜色划分优先级。在至少一些实施例中，可以连同三维颜色合成和场序颜色合成技术一起利用非标准像素拼图。 另外，在一些实施例中，可以提供用以缓解相邻图像区域中过量光污染造成的伪影的技术。
结合配合附图的以下详细描述更充分明白本发明和它的各种实施例，其中图IA-图IB示例根据本发明至少一些实施例的操作图像显示系统的后调制器的功能框图。
图2A-图2B示例根据本发明至少一些实施例的表示操作后调制器的实例的流程图。图3是根据本发明至少一些 实施例的被配置为操作图像显示系统的控制器的示意图。图4A-图4B示例根据本发明至少一些实施例的示例性后调制器部件和前调制器部件的图。图5A-图5C示例根据本发明至少一些实施例的合成器、补偿器和转变器 (translator)的实例的功能框图。图6示例根据本发明至少一些实施例的表示操作后调制器的另一实例的流程图。图7A-图7B示例根据本发明至少一些实施例的利用颜色层次凸组合技术操作后调制器的实例。图8A至图8D示例根据本发明至少一些实施例的利用颜色层次凸组合技术操作后调制器的实例。图9示例根据本发明一些实施例的利用低端阈值(LET)技术操作后调制器的实例的流程图。图10示例根据本发明一些实施例的操作前调制器和后调制器的示例性控制器的框图。相同附图标记指遍及附图的若干视图的相应部分。注意附图标记中的大多数附图标记包括通常识别首次引入该附图标记的图的一个或两个最左边的数字。
具体实施例方式图IA-图IB示例根据本发明至少一些实施例的操作图像显示系统的后调制器的功能框图。此处在图IA中，图100描绘了合成器120、颜色校正器130、后调制器150以及具有滤波器170的前调制器160。后调制器150包括用作光源的调制元件152的阵列。在一些实例中，调制元件152发出不同颜色的光，包括红光154R、绿光154G和蓝光154B。光 154(R、G、B)可以被沿着光路定向，以照射包括多个像素162的前调制器160的表面。例如，后调制器150被配置为透射(transmit)光图案作为子图像(未示出)，该子图像表示输入图像104沿着光路、从发出彩色光154(R、G和B)的调制元件152形成的低分辨率近似。前调制器160可以使用该低分辨率光图案生成较高分辨率光图案，以形成较高分辨率子图像，较高分辨率子图像的组合产生输入图像104。根据入射在前调制器160表面上的光154(R、G和B)形成高分辨率光图案。在生成较高分辨率光图案的过程中，控制多个像素162朝向滤波器170透射光164。在一些实例中，滤波器170是颜色元件172的阵列， 颜色元件172包括多个子像素。在一些实例中，颜色元件172的分辨率与像素162的分辨率类似。在其它实例中，颜色元件172具有与像素162不同的分辨率。滤波器170进行操作以利用颜色添加技术修改入射光173 (与较高分辨率光图案相关)，以产生具有包括三原色的可见光谱(例如，可见光的波长中的所有或大多数波长)的可显示图像180。进一步对示出的实例，从后调制器150发出的光154 (R、G和B)表示输入图像的低分辨率子图像(未示出)，并且以光学方式乘以(光学上提高为)较高分辨率子图像(未示出)以创建可显示图像180。在一个实例中，可显示图像180是表示输入图像104的高动态范围(“HD”)图像。合成器120可以被配置为基于输入图像104沿着路径121生成后调制器驱动水平(level)。这种后调制器驱动水平使得前调制器160能够生成具有由这样的光图案表示的亮度轮廓的子图像(例如，较高分辨率子图像)该光图案在没有特定一个或多个颜色的颜色误差(或者具有减少的/可忽略的误差)的情况下调制，但是可能在滤波器170可操作时在具有其它颜色的颜色误差的情况下调制。可以在Lewis A. Johnson等人题为“High Dynamic Range Display with Rear Modulator Control" ^ 2008 ^ 10 ^ 14 H11国临时专利申请61/105，412号中找到用于基于具有全色控制的前调制器160确定后调制器驱动水平的合成器120的示例性技术，其全部内容通过引用包含于此并用于全部目的。 进一步对示出的实例，表示沿着路径121的驱动水平的数据有助于具有颜色红色、绿色以及蓝色的光图案的生成。如由实线路径122-1M所指示的，将红色光图案135、绿色光图案136和蓝色光图案137分别提供给颜色校正器130，颜色校正器130继而经由虚线路径 131-133产生特定颜色的后调制器驱动水平(即，补偿后调制器驱动水平)。在一些实例中，红色光图案135、绿色光图案136和蓝色光图案137表示包括表示这种光图案的数据的背光(例如，模拟背光)的模型。在各种实施例中，颜色校正器130控制后调制器150以使得能够在没有颜色误差的情况下在前调制器160处调制这些特定颜色。盘144例示颜色校正器130调整针对颜色红色(R)、绿色(G)和/或蓝色(B)的驱动水平(即，分别作为沿着路径141-143的信号)使得后调制器150发出使得前调制器160能够在没有颜色误差的情况下调制颜色的光图案的功能。请注意可以根据一些实施例互换前调制器160和滤波器 170的位置。在图IB中，图101描绘了颜色校正器130可以包括补偿器140和转变器150。颜色校正器130进行操作以根据输入图像104提供控制信号以控制后调制器150，以生成可显示图像180。如图所示，合成器120被耦合到转变器150，且输入图像104被提供给补偿器140并提供给合成器120，后者将估计的驱动水平(例如，对前调制器的)提供给转变器 150。输入图像104也被提供给耦合到前调制器生成器111的管线110。前调制器生成器 111产生操作前调制器160的控制信号。可以在Lewis A. Johnson等人题为“Backlight Simulation at Reduced Resolutions to Determine Spatial Modulation of Light of High Dynamic Range Images”的2008年10月14日提交的美国临时专利申请61/105，419 号中找到操作前调制器160的技术的实例，其全部内容为全部目的通过引用合并于此。根据一些实施例，估计的驱动水平被配置为使得前调制器160生成如本文中所定义的、被划分优先级为最重要的且没有颜色误差(例如，没有可感知颜色误差)的特定颜色的较高分辨率子图像。可以在 Helge Seetzen 题为"Field Sequential Display of Color Images”的2005年12月23日提交的美国专利申请公开US 2008/0186344A1号中找到用于生成最重要颜色的示例性颜色划分优先级技术，其全部内容通过引用包含于此并用于全部目的。在一些实例中，补偿器140局部地执行颜色划分优先级，使得前调制器160不会在这种颜色重要的输入图像的部分中不成比例地抑制优先级最低的颜色。在一些实施例中，在确定颜色优先级的过程中使用颜色重要性图。转变器150对具有相应驱动水平的初始和补偿子图像执行组合函数，以在像素拼图可操作时利用前调制器160处执行的颜色校正形成后调制器驱动水平。在一些实施例中，使用颜色层次凸组合作为组合函数。转变器150生成减少相邻调制元件152对需要竞争最佳表示由输入图像指示的颜色、以及缓解颜色污染伪影(artifact)的作用的有效后调制器驱动水平。如本文中所使用的，术语“竞争颜色”可以至少在一些实施例中指竞争经由被配置为透射光图案的多个颜色的颜色元件(例如，滤波器)的透射的光图案的颜色。此外，当将相邻调制元件152配置为调制不同颜色、但是将与相邻调制元件152相关联的颜色滤波器配置为透射不同颜色中的两个颜色时出现颜色污染伪影。因而，具有入射在相邻调制元件152上的不同颜色(即，竞争颜色)的光图案会污染被配置为调制颜色中一个颜色的调制元件。如本文中所使用的，术语“颜色误差”可以至少在一些实施例中指颜色针对预期颜色(诸如输入图像中像素的)、或者被配置为提供与例如输入图像中的像素相对应的预期颜色匹配(例如，可感知匹配)的颜色的临近像素的偏差(例如，可感知偏差)。可以在不同颜色或亮度值之间的界面处或与不同颜色或亮度值之间的界面相邻地、或者这二者造成颜色误差。例如，考虑与品红有色区邻接的青色有色区。在青色区中，颜色蓝色是红色之上的MIC，在品红区中，颜色红色是MIC(红色由于例如明视响应比率而在品红中比蓝色重要)。进一步对此实例，图IA的图像显示系统被配置为发现品红区域中需要的红色的量与青色区域中不需要的红色的量之间的折衷，以从而减少或消除在青色区域的界面处存在过多红色以及在品红区域中过少红色的颜色误差。鉴于以上内容，以实例的方式，可以使用由滤波器170表示的、且包括双色子像素拼图的非标准像素拼图合成三个主要颜色(three primary colors)，诸如红色、绿色和蓝色，从而使得可显示图像能够利用比不这样的情况相对更少的部件具有增强的图像质量。 此外，前调制器160可以被配置为产生亮度为对比度比与由后调制器产生的低分辨率光图案相关联的对比度相对更高的光图案形式的较高分辨率子图像。在至少一些实施例中，使用后调制器和前调制器的光图案确定高动态范围的可显示图像180，作为与来自后调制器和前调制器的光图案相关联的对比度的乘法组合(即，乘积)产生可显示图像。最少，可显示图像180可以具有动态范围超过来自后调制器和前调制器的光图案的各对比度中每一个对比度的对比度。非标准子像素拼图还用来取得优于不这样的情况的分辨率增益和透射效率。通过提供结合颜色校正的有效后调制器驱动水平，可以在像素162未配置为调制为没有颜色误差时减少或避免由于像素162受不同光图案颜色(例如，用相邻调制元件的点扩展函数表示)影响所致的颜色污染。通过使得能够进行颜色划分优先级的局部确定，可以具有避免前调制器在识别成最高优先级的颜色重要的较高分辨率子图像的部分中不成比例地抑制这种颜色的本质地实现伪影缓解。在一些实例中，具有调制元件(诸如LED)的局部激活全色(RGB)阵列、以及包括多个双子像素元件(例如，品红和绿色拼图)的滤波器 170这二者的后调制器在没有后调制器的时间场切换的情况下促进全色显示图像的生成， 从而较之不这样的情况而言，避免颜色解体和闪烁。在一些其它实例中，使用也减少闪烁和颜色解体、以及帧之间亮度差异的非标准像素拼图实施后调制器的时间切换。特别是，利用比不这样的情况(例如，三个时间场的切换)更少的时间帧生成全色显示图像。图2A-图2B示例根据本发明至少一些实施例的表示操作后调制器的实例的流程图。在图2A中示出的实例中，流程图200描绘了将输入图像204提供给块220和提供给块 230。在一些实施例中，块230表示颜色校正器的功能，如虚线中所示。块220提供生成具有基于前调制器的全色控制的初始后调制器驱动水平的初始子图像的功能。可以通过以实例
"High Dynamic Range Display with Rear Modulator Control，，白勺__临时专利申请61/105，412号中描述的那些技术的大量方式确定初始后调制器驱动水平， 该专利的内容通过引用包含于此，并用于所有目的。另外，可以进一步按照如题为“Field Sequential Display of Color Images” 的美国专利申请公开 US 2008/0186344A1 号中所公开的场序技术确定后调制器驱动水平，该专利的内容通过引用包含于此，并用于所有目的。在一些实例中，块220根据输入图像204生成使得前调制器能够在没有最重要颜色的颜色误差(或者减少的颜色误差)的情况下提供颜色控制的初始后调制器驱动水平。在至少一个实例中，块220或后续块可以控制未划分优先级为最重要颜色的其它颜色的颜色误差。请注意颜色控制可以是基于局部或者全局最重要颜色划分优先级的。进一步对图2A中叙述的实例，块242确定颜色补偿和划分优先级。如所示，块242 接收输入图像204，并与块244 —起，生成可以补偿前调制器根据块220的描述会不正确地提供的那些颜色的替代后调制器驱动水平。请注意术语“替代”可以与术语“目标”可互换地使用。在一些实例中，块242使用颜色重要性图(CIM)，该颜色重要性图局部地将要在没有颜色误差的情况下(或者在减少的颜色误差的情况下)在前调制器处调制的颜色(称作颜色)划分优先级。在一些实施例中，CIM包括最重要的颜色以及并非最重要的颜色的二值表示。在至少一个实例中，CIM包括指定像素(或子像素)是否与作为MIC或者未作为MIC的颜色相关联的数据位置的矩阵。数据位置处的“零”可以指示像素(或子像素)与划分优先级为MIC的颜色相关联，其中，“一”可以指示与非MIC(即，未划分优先级为MIC) 的关联。因而，CIM可以识别对于最重要颜色正确调制的前调制器的子像 素和区域，以及对于其它颜色并非必要正确调制的子像素和区域。然后，图像显示系统使用CIM确定要对背光调制器对光图案的生成做出的补偿的适当程度，使得前调制器如针对块220所述在没有识别为具有可能的颜色误差的那些颜色的颜色误差的情况下进行调制。请注意在一些实例中，可以将划分优先级为MIC的一个或更多个颜色的二值表示以图形方式描绘为图像的白色部分以指示二值数“ 1 ”，而可以将未划分优先级为MIC的一个或更多个颜色的二值表示以图形方式描绘为黑色部分以指示二值数“0”。在其它实施例中，CIM无需限于表示0和 1，可以包括描述优先级等级的任何范围的数。块242可以被进一步配置为生成被配置为形成具有亮度强度轮廓Lftit的估计的光图案(可以称作“LCD图像”)的估计的前调制器驱动水平。LCD图像可以是由前调制器响应于前调制器驱动水平生成的较高分辨率子图像。可以使用一些前调制器驱动水平在没有颜色误差的情况下调制被划分优先级为最重要颜色的“某个(些)颜色”。可以使用其它前调制器驱动水平在没有颜色误差的情况下调制划分优先级为最重要颜色的其它“某个 (些)颜色”。在一些实例中，可以利用像素拼图(例如，2个子像素元件)在没有图像显示系统中N个颜色的颜色误差的情况下确定IXD图像，其中，N是整数。在其它实例中，生成 LCD图像以指示前调制器可以基于颜色划分优先级技术在没有颜色误差的情况下调制的局部确定颜色。在利用三个颜色的颜色空间(RGB)的实例中，可以确定有效后调制器驱动水平以使得能够由前调制器在像素拼图可操作时在没有颜色误差(或颜色误差减少)的情况下调制3-N颜色。块244可以被配置为生成指示期望驱动水平(例如，背光)的替代后调制器驱动水平。这些驱动水平控制调制元件152，使得它们以在没有特定颜色的颜色误差的情况下再现输入图像的方式照射前调制器160。在一些实例中，使用下面的等式，等式(1)
L目标=L输入/L估计，等式(1)其中，L 表示与用于形成后调制器子图像的替代后调制器驱动水平相对应的亮度强度轮廓。Lfi5A表示经由路径Al从输入图像204得出的输入亮度轮廓，Lftit是指如上所述的IXD图像。在一些实例中，等式(1)描述通过借由估计子图像划分输入图像对替代子图像的生成。根据等式(1)，可以生成替代后调制器驱动水平以表示颜色校正背光，所以前调制器处的像素在没有这种颜色的颜色误差的情况下进行调制(其中，像素可以如若不然在块220中在具有一些颜色的颜色误差的情况下进行调制)。在一些实例中，可以为预测提供颜色校正的背光的目的以数学方式建模目标背光。然后，通过使用如下内容对选择要控制哪些像素做出确定(1)生成的后调制器光场，其中，前调制器具有全色控制以及在没有一些颜色、但是并非没有其它颜色的颜色误差情况下进行调制(如按照块220 —样)；(2)具有颜色校正的后调制器光场(例如，如按照块244 —样)；和/或(3)⑴和(2)的一些组合。块250可以被配置为做出该确定。在至少一些实例中，块250将具有相应初始后调制器驱动水平(从块220确定)的初始子图像以及具有相应替代后调制器驱动水平(从块 244确定)的替代子图像转变成有效后调制器驱动水平。通过此转变，局部颜色重要性确定有赖于两个图像的组合一个是基于原始图像生成的一套背光驱动水平(例如，来自块220 的初始后调制器驱动水平)；另一个是由于在像素拼图可操作时缺少前调制器的全色控制所致的基于替代背光图像生成的一套背光驱动水平(在块244中)。在各种实施例中，存在用以实现有效后调制器驱动水平的各种合适组合函数。在一些实例中，使用平均值。在其它实例中，使用加权组合函数。由于有效后调制器驱动水平代表修改的RGB控制信号，这些后调制器驱动水平信号可以被类推为图IA中的盘144描绘的可调整性。根据一些实施例，块252被配置为应用有效后调制器驱动水平观0以操作后调制器150。在这样做的过程中，对于前调制器未在块220中在没有颜色误差的情况下调制、但是按照各种实施例利用块252在没有颜色误差的情况下调制的颜色确定有效后调制器驱动水平。如标注2M所指示的路径方向A2示例在接下来的时间帧中，可以在一些实例中， 对下一个最重要的颜色执行颜色补偿。在其它实例中，路径方向A2可以指后续时间帧中不同颜色的迭代函数。在再其它的实施例中，路径方向A2可以指用以考虑后续时间帧中颜色误差的迭代函数。根据各种实施例，流程图200描述了用于使用三维颜色合成技术与场序颜色合成技术的组合操作后调制器的功能。在这样做的过程中，生成有效驱动水平以替代由块220 确定的初始后调制器驱动水平，以在使用由滤波器170表示的像素拼图时提供颜色校正。 块242和244在一些实例中用来确认什么后调制器驱动水平可以使得前调制器能够在没有块220的上下文中讨论的颜色误差的情况下进行操作。图2B描绘了图2A的颜色校正块230的实例。在前调制器利用像素拼图执行三维颜色合成、以及全色控制在前调制器处不可用的状况中，由前调制器生成的子图像会具有一些颜色的颜色误差，但是没有其它颜色的颜色误差。并且对于这些颜色误差，可以确定驱动水平，使得后调制器在没有某一个或多个颜色的颜色误差的情况下照射前调制器。在实施图2B的流程的实例中，块220接收输入图像204。将输入图像204的实例描绘成图像 271。块220生成初始后调制器驱动水平以生成子图像，诸如子图像272。在此实例中，子图像272具有黄色(即红色和绿色)作为在没有颜色误差的情况下进行调制颜色，且具有蓝色作为在具有颜色误差的情况下进行调制的颜色进一步对示出的实例，块242接收输入图像204并生成颜色重要性图273。在示出的实例中，考虑当蓝色是针对块242的MIC时，CIM 273的白色部分指定应当在没有颜色误差的情况下调制蓝色的CIM 273的第一部分，而CIM 273的黑色部分指定由于蓝色并非第二部分中的最重要颜色而应当调制黄色(即，不具有在块220中开始的颜色误差)的CIM 273的第二部分。块242进一步确定指示可以由前调制器显示的较高分辨率子图像的估计光图案，如由描绘子图像274的标注所指示的。可以通过使用将蓝色划分优先级为最重要颜色(以补偿颜色误差)的这些第一部分中颜色蓝色的前调制器驱动水平的集合生成子图像274。此外，可以通过使用未将蓝色划分优先级为最重要颜色的这些第二部分中颜色黄色的前调制器驱动水平生成子图像274。块244生成与如等式(1)所确定的黄色的替代后调制器驱动水平相关联的子图像 275。在一些实例中，块244确定在何处将蓝色划分优先级为最重要颜色。因而，可以选择后调制器驱动水平，使得在蓝色是最重要颜色的图像的区域中在没有颜色误差的情况下在前调制器处调制颜色蓝色，否则，可以选择后调制器驱动水平，使得可以在蓝色并非最重要颜色的区域中在前调制器处调制颜色黄色。块250将子图像272和275的驱动水平转变为有效驱动水平。在一些实例中，如标注276所示，可以利用图8中描述的技术。图3是根据本发明至少一些实施例的被配置为操作图像显示系统的控制器的示意图。在示出的实例中，图像显示系统300包括耦合到后调制器350和前调制器360的控制器312。控制器312包括被配置为接收输入图像304的输入/输出(I/O)模块313、处理器314、被配置为控制后调制器350的后调制器接口 315、被配置为控制前调制器360的前调制器接口 316以及存储器317。总线315将控制器312的部件和这些模块彼此耦合。处理器314被配置为接收输入图像304。在一些实例中，输入图像304可以是由其得出图像像素的Y编码视频信号(例如，视频流)。在其它实例中，基于利用的三维颜色合成的特定技术对于颜色均衡合适地按比例绘制(scale)输入图像304。存储器317可以包括合成器模块320、补偿器模块340、转变器模块350、操作系统318以及用来促进控制器312操作的辅助应用319，以及比示出的更多或更少的模块。后调制器350可以被配置为照射前调制器360的光源。在一些实例中，可以从一个或更多调制元件352R、352G以及352B (诸如LED的阵列)或者一个或更多个光源形成后调制器350。当受控时，各自地或成组地，调制元件352R、352G以及352B沿着照射前调制器 360的光路发出包括各种颜色(分别为354R、354G以及354B)的光场。前调制器360可以是调整从后调制器350入射在其上的光的强度透射率的可编程透明度的光学滤波器。在一些实例中，前调制器360包括具有像素的其它透射型光调制器或LCD面板。在其它实例中，前调制器360包括光学结构365 ；具有像素362的液晶层； 以及颜色元件370。光学结构365被配置为从后调制器350向具有像素362的液晶层携带光，并包括诸如但不限于开放空间、光漫射器、准直仪等的元件。滤波器370包括在一些实例中具有多个子像素元件的颜色元件372的阵列。前调制器360的分辨率可以高于后调制器350的分辨率。在一些实例中，前调制器360和后调制器350被配置为统一操作作为HDR 显示器的图像显示系统300。
基于输入图像304，控制器312被配置为经由路径305上的接口 315提供后调制器驱动水平(例如，信号)以控制调制元件，诸如后调制器350的352R、352G和352B。控制器 312还被配置为经由路径306上的接口 316提供前调制器驱动信号以控制前调制器360的像素362和子像素(例如，如图4A中可以描述的474、475、476和/或这些的 一些组合)，从而统一产生可显示图像380。根据一些实施例，合成器模块320被配置为基于输入图像304沿着路径305生成后调制器驱动水平。补偿器模块340被配置为使得能够局部确定颜色划分优先级，使得前调制器360在这种颜色重要的图像的部分中未不成比例地抑制具有最低优先级的颜色。将转变器模块350配置为使得能够生成有效后调制器驱动水平，使得相邻调制元件352发出的不同颜色照射的像素362可以竞争(即，被控制以选择替选)基本上表示由输入图像指示的颜色的颜色。虽然未示出，但控制器312可以被耦合到软件和/或硬件接口用于控制后调制器 350和前调制器360以产生可显示(HDR)图像380的合适地编程的计算机。请注意可以在硬件、软件或者这些的组合中实施图3中描述的元件中的任何元件。图4A-图4B是根据本发明至少一些实施例的示例性后调制器和前调制器部件的图。在图4A中示出的实例中，后调制器450包括多个调制元件452，且前调制器460包括多个像素462。此外，单个调制元件453被布置在前调制器450的数个像素(虚线框464中) 后方。在其它实例中，会存在通过红色、绿色和蓝色照射多个像素462的多个调制元件452。 另外，滤波器470沿着前调制器460的光路布置，并包括多个颜色元件472。像素462和颜色元件472的分辨率可以类似或不同。作为标注473示出的颜色元件472包括任一个或二者可以在一些实例中提供颜色合成控制的两个子像素元件，诸如子像素元件474和子像素元件475。在其它实例中，各自控制4个子像素476中的每一个以提供颜色元件472的颜色合成控制。在像素462和颜色元件472的分辨率类似的实例中，可以通过用以控制相应像素462的方式进行子像素元件 474-475、子像素476和/或这种的一些组合的控制。在时限子像素476的各自控制的实例中，前调制器460包括可以可配置为通过相应滤波器470和子像素474、475、476或者这种的一些组合透射光图案一部分的子像素(未示出)。在再进一步的实例中，可以将子像素元件474和475描述为子像素颜色滤波器的第一和第二子集。虽然在此实例中对于子像素元件474和475分别使用品红(M)和绿色(G)，但颜色元件472的颜色的其它对是可以的。例如，可以从包括品红-绿色、青色-品红、青色-黄色、蓝色-黄色、品红-黄色以及红色-青色的组中选择两个子像素元件作为颜色对。对于三维颜色合成技术和颜色添加技术的进一步细节，参考Silverstein等人题为”Three—Dimensional Color Synthesis for Enhanced Display Image Quality”的2005年4月1日提交的美国临时专利申请60/667，506号，其全部内容为了所有目的通过引用包含于此。图4B示例具有阵列450中调制元件的布置的后调制器的实例。在此实例中，调制元件454是诸如LED的光源，通过调制元件454的对称或不对称布置配置阵列450，以通过从存在光源的颜色中的任何颜色发出的光照射前调制器的激活部分。例如，调制元件454 包括红色调制元件454R、绿色调制元件454G以及蓝色调制元件454B。在一些实例中，每个 (RGB)颜色的相邻调制元件454的点扩展函数彼此交叠。可以独立控制阵列450的不同部分中不同颜色的调制元件454。本文中描述的图像处理技术结合颜色合成技术，使得可显示图像可以实现如通过输入图像的内容所想要的查看者的一定可感知体验，但是通过考虑空间和时间分辨率处理能力的相关联限制和人类视觉系统。例如，人眼的媒介中的瑕疵可以使得光在眼睛内散开并在视网膜上形成光幕亮度，这减少感知一定对比度的能力。因而，人眼可能不能够整合和感知超出一定阈值的分辨率。在本文中描述三维颜色合成技术的至少一些实施例中，后调制器可以通过至少两个频谱功率分布照射颜色元件包括两个子像素元件(也称作像素拼图或者拼图)的滤波器。在一些实例中，子像素元件474、475和/或子像素476各自或者作为子像素的子集受控，以实现添加颜色混合技术，并通过本文中描述的子图像照射以使得能够利用作为在混合(例如，在空间上组合)时可以感知为想要均勻颜色的颜色组合的颜色的均勻场感知可显示图像。另外，利用可以产生至少两个频谱功率分布的能够全色的后调制器照射的两个子像素元件的拼图可以在同样时间帧中的图像中随处再现三色的颜色空间(例如，R、G和B)的两个颜色。在本文中描述场序颜色合成技术的至少一些实施例中，可以生成大致和基本上引起在像素拼图可操作时在没有颜色误差的情况下通过前调制器对特定颜色的再现(或显示)。与实现三维颜色合成处理的两个子像素元件相组合使用的后调制器颜色校正(即，补偿)技术可以使得能够在具有最小视觉伪影的情况下、近似再现三色的颜色空间的第三颜色。通过用特定频谱功率分布照射某些像素，可以产生一套红色、绿色或蓝色的主要颜色(primary color)。双频谱功率分布的一些实例可以包括但不限于可以通过调制包括青色/黄色、蓝色/黄色、绿色/品红、青色/品红、红色/青色、以及品红/黄色的元素实现的颜色对。图5A-图5C示例根据本发明至少一些实施例的合成器、补偿器和转变器的实例的功能框图。在图5A中示出的实例中，合成器520包括场序颜色合成器模块522、三维颜色合成器模块524、初始驱动水平生成器526以及模拟光场生成器528。场序颜色合成器模块522 被配置为使用快速序列中的不同时间帧产生可感知全色图像，并被配置为实施例如题为 "Field Sequential Display of Color Images” 的美国专利申请公开 US2008/0186344A1 号中公开的技术，其全部内容为所有目的通过引用包含于此。三维颜色合成器模块524可以被配置为使得能够使用非标准像素拼图和后调制器(例如，背光)产生全色图像，并可以被配置为使得能够进行例如题为"Three-Dimensional Color Synthesis for Enhanced Display Image Quality”的2005年4月1日提交的美国临时专利申请60/667，506号中公开的技术，其全部内容为所有目的通过引用包含于此。初始驱动水平生成器526可以被配置为确定根据输入图像得出的后调制器驱动水平，并且可以被配置为在能够进行全色控制的前调制器上再现输入图像。模拟光场生成器528提供由后调制器投射到前调制器上的光场的预测或估计，并且实施例如题为"High Dynamic Range Display with Rear Modulator Control”的2008年10月14日提交的美国临时专利申请61/105，412号中公开的技术，其全部内容为所有目的通过引用包含于此。补偿器540包括颜色重要性划 分优先级器542、替代(目标)驱动水平生成器544 以及低端阈值(LET)模块545。在至少一个实施例中，颜色重要性划分优先级器542确定图像的颜色优先级或颜色划分优先级或图像的一部分，并且以优先级将颜色排序，以及确定哪个颜色或哪些颜色会是可感知最重要的以在没有颜色误差的情况下再现输入图像。在一些实例中，颜色重要性划分优先级器542基于一些实例中某个(些)颜色的局部重要性，并基于其它实例中颜色的全局重要性确定颜色补偿。划分优先级器542生成的颜色重要性图和IXD图像。替代驱动水平生成器544可以被配置为确定期望驱动水平(例如，一些实例中的背光、或者后调制器的)，使得调制元件(例如，152)照射前调制器(例如，160)，以在像素拼图可操作时利用尽可能贴近的亮度以及在没有颜色误差的情况下重新创建输入图像。 在一些实例中，生成器544实施如针对等式(1)所述的技术，其中，生成前调制器可以根据块220的描述补偿以误差提供的颜色的驱动水平。LET模块545可以被配置为使得能够进行针对图9描述的 功能。根据一些实施例，转变器550包括颜色组合器552、有效驱动水平生成器554以及颜色层次凸组合(CHCC)模块555。颜色组合器552提供要向初始和替代驱动水平应用的合适组合函数。因为调制元件可以照射多个像素，所以受特定调制元件影响的前调制器的一些区域可以具有在具有特定个(些)颜色的颜色误差的情况下调制的一些像素，以及在没有不同颜色的颜色误差的情况下调制的一些像素。因此，可以使用组合函数将后调制器光场(基于具有前调制器对于颜色的全色控制)和后调制器光场(基于颜色补偿生成)组合， 以考虑在前调制器处存在这两个状况的混合的区域。在一些实例中，组合函数是两个状况的平均。在其它实例中，组合函数构造等式(2)的颜色层次凸组合。可以将有效驱动水平生成器554配置为使用模块552 (或者一些实例中的模块555)的组合函数，以利用从生成器544确定的替代驱动水平并且利用如本文中所述的颜色重要性权重图，将从生成器526 确定的初始后调制器驱动水平转变为有效后调制器驱动水平。在这样做的过程中，由于对像素拼图的使用固有地缺少前调制器的全色控制，本地颜色重要性确定有赖于基于目标背光图像生成的驱动水平。CHCC模块555可以被配置为使得能够进行图6-图8中描述的功能。图6示例根据本发明至少一些实施例的表示操作后调制器的另一实例的流程图。 在示出的实例中，流程图600表示确定适当后调制器驱动水平以利用非标准像素拼图照射前调制器的方法。此方法可以作为“颜色层次凸组合”技术可互换地描述，并且通过确定图 2A-图2B中先前描述的替代驱动水平与初始驱动水平之间的中间驱动水平促进调制元件的控制。因为替代驱动水平和初始驱动水平可以各自使得调制元件发出不同光场，所以至少在一些实例中，确定两套驱动水平的加权组合以得出有效驱动水平。流程图600指示输入图像604被提供给块622和块624。块622提供确定从输入图像得出的初始后调制器驱动水平的功能。另外，块622在能够进行全色控制的前调制器上再现输入图像。在一些实例中，可以利用可应用于图2A的块220的技术，以及题为“High Dynamic Range Display with Rear Modulator Control”的美国临时专利申请61/105，412 号中公开的技术，其全部内容为了全部目的通过引用包含于此。在其它实例中，可以使用各种技术基于对前调制器能够进行全色控制的假定确定初始后调制器驱动水平。在一些实施例中，“初始后调制器驱动水平”和“初始背光驱动水平”指由块622(以及图2A的块220) 确定的后调制器驱动水平。此外，块622生成这样的后调制器驱动水平该后调制器驱动水平与前调制器正在没有具有多个颜色的第一子集的颜色误差的情况下进行调制的输入图像的区域，并与前调制器正在像素拼图可操作时在具有具有多个颜色的第二子集的颜色误差的情况下进行调制的输入图像的区域有关。
块623提供在前调制器上基于已知点扩展函数模拟后调制器光场的功能。可以使用来自一个或更多个调制元件(例如，152、452)的光扩展函数的模型创建光场模拟。光场模拟预测后调制器将会投射到前调制器上的光场。在一些实例中，模拟通过与一个或更多个调制元件相对应的驱动水平调节(scale)光扩展函数的强度，并取这些水平的总和。 在其它实例中，将光扩展函数压缩为存储器317中可以存储的低分辨率矩阵以减少运算花费。在再其它的实例中，也可以在题为“Backlight Simulation at Reduced Resolutions to Determine Spatial Modulation of Light of High Dynamic Range Images，，的美国临时专利申请61/105，419号中找到用以模拟后调制器的技术，其全部内容为所有目的通过引用合并于此。块624提供生成哪个(些)颜色最重要以及图像中这种颜色的相应地点的指示符的局部划分优先级功能。在一些实施例中，由块624生成颜色重要性图(CIM)。在此实例中，CIM表示输入图像并如先前所述包括关于相对于输入图像其它颜色的最重要颜色(即， 一些实例中的颜色、或者其它实例中的一些颜色)的信息。在一些实例中，CIM基于明视比的应用指示RGB像素值的像素方式比较(或映射)，其中，CIM包括RGB像素值之间的加权比较。在其它实例中，对于调制器的不同区域确定CIM。在再进一步的实例中，使用与人类视觉系统相关联的因素确定颜色重要性图。这种因素的实例无论给定亮度范围的像素值如何，将颜色绿色定义成比红色重要。块624基于颜色重要性不同的图像的不同区域的相对空间密度提供颜色的局部划分优先级，如，通过向像素方式的重要性图应用高斯滤波器。根据实施的三维颜色合成的技术，块624可以进一步包括用以在重要性方面比较RGB的所有三个颜色的功能，或者可以在重要性方面比较三个颜色中的两个颜色。在两子像素拼图具有青色和品红配置的实例中，由于青色包括蓝色和绿色以及由于品红包括红色和绿色，而因为每个颜色会竞争在图像中表示所以将块624配置为确定绿色、红色和蓝色的相对重要性。通过比较，如果两子像素拼图具有绿色和品红配置，块624 因为将会独立于这两个颜色调制绿色所以确定红色对蓝色的相对重要性。在又其它的实例中、以及返回参照图2B，通过CIM确定子图像273，其中，白色部分指示应当对于蓝色的MIC 控制调制元件(即，指示蓝色，以及其中，黑色部分在随处的其它地方指示应当对于其它颜色(即，红色和绿色)控制调制元件。可以将块625配置为生成可以用来确定要向驱动调制元件(例如，152,452)应用的合适控制信号的归一化图。在一些实施例中，与后调制器相关联的归一化图是颜色重要性权重图(“CIWM”)形式的。CIWM可以包括直方图形式的数据的布置以例如表示划分优先级为最重要颜色的颜色的百分比以及对于未划分优先级为最重要颜色的其它颜色最重要的颜色的百分比。根据一些实施例，通过但不限于诸如如下内容的因素确定CIWM 会受某个调制元件影响、以及会具有某个MIC的前调制器的给定区域中像素的数量；以及，MIC会不同的像素的数量。CIWM的一个实施包括某个(些)调制元件对应的基于MIC不同的像素的相对频率的直方图。在这种实施中，直方图对于每个像素包括指示应当控制调制元件以使得前调制器在没有特定颜色的颜色误差的情况下操作调制元件的亮度强度程度的加权参数。为了示例，考虑前调制器具有使红色作为MIC的七十五个像素以及未如此的二十五个像素，对于这100个像素朝向红色调节CIWM。在其它实例中，基于对立颜色之间的差异 (即，调制器某个区域的颜色对比、以及来自人类视觉系统的因素)确定CIWM。在又进一步的实例中，如果先前实例中的七十五个像素使红色作为比第二颜色略微重要，但是二十五个像素使第二颜色比红色相当重要，则可以使用直方图表示朝向实例中的第二颜色进一步调节具有子图像加权平均值表示的CIWM。块625基于块624中确定的颜色重要性图、块623中确定的模拟光场、以及输入图像604确定在没有其它颜色(例如，红色和绿色)的和最重要颜色MIC(例如，蓝色)的颜色误差 的情况下调制用于在前调制器上显示的子图像的哪些部分。在一些实例中，块626 生成具有颜色校正的后调制器驱动水平以使得被配置为调制作为MIC的蓝色的像素没有每个像素的颜色误差，或者生成具有颜色校正的后调制器驱动水平以使得可以在没有颜色误差的情况下在前调制器上调制被配置为调制红色和绿色的像素。此外，块626可以基于如通过CIM所确定的被配置为在没有图像的区域中(即，局部地)MIC的颜色误差的情况下产生子图像的模拟后调制器光场估计或预测前调制器子图像。在一些实例中，此子图像对应于用于控制前调制器的估计驱动水平以使得它基于例如CIM和输入图像调制。CIM可以包括表示从一个颜色向另一颜色逐渐淡化的数据。在此情形中，逐渐淡化的二值表示与具有“0”(例如，在视觉上用黑色表示)的区域与“1”(例如，在视觉上用白色表示)的区域之间的临界处相关联。为了描绘逐渐淡化，块626估计前调制器图像以使得前调制器可以可调整地控制图像逐渐改变调制哪个颜色以在没有颜色误差的情况下产生从一个颜色向另一颜色的逐渐淡化。可以将块627配置为确定每个颜色的补偿后调制器(例如，背光)驱动水平。根据一些实施例，由于可以在前调制器在具有颜色误差的情况下调制它们的子图像的部分中补偿这些颜色，通过计算背光的目标后调制器驱动水平颜色(如，红色、绿色和蓝色)执行此确定。在一些实例中，对于诸如MIC的某个颜色(或某些颜色)通过块626中确定的估计驱动水平划分路径Bl上提供的输入图像604，从而产生在没有目标后调制器驱动水平的某个颜色(或某些颜色)的颜色误差的情况下再现的较高分辨率子图像。可以将块628配置为提供将会最贴近再现对于某个颜色在块627中确定的子图像的期望后调制器驱动水平的预修正。确定后调制器驱动水平的一个方式是基于后调制器的点扩展函数产生或预测目标子图像。因而，目标子图像是输入图像的模糊表示。在一些实例中，块628通过向目标子图像应用反向模糊模拟确定后调制器驱动水平。可以通过使用反卷积技术(诸如Lucy-Richardson去模糊技术)执行反向模糊模拟。随后对于与后调制器相关联的可用调制元件的数量下采样“不模糊”图像，其中，使用所得后调制器驱动水平控制调制元件。块629转变初始后调制器驱动水平(来自块622)、目标驱动水平(来自块627和 628)和颜色重要性权重图(来自块625)以形成有效后调制器驱动水平680。在一些实施例中，转变使用用以产生后效后调制器驱动水平680的组合函数。在至少一个实施例中，凸组合函数构建使用表示初始后调制器驱动水平、目标驱动水平、以及权重图的数据的组合函数。可以将块629配置为用以使得组合使得能够为后调制器提供前调制器可以在具有该某个颜色的颜色误差的情况下调制的部分中如原始所确定了的(例如，如输入图像中的颜色所指示的)某个颜色的驱动水平；用以使前调制器可以在没有其它颜色的颜色误差的情况下调制的部分中的颜色补偿实现的目标驱动水平；以及表示如先前所述的加权组合的驱动水平。在一些实例中，根据等式(2)确定目标驱动水平(“B”)和初始后调制器驱动水平(“Α”)的加权组合。凸起(A，B)=权重* A+(l-权重)* B 等式(2)等式(2)可以提供块622确定的初始后调制器驱动水平与块627-628确定的目标驱动水平之间的后调制器驱动水平的中间值。在一些实例中，可以将凸起(Α，B)表示成有效后调制器驱动水平产生的有效光图案(LP. ) ；A参考可以是初始子图像(来自块 622-623,220)的第一图像(图像》；B参考可以是替代子图像(来自块628、244)的第二图像(图像2)；权重是指直方图(来自块625、250)。在这种实例中，将等式(2)描述成如下 LPijs=图像工*权重+图像2 * (1-权重)。在其它实例中，对LPI5s的参考是指被配置为根据后调制器驱动水平形成的后调制器光图案。图7A-图7B示例根据本发明至少一些实施例的通过颜色层次凸组合技术操作后调制器的实例。此处在图7A中，输入图像704包括交叉出现的部分721-729指示的包括蓝色的多个颜色。在块624处生成颜色重要性图(CIM) 730。白色区域731-739在此实例中指示认为蓝色是最重要颜色(MIC)的部分721-729，而CIM 730的剩余黑色部分指示未划分优先级为MIC的其它颜色。在一些实施例中，CIM 730是指示表示在输入图像中蓝色是MIC 的部分的白色像素的直方图。在块625处生成颜色重要性权重图(CIWM)740。根据一些实施例，CIWM 740包括部分731-739对应但是呈现为具有较暗淡区域(在视觉上描绘成白色与黑色像素的区域之间的模糊或软化界面)的部分741-749。图7B示例CI丽740的放大版本。此处在图7B中，CI丽740以示例的方式包括暗淡区域741a-f、746a-c、以及749a_c。CIWM 740指示子图像特定部分741-749的MIC相对加权。例如，某个像素值对于CIWM中的给定区域越高，在确定要用于背光的实际驱动水平的过程中向目标背光驱动水平给出的权重越多。作为推论，某个像素值对于CI丽中的给定区域越暗淡，向初始确定的背光驱动水平给出的权重越多。图7B中暗淡区域741a-f、 746a-c、以及749a-c中的每个指示对于图像的这些区域使蓝色作为最重要颜色的较少像素。CI丽740的剩余黑色部分指示蓝色并非MIC的图像704中的其它颜色。暗淡区域 741a-f、746a-c、以及749a_c中灰色调的变化程度指示CIM 730相应部分处黑色和白色像素的变化混合。如此处所描绘的，诸如746a的较暗阴影区域是较之较浅灰色区域746b而言较暗淡驱动水平的指示符。图8A示例了根据本发明至少一些实施例的，通过颜色层次凸组合技术操作后调制器的实例。此处在图800中，图6的块622接收输入图像804。块622确定与子图像822 相关联的后调制器驱动水平(例如，蓝色的原始背光驱动水平)。块627和628确定如子图像827所指示的目标驱动水平。块625确定颜色重要性权重图825。块629在块680处使用组合函数829将子图像822的驱动水平、子图像827的驱动水平和CIWM 825转变成有效后调制器驱动水平880 (也称作“要应用的实际背光驱动值”)。在一些实例中，组合函数 829可以是如针对等式(2)所述的凸组合。图8B描绘了根据实施例的具有具体识别的不同颜色的输入图像804。如所示，输入图像804包括红色特征870、绿色特征871、包括部分721-728的蓝色特征、黄色特征872、 品红色特征873、青色特征874、白色特征875、以及黑色特征876 (例如，任何深色，如，很深的绿色、蓝色或棕色)。颜色误差(如果有的话)通常在颜色特征之间的界面处可感知。还示出的是在红色与蓝色之间存在逐渐淡化的区域850。图8C描绘了作为蓝色通道背光的子图像822。如所示，根据实施例，将包括蓝色的颜色(例如，品红、青色、白色、以及蓝色)标注成“蓝色”，而将不包括蓝色的颜色(例如，红色、绿色、黄色、以及黑色)标注成“深蓝色” 或“低亮度蓝色”。图8D例如描绘了具有如本文中所述颜色补偿的目标子图像827。如所示，颜色黄色是“黑色”，这意味着颜色黄色由于蓝色并非黄色特征872中的最重要颜色而在蓝色通道中不存在。使用权重825将图8C的子图像822和图8D的子图像827组合以确定也可以提供背光子图像880中转移(例如，逐渐淡化区域)的实际背光驱动信号值。图9示例根据本发明一些实施例的通过低端阈值(LET)技术操作后调制器的实例的流程图。此处，流程图900包括可以被配置为识别R、G和/或B值小于阈值(Thresh) 的这些像素、以及将小于Thresh的这些识别值设置为等于这些识别值的最大颜色值(颜色Max)的块914。通过这样做，可以在接下来的块915中排除后调制器试图将颜色(具有颜色误差和需要补偿)驱动为很高水平(即，明亮)以在一个或更多个颜色具有相对于具有颜色误差的颜色(会具有较之其它颜色(即，在颜色空间中，诸如R、G和B的三个颜色中的)中一个或两个颜色的像素值而言的较高像素值以及前调制器在具有颜色误差(如从图 2A-2B中的块220所确定的)的情况下调制)的低像素值的图像部分中准确再现目标(期望)颜色。会因为需要校正的颜色的像素值低而使得人类视觉系统不会能够感知会有助于这种低亮度的颜色的轻微误差所以进行颜色的特定低像素值潜在过饱和的此缓解。块915基于图2A-图2B或图6中以实例的方式示例和本文中描述的三维和场序颜色合成技术生成目标驱动水平。将块916配置为在块916已确定值小于第二函数(g(Thresh))的输入图像中的像素时、以及在块916已确定替代后调制器驱动水平大于第三函数(f (Thresh))时将替代后调制器驱动水平(例如，块244确定的目标后调制器驱动水平)设置为第一函数 (h (Thresh))。在一些实例中，可以在与输入图像相关联的颜色小于函数g确定的截止值时以及在与替代子图像相关联的驱动水平大于函数f确定的值时将与替代子图像相关联的驱动水平分配给函数h确定的截止值。表1提供函数f、g、以及h的示范性描述如下。
函数_描述_
g确定截止值的函数
f确定替代亮度图案(例如，目标后调制器亮度轮廓)
的限制值的函数(根据下釆样确定驱动水平) h可以产生可以通过函数f限制目标后调制器驱动水平的
替代后调制器驱动水平的函数表1可以将参数Thresh配置为表征像素值在其以下因为人类视觉系统将会无法感知这种像素值处的颜色所以不会重要的低端截止值。在一些实例中，Thresh = 0. 1, g = Thresh, f = 3 * Thresh, h = 3 * Thresh = g。块916被配置为限制块915产生高驱动水平、但是相应输入图像指示该颜色低亮度水平的子图像的部分中的目标后调制器驱动水平。以此方式限制目标后调制器驱动水平由于因为人类视觉系统上的细观视觉作用而不会有必要在子图像的暗部分中再现低亮度光，可以缓解叠加来自不同调制元件的点扩展函数引起的相邻图像区域中的过量光污染造成的伪影。图10示例了根据本发明一些实施例的用以操作前调制器和后调制器的示范性控制器的框图。此处，显示控制器1000包括后调制器生成器1031、前调制器管线1010、以及前调制器生成器1011。后调制器生成器1031可以包括均被配置为提供本文中描述的各功能的具有补偿器1040和转变器1050的颜色校正器1030、以及合成器1020。可以在一些实例中将输入图像1004作为γ编码图像提供给后调制器生成器1031和前调制器管线1010 这二者。后调制器生成器1031可以生成用以控制后调制器操作的后调制器驱动信号1080。 艮口，从输入图像1004得出内容以及使用本文中提供的描述、技术和方法，可以确定后调制器每个调制元件的适当驱动水平。前调制器生成器1011可以基于来自前调制器管线1010 的输入、以及后调制器驱动信号，生成用以控制前调制器操作的前调制器信号1090。前调制器管线1010可以包括产生期望总体光输出和白色点的前调制器输出值的生成。例如，管线1010可以应用校正技术，以通过光模拟输出划分值、校正域和前调制器响应。可以将输入图像1004调整为给定相应光场的前调制器上的理想显示。引用颜色误差根据一些实施例，可以是指 通过可操作像素拼图使用时归因于前调制器缺少全色控制、以及以实例的方式在图2的块220的描述上下文内造成的图像区域中的视觉伪影。在块220的上下文中、以及以实例的方式，后调制器不会已考虑基于红色与蓝色(对于品红子像素元件)或者绿色与蓝色(对于青色子像素元件)之间的比较控制像素以选择它的值时造成的不准确性。在一些实例中，选择可以基于这些颜色中的哪个颜色具有较高RGB值，即，将会使得在没有颜色误差的情况下调制该颜色的值，在此之后该像素将会得出它的相关联第二颜色为同样值以试图在没有颜色误差的情况下调制青色品红拼图。 然而，通过非标准、双色像素拼图的使用固有的是缺少所有颜色的前调制器上的全色控制， 在颜色选择基于RGB值的最大值的这些实例中，因为缺少用以解决前调制器缺少全色控制的后调制器补偿而造成这种颜色误差。作为推论，引用“没有颜色误差”可以是指前调制器在没有这些伪影发生的情况下调制某个颜色或某些颜色的子图像。以实例的方式、以及如图2B中所描绘的，前调制器在没有颜色黄色(具有红色和绿色)的颜色误差的情况下调制子图像272。在这种实例中，颜色黄色将会如与颜色蓝色相对地，需要块242和244中的颜色补偿。引用颜色层次凸组合(CHCC)根据一些实施例，可以是指确定可以被配置为选取它们的颜色优先级的系统的合适后调制器驱动水平。引用颜色重要性图(CIM)根据一些实施例，可以是指指示图像或子图像每个像素的颜色优先级的颜色优先级排序的阵列。引用颜色优先级或颜色划分优先级，根据一些实施例，可以指图像或图像的一部分中颜色的等级，且在一些实例中，可以指确定哪个颜色或哪些颜色会是可感知最重要的以在没有颜色误差的情况下再现输入图像。引用对比度根据一些实施例，可以是指通过完全接通和完全关断调制器信号得到的亮度确定的比率。引用场序颜色合成根据一些实施例，可以是指使用快速序列中的不同时间帧对可感知全色图像的产生，以及可以是指题为“Field Sequential Display of Color Images”的美国专利申请公开US 2008/0186344A1号中公开的技术，其全部内容为所有目的通过引用包含于此。引用高动态范围根据一些实施例，可以描述可以通过在最暗状态透射的光和在最明亮状态透射的光的大亮度比率显示图像的成像系统和图像。引用液晶显示器可以是指根据一些实施例，可以在0与90度之间改变入射光(例如，基于逐个像素)的偏振状态以及透射特性变换的光、以及在其它实施例中能够执行空间调制的透射型光学技术和/或组件。引用局部和全局颜色优先级根据一些实施例，可以分别是指基于某个颜色相对于图像部分确定的划分优先级方案，如同最重要颜色一样，以及如与在整个子图像上将颜色划分优先级的方案所相比较的。引用低端阈值根据一些实施例，可以是指可以通过三维和场序颜色合成技术利用的伪影减少技术。引用最重要颜色(MIC)根据一些实施例，可以是指已划分优先级为最高优先级、 以及可以通过包括题为“Field Sequential Display of Color Images”的美国专利申请公开US 2008/0186344A1号中公开的方式的大量方式确定的颜色，其内容整体以及对于所有目的经引用并入本文。引用“未识别(或划分优先级)成最重要”根据一些实施例，可以是指互换地为“识别(或划分优先级)成并非最重要”。弓丨用RGB根据一些实施例，可以是指可以将每个主要颜色映射到在零处开始的线性亮度尺度的红色、绿色和蓝色光的归一化颜色空间。引用三维颜色合成根据一些实施例，可以是指使用非标准像素拼图和后调制器(例如，背光)对全色图像的产生，以及可以包括题为“Three-Dimensional Color Synthesis for Enhanced Display Image Quality”的 2005 年 4 月 1 日提交的美国临时专利申请60/667，506号中公开的那些技术，其全部内容为所有目的通过引用包含于此。描述的系统、装置、集成电路、计算机可读介质、以及方法会可应用于各种应用。在一些实例中，可以在被配置为显示具有运动的图像(例如，视频)、没有运动的图像、图示图像、和/或文本的设备中实施一个或更多个实施例。在其它实例中，可以通过如下这种设备实施一个或更多个实施例如但不限于装备、架构结构、美学艺术品、音频视觉设备、计算器、摄录一体机、摄像机显示器、时钟、计算机监视器、数字调制器投影系统、数据投影仪、数字影院、数字时钟、电子相片、电子广告牌、电子设备、电子标志、游戏控制台和外围设备、图形工艺、高动态范围(HDR)显示器、家庭影院系统和媒体设备、平板显示器、全球定位传感器(GPQ和导航仪、手持计算机、大型显示器、医学设备、医学成像设备或系统、MP3播放器、 移动电话、包裹、个人数字助理(PDA)、便携式计算机、便携式投影仪、投影系统、立体显示器、监控监视器、电视机、电视显示器、交通工具相关控制和/或监视显示器(例如，座舱显示器、挡风玻璃显示器、仪表盘显示器、摩托车头盔遮阳板显示器、交通工具后视摄像机显示器等...)、钟表、以及无线设备。在一些实施例中，可以通过本文中描述的任何结构执行功能和/或子过程。在一些实例中，可以通过计算机处理器上的软件指令执行和/或实行本文中描述的方法、技术和过程。例如，计算机或其它显示控制器中的一个或更多个处理器可以通过执行处理器可访问的程序存储器(例如，图3的存储/存储器317)中的软件指令，实施图 2A-2B、5A-5C、以及6-9的方法。另外，可以使用耦合到显示器的现场可编程门阵列(FPGA)、 或者控制计算机或图形处理单元通过全帧图像执行本文中描述的方法、技术和过程。也可以通过如下这种程序产品的形式提供这些方法、技术和过程可以包括携带在通过数据处理器执行时使得数据处理器执行这种方法、技术和过程的一套计算机可读指令的任何媒体和/或介质。程序产品可以包括但不限于诸如磁数据存储介质的物理介质，包括软盘、以及硬盘驱动器；包括CD ROM、以及DVD的光学数据存储介质；电子数据存储介质，包括ROM、 闪存RAM、非易失性存储器、拇指驱动器等；以及传输型介质，如，数字或模拟通信链路、虚拟存储器、网络或全球计算机网络上的主机存储、以及联网服务器。在至少一些实例中，可以在软件、硬件、固件、电路、或者其组合中实施上述特征中任何特征的功能和/或结构。请注意可以将以上构建元件和结构、以及它们的功能与一个或更多个其它结构或元件汇集。可替选地，可以在存在的情况下，将元件和它们的功能细分成构建子元件。作为软件，可以使用包括如下内容的各种类型的编程或格式化语言、框架、 句法、应用、协议、对象、或者技术实施上述技术c、对象C、c++、c#、Fiex 、Freworks 、 Java ,Javascript ,AJAX,COBOL、Fortran、ADA、XML、HTML、DHTML、XHTML、HTTP、XMPP、Ruby on Rails等。这些可以变化以及不限于提供的描述或实例。可以通过包括如下内容的大量方式实施本发明的各种实施例或实例系统、过程、 装置、或者诸如在光学、电子、或者无线通信链路上发送程序指令的计算机网络或可读存储介质的计算机可读媒体和/或计算机可读介质上的一系列程序指令。通常，如非权利要求中另行提供，可以按任意次序执行公开过程的操作。连同附图一起在本文中提供一个或更多个实例的详细描述。详细描述结合这种实例提供，但是不限于任何特定实例。只通过权利要求限定范围，涵盖大量替选方案、修改、以及等同物。在描述中叙述了大量具体细节以提供全面理解。作为实例提供这些细节，可以在没有所附细节中的一些或所有细节的情况下根据权利要求实践描述的技术。由于许多替选方案、修改、等同物、以及变型鉴于以上教导是可行的，它们并非意在是穷尽的或者将本发明限制为公开的精确形式。为了清楚起见，未详细描述与实例有关的技术领域中已知的技术材料以避免不必要地妨碍描述。描述为了说明的目的使用具体命名法提供本发明的全面理解。然而，为了实践本发明不需要具体细节将会是明显的。事实上，不应当将此描述阅读为将本发明的任何特征或方面限制为任何实施例，而是，可以轻松将一个实例的方面和特征与其它实例互换。值得注意地，并非需要通过本发明的每个实例实现本文中描述的各个优点；而是，任何具体实例可以提供以上讨论的益处中的一个或更多个益处。在权利要求中，如非权利要求中明确陈述，元件和/或操作不隐含操作的任何特定次序。旨在以下权利要求和它们的等同物定义本发明的范围。
权利要求
1.一种生成后调制器子图像的方法，包括确定与输入图像相关联的颜色优先级等级的阵列，所述阵列包括与被识别为最重要的第一颜色子集相关联的第一部分，以及与第二颜色子集相关联的第二部分，在所述第二部分处，所述第一颜色子集未被识别为最重要的；确定具有所述第一颜色子集和所述第二颜色子集的估计的子图像，所述估计的子图像包括第一区域，所述第一区域由所述第一部分补偿，以使得能够利用所述第一颜色子集并在没有颜色误差的情况下再现所述估计的子图像，其中，所述第一颜色子集被划分优先级为最重要的，以及第二区域，所述第二区域由所述第二部分配置，以使得能够在所述第二区域中利用所述第二颜色子集再现所述估计的子图像，其中，所述第一颜色子集未被划分优先级为最重要的；以及基于所述估计的子图像和所述输入图像生成替代子图像，其中，所述替代子图像被配置为利用所述第二颜色子集并在没有与所述第一颜色子集相关联的颜色误差的情况下实现所述输入图像的显示。
2.如权利要求1所述的方法，其中，所述替代子图像包括所述输入图像的低分辨率表示，所述替代子图像被配置为在后调制器上再现。
3.如权利要求2所述的方法，其中，所述估计的子图像包括所述输入图像的较高分辨率表示，所述估计的子图像被配置为在前调制器上再现。
4.如权利要求1所述的方法，其中，确定颜色优先级等级的阵列包括生成颜色重要性图，以包括所述第一和第二部分作为彼此的二值表示。
5.如权利要求1所述的方法，其中，被划分优先级为最重要的第一颜色子集基于使用红色、绿色和蓝色的明视比的颜色优先级方案。
6.如权利要求1所述的方法，还包括将所述替代子图像和初始子图像转变为有效驱动水平；以及应用指示所述有效驱动水平的信号以实现所述后调制器子图像的显示，其中，从所述输入图像得出所述初始子图像。
7.如权利要求6所述的方法，其中，将所述替代子图像和初始子图像转变为有效驱动水平包括对与所述替代和初始子图像相关联的亮度强度以及对加权平均的阵列应用组合函数， 以得出所述有效驱动水平，其中，所述加权平均的阵列指示被划分优先级为最重要的所述第一颜色子集关于所述第二颜色子集的相对频率。
8.如权利要求7所述的方法，其中，所述加权平均的阵列构成直方图。
9.如权利要求8所述的方法，其中，所述组合函数构成颜色层次凸组合。
10.如权利要求9所述的方法，其中，所述颜色层次凸组合包括LPwa=图像*权重+图像2 * (1-权重)，其中，LPI5s包括与所述有效驱动水平相对应的有效光图案，图像工包括所述初始子图像，图像2包括所述替代子图像，且所述权重包括所述直方图。
11.如权利要求7所述的方法，其中，根据模拟光场确定所述初始子图像。
12.如权利要求1所述的方法，在确定颜色优先级等级的阵列之前，还包括识别所述第一颜色子集和所述第二颜色子集之中的最大颜色值；以及将所述最大颜色值分配给所述第一颜色子集和所述第二颜色子集中确定为低于阈值 (Thresh)的某些颜色中的每一个。
13.如权利要求12所述的方法，还包括当与所述输入图像相关联的颜色数据值小于由函数(g)表示的第二截止值时，以及当与所述替代子图像相关联的驱动水平大于由函数(f)表示的截止值时，将与所述替代子图像相关联的驱动水平分配给由函数(h)表示的第一截止值。
14.如权利要求13 所述的方法，其中，Thresh = 0. 1，g = Thresh, f = 3 * Thresh, h =3 * Thresh。
15.如权利要求1所述的方法，其中，生成替代子图像包括通过所述估计的子图像划分所述输入图像。
16.一种图像显示系统，包括后调制器，能够操作以生成作为输入图像的低分辨率表示的后调制器子图像，所述后调制器子图像是根据被配置为有助于从所述输入图像得出的第一颜色子集和第二颜色子集中的某个的颜色校正的颜色重要性图来形成的；前调制器，被配置为由与所述后调制器子图像相关联的光照射以产生中间子图像，所述后调制器子图像使得能够在没有与所述第一颜色子集和所述第二颜色子集中的一个相关联的颜色误差的情况下，生成具有所述第一颜色子集和所述第二颜色子集的所述中间子图像；以及像素拼图，被布置为对所述中间子图像进行滤波，从而产生表示所述输入图像的可显示图像。
17.如权利要求16所述的系统，还包括控制器，被配置为确定与所述输入图像相关联的颜色优先级等级的阵列，所述阵列包括与被识别为最重要的所述第一颜色子集相关联的第一部分，以及与所述第二颜色子集相关联的第二部分， 在所述第二部分处，所述第一颜色子集未被识别为最重要的；确定具有所述第一颜色子集和所述第二颜色子集的估计的子图像，所述估计的子图像包括第一区域，所述第一区域由所述第一部分补偿，以使得能够利用所述第一颜色子集并在没有颜色误差的情况下再现所述估计的子图像，其中，所述第一颜色子集被划分优先级为最重要的，以及第二区域，所述第二区域由所述第二部分配置，以使得能够在所述第二区域中利用所述第二颜色子集再现所述估计的子图像，其中，所述第一颜色子集未被划分优先级为最重要的；以及基于所述估计的子图像和所述输入图像生成替代子图像，其中，所述替代子图像被配置为利用所述第二颜色子集并在没有与所述第一颜色子集相关联的颜色误差的情况下实现所述输入图像的显示。
18.如权利要求17所述的系统，其中，所述替代子图像被配置为在所述后调制器上显示
19.如权利要求17所述的系统，其中，所述估计的子图像被配置为在所述前调制器上显不。
20.如权利要求17所述的系统，其中，所述控制器还被配置为生成所述颜色重要性图，以包括所述第一部分和所述第二部分作为彼此的二值表示。
21.如权利要求17所述的系统，其中，所述控制器被进一步配置为基于使用红色、绿色和蓝色的明视比的颜色优先级方案将所述第一颜色子集划分优先级为最重要的。
22.如权利要求17所述的系统，其中，所述控制器被进一步配置为 将所述替代子图像和初始子图像转变为后调制器驱动水平；以及应用指示所述后调制器驱动水平的信号以实现所述后调制器子图像的显示， 其中，从所述输入图像得出所述初始子图像。
23.如权利要求22所述的系统，其中，控制器被进一步配置为对与所述替代和初始子图像相关联的亮度强度以及对加权平均的阵列应用组合函数， 以得出所述后调制器驱动水平，其中，所述加权平均的阵列指示被划分优先级为最重要的所述第一颜色子集关于所述第二颜色子集的相对频率。
24.如权利要求23所述的系统，其中，所述加权平均的阵列构成直方图。
25.如权利要求24所述的系统，其中，所述组合函数构成颜色层次凸组合。
26.如权利要求23所述的系统，其中，所述组合函数包括下述形式的颜色层次凸组合 LPwa=图像*权重+图像2 * (1-权重)，其中，LPI5s包括被配置为根据所述后调制器驱动水平形成的后调制器光图案，图像工包括所述初始子图像，图像2包括所述替代子图像，以及权重。
27.如权利要求22所述的系统，其中，根据模拟光场确定初始子图像。
28.如权利要求17所述的系统，在确定颜色优先级等级的阵列以前，其中，所述控制器被进一步配置为识别所述第一颜色子集和所述第二颜色子集之中的最大颜色值；以及将所述最大颜色值分配给所述第一颜色子集和所述第二颜色子集中确定为低于阈值 (Thresh)的某些颜色中的每一个。
29.如权利要求28所述的系统，其中，所述控制器被进一步配置为当与所述输入图像相关联的颜色数据值小于由函数(g)表示的第二截止值时，以及当与所述替代子图像相关联的驱动水平大于由函数(f)表示的截止值时，将与所述替代子图像相关联的驱动水平分配给由函数(h)表示的第一截止值。
30.如权利要求29 所述的系统，其中，Thresh = 0. 1，g = Thresh, f = 3 * Thresh, h =3 * Thresh。
31.如权利要求17所述的系统，其中，所述控制器被进一步配置为 通过所述估计的子图像划分所述输入图像。
32.—种计算机可读介质，被配置为生成后调制器子图像，所述计算机可读介质包括可执行指令，所述可执行指令被配置为确定与输入图像相关联的颜色优先级等级的阵列，所述阵列包括与被识别为最重要的第一颜色子集相关联的第一部分，以及与第二颜色子集相关联的第二部分，在所述第二部分处，所述第一颜色子集未被识别为最重要的；确定具有所述第一颜色子集和所述第二颜色子集的估计的子图像，所述估计的子图像包括第一区域，所述第一区域由所述第一部分补偿，以使得能够利用所述第一颜色子集并在没有颜色误差的情况下再现所述估计的子图像，其中，所述第一颜色子集被划分优先级为最重要的，以及第二区域，所述第二区域由所述第二部分配置，以使得能够在所述第二区域中利用所述第二颜色子集再现所述估计的子图像，其中，所述第一颜色子集未被划分优先级为最重要的；以及基于所述估计的子图像和所述输入图像生成替代子图像，其中，所述替代子图像被配置为利用所述第二颜色子集并在没有与所述第一颜色子集相关联的颜色误差的情况下实现所述输入图像的显示。
33.如权利要求32所述的计算机可读介质，包括进一步的可执行指令，其被配置为 在后调制器上显示所述替代子图像。
34.如权利要求32所述的计算机可读介质，包括进一步的可执行指令，其被配置为 在前调制器上显示所述估计的子图像。
35.如权利要求32所述的计算机可读介质，包括进一步的可执行指令，其被配置为 生成颜色重要性图，以包括所述第一和第二部分作为彼此的二值表示。
36.如权利要求32所述的计算机可读介质，包括进一步的可执行指令，其被配置为 基于使用红色、绿色和蓝色的明视比的颜色优先级方案将所述第一颜色子集划分优先级为最重要的。
37.如权利要求32所述的计算机可读介质，包括进一步的可执行指令，其被配置为 将所述替代子图像和初始子图像转变为有效驱动水平；以及应用指示所述有效驱动水平的信号以实现所述后调制器子图像的显示， 其中，从所述输入图像得出所述初始子图像。
38.如权利要求37所述的计算机可读介质，包括进一步的可执行指令，其被配置为 对与所述替代和初始子图像相关联的亮度强度以及对加权平均的阵列应用组合函数，以得出所述有效驱动水平，其中，所述加权平均的阵列指示被划分优先级为最重要的所述第一颜色子集关于所述第二颜色子集的相对频率。
39.如权利要求38所述的计算机可读介质，包括进一步的可执行指令，其被配置为 把直方图用于所述加权平均的阵列。
40.如权利要求39所述的计算机可读介质，其包括进一步的可执行指令，其被配置为 利用颜色层次凸组合作为组合函数。
41.如权利要求40所述的计算机可读介质，包括进一步的可执行指令，其被配置为 实现LPmjl=图像*权重+图像2 * (1-权重)，其中，LPι 包括与所述有效驱动水平相对应的有效光图案，图像工包括所述初始子图像，图像2包括所述替代子图像，且所述权重包括所述直方图。
42.如权利要求37所述的计算机可读介质，包括进一步的可执行指令，其被配置为 根据模拟光场确定所述初始子图像。
43.如权利要求32所述的计算机可读介质，包括进一步的可执行指令，其被配置为 在确定所述颜色优先级等级的阵列以前，识别所述第一颜色子集和所述第二颜色子集之中的最大颜色值；以及将所述最大颜色值分配给所述第一颜色子集和所述第二颜色子集中确定为低于阈值 (Thresh)的某些颜色中的每一个。
44.如权利要求43所述的计算机可读介质，包括进一步的可执行指令，其被配置为 当与所述输入图像相关联的颜色数据值小于由函数(g)表示的第二截止值时，以及当与所述替代子图像相关联的驱动水平大于由函数(f)表示的截止值时，将与所述替代子图像相关联的驱动水平分配给由函数(h)表示的第一截止值。
45.如权利要求32所述的计算机可读介质，包括进一步的可执行指令，其被配置为 通过借由所述估计的子图像划分所述输入图像生成所述替代子图像。
全文摘要
实施例总体上涉及基于计算机的图像处理，尤其涉及通过例如利用颜色补偿技术生成后调制器子图像来有助于操作具有相对高动态范围的图像显示系统的系统、装置、集成电路、计算机可读介质以及方法。图像显示系统可以在图像显示系统包括像素拼图时产生将会使得在没有某个或某些颜色造成的颜色误差的情况下显示前调制器子图像的后调制器驱动水平。
文档编号G09G3/34GK102414738SQ201080019160
公开日2012年4月11日 申请日期2010年4月29日 优先权日2009年4月30日
发明者迈克尔·J·S·坎 申请人:杜比实验室特许公司
技术领域：
本发明的实施例一般地涉及显示图像，尤其涉及操作图像显示系统以改进数字图像的颜色再现中的动态范围的系统、装置、集成电路、计算机可读介质以及方法。
背景技术：
可以根据液晶显示(IXD)面板、以及沿着光路布置以照亮IXD面板的发光二极管 (LED)的阵列的光学组合形成高动态范围(HDR)显示器。像素强度通常因为每个LED与许多IXD像素交叠所以未彼此独立地受控，并对显示的图像的亮度有贡献。通过HDR显示器生成的图像的强度和动态范围通常超过传统成像技术的强度和动态范围。此外，已开发了三维颜色合成和场序颜色合成的技术，以增强各种显示设备的数字影像。可是，显示设备中的许多显示设备尚未非常适合具有HDR成像的这种技术的组合。鉴于以上内容，持续努力改进用以操作具有输出图像的改进的有效高动态范围的 HDR显示器的系统、装置、集成电路、计算机可读介质以及方法。
发明内容
实施例一般地涉及基于计算机的图像处理，尤其涉及有助于通过例如利用颜色补偿技术生成子图像来操作具有相对高动态范围的图像显示系统的系统、装置、集成电路、计算机可读介质以及方法。图像显示系统可以产生与(目标)后调制器驱动水平相对应的目标子图像，其中，这种驱动水平可以使得较高分辨率子图像能够被准确地再现，并在具有可操作滤波器(在一些实例中可以是像素拼图)的图像显示系统的输出处没有某个(些) 颜色的颜色误差。合适的目标驱动水平可以被用来在前调制器并未正适当地调制的较高分辨率子图像中在一些实例中局部地、以及在其它实例中全局地校正颜色误差。在至少一些实施例中，可以通过合适的组合函数将目标子图像和输入图像转变为有效(后调制器)驱动水平，以使得能够进行颜色校正。在一些实例中，可以利用作为颜色层次凸组合的组合函数。可以在一些实例中在此变换期间利用包括颜色重要性图的局部颜色划分优先级。在至少一些实施例中，可以连同三维颜色合成和场序颜色合成技术一起利用非标准像素拼图。 另外，在一些实施例中，可以提供用以缓解相邻图像区域中过量光污染造成的伪影的技术。
结合配合附图的以下详细描述更充分明白本发明和它的各种实施例，其中图IA-图IB示例根据本发明至少一些实施例的操作图像显示系统的后调制器的功能框图。
图2A-图2B示例根据本发明至少一些实施例的表示操作后调制器的实例的流程图。图3是根据本发明至少一些 实施例的被配置为操作图像显示系统的控制器的示意图。图4A-图4B示例根据本发明至少一些实施例的示例性后调制器部件和前调制器部件的图。图5A-图5C示例根据本发明至少一些实施例的合成器、补偿器和转变器 (translator)的实例的功能框图。图6示例根据本发明至少一些实施例的表示操作后调制器的另一实例的流程图。图7A-图7B示例根据本发明至少一些实施例的利用颜色层次凸组合技术操作后调制器的实例。图8A至图8D示例根据本发明至少一些实施例的利用颜色层次凸组合技术操作后调制器的实例。图9示例根据本发明一些实施例的利用低端阈值(LET)技术操作后调制器的实例的流程图。图10示例根据本发明一些实施例的操作前调制器和后调制器的示例性控制器的框图。相同附图标记指遍及附图的若干视图的相应部分。注意附图标记中的大多数附图标记包括通常识别首次引入该附图标记的图的一个或两个最左边的数字。
具体实施例方式图IA-图IB示例根据本发明至少一些实施例的操作图像显示系统的后调制器的功能框图。此处在图IA中，图100描绘了合成器120、颜色校正器130、后调制器150以及具有滤波器170的前调制器160。后调制器150包括用作光源的调制元件152的阵列。在一些实例中，调制元件152发出不同颜色的光，包括红光154R、绿光154G和蓝光154B。光 154(R、G、B)可以被沿着光路定向，以照射包括多个像素162的前调制器160的表面。例如，后调制器150被配置为透射(transmit)光图案作为子图像(未示出)，该子图像表示输入图像104沿着光路、从发出彩色光154(R、G和B)的调制元件152形成的低分辨率近似。前调制器160可以使用该低分辨率光图案生成较高分辨率光图案，以形成较高分辨率子图像，较高分辨率子图像的组合产生输入图像104。根据入射在前调制器160表面上的光154(R、G和B)形成高分辨率光图案。在生成较高分辨率光图案的过程中，控制多个像素162朝向滤波器170透射光164。在一些实例中，滤波器170是颜色元件172的阵列， 颜色元件172包括多个子像素。在一些实例中，颜色元件172的分辨率与像素162的分辨率类似。在其它实例中，颜色元件172具有与像素162不同的分辨率。滤波器170进行操作以利用颜色添加技术修改入射光173 (与较高分辨率光图案相关)，以产生具有包括三原色的可见光谱(例如，可见光的波长中的所有或大多数波长)的可显示图像180。进一步对示出的实例，从后调制器150发出的光154 (R、G和B)表示输入图像的低分辨率子图像(未示出)，并且以光学方式乘以(光学上提高为)较高分辨率子图像(未示出)以创建可显示图像180。在一个实例中，可显示图像180是表示输入图像104的高动态范围(“HD”)图像。合成器120可以被配置为基于输入图像104沿着路径121生成后调制器驱动水平(level)。这种后调制器驱动水平使得前调制器160能够生成具有由这样的光图案表示的亮度轮廓的子图像(例如，较高分辨率子图像)该光图案在没有特定一个或多个颜色的颜色误差(或者具有减少的/可忽略的误差)的情况下调制，但是可能在滤波器170可操作时在具有其它颜色的颜色误差的情况下调制。可以在Lewis A. Johnson等人题为“High Dynamic Range Display with Rear Modulator Control" ^ 2008 ^ 10 ^ 14 H11国临时专利申请61/105，412号中找到用于基于具有全色控制的前调制器160确定后调制器驱动水平的合成器120的示例性技术，其全部内容通过引用包含于此并用于全部目的。 进一步对示出的实例，表示沿着路径121的驱动水平的数据有助于具有颜色红色、绿色以及蓝色的光图案的生成。如由实线路径122-1M所指示的，将红色光图案135、绿色光图案136和蓝色光图案137分别提供给颜色校正器130，颜色校正器130继而经由虚线路径 131-133产生特定颜色的后调制器驱动水平(即，补偿后调制器驱动水平)。在一些实例中，红色光图案135、绿色光图案136和蓝色光图案137表示包括表示这种光图案的数据的背光(例如，模拟背光)的模型。在各种实施例中，颜色校正器130控制后调制器150以使得能够在没有颜色误差的情况下在前调制器160处调制这些特定颜色。盘144例示颜色校正器130调整针对颜色红色(R)、绿色(G)和/或蓝色(B)的驱动水平(即，分别作为沿着路径141-143的信号)使得后调制器150发出使得前调制器160能够在没有颜色误差的情况下调制颜色的光图案的功能。请注意可以根据一些实施例互换前调制器160和滤波器 170的位置。在图IB中，图101描绘了颜色校正器130可以包括补偿器140和转变器150。颜色校正器130进行操作以根据输入图像104提供控制信号以控制后调制器150，以生成可显示图像180。如图所示，合成器120被耦合到转变器150，且输入图像104被提供给补偿器140并提供给合成器120，后者将估计的驱动水平(例如，对前调制器的)提供给转变器 150。输入图像104也被提供给耦合到前调制器生成器111的管线110。前调制器生成器 111产生操作前调制器160的控制信号。可以在Lewis A. Johnson等人题为“Backlight Simulation at Reduced Resolutions to Determine Spatial Modulation of Light of High Dynamic Range Images”的2008年10月14日提交的美国临时专利申请61/105，419 号中找到操作前调制器160的技术的实例，其全部内容为全部目的通过引用合并于此。根据一些实施例，估计的驱动水平被配置为使得前调制器160生成如本文中所定义的、被划分优先级为最重要的且没有颜色误差(例如，没有可感知颜色误差)的特定颜色的较高分辨率子图像。可以在 Helge Seetzen 题为"Field Sequential Display of Color Images”的2005年12月23日提交的美国专利申请公开US 2008/0186344A1号中找到用于生成最重要颜色的示例性颜色划分优先级技术，其全部内容通过引用包含于此并用于全部目的。在一些实例中，补偿器140局部地执行颜色划分优先级，使得前调制器160不会在这种颜色重要的输入图像的部分中不成比例地抑制优先级最低的颜色。在一些实施例中，在确定颜色优先级的过程中使用颜色重要性图。转变器150对具有相应驱动水平的初始和补偿子图像执行组合函数，以在像素拼图可操作时利用前调制器160处执行的颜色校正形成后调制器驱动水平。在一些实施例中，使用颜色层次凸组合作为组合函数。转变器150生成减少相邻调制元件152对需要竞争最佳表示由输入图像指示的颜色、以及缓解颜色污染伪影(artifact)的作用的有效后调制器驱动水平。如本文中所使用的，术语“竞争颜色”可以至少在一些实施例中指竞争经由被配置为透射光图案的多个颜色的颜色元件(例如，滤波器)的透射的光图案的颜色。此外，当将相邻调制元件152配置为调制不同颜色、但是将与相邻调制元件152相关联的颜色滤波器配置为透射不同颜色中的两个颜色时出现颜色污染伪影。因而，具有入射在相邻调制元件152上的不同颜色(即，竞争颜色)的光图案会污染被配置为调制颜色中一个颜色的调制元件。如本文中所使用的，术语“颜色误差”可以至少在一些实施例中指颜色针对预期颜色(诸如输入图像中像素的)、或者被配置为提供与例如输入图像中的像素相对应的预期颜色匹配(例如，可感知匹配)的颜色的临近像素的偏差(例如，可感知偏差)。可以在不同颜色或亮度值之间的界面处或与不同颜色或亮度值之间的界面相邻地、或者这二者造成颜色误差。例如，考虑与品红有色区邻接的青色有色区。在青色区中，颜色蓝色是红色之上的MIC，在品红区中，颜色红色是MIC(红色由于例如明视响应比率而在品红中比蓝色重要)。进一步对此实例，图IA的图像显示系统被配置为发现品红区域中需要的红色的量与青色区域中不需要的红色的量之间的折衷，以从而减少或消除在青色区域的界面处存在过多红色以及在品红区域中过少红色的颜色误差。鉴于以上内容，以实例的方式，可以使用由滤波器170表示的、且包括双色子像素拼图的非标准像素拼图合成三个主要颜色(three primary colors)，诸如红色、绿色和蓝色，从而使得可显示图像能够利用比不这样的情况相对更少的部件具有增强的图像质量。 此外，前调制器160可以被配置为产生亮度为对比度比与由后调制器产生的低分辨率光图案相关联的对比度相对更高的光图案形式的较高分辨率子图像。在至少一些实施例中，使用后调制器和前调制器的光图案确定高动态范围的可显示图像180，作为与来自后调制器和前调制器的光图案相关联的对比度的乘法组合(即，乘积)产生可显示图像。最少，可显示图像180可以具有动态范围超过来自后调制器和前调制器的光图案的各对比度中每一个对比度的对比度。非标准子像素拼图还用来取得优于不这样的情况的分辨率增益和透射效率。通过提供结合颜色校正的有效后调制器驱动水平，可以在像素162未配置为调制为没有颜色误差时减少或避免由于像素162受不同光图案颜色(例如，用相邻调制元件的点扩展函数表示)影响所致的颜色污染。通过使得能够进行颜色划分优先级的局部确定，可以具有避免前调制器在识别成最高优先级的颜色重要的较高分辨率子图像的部分中不成比例地抑制这种颜色的本质地实现伪影缓解。在一些实例中，具有调制元件(诸如LED)的局部激活全色(RGB)阵列、以及包括多个双子像素元件(例如，品红和绿色拼图)的滤波器 170这二者的后调制器在没有后调制器的时间场切换的情况下促进全色显示图像的生成， 从而较之不这样的情况而言，避免颜色解体和闪烁。在一些其它实例中，使用也减少闪烁和颜色解体、以及帧之间亮度差异的非标准像素拼图实施后调制器的时间切换。特别是，利用比不这样的情况(例如，三个时间场的切换)更少的时间帧生成全色显示图像。图2A-图2B示例根据本发明至少一些实施例的表示操作后调制器的实例的流程图。在图2A中示出的实例中，流程图200描绘了将输入图像204提供给块220和提供给块 230。在一些实施例中，块230表示颜色校正器的功能，如虚线中所示。块220提供生成具有基于前调制器的全色控制的初始后调制器驱动水平的初始子图像的功能。可以通过以实例
"High Dynamic Range Display with Rear Modulator Control，，白勺__临时专利申请61/105，412号中描述的那些技术的大量方式确定初始后调制器驱动水平， 该专利的内容通过引用包含于此，并用于所有目的。另外，可以进一步按照如题为“Field Sequential Display of Color Images” 的美国专利申请公开 US 2008/0186344A1 号中所公开的场序技术确定后调制器驱动水平，该专利的内容通过引用包含于此，并用于所有目的。在一些实例中，块220根据输入图像204生成使得前调制器能够在没有最重要颜色的颜色误差(或者减少的颜色误差)的情况下提供颜色控制的初始后调制器驱动水平。在至少一个实例中，块220或后续块可以控制未划分优先级为最重要颜色的其它颜色的颜色误差。请注意颜色控制可以是基于局部或者全局最重要颜色划分优先级的。进一步对图2A中叙述的实例，块242确定颜色补偿和划分优先级。如所示，块242 接收输入图像204，并与块244 —起，生成可以补偿前调制器根据块220的描述会不正确地提供的那些颜色的替代后调制器驱动水平。请注意术语“替代”可以与术语“目标”可互换地使用。在一些实例中，块242使用颜色重要性图(CIM)，该颜色重要性图局部地将要在没有颜色误差的情况下(或者在减少的颜色误差的情况下)在前调制器处调制的颜色(称作颜色)划分优先级。在一些实施例中，CIM包括最重要的颜色以及并非最重要的颜色的二值表示。在至少一个实例中，CIM包括指定像素(或子像素)是否与作为MIC或者未作为MIC的颜色相关联的数据位置的矩阵。数据位置处的“零”可以指示像素(或子像素)与划分优先级为MIC的颜色相关联，其中，“一”可以指示与非MIC(即，未划分优先级为MIC) 的关联。因而，CIM可以识别对于最重要颜色正确调制的前调制器的子像 素和区域，以及对于其它颜色并非必要正确调制的子像素和区域。然后，图像显示系统使用CIM确定要对背光调制器对光图案的生成做出的补偿的适当程度，使得前调制器如针对块220所述在没有识别为具有可能的颜色误差的那些颜色的颜色误差的情况下进行调制。请注意在一些实例中，可以将划分优先级为MIC的一个或更多个颜色的二值表示以图形方式描绘为图像的白色部分以指示二值数“ 1 ”，而可以将未划分优先级为MIC的一个或更多个颜色的二值表示以图形方式描绘为黑色部分以指示二值数“0”。在其它实施例中，CIM无需限于表示0和 1，可以包括描述优先级等级的任何范围的数。块242可以被进一步配置为生成被配置为形成具有亮度强度轮廓Lftit的估计的光图案(可以称作“LCD图像”)的估计的前调制器驱动水平。LCD图像可以是由前调制器响应于前调制器驱动水平生成的较高分辨率子图像。可以使用一些前调制器驱动水平在没有颜色误差的情况下调制被划分优先级为最重要颜色的“某个(些)颜色”。可以使用其它前调制器驱动水平在没有颜色误差的情况下调制划分优先级为最重要颜色的其它“某个 (些)颜色”。在一些实例中，可以利用像素拼图(例如，2个子像素元件)在没有图像显示系统中N个颜色的颜色误差的情况下确定IXD图像，其中，N是整数。在其它实例中，生成 LCD图像以指示前调制器可以基于颜色划分优先级技术在没有颜色误差的情况下调制的局部确定颜色。在利用三个颜色的颜色空间(RGB)的实例中，可以确定有效后调制器驱动水平以使得能够由前调制器在像素拼图可操作时在没有颜色误差(或颜色误差减少)的情况下调制3-N颜色。块244可以被配置为生成指示期望驱动水平(例如，背光)的替代后调制器驱动水平。这些驱动水平控制调制元件152，使得它们以在没有特定颜色的颜色误差的情况下再现输入图像的方式照射前调制器160。在一些实例中，使用下面的等式，等式(1)
L目标=L输入/L估计，等式(1)其中，L 表示与用于形成后调制器子图像的替代后调制器驱动水平相对应的亮度强度轮廓。Lfi5A表示经由路径Al从输入图像204得出的输入亮度轮廓，Lftit是指如上所述的IXD图像。在一些实例中，等式(1)描述通过借由估计子图像划分输入图像对替代子图像的生成。根据等式(1)，可以生成替代后调制器驱动水平以表示颜色校正背光，所以前调制器处的像素在没有这种颜色的颜色误差的情况下进行调制(其中，像素可以如若不然在块220中在具有一些颜色的颜色误差的情况下进行调制)。在一些实例中，可以为预测提供颜色校正的背光的目的以数学方式建模目标背光。然后，通过使用如下内容对选择要控制哪些像素做出确定(1)生成的后调制器光场，其中，前调制器具有全色控制以及在没有一些颜色、但是并非没有其它颜色的颜色误差情况下进行调制(如按照块220 —样)；(2)具有颜色校正的后调制器光场(例如，如按照块244 —样)；和/或(3)⑴和(2)的一些组合。块250可以被配置为做出该确定。在至少一些实例中，块250将具有相应初始后调制器驱动水平(从块220确定)的初始子图像以及具有相应替代后调制器驱动水平(从块 244确定)的替代子图像转变成有效后调制器驱动水平。通过此转变，局部颜色重要性确定有赖于两个图像的组合一个是基于原始图像生成的一套背光驱动水平(例如，来自块220 的初始后调制器驱动水平)；另一个是由于在像素拼图可操作时缺少前调制器的全色控制所致的基于替代背光图像生成的一套背光驱动水平(在块244中)。在各种实施例中，存在用以实现有效后调制器驱动水平的各种合适组合函数。在一些实例中，使用平均值。在其它实例中，使用加权组合函数。由于有效后调制器驱动水平代表修改的RGB控制信号，这些后调制器驱动水平信号可以被类推为图IA中的盘144描绘的可调整性。根据一些实施例，块252被配置为应用有效后调制器驱动水平观0以操作后调制器150。在这样做的过程中，对于前调制器未在块220中在没有颜色误差的情况下调制、但是按照各种实施例利用块252在没有颜色误差的情况下调制的颜色确定有效后调制器驱动水平。如标注2M所指示的路径方向A2示例在接下来的时间帧中，可以在一些实例中， 对下一个最重要的颜色执行颜色补偿。在其它实例中，路径方向A2可以指后续时间帧中不同颜色的迭代函数。在再其它的实施例中，路径方向A2可以指用以考虑后续时间帧中颜色误差的迭代函数。根据各种实施例，流程图200描述了用于使用三维颜色合成技术与场序颜色合成技术的组合操作后调制器的功能。在这样做的过程中，生成有效驱动水平以替代由块220 确定的初始后调制器驱动水平，以在使用由滤波器170表示的像素拼图时提供颜色校正。 块242和244在一些实例中用来确认什么后调制器驱动水平可以使得前调制器能够在没有块220的上下文中讨论的颜色误差的情况下进行操作。图2B描绘了图2A的颜色校正块230的实例。在前调制器利用像素拼图执行三维颜色合成、以及全色控制在前调制器处不可用的状况中，由前调制器生成的子图像会具有一些颜色的颜色误差，但是没有其它颜色的颜色误差。并且对于这些颜色误差，可以确定驱动水平，使得后调制器在没有某一个或多个颜色的颜色误差的情况下照射前调制器。在实施图2B的流程的实例中，块220接收输入图像204。将输入图像204的实例描绘成图像 271。块220生成初始后调制器驱动水平以生成子图像，诸如子图像272。在此实例中，子图像272具有黄色(即红色和绿色)作为在没有颜色误差的情况下进行调制颜色，且具有蓝色作为在具有颜色误差的情况下进行调制的颜色进一步对示出的实例，块242接收输入图像204并生成颜色重要性图273。在示出的实例中，考虑当蓝色是针对块242的MIC时，CIM 273的白色部分指定应当在没有颜色误差的情况下调制蓝色的CIM 273的第一部分，而CIM 273的黑色部分指定由于蓝色并非第二部分中的最重要颜色而应当调制黄色(即，不具有在块220中开始的颜色误差)的CIM 273的第二部分。块242进一步确定指示可以由前调制器显示的较高分辨率子图像的估计光图案，如由描绘子图像274的标注所指示的。可以通过使用将蓝色划分优先级为最重要颜色(以补偿颜色误差)的这些第一部分中颜色蓝色的前调制器驱动水平的集合生成子图像274。此外，可以通过使用未将蓝色划分优先级为最重要颜色的这些第二部分中颜色黄色的前调制器驱动水平生成子图像274。块244生成与如等式(1)所确定的黄色的替代后调制器驱动水平相关联的子图像 275。在一些实例中，块244确定在何处将蓝色划分优先级为最重要颜色。因而，可以选择后调制器驱动水平，使得在蓝色是最重要颜色的图像的区域中在没有颜色误差的情况下在前调制器处调制颜色蓝色，否则，可以选择后调制器驱动水平，使得可以在蓝色并非最重要颜色的区域中在前调制器处调制颜色黄色。块250将子图像272和275的驱动水平转变为有效驱动水平。在一些实例中，如标注276所示，可以利用图8中描述的技术。图3是根据本发明至少一些实施例的被配置为操作图像显示系统的控制器的示意图。在示出的实例中，图像显示系统300包括耦合到后调制器350和前调制器360的控制器312。控制器312包括被配置为接收输入图像304的输入/输出(I/O)模块313、处理器314、被配置为控制后调制器350的后调制器接口 315、被配置为控制前调制器360的前调制器接口 316以及存储器317。总线315将控制器312的部件和这些模块彼此耦合。处理器314被配置为接收输入图像304。在一些实例中，输入图像304可以是由其得出图像像素的Y编码视频信号(例如，视频流)。在其它实例中，基于利用的三维颜色合成的特定技术对于颜色均衡合适地按比例绘制(scale)输入图像304。存储器317可以包括合成器模块320、补偿器模块340、转变器模块350、操作系统318以及用来促进控制器312操作的辅助应用319，以及比示出的更多或更少的模块。后调制器350可以被配置为照射前调制器360的光源。在一些实例中，可以从一个或更多调制元件352R、352G以及352B (诸如LED的阵列)或者一个或更多个光源形成后调制器350。当受控时，各自地或成组地，调制元件352R、352G以及352B沿着照射前调制器 360的光路发出包括各种颜色(分别为354R、354G以及354B)的光场。前调制器360可以是调整从后调制器350入射在其上的光的强度透射率的可编程透明度的光学滤波器。在一些实例中，前调制器360包括具有像素的其它透射型光调制器或LCD面板。在其它实例中，前调制器360包括光学结构365 ；具有像素362的液晶层； 以及颜色元件370。光学结构365被配置为从后调制器350向具有像素362的液晶层携带光，并包括诸如但不限于开放空间、光漫射器、准直仪等的元件。滤波器370包括在一些实例中具有多个子像素元件的颜色元件372的阵列。前调制器360的分辨率可以高于后调制器350的分辨率。在一些实例中，前调制器360和后调制器350被配置为统一操作作为HDR 显示器的图像显示系统300。
基于输入图像304，控制器312被配置为经由路径305上的接口 315提供后调制器驱动水平(例如，信号)以控制调制元件，诸如后调制器350的352R、352G和352B。控制器 312还被配置为经由路径306上的接口 316提供前调制器驱动信号以控制前调制器360的像素362和子像素(例如，如图4A中可以描述的474、475、476和/或这些的 一些组合)，从而统一产生可显示图像380。根据一些实施例，合成器模块320被配置为基于输入图像304沿着路径305生成后调制器驱动水平。补偿器模块340被配置为使得能够局部确定颜色划分优先级，使得前调制器360在这种颜色重要的图像的部分中未不成比例地抑制具有最低优先级的颜色。将转变器模块350配置为使得能够生成有效后调制器驱动水平，使得相邻调制元件352发出的不同颜色照射的像素362可以竞争(即，被控制以选择替选)基本上表示由输入图像指示的颜色的颜色。虽然未示出，但控制器312可以被耦合到软件和/或硬件接口用于控制后调制器 350和前调制器360以产生可显示(HDR)图像380的合适地编程的计算机。请注意可以在硬件、软件或者这些的组合中实施图3中描述的元件中的任何元件。图4A-图4B是根据本发明至少一些实施例的示例性后调制器和前调制器部件的图。在图4A中示出的实例中，后调制器450包括多个调制元件452，且前调制器460包括多个像素462。此外，单个调制元件453被布置在前调制器450的数个像素(虚线框464中) 后方。在其它实例中，会存在通过红色、绿色和蓝色照射多个像素462的多个调制元件452。 另外，滤波器470沿着前调制器460的光路布置，并包括多个颜色元件472。像素462和颜色元件472的分辨率可以类似或不同。作为标注473示出的颜色元件472包括任一个或二者可以在一些实例中提供颜色合成控制的两个子像素元件，诸如子像素元件474和子像素元件475。在其它实例中，各自控制4个子像素476中的每一个以提供颜色元件472的颜色合成控制。在像素462和颜色元件472的分辨率类似的实例中，可以通过用以控制相应像素462的方式进行子像素元件 474-475、子像素476和/或这种的一些组合的控制。在时限子像素476的各自控制的实例中，前调制器460包括可以可配置为通过相应滤波器470和子像素474、475、476或者这种的一些组合透射光图案一部分的子像素(未示出)。在再进一步的实例中，可以将子像素元件474和475描述为子像素颜色滤波器的第一和第二子集。虽然在此实例中对于子像素元件474和475分别使用品红(M)和绿色(G)，但颜色元件472的颜色的其它对是可以的。例如，可以从包括品红-绿色、青色-品红、青色-黄色、蓝色-黄色、品红-黄色以及红色-青色的组中选择两个子像素元件作为颜色对。对于三维颜色合成技术和颜色添加技术的进一步细节，参考Silverstein等人题为”Three—Dimensional Color Synthesis for Enhanced Display Image Quality”的2005年4月1日提交的美国临时专利申请60/667，506号，其全部内容为了所有目的通过引用包含于此。图4B示例具有阵列450中调制元件的布置的后调制器的实例。在此实例中，调制元件454是诸如LED的光源，通过调制元件454的对称或不对称布置配置阵列450，以通过从存在光源的颜色中的任何颜色发出的光照射前调制器的激活部分。例如，调制元件454 包括红色调制元件454R、绿色调制元件454G以及蓝色调制元件454B。在一些实例中，每个 (RGB)颜色的相邻调制元件454的点扩展函数彼此交叠。可以独立控制阵列450的不同部分中不同颜色的调制元件454。本文中描述的图像处理技术结合颜色合成技术，使得可显示图像可以实现如通过输入图像的内容所想要的查看者的一定可感知体验，但是通过考虑空间和时间分辨率处理能力的相关联限制和人类视觉系统。例如，人眼的媒介中的瑕疵可以使得光在眼睛内散开并在视网膜上形成光幕亮度，这减少感知一定对比度的能力。因而，人眼可能不能够整合和感知超出一定阈值的分辨率。在本文中描述三维颜色合成技术的至少一些实施例中，后调制器可以通过至少两个频谱功率分布照射颜色元件包括两个子像素元件(也称作像素拼图或者拼图)的滤波器。在一些实例中，子像素元件474、475和/或子像素476各自或者作为子像素的子集受控，以实现添加颜色混合技术，并通过本文中描述的子图像照射以使得能够利用作为在混合(例如，在空间上组合)时可以感知为想要均勻颜色的颜色组合的颜色的均勻场感知可显示图像。另外，利用可以产生至少两个频谱功率分布的能够全色的后调制器照射的两个子像素元件的拼图可以在同样时间帧中的图像中随处再现三色的颜色空间(例如，R、G和B)的两个颜色。在本文中描述场序颜色合成技术的至少一些实施例中，可以生成大致和基本上引起在像素拼图可操作时在没有颜色误差的情况下通过前调制器对特定颜色的再现(或显示)。与实现三维颜色合成处理的两个子像素元件相组合使用的后调制器颜色校正(即，补偿)技术可以使得能够在具有最小视觉伪影的情况下、近似再现三色的颜色空间的第三颜色。通过用特定频谱功率分布照射某些像素，可以产生一套红色、绿色或蓝色的主要颜色(primary color)。双频谱功率分布的一些实例可以包括但不限于可以通过调制包括青色/黄色、蓝色/黄色、绿色/品红、青色/品红、红色/青色、以及品红/黄色的元素实现的颜色对。图5A-图5C示例根据本发明至少一些实施例的合成器、补偿器和转变器的实例的功能框图。在图5A中示出的实例中，合成器520包括场序颜色合成器模块522、三维颜色合成器模块524、初始驱动水平生成器526以及模拟光场生成器528。场序颜色合成器模块522 被配置为使用快速序列中的不同时间帧产生可感知全色图像，并被配置为实施例如题为 "Field Sequential Display of Color Images” 的美国专利申请公开 US2008/0186344A1 号中公开的技术，其全部内容为所有目的通过引用包含于此。三维颜色合成器模块524可以被配置为使得能够使用非标准像素拼图和后调制器(例如，背光)产生全色图像，并可以被配置为使得能够进行例如题为"Three-Dimensional Color Synthesis for Enhanced Display Image Quality”的2005年4月1日提交的美国临时专利申请60/667，506号中公开的技术，其全部内容为所有目的通过引用包含于此。初始驱动水平生成器526可以被配置为确定根据输入图像得出的后调制器驱动水平，并且可以被配置为在能够进行全色控制的前调制器上再现输入图像。模拟光场生成器528提供由后调制器投射到前调制器上的光场的预测或估计，并且实施例如题为"High Dynamic Range Display with Rear Modulator Control”的2008年10月14日提交的美国临时专利申请61/105，412号中公开的技术，其全部内容为所有目的通过引用包含于此。补偿器540包括颜色重要性划 分优先级器542、替代(目标)驱动水平生成器544 以及低端阈值(LET)模块545。在至少一个实施例中，颜色重要性划分优先级器542确定图像的颜色优先级或颜色划分优先级或图像的一部分，并且以优先级将颜色排序，以及确定哪个颜色或哪些颜色会是可感知最重要的以在没有颜色误差的情况下再现输入图像。在一些实例中，颜色重要性划分优先级器542基于一些实例中某个(些)颜色的局部重要性，并基于其它实例中颜色的全局重要性确定颜色补偿。划分优先级器542生成的颜色重要性图和IXD图像。替代驱动水平生成器544可以被配置为确定期望驱动水平(例如，一些实例中的背光、或者后调制器的)，使得调制元件(例如，152)照射前调制器(例如，160)，以在像素拼图可操作时利用尽可能贴近的亮度以及在没有颜色误差的情况下重新创建输入图像。 在一些实例中，生成器544实施如针对等式(1)所述的技术，其中，生成前调制器可以根据块220的描述补偿以误差提供的颜色的驱动水平。LET模块545可以被配置为使得能够进行针对图9描述的 功能。根据一些实施例，转变器550包括颜色组合器552、有效驱动水平生成器554以及颜色层次凸组合(CHCC)模块555。颜色组合器552提供要向初始和替代驱动水平应用的合适组合函数。因为调制元件可以照射多个像素，所以受特定调制元件影响的前调制器的一些区域可以具有在具有特定个(些)颜色的颜色误差的情况下调制的一些像素，以及在没有不同颜色的颜色误差的情况下调制的一些像素。因此，可以使用组合函数将后调制器光场(基于具有前调制器对于颜色的全色控制)和后调制器光场(基于颜色补偿生成)组合， 以考虑在前调制器处存在这两个状况的混合的区域。在一些实例中，组合函数是两个状况的平均。在其它实例中，组合函数构造等式(2)的颜色层次凸组合。可以将有效驱动水平生成器554配置为使用模块552 (或者一些实例中的模块555)的组合函数，以利用从生成器544确定的替代驱动水平并且利用如本文中所述的颜色重要性权重图，将从生成器526 确定的初始后调制器驱动水平转变为有效后调制器驱动水平。在这样做的过程中，由于对像素拼图的使用固有地缺少前调制器的全色控制，本地颜色重要性确定有赖于基于目标背光图像生成的驱动水平。CHCC模块555可以被配置为使得能够进行图6-图8中描述的功能。图6示例根据本发明至少一些实施例的表示操作后调制器的另一实例的流程图。 在示出的实例中，流程图600表示确定适当后调制器驱动水平以利用非标准像素拼图照射前调制器的方法。此方法可以作为“颜色层次凸组合”技术可互换地描述，并且通过确定图 2A-图2B中先前描述的替代驱动水平与初始驱动水平之间的中间驱动水平促进调制元件的控制。因为替代驱动水平和初始驱动水平可以各自使得调制元件发出不同光场，所以至少在一些实例中，确定两套驱动水平的加权组合以得出有效驱动水平。流程图600指示输入图像604被提供给块622和块624。块622提供确定从输入图像得出的初始后调制器驱动水平的功能。另外，块622在能够进行全色控制的前调制器上再现输入图像。在一些实例中，可以利用可应用于图2A的块220的技术，以及题为“High Dynamic Range Display with Rear Modulator Control”的美国临时专利申请61/105，412 号中公开的技术，其全部内容为了全部目的通过引用包含于此。在其它实例中，可以使用各种技术基于对前调制器能够进行全色控制的假定确定初始后调制器驱动水平。在一些实施例中，“初始后调制器驱动水平”和“初始背光驱动水平”指由块622(以及图2A的块220) 确定的后调制器驱动水平。此外，块622生成这样的后调制器驱动水平该后调制器驱动水平与前调制器正在没有具有多个颜色的第一子集的颜色误差的情况下进行调制的输入图像的区域，并与前调制器正在像素拼图可操作时在具有具有多个颜色的第二子集的颜色误差的情况下进行调制的输入图像的区域有关。
块623提供在前调制器上基于已知点扩展函数模拟后调制器光场的功能。可以使用来自一个或更多个调制元件(例如，152、452)的光扩展函数的模型创建光场模拟。光场模拟预测后调制器将会投射到前调制器上的光场。在一些实例中，模拟通过与一个或更多个调制元件相对应的驱动水平调节(scale)光扩展函数的强度，并取这些水平的总和。 在其它实例中，将光扩展函数压缩为存储器317中可以存储的低分辨率矩阵以减少运算花费。在再其它的实例中，也可以在题为“Backlight Simulation at Reduced Resolutions to Determine Spatial Modulation of Light of High Dynamic Range Images，，的美国临时专利申请61/105，419号中找到用以模拟后调制器的技术，其全部内容为所有目的通过引用合并于此。块624提供生成哪个(些)颜色最重要以及图像中这种颜色的相应地点的指示符的局部划分优先级功能。在一些实施例中，由块624生成颜色重要性图(CIM)。在此实例中，CIM表示输入图像并如先前所述包括关于相对于输入图像其它颜色的最重要颜色(即， 一些实例中的颜色、或者其它实例中的一些颜色)的信息。在一些实例中，CIM基于明视比的应用指示RGB像素值的像素方式比较(或映射)，其中，CIM包括RGB像素值之间的加权比较。在其它实例中，对于调制器的不同区域确定CIM。在再进一步的实例中，使用与人类视觉系统相关联的因素确定颜色重要性图。这种因素的实例无论给定亮度范围的像素值如何，将颜色绿色定义成比红色重要。块624基于颜色重要性不同的图像的不同区域的相对空间密度提供颜色的局部划分优先级，如，通过向像素方式的重要性图应用高斯滤波器。根据实施的三维颜色合成的技术，块624可以进一步包括用以在重要性方面比较RGB的所有三个颜色的功能，或者可以在重要性方面比较三个颜色中的两个颜色。在两子像素拼图具有青色和品红配置的实例中，由于青色包括蓝色和绿色以及由于品红包括红色和绿色，而因为每个颜色会竞争在图像中表示所以将块624配置为确定绿色、红色和蓝色的相对重要性。通过比较，如果两子像素拼图具有绿色和品红配置，块624 因为将会独立于这两个颜色调制绿色所以确定红色对蓝色的相对重要性。在又其它的实例中、以及返回参照图2B，通过CIM确定子图像273，其中，白色部分指示应当对于蓝色的MIC 控制调制元件(即，指示蓝色，以及其中，黑色部分在随处的其它地方指示应当对于其它颜色(即，红色和绿色)控制调制元件。可以将块625配置为生成可以用来确定要向驱动调制元件(例如，152,452)应用的合适控制信号的归一化图。在一些实施例中，与后调制器相关联的归一化图是颜色重要性权重图(“CIWM”)形式的。CIWM可以包括直方图形式的数据的布置以例如表示划分优先级为最重要颜色的颜色的百分比以及对于未划分优先级为最重要颜色的其它颜色最重要的颜色的百分比。根据一些实施例，通过但不限于诸如如下内容的因素确定CIWM 会受某个调制元件影响、以及会具有某个MIC的前调制器的给定区域中像素的数量；以及，MIC会不同的像素的数量。CIWM的一个实施包括某个(些)调制元件对应的基于MIC不同的像素的相对频率的直方图。在这种实施中，直方图对于每个像素包括指示应当控制调制元件以使得前调制器在没有特定颜色的颜色误差的情况下操作调制元件的亮度强度程度的加权参数。为了示例，考虑前调制器具有使红色作为MIC的七十五个像素以及未如此的二十五个像素，对于这100个像素朝向红色调节CIWM。在其它实例中，基于对立颜色之间的差异 (即，调制器某个区域的颜色对比、以及来自人类视觉系统的因素)确定CIWM。在又进一步的实例中，如果先前实例中的七十五个像素使红色作为比第二颜色略微重要，但是二十五个像素使第二颜色比红色相当重要，则可以使用直方图表示朝向实例中的第二颜色进一步调节具有子图像加权平均值表示的CIWM。块625基于块624中确定的颜色重要性图、块623中确定的模拟光场、以及输入图像604确定在没有其它颜色(例如，红色和绿色)的和最重要颜色MIC(例如，蓝色)的颜色误差 的情况下调制用于在前调制器上显示的子图像的哪些部分。在一些实例中，块626 生成具有颜色校正的后调制器驱动水平以使得被配置为调制作为MIC的蓝色的像素没有每个像素的颜色误差，或者生成具有颜色校正的后调制器驱动水平以使得可以在没有颜色误差的情况下在前调制器上调制被配置为调制红色和绿色的像素。此外，块626可以基于如通过CIM所确定的被配置为在没有图像的区域中(即，局部地)MIC的颜色误差的情况下产生子图像的模拟后调制器光场估计或预测前调制器子图像。在一些实例中，此子图像对应于用于控制前调制器的估计驱动水平以使得它基于例如CIM和输入图像调制。CIM可以包括表示从一个颜色向另一颜色逐渐淡化的数据。在此情形中，逐渐淡化的二值表示与具有“0”(例如，在视觉上用黑色表示)的区域与“1”(例如，在视觉上用白色表示)的区域之间的临界处相关联。为了描绘逐渐淡化，块626估计前调制器图像以使得前调制器可以可调整地控制图像逐渐改变调制哪个颜色以在没有颜色误差的情况下产生从一个颜色向另一颜色的逐渐淡化。可以将块627配置为确定每个颜色的补偿后调制器(例如，背光)驱动水平。根据一些实施例，由于可以在前调制器在具有颜色误差的情况下调制它们的子图像的部分中补偿这些颜色，通过计算背光的目标后调制器驱动水平颜色(如，红色、绿色和蓝色)执行此确定。在一些实例中，对于诸如MIC的某个颜色(或某些颜色)通过块626中确定的估计驱动水平划分路径Bl上提供的输入图像604，从而产生在没有目标后调制器驱动水平的某个颜色(或某些颜色)的颜色误差的情况下再现的较高分辨率子图像。可以将块628配置为提供将会最贴近再现对于某个颜色在块627中确定的子图像的期望后调制器驱动水平的预修正。确定后调制器驱动水平的一个方式是基于后调制器的点扩展函数产生或预测目标子图像。因而，目标子图像是输入图像的模糊表示。在一些实例中，块628通过向目标子图像应用反向模糊模拟确定后调制器驱动水平。可以通过使用反卷积技术(诸如Lucy-Richardson去模糊技术)执行反向模糊模拟。随后对于与后调制器相关联的可用调制元件的数量下采样“不模糊”图像，其中，使用所得后调制器驱动水平控制调制元件。块629转变初始后调制器驱动水平(来自块622)、目标驱动水平(来自块627和 628)和颜色重要性权重图(来自块625)以形成有效后调制器驱动水平680。在一些实施例中，转变使用用以产生后效后调制器驱动水平680的组合函数。在至少一个实施例中，凸组合函数构建使用表示初始后调制器驱动水平、目标驱动水平、以及权重图的数据的组合函数。可以将块629配置为用以使得组合使得能够为后调制器提供前调制器可以在具有该某个颜色的颜色误差的情况下调制的部分中如原始所确定了的(例如，如输入图像中的颜色所指示的)某个颜色的驱动水平；用以使前调制器可以在没有其它颜色的颜色误差的情况下调制的部分中的颜色补偿实现的目标驱动水平；以及表示如先前所述的加权组合的驱动水平。在一些实例中，根据等式(2)确定目标驱动水平(“B”)和初始后调制器驱动水平(“Α”)的加权组合。凸起(A，B)=权重* A+(l-权重)* B 等式(2)等式(2)可以提供块622确定的初始后调制器驱动水平与块627-628确定的目标驱动水平之间的后调制器驱动水平的中间值。在一些实例中，可以将凸起(Α，B)表示成有效后调制器驱动水平产生的有效光图案(LP. ) ；A参考可以是初始子图像(来自块 622-623,220)的第一图像(图像》；B参考可以是替代子图像(来自块628、244)的第二图像(图像2)；权重是指直方图(来自块625、250)。在这种实例中，将等式(2)描述成如下 LPijs=图像工*权重+图像2 * (1-权重)。在其它实例中，对LPI5s的参考是指被配置为根据后调制器驱动水平形成的后调制器光图案。图7A-图7B示例根据本发明至少一些实施例的通过颜色层次凸组合技术操作后调制器的实例。此处在图7A中，输入图像704包括交叉出现的部分721-729指示的包括蓝色的多个颜色。在块624处生成颜色重要性图(CIM) 730。白色区域731-739在此实例中指示认为蓝色是最重要颜色(MIC)的部分721-729，而CIM 730的剩余黑色部分指示未划分优先级为MIC的其它颜色。在一些实施例中，CIM 730是指示表示在输入图像中蓝色是MIC 的部分的白色像素的直方图。在块625处生成颜色重要性权重图(CIWM)740。根据一些实施例，CIWM 740包括部分731-739对应但是呈现为具有较暗淡区域(在视觉上描绘成白色与黑色像素的区域之间的模糊或软化界面)的部分741-749。图7B示例CI丽740的放大版本。此处在图7B中，CI丽740以示例的方式包括暗淡区域741a-f、746a-c、以及749a_c。CIWM 740指示子图像特定部分741-749的MIC相对加权。例如，某个像素值对于CIWM中的给定区域越高，在确定要用于背光的实际驱动水平的过程中向目标背光驱动水平给出的权重越多。作为推论，某个像素值对于CI丽中的给定区域越暗淡，向初始确定的背光驱动水平给出的权重越多。图7B中暗淡区域741a-f、 746a-c、以及749a-c中的每个指示对于图像的这些区域使蓝色作为最重要颜色的较少像素。CI丽740的剩余黑色部分指示蓝色并非MIC的图像704中的其它颜色。暗淡区域 741a-f、746a-c、以及749a_c中灰色调的变化程度指示CIM 730相应部分处黑色和白色像素的变化混合。如此处所描绘的，诸如746a的较暗阴影区域是较之较浅灰色区域746b而言较暗淡驱动水平的指示符。图8A示例了根据本发明至少一些实施例的，通过颜色层次凸组合技术操作后调制器的实例。此处在图800中，图6的块622接收输入图像804。块622确定与子图像822 相关联的后调制器驱动水平(例如，蓝色的原始背光驱动水平)。块627和628确定如子图像827所指示的目标驱动水平。块625确定颜色重要性权重图825。块629在块680处使用组合函数829将子图像822的驱动水平、子图像827的驱动水平和CIWM 825转变成有效后调制器驱动水平880 (也称作“要应用的实际背光驱动值”)。在一些实例中，组合函数 829可以是如针对等式(2)所述的凸组合。图8B描绘了根据实施例的具有具体识别的不同颜色的输入图像804。如所示，输入图像804包括红色特征870、绿色特征871、包括部分721-728的蓝色特征、黄色特征872、 品红色特征873、青色特征874、白色特征875、以及黑色特征876 (例如，任何深色，如，很深的绿色、蓝色或棕色)。颜色误差(如果有的话)通常在颜色特征之间的界面处可感知。还示出的是在红色与蓝色之间存在逐渐淡化的区域850。图8C描绘了作为蓝色通道背光的子图像822。如所示，根据实施例，将包括蓝色的颜色(例如，品红、青色、白色、以及蓝色)标注成“蓝色”，而将不包括蓝色的颜色(例如，红色、绿色、黄色、以及黑色)标注成“深蓝色” 或“低亮度蓝色”。图8D例如描绘了具有如本文中所述颜色补偿的目标子图像827。如所示，颜色黄色是“黑色”，这意味着颜色黄色由于蓝色并非黄色特征872中的最重要颜色而在蓝色通道中不存在。使用权重825将图8C的子图像822和图8D的子图像827组合以确定也可以提供背光子图像880中转移(例如，逐渐淡化区域)的实际背光驱动信号值。图9示例根据本发明一些实施例的通过低端阈值(LET)技术操作后调制器的实例的流程图。此处，流程图900包括可以被配置为识别R、G和/或B值小于阈值(Thresh) 的这些像素、以及将小于Thresh的这些识别值设置为等于这些识别值的最大颜色值(颜色Max)的块914。通过这样做，可以在接下来的块915中排除后调制器试图将颜色(具有颜色误差和需要补偿)驱动为很高水平(即，明亮)以在一个或更多个颜色具有相对于具有颜色误差的颜色(会具有较之其它颜色(即，在颜色空间中，诸如R、G和B的三个颜色中的)中一个或两个颜色的像素值而言的较高像素值以及前调制器在具有颜色误差(如从图 2A-2B中的块220所确定的)的情况下调制)的低像素值的图像部分中准确再现目标(期望)颜色。会因为需要校正的颜色的像素值低而使得人类视觉系统不会能够感知会有助于这种低亮度的颜色的轻微误差所以进行颜色的特定低像素值潜在过饱和的此缓解。块915基于图2A-图2B或图6中以实例的方式示例和本文中描述的三维和场序颜色合成技术生成目标驱动水平。将块916配置为在块916已确定值小于第二函数(g(Thresh))的输入图像中的像素时、以及在块916已确定替代后调制器驱动水平大于第三函数(f (Thresh))时将替代后调制器驱动水平(例如，块244确定的目标后调制器驱动水平)设置为第一函数 (h (Thresh))。在一些实例中，可以在与输入图像相关联的颜色小于函数g确定的截止值时以及在与替代子图像相关联的驱动水平大于函数f确定的值时将与替代子图像相关联的驱动水平分配给函数h确定的截止值。表1提供函数f、g、以及h的示范性描述如下。
函数_描述_
g确定截止值的函数
f确定替代亮度图案(例如，目标后调制器亮度轮廓)
的限制值的函数(根据下釆样确定驱动水平) h可以产生可以通过函数f限制目标后调制器驱动水平的
替代后调制器驱动水平的函数表1可以将参数Thresh配置为表征像素值在其以下因为人类视觉系统将会无法感知这种像素值处的颜色所以不会重要的低端截止值。在一些实例中，Thresh = 0. 1, g = Thresh, f = 3 * Thresh, h = 3 * Thresh = g。块916被配置为限制块915产生高驱动水平、但是相应输入图像指示该颜色低亮度水平的子图像的部分中的目标后调制器驱动水平。以此方式限制目标后调制器驱动水平由于因为人类视觉系统上的细观视觉作用而不会有必要在子图像的暗部分中再现低亮度光，可以缓解叠加来自不同调制元件的点扩展函数引起的相邻图像区域中的过量光污染造成的伪影。图10示例了根据本发明一些实施例的用以操作前调制器和后调制器的示范性控制器的框图。此处，显示控制器1000包括后调制器生成器1031、前调制器管线1010、以及前调制器生成器1011。后调制器生成器1031可以包括均被配置为提供本文中描述的各功能的具有补偿器1040和转变器1050的颜色校正器1030、以及合成器1020。可以在一些实例中将输入图像1004作为γ编码图像提供给后调制器生成器1031和前调制器管线1010 这二者。后调制器生成器1031可以生成用以控制后调制器操作的后调制器驱动信号1080。 艮口，从输入图像1004得出内容以及使用本文中提供的描述、技术和方法，可以确定后调制器每个调制元件的适当驱动水平。前调制器生成器1011可以基于来自前调制器管线1010 的输入、以及后调制器驱动信号，生成用以控制前调制器操作的前调制器信号1090。前调制器管线1010可以包括产生期望总体光输出和白色点的前调制器输出值的生成。例如，管线1010可以应用校正技术，以通过光模拟输出划分值、校正域和前调制器响应。可以将输入图像1004调整为给定相应光场的前调制器上的理想显示。引用颜色误差根据一些实施例，可以是指 通过可操作像素拼图使用时归因于前调制器缺少全色控制、以及以实例的方式在图2的块220的描述上下文内造成的图像区域中的视觉伪影。在块220的上下文中、以及以实例的方式，后调制器不会已考虑基于红色与蓝色(对于品红子像素元件)或者绿色与蓝色(对于青色子像素元件)之间的比较控制像素以选择它的值时造成的不准确性。在一些实例中，选择可以基于这些颜色中的哪个颜色具有较高RGB值，即，将会使得在没有颜色误差的情况下调制该颜色的值，在此之后该像素将会得出它的相关联第二颜色为同样值以试图在没有颜色误差的情况下调制青色品红拼图。 然而，通过非标准、双色像素拼图的使用固有的是缺少所有颜色的前调制器上的全色控制， 在颜色选择基于RGB值的最大值的这些实例中，因为缺少用以解决前调制器缺少全色控制的后调制器补偿而造成这种颜色误差。作为推论，引用“没有颜色误差”可以是指前调制器在没有这些伪影发生的情况下调制某个颜色或某些颜色的子图像。以实例的方式、以及如图2B中所描绘的，前调制器在没有颜色黄色(具有红色和绿色)的颜色误差的情况下调制子图像272。在这种实例中，颜色黄色将会如与颜色蓝色相对地，需要块242和244中的颜色补偿。引用颜色层次凸组合(CHCC)根据一些实施例，可以是指确定可以被配置为选取它们的颜色优先级的系统的合适后调制器驱动水平。引用颜色重要性图(CIM)根据一些实施例，可以是指指示图像或子图像每个像素的颜色优先级的颜色优先级排序的阵列。引用颜色优先级或颜色划分优先级，根据一些实施例，可以指图像或图像的一部分中颜色的等级，且在一些实例中，可以指确定哪个颜色或哪些颜色会是可感知最重要的以在没有颜色误差的情况下再现输入图像。引用对比度根据一些实施例，可以是指通过完全接通和完全关断调制器信号得到的亮度确定的比率。引用场序颜色合成根据一些实施例，可以是指使用快速序列中的不同时间帧对可感知全色图像的产生，以及可以是指题为“Field Sequential Display of Color Images”的美国专利申请公开US 2008/0186344A1号中公开的技术，其全部内容为所有目的通过引用包含于此。引用高动态范围根据一些实施例，可以描述可以通过在最暗状态透射的光和在最明亮状态透射的光的大亮度比率显示图像的成像系统和图像。引用液晶显示器可以是指根据一些实施例，可以在0与90度之间改变入射光(例如，基于逐个像素)的偏振状态以及透射特性变换的光、以及在其它实施例中能够执行空间调制的透射型光学技术和/或组件。引用局部和全局颜色优先级根据一些实施例，可以分别是指基于某个颜色相对于图像部分确定的划分优先级方案，如同最重要颜色一样，以及如与在整个子图像上将颜色划分优先级的方案所相比较的。引用低端阈值根据一些实施例，可以是指可以通过三维和场序颜色合成技术利用的伪影减少技术。引用最重要颜色(MIC)根据一些实施例，可以是指已划分优先级为最高优先级、 以及可以通过包括题为“Field Sequential Display of Color Images”的美国专利申请公开US 2008/0186344A1号中公开的方式的大量方式确定的颜色，其内容整体以及对于所有目的经引用并入本文。引用“未识别(或划分优先级)成最重要”根据一些实施例，可以是指互换地为“识别(或划分优先级)成并非最重要”。弓丨用RGB根据一些实施例，可以是指可以将每个主要颜色映射到在零处开始的线性亮度尺度的红色、绿色和蓝色光的归一化颜色空间。引用三维颜色合成根据一些实施例，可以是指使用非标准像素拼图和后调制器(例如，背光)对全色图像的产生，以及可以包括题为“Three-Dimensional Color Synthesis for Enhanced Display Image Quality”的 2005 年 4 月 1 日提交的美国临时专利申请60/667，506号中公开的那些技术，其全部内容为所有目的通过引用包含于此。描述的系统、装置、集成电路、计算机可读介质、以及方法会可应用于各种应用。在一些实例中，可以在被配置为显示具有运动的图像(例如，视频)、没有运动的图像、图示图像、和/或文本的设备中实施一个或更多个实施例。在其它实例中，可以通过如下这种设备实施一个或更多个实施例如但不限于装备、架构结构、美学艺术品、音频视觉设备、计算器、摄录一体机、摄像机显示器、时钟、计算机监视器、数字调制器投影系统、数据投影仪、数字影院、数字时钟、电子相片、电子广告牌、电子设备、电子标志、游戏控制台和外围设备、图形工艺、高动态范围(HDR)显示器、家庭影院系统和媒体设备、平板显示器、全球定位传感器(GPQ和导航仪、手持计算机、大型显示器、医学设备、医学成像设备或系统、MP3播放器、 移动电话、包裹、个人数字助理(PDA)、便携式计算机、便携式投影仪、投影系统、立体显示器、监控监视器、电视机、电视显示器、交通工具相关控制和/或监视显示器(例如，座舱显示器、挡风玻璃显示器、仪表盘显示器、摩托车头盔遮阳板显示器、交通工具后视摄像机显示器等...)、钟表、以及无线设备。在一些实施例中，可以通过本文中描述的任何结构执行功能和/或子过程。在一些实例中，可以通过计算机处理器上的软件指令执行和/或实行本文中描述的方法、技术和过程。例如，计算机或其它显示控制器中的一个或更多个处理器可以通过执行处理器可访问的程序存储器(例如，图3的存储/存储器317)中的软件指令，实施图 2A-2B、5A-5C、以及6-9的方法。另外，可以使用耦合到显示器的现场可编程门阵列(FPGA)、 或者控制计算机或图形处理单元通过全帧图像执行本文中描述的方法、技术和过程。也可以通过如下这种程序产品的形式提供这些方法、技术和过程可以包括携带在通过数据处理器执行时使得数据处理器执行这种方法、技术和过程的一套计算机可读指令的任何媒体和/或介质。程序产品可以包括但不限于诸如磁数据存储介质的物理介质，包括软盘、以及硬盘驱动器；包括CD ROM、以及DVD的光学数据存储介质；电子数据存储介质，包括ROM、 闪存RAM、非易失性存储器、拇指驱动器等；以及传输型介质，如，数字或模拟通信链路、虚拟存储器、网络或全球计算机网络上的主机存储、以及联网服务器。在至少一些实例中，可以在软件、硬件、固件、电路、或者其组合中实施上述特征中任何特征的功能和/或结构。请注意可以将以上构建元件和结构、以及它们的功能与一个或更多个其它结构或元件汇集。可替选地，可以在存在的情况下，将元件和它们的功能细分成构建子元件。作为软件，可以使用包括如下内容的各种类型的编程或格式化语言、框架、 句法、应用、协议、对象、或者技术实施上述技术c、对象C、c++、c#、Fiex 、Freworks 、 Java ,Javascript ,AJAX,COBOL、Fortran、ADA、XML、HTML、DHTML、XHTML、HTTP、XMPP、Ruby on Rails等。这些可以变化以及不限于提供的描述或实例。可以通过包括如下内容的大量方式实施本发明的各种实施例或实例系统、过程、 装置、或者诸如在光学、电子、或者无线通信链路上发送程序指令的计算机网络或可读存储介质的计算机可读媒体和/或计算机可读介质上的一系列程序指令。通常，如非权利要求中另行提供，可以按任意次序执行公开过程的操作。连同附图一起在本文中提供一个或更多个实例的详细描述。详细描述结合这种实例提供，但是不限于任何特定实例。只通过权利要求限定范围，涵盖大量替选方案、修改、以及等同物。在描述中叙述了大量具体细节以提供全面理解。作为实例提供这些细节，可以在没有所附细节中的一些或所有细节的情况下根据权利要求实践描述的技术。由于许多替选方案、修改、等同物、以及变型鉴于以上教导是可行的，它们并非意在是穷尽的或者将本发明限制为公开的精确形式。为了清楚起见，未详细描述与实例有关的技术领域中已知的技术材料以避免不必要地妨碍描述。描述为了说明的目的使用具体命名法提供本发明的全面理解。然而，为了实践本发明不需要具体细节将会是明显的。事实上，不应当将此描述阅读为将本发明的任何特征或方面限制为任何实施例，而是，可以轻松将一个实例的方面和特征与其它实例互换。值得注意地，并非需要通过本发明的每个实例实现本文中描述的各个优点；而是，任何具体实例可以提供以上讨论的益处中的一个或更多个益处。在权利要求中，如非权利要求中明确陈述，元件和/或操作不隐含操作的任何特定次序。旨在以下权利要求和它们的等同物定义本发明的范围。
权利要求
1.一种生成后调制器子图像的方法，包括确定与输入图像相关联的颜色优先级等级的阵列，所述阵列包括与被识别为最重要的第一颜色子集相关联的第一部分，以及与第二颜色子集相关联的第二部分，在所述第二部分处，所述第一颜色子集未被识别为最重要的；确定具有所述第一颜色子集和所述第二颜色子集的估计的子图像，所述估计的子图像包括第一区域，所述第一区域由所述第一部分补偿，以使得能够利用所述第一颜色子集并在没有颜色误差的情况下再现所述估计的子图像，其中，所述第一颜色子集被划分优先级为最重要的，以及第二区域，所述第二区域由所述第二部分配置，以使得能够在所述第二区域中利用所述第二颜色子集再现所述估计的子图像，其中，所述第一颜色子集未被划分优先级为最重要的；以及基于所述估计的子图像和所述输入图像生成替代子图像，其中，所述替代子图像被配置为利用所述第二颜色子集并在没有与所述第一颜色子集相关联的颜色误差的情况下实现所述输入图像的显示。
2.如权利要求1所述的方法，其中，所述替代子图像包括所述输入图像的低分辨率表示，所述替代子图像被配置为在后调制器上再现。
3.如权利要求2所述的方法，其中，所述估计的子图像包括所述输入图像的较高分辨率表示，所述估计的子图像被配置为在前调制器上再现。
4.如权利要求1所述的方法，其中，确定颜色优先级等级的阵列包括生成颜色重要性图，以包括所述第一和第二部分作为彼此的二值表示。
5.如权利要求1所述的方法，其中，被划分优先级为最重要的第一颜色子集基于使用红色、绿色和蓝色的明视比的颜色优先级方案。
6.如权利要求1所述的方法，还包括将所述替代子图像和初始子图像转变为有效驱动水平；以及应用指示所述有效驱动水平的信号以实现所述后调制器子图像的显示，其中，从所述输入图像得出所述初始子图像。
7.如权利要求6所述的方法，其中，将所述替代子图像和初始子图像转变为有效驱动水平包括对与所述替代和初始子图像相关联的亮度强度以及对加权平均的阵列应用组合函数， 以得出所述有效驱动水平，其中，所述加权平均的阵列指示被划分优先级为最重要的所述第一颜色子集关于所述第二颜色子集的相对频率。
8.如权利要求7所述的方法，其中，所述加权平均的阵列构成直方图。
9.如权利要求8所述的方法，其中，所述组合函数构成颜色层次凸组合。
10.如权利要求9所述的方法，其中，所述颜色层次凸组合包括LPwa=图像*权重+图像2 * (1-权重)，其中，LPI5s包括与所述有效驱动水平相对应的有效光图案，图像工包括所述初始子图像，图像2包括所述替代子图像，且所述权重包括所述直方图。
11.如权利要求7所述的方法，其中，根据模拟光场确定所述初始子图像。
12.如权利要求1所述的方法，在确定颜色优先级等级的阵列之前，还包括识别所述第一颜色子集和所述第二颜色子集之中的最大颜色值；以及将所述最大颜色值分配给所述第一颜色子集和所述第二颜色子集中确定为低于阈值 (Thresh)的某些颜色中的每一个。
13.如权利要求12所述的方法，还包括当与所述输入图像相关联的颜色数据值小于由函数(g)表示的第二截止值时，以及当与所述替代子图像相关联的驱动水平大于由函数(f)表示的截止值时，将与所述替代子图像相关联的驱动水平分配给由函数(h)表示的第一截止值。
14.如权利要求13 所述的方法，其中，Thresh = 0. 1，g = Thresh, f = 3 * Thresh, h =3 * Thresh。
15.如权利要求1所述的方法，其中，生成替代子图像包括通过所述估计的子图像划分所述输入图像。
16.一种图像显示系统，包括后调制器，能够操作以生成作为输入图像的低分辨率表示的后调制器子图像，所述后调制器子图像是根据被配置为有助于从所述输入图像得出的第一颜色子集和第二颜色子集中的某个的颜色校正的颜色重要性图来形成的；前调制器，被配置为由与所述后调制器子图像相关联的光照射以产生中间子图像，所述后调制器子图像使得能够在没有与所述第一颜色子集和所述第二颜色子集中的一个相关联的颜色误差的情况下，生成具有所述第一颜色子集和所述第二颜色子集的所述中间子图像；以及像素拼图，被布置为对所述中间子图像进行滤波，从而产生表示所述输入图像的可显示图像。
17.如权利要求16所述的系统，还包括控制器，被配置为确定与所述输入图像相关联的颜色优先级等级的阵列，所述阵列包括与被识别为最重要的所述第一颜色子集相关联的第一部分，以及与所述第二颜色子集相关联的第二部分， 在所述第二部分处，所述第一颜色子集未被识别为最重要的；确定具有所述第一颜色子集和所述第二颜色子集的估计的子图像，所述估计的子图像包括第一区域，所述第一区域由所述第一部分补偿，以使得能够利用所述第一颜色子集并在没有颜色误差的情况下再现所述估计的子图像，其中，所述第一颜色子集被划分优先级为最重要的，以及第二区域，所述第二区域由所述第二部分配置，以使得能够在所述第二区域中利用所述第二颜色子集再现所述估计的子图像，其中，所述第一颜色子集未被划分优先级为最重要的；以及基于所述估计的子图像和所述输入图像生成替代子图像，其中，所述替代子图像被配置为利用所述第二颜色子集并在没有与所述第一颜色子集相关联的颜色误差的情况下实现所述输入图像的显示。
18.如权利要求17所述的系统，其中，所述替代子图像被配置为在所述后调制器上显示
19.如权利要求17所述的系统，其中，所述估计的子图像被配置为在所述前调制器上显不。
20.如权利要求17所述的系统，其中，所述控制器还被配置为生成所述颜色重要性图，以包括所述第一部分和所述第二部分作为彼此的二值表示。
21.如权利要求17所述的系统，其中，所述控制器被进一步配置为基于使用红色、绿色和蓝色的明视比的颜色优先级方案将所述第一颜色子集划分优先级为最重要的。
22.如权利要求17所述的系统，其中，所述控制器被进一步配置为 将所述替代子图像和初始子图像转变为后调制器驱动水平；以及应用指示所述后调制器驱动水平的信号以实现所述后调制器子图像的显示， 其中，从所述输入图像得出所述初始子图像。
23.如权利要求22所述的系统，其中，控制器被进一步配置为对与所述替代和初始子图像相关联的亮度强度以及对加权平均的阵列应用组合函数， 以得出所述后调制器驱动水平，其中，所述加权平均的阵列指示被划分优先级为最重要的所述第一颜色子集关于所述第二颜色子集的相对频率。
24.如权利要求23所述的系统，其中，所述加权平均的阵列构成直方图。
25.如权利要求24所述的系统，其中，所述组合函数构成颜色层次凸组合。
26.如权利要求23所述的系统，其中，所述组合函数包括下述形式的颜色层次凸组合 LPwa=图像*权重+图像2 * (1-权重)，其中，LPI5s包括被配置为根据所述后调制器驱动水平形成的后调制器光图案，图像工包括所述初始子图像，图像2包括所述替代子图像，以及权重。
27.如权利要求22所述的系统，其中，根据模拟光场确定初始子图像。
28.如权利要求17所述的系统，在确定颜色优先级等级的阵列以前，其中，所述控制器被进一步配置为识别所述第一颜色子集和所述第二颜色子集之中的最大颜色值；以及将所述最大颜色值分配给所述第一颜色子集和所述第二颜色子集中确定为低于阈值 (Thresh)的某些颜色中的每一个。
29.如权利要求28所述的系统，其中，所述控制器被进一步配置为当与所述输入图像相关联的颜色数据值小于由函数(g)表示的第二截止值时，以及当与所述替代子图像相关联的驱动水平大于由函数(f)表示的截止值时，将与所述替代子图像相关联的驱动水平分配给由函数(h)表示的第一截止值。
30.如权利要求29 所述的系统，其中，Thresh = 0. 1，g = Thresh, f = 3 * Thresh, h =3 * Thresh。
31.如权利要求17所述的系统，其中，所述控制器被进一步配置为 通过所述估计的子图像划分所述输入图像。
32.—种计算机可读介质，被配置为生成后调制器子图像，所述计算机可读介质包括可执行指令，所述可执行指令被配置为确定与输入图像相关联的颜色优先级等级的阵列，所述阵列包括与被识别为最重要的第一颜色子集相关联的第一部分，以及与第二颜色子集相关联的第二部分，在所述第二部分处，所述第一颜色子集未被识别为最重要的；确定具有所述第一颜色子集和所述第二颜色子集的估计的子图像，所述估计的子图像包括第一区域，所述第一区域由所述第一部分补偿，以使得能够利用所述第一颜色子集并在没有颜色误差的情况下再现所述估计的子图像，其中，所述第一颜色子集被划分优先级为最重要的，以及第二区域，所述第二区域由所述第二部分配置，以使得能够在所述第二区域中利用所述第二颜色子集再现所述估计的子图像，其中，所述第一颜色子集未被划分优先级为最重要的；以及基于所述估计的子图像和所述输入图像生成替代子图像，其中，所述替代子图像被配置为利用所述第二颜色子集并在没有与所述第一颜色子集相关联的颜色误差的情况下实现所述输入图像的显示。
33.如权利要求32所述的计算机可读介质，包括进一步的可执行指令，其被配置为 在后调制器上显示所述替代子图像。
34.如权利要求32所述的计算机可读介质，包括进一步的可执行指令，其被配置为 在前调制器上显示所述估计的子图像。
35.如权利要求32所述的计算机可读介质，包括进一步的可执行指令，其被配置为 生成颜色重要性图，以包括所述第一和第二部分作为彼此的二值表示。
36.如权利要求32所述的计算机可读介质，包括进一步的可执行指令，其被配置为 基于使用红色、绿色和蓝色的明视比的颜色优先级方案将所述第一颜色子集划分优先级为最重要的。
37.如权利要求32所述的计算机可读介质，包括进一步的可执行指令，其被配置为 将所述替代子图像和初始子图像转变为有效驱动水平；以及应用指示所述有效驱动水平的信号以实现所述后调制器子图像的显示， 其中，从所述输入图像得出所述初始子图像。
38.如权利要求37所述的计算机可读介质，包括进一步的可执行指令，其被配置为 对与所述替代和初始子图像相关联的亮度强度以及对加权平均的阵列应用组合函数，以得出所述有效驱动水平，其中，所述加权平均的阵列指示被划分优先级为最重要的所述第一颜色子集关于所述第二颜色子集的相对频率。
39.如权利要求38所述的计算机可读介质，包括进一步的可执行指令，其被配置为 把直方图用于所述加权平均的阵列。
40.如权利要求39所述的计算机可读介质，其包括进一步的可执行指令，其被配置为 利用颜色层次凸组合作为组合函数。
41.如权利要求40所述的计算机可读介质，包括进一步的可执行指令，其被配置为 实现LPmjl=图像*权重+图像2 * (1-权重)，其中，LPι 包括与所述有效驱动水平相对应的有效光图案，图像工包括所述初始子图像，图像2包括所述替代子图像，且所述权重包括所述直方图。
42.如权利要求37所述的计算机可读介质，包括进一步的可执行指令，其被配置为 根据模拟光场确定所述初始子图像。
43.如权利要求32所述的计算机可读介质，包括进一步的可执行指令，其被配置为 在确定所述颜色优先级等级的阵列以前，识别所述第一颜色子集和所述第二颜色子集之中的最大颜色值；以及将所述最大颜色值分配给所述第一颜色子集和所述第二颜色子集中确定为低于阈值 (Thresh)的某些颜色中的每一个。
44.如权利要求43所述的计算机可读介质，包括进一步的可执行指令，其被配置为 当与所述输入图像相关联的颜色数据值小于由函数(g)表示的第二截止值时，以及当与所述替代子图像相关联的驱动水平大于由函数(f)表示的截止值时，将与所述替代子图像相关联的驱动水平分配给由函数(h)表示的第一截止值。
45.如权利要求32所述的计算机可读介质，包括进一步的可执行指令，其被配置为 通过借由所述估计的子图像划分所述输入图像生成所述替代子图像。
全文摘要
实施例总体上涉及基于计算机的图像处理，尤其涉及通过例如利用颜色补偿技术生成后调制器子图像来有助于操作具有相对高动态范围的图像显示系统的系统、装置、集成电路、计算机可读介质以及方法。图像显示系统可以在图像显示系统包括像素拼图时产生将会使得在没有某个或某些颜色造成的颜色误差的情况下显示前调制器子图像的后调制器驱动水平。
文档编号G09G3/34GK102414738SQ201080019160
公开日2012年4月11日 申请日期2010年4月29日 优先权日2009年4月30日
发明者迈克尔·J·S·坎 申请人:杜比实验室特许公司
最新回复(0)