用于在高亮度和高动态范围的显示器的图像处理中应用自适应伽玛的系统和方法
专利名称：用于在高亮度和高动态范围的显示器的图像处理中应用自适应伽玛的系统和方法
技术领域：
本发明涉及用于处理和/或显示图像的系统和方法。本发明的具体实施例可以用来处理用于高亮度和/或高动态范围(HDR)的显示器的图像数据。
背景技术：
显示器的电压响应通常是非线性的。对于传统显示器，显示器的输出亮度Y可以通过以下幂函数或伽玛曲线与输入值(例如，所施加的信号或控制值如输入电压V)相关Y oc vY(1)其中，伽玛值Y (幂函数的指数的数值)通常在1.8到3. 5的范围内，Y是投影在给定方向中的每单位区域的发光强度，通常以cd/m2或尼特来表示。传统上，Y可以相对于通常与显示器的最大亮度对应的基准白色的亮度而被归一化为1(例如，对于具有亮度为 200cd/m2的基准白色的显示器，Y = 1是指亮度值为200cd/m2)。类似地，输入值可以相对于最大输入值而被归一化为1。归一化的亮度值和归一化的输入值分别可以被称为相对亮度值和相对输入值。国际电信联盟(ITU)的Rec. 709标准使用的伽玛值为2. 2。为了有助于补偿伽玛值为2. 2的显示器的希望电压响应，可以利用伽玛值的倒数对图像数据进行伽玛编码或伽玛校正(即，利用大约为1/2. 2 = 0. 45的伽玛值来编码)。图1示出了伽玛值为2. 2的伽玛曲线8 (代表显示器的电压响应)和伽玛编码值为1/2. 2的伽玛编码曲线9。如图1 中所说明的实例所示，如果希望显示Y = 0.218的图像元素(例如，像素)，则利用伽玛编码曲线9对原始输入值V = O. 218进行伽玛校正以提供如箭头6所示的伽玛校正亮度值
γ =v =(0.218)^ =0j。当希望显示图像元素时，利用相应的伽玛校正输入值ν =
0. 5对显示器进行驱动。由于非线性的显示器响应曲线8，输入值V = 0. 5提供了由箭头7 所示的希望的输出亮度Vy = (0.5)2 2 = 0.218。对于亮度级通常可达大约lOOcd/m2到200cd/m2的传统显示器，可以使用(例如方程式(1)的形式的)单个幂律伽玛曲线来近似显示器亮度范围内的显示器的非线性响应。 在这些亮度级处，人类视觉系统(HVS)以正好近似为显示器的伽玛曲线的倒数的非线性方式感知光。高亮度和/或高动态翻译(HDR)显示器已经发展为具有大约4000cd/m2或更高值的峰值亮度。在超过200cd/m2并接近4000cd/m2或更高的那些亮度级处，简单的幂律伽玛编码曲线变得越来越不适于亮度的HVS感知，这是因为HVS在较高亮度级感知亮度变化和在较低亮度级感知亮度变化是不同的。高亮度和/或HDR显示器可以合并空间编码的光源，如在PCT专利申请公布 No. W002/069030, W003/077013、W02006/010244 和 W02008/092276 中描述的那些光源。这
种显示器包括光源调制层(例如，空间调制的背光)和显示调制层。光源调制层可以被驱动，以产生图像的相对较低分辨率表现，该图像随后被提供给显示调制层。通过显示调制层对低分辨率表现进一步调制，以便提供由观察者观看的高分辨率图像。光源调制层例如可以包括有源调制的光源如发光二极管(LED)矩阵。可以被设置和/或排列成接收来自光源调制层的光的显示调制层可以包括液晶显示器(LCD)。因此，显示调制层上的像素的亮度受到光源调制层上的可变局部亮度的影响。由于光源调制层可以产生图像的相对较低分辨率表现，所以当驱动值被施加到光源调制层时要被提供到显示调制层上的希望的亮度图案可能在显示调制层的分辨率上相对缓慢地变化。因此，可以在低分辨率处计算希望的亮度图案，然后将希望的亮度图案缩放到需要的高分辨率(例如，如显示调制层的分辨率)而不会引入显著的伪像。使用具有不同分辨率的双调制层可以抑制双调制器显示器中图像数据和输出亮度值之间的简单一对一映射。通常希望一种用于处理高亮度和/或HDR显示器的图像数据的系统和方法。
在示出本发明的非限定性实施例的附图中图1是现有技术的伽玛曲线和伽玛编码曲线的图；图2A是由网站medical, nema. org上公布的“医学数字成像与通信标准”定义的灰度标准显示曲线的图，其中亮度Y(Y轴上)以对数刻度来显示；图2Β是图2的曲线的一部分；图2C是针对双调制显示器的显示调制层的将输入控制值映射到输出控制值的净转移函数的图；图3是根据本发明的一个示例性实施例的方法的流程图；图4根据本发明的另一个示例性实施例的方法的流程图；图5根据本发明的又一个示例性实施例的方法的流程图；图6示意性地示出了可以用来实现图3、4和5的方法的系统。
具体实施例方式在以下描述中，对特定细节进行阐述，以便向本领域技术人员提供更加彻底的理解。然而，可能未示出或详细描述已知元件以避免不必要地混淆本公开。因此，描述和附图被认为是说明性的而不是限制性的。如以上讨论的那样，传统的显示器展示了非线性转移函数，其可以通过将输入值 (例如施加的信号或控制值如电压)与输出亮度值关联的幂函数(例如，伽马曲线)来建模。伽玛编码曲线可以用于对图像数据进行编码，以补偿显示器的非线性响应。在通过RGB 三元组表示像素的系统中，可以对每个颜色通道(即，R、G和B值中的每个)进行独立的伽玛编码(即，幂律可以用来将输入值映射到输出R、G和B值)。此外，HVS以非线性方式感知光，该非线性方式在传统显示器的亮度级上近似为幂函数的倒数。但是，对于高动态范围的显示器(HDR显示器)或高亮度的显示器，用于HVS的亮度感知的幂函数近似失效。在本发明的具体实施例中，可替选的编码曲线或函数可以代替传统的幂律伽玛编码曲线用于对图像数据进行编码。该编码曲线可以通过提取一部分感知曲线来确定。所提取的这部分感知曲线可以包括感知曲线的亮度范围的子集。这一部分感知曲线可以包括与具体帧的图像数据的亮度数据的范围对应或者与图像数据的帧的具体子集的亮度数据的范围对应的亮度范围的子集。这一部分感知曲线可以被调整为容纳显示器专用的校准信肩、ο如这里所使用的，对图像数据进行编码是指将一个或多个函数(例如，映射)应用于图像数据的过程。编码图像数据进而可以用于提供用来驱动显示器的合适的控制值。 在具体实施例中，这些控制值可以包括调制层控制值，其被输出到双调制显示器的显示调制层。在具体实施例中，用于产生编码曲线的感知曲线是医学数字成像与通信(DICOM)PS 3. 14灰度标准显示曲线(图2)。DICOM PS 3. 14灰度标准显示曲线(这里称为DICOM曲线)在由国家电气制造商协会公布的DICOM标准的2006年12月的出版物中的第14部分中描述，其全部内容通过引用合并于此。DICOM曲线由DICOM标准委员会基于以提供如何在不同显示设备上出现图像的更好的视觉一致性为目的的HVS的经验性研究而开发的。感知曲线如DICOM曲线可以用于输入值(例如，显示器的施加信号或控制值，如输入电压、数字驱动电平等)和输出亮度值或输出颜色通道值之间的映射。在DICOM感知曲线的特定情况下，DICOM曲线将最小可察觉差异(JND)值映射到输出亮度值。单个JND值的增量代表输入值(电压或数字驱动电平)的增量，对此，在普通人观察者恰好能够感知的给定观看条件下存在给定显示器的亮度的相应变化。DICOM曲线是感知曲线的实例，其在分配输入值(例如，JND值和/或显示输入值)到输出亮度值之间的关系中考虑光的HVS感知。在其它实施例中，可以使用其它类型的曲线(其可以是也可以不是感知曲线)代替DICOM曲线来产生编码曲线。如图2所示，针对其中存在从0到1023(即W，21(l_l])范围中的相应JND值的从
0.05cd/m2到4000cd/m2的亮度范围来定义DICOM曲线。便利地，一些高亮度和/或HDR显示器还具有在4000cd/m2附近的最大亮度值。对于一些显示器，显示器的峰值亮度可以是可由用户(或可以按其它方式)调整到不同于4000cd/m2的亮度值。DICOM曲线可以通过
以下分析函数来表示
,L( n .. 。+cLrij)+e{Lrji)f +gjLrjjyf +m(Lnjj))'
Ui~\+b Lfi j) ^d(Lfij))2 +/(LJij)Y +himnY +k (Lfij))5其中Ln是自然对数，j代表JND的亮度级Lj的指数(1-1023)，系数通过以下来给定a = -1. 3011877，b = -2. 5840191E-2，c = 8. 024636E-2，d = -1. 0320229E-1, e = 1. 3646699E-1, f = 2. 8745620E-2，g = -2. 5468404E-2，h = -3. 1978977E-3，k =
1.2992634E-4 以及 m = 1. 3635334E-3。在低亮度级，显示器的幂函数响应(通过方程式(1)来表示)可以与DICOM曲线相似。但是，在高亮度级，幂函数与DICOM曲线和/或HVS响应不同。例如，如果在DICOM 曲线的亮度范围上扩展幂函数(即，通过从Y = 0的范围到Y = 4000cd/m2的范围绘制幂函数)，则幂函数在高亮度级处偏离DICOM曲线。当前的图像处理惯例通常使用8个比特来表示图像亮度(或图像数据颜色通道)。 这种惯例不能提供输入值到DICOM曲线的IOM个可用亮度值的一对一映射。需要10比特的亮度数据来表示DICOM曲线的全部可用的输出亮度值(即，提供输入值与DICOM亮度值之间的一对一映射)。另外，DICOM曲线采用显示器上的单个峰值亮度。但是，对于双调制显示器，光源调制层向显示调制层提供空间调制光，使得峰值亮度在显示调制层上局部地变化。此外，在一些双调制显示器中，光源调制层具有与显示调制层不同的分辨率，这抑制了图像数据和输出亮度值之间的一对一映射。根据本发明的具体实施例，基于希望的帧的亮度范围为每一帧图像数据提取感知曲线的一部分，如DICOM曲线。这部分感知曲线可以用于将帧的亮度范围上的亮度值(或其它像素值(例如，R、G和B像素值)映射到用于显示器的可用控制值。以这种方式确定的映射可以表示希望的总响应曲线。对于具体显示器，可以获得或确定显示器专用的校准数据，以便将显示调制器驱动值与显示调制器输出相关联。可以针对每个颜色通道来获得或确定显示器专用的校准数据。编码曲线或编码映射函数可以通过调整希望的总响应曲线以合并已知的显示器专用的校准数据来获得。即，可以通过预调整希望的总响应曲线从该希望的总响应曲线获得编码曲线，使得编码曲线应用于图像数据然后所获得的编码图像数据应用于显示调制层将产生希望的总响应。以该方式获得的编码曲线可以用于对图像数据进行编码(即，确定用于驱动显示器的控制值)。编码曲线可以应用于单独的颜色通道。在一些实施例中，其中图像数据被显示在双调制显示器上，图像数据的编码确定可以用于驱动显示调制层的像素的显示调制器控制值。在一些实施例中，编码过程可以应用于图像帧的分段。在一些实施例中，可以通过将感知曲线调整为提供显示器专用的响应来对感知曲线进行预校准。在该方式中，可以直接从预校准的感知曲线的一部分获得编码曲线。图6示出了根据本发明的具体实施例的双调制显示系统20。显示系统20可以操作为显示图像数据23。显示系统20可以被配置成执行本发明的方法。显示系统20包括显示器21，如高亮度和/或HDR显示器。在所示实施例中，显示器21包括双调制显示器，其具有光源调制层21A和显示调制层21B。系统20还包括处理器22，其可以包括中央处理单元(CPU)、一个或多个为处理器、 一个或多个FPGA或包括能够起到这里所描述的功能的硬件和/或软件的任何其它合适的处理单元。处理器22处理图像数据23，以产生光源调制器控制值25A用于驱动光源调制层 21A，并显示调制器控制值25B用于驱动显示调制层21B。在具体实施例中，光源调制层21A 包括LED矩阵。在这些实施例中，提供给光源调制层21A的控制值25A可以包括数字LED 驱动值，其可以被转换成模拟LED驱动值(即电压)。在一些实施例中，显示调制层21B包括IXD像素阵列。在这些实施例中，提供给显示调制层21B的控制值25B可以包括相应的 LCD像素驱动值，其可以被转换成模拟LCD驱动值。在一些实施例中，已经根据传统的伽玛编码机制对图像数据23进行了编码。在这些实施例中，系统20可以包括可选图像数据解码器M，用于在处理器22进行处理之前(或作为处理器22进行处理的一部分)对图像数据23进行解码或以其它方式线性化。虽然为了清楚起见以独立部件的形式示出图像数据解码器对，但是这不是必须的。在其它实施例中，图像数据解码器M可以通过处理器22来实现，该处理器22可以执行存储在程序存储器26或其它合适的存储位置的合适的软件指令。处理器22可以通过执行由软件功能27提供的软件指令来实现根据本发明的实施例的方法。在所示实施例中，软件功能27被存储在程序存储器沈中，但是这不是必须的， 并且软件功能27可以存储在处理器22中或存储器22可访问的其它合适的存储位置。在一些实施例中，软件功能27的各部分可替选地可以通过适当配置的硬件来实现。处理器22 还可以存取感知曲线数据四，其中感知曲线数据四如在所说明的实施例中所示的那样可以被存储在合适的数据存储中。感知曲线数据四可以包括与用于将输入值映射到输出亮度值的DICOM曲线或其它感知曲线对应的信息。在所示实施例中，处理器22还可以存取可以被存储在合适的数据存储中的显示器专用的校准数据33。校准数据33可以将显示器21 的输出与显示调制层21B的驱动值25B相关联。在所示实施例中并且如以下更加详细地解释的那样，处理器22产生希望的总响应曲线观和编码曲线31，其可以被存储在合适的数据存储中。感知曲线数据四、显示器专用的校准数据33、希望的总响应曲线数据观和/或编码曲线数据31可以以查询表(LUT)的形式提供。图3示出了根据本发明的具体实施例的用于对图像数据23进行编码和/或显示的方法100。方法100可以通过用于在双调制显示器21 (图6)上进行显示的显示系统20 来实现。方法100可以通过其它合适的图像处理硬件和/或软件来实现。所示的方法100 代表用于处理和显示一帧图像数据23的方法。可以重复方法100，以便处理和/或显示多帧图像数据^3。方法100开始于接收一帧图像数据23。图像数据23例如可以包括非线性编码数据23A(例如，传统的伽玛编码数据23A)或线性编码数据23B。如果图像数据23在其被接收时是伽玛编码或非线性编码图像数据23A，则可选地可以在流程框102对非线性编码图像数据23A进行线性化，以提供线性化的图像数据23B。在流程框104接收图像数据23 (或者是非线性编码图像数据23A或者是线性化的图像数据23B)。流程框104包括使用图像数据23来确定用于光源调制层21A的合适的控制值25A(例如，LED驱动值)。流程框104的用于获得光源调制层的控制值25A的过程可以使用对于本领域技术人员来说已知的合适的技术。该流程框104的技术可以包括最近邻插值法等，并可以基于如图像数据23的强度或颜色等因素。流程框104可以通过实现合适的软件功能27A(图6)的处理器22来执行。然后方法100进行到流程框106，该流程框106包括确定关于经由光源调制层21A 在显示调制层21B接收的希望的亮度分布的信息。流程框106的确定可以至少部分地基于流程框104的光源调制层的控制值25A。通过非限定性实例，用于确定在显示调制层21B接收的希望的亮度的方法在PCT公布No. W003/077013、W02006/010244和W02008/092276中描述，其通过引用合并于此。流程框106可以通过实现合适的软件功能27B(图6)的处理器22来执行。在具体实施例中，流程框106包括使用光源调制层控制值25A来针对具体帧的图像数据23或者一帧图像数据23的具体分段，估计希望的亮度分布的最大亮度值52 (Ymax) 和最小亮度值53 αΜΙΝ)。可以在流程框108中使用最小和最大亮度YMIN、Ymax来从感知曲线 29 (例如，DICOM曲线)中提取相应的部分12。用于从感知曲线四提取部分12的流程框 108过程的具体实例在图2和2Α中示出。在所示实例中，图像数据23被确定(在流程框106中)为具有亮度范围10，该亮度范围10具有最大亮度值52 (Ymax ^ 100cd/m2)和最小亮度值53aMIN ^ 10cd/m2)。因此，在流程框108中提取的感知曲线四的部分12是感知曲线 29中Ymin ^ 10cd/m2和Ymax ^ 100cd/m2之间的部分，如图2A所示。与感知曲线四上亮度范围10中的部分12对应的映射值可以使用分析函数(例如方程式⑵的DICOM分析函数)来计算，或者它们可以从处理器22可访问的合适的LUT 中提取。流程框108可以通过执行合适的软件功能27C(图6)的处理器22来执行。为了描述方法100的剩余部分，假设图2、2A的感知曲线四的部分12在流程框108中提取，但是并不对该方法的适用性构成限制。参考图2，感知曲线四的部分12具有亮度范围10和相关的控制值范围14(例如，在DICOM曲线四的情况下，JND值的范围14)。流程框110包括在与显示调制层21B对应的显示调制器控制值25B的可用范围内对控制值的该范围14进行缩放、偏移和/或映射。例如，如图2A所示，如果用于具体显示调制层21B的显示调制器控制值25B通过8比特来表示(即，
)，则流程框110可以包括将感知曲线四的部分12的控制值范围 14映射到范围W，255]，并在亮度范围10 (例如，在所示实例的情况下，在Ymin lOcd/m2和 Ymax lOOcd/m2之间)为范围W，255]中的每个可用的显示调制器控制值25B分配对应的亮度值Y。流程框110的映射可以涉及合适的插值技术或类似的数据技术，用以扩展感知曲线四的部分12。流程框110的映射可以包括合适的下采样技术或类似的数学技术，用以在需要时压缩感知曲线四的部分12。优选地，流程框110的映射保持感知曲线四的部分12 的形状。流程框110可以通过实现合适的软件功能27D(图6)的处理器22来执行。流程框110的映射的输出(图2A中示出其具体实例)是代表以下(i)和(ii)之间的关系的曲线(i)具体显示调制层21B的可用显示调制器控制值25B(由所示曲线的横坐标(χ轴)上的变量Lin来表示)；以及(ii)在流程框106的最小和最大亮度值αΜΙΝ， Ymax)之间的亮度范围10中的希望的亮度值(由所示曲线的纵坐标(y轴)上的变量Y来表示)。这里，流程框110的曲线可以称为用于图像数据23的帧的希望的总响应曲线观。流程框110映射的值可以从LUT获取，或者使用代表感知曲线四的分析函数来计算。作为流程框110的部分，可以对希望的总响应曲线观进行归一化，使得其χ轴的值和/或其y轴的值的范围是W，1]。归一化可以包括缩放，且在一些情况下，包括偏移。例如，如果希望的总响应曲线28的χ轴上的可用显示调制器控制值25B的范围是W，255]，则希望的总响应曲线28的显示调制器控制值25B可以除以255 (即缩放)来归一化。从流程框110输出的希望的总响应曲线28表示显示调制器控制值25B(Lin)和输出亮度值(Y)之间的希望的映射。但是，在其上执行了方法100的每个单独的显示调制层 21B具有其自己(通常为非线性)的响应，该响应将其自己的特定输出与输入的显示调制器控制值25B(Lin)相关联。具体的显示调制层21B的响应可以由显示器专用的校准数据33 来表示。通过非限定性实施例，显示器专用的校准数据33可以包括LUT，其针对具体的显示调制层21B将显示调制器控制值25B (Lin)与相应的输出值或相应的部分输出值相关联。构成显示器专用的校准数据33的部分输出值例如可以包括希望的响应或线性响应中的一部分。在具体实施例中，显示器专用的校准数据33可以被提供给每个颜色通道或每个三色通道。在其它实施例中，显示器专用的校准数据33可以被提供作为颜色通道或三色通道的一些组合。
在一个具体的非限定性实例中，显示器专用的校准数据33可以如此获得将已知驱动信号应用于光源调制层25A，然后在确定显示器21的相应输出时将显示调制器控制值 25B改变到显示调制层21B。本领域技术人员应该理解，存在相当多种能够被用于获得关于显示调制层21B的校准信息33的技术。流程框112包括修改希望的总响应曲线28，以便于适应显示器专有的变化(如通过显示器专用的校准数据33来表示)并由此产生编码曲线31。编码曲线31的实例在图 2B中示出。在所示实施例中，编码曲线31将(χ轴上的)图像数据值与(y轴上的)编码图像值相关联。(编码曲线31的y轴上的)编码图像值可以包括(或可以用于产生)显示调制器控制值25B。在图2B所示的实施例中，编码曲线31被归一化，使得其在χ轴和y轴上的范围均是
0在所示实施例中，流程框112包括通过将显示器专用的校准数据33的效应合并到希望的总响应曲线观中来获得编码曲线31。更具体地说，流程框112可以包括产生编码曲线31使得编码曲线31应用于图像数据23，然后所获得的编码图像数据(即，显示调制器控制值25B)应用于具体显示调制层21B将产生希望的输出亮度(可通过希望的总响应曲线 28预测)。在一些实施例中，显示器专用的校准数据33被获得或者可用于每个颜色通道或每个三色通道，在这种情况下，流程框112可以包括获得用于每个颜色通道或每个三色通道的编码曲线31。流程框112可以通过实现合适的软件功能27E(图6)的处理器22来执行。在双调制器显示器如双调制器显示系统20(图6)的显示器21中，在显示调制层 21B接收的光由于光源调制层21A而空间变化。同样地，在流程框117中可以对图像数据 23进行调整以适应该空间变化的光图案。流程框117的处理可以包括对在显示调制层21B 中的每个像素或像素组接收的光进行仿真或建模，并对与每个像素或像素组对应的图像数据23对象缩放(或者调整)以考虑希望接收的光的量。用于实现流程框117的处理(对图像数据23进行调整以适应通过光源调制层21A引入的光的空间变化)的各种技术在PCT 公布No. W003/077013.W02006/010244和W02008/092276中描述。在所示实施例中，流程框 117的处理对线性化图像数据2 执行，并且结果是调整后的线性化图像数据23C。流程框114包括将编码曲线31应用于图像数据23。在所示实施例中，编码曲线 31被应用于从流程框117输出的调整后的线性化图像数据23C。如以上讨论的，将编码曲线31应用于图像数据23C可以包括对图像数据23C进行映射成提供可以包括(或者可以用于产生)显示调制器控制值25B的编码图像数据。显示调制器控制值25B可以被输出到显示调制层21B。在一些实施例中，存在用于每个颜色通道或每个三色通道的编码曲线31，并且流程框114可以包括将编码曲线31应用于调整后的线性化图像数据23C的每个颜色通道或三色通道。在其它实施例中，单个编码曲线31可以被应用到全部颜色或三色通道中。 在一些实施例中，流程框114包括将编码曲线31应用于亮度值，然后如果需要，将调整后的亮度值转换回颜色通道值。流程框114的处理结果是一组显示调制器控制值(编码图像数据)25B，其可以被用于驱动显示调制层21B的像素。流程框114可以由实现合适的软件功能27F(图6)的处理器22来执行。于是，在显示器21 (图6)上显示一帧图像数据23可以包括将光源调制器值25A 输出到光源调制层21A并将显示调制器控制值25B输出到显示调制层21B。
图4示出了根据本发明的另一个实施例的用于对图像数据23进行编码和/或显示的方法200。方法200可以通过用于在双调制显示器21 (图6)上显示的显示系统20来实现。方法200的示图代表用于处理和显示一帧图像数据23的方法。可以重复方法200， 用于处理和/或显示多帧图像数据23。方法200在某些方面与方法100类似。方法200中与方法100的相同或相似的方面被归为相似的附图标记，除了在方法200中附图标记被赋予前缀“2”来代替“1”之外。方法200开始于接收一帧图像数据23。图像数据23例如可以包括非线性编码图像数据23A(例如，传统的伽玛编码图像数据)或线性编码图像数据23B。按照需要的程度， 非线性编码图像数据23A可以在流程框202中被线性化，以提供线性化的图像数据23B。在流程框204，用于光源调制层21A的合适的控制值25A(例如，LED驱动值)可以从伽玛编码数据23A或线性化数据2 产生。流程框205包括使用非线性编码图像数据23A或线性化图像数据2 来确定要提供给显示调制层21B的理想的亮度分布。流程框205的理想的亮度分布可以包括忽略光源调制层21A的限制。通过非限定性实例，流程框205可以包括假设光源调制层21A的分辨率与显示调制层21B的分辨率相同，即，好像显示调制层21B 的每个像素具有其自己独立的光源。流程框205的结果是理想化的最小和最大亮度52A、 53A (IDEAL Ymin，IDEAL Ymax)。流程框206包括根据由光源调制层21A发射的光来确定显示调制层21B上希望的亮度分布(考虑光源调制层21A的内在限制)。流程框206可以与流程框106基本相似，并产生希望的最小和最大亮度52、53 (Ymin，Ymax)。流程框206的确定可以至少部分地基于流程框204的光源调制层控制值25A。流程框208包括基于流程框205的理想化的最小和最大亮度值52A、53A(IDEAL Ymin, IDEAL Ymax)来提取感知曲线29 (例如，DICOM曲线)的相应部分12。流程框208可以与流程框上述流程框108基本相似，除了使用理想化的最小和最大亮度值52A、53A(IDEAL Ymin, IDEALYmax)来代替希望的最小和最大亮度值52、53 (Ymin，Ymax)之外。在流程框210中，所提取的感知曲线四的部分12被映射到与显示调制层21B对应的显示调制器控制值25B的可用范围。流程框210可以与上述流程框110类似。在流程框210确定的映射表示用于图像数据23的帧的希望的总响应曲线观。流程框209包括对流程框210的希望的总响应曲线28进行可选调整，以提供调整后的希望的总响应曲线观々。流程框209中对希望的总响应曲线观的调整可以包括去除可能由于在流程框208中使用理想化的亮度值52A、53A(IDEAL Ymin，IDEAL Ymax)来提取感知曲线四的部分12而产生的虚假结果。流程框209中对流程框210的映射的调整过程可以基于在流程框205中获得的理想化的最小和最大亮度值52A、53A(IDEAL Ymin，IDEAL Ymax)以及在流程框206中获得的希望的最小和最大亮度值52、53(Ymin，Ymax)之间的差。例如，如果这些差超过阈值，则流程框210的希望的总响应曲线观的值可以被调整以减小这些差(例如通过在理想的或希望的亮度分布的亮度范围中扩展或压缩希望的总响应曲线28)。如果这些差未超过阈值，则流程框210的希望的总响应曲线观可以无需调整。一旦在流程框210中获得希望的总响应曲线28，并且可选地，希望的总响应曲线 28经历了流程框209中的调整，则方法200进行到流程框212和214，其包括基于希望的总响应曲线观、28々和显示器专用的校准信息33来产生编码曲线31，然后将编码曲线31应用于线性化的调整后的图像数据23C，以产生编码图像数据(即，显示调制器驱动值25B)。流程框212、214、217可以与上述流程框112、114、117基本类似。在流程框204获得的光源调制器驱动值25A以及在流程框214获得的显示调制器控制值25B可以被提供给光源调制器 21A和显示调制器21B，用以在显示器21上显示图像。图5示出了根据本发明的又一个实施例的用于对图像数据23进行编码和/或显示的方法300。方法300可以通过用于在双调制显示器21 (图6)上显示的显示系统20来实现。所示的方法300表示用于对一帧图像数据23进行处理和显示的方法。可以重复方法300，用于处理和显示多帧图像数据23。方法300在某些方面与方法100类似。方法300 中与方法100的方面相同或相似的方面被归为相似的附图标记，除了在方法300中附图标记被赋予前缀“ 3，，来代替“ 1，，之外。方法300开始于接收一帧图像数据23，该图像数据23可以在流程框302中被线性化(如果需要)以提供线性化的图像数据23B。流程框304包括确定用于该帧的图像数据 23的光源调制器控制值25A。流程框304可以与上述流程框104基本相似。方法300然后进行到流程框303，其包括将图像数据23的帧划分成多个区域50，每个区域50包括针对该具体帧的图像数据23的子集。流程框303的区域50可以包括一帧图像数据23的任何合适的子集。例如，对于每一帧总共MXN个区域50来说，图像帧可以被划分成M行，每一行具有N个区域。在流程框307，针对每个区域50确定映射。对于每个区域50，流程框307的映射可以与图2A详细，并可以将显示调制层控制值25B (由图2A的χ轴上的Lin来表示)与输出亮度值(如通过图2Α的y轴上的Y来表示)关联。在一些实施例中，对于每个区域50， 流程框307可以包括与方法100的流程框106到110的步骤(图3)或者与方法200的流程框205到210的步骤(图4)相似的实现步骤。在针对每个区域50确定了流程框307的映射之后，在流程框311中可以执行区域50之间的平滑操作(例如，双线性插值、滤波或其它合适的平滑技术)，以确定平滑后的希望的总响应曲线^B。平滑后的希望的总响应曲线 28B可以包括用于图像数据23的整个帧的希望的响应曲线，或者可以包括多个帧专用的希望的响应曲线。流程框311的平滑操作可以用于消除流程框307中的区域50之间的映射中的不连续。一旦在流程框311中获得平滑后的希望的总响应曲线^B，方法300进行到通过合并显示器专用的校准信息33 (流程框312)来获得编码曲线31以及将编码曲线31应用于线性化的调整后的图像数据23C，以获得编码图像数据/显示调制器控制值25B(流程框314)。流程框312、314和317可以与上述流程框112、114和117基本相似。在流程框 304获得的光源调制器驱动值25A和在流程框314获得的显示调制器控制值25B可以被提供给光源调制器21A和显示调制器21B，以在显示器21上显示图像。如图6所示，显示系统20可以被配置成执行根据本发明的方法。在所示实施例中， 处理器22调用软件功能27，如功能27A，用于获取光源调制层控制值(例如LED驱动值)； 功能27B，用于估计显示调制层21B上的亮度；功能27C，用于提取感知曲线四的部分12 ； 功能27D，用于确定所提取的曲线部分12和显示调制器控制值25B之间的映射；功能27E， 用于通过合并校准信息33来获得编码曲线31 ；以及功能27F，用于使用编码曲线31对图像数据23进行编码，以确定用于驱动显示调制层21B的像素的控制值25B。在一些实施例中，功能27可以被实现为处理器22可访问的程序存储器沈中包含的软件。处理器22可以通过执行由包含在程序存储器沈中的软件提供的软件指令来实现图3、4或5的方法。在其它实施例中，一个或多个功能27或者功能27的部分可以通过适当配置的数据处理硬件来执行。本发明的各方面还可以以程序产品的形式来提供。程序产品可以包括承载一系列计算机可读信息的任何介质，计算机可读信息包括指令，当通过数据处理器执行时，这些指令使得数据处理器执行本发明的方法。根据本发明的程序产品可以是相当多种形式中的任何一种。程序产品例如可以包括物理介质，如磁数据存储介质(包括软盘、硬盘驱动器)、光数据存储介质(包括CD ROM、DVD)、电子数据存储介质(包括ROM、闪速RAM)等。可选地， 程序产品上的计算机可读信息可以被压缩或加密。在上文中引用部件(例如，设备、处理器、LED、IXD、光源调制层、显示调制层、显示器等)的地方，除非另外说明，对该部件的引用(包括对“装置”的引用)应该被解释成包括执行所述部件的功能(即，功能等价物)的作为该部件的等价物的任何部件，包括与所公开的执行本发明的示例性实施例中描述的功能的结构不同结构的部件。根据前述公开，对于本领域技术人员来说明显的是，在实践本发明的过程中可以进行许多改变和修改而不脱离本发明的精神或范围，例如这里描述的方法可以应用于(例如，如从静态照相机获取的)静止图像数据。以上提供了实例，其中显示调制器控制值25B被描述成具有由8个比特提供的范围W，255]。这不是必然的。一般而言，显示调制器控制值25B可以包括任何合适的比特深度。可以使用其它合适的曲线(可以是感知曲线或非感知曲线)来代替DICOM曲线， 用以将显示调制层控制值映射到输出亮度值。在上述实施例中，独立的过程将希望的总响应曲线观调整为合并显示器专用的校准信息33，由此获得编码曲线31 (例如参见上述流程框112)。虽然对于说明的目的来说是有用的，但不是必然的。在一些实施例中，显示器专用的校准信息33可以被预先合并到感知曲线四中，使得被提取(例如在流程框108中)并映射(例如在流程框110中)到显示调制层控制值25B的可用范围的感知曲线四的部分12是显示器专用的总的希望的响应曲线。通过非限定性实例，可以提供若干预校准的感知曲线用于不同的亮度范围，并且可以基于希望的亮度值(例如，YMX' Ymin等)来选择具体的一个预校准的感知曲线。在上述实施例中，感知曲线中被提取的曲线部分是基于对最小和最大的希望或理想的亮度值(例如YMX，YMIN)的估计，并根据光源调制器控制值25A来确定。在一些实施例中，最小亮度值(Ymin)的估计可以是固定的(例如，对希望或理想的最小亮度(Ymin)的估计值可以被设置成Ymin = 0或Ymin等于一些其它合适的常数)。在上述实施例中，关于双调制器显示器对用于显示图像的方法进行了描述，其具体实例在图6中示出。在其它实施例中，本发明可以在仅具有一个调制器但具有所谓的“亮度”控制(例如，用户可配置的亮度输入)的显示器上实践。在这些实施例中，提取感知曲线上相应的部分可以基于与亮度控制的具体设置对应的估计的最小和最大希望的亮度值 (例如YMX，YMIN)。按照与上述实施例相似的方式，所提取的感知曲线的部分然后可以被映射到显示调制器控制值的可用范围，并被校准以产生编码曲线并应用于图像数据以产生显示调制器控制值。根据前述所有内容，本发明具有许多方面。这些方面包括以下而不构成限制。
权利要求
1.一种在具有光源调制层和显示调制层的显示器上显示图像的方法，该方法包括接收图像数据帧；至少部分地基于图像数据来确定用于所述光源调制层的光源调制器控制值；至少部分地基于所述光源调制器控制值来估计在所述显示调制层接收的最小希望亮度和最大希望亮度；提取感知曲线的一部分，所述感知曲线的提取部分具有在所述最小希望亮度和所述最大希望亮度之间延展的亮度值；将所述感知曲线的提取部分映射到用于所述显示调制层的显示调制器控制值的可用范围，以确定期望的总响应曲线；至少部分地基于所述图像数据和所述期望的总响应曲线来确定用于所述显示调制层的显示调制器控制值；以及通过将所述显示调制器控制值输出到所述显示调制层并将所述光源调制器控制值输出到所述光源调制层来显示图像。
2.根据权利要求1所述的方法，包括获得校准数据，所述校准数据将显示调制器控制值与所述显示调制层的对应输出相关联，其中，确定显示调制器控制值至少部分地基于所述校准数据。
3.根据权利要求2所述的方法，其中确定显示调制器控制值包括基于所述校准数据来调整所述希望的总响应曲线，以获得将输入的图像数据值与输出的显示调制器控制值相关联的编码曲线；并将所述编码曲线应用于图像数据以获得用于显示图像的所述显示调制器控制值。
4.根据权利要求1-3中任何一个所述的方法，其中，将所述感知曲线的提取部分映射到显示调制器控制值的可用范围包括使用插值来扩展曲线的提取部分。
5.根据权利要求1-3中任何一个所述的方法，其中，将所述感知曲线的提取部分映射到显示调制器控制值的可用范围包括使用下采样来压缩曲线的提取部分。
6.根据权利要求1-5中任何一个所述的方法，其中，将所述感知曲线的提取部分映射到显示调制器控制值的可用范围包括对所述期望的总响应曲线进行缩放以对应W，l]范围中的显示调制器控制值。
7.根据权利要求1-6中任何一个所述的方法，其中，将所述感知曲线的提取部分映射到显示调制器控制值的可用范围包括将偏移应用于所述感知曲线的提取部分。
8.根据权利要求1所述的方法，其中，所述感知曲线被预校准，以考虑将显示调制器控制值与所述显示调制层的对应输出相关联的校准数据。
9.根据权利要求1-8中任何一个所述的方法，包括将所述感知曲线表示成显示器可访问的存储器中的查询表。
10.根据权利要求2所述的方法，包括将所述校准数据表示成显示器可访问的存储器中的查询表。
11.根据权利要求3所述的方法，包括将所述编码曲线表示成显示器可访问的存储器中的查询表。
12.根据权利要求1-11中任何一个所述的方法，其中估计在所述显示调制层接收的所述最小希望亮度包括将所述最小希望亮度设置成常数。
13.根据权利要求1-12中任何一个所述的方法，其中所述感知曲线是DICOM曲线。
14.根据权利要求1-13中任何一个所述的方法，其中，对所述图像数据帧的多个子集执行估计所述最小希望亮度和所述最大希望亮度、提取所述感知曲线的部分以及对所述感知曲线的提取部分进行映射。
15.一种在具有光源调制层和显示调制层的显示器上显示图像的方法，该方法包括 接收图像数据帧；至少部分地基于图像数据来确定用于所述光源调制层的光源调制器控制值； 至少部分地基于图像数据来估计在显示调制层接收的最小理想亮度和最大理想亮度；提取感知曲线的一部分，所述感知曲线的所述部分具有在所述最小理想亮度和所述最大理想亮度之间延展的亮度值；将所述感知曲线的提取部分映射到用于所述显示调制层的显示调制器控制值的可用范围，以确定期望的总响应曲线；至少部分地基于所述图像数据和所述期望的总响应曲线来确定用于所述显示调制层的显示调制器控制值；以及通过将所述显示调制器控制值输出到所述显示调制层并将所述光源调制器控制值输出到所述光源调制层来显示图像。
16.根据权利要求15所述的方法，其中，估计所述最小理想亮度和所述最大理想亮度包括假设所述光源调制层和所述显示调制层具有相同的分辨率。
17.根据权利要求15所述的方法，其中，估计所述最小理想亮度和所述最大理想亮度包括假设所述光源调制层的每个元件独立于光源调制层的其它元件。
18.根据权利要求15-17中任何一个所述的方法，包括对所述显示调制器控制值和所述期望的总响应曲线中的至少一个进行有效性检查，以保证使用所述最小理想亮度和所述最大理想亮度不会导致任何虚假结果。
19.根据权利要求15-18中任何一个所述的方法，除了使用所述最小理想亮度和所述最大理想亮度来代替所述最小希望亮度和所述最大希望亮度之外，具有与权利要求2-14 相似的特征。
20.一种在具有光源调制层和显示调制层的显示器上显示图像的方法，该方法包括 接收图像数据帧；将图像数据帧划分成区域，对于每个区域至少部分地基于与所述区域对应的图像数据来确定用于所述光源调制层的光源调制器控制值；至少部分地基于所述光源调制器控制值来估计在所述显示调制层接收的最小希望亮度和最大希望亮度；提取感知曲线的一部分，所述感知曲线的提取部分具有在所述最小希望亮度和所述最大希望亮度之间延展的亮度值；以及将所述感知曲线的提取部分映射到用于所述显示调制层的显示调制器控制值的可用范围，以确定期望的总响应曲线；在区域的边界处调整所述期望的总响应曲线，以减小相邻区域之间的不连续性；至少部分地基于所述图像数据和所述期望的总响应曲线来确定用于所述显示调制层的显示调制器控制值；以及通过将所述显示调制器控制值输出到所述显示调制层并将所述光源调制器控制值输出到所述光源调制层来显示图像。
21.根据权利要求20所述的方法，除了在图像数据帧的每个区域上执行估计所述最小希望亮度和所述最大希望亮度、提取所述感知曲线的部分以及映射所述感知曲线的提取部分之外，具有与权利要求2-13相似的特征。
22.—种在具有光源调制层和显示调制层的显示器上显示图像的方法，该方法包括 接收图像数据帧；将图像数据帧划分成区域，对于每个区域至少部分地基于与所述区域对应的图像数据来确定用于所述光源调制层的光源调制器控制值；至少部分地基于与所述区域对应的图像数据来估计在所述显示调制层接收的最小理想亮度和最大理想亮度；提取感知曲线的一部分，所述感知曲线的提取部分具有在所述最小理想亮度和所述最大理想亮度之间延展的亮度值；以及将所述感知曲线的提取部分映射到用于所述显示调制层的显示调制器控制值的可用范围，以确定希望的总响应曲线；在区域的边界处调整所述期望的总响应曲线，以减小相邻区域之间的不连续性； 至少部分地基于所述图像数据和所述期望的总响应曲线来确定用于所述显示调制层的显示调制器控制值；以及通过将所述显示调制器控制值输出到所述显示调制层并将所述光源调制器控制值输出到所述光源调制层来显示图像。
23.根据权利要求22所述的方法，除了在图像数据帧的每个区域上执行估计所述最小希望亮度和所述最大希望亮度、提取所述感知曲线的部分以及映射所述感知曲线的提取部分以及使用所述最小理想亮度和所述最大理想亮度来代替所述最小希望亮度和所述最大希望亮度之外，具有与权利要求2-13和16-18相似的特征。
24.一种在具有亮度输入和显示调制层的显示器上显示图像的方法，该方法包括 接收图像数据帧；至少部分地基于所述亮度输入来估计在所述显示调制层接收的最小希望亮度和最大希望亮度；提取感知曲线的一部分，所述感知曲线的提取部分具有在所述最小希望亮度和所述最大希望亮度之间延展的亮度值；将所述感知曲线的提取部分映射到用于所述显示调制层的显示调制器控制值的可用范围，以确定期望的总响应曲线；至少部分地基于所述图像数据和所述期望的总响应曲线来确定用于所述显示调制层的显示调制器控制值；以及通过将所述显示调制器控制值输出到所述显示调制层并将光源调制器控制值输出到光源调制层来显示图像。
25. —种双调制器显示系统，包括 具有光源调制层和显示调制层的显示器； 用于存储感知曲线的数据的数据存储部；处理器，被连接成从图像数据源接收图像数据、从所述数据存储部接收数据并将驱动控制值传送给所述显示器，该处理器被配置成执行权利要求1-23的方法中的任何一个。25.一种计算机可读介质，其包括指令，该指令在通过适当配置的处理器处理时使得所述处理器执行权利要求I-M的方法中的任何一个。
26.包括这里描述的任意特征、特征组合或特征的子组合的装备。
27.包括这里描述的任意特征、特征组合或特征的子组合的方法。
全文摘要
针对具有光源调制层和显示调制层的显示器，提供了图像处理的系统和方法。对于每个图像数据帧，根据由光源调制层发射的光、基于显示调制层上的希望的亮度分布来提取感知曲线如DICOM曲线的一部分。感知曲线的这一部分可以用于确定将显示调制层输出控制值映射到相应的输出亮度值的希望的总响应曲线。希望的总响应曲线和显示调制器专用的响应曲线可以应用于图像数据，用以产生用于驱动显示调制层的控制值。
文档编号G09G3/34GK102165513SQ200980138170
公开日2011年8月24日 申请日期2009年9月17日 优先权日2008年9月30日
发明者刘易斯·约翰逊, 达米尔·瓦勒纳 申请人:杜比实验室特许公司
技术领域：
本发明涉及用于处理和/或显示图像的系统和方法。本发明的具体实施例可以用来处理用于高亮度和/或高动态范围(HDR)的显示器的图像数据。
背景技术：
显示器的电压响应通常是非线性的。对于传统显示器，显示器的输出亮度Y可以通过以下幂函数或伽玛曲线与输入值(例如，所施加的信号或控制值如输入电压V)相关Y oc vY(1)其中，伽玛值Y (幂函数的指数的数值)通常在1.8到3. 5的范围内，Y是投影在给定方向中的每单位区域的发光强度，通常以cd/m2或尼特来表示。传统上，Y可以相对于通常与显示器的最大亮度对应的基准白色的亮度而被归一化为1(例如，对于具有亮度为 200cd/m2的基准白色的显示器，Y = 1是指亮度值为200cd/m2)。类似地，输入值可以相对于最大输入值而被归一化为1。归一化的亮度值和归一化的输入值分别可以被称为相对亮度值和相对输入值。国际电信联盟(ITU)的Rec. 709标准使用的伽玛值为2. 2。为了有助于补偿伽玛值为2. 2的显示器的希望电压响应，可以利用伽玛值的倒数对图像数据进行伽玛编码或伽玛校正(即，利用大约为1/2. 2 = 0. 45的伽玛值来编码)。图1示出了伽玛值为2. 2的伽玛曲线8 (代表显示器的电压响应)和伽玛编码值为1/2. 2的伽玛编码曲线9。如图1 中所说明的实例所示，如果希望显示Y = 0.218的图像元素(例如，像素)，则利用伽玛编码曲线9对原始输入值V = O. 218进行伽玛校正以提供如箭头6所示的伽玛校正亮度值
γ =v =(0.218)^ =0j。当希望显示图像元素时，利用相应的伽玛校正输入值ν =
0. 5对显示器进行驱动。由于非线性的显示器响应曲线8，输入值V = 0. 5提供了由箭头7 所示的希望的输出亮度Vy = (0.5)2 2 = 0.218。对于亮度级通常可达大约lOOcd/m2到200cd/m2的传统显示器，可以使用(例如方程式(1)的形式的)单个幂律伽玛曲线来近似显示器亮度范围内的显示器的非线性响应。 在这些亮度级处，人类视觉系统(HVS)以正好近似为显示器的伽玛曲线的倒数的非线性方式感知光。高亮度和/或高动态翻译(HDR)显示器已经发展为具有大约4000cd/m2或更高值的峰值亮度。在超过200cd/m2并接近4000cd/m2或更高的那些亮度级处，简单的幂律伽玛编码曲线变得越来越不适于亮度的HVS感知，这是因为HVS在较高亮度级感知亮度变化和在较低亮度级感知亮度变化是不同的。高亮度和/或HDR显示器可以合并空间编码的光源，如在PCT专利申请公布 No. W002/069030, W003/077013、W02006/010244 和 W02008/092276 中描述的那些光源。这
种显示器包括光源调制层(例如，空间调制的背光)和显示调制层。光源调制层可以被驱动，以产生图像的相对较低分辨率表现，该图像随后被提供给显示调制层。通过显示调制层对低分辨率表现进一步调制，以便提供由观察者观看的高分辨率图像。光源调制层例如可以包括有源调制的光源如发光二极管(LED)矩阵。可以被设置和/或排列成接收来自光源调制层的光的显示调制层可以包括液晶显示器(LCD)。因此，显示调制层上的像素的亮度受到光源调制层上的可变局部亮度的影响。由于光源调制层可以产生图像的相对较低分辨率表现，所以当驱动值被施加到光源调制层时要被提供到显示调制层上的希望的亮度图案可能在显示调制层的分辨率上相对缓慢地变化。因此，可以在低分辨率处计算希望的亮度图案，然后将希望的亮度图案缩放到需要的高分辨率(例如，如显示调制层的分辨率)而不会引入显著的伪像。使用具有不同分辨率的双调制层可以抑制双调制器显示器中图像数据和输出亮度值之间的简单一对一映射。通常希望一种用于处理高亮度和/或HDR显示器的图像数据的系统和方法。
在示出本发明的非限定性实施例的附图中图1是现有技术的伽玛曲线和伽玛编码曲线的图；图2A是由网站medical, nema. org上公布的“医学数字成像与通信标准”定义的灰度标准显示曲线的图，其中亮度Y(Y轴上)以对数刻度来显示；图2Β是图2的曲线的一部分；图2C是针对双调制显示器的显示调制层的将输入控制值映射到输出控制值的净转移函数的图；图3是根据本发明的一个示例性实施例的方法的流程图；图4根据本发明的另一个示例性实施例的方法的流程图；图5根据本发明的又一个示例性实施例的方法的流程图；图6示意性地示出了可以用来实现图3、4和5的方法的系统。
具体实施例方式在以下描述中，对特定细节进行阐述，以便向本领域技术人员提供更加彻底的理解。然而，可能未示出或详细描述已知元件以避免不必要地混淆本公开。因此，描述和附图被认为是说明性的而不是限制性的。如以上讨论的那样，传统的显示器展示了非线性转移函数，其可以通过将输入值 (例如施加的信号或控制值如电压)与输出亮度值关联的幂函数(例如，伽马曲线)来建模。伽玛编码曲线可以用于对图像数据进行编码，以补偿显示器的非线性响应。在通过RGB 三元组表示像素的系统中，可以对每个颜色通道(即，R、G和B值中的每个)进行独立的伽玛编码(即，幂律可以用来将输入值映射到输出R、G和B值)。此外，HVS以非线性方式感知光，该非线性方式在传统显示器的亮度级上近似为幂函数的倒数。但是，对于高动态范围的显示器(HDR显示器)或高亮度的显示器，用于HVS的亮度感知的幂函数近似失效。在本发明的具体实施例中，可替选的编码曲线或函数可以代替传统的幂律伽玛编码曲线用于对图像数据进行编码。该编码曲线可以通过提取一部分感知曲线来确定。所提取的这部分感知曲线可以包括感知曲线的亮度范围的子集。这一部分感知曲线可以包括与具体帧的图像数据的亮度数据的范围对应或者与图像数据的帧的具体子集的亮度数据的范围对应的亮度范围的子集。这一部分感知曲线可以被调整为容纳显示器专用的校准信肩、ο如这里所使用的，对图像数据进行编码是指将一个或多个函数(例如，映射)应用于图像数据的过程。编码图像数据进而可以用于提供用来驱动显示器的合适的控制值。 在具体实施例中，这些控制值可以包括调制层控制值，其被输出到双调制显示器的显示调制层。在具体实施例中，用于产生编码曲线的感知曲线是医学数字成像与通信(DICOM)PS 3. 14灰度标准显示曲线(图2)。DICOM PS 3. 14灰度标准显示曲线(这里称为DICOM曲线)在由国家电气制造商协会公布的DICOM标准的2006年12月的出版物中的第14部分中描述，其全部内容通过引用合并于此。DICOM曲线由DICOM标准委员会基于以提供如何在不同显示设备上出现图像的更好的视觉一致性为目的的HVS的经验性研究而开发的。感知曲线如DICOM曲线可以用于输入值(例如，显示器的施加信号或控制值，如输入电压、数字驱动电平等)和输出亮度值或输出颜色通道值之间的映射。在DICOM感知曲线的特定情况下，DICOM曲线将最小可察觉差异(JND)值映射到输出亮度值。单个JND值的增量代表输入值(电压或数字驱动电平)的增量，对此，在普通人观察者恰好能够感知的给定观看条件下存在给定显示器的亮度的相应变化。DICOM曲线是感知曲线的实例，其在分配输入值(例如，JND值和/或显示输入值)到输出亮度值之间的关系中考虑光的HVS感知。在其它实施例中，可以使用其它类型的曲线(其可以是也可以不是感知曲线)代替DICOM曲线来产生编码曲线。如图2所示，针对其中存在从0到1023(即W，21(l_l])范围中的相应JND值的从
0.05cd/m2到4000cd/m2的亮度范围来定义DICOM曲线。便利地，一些高亮度和/或HDR显示器还具有在4000cd/m2附近的最大亮度值。对于一些显示器，显示器的峰值亮度可以是可由用户(或可以按其它方式)调整到不同于4000cd/m2的亮度值。DICOM曲线可以通过
以下分析函数来表示
,L( n .. 。+cLrij)+e{Lrji)f +gjLrjjyf +m(Lnjj))'
Ui~\+b Lfi j) ^d(Lfij))2 +/(LJij)Y +himnY +k (Lfij))5其中Ln是自然对数，j代表JND的亮度级Lj的指数(1-1023)，系数通过以下来给定a = -1. 3011877，b = -2. 5840191E-2，c = 8. 024636E-2，d = -1. 0320229E-1, e = 1. 3646699E-1, f = 2. 8745620E-2，g = -2. 5468404E-2，h = -3. 1978977E-3，k =
1.2992634E-4 以及 m = 1. 3635334E-3。在低亮度级，显示器的幂函数响应(通过方程式(1)来表示)可以与DICOM曲线相似。但是，在高亮度级，幂函数与DICOM曲线和/或HVS响应不同。例如，如果在DICOM 曲线的亮度范围上扩展幂函数(即，通过从Y = 0的范围到Y = 4000cd/m2的范围绘制幂函数)，则幂函数在高亮度级处偏离DICOM曲线。当前的图像处理惯例通常使用8个比特来表示图像亮度(或图像数据颜色通道)。 这种惯例不能提供输入值到DICOM曲线的IOM个可用亮度值的一对一映射。需要10比特的亮度数据来表示DICOM曲线的全部可用的输出亮度值(即，提供输入值与DICOM亮度值之间的一对一映射)。另外，DICOM曲线采用显示器上的单个峰值亮度。但是，对于双调制显示器，光源调制层向显示调制层提供空间调制光，使得峰值亮度在显示调制层上局部地变化。此外，在一些双调制显示器中，光源调制层具有与显示调制层不同的分辨率，这抑制了图像数据和输出亮度值之间的一对一映射。根据本发明的具体实施例，基于希望的帧的亮度范围为每一帧图像数据提取感知曲线的一部分，如DICOM曲线。这部分感知曲线可以用于将帧的亮度范围上的亮度值(或其它像素值(例如，R、G和B像素值)映射到用于显示器的可用控制值。以这种方式确定的映射可以表示希望的总响应曲线。对于具体显示器，可以获得或确定显示器专用的校准数据，以便将显示调制器驱动值与显示调制器输出相关联。可以针对每个颜色通道来获得或确定显示器专用的校准数据。编码曲线或编码映射函数可以通过调整希望的总响应曲线以合并已知的显示器专用的校准数据来获得。即，可以通过预调整希望的总响应曲线从该希望的总响应曲线获得编码曲线，使得编码曲线应用于图像数据然后所获得的编码图像数据应用于显示调制层将产生希望的总响应。以该方式获得的编码曲线可以用于对图像数据进行编码(即，确定用于驱动显示器的控制值)。编码曲线可以应用于单独的颜色通道。在一些实施例中，其中图像数据被显示在双调制显示器上，图像数据的编码确定可以用于驱动显示调制层的像素的显示调制器控制值。在一些实施例中，编码过程可以应用于图像帧的分段。在一些实施例中，可以通过将感知曲线调整为提供显示器专用的响应来对感知曲线进行预校准。在该方式中，可以直接从预校准的感知曲线的一部分获得编码曲线。图6示出了根据本发明的具体实施例的双调制显示系统20。显示系统20可以操作为显示图像数据23。显示系统20可以被配置成执行本发明的方法。显示系统20包括显示器21，如高亮度和/或HDR显示器。在所示实施例中，显示器21包括双调制显示器，其具有光源调制层21A和显示调制层21B。系统20还包括处理器22，其可以包括中央处理单元(CPU)、一个或多个为处理器、 一个或多个FPGA或包括能够起到这里所描述的功能的硬件和/或软件的任何其它合适的处理单元。处理器22处理图像数据23，以产生光源调制器控制值25A用于驱动光源调制层 21A，并显示调制器控制值25B用于驱动显示调制层21B。在具体实施例中，光源调制层21A 包括LED矩阵。在这些实施例中，提供给光源调制层21A的控制值25A可以包括数字LED 驱动值，其可以被转换成模拟LED驱动值(即电压)。在一些实施例中，显示调制层21B包括IXD像素阵列。在这些实施例中，提供给显示调制层21B的控制值25B可以包括相应的 LCD像素驱动值，其可以被转换成模拟LCD驱动值。在一些实施例中，已经根据传统的伽玛编码机制对图像数据23进行了编码。在这些实施例中，系统20可以包括可选图像数据解码器M，用于在处理器22进行处理之前(或作为处理器22进行处理的一部分)对图像数据23进行解码或以其它方式线性化。虽然为了清楚起见以独立部件的形式示出图像数据解码器对，但是这不是必须的。在其它实施例中，图像数据解码器M可以通过处理器22来实现，该处理器22可以执行存储在程序存储器26或其它合适的存储位置的合适的软件指令。处理器22可以通过执行由软件功能27提供的软件指令来实现根据本发明的实施例的方法。在所示实施例中，软件功能27被存储在程序存储器沈中，但是这不是必须的， 并且软件功能27可以存储在处理器22中或存储器22可访问的其它合适的存储位置。在一些实施例中，软件功能27的各部分可替选地可以通过适当配置的硬件来实现。处理器22 还可以存取感知曲线数据四，其中感知曲线数据四如在所说明的实施例中所示的那样可以被存储在合适的数据存储中。感知曲线数据四可以包括与用于将输入值映射到输出亮度值的DICOM曲线或其它感知曲线对应的信息。在所示实施例中，处理器22还可以存取可以被存储在合适的数据存储中的显示器专用的校准数据33。校准数据33可以将显示器21 的输出与显示调制层21B的驱动值25B相关联。在所示实施例中并且如以下更加详细地解释的那样，处理器22产生希望的总响应曲线观和编码曲线31，其可以被存储在合适的数据存储中。感知曲线数据四、显示器专用的校准数据33、希望的总响应曲线数据观和/或编码曲线数据31可以以查询表(LUT)的形式提供。图3示出了根据本发明的具体实施例的用于对图像数据23进行编码和/或显示的方法100。方法100可以通过用于在双调制显示器21 (图6)上进行显示的显示系统20 来实现。方法100可以通过其它合适的图像处理硬件和/或软件来实现。所示的方法100 代表用于处理和显示一帧图像数据23的方法。可以重复方法100，以便处理和/或显示多帧图像数据^3。方法100开始于接收一帧图像数据23。图像数据23例如可以包括非线性编码数据23A(例如，传统的伽玛编码数据23A)或线性编码数据23B。如果图像数据23在其被接收时是伽玛编码或非线性编码图像数据23A，则可选地可以在流程框102对非线性编码图像数据23A进行线性化，以提供线性化的图像数据23B。在流程框104接收图像数据23 (或者是非线性编码图像数据23A或者是线性化的图像数据23B)。流程框104包括使用图像数据23来确定用于光源调制层21A的合适的控制值25A(例如，LED驱动值)。流程框104的用于获得光源调制层的控制值25A的过程可以使用对于本领域技术人员来说已知的合适的技术。该流程框104的技术可以包括最近邻插值法等，并可以基于如图像数据23的强度或颜色等因素。流程框104可以通过实现合适的软件功能27A(图6)的处理器22来执行。然后方法100进行到流程框106，该流程框106包括确定关于经由光源调制层21A 在显示调制层21B接收的希望的亮度分布的信息。流程框106的确定可以至少部分地基于流程框104的光源调制层的控制值25A。通过非限定性实例，用于确定在显示调制层21B接收的希望的亮度的方法在PCT公布No. W003/077013、W02006/010244和W02008/092276中描述，其通过引用合并于此。流程框106可以通过实现合适的软件功能27B(图6)的处理器22来执行。在具体实施例中，流程框106包括使用光源调制层控制值25A来针对具体帧的图像数据23或者一帧图像数据23的具体分段，估计希望的亮度分布的最大亮度值52 (Ymax) 和最小亮度值53 αΜΙΝ)。可以在流程框108中使用最小和最大亮度YMIN、Ymax来从感知曲线 29 (例如，DICOM曲线)中提取相应的部分12。用于从感知曲线四提取部分12的流程框 108过程的具体实例在图2和2Α中示出。在所示实例中，图像数据23被确定(在流程框106中)为具有亮度范围10，该亮度范围10具有最大亮度值52 (Ymax ^ 100cd/m2)和最小亮度值53aMIN ^ 10cd/m2)。因此，在流程框108中提取的感知曲线四的部分12是感知曲线 29中Ymin ^ 10cd/m2和Ymax ^ 100cd/m2之间的部分，如图2A所示。与感知曲线四上亮度范围10中的部分12对应的映射值可以使用分析函数(例如方程式⑵的DICOM分析函数)来计算，或者它们可以从处理器22可访问的合适的LUT 中提取。流程框108可以通过执行合适的软件功能27C(图6)的处理器22来执行。为了描述方法100的剩余部分，假设图2、2A的感知曲线四的部分12在流程框108中提取，但是并不对该方法的适用性构成限制。参考图2，感知曲线四的部分12具有亮度范围10和相关的控制值范围14(例如，在DICOM曲线四的情况下，JND值的范围14)。流程框110包括在与显示调制层21B对应的显示调制器控制值25B的可用范围内对控制值的该范围14进行缩放、偏移和/或映射。例如，如图2A所示，如果用于具体显示调制层21B的显示调制器控制值25B通过8比特来表示(即，
)，则流程框110可以包括将感知曲线四的部分12的控制值范围 14映射到范围W，255]，并在亮度范围10 (例如，在所示实例的情况下，在Ymin lOcd/m2和 Ymax lOOcd/m2之间)为范围W，255]中的每个可用的显示调制器控制值25B分配对应的亮度值Y。流程框110的映射可以涉及合适的插值技术或类似的数据技术，用以扩展感知曲线四的部分12。流程框110的映射可以包括合适的下采样技术或类似的数学技术，用以在需要时压缩感知曲线四的部分12。优选地，流程框110的映射保持感知曲线四的部分12 的形状。流程框110可以通过实现合适的软件功能27D(图6)的处理器22来执行。流程框110的映射的输出(图2A中示出其具体实例)是代表以下(i)和(ii)之间的关系的曲线(i)具体显示调制层21B的可用显示调制器控制值25B(由所示曲线的横坐标(χ轴)上的变量Lin来表示)；以及(ii)在流程框106的最小和最大亮度值αΜΙΝ， Ymax)之间的亮度范围10中的希望的亮度值(由所示曲线的纵坐标(y轴)上的变量Y来表示)。这里，流程框110的曲线可以称为用于图像数据23的帧的希望的总响应曲线观。流程框110映射的值可以从LUT获取，或者使用代表感知曲线四的分析函数来计算。作为流程框110的部分，可以对希望的总响应曲线观进行归一化，使得其χ轴的值和/或其y轴的值的范围是W，1]。归一化可以包括缩放，且在一些情况下，包括偏移。例如，如果希望的总响应曲线28的χ轴上的可用显示调制器控制值25B的范围是W，255]，则希望的总响应曲线28的显示调制器控制值25B可以除以255 (即缩放)来归一化。从流程框110输出的希望的总响应曲线28表示显示调制器控制值25B(Lin)和输出亮度值(Y)之间的希望的映射。但是，在其上执行了方法100的每个单独的显示调制层 21B具有其自己(通常为非线性)的响应，该响应将其自己的特定输出与输入的显示调制器控制值25B(Lin)相关联。具体的显示调制层21B的响应可以由显示器专用的校准数据33 来表示。通过非限定性实施例，显示器专用的校准数据33可以包括LUT，其针对具体的显示调制层21B将显示调制器控制值25B (Lin)与相应的输出值或相应的部分输出值相关联。构成显示器专用的校准数据33的部分输出值例如可以包括希望的响应或线性响应中的一部分。在具体实施例中，显示器专用的校准数据33可以被提供给每个颜色通道或每个三色通道。在其它实施例中，显示器专用的校准数据33可以被提供作为颜色通道或三色通道的一些组合。
在一个具体的非限定性实例中，显示器专用的校准数据33可以如此获得将已知驱动信号应用于光源调制层25A，然后在确定显示器21的相应输出时将显示调制器控制值 25B改变到显示调制层21B。本领域技术人员应该理解，存在相当多种能够被用于获得关于显示调制层21B的校准信息33的技术。流程框112包括修改希望的总响应曲线28，以便于适应显示器专有的变化(如通过显示器专用的校准数据33来表示)并由此产生编码曲线31。编码曲线31的实例在图 2B中示出。在所示实施例中，编码曲线31将(χ轴上的)图像数据值与(y轴上的)编码图像值相关联。(编码曲线31的y轴上的)编码图像值可以包括(或可以用于产生)显示调制器控制值25B。在图2B所示的实施例中，编码曲线31被归一化，使得其在χ轴和y轴上的范围均是
0在所示实施例中，流程框112包括通过将显示器专用的校准数据33的效应合并到希望的总响应曲线观中来获得编码曲线31。更具体地说，流程框112可以包括产生编码曲线31使得编码曲线31应用于图像数据23，然后所获得的编码图像数据(即，显示调制器控制值25B)应用于具体显示调制层21B将产生希望的输出亮度(可通过希望的总响应曲线 28预测)。在一些实施例中，显示器专用的校准数据33被获得或者可用于每个颜色通道或每个三色通道，在这种情况下，流程框112可以包括获得用于每个颜色通道或每个三色通道的编码曲线31。流程框112可以通过实现合适的软件功能27E(图6)的处理器22来执行。在双调制器显示器如双调制器显示系统20(图6)的显示器21中，在显示调制层 21B接收的光由于光源调制层21A而空间变化。同样地，在流程框117中可以对图像数据 23进行调整以适应该空间变化的光图案。流程框117的处理可以包括对在显示调制层21B 中的每个像素或像素组接收的光进行仿真或建模，并对与每个像素或像素组对应的图像数据23对象缩放(或者调整)以考虑希望接收的光的量。用于实现流程框117的处理(对图像数据23进行调整以适应通过光源调制层21A引入的光的空间变化)的各种技术在PCT 公布No. W003/077013.W02006/010244和W02008/092276中描述。在所示实施例中，流程框 117的处理对线性化图像数据2 执行，并且结果是调整后的线性化图像数据23C。流程框114包括将编码曲线31应用于图像数据23。在所示实施例中，编码曲线 31被应用于从流程框117输出的调整后的线性化图像数据23C。如以上讨论的，将编码曲线31应用于图像数据23C可以包括对图像数据23C进行映射成提供可以包括(或者可以用于产生)显示调制器控制值25B的编码图像数据。显示调制器控制值25B可以被输出到显示调制层21B。在一些实施例中，存在用于每个颜色通道或每个三色通道的编码曲线31，并且流程框114可以包括将编码曲线31应用于调整后的线性化图像数据23C的每个颜色通道或三色通道。在其它实施例中，单个编码曲线31可以被应用到全部颜色或三色通道中。 在一些实施例中，流程框114包括将编码曲线31应用于亮度值，然后如果需要，将调整后的亮度值转换回颜色通道值。流程框114的处理结果是一组显示调制器控制值(编码图像数据)25B，其可以被用于驱动显示调制层21B的像素。流程框114可以由实现合适的软件功能27F(图6)的处理器22来执行。于是，在显示器21 (图6)上显示一帧图像数据23可以包括将光源调制器值25A 输出到光源调制层21A并将显示调制器控制值25B输出到显示调制层21B。
图4示出了根据本发明的另一个实施例的用于对图像数据23进行编码和/或显示的方法200。方法200可以通过用于在双调制显示器21 (图6)上显示的显示系统20来实现。方法200的示图代表用于处理和显示一帧图像数据23的方法。可以重复方法200， 用于处理和/或显示多帧图像数据23。方法200在某些方面与方法100类似。方法200中与方法100的相同或相似的方面被归为相似的附图标记，除了在方法200中附图标记被赋予前缀“2”来代替“1”之外。方法200开始于接收一帧图像数据23。图像数据23例如可以包括非线性编码图像数据23A(例如，传统的伽玛编码图像数据)或线性编码图像数据23B。按照需要的程度， 非线性编码图像数据23A可以在流程框202中被线性化，以提供线性化的图像数据23B。在流程框204，用于光源调制层21A的合适的控制值25A(例如，LED驱动值)可以从伽玛编码数据23A或线性化数据2 产生。流程框205包括使用非线性编码图像数据23A或线性化图像数据2 来确定要提供给显示调制层21B的理想的亮度分布。流程框205的理想的亮度分布可以包括忽略光源调制层21A的限制。通过非限定性实例，流程框205可以包括假设光源调制层21A的分辨率与显示调制层21B的分辨率相同，即，好像显示调制层21B 的每个像素具有其自己独立的光源。流程框205的结果是理想化的最小和最大亮度52A、 53A (IDEAL Ymin，IDEAL Ymax)。流程框206包括根据由光源调制层21A发射的光来确定显示调制层21B上希望的亮度分布(考虑光源调制层21A的内在限制)。流程框206可以与流程框106基本相似，并产生希望的最小和最大亮度52、53 (Ymin，Ymax)。流程框206的确定可以至少部分地基于流程框204的光源调制层控制值25A。流程框208包括基于流程框205的理想化的最小和最大亮度值52A、53A(IDEAL Ymin, IDEAL Ymax)来提取感知曲线29 (例如，DICOM曲线)的相应部分12。流程框208可以与流程框上述流程框108基本相似，除了使用理想化的最小和最大亮度值52A、53A(IDEAL Ymin, IDEALYmax)来代替希望的最小和最大亮度值52、53 (Ymin，Ymax)之外。在流程框210中，所提取的感知曲线四的部分12被映射到与显示调制层21B对应的显示调制器控制值25B的可用范围。流程框210可以与上述流程框110类似。在流程框210确定的映射表示用于图像数据23的帧的希望的总响应曲线观。流程框209包括对流程框210的希望的总响应曲线28进行可选调整，以提供调整后的希望的总响应曲线观々。流程框209中对希望的总响应曲线观的调整可以包括去除可能由于在流程框208中使用理想化的亮度值52A、53A(IDEAL Ymin，IDEAL Ymax)来提取感知曲线四的部分12而产生的虚假结果。流程框209中对流程框210的映射的调整过程可以基于在流程框205中获得的理想化的最小和最大亮度值52A、53A(IDEAL Ymin，IDEAL Ymax)以及在流程框206中获得的希望的最小和最大亮度值52、53(Ymin，Ymax)之间的差。例如，如果这些差超过阈值，则流程框210的希望的总响应曲线观的值可以被调整以减小这些差(例如通过在理想的或希望的亮度分布的亮度范围中扩展或压缩希望的总响应曲线28)。如果这些差未超过阈值，则流程框210的希望的总响应曲线观可以无需调整。一旦在流程框210中获得希望的总响应曲线28，并且可选地，希望的总响应曲线 28经历了流程框209中的调整，则方法200进行到流程框212和214，其包括基于希望的总响应曲线观、28々和显示器专用的校准信息33来产生编码曲线31，然后将编码曲线31应用于线性化的调整后的图像数据23C，以产生编码图像数据(即，显示调制器驱动值25B)。流程框212、214、217可以与上述流程框112、114、117基本类似。在流程框204获得的光源调制器驱动值25A以及在流程框214获得的显示调制器控制值25B可以被提供给光源调制器 21A和显示调制器21B，用以在显示器21上显示图像。图5示出了根据本发明的又一个实施例的用于对图像数据23进行编码和/或显示的方法300。方法300可以通过用于在双调制显示器21 (图6)上显示的显示系统20来实现。所示的方法300表示用于对一帧图像数据23进行处理和显示的方法。可以重复方法300，用于处理和显示多帧图像数据23。方法300在某些方面与方法100类似。方法300 中与方法100的方面相同或相似的方面被归为相似的附图标记，除了在方法300中附图标记被赋予前缀“ 3，，来代替“ 1，，之外。方法300开始于接收一帧图像数据23，该图像数据23可以在流程框302中被线性化(如果需要)以提供线性化的图像数据23B。流程框304包括确定用于该帧的图像数据 23的光源调制器控制值25A。流程框304可以与上述流程框104基本相似。方法300然后进行到流程框303，其包括将图像数据23的帧划分成多个区域50，每个区域50包括针对该具体帧的图像数据23的子集。流程框303的区域50可以包括一帧图像数据23的任何合适的子集。例如，对于每一帧总共MXN个区域50来说，图像帧可以被划分成M行，每一行具有N个区域。在流程框307，针对每个区域50确定映射。对于每个区域50，流程框307的映射可以与图2A详细，并可以将显示调制层控制值25B (由图2A的χ轴上的Lin来表示)与输出亮度值(如通过图2Α的y轴上的Y来表示)关联。在一些实施例中，对于每个区域50， 流程框307可以包括与方法100的流程框106到110的步骤(图3)或者与方法200的流程框205到210的步骤(图4)相似的实现步骤。在针对每个区域50确定了流程框307的映射之后，在流程框311中可以执行区域50之间的平滑操作(例如，双线性插值、滤波或其它合适的平滑技术)，以确定平滑后的希望的总响应曲线^B。平滑后的希望的总响应曲线 28B可以包括用于图像数据23的整个帧的希望的响应曲线，或者可以包括多个帧专用的希望的响应曲线。流程框311的平滑操作可以用于消除流程框307中的区域50之间的映射中的不连续。一旦在流程框311中获得平滑后的希望的总响应曲线^B，方法300进行到通过合并显示器专用的校准信息33 (流程框312)来获得编码曲线31以及将编码曲线31应用于线性化的调整后的图像数据23C，以获得编码图像数据/显示调制器控制值25B(流程框314)。流程框312、314和317可以与上述流程框112、114和117基本相似。在流程框 304获得的光源调制器驱动值25A和在流程框314获得的显示调制器控制值25B可以被提供给光源调制器21A和显示调制器21B，以在显示器21上显示图像。如图6所示，显示系统20可以被配置成执行根据本发明的方法。在所示实施例中， 处理器22调用软件功能27，如功能27A，用于获取光源调制层控制值(例如LED驱动值)； 功能27B，用于估计显示调制层21B上的亮度；功能27C，用于提取感知曲线四的部分12 ； 功能27D，用于确定所提取的曲线部分12和显示调制器控制值25B之间的映射；功能27E， 用于通过合并校准信息33来获得编码曲线31 ；以及功能27F，用于使用编码曲线31对图像数据23进行编码，以确定用于驱动显示调制层21B的像素的控制值25B。在一些实施例中，功能27可以被实现为处理器22可访问的程序存储器沈中包含的软件。处理器22可以通过执行由包含在程序存储器沈中的软件提供的软件指令来实现图3、4或5的方法。在其它实施例中，一个或多个功能27或者功能27的部分可以通过适当配置的数据处理硬件来执行。本发明的各方面还可以以程序产品的形式来提供。程序产品可以包括承载一系列计算机可读信息的任何介质，计算机可读信息包括指令，当通过数据处理器执行时，这些指令使得数据处理器执行本发明的方法。根据本发明的程序产品可以是相当多种形式中的任何一种。程序产品例如可以包括物理介质，如磁数据存储介质(包括软盘、硬盘驱动器)、光数据存储介质(包括CD ROM、DVD)、电子数据存储介质(包括ROM、闪速RAM)等。可选地， 程序产品上的计算机可读信息可以被压缩或加密。在上文中引用部件(例如，设备、处理器、LED、IXD、光源调制层、显示调制层、显示器等)的地方，除非另外说明，对该部件的引用(包括对“装置”的引用)应该被解释成包括执行所述部件的功能(即，功能等价物)的作为该部件的等价物的任何部件，包括与所公开的执行本发明的示例性实施例中描述的功能的结构不同结构的部件。根据前述公开，对于本领域技术人员来说明显的是，在实践本发明的过程中可以进行许多改变和修改而不脱离本发明的精神或范围，例如这里描述的方法可以应用于(例如，如从静态照相机获取的)静止图像数据。以上提供了实例，其中显示调制器控制值25B被描述成具有由8个比特提供的范围W，255]。这不是必然的。一般而言，显示调制器控制值25B可以包括任何合适的比特深度。可以使用其它合适的曲线(可以是感知曲线或非感知曲线)来代替DICOM曲线， 用以将显示调制层控制值映射到输出亮度值。在上述实施例中，独立的过程将希望的总响应曲线观调整为合并显示器专用的校准信息33，由此获得编码曲线31 (例如参见上述流程框112)。虽然对于说明的目的来说是有用的，但不是必然的。在一些实施例中，显示器专用的校准信息33可以被预先合并到感知曲线四中，使得被提取(例如在流程框108中)并映射(例如在流程框110中)到显示调制层控制值25B的可用范围的感知曲线四的部分12是显示器专用的总的希望的响应曲线。通过非限定性实例，可以提供若干预校准的感知曲线用于不同的亮度范围，并且可以基于希望的亮度值(例如，YMX' Ymin等)来选择具体的一个预校准的感知曲线。在上述实施例中，感知曲线中被提取的曲线部分是基于对最小和最大的希望或理想的亮度值(例如YMX，YMIN)的估计，并根据光源调制器控制值25A来确定。在一些实施例中，最小亮度值(Ymin)的估计可以是固定的(例如，对希望或理想的最小亮度(Ymin)的估计值可以被设置成Ymin = 0或Ymin等于一些其它合适的常数)。在上述实施例中，关于双调制器显示器对用于显示图像的方法进行了描述，其具体实例在图6中示出。在其它实施例中，本发明可以在仅具有一个调制器但具有所谓的“亮度”控制(例如，用户可配置的亮度输入)的显示器上实践。在这些实施例中，提取感知曲线上相应的部分可以基于与亮度控制的具体设置对应的估计的最小和最大希望的亮度值 (例如YMX，YMIN)。按照与上述实施例相似的方式，所提取的感知曲线的部分然后可以被映射到显示调制器控制值的可用范围，并被校准以产生编码曲线并应用于图像数据以产生显示调制器控制值。根据前述所有内容，本发明具有许多方面。这些方面包括以下而不构成限制。
权利要求
1.一种在具有光源调制层和显示调制层的显示器上显示图像的方法，该方法包括接收图像数据帧；至少部分地基于图像数据来确定用于所述光源调制层的光源调制器控制值；至少部分地基于所述光源调制器控制值来估计在所述显示调制层接收的最小希望亮度和最大希望亮度；提取感知曲线的一部分，所述感知曲线的提取部分具有在所述最小希望亮度和所述最大希望亮度之间延展的亮度值；将所述感知曲线的提取部分映射到用于所述显示调制层的显示调制器控制值的可用范围，以确定期望的总响应曲线；至少部分地基于所述图像数据和所述期望的总响应曲线来确定用于所述显示调制层的显示调制器控制值；以及通过将所述显示调制器控制值输出到所述显示调制层并将所述光源调制器控制值输出到所述光源调制层来显示图像。
2.根据权利要求1所述的方法，包括获得校准数据，所述校准数据将显示调制器控制值与所述显示调制层的对应输出相关联，其中，确定显示调制器控制值至少部分地基于所述校准数据。
3.根据权利要求2所述的方法，其中确定显示调制器控制值包括基于所述校准数据来调整所述希望的总响应曲线，以获得将输入的图像数据值与输出的显示调制器控制值相关联的编码曲线；并将所述编码曲线应用于图像数据以获得用于显示图像的所述显示调制器控制值。
4.根据权利要求1-3中任何一个所述的方法，其中，将所述感知曲线的提取部分映射到显示调制器控制值的可用范围包括使用插值来扩展曲线的提取部分。
5.根据权利要求1-3中任何一个所述的方法，其中，将所述感知曲线的提取部分映射到显示调制器控制值的可用范围包括使用下采样来压缩曲线的提取部分。
6.根据权利要求1-5中任何一个所述的方法，其中，将所述感知曲线的提取部分映射到显示调制器控制值的可用范围包括对所述期望的总响应曲线进行缩放以对应W，l]范围中的显示调制器控制值。
7.根据权利要求1-6中任何一个所述的方法，其中，将所述感知曲线的提取部分映射到显示调制器控制值的可用范围包括将偏移应用于所述感知曲线的提取部分。
8.根据权利要求1所述的方法，其中，所述感知曲线被预校准，以考虑将显示调制器控制值与所述显示调制层的对应输出相关联的校准数据。
9.根据权利要求1-8中任何一个所述的方法，包括将所述感知曲线表示成显示器可访问的存储器中的查询表。
10.根据权利要求2所述的方法，包括将所述校准数据表示成显示器可访问的存储器中的查询表。
11.根据权利要求3所述的方法，包括将所述编码曲线表示成显示器可访问的存储器中的查询表。
12.根据权利要求1-11中任何一个所述的方法，其中估计在所述显示调制层接收的所述最小希望亮度包括将所述最小希望亮度设置成常数。
13.根据权利要求1-12中任何一个所述的方法，其中所述感知曲线是DICOM曲线。
14.根据权利要求1-13中任何一个所述的方法，其中，对所述图像数据帧的多个子集执行估计所述最小希望亮度和所述最大希望亮度、提取所述感知曲线的部分以及对所述感知曲线的提取部分进行映射。
15.一种在具有光源调制层和显示调制层的显示器上显示图像的方法，该方法包括 接收图像数据帧；至少部分地基于图像数据来确定用于所述光源调制层的光源调制器控制值； 至少部分地基于图像数据来估计在显示调制层接收的最小理想亮度和最大理想亮度；提取感知曲线的一部分，所述感知曲线的所述部分具有在所述最小理想亮度和所述最大理想亮度之间延展的亮度值；将所述感知曲线的提取部分映射到用于所述显示调制层的显示调制器控制值的可用范围，以确定期望的总响应曲线；至少部分地基于所述图像数据和所述期望的总响应曲线来确定用于所述显示调制层的显示调制器控制值；以及通过将所述显示调制器控制值输出到所述显示调制层并将所述光源调制器控制值输出到所述光源调制层来显示图像。
16.根据权利要求15所述的方法，其中，估计所述最小理想亮度和所述最大理想亮度包括假设所述光源调制层和所述显示调制层具有相同的分辨率。
17.根据权利要求15所述的方法，其中，估计所述最小理想亮度和所述最大理想亮度包括假设所述光源调制层的每个元件独立于光源调制层的其它元件。
18.根据权利要求15-17中任何一个所述的方法，包括对所述显示调制器控制值和所述期望的总响应曲线中的至少一个进行有效性检查，以保证使用所述最小理想亮度和所述最大理想亮度不会导致任何虚假结果。
19.根据权利要求15-18中任何一个所述的方法，除了使用所述最小理想亮度和所述最大理想亮度来代替所述最小希望亮度和所述最大希望亮度之外，具有与权利要求2-14 相似的特征。
20.一种在具有光源调制层和显示调制层的显示器上显示图像的方法，该方法包括 接收图像数据帧；将图像数据帧划分成区域，对于每个区域至少部分地基于与所述区域对应的图像数据来确定用于所述光源调制层的光源调制器控制值；至少部分地基于所述光源调制器控制值来估计在所述显示调制层接收的最小希望亮度和最大希望亮度；提取感知曲线的一部分，所述感知曲线的提取部分具有在所述最小希望亮度和所述最大希望亮度之间延展的亮度值；以及将所述感知曲线的提取部分映射到用于所述显示调制层的显示调制器控制值的可用范围，以确定期望的总响应曲线；在区域的边界处调整所述期望的总响应曲线，以减小相邻区域之间的不连续性；至少部分地基于所述图像数据和所述期望的总响应曲线来确定用于所述显示调制层的显示调制器控制值；以及通过将所述显示调制器控制值输出到所述显示调制层并将所述光源调制器控制值输出到所述光源调制层来显示图像。
21.根据权利要求20所述的方法，除了在图像数据帧的每个区域上执行估计所述最小希望亮度和所述最大希望亮度、提取所述感知曲线的部分以及映射所述感知曲线的提取部分之外，具有与权利要求2-13相似的特征。
22.—种在具有光源调制层和显示调制层的显示器上显示图像的方法，该方法包括 接收图像数据帧；将图像数据帧划分成区域，对于每个区域至少部分地基于与所述区域对应的图像数据来确定用于所述光源调制层的光源调制器控制值；至少部分地基于与所述区域对应的图像数据来估计在所述显示调制层接收的最小理想亮度和最大理想亮度；提取感知曲线的一部分，所述感知曲线的提取部分具有在所述最小理想亮度和所述最大理想亮度之间延展的亮度值；以及将所述感知曲线的提取部分映射到用于所述显示调制层的显示调制器控制值的可用范围，以确定希望的总响应曲线；在区域的边界处调整所述期望的总响应曲线，以减小相邻区域之间的不连续性； 至少部分地基于所述图像数据和所述期望的总响应曲线来确定用于所述显示调制层的显示调制器控制值；以及通过将所述显示调制器控制值输出到所述显示调制层并将所述光源调制器控制值输出到所述光源调制层来显示图像。
23.根据权利要求22所述的方法，除了在图像数据帧的每个区域上执行估计所述最小希望亮度和所述最大希望亮度、提取所述感知曲线的部分以及映射所述感知曲线的提取部分以及使用所述最小理想亮度和所述最大理想亮度来代替所述最小希望亮度和所述最大希望亮度之外，具有与权利要求2-13和16-18相似的特征。
24.一种在具有亮度输入和显示调制层的显示器上显示图像的方法，该方法包括 接收图像数据帧；至少部分地基于所述亮度输入来估计在所述显示调制层接收的最小希望亮度和最大希望亮度；提取感知曲线的一部分，所述感知曲线的提取部分具有在所述最小希望亮度和所述最大希望亮度之间延展的亮度值；将所述感知曲线的提取部分映射到用于所述显示调制层的显示调制器控制值的可用范围，以确定期望的总响应曲线；至少部分地基于所述图像数据和所述期望的总响应曲线来确定用于所述显示调制层的显示调制器控制值；以及通过将所述显示调制器控制值输出到所述显示调制层并将光源调制器控制值输出到光源调制层来显示图像。
25. —种双调制器显示系统，包括 具有光源调制层和显示调制层的显示器； 用于存储感知曲线的数据的数据存储部；处理器，被连接成从图像数据源接收图像数据、从所述数据存储部接收数据并将驱动控制值传送给所述显示器，该处理器被配置成执行权利要求1-23的方法中的任何一个。25.一种计算机可读介质，其包括指令，该指令在通过适当配置的处理器处理时使得所述处理器执行权利要求I-M的方法中的任何一个。
26.包括这里描述的任意特征、特征组合或特征的子组合的装备。
27.包括这里描述的任意特征、特征组合或特征的子组合的方法。
全文摘要
针对具有光源调制层和显示调制层的显示器，提供了图像处理的系统和方法。对于每个图像数据帧，根据由光源调制层发射的光、基于显示调制层上的希望的亮度分布来提取感知曲线如DICOM曲线的一部分。感知曲线的这一部分可以用于确定将显示调制层输出控制值映射到相应的输出亮度值的希望的总响应曲线。希望的总响应曲线和显示调制器专用的响应曲线可以应用于图像数据，用以产生用于驱动显示调制层的控制值。
文档编号G09G3/34GK102165513SQ200980138170
公开日2011年8月24日 申请日期2009年9月17日 优先权日2008年9月30日
发明者刘易斯·约翰逊, 达米尔·瓦勒纳 申请人:杜比实验室特许公司
最新回复(0)