用于处理供显示面板显示的图像数据的装置、显示设备、程序及其方法
专利名称：用于处理供显示面板显示的图像数据的装置、显示设备、程序及其方法
技术领域：
本发明涉及用于处理供显示设备(诸如可在隐私显示模式中操作的有源矩阵显示设备)中的显示面板显示的图像数据的装置、显示设备、程序及其方法。
背景技术：
在可在公共和隐私显示模式之间转换的显示设备的第一、公共模式中，该设备一般表现为标准显示器。该设备将单个图像显示为，对于所有观看者而言有尽可能宽的观看范围、具有最优亮度、图像对比度和分辨率。在第二、隐私模式中，主图像仅在被减少的观看角度范围内可辨别，一般集中在显示表面的法线上。从在这个所减少的角度范围之外注视显示器的观看者将看到第二、遮蔽了主图像的屏蔽图像、或者是被降级为不可理解地呈现的主图像。这个概念在附图的图4中被图示，其中显示设备401的“主视图” 402仅对于显示设备401的主要用户404当他或她的眼睛接近于显示设备401的主轴时是基本可见的，且一个或多个“侧视图(side view) ”403被设计为对于假定为离轴的其他用户405而言是可见的。这个概念可被应用于很多设备，其中用户可获益于在其正常广角显示器上的隐私功能的选项，这用于期望隐私的特定公共场合。这样的设备的示例包括移动电话、个人数字助理(PDA)、膝上型计算机、台式监测仪、自动取款机(ATM)、以及电子销售点(EPOS)设备。 这样的设备还在某些时候特定观看者(例如驾驶员或那些操作重机械的人)能看到特定图像(例如，当车子在移动时车载电视屏幕)会转移注意力且因此是不安全的场合是有利的。存在一些方法用于为自然广角范围显示器增加光控制装置用于控制光的方向的一个这样的结构是“百叶窗”膜。该膜包括以类似于威尼斯百叶窗而设置的交替的透明和不透明层。类似于威尼斯百叶窗，当光在近乎平行这些层的方向行进时其允许光通过，而当光在相对于层的平面较大角度地行进时其吸收光。 这些层可垂直于膜的表面或位于某个其他角度。在旧1 27617尔.0.01%11;311 1973)、 US4766023(S.-L. Lu，3M 1988)、以及 US4764410 (R. F. Grzywinski ;3M 1988)中描述了生产这些膜的方法。存在其他方法用于制作具有与百叶窗膜类似性质的膜。这些在例如 US05147716(P. A. Bellus ；3Μ 1992)、以及 US05528319 (R. R. Austin ；Photran 公司 1996)中有描述。可将百叶窗膜置于显示面板的前面，或置于透射显示器与其背光源之间，从而限制可观看到该显示器的角度范围。换言之，这些膜使得显示器“隐私”。这些膜的主要限制在于它们要求机械操作，S卩，移除这膜，从而在公共和隐私观看模式之间改变显示器在GBM13394(aiarp，2004)中，通过对显示面板添加一个或多个额外液晶层和起偏器而构建电可切换的隐私设备。通过用已知方式电切换液晶可改变这些额外元件的本征观看角度依赖性。使用这个技术的设备包括^iarp Sh851i和Si902i移动电话。上述方法的缺点在于它们需要对显示器添加额外的装置从而提供电切换观看角度范围的功能。这增加了显示器的成本、特别是体积，这是非常不期望的，特别是在诸如移动电话和膝上型计算机之类的移动显示应用中。在US20070040780A1 (Sharp，2005)和 W02009057417A1 (Sharp，2007)中描述了通过在两个不同设置(两个都能对在轴观看者显示高质量图像)之间切换显示器的单个液晶层，从而控制LCD的观看角度性质的方法。这些设备不需要增加的显示器厚度就提供了可切换的隐私功能，不过需要复杂的像素电极设计和对标准显示器的其他制造修改。在WO 2009/069048中公开了没有增加的显示器硬件复杂性的具有隐私模式能力的显示器设备的示例。在US20090079674A1中提供了另一个这样的示例，该文献公开了显示器的隐私模式，其中不同大小的信号电压被施加至相邻像素以使这些像素的平均亮度根据显示器的伽马曲线随信号电压而变化，从而当在轴观看时显示所期望的图像，且其中当离轴观看时在特定电压范围内平均亮度处于不变大小，从而改变图像的对比度至离轴视觉不可辨别的程度。没有增加的显示器硬件复杂性的具有隐私模式能力的显示器设备的另一个示例是Siarp Sh702iS移动电话。其使用对显示于电话的IXD上的图像数据的操纵，并结合显示器中所使用的液晶模式中固有的角度数据-辉度性质，从而产生隐私模式，其中所显示的信息对于从偏离中心的位置观察显示器的观看者而言是不可辨别的。然而，在该隐私模式中显示给容许的、在轴观看者的图像的质量严重地被降低。在GBM28I52Al (在 2OO7 年 1 月 I7 日公开)和 GB 申请 GB0804022. 2 (作为 GBM57106A在2009年8月5日公开)中给出了与用在Si702iS电话上的方案相类似的方案，但是其以取决于第二、掩模图像的方式操纵图像数据，且因此导致当显示经修改的图像时，掩模图像可被离轴观看者所感知。在上述出版物中所公开的方法使用了随很多液晶显示模式(诸如先进超视觉(ASV) (IDW 02Digest, pp 203-206)或聚合物稳定定向 (PSA(SID'04 Digest,pp 1200-1203))中固有的观看角度而改变的辉度曲线的数据值的变化。显示在LC面板上的图像的数据值被以如下方式改变当从显示器前部(在轴地) 观看时，被施加在相邻像素的修改有效地抵偿，这样主图像被再现，不过当从倾斜角度(离轴地)观看时，取决于所施加的修改的程度，对于相邻像素的修改导致净辉度变化，所以可改变所感知到的图像。期望提供对在GBM^152A1和GBM57106A中所描述的方法的改进。
发明内容
根据本发明的第一个方面，提供了处理供显示设备的显示面板显示的图像数据的方法，包括接收表示主图像的主图像像素数据和表示侧图像的侧图像像素数据；在第一处理步骤中，执行所述像素数据到被用于驱动显示面板的信号的映射，其中设置所述映射从而产生主要取决于所述主图像像素数据的平均在轴辉度、以及至少一定程度取决于所述侧图像像素数据的平均离轴辉度；以及，在第二处理步骤中，处理所接收到的侧图像像素数据从而强调所述侧图像的至少一个特征，否则作为所述第一处理步骤的结果，所述特征可能在离轴显示的侧图像中被观看者感知为去强调。根据本发明的第二个方面，提供了被设置为执行处理供显示设备的显示面板显示的图像数据的方法的装置，所述方法包括接收表示主图像的主图像像素数据和表示侧图像的侧图像像素数据；在第一处理步骤中，执行所述像素数据到被用于驱动显示面板的信号的映射，其中设置所述映射从而产生主要取决于所述主图像像素数据的平均在轴辉度、 以及至少一定程度取决于所述侧图像像素数据的平均离轴辉度；以及，在第二处理步骤中， 处理所接收到的侧图像像素数据从而强调所述侧图像的至少一个特征，否则作为所述第一处理步骤的结果，所述特征可能在离轴显示的所述侧图像中被观看者感知为去强调。根据本发明的第三个方面，提供了含有根据本发明的第二方面的装置的显示设备。根据本发明的第四方面，提供了用于控制装置以执行根据本发明的第一方面的方法的程序，或者当该程序被装载至装置时，导致该装置成为根据本发明的第二或第三方面的装置或设备。该程序可被携载在载体媒介上。载体媒介可以是存储器媒介。载体媒介可以是传输媒介。本发明的上述和其它目的、特征以及优点在结合附图考虑本发明的以下详细描述时将更容易理解。附图简述
图1示意性地示出根据本发明的实施例的方法；图2示出用在本发明的实施例中的示例预处理链；图3示出基于直方图的增强的示例；图4示出从上方观察的隐私显示器以及显示器用户的示例；图5是GBM57106A所描述的显示器的示意图，且当其在隐私模式操作时可对其应用本发明的实施例；以及图6是示出由GBM57106A所描述类型的显示器提供的多个标准化的离轴与在轴
辉度曲线。实施例的描述在以前所考虑的提供隐私效果的方法中，相比于以正常观看模式操作的显示器的能力，通常以低分辨率、低比特深度以及低对比度显示侧图像。常规值包括1/4空间分辨率(即，物理显示器的可寻址像素的数量的1/4)、64色(每个像素每个色彩2比特)以及仅2 1对比度。这些数字代表以下之间的权衡⑴主视图的图像质量(ii)安全的强度 (艮口，有多么少的主图像漏至侧边)以及(iii)侧图像的图像质量。简单地将正常图像(诸如用数字照相机拍摄的图像)应用为显示在侧视图中一般产生对于侧面观看者而言较差的所感知到的质量。由于此，用户一般被呈现为对侧图像没有选择；或者对侧图像有受限选择，这些侧图像被特别地选择(可能由设备的制造者或提供者选择)从而用这样的受限的显示能力显示为可接受。类似受限的选择应用在侧图像随时间而变化的情况中从而创建“侧电影”。本申请人已经注意到，期望克服上述问题，且相应地作出允许用户选择他或她自己的照片来显示为侧图像的方案，从而个性化诸如移动电话之类的设备，同时维持合理的所感知的质量。这将扩展隐私模式的有用性，而不仅是例如作为隐私机制，和在诸如广告 (如，标记)和个性化之类的区域中提供益处。用于增强对比度、色彩饱和度、噪声移除、选择性平滑和锐化的算法已知被用于改善所感知到的图像质量。对于具有有限比特深度的显示器，抖动是已知的方法，以空间分辨率为代价来增加所显示的比特深度。对比度增强方法对于适度较低对比度的显示器是可用的，包括全局和局部地适应性辉度伸展(stretch)。通过个别地过滤每一帧或使用考虑了图像序列的3D滤波器来改进移动的图像。然而，本发明实施例下隐藏的理念是用极限参数施加图像处理(一般对于在普通设备上观看而言太强)从而增强图像以使它们可被成功地用作侧图像。在本发明的实施例中，考虑到，图像的一些精细细节和可视精妙对于其应用是不需要的，所以可以安全地忽略；且可使用更多的对比度、空间分辨率或可用色彩空间资源来增强图像的宽大的、粗略的特征。本申请申请人观察到侧图像观看者一般距离显示器相比主图像观看者而言更远一些，且只有侧图像的宽大的、粗略的特征一般是可见的。例如，侧图像观看者一般不被预计会阅读文本、而是可能阅读到较大的图标或标语。本发明的实施例提供了优势，其提供了允许用户用更大的自由度个性化他们的便携设备并仍然具有显示给定向显示器的侧边的可分辨的图像。本发明的实施例可结合在GBM57106A中所教示的显示设备而使用。GBM57106A 的显示设备在此处不详细描述，替代于此，GBM57106A的全部内容被认为结合在此。 GB0819179. 3(作为GB2464521A在2010年4月21日公开)公开了在诸如GB2457106A中所描述的隐私显示器的背景中的“图像处理滤波器”步骤，不过在这个公开中，可能导致特定色彩缺陷问题的像素数据的特定图案(pattern)在主图像数据被输入至隐私模块之前被检测到并被改变。图5示出如GBM57106A所描述的显示设备。显示设备被提供为包括用于用空间光调制显示图像的液晶显示面板2。当该设备在隐私模式中操作时，在每一帧时间段中两个图像数据组被输入至显示器控制器1中主图像数据7构成主图像，且侧图像数据8构成侧图像。然后显示器控制器1对于LC面板中的每一个像素输出一组信号数据电压、一个数据电压。显示器控制器1利用扩展的查询表格(LUT)，且LC面板中构成组合的图像的每一个像素的输出信号数据电压，取决于主7和侧8图像中相应像素的数据值(形式为图像中的空间位置)。每一个像素的输出数据电压还可取决于第三、空间依赖的、由显示器中像素的空间位置确定的参数。来自显示器控制器1的信号电压导致LC面板2显示组合的图像为宽广的锥形5角度。主观看者3所观察到的图像是可辨别的主图像，具有主图像质量的最小的劣化。然而，由于离轴观看者4的LC面板的不同伽马曲线特性，这些离轴观察者最显著地感知到侧图像，这使得主图像不明显和/或劣化，将主图像信息固定在位于显示器法线的中心处的受限锥形角度9中的观看者们。在GBM57106A中，输入和输出图像数据值之间的关系如下确定在第一步骤中，主和从属图像均具有它们的被转换为等效辉度值Mum (X，y，c)= Min (X，y,c)\SLum(x,y,c) = Sin(x, y, c) γ的像素数据值，其中Min和Sin被标准化从而具有零和一之间的值，且Y是将数据值相关于显示器辉度的指数，已知其为显示器伽马值，且一般具有2. 2的值。
在第二步骤中，主图像的这些亮度值然后被以β因子压缩并以偏置因子3提升 Mcwp(x,_y,c) = ^MZww(xj，C) + 5。侧图像中的每一个像素值被根据一因子缩放，此因
子等于被压缩的主图像的相应像素的亮度值和范围边缘(0或1中更接近的一个)之间的差异。可为任何亮度值从该值与范围中心之间的差异的r.m. s.获得这个差异。因此侧图
像亮度值被缩放为c) =、m(x,_y,C).〔0.5-V(M^(XAc)-OJ)2)可为侧数据值的经
\ο
转换的等效亮度值而指定大于零的最小值。在上述中，·^(M—O,^)-O.5)2等于 IMcmp(X，y, c)-0. 5 其为 Mcmp(x，y, c)减去 0.5之后的绝对值。在第三步骤中，现在将经压缩的主和侧图像与子像素级别上图案化的亮度的和/ 差相组合，例如使用之前所提到的空间地变化的参数。将色彩子像素分组成对，在每个对中的一像素其具有其输出亮度等于在那个像素所压缩的主和侧图像亮度之和，而另一像素其输出亮度等于所压缩的主图像亮度减去所压缩的侧图像亮度。因此，对于Sum的最大值，总是将一对中的一个修改为标准化范围的最大值或最小值(较近的那个)，而一对中的另一个被修改至相反方向。对于Min的特定值，这样的分离(split)的量由Sum的值所确定。基于GB2457106A 的 PCT/JP2008/068324 (在 2009 年9 月 11 日被公开为 WO 2009/110128)，也公开了获得准确色彩的侧图像效果的方法，其中具有每色彩2比特(总共 6比特)比特深度的侧图像被输入至控制电子元件，且四对输出值被包括在每个主图像数据值的扩展的LUT中，这些输出值对根据如下方法而被计算C (X，y, c) = Mcmp (x, y，c) 士 1 X Scmpmax (χ, y, c)，对于 Sin = 0C (x, y, c) = Mcmp (χ, y, c) 士0· 98 X Scmpmax (χ, y, c)，对于 Sin = 1C (x, y, c) = Mcmp (x，y, c) 士0. 85 X Scmpmax (x，y, c)，对于 Sin = 2C(x, y, c) = Mcmp(χ, y, c) 士0，对于 Sin = 3其中“S。mp max”是最大可用的经压缩的侧图像值，如之前所计算的，即，对于S。mp max =IMcmp(x，y, c)-0. 5|。之前所考虑的计算方法具有四个可能的侧图像值Sin = 0，1，2和3。如图6中可见，当Sin = 0时，对每一个主图像数据值使用最大分离，导致在在轴辉度范围上最低的整体离轴辉度。当Sin= 3时，不使用分离，导致在在轴辉度范围上最高的整体离轴辉度。已经发现，分别对于中间范围的侧图像值Sin = 1和2时的M。mp数据的最大可用变化的0. 98和 0. 85倍的建议值，可对于不同输入侧图像值产生离轴辉度的基本均勻的增量。这意味着，在整个在轴辉度范围上，不同的侧图像状态相对于彼此保持良好程度的成比例性。上述映射被设置为产生主要取决于主图像像素数据的平均在轴辉度，以及至少一定程度上取决于侧图像像素数据的平均离轴辉度。然而，这倾向于导致侧图像的至少一个特征在离轴显示的侧图像中被观看者感知为去强调(de-emphasized)。本发明的实施例目的在于解决这个问题，通过设置要被处理的侧图像像素数据来强调侧图像的至少一个特征，这个至少一个特征否则将在离轴显示的侧图像中被观看者感知为去强调。例如，在本发明的实施例中，所述至少一个特征被强调至至少这样大的程度在离轴显示的侧图像中被感知为去强调的程度。在本发明的实施例中，所述至少一个特征可被强调至至少补偿在离轴显示的侧图像中所感知到的去强调。在本发明的实施例中，所述至
9少一个特征可被强调至大于这样的程度对于在离轴显示的侧图像中没有所感知到的去强调的图像而言，这样的程度一般将被认为是适当的。图1是如何将本方法应用至诸如上述或在GBM57106A中进一步详细描述的具有隐私模式的设备的示意图。设备的用户界面用于允许用户可通过选择侧图像而个性化该隐私功能(步骤101)。侧图像可以是设备中的摄像头所捕捉的照片或图像、或者是以前所存储的照片或图像、或者如果该设备连接至合适网络时，侧图像可从远程图像服务器上下载。 结果是当显示器处于隐私模式时，用户想要显示作为侧图像的图像。使用各种图像处理方法对这个图像进行预先处理(步骤102)，从而增强诸如对比度、色彩空间的使用、分辨率等之类的参数，且将在下文更详细地描述。当该设备被用在隐私模式时，在步骤103中接收到的主图像，使用合适的设备的隐私机制(来自的GBM57106A示例在上文已述)，被与所处理的侧图像相结合(步骤104)。在设备上显示所得到的图像(步骤105)。可在先(离线)执行一次预先处理步骤(步骤10 ，且其结果被存储以供在组合步骤(步骤104)中稍后使用。可选地，可实时地且在需要时(在线)重复地执行预先处理步骤(步骤102)，以使在组合步骤(104)中马上使用该结果，且只有原始的侧图像需要被保留在长期存储器中。类似地，预先处理的一部分可以是离线的，一部分在线；例如，如果预先处理包括多个不同的处理步骤，那么可离线执行这些步骤中的一些，在线执行其他的。关于什么体系结构是最适合于过程的特定实现的判定，将取决于可用资源以及其他步骤的要求。图2示出用于实现图1中所示的预先处理步骤102的一个方案。用空间重采样器 202对输入图像201进行空间重采样，以使其具有用于目标设备的正确数量的像素。接下来，使用空间滤波器203来增强诸如边缘和摄像主题之类的空间特征，同时减少背景细节。 接着，使用对比度增强器204来增强对比度并完全地利用显示器的可用辉度范围。接着，色彩增强器205执行相关于色彩范围而不是对比度的类似功能。接着，使用色彩数字转换器 206来减少显示器所需要的色彩数量，并将所得到的图像输出207。下文将进一步详细地描述这些组件中的每一个。以不同顺序发生这些步骤、或者省略其中一个或多个步骤的其他实施例是可能的。就像很多图像处理应用中那样，在处理时间或所需要的电路的量和所实现的质量之间有权衡。例如，在链中之后可能发生空间降采样。这意味着在降采样之前的步骤必须以全部分辨率工作，且因此需要更多处理。然而，这对于最后图像在全分辨率图像上执行空间过滤是有利的。还有，可通过将两个或更多个步骤组合为单个步骤、将单个步骤分离为两个或更多个步骤、或者通过在这些步骤中重新分配计算，可获得同样的效果。对于那些研发与实现图像处理算法的人而言，这些重新组织是可以理解的。例如，可将对比度增强和色彩增强步骤组合为一个步骤从而共享计算的共同部分。具体而言，两者都可使用以HSV色彩空间表达的像素值。然后自然的，可仅在S和V坐标上转换为HSV—次，同时获得对比度增强和色彩增强，且然后对于剩余操作更自然的，仅转换到色彩空间中。例如，空间重采样器202可需要锐化操作作为其子步骤之一，这个子步骤，可能，可便利地被结合到空间滤波器203中。通过空间重采样器202的空间重采样减少(或增加)了图像中像素的数量，以使图像是被用作侧图像的正确尺寸。例如，相比于全显示的尺寸，侧图像一般仅具有四分之一数量的像素。在空间重采样中，可应用任何修剪或伸展来不仅获得正确数量的像素，还有正确的宽高比。可简单通过重复或修剪来实现重采样。使用诸如Lanczos滤波器之类的滤波器、双线性或双三次内插或类似精神的其他方法来获得较好的图像。重采样经常之前有低通滤波(例如，用较小的高斯内核)，且后跟锐化(例如，用反锐化的掩模)，如已知的那样。空间滤波器203的目标是强调将创建较好侧图像的图像特征、并且去强调将从较好的侧图像减去的空间图像特征。其还可移除由数字压缩所产生的伪细节。例如，可有利的是，增强定义图像的主要主题的主边缘。这个行为可用简单的锐化滤波器，诸如反锐化掩模方法，来近似。可使用检测摄像主题的更复杂的算法来引导这个步马聚ο有利的是，使用低通滤波器，将高空间频率的信息从图像背景中移除。空间滤波器可包括双线性滤波器、或者也使用滤波器区域中点的数据值来调节滤波器中权重的其他空间滤波器。该滤波器可适用于图像中的局部特征，诸如边缘的方向。在处理电影的帧的情况下，空间滤波器可结合来自电影中其他帧的数据。通过对比度增强器204的对比度增强的目的是完全地使用侧视图中可用的低对比度。期望的是使用广泛范围的灰度值，但不用过度饱和破坏太多细节。为了做到这一点， 优选的是在具有确定(或近似地确定)辉度的显式坐标的色彩空间中操作。然而，通过仅独立地在R、G以及B分量上操作可获得近似结果。如已知的那样，有很多方法来增强对比度。在图3中部分地示出一个具体方法。 原始和最终图像中的每一个像素与灰度大小相关联。例如，可在辉度(或类似量)为显式的色彩空间中表达像素，例如，CIELVb*中的L*、HSV中的V、HLS中的L、YUV中的U、YCbCr 中的Y等。然后对所有原始像素的辉度计算分布，此处被可视化为直方图(301)。在(301) 中，灰度值被缩放为0(黑)到1(白)范围内且被图示在水平轴上。选择参数来确定应该如何修改辉度。例如，图3示出的直方图中，最暗的20%像素(303)被映射为黑色，20%最亮的像素(30 被映射为白色，且剩余的60%被均勻地分布在两者之间。所得到的辉度分布此处被图示为第二直方图(30 。最终，经修改的辉度被映射回其各自像素，得到对比度增加的图像。这可被认为是色调对比度增强。可使用其他方法；具体而言，局部地增强图像区域中的对比度的是优选的。对比度增强还可能使用具有相对大值的“半径”参数的反锐化掩模滤波器；这可被认为是空间对比度增强，其中根据考虑了图像区域中的图像数据的算法，通过提高区域对比度而增强图像的整体对比度。可使用辉度的简单线性缩放(将范围之外的值映射为黑色或白色)、或伽马矫正方法，尽管结果可能较差。有利的，仅对含有摄影主题的像素强调对比度，且任选地对背景去强调对比度。有利的，取决于这个像素的色彩而强调这个像素的对比度。通过色彩增强器205的色彩增强的目的是使得色彩非自然地鲜艳，因为在步骤 104中被组合时将会损失很多这样的鲜艳度。期望的是使用广泛范围的色彩值，但不损害基本色彩。例如，红色应该继续被看成红色，即使它们相比之前被更加地饱和了。为了做到这一点，优选的是在具有确定(或近似地确定)色彩饱和度的量的显式坐标的色彩空间中操作。可以与对比度增强一样的方式来解释优选的色彩增强。在这个情况下，是每一个像素的色彩饱和度值被修改了，而不是辉度。图3可因此被重新解释为示出了每一个像素的饱和度值的伸展，尽管参数的选择可不同。对于色彩增强，取决于色彩空间的选择，可操作CIELW中的ΙΛ HSV中的S、HLS中的S等。在这个解释中，直方图(301)的水平轴从 0 (单色)变化到1 (全饱和的色彩)。因此，色彩增强的优选步骤可以是必要的话将每一个像素表示转换为色彩空间 (比如HSV)；计算S分量的分布；确定分离点；将具有低于较低分离点的S的像素映射为S =0 ；将具有高于较高分离点的S的像素映射为S = 1 ；线性地映射剩余像素的S分量，从而较低分离点映射为0，较高分离点映射为1 ；任选地将每一个像素映射回下一个步骤所需要的色彩空间。如辉度增强一样，落在预确定饱和度范围内的饱和度可被伸展为填满饱和度的整个范围；例如，较低的20%饱和度值可被映射为零饱和度值，而较高的20%饱和度值可被映射为最大饱和度值，剩余的60%均勻地分布在两者之间。如辉度增强一样，可使用其他实现，例如，对像素的HSV表示中的V分量的线性缩放，或者局部适应的方法。还可有利地在皮肤色调上更慎重地操作，这样不同地处理落在人类皮肤色调范围内的像素数据和落在人类皮肤范围外的数据，从而避免在眼睛特别关键的光谱部分过饱和。可有利地仅对含有摄影主题的像素强调色彩饱和度，且任选地对背景去强调色彩饱和度。有利的是取决于这个像素的色彩而强调这个像素的色彩饱和度。通过色彩数字转换器206的色彩数字转换的目的是将图像中的全色彩范围减少为组合器步骤204中可用的范围。例如，在隐私显示的一种类型中，在组合步骤中仅使用两个比特来表示每一个分量，侧图像像素的R、G或B。因此，将要把所使用的色彩限制为仅22x 22x 22 = 4x 4x 4 = 64种不同色彩，且这些色彩被事先确定了。数字转换的最简单的方法是仅为每一个像素选择最邻近的可用的色彩。如果有足够可用的色彩(例如，每个色彩分量有6或更多比特)，这个方法将足够良好地工作。然而，在仅64个色彩情况下，这个简单方法趋于导致色彩或辉度突然变化的可见轮廓线，即使输入图像是平滑的。数字转换的优选方法是为每一个像素选择最近的可用的色彩，不过然后记录做出这个选择中所导致的色彩误差、并在选择邻近像素值时尽力抵偿这个色彩误差(因为眼睛趋于仅看到区域上的平均值)。这是众所周知的通过错误扩散的抖动的方法。本领域技术人员还会理解的是，可在不背离由所附权利要求定义的本发明保护范围的情况下对上述实施例做出诸多修改。例如，当主图像已知时如果预先处理的至少一部分发生，有利的是考虑主图像。例如，在一些隐私显示技术中，主图像的特定图案(诸如较低亮度的区域)可导致特别差的侧视图对比度。在这样的情况下，有利的是在这样的区域中推进侧图像对比度来补偿。
在处理侧图像时，有利的是标识侧图像的类型、或者标识侧图像的不同区域的类型。可使用类型信息来控制侧图像处理步骤的顺序、种类或参数。例如，侧图像的文本部分可得益于可仅使用简单的数字转换而不是误差扩散抖动，或者得益于相比非文本部分 (即，几乎没有或没有文本的侧图像的部分)使用更极端的对比度增强。可对线条图像或卡通内容做类似的修改。在照片的情况下，可能区别于一般风景或动态照片而处理肖像。使用OCR技术可读取文本，并用为最大清晰度所特别选择的字体和色彩来呈现。可自动地、或由来自用户的提示，使用经由设备的用户界面所提供的有限数量的选择来判定侧图像的类型。照片类型还可编码为照片中的元数据，并由隐私设备所使用来引导预先处理。可完全自动地、或者用来自用户的交互来发生预先处理。因此，用户可任选地指示图像的类型，并任选地调节预先处理的参数。任选地可将每一个调节的效果显示给用户看来帮助进一步的调节。有利的是提供在预先处理之前任选地修剪图像以及重设图像大小的工具。这可在用户指导下发生，或者在一些情况下(比如检测到肖像)可自动地发生。隐私显示一般在主图像和侧图像质量之间做出一些权衡。如果权衡是使得主图像的质量欠佳，有利的是使用之前所描述的可施加于侧图像的预先处理的类型来增强主图像的至少一部分。特别地，如果主图像的对比度较低，那么可对主图像施加对比度增强。在另一个实施例中，通过将电影(视频)作为一系列连续显示的静止图像，可将电影(视频)作为侧图像。在合适时刻与主图像组合之前，可预先处理电影的每一帧(或域)，从而实现侧图像中动作的效果。经预先处理的帧可被存储用于之后使用(离线)，或者可仅即时产生用于显示(在线)然后被丢弃。可设想折衷的解决方法，其中一部分预先处理离线发生，导致部分被处理的电影的存储，且剩余的在线处理，仅即时用于显示。特定地，有利的是分析电影的内容从而离线地确定预先处理的参数，且然后在线执行预先处理。在这个实施例的扩展中，从一个或多个帧中提取数据(诸如色彩直方图信息)并被用于控制其他帧的预先处理。这允许在仅在帧显示之前发生预先处理的情况下的更有效的实现(例如，减少缓冲数据的要求)。这还允许更平滑地修改预先处理的参数以使得突然地处理变化不会发生并导致侧观看者可见的伪细节(诸如突然的色彩或亮度变化)。尽管图1的步骤102在上文被图示和描述为在组合步骤104之前的独立步骤，还可能步骤102中执行的至少一些处理被作为组合步骤104的一部分执行。例如，GBM57106A 描述了使用查询表格(LUT)来执行主图像数据和侧图像数据的组合(或映射)，且明显的是可将上述步骤102中进行的处理的至少一部分结合在LUT自身中。例如，可通过LUT映射而不是在LUT映射之前的单独步骤，有效地完成由对比度增强器204所执行的对比度增强 (其中伸展了色调范围)。这在其中被传递给组合步骤104(LUT映射)的侧图像留有相对高的比特深度的实现中是尤其可行的。在考虑图像内容来引导步骤102的实现中，可提供多个不同的LUT，其中一个可基于图像内容的分类而被选择；例如，可为“高对比度原始图像”、“低对比度原始图像”、以及“中等对比度原始图像”而提供不同LUT，每一个结合不同级别的对比度增强。作为可选的，可基于图像内容而重新分配(r印opUlate)LUT映射，尽管这可能是更加计算密集的。
可理解的是，可将本发明的一个实施例应用于除以上所述的隐私和多视图显示器上，且更特定的是除了 GBM57106A中所描述的那些的显示器。将理解的是，尽管常规的是提供能在公共和隐私模式中操作且在两个模式之间可切换的显示设备，本发明还可应用于仅能在隐私模式操作的显示设备。将理解的是，通过在设备或装置上操作的程序可控制上述组件中的一个或多个的操作。可将这样的操作程序存储在计算机可读介质上，或者，例如，被实现为诸如从因特网站点提供的可下载的数据信号之类的信号。本发明的一些实施例公开了方法，其中第二处理步骤可包括强调侧图像的多个特征中的每一个的子步骤。本发明的一些实施例公开了方法，其包括在第一和第二不同的各自色彩空间中执行第一和第二组的子步骤，其中每一组包括一个或多个子步骤。本发明的一些实施例公开了方法，其可包括，在第三处理步骤中，空间地重采样所述侧图像从而为所述第一处理步骤以正确的宽高比提供所要求的数量的像素。本发明的一些实施例公开了方法，其中第三处理步骤可在第二处理步骤之前被执行。本发明的一些实施例公开了方法，其中第三处理步骤可在两个子步骤之间被执行。本发明的一些实施例公开了方法，包括进行色彩数字转换步骤从而将所述侧图像的每一个色彩分量的比特深度减少为所述第一处理步骤所需的比特深度。本发明的一些实施例公开了方法，其可包括，对于所述侧图像的每一个像素，选择在所述减少的比特深度色彩空间中最近的可用的色彩，这样做存在相关的色彩误差，且优选地考虑来自于至少一个附近像素的所述或每一个色彩误差。本发明的一些实施例公开了方法，其中，至少一个特征包括所述侧图像的至少一个部分的，至少在预确定的色调或数据值范围内的色调和/或空间对比度。本发明的一些实施例公开了方法，其中，可减少落在预确定的色调或数据范围之外的对比度，例如，减少到零。本发明的一些实施例公开了方法，其中，至少一个特征包括所述侧图像的至少一个部分的，至少在预确定的饱和度范围内的饱和度和/或色彩。本发明的一些实施例公开了方法，其中，预确定的范围是中间范围，例如整个范围的 20%到 80%。本发明的一些实施例公开了方法，其中，不同地处理落在人体皮肤色调范围内的侧图像像素数据和落在人体皮肤范围之外的侧图像像素数据。本发明的一些实施例公开了方法，其中，至少一个特征包括所述侧图像的至少一个空间特征。本发明的一些实施例公开了方法，其中，至少一个空间特征包括边缘特征。本发明的一些实施例公开了方法，其中，第二处理步骤包括将反锐化掩模滤波器应用到所述侧图像。本发明的一些实施例公开了方法，其中，第二处理步骤包括应用双线性滤波器或其他空间滤波器，该滤波器使用滤波器区域内的像素的像素数据来调节所述过滤器中的权重。本发明的一些实施例公开了方法，其中，以有损至少一个其他特征为代价强调所述至少一个特征，所述至少一个其他特征例如被认为具有较次要的视觉重要性。例如，以有损向着范围的较低和较高端部的对比度为代价可增强中间范围的对比度。本发明的一些实施例公开了方法，其可包括不同地处理所述侧图像的不同部分。本发明的一些实施例公开了方法，其可包括不同地处理不同地处理文本部分与非文本部分。本发明的一些实施例公开了方法，其可包括用不同于在所述侧图像中所使用的字体的特别所选择的字体来呈现文本。本发明的一些实施例公开了方法，其可包括不同于所述侧图像的其他部分地来处理所述侧图像中被标识为含有所述侧图像的主要主题的一个或多个部分。本发明的一些实施例公开了方法，其可包括在所述第二处理步骤中在所述侧图像像素数据的处理中考虑到所述主图像像素数据。本发明的一些实施例公开了方法，其中，离线地执行所述第二处理步骤的至少一部分。本发明的一些实施例公开了方法，其中在线地执行整个第二处理步骤。本发明的一些实施例公开了方法，其中在线地执行所述子步骤中的至少一个、且离线地执行所述子步骤中的至少一个其他子步骤。本发明的一些实施例公开了方法，其中，在第二处理步骤中将至少一个特征强调至一程度，该程度至少和如下程度一样大作为所述第一处理步骤的结果，在离轴显示的侧图像中，该至少一个特征被感知为去强调。本发明的一些实施例公开了方法，其中，至少一个特征可在所述第二处理步骤中被强调为至少来补偿作为第一处理步骤的结果、离轴地显示的所述侧图像中所感知到的去强调。本发明的一些实施例公开了方法，其中，所述至少一个特征在所述第二处理步骤中被强调至的程度大于对于一图像通常将被视为适当的程度，作为所述第一处理步骤的结果、该图像在离轴显示的侧图像中没有感知到的去强调。本发明的一些实施例公开了方法，其中，第二处理步骤包括去强调所述侧图像至少一个其他特征，其在被离轴观察者所看时将从较好的侧图像中减去。本发明的一些实施例公开了方法，其中，可表现(present)主和侧图像的时间序列，且其中所述第二处理步骤使用来自所述序列中多个侧图像的侧图像像素数据。本发明的一些实施例公开了方法，其中，第二处理步骤的至少一部分被结合至所述第一步骤中执行的映射。在第一处理步骤之前执行第二处理步骤，或者第二处理步骤被至少部分地结合到在第一处理步骤中执行的映射中。本发明的一些实施例公开了方法，其中，第二处理步骤还可包括处理所述主图像的像素数据从而强调所述主图像的至少一个特征，否则作为所述第一处理步骤的结果，所述特征可能在离轴显示的所述主图像中被观看者感知为去强调。本发明的一些实施例公开了装置，该装置被由用于控制该装置执行根据上述方法的方法的程序、或者当被下载至装置中导致该装置成为根据本发明的上述装置或设备的程序所编程。该程序可被携载在载体媒介上。载体媒介可以是存储器媒介。载体媒介可以是传输媒介。本发明的一些实施例公开了存储媒介，其含有用于控制该装置执行根据上述方法的方法的程序、或者当被下载至装置中导致该装置成为根据本发明的上述装置或设备的程序。该程序可被携载在载体媒介上。载体媒介可以是存储器媒介。载体媒介可以是传输媒介。所附权利要求被解释为覆盖操作程序本身、或者被解释为载体上的记录、或者被解释为信号、或者其他形式。此外，示出一组功能或步骤的任何附图应该被解释为还示出用于执行这些各自功能或步骤的相应组部件，或者类似地，示出用于执行这些各自功能或步骤的一组部件的任何附图应该被解释为还示出了功能或步骤的相应集合。
权利要求
1.处理用于供显示设备的显示面板显示的图像数据的方法，包括接收表示主图像的主图像像素数据和表示侧图像的侧图像像素数据；在第一处理步骤中，执行所述像素数据到被用于驱动所述显示面板的信号的映射，其中设置所述映射从而产生主要取决于所述主图像像素数据的平均在轴辉度、以及至少一定程度取决于所述侧图像像素数据的平均离轴辉度；以及，在第二处理步骤中，处理所接收到的侧图像像素数据从而强调所述侧图像的至少一个特征，否则作为所述第一处理步骤的结果，该特征可能在离轴显示的所述侧图像中被观看者感知为去强调。
2.如权利要求1所述的方法，其特征在于，所述第二处理步骤包括对于所述侧图像的多个被强调特征的每一个的子步骤。
3.如权利要求2所述的方法，其特征在于，包括在第一和第二不同的各自色彩空间中执行第一和第二组的子步骤，其中每一组包括一个或多个子步骤。
4.如前述任一个权利要求中所述的方法，其特征在于，包括，在第三处理步骤中，空间地重采样所述侧图像从而为所述第一处理步骤以正确的宽高比提供所要求的数量的像素。
5.如权利要求4所述的方法，其特征在于，在所述第二处理步骤之前执行所述第三处理步骤。
6.如权利要求4所述的方法，其特征在于，当其从属于权利要求2时，其中在两个子步骤之间执行所述第三处理步骤。
7.如前述任一个权利要求中所述的方法，其特征在于，包括执行色彩数字转换步骤从而将所述侧图像的每一个色彩分量的比特深度减少为所述第一处理步骤所需的比特深度。
8.如权利要求7所述的方法，其特征在于，包括，对于所述侧图像的每一个像素，选择在所述减少的比特深度色彩空间中最近的可用的色彩，这样做存在相关的色彩误差，且优选地考虑来自于至少一个附近像素的所述或每一个色彩误差。
9.如前述任一个权利要求中所述的方法，其特征在于，所述至少一个特征包括所述侧图像的至少一个部分的，至少在预确定的色调或数据值范围内的色调和/或空间对比度。
10.如权利要求9所述的方法，其特征在于，减少在所述预确定的色调或数据范围外的对比度。
11.如权利要求10所述的方法，其特征在于，将在所述预确定的色调或数据范围外的对比度减少为零。
12.如前述任一个权利要求中所述的方法，其特征在于，所述至少一个特征包括至少在预确定饱和度范围内的所述侧图像的至少部分的饱和度和/或色彩。
13.如权利要求9、10或12所述的方法，其特征在于，所述预确定的范围是中间范围，例如整个范围的20%到80%。
14.如前述任一个权利要求中所述的方法，其特征在于，不同地处理落在人体皮肤色调范围内的侧图像像素数据和落在人体皮肤范围之外的侧图像像素数据。
15.如前述任一个权利要求中所述的方法，其特征在于，所述至少一个特征包括所述侧图像的至少一个空间特征。
16.如权利要求15所述的方法，其特征在于，所述至少一个空间特征包括边缘特征。
17.如权利要求16所述的方法，其特征在于，所述第二处理步骤包括将反锐化掩模滤波器应用到所述侧图像。
18.如前述任一个权利要求中所述的方法，其特征在于，所述第二处理步骤包括应用双线性滤波器或其他空间滤波器，该滤波器使用滤波器区域内的像素的像素数据来调节所述滤波器中的权重。
19.如前述任一个权利要求中所述的方法，其特征在于，以有损至少一个其他特征为代价强调所述至少一个特征，所述至少一个其他特征例如被认为具有较次要的视觉重要性。
20.如前述任一个权利要求中所述的方法，其特征在于，包括不同地处理所述侧图像的不同部分。
21.如权利要求20所述的方法，其特征在于，包括不同地处理文本部分与非文本部分。
22.如权利要求21的方法，其特征在于，包括用不同于在所述侧图像中所使用的字体的特别选择的字体来呈现文本。
23.如权利要求20、21或22所述的方法，其特征在于，包括不同于所述侧图像的其他部分地来处理所述侧图像中被标识为含有所述侧图像的主要主题的一个或多个部分。
24.如前述任一个权利要求中所述的方法，其特征在于，包括在所述第二处理步骤中在所述侧图像像素数据的处理中考虑到所述主图像像素数据。
25.如前述任一个权利要求中所述的方法，其特征在于，离线地执行所述第二处理步骤的至少部分。
26.如权利要求I-M中任一个所述的方法，其特征在于在线地执行所述第二处理步骤。
27.如权利要求2、或者从属于权利要求2的权利要求3到25中任一项所述的方法，其特征在于，在线地执行所述子步骤中的至少一个、且离线地执行所述子步骤中的至少一个其他子步骤。
28.如前述任一个权利要求中所述的方法，其特征在于，在所述第二处理步骤中将所述至少一个特征强调到一程度，该程度至少和如下程度一样大作为所述第一处理步骤的结果、所述至少一个特征在离轴显示的侧图像中被感知为去强调。
29.如前述任一个权利要求中所述的方法，其特征在于，所述至少一个特征在所述第二处理步骤中被强调为至少补偿作为第一处理步骤的结果在离轴显示的所述侧图像中感知到的去强调。
30.如前述任一个权利要求中所述的方法，其特征在于，所述至少一个特征在所述第二处理步骤中被强调至大于对于一图像通常将被认为是适当的程度，其中作为所述第一处理步骤的结果、该图像在离轴显示的侧图像中没有感知到的去强调。
31.如前述任一个权利要求中所述的方法，其特征在于，所述第二处理步骤包括去强调所述侧图像的的至少又一特征，所述至少又一特征当被离轴观看者所看时将从较好的侧图像中减去。
32.如前述任一个权利要求中所述的方法，其特征在于，呈现主和侧图像的时间序列， 且其中所述第二处理步骤使用来自所述序列中多个侧图像的侧图像像素数据。
33.如前述任一个权利要求中所述的方法，其特征在于，所述第二处理步骤的至少部分被结合至所述第一步骤中执行的映射。
34.如前述任一个权利要求中所述的方法，其特征在于，第二处理步骤还包括处理所述主图像的像素数据从而强调所述主图像的至少一个特征，否则作为所述第一处理步骤的结果，该特征可能在在轴显示的所述主图像中被观看者感知为去强调。
35.被设置为执行上述任一项权利要求中所述的方法的装置。
36.含有如权利要求35所述的装置的显示设备。
37.用于控制装置以执行如权利要求1到34中任一项所述的方法的程序。
38.如权利要求37所述的程序，被携载在载体媒介上，其中所述载体媒介可为存储器媒介或传送媒介。
全文摘要
提供了处理用于由显示设备的显示面板显示的图像数据的方法。该方法包括接收表示主图像的主图像像素数据和表示侧图像的侧图像像素数据。在第一处理步骤中，执行从像素数据到用于驱动显示面板的信号的映射。该映射被设置成产生主要取决于主图像像素数据的平均在轴辉度、以及至少一定程度上取决于侧图像像素数据的平均离轴辉度。在第二处理步骤中，处理所接收到的侧图像像素数据从而强调所述侧图像的至少一个特征，否则所述特征可能在作为所述第一处理步骤的结果离轴显示的所述主图像中被观看者感知为去强调。
文档编号G09G3/20GK102549643SQ20108004194
公开日2012年7月4日 申请日期2010年9月10日 优先权日2009年9月16日
发明者A·凯, A·埃文斯, B·J·布劳顿, 前田健次 申请人:夏普株式会社
技术领域：
本发明涉及用于处理供显示设备(诸如可在隐私显示模式中操作的有源矩阵显示设备)中的显示面板显示的图像数据的装置、显示设备、程序及其方法。
背景技术：
在可在公共和隐私显示模式之间转换的显示设备的第一、公共模式中，该设备一般表现为标准显示器。该设备将单个图像显示为，对于所有观看者而言有尽可能宽的观看范围、具有最优亮度、图像对比度和分辨率。在第二、隐私模式中，主图像仅在被减少的观看角度范围内可辨别，一般集中在显示表面的法线上。从在这个所减少的角度范围之外注视显示器的观看者将看到第二、遮蔽了主图像的屏蔽图像、或者是被降级为不可理解地呈现的主图像。这个概念在附图的图4中被图示，其中显示设备401的“主视图” 402仅对于显示设备401的主要用户404当他或她的眼睛接近于显示设备401的主轴时是基本可见的，且一个或多个“侧视图(side view) ”403被设计为对于假定为离轴的其他用户405而言是可见的。这个概念可被应用于很多设备，其中用户可获益于在其正常广角显示器上的隐私功能的选项，这用于期望隐私的特定公共场合。这样的设备的示例包括移动电话、个人数字助理(PDA)、膝上型计算机、台式监测仪、自动取款机(ATM)、以及电子销售点(EPOS)设备。 这样的设备还在某些时候特定观看者(例如驾驶员或那些操作重机械的人)能看到特定图像(例如，当车子在移动时车载电视屏幕)会转移注意力且因此是不安全的场合是有利的。存在一些方法用于为自然广角范围显示器增加光控制装置用于控制光的方向的一个这样的结构是“百叶窗”膜。该膜包括以类似于威尼斯百叶窗而设置的交替的透明和不透明层。类似于威尼斯百叶窗，当光在近乎平行这些层的方向行进时其允许光通过，而当光在相对于层的平面较大角度地行进时其吸收光。 这些层可垂直于膜的表面或位于某个其他角度。在旧1 27617尔.0.01%11;311 1973)、 US4766023(S.-L. Lu，3M 1988)、以及 US4764410 (R. F. Grzywinski ;3M 1988)中描述了生产这些膜的方法。存在其他方法用于制作具有与百叶窗膜类似性质的膜。这些在例如 US05147716(P. A. Bellus ；3Μ 1992)、以及 US05528319 (R. R. Austin ；Photran 公司 1996)中有描述。可将百叶窗膜置于显示面板的前面，或置于透射显示器与其背光源之间，从而限制可观看到该显示器的角度范围。换言之，这些膜使得显示器“隐私”。这些膜的主要限制在于它们要求机械操作，S卩，移除这膜，从而在公共和隐私观看模式之间改变显示器在GBM13394(aiarp，2004)中，通过对显示面板添加一个或多个额外液晶层和起偏器而构建电可切换的隐私设备。通过用已知方式电切换液晶可改变这些额外元件的本征观看角度依赖性。使用这个技术的设备包括^iarp Sh851i和Si902i移动电话。上述方法的缺点在于它们需要对显示器添加额外的装置从而提供电切换观看角度范围的功能。这增加了显示器的成本、特别是体积，这是非常不期望的，特别是在诸如移动电话和膝上型计算机之类的移动显示应用中。在US20070040780A1 (Sharp，2005)和 W02009057417A1 (Sharp，2007)中描述了通过在两个不同设置(两个都能对在轴观看者显示高质量图像)之间切换显示器的单个液晶层，从而控制LCD的观看角度性质的方法。这些设备不需要增加的显示器厚度就提供了可切换的隐私功能，不过需要复杂的像素电极设计和对标准显示器的其他制造修改。在WO 2009/069048中公开了没有增加的显示器硬件复杂性的具有隐私模式能力的显示器设备的示例。在US20090079674A1中提供了另一个这样的示例，该文献公开了显示器的隐私模式，其中不同大小的信号电压被施加至相邻像素以使这些像素的平均亮度根据显示器的伽马曲线随信号电压而变化，从而当在轴观看时显示所期望的图像，且其中当离轴观看时在特定电压范围内平均亮度处于不变大小，从而改变图像的对比度至离轴视觉不可辨别的程度。没有增加的显示器硬件复杂性的具有隐私模式能力的显示器设备的另一个示例是Siarp Sh702iS移动电话。其使用对显示于电话的IXD上的图像数据的操纵，并结合显示器中所使用的液晶模式中固有的角度数据-辉度性质，从而产生隐私模式，其中所显示的信息对于从偏离中心的位置观察显示器的观看者而言是不可辨别的。然而，在该隐私模式中显示给容许的、在轴观看者的图像的质量严重地被降低。在GBM28I52Al (在 2OO7 年 1 月 I7 日公开)和 GB 申请 GB0804022. 2 (作为 GBM57106A在2009年8月5日公开)中给出了与用在Si702iS电话上的方案相类似的方案，但是其以取决于第二、掩模图像的方式操纵图像数据，且因此导致当显示经修改的图像时，掩模图像可被离轴观看者所感知。在上述出版物中所公开的方法使用了随很多液晶显示模式(诸如先进超视觉(ASV) (IDW 02Digest, pp 203-206)或聚合物稳定定向 (PSA(SID'04 Digest,pp 1200-1203))中固有的观看角度而改变的辉度曲线的数据值的变化。显示在LC面板上的图像的数据值被以如下方式改变当从显示器前部(在轴地) 观看时，被施加在相邻像素的修改有效地抵偿，这样主图像被再现，不过当从倾斜角度(离轴地)观看时，取决于所施加的修改的程度，对于相邻像素的修改导致净辉度变化，所以可改变所感知到的图像。期望提供对在GBM^152A1和GBM57106A中所描述的方法的改进。
发明内容
根据本发明的第一个方面，提供了处理供显示设备的显示面板显示的图像数据的方法，包括接收表示主图像的主图像像素数据和表示侧图像的侧图像像素数据；在第一处理步骤中，执行所述像素数据到被用于驱动显示面板的信号的映射，其中设置所述映射从而产生主要取决于所述主图像像素数据的平均在轴辉度、以及至少一定程度取决于所述侧图像像素数据的平均离轴辉度；以及，在第二处理步骤中，处理所接收到的侧图像像素数据从而强调所述侧图像的至少一个特征，否则作为所述第一处理步骤的结果，所述特征可能在离轴显示的侧图像中被观看者感知为去强调。根据本发明的第二个方面，提供了被设置为执行处理供显示设备的显示面板显示的图像数据的方法的装置，所述方法包括接收表示主图像的主图像像素数据和表示侧图像的侧图像像素数据；在第一处理步骤中，执行所述像素数据到被用于驱动显示面板的信号的映射，其中设置所述映射从而产生主要取决于所述主图像像素数据的平均在轴辉度、 以及至少一定程度取决于所述侧图像像素数据的平均离轴辉度；以及，在第二处理步骤中， 处理所接收到的侧图像像素数据从而强调所述侧图像的至少一个特征，否则作为所述第一处理步骤的结果，所述特征可能在离轴显示的所述侧图像中被观看者感知为去强调。根据本发明的第三个方面，提供了含有根据本发明的第二方面的装置的显示设备。根据本发明的第四方面，提供了用于控制装置以执行根据本发明的第一方面的方法的程序，或者当该程序被装载至装置时，导致该装置成为根据本发明的第二或第三方面的装置或设备。该程序可被携载在载体媒介上。载体媒介可以是存储器媒介。载体媒介可以是传输媒介。本发明的上述和其它目的、特征以及优点在结合附图考虑本发明的以下详细描述时将更容易理解。附图简述
图1示意性地示出根据本发明的实施例的方法；图2示出用在本发明的实施例中的示例预处理链；图3示出基于直方图的增强的示例；图4示出从上方观察的隐私显示器以及显示器用户的示例；图5是GBM57106A所描述的显示器的示意图，且当其在隐私模式操作时可对其应用本发明的实施例；以及图6是示出由GBM57106A所描述类型的显示器提供的多个标准化的离轴与在轴
辉度曲线。实施例的描述在以前所考虑的提供隐私效果的方法中，相比于以正常观看模式操作的显示器的能力，通常以低分辨率、低比特深度以及低对比度显示侧图像。常规值包括1/4空间分辨率(即，物理显示器的可寻址像素的数量的1/4)、64色(每个像素每个色彩2比特)以及仅2 1对比度。这些数字代表以下之间的权衡⑴主视图的图像质量(ii)安全的强度 (艮口，有多么少的主图像漏至侧边)以及(iii)侧图像的图像质量。简单地将正常图像(诸如用数字照相机拍摄的图像)应用为显示在侧视图中一般产生对于侧面观看者而言较差的所感知到的质量。由于此，用户一般被呈现为对侧图像没有选择；或者对侧图像有受限选择，这些侧图像被特别地选择(可能由设备的制造者或提供者选择)从而用这样的受限的显示能力显示为可接受。类似受限的选择应用在侧图像随时间而变化的情况中从而创建“侧电影”。本申请人已经注意到，期望克服上述问题，且相应地作出允许用户选择他或她自己的照片来显示为侧图像的方案，从而个性化诸如移动电话之类的设备，同时维持合理的所感知的质量。这将扩展隐私模式的有用性，而不仅是例如作为隐私机制，和在诸如广告 (如，标记)和个性化之类的区域中提供益处。用于增强对比度、色彩饱和度、噪声移除、选择性平滑和锐化的算法已知被用于改善所感知到的图像质量。对于具有有限比特深度的显示器，抖动是已知的方法，以空间分辨率为代价来增加所显示的比特深度。对比度增强方法对于适度较低对比度的显示器是可用的，包括全局和局部地适应性辉度伸展(stretch)。通过个别地过滤每一帧或使用考虑了图像序列的3D滤波器来改进移动的图像。然而，本发明实施例下隐藏的理念是用极限参数施加图像处理(一般对于在普通设备上观看而言太强)从而增强图像以使它们可被成功地用作侧图像。在本发明的实施例中，考虑到，图像的一些精细细节和可视精妙对于其应用是不需要的，所以可以安全地忽略；且可使用更多的对比度、空间分辨率或可用色彩空间资源来增强图像的宽大的、粗略的特征。本申请申请人观察到侧图像观看者一般距离显示器相比主图像观看者而言更远一些，且只有侧图像的宽大的、粗略的特征一般是可见的。例如，侧图像观看者一般不被预计会阅读文本、而是可能阅读到较大的图标或标语。本发明的实施例提供了优势，其提供了允许用户用更大的自由度个性化他们的便携设备并仍然具有显示给定向显示器的侧边的可分辨的图像。本发明的实施例可结合在GBM57106A中所教示的显示设备而使用。GBM57106A 的显示设备在此处不详细描述，替代于此，GBM57106A的全部内容被认为结合在此。 GB0819179. 3(作为GB2464521A在2010年4月21日公开)公开了在诸如GB2457106A中所描述的隐私显示器的背景中的“图像处理滤波器”步骤，不过在这个公开中，可能导致特定色彩缺陷问题的像素数据的特定图案(pattern)在主图像数据被输入至隐私模块之前被检测到并被改变。图5示出如GBM57106A所描述的显示设备。显示设备被提供为包括用于用空间光调制显示图像的液晶显示面板2。当该设备在隐私模式中操作时，在每一帧时间段中两个图像数据组被输入至显示器控制器1中主图像数据7构成主图像，且侧图像数据8构成侧图像。然后显示器控制器1对于LC面板中的每一个像素输出一组信号数据电压、一个数据电压。显示器控制器1利用扩展的查询表格(LUT)，且LC面板中构成组合的图像的每一个像素的输出信号数据电压，取决于主7和侧8图像中相应像素的数据值(形式为图像中的空间位置)。每一个像素的输出数据电压还可取决于第三、空间依赖的、由显示器中像素的空间位置确定的参数。来自显示器控制器1的信号电压导致LC面板2显示组合的图像为宽广的锥形5角度。主观看者3所观察到的图像是可辨别的主图像，具有主图像质量的最小的劣化。然而，由于离轴观看者4的LC面板的不同伽马曲线特性，这些离轴观察者最显著地感知到侧图像，这使得主图像不明显和/或劣化，将主图像信息固定在位于显示器法线的中心处的受限锥形角度9中的观看者们。在GBM57106A中，输入和输出图像数据值之间的关系如下确定在第一步骤中，主和从属图像均具有它们的被转换为等效辉度值Mum (X，y，c)= Min (X，y,c)\SLum(x,y,c) = Sin(x, y, c) γ的像素数据值，其中Min和Sin被标准化从而具有零和一之间的值，且Y是将数据值相关于显示器辉度的指数，已知其为显示器伽马值，且一般具有2. 2的值。
在第二步骤中，主图像的这些亮度值然后被以β因子压缩并以偏置因子3提升 Mcwp(x,_y,c) = ^MZww(xj，C) + 5。侧图像中的每一个像素值被根据一因子缩放，此因
子等于被压缩的主图像的相应像素的亮度值和范围边缘(0或1中更接近的一个)之间的差异。可为任何亮度值从该值与范围中心之间的差异的r.m. s.获得这个差异。因此侧图
像亮度值被缩放为c) =、m(x,_y,C).〔0.5-V(M^(XAc)-OJ)2)可为侧数据值的经
\ο
转换的等效亮度值而指定大于零的最小值。在上述中，·^(M—O,^)-O.5)2等于 IMcmp(X，y, c)-0. 5 其为 Mcmp(x，y, c)减去 0.5之后的绝对值。在第三步骤中，现在将经压缩的主和侧图像与子像素级别上图案化的亮度的和/ 差相组合，例如使用之前所提到的空间地变化的参数。将色彩子像素分组成对，在每个对中的一像素其具有其输出亮度等于在那个像素所压缩的主和侧图像亮度之和，而另一像素其输出亮度等于所压缩的主图像亮度减去所压缩的侧图像亮度。因此，对于Sum的最大值，总是将一对中的一个修改为标准化范围的最大值或最小值(较近的那个)，而一对中的另一个被修改至相反方向。对于Min的特定值，这样的分离(split)的量由Sum的值所确定。基于GB2457106A 的 PCT/JP2008/068324 (在 2009 年9 月 11 日被公开为 WO 2009/110128)，也公开了获得准确色彩的侧图像效果的方法，其中具有每色彩2比特(总共 6比特)比特深度的侧图像被输入至控制电子元件，且四对输出值被包括在每个主图像数据值的扩展的LUT中，这些输出值对根据如下方法而被计算C (X，y, c) = Mcmp (x, y，c) 士 1 X Scmpmax (χ, y, c)，对于 Sin = 0C (x, y, c) = Mcmp (χ, y, c) 士0· 98 X Scmpmax (χ, y, c)，对于 Sin = 1C (x, y, c) = Mcmp (x，y, c) 士0. 85 X Scmpmax (x，y, c)，对于 Sin = 2C(x, y, c) = Mcmp(χ, y, c) 士0，对于 Sin = 3其中“S。mp max”是最大可用的经压缩的侧图像值，如之前所计算的，即，对于S。mp max =IMcmp(x，y, c)-0. 5|。之前所考虑的计算方法具有四个可能的侧图像值Sin = 0，1，2和3。如图6中可见，当Sin = 0时，对每一个主图像数据值使用最大分离，导致在在轴辉度范围上最低的整体离轴辉度。当Sin= 3时，不使用分离，导致在在轴辉度范围上最高的整体离轴辉度。已经发现，分别对于中间范围的侧图像值Sin = 1和2时的M。mp数据的最大可用变化的0. 98和 0. 85倍的建议值，可对于不同输入侧图像值产生离轴辉度的基本均勻的增量。这意味着，在整个在轴辉度范围上，不同的侧图像状态相对于彼此保持良好程度的成比例性。上述映射被设置为产生主要取决于主图像像素数据的平均在轴辉度，以及至少一定程度上取决于侧图像像素数据的平均离轴辉度。然而，这倾向于导致侧图像的至少一个特征在离轴显示的侧图像中被观看者感知为去强调(de-emphasized)。本发明的实施例目的在于解决这个问题，通过设置要被处理的侧图像像素数据来强调侧图像的至少一个特征，这个至少一个特征否则将在离轴显示的侧图像中被观看者感知为去强调。例如，在本发明的实施例中，所述至少一个特征被强调至至少这样大的程度在离轴显示的侧图像中被感知为去强调的程度。在本发明的实施例中，所述至少一个特征可被强调至至少补偿在离轴显示的侧图像中所感知到的去强调。在本发明的实施例中，所述至
9少一个特征可被强调至大于这样的程度对于在离轴显示的侧图像中没有所感知到的去强调的图像而言，这样的程度一般将被认为是适当的。图1是如何将本方法应用至诸如上述或在GBM57106A中进一步详细描述的具有隐私模式的设备的示意图。设备的用户界面用于允许用户可通过选择侧图像而个性化该隐私功能(步骤101)。侧图像可以是设备中的摄像头所捕捉的照片或图像、或者是以前所存储的照片或图像、或者如果该设备连接至合适网络时，侧图像可从远程图像服务器上下载。 结果是当显示器处于隐私模式时，用户想要显示作为侧图像的图像。使用各种图像处理方法对这个图像进行预先处理(步骤102)，从而增强诸如对比度、色彩空间的使用、分辨率等之类的参数，且将在下文更详细地描述。当该设备被用在隐私模式时，在步骤103中接收到的主图像，使用合适的设备的隐私机制(来自的GBM57106A示例在上文已述)，被与所处理的侧图像相结合(步骤104)。在设备上显示所得到的图像(步骤105)。可在先(离线)执行一次预先处理步骤(步骤10 ，且其结果被存储以供在组合步骤(步骤104)中稍后使用。可选地，可实时地且在需要时(在线)重复地执行预先处理步骤(步骤102)，以使在组合步骤(104)中马上使用该结果，且只有原始的侧图像需要被保留在长期存储器中。类似地，预先处理的一部分可以是离线的，一部分在线；例如，如果预先处理包括多个不同的处理步骤，那么可离线执行这些步骤中的一些，在线执行其他的。关于什么体系结构是最适合于过程的特定实现的判定，将取决于可用资源以及其他步骤的要求。图2示出用于实现图1中所示的预先处理步骤102的一个方案。用空间重采样器 202对输入图像201进行空间重采样，以使其具有用于目标设备的正确数量的像素。接下来，使用空间滤波器203来增强诸如边缘和摄像主题之类的空间特征，同时减少背景细节。 接着，使用对比度增强器204来增强对比度并完全地利用显示器的可用辉度范围。接着，色彩增强器205执行相关于色彩范围而不是对比度的类似功能。接着，使用色彩数字转换器 206来减少显示器所需要的色彩数量，并将所得到的图像输出207。下文将进一步详细地描述这些组件中的每一个。以不同顺序发生这些步骤、或者省略其中一个或多个步骤的其他实施例是可能的。就像很多图像处理应用中那样，在处理时间或所需要的电路的量和所实现的质量之间有权衡。例如，在链中之后可能发生空间降采样。这意味着在降采样之前的步骤必须以全部分辨率工作，且因此需要更多处理。然而，这对于最后图像在全分辨率图像上执行空间过滤是有利的。还有，可通过将两个或更多个步骤组合为单个步骤、将单个步骤分离为两个或更多个步骤、或者通过在这些步骤中重新分配计算，可获得同样的效果。对于那些研发与实现图像处理算法的人而言，这些重新组织是可以理解的。例如，可将对比度增强和色彩增强步骤组合为一个步骤从而共享计算的共同部分。具体而言，两者都可使用以HSV色彩空间表达的像素值。然后自然的，可仅在S和V坐标上转换为HSV—次，同时获得对比度增强和色彩增强，且然后对于剩余操作更自然的，仅转换到色彩空间中。例如，空间重采样器202可需要锐化操作作为其子步骤之一，这个子步骤，可能，可便利地被结合到空间滤波器203中。通过空间重采样器202的空间重采样减少(或增加)了图像中像素的数量，以使图像是被用作侧图像的正确尺寸。例如，相比于全显示的尺寸，侧图像一般仅具有四分之一数量的像素。在空间重采样中，可应用任何修剪或伸展来不仅获得正确数量的像素，还有正确的宽高比。可简单通过重复或修剪来实现重采样。使用诸如Lanczos滤波器之类的滤波器、双线性或双三次内插或类似精神的其他方法来获得较好的图像。重采样经常之前有低通滤波(例如，用较小的高斯内核)，且后跟锐化(例如，用反锐化的掩模)，如已知的那样。空间滤波器203的目标是强调将创建较好侧图像的图像特征、并且去强调将从较好的侧图像减去的空间图像特征。其还可移除由数字压缩所产生的伪细节。例如，可有利的是，增强定义图像的主要主题的主边缘。这个行为可用简单的锐化滤波器，诸如反锐化掩模方法，来近似。可使用检测摄像主题的更复杂的算法来引导这个步马聚ο有利的是，使用低通滤波器，将高空间频率的信息从图像背景中移除。空间滤波器可包括双线性滤波器、或者也使用滤波器区域中点的数据值来调节滤波器中权重的其他空间滤波器。该滤波器可适用于图像中的局部特征，诸如边缘的方向。在处理电影的帧的情况下，空间滤波器可结合来自电影中其他帧的数据。通过对比度增强器204的对比度增强的目的是完全地使用侧视图中可用的低对比度。期望的是使用广泛范围的灰度值，但不用过度饱和破坏太多细节。为了做到这一点， 优选的是在具有确定(或近似地确定)辉度的显式坐标的色彩空间中操作。然而，通过仅独立地在R、G以及B分量上操作可获得近似结果。如已知的那样，有很多方法来增强对比度。在图3中部分地示出一个具体方法。 原始和最终图像中的每一个像素与灰度大小相关联。例如，可在辉度(或类似量)为显式的色彩空间中表达像素，例如，CIELVb*中的L*、HSV中的V、HLS中的L、YUV中的U、YCbCr 中的Y等。然后对所有原始像素的辉度计算分布，此处被可视化为直方图(301)。在(301) 中，灰度值被缩放为0(黑)到1(白)范围内且被图示在水平轴上。选择参数来确定应该如何修改辉度。例如，图3示出的直方图中，最暗的20%像素(303)被映射为黑色，20%最亮的像素(30 被映射为白色，且剩余的60%被均勻地分布在两者之间。所得到的辉度分布此处被图示为第二直方图(30 。最终，经修改的辉度被映射回其各自像素，得到对比度增加的图像。这可被认为是色调对比度增强。可使用其他方法；具体而言，局部地增强图像区域中的对比度的是优选的。对比度增强还可能使用具有相对大值的“半径”参数的反锐化掩模滤波器；这可被认为是空间对比度增强，其中根据考虑了图像区域中的图像数据的算法，通过提高区域对比度而增强图像的整体对比度。可使用辉度的简单线性缩放(将范围之外的值映射为黑色或白色)、或伽马矫正方法，尽管结果可能较差。有利的，仅对含有摄影主题的像素强调对比度，且任选地对背景去强调对比度。有利的，取决于这个像素的色彩而强调这个像素的对比度。通过色彩增强器205的色彩增强的目的是使得色彩非自然地鲜艳，因为在步骤 104中被组合时将会损失很多这样的鲜艳度。期望的是使用广泛范围的色彩值，但不损害基本色彩。例如，红色应该继续被看成红色，即使它们相比之前被更加地饱和了。为了做到这一点，优选的是在具有确定(或近似地确定)色彩饱和度的量的显式坐标的色彩空间中操作。可以与对比度增强一样的方式来解释优选的色彩增强。在这个情况下，是每一个像素的色彩饱和度值被修改了，而不是辉度。图3可因此被重新解释为示出了每一个像素的饱和度值的伸展，尽管参数的选择可不同。对于色彩增强，取决于色彩空间的选择，可操作CIELW中的ΙΛ HSV中的S、HLS中的S等。在这个解释中，直方图(301)的水平轴从 0 (单色)变化到1 (全饱和的色彩)。因此，色彩增强的优选步骤可以是必要的话将每一个像素表示转换为色彩空间 (比如HSV)；计算S分量的分布；确定分离点；将具有低于较低分离点的S的像素映射为S =0 ；将具有高于较高分离点的S的像素映射为S = 1 ；线性地映射剩余像素的S分量，从而较低分离点映射为0，较高分离点映射为1 ；任选地将每一个像素映射回下一个步骤所需要的色彩空间。如辉度增强一样，落在预确定饱和度范围内的饱和度可被伸展为填满饱和度的整个范围；例如，较低的20%饱和度值可被映射为零饱和度值，而较高的20%饱和度值可被映射为最大饱和度值，剩余的60%均勻地分布在两者之间。如辉度增强一样，可使用其他实现，例如，对像素的HSV表示中的V分量的线性缩放，或者局部适应的方法。还可有利地在皮肤色调上更慎重地操作，这样不同地处理落在人类皮肤色调范围内的像素数据和落在人类皮肤范围外的数据，从而避免在眼睛特别关键的光谱部分过饱和。可有利地仅对含有摄影主题的像素强调色彩饱和度，且任选地对背景去强调色彩饱和度。有利的是取决于这个像素的色彩而强调这个像素的色彩饱和度。通过色彩数字转换器206的色彩数字转换的目的是将图像中的全色彩范围减少为组合器步骤204中可用的范围。例如，在隐私显示的一种类型中，在组合步骤中仅使用两个比特来表示每一个分量，侧图像像素的R、G或B。因此，将要把所使用的色彩限制为仅22x 22x 22 = 4x 4x 4 = 64种不同色彩，且这些色彩被事先确定了。数字转换的最简单的方法是仅为每一个像素选择最邻近的可用的色彩。如果有足够可用的色彩(例如，每个色彩分量有6或更多比特)，这个方法将足够良好地工作。然而，在仅64个色彩情况下，这个简单方法趋于导致色彩或辉度突然变化的可见轮廓线，即使输入图像是平滑的。数字转换的优选方法是为每一个像素选择最近的可用的色彩，不过然后记录做出这个选择中所导致的色彩误差、并在选择邻近像素值时尽力抵偿这个色彩误差(因为眼睛趋于仅看到区域上的平均值)。这是众所周知的通过错误扩散的抖动的方法。本领域技术人员还会理解的是，可在不背离由所附权利要求定义的本发明保护范围的情况下对上述实施例做出诸多修改。例如，当主图像已知时如果预先处理的至少一部分发生，有利的是考虑主图像。例如，在一些隐私显示技术中，主图像的特定图案(诸如较低亮度的区域)可导致特别差的侧视图对比度。在这样的情况下，有利的是在这样的区域中推进侧图像对比度来补偿。
在处理侧图像时，有利的是标识侧图像的类型、或者标识侧图像的不同区域的类型。可使用类型信息来控制侧图像处理步骤的顺序、种类或参数。例如，侧图像的文本部分可得益于可仅使用简单的数字转换而不是误差扩散抖动，或者得益于相比非文本部分 (即，几乎没有或没有文本的侧图像的部分)使用更极端的对比度增强。可对线条图像或卡通内容做类似的修改。在照片的情况下，可能区别于一般风景或动态照片而处理肖像。使用OCR技术可读取文本，并用为最大清晰度所特别选择的字体和色彩来呈现。可自动地、或由来自用户的提示，使用经由设备的用户界面所提供的有限数量的选择来判定侧图像的类型。照片类型还可编码为照片中的元数据，并由隐私设备所使用来引导预先处理。可完全自动地、或者用来自用户的交互来发生预先处理。因此，用户可任选地指示图像的类型，并任选地调节预先处理的参数。任选地可将每一个调节的效果显示给用户看来帮助进一步的调节。有利的是提供在预先处理之前任选地修剪图像以及重设图像大小的工具。这可在用户指导下发生，或者在一些情况下(比如检测到肖像)可自动地发生。隐私显示一般在主图像和侧图像质量之间做出一些权衡。如果权衡是使得主图像的质量欠佳，有利的是使用之前所描述的可施加于侧图像的预先处理的类型来增强主图像的至少一部分。特别地，如果主图像的对比度较低，那么可对主图像施加对比度增强。在另一个实施例中，通过将电影(视频)作为一系列连续显示的静止图像，可将电影(视频)作为侧图像。在合适时刻与主图像组合之前，可预先处理电影的每一帧(或域)，从而实现侧图像中动作的效果。经预先处理的帧可被存储用于之后使用(离线)，或者可仅即时产生用于显示(在线)然后被丢弃。可设想折衷的解决方法，其中一部分预先处理离线发生，导致部分被处理的电影的存储，且剩余的在线处理，仅即时用于显示。特定地，有利的是分析电影的内容从而离线地确定预先处理的参数，且然后在线执行预先处理。在这个实施例的扩展中，从一个或多个帧中提取数据(诸如色彩直方图信息)并被用于控制其他帧的预先处理。这允许在仅在帧显示之前发生预先处理的情况下的更有效的实现(例如，减少缓冲数据的要求)。这还允许更平滑地修改预先处理的参数以使得突然地处理变化不会发生并导致侧观看者可见的伪细节(诸如突然的色彩或亮度变化)。尽管图1的步骤102在上文被图示和描述为在组合步骤104之前的独立步骤，还可能步骤102中执行的至少一些处理被作为组合步骤104的一部分执行。例如，GBM57106A 描述了使用查询表格(LUT)来执行主图像数据和侧图像数据的组合(或映射)，且明显的是可将上述步骤102中进行的处理的至少一部分结合在LUT自身中。例如，可通过LUT映射而不是在LUT映射之前的单独步骤，有效地完成由对比度增强器204所执行的对比度增强 (其中伸展了色调范围)。这在其中被传递给组合步骤104(LUT映射)的侧图像留有相对高的比特深度的实现中是尤其可行的。在考虑图像内容来引导步骤102的实现中，可提供多个不同的LUT，其中一个可基于图像内容的分类而被选择；例如，可为“高对比度原始图像”、“低对比度原始图像”、以及“中等对比度原始图像”而提供不同LUT，每一个结合不同级别的对比度增强。作为可选的，可基于图像内容而重新分配(r印opUlate)LUT映射，尽管这可能是更加计算密集的。
可理解的是，可将本发明的一个实施例应用于除以上所述的隐私和多视图显示器上，且更特定的是除了 GBM57106A中所描述的那些的显示器。将理解的是，尽管常规的是提供能在公共和隐私模式中操作且在两个模式之间可切换的显示设备，本发明还可应用于仅能在隐私模式操作的显示设备。将理解的是，通过在设备或装置上操作的程序可控制上述组件中的一个或多个的操作。可将这样的操作程序存储在计算机可读介质上，或者，例如，被实现为诸如从因特网站点提供的可下载的数据信号之类的信号。本发明的一些实施例公开了方法，其中第二处理步骤可包括强调侧图像的多个特征中的每一个的子步骤。本发明的一些实施例公开了方法，其包括在第一和第二不同的各自色彩空间中执行第一和第二组的子步骤，其中每一组包括一个或多个子步骤。本发明的一些实施例公开了方法，其可包括，在第三处理步骤中，空间地重采样所述侧图像从而为所述第一处理步骤以正确的宽高比提供所要求的数量的像素。本发明的一些实施例公开了方法，其中第三处理步骤可在第二处理步骤之前被执行。本发明的一些实施例公开了方法，其中第三处理步骤可在两个子步骤之间被执行。本发明的一些实施例公开了方法，包括进行色彩数字转换步骤从而将所述侧图像的每一个色彩分量的比特深度减少为所述第一处理步骤所需的比特深度。本发明的一些实施例公开了方法，其可包括，对于所述侧图像的每一个像素，选择在所述减少的比特深度色彩空间中最近的可用的色彩，这样做存在相关的色彩误差，且优选地考虑来自于至少一个附近像素的所述或每一个色彩误差。本发明的一些实施例公开了方法，其中，至少一个特征包括所述侧图像的至少一个部分的，至少在预确定的色调或数据值范围内的色调和/或空间对比度。本发明的一些实施例公开了方法，其中，可减少落在预确定的色调或数据范围之外的对比度，例如，减少到零。本发明的一些实施例公开了方法，其中，至少一个特征包括所述侧图像的至少一个部分的，至少在预确定的饱和度范围内的饱和度和/或色彩。本发明的一些实施例公开了方法，其中，预确定的范围是中间范围，例如整个范围的 20%到 80%。本发明的一些实施例公开了方法，其中，不同地处理落在人体皮肤色调范围内的侧图像像素数据和落在人体皮肤范围之外的侧图像像素数据。本发明的一些实施例公开了方法，其中，至少一个特征包括所述侧图像的至少一个空间特征。本发明的一些实施例公开了方法，其中，至少一个空间特征包括边缘特征。本发明的一些实施例公开了方法，其中，第二处理步骤包括将反锐化掩模滤波器应用到所述侧图像。本发明的一些实施例公开了方法，其中，第二处理步骤包括应用双线性滤波器或其他空间滤波器，该滤波器使用滤波器区域内的像素的像素数据来调节所述过滤器中的权重。本发明的一些实施例公开了方法，其中，以有损至少一个其他特征为代价强调所述至少一个特征，所述至少一个其他特征例如被认为具有较次要的视觉重要性。例如，以有损向着范围的较低和较高端部的对比度为代价可增强中间范围的对比度。本发明的一些实施例公开了方法，其可包括不同地处理所述侧图像的不同部分。本发明的一些实施例公开了方法，其可包括不同地处理不同地处理文本部分与非文本部分。本发明的一些实施例公开了方法，其可包括用不同于在所述侧图像中所使用的字体的特别所选择的字体来呈现文本。本发明的一些实施例公开了方法，其可包括不同于所述侧图像的其他部分地来处理所述侧图像中被标识为含有所述侧图像的主要主题的一个或多个部分。本发明的一些实施例公开了方法，其可包括在所述第二处理步骤中在所述侧图像像素数据的处理中考虑到所述主图像像素数据。本发明的一些实施例公开了方法，其中，离线地执行所述第二处理步骤的至少一部分。本发明的一些实施例公开了方法，其中在线地执行整个第二处理步骤。本发明的一些实施例公开了方法，其中在线地执行所述子步骤中的至少一个、且离线地执行所述子步骤中的至少一个其他子步骤。本发明的一些实施例公开了方法，其中，在第二处理步骤中将至少一个特征强调至一程度，该程度至少和如下程度一样大作为所述第一处理步骤的结果，在离轴显示的侧图像中，该至少一个特征被感知为去强调。本发明的一些实施例公开了方法，其中，至少一个特征可在所述第二处理步骤中被强调为至少来补偿作为第一处理步骤的结果、离轴地显示的所述侧图像中所感知到的去强调。本发明的一些实施例公开了方法，其中，所述至少一个特征在所述第二处理步骤中被强调至的程度大于对于一图像通常将被视为适当的程度，作为所述第一处理步骤的结果、该图像在离轴显示的侧图像中没有感知到的去强调。本发明的一些实施例公开了方法，其中，第二处理步骤包括去强调所述侧图像至少一个其他特征，其在被离轴观察者所看时将从较好的侧图像中减去。本发明的一些实施例公开了方法，其中，可表现(present)主和侧图像的时间序列，且其中所述第二处理步骤使用来自所述序列中多个侧图像的侧图像像素数据。本发明的一些实施例公开了方法，其中，第二处理步骤的至少一部分被结合至所述第一步骤中执行的映射。在第一处理步骤之前执行第二处理步骤，或者第二处理步骤被至少部分地结合到在第一处理步骤中执行的映射中。本发明的一些实施例公开了方法，其中，第二处理步骤还可包括处理所述主图像的像素数据从而强调所述主图像的至少一个特征，否则作为所述第一处理步骤的结果，所述特征可能在离轴显示的所述主图像中被观看者感知为去强调。本发明的一些实施例公开了装置，该装置被由用于控制该装置执行根据上述方法的方法的程序、或者当被下载至装置中导致该装置成为根据本发明的上述装置或设备的程序所编程。该程序可被携载在载体媒介上。载体媒介可以是存储器媒介。载体媒介可以是传输媒介。本发明的一些实施例公开了存储媒介，其含有用于控制该装置执行根据上述方法的方法的程序、或者当被下载至装置中导致该装置成为根据本发明的上述装置或设备的程序。该程序可被携载在载体媒介上。载体媒介可以是存储器媒介。载体媒介可以是传输媒介。所附权利要求被解释为覆盖操作程序本身、或者被解释为载体上的记录、或者被解释为信号、或者其他形式。此外，示出一组功能或步骤的任何附图应该被解释为还示出用于执行这些各自功能或步骤的相应组部件，或者类似地，示出用于执行这些各自功能或步骤的一组部件的任何附图应该被解释为还示出了功能或步骤的相应集合。
权利要求
1.处理用于供显示设备的显示面板显示的图像数据的方法，包括接收表示主图像的主图像像素数据和表示侧图像的侧图像像素数据；在第一处理步骤中，执行所述像素数据到被用于驱动所述显示面板的信号的映射，其中设置所述映射从而产生主要取决于所述主图像像素数据的平均在轴辉度、以及至少一定程度取决于所述侧图像像素数据的平均离轴辉度；以及，在第二处理步骤中，处理所接收到的侧图像像素数据从而强调所述侧图像的至少一个特征，否则作为所述第一处理步骤的结果，该特征可能在离轴显示的所述侧图像中被观看者感知为去强调。
2.如权利要求1所述的方法，其特征在于，所述第二处理步骤包括对于所述侧图像的多个被强调特征的每一个的子步骤。
3.如权利要求2所述的方法，其特征在于，包括在第一和第二不同的各自色彩空间中执行第一和第二组的子步骤，其中每一组包括一个或多个子步骤。
4.如前述任一个权利要求中所述的方法，其特征在于，包括，在第三处理步骤中，空间地重采样所述侧图像从而为所述第一处理步骤以正确的宽高比提供所要求的数量的像素。
5.如权利要求4所述的方法，其特征在于，在所述第二处理步骤之前执行所述第三处理步骤。
6.如权利要求4所述的方法，其特征在于，当其从属于权利要求2时，其中在两个子步骤之间执行所述第三处理步骤。
7.如前述任一个权利要求中所述的方法，其特征在于，包括执行色彩数字转换步骤从而将所述侧图像的每一个色彩分量的比特深度减少为所述第一处理步骤所需的比特深度。
8.如权利要求7所述的方法，其特征在于，包括，对于所述侧图像的每一个像素，选择在所述减少的比特深度色彩空间中最近的可用的色彩，这样做存在相关的色彩误差，且优选地考虑来自于至少一个附近像素的所述或每一个色彩误差。
9.如前述任一个权利要求中所述的方法，其特征在于，所述至少一个特征包括所述侧图像的至少一个部分的，至少在预确定的色调或数据值范围内的色调和/或空间对比度。
10.如权利要求9所述的方法，其特征在于，减少在所述预确定的色调或数据范围外的对比度。
11.如权利要求10所述的方法，其特征在于，将在所述预确定的色调或数据范围外的对比度减少为零。
12.如前述任一个权利要求中所述的方法，其特征在于，所述至少一个特征包括至少在预确定饱和度范围内的所述侧图像的至少部分的饱和度和/或色彩。
13.如权利要求9、10或12所述的方法，其特征在于，所述预确定的范围是中间范围，例如整个范围的20%到80%。
14.如前述任一个权利要求中所述的方法，其特征在于，不同地处理落在人体皮肤色调范围内的侧图像像素数据和落在人体皮肤范围之外的侧图像像素数据。
15.如前述任一个权利要求中所述的方法，其特征在于，所述至少一个特征包括所述侧图像的至少一个空间特征。
16.如权利要求15所述的方法，其特征在于，所述至少一个空间特征包括边缘特征。
17.如权利要求16所述的方法，其特征在于，所述第二处理步骤包括将反锐化掩模滤波器应用到所述侧图像。
18.如前述任一个权利要求中所述的方法，其特征在于，所述第二处理步骤包括应用双线性滤波器或其他空间滤波器，该滤波器使用滤波器区域内的像素的像素数据来调节所述滤波器中的权重。
19.如前述任一个权利要求中所述的方法，其特征在于，以有损至少一个其他特征为代价强调所述至少一个特征，所述至少一个其他特征例如被认为具有较次要的视觉重要性。
20.如前述任一个权利要求中所述的方法，其特征在于，包括不同地处理所述侧图像的不同部分。
21.如权利要求20所述的方法，其特征在于，包括不同地处理文本部分与非文本部分。
22.如权利要求21的方法，其特征在于，包括用不同于在所述侧图像中所使用的字体的特别选择的字体来呈现文本。
23.如权利要求20、21或22所述的方法，其特征在于，包括不同于所述侧图像的其他部分地来处理所述侧图像中被标识为含有所述侧图像的主要主题的一个或多个部分。
24.如前述任一个权利要求中所述的方法，其特征在于，包括在所述第二处理步骤中在所述侧图像像素数据的处理中考虑到所述主图像像素数据。
25.如前述任一个权利要求中所述的方法，其特征在于，离线地执行所述第二处理步骤的至少部分。
26.如权利要求I-M中任一个所述的方法，其特征在于在线地执行所述第二处理步骤。
27.如权利要求2、或者从属于权利要求2的权利要求3到25中任一项所述的方法，其特征在于，在线地执行所述子步骤中的至少一个、且离线地执行所述子步骤中的至少一个其他子步骤。
28.如前述任一个权利要求中所述的方法，其特征在于，在所述第二处理步骤中将所述至少一个特征强调到一程度，该程度至少和如下程度一样大作为所述第一处理步骤的结果、所述至少一个特征在离轴显示的侧图像中被感知为去强调。
29.如前述任一个权利要求中所述的方法，其特征在于，所述至少一个特征在所述第二处理步骤中被强调为至少补偿作为第一处理步骤的结果在离轴显示的所述侧图像中感知到的去强调。
30.如前述任一个权利要求中所述的方法，其特征在于，所述至少一个特征在所述第二处理步骤中被强调至大于对于一图像通常将被认为是适当的程度，其中作为所述第一处理步骤的结果、该图像在离轴显示的侧图像中没有感知到的去强调。
31.如前述任一个权利要求中所述的方法，其特征在于，所述第二处理步骤包括去强调所述侧图像的的至少又一特征，所述至少又一特征当被离轴观看者所看时将从较好的侧图像中减去。
32.如前述任一个权利要求中所述的方法，其特征在于，呈现主和侧图像的时间序列， 且其中所述第二处理步骤使用来自所述序列中多个侧图像的侧图像像素数据。
33.如前述任一个权利要求中所述的方法，其特征在于，所述第二处理步骤的至少部分被结合至所述第一步骤中执行的映射。
34.如前述任一个权利要求中所述的方法，其特征在于，第二处理步骤还包括处理所述主图像的像素数据从而强调所述主图像的至少一个特征，否则作为所述第一处理步骤的结果，该特征可能在在轴显示的所述主图像中被观看者感知为去强调。
35.被设置为执行上述任一项权利要求中所述的方法的装置。
36.含有如权利要求35所述的装置的显示设备。
37.用于控制装置以执行如权利要求1到34中任一项所述的方法的程序。
38.如权利要求37所述的程序，被携载在载体媒介上，其中所述载体媒介可为存储器媒介或传送媒介。
全文摘要
提供了处理用于由显示设备的显示面板显示的图像数据的方法。该方法包括接收表示主图像的主图像像素数据和表示侧图像的侧图像像素数据。在第一处理步骤中，执行从像素数据到用于驱动显示面板的信号的映射。该映射被设置成产生主要取决于主图像像素数据的平均在轴辉度、以及至少一定程度上取决于侧图像像素数据的平均离轴辉度。在第二处理步骤中，处理所接收到的侧图像像素数据从而强调所述侧图像的至少一个特征，否则所述特征可能在作为所述第一处理步骤的结果离轴显示的所述主图像中被观看者感知为去强调。
文档编号G09G3/20GK102549643SQ20108004194
公开日2012年7月4日 申请日期2010年9月10日 优先权日2009年9月16日
发明者A·凯, A·埃文斯, B·J·布劳顿, 前田健次 申请人:夏普株式会社
最新回复(0)