图像处理方法、介质和系统的制作方法

xiaoxiao2020-6-26  12

专利名称:图像处理方法、介质和系统的制作方法
技术领域
本发明的一个或多个实施例涉及一种图像处理方法、介质和系统,更具 体地说,本发明涉及一种能够使以低功耗显示的图像的亮度保持与正常功耗 显示的亮度相似的图像处理方法、介质和系统。
背景技术
近来,广泛使用诸如移动电话、PDA (个人数字助理)或PMP (便携式
多媒体播放器)的便携式终端。尽管这种便携式终端是可移动的,但是它们 通常具有有限的供电。即使如此,用户通常还想在不充电或不更换电池的情
况下长时间使用便携式终端。因此,围绕减小便携式终端的功耗的技术已变
得很重要。
然而,功耗增加的一个原因在于便携式终端的显示器的驱动单元消耗了 大量功率。为了减小便携式终端的功耗,已经提出在节能模式期间减小显示 器的光源(例如,LCD的背光)的亮度。在这种情况下,利用这种节能模式, 本发明的发明者已经感到仍然期望得到一种就像在正常模式下显示图像一 样,以与原始显示相同或相似的亮度来显示相同图像的图像处理方法。

发明内容
本发明的一个或多个实施例的一方面在于当以低功耗显示时增强图像的 亮度。
将在接下来的描述中部分阐述本发明另外的方面和/或优点,还有一部分 通过描述将是清楚的,或者可以经过本发明的实施而得知。
为了实现上述和/或其他方面和优点,本发明的实施例包括一种图像处理 方法,所述方法包括基于输入图像的亮度直方图的特征执行将输入图像分
类为预定图像类别;以及基于与输入图像的分类结果相应的亮度加权函数和 像素的各个位置来调整输入图像的像素的亮度,从而将输入图像分类为预定 图像类别之一通过应用所述预定图像类别之一的相应亮度加权函数来控制输 入图像的像素的亮度调整。
为了实现上述和/或其他方面和优点,本发明的实施例包括一种图像处理
系统,所述系统包括分类单元,基于输入图像的亮度直方图的特征执行将 输入图像分类为预定图像类别;以及亮度调整单元,基于与分类单元的结果 相应的亮度加权函数和像素的各个位置来调整输入图像的像素的亮度,从而 由分类单元将输入图像分类为预定图像类别之一通过应用所述预定图像类别 之一 的相应亮度加权函数来控制由亮度调整单元调整输入图像的像素的亮 度。


通过下面结合附图对实施例进行的描述,上述和/或其他方面和优点将会 变得清楚并更加容易理解,其中
图1示出根据本发明的实施例的图像处理系统;
图2示出根据本发明的实施例的分类单元(诸如图1的分类单元);
图3示出任意输入图像的亮度直方图4示出根据本发明的实施例的表示图像类别的特征的亮度直方图; 图5示出根据本发明的实施例的诸如通过图2的选择单元选择图像类别 的操作处理;
图6是示出根据本发明的实施例的使用TMF的亮度改变率的曲线图; 图7示出根据本发明的实施例的亮度调整单元;
图8示出根据本发明的实施例的将待分配的可变增益映射到构成输入图 像的像素的示例;
图9示出根据本发明的实施例的对比度调整单元; 图10示出根据本发明的实施例的目标像素和包括目标像素的遮罩 (mask)的平均亮度;
图11示出根据本发明的实施例的饱和度调整单元;以及 图12示出根据本发明的实施例的图像处理过程。
具体实施例方式
现将详细描述本发明的实施例,其示例在附图中表示,其中,相同的标 号始终表示相同的部件。对此,可以以多种不同形式实施本发明的实施例, 并且不应该本发明的实施例解释为限制到在此阐述的实施例。因此,下面通 过参照附图仅描述实施例,以解释本发明的各方面。
图1示出根据本发明的实施例的图像处理系统100。例如,图像处理系
统100可包括分类单元110、亮度调整单元120、对比度调整单元130和饱 和度调整单元140。例如,图像处理系统100可以是显示器或者被安装在显 示器内,或者图像处理系统100可以是包括显示器的终端,并且图像处理系 统100还可基于显示器的供电模式或输入图像的亮度分布特性来控制输入图 像的亮度。在一个实施例中,显示器是LCD显示器,并且亮度的控制是图像 的亮度控制。然而,注意本发明的实施例不限于此,并且可用不同的显示 器类型和/或不同的亮度控制来阐述实施例。
例如,分类单元IIO可根据输入图像的亮度分布将输入图像分为多种图 像类别。更具体地说,例如,分类单元110可在具有不同特性的多个图像类 别中将输入图像分类为具有与输入图像的亮度直方图的特征最相似的特征的 图像类别。这里,图像类别是指表示各种图像的亮度分布特性的模型,并且 可在分类之前预设图像类别的类型和数量。以下,仅作为示例,将通过参照 图2至图5更加详细地讨论分类单元110。
图2示出根据本发明的实施例的分类单元110 (诸如图1的分类单元)。 例如,分类单元110可包括直方图产生单元210、特征提取单元220和选 择单元230。
直方图产生单元210可产生表示输入图像的亮度分布的亮度直方图。为 了产生亮度直方图,可计算输入图像的像素的亮度值。作为示例,例如,可 通过使用NTSC (国家电视系统委员会)标准计算等式(诸如下面的等式1 ) 来计算亮度值。
等式l:
Y = 0.288R + 0.587G + 0.114B
这里,R、 G和B分别表示目标像素(例如,其亮度值正被计算的像素) 的红色分量值、绿色分量值和蓝色分量值,Y表示目标像素的亮度值。这里, 简要地,注意当基于RGB彩色空间表示输入图像的颜色时可使用等式1。
如果基于不同类型的彩色空间表示输入图像的颜色,则可使用不同的技术计 算亮度值。因此,由于本发明的实施例不限于这种亮度值计算技术,因此即
使可以以RGB彩色空间表示输入图像,但是例如可使用除了 NTSC标准计算 等式之外的不同亮度值计算技术。例如,如果以已经包括亮度值的彩色空间 表示输入图像,则可省略计算亮度值的过程。
图3示出任意输入图像的亮度直方图,图3的亮度直方图的水平轴表示 亮度值。例如,如果输入图像是8位图像,则亮度值可以是0至255范围内 的值。此外,亮度直方图的垂直轴表示与亮度值相应的像素频率。这里,术 语像素频率与具有相应亮度值的像素的数量相应。
再次参照图2,特征提取单元220可提取亮度直方图(例如,由直方图 产生单元210提供的)的特征。例如,参照的亮度直方图的特征是能够用于 确定输入图像的图像类别的参数,并且可从一个亮度直方图提取多个特征。 在一个实施例中,可在分类之前(例如,图像处理系统100的设计阶段期间) 预定可用作亮度直方图的特征的潜在参数。现将参照图3更加详细地描述根 据实施例表示亮度直方图的示例参数。
如图3所示,例如,可将亮度范围划分为低级带、中级带和高级带,注 意还可利用其他的划分技术。在这个示例中,亮度范围是指对每个像素可 用的灰度级(grayscale)的数量。例如,构成8位图像的像素可具有0至255 之间范围内的亮度值。因此,在这个示例中,8位图像的亮度范围是0至255 之间。
所述带之间的边界可被设置为优选的位置,例如,所述优选的位置可通 过分类之前的实验确定,从而所述位置可表示亮度直方图的特征。例如,低 级带和中级带之间的边界L可被设置在亮度范围的较低的25% (例如,在8 位图像的情况下,亮度值可以是63),中级带和高级带之间的边界H可被设 置在亮度范围的较高的25%(例如,在8位图像的情况下,亮度值可以是191 )。
例如,表示亮度直方图的特征的参数的示例可包括HighSUM、 LowSUM、 MiddleSUM、 Mean、 ZeroBin和动态范围(以下,称为DR)。
HighSUM是指可包括在高级带中的像素的数量,LowSUM是指可包括 在低级带中的像素的数量,MiddleSUM是指可包括在中级带中的像素的数量。 Mean是指构成图像的像素(例如,所有像素)的亮度值的平均(以下,称为 平均亮度值)。 DR指示亮度直方图的亮度值的有效范围,并被定义为Max-Min。在这 种情况下,Max是指当从低亮度值顺序累加亮度值的频率,频率的和变为例 如亮度直方图面积的1 %时的亮度值。Min是指当从高亮度值顺序累加亮度值 的频率,频率的和变为亮度直方图面积的1%时的亮度值。例如,在图3的 亮度直方图中,如果第一区域310面积是亮度直方图总面积的1%,则Max 是Y1,如果第二区域320面积是亮度直方图总面积的1%,则Min是Y2。 因此,例如,可由Yl-Y2表示这个亮度直方图的DR。
ZeroBin是指在具有其频率小于参考值的亮度值的亮度范围中像素的数 量,例如,所述参考值是与中级带中的亮度值相应的频率的平均的10%。
参照图2,选择单元230可通过分析例如特征提取单元220提取的亮度 直方图的特征来选择具有与输入图像的特征相似的特征(例如,最相似的特 征)的图像类别。在图4中示出根据此实施例表示图像类别的特征的示例亮 度直方图(以下,称为代表性直方图)。
参照图4的代表性直方图,将描述图像类别的亮度特征。示出的图像类 别A表示中级带中的像素数量大于低级带和高级带中的像素数量的图像。示 出的图像类别B表示高级带中的像素数量大于其他带中的像素数量的图像, 示出的图像类别C表示低级带中的像素数量大于其他带中的像素数量的图 像。示出的图像类别D表示大部分像素分布在高级带和低级带中的高对比度 图像。示出的图像类别E表示像素均匀分布在所有带中的图像,示出的图像 类别F表示亮度值离散分布的图像,就像绘图产生的图像。这里,注意图 4示出的图像类别的代表性直方图仅是示例性的,同样可使用具有不同亮度 特性的可选和/或其他图像类别。
如上所述,当用于分类输入图像的亮度直方图的特征是HighSUM、 LowSUM、 MiddleSUM、 Mean、 ZeroBin和DR,并且图像类别具有图4所示 的亮度特性时,在图5的流程图中可以看出用于选择图像类别的操作处理(例 如,选择单元230的^t喿作处理)的示例性实施例。
如所示,在操作S510,可确定输入图像的HighSUM和LowSUM是否等 于或小于输入图像的像素总数量的25%。在操作S510,如果输入图像的 HighSUM和LowSUM等于或小于输入图像的像素总数量的25%,则在操作 S515,还可以确定MiddleSUM是否大于HighSUM与LowSUM之和的125%。 这里,在操作S515,如果MiddleSUM大于HighSUM与LowSUM之和的125%,
则在操作S520,可选择例如图像类别A。
相反,在操作S515,如果MiddleSUM不大于HighSUM与LowSUM之 和的125%,则在操作S525,可确定ZeroBin是否大于例如通过将MiddleSUM 乘以0.5获得的值。这里,在操作S525,如果ZeroBin大于通过将MiddleSUM 乘以0.5获得的值,则在操作S530,可选择例如图像类别F,如果ZeroBin 不大于通过将MiddleSUM乘以0.5获得的值,则在操作S535,可选择例如图 像类别E。
然而,在操作S510,如果输入图像的HighSUM和LowSUM不小于等于 输入图像的像素总数量的25%,则在操作S540,例如,可确定HighSUM和 LowSUM是否大于输入图像的像素总数量的25%,例如,包括在DR中的像 素的数量是否大于像素总数量的90%。在操作S540,如果HighSUM和 LowSUM大于输入图像的像素示例总数量的25%,并且包括在DR中的像素 的数量大于像素示例总数量的90%,则在操作S545,可选择例如图像类别D。
在操作S540,如果HighSUM和LowSUM不大于输入图像的像素示例总 数量的25%,并且包括在DR中的像素的数量不大于像素示例总数量的90%, 则在操作S550,则确定Mean是否大于例如通过将亮度范围乘以0.45获得的 值,并且小于例如通过将亮度范围乘以0.55获得的值。这里,如果在操作S550 确定Mean大于例如通过将亮度范围乘以0.45获得的值,并且小于通过将亮 度单位范围0.55获得的值,则在操作S535,可选择例如图像类别E。
相反,如果Mean不大于例如通过将亮度范围乘以0.45获得的值,或者 不小于例如通过将亮度范围乘以0.55获得的值,则在操作S555,确定ZeroBin 是否大于例如MiddleSUM的0.5倍。这里,在操作S555如果ZeroBin大于 MiddleSUM的0.5倍,则在操作S530,可选择例如图像类别F。
否则,如果ZeroBin不大于MiddleSUM的0.5倍,则在操作S560,可确 定HighSUM是否大于例如像素的示例总数量的25%,并且LowSUM是否等 于或小于像素的示例总数量的25%。这里,在操作S560,如果HighSUM大 于像素的示例总数量的25%,并且LowSUM等于或小于像素的示例总数量的 25%,则在操作S565,可选择例如图像类别B。
在操作S560,如果HighSUM不大于像素的示例总数量的25%,或者 LowSUM不小于等于像素的示例总数量的25%,则可确定HighSUM是否小 于像素的示例总数量的25%,或者LowSUM是否等于或大于像素的示例总数
量的25%。在操作S570,如果HighSUM小于像素的示例总数量的25%,并 且LowSUM等于或大于像素的示例总数量的25%,则在操作S575,可选择 例如图像类别C。
相反,在操作570,如果HighSUM不小于像素的示例总数量的25%,或 者LowSUM不大于等于像素的示例总数量的25%,则在操作580,可确定 Mean是否小于例如将像素范围乘以0.5获得的值。这里,在操作580,如果 Mean小于将像素范围乘以0.5获得的值,则在操作S520,可选择例如图像类 别A,否则,在操作S535,可选择例如图像类别E。
图5显示的图像类别选择处理的描述仅是一个示例,本发明的实施例不 限于此,例如,还可使用其他分类技术。
再次参照图1,亮度调整单元120可根据供电模式和输入图像的图像类 别例如通过控制图像的亮度来调整输入图像的亮度。在这种情况下,供电模 式可指示对图像处理系统100可安装在其中的显示器或显示作为其中一部分 的系统实施例的可用功率量。例如,在正常功率模式下,可以以最大功耗等 级驱动显示器,而在低功率模式下,可将显示器的功耗减小到预定的较小功 率等级。当然,低功率模式还可根据减小的功耗率被划分各种功率模式。例 如,如果减小的功耗率是30%,则相应模式可被称为第一低功率模式,并且 如果减小的功耗率是60%,则相应模式可被称为第二低功率模式,注意其 他实施例同样可用。
亮度调整单元120还可使用与输入图像的图像类别相应的TMF(色调映 射函数(Tone Mapping Function))以有效地以低功耗等级显示图像。TMF是 用于表示在低功耗等级,在相应图像类别中调整图像亮度的最优模式的函数, 并且提供与输入亮度值相应的输出亮度值。在可预先在亮度调整单元120中 设置调整之前可通过实验获得TMF。
图6是示出根据本发明的实施例的使用TMF的示例性亮度改变率。图6 的亮度改变率曲线图与图4示出的六个图像类别相应,水平轴表示输入亮度 值,在假设6位图像的情况下由0至63之间的范围表示,曲线图的垂直轴表 示与输入亮度值相应的亮度改变率。参照图6,现将描述改变输入图像的亮 度的示例。例如,当确定输入图像落入图像类别E内时,具有亮度值43的像 素的亮度增加率被显示为0.14。因此,例如,调整的相应像素的亮度可被计 算为43+ (43*0.14) = 49。
以下,参照图7和图8,将更加详细地描述亮度调整单元120的示例。
图7示出根据本发明的实施例的诸如图1所示的亮度调整单元120。这 里,例如,亮度调整单元120可包括固定增益处理单元710、可变增益处理 单元720和切换单元730。
例如,固定增益处理单元710可使用基于功率减小率与输入图像的图像 类别相应的TMF确定的固定增益来调整输入图像的亮度值。在一个实施例 中,例如,可由下面的等式2来表示固定增益处理单元710调整的亮度值。
等式2:
Y丁mf—out = Y;n + (AY丁mf x GtmF) 这里,YTw。ut是依据以低功耗显示图像的示例输出亮度值,Ym是输入
亮度值。此外,例如,AYTMF是与输入图像的图像类别相应的TMF的亮度增
加率,并且由图6的曲线图的垂直轴表示。GTMF与减小的供电率相应,并且 可将相同值的GTMF应用于构成单个输入图像的所有像素。当然,在实施例中, GTMF可根据功率减小率变化。例如,随着功率减小率增加,显示器的光源(例 如,LCD的背光)亮度可被减小。因此,GTMF可随着功率减小率的增加而增 加,从而图像的亮度可被增加。在实施例中,可通过实验预设与减小的供电 率相应的优选固定增益。
例如,可变增益处理单元720可使用根据图像中像素的位置和与输入图 像的图像类别相应的TMF确定的可变增益来调整输入图像的亮度值。在实施 例中,例如,可由下面的等式3来表示可变增益处理单元720调整的亮度值。
等式3:
Y丁mf—out = Yin + (AYtmf x again(x, y))
这里,YTMF—。ut、 Y^和AYtmf与等式2中定义的相同。在等式3中,变量
x和y表示图像中正在被处理的像素(以下,称为目标像素)的坐标,agam(x, y)表示可变增益,并且可基于图像中目标像素的空间位置而变化。
在实施例中,优选地,可以以减小的功率等级来保持输出亮度值,并通 过使图像的中心的可变增益为0来保持输入亮度值彼此相等,并且通过使外 圆周的可变增益最大来增加亮度增加率。此外,可变增益沿中心和外圓周之 间的区域向外圆周变大,从而防止由于图像的亮度值的陡然变化引起的图像 失真。
根据本发明的实施例,为了计算满足上述条件的可变增益,可使用反高
斯函数。例如,可由下面的等式4来表示根据本发明的实施例的高斯函数。
等式4:<formula>formula see original document page 14</formula>
这里,"width"和"height"分别表示图像的水平大小和垂直大小,A和 B表示根据输入图像的宽高比将高斯函数变为椭圆类型的常数。此外,例如, 可由下面的等式5表示从等式4的高斯函数归一化的反高斯函数。
等式5:<formula>formula see original document page 14</formula>如果使用等式5的反高斯函数,则例如,还可由下面的等式6来表示可 变增益。
等式6:<formula>formula see original document page 14</formula>
这里,MAXg^表示与输入图像的图像类别相应的最大增益,并且可被 预设为具有调整输入图像的亮度的适合值,例如通过实验确定。例如,如果 最大增益MAXg血是4,并且输入图像的大小为15x20,则在图8示出的遮 罩中显示可被分配给构成输入图像的像素的可变增益的示例。在图8中,示 出的加权的块与构成输入图像800的像素相应,并且块内的加权表示可分配 给相应像素的可变增益。如图8所示,可分配给输入图像800的中心区域的 可变增益可以是O,而沿输入图像800的外圓周的可变增益是4,作为最大增 益。因此,在这个示例中,从中心区域到外圆周区域分配给像素的可变增益 乂人0增力口到4。
在实施例中,切换单元730可根据功率模式和输入图像的图像类别来控 制固定增益处理单元710和可变增益处理单元720的4喿作。此外,可从内部 或通过外部模块(未显示)来获得关于功率模式的信息。例如,可通过控制 上述示例显示器的控制单元(未显示)来获得关于功率模式的信息。
根据本发明的实施例,例如,图像处理系统IOO可优选地当显示器在低 功耗模式下操作时(即,当减小显示器的功耗等级时)进行操作。因此,在 没有减小功耗等级的示例正常功率模式下,切换单元730可使示例的固定增 益处理单元710和可变增益处理单元720无效,因为例如当在正常功率模式
下增加输入图像的亮度时,输出图像实质上可能变得失真。
在示例低功率模式下,在这个实施例中,切换单元730可使固定增益处
理单元710和可变增益处理单元720之一有效。如果功率减小率不大于阈值, 则切换单元730可^^固定增益处理单元710有效。当固定增益处理单元710 增加输入图像的亮度时(例如,当使用等式2时),即使在低功耗等级下,也 可显示具有与正常功率模式下的亮度相似的亮度的图像。
然而,随着功率减小率的增加,可引起固定增益处理单元710中使用的 固定增益增加。因此,如果功率减小率超过阈值,则对于输入图像的亮度的 增加量可能变得相当大。在这种情况下,由于亮度值变得饱和,因此图像的 可观测清晰度可变低。具体地,如果布置在输入图像的中心的多数像素具有 高亮度值,则由于固定增益处理单元710处理的结果图像质量很容易恶化(其 中,功率减小率大于阈值)。
因此,如果功率减小率大于示例阈值,则切换单元730可使可变增益处 理单元720有效。如上所述,可变增益处理单元720才艮据图像中的位置改变 将分配给目标像素的增益。因此,由于可控制可变增益处理单元720处理的 输出图像的中心,使其具有与输入图像的中心相同的亮度,因此可控制图像 的清晰度不恶化,此外,例如由于人类视觉特性的原因,图像的外圓周可能 不太重要,因此可变增益处理单元720可将外圆周的增益设置得较高,以提 高图像的亮度而不是其清晰度。在这种情况下,用户感知的图像的亮度接近 正常功耗时图像的亮度。此外,由于从图像的中心到外圓周,增益逐渐增加, 因此可以防止在调整的图像内亮度的陡然变化引起的图像失真。
另外,或可选,如果功率减小率大于阈值,则切换单元730可使固定增 益处理单元710有效,以处理包括在特定图像类别中的输入图像。例如,参 照图4,图像类别D可表示多数像素集中在亮度范围的两端的图像,图像类 别F可表示多数像素相应于特定亮度值而离散分布的图像。因此,如果图像 落入上述图像类别D和F,并且由可变增益处理单元720处理所述图像,则 图像失真可能变得更大。例如,落入上述图像类别D或F的图像实际上可具 有特技图像或者可表示特定图形的图像。因此,切换单元730可选择性地使 固定增益处理单元710有效,以处理包括在这种图像类别中的输入图像。
再次参照图1,对比度调整单元130可调整由亮度调整单元120处理的 图像的对比度。为此处理,对比度调整单元130可基于构成输入图像的像素
的亮度特征来确定每个调整的像素的最终亮度值。以下,将参照图9和图10
更加详细地描述对比度调整单元130的实施例。
图9示出根据本发明的实施例的诸如图1所示的对比度调整单元130。 例如,对比度调整单元130可包括像素分类单元910和对比度提高单元920。
像素分类单元910可基于亮度特征将输入图像的像素分类。根据一个实 施例,可将像素分类为三个示例组,目标像素的全局对比度率和局部对比度 率可被用作分类标准。
全局对比度率可以是输入图像的平均亮度值与目标像素的亮度值的比 率,例如,可由下面的等式7表示。
等式7:
这里,Cont是指全局对比度率,y,是指输入图像的平均亮度值," 是 指目标像素的亮度值。!^和i;是在输入图像被亮度调整单元120处理之前从 输入图像预先确定的值。
如果目标像素的全局对比度率大于1,则可意味着该目标像素属于输入 图像中的暗像素。在这种情况下,像素分类单元910可将该目标像素分类为 全局暗像素(GDP)。相反,如果目标像素的全局对比度率不大于1,则可确 定该目标像素属于输入图像中的亮像素。在这种情况下,像素分类单元910 可将该目标像素分类为全局亮像素(GLP )。
因此,这里,像素分类单元910可基于局部对比度率将被分类为GLP的 像素再分类。当使用由亮度调整单元120处理的结果作为参考时,局部对比 度率是指目标像素的亮度和包括在包括目标像素的预定大小的遮罩中的像素 的平均像素值之间的比率。例如,如图10所示,当使用具有3x3大小的遮 罩时,在遮罩中呈现9个像素,并且目标像素被布置在遮罩的中心。例如, 可由下面的等式8来表示根据这个实施例的局部对比度率。
等式8:
在等式8中,Qmw是指局部对比度率,y,」^,是指包括在包括目标
像素的遮罩中的像素的平均亮度值,y,,是指目标像素的亮度值。例如,
y,,(^和y,,,是在输入图像被亮度调整单元!20处理之后从输入图像确
定的值,
像素分类单元910可将局部对比度率大于1的目标像素分类为局部暗像
素(LDP),将局部对比度率不大于1的目标像素分类为局部亮像素(LLD)。 对比度提高单元920可改变像素分类单元910分类的像素的亮度值,以 提高图像的对比度。对比度提高单元920减小通过亮度调整单元120获得的 被分类为GDP的像素的亮度值。优选地,在实施例中,被分类为GDP的像 素的亮度值减小量与全局对比度率成比例,例如,可由下面的等式9来表示。 等式9:
Yout = Ytmf—out_ (Ytmf—out x otGDpxCont)
这里,Y。ut是指最终亮度,例如,如对比度提高单元920所输出,YTMF。ut 是指目标像素的亮度值,例如,如亮度调整单元120处理所获得,ocgdp是在 调整之前可被预设的加权,例如,通过实验获得。Cont指示可使用例如上述 等式7计算的全局对比度率。
然而,对比度提高单元920减小被分类为GDP的像素中被再分类为LDP 的像素的亮度值,并且增加被再分类为LLP的像素的亮度值。可通过对比度 提高单元920调整被分类为GDP的像素的亮度值,例如,可由下面的等式 10来表示。
等式10:
Yout = Y丁MF一out + a
这里,Y。ut是指最终亮度值,例如,如对比度提高单元920所输出,YTMF—。ut 是指目标像素的亮度值,例如,如亮度调整单元120所处理,a是指亮度的偏 差(其为实数),在实施例中优选地是整数。如果目标像素被分类为LDP,则 a可以是负值,否则,如果目标像素被分类为LLP,则a可以是正值。
此外,这里,例如,可设置a使得当使用由对比度提高单元920最终处 理的亮度值时的局部对比度率(以下,称为最终局部对比度率)与当使用初 始输入图像的亮度值时的局部对比度率(以下,称为初始局部对比度率)彼 此相等。因此,例如,初始局部对比度率和最终局部对比度率可分别由下面 的等式11和等式12来表示。
等式ll:
这里,c。"、是指初始局部对比度率,i;一,是指包括在遮罩中的像素
的平均亮度值," 是指目标像素的亮度值。可通过初始输入图像获得i;,(, 和&。
等式12:
<formula>formula see original document page 18</formula>
这里,C。《(w是指最终局部对比度率,1W —屮j和iW,可与等式
8中相同,a是指被分类为GLP的像素的亮度值的偏差,如上面等式10所
述。此外,(e可指遮罩的大小。
如上所述,可设置被分类为GLP的像素的亮度值偏差a,使得初始局部
对比度率和最终局部对比度率彼此相等。因此,例如,当使用上面的等式ll
和12来计算表达式Contt。ta—h,^Con^时,可使用例如下面的等式13来获 j曰付a。
等式13:
再次参照图1,饱和度调整单元140可调整对比度调整单元130处理的 图像的饱和度。这是由于为了在低功耗下执行,饱和度随着输入图像的亮度 总体增加而相对减少。例如,如图ll所示,饱和度调整单元140可包括转换 单元1110、皮肤(skin)颜色提取单元1120和饱和度提高单元1130。
转换单元1110可将输入图像的彩色空间转换为能够表示饱和度分量的 彩色空间。例如,转换单元1110可将输入图像转换为基于HVS彩色空间的 输入图像。
皮肤颜色提取单元1120可从输入图像提取皮肤颜色区域。在HSV彩色 空间的情况下,可通过使用色调和饱和度来提取皮肤颜色。例如,在这种情 况下,可在阈值范围内通过色调和饱和度预先设置皮肤颜色。此外,可根据 使用上述显示器的用户的目的任意设置皮肤颜色。
饱和度提高单元1130可提高输入图像的饱和度。通过使用饱和度提高单 元1130,因此可补偿由亮度调整单元120和对比度调整单元130处理的输入 图像的减少的饱和度。因此,饱和度提高单元1130可减小皮肤颜色区域中的 对比度提高度以防止皮肤颜色的恶化,并且增加除了皮肤颜色区域之外的区 域中的对比度提高度。例如,饱和度提高单元1130可使用下面的等式14和
等式15,以增加输入图像的饱和度。等式14可用于具有皮肤颜色的像素, 等式15可用于具有除了皮肤颜色之外的颜色的像素,注意其他方案同样可 用。
等式14:
S。ut = Sin + (Sin .OC)
等式15:
S。ut = Sin + (Sin 'P)
这里,S。ut是将被输出的最终饱和度值,Sin是输入饱和度值,此外,例
如,oc和(3是例如通过实验适当地预设的饱和度增加率,优选地(3可大于a。
以下,参照图12,将更加详细地描述根据本发明的实施例的诸如具有图 1的图像处理单元100的操作的图像处理操作。
在搡作S1210,当提供输入图像和输入图像可用时,分类单元110可基 于输入图像的亮度特征将输入图像分类为图像类别。
其后,在操作1220,例如,可通过亮度调整单元120确定输入图像的图 像类别是否落入特定图像类别。在这种情况下,所述特定图像类别可与包括 异常亮度信息的图像类别(诸如参照图4描述的上述图像类别D或F)相应, 并且可在调整之前被预定。
在操作S1220,如果输入图像的图像类别落入特定图像类别,则在操作 S1230,例如,可通过亮度调整单元120使用固定增益来调整输入图像的亮度。 相反,在操作S1220,如果输入图像的图像类别没有落入特定图像类别范围 内,则在操作S1240,例如,可通过亮度调整单元120使用可变增益来调整 输入图像的亮度。更具体地说,在实施例中,通过参照图7描述的固定增益 处理单元710来执行操作S1230,通过参照图7描述的可变增益处理单元720 来执行操作S1240。
其后,在操作1250,可调整处理的输入图像(例如,如亮度调整单元120 所处理)的对比度,在操作1260,可调整处理的输入图像(例如,如对比度 调整单元130处理之后)的饱和度。上面已经全面地描述了通过对比度调整 单元130和饱和度调整单元140执行的示例输入图像处理过程,因此将省略 对其进一 步的详细描述。
在上面的描述中,例如,图像处理系统100的部件可由模块来实现。所
述模块可指硬件部件,诸如现场可编程门阵列(FPGA)或专用集成电路 (ASIC),并执行操作。然而,所述模块不限于软件和/或硬件方面。模块还 可被配置为安装在可寻址的存储介质上,或可被配置为驱动一个或多个处理 器上。因此,举例来说,模块可以包括诸如软件组件、面向对象的软件组 件、类组件和任务组件的组件、进程、函数、属性、过程、子程序、程序代 码段、驱动程序、固件、微码、电路、数据、数据库、'数据结构、表、数组 和变量。在组件和模块中提供的功能可被组合为更少的组件和模块,或者可 进一 步被分离成另外的组件和模块。
除上述实施例之外,还可在介质(例如,计算机可读介质)中/上通过计 算机可读代码/指令来实现本发明的实施例,以控制至少一个处理部件来实施 任意以上描述的实施例。所述介质可与任何允许计算机可读代码的存储、传 输和/或实现的介质/媒体相应。因此,介质可仅是本发明的另一系统实施例。
可以以各种方式将计算机可读代码在介质上记录/传送,所述介质的示例 包括诸如磁存储介质(例如,ROM、软盘、硬盘等)和光存储介质(例如, CD-ROM或DVD )的记录介质,以及传输媒体,诸如承载或包括载波的媒体, 以及互联网元素。因此,例如,根据本发明的实施例,所述介质可以是包括 或承载信号或信息的这样定义且可测量的结构,诸如承载比特流的装置。所 述媒体还可以是分布网络,从而可按分布方式来存储/传送和执行计算机可读 代码。此外,仅作为示例,处理部件可包括处理器或计算机处理器,并且处 理部件可分布和/或包括在单个装置中。
如上所述,根据包括图像处理方法、介质和系统的本发明的一个或多个 实施例,可以以与正常功率环境充分相似的亮度在低功率环境中观看显示的 图像。
尽管已经参照本发明的不同实施例具体显示和描述了本发明的各个方 面,但是应该理解,这些示例性实施例可被认为仅是描述性的而不是限制的 目的。 一个实施例中的一方面的功能或性能的任何范围缩小或放宽应该被认 为是不同实施例中的相似特性的各个范围放宽或缩小,即,每个实施例内的 多个特征或各方面的描述通常应该被认为对剩余实施例中其他的相似的多个 特征或各方面可用。
因此,尽管已经显示和描述了一些实施例,但是本领域的技术人员应该
理解,在不脱离本发明的原理和精神的情况下,可对这些实施例进行改变, 本发明的范围在权利要求以及等同物中限定。
权利要求
1、一种图像处理方法,包括基于输入图像的亮度直方图的特征执行将输入图像分类为预定图像类别;以及基于与输入图像的分类结果相应的亮度加权函数和像素的各个位置来调整输入图像的像素的亮度,从而将输入图像分类为预定图像类别之一通过应用所述预定图像类别之一的相应亮度加权函数来控制输入图像的像素的亮度调整。
2、 如权利要求l所述的方法,其中,亮度加权函数是灰度级函数,并且 输入图像的像素的亮度调整步骤调整执行图像处理方法的系统内逐个提供给 LCD显示器的每个像素的亮度。
3、 如权利要求l所述的方法,其中,调整亮度的步骤包括增加像素的 亮度,以与基于作为相应亮度加权函数的灰度级函数的亮度增加率和与像素 的相对位置相应的增益成比例。
4、 如权利要求3所述的方法,其中,所述增益随着像素的相对位置接近 输入图像的中心部分而减小,随着像素的相对位置接近输入图像的外圆周部 分而增力口。
5、 如权利要求3所述的方法,其中,所述增益与具有与像素的相对位置 相应的坐标变量的反高斯函数成比例。
6、 如权利要求l所述的方法,其中,当在用于显示输入图像的显示器的 正常功率等级之下的功率等级,显示器的功率减小率大于阈值时,执行亮度调整。
7、 如权利要求l所述的方法,其中,调整亮度的步骤包括 当分类的预定图像类别的结果与第一图像类别或第二图像类别相应时,,使用与输入图像的分类的预定图像类别结果相应的灰度级函数和与分类的图 像类别结果相应的固定增益来增加输入图像的像素的亮度,其中,第一图像 类别表示具有大于第一参考亮度值的亮度值的多个像素和具有小于第二参考 亮度值的亮度值的多个像素大于任意比率的图像,第二图像种类表示像素离 散分布在一些像素值的图像;以及当分类的预定图像类别的结果不与第一图像类别和第二图像类别相应 时,基于与分类的预定图像类别结果相应的灰度级函数和像素的相对位置来 增加输入图像的像素的亮度。
8、 如权利要求1所述的方法,还包括在调整像素的亮度之后调整输入图像的对比度。
9、 如权利要求8所述的方法,其中,调整对比度的步骤包括 当输入图像的第一平均亮度值大于相应像素的第一亮度时,根据第二亮度值来减小所述相应像素的亮度,其中,第 一平均亮度值和相应像素的第 一亮度基于像素的亮度调整之前 观察的输入图像的亮度值,第二亮度值基于像素的亮度调整之后观察的输入 图像的亮度值。
10、 如权利要求9所述的方法,其中,根据第二亮度值减小所述相应像 素亮度的减小量与第一平均亮度值和第一亮度值之间的对比度率成比例。
11、 如权利要求9所述的方法,其中,调整对比度的步骤还包括当第 一平均亮度值不大于第二亮度值时,增加所述相应像素的亮度,以使包括在 至少包围相应像素的预定大小遮罩中的像素的第二平均亮度值和第二亮度值 之间的对比度率与遮罩包围的像素的第三平均亮度值和第三亮度值之间的对 比度率相匹配,以及第三平均亮度值基于像素亮度调整之前观察的输入图像的亮度值。
12、 如权利要求8所述的方法,其中,在调整输入图像的对比度之后,调整输入图像的饱和度。
13、 如权利要求12所述的方法,其中,调整饱和度的步骤包括相应于调整了对比度的输入图像中先前设置的 色调和饱和度来增加皮肤颜色区域的饱和度以及除了皮肤颜色区域之外的彩 色区域的饱和度,除了皮肤颜色区域之外的颜色区域的饱和度增加率大于皮肤颜色区域的 饱和度增加率。
14、 一种图^f象处理系统,包括分类单元,基于输入图像的亮度直方图的特征执行将输入图像分类为预 定图像类别;以及亮度调整单元,基于与分类单元结果相应的亮度加权函数和像素的各个 位置来调整输入图像的像素的亮度,从而由分类单元将输入图像分类为预定 图像类别之一通过应用所述预定图像类别之一的相应亮度加权函数来控制由 亮度调整单元调整输入图像的像素的亮度。
15、 如权利要求14所述的系统,其中,亮度调整单元增加像素的亮度, 以与基于作为相应亮度加权函数的灰度级函数的亮度增加率和与像素的相对 位置相应的增益成比例。
16、 如权利要求15所述的系统,其中,所述增益随着像素的相对位置接 近输入图像的中心部分而减小,随着像素的相对位置接近输入图像的外圓周 部分而增加。
17、 如权利要求15所述的系统,其中,所述增益与具有与像素的相对位 置相应的坐标变量的反高斯函数成比例。
18、 如权利要求14所述的系统,其中,当在还包括在系统中的显示器的 正常功率等级之下的功率等级,显示器的功率减小率大于阈值时,亮度调整 单元调整亮度。
19、 如权利要求14所述的系统,其中,亮度调整单元包括固定增益处理单元,当分类的预定图像类别的结果与第 一图像类别或第 二图像类别相应时,使用与输入图像的分类的预定图像类别结果相应的灰度 级函数和与分类的图像类别结果相应的固定增益来增加输入图像的像素的亮 度,其中,第一图像类别表示具有大于第一参考亮度值的亮度值的多个像素 和具有小于第二参考亮度值的亮度值的多个像素大于任意比率的图像,第二 图像种类表示像素离散分布在一些像素值的图像;以及可变增益处理单元,当分类的预定图像类别的结果不与第一图像类别和 第二图像类别相应时,基于与分类的预定图像类别结果相应的灰度级函数和 与像素的相对位置相应的可变增益来增加输入图像的像素的亮度。
20、 如权利要求14所述的系统,还包括对比度调整单元,在调整像素的亮度之后调整输入图像的对比度。
21、 如权利要求20所述的系统,其中,当输入图像的第一平均亮度值大 于相应像素的第一亮度时,对比度调整单元根据第二亮度值来减小相应像素 的亮度,其中,第 一平均亮度值和相应像素的第 一亮度基于像素的亮度调整之前 观察的输入图像的亮度值,第二亮度值基于像素的亮度调整之后观察的输入 图像的亮度值。
22、 如权利要求21所述的系统,其中,根据第二亮度值减小相应像素亮 度的减小量与第一平均亮度值和第一亮度值之间的对比度率成比例。
23、 如权利要求21所述的系统,其中,当第一平均亮度值不大于第二亮 度值时,对比度调整单元增加相应像素的亮度,以使包括在至少包围相应像 素的预定大小遮罩中的像素的第二平均亮度值和第二亮度值之间的对比度率 与遮罩包围的像素的第三平均亮度值和第三亮度值之间的对比度率相匹配,第三平均亮度值基于像素亮度调整之前观察的输入图像的亮度值。
24、 如权利要求20所述的系统,还包括饱和度调整单元,在调整输入图像的对比度之后,调整输入图像的饱和度。
25、 如权利要求24所述的系统,其中,相应于调整了对比度的输入图像中先前设置的色调和饱和度,饱和度调 整单元增加皮肤颜色区域的饱和度以及除了皮肤颜色区域之外的彩色区域的 饱和度,除了皮肤颜色区域之外的颜色区域的饱和度增加率大于皮肤颜色区域的 饱和度增加率。
全文摘要
一种图像处理方法、介质和系统。所述图像处理方法包括基于输入图像的亮度直方图的特征将输入图像分类为预定图像类别;以及基于与图像类别相应的灰度级函数和构成输入图像的像素的位置来调整输入图像的亮度。
文档编号G09G5/10GK101169930SQ20071016748
公开日2008年4月30日 申请日期2007年10月25日 优先权日2006年10月25日
发明者朴斗植, 李承信, 洪智暎, 赵良镐 申请人:三星电子株式会社

最新回复(0)