应用处理器、片上系统及操作方法
【专利说明】
[0001] 本申请要求于2014年10月7日提交的第10-2014-0135086号韩国专利申请的优 先权,该韩国专利申请的公开通过引用全部合并于此。
技术领域
[0002] 发明构思的实施例设及集成电路,更具体地讲,设及能够基于图像分辨率共享资 源的应用处理器。发明构思的其它实施例设及包括运种应用处理器的装置。
【背景技术】
[0003] 很多当代显示器能够W多于一个的分辨率来显示图像。接收根据不同分辨率限定 的图像数据的概率对图像处理系统中的处理器造成了增加的处理负担。图像数据的大小是 分辨率的函数,并且分辨率变得越大,由显示器提供的性能和带宽变得越发重要。组成显示 的大分辨率增加了功耗。为了减少功耗,增加了存储器至存储器传输的使用。
[0004] 为了通过即时(on-the fly)操作来缩小图像,主管缩放器必须按固定数据率从存 储器读取大量数据,并对运些数据进行缩放(放大或缩小)。关于缩放器的缩小率可W基于 缩放器的内部吞吐量(throu曲put)而被限制。当缩放器的内部吞吐量增加而使缩小率增 加时,缩放器的产生的布局区域增大。因此,与缩放器和/或包含缩放器的应用处理器的相 关联的制造成本提高。
【发明内容】
阳0化]在一个实施例中,本发明构思提供了一种应用处理器,所述应用处理器包括:第一 缩放器,包括第一垂直缩放器和第一水平缩放器;第二缩放器,包括第二垂直缩放器和第二 水平缩放器,其中,第二垂直缩放器在第一缩放器与第二缩放器之间被共享。
[0006] 在另一个实施例中,本发明构思提供了一种片上系统,所述片上系统包括:图像 源,提供包括第一图像、第二图像和第Ξ图像的图像,并且第一图像、第二图像和第Ξ图像 均具有包括第一图像类型和第二图像类型的多个图像类型中的一种;第一缩放器,包括第 一垂直缩放器和第一水平缩放器;第二缩放器,包括第二垂直缩放器和第二水平缩放器,其 中,当确定第一图像和第二图像分别是第一图像类型时,第一垂直缩放器对与第一图像相 应的第一组的像素进行垂直缩放,并且并行地,第二垂直缩放器对与第二图像相应的第二 组的像素进行垂直缩放,当确定第Ξ图像是第二图像类型时,第一垂直缩放器与第二垂直 缩放器一起对与第Ξ图像相应的第Ξ组的像素进行垂直缩放。
[0007] 在另一实施例中,本发明构思提供了一种操作包括具有N个直接存储器存取 (DMA)控制器、开关矩阵和Μ个缩放器的处理器的图像处理系统的方法,其中,Μ个缩放器中 的每个缩放器包括垂直缩放器和水平缩放器,且'Ν'和'Μ'是大于2的自然数。所述方法 包括如下步骤:将来自图像源的图像提供给处理器;基于图像的分辨率确定针对图像的图 像类型;响应于图像类型的确定而产生选择信号;响应于选择信号,而配置开关矩阵W选 择性地配置DMA控制器和缩放器的布置来处理图像;其中,当确定图像是第一图像类型时, DMA控制器和缩放器的布置包括Q个DMA控制器、Q个垂直缩放器和Q个水平缩放器,其中, 'Q'是小于N和Μ的自然数,当确定图像是第二图像类型时,DMA控制器和缩放器的布置包 括R个DMA控制器、P个垂直缩放器和R个水平缩放器,其中,'R'是小于Q的自然数,'P' 是大于R的自然数。
【附图说明】
[0008] 通过下面结合附图对实施例的描述,本发明构思的运些和/或其它方面和优点将 变得清楚且更加易于理解,其中,在附图中:
[0009] 图1是示出根据本发明构思的实施例的图像处理系统的框图;
[0010] 图2是进一步描述图1中示出的缩放器的对具有第一分辨率的图像进行缩放的操 作的框图;
[0011] 图3是进一步描述图1中示出的缩放器的对具有比第一分辨率大的第二分辨率的 图像进行缩放的操作的框图;
[0012] 图4是示出图1中示出的垂直缩放器的操作的概念图;
[0013] 图5是示出根据本发明构思的另一实施例的图像处理系统的框图;
[0014] 图6是概括如在图1和图5中示出的实施例那样的根据本发明构思的实施例的图 像处理系统的操作的流程图;
[0015] 图7是示出根据本发明构思的又一实施例的图像处理系统的框图;
[0016] 图8是进一步描述图7中示出的缩放器的对均具有第一分辨率的图像进行缩放的 操作的框图;
[0017] 图9是进一步描述图7中示出的缩放器的对均具有第二分辨率的图像进行缩放的 操作的框图;
[0018] 图10是示出根据本发明构思的又一实施例的图像处理系统的框图;W及
[0019] 图11是描述与时钟信号相关的像素处理的概念图。
【具体实施方式】
[0020] 现在将参照示出本发明构思的实施例的附图来描述本发明构思的一些附加细节。 但是,本发明构思可各种不同形式实现,且不应被解释为仅限于示出的实施例。相反, 提供运些实施例使得本公开将是彻底和完整的,并将本发明构思的范围充分传达给本领域 技术人员。贯穿附图和说明书,同样的标号和标记被用于指示同样或相似的元件。
[0021] 将理解,当元件被称作"连接"或"结合"到另一元件时,该元件可直接连接或结合 到另一元件,或可存在中间元件。相反,当元件被称作"直接连接"或"直接结合"到另一元 件时,不存在中间元件。如在此使用的,术语"和/或"包括一个或更多个相关所列项的的 任意组合和所有组合,并可被缩写为"/"。
[0022] 将理解,虽然在此可使用术语第一、第二等来描述各种元件,但是运些元件不应受 运些术语所限制。运些术语仅用于将一个元件与另一元件区分。例如,在不脱离本公开的 教导的情况下,第一信号可被称为第二信号,且相似地,第二信号可被称为第一信号。
[0023] 在此使用的术语仅用于描述特定实施例的目的,而不意图限制本发明构思。如在 此使用的,除非上下文另外清楚地指出,否则单数形式还意图包括复数形式。将进一步理解 的是,术语"包括"或"包含"在本说明书中使用时,表明存在所陈述的特征、区域、整体、步 骤、操作、元件和/或组件,但是不排除一个或更多个其它特征、区域、整体、步骤、操作、元 件、组件和/或组它们的组的存在或添加。
[0024] 除非另外限定,否则在此使用的所有术语(包括技术术语和科学术语)具有与本 发明构思所属的领域的普通技术人员所通常理解的含义相同含义。还将理解的是,术语 (例如在通常使用的词典中限定的术语)应被解释为具有与在相关领域和/或本申请的上 下文中它们的意思相一致的意思,并且除非在运里明确运样限定,否则将不被解释为理想 化或过于形式化的含义。
[0025] 图1是示出根据本发明构思的实施例的图像处理系统的框图。参照图1,图像处理 系统100-般包括处理电路110和存储器112。图像处理系统100可W是个人计算机(PC)、 桌上型计算机、膝上型计算机、工作站计算机或便携式(或移动)计算装置,而便携式计算 装置可被实现为移动电话、智能电话、平板PC、移动互联网装置(MID)、多媒体装置、数码相 机、摄像机或可穿戴计算机。
[0026] 处理电路110可被实现为集成电路(1C)、片上系统(SoC)、应用处理器(AP)或移 动AP。图1中示出的处理电路110 -般包括处理器120和系统存储器122。但是,在本发 明构思的特定实施例中,处理电路110还将包括调制解调器124。运里,处理器120可被实 现为1C、AP或应用AP。经由调制解调器124接收的数据可在控制器240的控制下被存储 在系统存储器122中。在下面的描述中,假设:存储在系统存储器122中的数据包括与图形 IM1、IM2和IM3对应的图像数据组。
[0027] 处理器120可包括多个DMA控制器(诸如,DMA控制器130-1和130-2)及第一缩 放器132-1、第二缩放器132-2、选择电路134和选择信号产生电路136。第一 DMA控制器 130-1可用于从系统存储器122读取具有第一分辨率的第一图像IM1或具有不同于(例如, 大于)第一分辨率的第二分辨率的第Ξ图像IM3。在读取第一图像IM1或第Ξ图像IM3之 后,第一 DMA控制器130-1将第一图像IM1或第Ξ图像IM3传输到选择电路134。例如,第 一图像IM1可W是高清晰度(皿)图像,而第Ξ图像IM3可W是超高清晰度扣皿)图像,但 是本发明构思的范围不仅限于运种图像分辨率关系。
[0028] W相似方式,第二DMA控制器130-2可用于从系统存储器122读取具有第一分辨 率的第二图像IM2,并将第二图像IM2传输到选择电路134。因此,单个图像帖可包括第一 图像IM1和第二图像IM2。
[0029] 虽然图1中仅示出了两似个DMA控制器130-1和130-2 W及两似个缩放器 132-1和132-2,但是本发明构思的实
施例可包括任意合适数量的DMA控制器和缩放器,而 使用的DMA控制器的数量可W与缩放器的数量不同或相同。
[0030] 选择信号产生电路136可用于基于将被处理器120处理的图像IMUIM2和IM3中 的每个图像的分辨率而确定图像IMUIM2和IM3中的每个图像的类型,并且响应于该确定, 选择信号产生电路136将产生相应的选择信号SEL。图像IMUIM2和IM3中的每个图像可 被缩放器132-1和132-2中的每个缩放器即时缩放(例如,缩小或放大)。
[0031] "第一类型图像"可在图像(例如,图像IM1和IM2中任意一个)具有第一分辨率时 被确定,而"第二类型图像"可在图像(例如,图像IM3)具有第二分辨率时被确定。为此,多 于两(2)个的图像分辨率可被选择信号产生电路确定为多于两(2)个的相应图像类型。选 择信号产生电路136可基于从"图像源"(诸如,存储器112、系统存储器122和/或调制解 调器123)传输的图像的分辨率来确定图像类型,并产生与确定结果相应的选择信号SEL。 在本发明构思的包括相机的特定实施例中,相机例如可W是提供图像的图像源。
[0032] 图1中示出的存储器112可被实现为硬盘驱动器(皿D)、固态驱动器(SSD)、安全 数字(SD)卡、多媒体卡(MMC)、嵌入式MMC(eMMC)、通用串行总线扣SB)闪速驱动器或通用 闪速存储器扣SF)。在本发明构思的特定实施例中,存储器112将为可移除的存储器。
[0033] 系统存储器122可被实现为随机存取存储器(RAM)、动态RAM值RAM)、静态 RAM (SRAM)、闪速存储器、相变RAM (PRAM)、电阻式RAM (RRAM)和/或自旋转移力矩随机存取 存储器(STT-MRAM)。
[0034] 图1中示出的选择信号产生电路136包括控制器240、中央处理单元仰U) 242和 选择信号产生器244。运里,控制器240可被用于基于将被处理器120处理的图像的分辨 率来确定图像类型,并传输与由CPU 242所产生的确定结果相应的"图像类型信息"。转而, CPU 242基于图像类型信息将"选择信息"传输到选择信号产生器244。在特定实施例中, 选择信号产生器244可被实现为存储与选择信息相关联的数据的寄存器(例如,特定功能 寄存器-SFR),并且在运种情况下,寄存器可被用于基于由CPU 242提供的选择信息产生选 择信号沈L。
[0035] 此外,CPU 242可被用于基于由控制器240产生的图像类型信息来控制DMA控制 器130-1和130-2的操作(例如,启用/停用)。启用的DMA控制器可在CPU 242的控制下 读取或提取(fetch)存储在系统存储器122中的与图像IMUIM2和IM3中的每个图像相应 的图像数据(或像素)。例如,作为图1中示出的工作示例的扩展,当使用第一分辨率产生 的图像将被处理器120处理时,选择信号产生电路136可将具有第一电平(例如,逻辑低电 平或比特值为'〇')的选择信号SEL输出给选择电路134。但是,当使用第二分辨率产生的 图像将被处理器120处理时,选择信号产生单元136可将具有第二电平(例如,逻辑高电平 或比特值为'1')的选择信号沈L输出给选择电路134。
[0036] 在图1中,选择电路134包括第一选择器230、第二选择器232、第Ξ选择器234、 第四选择器236和分配器231。在图1的示出实施例中,第一选择器230、第二选择器232、 第Ξ选择器234被实现为多路复用器(multiplexer),而第四选择器236被实现为分路器 (demultiplexer)。
[0037] 图2是描述图1中示出的缩放器的对具有第一分辨率的图像进行缩放的操作的框 图。当选择信号产生电路136被假设为输出低选择信号EL时,可通过下面结合图1和图2 的描述理解第一缩放器132-1和第二缩放器132-2的操作。 阳03引 当将被处理器120处理的图像具有第一分辨率时,DMA控制器130-1和DMA控制 器130-2中的每个被CPU 242启用。此外,假设:DMA控制器130-1和DMA控制器130-2中 的每个包括能够存储包括在图像IM1和图像IM2中的每个图像的一行或更多个行中的像素 的存储器(或缓冲器),W减少针对系统存储器122的读取存取频率。
[0039] 第一 DMA控制器130-1通过第一选择器230连接到第一垂直缩放器210,而第二 DMA控制器130-2通过第二选择器232连接到第二垂直缩放器220。运里,第一垂直缩放器 210通过第Ξ选择器234连接到第一水平缩放器214,第二垂直缩放器220通过第四选择器 236连接到第二水平缩放器224。
[0040] 在第一垂直缩放器210、第一水平缩放器214、第二垂直缩放器220和第二水平缩 放器224之中,第一水平缩放器214具有最大的像素吞吐量,运里,"像素吞吐量"由每时钟 周期处理的像素的数量限定。
[0041] 因此,第一水平缩放器214将被设计为使像素吞吐量最大化,而剩余的缩放器 210、220和224之中的第二垂直缩放器220将被设计为基于将被缩放的图像的分辨率而与 第一缩放器132-1 -起使用。因此,根据本发明构思的实施例的处理器120或处理电路110 可基于将被缩放的图像的分辨率而有效地调整若干个资源(例如,缩放器)。
[0042] 第一 DMA控制器130-1可从系统存储器122读取(或提取)具有第一分辨率的第 一图像IM1,并将提取的第一图像IM1通过第一选择器230传输到第一垂直缩放器210。与 第一 DMA控制器130-1的运种操作并行地,第二DMA控制器130-2可从系统存储器122提 取具有第一分辨率的第二图像IM2,并通过第二选择器232将提取的第二图像IM2传输到第 二垂直缩放器220。此时,第一图像IM1和第二图像IM2可组成一个帖,其中,第一图像IM1 和第二图像IM2中的每个图像可包括多个像素。在本文中,"像素"可被理解为具有具体格 式(例如,RGB格式、YCb化格式或YUV格式)的图像数据。此外,多个像素可被理解为W与 图像相应的设置的图像数据布置在多个行中。
[0043] 继续参照图1和图2,第一垂直缩放器210可将包括在从第一 DMA控制器130-1传 输的第一图像IM1中的像素存储在第一行存储器(line memory) 212中,对存储在第一行存 储器212中的像素执行垂直缩放,并通过第Ξ选择器234将垂直缩放的像素传送到第一水 平缩放器214。与第一垂直缩放器210的操作并行地,第二垂直缩放器220可将包括在从第 二DMA控制器130-2传输的第二图像IM2中的像素存储在第二行存储器222中,对存储在 第二行存储器222中的像素执行垂直缩放,并通过第四选择器236将垂直缩放的像素传送 到第二水平缩放器224。
[0044] 第一水平缩放器224可对通过第Ξ选择器234接收到的垂直缩放的像素执行水平 缩放,并输出产生的水平缩放的像素 SIM11。与第一水平缩放器214的操作并行地,第二水 平缩放器224可对通过第四选择器236接收到的垂直缩放的像素执行水平缩放,并输出产 生的水平缩放的像素 SIM12。 W45] 如上所述,当选择信号产生电路136产生第一电平(低('L'))选择信号沈L时, 缩放器132-1和132-2中的每个缩放器可独立地对与第一图像IM1和第二图像IM2相应的 像素进行垂直和水平缩放,W产生垂直和水平缩放的像素 SIM11和SIM12。缩放器132-1和 132-2中的每个可执行放大(增大)操作或缩小(减小)操作。
[0046] 图3是图1中示出的缩放器的对具有比第一分辨率大的第二分辨率的图像进行缩 放的操作的框图。图4是进一步描述图1中示出的垂直缩放器的操作的概念图。当假设选 择信号产生电路136输出高选择信号SEL时,可从下面结合图1、图3和图4的描述理解缩 放器132-1和132-2的操作。当将被处理器120处理的图像的分辨率是第二分辨率时,仅 第一 DMA控制器130-1被CPU 242启用。
[0047] 第一 DMA控制器130-1的输出端连接到第一选择器230的输入端(0)和分配器 231的输入端。分配器231可在CPU 242的控制下将由DMA控制器130-1输出的像素之中 的第一组的像素传输到第一选择器230的输入端(1),且将由DMA控制器130-1输出的像素 之中的第二组的像素传输到第二选择器232的输入端(1)。 W48] 第一垂直缩放器210的输出端连接到第S选择器234的输入端(0)和合并器233 的输入端。合并器233可在CPU 242的控制下用于将从第一垂直缩放器210输出的像素和 从第四选择器236输出的像素合并(或组合),并将合并的像素输出到第Ξ选择器234。
[0049] 第二选择器232可根据高(第二电平)选
择信号沈L将第二垂直缩放器220与第 二DMA控制器130-2分隔或分开,并连接分配器231和第二垂直缩放器220。因此,第一缩 放器132-1可附加地使用第二垂直缩放器220。基于将被处理器120处理的图像的分辨率, 第二垂直缩放器220可被第一缩放器132-1使用,或者可被第二缩放器132-2使用。目P,第 二垂直缩放器220具有能够使其操作能力作为第一缩放器132-1与第二缩放器132-2之间 的资源共享的配置。
[0050] 如上所注意,假设,第一 DMA控制器130-1包括运种存储器(或缓冲器),即,该存 储器可存储包括在图像IM1或IM3所包括的一行或多个行中的像素 W减少针对系统存储器 122的读取存取频率。此外,为了便于描述,假设包括在每行中的像素的数量为四个。每个 像素可包括RGB数据或YCbCR灯UV)数据
[00川根据图1、图2和图3的前面描述,将理解:基于将被处理的图像的分辨率的选择 信号沈L可被用于实质上选择选择电路134的操作模式。例如,在通过低选择信号选择的 第一操作模式下,选择电路134将如与图2相关描述地操作,但是在通过高选择信号选择的 第二操作模式下,选择电路134将如与图3相关描述地操作。 阳05引如图4中所示,假设:第一 DMA控制器130-1读取第k行的像素 P11、P12、P13和 P14 W及第化+1)行的像素 P21、P22、P23 和 P24,并将像素 P11、P12、P13、P14、P21、P22、 P23和P24存储在第一 DMA控制器130-1的内部存储器(或缓冲器)中。当第一(低)分 配信号DT1产生时,第一 DMA控制器130-1可将包括在具有第二分辨率的第Ξ图像IM3中 的第k行的像素 P11、P12、P13和P14之中的第一组P11和P13传送到第一选择器230的输 入端(1)。第一选择器230可响应于高选择信号沈L而将第一组P11和P13传送到第一垂 直缩放器210。第一垂直缩放器210可将通过第一选择器230传送的第一组P11和P13存 储在第一行存储器212中。
[0053] 当第二(高)分配信号DT2产生时,第一 DMA控制器130-1可将包括在具有第二 分辨率的第S图像IM3中的第k行的像素 P11、P12、P13和P14之中的第二组P12和P14传 送给第二选择器232的输入端(1)。第二选择器232可响应于高选择信号沈L而将第二组 P12和P14传送到第二垂直缩放器220。第二垂直缩放器220可将由第二选择器232传输 的第二组P12和P14存储在第二行存储器222中。
[0054] 当第一分配信号DT1为高的时,第一 DMA控制器130-1可将包括在具有第二分辨 率的第Ξ图像IM3中的第化+1)行的像素 P21、P22、P23和P24之中的第一组P21和P23传 送到第一选择器230的输入端(1)。第一选择器230可响应于高选择信号沈L而将第一组 P21和P23传送到第一垂直缩放器210。第一垂直缩放器210可将由第一选择器230传输 的第一组P21和P23存储在第一行存储器212中。 阳化5] 当第二分配信号DT2为高的时,第一 DMA控制器130-1可将包括在具有第二分辨 率的第Ξ图像IM3中的第化+1)行的像素 P21、P22、P23和P24之中的第二组P22和P24传 送给第二选择器232的输入端(1)。第二选择器232可响应于高选择信号沈L而将第二组 P22和P24传送到第二垂直缩放器220。第二垂直缩放器220可将由第二选择器232传输 的第二组P22和P24存储在第二行存储器222中。
[0056] 如参照图4所描述的,第k行的像素 P11、P12、P13和P14之中的奇数编号的像素 P11和P13可通过第一垂直缩放器210的控制而被顺序地存储在第一行存储器212中,第k 行的像素 P11、P12、P13和P14之中的偶数编号的像素 P12和P14可通过第二垂直缩放器 220的控制而被顺序地存储在第二行存储器222中。此外,第化+1)行的像素 P21、P22、P23 和P24之中的奇数编号的像素 P21和P23可通过第一垂直缩放器210的控制而被顺序地存 储在第一行存储器212中,第化+1)行的像素 P21、P22、P23和P24之中的偶数编号的像素 P22和P24可通过第二垂直缩放器220的控制而被顺序地存储在第二行存储器222中。
[0057] 因此,第一垂直缩放器210基于列对存储在第一行存储器212中的第一组的像素 P11、P13、P21和P23执行垂直缩放。与第一垂直缩放器210的操作并行地,第二垂直缩放 器220基于列对存储在第二行存储器222中的第二组的像素 P12、P14、P22和P24执行垂 直缩放。例如,第一垂直缩放器210可对像素 P11和P21 W及P13和P23执行垂直缩放,并 产生垂直缩放的像素 A和B。此外,第二垂直缩放器220对像素 P12和P22 W及P14和P24 进行垂直缩放,并产生垂直缩放的像素 C和D。产生相应像素的平均值的方法在图4中被示 出为产生垂直缩放的像素 A、B、C和D的方法,但是,运仅是示出的实施例可如何操作的选择 示例。诸如使用插值方法的其它方法也可用于产生垂直缩放的像素 A、B、C和D。第四选择 器236可响应于高选择信号沈L而将从第二垂直缩放器220输出的像素 C和D传送到合并 器 233。
[0058] 合并器233现在可被用于将由第一垂直缩放器210提供的垂直缩放的像素 A和B 与由第二垂直缩放器220提供的垂直缩放的像素 C和D合并。合并的像素 ABCD在CPU 240 的控制下被提供给第Ξ选择器234的输入端(1)。因此,第Ξ选择器234可响应于高选择信 号沈L而将合并的像素 ABCD传送到第一水平缩放器214。然后,第一水平缩放器214可对 合并的像素 ABCD进行水平缩放,即,垂直缩放的像素 ABCD被输出为水平缩放的像素 SIM21。
[0059] 图5是根据本发明构思的另一实施例的图像处理系统的框图。参照前述实施例 和图5,图像处理系统100B包括处理器310、系统存储器312和显示器314。图像处理系统 100B可被实现为PC、桌上型计算机、膝上型计算机、工作站计算机或便携式(或移动)计算 装置。 W60] 处理器310包括η个DMA控制器130-1至130-n(运里,η是大于2的自然数)、选 择信号产生电路136、开关矩阵320、m个缩放器330-1至330-m(运里,m是大于1的自然 数)和混合器化lender) 340。
[0061] 多个DMA控制器130-1至130-n中的每个DMA控制器的配置和操作可W与前面关 于图1描述的DMA控制器130-1的配置和操作基本相同。
[0062] 基于将被处理器310处理的图像的分辨率,选择信号产生电路136确定图像类型, 产生与图像类型确定相应的选择信号,并将选择信号传送给开关矩阵320和多个缩放器 330-1至330-m。运里,选择信号可W被不同地限定且可W是一个或更多个选择信号。
[0063] 开关矩阵320响应于选择信号而将从多个DMA控制器130-1至130-n中的至少一 个DMA控制器输出的像素传送给多个缩放器330-1至330-m中的至少一个缩放器或混合器 340。例如,当由多个DMA控制器130-1至130-n中的至少一个DMA控制器输出的像素是用 户界面扣I)时,开关矩阵320可基于选择信号直接将与UI相应的像素传送给混合器340。
[0064] 多个缩放器330-1至330-m中的每个缩放器可包括图1的第一缩放器132-1、第二 缩放器132-2和选择电路134。因此,包括在多个缩放器330-1至330-m中的每个缩放器中 的元件132-1、132-2和134的配置和操作可W与参照图1、图2、图3和/或图4描述的元 件132-1、132-2和134的配置和操作基本上相同。 阳0化]混合器340接收从开关矩阵320输出的像素 W及从多个缩放器330-1至330-m中 的至少一个缩放器输出的垂直和水平缩放的像素,混合接收到的像素并将显示数据(混合 的像素)传送给显示器314。例如,显示数据可通过Μ1ΡΓ显示串行接口(DSI)被传输到 显示器314。
[0066] 图6是概括如在图1、图2、图3、图4和/或图5中示出的实施例那样与本发明构 思的特定实施例一致的图像处理系统的操作的流程图。参照前述实施例和图6,控制器240 可被用于基于将被处理器120或130处理的图像的分辨率而确定图像的类型(S110)。选择 信号产生电路136可被用于产生与确定的图像类型相应的选择信号SEUS112)。
[0067] 当将被处理器120处理的图像的分辨率是第二分辨率,并且选择信号沈L可W是 高(例如,图3中示出的波形)(S114)时,第一缩放器132-1的第一垂直缩放器210对存储 在第一行存储器
212中的像素进行垂直缩放,而第一缩放器132-1和第二缩放器132-2共 享的第二垂直缩放器220可对存储在第二行存储器222中的像素进行垂直缩放(S116)。
[0068] 第一水平缩放器214可接收由第一垂直缩放器210垂直缩放的像素和由第二垂直 缩放器220垂直缩放的像素,并对接收到的像素进行水平缩放(S118)。此时,由第二垂直缩 放器220垂直缩放的像素根据第四选择器236的操作而不会被传送到第二水平缩放器224。
[0069] 但是,当将被处理器120处理的图像的分辨率是第一分辨率,并且选择信号沈L可 W为低(例如,图2中示出的波形)(S114)时,如参照图2所描述的,第一缩放器132-1可 使用第一垂直缩放器210和第一水平缩放器214来对第一图像IM1进行垂直和水平缩放, 并产生垂直和水平缩放的图像SIM11 (S120)。
[0070] 与第一缩放器132-1的操作并行(或,同时,表示至少部分重叠)地,第二缩放器 132-2可使用第二垂直缩放器220和第二水平缩放器224对第二图像IM2进行垂直和水平 缩放,并产生垂直和水平缩放的图像SIM12 (S120)。
[0071] 图7是根据本发明构思的又一实施例的图像处理系统的框图。参照图7,图像处理 系统100-1总体包括处理电路110和存储器112。图像处理系统100-1可W是PC、桌上型 计算机、膝上型计算机、工作站计算机或便携式(或,移动)计算装置。 阳07引处理电路110可被实现为集成电路(1C)、片上系统(SoC)、应用处理器(AP)或移 动AP。处理器120可包括DMA控制器130-1和130-2、第一缩放器132-1、第二缩放器132-2、 选择电路134和选择信号产生电路136。
[0073] 除了第一水平缩放器214的输入端连接到第一 DMA控制器130-1的输出端W及第 二水平缩放器224的输入端连接到第二DMA控制器130-2的输出端之外,图7中示出的图 像处理系统100-1的配置和操作与图1中示出的图像处理系统100的配置和操作基本相同 或相似。
[0074] 第一水平缩放器214可对包括在从第一 DMA控制器130-1输出的图像IM1或IM3 中的像素进行水平缩放并将水平缩放的像素输出到第一选择电路230的输入端(0)和分配 器231的输入端。第二水平缩放器224可对包括在从第二DMA控制器130-2输出的图像 IM2中的像素进行水平缩放,并将水平缩放的像素输出到第二选择电路232的输入端(0)。
[0075] 图8是描述图7中示出的缩放器的对均具有第一分辨率的图像进行缩放的操作的 框图。当选择信号产生电路136产生的选择信号沈L为低(第一电平)时,可通过下面参 照图7和图8的描述理解缩放器132-1和132-2的操作。当将被处理器120处理的图像的 分辨率是第一分辨率时,假设DMA控制器130-1和130-2中的每个DMA控制器在CPU 242 的控制下被启用。
[0076] 第一水平缩放器214通过第一选择器230连接到第一垂直缩放器210,而第二水 平缩放器224通过第二选择器232连接到第二垂直缩放器220。第一水平缩放器214可对 包括在从第一 DM控制130-1输出的具有第一分辨率的第一图像IM1中的像素进行水平缩 放,并将水平缩放的像素服1传送到第一垂直缩放器210。与第一水平缩放器214的操作 并行地,第二水平缩放器224可对包括在从第二DMA控制器130-2输出的具有第一分辨率 的第二图像IM2中的像素进行水平缩放,并将水平缩放的像素服2传送到第二垂直缩放器 220。
[0077] 第一垂直缩放器210可将水平缩放的像素 HS1存储到第一行存储器212,对存储 在第一行存储器212中的像素进行垂直缩放,并通过第Ξ选择器234输出垂直缩放的像素 VS1。与第一垂直缩放器210的操作并行地,第二垂直缩放器220可将水平缩放的像素服2 存储在第二行存储器222中,对存储在第二行存储器222中的像素进行垂直缩放并通过第 四选择器236输出垂直缩放的像素 VS2。
[0078] 图9是描述图7中示出的缩放器的对具有大于第一分辨率的第二分辨率的图像 进行缩放的操作的框图。当选择信号产生单元136产生的选择信号沈L为高(第二电平, 'H')时,通过下面参照图4、图7和图9的描述可理解缩放器132-1和缩放器132-2的操 作。
[0079] 当将被处理器120处理的图像的分辨率是第二分辨率时,假设:仅第一DMA控制器 130-1被CPU 242启用。第一水平缩放器214可对包括在从第一 DMA控制器130-1输出的 具有第二分辨率的图像IM3中的像素进行水平缩放,并将水平缩放的像素 HS1传送到第一 选择器230的输入端(0)和分配器231的输入端。
[0080] 分配器231可在CPU 242的控制下将水平缩放的像素 HS1的第一组的像素传送到 第一选择器230的输入端(1),并将所述像素中的第二组的像素传送到第二选择器232的 输入端(1)。第一垂直缩放器210的输出端连接到第Ξ选择器234的输入端(0)和合并器 233的输入端。合并器233可被用于在CPU 242的控制下对从第一垂直缩放器210输出的 像素和从第四选择器236输出的像素进行合并,并将合并的像素输出到第Ξ选择器234。
[0081] 图10是根据本发明构思的又一实施例的图像处理系统的框图。参照图1和图10, 除了选择器230'、232'、234'、236'中的每个选择器包括多个选择器且垂直缩放器210'和 220'中的每个垂直缩放器包括多个缩放器之外,图10中示出的数据处理系统100-2的配置 和操作与图1中示出的数据处理系统100的配置和操作基本相同或相似。
[0082] 包括图11A和图11B的图11是描述响应于时钟信号而进行像素处理的概念图。参 照图10和图11A,假设:第一垂直缩放器210'包括四个缩放器,第一选择器230'包括四个 选择器,第二垂直缩放器220'包括四个缩放器,第二选择器232'包括四个选择器,第Ξ选 择器234'包括四个选择器,水平缩放器214和224中的每个水平缩放器包括一个水平缩放 器,垂直缩放器210'和220'中的每个垂直缩放器每个时钟信号地对一个像素进行垂直缩 放,第一水平缩放器214每个时钟信号地对四个像素进行水平缩放,第二水平缩放器224每 个时钟信号地对一个像素、两个像素或四个像素进行水平缩放。
[0083] 第一缩放器132-1、第一选择器230'和第Ξ选择器234'的操作如下。分配器231 可将四个像素 P1至P4中的相应像素传送到四个选择器230'中的相应选择器。
[0084] 四个像素 P1至P4中的相应像素可通过四个选择器230'中的相应选择器被传送 到四个垂直缩放器210'中的相应垂直缩放器。此外,分配器231可将四个像素 P5至P8中 的相应像素传送到四个选择器230'中的相应选择器。四个像素中的相应像素可通过四个 选择器230'中的相应选择器而被传送到四个垂直缩放器210'中的相应垂直缩放器。
[00化]第二缩放器132-1、第二选择器232和第四选择器236'的操作与第一缩放器 132-1、第一选择器230'和第Ξ选择器234'的操作基本相同或相似。
[0086] 参照图10和图11B,假设:第一垂直缩放器210'包括四个缩放器、第一选择器 230'包括四个选择器,第二垂直缩放器220'包括四个缩放器、第二选择器232'包括四个选 择器,第Ξ选择器234'包括四个选择器,水平缩放器214和224中的每个缩放器包括一个 水平缩放器,垂直缩放器210'和220'中的每个缩放器每个时钟信号地对两个像素进行垂 直缩放,第一水平缩放器214每个时钟信号地对四个像素进行水平缩放,并且第二水平缩 放器224每个时钟信号地对一个像素、两个像素或四个像素进行水平缩放。
[0087] 第一缩放器132-1、第一选择器230'和第Ξ选择器234'的操作如下。八个像素 P1至P8中的相应像素对P1和P2、P3和P4、P5和P6 W及P7和P8通过四个选择器230' 中的相应选择器被传输到四个垂直缩放器210'中的相应垂直缩放器。目P,四个垂直缩放器 210'中的相应垂直缩放器垂直缩放对VS1、VS2、VS3和VS4中的像素。
[0088] 第二缩放器132-2、第二选择器232'和第四选择器236'的操作与第一缩放器 132-1、第一选择器230'和第Ξ选择器234'的操作基本相同或相似。
[0089] 如上所述,分配器231可将一个或更多个像素传送到多个第一选择器230'之中的 相应选择器或多个第二选择器232'之中的相应选择器。合并器233可合并从多个第一垂 直缩放器210'之中的相应垂直缩放器输出的至少一个像素和从多个第四选择器23
6'之中 的相应选择器输出的至少一个像素。
[0090] 在包括根据本发明构思的实施例的缩放器的应用处理器中,一些缩放器可基于正 被处理的图像的分辨率而被共享为资源。因此,包括根据本发明构思的实施例的缩放器的 应用处理器能够减少功耗,并使用并行处理来仍能够即时缩放图像。
[0091] 虽然已示出和描述了本发明总体构思的一些实施例,但是本领域技术人员将理解 的是,在不脱离由权利要求及其等同物的范围的前提下,可使运些实施例进行变化。
【主权项】
1. 一种应用处理器,包括: 第一缩放器,包括第一垂直缩放器和第一水平缩放器;以及 第二缩放器,包括第二垂直缩放器和第二水平缩放器, 其中,第二垂直缩放器在第一缩放器与第二缩放器之间被共享。2. 如权利要求1所述的应用处理器,还包括: 选择电路,响应于选择信号而将第二垂直缩放器与第一垂直缩放器并联连接并将第二 水平缩放器与第二垂直缩放器断开。3. 根据权利要求2所述的应用处理器,还包括: 选择信号产生电路,基于图像的分辨率来确定针对将被处理的图像的图像类型,并响 应于图像类型的确定而产生选择信号,其中, 在通过指示第一图像类型的选择信号选择的第一操作模式下,选择电路被构造为将与 第一图像类型的第一图像相应的一组像素传送给第一垂直缩放器,并且并行地,将与第一 图像类型的第二图像相应的一组像素传送给第二垂直缩放器, 在通过指示第二图像类型的选择信号选择的第二操作模式下,选择电路被配置为将与 第二类型的第三图像相应的第一组的像素传送给第一垂直缩放器,而且还将与第三图像相 应的第二组的像素传送给第二垂直缩放器。4. 根据权利要求3所述的应用处理器,还包括: 第一直接存储器存取控制器,被构造为输出与第一图像相应的所述一组像素或者输出 与第三图像相应的第一组的像素和第二组的像素; 第二直接存储器存取控制器,被构造为输出与第二图像相应的所述一组像素。5. 根据权利要求3所述的应用处理器,其中,选择电路被进一步构造为在第一操作模 式下将由第一垂直缩放器提供的垂直缩放的像素输出到第一水平缩放器,并且将由第二垂 直缩放器提供的垂直缩放的像素输出到第二水平缩放器, 选择电路被构造为在第二操作模式下将由第二垂直缩放器提供的垂直缩放的像素仅 输出到第一水平缩放器。6. 根据权利要求3所述的应用处理器,其中,选择信号产生电路在将被处理的图像具 有第一分辨率时确定第一图像类型,而在将被处理的图像具有大于第一分辨率的第二分辨 率时确定第二图像类型。7. 根据权利要求3所述的应用处理器,还包括: 第一行存储器,被配置为存储与第一图像相应的所述一组像素和从第一垂直缩放器接 收到的垂直缩放的一组像素中的至少一者;以及 第二行存储器,被配置为存储与第二图像相应的所述一组像素和从第二垂直缩放器接 收到的垂直缩放的一组像素中的至少一者。8. 根据权利要求1所述的应用处理器,其中,第一水平缩放器在第一垂直缩放器、第一 水平缩放器、第二垂直缩放器和第二水平缩放器之中具有最大的像素吞吐量。9. 根据权利要求1所述的应用处理器,还包括: 选择信号产生电路,基于将被处理的图像的分辨率来确定针对图像的图像类型,并产 生与图像类型的确定相应的选择信息; 选择电路,响应于通过选择信息产生的选择信号而被选择性地配置,其中,在由指示第 一图像类型的选择信号所选择的第一操作模式下,选择电路启用第一垂直缩放器和第二垂 直缩放器的并行和独立操作,以及第一水平缩放器和第二水平缩放器的并行和独立操作, 在由指示第二图像类型的选择信号所选择的第二操作模式下,选择电路启用第一垂直 缩放器和第二垂直缩放器的共享操作以及仅第一水平缩放器的操作。10. -种片上系统,包括: 图像源,提供包括第一图像、第二图像和第三图像的图像,并且第一图像、第二图像和 第三图像均具有包括第一图像类型和第二图像类型的多个图像类型中的一种; 第一缩放器,包括第一垂直缩放器和第一水平缩放器;以及 第二缩放器,包括第二垂直缩放器和第二水平缩放器, 其中,当确定第一图像和第二图像分别是第一图像类型时,第一垂直缩放器对与第一 图像相应的第一组的像素进行垂直缩放,并且并行地,第二垂直缩放器对与第二图像相应 的第二组的像素进行垂直缩放, 当确定第三图像是第二图像类型时,第一垂直缩放器与第二垂直缩放器一起对与第三 图像相应的第三组的像素进行垂直缩放。11. 根据权利要求10所述的片上系统,其中,当确定第三图像是第二图像类型时,第一 水平缩放器对由第一垂直缩放器和第二垂直缩放器一起提供的垂直缩放的像素进行水平 缩放。12. 根据权利要求10所述的片上系统,还包括: 选择电路,响应于指示从图像源接收到的图像为第二图像类型的选择信号而使第二垂 直缩放器与第一垂直缩放器并联并将第二水平缩放器与第二垂直缩放器断开。13. 根据权利要求12所述的片上系统,还包括: 选择信号产生电路,基于图像的分辨率来确定针对图像的多个图像类型中的一种,并 产生与图像类型的确定相应的选择信号, 其中,当确定图像为第一图像类型时,选择电路使第一垂直缩放器与第一水平缩放器 连接,并使第二垂直缩放器与第二水平缩放器连接, 在确定图像为第二图像类型时,选择电路使第一垂直缩放器与第二垂直缩放器并联, 使第一垂直缩放器和第二垂直缩放器的并联组合与第一水平缩放器连接,并且使第二水平 缩放器与第二垂直缩放器断开。14. 根据权利要求10所述的片上系统,还包括: 第一直接存储器存取控制器,将与第一图像相应的第一组的像素传送到第一垂直缩放 器,将与第三图像相应的第三组的像素传送到第一垂直缩放器和第二垂直缩放器; 第二直接存储器存取控制器,将与第二图像相应的第二组的像素传送到第二垂直缩放 器。15. 根据权利要求14所述的片上系统,其中,第一图像和第二图像均具有第一分辨率, 而第三图像具有大于第一分辨率的第二分辨率。16. 根据权利要求10所述的片上系统,其中,第一水平缩放器在第一垂直缩放器、第一 水平缩放器、第二垂直缩放器和第二水平缩放器之中具有最大的吞吐量。17. 根据权利要求10所述的片上系统,其中,第一组的像素和第二组的像素被顺序地 即时传送给第一垂直缩放器和第二垂直缩放器。18. 根据权利要求10所述的片上系统,其中,图像源是存储器、相机和调制解调器之 〇19. 一种操作包括具有N个直接存储器存取控制器、开关矩阵和Μ个缩放器的处理器的 图像处理系统的方法,其中,Μ个缩放器中的每个缩放器包括垂直缩放器和水平缩放器,且 Ν和Μ是大于2的自然数,其中,所述方法包括如下步骤: 将来自图像源的图像提供给处理器; 基于图像的分辨率确定针对图像的图像类型; 响应于图像类型的确定而产生选择信号; 响应于选择信号,而配置开关矩阵以选择性地配置直接存储器存取控制器和缩放器的 布置来处理图像; 其中,当确定图像是第一图像类型时,直接存储器存取控制器和缩放器的布置包括Q个直接存储器存取控制器、Q个垂直缩放器和Q个水平缩放器,其中,Q是小于Ν和Μ的自然 数, 当确定图像是第二图像类型时,直接存储器存取控制器和缩放器的布置包括R个直接 存储器存取控制器、Ρ个垂直缩放器和R个水平缩放器,其中,R是小于Q的自然数,Ρ是大 于R的自然数。20. 根据权利要求19所述的方法,其中,当图像的分辨率是第一分辨率时,图像被确定 为第一图像类型,而当图像的分辨率是大于第一分辨率的第二分辨率时,图像被确定为第 二图像类型。21. 根据权利要求19所述的方法,其中,Q个直接存储器存取控制器、Q个垂直缩放器和 Q个水平缩放器的布置被构造为并行处理与图像相应的第一组的像素和与第一图像类型的 另一图像相应的第二组的像素。22. 根据权利要求19所述的方法,其中,R个直接存储器存取控制器、Ρ个垂直缩放器 和R个水平缩放器的布置被构造为处理与图像相应的单个组的像素。23. 根据权利要求19所述的方法,其中,R个直接存储器存取控制器中的至少一个直接 存储器存取控制器将与图像相应的一组像素传送到Ρ个垂直缩放器中的至少两个垂直缩 放器,并且Ρ个垂直缩放器中的所述至少两个垂直缩放器对与图像相应的一组像素进行垂 直缩放,然后将产生的垂直缩放的像素传送到R个水平缩放器中的至少一个水平缩放器。
【专利摘要】提供了一种应用处理器、片上系统及操作方法。所述应用处理器包括:第一缩放器,包括第一垂直缩放器和第一水平缩放器;第二缩放器,包括第二垂直缩放器和第二水平缩放器,其中,第二垂直缩放器响应于被处理的图像的分辨率的确定而在第一缩放器与第二缩放器之间被选择性地共享。
【IPC分类】G06F15/76, H04N5/14
【公开号】CN105491268
【申请号】CN201510645480
【发明人】尹晟瞮, 金成云, 李尚勋
【申请人】三星电子株式会社
【公开日】2016年4月13日
【申请日】2015年10月8日
【公告号】US20160098812