具有像素阵列的图像传感器的制造方法
具有像素阵列的图像传感器的制造方法
【技术领域】
[0001] 本申请一般地涉及成像系统，并且更具体地讲，涉及具有相位检测能力的成像系 统。
【背景技术】
[0002] 现代电子装置（诸如，蜂窝电话、照相机和计算机）经常使用数字图像传感器。成 像器传感器（有时被称为成像器）可由图像感测像素的二维阵列形成。每个像素接收入 射光子（光）并且将光子转换成电信号。图像传感器有时被设计为使用联合图像专家组 (JPEG)格式将图像提供给电子装置。
[0003] -些应用（诸如，自动聚焦和三维（3D)成像）可能需要电子装置提供立体和/或 深度感测能力。例如，为了使感兴趣的物体聚焦以用于图像捕捉，电子装置可能需要识别电 子装置和感兴趣的物体之间的距离。为了识别距离，传统电子装置使用复杂布置。一些布 置需要使用从各种视点捕捉图像的多个图像传感器和照相机透镜。其它布置需要添加将入 射光聚焦在二维像素阵列的子区域上的双凸透镜阵列。由于诸如另外的图像传感器或复杂 透镜阵列的部件的添加，这些布置导致减小的空间分辨率、增加的成本和增加的复杂性。
[0004] 一些电子装置在单个图像传感器中既包括图像像素又包括相位检测像素。利用这 种类型的布置，照相机能够使用片上相位检测像素聚焦图像，而不需要单独的相位检测传 感器。在典型布置中，相位检测像素全都具有相同颜色并且在像素阵列中连续地布置成线。 当相位检测像素被以这种方式布置时，光学串扰变成问题。例如，与绿色图像像素和红色图 像像素之间的光学串扰相比，绿色图像像素和绿色相位检测像素之间的光学串扰可能更加 难以校正。
[0005]因此，将会希望能够提供用于图像传感器的改进的相位检测像素布置和相位检测 信号处理方法。 【实用新型内容】
[0006] 本公开的一个目的是提供具有改进的相位检测像素布置和相位检测信号处理的 图像传感器。
[0007] 根据一个实施例，提供一种具有像素阵列的图像传感器，所述像素阵列包括：多 个图像像素，搜集图像数据；相位检测像素对，搜集相位信息，其中所述相位检测像素对包 括具有不同角度响应的第一和第二相位检测像素；和滤色器阵列，其中所述滤色器阵列包 括形成在所述多个图像像素上方的多个滤色器元件，所述多个滤色器元件根据颜色模式布 置，并且第一和第二相位检测像素包括具有各自的与该颜色模式匹配的第一和第二颜色的 各自的第一和第二滤色器元件。
[0008] 优选地，所述颜色模式是拜耳颜色模式。
[0009] 优选地，所述多个滤色器元件包括宽带滤波器元件。
[0010] 优选地，第一和第二滤色器元件透射不同颜色的光。
[0011] 优选地，所述图像传感器还包括：多个另外的相位检测像素对，其中所述相位检测 像素对和所述多个另外的相位检测像素对位于像素行中，并且所述另外的相位检测像素对 中的每个包括透射不同颜色的光的滤色器元件。
[0012] 优选地，第一和第二相位检测像素包括由单个微透镜覆盖的各自的第一和第二光 电二极管。
[0013] 优选地，第一和第二相位检测像素包括各自的第一和第二光电二极管，第一和第 二光电二极管中的每一个部分地由不透明的遮蔽层覆盖。
[0014] 优选地，所述像素阵列包括像素行和像素列，并且第一和第二相位检测像素彼此 相邻地位于一个像素行中。
[0015] 优选地，所述像素阵列包括像素行和像素列，并且第一和第二相位检测像素彼此 相邻地位于一个像素列中。
[0016] 优选地，第一相位检测像素包括由第一微透镜覆盖的第一光电二极管，第二相位 检测像素包括由第二微透镜覆盖的第二光电二极管，并且第一和第二相位检测像素相对于 彼此沿对角线方向布置。
[0017] 优选地，第一微透镜跨越所述像素阵列的第一和第二列，并且第二微透镜与第一 微透镜相邻并且也跨越所述像素阵列的第一和第二列。
[0018] 优选地，第一微透镜跨越所述像素阵列中的第一和第二列，并且第二微透镜跨越 所述像素阵列的第三和第四列。
[0019] 根据另一实施例，提供一种具有像素阵列的图像传感器，所述像素阵列包括：多个 图像像素，搜集图像数据；相位检测像素对，搜集相位信息，其中每个相位检测像素对包括 具有不同角度响应的第一和第二相位检测像素，并且每个相位检测像素对完全由图像像素 包围并且与所述像素阵列中的其它相位检测像素对隔离；和滤色器阵列，其中所述滤色器 阵列包括形成在所述多个图像像素上方的多个滤色器元件，所述多个滤色器元件根据颜色 模式布置，并且每个相位检测像素对包括具有各自的与该颜色模式匹配的第一和第二颜色 的各自的第一和第二滤色器元件。
[0020] 优选地，所述相位检测像素对被布置在行中，并且该行中的相位检测像素对通过 在该行中的图像像素而彼此分离。
[0021] 优选地，所述相位检测像素对包括位于所述像素阵列的第一行中的第一相位检测 像素对和位于所述像素阵列的第二行中的第二相位检测像素对，其中第一相位检测像素对 相对于第二相位检测像素对错开。
[0022] 根据又一实施例，提供一种具有像素阵列的图像传感器，所述像素阵列包括：多个 图像像素，搜集图像数据；和相位检测像素对，搜集相位信息，其中所述相位检测像素对包 括具有不同角度响应的第一和第二相位检测像素，第一和第二相位检测像素包括各自的第 一和第二滤色器元件，第一和第二滤色器元件具有各自的第一和第二颜色，其中第一颜色 不同于第二颜色。
[0023] 优选地，所述图像传感器还包括：多个滤色器元件，形成在所述多个图像像素上 方，其中所述多个滤色器元件根据颜色模式布置，并且第一和第二颜色与该颜色模式匹配。
[0024] 优选地，所述颜色模式是拜耳颜色模式。
[0025] 优选地，第一和第二相位检测像素包括由单个微透镜覆盖的各自的第一和第二光 电二极管。
[0026] 优选地，第一和第二相位检测像素包括各自的第一和第二光电二极管，第一和第 二光电二极管中的每一个部分地由不透明的遮蔽层覆盖。
[0027] 根据本公开，可以减小相位检测像素信号之间的任何偏差。
【附图说明】
[0028] 图1是根据本公开的实施例的具有可包括相位检测像素的图像传感器的说明性 电子装置的示意图。
[0029] 图2A是根据本公开的实施例的具有有着不同的不对称角度响应的光敏区域的说 明性相位检测像素的剖视图。
[0030] 图2B和2C是根据本公开的实施例的图2A的相位检测像素的剖视图。
[0031] 图3是根据本公开的实施例的针对以不同入射角撞击相位检测像素的入射光的 相位检测像素的说明性信号输出的示图。
[0032] 图4A是根据本公开的实施例的沿水平方向布置的说明性相位检测像素对的顶视 图。
[0033] 图4B是根据本公开的实施例的沿垂直方向布置的说明性相位检测像素对的顶视 图。
[0034] 图4C是根据本公开的实施例的沿垂直方向布置并且被构造为沿着水平方向检测 相差的说明性相位检测像素对的顶视图。
[0035]图5是现有技术中具有连续地布置线并且全都具有相同颜色的相位检测像素的 传统像素阵列的顶视图。
[0036] 图6是根据本公开的实施例的具有有着与像素阵列的滤色器模式匹配的滤色器 的隔离的相位检测像素对的说明性像素阵列的顶视图。
[0037] 图7是根据本公开的实施例的具有有着与像素阵列的滤色器模式匹配的滤色器 的连续地布置成线的相位检测像素对的说明性像素阵列的顶视图。
[0038] 图8是根据本公开的实施例的具有有着与像素阵列的滤色器模式匹配的滤色器 的隔离的堆叠相位检测像素对的说明性像素阵列的顶视图。
[0039] 图9是根据本公开的实施例的具有有着与像素阵列的滤色器模式匹配的滤色器 的连续地布置成线的堆叠相位检测像素对的说明性像素阵列的顶视图。
[0040] 图10是根据本公开的实施例的具有有着与像素阵列的滤色器模式匹配的滤色器 的非连续地布置成线的隔离的相位检测像素对的说明性像素阵列的顶视图。
[0041] 图11是根据本公开的实施例的具有有着与像素阵列的滤色器模式匹配的滤色器 的隔离的沿对角线方向布置的相位检测像素对的说明性像素阵列的顶视图。
[0042] 图12是根据本公开的实施例的具有布置成线的交替的红色相位检测像素对和绿 色相位检测像素对的说明性像素阵列的顶视图。
[0043] 图13是根据本公开的实施例的具有沿着两个或更多像素行分布的绿色相位检测 像素对的说明性像素阵列的顶视图。
[0044] 图14是根据本公开的实施例的操作具有图像像素和相位检测像素的图像传感器 所涉及的说明性步骤的流程图。
[0045]图15是根据本公开的实施例的在自动聚焦操作期间处理相位检测像素信号所涉 及的说明性步骤的流程图。
【具体实施方式】
[0046] 本公开的实施例涉及具有自动聚焦和深度感测能力的图像传感器。具有照相机模 块的电子装置被示出在图1中。电子装置10可以是数字照相机、计算机、蜂窝电话、医学装 置或其它电子装置。照相机模块12(有时被称为成像装置）可包括一个或多个图像传感器 14和一个或多个透镜28。在操作期间，透镜28(有时被称为光学器件28)将 光聚焦在图像 传感器14上。图像传感器14包括将光转换成数字数据的光敏元件（例如，像素）。图像传 感器可具有任何数量的像素（例如，数百、数千、数百万或更多）。典型图像传感器可例如具 有数百万的像素（例如，兆像素）。作为例子，图像传感器14可包括偏置电路（例如，源极 跟随器负载电路）、采样和保持电路、相关双采样（CDS)电路、放大器电路、模数（ADC)转换 器电路、数据输出电路、存储器（例如，缓冲器电路）、地址电路等。
[0047] 来自图像传感器14的静止和视频图像数据可被提供给图像处理和数据格式化电 路16。图像处理和数据格式化电路16可被用于执行图像处理功能（诸如，自动聚焦功能、 深度感测、数据格式化、调整白平衡和曝光、实现视频图像稳定、脸检测等）。例如，在自动聚 焦操作期间，图像处理和数据格式化电路16可处理由图像传感器14中的相位检测像素搜 集的数据以确定使感兴趣的物体聚焦所需的透镜移动（例如，透镜28的移动）的大小和方 向。
[0048] 图像处理和数据格式化电路16还可被用于根据需要压缩原始照相机图像文件 (例如，压缩成联合图像专家组或JPEG格式）。在有时被称为片上系统（SOC)布置的典型布 置中，照相机传感器14以及图像处理和数据格式化电路16被实现在公共集成电路上。使 用单个集成电路实现照相机传感器14以及图像处理和数据格式化电路16能够帮助减少成 本。然而，这仅是说明性的。根据需要，照相机传感器14以及图像处理和数据格式化电路 16可被使用分开的集成电路实现。
[0049]照相机模块12可经路径18将获取的图像数据传送给主机子系统20 (例如，图像 处理和数据格式化电路16可将图像数据传送给子系统20)。电子装置10通常为用户提供 许多高级功能。在计算机或高级蜂窝电话中，例如，用户可被提供运行用户应用的能力。为 了实现这些功能，电子装置10的主机子系统20可包括存储和处理电路24以及输入输出装 置22 (诸如，小键盘、输入输出端口、控制杆和显示器）。存储和处理电路24可包括易失性 和非易失性存储器（例如，随机存取存储器、闪存、硬盘驱动器、固态驱动器等）。存储和处 理电路24还可包括微处理器、微控制器、数字信号处理器、专用集成电路或其它处理电路。
[0050] 可能希望提供具有深度感测能力的图像传感器，例如，用于自动聚焦应用、3D成像 应用（诸如，机器视觉应用等）。为了提供深度感测能力，图像传感器14可包括相位检测像 素组（诸如，图2A中示出的像素对100)。
[0051] 图2A是像素对100的说明性剖视图。像素对100可包括第一和第二像素，诸如像 素1和像素2。像素1和像素2可包括形成在基底（诸如，硅基底108)中的光敏区域110。 例如，像素1可包括关联的光敏区域（诸如，光电二极管roi)，并且像素2可包括关联的光 敏区域（诸如，光电二极管ro2)。微透镜可被形成在光电二极管PDl和PD2上方，并且可被 用于朝着光电二极管PDl和ro2引导入射光。微透镜102覆盖两个像素区域的图2A的布 置有时可被称为2X1或1X2布置，因为存在连续地布置成线的两个相位检测像素。
[0052] 滤色器（诸如，滤色器元件104)可位于微透镜102和基底108之间。滤色器元件 104可通过仅允许预定波长穿过滤色器元件104来过滤入射光（例如，滤色器104可仅对于 某些范围的波长而言是透明的）。光电二极管PDl和PD2可用于吸收由微透镜102聚焦的 入射光，并且产生与吸收的入射光的量对应的像素信号。
[0053] 光电二极管PDl和PD2中的每一个可覆盖在微透镜102下方的基底区域的大约一 半（作为例子）。通过仅覆盖基底区域的一半，每个光敏区域可具有不对称角度响应（例 如，光电二极管PDl可基于入射光到达像素对100的角度产生不同图像信号）。相对于法向 轴线116的入射光到达像素对100的角度（S卩，相对于透镜102的光轴116的入射光撞击 微透镜102的角度）可在这里被称为入射角或入射的角度。
[0054] 能够使用前侧照明成像器布置（例如，当诸如金属互连电路的电路位于微透镜和 光敏区域之间时）或背面照明成像器布置（例如，当光敏区域位于微透镜和金属互连电路 之间时）形成图像传感器。像素1和2是背面照射图像传感器像素的图2A、2B和2C的例 子仅是说明性的。根据需要，像素1和2可以是前侧照射图像传感器像素。像素是背面照 射图像传感器像素的布置在本文中有时被描述为例子。
[0055] 在图2B的例子中，入射光113可来自法向轴线116的左侧，并且可相对于法向轴 线116以角度114到达像素对100。角度114可以是入射光的负角。以负角（诸如，角度 114)到达微透镜102的入射光113可被朝着光电二极管PD2聚焦。在这个方案中，光电二 极管PD2可产生相对较高的图像信号，而光电二极管PDl可产生相对较低的图像信号（例 如，因为入射光113未被朝着光电二极管F1Dl聚焦）。
[0056] 在图2C的例子中，入射光113可来自法向轴线116的右侧，并且相对于法向轴线 116以角度118到达像素对100。角度118可以是入射光的正角。以正角（诸如，角度118) 到达微透镜102的入射光可被朝着光电二极管F1Dl聚焦（例如，该光未被朝着光电二极管 PD2聚焦）。在这个方案中，光电二极管PD2可产生相对较低的图像信号输出，而光电二极 管PDl可产生相对较高的图像信号输出。
[0057] 光电二极管PDl和H)2的位置有时可被称为不对称位置，因为每个光敏区域110 的中心相对于微透镜102的光轴116偏移（即，不与微透镜102的光轴116对准）。由于基 底108中的各光电二极管PDl和TO2的不对称形成，每个光敏区域110可具有不对称角度 响应（例如，由每个光电二极管110响应于具有给定强度的入射光产生的信号输出可基于 入射角而不同）。在图3的示图中，示出响应于入射光的不同角度的像素对100的光电二极 管PDl和TO2的像素信号输出的例子。
[0058] 线160可代表光电二极管H32的输出图像信号，而线162可代表光电二极管F1Dl 的输出图像信号。对于负入射角，光电二极管TO2的输出图像信号可增加（例如，因为入射 光被聚焦在光电二极管PD2上），并且光电二极管roi的输出图像信号可减小（例如，因为 入射光被聚焦在远离光电二极管PDl的地方）。对于正入射角，光电二极管PD2的输出图像 信号可相对较小，并且光电二极管I3Dl的输出图像信号可相对较大。
[0059] 图2A、2B和2C的像素对100的光电二极管PDl和PD2的尺寸和位置仅是说明性 的。根据需要，光电二极管PDl和TO2的边缘可位于像素对100的中心或者可沿任何方向 稍微离开像素对100的中心。根据需要，光电二极管Iio可在尺寸方面被减小以覆盖小于 像素区域的一半的区域。
[0060] 来自像素对（诸如，像素对100)的输出信号可被用于在自动聚焦操作期间调整图 像传感器14中的光学器件，例如一个或多个透镜（诸如，图1的透镜28)。可基于来自像素 对100的输出信号确定使感兴趣的物体聚焦所需的透镜移动的方向和大小。
[0061] 例如，通过创建对来自透镜的一侧或另一侧的光灵敏的像素的对，能够确定相差。 这个相差可被用于确定图像传感器光学器件应该被调整多远以及应该沿哪个方向调整图 像传感器光学器件以使感兴趣的物体聚焦。
[0062] 当物体聚焦时，来自图像传感器光学器件的两侧的光会聚创建以创建聚焦图像。 当物体离焦时，由光学器件的两侧投射的图像不交叠，因为它们彼此不同相。通过创建每个 像素对来自透镜的一侧或另一侧的光灵敏的像素的对，能够确定相差。这个相差能够被用 于确定使图像同相并且由此聚焦感兴趣的物体所需的光学器件移动的方向和大小。用于确 定相差信息的像素组（诸如，像素对100)在本文中有时被称为相位检测像素或深度感测像 素。
[0063] 可通过将roi的输出像素信号与TO2的输出像素信号进行比较来计算相差信号。 例如，可通过从TO2的像素信号输出减去PDl的像素信号输出（例如，通过从线160减去线 162)来确定像素对100的相差信号。对于位于小于聚焦物体距离的距离的物体，相差信号 可以是负的。对于位于大于聚焦物体距离的距离的物体，相差信号可以是正的。这种信息 可被用于自动地调整图像传感器光学器件以使感兴趣的物体聚焦（例如，通过使像素信号 彼此同相）。
[0064] 像素对100可按照各种方式布置。例如，如图4A中所示，像素对100的像素1 (在 这里被称为Pl)和像素2 (在这里被称为P2)可被沿水平方向布置，平行于图4A的X轴（例 如，可位于像素阵列的同一行中）。在图4B的例子中，Pl和P2被沿垂直方向布置，平行于 图4B的Y轴（例如，位于像素阵列的同一列中）。在图4C的例子中，Pl和P2被沿垂直方 向布置并且被构造为沿水平方向检测相差（例如，使用不透明光遮蔽层（诸如，金属掩模 30)) 〇
[0065]相位检测像素的典型布置被示出在图5中。图5的传统像素阵列500包括图像像 素502的阵列。像素阵列500中的相位检测像素对504被连续地布置成线。像素阵列500 包括滤色器阵列。标记为R的像素包括红色滤色器，标记为G的像素包括绿色滤色器，并且 标记为B的像素包括蓝色滤色器。图像像素502中的滤色器的模式是拜耳（Bayer)马赛克 模式，该模式包括二乘二 图像像素502的重复单位基元，该单位基元具有布置在一个对角 线上的两个绿色图像像素以及布置在另一对角线上的一个红色图像像素和一个蓝色图像 像素。如图5中所示，相位检测像素对504全都形成有绿色滤色器元件，这破坏像素阵列 500的拜耳马赛克模式。
[0066] 当滤色器模式被以这种方式破坏时，以内插的图像像素值替换相位检测像素信号 可能比较有挑战性。图像像素502和504之间的光学串扰也可能变成问题，因为校正具有 特定类型的滤色器模式的像素阵列中的光学串扰的算法在校正当该滤色器模式被破坏时 的光学串扰方面不那么有效。
[0067]为了克服这些挑战，可布置相位检测像素以使像素阵列中的滤色器模式的破坏最 小化。使滤色器模式改变的量最小化的说明性相位检测像素布置被示出在图6-11中。在 图6-13的例子中，标记为R的像素包括红色滤色器，标记为G的像素包括绿色滤色器，并且 标记为B的像素包括蓝色滤色器。虚线（诸如，虚线102M)可指示由单个微透镜（诸如，图 2A的微透镜102)覆盖的区域。
[0068]图6-13中对红色、绿色和蓝色滤色器的使用仅是说明性的。根据需要，滤色器模 式可包括宽带滤波器。例如，像素的每个二乘二单位可包括具有宽带滤波器的一个像素。通 常，任何合适滤色器模式和任何合适类型的滤色器可被用在图像传感器14中。图6-13的 例子仅是说明性的。
[0069]如图6中所示，像素阵列32可包括图像像素34和相位检测像素36。像素阵列32 可包括滤色器元件的阵列，诸如红色滤色器元件（例如，在反射和/或吸收其它颜色的光的 同时使红光通过的滤色器材料）、蓝色滤色器元件（例如，在反射和/或吸收其它颜色的光 的同时使蓝光通过的滤色器材料）、绿色滤色器元件（例如，在反射和/或吸收其它颜色的 光的同时使绿光通过的滤色器材料）、黄色滤色器元件（例如，使红光和绿光通过的黄色滤 色器材料）、清晰滤色器元件（例如，使红光、蓝光和绿光通过的透明材料）、宽带滤波器元 件（例如，使从包括红光、蓝光和绿光的组选择的两个或更多颜色的光通过的滤波器材料） 和/或其它颜色（例如，青色、品红色等）的滤色器元件。
[0070] 在图6的例子中，按照分散的布置形成相位检测像素对100,其中每个相位检测像 素对与其它相位检测像素对隔离。例如，每个相位检测像素对100可基本上或完全由图像 像素34包围。通过利用图像像素34包围相位检测像素对100,可通过在每个相位检测像素 对100附近的更大数量的邻近图像像素34来方便在图像重构处理期间以内插的图像像素 值替换相位检测像素值。分散的相位检测像素对100可被沿水平方向布置在像素阵列32 的行中（如图6的例子中所示），或者可被沿垂直方向布置在像素阵列32的列中。像素阵 列32可包括一个、两个、三个、十个、小于十个或超过十个相位检测像素对100,并且像素对 100可位于阵列32中的任何合适位置。
[0071] 像素对100可包括滤色器元件以与图像像素34的滤色器模式匹配。在图6的例 子中，图像像素34包括形成拜耳模式的滤色器元件，并且相位检测像素36包括不破坏拜耳 模式的滤色器元件。例如，相位检测像素对100的Pl可包括绿色滤色器元件，并且相位检 测像素对100的P2可包括红色滤色器元件。然而，这仅是说明性的。根据需要，Pl可包括 红色滤色器元件并且P2可包括绿色滤色器元件或者Pl可包括蓝色滤色器元件并且P2可 包括绿色滤色器元件（作为例子）。选择Pl和P2的滤色器元件以与整个像素阵列32的滤 色器模式匹配。
[0072] 像素阵列32的滤色器模式是拜耳滤色器模式的图6的例子仅是说明性的。根据 需要，可使用其它合适的滤色器的模式，例如，以不同类型的滤波器（诸如，宽带滤波器）替 换每个二乘二单位中的绿色滤色器之一或二者的伪拜耳滤色器模式、其它合适的滤色器模 式等。形成在相位检测像素对36中的滤色器元件可以是任何合适颜色，只要像素阵列32 的滤色器模式不变即可。像素阵列32的滤色器模式是拜耳滤色器模式的布置在本文中有 时被描述为例子。
[0073] 在图7的例子中，相位检测像素对100被连续地布置成线（例如，包括两个或更多 连续像素对1〇〇的线段）。相位检测像素对1〇〇可被沿水平方向布置在像素阵列32的行中 (如图7的例子中所示），或者可被沿垂直方向布置在像素阵列32的列中。与图6的例子 一样，图7的图像像素34包括形成拜耳模式的滤色器元件，并且相位检测像素36包括使拜 耳模式保持完整的滤色器元件。例如，每个像素对100的Pl可包括绿色滤色器元件，并且 每个像素对100的P2可包括红色滤色器元件。通常，形成在相位检测像素对36中的滤色 器元件可以是任何合适颜色，只要像素阵列32的滤色器模式不变即可。
[0074] 在图8的例子中，每个相位检测像素对100的Pl和P2相对于彼此沿对角线方向 位于像素阵列32的不同行和不同列中。这有时被称为堆叠相位检测像素布置，因为覆盖像 素对100的Pl的微透镜102被形成在覆盖像素对100的P2的微透镜102上方或下方。
[0075] 与图6的例子一样，图8的相位检测像素对100与阵列32中的其它相位检测像素 对隔离。例如，每个相位检测像素对100可基本上或完全由图像像素34包围。通过利用图 像像素34包围相位检测像素对100,可通过在每个相位检测像素对100附近的更大数量的 邻近图像像素34来方便在图像重构处理期间以内插的图像像素值替换相位检测像素值。
[0076] 图8的图像像素34包括形成拜耳模式的滤色器元件，并且相位检测像素36包括 使拜耳模式保持完整的滤色器元件。然而，图8的堆叠布置允许每个相位检测像素对的Pl 和P2是相同颜色。例如，在滤色器模式是拜耳滤色器模式的情况下，每个像素对100的Pl 可包括绿色滤色器元件并且每个像素对100的P2 (相对于Pl沿对角线方向布置）也可包括 绿色滤色器元件。通常，形成在相位检测像素对36中的滤色器元件可以是任何合适颜色， 只要像素阵列32的滤色器模式不变即可。
[0077] 在图9的例子中，具有图8中示出的类型的堆叠布置的相位检测像素对100被连 续地布置成线（例如，包括两个或更多相邻像素对100的线段）。相位检测像素对100可 被布置在像素阵列32的两个连续行中（如图9的例子中所示），或者可被布置在像素阵列 32的两个连续列中。与图8的例子一样，图9的图像像素34包括形成拜耳模式的滤色器元 件，并且相位检测像素36包括使拜耳模式保持完整的滤色器元件。例如，每个像素对100 的Pl可包括绿色滤色器元件，并且每个像素对100的P2 (相对于Pl沿对角线方向布置） 也可包括绿色滤色器元件。通常，形成在相位检测像素对36中的滤色器元件可以是任何合 适颜色，只要像素阵列32的滤色器模式不变即可。
[0078] 在图10的例子中，像素对100被非连续地布置成线（例如，位于公共行中）并且通 过图像像素34而彼此隔离。这种类型的布置类似于图6的布置，因为每个相位检测像素对 100可基本上或完全由图像像素34包围。通过利用图像像素34包围相位检测像素对100， 可通过在每个相位检测像素对100附近的更大数量的邻近图像像素34来方便在图像重构 处理期间以内插的图像像素值替换相位检测像素值。
[0079] 图11是图8的例子的变型，其中每个相位检测像素对100的Pl和P2相对于彼此 沿对角线方向位于像素阵列32的不同行和不同列中。然而，在图11的例子中，形成在Pl 上方的微透镜102M和形成在P2上方的微透镜相对于彼此偏移（例如，相对于彼此沿对角 线方向布置，而非如图8的例子中一样堆叠）。
[0080] 图11中示出的类型的相位检测像素对100可与其它相位检测像素对100隔离。例 如，每个相位检测像素对100可基本上或完全由图像像素34包围。通过利用图像像素34 包围相位检测像素对100,可通过在每个相位检测像素对100附近的更大数量的邻近图像 像素34来方便在图像重构处理期间以内插的图像像素值替换相位检测像素值。然而，这仅 是说明性的。根据需要，图11中示出的类型的相位检测像素对100可被布置成线（例如， 可存在沿着线彼此相邻地布置的两个或更多像素对100)。
[0081] 图11的图像像素34包括形成拜耳模式的滤色器元件，并且相位检测像素36包括 使拜耳模式保持完整的滤色器元件。然而，图11的布置允许每个相位检测像素对的Pl和 P2是相同颜色。例如，在滤色器模式是拜耳滤色器模式的情况下，每个像素对100的Pl可 包括绿色滤色器元件并且每个像素对100的P2 (相对于Pl沿对角线方向布置）也可包括 绿色滤色器元件。通常，形成在相位检测像素对36中的滤色器元件可以是任何合适颜色， 只要像素阵列32的滤色器模式不变即可。
[0082] 图12和13是这样的例子：由相位检测像素36的滤色器稍微改变像素阵列32的 滤色器模式。在图12的例子中，相位检测像素对100的Pl和P2具有相同颜色（例如，红色 或绿色），并且像素对100被连续地布置成线（例如，包括两个或更多相邻像素对100的线 段）。然而，与图5的传统布置不同，该线中的像素对100的颜色从一对到下一对改变。例 如，一对绿色相位检测像素36可位于第一对红色相位检测像素36和第二对红色相位检测 像素36之间。以这种方式使绿色相位检测像素对与红色相位检测像素对交替可方便当以 内插的图像像素值替换相位检测像素值时的图像重构处理 。例如，可至少部分地基于来自 邻近红色相位检测像素的红色像素值确定用于一对绿色相位检测像素的红色图像像素值。
[0083] 在图13的例子中，相位检测像素36全都是相同颜色，但分离到像素阵列32的不 同行中。例如，第一行像素可包括布置成非连续线的一个或多个相位检测像素对100,而第 二行像素可包括布置成非连续线的一个或多个相位检测像素对100。每个像素对100的Pl 和P2可以是相同颜色，诸如绿色（作为例子）。如图13中所示，一行中的像素对100可相 对于另一行中的像素对100错开（stagger)。
[0084] 像素对100被形成在像素阵列32的两行中的图13的例子仅是说明性的。根据需 要，像素对100可被形成在超过两行（例如，四行、六行等）中。每行中的像素对100可相 对于相邻行中的像素对100错开。
[0085] 根据需要，可在重构处理期间使用来自Pl和P2的相位检测像素值，重构处理期间 以内插的图像像素值替换来自Pl和P2的相位检测像素值。例如，考虑图13的P1'和P2'。 为了以绿色像素值G替换来自像素PT的相位检测像素值Pl并且以红色像素值R替换来 自像素P2'的相位检测像素值P2,可首先使用下面的公式确定绿色估计值G' ：
[0086] G，=k(x，y)*(Pl+P2) (I)
[0087] 其中k(x，y)是使预定函数最小化的空间相关系数或增益函数（例如，在校准过程 期间确定）。例如，可使下面的函数最小化：
[0089] 其中GJPG2是固定内核MXM里面的平均绿色像素值，并且其中M是常数（例如， M= 9)。（2)中示出的以上函数是可被最小化以获得系数k(x，y)的特定函数的说明性例 子。根据需要，可使用其它函数。
[0090] 可基于附近绿色像素的加权和确定平均绿色像素值。在确定绿色估计值G'之后， 局部梯度可被计算如下：
[0091] |ga-g'|，|gb-g'|，|gk-g'I，|gl-g'I⑶
[0092] 其中GA、GB、GjPq分别是在像素PI'和P2'上方、在像素PI'和P2'下方、在像 素Pr和P2'的右侧以及在像素Pr和P2'的左侧的附近位置的平均绿色像素值。
[0093] 随后基于与邻近像素的相似性对缺失的像素值R和G进行内插。例如，缺失的G 值能够被设置为等于具有最小关联局部梯度（smallestassociatedlocalgradient)的 邻近绿色像素的像素值。以与在色差亮度去马赛克算法中采用的方式类似的方式，这个值 可随后被用于重构缺失的红色值R。根据需要，可通过修剪（clip)绿色估计值G'来确定输 出像素值G:
[0094]G=clip(G',min(GA,Gb,Ge,Gl) ,max(GA,Gb,Ge,Gl) ) (4)
[0095]图14是操作具有图像像素34和相位检测像素36的图像传感器（诸如，图I的图 像传感器14)所涉及的说明性步骤的流程图。
[0096] 在步骤200,图像像素阵列32可搜集来自聚焦在像素阵列32上的光的数据。例 如，图像像素34可搜集图像数据，并且相位检测像素36可从搜集来自输入光的相位信息。 相位检测像素36可例如产生图3中示出的类型的像素信号。来自图像像素和相位检测像 素的图像数据和相位信息可被提供给图像处理电路16。
[0097] 在步骤204,处理电路16可处理搜集的相位信息和图像数据以确定图像中的一个 或多个物体是否聚焦。在一个合适的布置中，电子装置10的用户可在成像的场景中选择感 兴趣的物体（有时被称为兴趣点），并且处理电路16可确定感兴趣的物体是否聚焦。在另 一合适的布置中，处理电路16可独立地（autonomously)使用由图像像素34捕捉的图像数 据和由相位检测像素36捕捉的相位信息在成像的场景中识别感兴趣的物体（兴趣点），诸 如脸、人、移动物体或任何其它预期物体。例如，处理电路16可实现脸检测算法以自动地在 成像的场景中检测脸并且识别这些脸作为兴趣点。处理电路16可确定识别的感兴趣的物 体是否聚焦（例如，使用由相位检测像素36搜集的相位数据）。
[0098] 例如，处理电路16可通过比较来自相位检测像素对的Pl和P2的角度像素输出 (诸如，图3中示出的类型的输出）来确定成像的场景中的物体是否聚焦。由处理电路16 用于确定与相位检测像素信号关联的相差的算法取决于相位检测像素如何被布置在该阵 列中。对于相位检测像素全都是相同颜色并且被连续地布置成线的图5中示出的类型的传 统布置，互相关（cross-correlation)算法被用于确定相差。类似的互相关算法可被用于 处理来自具有图9中示出的类型的布置的相位检测像素的相位检测像素信号。
[0099] 在相位检测像素对100被非连续地布置在行中并且包括不同颜色的Pl和P2的图 10中示出的类型的布置中，可使用修改的互相关算法。例如，处理电路16可使用来自该行 中的红色相位检测像素的像素信号执行第一互相关算法，并且使用来自该行中的绿色相位 检测像素的像素信号执行第二互相关算法。红色数据互相关结果可被与绿色数据互相关结 果合并以确定相差。
[0100] 在相位检测像素对1〇〇被连续地布置成线（例如，包括两个或更多相邻像素对100 的线段）的图7中示出的类型的布置中，也可使用修改的互相关算法。然而，可在颜色之间 执行互相关操作，而非对于每个颜色通道执行单独的互相关操作（如上所述）。这可包括 例如：使来自像素对1〇〇的像素数据的线标准化，并且随后调整标准化的像素信号以减小 来自红色相位检测像素的像素信号和来自绿色相位检测像素的像素信号之间的任何偏差 (bias)。例如，可使用预定校正因子或使用来自基本上均匀的区域中的附近相位检测像素 的像素信号调整来自红色相位检测像素的像素数据，以使得红色像素数据变为可与绿色像 素数据相当。在使来自红色和绿色相位检测像素的信号电平的差异最小化之后，可执行互 相关算法以确定相差。
[0101] 在图6、8、11、12和13中示出的类型的布置中，可使用不同算法，由此基于来自附 近像素（例如，附近图像像素34和/或附近相位检测像素36)的像素信号推断与图像中的 边缘关联的亮度梯度（有时被称为边缘极性）。这种类型的算法有时被称为边缘极性推断， 并且以下结合图15更详细地描述该算法。
[0102] 如果处理电路16确定图像未聚焦（例如，成像的场景中的感兴趣的物体未聚焦）， 则处理可前进至步骤206以调整透镜28 (图1)的焦点。这可包括例如：确定使图像聚焦所 需的透镜移动的方向（以及根据需要确定透镜移动的大小）。处理可随后返回到步骤200， 以使得处理电路16能够确定当使用新的焦距捕捉时场景或感兴趣的物体是否聚焦。
[0103] 如果处理电路16在步骤204中确定图像聚焦，则处理可前进至步骤208。
[0104] 在步骤208,处理电路16可使用由成像像素34捕捉的图像数据产生聚焦图像。这 可包括例如：使用来自附近图像像素34 (例如，位于相位检测像素36附近的图像像素34) 的像素值以内插的图像像素值替换相位检测像素值。根据需要，相位检测像素值可被使用 其它相位检测像素内插的像素值替换（例如，对于图12中示出的类型的布置）。图像重构 处理可包括例如：使用如以上结合图13所述的公式1、2、3和4对相位检测像素36的缺失 的像素值进行内插。
[0105] 处理电路16可在步骤208中对聚焦图像执行另外的图像处理操作（例如，白平衡 操作、噪声校正操作、伽马校正操作等）。根据需要，处理电路16可将聚焦图像存储在存储 器中和/或将聚焦图像传送给另外的处理电路或显示装备。以这种方式，相位检测像素36 可产生用于自动地调整透镜28的位置以使一个或多个感兴趣的物体聚焦的数据。根据需 要，相位检测像素36可被用于产生关于成像的场景的范围信息（诸如，一个或多个深度图 或其它二维彳目息）。
[0106]图15是当相位检测像素被隔离（例如，未连续地布置以形成基本上线段）时在自 动聚焦操作期间处理相位检测像素信号所涉及的说明性步骤的流程图。相位检测像素对 1〇〇的像素Pl和P2可以是不同颜色或者可以是相同颜色。
[0107] 在步骤300,相位检测像素36 (例如，图6、8、11、12或13的Pl和P2)可搜集来自 场景的相位信息。来自Pl和P2的相位检测像素信号可被提供给处理电路16。
[0108] 在步骤302,处理电路16可以可选地使用空间相关校准因子（例如，方程1的 k(x，y))调整来自Pl和P2的像素值。如果Pl和P2是正常图像像素（而非具有不对称角 度响应的像素），则空间相关校准因子可被用于将来自相位检测像素Pl和P2的相位检测像 素值映射到与将会由Pl和P2产生的像素值对应的调整的像素值。
[0109] 在步骤304,处理电路16可以可选地确定和应用颜色调整以补偿Pl和P2之间的 颜色的差异。例如，处理电路16可基于白平衡增益和/或基于其它信息调整来自Pl和P2 的像素值。
[0110]在步骤306,处理电路16可确定与来自相位检测像素Pl和P2的像素值关联的相 差。例如，处理电路可通过从P2减去Pl来确定相差PD，其中Pl和P2是来自相位检测像素 Pl和P2的像素信号。
[0111] 步骤306可以可选地包括补偿操作，由此相差Pd=P1-P2被校正以补偿Pl 和P2 之间的固有信号差异。例如，当相位检测像素对100的Pl和P2是不同颜色时，像素Pl和 P2可产生不同信号。即使当Pl和P2是相同颜色时，作为制造变化、滤色器材料不匹配和/ 或量子效率差异（例如，由于从图像像素34到相位检测像素36的光学串扰所导致）的结 果，Pl和P2也可产生不同信号。
[0112] 为了执行可选的补偿操作，处理电路16可在附近"平坦"区域中寻找相位检测像 素。例如，平坦区域（例如，没有边缘的区域）中的像素对100可包括相位检测像素Pl^ P2f。由于该区域是平坦的，所以处理电路16假设Plf= ?2,而不管焦点如何。处理电路16 可随后使用平坦区域中的P2f确定偏差值bias(X，y):
[0114] 其中Vcj是梯度并且thbias是成像系统的固定值特征并且Pl#PP2f分别是来自Plf 和P2f的像素信号。校正的相差PD'能够随后被以下面的方式计算：
[0115]PD' = (Pl-P2)_bias(x，y)*(Pl+P2) (6)
[0116] 在步骤308,处理电路16可确定与在相位检测像素36的边缘（例如，垂直于穿过 Pl和P2的轴线的边缘）关联的亮度梯度。可使用来自附近图像像素34的像素值确定边缘 的亮度梯度。例如，当且仅当下面为真时，梯度可被确定为歹e
[0118] 其中也1、也2、也 3和也4是成像系统的固定值特征，7,是在像素阵列中沿着水平方 向的亮度梯度，Vy是在像素阵列中沿着垂直方向的亮度梯度，并且Pl和P2是来自相位检 测像素Pl和P2的像素信号。
[0119] 在步骤310,处理电路16可使用在步骤308中确定的边缘亮度梯度确定使感兴趣 的物体聚焦所需的透镜移动的方向以及根据需要确定透镜移动的大小。例如，下面的自动 聚焦（AF)逻辑可被用于确定需要的移动的方向（如果需要任何移动的话）：
[0120]
[0121] 可使用下面的公式近似透镜位移：
[0123] 其中f是透镜系统的函数。
[0124]已描述表示具有用于捕捉图像数据的图像像素和用于在自动聚焦操作期间搜集 相位信息的相位检测像素的图像传感器像素阵列的各种实施例。相位检测像素可形成具有 有着不同角度响应（例如，反向、近似反向或互补角度响应）的第一和第二像素的相位检测 像素对。第一和第二像素可具有相同颜色的滤色器，或者可具有不同颜色的滤色器。相位 检测像素对可彼此隔离（例如，可部分地或完全由图像像素包围），或者可被连续地布置成 线。
[0125] 相位检测像素对可被布置在具有多个图像像素的图像像素阵列中。图像像素阵列 可包括具有特定滤色器模式的滤色器阵列。相位检测像素可具有滤色器以与图像像素阵列 的滤色器模式匹配。在其它实施例中，相位检测像素可具有稍微改变滤色器模式但被图案 化以方便以像素信号替换相位检测像素信号的图像重构处理的滤色器。
[0126] 处理电路可被用于确定与来自相位检测像素对的像素信号关联的相差。处理电路 可调整像素信号以减小相位检测像素信号之间的任何偏差。例如，处理电路可使用空间相 关预定校正因子调整相位检测像素信号。在另一合适的实施例中，处理电路可使用在图像 捕捉操作期间确定的偏差值调整相位检测像素信号。可使用附近相位检测像素确定该偏差 值。例如，处理电路可使用图像的平坦区域中的相位检测像素确定偏差值，该偏差值随后被 用于减小用于自动聚焦操作的相位检测像素信号之间的任何偏差。
[0127] 处理电路可在图像重构处理期间以内插的图像像素值替换相位检测像素值。可基 于亮度梯度确定内插的图像像素值。可使用附近图像像素确定亮度梯度。例如，为了以绿 色图像像素值替换绿色相位检测像素值，可使用附近绿色图像像素确定局部亮度梯度。
[0128] 前面的描述仅说明本公开的原理，并且在不脱离本公开的范围和精神的情况下能 够由本领域技术人员做出各种变型。
【主权项】
1. 一种具有像素阵列的图像传感器，其特征在于，所述像素阵列包括： 多个图像像素，搜集图像数据； 相位检测像素对，搜集相位信息，其中所述相位检测像素对包括具有不同角度响应的 第一和第二相位检测像素；和 滤色器阵列，其中所述滤色器阵列包括形成在所述多个图像像素上方的多个滤色器元 件，所述多个滤色器元件根据颜色模式布置，并且第一和第二相位检测像素包括具有各自 的与该颜色模式匹配的第一和第二颜色的各自的第一和第二滤色器元件。2. 如权利要求1所述的图像传感器，其特征在于，所述颜色模式是拜耳颜色模式。3. 如权利要求1所述的图像传感器，其特征在于，所述多个滤色器元件包括宽带滤波 器元件。4. 如权利要求1所述的图像传感器，其特征在于，第一和第二滤色器元件透射不同颜 色的光。5. 如权利要求4所述的图像传感器，其特征在于，还包括：多个另外的相位检测像素 对，其中所述相位检测像素对和所述多个另外的相位检测像素对位于像素行中，并且所述 另外的相位检测像素对中的每个包括透射不同颜色的光的滤色器元件。6. 如权利要求1所述的图像传感器，其特征在于，第一和第二相位检测像素包括由单 个微透镜覆盖的各自的第一和第二光电二极管。7. 如权利要求1所述的图像传感器，其特征在于，第一和第二相位检测像素包括各自 的第一和第二光电二极管，第一和第二光电二极管中的每一个部分地由不透明的遮蔽层覆 盖。8. 如权利要求1所述的图像传感器，其特征在于，所述像素阵列包括像素行和像素列， 并且第一和第二相位检测像素彼此相邻地位于一个像素行中。9. 如权利要求1所述的图像传感器，其特征在于，所述像素阵列包括像素行和像素列， 并且第一和第二相位检测像素彼此相邻地位于一个像素列中。10. 如权利要求1所述的图像传感器，其特征在于，第一相位检测像素包括由第一微透 镜覆盖的第一光电二极管，第二相位检测像素包括由第二微透镜覆盖的第二光电二极管， 并且第一和第二相位检测像素相对于彼此沿对角线方向布置。11. 如权利要求10所述的图像传感器，其特征在于，第一微透镜跨越所述像素阵列的 第一和第二列，并且第二微透镜与第一微透镜相邻并且也跨越所述像素阵列的第一和第二 列。12. 如权利要求10所述的图像传感器，其特征在于，第一微透镜跨越所述像素阵列中 的第一和第二列，并且第二微透镜跨越所述像素阵列的第三和第四列。13. -种具有像素阵列的图像传感器，其特征在于，所述像素阵列包括： 多个图像像素，搜集图像数据； 相位检测像素对，搜集相位信息，其中每个相位检测像素对包括具有不同角度响应的 第一和第二相位检测像素，并且每个相位检测像素对完全由图像像素包围并且与所述像素 阵列中的其它相位检测像素对隔离；和 滤色器阵列，其中所述滤色器阵列包括形成在所述多个图像像素上方的多个滤色器元 件，所述多个滤色器元件根据颜色模式布置，并且每个相位检测像素对包括具有各自的与 该颜色模式匹配的第一和第二颜色的各自的第一和第二滤色器元件。14. 如权利要求13所述的图像传感器，其特征在于，所述相位检测像素对被布置在行 中，并且该行中的相位检测像素对通过在该行中的图像像素而彼此分离。15. 如权利要求13所述的图像传感器，其特征在于，所述相位检测像素对包括位于所 述像素阵列的第一行中的第一相位检测像素对和位于所述像素阵列的第二行中的第二相 位检测像素对，其中第一相位检测像素对相对于第二相位检测像素对错开。16. -种具有像素阵列的图像传感器，其特征在于，所述像素阵列包括： 多个图像像素，搜集图像数据；和 相位检测像素对，搜集相位信息，其中所述相位检测像素对包括具有不同角度响应的 第一和第二相位检测像素，第一和第二相位检测像素包括各自的第一和第二滤色器元件， 第一和第二滤色器元件具有各自的第一和第二颜色，其中第一颜色不同于第二颜色。17. 如权利要求16所述的图像传感器，其特征在于，还包括： 多个滤色器元件，形成在所述多个图像像素上方，其中所述多个滤色器元件根据颜色 模式布置，并且第一和第二颜色与该颜色模式匹配。18. 如权利要求17所述的图像传感器，其特征在于，所述颜色模式是拜耳颜色模式。19. 如权利要求16所述的图像传感器，其特征在于，第一和第二相位检测像素包括由 单个微透镜覆盖的各自的第一和第二光电二极管。20. 如权利要求16所述的图像传感器，其特征在于，第一和第二相位检测像素包括各 自的第一和第二光电二极管，第一和第二光电二极管中的每一个部分地由不透明的遮蔽层 覆盖。
【专利摘要】本公开涉及具有像素阵列的图像传感器。所述像素阵列包括：多个图像像素，搜集图像数据；相位检测像素对，搜集相位信息，其中所述相位检测像素对包括具有不同角度响应的第一和第二相位检测像素；和滤色器阵列，其中所述滤色器阵列包括形成在所述多个图像像素上方的多个滤色器元件，所述多个滤色器元件根据颜色模式布置，并且第一和第二相位检测像素包括具有各自的与该颜色模式匹配的第一和第二颜色的各自的第一和第二滤色器元件。根据本公开，可以减小相位检测像素信号之间的任何偏差。
【IPC分类】H04N5/378, H01L27/146, H04N5/335, H04N5/345
【公开号】CN204697179
【申请号】CN201520388489
【发明人】M·米利纳尔, B·凯兰, D·费蒂格
【申请人】半导体元件工业有限责任公司
【公开日】2015年10月7日
【申请日】2015年6月8日
【技术领域】
[0001] 本申请一般地涉及成像系统，并且更具体地讲，涉及具有相位检测能力的成像系 统。
【背景技术】
[0002] 现代电子装置（诸如，蜂窝电话、照相机和计算机）经常使用数字图像传感器。成 像器传感器（有时被称为成像器）可由图像感测像素的二维阵列形成。每个像素接收入 射光子（光）并且将光子转换成电信号。图像传感器有时被设计为使用联合图像专家组 (JPEG)格式将图像提供给电子装置。
[0003] -些应用（诸如，自动聚焦和三维（3D)成像）可能需要电子装置提供立体和/或 深度感测能力。例如，为了使感兴趣的物体聚焦以用于图像捕捉，电子装置可能需要识别电 子装置和感兴趣的物体之间的距离。为了识别距离，传统电子装置使用复杂布置。一些布 置需要使用从各种视点捕捉图像的多个图像传感器和照相机透镜。其它布置需要添加将入 射光聚焦在二维像素阵列的子区域上的双凸透镜阵列。由于诸如另外的图像传感器或复杂 透镜阵列的部件的添加，这些布置导致减小的空间分辨率、增加的成本和增加的复杂性。
[0004] 一些电子装置在单个图像传感器中既包括图像像素又包括相位检测像素。利用这 种类型的布置，照相机能够使用片上相位检测像素聚焦图像，而不需要单独的相位检测传 感器。在典型布置中，相位检测像素全都具有相同颜色并且在像素阵列中连续地布置成线。 当相位检测像素被以这种方式布置时，光学串扰变成问题。例如，与绿色图像像素和红色图 像像素之间的光学串扰相比，绿色图像像素和绿色相位检测像素之间的光学串扰可能更加 难以校正。
[0005]因此，将会希望能够提供用于图像传感器的改进的相位检测像素布置和相位检测 信号处理方法。 【实用新型内容】
[0006] 本公开的一个目的是提供具有改进的相位检测像素布置和相位检测信号处理的 图像传感器。
[0007] 根据一个实施例，提供一种具有像素阵列的图像传感器，所述像素阵列包括：多 个图像像素，搜集图像数据；相位检测像素对，搜集相位信息，其中所述相位检测像素对包 括具有不同角度响应的第一和第二相位检测像素；和滤色器阵列，其中所述滤色器阵列包 括形成在所述多个图像像素上方的多个滤色器元件，所述多个滤色器元件根据颜色模式布 置，并且第一和第二相位检测像素包括具有各自的与该颜色模式匹配的第一和第二颜色的 各自的第一和第二滤色器元件。
[0008] 优选地，所述颜色模式是拜耳颜色模式。
[0009] 优选地，所述多个滤色器元件包括宽带滤波器元件。
[0010] 优选地，第一和第二滤色器元件透射不同颜色的光。
[0011] 优选地，所述图像传感器还包括：多个另外的相位检测像素对，其中所述相位检测 像素对和所述多个另外的相位检测像素对位于像素行中，并且所述另外的相位检测像素对 中的每个包括透射不同颜色的光的滤色器元件。
[0012] 优选地，第一和第二相位检测像素包括由单个微透镜覆盖的各自的第一和第二光 电二极管。
[0013] 优选地，第一和第二相位检测像素包括各自的第一和第二光电二极管，第一和第 二光电二极管中的每一个部分地由不透明的遮蔽层覆盖。
[0014] 优选地，所述像素阵列包括像素行和像素列，并且第一和第二相位检测像素彼此 相邻地位于一个像素行中。
[0015] 优选地，所述像素阵列包括像素行和像素列，并且第一和第二相位检测像素彼此 相邻地位于一个像素列中。
[0016] 优选地，第一相位检测像素包括由第一微透镜覆盖的第一光电二极管，第二相位 检测像素包括由第二微透镜覆盖的第二光电二极管，并且第一和第二相位检测像素相对于 彼此沿对角线方向布置。
[0017] 优选地，第一微透镜跨越所述像素阵列的第一和第二列，并且第二微透镜与第一 微透镜相邻并且也跨越所述像素阵列的第一和第二列。
[0018] 优选地，第一微透镜跨越所述像素阵列中的第一和第二列，并且第二微透镜跨越 所述像素阵列的第三和第四列。
[0019] 根据另一实施例，提供一种具有像素阵列的图像传感器，所述像素阵列包括：多个 图像像素，搜集图像数据；相位检测像素对，搜集相位信息，其中每个相位检测像素对包括 具有不同角度响应的第一和第二相位检测像素，并且每个相位检测像素对完全由图像像素 包围并且与所述像素阵列中的其它相位检测像素对隔离；和滤色器阵列，其中所述滤色器 阵列包括形成在所述多个图像像素上方的多个滤色器元件，所述多个滤色器元件根据颜色 模式布置，并且每个相位检测像素对包括具有各自的与该颜色模式匹配的第一和第二颜色 的各自的第一和第二滤色器元件。
[0020] 优选地，所述相位检测像素对被布置在行中，并且该行中的相位检测像素对通过 在该行中的图像像素而彼此分离。
[0021] 优选地，所述相位检测像素对包括位于所述像素阵列的第一行中的第一相位检测 像素对和位于所述像素阵列的第二行中的第二相位检测像素对，其中第一相位检测像素对 相对于第二相位检测像素对错开。
[0022] 根据又一实施例，提供一种具有像素阵列的图像传感器，所述像素阵列包括：多个 图像像素，搜集图像数据；和相位检测像素对，搜集相位信息，其中所述相位检测像素对包 括具有不同角度响应的第一和第二相位检测像素，第一和第二相位检测像素包括各自的第 一和第二滤色器元件，第一和第二滤色器元件具有各自的第一和第二颜色，其中第一颜色 不同于第二颜色。
[0023] 优选地，所述图像传感器还包括：多个滤色器元件，形成在所述多个图像像素上 方，其中所述多个滤色器元件根据颜色模式布置，并且第一和第二颜色与该颜色模式匹配。
[0024] 优选地，所述颜色模式是拜耳颜色模式。
[0025] 优选地，第一和第二相位检测像素包括由单个微透镜覆盖的各自的第一和第二光 电二极管。
[0026] 优选地，第一和第二相位检测像素包括各自的第一和第二光电二极管，第一和第 二光电二极管中的每一个部分地由不透明的遮蔽层覆盖。
[0027] 根据本公开，可以减小相位检测像素信号之间的任何偏差。
【附图说明】
[0028] 图1是根据本公开的实施例的具有可包括相位检测像素的图像传感器的说明性 电子装置的示意图。
[0029] 图2A是根据本公开的实施例的具有有着不同的不对称角度响应的光敏区域的说 明性相位检测像素的剖视图。
[0030] 图2B和2C是根据本公开的实施例的图2A的相位检测像素的剖视图。
[0031] 图3是根据本公开的实施例的针对以不同入射角撞击相位检测像素的入射光的 相位检测像素的说明性信号输出的示图。
[0032] 图4A是根据本公开的实施例的沿水平方向布置的说明性相位检测像素对的顶视 图。
[0033] 图4B是根据本公开的实施例的沿垂直方向布置的说明性相位检测像素对的顶视 图。
[0034] 图4C是根据本公开的实施例的沿垂直方向布置并且被构造为沿着水平方向检测 相差的说明性相位检测像素对的顶视图。
[0035]图5是现有技术中具有连续地布置线并且全都具有相同颜色的相位检测像素的 传统像素阵列的顶视图。
[0036] 图6是根据本公开的实施例的具有有着与像素阵列的滤色器模式匹配的滤色器 的隔离的相位检测像素对的说明性像素阵列的顶视图。
[0037] 图7是根据本公开的实施例的具有有着与像素阵列的滤色器模式匹配的滤色器 的连续地布置成线的相位检测像素对的说明性像素阵列的顶视图。
[0038] 图8是根据本公开的实施例的具有有着与像素阵列的滤色器模式匹配的滤色器 的隔离的堆叠相位检测像素对的说明性像素阵列的顶视图。
[0039] 图9是根据本公开的实施例的具有有着与像素阵列的滤色器模式匹配的滤色器 的连续地布置成线的堆叠相位检测像素对的说明性像素阵列的顶视图。
[0040] 图10是根据本公开的实施例的具有有着与像素阵列的滤色器模式匹配的滤色器 的非连续地布置成线的隔离的相位检测像素对的说明性像素阵列的顶视图。
[0041] 图11是根据本公开的实施例的具有有着与像素阵列的滤色器模式匹配的滤色器 的隔离的沿对角线方向布置的相位检测像素对的说明性像素阵列的顶视图。
[0042] 图12是根据本公开的实施例的具有布置成线的交替的红色相位检测像素对和绿 色相位检测像素对的说明性像素阵列的顶视图。
[0043] 图13是根据本公开的实施例的具有沿着两个或更多像素行分布的绿色相位检测 像素对的说明性像素阵列的顶视图。
[0044] 图14是根据本公开的实施例的操作具有图像像素和相位检测像素的图像传感器 所涉及的说明性步骤的流程图。
[0045]图15是根据本公开的实施例的在自动聚焦操作期间处理相位检测像素信号所涉 及的说明性步骤的流程图。
【具体实施方式】
[0046] 本公开的实施例涉及具有自动聚焦和深度感测能力的图像传感器。具有照相机模 块的电子装置被示出在图1中。电子装置10可以是数字照相机、计算机、蜂窝电话、医学装 置或其它电子装置。照相机模块12(有时被称为成像装置）可包括一个或多个图像传感器 14和一个或多个透镜28。在操作期间，透镜28(有时被称为光学器件28)将 光聚焦在图像 传感器14上。图像传感器14包括将光转换成数字数据的光敏元件（例如，像素）。图像传 感器可具有任何数量的像素（例如，数百、数千、数百万或更多）。典型图像传感器可例如具 有数百万的像素（例如，兆像素）。作为例子，图像传感器14可包括偏置电路（例如，源极 跟随器负载电路）、采样和保持电路、相关双采样（CDS)电路、放大器电路、模数（ADC)转换 器电路、数据输出电路、存储器（例如，缓冲器电路）、地址电路等。
[0047] 来自图像传感器14的静止和视频图像数据可被提供给图像处理和数据格式化电 路16。图像处理和数据格式化电路16可被用于执行图像处理功能（诸如，自动聚焦功能、 深度感测、数据格式化、调整白平衡和曝光、实现视频图像稳定、脸检测等）。例如，在自动聚 焦操作期间，图像处理和数据格式化电路16可处理由图像传感器14中的相位检测像素搜 集的数据以确定使感兴趣的物体聚焦所需的透镜移动（例如，透镜28的移动）的大小和方 向。
[0048] 图像处理和数据格式化电路16还可被用于根据需要压缩原始照相机图像文件 (例如，压缩成联合图像专家组或JPEG格式）。在有时被称为片上系统（SOC)布置的典型布 置中，照相机传感器14以及图像处理和数据格式化电路16被实现在公共集成电路上。使 用单个集成电路实现照相机传感器14以及图像处理和数据格式化电路16能够帮助减少成 本。然而，这仅是说明性的。根据需要，照相机传感器14以及图像处理和数据格式化电路 16可被使用分开的集成电路实现。
[0049]照相机模块12可经路径18将获取的图像数据传送给主机子系统20 (例如，图像 处理和数据格式化电路16可将图像数据传送给子系统20)。电子装置10通常为用户提供 许多高级功能。在计算机或高级蜂窝电话中，例如，用户可被提供运行用户应用的能力。为 了实现这些功能，电子装置10的主机子系统20可包括存储和处理电路24以及输入输出装 置22 (诸如，小键盘、输入输出端口、控制杆和显示器）。存储和处理电路24可包括易失性 和非易失性存储器（例如，随机存取存储器、闪存、硬盘驱动器、固态驱动器等）。存储和处 理电路24还可包括微处理器、微控制器、数字信号处理器、专用集成电路或其它处理电路。
[0050] 可能希望提供具有深度感测能力的图像传感器，例如，用于自动聚焦应用、3D成像 应用（诸如，机器视觉应用等）。为了提供深度感测能力，图像传感器14可包括相位检测像 素组（诸如，图2A中示出的像素对100)。
[0051] 图2A是像素对100的说明性剖视图。像素对100可包括第一和第二像素，诸如像 素1和像素2。像素1和像素2可包括形成在基底（诸如，硅基底108)中的光敏区域110。 例如，像素1可包括关联的光敏区域（诸如，光电二极管roi)，并且像素2可包括关联的光 敏区域（诸如，光电二极管ro2)。微透镜可被形成在光电二极管PDl和PD2上方，并且可被 用于朝着光电二极管PDl和ro2引导入射光。微透镜102覆盖两个像素区域的图2A的布 置有时可被称为2X1或1X2布置，因为存在连续地布置成线的两个相位检测像素。
[0052] 滤色器（诸如，滤色器元件104)可位于微透镜102和基底108之间。滤色器元件 104可通过仅允许预定波长穿过滤色器元件104来过滤入射光（例如，滤色器104可仅对于 某些范围的波长而言是透明的）。光电二极管PDl和PD2可用于吸收由微透镜102聚焦的 入射光，并且产生与吸收的入射光的量对应的像素信号。
[0053] 光电二极管PDl和PD2中的每一个可覆盖在微透镜102下方的基底区域的大约一 半（作为例子）。通过仅覆盖基底区域的一半，每个光敏区域可具有不对称角度响应（例 如，光电二极管PDl可基于入射光到达像素对100的角度产生不同图像信号）。相对于法向 轴线116的入射光到达像素对100的角度（S卩，相对于透镜102的光轴116的入射光撞击 微透镜102的角度）可在这里被称为入射角或入射的角度。
[0054] 能够使用前侧照明成像器布置（例如，当诸如金属互连电路的电路位于微透镜和 光敏区域之间时）或背面照明成像器布置（例如，当光敏区域位于微透镜和金属互连电路 之间时）形成图像传感器。像素1和2是背面照射图像传感器像素的图2A、2B和2C的例 子仅是说明性的。根据需要，像素1和2可以是前侧照射图像传感器像素。像素是背面照 射图像传感器像素的布置在本文中有时被描述为例子。
[0055] 在图2B的例子中，入射光113可来自法向轴线116的左侧，并且可相对于法向轴 线116以角度114到达像素对100。角度114可以是入射光的负角。以负角（诸如，角度 114)到达微透镜102的入射光113可被朝着光电二极管PD2聚焦。在这个方案中，光电二 极管PD2可产生相对较高的图像信号，而光电二极管PDl可产生相对较低的图像信号（例 如，因为入射光113未被朝着光电二极管F1Dl聚焦）。
[0056] 在图2C的例子中，入射光113可来自法向轴线116的右侧，并且相对于法向轴线 116以角度118到达像素对100。角度118可以是入射光的正角。以正角（诸如，角度118) 到达微透镜102的入射光可被朝着光电二极管F1Dl聚焦（例如，该光未被朝着光电二极管 PD2聚焦）。在这个方案中，光电二极管PD2可产生相对较低的图像信号输出，而光电二极 管PDl可产生相对较高的图像信号输出。
[0057] 光电二极管PDl和H)2的位置有时可被称为不对称位置，因为每个光敏区域110 的中心相对于微透镜102的光轴116偏移（即，不与微透镜102的光轴116对准）。由于基 底108中的各光电二极管PDl和TO2的不对称形成，每个光敏区域110可具有不对称角度 响应（例如，由每个光电二极管110响应于具有给定强度的入射光产生的信号输出可基于 入射角而不同）。在图3的示图中，示出响应于入射光的不同角度的像素对100的光电二极 管PDl和TO2的像素信号输出的例子。
[0058] 线160可代表光电二极管H32的输出图像信号，而线162可代表光电二极管F1Dl 的输出图像信号。对于负入射角，光电二极管TO2的输出图像信号可增加（例如，因为入射 光被聚焦在光电二极管PD2上），并且光电二极管roi的输出图像信号可减小（例如，因为 入射光被聚焦在远离光电二极管PDl的地方）。对于正入射角，光电二极管PD2的输出图像 信号可相对较小，并且光电二极管I3Dl的输出图像信号可相对较大。
[0059] 图2A、2B和2C的像素对100的光电二极管PDl和PD2的尺寸和位置仅是说明性 的。根据需要，光电二极管PDl和TO2的边缘可位于像素对100的中心或者可沿任何方向 稍微离开像素对100的中心。根据需要，光电二极管Iio可在尺寸方面被减小以覆盖小于 像素区域的一半的区域。
[0060] 来自像素对（诸如，像素对100)的输出信号可被用于在自动聚焦操作期间调整图 像传感器14中的光学器件，例如一个或多个透镜（诸如，图1的透镜28)。可基于来自像素 对100的输出信号确定使感兴趣的物体聚焦所需的透镜移动的方向和大小。
[0061] 例如，通过创建对来自透镜的一侧或另一侧的光灵敏的像素的对，能够确定相差。 这个相差可被用于确定图像传感器光学器件应该被调整多远以及应该沿哪个方向调整图 像传感器光学器件以使感兴趣的物体聚焦。
[0062] 当物体聚焦时，来自图像传感器光学器件的两侧的光会聚创建以创建聚焦图像。 当物体离焦时，由光学器件的两侧投射的图像不交叠，因为它们彼此不同相。通过创建每个 像素对来自透镜的一侧或另一侧的光灵敏的像素的对，能够确定相差。这个相差能够被用 于确定使图像同相并且由此聚焦感兴趣的物体所需的光学器件移动的方向和大小。用于确 定相差信息的像素组（诸如，像素对100)在本文中有时被称为相位检测像素或深度感测像 素。
[0063] 可通过将roi的输出像素信号与TO2的输出像素信号进行比较来计算相差信号。 例如，可通过从TO2的像素信号输出减去PDl的像素信号输出（例如，通过从线160减去线 162)来确定像素对100的相差信号。对于位于小于聚焦物体距离的距离的物体，相差信号 可以是负的。对于位于大于聚焦物体距离的距离的物体，相差信号可以是正的。这种信息 可被用于自动地调整图像传感器光学器件以使感兴趣的物体聚焦（例如，通过使像素信号 彼此同相）。
[0064] 像素对100可按照各种方式布置。例如，如图4A中所示，像素对100的像素1 (在 这里被称为Pl)和像素2 (在这里被称为P2)可被沿水平方向布置，平行于图4A的X轴（例 如，可位于像素阵列的同一行中）。在图4B的例子中，Pl和P2被沿垂直方向布置，平行于 图4B的Y轴（例如，位于像素阵列的同一列中）。在图4C的例子中，Pl和P2被沿垂直方 向布置并且被构造为沿水平方向检测相差（例如，使用不透明光遮蔽层（诸如，金属掩模 30)) 〇
[0065]相位检测像素的典型布置被示出在图5中。图5的传统像素阵列500包括图像像 素502的阵列。像素阵列500中的相位检测像素对504被连续地布置成线。像素阵列500 包括滤色器阵列。标记为R的像素包括红色滤色器，标记为G的像素包括绿色滤色器，并且 标记为B的像素包括蓝色滤色器。图像像素502中的滤色器的模式是拜耳（Bayer)马赛克 模式，该模式包括二乘二 图像像素502的重复单位基元，该单位基元具有布置在一个对角 线上的两个绿色图像像素以及布置在另一对角线上的一个红色图像像素和一个蓝色图像 像素。如图5中所示，相位检测像素对504全都形成有绿色滤色器元件，这破坏像素阵列 500的拜耳马赛克模式。
[0066] 当滤色器模式被以这种方式破坏时，以内插的图像像素值替换相位检测像素信号 可能比较有挑战性。图像像素502和504之间的光学串扰也可能变成问题，因为校正具有 特定类型的滤色器模式的像素阵列中的光学串扰的算法在校正当该滤色器模式被破坏时 的光学串扰方面不那么有效。
[0067]为了克服这些挑战，可布置相位检测像素以使像素阵列中的滤色器模式的破坏最 小化。使滤色器模式改变的量最小化的说明性相位检测像素布置被示出在图6-11中。在 图6-13的例子中，标记为R的像素包括红色滤色器，标记为G的像素包括绿色滤色器，并且 标记为B的像素包括蓝色滤色器。虚线（诸如，虚线102M)可指示由单个微透镜（诸如，图 2A的微透镜102)覆盖的区域。
[0068]图6-13中对红色、绿色和蓝色滤色器的使用仅是说明性的。根据需要，滤色器模 式可包括宽带滤波器。例如，像素的每个二乘二单位可包括具有宽带滤波器的一个像素。通 常，任何合适滤色器模式和任何合适类型的滤色器可被用在图像传感器14中。图6-13的 例子仅是说明性的。
[0069]如图6中所示，像素阵列32可包括图像像素34和相位检测像素36。像素阵列32 可包括滤色器元件的阵列，诸如红色滤色器元件（例如，在反射和/或吸收其它颜色的光的 同时使红光通过的滤色器材料）、蓝色滤色器元件（例如，在反射和/或吸收其它颜色的光 的同时使蓝光通过的滤色器材料）、绿色滤色器元件（例如，在反射和/或吸收其它颜色的 光的同时使绿光通过的滤色器材料）、黄色滤色器元件（例如，使红光和绿光通过的黄色滤 色器材料）、清晰滤色器元件（例如，使红光、蓝光和绿光通过的透明材料）、宽带滤波器元 件（例如，使从包括红光、蓝光和绿光的组选择的两个或更多颜色的光通过的滤波器材料） 和/或其它颜色（例如，青色、品红色等）的滤色器元件。
[0070] 在图6的例子中，按照分散的布置形成相位检测像素对100,其中每个相位检测像 素对与其它相位检测像素对隔离。例如，每个相位检测像素对100可基本上或完全由图像 像素34包围。通过利用图像像素34包围相位检测像素对100,可通过在每个相位检测像素 对100附近的更大数量的邻近图像像素34来方便在图像重构处理期间以内插的图像像素 值替换相位检测像素值。分散的相位检测像素对100可被沿水平方向布置在像素阵列32 的行中（如图6的例子中所示），或者可被沿垂直方向布置在像素阵列32的列中。像素阵 列32可包括一个、两个、三个、十个、小于十个或超过十个相位检测像素对100,并且像素对 100可位于阵列32中的任何合适位置。
[0071] 像素对100可包括滤色器元件以与图像像素34的滤色器模式匹配。在图6的例 子中，图像像素34包括形成拜耳模式的滤色器元件，并且相位检测像素36包括不破坏拜耳 模式的滤色器元件。例如，相位检测像素对100的Pl可包括绿色滤色器元件，并且相位检 测像素对100的P2可包括红色滤色器元件。然而，这仅是说明性的。根据需要，Pl可包括 红色滤色器元件并且P2可包括绿色滤色器元件或者Pl可包括蓝色滤色器元件并且P2可 包括绿色滤色器元件（作为例子）。选择Pl和P2的滤色器元件以与整个像素阵列32的滤 色器模式匹配。
[0072] 像素阵列32的滤色器模式是拜耳滤色器模式的图6的例子仅是说明性的。根据 需要，可使用其它合适的滤色器的模式，例如，以不同类型的滤波器（诸如，宽带滤波器）替 换每个二乘二单位中的绿色滤色器之一或二者的伪拜耳滤色器模式、其它合适的滤色器模 式等。形成在相位检测像素对36中的滤色器元件可以是任何合适颜色，只要像素阵列32 的滤色器模式不变即可。像素阵列32的滤色器模式是拜耳滤色器模式的布置在本文中有 时被描述为例子。
[0073] 在图7的例子中，相位检测像素对100被连续地布置成线（例如，包括两个或更多 连续像素对1〇〇的线段）。相位检测像素对1〇〇可被沿水平方向布置在像素阵列32的行中 (如图7的例子中所示），或者可被沿垂直方向布置在像素阵列32的列中。与图6的例子 一样，图7的图像像素34包括形成拜耳模式的滤色器元件，并且相位检测像素36包括使拜 耳模式保持完整的滤色器元件。例如，每个像素对100的Pl可包括绿色滤色器元件，并且 每个像素对100的P2可包括红色滤色器元件。通常，形成在相位检测像素对36中的滤色 器元件可以是任何合适颜色，只要像素阵列32的滤色器模式不变即可。
[0074] 在图8的例子中，每个相位检测像素对100的Pl和P2相对于彼此沿对角线方向 位于像素阵列32的不同行和不同列中。这有时被称为堆叠相位检测像素布置，因为覆盖像 素对100的Pl的微透镜102被形成在覆盖像素对100的P2的微透镜102上方或下方。
[0075] 与图6的例子一样，图8的相位检测像素对100与阵列32中的其它相位检测像素 对隔离。例如，每个相位检测像素对100可基本上或完全由图像像素34包围。通过利用图 像像素34包围相位检测像素对100,可通过在每个相位检测像素对100附近的更大数量的 邻近图像像素34来方便在图像重构处理期间以内插的图像像素值替换相位检测像素值。
[0076] 图8的图像像素34包括形成拜耳模式的滤色器元件，并且相位检测像素36包括 使拜耳模式保持完整的滤色器元件。然而，图8的堆叠布置允许每个相位检测像素对的Pl 和P2是相同颜色。例如，在滤色器模式是拜耳滤色器模式的情况下，每个像素对100的Pl 可包括绿色滤色器元件并且每个像素对100的P2 (相对于Pl沿对角线方向布置）也可包括 绿色滤色器元件。通常，形成在相位检测像素对36中的滤色器元件可以是任何合适颜色， 只要像素阵列32的滤色器模式不变即可。
[0077] 在图9的例子中，具有图8中示出的类型的堆叠布置的相位检测像素对100被连 续地布置成线（例如，包括两个或更多相邻像素对100的线段）。相位检测像素对100可 被布置在像素阵列32的两个连续行中（如图9的例子中所示），或者可被布置在像素阵列 32的两个连续列中。与图8的例子一样，图9的图像像素34包括形成拜耳模式的滤色器元 件，并且相位检测像素36包括使拜耳模式保持完整的滤色器元件。例如，每个像素对100 的Pl可包括绿色滤色器元件，并且每个像素对100的P2 (相对于Pl沿对角线方向布置） 也可包括绿色滤色器元件。通常，形成在相位检测像素对36中的滤色器元件可以是任何合 适颜色，只要像素阵列32的滤色器模式不变即可。
[0078] 在图10的例子中，像素对100被非连续地布置成线（例如，位于公共行中）并且通 过图像像素34而彼此隔离。这种类型的布置类似于图6的布置，因为每个相位检测像素对 100可基本上或完全由图像像素34包围。通过利用图像像素34包围相位检测像素对100， 可通过在每个相位检测像素对100附近的更大数量的邻近图像像素34来方便在图像重构 处理期间以内插的图像像素值替换相位检测像素值。
[0079] 图11是图8的例子的变型，其中每个相位检测像素对100的Pl和P2相对于彼此 沿对角线方向位于像素阵列32的不同行和不同列中。然而，在图11的例子中，形成在Pl 上方的微透镜102M和形成在P2上方的微透镜相对于彼此偏移（例如，相对于彼此沿对角 线方向布置，而非如图8的例子中一样堆叠）。
[0080] 图11中示出的类型的相位检测像素对100可与其它相位检测像素对100隔离。例 如，每个相位检测像素对100可基本上或完全由图像像素34包围。通过利用图像像素34 包围相位检测像素对100,可通过在每个相位检测像素对100附近的更大数量的邻近图像 像素34来方便在图像重构处理期间以内插的图像像素值替换相位检测像素值。然而，这仅 是说明性的。根据需要，图11中示出的类型的相位检测像素对100可被布置成线（例如， 可存在沿着线彼此相邻地布置的两个或更多像素对100)。
[0081] 图11的图像像素34包括形成拜耳模式的滤色器元件，并且相位检测像素36包括 使拜耳模式保持完整的滤色器元件。然而，图11的布置允许每个相位检测像素对的Pl和 P2是相同颜色。例如，在滤色器模式是拜耳滤色器模式的情况下，每个像素对100的Pl可 包括绿色滤色器元件并且每个像素对100的P2 (相对于Pl沿对角线方向布置）也可包括 绿色滤色器元件。通常，形成在相位检测像素对36中的滤色器元件可以是任何合适颜色， 只要像素阵列32的滤色器模式不变即可。
[0082] 图12和13是这样的例子：由相位检测像素36的滤色器稍微改变像素阵列32的 滤色器模式。在图12的例子中，相位检测像素对100的Pl和P2具有相同颜色（例如，红色 或绿色），并且像素对100被连续地布置成线（例如，包括两个或更多相邻像素对100的线 段）。然而，与图5的传统布置不同，该线中的像素对100的颜色从一对到下一对改变。例 如，一对绿色相位检测像素36可位于第一对红色相位检测像素36和第二对红色相位检测 像素36之间。以这种方式使绿色相位检测像素对与红色相位检测像素对交替可方便当以 内插的图像像素值替换相位检测像素值时的图像重构处理 。例如，可至少部分地基于来自 邻近红色相位检测像素的红色像素值确定用于一对绿色相位检测像素的红色图像像素值。
[0083] 在图13的例子中，相位检测像素36全都是相同颜色，但分离到像素阵列32的不 同行中。例如，第一行像素可包括布置成非连续线的一个或多个相位检测像素对100,而第 二行像素可包括布置成非连续线的一个或多个相位检测像素对100。每个像素对100的Pl 和P2可以是相同颜色，诸如绿色（作为例子）。如图13中所示，一行中的像素对100可相 对于另一行中的像素对100错开（stagger)。
[0084] 像素对100被形成在像素阵列32的两行中的图13的例子仅是说明性的。根据需 要，像素对100可被形成在超过两行（例如，四行、六行等）中。每行中的像素对100可相 对于相邻行中的像素对100错开。
[0085] 根据需要，可在重构处理期间使用来自Pl和P2的相位检测像素值，重构处理期间 以内插的图像像素值替换来自Pl和P2的相位检测像素值。例如，考虑图13的P1'和P2'。 为了以绿色像素值G替换来自像素PT的相位检测像素值Pl并且以红色像素值R替换来 自像素P2'的相位检测像素值P2,可首先使用下面的公式确定绿色估计值G' ：
[0086] G，=k(x，y)*(Pl+P2) (I)
[0087] 其中k(x，y)是使预定函数最小化的空间相关系数或增益函数（例如，在校准过程 期间确定）。例如，可使下面的函数最小化：
[0089] 其中GJPG2是固定内核MXM里面的平均绿色像素值，并且其中M是常数（例如， M= 9)。（2)中示出的以上函数是可被最小化以获得系数k(x，y)的特定函数的说明性例 子。根据需要，可使用其它函数。
[0090] 可基于附近绿色像素的加权和确定平均绿色像素值。在确定绿色估计值G'之后， 局部梯度可被计算如下：
[0091] |ga-g'|，|gb-g'|，|gk-g'I，|gl-g'I⑶
[0092] 其中GA、GB、GjPq分别是在像素PI'和P2'上方、在像素PI'和P2'下方、在像 素Pr和P2'的右侧以及在像素Pr和P2'的左侧的附近位置的平均绿色像素值。
[0093] 随后基于与邻近像素的相似性对缺失的像素值R和G进行内插。例如，缺失的G 值能够被设置为等于具有最小关联局部梯度（smallestassociatedlocalgradient)的 邻近绿色像素的像素值。以与在色差亮度去马赛克算法中采用的方式类似的方式，这个值 可随后被用于重构缺失的红色值R。根据需要，可通过修剪（clip)绿色估计值G'来确定输 出像素值G:
[0094]G=clip(G',min(GA,Gb,Ge,Gl) ,max(GA,Gb,Ge,Gl) ) (4)
[0095]图14是操作具有图像像素34和相位检测像素36的图像传感器（诸如，图I的图 像传感器14)所涉及的说明性步骤的流程图。
[0096] 在步骤200,图像像素阵列32可搜集来自聚焦在像素阵列32上的光的数据。例 如，图像像素34可搜集图像数据，并且相位检测像素36可从搜集来自输入光的相位信息。 相位检测像素36可例如产生图3中示出的类型的像素信号。来自图像像素和相位检测像 素的图像数据和相位信息可被提供给图像处理电路16。
[0097] 在步骤204,处理电路16可处理搜集的相位信息和图像数据以确定图像中的一个 或多个物体是否聚焦。在一个合适的布置中，电子装置10的用户可在成像的场景中选择感 兴趣的物体（有时被称为兴趣点），并且处理电路16可确定感兴趣的物体是否聚焦。在另 一合适的布置中，处理电路16可独立地（autonomously)使用由图像像素34捕捉的图像数 据和由相位检测像素36捕捉的相位信息在成像的场景中识别感兴趣的物体（兴趣点），诸 如脸、人、移动物体或任何其它预期物体。例如，处理电路16可实现脸检测算法以自动地在 成像的场景中检测脸并且识别这些脸作为兴趣点。处理电路16可确定识别的感兴趣的物 体是否聚焦（例如，使用由相位检测像素36搜集的相位数据）。
[0098] 例如，处理电路16可通过比较来自相位检测像素对的Pl和P2的角度像素输出 (诸如，图3中示出的类型的输出）来确定成像的场景中的物体是否聚焦。由处理电路16 用于确定与相位检测像素信号关联的相差的算法取决于相位检测像素如何被布置在该阵 列中。对于相位检测像素全都是相同颜色并且被连续地布置成线的图5中示出的类型的传 统布置，互相关（cross-correlation)算法被用于确定相差。类似的互相关算法可被用于 处理来自具有图9中示出的类型的布置的相位检测像素的相位检测像素信号。
[0099] 在相位检测像素对100被非连续地布置在行中并且包括不同颜色的Pl和P2的图 10中示出的类型的布置中，可使用修改的互相关算法。例如，处理电路16可使用来自该行 中的红色相位检测像素的像素信号执行第一互相关算法，并且使用来自该行中的绿色相位 检测像素的像素信号执行第二互相关算法。红色数据互相关结果可被与绿色数据互相关结 果合并以确定相差。
[0100] 在相位检测像素对1〇〇被连续地布置成线（例如，包括两个或更多相邻像素对100 的线段）的图7中示出的类型的布置中，也可使用修改的互相关算法。然而，可在颜色之间 执行互相关操作，而非对于每个颜色通道执行单独的互相关操作（如上所述）。这可包括 例如：使来自像素对1〇〇的像素数据的线标准化，并且随后调整标准化的像素信号以减小 来自红色相位检测像素的像素信号和来自绿色相位检测像素的像素信号之间的任何偏差 (bias)。例如，可使用预定校正因子或使用来自基本上均匀的区域中的附近相位检测像素 的像素信号调整来自红色相位检测像素的像素数据，以使得红色像素数据变为可与绿色像 素数据相当。在使来自红色和绿色相位检测像素的信号电平的差异最小化之后，可执行互 相关算法以确定相差。
[0101] 在图6、8、11、12和13中示出的类型的布置中，可使用不同算法，由此基于来自附 近像素（例如，附近图像像素34和/或附近相位检测像素36)的像素信号推断与图像中的 边缘关联的亮度梯度（有时被称为边缘极性）。这种类型的算法有时被称为边缘极性推断， 并且以下结合图15更详细地描述该算法。
[0102] 如果处理电路16确定图像未聚焦（例如，成像的场景中的感兴趣的物体未聚焦）， 则处理可前进至步骤206以调整透镜28 (图1)的焦点。这可包括例如：确定使图像聚焦所 需的透镜移动的方向（以及根据需要确定透镜移动的大小）。处理可随后返回到步骤200， 以使得处理电路16能够确定当使用新的焦距捕捉时场景或感兴趣的物体是否聚焦。
[0103] 如果处理电路16在步骤204中确定图像聚焦，则处理可前进至步骤208。
[0104] 在步骤208,处理电路16可使用由成像像素34捕捉的图像数据产生聚焦图像。这 可包括例如：使用来自附近图像像素34 (例如，位于相位检测像素36附近的图像像素34) 的像素值以内插的图像像素值替换相位检测像素值。根据需要，相位检测像素值可被使用 其它相位检测像素内插的像素值替换（例如，对于图12中示出的类型的布置）。图像重构 处理可包括例如：使用如以上结合图13所述的公式1、2、3和4对相位检测像素36的缺失 的像素值进行内插。
[0105] 处理电路16可在步骤208中对聚焦图像执行另外的图像处理操作（例如，白平衡 操作、噪声校正操作、伽马校正操作等）。根据需要，处理电路16可将聚焦图像存储在存储 器中和/或将聚焦图像传送给另外的处理电路或显示装备。以这种方式，相位检测像素36 可产生用于自动地调整透镜28的位置以使一个或多个感兴趣的物体聚焦的数据。根据需 要，相位检测像素36可被用于产生关于成像的场景的范围信息（诸如，一个或多个深度图 或其它二维彳目息）。
[0106]图15是当相位检测像素被隔离（例如，未连续地布置以形成基本上线段）时在自 动聚焦操作期间处理相位检测像素信号所涉及的说明性步骤的流程图。相位检测像素对 1〇〇的像素Pl和P2可以是不同颜色或者可以是相同颜色。
[0107] 在步骤300,相位检测像素36 (例如，图6、8、11、12或13的Pl和P2)可搜集来自 场景的相位信息。来自Pl和P2的相位检测像素信号可被提供给处理电路16。
[0108] 在步骤302,处理电路16可以可选地使用空间相关校准因子（例如，方程1的 k(x，y))调整来自Pl和P2的像素值。如果Pl和P2是正常图像像素（而非具有不对称角 度响应的像素），则空间相关校准因子可被用于将来自相位检测像素Pl和P2的相位检测像 素值映射到与将会由Pl和P2产生的像素值对应的调整的像素值。
[0109] 在步骤304,处理电路16可以可选地确定和应用颜色调整以补偿Pl和P2之间的 颜色的差异。例如，处理电路16可基于白平衡增益和/或基于其它信息调整来自Pl和P2 的像素值。
[0110]在步骤306,处理电路16可确定与来自相位检测像素Pl和P2的像素值关联的相 差。例如，处理电路可通过从P2减去Pl来确定相差PD，其中Pl和P2是来自相位检测像素 Pl和P2的像素信号。
[0111] 步骤306可以可选地包括补偿操作，由此相差Pd=P1-P2被校正以补偿Pl 和P2 之间的固有信号差异。例如，当相位检测像素对100的Pl和P2是不同颜色时，像素Pl和 P2可产生不同信号。即使当Pl和P2是相同颜色时，作为制造变化、滤色器材料不匹配和/ 或量子效率差异（例如，由于从图像像素34到相位检测像素36的光学串扰所导致）的结 果，Pl和P2也可产生不同信号。
[0112] 为了执行可选的补偿操作，处理电路16可在附近"平坦"区域中寻找相位检测像 素。例如，平坦区域（例如，没有边缘的区域）中的像素对100可包括相位检测像素Pl^ P2f。由于该区域是平坦的，所以处理电路16假设Plf= ?2,而不管焦点如何。处理电路16 可随后使用平坦区域中的P2f确定偏差值bias(X，y):
[0114] 其中Vcj是梯度并且thbias是成像系统的固定值特征并且Pl#PP2f分别是来自Plf 和P2f的像素信号。校正的相差PD'能够随后被以下面的方式计算：
[0115]PD' = (Pl-P2)_bias(x，y)*(Pl+P2) (6)
[0116] 在步骤308,处理电路16可确定与在相位检测像素36的边缘（例如，垂直于穿过 Pl和P2的轴线的边缘）关联的亮度梯度。可使用来自附近图像像素34的像素值确定边缘 的亮度梯度。例如，当且仅当下面为真时，梯度可被确定为歹e
[0118] 其中也1、也2、也 3和也4是成像系统的固定值特征，7,是在像素阵列中沿着水平方 向的亮度梯度，Vy是在像素阵列中沿着垂直方向的亮度梯度，并且Pl和P2是来自相位检 测像素Pl和P2的像素信号。
[0119] 在步骤310,处理电路16可使用在步骤308中确定的边缘亮度梯度确定使感兴趣 的物体聚焦所需的透镜移动的方向以及根据需要确定透镜移动的大小。例如，下面的自动 聚焦（AF)逻辑可被用于确定需要的移动的方向（如果需要任何移动的话）：
[0120]
[0121] 可使用下面的公式近似透镜位移：
[0123] 其中f是透镜系统的函数。
[0124]已描述表示具有用于捕捉图像数据的图像像素和用于在自动聚焦操作期间搜集 相位信息的相位检测像素的图像传感器像素阵列的各种实施例。相位检测像素可形成具有 有着不同角度响应（例如，反向、近似反向或互补角度响应）的第一和第二像素的相位检测 像素对。第一和第二像素可具有相同颜色的滤色器，或者可具有不同颜色的滤色器。相位 检测像素对可彼此隔离（例如，可部分地或完全由图像像素包围），或者可被连续地布置成 线。
[0125] 相位检测像素对可被布置在具有多个图像像素的图像像素阵列中。图像像素阵列 可包括具有特定滤色器模式的滤色器阵列。相位检测像素可具有滤色器以与图像像素阵列 的滤色器模式匹配。在其它实施例中，相位检测像素可具有稍微改变滤色器模式但被图案 化以方便以像素信号替换相位检测像素信号的图像重构处理的滤色器。
[0126] 处理电路可被用于确定与来自相位检测像素对的像素信号关联的相差。处理电路 可调整像素信号以减小相位检测像素信号之间的任何偏差。例如，处理电路可使用空间相 关预定校正因子调整相位检测像素信号。在另一合适的实施例中，处理电路可使用在图像 捕捉操作期间确定的偏差值调整相位检测像素信号。可使用附近相位检测像素确定该偏差 值。例如，处理电路可使用图像的平坦区域中的相位检测像素确定偏差值，该偏差值随后被 用于减小用于自动聚焦操作的相位检测像素信号之间的任何偏差。
[0127] 处理电路可在图像重构处理期间以内插的图像像素值替换相位检测像素值。可基 于亮度梯度确定内插的图像像素值。可使用附近图像像素确定亮度梯度。例如，为了以绿 色图像像素值替换绿色相位检测像素值，可使用附近绿色图像像素确定局部亮度梯度。
[0128] 前面的描述仅说明本公开的原理，并且在不脱离本公开的范围和精神的情况下能 够由本领域技术人员做出各种变型。
【主权项】
1. 一种具有像素阵列的图像传感器，其特征在于，所述像素阵列包括： 多个图像像素，搜集图像数据； 相位检测像素对，搜集相位信息，其中所述相位检测像素对包括具有不同角度响应的 第一和第二相位检测像素；和 滤色器阵列，其中所述滤色器阵列包括形成在所述多个图像像素上方的多个滤色器元 件，所述多个滤色器元件根据颜色模式布置，并且第一和第二相位检测像素包括具有各自 的与该颜色模式匹配的第一和第二颜色的各自的第一和第二滤色器元件。2. 如权利要求1所述的图像传感器，其特征在于，所述颜色模式是拜耳颜色模式。3. 如权利要求1所述的图像传感器，其特征在于，所述多个滤色器元件包括宽带滤波 器元件。4. 如权利要求1所述的图像传感器，其特征在于，第一和第二滤色器元件透射不同颜 色的光。5. 如权利要求4所述的图像传感器，其特征在于，还包括：多个另外的相位检测像素 对，其中所述相位检测像素对和所述多个另外的相位检测像素对位于像素行中，并且所述 另外的相位检测像素对中的每个包括透射不同颜色的光的滤色器元件。6. 如权利要求1所述的图像传感器，其特征在于，第一和第二相位检测像素包括由单 个微透镜覆盖的各自的第一和第二光电二极管。7. 如权利要求1所述的图像传感器，其特征在于，第一和第二相位检测像素包括各自 的第一和第二光电二极管，第一和第二光电二极管中的每一个部分地由不透明的遮蔽层覆 盖。8. 如权利要求1所述的图像传感器，其特征在于，所述像素阵列包括像素行和像素列， 并且第一和第二相位检测像素彼此相邻地位于一个像素行中。9. 如权利要求1所述的图像传感器，其特征在于，所述像素阵列包括像素行和像素列， 并且第一和第二相位检测像素彼此相邻地位于一个像素列中。10. 如权利要求1所述的图像传感器，其特征在于，第一相位检测像素包括由第一微透 镜覆盖的第一光电二极管，第二相位检测像素包括由第二微透镜覆盖的第二光电二极管， 并且第一和第二相位检测像素相对于彼此沿对角线方向布置。11. 如权利要求10所述的图像传感器，其特征在于，第一微透镜跨越所述像素阵列的 第一和第二列，并且第二微透镜与第一微透镜相邻并且也跨越所述像素阵列的第一和第二 列。12. 如权利要求10所述的图像传感器，其特征在于，第一微透镜跨越所述像素阵列中 的第一和第二列，并且第二微透镜跨越所述像素阵列的第三和第四列。13. -种具有像素阵列的图像传感器，其特征在于，所述像素阵列包括： 多个图像像素，搜集图像数据； 相位检测像素对，搜集相位信息，其中每个相位检测像素对包括具有不同角度响应的 第一和第二相位检测像素，并且每个相位检测像素对完全由图像像素包围并且与所述像素 阵列中的其它相位检测像素对隔离；和 滤色器阵列，其中所述滤色器阵列包括形成在所述多个图像像素上方的多个滤色器元 件，所述多个滤色器元件根据颜色模式布置，并且每个相位检测像素对包括具有各自的与 该颜色模式匹配的第一和第二颜色的各自的第一和第二滤色器元件。14. 如权利要求13所述的图像传感器，其特征在于，所述相位检测像素对被布置在行 中，并且该行中的相位检测像素对通过在该行中的图像像素而彼此分离。15. 如权利要求13所述的图像传感器，其特征在于，所述相位检测像素对包括位于所 述像素阵列的第一行中的第一相位检测像素对和位于所述像素阵列的第二行中的第二相 位检测像素对，其中第一相位检测像素对相对于第二相位检测像素对错开。16. -种具有像素阵列的图像传感器，其特征在于，所述像素阵列包括： 多个图像像素，搜集图像数据；和 相位检测像素对，搜集相位信息，其中所述相位检测像素对包括具有不同角度响应的 第一和第二相位检测像素，第一和第二相位检测像素包括各自的第一和第二滤色器元件， 第一和第二滤色器元件具有各自的第一和第二颜色，其中第一颜色不同于第二颜色。17. 如权利要求16所述的图像传感器，其特征在于，还包括： 多个滤色器元件，形成在所述多个图像像素上方，其中所述多个滤色器元件根据颜色 模式布置，并且第一和第二颜色与该颜色模式匹配。18. 如权利要求17所述的图像传感器，其特征在于，所述颜色模式是拜耳颜色模式。19. 如权利要求16所述的图像传感器，其特征在于，第一和第二相位检测像素包括由 单个微透镜覆盖的各自的第一和第二光电二极管。20. 如权利要求16所述的图像传感器，其特征在于，第一和第二相位检测像素包括各 自的第一和第二光电二极管，第一和第二光电二极管中的每一个部分地由不透明的遮蔽层 覆盖。
【专利摘要】本公开涉及具有像素阵列的图像传感器。所述像素阵列包括：多个图像像素，搜集图像数据；相位检测像素对，搜集相位信息，其中所述相位检测像素对包括具有不同角度响应的第一和第二相位检测像素；和滤色器阵列，其中所述滤色器阵列包括形成在所述多个图像像素上方的多个滤色器元件，所述多个滤色器元件根据颜色模式布置，并且第一和第二相位检测像素包括具有各自的与该颜色模式匹配的第一和第二颜色的各自的第一和第二滤色器元件。根据本公开，可以减小相位检测像素信号之间的任何偏差。
【IPC分类】H04N5/378, H01L27/146, H04N5/335, H04N5/345
【公开号】CN204697179
【申请号】CN201520388489
【发明人】M·米利纳尔, B·凯兰, D·费蒂格
【申请人】半导体元件工业有限责任公司
【公开日】2015年10月7日
【申请日】2015年6月8日
最新回复(0)