识别并校正光学图像中的异常的制作方法

识别并校正光学图像中的异常的制作方法
【专利摘要】本发明的实施方式提供了一种装置及一种方法。由光学扫描设备产生的光学图像的第一光学图像数据与第二光学图像数据之间的强度梯度被确定。所述第一光学图像数据是第一光学图像像素并且所述第二光学图像数据是第二光学图像像素。包括多个强度梯度图像像素的强度梯度图像被确定，每个强度梯度图像像素代表强度梯度的幅值。根据强度梯度的幅值高于或者等于阈值识别光学图像中的一个或多个异常。
【专利说明】识别并校正光学图像中的异常
【技术领域】
[0001]本发明涉及识别及校正光学扫描设备产生的光学图像的异常。本发明也涉及被配置为实现所述方法的计算机程序及装置。
[0002]背景
[0003]光学扫描设备所产生的光学图像易受影响光学图像完整性的异常的影响。这样的异常包括条纹，所述条纹指可显示为例如光学图像上的沿扫描方向的线条的光学图像假象。
[0004]典型地，扫描方向沿目标区域竖直向下，其可产生沿光学图像竖直向下的条纹，并且条纹可因此被称为竖直条纹。然而，在另外的示例中，如果光学扫描设备的扫描方向水平穿过目标区域，条纹也可能水平出现。
[0005]当光学扫描设备产生光学图像时，目标区域被例如激光沿着多条扫描线扫描。光从目标被反射以允许光学扫描设备产生光学图像。所述目标可能是，例如，人类或者动物对象的视网膜，现有的图像如照片或者期望被创建光学图像的任何其他物体或表面。
[0006]在某些光学扫描设备中，激光竖直通过目标区域以产生第一扫描线。激光然后在一个方向水平移动并再次竖直通过目标区域以在第一扫描线附近产生第二扫描线。此过程被重复直到所有目标区域已经被扫描。多面镜可被用在这种光学扫描设备中，镜子的每一面被用来使激光束移动越过单个扫描线。
[0007]如果多面镜的一个或者多个面是有缺陷的，那么条纹异常可能会出现。所述条纹异常可能表现出光学图像的一条线的亮度相对于光学图像的相邻线异常衰减或者增强，因为有缺陷的面可能散射来自激光束的光以致部分光没有被多面镜反射至目标区域，因此没有从目标区域被反射以产生正确/期望强度的光学图像数据。
[0008]条纹可导致多面镜或者光学扫描设备被摒弃。这导致多面镜及光学扫描设备的制造商产量的显著降低及高成本。
[0009]目前所知的确定光学图像中的条纹等级的解决方案包含操作人员用眼睛人工确定条纹等级的人类观察。如果条纹等级被认为过高，那么多面镜或者光学扫描设备可被摒弃。

【发明内容】

[0010]根据本发明的第一方面，提供了一种方法，包括:确定由光学扫描设备产生的光学图像的第一光学图像数据与第二光学图像数据之间的强度梯度，其中所述第一光学图像数据是第一光学像素并且所述第二光学图像数据是第二光学图像像素；确定包括多个强度梯度图像像素的强度梯度图像，每一个强度梯度图像像素代表强度梯度的幅值；并且根据所述强度梯度的幅值高于或等于阈值来识别所述光学图像中的一个或多个异常。
[0011]在本公开的实施方式中，确定第一图像数据与第二图像数据之间的强度梯度可允许确定第一光学图像数据与第二图像数据之间的强度差。实施方式可由此能够确定如果强度梯度的幅值高于阈值，图像区域是否包括异常。术语幅值包含无符号值，比如强度梯度-4与强度梯度+4具有一样的幅值。因此，在某些实施方式中，大的负强度梯度可能具有高于阈值的幅值。在其他实施方式中，大的正强度值可能具有高于阈值的幅值。
[0012]所述异常可能是条纹异常或者类似物。然而也可以有其他类型的图像数据异常，所述异常可被实施方式校正。
[0013]如在本文所公开的某些实施方式中使用的，术语‘强度梯度’包含光学图像空间上的光学图像数据的强度的变化或者差的任意度量。然而应该注意到所述强度梯度可包括任意类型的微分计算，仅仅为了说明的目的在以下描述某些示例。
[0014]所述强度梯度可在同一光学图像中的两个单独的图像数据之间确定，其允许仅使用源自光学图像的数据来识别光学图像内的异常。源自其他光学图像的数据不是必需的，但是如果需要的话，同样可以应用。此外，所述光学图像可能是‘有用的’或者"E见场的’光学图像。也就是说所述光学图像可能是目标区域的图像且不是测试图像。这意味着可以基于光学图像来确定光学图像上的异常。任意后续的校正特定于一个光学图像。在这样的示例性实施方式中，因此不会一旦基于测试图像确定了校正就将该校正一致地应用于所有后续的图像。
[0015]可选择地，所述方法可进一步包括根据强度梯度的幅值来校正光学图像中的异
堂
巾O
[0016]可选择地，所述第一光学图像像素与第二光学图像像素是相邻的。
[0017]通过使用像素作为所述第一光学图像数据及第二光学图像数据，则实施方式可以能够高度准确地确定强度梯度。当第一像素与第二像素相邻的时候，强度梯度的准确性水平可进一步提闻。
[0018]可选择地，所述强度梯度可包括一阶微分。
[0019]一阶微分的使用可有利地减少所述强度梯度的计算时间。
[0020]可选择地，所述强度梯度可包括所述第一光学图像像素的强度与所述第二光学图像像素的强度之间的差。
[0021]通过使用所述第一光学图像像素的强度与所述第二光学图像像素的强度之间的差，所述强度梯度的计算时间可被更进一步地减少。
[0022]可选择地，识别所述异常可包括根据所述第一光学图像数据与所述第二光学图像数据之间的强度梯度为负并且具有高于所述阈值的幅值来识别所述第二光学图像数据为异常。
[0023]在实施方式中，负的强度梯度表示所述第一光学图像数据与第二光学图像数据之间的强度随光学图像中的所述第一光学图像数据与第二光学图像数据之间的距离而减小。如果强度减小的幅值高于阈值，那么所述第二光学图像数据可被视为异常，因为所述异常可表示由有缺陷的镜面引起的激光衰减。
[0024]可选择地，识别所述异常包括根据所述第一光学图像数据与所述第二光学图像数据之间的强度梯度为正并且具有高于所述阈值的幅值来识别所述第一光学图像数据为异
堂
巾O
[0025]在本公开的实施方式中，正的强度梯度表示所述第一光学图像数据与第二光学图像数据之间的强度随光学图像中的所述第一光学图像数据与第二光学图像数据之间的距离而增加。如果强度增加的幅值高于阈值，那么所述第一光学图像数据可被视为异常，所述异常可表示由有缺陷的镜面引起的激光衰减。
[0026]可选择地,每一个强度梯度图像像素可代表沿横向于所述光学扫描设备的扫描方向的方向上彼此相邻的一对光学图像像素之间的强度梯度。
[0027]在本公开的实施方式中，通过创建强度梯度图像，强度梯度可被映射至整个光学图像区域。使用沿横向于扫描方向的方向的相邻像素可产生强度梯度图像，该强度梯度图像的行代表光学图像中的沿横向于扫描方向的方向的相邻像素之间的强度梯度。也就是说，强度梯度图像像素可代表通过多面镜的两个不同的面产生的光学图像像素之间的强度梯度。每一个强度梯度图像像素的强度可因此代表每对相邻的像素之间的强度梯度。由于强度梯度沿横向于扫描方向的方向被确定，由于多面镜的有缺陷的面造成的条纹效应可被轻易识别，因为强度梯度图像将在强度梯度较大的位置将条纹显示为线条。
[0028]可选择地，所述方法可还包括在每一行强度梯度图像像素上运行模-η均值滤波器以产生包括多个平均强度梯度图像像素的平均强度梯度图像，并且其中η是与条纹异常之间的像素间隔相对应的整数。
[0029]在本公开的实施方式中，运行模-η均值滤波器允许不是由异常引起的光学图像数据相对于由异常引起的光学图像数据衰减。模_η滤波器的具体特性在以下被更详细地解释。
[0030]可选择地，识别光学图像中的异常可根据平均强度梯度图像像素的强度高于或者等于阈值。
[0031]在本公开的实施方式中，在平均强度梯度图像产生之后，每一个像素可与阈值比较并且正是这个比较可确定异常是否被识别。因为背景图像已经被模-η均值滤波器衰减，于是异常更加明显，并且因此阈值的值可被减小，所述阈值的减小可降低异常可被检测出的强度等级。
[0032]可选择地，η可以是包括在光学扫描设备中的多面镜的面数。
[0033]如以上阐明的本公开的实施方式中，光学图像中的被称为条纹的特定异常可以规则的像素(或者扫描线)间隔出现。因此，通过将η设定为等于多面镜的面数，则条纹可被更容易地检测。
[0034]可选择地，运行模-η滤波器可包括沿向前及向后方向运行滤波器。
[0035]可选择地，运行模-η滤波器可还包括对向前滤波及向后滤波的结果求平均。
[0036]在本公开的实施方式中，通过沿向前及向后方向运行滤波器，滤波过程的边缘效应被校正。
[0037]可选择地，运行模-η滤波器可还包括对向前滤波及向后滤波的结果求平均。
[0038]可选择地，识别光学图像中的异常可根据第一平均强度梯度图像像素强度与在平均强度梯度图像的上一行及/或下一行的对应位置的第二平均强度梯度图像像素具有相同的强度。
[0039]在本公开的实施方式中，由于平均强度梯度图像的每一行可代表沿横向于扫描方向的方向的相邻像素之间的强度梯度，也可在之上及/或之下的平均强度梯度图像像素看到条纹。该信息可被用来减少错误异常识别的数量。
[0040]另外地或可选地，如果其之上及/或之下的强度梯度图像像素也被识别为异常，强度梯度图像的该强度梯度图像像素(即在运行模_η均值滤波器之前)可被识别为异常。[0041]可选择地，所述方法可还包括产生包括所述平均强度梯度图像的掩模。
[0042]可选择地，所述方法可还包括通过从光学图像中减去掩模来校正光学图像以消除异常。
[0043]在本公开的实施方式中，通过产生掩模来校正图像以消除异常，每个光学图像的校正可特定于该光学图像。也就是说，可仅基于光学图像数据来确定异常并进行校正，而不需要另外的数据或者测试图像。因此，如果条纹效应随时间改变，那么改变的效应将被校正。使用掩模来校正光学图像允许继续使用多面镜及/或光学扫描设备，尽管多面镜的一面或者多面有缺陷。
[0044]根据本发明的第二个方面，提供了一种被配置为存储可执行的计算机程序代码以实现本文描述的方法的计算机程序产品。
[0045]根据本发明的第三个方面，提供了一种包括被配置成实现本文描述的方法的处理器的装置。
[0046]在某些实施方式中，成像设备包括本文描述的装置。
[0047]详细描述
[0048]以下参照附图描述示例性的实施方式，其中:
[0049]图1是示出已知的多面镜及激光设备的示意图；
[0050]图2是人类或动物对象的视网膜的显现出条纹异常的光学图像的表示；
[0051]图3是本文公开的方法的示例性实施方式的流程图；
[0052]图4是光学图像的一部分的示意图；
[0053]图5是强度梯度图像的一部分的示意图；
[0054]图6是平均强度梯度图像的一部分的示意图；
[0055]图7是用来减轻条纹异常的掩模的表示；以及
[0056]图8是光学扫描设备的示意图。
[0057]大体上，本公开的实施方式涉及检测由光学扫描设备产生的光学图像中的异常的方法。本公开涉及确定源自光学图像的不同区域的图像数据之间的强度梯度并将所述强度梯度与阈值比较以识别光学图像中的异常。
[0058]如果所述强度梯度的大小高于所述阈值，那么第一光学图像数据及第二光学图像数据中的一个可被识别为异常。
[0059]图1示出光学扫描设备10的局部。图1的光学扫描设备10被布置为扫描人类或动物对象的视网膜。然而，本发明的实施方式可同样应用于其他类型的光学扫描设备。
[0060]参照图1，激光收发器单元12被布置成将激光束14导向至多面镜18的面16上。激光束14被反射至凹镜20上并且然后通过对象眼睛的瞳孔22到达视网膜24。图1中的视网膜24代表光学扫描设备10的目标区域。激光束14的光沿相同路径被反射回来以在激光收发器单元12被接收以能够通过处理装置(未示出)处理成为光学图像。
[0061]多面镜被定位在图1示出的方位，激光束14在凹镜20的顶部26并且被反射至视网膜24的底部28。当多面镜18沿箭头A的方向旋转时，则激光束14沿凹镜20竖直向下移动并沿箭头B的方向在视网膜24上竖直向上移动直到其到达凹镜20的底部30以及视网膜24的顶部32。该动作产生第一扫描线。
[0062]一旦激光束14到达视网膜24的顶部32，多面镜14已经被旋转成使得激光束14从下一个面34被反射并且激光束14返回凹镜20的顶部26和视网膜24的底部28。
[0063]在这一点上，激光束14被水平移动(即进或出页面)。多面镜18沿箭头A的方向继续旋转，这允许激光束14沿箭头B的方向从底部28至顶部32扫描视网膜24以在所述第一扫描线附近产生第二扫描线。
[0064]如果多面镜18的一个或多个面是有缺陷的，那么在所产生的光学图像上在箭头B的方向，即扫描方向，可能会产生条纹异常。
[0065]如果多面镜18仅有一个面有缺陷，那么条纹异常将以与多面镜18的面数共同的规律性出现在光学图像上。例如，图1中的多面镜18被示出具有8个面。因此，如果例如面13是有缺陷的，那么条纹异常将每八条扫描线出现一次，即激光束14从面13被反射的每条扫描线。
[0066]图1示出有8个面的多面镜，因为该数字清楚示出每一面的平坦侧面。更典型地，用在光学扫描设备中的多面镜可具有16个面。因此条纹异常可每16条扫描线出现一次。然而，涉及光学扫描设备的布置的其他实施方式，多面镜可具有其他数量的面数。
[0067]典型地，扫描线代表光学扫描设备产生的光学图像中的像素宽度。在这样的布置中，条纹异常将以规则的像素间隔出现。
[0068]参照图2，视网膜24的光学图像40的示例被示出。光学图像40的区域42被放大44以示出上文提到的条纹异常影响。如图2所示，每条条纹之间的间隔是一定量的像素，例如16，该数字因此等于多面镜的面数。
[0069]参照图3，本文公开的方法的示例性实施方式的流程图被示出。
[0070]在步骤50，所述方法的实施方式开始于显现出条纹异常的光学图像40，例如如上所述。在图3的示例性方法的情况下，条纹异常具有模-η间隔。也就是说，条纹异常以规则的‘η’个像素间隔出现。
[0071]在步骤52，产生强度梯度图像。所述强度梯度图像包括一系列强度梯度图像像素，其中每一个像素具有对应于源自光学图像40的第一光学图像数据与第二光学图像数据之间的强度梯度的强度。产生强度梯度图像的另外的实施方式在下文被描述。
[0072]图4示出光学图像80的一部分，其是10个光学图像像素乘10个光学图像像素的大小。图4示出的光学图像80的部分仅仅是为于说明本文公开的方法的目的。典型地，光学图像可包括几百万光学图像像素。示例性的光学图像可包括1344X1344像素。另外的示例性光学图像可包括3072X3900像素。
[0073]光学图像80的每一个光学图像像素将具有一个强度值。在本文公开的方法的特定的实施方式中，光学图像80可包括其强度可能是256个可能的等级(通常是0-255)之一的像素。然而，在某些其他实施方式中，光学图像像素可以是任意数量的等级之一，例如光学图像像素可以是128个等级、512个等级或者1024个等级等等中的一个。
[0074]每一个光学图像像素具有不同的强度等级使得当所有的光学图像像素被整体观察时，光学图像80能被看到。
[0075]在图4的示例中，第二列82、第六列84以及第十列86相对于其他光学图像像素具有较低的强度值。所述第二列、第六列以及第十列的相对低的强度值可能是由于如上描述的呈现在光学图像80中的条纹异常。产生光学图像80的光学扫描设备的扫描方向因此能够被看到沿列的方向，正如以上解释的。进一步，第二列82、第六列84以及第十列86具有四列(或者像素)间隔，如此可能是由其中一面有缺陷的四面镜产生的。对于如图4所示的光学图像80的部分的尺寸，所述四线间隔仅仅是用于说明的目的并且可应用其他线间隔，例如十六列(或者像素)间隔的条纹异常。条纹异常可以等于多面镜的面数的间隔出现。
[0076]图4中的前25个光学图像像素已经从I。至25。被标号，因为其将被用于说明本文公开的方法的示例性实施方式。
[0077]强度梯度可在横向于扫描方向的方向上，即图4所示的沿光学图像80的部分的行的方向，在每个相邻的光学图像像素之间被确定。所述强度梯度代表强度值随光学图像80的行距离的变化。在本文公开的方法的某些实施方式中，强度梯度可以是相邻的光学图像像素的强度值之间的差。该方法基本上包括了有限差分法，数值微分技术，依照公式:
[0078]
【权利要求】
1.一种方法，包括: 确定由光学扫描设备产生的光学图像的第一光学图像数据与第二光学图像数据之间的强度梯度，其中所述第一光学图像数据是第一光学像素并且所述第二光学图像数据是第二光学图像像素； 确定包括多个强度梯度图像像素的强度梯度图像，每一个强度梯度图像像素代表所述强度梯度的幅值；以及 根据所述强度梯度的幅值高于或等于阈值来识别所述光学图像中的一个或多个异常。
2.如权利要求1所述的方法，还包括根据所述强度梯度的幅值来校正所述光学图像中的所述异常。
3.如权利要求1或2所述的方法，其中所述第一光学图像像素与所述第二光学图像像素相邻。
4.如前述任意权利要求所述的方法，其中所述强度梯度是一阶微分。
5.如前述任意权利要求所述的方法，其中所述强度梯度包括所述第一光学图像像素的强度与所述第二光学图像像素的强度之间的差。
6.如前述任意权利要求所述的方法，其中识别所述异常包括根据所述第一光学图像数据与所述第二光学图像数据之间的强度梯度为负并且具有高于所述阈值的幅值来将所述第二光学图像数据识别为异常。
7.如前述任意权利要求所述的方法，其中识别所述异常包括根据所述第一光学图像数据与所述第二光学图像数据之间的强度梯度为正并且具有高于所述阈值的幅值来将所述第一光学图像数据识别为异常。
8.如前述任意权利要求所述的方法，其中每一个强度梯度图像像素代表在横向于所述光学扫描设备的扫描方向的方向上`彼此相邻的一对光学图像像素之间的强度梯度。
9.如前述任意权利要求所述的方法，还包括在每一行强度梯度图像像素上运行模-η均值滤波器，以产生包括多个平均强度梯度图像像素的平均强度梯度图像，并且其中η是与条纹异常之间的像素间隔相对应的整数。
10.如权利要求9所述的方法，其中识别所述光学图像中的异常是根据平均强度梯度图像像素的强度高于或等于所述阈值。
11.如权利要求9或10所述的方法，其中η是所述光学扫描设备包含的多面镜的面数。
12.如权利要求9至11中的任一项所述的方法，其中运行所述模-η滤波器包括沿向前及向后的方向运行所述滤波器。
13.如权利要求12所述的方法，其中运行所述模-η滤波器还包括平均向前及向后滤波的结果。
14.如权利要求9至13中的任一项所述的方法，其中识别所述光学图像中的异常是根据第一平均强度梯度图像像素与在所述平均强度梯度图像的上一行和/或下一行的对应位置上的第二平均强度梯度图像像素具有同样的强度。
15.如权利要求9至14中的任一项所述的方法，还包括产生包括所述平均强度梯度图像的掩模。
16.如权利要求15所述的方法，还包括通过从所述光学图像中减去所述掩模来校正所述光学图像以消除异常。
17.一种计算机程序产品，其被配置为存储可执行来实现根据任意前述权利要求所述的方法的计算机程序代码。
18.—种包括被配置为实现根据权利要求1至17中的任一项所述的方法的处理器的装置。
19.一种成像设备，包括如权利要求18所述的装置。
20.一种实质上如本文参照附图描述的方法。
21.一种实质上如本文参照附图描述的装置。
22.—种实质上如本文参·照附图描述的成像设备。
【文档编号】G06T5/00GK103582894SQ201280026425
【公开日】2014年2月12日 申请日期:2012年3月27日 优先权日:2011年3月31日
【发明者】大卫·克利夫顿 申请人:奥普托斯股份有限公司