使用图像处理对可视对象外观的建模的制作方法

xiaoxiao2020-7-22  13

专利名称:使用图像处理对可视对象外观的建模的制作方法
使用图像处理对可视对象外观的建模本发明涉及用于处理图像的方法和装置。更特别地,而非排除地,本发明涉及用于根据一组图像产生模型的方法,该模型可用于确定输入图像是否为该组图像之一。本文所述的一些方法还允许识别与模型最对应的输入图像的区域。在图像识别领域中熟知的是使用计算机。图像识别的一种特定应用是在工业检测领域。本文中,计算机具有图像,并且需要产生指示输入图像是否是一类图像中之一的输出数据。该类图像可以表示特定部件的可允许改变,其通过工业处理而进行操作。已知的是使用表示该类图像的模型而实施上述的处理。通常通过接收和处理多幅训练图像而产生这种模型,多幅训练图像是该类感兴趣图像的实例。即,假设许多工业处理具有可允许的变化范围,那么多幅图联图像将是横跨可允许变化范围的实例,从而已产生的模型正确地表示可允许的变化范围。虽然使用上述类型的模型已经获得了相当大的成功,但是其也具有缺点。一个缺点是通常难以产生足够精确的模型,例如因为多幅训练图像中的小部分可能不正确、不恰当地表示在可允许变化范围中的图像。在模型建立处理中包括这种图像而产生的模型,可能在事实上未处于该情况时而错误地指示输入图像处于可允许变化范围内。使用上述类型模型的另一缺点是,通常当输入图像提供为模型确定未处于可允许的变化范围中时,未向操作者提供为何可能是该情况的信息,而仅向操作者提供输入图像与模型不相应的指示。此外,一些现有技术中,当需要识别与模型最为符合的输入图像的区域时,如果该区域不足以满足这些模型,那么这些技术未能连贯地识别最符合模型的区域。即,当没有输入图像的区域足够地符合模型,通常有用的是提供识别仍然最符合模型的区域的信息。现有的技术通常不能实现这一点。本发明实施例的一个木的是避免或缓解上述一个或多个问题。根据本发明第一方面,提供了一种根据一组图像产生模型的方法。该方法包括处理多个数据项,每个数据项表示所述图像组的图像,以确定所述多个数据项之间的可变性。 基于所述数据和所述可变性而产生模型,其中每个所述数据项对所产生的模型的影响,由各个所述数据项和所述可变性之间的关系所确定。本发明因而允许在创建的模型中,特定数据项对所创建模型的影响由特定数据项和多个数据项之间的可变性之间的关系所确定。因而,远在正常可变性范围之外的数据项对已产生的模型具有相对低的影响。因而,认为所创建的模型是健全的模型,因为其未受处于该创建中使用的正常可变性范围之外的数据项而影响至过大的范围。多个数据项的每一个可以是标准化的数据项。可以以任何便利的方式实施对数据项的标准化。可以接收多个初始数据项,每个初始数据项包括多个元素。可以基于所述多个初始数据项的每一个中的元素值而计算每个元素的中值。已经发现以这种方式使用中值允许健全的标准化。更特别地,使用中值具有优于平均值的优点,假定中值未受少量无关值的过度影响。
6
可以基于所述多个初始数据项的每一个中的元素的值而计算用于每个元素的中值绝对偏差(MAD)值。此外,假定对外围(outlying)元素值是相对健全的,使用MAD是有利的。该方法还可以包括参考各个中值和MAD值而处理各个数据项的每个元素,以确定各个数据项的标准化因子。随后通过向各个初始数据项应用所述标准化因子,可以产生用于每个初始出具向的各个标准化数据项。假定其使用中值和MAD值指的是其对于外围数据元素值的影响相对健全,该标准化方法是有利的。基于所述数据项产生该模型可以包括将权重与每个所述数据项相关。权重可以基于所述可变性。权重可以设置使得最小化对外围数据项的影响。可以计算每个所述数据项的权重。计算各个数据项的权重可以包括确定各个数据项和平均数据项之间的关系。平均数据项可以是中值数据项。使用中值数据项是优选地,因为这产生的权重以最小化外围数据项的影响的方式计算。该方法可以包括确定指示每个所述数据项中的置信度的值。各个数据项的置信度可以基于各个数据项和平均数据项以及所述数据项的可变性之间的关系。该方法还可以包括根据指示每个所述数据项中置信度的所述之而产生概率分布, 并且基于所产生的分布而确定每个所述数据项的概率值。与特定数据项相关的权重可以是已确定概率值的函数。当所述概率在第一范围中,该函数可以提供第一权重值,而当指示概率的所述值处于第三范围中时,该函数可以提供为与第二范围内的权重值。产生模型可以包括确定每个所述数据项和平均数据项之间的差别关系,以产生多个差值数据项。平均数据项可以是所述数据项的加权平均值,加权平均值基于已确定的权重。使用这种加权平均值在提供具有附加健全性的方法中是有利的。已确定的权重可以应用于所述差值数据项,并且可以产生指示每个已加权差值数据项如何相对于每一个其他已加权差值数据项改变的矩阵。矩阵可以是协方差矩阵。产生模型还可以包括建立所述系统的特征系统,以产生多个特征向量和特征值, 并且创建包含至少一些所述多个特征向量的矩阵。这样一来,主成分分析得以执行。产生所述多个特征向量和特征值还可以包括处理另一矩阵,所述另一矩阵的尺寸小于所述矩阵。更特别地,特征值可以获自于所述另一矩阵。模型可以是统计模型。例如,模型可能具有如下形式m+Pb其中m是平均数据项;P是指示可允许变化的矩阵;以及b是模型的范例实例。每个数据项可以是矢量,而每个数据项的每个元素可以表示一个像素值。根据本发明第二方面,提供了一种产生指示输入图像如何满足表示一组图像的模型的数据的方法。该方法包括处理表示输入图像的输入数据项以产生指示图像如何由模型恰当表示的数据。输入数据项包括多个元素,每个元素表示输入图像的各个图像元素。处理输入数据项以确定输入图像如何恰当的满足模型,包括确定输入数据项的每个元素应当对已产生的数据的影响,并且产生所述数据,从而输入数据项的每个元素具有已确定的影响。
以该方式使用影响确保不规则的输入数据项的元素对决定具有相对低的影响,由此当一些元素值(例如像素值)不规则时确保决定的健全性。确定输入数据项的元素应当对已产生的数据的影响可以包括产生用于输入数据项的每个元素的加权数据项。所述加权数据项的每一个可以应用于每个关系,以产生指示输入图像如何恰当地满足模型的所述数据。产生每个加权数据项可以包括确定输入数据项的元素和多个样本数据项的元素的可变性之间的关系。输入数据项的元素和多个样本数据项的元素的可变性之间的关系, 可以是输入数据项和平均元素值的元素之间的差值与所述可变性之间的关系。使用迭代处理可以产生每个所述加权数据项。该方法还可以包括产生指示至少一些所述输入元素对所述决定的影响的输出数据。输出数据可以包括图形输出数据,指示对决定贡献相对较少的输入图像的像素。这样, 可以向用户提供诊断反馈,例如使用合适的图形用户界面。可以迭代地产生指示输入图像如何恰当地满足模型的数据。输入数据项可以是标准化输入数据项。根据本发明第三方面,提供了一种识别最为满足模型的图像区域的方法。该方法包括参考模型处理所述图像的第一区域,所述处理产生位移信息。参考模型处理所述图像的第二区域,其中基于所述位移信息选择第二区域。这样,本发明第三方面产生可以用于聚焦和指导意于定位最为满足模型的图像区域的研究。这能够有利地提高定位最满足模型的图像区域的效率。位移信息可以包括平移位移信息和/或旋转位移信息。参考模型处理第一和/或第二图像区域包括实施如上参考本发明第二方面所述的处理。根据本发明第四方面,提供了一种产生表示一类图像的模型的模型数据的方法。 该方法包括处理多个样本数据项以产生所述模型数据,每个样本数据项包括位移信息。这样,本发明第四方面产生了包括位移信息的模型,所述信息在将模型应用于输入图像时是有用的。该方法还可以包括接收输入数据项和基于所述输入数据项的多个位移版本而产生样本数据项。该处理可以包括执行主成分分析。将意识到,本发明可以以任何便利的方式实施。例如,本发明的各方面不仅提供了方法,还提供了适当配置的装置。可以借助于合适的计算机程序实施本发明,所述计算机程序在合适的载体介质上实施。这种介质包括有形载体介质和无形载体介质。当使用计算机实施上述的方法时,可以借助于存储在计算机的合适存储器中的数字数据而表示各幅图像和各个模型。现在将仅作为实例而参考随附附图描述本发明各个方面的实施例,其中

图1是图像分析系统的示意图;图2是示出在构建一组表示图像的样本矢量的健全统计模型中实施的处理的流程图;图3是用于健全地标准化图2的处理中的一组样本矢量的处理的流程图4是示出设置以产生用于该组样本矢量的权重的图2的处理的部分的流程图;图5是示出处理以执行图2的处理中的已加权主成分分析的处理的流程图;图6是示出设置以计算矩阵的特征系统的图5的处理的部分的流程图;图7是示出实施以测试测试矢量与使用图2的处理所产生的健全统计模型的匹配的处理的流程图;图8是示出训练实例的位移的示意性图示;图9是示出如何能够使用已位移的训练实例以创建适用于图2的处理中的样本组的流程图;图10是一组训练图像的图示;图11是未按照该组训练图像的输入图像的图示;以及图12是提供以指示测试图像中的缺陷像素的输出的图示。现在参考图1,模型构建器模块1采用一组训练图像2作为输入。模型构建器模块 1基于下文参考图2所述的训练图像2而构建统计模型3。模型构建器1基于该组训练图像而输出统计模型3。统计模型3是基于该组训练图像2中变化范围的模型。将模型3传递图像测试模块4,其参考统计模型3而处理测试图像5,以产生输出6,指示是否能够由模型充分正确地表示测试图像5。参考图1所述的处理是,如果该组训练图像2表示特定类的图像,那么模型3是表示该类图像的模型。图像测试模块4随后可以确定测试图像5是否是以上述方式描述的模型3所表示的该类图像的成员。现在参考图2,图1的模型构建器模块1在步骤Sl接收形成该组训练图像2的样本组X。该组X包含S个未标准化样本矢量~,其中j在1至S的范围内,而每个\对应于图1的该组训练图像2的一个成员。每个矢量\表示一幅训练图像2,而\的每个元素表示各幅训练图像的一个像素。因而,每个矢量\的尺寸为n,其中η是包含在训练图像中的像素数量。在步骤S2,将样本矢量\健全地标准化以给出标准化的样本组X、,其包含用于如参考图3更详细描述的每个样本矢量\的相应标准化样本矢量χ/。在步骤S3,构建用于组X、的健全的零模式模型,并且在步骤S4,使用健全的零模式模型构建健全的匹配功能。之所以称为健全的零模式模型,因为其创建并不依赖于特征系统分析,并且同样地,该模型未包括特征矢量。可以说,特征矢量表示数据的“变化模式”, 所述特征矢量从所述数据获得。因而,不具有特征矢量的模型称为“零模式”模型。在步骤 S5,使用在步骤S4计算得的健全匹配函数,对每个样本矢量χ/计算可能性评估值ρ」。在步骤S6,基于可能性估计值~而计算每个样本矢量的权重%。以这种方式计算的权重基于与每个矢量相关的置信水平,置信水平指示在给出该组训练图像的变化时每个矢量χ/是否是该组训练图像的有效成员。将参考图4更详细地描述步骤S3至S6的处理。这样,如果样本组X包括未正确地表示模型将表示的该类图像的至少一些矢量, 那么本文所述的方法配置使得与未正确地表示该类图像的训练图像相关的矢量对所创建的模型具有相对低的影响。即,当在样本组X中存在错误时,这些错误对模型具有相对低的全面影响。这导致创建被认为是健全的模型。在步骤S7,如参考图5更详细所述,在标准化样本组Γ上实施已加权主成分分析。现在,将参考示出在图2的步骤S2实施的处理的图3,更详细地描述健全地标准化样本组X以计算标准化样本组Γ的处理。参考图3,在步骤S10,对该组样本矢量X计算中心点矢量m。中心点矢量是尺寸为 η的矢量,其中Humi的每个元素是在样本组X上计算得的每个像素Xi的中值。通过使用中值,减少或甚至消除输入矢量中异常值(outlier)像素的效果。更特别地,虽然一些已知的统计模型取决于基于每个像素的中值的中心点矢量,但是这些方法受到异常值像素的不合需要地影响。通过以上述方式使用中值而克服该问题。在步骤S11,计算扩展矢量σ。扩展矢量是尺寸为η的矢量,其中σ、ο i的每个元素是在样本组X上的每个像素Xji的中值绝对偏差(MAD)。根据公式(1)计算MAD值σ i σ j = median (| xji-Hii , j = 1. . . s) (1)同样,使用MAD作为扩展的测量值,对于确保异常值像素未过度地影响所创建的模型而言,是有效的。虽然如上所述这是使用MAD值的一个有利属性,但是当使用诸如标准偏差的测量值以指示扩展时未实现这种优点。在步骤S12,对X中的每个样本矢量\计算矢量模I |。根据下面所示的公式 (2)计算矢量χ的矢量模。
权利要求
1.一种根据一组图像产生模型的计算机实施方法,该方法包括处理多个数据项,每个数据项表示所述图像组的一幅图像,以确定所述多个数据项之间的可变性;基于所述数据项和所述可变性而产生表示所述模型的模型数据,其中每个所述数据项对已产生的模型的影响,由所述数据项中之一和所述可变性之间的关系所确定。
2.根据权利要求1所述的方法,其中所述多个数据项的每一个是标准化数据项。
3.根据权利要求2所述的方法,还包括接收多个初始数据项,每个初始数据项包括多个元素;根据每个元素在所述多个初始数据项的每一个中的值,确定该元素的中值。
4.根据权利要求3所述的方法,还包括基于每个元素在所述多个初始数据项的每一个中的值,确定该元素的中值绝对偏差。
5.根据权利要求4所述的方法,还包括参考中值和中值绝对偏差而处理各个初始数据项的每个元素,以确定各个初始数据项的标准化因子;以及通过向各个初始数据项应用所述标准化因子,而产生各个标准化数据项。
6.根据前述任意一项所述的方法,其中基于所述数据项产生所述模型包括将权重与每个所述数据项相关联,所述权重基于所述可变性。
7.根据权利要求6所述的方法,还包括对每个所述数据项计算权重。
8.根据权利要求7所述的方法,其中对各个数据项计算权重包括确定各个数据项和平均数据项之间的关系。
9.根据权利要求8所述的方法,其中所述平均数据项是中值数据项。
10.根据权利要求8或9所述的方法,还包括确定指示每个所述数据项中置信度的值。
11.根据权利要求10所述的方法,其中各个数据项的置信度基于各个数据项和平均数据项以及所述数据项的可变性之间的关系。
12.根据权利要求10或11所述的方法,还包括根据指示每个所述数据项中置信度的所述值而产生概率分布,并且基于所产生的分布确定每个所述数据项的概率值。
13.根据权利要求12所述的方法,其中与特定数据项相关的权重是已确定的概率值的函数。
14.根据权利要求13所述的方法,其中当所述概率位于第一范围中时,所述函数提供第一权重值,而当所述概率位于第二范围中时,所述函数提供第二权重值。
15.根据权利要求6至14中任意一项所述的方法,其中产生所述模型包括确定每个所述数据项和平均数据项之间的差别关系,以产生多个差值数据项;将所述权重应用于所述差值数据项;以及产生矩阵,指示每个已加权差值数据项如何参考其他已加权差值数据项而改变。
16.根据权利要求15所述的方法,其中产生所述模型还包括在所述矩阵上执行特征系统分析,以产生多个特征矢量;以及创建包含至少一些所述多个特征矢量的矩阵。
17.根据权利要求16所述的方法,其中产生所述多个特征矢量还包括产生多个特征值,其中通过处理另一矩阵而产生所述多个特征值,所述另一矩阵尺寸小于所述矩阵。
18.根据前述任意一项权利要求所述的方法,其中所述模型是统计模型。
19.根据权利要求18所述的方法,其中所述模型具有如下形式 m+Pb其中m是平均数据项; P是指示可允许变化的矩阵;以及 b是模型的实例。
20.根据前述任意一项权利要求所述的方法,其中每个数据项是一个矢量。
21.根据前述任意一项权利要求所述的方法,其中每个数据项的每个元素表示一个像素值。
22.—种计算机程序,包括计算机可读指令,配置以使得计算机执行根据前述任意一项权利要求所述的方法。
23.一种计算机可读媒体,载有根据权利要求22所述的计算机程序。
24.一种计算机可读媒体,存储表示使用权利要求1至21中任意一项所述的方法创建的模型的数据。
25.一种用于根据一组图像产生模型的计算机装置,该计算机装置包括 存储器,存储处理器可读指令;以及处理器,设置以读取和执行存储在所述存储器中的指令;其中所述处理器可读指令包括设置以控制计算机实施根据权利要求1至21中任意一项所述的方法的指令。
26.—种产生指示输入图像满足表示一组图像的模型的程度的数据的计算机实施方法,该方法包括处理表示输入图像的输入数据项,以产生指示图像可由模型表示的程度; 其中输入数据项包括多个元素,每个元素表示输入图像的各个图像元素,并且处理输入数据项以确定输入图像满足模型的程度包括确定输入数据项的每个元素应当对所产生的数据的影响,并且产生所述数据,从而输入数据项的每个元素具有已确定的影响。
27.根据权利要求沈所述的方法,其中确定输入数据项的每个元素应当对所产生的数据的影响包括对输入数据项的每个元素产生权重数据项。
28.根据权利要求27所述的方法,其中产生所述数据从而每个元素具有已确定的影响包括确定表示图像组中图像的多个样本数据项的每个元素和输入数据项的各个元素之间的关系;以及将所述权重数据项应用于各个关系,以产生指示输入图像满足模型程度的所述数据。
29.根据权利要求27或观所述的方法,其中产生每个权重数据包括确定输入数据项的元素和多个样本数据项的各个元素的可变性之间的关系。
30.根据权利要求四所述的方法,其中输入数据的元素和多个样本数据项的各个元素的可变性之间的关系,是输入数据项的元素和平均元素值之间的差值与所述可变性之间的关系。
31.根据权利要求27至30中任意一项所述的方法,其中使用迭代处理产生每个所述加权数据项。
32.根据权利要求沈至31中任意一项所述的方法,还包括产生输出数据,指示至少一些所述输入元素对所述决定的影响。
33.根据权利要求32所述的方法,其中所述输出数据包括图形输出数据,指示对决定贡献相对较小的输入图像的像素。
34.根据权利要求沈至33中任意一项所述的方法,其中迭代地产生指示输入图像满足模型程度的所述数据。
35.根据权利要求沈至34中任意一项所述的方法,其中输入数据项是标准化输入数据项。
36.一种计算机程序,包括计算机指令,配置以使得计算机实施根据权利要求沈至35 中任意一项所述的方法。
37.一种计算机可读媒体,载有根据权利要求36所述的计算机程序。
38.一种用于产生指示输入图像满足表示一组图像的模型的程度的数据的计算机装置,该计算机装置包括存储器,存储处理器可读指令;以及处理器,设置以读取和执行存储在所述存储器中的指令;其中所述处理器可读指令包括设置以控制计算机实施根据权利要求26至35中任意一项所述的方法的指令。
39.一种识别最为满足模型的图像区域的计算机实施方法,该方法包括 参考模型处理所述图像的第一区域,所述处理产生位移信息;以及参考模型处理所述图像的第二区域,基于所述位移信息而选择所述第二区域。
40.根据权利要求40所述的方法,其中所述位移信息包括平移位移信息和/或旋转位移信息。
41.根据权利要求39或40所述的方法,其中处理所述第一区域和所述第二区域中至少之一包括实施根据权利要求26至35中任意一项所述的处理。
42.一种产生表示一类图像的模型的模型数据的方法,该方法包括处理多个样本数据项,以产生所述模型数据,每个样本数据项包括位移信息。
43.一种根据权利要求41所述的方法,包括 接收输入数据项;基于所述输入数据项的多个位移版本而产生样本数据项。
44.根据权利要求42或43所述的方法,其中所述处理包括执行主成分分析。
45.根据权利要求42或43所述的方法,其中产生所述模型数据包括实施根据权利要求 1至21中任意一项所述的处理。
46.一种用于预处理将使用的图像数据以产生表示一组图像的模型的计算机实施方法,该方法包括接收多个初始数据项,每个初始数据项包括多个元素并且表示一幅图像;基于每个元素在所述多个初始数据项的每一个中的值而确定该元素的中值;基于每个元素在所述多个初始数据项的每一个中的值而确定该元素的中值绝对偏差;参考中值和中值绝对偏差值而处理各个初始数据项的每个元素,以确定各个数据项的标准化因子;以及通过将所述标准化因子施加至各个初始数据项而产生各个标准化数据项。
全文摘要
本发明涉及一种根据一组图像产生模型的计算机实施方法。该方法包括处理多个数据项,每个数据项表示所述图像组的一幅图像,以确定所述多个数据项之间的可变性;并且基于所述数据项和所述可变性而产生表示所述模型的模型数据,其中每个所述数据项对所产生的模型的影响,由各个所述数据项和所述可变性之间的关系所确定。
文档编号G06K9/62GK102203803SQ200980142051
公开日2011年9月28日 申请日期2009年8月14日 优先权日2008年8月21日
发明者克里斯托弗·布鲁克·杰克逊, 安德鲁·希尔 申请人:4Sight成像有限公司

最新回复(0)