头发毛囊的追踪的制作方法
专利名称：头发毛囊的追踪的制作方法
技术领域：
本文中所揭示的实施例一般来说涉及一种对象追踪系统，且更特定来说涉及一种用于准确地追踪身体表面上的头发毛囊或其它位点及特征的系统及方法。
背景技术：
头发移植程序通常涉及从患者的头皮的供体区域(举例来说，侧及后边缘区域) 收获供体头发移植物且将其植入于光秃区域或受体区域中。在过去，所收获的移植物相对大，在3mm到5mm之间。然而，近年来的供体移植物可小到单个毛囊单位。毛囊单位(FU) 是随机分布于头皮的表面上的一到五个紧密间隔开的头发毛囊的自然发生的聚合体。可基于单位中的头发数目将毛囊单位分类或“分类型”，且简略地识别为“Fl” (单根头发毛囊单位)、“F2”(两根头发毛囊单位)等。在一些多根头发毛囊单位的情况下，头发可呈现为从皮肤中的单个毛囊或点发出。在其它情况下，头发可彼此稍微间隔开地冒出皮肤。在头发移植程序期间，应避免在某些位置收获或植入头发。举例来说，如果医生已经使用一位点来收获或植入头发，那么所述医生可期望避免使用同一位点来进行后续程序。追踪装置在追踪这些位点中的一些时较困难。需要一种可包括所收获及所植入位点的数据库的系统。医生可使用所述数据库来计划未来的收获及植入。所述系统甚至在不能看到实际位点时仍可追踪并记录位点信息， 因为所述系统可追踪位点周围的特征，包括毛囊单位、头皮特征或外部记号。还需要一种可追踪移动特征的系统。追踪特征的一个方式是在逐静像的基础上检测其位置。需要一种可改善追踪且不需要在静止基础上检测特征位置的系统。此种系统可利用特征特征或记号的运动向量来改善追踪。
发明内容
简要来说且根据一般术语，揭示一种对象追踪系统。更特定来说，揭示一种追踪身体表面上的对象的对象追踪系统及方法，否则所述对象不容易追踪。在一个方面中，一种用于追踪所关注特征(例如，毛囊单位)的方法涉及识别第一图像中的至少一个记号，所述第一图像包括所述所关注特征，例如毛囊单位；计算所述第一图像中的所述所关注特征的貌征；识别第二图像中的所述至少一个记号；计算对应于所述至少一个记号从所述第一图像到所述第二图像的位置改变的运动向量；及使用所述运动向量及所述第一图像中的所述所关注特征的所述貌征来标记所述第二图像中的所述所关注特征。在另一方面中，所述第一图像中存在至少三个记号。使用三个或更多个记号允许追踪平移及旋转移动。所述至少一个记号可体现身体表面的另一毛囊单位、痣、疤痕、斑点、 皱纹、凸块或凹陷中的一者或一者以上。另外，所述第一图像中可包括多个记号且识别第一图像中的所述至少一个记号可涉及识别点云。
在一个方法中，计算所述点云的形心。计算所述第一图像中的所述毛囊单位的所述貌征可涉及识别所述毛囊单位的长度、类型、口径、突出角、面积、形状及色彩中的一者或一者以上。此外，在一个具体方法中，标记所述第一图像中的至少一个记号，且通过沿所述运动向量所指向的方向搜索以找到所述第二图像中的所述至少一个记号来用与所述第一图像中相同的标记来标记所述第二图像中的所述至少一个记号。在一个实施例中，可使用额外运动向量。举例来说，依据所述第一图像及所述第二图像来计算第二运动向量，且使用所述第二运动向量来标记所述第二图像中的所述毛囊单位。可使用灰度码位平面、光流及块搜索图像稳定技术中的一者或一者以上来计算所述第
二向量。在各种其它方面中，根据所述运动向量来移动图像捕获装置以将所关注特征(例如，毛囊单位)保持在所述图像捕获装置的视域中。此外，识别所述至少一个记号可涉及使电子识别符与所述至少一个记号相关联。此外，依据考虑因素而丢弃所述第二图像中的根据所述运动向量与其在所述第一图像中的位置不一致的任何记号。另外，所述运动向量可界定用于定位所述毛囊单位或其它所关注特征的搜索区。 界定所述搜索区涉及分析沿所述运动向量且在距所述运动向量的预定距离内的区。距所述运动向量的所述预定距离可体现在所述第一图像中的所述记号的位置处具有尖端的锥面， 所述尖端具有预定尖端角度，所述锥面沿所述运动向量的方向延伸且包括在所述预定尖端角度内的面积。在各种具体方法中，将所述第一及第二图像划分成多个第一及第二子图像，且计算依据所述第一及第二子图像的多个运动向量。此外，可从供体区域收获已追踪的毛囊单位且可将其植入于受体区域中。在另一方面中，一种用于追踪所关注特征(例如，毛囊单位)的方法可涉及在含有毛囊单位的身体表面的第一图像中识别毛囊单位；计算所述第一图像中的所述毛囊单位的貌征；依据所述第一图像及同一身体表面的第二图像来计算运动向量；及使用所述运动向量及所述第一图像中的所述毛囊单位的所述貌征来标记所述第二图像中的所述毛囊单位。可不使用任何记号而是依据作为整体的图像来计算所述运动向量。在上述其它实施例中，可识别在所述第一且在所述第二图像中的一个或一个以上记号，且计算所述运动向量可包括计算对应于此一个或一个以上记号从所述第一图像到所述第二图像的位置改变的运动向量。计算所述第一图像中的所述毛囊单位的所述貌征可包括识别所述毛囊单位的长度、类型、口径、突出角、面积、形状及色彩中的一者或一者以上。当然，根据本申请案中所论述的原理可同时或顺序追踪多个所关注特征，包括多个头发毛囊。在又一方面中，一种用于追踪身体表面上的所关注特征(例如，毛囊单位)的系统包括貌征识别组件，其中所述貌征识别组件识别关于含有毛囊单位的身体表面的第一图像中的所述毛囊单位的貌征信息；向量确定组件，其中所述向量确定组件计算相同身体表面的第一图像与第二图像之间的运动向量；及追踪系统，其用于接收对应于所述运动向量的数据且基于所述运动向量及所述毛囊单位貌征信息来标记所述第二图像中的所述毛囊单位。所述追踪系统可进一步包括用于捕获所述身体表面的图像的成像装置且其可进一步经编程以基于所述运动向量移动所述成像装置。所述貌征识别组件、向量确定组件及追踪系统可为单个计算机-程序产品的一部分。此外，用于追踪身体表面上的毛囊单位或其它所关注特征的所述系统可进一步体现记号识别组件。所述记号识别组件可为所述貌征识别组件的一部分或可为单独组件或程序。此外，所述貌征识别组件、所述向量确定组件及所述追踪组件中的一者或一者以上可包括连接到存储器及所述成像装置中的至少一者的处理器。所述成像装置可为相机，且所述系统可为进一步包括机器人臂的机器人系统。此外，所述成像装置可操作地连接到所述机器人臂。还涵盖，一种用于追踪/标记所关注特征 (例如，毛囊单位)的系统可包括接口，其适于接收也含有毛囊单位的图像数据；及图像处理器，其包含用于对所述图像数据执行操作的一个或一个以上模块，所述一个或一个以上模块包括用于进行以下各项的指令接收含有毛囊单位的身体表面的第一图像及同一身体表面的第二图像；识别所述第一图像中的毛囊单位；计算所述第一图像中的所述毛囊单位的貌征；依据所述第一图像及所述第二图像来计算运动向量；及使用所述运动向量及所述第一图像中的所述毛囊单位的所述貌征来标记所述第二图像中的所述毛囊单位。在另一方面中，一种有形地体现于计算机可读存储器媒体中且包括指令的计算机程序，所述指令致使计算装置的处理器执行计算机过程以追踪所关注特征(例如，毛囊单位)，其包含识别第一图像中的至少一个记号，所述第一图像包括毛囊单位；计算所述第一图像中的所述毛囊单位的貌征；识别第二图像中的所述至少一个记号；计算对应于所述至少一个记号从所述第一图像到所述第二图像的位置改变的运动向量；及使用所述运动向量及第一图像中的所述毛囊单位的所述貌征来标记所述第二图像中的所述毛囊单位。此外，涵盖所述处理器操作地与所述存储器相关联。所述计算机过程还可涉及将来自所述第一图像的第一记号数据与来自所述第二图像的第一记号数据进行比较且将所得向量存储于存储器中。所述计算机程序可操作地与图像捕获装置相关联。在另外其它方面中，一种用于追踪身体表面上的所关注特征(举例来说，毛囊单位)的方法涉及识别第一静止图像中的至少一个记号，所述第一静止图像含有所关注特征；计算所述第一图像中的所述所关注特征的貌征；界定对应于所述至少一个记号的参考框架；定位第二静止图像中的所述至少一个记号；及使用所述所计算貌征检测所述第二静止图像中的所述所关注特征的位置且基于所述第二静止图像中的所述至少一个记号的位置来更新所述参考框架的平移分量。一种方法还可包括识别第一静止图像中的至少三个记号，且其中检测所述第二静止图像中的所述所关注特征的位置包含更新所述参考框架的平移及旋转分量两者。此外， 可通过(举例来说)分析此种记号的长度、面积、形状、类型或色彩中的至少一者来识别所述第一静止图像中的所述至少一个记号。另外，所述至少一个记号可为毛囊单位且识别所述至少一个记号进一步包含分析来自所述身体表面的所述毛囊单位的突出角及头发的口径中的至少一者。所述静止图像可为身体表面的视频图像，所述至少一个记号为所述身体表面上的毛囊单位，且所述所关注特征为所述身体表面上的另一毛囊单位。可通过使用点云方法来更新所述参考框架且可根据所述点云的平均移位来移动成像装置。所关注特征可为光秃部位且所述方法可进一步涉及界定一个或一个以上头发植入位点。在另一方法中，一种用于追踪身体表面上的所关注特征(例如，毛囊单位)的方法包括识别第一静止图像中的至少三个记号，所述第一静止图像显示所关注特征；计算所述第一静止图像中的所述所关注特征的貌征；追踪所述第一静止图像中的至少三个第一对象；界定对应于所述三个记号的参考框架；确定所述三个记号是否在第二静止图像中；及响应于所述三个记号中的至少一者不在所述第二静止图像中，使用所述所关注特征的所述所计算貌征检测所述第二静止图像中的所述所关注特征的位置且基于所述第二静止图像中的所述至少三个记号中的任一者的位置及所述第二图像中的所述第一对象中的任一者的位置来更新所述参考框架。使用记号与第一对象的组合的和来检测所述所关注特征的位置为至少三个。所述至少三个第一对象中的至少一者可包括身体表面的毛囊单位、痣、疤痕、斑点、皱纹、凸块或凹陷。检测所述所关注特征的所述位置可进一步涉及依据所述第一静止图像及所述第二静止图像来计算运动向量且使用所述运动向量来更新所述参考框架且定位所述至少三个记号中的至少一者。识别所述第一静止图像中的至少一个第一对象且在所述第二静止图像中定位所述所识别的第一对象，且计算所述运动向量包括识别所述所识别的第一对象从所述第一图像到所述第二图像的位置改变。还涵盖，一种用于追踪身体表面上的所关注特征的系统可包括接口，其适于从图像捕获装置接收多个图像，至少第一图像包含所关注特征；貌征识别组件，其中所述貌征识别组件识别关于所述所关注特征的貌征信息且检测所述第一图像中的至少一个记号；及记号参考系统。所述参考系统界定对应于所述至少一个记号的参考框架，确定所述至少一个记号是否在第二图像中，且对应于所述至少一个记号从所述第一图像到所述第二图像的位置改变来调整所述参考框架以定位所述所关注特征。所述貌征识别组件及所述记号参考系统可为单个计算机程序产品的一部分。此外，所述貌征识别组件可包括连接到存储器的处理器，所述处理器使电子识别符与所述至少一个记号相关联且将所述电子识别符存储于所述存储器中。此外，所述记号参考系统可包括连接到存储器的处理器，且所述处理器将所述第一图像中的所述至少一个记号中的每一者的位置与第二图像中的所述至少一个记号中的每一者的位置进行比较，计算参考框架中的对应改变，且将所述计算的结果存储于所述存储器中。所述系统可进一步包含向量确定组件。所述系统可为进一步包括机器人臂的机器人系统。结合附图参照以下详细说明将明了其它特征及优点，所述附图以实例方式图解说明各种实施例的特征。
在附图的各图中以实例而非限制的方式图解说明本发明。在图式中，相同的参考编号识别类似的元件或动作。图式中的元件的大小及相对位置未必按比例绘制。举例来说， 各种元件的形状及角度未按比例绘制，且这些元件中的一些元件被任意扩大及定位以改善图式清晰度。此外，元件的所绘制的特定形状并非打算表达关于特定元件的实际形状的任何信息，且仅为易于在图式中辨识而选择。图1图解说明运动学“框架”；图2图解说明更新“框架”；图3图解说明使用登记记号的收获规划；图4图解说明使用登记记号的植入规划；
8
图5图解说明在丢失登记图案之后更新框架；图6图解说明用除原始登记记号以外的点更新框架；图7图解说明使用患者的头皮上的毛囊单位来更新框架；及图8图解说明毛囊单位云算法。图9A及9B图解说明点云追踪；图10图解说明运动向量计算；图11图解说明毛囊单位标记；图12也图解说明毛囊单位标记及相关联问题；图13A及1 分别图解说明毛囊单位标记/追踪过程及使用运动向量的毛囊单位标记/追踪过程；图14图解说明界定搜索区；图15图解说明一个例示性图像稳定过程；图16图解说明图像比较；图17图解说明计算多个向量的图像稳定；及图18图解说明追踪对象的例示性系统。
具体实施例方式下文所描述的各种实施例仅以图解说明的方式提供且不应理解为限制所请求发明。所属领域的技术人员将易于认识到，可在不背离所请求发明的范围的情况下对所揭示的实施例作各种修改及改变。以非限制性实例的方式，所属领域的技术人员将了解，参照一个图或实施例所描述的特定特征或特性可适合地与在另一图或实施例中所描述的特征或特性组合。此外，所属领域的技术人员将认识到，本文中所揭示的装置、系统及方法并不限于一个领域，例如头发恢复，而是可应用于需要追踪对象的任何数目的领域。本发明的所描述系统及方法适用于需要经由图像指引来追踪个别对象的任何应用。其也适用于其中需要登记一组视觉记号以形成参考框架且然后通过使用周围对象更新所述参考框架来追踪对象而非直接追踪所述对象的任何应用。举例来说，使用图像稳定算法的输出来指引或导引对象追踪器的概念可用于宽广范围的医学及非医学应用，例如涉及荧光透视法或X射线成像的图像指引的机器人程序(其中将基准插入到解剖学中)或包括摇摄-倾斜-变焦相机的视频监视应用，其结合分析学来通过动态改变的景象追踪移动对象。本发明的系统及方法尤其适用于头发移植程序，包括自动化的或计算机控制的头发收获及植入。因此，出于描述一些实施例的目的，本文中所描述的各种实例及实施例将仅使用毛囊单位或头发作为本发明的应用的一个实例，但应理解，其更广义地表示所有其它适当应用。应理解，本文中所描述的例示性方法尤其适合与用于治疗规划、头发收获及/或植入的机器人系统一同使用。然而，其无论如何不受限于机器人应用；而是，所描述的方法可应用于人类通过手持式装置进行的手动程序，所述手持式装置可(举例来说)可操作地连接到计算机处理器及成像系统。手动、部分自动化及全自动化系统也在本发明的范围内。当对患者的皮肤或头皮执行医学操作时，需要追踪某些区域，以使得医生或(举例来说)在自动化的程序的情况下的机器人机构可在稍后时间返回到所述区域或避免所述区域。可通过观看区域的图像且识别所述区域上或周围的特征来追踪这些区域。可顺序或同时追踪一个或多个所关注特征，且在头发移植程序的实例中，可收获所追踪特征(例如，头发毛囊)。通过将关于识别特征的数据记录于数据库、存储器或其它数据存储媒体中来登记所述特征。可在稍后时间存取所述识别特征且将其与静止图像或“静像”进行比较， 以确定静像中所示的区是否与含有识别符的区相同。“静像”可为患者的皮肤的视频种子、 照片或其它固定表示的单个图像。登记区域或特征的一个方法涉及在静像中识别将来可辨识的呈具体图案的一组记号。所述记号为非共线的，因此其界定三维框架。尽管需要最少三个记号来界定三维框架，但可使用更多的记号。静像中的这些记号称为“登记图案”且可在随后的静像中辨识。 由坐标x、y、z及旋转坐标Rx、Ry及Rz组成的三维框架称为“患者框架”。在其中登记图案完全可见且可识别的每一接续静像中，简单地通过经更新登记图案来移动患者框架。坐标 x、y及ζ可称作患者框架的平移。坐标Rx、Ry及Rz可称作患者框架的定向。为清晰起见， 在本说明书中将术语“框架”界定为根据已知参考点界定的位置及定向。视频或照片的单个区段在本说明书中称作“静像”或图像。尽管静像可称作“框架”，但本说明书仅以其运动学意义来使用上文所界定的词语“框架”及词语“静像”，来描述视频种子的单个图像，以避免混淆。图1图解说明运动学框架的实例。在此例示性实施例中，机器人臂103附接到具有中心104的固定基底101。臂103固持且定位工具102。所述工具具有框架，标记为x、y、 z，且已知工具102相对于所述基底的中心104的位置及旋转。可以电子方式存储此位置及定向。如果所述工具与所述基底的中心104之间的关系改变，那么可以电子方式更新所述框架。在识别且以电子方式保存登记图案之后，可通过分析记号在随后的静像中的位置来更新所述框架的位置及定向。图2图解说明基于记号的位置改变来更新框架。在第一静像中，三维框架由记号201、202及203的位置界定。所述记号(也称为“基准”)可为(举例来说)患者的皮肤或身体表面上的物理记号或解剖学地标，例如身体表面的毛囊单位或头发、痣、疤痕、斑点、皱纹、凸块或凹陷。所述记号也可为放置于患者的皮肤上或附加到患者的皮肤的对象，有时称为外部基准。基准是成像装置的视域中的对象，其充当参考。其可为解剖学地标、外部记号或以上各项的任一组合。在静像N-I中，记号已在所述静像中向下且向右移动。另一对象204已出现在类似于静像N中的记号201的位置中。然而，对象204 将不会与记号201混淆，因为相对于记号202及203识别记号201。在数据库或存储器中更新所述框架以辨识患者已移动，且对象204并非记号201。在一些应用中，可将登记图案用于实时头发收获及植入规划，如图3及4中分别所示。在图3中，记号301、302、303及304界定患者框架。可相对于所述患者框架来映射患者的皮肤306上的每一毛囊单位305的位置。患者的身体表面的用于收获毛囊单位的的部分为“供体区域”307。可通过对静像中的毛囊单位进行计数来计算所述供体区域的毛囊单位密度。举例来说，可如共同受让的专利公开案WO 2008/024955中所描述来实现对毛囊单位的计数，所述专利公开案以引用方式并入本文中。医师可确定从所述供体区域每cm2抽取多少毛囊单位且将此信息输入到收获规划系统中。所述收获规划系统又基于毛囊单位的数目及每cm2要抽取的所需毛囊单位的数目来确定抽取哪些毛囊。也可使用其它因数来确定抽取哪些毛囊单位，包括毛囊单位特性及头皮/身体表面特性。同样，可在头发植入期间使用类似方法。图4图解说明例示性植入方法。登记图案包含(举例来说)记号401、402、403及404。所述记号(举例来说)在头皮406上界定受体区域407。规划系统接收指示要植入的毛囊单位的数目及植入位置409的输入。可分析例示性毛囊单位408及405来确定毛囊单位密度、光秃图案或植入毛囊单位的其它准则。 身体表面上的光秃区域可为根据本发明可追踪且标记以形成植入位点的所关注特征。患者可能在头皮分析、收获或植入期间移动。监测系统可通过将静像与先前静像进行比较且更新患者的框架以与记号从一个静像到下一静像的改变的位置对应来追踪头皮的每一毛囊单位及其它区域。然而，有时一个或一个以上记号将不出现在随后的静像中，因为患者已移动或转动使得所述记号在所述静像外部。此外，对象或血液可阻碍或阻挡一个或一个以上记号。图 5图解说明患者正将记号移动出静像。记号501、502及503在身体表面500上界定患者的框架。在静像N中，所有记号501、502及503可见。额外记号504也可见且经识别，且可相对于患者的由记号501、502及503形成的框架来记录其位置。静像N-I显示患者相对于所述静像已如何向上移动且顺时针旋转。因此，仅记号504在静像N-I中可见。由于已知记号504相对于患者框架的位置，因此可对应于记号504的位置改变来更新患者框架。然而， 在此实例中，记号504可仅用于更新坐标χ、y及ζ。记号504单独不提供用于对应于患者的框架绕轴x、y及ζ中的每一者的旋转更新坐标Rx、Ry及Rz的数据。因此，记号504更新患者框架的平移但不更新患者框架的定向。至少三个非共线点应在静像N及静像N-I两者中可见，以便更新患者框架的平移及定向两者。图6显示具有界定患者框架的三个记号601、602及603的患者框架及由系统识别的四个额外记号604、605、606及607。在静像N中，所有七个记号601到607可见。在静像N-I中，患者移动且旋转，且记号601、602及603在所述静像中不再可见。然而，所述系统可使用(举例来说)在患者的移动之后继续停留在视域(FOV)中的记号604到606来更新患者的框架，包括框架的定向。当假设记号604到606在患者的框架中固定时，可移动所述框架，使得那些记号在每一静像中将具有相同患者框架坐标。尽管可使用外部基准或记号来界定患者框架，但也可使用身体表面上的自然存在物。身体表面上的最普通特征或对象中的一者是包含某一数目的头发的毛囊单位。头发在涉及头发移植的那些应用中无与伦比地适合作为记号，因为已经出于分析、收获及植入的目的通过系统追踪所述头发。每一毛囊单位的质心或形心可用作记号。在静像之间追踪每一形心的移动，且可分析一个或一个以上毛囊单位的移动以更新患者框架。可通过确定所关注特征(其可为(举例来说)毛囊单位)与位于所述所关注特征的邻近处或附近处的一个或多个额外特征(其又可为其它毛囊单位)之间的关系来界定或形成参考框架。举例来说，如果毛囊单位全部向左移动1mm，那么可推导出患者框架已向左移动1mm。此原理在全部六个自由度中发挥作用，即使是界定患者框架的所有登记记号从静像到静像丢失，只要至少三个毛囊单位仍在FOV中可见即可，如以下实例中所示。图7图解说明用毛囊单位更新患者框架。在静像N中，使用记号701、702及703来界定患者框架。出于分析、收获及植入目的而追踪毛囊单位704、705、706及707。静像N-I显示记号701到703在所述静像外部，此可(举例来说)在身体表面旋转时发生。由于相对于患者框架已知位置704到707，因此可使用704到707中的任何三个毛囊单位来更新患者框架，包括平移及定向。当使用头发或其它登记记号来界定或更新患者框架时，可通过任何方法来追踪所述头发，包括使用点云算法。B. K. P.合恩(B. K. P. Horn)的“绝对定向使用单位四元数的闭式角军(Closed Form solution of Absolute Orientation Using Unit Quaturnians)，，(光学学会期刊，AMA/第4卷，1987年4月)揭示一个此种算法(“合恩算法”)。估计两个点云之间的刚体变换的点云算法仅在于两个静像中使用同一组点时稳健地发挥作用。刚体变换是保持其所作用于的对象的形状的变换。在此上下文中使用，经历刚体变换的点云将使其形状得到保持。因此，圆形样子的点云保持为圆形，六边形样子的点云保持为六边形等。当将点云算法用于具有许多头发的身体表面时，所述算法将在于每一点云中使用相同毛囊单位的情况下且在使用较多的毛囊单位来产生云的情况下最准确。 还重要的是，相同毛囊单位包含每一静像中的点云。图8图解说明与典型的“合恩算法”相关联的问题，其可在患者移动且未从静像到静像维持点的恰当对应性时出现。在静像N中，可使用毛囊单位803到809来产生点云。 然而，在静像N-I中，患者已移动，且毛囊单位808及809在所述静止中不再可见。此外，毛囊单位801及802已进入所述静像。由于每一静像中存在相同数目的毛囊单位，因此系统可使用静像N中的七个毛囊单位错误地产生点云且使其与静像N-I中的七个毛囊单位相关联。由于每一静像中的毛囊单位不同，因此将错误地更新患者框架。为避免以上问题，根据本发明的系统分析毛囊单位(或其它适当特征)的特性以确定每一静像中是否存在相同毛囊单位。仅使用两个静像中均存在的毛囊单位来产生用于界定且更新患者框架以追踪身体表面上的对象及位置的点云。可用于识别毛囊单位、头发或其它特征的特性包括但不限于类型、口径、长度、突出角、面积、形状、色彩及/或以上各项的任一组合，其将界定所使用的此种毛囊单位或其它特征的唯一“貌征”。可使用任何其它可检测特性或“标签”来识别毛囊单位、头发或特征。患者框架的上文所描述的基于“点云”的更新尤其适用于供在机器人头发植入系统中使用的植入自动化及规划。将用于植入的毛囊单位的数目(N)输入到系统中。图像处理器使用群集算法基于特定身体表面的图像来定位任何光秃部位，且然后产生位于所述所识别光秃部位内的N个植入位点。患者框架可由周围头发及可能任何可观看的外部记号形成，且相对于患者框架界定每一植入位点。当植入工具(位于机器人系统中的机器人臂上， 或由人类操作)从一个位点移动到另一位点从而在每一所界定位置处植入时，图像处理器可基于经更新患者框架更新所述组中的下一植入位点的位置。当没有头发在身体表面上可见或可见头发对于系统的识别及追踪无效时，举例来说，当患者为秃头或具有极度稀疏的身体表面(大部分由微型化或“纤细”的头发组成)时， 可使用身体表面的特征替代头发或毛囊单位来追踪移动。在这些情景中，根据本发明的系统及方法使用为“可追踪”的身体表面，例如人类头皮，因为其不均勻且其含有信息。举例来说，根据本文中所描述的方法的一个实施例，所述系统可在一个静像(静像N)与下一静像(静像Ν-1)之间比较一系列像素或所关注区(ROI)。每一组静像显示身体表面的平移移动，且可聚合许多组静像以显示头皮或其它相关身体部分的单个移位。此外，在其它实施例
12中，可在比较及在从静像到静像的基础上更新患者框架时使用痣、纹理化、血液、其它头发及/或其它特征及对象。可将任何可易于识别的对象或特征用作记号，且然后可将其经追踪位置用作到先前所描述的登记算法中的输入。一旦框架经登记，可以电子方式或通过任何其它已知方法保存所述框架及在所述框架中识别的特征。每当将新静像呈现给系统时，图案-辨识算法确定所述静像中的图案是否对应于经登记且经保存图案。如果其不对应，那么在所述新静止中辨识且识别任何经识别特征且更新框架。举例来说，本文中所揭示的方法在患者治疗期间(例如，在头发收获或植入程序期间)具有另一有用应用。有时，在图像处理器定位且识别经调度以进行收获的特定毛囊单位之后，(举例来说)由于区域中的血液流动或由于医师将Q-尖端施加到所述区域且阻碍所关注毛囊单位，此毛囊单位可暂时丢失且从视图中消失。在没有本发明的情况下，在那些环境中，程序中将存在大致延迟，因为将必须再次定位且识别所关注毛囊单位。然而，本文中所揭示的想法允许系统继续进行经调度收获，因为患者框架及有问题的毛囊单位的位置保存于系统中且可快速恢复。一旦系统已定位于原始登记图案上方，则图案-辨识算法辨识所述相同图案，且重新登记所述框架。由于关于患者框架坐标保持所有其它点，因此简单地登记框架致使再次即刻知道所有其它先前已知的点。根据另一方面，一种从一个静像到下一静像标记或追踪头发、毛囊单位或者其它所关注特征或者对象的方法涉及计算运动向量。使用运动向量追踪/标记所关注对象或特征(例如，毛囊单位)的一个方法图解说明于图9A及9B中。图9A显示具有可用作记号或基准的四个毛囊单位901到904的身体表面，例如头皮900。相机905或任何其它图像捕获装置记录所述头皮的图像。静像N显示包括毛囊单位901到904的第一图像。每一毛囊单位具有质心或“形心”，这些毛囊单位的集合被视为“点云”且点云本身具有形心。根据本发明的系统计算包含点云的每一毛囊单位的形心906到909。基于包含点云的个别毛囊单位 901到904的形心906到909来计算点云的形心910。所述系统包括图像处理器，所述图像处理器可编程且包括一个或一个以上组件以执行图像的后台减法、分段及噪声过滤，(举例来说)如共同拥有的专利公开案W02008/0M955中所描述。举例来说，静像N-I显示毛囊单位901到904对应于患者的位置改变的位置改变。 计算点云的形心910且将其与静像N中的位置进行比较。系统计算点云的对应于形心910 从静像N到静像N-I的位置改变的运动向量911。然而，当毛囊单位901到904中的任一者由于成像噪声、血液而被阻碍或由于其它原因被从静像中移除时，问题可出现。系统可将类似地定位的毛囊单位混淆为不存在的毛囊单位或可产生不对应于对应于所有四个毛囊单位901到904的形心910的点云形心。一个解决方案是采用数字图像稳定来将相同毛囊单位或其它特征或对象保持在随后的静像中。图10图解说明计算运动向量的过程。静像0及1含有四个毛囊单位1001到1004。 所述毛囊单位在静像N与静像N-I之间具有改变的位置，其可对应于患者移动(举例来说)。系统比较静像0与1且使用运动向量算法来计算患者的身体表面的运动向量1005。虽然图9到10图解说明以二维计算运动向量，其中“dx”为水平运动分量且“dy” 为对应的垂直运动分量，但所述系统也可计算三维运动向量。用于计算三维运动向量的一个方法可包括计算平面中旋转θ。另一方法包括使用立体几何形状同时从不同角度获取两个图像。以高精确度已知所述图像之间的关系。然后可通过运动向量算法分析所述立体图像以获得二维或三维运动向量。一旦系统计算运动向量，则可使用所述向量来移动成像装置以将所关注对象或特征保持在随后的静像中。尤其重要的是在收获及植入期间将相同毛囊单位保持在随后的静像中。使用成像装置来产生身体表面的静像。可通过手、通过机器人臂或通过任何其它机构来握持所述成像装置。当然，各种图像捕获装置(或成像装置)可与本文中所揭示的系统及方法的实施例中的任一者一同使用。举例来说，所述成像装置可为一个或一个以上相机，例如任何商业上可购得的相机。或者，所述成像装置可为视频记录装置(例如，摄录像机)。虽然所述成像装置优选地为数字装置，但未必如此。举例来说，其可为获取初始图像的模拟TV相机，所述初始图像然后被数字化成数字图像。医师在植入期间检查静像以确定将收获哪些毛囊单位及哪些位置将接收毛囊单位。在此过程期间，如果实际上在成像装置之下的身体表面与由医师检查的静像相同则是有帮助的。医师可完成检查静像且在成像装置相对于患者的身体表面保持在恰当位置的情况下立即存取静像中的区域。此可通过将静像连续馈送到稳定系统中、分析对应于患者移动的运动向量且移动成像装置以对应于所述运动向量来实现。如果成像装置由机器人臂支撑，那么可对应于所述运动向量来调整机器人臂位置。一个例示性应用是在自动化的头发收获程序期间改善毛囊单位追踪/标记的稳健性。在此程序期间，系统必须追踪个别毛囊单位的坐标以便对收获工具及操作所述收获工具的机构进行定向，以为头发收获做准备。此通过将唯一标记指派给静止图像中的每一对象来实现，如图11中所示。在静像N中，辨识毛囊单位1101到1103，识别其唯一“貌征” 且相应地对其进行标记。在优选实施例中，系统分析毛囊单位(或其它所需对象)的特性以帮助在每一随后的静像中识别相同毛囊单位。可用于识别毛囊单位、头发或其它特征的特性包括但不限于类型、口径、长度、突出角、面积、质量、色彩及/或以上各项的任一组合，其将界定所使用的此种毛囊单位或其它特征的唯一“貌征”。可适当地将任何其它可检测特性或“标签”用于特定应用。在静像N-I中，定位相同对象且用相同标记对其进行标记。此可通过在邻近区中搜索以找到最近的对象来进行。可通过使用毛囊单位的所确定“貌征”及患者在静像 N与静像N-I之间的运动向量两者辅助在所述两个静像中定位相同对象而使此过程更稳健且准确。所属领域中的技术人员将了解，虽然一个毛囊单位或头发可为用于追踪的所关注对象，但邻近处的其它毛囊单位可用作记号，且可用于计算运动向量。在某些情景中，举例来说，如果在先前识别的毛囊单位附近将新毛囊单位或其它特征引入到随后的框架中，那么系统可变得混淆。图12图解说明静像N中的七个毛囊单位 1201到1207。静像N-I含有九个毛囊单位，包括来自静像N的1201到1207，加上新毛囊单位1208及1209。毛囊单位1208及1209在静像N中在静像的观看区域外部，但如果患者相对于图像捕获装置移动，那么其出现在静像N-I中。如果系统仅基于先前静像中的毛囊单位的位置的附近区来分析且识别毛囊单位，那么其可将毛囊单位1208及1209与1206及 1203混淆。用于提供毛囊单位的更稳健识别的优选解决方案涉及在追踪环路中并入数字图像稳定器且将其与相关毛囊单位的唯一貌征信息组合使用，如图13A及1 中所示。图13A 描绘标记从灰阶静像中抽取的毛囊单位或其它特征且通过找到最靠近先前在静像N中所识别的毛囊单位的对象来在静像N-I中识别毛囊单位的方法。在此过程中，可将灰阶静像转换为纯粹由前景对象(举例来说，毛囊单位)组成的经分段静像(举例来说，二进制静像)。使用所属领域中的技术人员众所周知的图像处理技术将背景分量从静像中移除。图13B图解说明相同过程，但通过稳定方法及貌征信息得到改善。系统分析灰阶静像N及N-I且确定毛囊单位ID (包括其貌征信息)。将所述静像进行比较以计算运动向量，将所述静像分段，且将所述毛囊单位貌征及所述运动向量应用于框架N-I以通过沿所述运动向量的方向进行搜索来搜索以找到对应于第一框架的毛囊单位的对象。使用关于图像中的对象的运动诱发的“流动”的此额外信息，可完全丢弃图12中所示的毛囊单位1208 及1209，因为运动诱发的流动朝向图像的左下角且毛囊单位1209的貌征不对应于毛囊单位1206的貌征。这是因为毛囊单位1206是含有两个头发毛囊的F2，而毛囊单位1209是单根头发Fl。通过应用图像稳定分析，大致减小误标记的机会，因为系统沿移动向量的方向而非在第一静像中的毛囊单位的附近区中进行搜索。图14图解说明基于所测量运动向量所指向的大体方向来界定搜索域的实例。可如上文所揭示计算运动向量1401。设定追踪参数时可需要一些可允许的误差，其(举例来说)通过指定角度θ来实现，角度θ用于在移动向量的任一侧上界定系统搜索以找到对象的搜索区域。许多数字图像稳定算法可与本文中所描述的方法一同工作以产生用于识别特征或毛囊单位的稳健系统。一个此种算法整体上为一种使用灰度码位平面(GCBP)的方法，如 S.阔(S. Ko)、S.李(S. Lee)、S.全(S. Jeon)及E.康(E. Kang)的“基于灰度码位平面匹配的快速数字图像稳定器(Fast digital image stabilizer based on gray-coded bit-plane matching)，，(IEEE消费电子产品期刊，1999年8月，第45卷，第3期，598到603页)中所描述。灰度码位平面方法的实施方案图解说明于图15中。首先，从成像装置接收输入图像。将图像翻译成灰度码位平面。在一些实施例中，可从灰度码位平面1602拼接所关注区 1601以减小搜索区域及对计算组件的压力，如图16中所示。也可界定小于GCBP静像但大于所关注区1601的搜索区1603。将所述所关注区的灰度码位平面与先前图像的灰度码位平面进行比较。与其中用以推导出云的总体移动的计算发生于“对象空间”中的计算运动向量的点云方法(需要知道毛囊单位或其它记号的形心)相比，在不需要先验地知道特定特征 (举例来说，毛囊单位)位于何处的情况下或即使景象中存在毛囊单位，上述GCBP图像稳定方法纯粹在像素强度数据上操作。此具有提供完全独立的运动测量的强大益处，其适用于追踪，因为抽取毛囊单位坐标由于被成像的景象的动态性质而可为有噪声的测量。存在众多可替代灰度码位平面使用的其它数字图像稳定算法。此类稳定算法的实例中的一些实例包括但不限于“光流”技术，其描述于让-伊夫伯克特(Jean-Yves Bouquet)的“卢卡斯卡纳德特征追踪器的棱锥实施方案(Pyramidal Implementation of the Lucas Kanade Feature Tracker) ”中，因特尔Qntel)公司；“±夬搜索”技术，如韦拉 F(Vella F)等人的“使用块运动向量的稳健数字图像稳定算法(Robust digital image stabilization algorithm using block motion vector)，，( 费电子产品，ICCE, 234 ^lJ235页，2002年)或孙毅(Sim Yi)等人的“PC上的实时数字图像稳定算法(Real-time digital image stabilization algorithm on PC) ”(电子成像与多媒体技术 III，SPIE 第 4925卷，510到513页)中所描述。“光流”估计算法计算一起近似图像或图像系列(如在视频中)内的对象的所察觉运动的向量场。依据一图像或若干图像内的某一点来计算向量，其表示所述点附近的局部化的运动。在上文引用的伯克特的文章中，使用棱锥及分层搜索方法来估计光流计算。从图像的低分辨率版本估计对所述局部化的运动的初始猜测，接着在所述算法利用图像的较高分辨率版本“沿棱锥向上”遍历时使其精细化。“块搜索”方法借用视频压缩标准(如MPEG)中通常采用的技术。如Vella(上文所引用)中所描述，视频压缩中所采用的块搜索与数字图像稳定中所使用的块搜索之间的关键改变在于将图像首先分裂成前景与背景分量。又将前景与背景分裂成区段，其中给每一区段指派单独的加权。针对每一区段及所给出的其加权计算运动向量。组合经加权运动向量以形成背景与前景的单个向量。然后使用启发法来选择两个运动向量中的哪一者用于稳定。最后，本文中所描述的用于进一步改善标记/追踪机制的稳健性的方法可采用基于图像中的一个或一个以上对象或记号来计算运动向量与(另外还)依据图像本身来计算运动向量(如在上述文章中)两者，以使得总体计算基于两个运动向量。此外，在此系统的一个实施方案中，可将静像分裂成多个图像以产生多个向量，如图17中所图解说明。将静像N划分成(举例来说)四个区段Ql到Q4。每一区段1701对应于至少一个不同特征或毛囊单位。随后的静像N-I也划分成对应区段且可进一步拼接成对应搜索区域1702及所关注区1703。将子区段进行比较且可针对每一子区段获得运动向量。所得运动向量可以增加的准确性指示患者的旋转移动。在用于计算运动向量的方法中的任一者中，静像可为参考静像或可改变静像。举例来说，可从患者的身体上的皮肤的区拍摄参考静止图像。然后，可将每一随后的静止图像与参考静止图像进行比较以确定运动向量。可使用所述运动向量来引导成像装置沿向量的方向移动，以使得所述成像装置中的图像与参考静像相同。或者，系统可将第二静像与第一静像进行比较，计算移动向量且根据所述移动向量移动成像装置。然后可将随后的第三静像与所述第二静像进行比较，且重复所述过程。在此情况下，将每一随后的静像与先前静像进行比较，而非与参考静像进行比较。尽管可使用运动向量来移动成像装置，但其也可用作追踪数据或任何其它用途。 举例来说，系统可通过针对预定时间周期或预定数目的静像记录移动向量来记录患者移动。系统也可经编程以仅在已达到某一量的移动或某一移动向量量值时移动成像装置。举例来说，系统可经编程以确保预定毛囊单位、位置或点总是在成像装置的视域内或在成像装置的视域中的预定区域内。图像稳定技术的另一例示性应用涉及在自动化的头发收获过程期间使图像稳定。 在此种自动化的头发收获期间，可基于分类系统对给定图像中的所有毛囊单位进行分类， 以便可选择接下来要收获的特定毛囊单位。通常，当操作者(举例来说)看计算机的屏幕或其它适当显示器以确认图像处理器根据选定准则正确地选择最好的毛囊单位来收获时， 在程序期间将存在暂停。在当操作者观察身体表面的静态静止图像时的此时间期间，患者
16可移动，因此期望在此时间周期期间保持视频稳定。重要地，一旦用户确认所述选择(或甚至选择不同者)，则系统需要确保选定毛囊单位在实况静像(live still)中为静止的。此通过采用根据本发明的数字图像稳定的结果来实现。在一些实施例中，将来自立体图像稳定器的三维运动向量输出求反且将其传递到(举例来说)机器人臂(在机器人操作的系统中)。此具有以下作用将患者运动求反， 或移动可安装于机器人臂上的一个或一个以上相机，使得将在随后的图像获取中将相同视域成像。图像稳定技术的又一例示性应用涉及使用稳定器的输出来在头发植入期间指引机器人系统。用于头发移植及治疗规划的例示性机器人系统及方法描述于共同拥有的美国公开案2007/0078466及美国专利申请案12/133，159中，其整体内容以引用方式并入本文中。当使用上述系统中的任一者时，可在选定治疗规划所规定的位置中植入毛囊单位。通常，头发受体区域按照成像系统可可靠地追踪的毛囊单位的数目是稀疏的。这是为何除追踪毛囊单位外需要通过某种其它手段追踪机器人的运动或患者运动的原因。此可通过经由图像稳定器追踪身体表面(例如，头皮)的运动来实现。可使用外部基准以受体区域登记治疗规划。此登记建立坐标参考框架，其在机器人及患者在治疗期间移动时必须被更新。可由视觉系统通过识别基准的位置来更新坐标参考框架(坐标系统)。然而，即使有时不能够看到基准(如前文所解释)，可通过在逐静像的基础上添加所测量运动向量来以Δ方式继续更新坐标系统。用于追踪毛囊单位、记号或另一对象的例示性系统图解说明于图18中。在一些实施例中，所述系统可包括成像装置1800、貌征识别组件1801、向量确定组件1802及追踪系统1803。所述成像装置1800可包括相机，例如摄像机。或者，可使用能够捕获图像的任何其它装置。优选地，所述成像装置为数字成像装置。在其它实施例中，成像装置可单独提供且不包括于所述系统中。在那些实施例中，可提供允许所述系统的各种其它组件或模块 (例如，貌征识别组件)与单独的成像装置交互的接口。成像装置1800与貌征识别组件1801交互以识别毛囊单位、记号或另一对象。貌征识别组件1801可为具有存储于便携式磁盘、硬磁盘或其它存储器上的代码的软件程序。 所述代码可与包括(举例来说)处理器1807的计算机系统1810交互以识别毛囊单位、记号或另一对象的区别特性。或者，貌征识别组件1801可体现于硬件平台(举例来说，现场可编程门阵列(“FPGA”)或专用集成电路(“ASIC”)中，且与计算机系统1810或处理器 1807交互。计算机系统1810或处理器1807经由接口 1811与成像装置1800交互。所述接口可包括硬件端口、电缆、引线及其它数据传输构件，或其可包含计算机程序。如上文所论述，可使用类型、口径、长度、突出角、面积、色彩及/或以上各项的任一组合来界定毛囊单位或其它特征或对象的唯一“貌征”。可适当地将任何其它可检测特性或“标签”用于特定应用。貌征识别程序1801分析来自成像装置的图像，识别毛囊单位或其它特征的特性，且以电子方式用电子貌征标注所述毛囊单位或其它特征。当两个或两个以上静像可用时，在根据本文中所描述的方法的某些实施例中，可使用向量确定组件1802来辅助追踪系统追踪毛囊单位或其它特征。向量确定组件1802可为与包括处理器1807的计算机系统1810交互以分析毛囊单位的移动的软件程序或硬件。 向量确定组件1802接收已知特征的位置信息。所述已知特征可能已由貌征识别单元1801识别(举例来说)。所述位置信息基于静像中的已知特征的位置。向量确定组件1802使用位置信息计算所述已知特征的向量。可使用来自向量确定组件1802的信息来使用追踪系统1803追踪毛囊单位或其它特征。追踪系统1803可包括机器人基底1808及臂1809、成像装置中的移动调整机构、用于在屏幕上呈现图像或图像的一部分的代码或用于在多个静像之间追踪对象的任何其它机构。如果追踪单元包含机器人臂1809，那么成像装置1800及收获或植入工具1806可位于机器人臂1809的末端处。可使用来自向量确定组件1802的向量沿静像的移动方向移动追踪系统1803，以将目标毛囊单位或其它特征保持在实况静像中。在一个实施例中，使用记号识别组件1804来在静像中识别记号。所述记号识别组件可为(举例来说)软件程序，或其可体现于硬件中(如上文参照其它组件所述)，其与包括处理器1807的计算机系统1810交互。此记号识别组件也可为貌征识别组件1801的一部分。在另一实施例中，一种用于追踪所关注特征的系统包含接口，例如接口 1811，其适于从成像装置(其可不包括于系统本身中)、貌征识别组件(例如，1801)及记号参考系统 1805接收多个图像。记号参考系统1805接收对应于貌征识别组件1801在第一图像中所识别的记号、毛囊单位或其它特征的信息且界定对应于所述记号的参考框架。其然后确定所述记号是否在第二图像中，且对应于所述记号在图像之间的位置改变来调整所述参考框架。所述系统可包括存储于存储器(包括便携式磁盘、硬磁盘、快闪存储器或任何其它存储器媒体)中的数据。其也可包括独立于处理器1807的处理器，或其可使用同一处理器1807。以上组件(包括所述貌征识别组件、所述向量确定组件、所述追踪系统、所述记号识别系统及所述记号参考系统)可为一个软件或硬件组件的一部分，或可包含多个软件及硬件程序及模块。每一模块可与任一其它模块分离，或所有模块可集成于一个装置或芯片中。在本文中所描述的各种实施例及方法中，这些组件中的一些组件可为任选的。虽然一个实施例可包括分析身体表面，但以上系统及方法可追踪任何对象且基于任何对象或对象组自动地更新框架或计算运动向量。可追踪的对象包括空气传播对象、沿表面移动的对象、在地球上移动的对象或需要识别或追踪的任何其它对象。上文所描述的各种实施例仅以图解说明的方式提供且不应理解为限制所请求发明。所属领域的技术人员将易于辨识出在不遵循本文中所图解说明及描述的实例性实施例及应用的情况下且在不背离所请求发明的在以上权利要求书中阐明的真实精神及范围的情况下可对所请求发明进行各种修改及改变。
权利要求
1.一种用于追踪毛囊单位的方法，所述方法包含识别含有毛囊单位的身体表面的第一图像中的毛囊单位；计算所述第一图像中的所述毛囊单位的貌征；依据所述第一图像及同一身体表面的第二图像来计算运动向量；及使用所述运动向量及所述第一图像中的所述毛囊单位的所述貌征来标记所述第二图像中的所述毛囊单位。
2.根据权利要求1所述的方法，其进一步包含识别在所述第一图像中且在所述第二图像中的至少一个记号，且其中计算所述运动向量包含计算对应于所述至少一个记号从所述第一图像到所述第二图像的位置改变的运动向量。
3.根据权利要求2所述的方法，其中所述第一图像中存在至少三个记号。
4.根据权利要求2到3中任一权利要求所述的方法，其中所述至少一个记号包含所述身体表面的另一毛囊单位、痣、疤痕、斑点、皱纹、凸块或凹陷中的一者或一者以上。
5.根据权利要求2到4中任一权利要求所述的方法，其包含所述第一图像中的多个记号，且其中识别第一图像中的所述至少一个记号包含识别点云。
6.根据权利要求5所述的方法，其进一步包含计算所述点云的形心。
7.根据权利要求1到6中任一权利要求所述的方法，其中计算第一图像中的所述毛囊单位的貌征包含识别所述毛囊单位的长度、类型、口径、突出角、面积、形状或色彩中的一者或一者以上。
8.根据权利要求2到7中任一权利要求所述的方法，其进一步包含标记所述第一图像中的所述至少一个记号，且通过沿所述运动向量所指向的方向搜索以找出所述第二图像中的所述至少一个记号而用与所述第一图像中相同的标记来标记所述第二图像中的所述至少一个记号。
9.根据权利要求1到8中任一权利要求所述的方法，其进一步包含依据所述第一图像及所述第二图像来计算第二运动向量，且进一步使用所述第二运动向量来标记所述第二图像中的所述毛囊单位。
10.根据权利要求1到9中任一权利要求所述的方法，其中使用灰度码位平面技术、光流技术及块搜索图像稳定技术中的一者或一者以上来计算所述运动向量。
11.根据权利要求1到10中任一权利要求所述的方法，其进一步包含根据所述运动向量来移动图像捕获装置以将所述毛囊单位保持在所述图像捕获装置的视域中。
12.根据权利要求2到11中任一权利要求所述的方法，其中识别所述至少一个记号包含使电子识别符与所述至少一个记号相关联。
13.根据权利要求2到12中任一权利要求所述的方法，其进一步包含依据考虑因素而丢弃所述第二图像中的根据所述运动向量与其在所述第一图像中的位置不一致的任何记号。
14.根据权利要求1到13中任一权利要求所述的方法，其中所述运动向量界定用于定位所述毛囊单位的搜索区，且其中界定所述搜索区包含分析沿所述运动向量且在距所述运动向量的预定距离内的区。
15.根据权利要求14所述的方法，其中距所述运动向量的所述预定距离包含在所述第一图像中的所述记号的位置处具有尖端的锥面，所述尖端具有预定尖端角度，所述锥面沿所述运动向量的方向延伸且包括在所述预定尖端角度内的面积。
16.根据权利要求1到15中任一权利要求所述的方法，其进一步包含将所述第一及第二图像划分成多个第一及第二子图像，且依据所述第一及第二子图像来计算多个运动向量。
17.根据权利要求2到16中任一权利要求所述的方法，其中所述方法进一步包含界定对应于所述至少一个记号的参考框架。
18.一种用于追踪身体表面上的毛囊单位的系统，所述系统包含貌征识别组件，其中所述貌征识别组件识别关于含有毛囊单位的所述身体表面的第一图像中的所述毛囊单位的貌征信息；向量确定组件，其中所述向量确定组件计算相同身体表面的第一图像与第二图像之间的运动向量；及追踪系统，其用于接收对应于所述运动向量的数据，且基于所述运动向量及所述毛囊单位貌征信息标记所述第二图像中的所述毛囊单位。
19.根据权利要求18所述的系统，其中所述追踪系统包含用于捕获所述身体表面的图像的成像装置，且其中所述系统进一步经编程以基于所述运动向量来移动所述成像装置。
20.根据权利要求18到19中任一权利要求所述的系统，其中所述貌征识别组件、向量确定组件及追踪系统为单个软件或硬件产品的一部分。
21.根据权利要求18到20中任一权利要求所述的系统，其进一步包含记号识别组件， 且其中所述记号识别组件为所述貌征识别组件的一部分。
22.根据权利要求18到21中任一权利要求所述的系统，其中所述貌征识别组件、所述向量确定组件及所述追踪组件中的一者或一者以上包含连接到存储器及所述成像装置中的至少一者的处理器。
23.根据权利要求18到22中任一权利要求所述的系统，其中所述系统为进一步包含机器人臂的机器人系统。
24.一种用于追踪身体表面上的所关注特征的方法，所述方法包含识别成像装置所拍摄的第一静止图像中的至少一个记号，所述第一静止图像含有所关注特征；确定所述第一静止图像中的所述所关注特征的貌征；界定对应于所述至少一个记号的参考框架；定位所述成像装置所拍摄的第二静止图像中的所述至少一个记号；及使用所述所确定貌征来检测所述第二静止图像中的所述所关注特征的位置，且基于所述第二静止图像中的所述至少一个记号的位置来更新所述参考框架的平移分量。
25.根据权利要求M所述的方法，其中所述所关注特征为头发毛囊，且确定所述第一静止图像中的所述毛囊单位的所述貌征包含识别所述头发毛囊的长度、类型、口径、突出角、面积、形状或色彩中的一者或一者以上。
26.根据权利要求M所述的方法，其中检测所述所关注特征的所述位置进一步包含依据所述第一静止图像及所述第二静止图像来计算运动向量且使用所述运动向量来更新所述参考框架并定位至少一个记号。
27.根据权利要求M所述的方法，其中界定所述参考框架包含确定所述所关注特征与位于所述所关注特征的附近处的一个或一个以上额外特征之间的关系。
全文摘要
本发明提供一种用于追踪、识别及标记所关注对象或特征的系统及方法。在一些实施例中，使用所述所关注特征的唯一貌征及图像稳定技术来实现追踪。根据一些方面，界定使用预定记号的参考框架且基于所述记号的位置改变及/或特定貌征信息来对其进行更新。也可追踪且识别所述框架内的个别对象或特征。可通过比较两个静止图像、确定对象在所述静止图像之间的位置改变、计算所述对象的移动向量且使用所述移动向量更新图像装置的位置来追踪对象。
文档编号G06T7/20GK102165492SQ200980138564
公开日2011年8月24日 申请日期2009年9月10日 优先权日2008年9月29日
发明者凯尔·R·布雷顿, 约翰·A·坦尼, 谢赫尔扎德·A·库雷希 申请人:修复型机器人公司
技术领域：
本文中所揭示的实施例一般来说涉及一种对象追踪系统，且更特定来说涉及一种用于准确地追踪身体表面上的头发毛囊或其它位点及特征的系统及方法。
背景技术：
头发移植程序通常涉及从患者的头皮的供体区域(举例来说，侧及后边缘区域) 收获供体头发移植物且将其植入于光秃区域或受体区域中。在过去，所收获的移植物相对大，在3mm到5mm之间。然而，近年来的供体移植物可小到单个毛囊单位。毛囊单位(FU) 是随机分布于头皮的表面上的一到五个紧密间隔开的头发毛囊的自然发生的聚合体。可基于单位中的头发数目将毛囊单位分类或“分类型”，且简略地识别为“Fl” (单根头发毛囊单位)、“F2”(两根头发毛囊单位)等。在一些多根头发毛囊单位的情况下，头发可呈现为从皮肤中的单个毛囊或点发出。在其它情况下，头发可彼此稍微间隔开地冒出皮肤。在头发移植程序期间，应避免在某些位置收获或植入头发。举例来说，如果医生已经使用一位点来收获或植入头发，那么所述医生可期望避免使用同一位点来进行后续程序。追踪装置在追踪这些位点中的一些时较困难。需要一种可包括所收获及所植入位点的数据库的系统。医生可使用所述数据库来计划未来的收获及植入。所述系统甚至在不能看到实际位点时仍可追踪并记录位点信息， 因为所述系统可追踪位点周围的特征，包括毛囊单位、头皮特征或外部记号。还需要一种可追踪移动特征的系统。追踪特征的一个方式是在逐静像的基础上检测其位置。需要一种可改善追踪且不需要在静止基础上检测特征位置的系统。此种系统可利用特征特征或记号的运动向量来改善追踪。
发明内容
简要来说且根据一般术语，揭示一种对象追踪系统。更特定来说，揭示一种追踪身体表面上的对象的对象追踪系统及方法，否则所述对象不容易追踪。在一个方面中，一种用于追踪所关注特征(例如，毛囊单位)的方法涉及识别第一图像中的至少一个记号，所述第一图像包括所述所关注特征，例如毛囊单位；计算所述第一图像中的所述所关注特征的貌征；识别第二图像中的所述至少一个记号；计算对应于所述至少一个记号从所述第一图像到所述第二图像的位置改变的运动向量；及使用所述运动向量及所述第一图像中的所述所关注特征的所述貌征来标记所述第二图像中的所述所关注特征。在另一方面中，所述第一图像中存在至少三个记号。使用三个或更多个记号允许追踪平移及旋转移动。所述至少一个记号可体现身体表面的另一毛囊单位、痣、疤痕、斑点、 皱纹、凸块或凹陷中的一者或一者以上。另外，所述第一图像中可包括多个记号且识别第一图像中的所述至少一个记号可涉及识别点云。
在一个方法中，计算所述点云的形心。计算所述第一图像中的所述毛囊单位的所述貌征可涉及识别所述毛囊单位的长度、类型、口径、突出角、面积、形状及色彩中的一者或一者以上。此外，在一个具体方法中，标记所述第一图像中的至少一个记号，且通过沿所述运动向量所指向的方向搜索以找到所述第二图像中的所述至少一个记号来用与所述第一图像中相同的标记来标记所述第二图像中的所述至少一个记号。在一个实施例中，可使用额外运动向量。举例来说，依据所述第一图像及所述第二图像来计算第二运动向量，且使用所述第二运动向量来标记所述第二图像中的所述毛囊单位。可使用灰度码位平面、光流及块搜索图像稳定技术中的一者或一者以上来计算所述第
二向量。在各种其它方面中，根据所述运动向量来移动图像捕获装置以将所关注特征(例如，毛囊单位)保持在所述图像捕获装置的视域中。此外，识别所述至少一个记号可涉及使电子识别符与所述至少一个记号相关联。此外，依据考虑因素而丢弃所述第二图像中的根据所述运动向量与其在所述第一图像中的位置不一致的任何记号。另外，所述运动向量可界定用于定位所述毛囊单位或其它所关注特征的搜索区。 界定所述搜索区涉及分析沿所述运动向量且在距所述运动向量的预定距离内的区。距所述运动向量的所述预定距离可体现在所述第一图像中的所述记号的位置处具有尖端的锥面， 所述尖端具有预定尖端角度，所述锥面沿所述运动向量的方向延伸且包括在所述预定尖端角度内的面积。在各种具体方法中，将所述第一及第二图像划分成多个第一及第二子图像，且计算依据所述第一及第二子图像的多个运动向量。此外，可从供体区域收获已追踪的毛囊单位且可将其植入于受体区域中。在另一方面中，一种用于追踪所关注特征(例如，毛囊单位)的方法可涉及在含有毛囊单位的身体表面的第一图像中识别毛囊单位；计算所述第一图像中的所述毛囊单位的貌征；依据所述第一图像及同一身体表面的第二图像来计算运动向量；及使用所述运动向量及所述第一图像中的所述毛囊单位的所述貌征来标记所述第二图像中的所述毛囊单位。可不使用任何记号而是依据作为整体的图像来计算所述运动向量。在上述其它实施例中，可识别在所述第一且在所述第二图像中的一个或一个以上记号，且计算所述运动向量可包括计算对应于此一个或一个以上记号从所述第一图像到所述第二图像的位置改变的运动向量。计算所述第一图像中的所述毛囊单位的所述貌征可包括识别所述毛囊单位的长度、类型、口径、突出角、面积、形状及色彩中的一者或一者以上。当然，根据本申请案中所论述的原理可同时或顺序追踪多个所关注特征，包括多个头发毛囊。在又一方面中，一种用于追踪身体表面上的所关注特征(例如，毛囊单位)的系统包括貌征识别组件，其中所述貌征识别组件识别关于含有毛囊单位的身体表面的第一图像中的所述毛囊单位的貌征信息；向量确定组件，其中所述向量确定组件计算相同身体表面的第一图像与第二图像之间的运动向量；及追踪系统，其用于接收对应于所述运动向量的数据且基于所述运动向量及所述毛囊单位貌征信息来标记所述第二图像中的所述毛囊单位。所述追踪系统可进一步包括用于捕获所述身体表面的图像的成像装置且其可进一步经编程以基于所述运动向量移动所述成像装置。所述貌征识别组件、向量确定组件及追踪系统可为单个计算机-程序产品的一部分。此外，用于追踪身体表面上的毛囊单位或其它所关注特征的所述系统可进一步体现记号识别组件。所述记号识别组件可为所述貌征识别组件的一部分或可为单独组件或程序。此外，所述貌征识别组件、所述向量确定组件及所述追踪组件中的一者或一者以上可包括连接到存储器及所述成像装置中的至少一者的处理器。所述成像装置可为相机，且所述系统可为进一步包括机器人臂的机器人系统。此外，所述成像装置可操作地连接到所述机器人臂。还涵盖，一种用于追踪/标记所关注特征 (例如，毛囊单位)的系统可包括接口，其适于接收也含有毛囊单位的图像数据；及图像处理器，其包含用于对所述图像数据执行操作的一个或一个以上模块，所述一个或一个以上模块包括用于进行以下各项的指令接收含有毛囊单位的身体表面的第一图像及同一身体表面的第二图像；识别所述第一图像中的毛囊单位；计算所述第一图像中的所述毛囊单位的貌征；依据所述第一图像及所述第二图像来计算运动向量；及使用所述运动向量及所述第一图像中的所述毛囊单位的所述貌征来标记所述第二图像中的所述毛囊单位。在另一方面中，一种有形地体现于计算机可读存储器媒体中且包括指令的计算机程序，所述指令致使计算装置的处理器执行计算机过程以追踪所关注特征(例如，毛囊单位)，其包含识别第一图像中的至少一个记号，所述第一图像包括毛囊单位；计算所述第一图像中的所述毛囊单位的貌征；识别第二图像中的所述至少一个记号；计算对应于所述至少一个记号从所述第一图像到所述第二图像的位置改变的运动向量；及使用所述运动向量及第一图像中的所述毛囊单位的所述貌征来标记所述第二图像中的所述毛囊单位。此外，涵盖所述处理器操作地与所述存储器相关联。所述计算机过程还可涉及将来自所述第一图像的第一记号数据与来自所述第二图像的第一记号数据进行比较且将所得向量存储于存储器中。所述计算机程序可操作地与图像捕获装置相关联。在另外其它方面中，一种用于追踪身体表面上的所关注特征(举例来说，毛囊单位)的方法涉及识别第一静止图像中的至少一个记号，所述第一静止图像含有所关注特征；计算所述第一图像中的所述所关注特征的貌征；界定对应于所述至少一个记号的参考框架；定位第二静止图像中的所述至少一个记号；及使用所述所计算貌征检测所述第二静止图像中的所述所关注特征的位置且基于所述第二静止图像中的所述至少一个记号的位置来更新所述参考框架的平移分量。一种方法还可包括识别第一静止图像中的至少三个记号，且其中检测所述第二静止图像中的所述所关注特征的位置包含更新所述参考框架的平移及旋转分量两者。此外， 可通过(举例来说)分析此种记号的长度、面积、形状、类型或色彩中的至少一者来识别所述第一静止图像中的所述至少一个记号。另外，所述至少一个记号可为毛囊单位且识别所述至少一个记号进一步包含分析来自所述身体表面的所述毛囊单位的突出角及头发的口径中的至少一者。所述静止图像可为身体表面的视频图像，所述至少一个记号为所述身体表面上的毛囊单位，且所述所关注特征为所述身体表面上的另一毛囊单位。可通过使用点云方法来更新所述参考框架且可根据所述点云的平均移位来移动成像装置。所关注特征可为光秃部位且所述方法可进一步涉及界定一个或一个以上头发植入位点。在另一方法中，一种用于追踪身体表面上的所关注特征(例如，毛囊单位)的方法包括识别第一静止图像中的至少三个记号，所述第一静止图像显示所关注特征；计算所述第一静止图像中的所述所关注特征的貌征；追踪所述第一静止图像中的至少三个第一对象；界定对应于所述三个记号的参考框架；确定所述三个记号是否在第二静止图像中；及响应于所述三个记号中的至少一者不在所述第二静止图像中，使用所述所关注特征的所述所计算貌征检测所述第二静止图像中的所述所关注特征的位置且基于所述第二静止图像中的所述至少三个记号中的任一者的位置及所述第二图像中的所述第一对象中的任一者的位置来更新所述参考框架。使用记号与第一对象的组合的和来检测所述所关注特征的位置为至少三个。所述至少三个第一对象中的至少一者可包括身体表面的毛囊单位、痣、疤痕、斑点、皱纹、凸块或凹陷。检测所述所关注特征的所述位置可进一步涉及依据所述第一静止图像及所述第二静止图像来计算运动向量且使用所述运动向量来更新所述参考框架且定位所述至少三个记号中的至少一者。识别所述第一静止图像中的至少一个第一对象且在所述第二静止图像中定位所述所识别的第一对象，且计算所述运动向量包括识别所述所识别的第一对象从所述第一图像到所述第二图像的位置改变。还涵盖，一种用于追踪身体表面上的所关注特征的系统可包括接口，其适于从图像捕获装置接收多个图像，至少第一图像包含所关注特征；貌征识别组件，其中所述貌征识别组件识别关于所述所关注特征的貌征信息且检测所述第一图像中的至少一个记号；及记号参考系统。所述参考系统界定对应于所述至少一个记号的参考框架，确定所述至少一个记号是否在第二图像中，且对应于所述至少一个记号从所述第一图像到所述第二图像的位置改变来调整所述参考框架以定位所述所关注特征。所述貌征识别组件及所述记号参考系统可为单个计算机程序产品的一部分。此外，所述貌征识别组件可包括连接到存储器的处理器，所述处理器使电子识别符与所述至少一个记号相关联且将所述电子识别符存储于所述存储器中。此外，所述记号参考系统可包括连接到存储器的处理器，且所述处理器将所述第一图像中的所述至少一个记号中的每一者的位置与第二图像中的所述至少一个记号中的每一者的位置进行比较，计算参考框架中的对应改变，且将所述计算的结果存储于所述存储器中。所述系统可进一步包含向量确定组件。所述系统可为进一步包括机器人臂的机器人系统。结合附图参照以下详细说明将明了其它特征及优点，所述附图以实例方式图解说明各种实施例的特征。
在附图的各图中以实例而非限制的方式图解说明本发明。在图式中，相同的参考编号识别类似的元件或动作。图式中的元件的大小及相对位置未必按比例绘制。举例来说， 各种元件的形状及角度未按比例绘制，且这些元件中的一些元件被任意扩大及定位以改善图式清晰度。此外，元件的所绘制的特定形状并非打算表达关于特定元件的实际形状的任何信息，且仅为易于在图式中辨识而选择。图1图解说明运动学“框架”；图2图解说明更新“框架”；图3图解说明使用登记记号的收获规划；图4图解说明使用登记记号的植入规划；
8
图5图解说明在丢失登记图案之后更新框架；图6图解说明用除原始登记记号以外的点更新框架；图7图解说明使用患者的头皮上的毛囊单位来更新框架；及图8图解说明毛囊单位云算法。图9A及9B图解说明点云追踪；图10图解说明运动向量计算；图11图解说明毛囊单位标记；图12也图解说明毛囊单位标记及相关联问题；图13A及1 分别图解说明毛囊单位标记/追踪过程及使用运动向量的毛囊单位标记/追踪过程；图14图解说明界定搜索区；图15图解说明一个例示性图像稳定过程；图16图解说明图像比较；图17图解说明计算多个向量的图像稳定；及图18图解说明追踪对象的例示性系统。
具体实施例方式下文所描述的各种实施例仅以图解说明的方式提供且不应理解为限制所请求发明。所属领域的技术人员将易于认识到，可在不背离所请求发明的范围的情况下对所揭示的实施例作各种修改及改变。以非限制性实例的方式，所属领域的技术人员将了解，参照一个图或实施例所描述的特定特征或特性可适合地与在另一图或实施例中所描述的特征或特性组合。此外，所属领域的技术人员将认识到，本文中所揭示的装置、系统及方法并不限于一个领域，例如头发恢复，而是可应用于需要追踪对象的任何数目的领域。本发明的所描述系统及方法适用于需要经由图像指引来追踪个别对象的任何应用。其也适用于其中需要登记一组视觉记号以形成参考框架且然后通过使用周围对象更新所述参考框架来追踪对象而非直接追踪所述对象的任何应用。举例来说，使用图像稳定算法的输出来指引或导引对象追踪器的概念可用于宽广范围的医学及非医学应用，例如涉及荧光透视法或X射线成像的图像指引的机器人程序(其中将基准插入到解剖学中)或包括摇摄-倾斜-变焦相机的视频监视应用，其结合分析学来通过动态改变的景象追踪移动对象。本发明的系统及方法尤其适用于头发移植程序，包括自动化的或计算机控制的头发收获及植入。因此，出于描述一些实施例的目的，本文中所描述的各种实例及实施例将仅使用毛囊单位或头发作为本发明的应用的一个实例，但应理解，其更广义地表示所有其它适当应用。应理解，本文中所描述的例示性方法尤其适合与用于治疗规划、头发收获及/或植入的机器人系统一同使用。然而，其无论如何不受限于机器人应用；而是，所描述的方法可应用于人类通过手持式装置进行的手动程序，所述手持式装置可(举例来说)可操作地连接到计算机处理器及成像系统。手动、部分自动化及全自动化系统也在本发明的范围内。当对患者的皮肤或头皮执行医学操作时，需要追踪某些区域，以使得医生或(举例来说)在自动化的程序的情况下的机器人机构可在稍后时间返回到所述区域或避免所述区域。可通过观看区域的图像且识别所述区域上或周围的特征来追踪这些区域。可顺序或同时追踪一个或多个所关注特征，且在头发移植程序的实例中，可收获所追踪特征(例如，头发毛囊)。通过将关于识别特征的数据记录于数据库、存储器或其它数据存储媒体中来登记所述特征。可在稍后时间存取所述识别特征且将其与静止图像或“静像”进行比较， 以确定静像中所示的区是否与含有识别符的区相同。“静像”可为患者的皮肤的视频种子、 照片或其它固定表示的单个图像。登记区域或特征的一个方法涉及在静像中识别将来可辨识的呈具体图案的一组记号。所述记号为非共线的，因此其界定三维框架。尽管需要最少三个记号来界定三维框架，但可使用更多的记号。静像中的这些记号称为“登记图案”且可在随后的静像中辨识。 由坐标x、y、z及旋转坐标Rx、Ry及Rz组成的三维框架称为“患者框架”。在其中登记图案完全可见且可识别的每一接续静像中，简单地通过经更新登记图案来移动患者框架。坐标 x、y及ζ可称作患者框架的平移。坐标Rx、Ry及Rz可称作患者框架的定向。为清晰起见， 在本说明书中将术语“框架”界定为根据已知参考点界定的位置及定向。视频或照片的单个区段在本说明书中称作“静像”或图像。尽管静像可称作“框架”，但本说明书仅以其运动学意义来使用上文所界定的词语“框架”及词语“静像”，来描述视频种子的单个图像，以避免混淆。图1图解说明运动学框架的实例。在此例示性实施例中，机器人臂103附接到具有中心104的固定基底101。臂103固持且定位工具102。所述工具具有框架，标记为x、y、 z，且已知工具102相对于所述基底的中心104的位置及旋转。可以电子方式存储此位置及定向。如果所述工具与所述基底的中心104之间的关系改变，那么可以电子方式更新所述框架。在识别且以电子方式保存登记图案之后，可通过分析记号在随后的静像中的位置来更新所述框架的位置及定向。图2图解说明基于记号的位置改变来更新框架。在第一静像中，三维框架由记号201、202及203的位置界定。所述记号(也称为“基准”)可为(举例来说)患者的皮肤或身体表面上的物理记号或解剖学地标，例如身体表面的毛囊单位或头发、痣、疤痕、斑点、皱纹、凸块或凹陷。所述记号也可为放置于患者的皮肤上或附加到患者的皮肤的对象，有时称为外部基准。基准是成像装置的视域中的对象，其充当参考。其可为解剖学地标、外部记号或以上各项的任一组合。在静像N-I中，记号已在所述静像中向下且向右移动。另一对象204已出现在类似于静像N中的记号201的位置中。然而，对象204 将不会与记号201混淆，因为相对于记号202及203识别记号201。在数据库或存储器中更新所述框架以辨识患者已移动，且对象204并非记号201。在一些应用中，可将登记图案用于实时头发收获及植入规划，如图3及4中分别所示。在图3中，记号301、302、303及304界定患者框架。可相对于所述患者框架来映射患者的皮肤306上的每一毛囊单位305的位置。患者的身体表面的用于收获毛囊单位的的部分为“供体区域”307。可通过对静像中的毛囊单位进行计数来计算所述供体区域的毛囊单位密度。举例来说，可如共同受让的专利公开案WO 2008/024955中所描述来实现对毛囊单位的计数，所述专利公开案以引用方式并入本文中。医师可确定从所述供体区域每cm2抽取多少毛囊单位且将此信息输入到收获规划系统中。所述收获规划系统又基于毛囊单位的数目及每cm2要抽取的所需毛囊单位的数目来确定抽取哪些毛囊。也可使用其它因数来确定抽取哪些毛囊单位，包括毛囊单位特性及头皮/身体表面特性。同样，可在头发植入期间使用类似方法。图4图解说明例示性植入方法。登记图案包含(举例来说)记号401、402、403及404。所述记号(举例来说)在头皮406上界定受体区域407。规划系统接收指示要植入的毛囊单位的数目及植入位置409的输入。可分析例示性毛囊单位408及405来确定毛囊单位密度、光秃图案或植入毛囊单位的其它准则。 身体表面上的光秃区域可为根据本发明可追踪且标记以形成植入位点的所关注特征。患者可能在头皮分析、收获或植入期间移动。监测系统可通过将静像与先前静像进行比较且更新患者的框架以与记号从一个静像到下一静像的改变的位置对应来追踪头皮的每一毛囊单位及其它区域。然而，有时一个或一个以上记号将不出现在随后的静像中，因为患者已移动或转动使得所述记号在所述静像外部。此外，对象或血液可阻碍或阻挡一个或一个以上记号。图 5图解说明患者正将记号移动出静像。记号501、502及503在身体表面500上界定患者的框架。在静像N中，所有记号501、502及503可见。额外记号504也可见且经识别，且可相对于患者的由记号501、502及503形成的框架来记录其位置。静像N-I显示患者相对于所述静像已如何向上移动且顺时针旋转。因此，仅记号504在静像N-I中可见。由于已知记号504相对于患者框架的位置，因此可对应于记号504的位置改变来更新患者框架。然而， 在此实例中，记号504可仅用于更新坐标χ、y及ζ。记号504单独不提供用于对应于患者的框架绕轴x、y及ζ中的每一者的旋转更新坐标Rx、Ry及Rz的数据。因此，记号504更新患者框架的平移但不更新患者框架的定向。至少三个非共线点应在静像N及静像N-I两者中可见，以便更新患者框架的平移及定向两者。图6显示具有界定患者框架的三个记号601、602及603的患者框架及由系统识别的四个额外记号604、605、606及607。在静像N中，所有七个记号601到607可见。在静像N-I中，患者移动且旋转，且记号601、602及603在所述静像中不再可见。然而，所述系统可使用(举例来说)在患者的移动之后继续停留在视域(FOV)中的记号604到606来更新患者的框架，包括框架的定向。当假设记号604到606在患者的框架中固定时，可移动所述框架，使得那些记号在每一静像中将具有相同患者框架坐标。尽管可使用外部基准或记号来界定患者框架，但也可使用身体表面上的自然存在物。身体表面上的最普通特征或对象中的一者是包含某一数目的头发的毛囊单位。头发在涉及头发移植的那些应用中无与伦比地适合作为记号，因为已经出于分析、收获及植入的目的通过系统追踪所述头发。每一毛囊单位的质心或形心可用作记号。在静像之间追踪每一形心的移动，且可分析一个或一个以上毛囊单位的移动以更新患者框架。可通过确定所关注特征(其可为(举例来说)毛囊单位)与位于所述所关注特征的邻近处或附近处的一个或多个额外特征(其又可为其它毛囊单位)之间的关系来界定或形成参考框架。举例来说，如果毛囊单位全部向左移动1mm，那么可推导出患者框架已向左移动1mm。此原理在全部六个自由度中发挥作用，即使是界定患者框架的所有登记记号从静像到静像丢失，只要至少三个毛囊单位仍在FOV中可见即可，如以下实例中所示。图7图解说明用毛囊单位更新患者框架。在静像N中，使用记号701、702及703来界定患者框架。出于分析、收获及植入目的而追踪毛囊单位704、705、706及707。静像N-I显示记号701到703在所述静像外部，此可(举例来说)在身体表面旋转时发生。由于相对于患者框架已知位置704到707，因此可使用704到707中的任何三个毛囊单位来更新患者框架，包括平移及定向。当使用头发或其它登记记号来界定或更新患者框架时，可通过任何方法来追踪所述头发，包括使用点云算法。B. K. P.合恩(B. K. P. Horn)的“绝对定向使用单位四元数的闭式角军(Closed Form solution of Absolute Orientation Using Unit Quaturnians)，，(光学学会期刊，AMA/第4卷，1987年4月)揭示一个此种算法(“合恩算法”)。估计两个点云之间的刚体变换的点云算法仅在于两个静像中使用同一组点时稳健地发挥作用。刚体变换是保持其所作用于的对象的形状的变换。在此上下文中使用，经历刚体变换的点云将使其形状得到保持。因此，圆形样子的点云保持为圆形，六边形样子的点云保持为六边形等。当将点云算法用于具有许多头发的身体表面时，所述算法将在于每一点云中使用相同毛囊单位的情况下且在使用较多的毛囊单位来产生云的情况下最准确。 还重要的是，相同毛囊单位包含每一静像中的点云。图8图解说明与典型的“合恩算法”相关联的问题，其可在患者移动且未从静像到静像维持点的恰当对应性时出现。在静像N中，可使用毛囊单位803到809来产生点云。 然而，在静像N-I中，患者已移动，且毛囊单位808及809在所述静止中不再可见。此外，毛囊单位801及802已进入所述静像。由于每一静像中存在相同数目的毛囊单位，因此系统可使用静像N中的七个毛囊单位错误地产生点云且使其与静像N-I中的七个毛囊单位相关联。由于每一静像中的毛囊单位不同，因此将错误地更新患者框架。为避免以上问题，根据本发明的系统分析毛囊单位(或其它适当特征)的特性以确定每一静像中是否存在相同毛囊单位。仅使用两个静像中均存在的毛囊单位来产生用于界定且更新患者框架以追踪身体表面上的对象及位置的点云。可用于识别毛囊单位、头发或其它特征的特性包括但不限于类型、口径、长度、突出角、面积、形状、色彩及/或以上各项的任一组合，其将界定所使用的此种毛囊单位或其它特征的唯一“貌征”。可使用任何其它可检测特性或“标签”来识别毛囊单位、头发或特征。患者框架的上文所描述的基于“点云”的更新尤其适用于供在机器人头发植入系统中使用的植入自动化及规划。将用于植入的毛囊单位的数目(N)输入到系统中。图像处理器使用群集算法基于特定身体表面的图像来定位任何光秃部位，且然后产生位于所述所识别光秃部位内的N个植入位点。患者框架可由周围头发及可能任何可观看的外部记号形成，且相对于患者框架界定每一植入位点。当植入工具(位于机器人系统中的机器人臂上， 或由人类操作)从一个位点移动到另一位点从而在每一所界定位置处植入时，图像处理器可基于经更新患者框架更新所述组中的下一植入位点的位置。当没有头发在身体表面上可见或可见头发对于系统的识别及追踪无效时，举例来说，当患者为秃头或具有极度稀疏的身体表面(大部分由微型化或“纤细”的头发组成)时， 可使用身体表面的特征替代头发或毛囊单位来追踪移动。在这些情景中，根据本发明的系统及方法使用为“可追踪”的身体表面，例如人类头皮，因为其不均勻且其含有信息。举例来说，根据本文中所描述的方法的一个实施例，所述系统可在一个静像(静像N)与下一静像(静像Ν-1)之间比较一系列像素或所关注区(ROI)。每一组静像显示身体表面的平移移动，且可聚合许多组静像以显示头皮或其它相关身体部分的单个移位。此外，在其它实施例
12中，可在比较及在从静像到静像的基础上更新患者框架时使用痣、纹理化、血液、其它头发及/或其它特征及对象。可将任何可易于识别的对象或特征用作记号，且然后可将其经追踪位置用作到先前所描述的登记算法中的输入。一旦框架经登记，可以电子方式或通过任何其它已知方法保存所述框架及在所述框架中识别的特征。每当将新静像呈现给系统时，图案-辨识算法确定所述静像中的图案是否对应于经登记且经保存图案。如果其不对应，那么在所述新静止中辨识且识别任何经识别特征且更新框架。举例来说，本文中所揭示的方法在患者治疗期间(例如，在头发收获或植入程序期间)具有另一有用应用。有时，在图像处理器定位且识别经调度以进行收获的特定毛囊单位之后，(举例来说)由于区域中的血液流动或由于医师将Q-尖端施加到所述区域且阻碍所关注毛囊单位，此毛囊单位可暂时丢失且从视图中消失。在没有本发明的情况下，在那些环境中，程序中将存在大致延迟，因为将必须再次定位且识别所关注毛囊单位。然而，本文中所揭示的想法允许系统继续进行经调度收获，因为患者框架及有问题的毛囊单位的位置保存于系统中且可快速恢复。一旦系统已定位于原始登记图案上方，则图案-辨识算法辨识所述相同图案，且重新登记所述框架。由于关于患者框架坐标保持所有其它点，因此简单地登记框架致使再次即刻知道所有其它先前已知的点。根据另一方面，一种从一个静像到下一静像标记或追踪头发、毛囊单位或者其它所关注特征或者对象的方法涉及计算运动向量。使用运动向量追踪/标记所关注对象或特征(例如，毛囊单位)的一个方法图解说明于图9A及9B中。图9A显示具有可用作记号或基准的四个毛囊单位901到904的身体表面，例如头皮900。相机905或任何其它图像捕获装置记录所述头皮的图像。静像N显示包括毛囊单位901到904的第一图像。每一毛囊单位具有质心或“形心”，这些毛囊单位的集合被视为“点云”且点云本身具有形心。根据本发明的系统计算包含点云的每一毛囊单位的形心906到909。基于包含点云的个别毛囊单位 901到904的形心906到909来计算点云的形心910。所述系统包括图像处理器，所述图像处理器可编程且包括一个或一个以上组件以执行图像的后台减法、分段及噪声过滤，(举例来说)如共同拥有的专利公开案W02008/0M955中所描述。举例来说，静像N-I显示毛囊单位901到904对应于患者的位置改变的位置改变。 计算点云的形心910且将其与静像N中的位置进行比较。系统计算点云的对应于形心910 从静像N到静像N-I的位置改变的运动向量911。然而，当毛囊单位901到904中的任一者由于成像噪声、血液而被阻碍或由于其它原因被从静像中移除时，问题可出现。系统可将类似地定位的毛囊单位混淆为不存在的毛囊单位或可产生不对应于对应于所有四个毛囊单位901到904的形心910的点云形心。一个解决方案是采用数字图像稳定来将相同毛囊单位或其它特征或对象保持在随后的静像中。图10图解说明计算运动向量的过程。静像0及1含有四个毛囊单位1001到1004。 所述毛囊单位在静像N与静像N-I之间具有改变的位置，其可对应于患者移动(举例来说)。系统比较静像0与1且使用运动向量算法来计算患者的身体表面的运动向量1005。虽然图9到10图解说明以二维计算运动向量，其中“dx”为水平运动分量且“dy” 为对应的垂直运动分量，但所述系统也可计算三维运动向量。用于计算三维运动向量的一个方法可包括计算平面中旋转θ。另一方法包括使用立体几何形状同时从不同角度获取两个图像。以高精确度已知所述图像之间的关系。然后可通过运动向量算法分析所述立体图像以获得二维或三维运动向量。一旦系统计算运动向量，则可使用所述向量来移动成像装置以将所关注对象或特征保持在随后的静像中。尤其重要的是在收获及植入期间将相同毛囊单位保持在随后的静像中。使用成像装置来产生身体表面的静像。可通过手、通过机器人臂或通过任何其它机构来握持所述成像装置。当然，各种图像捕获装置(或成像装置)可与本文中所揭示的系统及方法的实施例中的任一者一同使用。举例来说，所述成像装置可为一个或一个以上相机，例如任何商业上可购得的相机。或者，所述成像装置可为视频记录装置(例如，摄录像机)。虽然所述成像装置优选地为数字装置，但未必如此。举例来说，其可为获取初始图像的模拟TV相机，所述初始图像然后被数字化成数字图像。医师在植入期间检查静像以确定将收获哪些毛囊单位及哪些位置将接收毛囊单位。在此过程期间，如果实际上在成像装置之下的身体表面与由医师检查的静像相同则是有帮助的。医师可完成检查静像且在成像装置相对于患者的身体表面保持在恰当位置的情况下立即存取静像中的区域。此可通过将静像连续馈送到稳定系统中、分析对应于患者移动的运动向量且移动成像装置以对应于所述运动向量来实现。如果成像装置由机器人臂支撑，那么可对应于所述运动向量来调整机器人臂位置。一个例示性应用是在自动化的头发收获程序期间改善毛囊单位追踪/标记的稳健性。在此程序期间，系统必须追踪个别毛囊单位的坐标以便对收获工具及操作所述收获工具的机构进行定向，以为头发收获做准备。此通过将唯一标记指派给静止图像中的每一对象来实现，如图11中所示。在静像N中，辨识毛囊单位1101到1103，识别其唯一“貌征” 且相应地对其进行标记。在优选实施例中，系统分析毛囊单位(或其它所需对象)的特性以帮助在每一随后的静像中识别相同毛囊单位。可用于识别毛囊单位、头发或其它特征的特性包括但不限于类型、口径、长度、突出角、面积、质量、色彩及/或以上各项的任一组合，其将界定所使用的此种毛囊单位或其它特征的唯一“貌征”。可适当地将任何其它可检测特性或“标签”用于特定应用。在静像N-I中，定位相同对象且用相同标记对其进行标记。此可通过在邻近区中搜索以找到最近的对象来进行。可通过使用毛囊单位的所确定“貌征”及患者在静像 N与静像N-I之间的运动向量两者辅助在所述两个静像中定位相同对象而使此过程更稳健且准确。所属领域中的技术人员将了解，虽然一个毛囊单位或头发可为用于追踪的所关注对象，但邻近处的其它毛囊单位可用作记号，且可用于计算运动向量。在某些情景中，举例来说，如果在先前识别的毛囊单位附近将新毛囊单位或其它特征引入到随后的框架中，那么系统可变得混淆。图12图解说明静像N中的七个毛囊单位 1201到1207。静像N-I含有九个毛囊单位，包括来自静像N的1201到1207，加上新毛囊单位1208及1209。毛囊单位1208及1209在静像N中在静像的观看区域外部，但如果患者相对于图像捕获装置移动，那么其出现在静像N-I中。如果系统仅基于先前静像中的毛囊单位的位置的附近区来分析且识别毛囊单位，那么其可将毛囊单位1208及1209与1206及 1203混淆。用于提供毛囊单位的更稳健识别的优选解决方案涉及在追踪环路中并入数字图像稳定器且将其与相关毛囊单位的唯一貌征信息组合使用，如图13A及1 中所示。图13A 描绘标记从灰阶静像中抽取的毛囊单位或其它特征且通过找到最靠近先前在静像N中所识别的毛囊单位的对象来在静像N-I中识别毛囊单位的方法。在此过程中，可将灰阶静像转换为纯粹由前景对象(举例来说，毛囊单位)组成的经分段静像(举例来说，二进制静像)。使用所属领域中的技术人员众所周知的图像处理技术将背景分量从静像中移除。图13B图解说明相同过程，但通过稳定方法及貌征信息得到改善。系统分析灰阶静像N及N-I且确定毛囊单位ID (包括其貌征信息)。将所述静像进行比较以计算运动向量，将所述静像分段，且将所述毛囊单位貌征及所述运动向量应用于框架N-I以通过沿所述运动向量的方向进行搜索来搜索以找到对应于第一框架的毛囊单位的对象。使用关于图像中的对象的运动诱发的“流动”的此额外信息，可完全丢弃图12中所示的毛囊单位1208 及1209，因为运动诱发的流动朝向图像的左下角且毛囊单位1209的貌征不对应于毛囊单位1206的貌征。这是因为毛囊单位1206是含有两个头发毛囊的F2，而毛囊单位1209是单根头发Fl。通过应用图像稳定分析，大致减小误标记的机会，因为系统沿移动向量的方向而非在第一静像中的毛囊单位的附近区中进行搜索。图14图解说明基于所测量运动向量所指向的大体方向来界定搜索域的实例。可如上文所揭示计算运动向量1401。设定追踪参数时可需要一些可允许的误差，其(举例来说)通过指定角度θ来实现，角度θ用于在移动向量的任一侧上界定系统搜索以找到对象的搜索区域。许多数字图像稳定算法可与本文中所描述的方法一同工作以产生用于识别特征或毛囊单位的稳健系统。一个此种算法整体上为一种使用灰度码位平面(GCBP)的方法，如 S.阔(S. Ko)、S.李(S. Lee)、S.全(S. Jeon)及E.康(E. Kang)的“基于灰度码位平面匹配的快速数字图像稳定器(Fast digital image stabilizer based on gray-coded bit-plane matching)，，(IEEE消费电子产品期刊，1999年8月，第45卷，第3期，598到603页)中所描述。灰度码位平面方法的实施方案图解说明于图15中。首先，从成像装置接收输入图像。将图像翻译成灰度码位平面。在一些实施例中，可从灰度码位平面1602拼接所关注区 1601以减小搜索区域及对计算组件的压力，如图16中所示。也可界定小于GCBP静像但大于所关注区1601的搜索区1603。将所述所关注区的灰度码位平面与先前图像的灰度码位平面进行比较。与其中用以推导出云的总体移动的计算发生于“对象空间”中的计算运动向量的点云方法(需要知道毛囊单位或其它记号的形心)相比，在不需要先验地知道特定特征 (举例来说，毛囊单位)位于何处的情况下或即使景象中存在毛囊单位，上述GCBP图像稳定方法纯粹在像素强度数据上操作。此具有提供完全独立的运动测量的强大益处，其适用于追踪，因为抽取毛囊单位坐标由于被成像的景象的动态性质而可为有噪声的测量。存在众多可替代灰度码位平面使用的其它数字图像稳定算法。此类稳定算法的实例中的一些实例包括但不限于“光流”技术，其描述于让-伊夫伯克特(Jean-Yves Bouquet)的“卢卡斯卡纳德特征追踪器的棱锥实施方案(Pyramidal Implementation of the Lucas Kanade Feature Tracker) ”中，因特尔Qntel)公司；“±夬搜索”技术，如韦拉 F(Vella F)等人的“使用块运动向量的稳健数字图像稳定算法(Robust digital image stabilization algorithm using block motion vector)，，( 费电子产品，ICCE, 234 ^lJ235页，2002年)或孙毅(Sim Yi)等人的“PC上的实时数字图像稳定算法(Real-time digital image stabilization algorithm on PC) ”(电子成像与多媒体技术 III，SPIE 第 4925卷，510到513页)中所描述。“光流”估计算法计算一起近似图像或图像系列(如在视频中)内的对象的所察觉运动的向量场。依据一图像或若干图像内的某一点来计算向量，其表示所述点附近的局部化的运动。在上文引用的伯克特的文章中，使用棱锥及分层搜索方法来估计光流计算。从图像的低分辨率版本估计对所述局部化的运动的初始猜测，接着在所述算法利用图像的较高分辨率版本“沿棱锥向上”遍历时使其精细化。“块搜索”方法借用视频压缩标准(如MPEG)中通常采用的技术。如Vella(上文所引用)中所描述，视频压缩中所采用的块搜索与数字图像稳定中所使用的块搜索之间的关键改变在于将图像首先分裂成前景与背景分量。又将前景与背景分裂成区段，其中给每一区段指派单独的加权。针对每一区段及所给出的其加权计算运动向量。组合经加权运动向量以形成背景与前景的单个向量。然后使用启发法来选择两个运动向量中的哪一者用于稳定。最后，本文中所描述的用于进一步改善标记/追踪机制的稳健性的方法可采用基于图像中的一个或一个以上对象或记号来计算运动向量与(另外还)依据图像本身来计算运动向量(如在上述文章中)两者，以使得总体计算基于两个运动向量。此外，在此系统的一个实施方案中，可将静像分裂成多个图像以产生多个向量，如图17中所图解说明。将静像N划分成(举例来说)四个区段Ql到Q4。每一区段1701对应于至少一个不同特征或毛囊单位。随后的静像N-I也划分成对应区段且可进一步拼接成对应搜索区域1702及所关注区1703。将子区段进行比较且可针对每一子区段获得运动向量。所得运动向量可以增加的准确性指示患者的旋转移动。在用于计算运动向量的方法中的任一者中，静像可为参考静像或可改变静像。举例来说，可从患者的身体上的皮肤的区拍摄参考静止图像。然后，可将每一随后的静止图像与参考静止图像进行比较以确定运动向量。可使用所述运动向量来引导成像装置沿向量的方向移动，以使得所述成像装置中的图像与参考静像相同。或者，系统可将第二静像与第一静像进行比较，计算移动向量且根据所述移动向量移动成像装置。然后可将随后的第三静像与所述第二静像进行比较，且重复所述过程。在此情况下，将每一随后的静像与先前静像进行比较，而非与参考静像进行比较。尽管可使用运动向量来移动成像装置，但其也可用作追踪数据或任何其它用途。 举例来说，系统可通过针对预定时间周期或预定数目的静像记录移动向量来记录患者移动。系统也可经编程以仅在已达到某一量的移动或某一移动向量量值时移动成像装置。举例来说，系统可经编程以确保预定毛囊单位、位置或点总是在成像装置的视域内或在成像装置的视域中的预定区域内。图像稳定技术的另一例示性应用涉及在自动化的头发收获过程期间使图像稳定。 在此种自动化的头发收获期间，可基于分类系统对给定图像中的所有毛囊单位进行分类， 以便可选择接下来要收获的特定毛囊单位。通常，当操作者(举例来说)看计算机的屏幕或其它适当显示器以确认图像处理器根据选定准则正确地选择最好的毛囊单位来收获时， 在程序期间将存在暂停。在当操作者观察身体表面的静态静止图像时的此时间期间，患者
16可移动，因此期望在此时间周期期间保持视频稳定。重要地，一旦用户确认所述选择(或甚至选择不同者)，则系统需要确保选定毛囊单位在实况静像(live still)中为静止的。此通过采用根据本发明的数字图像稳定的结果来实现。在一些实施例中，将来自立体图像稳定器的三维运动向量输出求反且将其传递到(举例来说)机器人臂(在机器人操作的系统中)。此具有以下作用将患者运动求反， 或移动可安装于机器人臂上的一个或一个以上相机，使得将在随后的图像获取中将相同视域成像。图像稳定技术的又一例示性应用涉及使用稳定器的输出来在头发植入期间指引机器人系统。用于头发移植及治疗规划的例示性机器人系统及方法描述于共同拥有的美国公开案2007/0078466及美国专利申请案12/133，159中，其整体内容以引用方式并入本文中。当使用上述系统中的任一者时，可在选定治疗规划所规定的位置中植入毛囊单位。通常，头发受体区域按照成像系统可可靠地追踪的毛囊单位的数目是稀疏的。这是为何除追踪毛囊单位外需要通过某种其它手段追踪机器人的运动或患者运动的原因。此可通过经由图像稳定器追踪身体表面(例如，头皮)的运动来实现。可使用外部基准以受体区域登记治疗规划。此登记建立坐标参考框架，其在机器人及患者在治疗期间移动时必须被更新。可由视觉系统通过识别基准的位置来更新坐标参考框架(坐标系统)。然而，即使有时不能够看到基准(如前文所解释)，可通过在逐静像的基础上添加所测量运动向量来以Δ方式继续更新坐标系统。用于追踪毛囊单位、记号或另一对象的例示性系统图解说明于图18中。在一些实施例中，所述系统可包括成像装置1800、貌征识别组件1801、向量确定组件1802及追踪系统1803。所述成像装置1800可包括相机，例如摄像机。或者，可使用能够捕获图像的任何其它装置。优选地，所述成像装置为数字成像装置。在其它实施例中，成像装置可单独提供且不包括于所述系统中。在那些实施例中，可提供允许所述系统的各种其它组件或模块 (例如，貌征识别组件)与单独的成像装置交互的接口。成像装置1800与貌征识别组件1801交互以识别毛囊单位、记号或另一对象。貌征识别组件1801可为具有存储于便携式磁盘、硬磁盘或其它存储器上的代码的软件程序。 所述代码可与包括(举例来说)处理器1807的计算机系统1810交互以识别毛囊单位、记号或另一对象的区别特性。或者，貌征识别组件1801可体现于硬件平台(举例来说，现场可编程门阵列(“FPGA”)或专用集成电路(“ASIC”)中，且与计算机系统1810或处理器 1807交互。计算机系统1810或处理器1807经由接口 1811与成像装置1800交互。所述接口可包括硬件端口、电缆、引线及其它数据传输构件，或其可包含计算机程序。如上文所论述，可使用类型、口径、长度、突出角、面积、色彩及/或以上各项的任一组合来界定毛囊单位或其它特征或对象的唯一“貌征”。可适当地将任何其它可检测特性或“标签”用于特定应用。貌征识别程序1801分析来自成像装置的图像，识别毛囊单位或其它特征的特性，且以电子方式用电子貌征标注所述毛囊单位或其它特征。当两个或两个以上静像可用时，在根据本文中所描述的方法的某些实施例中，可使用向量确定组件1802来辅助追踪系统追踪毛囊单位或其它特征。向量确定组件1802可为与包括处理器1807的计算机系统1810交互以分析毛囊单位的移动的软件程序或硬件。 向量确定组件1802接收已知特征的位置信息。所述已知特征可能已由貌征识别单元1801识别(举例来说)。所述位置信息基于静像中的已知特征的位置。向量确定组件1802使用位置信息计算所述已知特征的向量。可使用来自向量确定组件1802的信息来使用追踪系统1803追踪毛囊单位或其它特征。追踪系统1803可包括机器人基底1808及臂1809、成像装置中的移动调整机构、用于在屏幕上呈现图像或图像的一部分的代码或用于在多个静像之间追踪对象的任何其它机构。如果追踪单元包含机器人臂1809，那么成像装置1800及收获或植入工具1806可位于机器人臂1809的末端处。可使用来自向量确定组件1802的向量沿静像的移动方向移动追踪系统1803，以将目标毛囊单位或其它特征保持在实况静像中。在一个实施例中，使用记号识别组件1804来在静像中识别记号。所述记号识别组件可为(举例来说)软件程序，或其可体现于硬件中(如上文参照其它组件所述)，其与包括处理器1807的计算机系统1810交互。此记号识别组件也可为貌征识别组件1801的一部分。在另一实施例中，一种用于追踪所关注特征的系统包含接口，例如接口 1811，其适于从成像装置(其可不包括于系统本身中)、貌征识别组件(例如，1801)及记号参考系统 1805接收多个图像。记号参考系统1805接收对应于貌征识别组件1801在第一图像中所识别的记号、毛囊单位或其它特征的信息且界定对应于所述记号的参考框架。其然后确定所述记号是否在第二图像中，且对应于所述记号在图像之间的位置改变来调整所述参考框架。所述系统可包括存储于存储器(包括便携式磁盘、硬磁盘、快闪存储器或任何其它存储器媒体)中的数据。其也可包括独立于处理器1807的处理器，或其可使用同一处理器1807。以上组件(包括所述貌征识别组件、所述向量确定组件、所述追踪系统、所述记号识别系统及所述记号参考系统)可为一个软件或硬件组件的一部分，或可包含多个软件及硬件程序及模块。每一模块可与任一其它模块分离，或所有模块可集成于一个装置或芯片中。在本文中所描述的各种实施例及方法中，这些组件中的一些组件可为任选的。虽然一个实施例可包括分析身体表面，但以上系统及方法可追踪任何对象且基于任何对象或对象组自动地更新框架或计算运动向量。可追踪的对象包括空气传播对象、沿表面移动的对象、在地球上移动的对象或需要识别或追踪的任何其它对象。上文所描述的各种实施例仅以图解说明的方式提供且不应理解为限制所请求发明。所属领域的技术人员将易于辨识出在不遵循本文中所图解说明及描述的实例性实施例及应用的情况下且在不背离所请求发明的在以上权利要求书中阐明的真实精神及范围的情况下可对所请求发明进行各种修改及改变。
权利要求
1.一种用于追踪毛囊单位的方法，所述方法包含识别含有毛囊单位的身体表面的第一图像中的毛囊单位；计算所述第一图像中的所述毛囊单位的貌征；依据所述第一图像及同一身体表面的第二图像来计算运动向量；及使用所述运动向量及所述第一图像中的所述毛囊单位的所述貌征来标记所述第二图像中的所述毛囊单位。
2.根据权利要求1所述的方法，其进一步包含识别在所述第一图像中且在所述第二图像中的至少一个记号，且其中计算所述运动向量包含计算对应于所述至少一个记号从所述第一图像到所述第二图像的位置改变的运动向量。
3.根据权利要求2所述的方法，其中所述第一图像中存在至少三个记号。
4.根据权利要求2到3中任一权利要求所述的方法，其中所述至少一个记号包含所述身体表面的另一毛囊单位、痣、疤痕、斑点、皱纹、凸块或凹陷中的一者或一者以上。
5.根据权利要求2到4中任一权利要求所述的方法，其包含所述第一图像中的多个记号，且其中识别第一图像中的所述至少一个记号包含识别点云。
6.根据权利要求5所述的方法，其进一步包含计算所述点云的形心。
7.根据权利要求1到6中任一权利要求所述的方法，其中计算第一图像中的所述毛囊单位的貌征包含识别所述毛囊单位的长度、类型、口径、突出角、面积、形状或色彩中的一者或一者以上。
8.根据权利要求2到7中任一权利要求所述的方法，其进一步包含标记所述第一图像中的所述至少一个记号，且通过沿所述运动向量所指向的方向搜索以找出所述第二图像中的所述至少一个记号而用与所述第一图像中相同的标记来标记所述第二图像中的所述至少一个记号。
9.根据权利要求1到8中任一权利要求所述的方法，其进一步包含依据所述第一图像及所述第二图像来计算第二运动向量，且进一步使用所述第二运动向量来标记所述第二图像中的所述毛囊单位。
10.根据权利要求1到9中任一权利要求所述的方法，其中使用灰度码位平面技术、光流技术及块搜索图像稳定技术中的一者或一者以上来计算所述运动向量。
11.根据权利要求1到10中任一权利要求所述的方法，其进一步包含根据所述运动向量来移动图像捕获装置以将所述毛囊单位保持在所述图像捕获装置的视域中。
12.根据权利要求2到11中任一权利要求所述的方法，其中识别所述至少一个记号包含使电子识别符与所述至少一个记号相关联。
13.根据权利要求2到12中任一权利要求所述的方法，其进一步包含依据考虑因素而丢弃所述第二图像中的根据所述运动向量与其在所述第一图像中的位置不一致的任何记号。
14.根据权利要求1到13中任一权利要求所述的方法，其中所述运动向量界定用于定位所述毛囊单位的搜索区，且其中界定所述搜索区包含分析沿所述运动向量且在距所述运动向量的预定距离内的区。
15.根据权利要求14所述的方法，其中距所述运动向量的所述预定距离包含在所述第一图像中的所述记号的位置处具有尖端的锥面，所述尖端具有预定尖端角度，所述锥面沿所述运动向量的方向延伸且包括在所述预定尖端角度内的面积。
16.根据权利要求1到15中任一权利要求所述的方法，其进一步包含将所述第一及第二图像划分成多个第一及第二子图像，且依据所述第一及第二子图像来计算多个运动向量。
17.根据权利要求2到16中任一权利要求所述的方法，其中所述方法进一步包含界定对应于所述至少一个记号的参考框架。
18.一种用于追踪身体表面上的毛囊单位的系统，所述系统包含貌征识别组件，其中所述貌征识别组件识别关于含有毛囊单位的所述身体表面的第一图像中的所述毛囊单位的貌征信息；向量确定组件，其中所述向量确定组件计算相同身体表面的第一图像与第二图像之间的运动向量；及追踪系统，其用于接收对应于所述运动向量的数据，且基于所述运动向量及所述毛囊单位貌征信息标记所述第二图像中的所述毛囊单位。
19.根据权利要求18所述的系统，其中所述追踪系统包含用于捕获所述身体表面的图像的成像装置，且其中所述系统进一步经编程以基于所述运动向量来移动所述成像装置。
20.根据权利要求18到19中任一权利要求所述的系统，其中所述貌征识别组件、向量确定组件及追踪系统为单个软件或硬件产品的一部分。
21.根据权利要求18到20中任一权利要求所述的系统，其进一步包含记号识别组件， 且其中所述记号识别组件为所述貌征识别组件的一部分。
22.根据权利要求18到21中任一权利要求所述的系统，其中所述貌征识别组件、所述向量确定组件及所述追踪组件中的一者或一者以上包含连接到存储器及所述成像装置中的至少一者的处理器。
23.根据权利要求18到22中任一权利要求所述的系统，其中所述系统为进一步包含机器人臂的机器人系统。
24.一种用于追踪身体表面上的所关注特征的方法，所述方法包含识别成像装置所拍摄的第一静止图像中的至少一个记号，所述第一静止图像含有所关注特征；确定所述第一静止图像中的所述所关注特征的貌征；界定对应于所述至少一个记号的参考框架；定位所述成像装置所拍摄的第二静止图像中的所述至少一个记号；及使用所述所确定貌征来检测所述第二静止图像中的所述所关注特征的位置，且基于所述第二静止图像中的所述至少一个记号的位置来更新所述参考框架的平移分量。
25.根据权利要求M所述的方法，其中所述所关注特征为头发毛囊，且确定所述第一静止图像中的所述毛囊单位的所述貌征包含识别所述头发毛囊的长度、类型、口径、突出角、面积、形状或色彩中的一者或一者以上。
26.根据权利要求M所述的方法，其中检测所述所关注特征的所述位置进一步包含依据所述第一静止图像及所述第二静止图像来计算运动向量且使用所述运动向量来更新所述参考框架并定位至少一个记号。
27.根据权利要求M所述的方法，其中界定所述参考框架包含确定所述所关注特征与位于所述所关注特征的附近处的一个或一个以上额外特征之间的关系。
全文摘要
本发明提供一种用于追踪、识别及标记所关注对象或特征的系统及方法。在一些实施例中，使用所述所关注特征的唯一貌征及图像稳定技术来实现追踪。根据一些方面，界定使用预定记号的参考框架且基于所述记号的位置改变及/或特定貌征信息来对其进行更新。也可追踪且识别所述框架内的个别对象或特征。可通过比较两个静止图像、确定对象在所述静止图像之间的位置改变、计算所述对象的移动向量且使用所述移动向量更新图像装置的位置来追踪对象。
文档编号G06T7/20GK102165492SQ200980138564
公开日2011年8月24日 申请日期2009年9月10日 优先权日2008年9月29日
发明者凯尔·R·布雷顿, 约翰·A·坦尼, 谢赫尔扎德·A·库雷希 申请人:修复型机器人公司
最新回复(0)