快速的有关节运动的跟踪的制作方法
快速的有关节运动的跟踪的制作方法
【专利摘要】快速的有关节运动的跟踪。按照本发明，一种用于在多视图输入视频像的序列中跟踪物体的计算机实施的方法，包括步骤：获取该物体的模型；使用该模型,在多视图输入视频像序列中，跟踪该物体。
【专利说明】快速的有关节运动的跟踪
【技术领域】
[0001 ] 本发明涉及快速的有关节运动的跟踪。
【背景技术】
[0002]计算机视觉中基础问题之一，是估算人类的3D运动。运动捕获是广大范围的现代工业中的本质部分，范围从体育科学，经过生物力学到游戏和电影的特技。在工业应用中的当现有技术，仍然是基于标记的光学捕获系统，该系统以要求摄像机和标记的复杂设施为代价，能实现精确的捕获。能跟踪特征的运动而不干扰场景几何配置的无标记(mark-less)的方法，依赖于根据一些像特性的姿势检测。然而，这些方案假设姿势已经在训练期间被事先观察到。
[0003]本发明大多涉及由Wren等人建议的称为Pfinder的实时跟踪系统[C.Wren, A.Azarbayejani, T.Darrell, and A.Pentland Pfinder:Real-time tracking of the humanbody.TPAMI, 19:780-785, 1997]。它用像域中的2D高斯函数使人模型化，并用色彩空间中的非相关高斯函数表示每一斑点(blob)的外观。背景通过每一像素的色彩空间中的高斯函数被模型化。姿势估算在最后被公式化为2D斑点检测，S卩，每一像素被分配给背景或人类斑点之一。该最后的2D姿势，是通过迭代的形态学生长运算和2D Markov先验模型(2D Markov prior)被获得的。这种方案已经在[S.Yonemoto, D.Arita, andR.Taniguchi, Real-time human motion analysis and ik—based human figure control.1nWorkshop on Human Motion，pagesl49_154，2000]中，被推广到多视图的情形，在那里，斑点在每一像中被检测，且斑点的3D位置其后用反向运动学重构。
[0004]不用轮廓信息的人类姿势估算的其他方案，是把分段与形状先验模型(shapeprior)及姿势估算结合。除与运动特性或分析-综合(analysis-by-synthesis)方案一道使用的水平集分段(level set segmentation)之外，图形切割分段也已经被使用。手持视频摄像机和从运动导出结构(structure-from-motion)的方案，也被用于校正运动的摄像机。当这些方案在分段和姿势估算上迭代的时候，一般用于水平集分段的能量泛函，能够在姿势估算方案中被直接积分，以便加速计算。然而，该方案没有获得实时性能，且对用4台分辨率为656X490像素的摄像机记录的多视图序列，每帧需要15秒。
[0005]隐式表面已经用于3D表面重构。更具体地说，包括骨架、模拟肌肉和脂肪组织的隐式表面、以及皮肤的多边表面的人模型，已经被用于从动态3D点云和轮廓数据的多视图形状重构。该隐式表面用高斯函数模型化。因为形状和姿势参数的估算由数个过程执行，整个方案非常费时，且不适合于实时应用。为增加可靠性，运动先验模型(motion prior)能够被用于改进模型拟合。人类的隐式表面模型已经被匹配到有已知法线的3D点。
[0006]因此，本发明的目的是提供一种在快速并有效的数字视频中，用于获取模型和跟踪表演者的姿势的方法。
【发明内容】
[0007]以上目的是用该方法和按照独立权利要求的装置实现的。有利的实施例被定义在从属的权利要求中。
[0008]按照本发明，人模型可以由一组空间高斯函数表示，代替使用由几何本原或细致的三角形网格模型化的显式表面。为此，特定个人模型可以从像的稀疏集建立。该模型可以包括定义人模型自由度(DoF)的运动学骨架，以及表示人类形状和外观的统计模型。为了从多视图获得姿势估算的实时性能，3D高斯函数之和(SoG)，可以被用于统计模型。此外，该像还可以被表示成空间的2D高斯函数之和，这些空间的2D高斯函数之和，覆盖色彩一致的像斑点。根据作为高斯函数之和的模型和像的表示，本发明引入模型到像相似性的新颖公式，它的解析解可以用梯度上升算法非常有效地求解。
[0009]更具体地说，它允许不依赖于抽取的轮廓或训练数据的几乎实时的方案。
[0010]另外，该创造性方案不依赖于用于检测像中2D斑点的统计背景模型，却把3D的空间的高斯函数用于人模型并且把2D空间的高斯函数用于像，以引入目标函数，以便使模型到像的相似性能够非常有效地最大化。
[0011]最后，该方案不依赖于3D数据云或用于跟踪的轮廓数据，而是使模型与非分段像数据之间的相似性直接模型化。
【专利附图】
【附图说明】
[0012]图1画出按照本发明实施例的方法的概观。
[0013]图2从左至右，画出按照本发明实施例的默认骨架、默认身体模型、以及特定表演者模型。
[0014]图3是示意图，表明按照本发明实施例的自遮挡处理。
[0015]图4画出按照本发明实施例的SoG像近似的例子；左:输入像；右:有用于产生该SoG的平均色彩的四叉树结构；每一正方形由单个高斯函数表示。
[0016]图5按照本发明实施例，画出从示范姿势像估算特定表演者模型的例子；左:每一姿势的多视图集的单个被分段输入像；右:在优化和色彩估算之后的最终的特定表演者身体模型。
[0017]图6画出，当骨架叠在来自不同摄像机视图的12幅输入像上时，按照本发明实施例的方法的跟踪结果。
【具体实施方式】
[0018]图1画出按照本发明实施例的方法的概观。
[0019]在预处理步骤110，少量的表明示范姿势的手动地分段的多视图像，可以被用于估算特定表演者身体模型。人体模型包括运动学骨架和附属的身体近似。
[0020]被获取的模型，其后可以被用于从多视图输入视频，跟踪表演者的有关节运动。更具体地说，表演者的表演可以用n_同步的并校准的视频摄像机捕获。每一输入像可以在步骤120中被转换为身体模型表示。
[0021]跟踪可以用前一帧中模型的估算姿势开始，并可以使参数优化，以便使当前帧上的模型与像SoG之间的重叠相似性，实质上被最大化。
[0022]图2从左至右，画出按照本发明实施例的运动学骨架模型、默认身体模型、以及特定表演者模型。
[0023]按照本发明实施例的运动学骨架模型，包括模型化的细致的脊柱和锁骨的58个关节。每一关节可以由向它的母关节的偏移和以轴线角形式表示的旋转定义。它还可以有可允许关节极限范围I1到Ih的特征。该模型包括总共61个参数A，其中58个旋转的和另外3个平移的。该运动学骨架模型还包括分开的自由度(DoF)体系(hierarchy)，有n个DoF姿势参数&。在本发明的本实施例中，包括nD()F=43个姿势参数的DoF体系被使用。
[0024]?和A之间的关系，可以被模型化为由61XnD()F的矩阵M给出的线性映射:
【权利要求】
1.一种用于在多视图输入视频像的序列中跟踪物体的计算机实施的方法，包括步骤: -获取该物体的模型； -使用该模型，在多视图输入视频像序列中跟踪该物体。
2.按照权利要求1的方法，其中该模型包括代表该物体形状的统计模型。
3.按照权利要求2的方法，其中该统计模型包括空间上变化的函数之和，这些函数被这样选择，以致两个或更多斑点的重叠或卷绕能够被有效地近似，这些函数包含径向对称的和单调的函数，还包含三维的高斯函数、超球面函数、多二次函数、超二次函数、或多重调和样条函数。
4.按照权利要求2的方法，其中该模型还包括定义物体自由度的运动学模型。
5.按照权利要求1的方法，其中该物体是人体。
6.按照权利要求1的方法，其中该模型是通过缩放、平移或旋转一般物体模型被获取的。
7.按照权利要求1的方法，其中这些多视图输入视频摄像机是同步的或同步锁相的。
8.按照权利要求1的方法，特征在于，该模型包括表征该被获取的物体的属性。
9.按照权利要求1的方法，其中该模型是跟踪期间被在线获取的。
10.一种用于跟踪物体的系统，包括: -一系列多视图视频摄像机； -用于存储物体模型的存储器； -用于根据该模型跟踪该物体的处理器。
11.一种用于获取物体模型的计算机实施的方法，包括步骤: -获取物体的示范姿势的若干个像； -根据获取的像，估算模型；和 -把该模型存储在计算机可读媒体中。
12.按照权利要求11的方法，其中该像是多视图像。
13.按照权利要求12的方法，其中该多视图像的数量是小的。
14.按照权利要求12的方法，还包括把该多视图像手动地分段的步骤。
15.按照权利要求12的方法，其中估算模型，包括: -估算该物体每一示范姿势的姿势参数；和 -估算该物体的一组形状参数。
16.按照权利要求15的方法，其中该姿势参数是用条件梯度上升法估算的。
17.按照权利要求11的方法，其中该模型还根据另外的输入，诸如基于标记、磁性的、基于加速度计、或其他运动捕获系统等等的输入而被估算。
18.按照权利要求11的方法，其中该模型是根据深度摄像机、或2.5D或如结构光3D扫描器的3D扫描器而被估算的。
19.按照权利要求11的方法，其中该模型还可以由用户手动地约束。
20.一种计算机可读媒体，包括按照权利要求11获取的模型。
【文档编号】G06T7/20GK103733226SQ201280023332
【公开日】2014年4月16日 申请日期:2012年3月29日 优先权日:2011年5月16日
【发明者】N·哈斯勒, C·斯图尔, C·特奥巴尔特, J·加尔, H-P·塞德尔 申请人:马普科技促进协会, 苏黎世联邦理工学院
【专利摘要】快速的有关节运动的跟踪。按照本发明，一种用于在多视图输入视频像的序列中跟踪物体的计算机实施的方法，包括步骤：获取该物体的模型；使用该模型,在多视图输入视频像序列中，跟踪该物体。
【专利说明】快速的有关节运动的跟踪
【技术领域】
[0001 ] 本发明涉及快速的有关节运动的跟踪。
【背景技术】
[0002]计算机视觉中基础问题之一，是估算人类的3D运动。运动捕获是广大范围的现代工业中的本质部分，范围从体育科学，经过生物力学到游戏和电影的特技。在工业应用中的当现有技术，仍然是基于标记的光学捕获系统，该系统以要求摄像机和标记的复杂设施为代价，能实现精确的捕获。能跟踪特征的运动而不干扰场景几何配置的无标记(mark-less)的方法，依赖于根据一些像特性的姿势检测。然而，这些方案假设姿势已经在训练期间被事先观察到。
[0003]本发明大多涉及由Wren等人建议的称为Pfinder的实时跟踪系统[C.Wren, A.Azarbayejani, T.Darrell, and A.Pentland Pfinder:Real-time tracking of the humanbody.TPAMI, 19:780-785, 1997]。它用像域中的2D高斯函数使人模型化，并用色彩空间中的非相关高斯函数表示每一斑点(blob)的外观。背景通过每一像素的色彩空间中的高斯函数被模型化。姿势估算在最后被公式化为2D斑点检测，S卩，每一像素被分配给背景或人类斑点之一。该最后的2D姿势，是通过迭代的形态学生长运算和2D Markov先验模型(2D Markov prior)被获得的。这种方案已经在[S.Yonemoto, D.Arita, andR.Taniguchi, Real-time human motion analysis and ik—based human figure control.1nWorkshop on Human Motion，pagesl49_154，2000]中，被推广到多视图的情形，在那里，斑点在每一像中被检测，且斑点的3D位置其后用反向运动学重构。
[0004]不用轮廓信息的人类姿势估算的其他方案，是把分段与形状先验模型(shapeprior)及姿势估算结合。除与运动特性或分析-综合(analysis-by-synthesis)方案一道使用的水平集分段(level set segmentation)之外，图形切割分段也已经被使用。手持视频摄像机和从运动导出结构(structure-from-motion)的方案，也被用于校正运动的摄像机。当这些方案在分段和姿势估算上迭代的时候，一般用于水平集分段的能量泛函，能够在姿势估算方案中被直接积分，以便加速计算。然而，该方案没有获得实时性能，且对用4台分辨率为656X490像素的摄像机记录的多视图序列，每帧需要15秒。
[0005]隐式表面已经用于3D表面重构。更具体地说，包括骨架、模拟肌肉和脂肪组织的隐式表面、以及皮肤的多边表面的人模型，已经被用于从动态3D点云和轮廓数据的多视图形状重构。该隐式表面用高斯函数模型化。因为形状和姿势参数的估算由数个过程执行，整个方案非常费时，且不适合于实时应用。为增加可靠性，运动先验模型(motion prior)能够被用于改进模型拟合。人类的隐式表面模型已经被匹配到有已知法线的3D点。
[0006]因此，本发明的目的是提供一种在快速并有效的数字视频中，用于获取模型和跟踪表演者的姿势的方法。
【发明内容】
[0007]以上目的是用该方法和按照独立权利要求的装置实现的。有利的实施例被定义在从属的权利要求中。
[0008]按照本发明，人模型可以由一组空间高斯函数表示，代替使用由几何本原或细致的三角形网格模型化的显式表面。为此，特定个人模型可以从像的稀疏集建立。该模型可以包括定义人模型自由度(DoF)的运动学骨架，以及表示人类形状和外观的统计模型。为了从多视图获得姿势估算的实时性能，3D高斯函数之和(SoG)，可以被用于统计模型。此外，该像还可以被表示成空间的2D高斯函数之和，这些空间的2D高斯函数之和，覆盖色彩一致的像斑点。根据作为高斯函数之和的模型和像的表示，本发明引入模型到像相似性的新颖公式，它的解析解可以用梯度上升算法非常有效地求解。
[0009]更具体地说，它允许不依赖于抽取的轮廓或训练数据的几乎实时的方案。
[0010]另外，该创造性方案不依赖于用于检测像中2D斑点的统计背景模型，却把3D的空间的高斯函数用于人模型并且把2D空间的高斯函数用于像，以引入目标函数，以便使模型到像的相似性能够非常有效地最大化。
[0011]最后，该方案不依赖于3D数据云或用于跟踪的轮廓数据，而是使模型与非分段像数据之间的相似性直接模型化。
【专利附图】
【附图说明】
[0012]图1画出按照本发明实施例的方法的概观。
[0013]图2从左至右，画出按照本发明实施例的默认骨架、默认身体模型、以及特定表演者模型。
[0014]图3是示意图，表明按照本发明实施例的自遮挡处理。
[0015]图4画出按照本发明实施例的SoG像近似的例子；左:输入像；右:有用于产生该SoG的平均色彩的四叉树结构；每一正方形由单个高斯函数表示。
[0016]图5按照本发明实施例，画出从示范姿势像估算特定表演者模型的例子；左:每一姿势的多视图集的单个被分段输入像；右:在优化和色彩估算之后的最终的特定表演者身体模型。
[0017]图6画出，当骨架叠在来自不同摄像机视图的12幅输入像上时，按照本发明实施例的方法的跟踪结果。
【具体实施方式】
[0018]图1画出按照本发明实施例的方法的概观。
[0019]在预处理步骤110，少量的表明示范姿势的手动地分段的多视图像，可以被用于估算特定表演者身体模型。人体模型包括运动学骨架和附属的身体近似。
[0020]被获取的模型，其后可以被用于从多视图输入视频，跟踪表演者的有关节运动。更具体地说，表演者的表演可以用n_同步的并校准的视频摄像机捕获。每一输入像可以在步骤120中被转换为身体模型表示。
[0021]跟踪可以用前一帧中模型的估算姿势开始，并可以使参数优化，以便使当前帧上的模型与像SoG之间的重叠相似性，实质上被最大化。
[0022]图2从左至右，画出按照本发明实施例的运动学骨架模型、默认身体模型、以及特定表演者模型。
[0023]按照本发明实施例的运动学骨架模型，包括模型化的细致的脊柱和锁骨的58个关节。每一关节可以由向它的母关节的偏移和以轴线角形式表示的旋转定义。它还可以有可允许关节极限范围I1到Ih的特征。该模型包括总共61个参数A，其中58个旋转的和另外3个平移的。该运动学骨架模型还包括分开的自由度(DoF)体系(hierarchy)，有n个DoF姿势参数&。在本发明的本实施例中，包括nD()F=43个姿势参数的DoF体系被使用。
[0024]?和A之间的关系，可以被模型化为由61XnD()F的矩阵M给出的线性映射:
【权利要求】
1.一种用于在多视图输入视频像的序列中跟踪物体的计算机实施的方法，包括步骤: -获取该物体的模型； -使用该模型，在多视图输入视频像序列中跟踪该物体。
2.按照权利要求1的方法，其中该模型包括代表该物体形状的统计模型。
3.按照权利要求2的方法，其中该统计模型包括空间上变化的函数之和，这些函数被这样选择，以致两个或更多斑点的重叠或卷绕能够被有效地近似，这些函数包含径向对称的和单调的函数，还包含三维的高斯函数、超球面函数、多二次函数、超二次函数、或多重调和样条函数。
4.按照权利要求2的方法，其中该模型还包括定义物体自由度的运动学模型。
5.按照权利要求1的方法，其中该物体是人体。
6.按照权利要求1的方法，其中该模型是通过缩放、平移或旋转一般物体模型被获取的。
7.按照权利要求1的方法，其中这些多视图输入视频摄像机是同步的或同步锁相的。
8.按照权利要求1的方法，特征在于，该模型包括表征该被获取的物体的属性。
9.按照权利要求1的方法，其中该模型是跟踪期间被在线获取的。
10.一种用于跟踪物体的系统，包括: -一系列多视图视频摄像机； -用于存储物体模型的存储器； -用于根据该模型跟踪该物体的处理器。
11.一种用于获取物体模型的计算机实施的方法，包括步骤: -获取物体的示范姿势的若干个像； -根据获取的像，估算模型；和 -把该模型存储在计算机可读媒体中。
12.按照权利要求11的方法，其中该像是多视图像。
13.按照权利要求12的方法，其中该多视图像的数量是小的。
14.按照权利要求12的方法，还包括把该多视图像手动地分段的步骤。
15.按照权利要求12的方法，其中估算模型，包括: -估算该物体每一示范姿势的姿势参数；和 -估算该物体的一组形状参数。
16.按照权利要求15的方法，其中该姿势参数是用条件梯度上升法估算的。
17.按照权利要求11的方法，其中该模型还根据另外的输入，诸如基于标记、磁性的、基于加速度计、或其他运动捕获系统等等的输入而被估算。
18.按照权利要求11的方法，其中该模型是根据深度摄像机、或2.5D或如结构光3D扫描器的3D扫描器而被估算的。
19.按照权利要求11的方法，其中该模型还可以由用户手动地约束。
20.一种计算机可读媒体，包括按照权利要求11获取的模型。
【文档编号】G06T7/20GK103733226SQ201280023332
【公开日】2014年4月16日 申请日期:2012年3月29日 优先权日:2011年5月16日
【发明者】N·哈斯勒, C·斯图尔, C·特奥巴尔特, J·加尔, H-P·塞德尔 申请人:马普科技促进协会, 苏黎世联邦理工学院
最新回复(0)