一种基于层次tdp模型的人脸检测、分割和表情识别方法

一种基于层次tdp模型的人脸检测、分割和表情识别方法
【技术领域】
[0001] 本发明属于情感识别领域，具体设及一种基于层次TDP模型的自然环境下人脸检 巧。、分割和表情识别的方法。
【背景技术】
[0002] 屯、理学家J.A.Russell提出，在人们日常的交流中，只有7%的信息是通过语言来 传递的，而55%的信息则是通过面部表情来传递的。由此可见面部表情是一种非常重要的 信息传递方式，它是人类行为的一种丰富的信息源，可W传达很多语言所不能传达的信息。 近年来，随着一些应用的不断完善，促进了人脸表情识别技术的发展。
[0003] 在A.S.Willsky等人，题为"DescribingVisualScenesUsingTransformed 化jectsandParts"的论文中，利用迁移狄利克雷过程TDP学到一个复杂场景中某一区域 所属的类别，该方法通过组合几何特征和纹理特征来提高识别率，但只能应用于特定角度 的情景图像，而不适用于多角度的自然人脸图像。除此之外，在P.Liu等人，题为'卞acial ExpressionRecognitionviaaBoostedDeepBeliefNetwork"的论文中，把传统学习中 独立的特征提取，特征选择W及人脸表情识别过程在一个统一的级联的深度神经网络中完 成，该方法通过利用上下文的语义信息来提高人脸表情的识别率，但特征提取仍然是基于 一张完整的人脸，经过特征选择来选取对人脸表情识别贡献最大的特征，但由于特征选择 方法的局限无法保证选出的特征是否是最能满足人脸表情识别的特征。目前还未出现一种 统一的模型可W高效准确的识别自然环境下的情感。

【发明内容】

[0004] 本发明的目的在于提供一种基于层次TDP模型的自然环境下人脸检巧U、分割和表 情识别方法，使得训练得到的模型不受姿态，光照等因素的干扰，高准确率地识别各种姿态 下的人脸表情图片的表情状态。
[0005] 为了解决W上问题，本发明首先对原始图像进行预处理，提取SIFT特征W及对应 的位置信息，再采用一种有效的迁移狄利克雷过程将该两种特征组合得到的具有几何约束 的特征向量输入到TDP模型，得到第一层的结果一一人脸与非人脸。分割完成的人脸作为第 二层的输入，经过相同的过程得到子区域（眼睛，鼻子，嘴己，眉毛，前额）的分割结果。最 终将子区域作为第S层一一人脸表情识别层的输入，经过同样的特征提取与组合，得到人 脸图像的表情识别结果。另外，我们在TDP模型中加入姿态控制参数，使我们的方法可W在 一个统一的模型中适应多姿态的人脸图像的表情识别。具体技术方案如下：
[0006] 一种基于层次TDP模型的自然人脸检测、分割和表情识别方法，包括W下步骤：
[0007] S1，样本图片的特征提取；对输入的原始图像进行图像二值化得到灰度图像，通过 寻找具有显著二阶导数的像素点得到感兴趣的角点，然后通过边缘检测器得到角点边缘信 息，连接得到感兴趣楠圆区域；对每一个感兴趣的楠圆区域提取128维SIFT特征W及相应 的二维位置信息，对128维的SIFT特征通过K-means进行降维，与位置信息组合得到具有 几何约束的=维特征向量；
[0008]S2,人脸检测与分割层训练；步骤S1所得S维特征向量作为模型第一层的输入， 通过加入姿态参数C，训练得到一个可W适应多姿态人脸检测与分割子模型，并将分割完成 的人脸图像作为下一层的输入；
[0009]S3,子区域的检测与分割层的训练；对步骤S2所检测的人脸图片，采用步骤S1的 方法进行特征提取，将提取的特征作为模型第二层子区域分割层的输入，训练得到子区域 检测与分割子模型，将分割得到的与表情最相关的子区域作为模型第=层人脸表情识别层 的输入，其余区域丢弃；
[0010]S4,人脸表情识别层的训练；将步骤S3检测得到的子区域采用步骤S1的方法进行 特征提取，得到的具有几何约束的特征向量作为模型最后一层人脸表情识别层的输入，通 过姿态信息的引入训练得到可W适应多姿态的人脸表情识别模型。
[0011]S5,人脸测试图片中人脸表情的识别；采用S1中的特征提取方法提取待识别人脸 表情图像的特征，然后依次输入S2,S3,S4中训练得到的人脸检测与分割层，子区域的检测 与分割层和人脸表情识别层，最终得到待识别人脸表情图像中人脸所表现的表情类别。
[0012] 进一步，所述步骤S1中具有几何约束的=维特征向量形成的具体过程为；对得到 的楠圆区域进行特征提取，得到楠圆区域的二维位置信息，W及128维SIFT特征信息。对 128*n维SIFT特征通过k-means进行降维得到l*n维信息，结合二维坐标信息得到S维特 征向量作为训练模型的输入信息。
[0013] 进一步，所述步骤S2中适应多姿态人脸检测与分割子模型为；通过引入姿态参数 C，使EIR的特征表情t不仅仅用类别标签m来标注，而是将t表示为t=C?m来标注一张 训练图片中的每一个EIR，从而得到一个可W多姿态的人脸检测与分割的统一的子模型。
[0014] 进一步，所述步骤S3中分割得到与表情最相关的子区域的具体过程为：经过多次 迭代循环之后得到多个子区域对应的不同分布，对一张测试图片，判断它所拥有的N个EIR 属于每个子区域的概率，然后根据最大似然估计值得到每个EIR所属的类别，然后对其进 行划分，即可将一张测试图片划分为多个子区域。
[0015] 进一步，所述步骤S5学习得到待检测图片的人脸表情类别的具体过程如下；经过 多次迭代循环之后学习得到每张人脸图像所属的人脸表情类别所对应的不同分布，对一张 人脸表情图像，判断该张人脸表情图像属于每种表情类别的概率，取其最大似然估计值得 到一张人脸表情图像所属的人脸表情类别。
[0016] 本发明具有有益效果。本发明的基于层次TDP模型的自然环境下人脸检测、分割 和表情识别统一框架，通过引入姿态参数到TDP模型中，使得不同姿态人脸图像的人脸检 巧。、子区域分割W及表情识别可W在一个完整统一的模型中进行，而无需再为每一种姿态 分别建立不同的识别模型。特点是通过姿态参数控制主题分布，通过联合几何特征与纹理 特征形成一种几何约束来提高识别的准确率W及模型对姿态，光照等因素的鲁椿性。使得 学习到的模型不受姿态，光照等因素的干扰，准确地识别各种姿态下的人脸表情图片的表 情类别。本发明解决了传统多姿态表情识别中需要为每种姿态分别建立模型，W及由于姿 态等因素造成模型识别率低的问题，能够有效地提高多姿态人脸图像表情识别的准确率。
【附图说明】
[0017] 图1是基于TDP模型的多层次自然人脸检巧u、分割和表情识别流程图；
[0018] 图2是特征提取流程图。
【具体实施方式】
[0019] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述。
[0020] 图1给出了本发明的总体思路。该方法分为S个层次，如图1中所示，在第一层 中，首先对输入的图像进行预处理得到灰度图，然后对得到的灰度图像进行特征提取得到 具有几何约束的特征向量送入模型第一层一-人脸检测层，训练得到人脸检测子模型，检 测得到人脸图像送入模型第二层一-子区域检测层，训练得到子区域分割子模型，在第二 层中，经过与第一层相同的过程得到子区域W及背景，对子区域进行特征提取送入模型第 S层一-人脸表情识别层，最终训练得到人脸表情识别子模型。对于一张测试图片经过同 样的特征提取过程，送入第一个子模型人脸检测子模型检测得到人脸。然后将检测到的人 脸区域送入第二个子模型子区域分割子模型分割得到关键子区域。最后送入人脸表情识别 子模型进行人脸表情识别。
[0021] 特征的详细提取过程如图2所示，对于预处理后的灰度图像，经过Harris-affine 不变区域检测算法检测出图像中具有显著二阶导数的像素点作为角点，然后通过高斯拉普 拉斯算子得到每个角点的特征尺度，最后利用最大稳定极值区域MSER算法得到具有仿射 不变性的楠圆区域。基于该些仿射不变区域提取128维的SIFT特征W及每个仿射不变区 域所对应的二维位置信息，对于128维的SIFT特征通过K-means算法降维，然后与二维的 位置信息组合得到具有几何约束的特征向量。
[0022] 本发明首先对图片进行二值化得到灰度图像，在灰度图像上提取具有仿射不变性 的区域，基于此不变区域提取SIFT特征与位置信息，从而构成几何约束，然后利用多层次 的迁移狄利克雷过程逐步地完成自然环境下人脸表情识别；第一步，人脸分割；第二部，子 区域（眼睛，鼻子，嘴己，眉毛，前额）的分割。第S步，人脸表情识别。
[002引 1模型训练过程：
[0024] 1. 1人脸检测子模型训练过程如下：
[0025] 1. 1. 1样本图片的特征提取：首先对输入的原始图像进行图像二值化得到灰度图 像，通过寻找具有显著二阶导数的像素点得到感兴趣的角点，然后通过边缘检测器得到角 点边缘信息，连接得到感兴趣楠圆区域；通过变量scale-一每个像素点所属角度，控制楠 圆区域的密度，对得到的楠圆区域进行特征提取，产生133*n的特征信息，其中n表示楠圆 区域的数量，前两行数据对应n个楠圆区域的（X，y)坐标信息，即每个楠圆区域的位置信 息，第S行至第五行对应角度信息，最后为128维SIFT特征信息。
[0026] 1. 1. 2图像表示：对128*n维SIFT特征通过k-means进行聚类、降维得到l*n维 的特征信息，结合二维坐标信息得到具有几何约束的=维特征向量作为训练模型的第一层 输入信息。由于此=维特征向量同时包含了几何特征W及纹理特征，因此在模型的学习过 程中构成了几何约束，从而提高了模型对于姿态，光照等因素的鲁椿性。
[0027] 1. 1. 3人脸检测与分割层训练；步骤1. 1. 1所得S维特征向量作为模型第一层的 输入，通过加入姿态参数C，训练得到一个可W适应多姿态人脸检测与分割子模型，并将分 割完成的人脸图像作为下一层的输入。适应多姿态人脸检测与分割子模型为；通过引入姿 态参数C，使每个楠圆不变区域EIR的特征表情t不仅仅用类别标签m来标注，而是将t表 示为t=C-m来标注一张训练图片中的每一个EIR，从而得到一个可W适应多姿态的人脸 检测与分割的统一的子模型。首先介绍迁移狄利克雷过程中设及的几个基本定义：
[002引 （1).假设有J张实验图片，包含了C种姿态化及M种标签（第一层的标签为人脸 与非人脸，第二层的标签为眼睛，鼻子，嘴己，眉毛，前额与背景，第=层的标签为八种基本 表情），每个楠圆不变区域EIR是一张图片的最小表示单元，因此EIR可W表示如下：
[0029]EIR{i} = (V，W，d (1)
[0030] 其中，V表示每个楠圆区域的位置信息，w表示纹理特征，t为类别标签，t=c'm， 且姿态参数c={l，…，口，类别标签m={l，…，M}，其中c即为我们所加入的控制实验 图片姿态的参数。
[0031] (2).建立位置信息与纹理特征之间的联系；通过二维特征向量Pj.建立位置信息 与纹理特征之间的联系，从而在训练过程中形成了不同的楠圆区域之间的联系，使它们具 有几何约束，从而提高了模型对姿态、光照等因素的鲁椿性。PJ服从高斯分布，可W表示如 下：
[0032] P广NUm，丫m) 似
[003引其中，Um，丫m)服从正态-逆Wishart先验分布。
[0034] (3).对于任意一张姿态为C的图像，通过参数31来决定主题分布，31服从多项分 布JT~p〇IC，曰）。
[003引其中，p( ?)为多项分布，a为满足狄利克雷分布的超参数，它是一个由CXK得到 的矩阵，其中K是主题的个数且由模型学习得到。
[0036] (4).对于一张姿态为C的任意原始图像j，它可由N个楠圆不变区域EIR组成， 因此j可W表示为j=巧IR{1}，EIR{2}，...，EIR{N}，然后对于每一个EIR由EIR。~ P巧IR"|z。，n)选取它所属的主题。
[0037] 其中Z。~p(z"| 3T)，p( ?)表示主题的多项分布，Z。是一个K维的向量单元，且n 是一个KXT的矩阵，T是由特征表中特征的数量决定的。
[0038] 巧).由W上基本定义可得：
[0039] -张图片的特征分布可W表示为：
[0040]
(3)
[0041] 由此，一个不变楠圆区域W及它所属主题之间的关系可W通过一个无限混合模型 得到，表示如下：
[0042]
[0048] 通过公式（4)得到了每一个楠圆不变区域EIR的表示，然后通过吉布斯采样学习 进行人脸检测子模型的训练，采样方法采取马尔科夫链蒙特卡罗（MCMC)方法。
[0049] 通过中国餐馆模型可W形象化的了解模型采样的过程，具体描述如下：假设有任 意一个餐馆（每一个餐馆相当于一张任意姿态的图片），所有的餐馆拥有共同的菜品（每种 菜品相当于模型中的一种主题），每个餐馆不断的进入的新的客人（每个客人相当于每张 图片中的每个EIR)。每位客人进入可W选择一个已有的桌子或者是选择一张新的桌子（每 张桌子对应于唯一一个潜在的物体类别，即每张桌子上的客人只可W点一道相同的菜品）， 然后待所有客人进入完毕，为每张桌子上的客人选择一道菜品，所有的餐馆都经过相同的 过程，该样就相当于将每张图片中具有相同属性的EIR划分在一起，然后送入模型进行迭 代循环学习。但是我们的模型与传统的中国餐馆模型不同，对于进入的每位客人，我们不仅 用传统的纹理特征去表示，还会记录每位客人的位置（即每个楠圆不变区域在一张图片中 的位置），通过几何信息形成几何约束，从而提高模型对姿态W及光照等因素的鲁椿性。
[0050] 下面对此过程进行形式化的学习：
[0051] 假设一张图片j中有Nj个特征属于人脸，设（〇,^.) = (<，2;^1)，其中〇表示不断 进入的客人，Z表示潜在的主题，t表示每个EIR位置信息所对应向量中的位置，且t~31。 对{I，2,…，耐采取随机置换T(.)，那么可有iG(t(1)，...，T所)}。那么对于特 征（Wj.i，Vw)的一次分配过程可表示如下：
[0052] (1).将特征（w^，v^)从它当前所属的主题的移出；
[0053]
[0054] 其中，化表示属于某个主题的桌子的个数，Ek，表示某一主题下对应的纹理特征数 量，{A，人己表示某一主题下对应的几何特征，0表示将此位置特征从当前主题中移出。
[00巧](2).确定主题的先验分布：
[0056]
[0057] (3).通过学习对不同的EIR选取其新的所属主题：
[0058]
[0059] (4).然后将特征重新加入它所属新的主题中：
[0060]
[00川巧).当所有特征向量均经历步骤（1)-(4)之后，固定(0f，zf) =的，气），更新特征 向量之间所具有的几何约束；
[0064] 几何约束满足高斯分布巧"~W(疋，与），其中Xj.表示高斯分布的均值，Sj.表示 方差。重复（1)-巧），经过多次迭代循环之后，得到人脸检测子模型，人脸与非人脸对应不同 分布巧"。
[006引f1.2子区域（眼睛，鼻子，嘴己，眉毛，前额）分割子模型训练过程如下：
[0066] 子区域的检测与分割层的训练；对步骤1. 1. 3所检测的人脸图片，采用步骤1. 1. 1 的方法进行特征提取，将提取的特征作为模型第二层子区域分割层的输入，训练得到子区 域检测与分割子模型，将分割得到的与表情最相关的子区域作为模型第=层人脸表情识别 层的输入，其余区域丢弃。其中分割得到与表情最相关的子区域的具体过程为；经过多次迭 代循环之后得到的多个子区域对应的不同分布，对一张测试图片，判断它所拥有的N个EIR 属于每个子区域的概率，然后根据最大似然估计值得到每个EIR所属的类别，然后对其进 行划分，即可将一张测试图片划分为多个子区域。
[0067] 1. 2. 1采用1. 1. 1中的方法，对得到的人脸图像进行灰度化并提取特征。
[006引 1. 2. 2采用1. 1. 2中的方法，对提取到的特征通过K-means进行降维。
[006引 1. 2. 3采用1. 1. 3所述的方法，对每个EIR进行表示，然后对1. 2. 2中得到的每一 个不变楠圆区域EIR通过吉布斯采样学习进行模型训练，采样方法仍然采取马尔科夫链蒙 特卡罗（MCMC)方法。训练完成得到子区域分割子模型。
[0070] 1. 3.人脸表情识别子模型训练过程如下：
[0071] 人脸表情识别层的训练；将步骤1. 2检测得到的子区域采用步骤1. 1. 1的方法进 行特征提取，得到的具有几何约束的特征向量作为模型最后一层人脸表情识别层的输入， 通过姿态信息的引入训练得到可W适应多姿态的人脸表情识别模型。
[0072] 1. 3. 1采用1. 1. 1中的方法，对得到的子区域（眼睛，鼻子，嘴己，眉毛，前额）进行 灰度化 并提取特征。
[0073] 1. 3. 2采用1. 1. 2中的方法，对提取到的特征通过K-means进行降维，然后对五个 子区域（眼睛，鼻子，嘴己，眉毛，前额）的特征进行有区分的组合。
[0074] 1. 3. 3采用1. 1. 3所述的方法，对每个EIR进行表示。对1. 3. 2中得到的每一个不 变楠圆区域EIR通过吉布斯采样学习进行模型训练，采样方法仍然采取马尔科夫链蒙特卡 罗（MCMC)方法。通过姿态信息的引入训练得到可W适应多姿态的人脸表情识别子模型。
[0075] 2待测人脸图像表情识别过程：
[0076] 2. 1人脸检测过程如下：
[0077] 采用1. 1. 3经过多次迭代循环之后得到的人脸与非人脸对应的不同分布巧"，对一 张未知测试图片j:
[0078] 2. 1. 1假设它有N个楠圆不变区域，那么每个楠圆不变区域属于人脸或者非人脸 的概率可
[007引 W表示为：
[0080]
[0081] 2. 1. 2取其最大似然估计值得到每个楠圆不变区域最终所属的类别：
[0082]m=argmax^p(j|m) (巧）
[0083] 2. 1. 3将N个楠圆不变区域划分为两类一一人脸与非人脸。
[0084] 2. 2人脸关键子区域分割过程如下：
[0085] 采用1. 2. 3经过多次迭代循环之后得到的多个子区域对应的不同分布，对一张由 2.1得到的人脸图像：
[0086] 2. 2. 1通过2. 1. 1中公式（14)得到每个楠圆不变区域属于每个子区域的概率。
[0087]2. 2. 2对2. 2. 1中得到的概率采用2. 1. 2中公式（15)，取其最大似然估计值得到 每个楠圆不变区域所属的类别。
[0088] 2. 2. 3将N个楠圆不变区域划分为六类一一眼睛，鼻子，嘴己，眉毛，前额W及背 旦
[0089] 2. 3人脸表情识别过程如下；
[0090] 采用步骤1.1.1中的特征提取方法提取待识别人脸表情图像的特征，然后依次输 入步骤1. 1. 3,1. 2,1. 3中训练得到的人脸检测与分割层，子区域的检测与分割层和人脸表 情识别层，最终得到待识别人脸表情图像中人脸所表现的表情类别。具体过程为：
[0091] 采用1. 3. 3经过多次迭代循环之后学习到的每张人脸图像所属的人脸表情类别 所对应的不同分布，对一张人脸表情图像：
[0092] 2. 3. 1通过2. 1. 1中的公式（14)得到该张人脸表情图像属于每种表情类别的概 率。
[0093] 2. 3. 2对2. 3. 1中得到的概率采用2. 1. 2中公式（15)，取其最大似然估计值得到 一张人脸表情图像所属的人脸表情类别。
[0094] 综上所述，本发明公开了一种基于层次TDP模型的自然环境下人脸检测、分割和 表情识别的统一框架，在该统一框架下，把人脸表情识别分为=个步骤：多姿态的人脸检测 与分割，子区域（眼睛，鼻子，嘴己，眉毛，前额）的分割，W及人脸表情识别，每一步均采用 TDP模型。首先，对完整的图像进行预处理得到SIFT特征W及对应的位置信息，然后将该两 种特征组合得到的特征向量输入模型第一层一一人脸检测层，检测出人脸与非人脸，分割 得到的人脸图像作为模型第二层一一子区域检测层的输入，检测得到人脸关键子区域。最 终提取到的子区域的特征输入到模型第S层一一人脸表情识别层，最终得到人脸图像的表 情类别。通过W上=个步骤得到一个多层次、统一的自然人脸表情识别方法。通过引入姿 态控制参数使模型可W适应多姿态的人脸表情识别。因此本发明解决了多姿态人脸表情识 别需要分别针对人脸检测、人脸分割和表情识别建立不同模型，W及由于多姿态因素导致 人脸表情识别准确率不高的问题。
[0095] 尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可W理解；在不 脱离本发明的原理和宗旨的情况下可W对该些实施例进行多种变化、修改、替换和变型，本 发明的范围由权利要求及其等同物限定。
【主权项】
1. 一种基于层次TDP模型的自然人脸检测、分割和表情识别方法，其特征在于，包括以 下步骤： S1，样本图片的特征提取：对输入的原始图像进行图像二值化得到灰度图像，通过寻找 具有显著二阶导数的像素点得到感兴趣的角点，然后通过边缘检测器得到角点边缘信息， 连接得到感兴趣椭圆区域；对每一个感兴趣的椭圆区域提取128维SIFT特征以及相应的二 维位置信息，对128维的SIFT特征通过K-means进行降维，与位置信息组合得到具有几何 约束的三维特征向量； 52, 人脸检测与分割层训练：步骤Sl所得三维特征向量作为模型第一层的输入，通过 加入姿态参数c，训练得到一个可以适应多姿态人脸检测与分割子模型，并将分割完成的人 脸图像作为下一层的输入； 53, 子区域的检测与分割层的训练：对步骤S2所检测的人脸图片，采用步骤Sl的方法 进行特征提取，将提取的特征作为模型第二层子区域分割层的输入，训练得到子区域检测 与分割子模型，将分割得到的与表情最相关的子区域作为模型第三层人脸表情识别层的输 入，其余区域丢弃； 54, 人脸表情识别层的训练：将步骤S3检测得到的子区域采用步骤Sl的方法进行特征 提取，得到的具有几何约束的特征向量作为模型最后一层人脸表情识别层的输入，通过姿 态信息的引入训练得到可以适应多姿态的人脸表情识别模型。 55, 人脸测试图片中人脸表情的识别：采用Sl中的特征提取方法提取待识别人脸表情 图像的特征，然后依次输入S2, S3, S4中训练得到的人脸检测与分割层，子区域的检测与分 割层和人脸表情识别层，最终得到待识别人脸表情图像中人脸所表现的表情类别。2. 根据权利要求1所述的基于层次TDP模型的自然人脸检测、分割和表情识别方法， 其特征在于，所述步骤Sl中具有几何约束的三维特征向量形成的具体过程为：对得到的椭 圆区域进行特征提取，得到椭圆区域的二维位置信息，以及128维SIFT特征信息。对128*n 维SIFT特征通过k-means进行降维得到l*n维信息，结合二维坐标信息得到三维特征向量 作为训练模型的输入信息。3. 根据权利要求1所述的基于层次TDP模型的自然人脸检测、分割和表情识别方法，其 特征在于，所述步骤S2中多姿态人脸检测与分割子模型为：通过引入姿态参数c，使EIR的 特征表情t不仅仅用类别标签m来标注，而是将t表示为t = c 来标注一张训练图片中 的每一个EIR，从而得到一个可以适应多姿态的人脸检测与分割的统一的子模型。4. 根据权利要求1所述的基于层次TDP模型的自然人脸检测、分割和表情识别方法，其 特征在于，所述步骤S3中分割得到与表情最相关的子区域的具体过程为：经过多次迭代循 环之后得到多个子区域对应的不同分布，对一张测试图片，判断它所拥有的N个EIR属于每 个子区域的概率，然后根据最大似然估计值得到每个EIR所属的类别，然后对其进行划分， 即可将一张测试图片划分为多个子区域。5. 根据权利要求1所述的基于层次TDP模型的自然人脸检测、分割和表情识别方法，其 特征在于，所述步骤S5学习得到待检测图片的人脸表情类别的具体过程如下：经过多次迭 代循环之后学习得到每张人脸图像所属的人脸表情类别所对应的不同分布，对一张人脸表 情图像，判断这张人脸表情图像属于每种表情类别的概率，取其最大似然估计值得到一张 人脸表情图像所属的人脸表情类别。
【专利摘要】本发明公开了一种基于层次TDP模型的自然人脸检测、分割和表情识别方法，首先对原始图像进行预处理，提取SIFT特征以及对应的位置信息，再采用一种有效的迁移狄利克雷过程将这两种特征组合得到的具有几何约束的特征向量输入到TDP模型，得到第一层的结果——人脸与非人脸。分割完成的人脸作为第二层的输入，经过相同的过程得到子区域的分割结果。最终将子区域作为第三层——人脸表情识别层的输入，经过同样的特征提取与组合，得到人脸图像的表情识别结果。本发明解决了传统多姿态表情识别中需要为每种姿态分别建立模型，以及由于姿态等因素造成模型识别率低的问题，能够有效地提高多姿态人脸图像表情识别的准确率。
【IPC分类】G06K9/00, G06K9/66
【公开号】CN104881639
【申请号】CN201510245196
【发明人】毛启容, 张飞飞, 于永斌, 罗新, 屈兴, 詹永照
【申请人】江苏大学
【公开日】2015年9月2日
【申请日】2015年5月14日