人脸轮廓的提取，是计算机视觉领域的新兴热点研究课题，该课题对人脸识别、表情识别、目标跟踪等诸多相关课题的研究具有重要意义。在人脸处于正面姿态下，能够取得较好的定位结果，然而当人脸旋转处于姿态变化中时，定位结果较差，误差很大。为了得到多姿态下人脸的特征点，一种AAM结合zhu-detector的人脸特征点定位算法，经实验证明，该算法在人脸多姿态的情况下仍能够定位得到准确的特征点，能够很好适应人脸的多种姿态变化。

人脸特征点定位的方法主要可以分为三类：第一类为ASM与AAM类方法，ASM和AAM是针对人脸等特定类别物体进行特征点提取最为经典的方法，首先基于特征点的图像特征在图像上搜索匹配的特征点位置，再依据先验形状模型进行矫正，使特征点位置满足人脸轮廓形状约束条件；第二类为统计能量函数类方法，其中统计能量函数定义为描述各方面信息的子能量函数的线性综合，并使用转折点损失的负指数函数的形式进行能量函数描述，该类方法缺点是定位时间较长；第三类为深度学习类方法，深度学习方法丰富了各因素变量间的关联建模方式，其学习模型由三个层次组成，其中两个层用于描述特征点之间的空间关系，剩余一层描述关联当前的输入信息，通过构建神经网络模型进行训练学习，该类方法能更灵活、紧密地反应各类信息之间的联系，从而更好地解决信息的融合问题，但学习所需时间太长，学习所需样本数量巨大。

以上方法对人脸姿态的变化适应性差，在多姿态人脸特征点定位准确性较低。由此可见，一种能够很好适应人脸姿态变化的人脸特征点定位算法，显得尤为重要。

 

AAM 特征点定位方法最早由 T.F.Cootes 等人提出，该方法分别对人脸的形状和纹理建立统计模型，由一组处于初始位置的形状特征点，通过迭代匹配的方法，精确地获得图像中人脸的特征位置，是目前使用最广泛的特征点定位方法。AAM模型对收索的初始位置都要求在接近目标物体的粗略位置上，虽然通常可以配合一些人脸检测器得到特征点位置，但模型通常收索不到正确的位置。所以很多时候初始点都是以人为利用计算机鼠标给定初略区域，算法无法达到特征点自动定位。

Zhu-detector也叫混合树结构检测定位方法，该算法通过定义了不同姿态下树结构Tm，m为姿态类别。类似AAM和ASM模型对人脸分别建立形状模型Appm (I,L) 和纹理模型Shapem (L)，I为输入图像，L为特征点位置。在不同姿态m下建立的多姿态混合树结构如图1所示。       

图1 13种不同姿态下的混合树结构

（红色曲线表示特征点之间的变形）

 

最后利用一个得分Score建立人脸的形状和纹理模型如下式1

          (1)

其中，APP代表纹理模型，Shape代表形状模型，在利用该模型对一幅图像进行人脸检测和特征点定位时，收索策略为图像金字塔模式，比较人脸在不同姿态模型下的拟合情况，利用下式来决定最后结果。

   (2) 

通过比较在m种姿态模型下得到的结果，比较得分最高与训练得到阈值，大于阈值的所有位置即为检测得到的人脸及特征点。

zhu-detector与多姿态AAM结合的特征点定位方法，方法的主要思想是分别建立多个姿态下的AAM模型以提高模型对人脸姿态的适应性，定位过程中利用zhu-detector检测得到特征点AAM作为初始点，利用建立好多个姿态AAM模型进一步进行拟合，按最小拟合误差输出定位结果。二者的结合，既解决了AAM的初始特征点位置要求，又能进一步提高了特征点准确性。实验表明该方法对多姿态人脸具有良好特征点定位性能，算法流程图如图2所示。

 

图2   Zhu-detector与多姿态AAM结合的姿态人脸特征点定位流程示意图

 

Zhu-detector 与多姿态AAM结合的特征点定位算法流程：

step1: 输入待测图像，经zhu-detector得到初略特征点位置，求出模型初始参数c0

step2: 循环分别利用13种姿态模型进行特征点收索

step3: 第i种姿态AAM模型拟合

step4: 循环 j=1:T 每种姿态下收索T次

step5: 计算对应模型形状纹理拟合误差Ei

step6: 比较在13个姿态模型下AAM拟合误差Ei，按误差最小输出

建立 AAM 模型阶段，对应zhu-detector的多姿态模型，分别建立13个姿态下的AAM模型。训练集对应 30 个不同身份，每个人13种不同视角共计390幅人脸图像进行特征点的标记。每幅图像标记 68 个特征点，分布在人脸的五个特征区域，眉毛、眼睛外轮廓及瞳孔、鼻梁及鼻翼、嘴唇外轮廓、脸颊外轮廓及额头。如下图3所示：

    

图3  标记的13种姿态图像特征点样本

 

分别对不同视角下的样本建立独立的统计模型。选取一个特定视角，采用主成分分析的方法，构建该视角下人脸的形状模型。

S是该视角下的一幅人脸图像的形状信息，s是同一视角下不同身份人形状的均值，Ps 是利用 PCA 方法求出的一组形状特征向量，bs为S 在这组特征向量下的投影，即形状参数。建立模型之前需要对原始图像进行预处理，并对不同视角的图像分别构建样本集合，针对不同视角的灰度图像，采用 PCA 的方法，建立人脸纹理模型，式4中T 表示训练集中指定视角下的一幅图像，T 表示该视角下所有训练图像灰度的值，Pt表示利用 PCA 生成的能够集中反应图像灰度变化的一组纹理特征向量，bt 代表图像在特征向量上的投影，即纹理参数，可以重新构建出原图像。

形状和纹理模型建立之后，图像可以分别表示成在各自特征向量上的一组形状参数与纹理参数，为了使后续的优化过程更加简便，我们需要将上述两种参数合二为一，寻找到一种能同时反映形状和纹理变化的复合参数，以及当参数变化时特征向量的新形式。将上述两组参数进行连接，得到一组复合参数b。

从该模型当中可以看出，形状与纹理数据可以由同一个参数 c 来表示，在训练模型阶段如果能准确地求出特征相量与均值，在匹配阶段，只需要对混合参数 c进行迭代直至收敛，就可以实现新图像形状的构建。

 

将本文特征点定位方法与混合树结构zhu-detector方法与单一AAM模型在LPFW库进行实验，LPFW库test集含有经手工标记了68个特征点不同姿态人脸共224 张，实验主要通过比较三种特征点定位方法得到的68特征点位置与手工标注位置欧式距离作为定位误差。假设库里有N张人脸图像，每种方法定位累积误差可由下式表示：

结果由下图4给出，其中横坐标代表累积误差，纵坐标代表人脸图像个数。

 

经比较，特征定位法定位误差要远小于单一AAM模型和zhu-detector方法，尤其在人脸有较大变化时能得到较精确特征点位置。图5为不同姿态人脸特征点定位结果示例：每行从上到下方法分别为混合树Zhu-detector、单一AAM模型方法，特征定位方法。可以看出，特征定位法在较大姿态变化时能取得较精确特征点位置坐标，而单一AAM模型和zhu-detector定位算法都出现了人脸严重变形，特征点收敛到错误的位置。

 

图5 三种特征点定位方法在不同人脸姿态下定位结果

 

针对多姿态人脸特征点定位精度不高的问题，zhu-detector与多姿态AAM结合的特征点定位方法，通过训练多个姿态下的AAM模型以适应姿态的变化，并充分利用了各自定位算法的优势，弥补了二者的缺陷，实现了对多姿态人脸特征点自动定位，实验也表明该方法对多姿态人脸特征点定位具有较高的准确性和较强的鲁棒性。

 

参考文献

[1] Cootes T F, Edwards G J, Taylor C J. Active appearance models[M]//Computer Vision—ECCV’98. Springer Berlin Heidelberg, 1998: 484-498.

[2] Wu Y, Ji Q. Discriminative deep face shape model for facial point detection. International  Journal of Computer Vision, 2015, 113(1) : 37-53.

[3] Saragih J M, Lucey S, Deformable model fitting with a mixture of local  experts//Proceedings of the International Conference on Computer Vision. Kyoto, Japan,2009: 2248-2255.

[4] Zhu X, Ramanan D. Face detection, pose estimation, and landmark localization in the wild[C]//Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012: 2879-2886.

[5] Hyung-Soo Lee, Daijin Kim. Tensor-Based AAM with Continuous Variation Estimation: Application to Ariation-Robust Face Recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2009,31(6):1102-1116.

 

白利敏 刘素兵

(作者单位：国家知识产权局审协天津中心)