1 / 12

Facial Feature Points Tracking Based on AAM with Optical Flow Constrained Initialization

Facial Feature Points Tracking Based on AAM with Optical Flow Constrained Initialization. 报告人：崔 滢. 2011 年 8 月 25 日. 主动表观模型（ AAM ）是一种快速而有效的人脸特征点定位方法。它也可以直接应用在视频跟踪中，即将 AAM 上一帧的定位结果作为当前帧迭代搜索的初始值。但是因为 AAM 的初始形状对于搜索结果有着比较大的影响，这种做法只适合帧间运动较小的情况。

thyra
Download Presentation

Facial Feature Points Tracking Based on AAM with Optical Flow Constrained Initialization

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Facial Feature Points Tracking Based on AAM with Optical Flow Constrained Initialization 报告人：崔 滢 2011年8月25日

  2. 主动表观模型（AAM）是一种快速而有效的人脸特征点定位方法。它也可以直接应用在视频跟踪中，即将AAM上一帧的定位结果作为当前帧迭代搜索的初始值。但是因为AAM的初始形状对于搜索结果有着比较大的影响，这种做法只适合帧间运动较小的情况。 为了解决这个问题，我们引入Lucas-Kanade光流法来提高人脸形状初始位置的准确程度。光流跟踪能够准确检测局部纹理显著的点，但是对于局部纹理变化不明显的点不能很好检测。我们使用光流法检测人脸图像上比较显著的几个角点，用以对AAM的初始形状进行约束。

  3. Lucas-Kanade 光流法 当光照、角度等没有发生剧烈变化时，可以假定帧间人脸特征点的局部灰度值是不变的，从而将特征点跟踪看成光流跟踪的一个实例。 给定相邻两帧图像It-1, It，对It-1中的一个特征点p = (x,y)T，假设光流为d = (u,v)T,则在It中对应的特征点为p+d。Lucas-Kanade 算法的目的就是搜索位移量使得与对应点相关的邻域的匹配误差最小，即在p的局部邻域N(p)上定义如下的代价函数： 这里w(x) 为权函数。对其优化得到所求解： 其中， ， ， ，

  4. Lucas-Kanade 光流法 光流法通过梯度下降的迭代算法进行图像的匹配，需要被跟踪点周围有丰富的纹理，因此对特征明显的角点检测比较准确，而对梯度变化不大的轮廓容易出现特征点跟踪失败的情况。因此我们仅用光流法来检测人脸中的嘴角、鼻翼、眼睛等关键点，用以约束AAM的初始形状。 Fig.1 Computed optical flow between frame 83 and 84

  5. 基于相似变换的AAM初始形状改进 人脸区域可以粗略地近似为一个满足相似变换约束的二维平面，在这种假设下，给定上一帧的形状位置，由帧间的相似变换参数就可以得到下一帧的预测值。利用光流跟踪的结果可以计算帧间相似变换参数。光流跟踪的点只需要在人脸内部即可，跟踪出3个以上的点就可以计算出相应的相似变换参数。这样既充分利用了帧间的相似性，又提高了算法的鲁棒性。 假设前一帧光流跟踪的点集为 当前帧光流跟踪的点集为 （l≥3 ），那 么两帧之间的相似变换关系可以表示为 ：

  6. 基于相似变换的AAM初始形状改进 其中 是尺度与旋转矩阵，是平移向量。 假设前一帧特征点的点集为 ， 当前帧的特征点初始点集为St，那么根据相似性保持， St可以由参数C和D由下式计算得出：

  7. 跟踪算法 Find the feature points with salient local appearances for Lucas-Kanade optical flow in the last frame, frame t-1, and get points set . For frame t, compute the Lucas-Kanade optical flow tracking set . Compute the Similarity Transformation parameters C and D. According to the AAM tracking result of frame t-1, compute the current corresponding set by C and D. Let be the initial shape of AAM, use AAM to track the feature points S. Let t = t+1, S→ , go to the first step.

  8. 实验 跟踪一段400帧的视频，AAM跟踪失败的点，优化了初始形状后可以跟踪准确 。 Fig.2 Tracking result comparison: only AAM(top), optical constraint AAM(bottom)

  9. 实验

  10. 实验 Fig.3 480×640 time cost

  11. 实验 Fig.4 240×320 time cost

  12. 谢谢！ 报告人：崔 滢 2011年8月25日

More Related