自動臉部特徵偵測整容系統

1. 自動臉部特徵偵測整容系統 指導老師： 楊傳凱 老師 口試委員： 鮑興國 老師 項天瑞 老師 楊傳凱 老師 學生：龔興東 NTUST CGM LAB 2008/06/06

2. 自動臉部偵測整容系統

3. 大綱 動機與目的 文獻探討 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望

4. 動機 動機 文獻探討 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 Levyand等人的”Digital Face Beautification”在2006年提出人臉的美醜是足以成為別人目光的焦點，並提出美的觀念跟看法 並未提出詳細作法？

5. 動機 動機 文獻探討 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 整容？ 醫療技術的進步、帶動整容風潮 人工美女不再是空談 整容的看法大不同 不敢整容？ 臉上割一刀？破相？ 不便宜的手術？

6. 目的 動機 文獻探討 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 一套整容系統？ 一套可以自動偵測臉部特徵的整容系統

7. 文獻探討 無縫貼圖技術 臉部特徵偵測 系統界面研究

8. 無縫貼圖 動機 文獻探討 無縫貼圖技術 臉部特徵偵測 系統界面研究 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 從一張來源影像選取一個範圍，將其範圍無縫的貼到目標影像上 將兩張影像無縫的合併在一起

9. 無縫貼圖 動機 文獻探討 無縫貼圖技術 臉部特徵偵測 系統界面研究 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 Perez等人的”Poisson Image Editing” [Perez et al. 2003]提出使用Poisson Equation來達到無縫貼圖的技術

10. 臉部特徵偵測 動機 文獻探討 無縫貼圖技術 臉部特徵偵測 系統界面研究 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 Kjeldsen等人的”Find Skin in Color Images” [Kjeldsen and Kender 1996]使用HSV色度空間去找出皮膚點，進而找出人臉 Lin等人的”Automatic Facial Feature Extraction by Genetic Algorithms”[Lin et al. 1999]則提出人臉的一些相對應關係跟特徵位置來去找出特徵 我們提出的臉部特徵辨識演算法是建立在HSV色度空間下的一種演算法

11. 系統界面研究 動機 文獻探討 無縫貼圖技術 臉部特徵偵測 系統界面研究 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 人性化的系統操作方式 Lalonde等人的”Photo Clip Art”[Lalonde et al 2007]提出一個以物件為基礎分類的資料庫

12. 臉部特徵偵測

13. 系統流程 動機 文獻探討 臉部特徵偵測 系統流程 人臉辨識方法 特徵擷取方法 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 特徵資料庫 輸入影像 眼睛 特徵偵測 分類 嘴巴 人臉影像 鼻子 自動臉部特徵偵測 眉毛 使用者載入 自己喜愛特徵 選擇特徵 是否滿意 整容結果 進行整容 輸出結果 是 特徵調整 否

14. 人臉辨識方法 動機 文獻探討 臉部特徵偵測 系統流程 人臉辨識方法 特徵擷取方法 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 每一張圖皆縮放至320 X 240大小 皮膚色：Hue 值介於1~50之間 灰階值在100 ~220 之間

15. 人臉辨識方法 動機 文獻探討 臉部特徵偵測 系統流程 人臉辨識方法 特徵擷取方法 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 寬度由最多皮膚色列的第一個膚色點為左界，最後一個膚色點為右界

16. 人臉辨識方法 動機 文獻探討 臉部特徵偵測 系統流程 人臉辨識方法 特徵擷取方法 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 高度則為寬度中點上下加減0.7倍的寬度

17. 人臉辨識方法 動機 文獻探討 臉部特徵偵測 系統流程 人臉辨識方法 特徵擷取方法 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 列少於20個皮膚點 行少於30個皮膚點

18. 眼睛辨識方法 動機 文獻探討 臉部特徵偵測 系統流程 人臉辨識方法 特徵擷取方法 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 (Sobel測邊法) (非膚色及邊點) (膚色點)

19. 眼睛辨識方法 動機 文獻探討 臉部特徵偵測 系統流程 人臉辨識方法 特徵擷取方法 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 (非膚色及邊點)

20. 眼睛辨識方法 設門檻值為5，即大於5個綠色點開始，小於5個點結束 動機 文獻探討 臉部特徵偵測 系統流程 人臉辨識方法 特徵擷取方法 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望

21. 眼睛辨識方法 動機 文獻探討 臉部特徵偵測 系統流程 人臉辨識方法 特徵擷取方法 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 在眼睛上下界中找一行有最多是非皮膚色且是邊點的行，此行必落在眼球上 往兩邊擴張，一直到行中沒有邊點為止，找出左右界 • 為了取出完整的眼睛，所以上下左右會擴張二個Pixels • 根據一般人臉左右對稱特性，將左右眼的高度及寬度統一

22. 無縫貼圖技術

23. 無縫貼圖 在這邊我們使用Perez等人[Perez et al 2003]提出的Poisson Image Editing來達到將特徵無縫的貼到人臉上的效果 動機 文獻探討 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 q q p q 其中S跟Ω分別代表臉跟特徵上的點，對於每一個在S點上的p，Np表示為p點的四個鄰居點集合，讓<p,q>為一組點，在此q就是在Np集合中的點，Ω的邊界 讓fp表示在p點上的值，在Poisson Equation下，要達到 q

24. 無縫貼圖 動機 文獻探討 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 其中Vpq= Gradient(p) – Gradient(q)，這個公式必須要滿足 接著我們利用Gauss-Seidel iteration with successive over-relaxation 不斷收斂，最後得到結果

25. 特徵抹除 動機 文獻探討 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 小的特徵貼至大的人臉特徵 傳統上使用Inpainting技術 轉用Poisson(比較快)

26. 臉部特徵分類

27. 臉部特徵分類 動機 文獻探討 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 • 同一種特徵太多，找尋及挑選時間冗長 • 將特徵分類，讓使用者有方向性的選擇

28. 眼睛特徵分類 動機 文獻探討 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 眼睛特徵分類 鼻子特徵分類 嘴巴特徵分類 眉毛特徵分類 實驗結果 結論與未來展望 • 分成四類 (鳳眼) (細長眼) (三角眼) (魚眼)

29. 眼睛特徵分類 動機 文獻探討 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 眼睛特徵分類 鼻子特徵分類 嘴巴特徵分類 眉毛特徵分類 實驗結果 結論與未來展望 • 特徵點H、L、R • 用Canny測邊法，取出每行最上面的點

30. 眼睛特徵分類-色差點 動機 文獻探討 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 眼睛特徵分類 鼻子特徵分類 嘴巴特徵分類 眉毛特徵分類 實驗結果 結論與未來展望 P代表圖上的點 色差點計算方式：Intensity(P(x, y)) – Intensity(P(x,y+1) )> 10

31. 眼睛特徵分類 動機 文獻探討 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 眼睛特徵分類 鼻子特徵分類 嘴巴特徵分類 眉毛特徵分類 實驗結果 結論與未來展望 • 找出色差點，並利用色差點校正Canny邊點 • 校正後，左右界點即為L與R • Intensity行加總直條圖 • 範圍內找出H

32. 眼睛特徵分類 長寬比分細及寬(利用Canny點先收縮找出) 細長的眼睛中算出HL的斜率小於某個門檻值即為細長眼，若超過則為鳳眼 比較寬的眼睛中若HL的斜率大於某個門檻值且長寬比低於門檻值或L點高於R點整個眼睛高度的三分之一則為鳳眼，剩下的都是三角眼跟魚眼 連接L與R點，設LR線段下的非皮膚色面積為下眼，線段之上的非皮膚色面積為上眼，如果面積的比率過大則為魚眼，否則為三角眼。 動機 文獻探討 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 眼睛特徵分類 鼻子特徵分類 嘴巴特徵分類 眉毛特徵分類 實驗結果 結論與未來展望

33. 實驗結果

34. 實驗結果 動機 文獻探討 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 整容後 整容前

35. 實驗結果 動機 文獻探討 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 整容後 整容前

36. 系統展示 動機 文獻探討 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 實驗結果 系統Demo 結論與未來展望

37. 結論 動機 文獻探討 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 提出一套自動臉部偵測的整容系統(即時、互動) 提供抺除特徵、旋轉、平移、縮放等微調功能 特徵資料庫的分類

38. 系統限制 動機 文獻探討 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 • 光源不同、解析度不同、導致人臉偵測的誤判、整容的品質也相對變差

39. 未來展望 動機 文獻探討 臉部特徵偵測 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 • 未來希望能全面性的處理臉部或是頭部的特徵(上眼鏡、換髮型、加上刀疤、或是幫整容完後的臉上妝) • 特徵分類能夠更完善的分類 • 臉部特徵辨識演算法能避免光源影響 (上眼鏡前) (上眼鏡後)

40. Q & A報告結束謝謝各位口試委員

41. 皮膚色的算法

42. 皮膚色算法 設一張圖片點的三顏色為R,G,B 先求MAX及MIN為下 MAX = max(R,G,B) MIN = min(R,G,B) 則Hue為 灰階值顏色 動機 文獻探討 臉部特徵偵測 系統流程 人臉辨識方法 特徵擷取方法 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望

43. HSV色度空間 動機 文獻探討 臉部特徵偵測 系統流程 人臉辨識方法 特徵擷取方法 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 HSV色彩屬性模式是根據色彩的三個基本屬性：色相、飽和度和明度來確定颜色的一種方法。 色相（H）是色彩的基本屬性，就是平常所说的颜色名稱，如红色、黄色等，依照在右圖的標準色輪上的位置，取0-360度的數值。（也有用0 –100%的方法確定的）。 飽和度（S）是指色彩的纯度，越高色彩越纯，低則逐漸變灰，取0-100%的數值。 明度（V）也叫“亮度”，取0-100%。

44. HSV公式 動機 文獻探討 臉部特徵偵測 系統流程 人臉辨識方法 特徵擷取方法 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 設一張圖片點的三顏色為R,G,B 先求MAX及MIN為下 MAX = max(R,G,B) MIN = min(R,G,B) 則Hue為

45. 特徵擷取方法(嘴巴、鼻子、眉毛)

46. 嘴巴辨識方法 動機 文獻探討 臉部特徵偵測 系統流程 人臉辨識方法 特徵擷取方法 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 高度假設：與眼睛相同 寬度假設：左右眼的中點之間 找尋嘴巴中線的演算法： row[i]表示第幾列有多少被視為嘴唇的點 square代表從紅線以下，眼睛左右界所含蓋的範圍 for each pixel(p[x,y]) in the square. if( (p[x,y].r-p[x,y].g)+(p[x,y].r-p[x,y].b) > 50) { // 避免鬍子跟太素的顏色 if ((p[x,y] is an edge)&&(p[x,y].g-p[x,y].b)<=15) //即綠跟跟藍色不要相 row[y]++; 差太大，才比較像 else if((p[x,y] is not a skin)&&(p[x,y].g-p[x,y].b)<=15) 嘴唇的顏色 row[y]++; }

47. 鼻子辨識方法 動機 文獻探討 臉部特徵偵測 系統流程 人臉辨識方法 特徵擷取方法 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 • 以梯形框出 • 找出鼻頭：鼻頭是整個鼻子最亮的部份 • 上界以眼睛中點，下界以鼻頭和嘴唇的中線，若中點低於嘴唇上界，則定在嘴唇上界往上兩個點

48. 眉毛辨識方法 動機 文獻探討 臉部特徵偵測 系統流程 人臉辨識方法 特徵擷取方法 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 上界色差點計算方式：P(x, y) – P(x,y-1) > 10 下界色差點計算方式：P(x, y) – P(x,y-1) < -10 統計分析 接著我們把超過二個StdDevp以外的點排除，再去找上界的點當中最高的點，以及下界中最低的點，將此設定為真正的上、下界

49. 眉毛辨識方法 動機 文獻探討 臉部特徵偵測 系統流程 人臉辨識方法 特徵擷取方法 無縫貼圖技術 臉部特徵分類 實驗結果 結論與未來展望 • 從原來眼睛的左右界往左及往右尋找每一行的下界色差點 • 如果高於我們新求出來的上界點的話，就終止找尋 • 此行設為左界(或右界)

50. 特徵分類方法(嘴巴、鼻子、眉毛)