1 / 55

互動式人臉表情系統

互動式人臉表情系統. 指導老師 : 楊傳凱 教授 口試委員 : 楊傳凱 教授 羅乃維 教授 林柏慎 教授 學生 : 姜威廷 口試時間 : 中華民國 95 年 7 月 6 日. 大綱. 第一章 緒論 研究動機 系統流程 第二章 文獻探討 臉部表情合成 誇張肖像畫 第三章 互動式人臉表情系統 人臉表情合成 音樂分析 第四章 實驗結果 實驗環境 實驗結果 第五章 結論與未來展望. 大綱. 第一章 緒論 研究動機 系統流程 第二章 文獻探討 臉部表情合成 誇張肖像畫 第三章 互動式人臉表情系統

dannon
Download Presentation

互動式人臉表情系統

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 互動式人臉表情系統 指導老師: 楊傳凱 教授 口試委員: 楊傳凱 教授 羅乃維 教授 林柏慎 教授 學生: 姜威廷 口試時間:中華民國95年7月6日 NTUST CGM Lab

  2. 大綱 • 第一章 緒論 • 研究動機 • 系統流程 • 第二章 文獻探討 • 臉部表情合成 • 誇張肖像畫 • 第三章 互動式人臉表情系統 • 人臉表情合成 • 音樂分析 • 第四章 實驗結果 • 實驗環境 • 實驗結果 • 第五章 結論與未來展望 NTUST CGM Lab

  3. 大綱 • 第一章 緒論 • 研究動機 • 系統流程 • 第二章 文獻探討 • 臉部表情合成 • 誇張肖像畫 • 第三章 互動式人臉表情系統 • 人臉表情合成 • 音樂分析 • 第四章 實驗結果 • 實驗環境 • 實驗結果 • 第五章 結論與未來展望 NTUST CGM Lab

  4. 第一章 緒論 • 研究動機 近年來人臉表情一直是一個富有挑戰性的研究。 NTUST CGM Lab

  5. 第一章 緒論 • 研究動機 動作擷取器(Motion Capture)的普遍使用。 缺點:時間成本過高!! 需要具備解剖學知識,複雜度高!! NTUST CGM Lab

  6. 第一章 緒論 • 研究動機 如何能更簡單、快速、自動地產生出不同 的個人化表情? NTUST CGM Lab

  7. 大綱 • 第一章 緒論 • 研究動機 • 系統流程 • 第二章 文獻探討 • 臉部表情合成 • 誇張肖像畫 • 第三章 互動式人臉表情系統 • 人臉表情合成 • 音樂分析 • 第四章 實驗結果 • 實驗環境 • 實驗結果 • 第五章 結論與未來展望 NTUST CGM Lab

  8. 第一章 緒論 系統流程之二 • 系統流程 系統流程之一 NTUST CGM Lab

  9. 大綱 • 第一章 緒論 • 研究動機 • 系統流程 • 第二章 文獻探討 • 臉部表情合成 • 誇張肖像畫 • 第三章 互動式人臉表情系統 • 人臉表情合成 • 音樂分析 • 第四章 實驗結果 • 實驗環境 • 實驗結果 • 第五章 結論與未來展望 NTUST CGM Lab

  10. 第二章 文獻探討 • 臉部表情合成 • MPEG4-SNHC(Synthetic/Natural Hybrid Coding) 1.合成物件 1.1 臉部表情 1.2 肢體動作 2.自然物件 NTUST CGM Lab

  11. 第二章 文獻探討 • 臉部表情合成 • Synthesizing Realistic Facial Expression from Photographs(by Frederic Pighin.etc, SIGGRAPH 98’) • 2D還原成3D NTUST CGM Lab

  12. 大綱 • 第一章 緒論 • 研究動機 • 系統流程 • 第二章 文獻探討 • 臉部表情合成 • 誇張肖像畫 • 第三章 互動式人臉表情系統 • 人臉表情合成 • 音樂分析 • 第四章 實驗結果 • 實驗環境 • 實驗結果 • 第五章 結論與未來展望 NTUST CGM Lab

  13. 第二章 文獻探討 • 誇張肖像畫 • 以臉部特徵為基礎之誇張肖像畫產生系統(by 江佩穎,李蔡彥,廖文宏) NTUST CGM Lab

  14. 大綱 • 第一章 緒論 • 研究動機 • 系統流程 • 第二章 文獻探討 • 臉部表情合成 • 誇張肖像畫 • 第三章 互動式人臉表情系統 • 人臉表情合成 • 音樂分析 • 第四章 實驗結果 • 實驗環境 • 實驗結果 • 第五章 結論與未來展望 NTUST CGM Lab

  15. 第三章 互動式人臉表情系統 • 人臉表情合成(Facial Expression Synthesis) 原圖 二值化(Thresholding,本範例門檻值設570) 手動定控制點 執行主動式輪廓法(Active Contour) NTUST CGM Lab

  16. 第三章 互動式人臉表情系統 • 人臉表情合成 (A) (B) (C) NTUST CGM Lab

  17. 第三章 互動式人臉表情系統 • 人臉表情合成 • 三角形化(Triangulation) NTUST CGM Lab

  18. 第三章 互動式人臉表情系統 • 人臉表情合成 雙線性內插法 (Bi-Interpolation) NTUST CGM Lab

  19. 第三章 互動式人臉表情系統 • JAFFE資料庫 由Miyuki Kamachi、Michael Lyons 和 Jiro Gyoba等人所整理、研究出的一套人臉表情資料庫,裡頭包含了120張高興、憤怒、驚訝以及沒表情的影像。 NTUST CGM Lab

  20. 第三章 互動式人臉表情系統 • 由觀察所得到的表情規則 1.喜 (3)~(7)、(11)~(15):往上偏移9單位長。 (1)、(2)、(8)、(9)、(10)、(16): 往上偏移6單位長。 (22)~(24)、(30)~(32):往上偏移1單位長。 (34)~(36):往上偏移4單位長。 (33)、(37):往上偏移8單位長。 2.哀傷 (3)~(7)、(11)~(15):離眉毛中心點越遠往上偏移越大(距離與偏移幅度成正比),我們設定d=12(為最大偏移單位長),x為本組控制點中某點所需偏移的單位長,x=d*(控制點距離眉毛中心點距離/離眉毛中心點最遠點距眉毛中心點的距離)。 (18)、(17):往左往下偏移2單位長。 (25)、(26):往右往下偏移2單位長。 (20)、(28)、(22)~(24)、(30)~(32):往上偏移2單位長。 (33)、(34)、(40)、(36)~(38): 離嘴巴中心點越遠往下偏移越大(距離與偏移幅度成正比),我們設定d=6(為最大偏移單位長),x為本組控制點中某點所需偏移的單位長,x=d*(控制點距離嘴巴中心點距離/離嘴巴中心點最遠點距嘴巴中心點的距離)。 NTUST CGM Lab

  21. 第三章 互動式人臉表情系統 • 使用者微調 NTUST CGM Lab

  22. 大綱 • 第一章 緒論 • 研究動機 • 系統流程 • 第二章 文獻探討 • 臉部表情合成 • 誇張肖像畫 • 第三章 互動式人臉表情系統 • 人臉表情合成 • 音樂分析 • 第四章 實驗結果 • 實驗環境 • 實驗結果 • 第五章 結論與未來展望 NTUST CGM Lab

  23. 第三章 互動式人臉表情系統 • 音樂分析 • MIDI簡介 MIDI (全名為Musical Instrument Digital Interface ) • 1983年發展至今。 • 目前最新版本為SMF (Standard Midi Format)。 • MIDI傳送的是數位控制訊號,並非聲音訊號。 NTUST CGM Lab

  24. 第三章 互動式人臉表情系統 • 音樂分析 • MIDI簡介 ㄧ個MIDI檔案是由一個header chunk(表頭區塊),類型是MThd與另一個或多個的track chunks(軌道區塊),類型是MTrk,所組成; 其中所謂的「chunk」定義為: 舉例: NTUST CGM Lab

  25. 第三章 互動式人臉表情系統 • 音樂分析 • MIDI簡介 Track chunk的資料內容是由一組或多組的<delta-time><event>組成。 <delta-time>是代表此一事件與上一事件間的發生時間差。 一個標準MIDI檔案的完整格式架構: NTUST CGM Lab

  26. 第三章 互動式人臉表情系統 • 音樂分析 • MIDI簡介 <event>: <MIDI事件> <Meta 事件> 負責處理與可產生MIDI音樂的樂器的輸出資料,像是釋放鍵盤(關閉音符)、按下鍵盤(開啟音符)、在觸摸鍵盤以後等 是用來標示Track名稱、歌詞、樂器名稱及音調符號等 NTUST CGM Lab

  27. 第三章 互動式人臉表情系統 • 音樂分析 • MIDI簡介 <MIDI事件> (舉例說明一個按下鍵盤釋放鍵盤的事件) (90,3C,64,XX,YY,80,3C,64) 9n表示按下鍵盤,3C表示所按下鍵盤的音高,透過附表(一)可以發現3C(16進位)就是C(Do)的音高,而64就是聲音的大小 。 8n表示釋放鍵盤, XX、YY表示按下鍵盤的持續時間(也就是音符的節拍數) NTUST CGM Lab

  28. 第三章 互動式人臉表情系統 • 音樂分析 • 實作 基本原則: 1.小節內的音符個數(門檻值設7) 2.小節內的平均音高 3.平均音高高於前50% 四四拍(以四分音符為單位而且一 個小節有四個四分音符長 )。 四二拍(以四分音符為單位且一小 節有兩個四分音符長 )。 • 分段 2.分析 3.分類 NTUST CGM Lab

  29. 大綱 • 第一章 緒論 • 研究動機 • 系統流程 • 第二章 文獻探討 • 臉部表情合成 • 誇張肖像畫 • 第三章 互動式人臉表情系統 • 人臉表情合成 • 音樂分析 • 第四章 實驗結果 • 實驗環境 • 實驗結果 • 第五章 結論與未來展望 NTUST CGM Lab

  30. 第四章 實驗結果 實驗環境 系統產生表情時間:1分多鐘 系統分析MIDI檔所需時間:15秒鐘多 NTUST CGM Lab

  31. 大綱 • 第一章 緒論 • 研究動機 • 系統流程 • 第二章 文獻探討 • 臉部表情合成 • 誇張肖像畫 • 第三章 互動式人臉表情系統 • 人臉表情合成 • 音樂分析 • 第四章 實驗結果 • 實驗環境 • 實驗結果 • 第五章 結論與未來展望 NTUST CGM Lab

  32. 第四章 實驗結果 範例一: 解析度 (281*350) 產生的表情很自然,且產生時間短!! NTUST CGM Lab

  33. 第四章 實驗結果 範例二: 解析度 (301*357 ) 能夠保留本人原本旣有的特徵,不會使產生的表情與本人相差異太高!! NTUST CGM Lab

  34. 第四章 實驗結果 範例三: 解析度 (310*360 ) NTUST CGM Lab

  35. 第四章 實驗結果 • 影片播放 NTUST CGM Lab

  36. 大綱 • 第一章 緒論 • 研究動機 • 系統流程 • 第二章 文獻探討 • 臉部表情合成 • 誇張肖像畫 • 第三章 互動式人臉表情系統 • 人臉表情合成 • 音樂分析 • 第四章 實驗結果 • 實驗環境 • 實驗結果 • 第五章 結論與未來展望 NTUST CGM Lab

  37. 第五章 結論與未來展望 • Input: 2D 3D • 二值化: 自動定門檻值(Threshold value) • 擷取的特徵: ex:皺紋 • 音樂分析的部分: 納入其他特徵的考慮 NTUST CGM Lab

  38. 報告完畢Thanks for Your Listening! NTUST CGM Lab

  39. 二值化 (Thresholding) • 我們定義ㄧ張影像的二值化,設一個二維影像I的函數為f(x,y),經過二值化後的影像為B(x,y),則 B(x,y) =1 , if f(x,y)>T =0 , if f(x,y)<T NTUST CGM Lab

  40. 主動式輪廓法(Active Contour) • 是一個Energy Function Minimization的問題。 NTUST CGM Lab

  41. 主動式輪廓法(Active Contour) • Energy Function α、β、γ是使用者定義的係數(皆是非負的實數); Vi是輪廓上的控制點在二維影像上的座標位置(Xi,Yi) 註:本系統所設定的係數分別為α=1, β=1, γ=1.5 NTUST CGM Lab

  42. 主動式輪廓法(Active Contour) • Continuity 修正為 讓控制點有往內縮的傾向! NTUST CGM Lab

  43. 主動式輪廓法(Active Contour) • Curvature 可讓控制點所形成的輪廓更平滑(smooth)! NTUST CGM Lab

  44. 主動式輪廓法(Active Contour) • Image g在這裡是代表「梯度大小」(Gradient Magnitude) ! NTUST CGM Lab

  45. 梯度(Gradient) • Sobel運算子 梯度值是在二維影像上某座標點顏色的變化量,可以用來偵測邊緣。 NTUST CGM Lab

  46. 雙線性內插法(Bi-Interpolation) x= Wa*a + Wb*b + Wc*c + Wd*d , 1>= Wa、Wb、Wc、Wd >=0 , 且 Wa + Wb + Wc + Wd =1 NTUST CGM Lab

  47. 雙線性內插法(Bi-Interpolation) x1=α*c + (1-α)*a x2=α*d + (1-α)*b x=γ*x2+(1-γ)*x1 X=γ*[α*d + (1-α)*b] + (1-γ)*[ α*c + (1-α)*a] NTUST CGM Lab

  48. 補充資料 NTUST CGM Lab

  49. 三角形化(Triangulation) • 適用於單調型多邊形(Monotone Polygon ) 非單調型 單調型 NTUST CGM Lab

  50. 三角形化(Triangulation) • 演算法(虛擬碼)之ㄧ NTUST CGM Lab

More Related