基於 kinect 的表情辨識 系統 kinect -based Facial Expression Recognition System 謝宜吟

1. 基於kinect的表情辨識系統 kinect-based Facial Expression Recognition System 謝宜吟 Advisor: Damon Shing-Min Liu Department of Computer Science and Information Engineering, National Chung Cheng University, Taiwan Introduction Results 這是在happy時的表情 使用kinect for xbox 360作表情偵測，專題設計可以偵測的表情有六種，分別是高興，生氣，驚訝，傷心，害怕,另外還有一個表中性表情，先使用kinectsdk的tool抓取臉部影像，特徵點，並將其轉換成相對應的臉部圖形，而從此sdk的各項參數值，設計兩個判別表情的標準，再把兩個標準分不同情形使用，以達到判別表情的功能。 kinect xbox360 Methodology 由kinectsdk 1.5 人臉追蹤，追蹤人臉的87個特徵點，從這87個點傳回一組陣列，而這些點傳回後用座標定義其位置, 並設定三維系統(x,y,z) 來定義頭的姿勢，用三個參數來定義，分別為俯角，(pitch) ，滾動角(roll)和偏航角(yaw),另外模式一代表教不嚴苛的條件，設為不穩定的模式，而模式二為較嚴苛的條件，穩定的模式，而讓表情判別使用下圖(6)的模式，當一開始操作時，由模式一也就是不穩定的模式開始判斷，設計每個表情對應到一個初始為零的陣列c，當判別到有表情變化時分別在該表情陣列c加一，當陣列c的其中一個直到達三時，視為判別到一個表情，遂輸出該表情，陣列歸零並進入模式二，也就是穩定模式，而在穩定模式中如果判別到一次表情變化，就進入模式一再重新開始判別表情，以此類推。 Conclusions 在這個專題裡，經由實驗，體會到了在活動中的人表情時時刻刻都在變化，想要判定他是什麼表情，會因為他的瞬間表情變化，而造成判別上的變數很大，穩定度也會受影響，而每個人的表情雖然有共通性但卻不盡相同，所有人的五官動作敏感度不一樣，如果使用的標準要每一項都達成的話，會不容易達成。 Reference [1]Real-Time object Detection and Tracking using Directional Edge Mapes 2007 王財德 [2] micosoft開發人員網路kinect windows sdk face tracking [3] Face Tracking and Recognition with Visual Constraints in Real-World Videos Minyoung Kim1, Sanjiv Kumar, Vladimir Pavlovic, and Henry Rowley [4] 動畫狂想曲—人臉 電腦繪圖技術解密鄭亦珊 馬萬鈞 林宏祥 熊士豪 歐陽明 [5] An Optical-Flow-Based Automatic Expression Recognition System 謝怡竹