即時人臉辨識系統
This presentation is the property of its rightful owner.
Sponsored Links
1 / 34

即時人臉辨識系統 PowerPoint PPT Presentation


  • 152 Views
  • Uploaded on
  • Presentation posted in: General

即時人臉辨識系統. 組員: 19733111 劉佳旻 19733113 林香吟 19733126 陳佩珊 19733139 蘇志偉. 一、研究動機 二、文獻探討 三、系統設計 四、系統結果 五、結論與未來展望 六、參考文獻. 大綱. 一、研究動機. 在一般的人臉辨識演算法中,皆用到很多複雜的原理和演算法,且訓練和辨識時間皆很耗時,無法達到快速又準確,因此本專題嘗試設計一簡單而快速之方法進行即時人臉辨識. 二、文獻探討 - 色彩空間轉換. (1) HSV 色彩空間模型.

Download Presentation

即時人臉辨識系統

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


5726550

即時人臉辨識系統

組員: 19733111 劉佳旻

19733113 林香吟

19733126 陳佩珊

19733139 蘇志偉


5726550

一、研究動機

二、文獻探討

三、系統設計

四、系統結果

五、結論與未來展望

六、參考文獻

大綱


5726550

一、研究動機

在一般的人臉辨識演算法中,皆用到很多複雜的原理和演算法,且訓練和辨識時間皆很耗時,無法達到快速又準確,因此本專題嘗試設計一簡單而快速之方法進行即時人臉辨識


5726550

二、文獻探討-色彩空間轉換

(1)HSV色彩空間模型

一張影像的資訊多為RGB(紅、綠、藍)三原色所構成,但RGB色彩空間容易受光源強弱而有顯著的變化,陳彥劭(2008)的研究指出HSV色彩的展現比起RGB色彩更為接近人類視覺對色彩之感受,HSV色彩空間包含色調(Hue)、飽和度(Saturation)和明暗度(Value),其轉換公式如下:


5726550

文獻探討-投影定位

(2) 水平及垂直投影圖

楊煒達(2007)研究中提到,雙眼區塊主要的目標是要將區塊上邊界降至眉毛上緣,眉毛附近會出現大量的邊緣特徵,將雙眼區塊作水平投影,眉毛的位置會出現一個水平投影的峰值

嘴巴區塊是要將區塊四個邊界縮減的更接近嘴唇,在邊緣偵測後,以水平投影重新定位上、下邊界,以垂直投影重新定位左、右邊界,如圖(2)所示:


5726550

12d

12d

(2d,2.5d)

(6.5d,2.5d)

(2d,2.5d)

(6.5d,2.5d)

(3.5d,8d)

(3.5d,8d)

3.5d

3.5d

5d

5d

文獻探討-臉部五官定位

(3) 依比例算出可能五官位置

五官在人臉的位置都有一定相對應的幾何關係,在取得人臉區塊後,可以依比例關係來完成五官初步的定位

臉部區塊偵測之後,將臉的寬度分成12等份,每等份為d個像素,若以臉部區塊左上角為原點,眼睛區塊由上至下分布在2.5d~6d的位置,左眼和右眼分別由左而右分布在2d~5.5d及6.5d~10d,大小均為3.5d 3.5d且左右對稱,嘴巴則是由上至下8d~11.5d,由左至右3.5d~8.5d的位置


5726550

文獻探討-辨識方法

(4) 人臉座標解說圖例

陳榮昌、盧菁、劉賀平(2008)的研究指出人臉的外形輪廓可以近似於一個八邊形,首先在影像中取一個最大的八邊形,使其充滿整個影像,並確保人臉存於這個八邊形之內,再將此八邊形進行收縮,直到偵測到皮膚為止,這樣便可從外圍得到人臉的輪廓

然後在影像中確定一個一定小的八邊形,使人臉必定包含此八邊形,再將此八邊形慢慢擴大,直到偵測到非皮膚為止,因此可以從內部得到八邊形的輪廓。如果八邊形的差異小於一個門檻值β,那麼就可以將此八邊形記為人臉輪廓


5726550

A

B

d

文獻探討-影像旋轉校正

其中,turning_rate為旋轉率,d是距離,box_width是臉部邊界寬度

(5) 臉部特徵與中心線圖

B.Yegnanarayana等人(2004)的研究發現中,利用人臉影像的投影圖來判斷人臉旋轉方向,以藉此找出連續影像中最接近正面的人臉影像

利用人臉影像的投影圖來判斷人臉旋轉角度,而我們利用臉部特徵集中線A與臉部方框的中心線B,相減求出距離d,再把距離與臉部邊界寬度相除,求出旋轉率,最後利用門檻值過濾轉動過大的影像,公式如下所示:

轉動公式


5726550

y

θ

X

傾斜前

傾斜後

文獻探討-影像傾斜校正

(6)影像傾斜示意圖

劉翁昌(2009)的研究指出,影像傾斜為一種基本的影像調整方法,用以修正各個影像中不同角度的差異,假設影像中一個像素點位於(x, y)座標點,在經過θ度傾斜後,像素點位移至新的座標點(x’, y’),兩個座標點之間的映射關係如以下公式所示:


5726550

三、系統設計-系統流程圖

特徵值抽取

影像處理

即時人臉辨識系統

資料庫建置

顯示辨識結果

人臉資料庫

比對

人臉比對

CCD擷取影像

影像處理


5726550

系統設計-鏡像

為了讓使用者觀看螢幕時的方向能與使用者站立位置同方向,故先將輸入之影像做鏡像處理

M(x, y) = I(width – x, y) , 0 ≦x≦width

(7) 原始影像(8) 鏡像影像

其中M為鏡像影像,則M(x, y)為鏡像影像中之任一點,I為原始影像,I(x, y)為原始影像中之任一點

膚色偵測

鏡像

人臉擷取

二值化

旋轉/傾斜校正

人臉偵測


5726550

系統設計-膚色偵測

臉部膚色區塊會比其他環境膚色區塊面積較大,用此特徵搜尋鏡頭有無人臉接近

S

(9) 原始影像 (10) 膚色偵測

其中,SHSV包含色調(Hue)、飽和度(Saturation)和明暗度(Value),當H為5到60度、S及V為0到255即判斷為膚色區塊

膚色偵測

鏡像

人臉擷取

二值化

旋轉/傾斜校正

人臉偵測


5726550

系統設計-人臉偵測

 當動態攝影機偵測到有物體靠近時,經膚色偵測判斷後,將膚色之區塊作面積計算,膚色面積較大的範圍做取樣,接著判斷膚色範圍內是否為人臉

步驟歸納如下:

1.偵測是否有物體接近動態攝影機

2.判斷物體影像是否為膚色區塊

3.將膚色之區塊作面積計算,膚色

面積較大的範圍做取樣

4.判斷膚色範圍內是否為人臉

5.偵測之人臉保持在畫面中央

(11) 原始影像 (12)區塊擷取

膚色偵測

鏡像

人臉擷取

二值化

旋轉/傾斜校正

人臉偵測


5726550

系統設計-旋轉/傾斜校正1/2

人臉在影像中都可能呈現任何角度與方向,由於人臉方向的不同、臉部角度的偏移,都會影響到人臉辨識的結果,因此需要做旋轉及傾斜的校正

  • 旋轉校正

利用人臉影像投影圖判斷人臉特徵資訊,透過動態攝影機以及鏡像技術,讓使用者調整人臉角度旋轉與方向

(13) 校正前(14) 校正後

膚色偵測

鏡像

人臉擷取

二值化

旋轉/傾斜校正

人臉偵測


5726550

R1

eC

eR

2*ew

C(x,y)

M

eL

系統設計-旋轉/傾斜校正2/2

  • 傾斜校正

以雙眼與嘴巴座標為依據,從雙眼中點與嘴巴連線,取得人臉旋轉中心點,由此中心點向外取2倍人眼寬度距離,得到框選校正結果,利用雙眼座標取得斜率,由斜率可以得知傾斜角度與方向,進行傾斜校正

(15)校正前(16) 校正後

膚色偵測

鏡像

人臉擷取

二值化

旋轉/傾斜校正

人臉偵測


5726550

系統設計-人臉擷取

人臉擷取的主要目的,是從複雜背景的影像環境中找出可能的人臉區域

(17) 原始影像(18) 人臉擷取

其中,H為判斷膚色的區域,範圍0到60度,S及V範圍為0到255,p代表像素

膚色偵測

鏡像

人臉擷取

二值化

旋轉/傾斜校正

人臉偵測


5726550

系統設計-二值化

 為了能夠更精確的定位出五官位置,我們使用了二值化的技術,設定門檻值然後去檢視圖上的每一個像素

(19)膚色擷取 (20)二值化結果

其中,p為像素之顏色,TH為門檻值

膚色偵測

鏡像

人臉擷取

二值化

旋轉/傾斜校正

人臉偵測


5726550

投影定位

特徵值擷取

眼睛及嘴巴擷取

臉型比對

5

7

9

系統設計-投影定位

  本系統利用水平投影部分於五官之追蹤,取5~7之間的區域內之峰值作為眼睛部分之判斷,取7~9之間的區域內之峰值作為嘴巴部分之判斷

以上過程歸納為如下步驟:

1.將人臉圖片做水平垂直投影

2.人臉圖片垂直水平各10等份分割

3.找尋分割後最適區塊

4.在最適區塊內找出投影值峰谷

進行定位

(21)投影圖


5726550

投影定位

特徵值擷取

眼睛及嘴巴擷取

臉型比對

系統設計-眼睛及嘴巴擷取

透過水平及垂直投影處理之結果,可藉由谷值與峰值判斷眼睛及嘴巴所在區域

步驟歸納如下:

1.定位出眼睛及嘴巴的位置

2.將定位之眼睛及嘴巴擷取出,便於特徵值之擷取

(23) 分割擷取圖

(22) 眼睛及嘴巴定位圖

圖(23)為圖(22)定位後擷取出之眼睛及嘴巴


5726550

B

C

A

D

H

E

投影定位

特徵值擷取

眼睛及嘴巴擷取

臉型比對

G

F

系統設計-臉型特徵值擷取1/2

臉部八邊形如圖(24)所示,本系統擷取了臉部六個數據如圖(25)所示

P

M

Q

N

O

R

(24) 傳統八邊形

(25) 臉型輪廓特徵


5726550

投影定位

特徵值擷取

眼睛及嘴巴擷取

臉型比對

系統設計-臉型特徵值擷取2/2

  如圖(26)、(27)所示,各特徵點之線段分別為雙眼中心距離、嘴角的距離、左眼中心至左嘴角距離、右眼中心至右嘴角距離和八邊形之水平垂直長度以及斜邊長度

A

B

C

D

G

H

L

K

E

F

I

J

(27)

(26)

圖(26)、圖(27)為五官上各特徵點相對距離之線段


5726550

投影定位

特徵值擷取

眼睛及嘴巴擷取

臉型比對

系統設計-臉型比對

  根據前面所敘述的各項技術,正確的找出比對時所需要之數據,進而從資料庫

比對出臉型

(28)原始資料圖檔(29)即時比對之影像

  其中DataFeature[i]為資料庫裡之數據,RunFeature[i]為要被比對之數掾,Delta[i]為一差值,sum為符合條件之個數


5726550

四、系統結果-操作介面


5726550

系統結果-操作介面


5726550

系統結果-操作介面


5726550

系統結果-操作介面


5726550

系統結果-執行介面

成功


5726550

系統結果-執行介面

成功


5726550

系統結果-執行介面

失敗


5726550

系統結果-執行介面

失敗


5726550

五、結論

  • 本專題嘗試以簡單快速的方法達到有效的辨識效果

  • 運用動態攝影機即時擷取影像,並加以校正人臉旋轉與傾斜之問題,也使用了鏡像技術,方便使用者調整人臉之角度與方向

  • 在臉部區域中使用改進後之八邊形技術,將人臉的外型輪廓納入特徵點判斷,以增加辨識率


5726550

未來展望

  • 提高辨識準確性

  • 將人臉辨識系統建置於行動裝置


5726550

六、參考文獻

陳彥劭(2008)。即時人臉辨識系統之研製。南台科技大學電機工程研究所碩士學位論文

楊煒達(2007)。簡易方法之少量人臉辨識系統。國立中央大學資訊工程研究所碩士論文

S.Ullman(2003)。DSP-Based之即時人臉辨識系統。國立中山大學電機工程學系碩士論文

陳榮昌 盧菁 劉賀平(2008)。基於人臉座標系統的人臉識別。朝陽科技大學資訊管理系(陳榮昌)。北京科技大學信息學院(盧菁 劉賀平)

B.Yegnanarayana(2004)。測定使用動態影像的人臉姿勢角度。國立中央大學資訊工程研究所碩士論文

劉翁昌(2009)。複雜環境下之人臉偵測與辨識系統。國立台灣科技大學電子工程系


The end

The End ~


  • Login