1 / 20

Xây dựng thuật toán nhận dạng cảm xúc

Xây dựng thuật toán nhận dạng cảm xúc. Người thuyết trình: Nguyễn Hữu Tân http://groups.google.com/group/dd04kstn 06/01/2009. Giới thiệu về đề tài. Yêu cầu: Xây dựng thuật toán nhận dạng cảm xúc Cải tiến thuật toán nhận dạng cảm xúc dựa trên PCA hiện có.

viola
Download Presentation

Xây dựng thuật toán nhận dạng cảm xúc

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Xâydựngthuậttoánnhậndạngcảmxúc Người thuyết trình: Nguyễn Hữu Tân http://groups.google.com/group/dd04kstn 06/01/2009

  2. Giới thiệu về đề tài • Yêu cầu: • Xây dựng thuật toán nhận dạng cảm xúc • Cải tiến thuật toán nhận dạng cảm xúc dựa trên PCA hiện có. • Xây dựng thuật toán nhận dạng cảm xúc mới dựa theo mô hình AAM &tương quan điểm. • Xây dựng thuật toán nhận dạng cảm xúc mới dựa theo mô hình AAM và mạng neural 3 lớp. • Tích hợp nhận dạng cảm xúc để điều khiển robot đa hướng (phần mở rộng)

  3. Tổngquanvềnhậndạngcảmxúc Vai trò của cảm xúc • Đóng vai trò quan trọng trong việc thể hiện thông tin, tính cách….. • Góp phần xây dựng các mối quan hệ của con người. • Là thành phần quan trọng trong việc xây dựng các hệ thống người-máy. • Thể hiện tình cảm của con người ….. • Ứng dụng của nhận dạng cảm xúc • Xây dựng hệ thống điều khiển thiết bị cho người tàn tật. • Kiểm tra tính chân thật của thông tin • Kết hợp với nhận dạng góc quay của mặt để thêm tín hiệu điều khiển. • Điều khiển robot v…..v

  4. Phân loại các phương pháp nhận diện cảm xúc • Theo thuậttoánnhậndạng • Gabor Wavelets • SVD (Support Vector Machine) • PCA (Principle Component Analysis) • Face Modelling (AAM, WASM, ASM, RANSAC)…. • Xéttươngquanđiểm (Points Correlation) • Sửdụngảnhnhiệt • Kếthợp • Phânloạitheolớpnhậndạng • Theo đơnvịvậnđộng AU (action units ) - FACs Mặtngười => 46 Aus 1 cảmxúc = sựkếthợpnhiều AUs • Theo môhình (prototype) (AAM, ASM, RANSAC)

  5. I.Nhận diện cảm xúc dựa trên PCA truyền thống Công trình liên quan: “Nhận diện cảm xúc mặt người” – LV.ThS- Trịnh Minh Khôi -2007 • Xâydựngmộttậpcáctrịriêng (S1, S2,…Sk)chocáchìnhhuấnluyện .Mỗitrịriêng: mang 1 sốđiểmđiểmđặctrưngcủakhuônmặt. • Mãhóahìnhảnh: 1 ảnh 1 tổhợphệsố • 1 cảmxúc  1 nhómcáchìnhảnhtrongtậphuấnluyện. b1 b2 bk = + 5.7* + …+ 04* S1 I Hình trung bình Sk

  6. I.Nhận diện cảm xúc dựa trên PCA truyền thống Lấy min

  7. I.Nhận diện cảm xúc dựa trên PCA truyền thống • Kếtquảnhậndiện: • Điềukiệnchiếusángtốt: • Vui: 92% • Giậndữ: 86% • Bìnhthường: 84% • Ngạcnhiên: 78% (Kếtquảđượcthựchiệnbằngviệcnhậndạng 200 hìnhảnhđầuvàocủatácgiả) • Thờigiantrungbìnhchomộtmẫunhậndiện: khoảng 250 ms. • Nhượcđiểm: • Độchínhxácphụthuộcnhiềuvàođiềukiệnánhsáng • Khimặtnghiêng hay ngườiraxa webcam, kếtquảnhậndạngbịsailệchnhiều • Đểđạtđượcđộchínhxáccao, taphảihuấnluyệnnhiềuhình . Tốcđộxửlíchậm. => Khôngthíchhợpđểđiềukhiển robot

  8. II. Nhận diện cảm xúc theo phương pháp mô hình AAM và xét tương quan điểm AAM = Active Appearance Model Với sự giúp đỡ của • Tiến sĩ Nguyễn Đức Thành, chủ nhiệm BM điều khiển Tự động, ĐHBK HCM • Assoc Professor, Nguyễn Minh Đỗ from University of Illinois, Urbana Champaign, USA • Assoc Professor, Lê Tiến Thường, BM Viễn Thông, ĐHBK TPHCM. Ý tưởng: “Nếucóthểxácđịnhđượcchínhxáctọađộcácđiểmtrênkhuônmặtthìcóthểdựavàotươngquancácđiểmđóđểnhậndạngcảmxúc.” • Ưu điểm: • Ít bị ảnh hưởng của yếu tố nền khuôn mặt lên kết quả nhận dạng. • Tốc độ nhận dạng sẽ khá nhanh. • Việc nhận dạng có thể tiến hành trong điều kiện mặt chịu ảnh hưởng của các phép biến hình (quay, tịnh tiến, tỉ lệ)…. Cóthểdùngđiềukhiển robot

  9. II. Nhận diện cảm xúc theo phương pháp mô hình AAM và xét tương quan điểm Chiều cao mắt Chiều cao mũi Khoảng cách lm Khoảng cách mắt Bề rộng mặt Bề rộng miệng

  10. Tính R1, R2, R3 R1>R1_ Thresh Lưu đồ No Yes R3>R3_ Thresh R2>R2_Thresh No No Bìnhthường Giận Yes Yes Vuivẻ Ngạcnhiên

  11. II. Nhận diện cảm xúc theo phương pháp mô hình AAM và xét tương quan điểm • Kết quả nhận dạng (tiến hành trên 200 hình) • Nhược điểm: • Kết quả nhận dạng phụ thuộc vào việc chọn ngưỡng cho R1, R2, R3. • Cần cải tiến thuật toán xác định từng điểm của khuôn mặt để tăng tốc độ nhận dạng & độ chính xác.

  12. III. Nhậndiệncảmxúcdựatrênmôhình AAM vàmạngnơron Không chuẩn hóa kích thước mặt • Bàitoánđặtra: • PP PCA truyềnthống: • Nhậndạngtốtchomặttrựcdiện. Sainhiềukhimặtbị quay, tịnhtiến v…v • Mặtnhậndiệnkhôngđượcchuẩnhóavềkíchthước. • Phầnnềnxungquanhkhuônmặtcóảnhhưởnglớn. Cầnloạibỏphầnnềnnày • ViệcnhậndạngbằngtínhkhoảngcáchEuclidetốnthờigiannếusốhìnhhuấnluyệnlớn. Mặt nghiêng phải Nền phức tạp Cần phải có 1 phương pháp loại bỏ các ảnh hưởng này?

  13. III. Nhậndiệncảmxúcdựatrênmôhình AAM vàmạngnơron Ưuđiểm: • Cáchìnhảnhđưavàonhậndiệnđượcchuẩnhóavềkíchthước • Loạibỏảnhhưởngcủasựbiếndạngkhuônmặt do mặtbị quay, tịnhtiến, tỉlệ v…v. • Loạibỏảnhhưởngcủaphầnnềnxungquanhđếnkếtquảnhậndiện. • Việcnhậndạngbằngthựchiệnmạng neural đểgiảmthờigiannhậndiện. • Ý tưởng: • “Dùng một lưới ốp (fitting) vào khuôn mặt người. Khi lưới đã ốp vừa, dựa vào tương quan giữa các điểm để đưa ảnh khuôn mặt về 1 khuôn mặt chuẩn. Việc nhận dạng sẽ tiến hành trên khuôn mặt chuẩn này”

  14. Sơ đồ khối nhận dạng theo mô hình AAM &MLP Fit mô hình AAM với mặt Nhận dạng bằng mạng neural Đưa về khuôn mặt chuẩn PCA Phát hiện mặt Detection Tìm max = Mô hình AAM AdaBoost Trích xuất vị trí và tương quan các điểm trên mô hình đã Fit + 1.78 Max Vị trí, kích thước , tỉ lệ mặt + … + 1.86

  15. III. Nhận diện cảm xúc dựa trên mô hình AAM và mạng nơron • Kếtquảnhậndạng(mặtnghiêng ~150) (150 frame) • Nhượcđiểm: • AAM&MLP cònchịuảnhhưởngcủagócchiếusáng, cườngđộsángnhiều. • Tốcđộnhậndạngvẫncònchậm so với PCA truyềnthống & tươngquanđiểm.

  16. IV. Tích hợp nhận dạng cảm xúc điều khiển robot omni • Thông số kĩ thuật • Đường kính thân: 0.6m • Chiều cao: 1.6 m • Trọng lượng: 38.5 kg • Động cơ: • Harmonic Servo x 3 • RC servo x 4 • DNguồn ATX: 450 Watts. • DC có giảm tốc x 1 • Webcam x 2 • Vận tốc cực đại: 5 m/s • Laptop x 1 • Máy tính nhúng x 1 (dự định)

  17. Thuật toán điều khiển robot omni • Bề rộng mặt=>Khoảng cách đến người. (d) Ướclượngvịtrícủangườiđiềukhiển Độ lệch tâm (ce_d) Ngườilệchtrái Yes ce_d<-center_thres No Quay trái Ngườilệchphải Yes ce_d>+center_thres Quay phải No Rấtgầnngười Yes d<stable_dist - thres No Lùiraxa 1

  18. Thuậttoánđiềukhiển robot omni 1 Cònxangười Yes D>stable_dist + thre No Tiếnlạigần Xácđịnhcảmxúcngườiđiềukhiển Happy? Yes Stable_dist+=50 No Video Surprise? Yes Stable_dist-=20 No Stable_dist = 80

  19. Tổngkết & Hướngpháttriển • Kết quả đạt được • Phát triển được mô hình AAM thay thế cho mô hình AAM thương mại và hệ thống tái tạo cơ mặt FACs. • Nhận dạng cảm xúc với độ chính xác khá cao (khoảng 80%) trong điều kiện ánh sáng tốt và mặt bị biến dạng, nghiêng. • Tích hợp nhận diện cảm xúc cho môi trường thay đổi để điều khiển robot. • Hướng phát triển • Tích hợp mô hình AAM để phục vụ các mục đích khác như

  20. Xincảmơnthầycôvàcácbạnđãchú ý theodõi

More Related