1 / 15

IEMOCAP: Interactive emotional dyadic motion capture database

IEMOCAP: Interactive emotional dyadic motion capture database. Abstract. 人類的溝通是以「語言」 + 「手勢」 南加洲大學所蒐集的資料庫： interactive emotional dyadic motion capture database " (IEMOCAP ) 交互式情緒二元動作 捕捉數據 庫. IEMOCAP. 從10個 演員 的會話和 面部 、 頭部 、 手 部標記 ， 紀錄 詳細信息 。 資料 庫包含約12個小時的數據 。. IEMOCAP 素材選擇.

talisa
Download Presentation

IEMOCAP: Interactive emotional dyadic motion capture database

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. IEMOCAP: Interactive emotional dyadic motion capture database

  2. Abstract • 人類的溝通是以「語言」+「手勢」 • 南加洲大學所蒐集的資料庫：interactive emotional dyadic motion capture database" (IEMOCAP)交互式情緒二元動作捕捉數據庫

  3. IEMOCAP • 從10個演員的會話和面部、頭部、手部標記，紀錄詳細信息。資料庫包含約12個小時的數據。

  4. IEMOCAP素材選擇 • 方法一、提供一個情緒劇本讓演員表演，這些素材經由戲劇專業人士審核，確認這些劇本應該傳達的目標情緒是正確的。 • 方法二受試者被要求以即興為基礎，從假想情境中(例如：失去了一個朋友，分離)自由發揮。受測者可以自由地使用他們的話來表達自己紀錄自發的口語交際情景，包含語言和手部動作。透過劇本的內容引起特定類型的情緒（喜，怒，悲傷、挫折和中性狀態）。

  5. IEMOCAP受試者選擇 • 資料庫紀錄了七個專業演員及三個南加洲大學劇戲系學生，共十位。 • 試鏡過程要求這些演員的表達要盡量自然，避免以誇張的方法詮釋情感。 • 受測者紀錄歷時約六個小時，其中包括適當的休息

  6. VICON motion capture system

  7. Segmentation and transcription of the data • Segmentation • 斷詞 • transcription • 聲學語音模型 • Sphinx-III speech recognition system (version 3.0.6)

  8. Emotional annotation of the data • 主觀的情感評價，由南加州大學的學生判斷 • 兩種流行的評估方案 • 離散分類的註解(影像) • 基於連續屬性的說明(聲音)

  9. Emotional annotation of the data(1) • ANVIL annotation tool • 讓學生來判斷情緒發生的時間

  10. Emotional annotation of the data(2) • ANVIL annotation tool • 情緒選擇清單

  11. Distribution of the data for each emotional category

  12. Confusion matrix • 原預設情感與人事後分類的結果

  13. Continuous emotional descriptors • The self-assessment manikins (SAMs) were used to evaluate the corpusin terms of the attributes valence [1-negative, 5-possitive], activation [1-calm, 5-excited], and dominance [1-weak, 5-strong]

  14. Reconstruction of marker data • VICON IQ 2.5 software • 53 * 3 matrix • http://www.youtube.com/watch?v=n6qW9frKPiA

  15. IEMOCAP資料庫的優勢 • Naturalness • 演員盡量接近自然的表達情緒 • Context • 以對話的方式引導演員的情緒，對話的上下文都可以幫助情緒觸發的判斷 • Descriptors • 以連續性的資料來紀錄語料庫表達的情緒

More Related