Methodology of conversation analysis based on measurement

1. Do not distribute beyond this class • Artificial Intelligence Adv., May 1st, 2013 Methodology of conversation analysis based on measurement Nishida Lab Yoshimasa Ohmoto

2. From External to Internal • Human behavior was simply copied to agents. → External behavior of agents was similar to human, but internal process was very different. • We use diverse information to interact with others. • Symbolic information • Verbal information and iconic gestures • Intentions and emotions • Mainly, nonverbal and paralinguistic → This information is very useful to speculate intentions.

3. George de La Tour, The Cheat with the Ace of Diamonds Who is the cheat? Who is the partner?

4. Speculating intentions • How do we speculate internal states? • Internal states mean what a person is thinking. • Very difficult • We cannot objectively describe internal states even when we do about ourselves. • Our memory of the past is constantly being revised to fit our own recognition of the current state. • How do we speculate intentions? • In most cases, we just takea shot in the dark. • We usually confirm after communication.

5. What is a “scientific” research? • There is no strict definition. • “consisting in systematic observation, measurement, and experiment, and the formulation, testing, and modification of hypotheses” • This means that • We cannot discover a “truth” in our researches. • We can only find a fact which is relatively correct. • The researcher interprets the fact as a evidence of his/her hypothesis. • Therefore a paper needs “method,” “result,” and “discussion.”

6. Multi-modal interaction研究の動向(1) • AMIプロジェクト（2003～） • 会議の記録と分析 • 収録内容をコーパスとして公開 • 70時間のシナリオ会話と30時間の自由会話 • 時間、人数、会話の書き起こし、対話行為タグ、話題文節単位、会議の文節単位、要約情報、感情モデル、頭部と手のジェスチャ、視線方向、環境カメラ情報、個人カメラ情報、音声情報、プロジェクタ、ホワイトボードとそのストローク • 会議分析の遠隔会議発展版として、AMIDA（2006～） • 4名のうち1名が遠隔地にいる場合におけるインタラクション • 遠隔地間のコミュニケーションに特化

7. Multi-modal interaction研究の動向(2) • CHILプロジェクト（2004～2008） • 対面で問題解決のために協力している様子を対象 • AMIほどは整理された情報を公開していない • 音声情報、画像情報、センサ情報 • データからインタラクションパターンを見つけ出すのが目的 • VACEプロジェクト（2000～2007） • 画像処理を用いた会話構造の特定が目的 • ニュース番組を自動的に収集・解析する • 多人数インタラクションにおけるジェスチャ研究 • これまでは、発話とジェスチャ表出時の人間の認知処理過程に焦点が当てられていた • 開発された分析手法を実装したアノテーションツール

8. Multi-modal interaction研究の動向(3) • インタラクションコーパス（2001～2006）[角 03] • 人間が、直感的にコンピュータとふれあうインターフェースの開発 • インタラクション行動を多角的に観察し、音声情報、注視情報、生理情報などを取得して、再利用可能なコーパスとして整理する • IMADEプロジェクト（2006～2011） • 西田研など複数の研究者が中心となって行った • 実世界におけるマルチモーダルインタラクションを分析 • 映像、音声、ジェスチャ、のみならず、行動データ、生体データなどまで取得 • 性質の異なる情報を一括して処理することで、人間の認知・心理状態の分析とインタラクション行動の規則性を発見する

9. インタラクション研究の技術的展開 • なぜ大量のインタラクションデータが必要なのか？ (1) 発見のため、(2)評価・学習用データとして • 人工知能研究との関連は？ • 対話システム作成 • システムと人間のインタラクション • タスク・ドメインは限定的だが高い能力を要求 • 人間がシステムに適応することが多い • コミュニケーション支援 • 人間同士の作業支援（CSCW）やコミュニケーション仲介 • 介在できる範囲は限定的だが観察から発見する必要がある • 人間はシステムを空気のように扱う • インタラクションデータを理解する必要がある • 言語・文脈系の、意味処理 • 運動・反応系の、行動解釈

10. データの扱い • 生データはほとんどの場合、意味を持たない • 統計（経験的直感も含む）に基づく解釈が必要 • 人間が行うアノテーションを分析することもよくある • 統合的解釈が必要[Kendon 72, 80, 04] • 内部観測データと外部観測データ • 分節と連鎖 • 因果関係と共起関係 • インタラクションでは、単独の人物の行為のみに焦点を当てて分析するだけでは不十分[Clark 96] • 相手がいる行為がきわめて多い • 「隣接ペア」「参与構造」など、複数人の関係性が意味を持つことも多い

11. マルチモーダルインタラクション分析(1) • 分類的アプローチ • 機能に基づいてマルチモーダル情報を分類する • E.g. 「表象」「例示」「調節」「感情表示」「適応行為」[Ekman 69] • 表情分類 • 基本6感情（喜び、驚き、怒り、恐れ、嫌悪、悲しみ）に基づくものが多い • 余談だが、この6感情でさえ明確に分類することは難しい • 表情筋に基づくアノテーション手法（FACS）が提案されている [Ekman 78] • ジェスチャ分類 • 「拍子」「表象的ジェスチャ」（「映像的ジェスチャ」「暗喩的ジェスチャ」「直示的ジェスチャ」） [MacNeill 92] • 批判もある • 表現そのものが意味を持つとは限らない • 複数の機能をもつ表現も多くある

12. マルチモーダルインタラクション分析(2) • 構造的アプローチ • インタラクション中の関係性を抽出する • 主に時間的構造に注目する • 発話、手の動き、身体の向き、視線などを時間軸上に配置して、全体の関係性を記述する [Kendon 72]等 • 「ジェスチャ単位」に基づいて分節化 • 「ホームポジション」「プレパレーション(P)」「ホールド(H)」「ストローク(S)」「リトラクション(R)」 • ストロークとホールドの連鎖によって、全体として一つのジェスチャ（ジェスチャ句）として解釈されることもある • 構造的な関係性の記法がいくつも提案されている • ジェスチャ：英語の頭文字と分割記号(|, ||, /)によって表現 • 視線：何を見ているか「対象名＋アンダーバー」、視線移動中「・・・」、どのあたりを見ているか「対象名＋ハイフン」