接触履歴における物体間関連を考慮した行動クラスタの抽出

1. 接触履歴における物体間関連を考慮した行動クラスタの抽出 立命館大学大学院　理工学研究科 データ工学研究室 ◎藤原　聡子　　島川　博光 ’06.09.05 (火)

2. Tagged Worldプロジェクトの概要 研究目標 :人間の行動の意図を認識し、それに応じたサービスを提供すること 人間の状態の認識 物体・・・ RFID タグ 人間・・・ 指輪型RFIDリーダ、小型計算機 RFIDタグ パソコン TV キッチン 玄関 個人が ・いつ ・何に触ったのか　 という履歴が 残される 下駄箱 テーブル RFIDリーダ クローゼット お風呂、トイレ ベッド

3. ふるまいの構成 ・アクト： RFIDシステムでセンシング可能な人間の行いの最小単位 アクトの順序対:順序関係のある２つのアクト ・アクション： 意図を達成するうえでの順序をもったアクトの集合 ・ふるまい： 特定状況で習慣的に行うアクションの集合体 ふるまい 外出 アクション アクション アクトの順序対 ドアを開ける 靴を履く タグへのアクセスから アクトへの対応付け アクト アクト アクト チェーン に触る アクト アクト アクト ロック に触る ドアノブ に触る 靴に 触る 靴ベラ に触る 靴箱に 触る アクト ドア に触る 靴ベラ 靴箱 チェーン ドア① ロック ドアノブ ドア② 靴② 靴① 靴③ Tag Tag Tag Tag Tag Tag Tag Tag Tag Tag

4. ドアに 触る アクト ふるまいの検出 アクション：ドアを閉める ①アクセスされたオブジェクトの組み合わせ 　　から、候補となるふるまいを挙げる アクト アクト アクト ドアノブ に触る ロック に触る チェーン に触る ②アクセスされたオブジェクトの順序から、 　　ふるまいを特定する ふるまい：外出 ふるまい：外出 アクション：靴を履く アクション：靴を履く アクト アクト アクト 　： 靴箱 靴ベラ 靴 チェーン ロック ドアノブ ドア ： 靴ベラ を持つ 靴箱に 触る 靴に 触る アクション：ドアを開ける アクト アクト アクト チェーン に触る ロック に触る ドアノブ に触る

5. ドアに 触る アクト ふるまいの検出 アクション：ドアを閉める ①アクセスされたオブジェクトの組み合わせ 　　から、候補となるふるまいを挙げる アクト アクト アクト チェーン に触る ロック に触る ドアノブ に触る ②アクセスされたオブジェクトの順序から、 　　ふるまいを特定する ふるまい：外出 ふるまい：外出 ふるまいを構成するアクションは何か アクションを構成するアクトは何か という構造を 定義しておく必要がある アクション：靴を履く アクション：靴を履く アクト アクト アクト 　： 靴箱 靴ベラ 靴 チェーン ロック ドアノブ ドア ： 靴ベラ を持つ 靴箱に 触る 靴に 触る アクション：ドアを開ける アクション：ドアを開ける アクト アクト アクト チェーン に触る ロック に触る ドアノブ に触る

6. アクションの構造定義の抽出 • ①　ひとつのケース内で１回でも発生した順序対に、重み１を与える • （ただし、順序対間の時間は、ある一定時間内とする） • ②　多数のケースで①の結果を集計する • ③　 ②のケース内で、ある閾値以上の回数で発生した順序対を挙げる • ④　挙げられた順序対をアクションとしてクラスタリングする • ⑤　クラスタリングできたものを、人間にわかるアクション名でラベル付けする 順序対間の時間 ： 5秒以内 　靴箱　→　靴 　靴箱　→　靴ベラ 　靴箱　→　チェーン 　靴箱　→　ロック 　靴箱　→　ドアノブ 　靴　→　靴ベラ 　靴ベラ　→　靴 　靴ベラ　→　チェーン 　靴ベラ　→　ロック 　靴ベラ　→　ドアノブ 　靴　→　チェーン 　靴　→　ロック 　靴　→　ドアノブ 　チェーン　→　ロック 　チェーン　→　ドアノブ 　ロック　→　ドアノブ 　靴箱　→　靴 1 　　　靴箱　→　靴ベラ 1 靴箱　→　チェーン 0 　　　靴箱　→　ロック 0 　　　靴箱　→　ドアノブ 0 靴　→　靴ベラ 1 靴ベラ　→　靴 1 　　　靴ベラ　→　チェーン 1 　　　靴ベラ　→　ロック 1 靴ベラ　→　ドアノブ 0 靴　→　チェーン 1 靴　→　ロック 1 　　　靴　→　ドアノブ 1 　　　チェーン　→　ロック 1 　　　チェーン　→　ドアノブ 1 　　　ロック　→　ドアノブ 1 靴箱　→　靴 21 靴箱　→　靴ベラ 33 　　　靴箱　→　チェーン 35 　　　靴箱　→　ロック 30 　　　靴箱　→　ドアノブ 14 靴　→　靴ベラ 67 　　　靴ベラ　→　靴 79 　　　靴ベラ　→　チェーン 47 　　　靴ベラ　→　ロック 49 　　　靴ベラ　→　ドアノブ 39 　　　靴　→　チェーン 45 　　　靴　→　ロック 55 　　　靴　→　ドアノブ 35 　　　チェーン　→　ロック 63 　　　チェーン　→　ドアノブ 82 　　　ロック　→　ドアノブ 85 ② 外出100回分 を集計 ①

7. アクションの構造定義の抽出 • ①　ひとつのケース内で１回でも発生した順序対に、重み１を与える • （ただし、順序対間の時間は、ある一定時間内とする） • ②　多数のケースで①の結果を集計する • ③　 ②のケース内で、ある閾値以上の回数で発生した順序対を挙げる • ④　挙げられた順序対をアクションとしてクラスタリングする • ⑤　クラスタリングできたものを、人間にわかるアクション名でラベル付けする 靴箱　→　靴 21 靴箱　→　靴ベラ 33 靴箱　→　チェーン 35 靴箱　→　ロック 30 靴箱　→　ドアノブ 14 靴　→　靴ベラ 67 靴ベラ　→　靴 79 靴ベラ　→　チェーン 47 靴ベラ　→　ロック 49 靴ベラ　→　ドアノブ 39 靴　→　チェーン 45 靴　→　ロック 55 靴　→　ドアノブ 35 チェーン　→　ロック 63 チェーン　→　ドアノブ 82 ロック　→　ドアノブ 85 ⑤ 靴を履く 靴箱 靴ベラ 靴箱 靴ベラ ④ ③ 閾値：60回 靴 チェーン 靴 チェーン ロック ドアノブ ロック ドアノブ ドアを開ける

8. 外出のとき 歯磨き粉 歯ブラシ から と 何をしていると思う？ 歯磨き粉 を付ける 歯磨き粉 歯ブラシ は アンケートによるアクションの抽出 １．多数の人間へのアンケート 　①　出現頻度が閾値以上の順序対の集合を 　　　構成する物体を提示する 　②　①の物体すべてに関係するアクション名を 　　　　直感的に，挙げてもらう 　③ 　多数の人間の中で 　　　　出現頻度の高いアクション名を採用する 歯磨き粉 歯ブラシ 歯磨き？ 歯磨き粉を付ける？ 玄関の戸締り？ 歯磨き粉を付ける？ ２．順序対の出現頻度の閾値を下げながら １ を繰り返す 　　思い浮かぶアクション名がなくなれば終了する

9. アンケートによるアクションの抽出 １．多数の人間へのアンケート 　①　出現頻度が閾値以上の順序対の集合を 　　　構成する物体を提示する 　②　①の物体すべてに関係するアクション名を 　　　　直感的に，挙げてもらう 　③ 　多数の人間の中で 　　　　出現頻度の高いアクション名を採用する 歯磨き粉 洗面 蛇口 歯ブラシ 外出のとき 歯磨き粉 歯ブラシ から 洗面 蛇口 何をしていると思う？ 歯磨き？ 歯磨き？ ２．順序対の出現頻度の閾値を下げながら １ を繰り返す 　　思い浮かぶアクション名がなくなれば終了する 歯磨き粉 歯ブラシ は 歯磨き 洗面 蛇口

10. アンケートによるアクションの抽出 １．多数の人間へのアンケート 　①　出現頻度が閾値以上の順序対の集合を 　　　構成する物体を提示する 　②　①の物体すべてに関係するアクション名を 　　　　直感的に，挙げてもらう 　③ 　多数の人間の中で 　　　　出現頻度の高いアクション名を採用する 歯磨き粉 洗面 蛇口 歯ブラシ コップ コップ 外出のとき 歯磨き粉 歯ブラシ から 洗面 蛇口 コップ 何をしていると思う？ 歯磨き？ 歯磨き？ ２．順序対の出現頻度の閾値を下げながら １ を繰り返す 　　思い浮かぶアクション名がなくなれば終了する 歯磨き粉 歯ブラシ は 歯磨き 洗面 蛇口 コップ

11. 歯磨き粉 歯ブラシ 歯磨き は 洗面 蛇口 コップ アンケートによるアクションの抽出 １．多数の人間へのアンケート 　①　出現頻度が閾値以上の順序対の集合を 　　　構成する物体を提示する 　②　①の物体すべてに関係するアクション名を 　　　　直感的に，挙げてもらう 　③ 　多数の人間の中で 　　　　出現頻度の高いアクション名を採用する 歯磨き粉 洗面 蛇口 鞄 歯ブラシ コップ コップ 外出のとき 鞄 歯磨き粉 コップ から 洗面 蛇口 歯ブラシ 何をしていると思う？ ？ ・・・ ２．順序対の出現頻度の閾値を下げながら １ を繰り返す 　　思い浮かぶアクション名がなくなれば終了する

12. まとめと今後の計画 • 目標：人間の行動の意図に応じたサービスの提供 • 人間の行動をアクト・アクション・ふるまいという３階層で表現 • 人間の主観に依らないアクションの構造定義を抽出する手法を提案 • 多数の人間の行動ログ • 多数の人間に対するアンケート • 提案手法によって、どのように構造が抽出されるかを実験

14. 確率推論によるふるまいの検出 Bayesian Network 　　ある事象が発生したときにそれらを構成する要素同士の依存確率を求める手法 方法Ⅰ:ネットワーク構造をアクトを入力層、 　　 ふるまいを出力層とする 方法Ⅱ:ネットワーク構造をアクト・アクション・ 　　 ふるまいの３階層とする ふるまい 例 例 ふるまい アクション アクト ・・・ アクト 10個 3個 3個 4個 2の10乗ケースの計算が必要 {(2の3乗+ 2の3乗+ 2の4乗)+ 2の3乗} ケースの計算が必要

15. 確率計算に必要な時間やメモリが 大きくなるという計算上の問題 双方向への依存関係が生まれる という、構造上の問題 確率推論によるふるまいの検出 Bayesian Network 　　ある事象が発生したときにそれらを構成する要素同士の依存確率を求める手法 １．ネットワークの構造を決定 ２．ネットワーク内の要素間の依存確率を計算 方法Ⅰ:代表的なBayesian Network構築手法 　　 であるK2アルゴリズムを用いてネットワ ーク構築を試みた 方法Ⅱ:ネットワーク構造をアクトを入力層、 　　 ふるまいを出力層としてネットワーク を構築し、確率計算を試みた アクト アクト ・・・ ふるまい ふるまい

16. 既存研究との比較

18. アクションの階層構造の抽出 ・　アンケートによって得られたアクション名に対し、 　　物体の包含関係から　アクションの木構造　を導出する 歯磨き 歯磨き コップ ？ 歯磨き粉を 歯ブラシに付ける 歯磨き粉を 歯ブラシに 付ける コップに 水を注ぐ 歯ブラシを 洗う コップに 水を注ぐ 歯ブラシ ？ 歯磨き粉 歯ブラシ を洗う 洗面 蛇口 歯磨き 歯磨き粉 歯ブラシ 洗面 蛇口 コップ

19. アクションの階層構造の抽出 ・　アンケートによって得られたアクション名に対し、 　　物体の包含関係から　アクションの木構造　を導出する 歯磨き 歯磨き コップ ？ 歯磨き粉を 歯ブラシに付ける 歯磨き粉を 歯ブラシに 付ける コップに 水を注ぐ 歯ブラシを 洗う コップに 水を注ぐ 歯ブラシ ？ 歯磨き粉 歯ブラシ を洗う 洗面 蛇口 歯磨き 歯磨き粉 歯ブラシ 洗面 蛇口 コップ

20. アクションの階層構造の抽出 ・　アンケートによって得られたアクション名に対し、 　　物体の包含関係から　アクションの木構造　を導出する 歯磨き 歯磨き コップ ？ 歯磨き粉を 歯ブラシに付ける 歯磨き粉を 歯ブラシに 付ける コップに 水を注ぐ 歯ブラシを 洗う コップに 水を注ぐ 歯ブラシ ？ 歯磨き粉 歯ブラシ を洗う 洗面 蛇口 歯磨き 歯磨き粉 歯ブラシ 洗面 蛇口 コップ

21. 01/15 玄関　ドアロック 玄関　ドアノブ ドア を 開ける 次へ

22. 02/15 玄関　ドアロック 洗面　蛇口 玄関　ドアノブ タオル ドア を 開ける 手 を 洗う 次へ

23. 03/15 玄関　ドアロック 洗面　蛇口 トイレ　電気 玄関　ドアノブ タオル トイレ　ドアノブ外側 ドア を 開ける 手 を 洗う トイレ に 入る 次へ

24. 04/15 トイレ　レバー 洗面　蛇口 玄関　ドアロック トイレ　ドアノブ内側 タオル 玄関　ドアノブ トイレ　ドアノブ外側 手 を 洗う ドア を 開ける トイレ　電気 トイレ から 出る 次へ

25. 14/15 鞄 PC マウス トイレ　レバー 財布 自室　電気 キーボード トイレ　ドアノブ内側 携帯電話 パソコン を 使う キーケース トイレ ドアノブ外側 持つ 荷物 を 洗面　蛇口 歯ブラシ 玄関　電気 玄関　ドアロック トイレ　電気 タオル 玄関　ドアノブ 歯磨き粉 トイレ 換気扇 ドア を 開ける 洗面所　電気 トイレ 出る から 歯 を 磨く 次へ

26. 15/15 洗面　蛇口 歯ブラシ PC マウス トイレ　レバー タオル 洗面 コップ キーボード ハンドソープ 歯磨き粉 トイレ　ドアノブ内側 パソコン を 使う 洗面所　電気 × トイレ ドアノブ外側 鞄 玄関　電気 玄関　ドアロック 財布 自室　電気 トイレ　電気 玄関　ドアノブ 携帯電話 トイレ 換気扇 ドア を 開ける キーケース トイレ 出る から 次へ 持つ 荷物 を