隠れマルコフモデルによる時系列気象画像の時空間変動パターン表現

隠れマルコフモデルによる時系列気象画像の時空間変動パターン表現隠れマルコフモデルによる時系列気象画像の時空間変動パターン表現 *本田理恵、勝吉進一、小西修** *高知大学・数理情報科学 **はこだて未来大 2005　地球惑星関連合同学会 honda@is.kochi-u.ac.jp

研究の背景 • 地球惑星科学データ • 観測、シミュレーションから膨大な時空間データが生成 • 効率的なパターン、規則性などの知識発見の方法が必要 • 従来の手法 • 可視化　　　　→データが複雑、膨大になると困難に • 時間、空間方向の情報圧縮　　　　→未知のパターンの見落とし　　　　気象衛星画像（Kitamoto, 国立情報研究所）マントル対流シミュレーション（Iwase 2001)

目的 • 時系列画像からの時空間変動パターン抽出に機械学習、データマイニング手法の利用 • ビデオの解析手法を適用 • 自己組織化マップ（SOM)によるクラスタリング • 隠れマルコフモデル（HMM)による時間変動モデリング • 両者の組み合わせによる時空間クラスタリング • ひまわりの時系列気象画像に適用し、有用性を評価

st-1 st st+1 隠された状態記号記号 ot-1 ot-1 ot ot ot＋１ ot＋１０．４ A 0.2 状態の有限集合状態の有限集合状態遷移確率分布０．５０．１０．５０．４０．３０．５記号出力確率分布 B 0.8 C 0.0 出力記号の有限集合出力記号の有限集合　　０．１０．３初期状態確率分布状態数状態数信号の場合の数信号の場合の数隠れマルコフモデルHidden Markov Model(HMM) • 確率的な状態遷移と記号出力を備えた数学的モデル • 音声認識などの分野で広く利用

クラスタリング ラベリング画像ラベルの系列１　２　３　４　５ 733231・・・・６　７　・・・ 2段階自己組織化マップ（SOM) (片岡、小西1997, Honda et al. 2001) 状態系列の復元０．４ AABBBCC ・・・・ A 0.2 隠された状態の理解 (気象：季節などの一定の気象期間）０．５０．１０．５０．４０．３０．５ B 0.8 C 0.0 ０．１０．３ HMMの結果をSOMマップに可視化（時空間クラスタリング）隠れマルコフモデル手法の概略空間パターンマイニング時間パターンマイニング 7332321・・・・

データ • データ • 1997年1月１日～200年年１２月３１日の気象衛星ひまわりの日本上空の赤外画像（雲を反映）（東大生産研、高知大） • 640pixels x 480pixels • サンプリング間隔1日 • 計1335枚（欠損ふくむ） • ・画像の記号への変換 • クラスタリングとラベル付 • ２段階ブロック化自己組織化マップ（片岡・小西1997、Honda et.al. 2001) • 移動する物体を含む画像のグループ化が可能 • ブロックの特徴ベクトル • 64pixels x 64pixels の FFT パワースペクトラム

０１１２４・・・・ SOMによるクラスタリングの結果 01 2345 67891011 121314151617 181920212223 242526272829 303132333435

クラスタラベルの時系列

HMM:モデル推定と状態系列の復元 • モデル推定 • Baum・Welchアルゴリズム＋EMアルゴリズム（URL)によるパラメータ推定 • 状態数2-8の中で、情報量基準（BIC）を用いて最適な状態数とそのモデルを選択 • 14日,28日のセグメントに対して学習 • 状態系列の復元 • Viterbiアルゴリズム

HMMモデル学習と選択 • 最適な状態数の選択 • ベイズの情報量（BIC） BIC＝ ‐2（最大対数尤度）＋dklogn （dk：モデルの自由度 n:出力記号数）最適な状態数5

春、秋 初夏、初秋 (梅雨、秋雨前線）真冬復元された状態系列冬、夏の前後盛夏得られたモデル（状態数５）

真冬 5-20% 得られたモデル（状態数５）春、秋梅雨、秋雨前線冬、夏の前後盛夏

まとめ • SOM,HMMにより時系列気象画像から時空間変動パターンを抽出した • HMMの状態をSOMに投影しなおすことにより、時空間クラスタリングを実現 • 従来の季節認識と若干異なる複数季節にわたる状態(5）と、鎖状の状態遷移モデルが得られた • 他の一般的な時空間データへの適用 • 厳密にはHMMのような統計的非正則問題に対してはBICの使用には問題があることが指摘 • モデル選択へのベイズ推定の適用

状態系列の復元

実験結果１(学習データが２８日の状態5のモデル）実験結果１(学習データが２８日の状態5のモデル）状態１[0.2] 春、秋状態４[0.24] 状態２[0.7] 状態５[0.14] 0.01 状態３[0.19] 状態6[0.17] 盛夏

情報量基準

得られたモデルの例

情報量基準

システム概要 SOM クラスタリング画像学習 AIC,BIC EMアルゴリズムバウム･ウェルチアルゴリズム知識発見データ HMM パラメータ推定

モデルのパラメータ推定には、バウム・ウェルチアルゴリズム、EMアルゴリズムをモデルのパラメータ推定には、バウム・ウェルチアルゴリズム、EMアルゴリズムを使用隠れマルコフモデル時系列気象画像のクラスタID 記号系列ABCを出力する状態遷移系列は？ S1－S3－S2, S2－S1－S2, S2－S3－S2の３種類。それぞれの確率は、 0.8×0.2×0.5×1.0×0.4×0.5＝0.016 0.2×0.5×0.1×0.8×0.5×0.5＝0.002 0.2×0.5×0.5×1.0×0.4×0.5＝0.01 よって隠れマルコフモデルがABCを出力する確率は三つの合計0.028となる０．４状態数２～８までにおいての最適なモデル記号ABCを出力する確率状態遷移系列を求めたい！！ S2 0.2 ０．５０．3 最適な状態遷移系列ビタビ・アルゴリズム０．１０．５０．４ S1 0.8 S３ 0.0 ０．５０．３

１　　２　　３　　４　　５ ６　　７　・・・・・・・・・・・・・画像データの説明ヒストグラムを用いた二段階SOM Step1:時系列気象画像をｍ×ｎに　　　　分割する Step2:分割された画像を自己組織化　　　　マップによって学習させる Step3:学習データのクラスタIDの　　　　ヒストグラムをつくる Step4:ヒストグラムを再び自己組織化　　マップにかけ学習する Step5：学習データが集合し、クラスタ　　　　に分けられる SOM 時系列気象画像 SOM

AIC,BIC • AIC（赤池の情報量基準） BIC（ベイスの情報量基準）　：情報量基準によるモデルの妥当性検証 AIC＝‐2（最大対数尤度）＋２dk* BIC＝ ‐2（最大対数尤度）＋dk* *dk：フリーパラメータ＝O(O‐１）＋O(N-1)+O-1 O:状態数　N：記号数　n：モデルにかかわる出力記号の数状態遷移確率のフリ―パラメータ記号出力確率のフリーパラメータ初期状態確率のフリーパラメータ

Viterbiアルゴリズム HMMで最適な状態遷移系列を求める状態遷移系列の復元 S1→S2=0.5 S1→S3=0.5 S2→S1=0.1 S2→S2=0.4 S2→S3=0.5 初期状態 A B C 0.8 S１ S1 S1 最大の確率が得られた地点から太い矢印を逆向きにたどると S2→S3→S1 従って最適な状態遷移系列は S１→S3→S２となる 0.2 0.8 [0.16] [0.008] 0.2 S2 S2 S2 0.5 0.0 0.5 [0.1] [0.0] [0.016] S3 S3 S3 0.0 0.0 1.0 0.0 [0.0] [0.08]

実験結果１(学習データが２８日の状態5のモデル）実験結果１(学習データが２８日の状態5のモデル）状態１[0.2]（春,秋）春、秋状態２[0.7]（盛夏）状態４[0.24] 0.01 状態５[0.14] 状態３[0.19] 状態6[0.17] 盛夏

０．４ S2 0.2 ０．５０．3 ０．１０．５０．４ S1 0.8 S３ 0.0 ０．５０．３

隠れマルコフモデルによる時系列気象画像の時空間変動パターン表現

隠れマルコフモデルによる時系列気象画像の時空間変動パターン表現

Presentation Transcript