pca ica l.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
PCA ?? ICA ?? PowerPoint Presentation
Download Presentation
PCA ?? ICA ??

Loading in 2 Seconds...

play fullscreen
1 / 26

PCA ?? ICA ?? - PowerPoint PPT Presentation


  • 218 Views
  • Uploaded on

PCA から ICA へ?. 狩野裕+清水昌平 (大阪大学人間科学部). ICA とは (1). Independent Component Analysis ( 独立成分分析 ) Jutten-Herault(1991) :2つの音声を分離 情報検索によると ICA : PCA = 1 : 8 (日本) ICA : PCA = 1 : 4 (海外). ICA とは (2). 成分が独立な多次元信号 s を線型混合した 観測値 v から, s を再生するための方法 v から A を推定し,s を再生する. BSS

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'PCA ?? ICA ??' - MikeCarlo


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
pca ica

PCAからICAへ?

狩野裕+清水昌平

(大阪大学人間科学部)

日本行動計量学会:東京大学 平成12年10月

ica 1
ICAとは (1)
  • Independent Component Analysis (独立成分分析)
  • Jutten-Herault(1991):2つの音声を分離
  • 情報検索によるとICA:PCA=1:8(日本)ICA:PCA=1:4(海外)

日本行動計量学会:東京大学 平成12年10月

ica 2
ICAとは (2)
  • 成分が独立な多次元信号sを線型混合した観測値 v から,s を再生するための方法
  • v からAを推定し,s を再生する

日本行動計量学会:東京大学 平成12年10月

bss ica
BSS

Blind Source Separation

BSS と ICA

独立

音源Sn

音源S1

観測V1

観測Vm

日本行動計量学会:東京大学 平成12年10月

slide5
カクテルパーティー効果

周りの雑音に関係なく、会話できる。

どっかーん

日本行動計量学会:東京大学 平成12年10月

slide6
音源の物理的な位置・音響路の差異などの特性が違う音源の物理的な位置・音響路の差異などの特性が違う

観測される信号の重なり方が左右の耳で違う

その違いから,ふたつの信号を復元する

ICAでは独立性を利用

障害物

音源1

音源2

人間

左耳

右耳

カクテルパーティー効果とICA

日本行動計量学会:東京大学 平成12年10月

slide7
実際のカクテルパーティー効果は
  • 選択的注意
    • ある情報を選択的に自覚した意識状態
  • 話のコンテックスト
  • 欠落音の補完
    • 音の冗長性を利用
    • 断片情報から全体を復元

日本行動計量学会:東京大学 平成12年10月

slide8
ICAの仮定
  • 正規分布に従う独立成分は高々1つ
    • s が正規分布だと分離不可能
    • 非正規性に依拠する方法
  • m≧n
    • 観測変数の次元の方が大きい
    • そうでないモデルもある
  • 混合行列 A は full column rank
  • その他
    • E(s) = 0, V(s) = In,モーメント存在の条件

   これらの下で A を一意に決定できる

日本行動計量学会:東京大学 平成12年10月

slide9
PCA....分散の大きな成分を抽出

ICA....非正規性を最大にする成分を抽出

ICAは高次統計量を用いた因子回転の一種

なぜ,独立成分の抽出と非正規性最大化が対応するのか?

主成分の回転

日本行動計量学会:東京大学 平成12年10月

slide10
独立成分の抽出と非正規性最大化

日本行動計量学会:東京大学 平成12年10月

slide11
尖度の最大化 => 非正規独立成分の同定

独立成分の和は非正規性を小さくする

この同値性が独立成分抽出と非正規性最大化を結ぶ

ICAとPP(射影追跡)を結ぶ

独立成分の抽出と射影追跡

日本行動計量学会:東京大学 平成12年10月

slide12
射影追跡(PP)
  • データの興味深さ・面白さ(interestingness)を表す軸(超平面 wTv)を同定
  • Interestingness を非正規性として捉える
  • Freedman の指標・Hallの指標が有名
  • 岩崎(1991)を参照

日本行動計量学会:東京大学 平成12年10月

slide13
ICAのプロセス
  • ICAでは,非正規性の尺度を定めると,それを最大化する wTMv によって独立成分を同定することができる
  • 2番目の独立成分は,s を取り除いてから同プロセスを繰り返す

日本行動計量学会:東京大学 平成12年10月

slide14
非正規性の尺度
  • 尖度や高次キュムラント
    • 外れ値に弱い
  • Entropy 最小化
  • Mutual Information 最小化
  • PPで提案されている非正規性の尺度

日本行動計量学会:東京大学 平成12年10月

entropy
Entropy 最小化

日本行動計量学会:東京大学 平成12年10月

negentropy
Negentropy の近似

日本行動計量学会:東京大学 平成12年10月

mutual information
Mutual Information 最小化

日本行動計量学会:東京大学 平成12年10月

noisy ica ifa
Noisy ICA (IFA)
  • 測定に誤差が伴う場合

日本行動計量学会:東京大学 平成12年10月

slide19
セミパラメトリックモデル
  • Amari-Cardoso(1997), 川鍋-村田(2000)

日本行動計量学会:東京大学 平成12年10月

slide20
モデル間の関係

川鍋-村田(1999)より

日本行動計量学会:東京大学 平成12年10月

ica pp
ICA と PP
  • 両者とも観測変数の線型結合の中で非正規性を最大にするものを探す
  • ICAにおける指標とPPにおける指標は相互乗入れ可能と思われる
  • データが独立な信号(潜在変数)の線型和ならば,ICAやPPは独立成分を同定.そうでない場合は,興味ある軸を同定
  • ICAはPPの一つの特徴づけ

日本行動計量学会:東京大学 平成12年10月

pp ica

V2

S2

S1

V1

例1.一様分布PPがICAになる場合

ICA or PPによって変換した変数の分布

球状化した観測変数の分布

日本行動計量学会:東京大学 平成12年10月

pp ica23

V2

S2

S1

V1

例2.混合正規分布PPがICAにならない場合

ICA or PPによって変換した変数の分布

球状化した観測変数の分布

日本行動計量学会:東京大学 平成12年10月

slide24
応用
  • BSS
  • 脳磁図・脳電図の分析
  • いままでPCAないしはFAで分析していた対象をICAで分析してみたという例が多い
  • 社会科学への応用は今から

日本行動計量学会:東京大学 平成12年10月

slide25
まとめ
  • (noise-free or noisy) ICAは軸の変換である
    • PCAは分散が大きくなるよう軸を変換
    • ICAは独立成分を同定するよう軸を変換
  • 独立成分同定 ⇔ 非正規性最大化
    • ICA ⇔ PP
    • ICA・PPは独立成分が隠れているとそれを同定
  • FAとの関連では,ICAは新しい直交回転解を与える
    • 独立性が一番大きくなるように回転

日本行動計量学会:東京大学 平成12年10月

pca ica26
PCAからICAへ?
  • PCAとICAはまったく異なり,一方が他方を凌駕するというものではない
    • 目的によって使い分ける
    • 分散最大化 vs 非正規性最大化(独立成分の同定)
    • 2次統計量 vs 高次統計量
  • 方法論の研究に関しては,ICAが“燃えている”
  • ICAの社会科学での適用可能性は未知

日本行動計量学会:東京大学 平成12年10月