1 / 18

最尤推定法について

最尤推定法について. 経営学研究科　 M1 年 学籍番号　 speedster. 最尤推定法（ MLE). 2 項分布の最尤推定 正規母集団の平均 μ の MLE 正規回帰モデルにおける母数の MLE 最尤法と積率推定法（ MLE 対 MME) 最尤推定とベイジアン推定. 2 項分布の最尤推定法. コインを 10 回投げて 4 回表が出た時の表が出る確率 π の MLE を求める。 π ＝ 0.1 を仮定してみる P(s)=( n s )π s ( 1 － π) n － s ＝　　　　

terrica
Download Presentation

最尤推定法について

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 最尤推定法について 経営学研究科　M1年 学籍番号　speedster

  2. 最尤推定法（MLE) • 2項分布の最尤推定 • 正規母集団の平均μのMLE • 正規回帰モデルにおける母数のMLE • 最尤法と積率推定法（MLE対MME) • 最尤推定とベイジアン推定

  3. 2項分布の最尤推定法 • コインを10回投げて4回表が出た時の表が出る確率πのMLEを求める。 • π＝0.1を仮定してみる P(s)=(ns)πs(1－π)n－s＝　　　　 (104)×(0,1)4×(0,9)6=0,011・・・(1) • 仮定が正しいものだとすると、観測された標本が得られる確立は1％に過ぎないことが判明する。

  4. 2項分布の最尤推定法(2) • 同様にπ＝0.0～0.8までを仮定して計算した結果、π＝0.4が尤もらしいといえる（テキスト　P374　表18－1） • ちなみに(1)式は10と4が固定されてるためπが唯一の変数である。 　⇒尤度関数とする。 L(π)＝(104) π4（1－π）6・・・(2) • 一般には L(π)＝（ns）πs（1－π）n－s・・・(3)

  5. 2項分布の最尤推定法(3) • 最尤推定値 　 ⇒(2)式の尤度関数を最大にするπの値 (この場合π＝0.4） • 一般に2項分布のπのMLEは(3)式を微分することで常に標本比率Pであることが証明される。 • 微分についてはホワイトボードで。

  6. 正規母集団の平均μのMLE • 母集団N(μ,σ2）から標本（X1,X2,X3)を抽出。 　⇒未知のμを見つける • 母集団は正規分布⇒Xを観測する確立は(18‐7）式になる。 • X1,X2,X3が独立であると仮定 　⇒同時確立は (18‐11）式に、尤度関数は(18‐12）式になる。 • μのMLEは(18‐12）を微分することでXであることが求められる（微分はホワイトボードで）

  7. 正規回帰モデルにおける母数のMLE • Xによってμを推定する⇒最小2乗の単純な特殊ケース • また、XはMLEである 　 ⇒最小2乗推定量は回帰モデルに適用してもMLEであるか？ • （12-3）式においてMLEを用いてα、βを推定することは観測された標本を生成する可能性がいかなる値より大きいα、βを求めることを意味する。

  8. 正規回帰モデルにおける母数のMLE（2） • 一般に大きさnの標本を得ると仮定すると、観測標本の確立を知る事が目的となる P(Y1,Y2,・・・,Yn/α,β) • それは母数α、βの可能な値の関数として表されている。 • Yの値は独立⇒それぞれの確立の積を求めればよい。⇒（18-15,16,17）式が得られる。

  9. 正規回帰モデルにおける母数のMLE（3） • （18-17）式において、α、βは指数関数においてのみ見られる。 • 負の指数を含む関数を最大にするには、指数の大きさを最小にすればよい。 • 最尤推定値は Σ[Yi-α-βxi]2 　 を最小にするα、βを選択すればよい。 • これは最小2乗推定値a,bを選ぶ事に等しい 　 ＝正規回帰モデルでは最尤推定値は最小2乗推定値と等しいといえる。

  10. 任意の母集団からの任意の母数の最尤推定法 • 標本（X1,X2,・・・,Xn）が確立分布p(X/θ)の母集団から抽出される。 • Xiは独立に確率分布p(Xi/θ)をもつ。 同時確立は P(X1,X2,・・・,Xn/θ)＝p(X1/θ)p(X2/θ)・・・P(Xn/θ) ＝　 これをθについての尤度関数 L(θ)＝ という。最尤推定値はこれを最大にするθの値である。

  11. 最尤法と積率推定法（MLE対MME) • 任意の母集団比率を対応する標本比率で推定する方法 　⇒積率推定法（標本比率、平均に基づいて母数比率、平均を求める方法） • 両者はしばしば一致するが、時に異なる時もある。⇒この時はMLEの方がMMEよりも優れている。（特に大標本の場合） • 三つの漸近的性質（テキスト　P384) • ただし、小標本に関してはMLEが必ずしも最良とはいえない。

  12. 最尤推定とベイジアン推定 • (a)単純なケース • 二つの値しかとらないという母数θの最尤推定値を見つける。 • 最尤推定法 L(θ0)＞ L(θ1)　すなわち、 P(X/θ0)＞ P(X/θ1)　となる時 推定値としてθ1よりθ0を選択する。

  13. 最尤推定とベイジアン推定(2) • ベイジアン推定 • リグレットが等しく、事前確立が等しいとすれば、 P(X/θ1)/ P(X/θ0)＜1　すなわち、 P(X/θ1)＜P(X/θ0)　となる時 θ0を採択する、という事に帰着する。 • これはMLE基準と同一の解答が得られる。

  14. リグレットとは・・・ • 例：二種類のカブトムシ（a0：無害 a1：有害) 　 新しい地方でカブトムシが見つかったとき、このカブトムシは害虫か？無害か？ 　 ⇒殺虫剤をまくか、まかないかを決定。 • 殺虫剤をまかない時の損失・費用 　 ⇒無害の時＝5　有害の時＝100 • 殺虫剤をまく時の損失・費用 　 ⇒無害の時＝15　有害の時＝15 　 カブトムシが無害の時のリグレット　15－5＝10 　 カブトムシが有害の時のリグレット　100－15＝85

  15. 事前確立とは・・・ • ある地方での晴れと雨の確立が60％、40％であると想定する。（事前確立） 　 天気予報機の導入 　 ⇒10％の確立で雨の時「晴れ」と予想 　 ⇒20％の確立で晴れの時「雨」と予想 • 機械が「雨」と予想した時の天気の確立は？ .4×.9＝.36（雨の確立） .6×.1＝.12（晴れの確立） 100％に換算すると、雨＝75％ 晴れ＝25％（事後確立）

  16. 最尤推定とベイジアン推定(3) • (b)拡張：連続なθ • θは連続な値域を動く。θについての事前知識が全く無いときは等確率 p(θ)＝c　（一定）　を用いる。 • さらに、0‐1型損失関数を選択するものとすれば、事後分布は最頻値によって推定される。 　 ⇒テキスト P385,(18‐27,28）式 ※0‐1型損失関数に関してはテキスト P315~316を参照

  17. 最尤推定とベイジアン推定(4) • (18‐28)式において最頻値を見つけるためのθを捜す。式の[]内はθに依存しない 　 ⇒p(X/θ)を最大にするθの値を求める。 ＝古典的な最尤法の定義 • 0-1型損失関数と「等確率」事前分布を用いるベイジアンと同じ結果を得ると結論。 • 両者とも容易に正当化することはできない 　 ⇒最尤法をあまり褒めたことにはならない。

  18. ちなみに・・・ • p(X/θ)が単峰で対象なら、平均、最頻値、中央値が一致して最尤法は3つの損失関数のいずれかを用いたベイジアン推定法と一致する。 • 最尤推定法は大標本では魅力ある特性（テキスト P384）を持つが、小標本では時に奇妙な結果を残すことがあるため、注意が必要である。 終わり

More Related