情報エレクトロニクス学科共通科目・２年次・第１学期 〔 必修科目 〕 講義「情報理論」

1. 情報エレクトロニクス学科共通科目・２年次・第１学期〔必修科目〕講義「情報理論」情報エレクトロニクス学科共通科目・２年次・第１学期〔必修科目〕講義「情報理論」 第10回第6章通信路のモデル 情報理論 講義資料

2. 通信路 Communicationchannel 入力アルファベットA={a1,a2,…,ar}の元 出力アルファベットB={b1,b2,…,bs}の元 通信路の統計的表現 • 通信路 • 各時点において、一つの記号が入力され、一つの記号が出力される • 出力は入力から一意的に定まるのではなく、確率的に決まる Yt Xt A=B かつ|A|=rのとき、r元通信路（r-ary channel）という 通信路の統計的性質は、任意の長さの入力系列X0X1 …,Xn-1とそれに対応する出力系列Y0Y1 … Yn-1の確率分布が与えられれば完全に定まる。 PY0Y1…Yn-1|X0 X1…Xn-1 (y0, y1, …, yn-1 | x0, x1, …, xn-1) = 〔X0 = x0, X1 = x1, …, Xn-1= xn-1であるとき、Y0 = y0, Y1 = y1, …, Yn-1= yn-1となる確率 〕 情報理論 講義資料

3. n-1 n-1 i = 0 i = 0 記憶のない定常通信路 記憶のない通信路（memoryless channel）とは 各時点の出力の現れ方が、その時点の入力には関係するが、それ以外の時点の入力・出力とは独立であるような通信路 PY0…Yn-1|X0…Xn-1 (y0,…, yn-1 | x0,…, xn-1) = Π PYi| Xi (yi| xi) 記憶のない定常通信路とは 時間をずらしても統計的性質が変わらない記憶のない通信路 各時点において、入力X が与えられたときの出力Y の条件付確率PY | X(y | x)が同一 PY0…Yn-1|X0…Xn-1 (y0,…, yn-1 | x0,…, xn-1) = Π PY | X (yi| xi) つまり、記憶のない定常通信路はPY| X(y | x)で決まる! 情報理論 講義資料

4. pij 入力 出力 ai bj b1 b2 bs ・・・ b1 p11 p12 ・・・ p1 s a1 a1 b2 p21 p22 ・・・ p2 s a2 a2 T = ・・・ ・・・ ・・・ ・・・ ・・・・・ ・・・・・・・・ pr 1 pr 2 ・・・ pr s ar ar bs 記憶のない定常通信路の表現法　　　　　　　～通信路行列と通信路線図～ 通信路行列とは r 元入力アルファベットA={a1,a2,…,ar}、 s 元出力アルファベットB={b1,b2,…,bs}、 条件付確率pij = PY | X(bj| ai )　　　　　　　としたとき 条件付確率pijを (i , j ) 要素とするr×s行列 p11 p21 p12 p22 prs 図：通信路線図（channel diagram） 情報理論 講義資料

5. 1 – p 0 0 p p 1 1 1 – p 1 – p p 1 – pφ – p pφ p 1 – pφ – p p 1 – p p pφ 1 – pφ – p 0 0 pφ p X p pφ 1 1 1 – pφ – p 入出力に関して一様な通信路　　　～記憶のない定常通信路の例～ 入力に対して一様な通信路とは 　　　通信路行列の各行が同じ要素の順序を入れ替えたものになっている通信路 出力に関して一様な通信路とは 　　　通信路行列の各列が同じ要素の順序を入れ替えたものになっている通信路 ２重に一様な通信路とは　入力に対して一様でかつ出力に関して一様な通信路 • 例）2元対称通信路（binary symmetric channel; BSC） • 詳しくいうと「記憶のない定常2元対称通信路」 • 例）2元対称消失通信 φ：消失（erasure） ２重に一様 0 1 0 T = 1 入力に対して一様 0 φ 1 0 T = 1 情報理論 講義資料

6. 1 – p 0 0 p p 1 1 1 – p 2元通信路の誤りによる表現 • 入力アルファベット・出力アルファベットがともに {0,1} の2元通信路は、誤り（error）を用いて表すことができる 誤りEを {0,1} の元とすると、２元通信路の 出力Yは入力Xに誤りEを加えたものとみなせる！ Y = X⊕E • E = 0 誤りなし • E = 1 誤り発生 誤り源 Y = X⊕E E ⊕ 入力X 出力Y 2元通信路 図：誤りによる2元通信路の表現 ※ふつう誤りの発生は入力と統計的に独立であると仮定される[加法的通信路] • 例） 2元対称通信路 • このような誤りをランダム誤り（random error）という • 誤りの発生確率pをビット誤り率（bit error rate）と呼ぶ PE(1)=pの記憶のない定常情報源 誤り源 誤りによる表現 E ⊕ 入力X 出力Y 情報理論 講義資料

7. バースト誤り通信路 バースト誤り通信路とは 　誤りが一度生じると、その後しばらくの間は連続して誤りが発生すると考える記憶のある通信路（記憶のある誤り源で表される）の代表的なモデル バースト誤り（burst error）とは 　密集して生じる誤り 例えば、誤り源から発信される系列が 0001111111111100000000011111110000・・・という具合になる誤りのモデル バースト誤り バースト誤り 情報理論 講義資料

8. 1/P 1/ 1–p 0/ 1–P s0 s1 0/ p 図：バースト誤り発生のマルコフモデル 1 – P P Π = p P p 1 – p w0 = w1 = P+p P+p P 1 = w1 P+p P+p バースト誤り発生のマルコフモデルによる理解 • 誤り源が図のマルコフモデルで表せるような2元通信路を考える 定常分布をw = (w0, w1) とすると、wΠ = wおよびw0+w1 = 1 から、 ビット誤り率 誤り源の出力Eが 1 となる確率PE(1) を求めると・・・ PE(1) = w0 P + w1 (1 – p) = {p P + P (1–p)} = 情報理論 講義資料

9. ∞ 1 p ℓ =1 ∞ ℓ =1 図：バースト長の分布の例 バースト誤りの長さの平均(1/2) • P.8の図の2元通信路で発生したバースト誤りの平均長は？ • 誤り系列における 1 の連続（1のラン）を任意に一つ取り出す • その長さがℓとなる確率PB(ℓ ) を求めると、PB(ℓ ) = (1 – p)ℓ–1p (ℓ = 1, 2, ・・・) となる • バースト誤りの長さ（バースト長）の平均値ℓは次のようになるℓ = Σℓ PB(ℓ ) = Σℓ (1 – p)ℓ–1p= ・・・0011111000・・・ 最初の1の後に、1がℓ –1連続する確率 0が出る確率 (P=0.0001,p=0.1) 情報理論 講義資料

10. バースト誤りの長さの平均(2/2) ℓ’:同じビット誤率 P/(P+p) のランダム誤り通信路のバースト誤 りの長さの平均長 ℓ’ < ℓ 実際、 p’=P/(P+p)とすれば、 ℓ’ =Σ ℓ (p’) ℓ−1(1−p’)=1/(1−p’)=(P+p)/p となる。例えばP=0.001, p=0.1であれば、 ℓ=1/p=1/0.1=10 ℓ’=(P+p)/p=0.101/0.1=1.01 となり、ℓ’ < ℓが成り立っている。 ∞ ℓ =1 情報理論 講義資料

11. P 1–p 1–P G B p 誤り発生率0 誤り発生率h 図ギルバートモデル Ph p P P+p P+p P+p 通信が不安定な状態を表す誤りモデル • ギルバートモデル（Gilbert model） • p.8の図のモデルでは、バースト誤りの発生期間はすべての記号が誤る（ソリッドバースト誤り（solid burst error）） • 正誤が混在するバースト誤りの方が自然 • 状態Bのときは1,0 をそれぞれh, 1– hの確率で発生させる （状態遷移と記号出力を分離） ビット誤り率 定常分布において状態G、Bにいる確率をwG、wBとすれば バースト誤り（状態Bに連続的に留まる現象）の長さの平均値ℓ は ℓ =1/p p.8の図のモデルより小さい PE(1) = wG × 0 + wB × h = × 0 + × h = p.8の図のモデルと同じ 情報理論 講義資料