情報通信システム（ 6 ） www10.plala.or.jp/katofmly/chiba-u/ 2010 年 5 月 25 日 火曜日 午後 4 時 10 分～ 5 時 40 分

1. 情報通信システム（6）http://www10.plala.or.jp/katofmly/chiba-u/2010年5月25日　火曜日　午後4時10分～5時40分情報通信システム（6）http://www10.plala.or.jp/katofmly/chiba-u/2010年5月25日　火曜日　午後4時10分～5時40分 NTTサイバーソリューション研究所 加藤 洋一 kato.yoichi@lab.ntt.co.jp

2. 通信速度の単位 • bps 1秒間に伝送される「ビット」の数 • Kbps bpsの1,000倍の単位 • Mbps Kbpsの1,000倍の単位 • Gbps Mbpsの1,000倍の単位 • Tbps Gbpsの1,000倍の単位 • 通信速度の場合には、通信速度は通常「ビット／秒」で表現される。バイト（＝8ビット）／秒もまれに使われるので注意が必要。 • 一方、ファイルの大きさなど、データ量を表す場合には、「バイト」を単位とするのが普通。 • さらに、ファイルなどの場合、K=1,024、M=1,048,576（1,024の２乗）などの場合もあるので要注意。

3. 通信システムの速度

4. 音声と画像の無圧縮時情報速度

5. 音声と画像の情報量圧縮の目的 • 伝送コストを安くしたい。 • 携帯電話 • ビデオ伝送 • 効率よく蓄積したい • ビデオ • 音楽 • 映画

6. （あらためて）「情報量」とは何か？ • 「情報量」とは、捉え方によって異なる。 • 「横浜ベイスターズが勝った」という情報は、ファンには意味があるが、野球に興味のない人には無意味な情報である。つまり「情報量０」。 • 通信工学という立場からは、受信側の情報の「捉え方」は問題にしないこととする。 やった！ 情報：横浜ベイスターズが勝った！ 俺には関係ないね。

7. 情報量（定義） nat bit 対数の底が2のとき、単位はbit（びっと）という 対数の底がeのとき、単位はnat（なっと）という P=0.5のとき1ビット p p 確率が小さいほど、情報量は多い。

8. 情報量の期待値＝平均情報量＝情報エントロピー情報量の期待値＝平均情報量＝情報エントロピー

9. エントロピーの性質 entropy 前頁では、赤黒の生起確率は0.5で情報エントロピーは1bitだった。 ２つの事象の生起確率とエントロピー p1 ( =1 – p2) 一般に、場合の数をNとすると、それぞれの事象の発生確率が1/Nのとき（即ち、全て同じとき）、エントロピーが最大となり、その値は、log2(N)となる。逆に、発生確率が「片寄る」と、エントロピーは減る。

10. Harry Potter and the Order of Phoenix Harry Potter and Order of the Phoenix, J.K. Rowling Chapter One “DUDLEY DEMENTED” The hottest day of the summer so far was drawing to a close and a drowsy silence lay over the large, square houses of Privet Drive. Cars that were usually gleaming stood dusty in their drives and lawns that were once emerald green lay parched and yellowing; the use Of hosepipes had been banned due to drought. Deprived of their usual car-washing and lawn-mowing pursuits, the inhabitants of Privet Drive had retreated into the shade of their cool houses, windows thrown wide in the hope of tempting in a nonexistent breeze. The only person lea outdoors was a teenage boy who was lying flat on his back in a Rower bed outside number four. …………………. 各文字の発生頻度 最初の9ページ分 文字数 15717 文字の種類の数 28 （大文字と小文字を区別 しないこととした） エントロピー 計算結果 4.15 bit m 234 n 956 o 876 p 224 q 9 r 794 s 781 f 213 g 325 h 879 i 800 j 11 k 117 l 486 t 1075 u 388 v 132 w 346 x 10 y 306 z 9 ‘ ‘ 2840 . 197 a 1032 b 217 c 266 d 640 e 1554

11. 効率的な符号化 • 前頁の例では、場合の数は28であった（26のアルファベット＋スペース＋ピリオド）。この28のシンボルを2進数で表すことを考える。 • 最も簡単な方法は、1シンボルあたり、5ビットの数字をひとつずつ割り付ける方法である（5ビットでは、2の５乗、即ち３２個のシンボルを表すことができる）。これを固定長符号化という。 • エントロピーの実測値は4.15bitなので、この方法では、元来の情報量の約20%増の符号量となり得策ではない。 固定長符号化の例 ‘ ‘ 00000 . 00001 a 00010 b 00011 c 00100 d 00101 e 00110 F 00111 g 01000 h 01001 i 01010 j 01011 k 01100 l 01101 m 01110 n 01111 o 10000 p 10001 q 10010 r 10011 s 10100 t 10101 u 10110 v 10111 w 11000 x 11001 y 11010 z 11011 （11100から11111までの4つの符号は使用しない）

12. 効率的な符号化（可変長符号化） • 前頁の例では、固定長(5bit)の符号を用いた。固定長の符号は扱いやすいが、効率が悪い場合がある。 • 符号には固定長の他に、可変長符号がある。 例： 袋には4種類の玉が入っている。赤と黒は10個ずつ、 白は20個、黄色は、40個とする。全部で80個。玉をひとつ取り出したときの発生 確率は、黄色 50%、白25%、赤12.5%、黒12.5%である。 以下のような符号を割り振る。 黄色 0 白 10 赤 110 黒 111 玉を16回取り出したところ（出したら元に戻してかきまぜる） 黄 白 黒 黄 黒 白 黄 赤 黄 白 黄 白 黄 赤 黄 黄 とでた。これを符号化すると、 0 10 111 0 111 10 0 110 0 10 0 10 0 110 0 0 となる。詰めて表示すると、 0101110111100110010010011000 (total 28bit) これを復号してみる。左のビットから順番に見ていくと、まず0なので直ちに決まって黄、次は1なので決まらずさらに次を見ると10つまり白、というように、正しく復号できる。 場合の数は4なので、固定長符号なら2ビット、16シンボル分では32ビットとなる。可変長符号化の場合には28ビットだったので、効率が上がったことが分かる。

13. 効率的な符号化方法（ハフマン符号化） • 効率的な可変長符号を決める方法のひとつとして、ハフマン符号化がある。手順は以下のとおり。 • シンボルについて、その生起確率の小さいものから２つを探す。 • 生起確率が最小のシンボルに”0”、2番目に小さいシンボルに”1”の符号を与える。シンボルが、（３）の合成シンボルの場合、合成前のオリジナルのシンボル全てに符号を与える。 • この２つのシンボルを合わせてひとつのシンボルと考える（合成シンボル）。新しいシンボルの生起確率は元の値を足したものとする。 • 1-3の操作で、全体のシンボル数はひとつ減る。全体のシンボル数が1になるまで1-3の操作を繰り返す。 • 終わり。

14. 効率的な符号化方法（ハフマン符号化） • 生起確率の高いシンボルほど短い符号が割り当てられている。 • 平均符号長 4.18 （エントロピーは4.15ビットだった） • 固定長符号化に比べ、ずっと効率が良い。 m 110000 n 1001 o 0110 p 100001 q 1100101000 r 0011 s 0010 t 1011 u 01000 v 1100100 w 110111 x 1100101010 y 110011 z 1100101001 ‘ ‘ 111 . 010010 a 1010 b 100000 c 110001 d 11010 e 000 f 010011 g 110110 h 0111 i 0101 j 1100101011 k 11001011 l 10001 前述のHarry Potterのテキストの各文字発生確率から生成したハフマン符号

15. 確率事象の結合

16. 確率事象の結合 参考 x1y1+x1y2+x1y3+… x2y1+x2y2+x2y3+… …. = (x1 + x2 + x3 + …)(y1 + y2 + y3 …)

17. 結合確率のエントロピー

18. 結合確率のエントロピー 重要：つまり、各々の事象のエントロピーより結合事象のエントロピーの方が小さい（あるいは等しい）、ということになる。

19. 結合確率 • 前頁の性質を使うと、情報量の圧縮ができる。つまり、複数のイベントの結合確率p(i,j,…)を求め、その複数のイベントをまとめて符号化すれば、イベントをひとつずつ符号化するより出力符号量を減らすことができる。 • 例えば、イベント１は、テキストの奇数番目の文字イベント２は、テキストの偶数番目の文字と考え、文字を２つずつ組にして符号化することが考えられる。 The hottest day of the summer so far was drawing to a close and a drowsy silence lay over the large, square houses of Privet Drive.

20. 確率事象の結合 • 前述のHarry Potterのテキストで、1文字ずつを事象とした場合、2文字ずつを事象とした場合、3文字ずつを事象とした場合で計算してみた。 • 複数の文字をまとめてひとつの事象と捉えることで、一文字あたりのエントロピー、即ち情報量が減ることが分かる。これは、隣り合う文字間に何らかの関連があるからである。

21. 確率事象と確率過程 • 「確率事象」とは、「袋から玉を取り出す」ことのように、確率的に生起する事象のことを言う。 • 確率事象が連続的に起きる場合、それを「確率過程」という。 • 通信システムで伝送する信号は「確率過程」であるということができる。 • 信号がメールであれば、一文字一文字が「確率事象」であり、そのまとまりであるメールは、 「確率過程」である。 • 例えば、音声信号のような一次元信号であれば、サンプル値ひとつひとつが「確率事象」であり、その連続であるディジタル音声信号は「確率過程」である。このような場合の「確率事象」を「確率変数」と呼ぶ。

22. マルコフ過程 • テキスト、音声信号、画像信号などは、時間的、あるいは、空間的に「近い」標本間での関連が高い。 • 例えば、テキストの場合、ある文字の発生確率は、その直前、さらにその前、．．．の文字により変化する。このように、ある時点での事象の発生確率がそれ以前に生起したN個の事象に影響されるとき、それを「N次のマルコフ過程」という。 • マルコフ過程は、実際の信号の近似的なモデルとしてよく利用されている。 • 本講義では「マルコフ過程」について詳しく調べることはしませんが、その概念は覚えておいてください。

23. 量子化 • 量子化とは、連続的な値（アナログ値）を飛び飛びの値に「丸める」ことである（ディジタル化）。 • 既に量子化されている信号をさらに粗く「丸める」ことも「量子化」という場合がある。 • 量子化を行うと、もとの信号との誤差が発生する。これを量子化誤差、あるいは、量子化雑音という。 量子化出力 量子化誤差 量子化代表値 真値

24. 量子化雑音 量子化出力 量子化出力 真値 真値 細かい量子化 量子化雑音小 代表値数は多くなる 即ち、情報量大 粗い量子化 量子化雑音大 代表値数が少ない 即ち、情報量小 WAVEファイルを量子化する実験を行う。量子化誤差を「量子化雑音」という意味が分かると思う。 画像ファイルを量子化する実験を行う。画像の場合、劣化は雑「音」ではないが、慣習的にやはり「量子化雑音」という場合が多い。

25. 再生信号の評価 • 前頁で、音声や画像では、「完全再生」は必要ないと述べた。では、どの程度不完全でも良いのであろうか？ • いくつかの尺度がある。例えば、次の式で与えられる平均二乗誤差。 • しかし、最終的には、複数の人間が実際にオリジナル信号と再生信号（復号された信号）を聞き（見）比べて評価することが多い。 • このような方法を「主観評価」という。

26. 量子化雑音のパワー 左の図のように等間隔で量子化する場合を一様量子化という。量子化代表値の間隔（ステップサイズ）をSとすると、量子化雑音は、以下のように計算できる。 量子化出力 e=S/2 e=-S/2 真値

27. 確率過程の効率的符号化方法？ ここまでの学習をまとめると、信号の効率的符号化方法は、以下のようになるであろう。 量子化には、情報量と雑音のトレードオフがある。 Nを大きくすると、シンボル数が一サンプルの代表値数のN乗の比例して増加してしまう。 信号の標本化と量子化 Nサンプルずつグループ化する グループのサンプルの結合確率密度に 従いハフマン符号化を行う

28. 現実論 • ディジタル音声信号を符号化しよう。ここで、互いに関係しあうサンプルをまとめて符号化することで、効率を上げる。このまとまりを、例えば、20サンプルとする（本来、もっと多くのサンプルが互いに関連していると思われる）。 • 標本値は、256通りである。20サンプルまとめてひとつの事象だと考えるので、場合の数は256の20乗となる。 • ハフマン符号を生成するため、 256の20乗のそれぞれのパターンの発生確率を求めねばならない。発生確率は、その母集団から十分なサンプルを収集してそのヒストグラムから計算できる。しかし、 256の20乗個（49桁）のパターンに対する発生確率を求めるためのサンプル数は膨大となる。またそのハフマン符号の生成、利用も容易ではない。 • つまり、この方法は現実的でない。 • 現実的な情報量圧縮符号の「戦略」は次ページ。

29. 音声と画像の情報量圧縮の「戦略」 音声、音楽、画像の各標本値は、他の近隣の標本値と関連がある。即ち、冗長性がある。最初に、信号の性質に着目して、冗長性を削減することで情報量を減らす。 音声や画像では、完全に再生できなくても支障がない場合が多い。「完全に再生する」ことをあきらめる事で、さらに情報量を削減する。 最終的に得られた値（シンボル）を効率よくビット列にする。 「完全に再生できない」場合の元信号との差を「符号化雑音」という。これを目立たせないように、復号の後で何らかの処理を加える。 次回へ続く。。。