משפט שאנון ותורת האינפורמציה

משפט שאנוןותורת האינפורמציה ‘Communication in the presence of noise’ C.E. Shannon, Proc. Inst. Radio Eng. (1949)

קצת רקע An extension of “A mathematical theory of communications”, (1948). The basis for information theory field (first use in print of ‘bit’) Shannon worked for Bell-labs at the time. Developed the first ‘wearable computer’ to predict casinos’ roulette wheels Built the first juggling machine (‘W.C.Fields’), and a mechanical-mouse with learning capabilities (‘Theseus’) ‘Theseus’ ‘W.C. Fields’

סכמה של מערכת תקשורת גנרית s(t) (לחץ, שדה א.מ) פונקציה רציפה s(t)+n(t) פונקציה רציפה s(t) מסר'’ ‘מסר’ Physical Channel (bandwidth W) מקלט מפענח (decoder) מקודד משדר יעד האינפורמציה מקור אינפורמציה רעשn(t) • בעיה אבסטרקטית סבוכה. המודל של שאנון: • כל מסר מקודד לפונקציה רציפה s(t) • s(t) תיוצג ע"י מספר דגימות בזמן (משפט הדגימה) • ייצוג הדגימות כנקודה במרחב גיאומטרי אוקלידי • ניתוח תוספת הרעש (ערוץ פיזיקלי) •  מגבלה על קצב השידור האמין בערוץ

Vn=[s(Δt), s(2 Δt),…] משפט הדגימה של נייקווסט/שאנון (גם Whittaker-Kotel´nikov) האות המשודר מוגבל לרוחב סרט W: פונקציה רציפה s(t), בעלת ייצוג פוריה: S(f>W)=0 S(f) מוגדרת ב-[-W,W] (אורך 2W)  אפשר לייצגה ע"פ מקדמי טור-הפוריה שלה: V1= s(t=1/2W), V2= s(t=2/2W),… Vn= s(t=n/2W) אלו דגימות הפונקציה ב-nΔt=n1/fs תדר נייקווסט fs = 2W = הדגימות ב-fs מספיקות כי: 1) הדגימות מייצגות את S(f<W) 2) S(f<W) מתארת במלואה את s(t) נשחזר את s(t) ע"י פילטר: Rect(f/W) Fourier domain: S(f>W)=0 התוצאה: אות בעל משך זמן T ורוחב סרט W מיוצג ע"י 2WT מספרים:  וקטור במרחב בעל 2WT מימדים: V=[s(1/2W), s(2/2W),… , s(2WT/2W)]

Audible human-ear frequency range: 20Hz – 17-20KHz • The Nyquist rate is therefore: 2 x 20KHz = 40KHz • CDsampling rate = 44.1KHz, fulfilling Nyquist rate. דוגמא לתדר נייקווסט לדגימה – audio CD Anecdotes: Exact rate was inherited from late 70’s magnetic-tape storage conversion devices. Long debate between Philips (44,056 samples/sec) and Sony (44,100 samples/sec)...

כל אות רציף s(t)בעל משך T ורוחב סרט W ממופה ל: • נקודה במרחב בעל 2WT מימדים (קואורדינטות הנקודה – אמפליטודות הדגימות): • V = [x1,x2,…, x2WT] = [s(1/2W), …, s(2WT/2W)] • בדוגמת ה-CD: • דיסק עם הקלטה בת שעה  נקודה במרחב בעל מימד: • 44,100sec-1 x 60sec x 60min = 158.8x106 dimensions (!!) • הנורמה (מרחק2) במרחב זה מתכונתית לאנרגית/הספק האות: (מטריקה אוקלידית) • - האינטואיציה: לדגימות ולאות אותו טרנספורם פוריה בתחום [-W W], (הוכחה בדפים) ייצוג האות הדגום במרחב גיאומטרי רב-מימדי "החלפנו יצור מורכב (האות) במרחב פשוט (הזמן) ביצור פשוט (נקודה) במרחב מורכב..."

N P P • דוגמא במרחב תלת-מימדי (3 הדגימות הראשונות ב-CD): • V = [x1,x2,…, x2WT] = [s(Δt), s(2Δt), …, s(T)] x3 הייצוג הגיאומטרי - תוספת רעש בערוץ “mapping” x1 x2 • הוספת רעש גאוסייני לבן בעל הספק ממוצע N "מורחת" נקודה ל"ענן" כדורי ברדיוס:RN(לא כדור קשיח, הרדיוס לא מדויק עקב שונות הרעש) • עבור T, רדיוס הכדור נעשה בדיוק N (ממוצע סטטיסטי על ההספק בזמן ארוך) • הנקודה במקלט תהיה ממוקמת על מעטפת הכדור במרחק N מהנקודה המשודרת VS+N = [s(Δt)+n(Δt), s(2Δt)+n(2Δt), …, s(T)+n(T)]

לתקשורת אמינה: המקלט חייב להבחין בין שני מסרים שונים תחת הרעש הנתון x3 כמה מסרים שונים ניתנים לשידור ? N P P x1 x2 • מספר המסרים הניתנים להבחנה (M)  בעיית 'אריזת הכדורים' ב-2TW מימדים: • ככל שהמסרים ארוכים יותר , T, הכדורים נעשים קשיחים יותר •  ההסתברות לשגיאה קטנה כרצוננו (תקשורת אמינה)

Channel bandwidth Signal to Noise Ratio (SNR) קצב השידור האמין המקסימאלי (קיבולת) קיבלנו כי מספר המסרים השונים שניתן להעביר באמינות בזמן T: מספר הביטים המייצגים M מסרים אלו (ביטים משודרים בזמן T): קצב הביטים לשנייה המועברים באמינות: (in bits/second) זהו משפט שאנון המפורסם: ‘channel capacity theorem’ ! (סוף ההוכחה) האינטואיציה: W דגימות בשניה, כל דגימה יכולה להכיל מידע התלוי ביחס האות לרעש - בנוסף הוכיח גם כי ניתן להגיע לקצב התיאורטי C

P{s=v} • With no signal, the receiver measures a fluctuating noise • In our example: pressure fluctuations of air molecules impinging on the microphone (thermal energy): רעש תרמי = רעש גאוסי לבן • The statistics of thermal noise is Gaussian: P{s(t)=v}  exp(-(m/2KT)v2) • The power spectral-density is constant: (power-spectrum |S(f)|2=const) “white” “pink/brown”

(in bits/second) כמה דוגמאות לערוצים פיזיקאליים Channel capacity limit: 1) Speech (e.g. this lecture): W=20KHz, P/N=~1 - 100  C  20,000bps – 130,000bps Actual bit-rate = ~ (2 words/sec) x (5 letters/word) x (5 bits/letter) = 50 bps 2) Visual sensory channel: (Images/sec) x (receptors/image) x (Two eyes) Bandwidth (W) = ~25 x ~50x106 x ~2 = ~2.55x109 Hz P/N > 256  C  2.5x109 x log2(256) = ~20x109 bps A two-hour movie:  2hours x 60min x 60 sec x 20Gbps = 1.4x1014bits = ~15,000 Gbytes (DVD = 4.7Gbyte) אנחנו לא עושים שימוש במלוא קיבולת הערוץ  ניתן לשדר יותר ביעילות (עקרונית) זהו הבסיס לכל אלגוריתמי הדחיסה: lossless – zip (Lempel-Ziv) שימור רק המידע ה'חשוב'lossy (mpeg, mp3, jpeg) -

Original sample: 44.1Ks/s x 16bit/s = 705Kbps (CD quality) הדגמה לניצול הקטן של הערוץ ע"י האוזן/מוח

With only 4bit per sample 44.1Ks/s x 4bit/s = 176.4Kbps

With only 1bit per sample (!) 44.1Ks/s x 1bit/s = 44.1Kbps (we started with 700Kbps) לא נשמע משהו, אבל העיקר נמצא. הסיבה העיקרית: המערכת מוח+אוזן לא מגיעה לכל מרחב הפאזה (מגבלה פיזיקאלית + כוח עיבוד) Another example: (smart) high-compression mp3 algorithm: @16Kbps

short-range similarities • patterns • repetitions • symmetries • repetitions • etc, etc…. What information is essential?? (evolution…?) הדגמה לניצול הקטן של הערוץ הויזואלי (עין+מוח) 400x600 704Kbyte .bmp 30.6Kbyte .jpg 10.9Kbyte .jpg 8Kbyte .jpg 6.3Kbyte .jpg 5Kbyte .jpg 4Kbyte .jpg Images: Redundancies  image compression formats “a bottle” on “a tab (1954) 80x50 pixels • סרטים: כנ"ל + דמיון רב בין תמונות עוקבות • טקסט: אותיות החוזרות יותר מאותיות אחרות

כמה מידע קיים? כמה תיאורטית ניתן לדחוס ? Source ‘Entropy’ • כמה ביטים צריך כדי לקודד מסר? (ללא איבוד מידע) • באופן אינטואיטיבי: #bits = log2M(M = מספר המסרים האפשריים) • חוקיות/חזרתיות  פחות מסרים אפשריים (דוגמת הסרבן) • אם קיימים מסרים יותר נפוצים מאחרים  ניתן לקודד עם פחות מ-log2M • החסם התאורטי לקידוד ללא איבודים: (P(Mi) - הסתברות הופעת המסר Mi) • האינטואיציה: • נעשה שימוש בפחות ביטים לקודד את המסרים הנפוצים

דוגמא: דחיסת מידע ללא איבוד (entropy coding) • Example: M=4 possible messages (e.g. letters): • ‘A’ (94%), ‘B’ (2%), ‘C’ (2%), ‘D’ (2%) • 1) Without compression: 2 bits/message: • ‘A’00, ‘B’01, ‘C’10, ‘D’11. • 2) A better code: (prefix coding'קוד רישא' , Huffman) • ‘A’0, ‘B’10 , ‘C’110, ‘D’111 • <bits/message> = 0.94x1 + 0.02x2 + 2x (0.02x3) = 1.1 bits/msg

למה אנתרופיה? • כל חוקיות  קיימות תבניות שכיחות יותר  אנתרופיה נמוכה • (מידע מיותר) • המדד היחיד(!) הממלא אחר 4 דרישות 'פיזיקאליות': • H=0 if P(Mi)=1. • מסר בעל P(Mi)=0 לא תורם לאנתרופיה (לא מופיע) • מקסימום אנתרופיה עבור מסרים שווי הסתברות • חיבור שני מקורות אינפורמציה ב"ת: • Hx+y = Hx+Hy

סיכום ומסקנות Channel bandwidth Signal to Noise Ratio (SNR) • חסם פיזיקאלי לקיבולת ערוץ (קצב אינפורמציה): • אנתרופיה כמדד לכמות האינפורמציה: in bits/second

Model the vocal-tract with a small number of parameters. Lawfulness of speech subspace only  fails for musical input Used by Skype / Google-talk / GSM (~8-15KBps) The speech Vocoder (VOice-CODer) The ancestor of modern speech CODECs (COder-DECoders): The ‘Human organ’

משפט שאנון ותורת האינפורמציה

משפט שאנון ותורת האינפורמציה

Presentation Transcript