slide1 n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
משפט שאנון ותורת האינפורמציה PowerPoint Presentation
Download Presentation
משפט שאנון ותורת האינפורמציה

Loading in 2 Seconds...

play fullscreen
1 / 22

משפט שאנון ותורת האינפורמציה - PowerPoint PPT Presentation


  • 147 Views
  • Uploaded on

משפט שאנון ותורת האינפורמציה. ‘Communication in the presence of noise’ C.E. Shannon, Proc. Inst. Radio Eng. (1949). קצת רקע. An extension of “A mathematical theory of communications”, (1948). The basis for information theory field (first use in print of ‘bit’ )

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'משפט שאנון ותורת האינפורמציה' - july


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1

משפט שאנוןותורת האינפורמציה

‘Communication in the presence of noise’

C.E. Shannon, Proc. Inst. Radio Eng. (1949)

slide2

קצת רקע

An extension of “A mathematical theory of communications”, (1948).

The basis for information theory field (first use in print of ‘bit’)

Shannon worked for Bell-labs at the time.

Developed the first ‘wearable computer’ to predict casinos’ roulette wheels

Built the first juggling machine (‘W.C.Fields’), and a mechanical-mouse with learning capabilities (‘Theseus’)

‘Theseus’

‘W.C. Fields’

slide3

סכמה של מערכת תקשורת גנרית

s(t)

(לחץ, שדה א.מ)

פונקציה רציפה s(t)+n(t)

פונקציה רציפה s(t)

מסר'’

‘מסר’

Physical Channel (bandwidth W)

מקלט

מפענח (decoder)

מקודד

משדר

יעד האינפורמציה

מקור אינפורמציה

רעשn(t)

  • בעיה אבסטרקטית סבוכה. המודל של שאנון:
  • כל מסר מקודד לפונקציה רציפה s(t)
  • s(t) תיוצג ע"י מספר דגימות בזמן (משפט הדגימה)
  • ייצוג הדגימות כנקודה במרחב גיאומטרי אוקלידי
  • ניתוח תוספת הרעש (ערוץ פיזיקלי)
  •  מגבלה על קצב השידור האמין בערוץ
whittaker kotel nikov

Vn=[s(Δt), s(2 Δt),…]

משפט הדגימה של נייקווסט/שאנון (גם Whittaker-Kotel´nikov)

האות המשודר מוגבל לרוחב סרט W:

פונקציה רציפה s(t), בעלת ייצוג פוריה: S(f>W)=0

S(f) מוגדרת ב-[-W,W] (אורך 2W)  אפשר לייצגה ע"פ מקדמי טור-הפוריה שלה:

V1= s(t=1/2W), V2= s(t=2/2W),… Vn= s(t=n/2W)

אלו דגימות הפונקציה ב-nΔt=n1/fs

תדר נייקווסט fs = 2W =

הדגימות ב-fs מספיקות כי:

1) הדגימות מייצגות את S(f<W)

2) S(f<W) מתארת במלואה את s(t) נשחזר את s(t) ע"י פילטר: Rect(f/W)

Fourier domain:

S(f>W)=0

התוצאה:

אות בעל משך זמן T ורוחב סרט W מיוצג ע"י 2WT מספרים:

 וקטור במרחב בעל 2WT מימדים:

V=[s(1/2W), s(2/2W),… , s(2WT/2W)]

audio cd

Audible human-ear frequency range: 20Hz – 17-20KHz

  • The Nyquist rate is therefore: 2 x 20KHz = 40KHz
  • CDsampling rate = 44.1KHz, fulfilling Nyquist rate.

דוגמא לתדר נייקווסט לדגימה – audio CD

Anecdotes:

Exact rate was inherited from late 70’s magnetic-tape storage conversion devices.

Long debate between Philips (44,056 samples/sec) and Sony (44,100 samples/sec)...

slide6

כל אות רציף s(t)בעל משך T ורוחב סרט W ממופה ל:

  • נקודה במרחב בעל 2WT מימדים (קואורדינטות הנקודה – אמפליטודות הדגימות):
  • V = [x1,x2,…, x2WT] = [s(1/2W), …, s(2WT/2W)]
  • בדוגמת ה-CD:
  • דיסק עם הקלטה בת שעה  נקודה במרחב בעל מימד:
  • 44,100sec-1 x 60sec x 60min = 158.8x106 dimensions (!!)
  • הנורמה (מרחק2) במרחב זה מתכונתית לאנרגית/הספק האות: (מטריקה אוקלידית)
  • - האינטואיציה: לדגימות ולאות אותו טרנספורם פוריה בתחום [-W W], (הוכחה בדפים)

ייצוג האות הדגום במרחב גיאומטרי רב-מימדי

"החלפנו יצור מורכב (האות) במרחב פשוט (הזמן) ביצור פשוט (נקודה) במרחב מורכב..."

slide7

N

P

P

  • דוגמא במרחב תלת-מימדי (3 הדגימות הראשונות ב-CD):
  • V = [x1,x2,…, x2WT] = [s(Δt), s(2Δt), …, s(T)]

x3

הייצוג הגיאומטרי - תוספת רעש בערוץ

“mapping”

x1

x2

  • הוספת רעש גאוסייני לבן בעל הספק ממוצע N "מורחת" נקודה ל"ענן" כדורי ברדיוס:RN(לא כדור קשיח, הרדיוס לא מדויק עקב שונות הרעש)
  • עבור T, רדיוס הכדור נעשה בדיוק N (ממוצע סטטיסטי על ההספק בזמן ארוך)
  • הנקודה במקלט תהיה ממוקמת על מעטפת הכדור במרחק N מהנקודה המשודרת

VS+N = [s(Δt)+n(Δt), s(2Δt)+n(2Δt), …, s(T)+n(T)]

slide8

לתקשורת אמינה: המקלט חייב להבחין בין שני מסרים שונים תחת הרעש הנתון

x3

כמה מסרים שונים ניתנים לשידור ?

N

P

P

x1

x2

  • מספר המסרים הניתנים להבחנה (M)  בעיית 'אריזת הכדורים' ב-2TW מימדים:
  • ככל שהמסרים ארוכים יותר , T, הכדורים נעשים קשיחים יותר
  •  ההסתברות לשגיאה קטנה כרצוננו (תקשורת אמינה)
slide9

Channel bandwidth

Signal to Noise Ratio (SNR)

קצב השידור האמין המקסימאלי (קיבולת)

קיבלנו כי מספר המסרים השונים שניתן להעביר באמינות בזמן T:

מספר הביטים המייצגים M מסרים אלו (ביטים משודרים בזמן T):

קצב הביטים לשנייה המועברים באמינות:

(in bits/second)

זהו משפט שאנון המפורסם: ‘channel capacity theorem’ ! (סוף ההוכחה)

האינטואיציה: W דגימות בשניה, כל דגימה יכולה להכיל מידע התלוי ביחס האות לרעש

- בנוסף הוכיח גם כי ניתן להגיע לקצב התיאורטי C

slide10

P{s=v}

  • With no signal, the receiver measures a fluctuating noise
  • In our example: pressure fluctuations of air molecules impinging on the microphone (thermal energy):

רעש תרמי = רעש גאוסי לבן

  • The statistics of thermal noise is Gaussian: P{s(t)=v}  exp(-(m/2KT)v2)
  • The power spectral-density is constant: (power-spectrum |S(f)|2=const)

“white”

“pink/brown”

slide11

(in bits/second)

כמה דוגמאות לערוצים פיזיקאליים

Channel capacity limit:

1) Speech (e.g. this lecture):

W=20KHz, P/N=~1 - 100  C  20,000bps – 130,000bps

Actual bit-rate = ~ (2 words/sec) x (5 letters/word) x (5 bits/letter) = 50 bps

2) Visual sensory channel:

(Images/sec) x  (receptors/image)  x (Two eyes)

Bandwidth (W) =      ~25     x    ~50x106       x     ~2  = ~2.55x109 Hz

P/N > 256

 C  2.5x109 x log2(256) = ~20x109 bps

A two-hour movie:

 2hours x 60min x 60 sec x 20Gbps = 1.4x1014bits = ~15,000 Gbytes (DVD = 4.7Gbyte)

אנחנו לא עושים שימוש במלוא קיבולת הערוץ  ניתן לשדר יותר ביעילות (עקרונית)

זהו הבסיס לכל אלגוריתמי הדחיסה: lossless – zip (Lempel-Ziv)

שימור רק המידע ה'חשוב'lossy (mpeg, mp3, jpeg) -

slide13

With only 4bit per sample

44.1Ks/s x 4bit/s = 176.4Kbps

slide14

With only 3bit per sample

44.1Ks/s x 3bit/s = 132.3Kbps

slide15

With only 2bit per sample

44.1Ks/s x 2bit/s = 88.2Kbps

slide16

With only 1bit per sample (!)

44.1Ks/s x 1bit/s = 44.1Kbps (we started with 700Kbps)

לא נשמע משהו, אבל העיקר נמצא.

הסיבה העיקרית: המערכת מוח+אוזן לא מגיעה לכל מרחב הפאזה (מגבלה פיזיקאלית + כוח עיבוד)

Another example: (smart) high-compression mp3 algorithm: @16Kbps

slide17

short-range similarities

  • patterns
  • repetitions
  • symmetries
  • repetitions
  • etc, etc….

What information is essential??

(evolution…?)

הדגמה לניצול הקטן של הערוץ הויזואלי (עין+מוח)

400x600

704Kbyte .bmp

30.6Kbyte .jpg

10.9Kbyte .jpg

8Kbyte .jpg

6.3Kbyte .jpg

5Kbyte .jpg

4Kbyte .jpg

Images: Redundancies  image compression formats

“a bottle” on “a tab

(1954)

80x50 pixels

  • סרטים: כנ"ל + דמיון רב בין תמונות עוקבות
  • טקסט: אותיות החוזרות יותר מאותיות אחרות
slide18

כמה מידע קיים? כמה תיאורטית ניתן לדחוס ?

Source ‘Entropy’

  • כמה ביטים צריך כדי לקודד מסר? (ללא איבוד מידע)
  • באופן אינטואיטיבי: #bits = log2M(M = מספר המסרים האפשריים)
  • חוקיות/חזרתיות  פחות מסרים אפשריים (דוגמת הסרבן)
  • אם קיימים מסרים יותר נפוצים מאחרים  ניתן לקודד עם פחות מ-log2M
  • החסם התאורטי לקידוד ללא איבודים: (P(Mi) - הסתברות הופעת המסר Mi)
  • האינטואיציה:
  • נעשה שימוש בפחות ביטים לקודד את המסרים הנפוצים
slide19

דוגמא: דחיסת מידע ללא איבוד (entropy coding)

  • Example: M=4 possible messages (e.g. letters):
  • ‘A’ (94%), ‘B’ (2%), ‘C’ (2%), ‘D’ (2%)
  • 1) Without compression: 2 bits/message:
  • ‘A’00, ‘B’01, ‘C’10, ‘D’11.
  • 2) A better code: (prefix coding'קוד רישא' , Huffman)
  • ‘A’0, ‘B’10 , ‘C’110, ‘D’111
  • <bits/message> = 0.94x1 + 0.02x2 + 2x (0.02x3) = 1.1 bits/msg
slide20

למה אנתרופיה?

  • כל חוקיות  קיימות תבניות שכיחות יותר  אנתרופיה נמוכה
  • (מידע מיותר)
  • המדד היחיד(!) הממלא אחר 4 דרישות 'פיזיקאליות':
    • H=0 if P(Mi)=1.
    • מסר בעל P(Mi)=0 לא תורם לאנתרופיה (לא מופיע)
    • מקסימום אנתרופיה עבור מסרים שווי הסתברות
    • חיבור שני מקורות אינפורמציה ב"ת:
    • Hx+y = Hx+Hy
slide21

סיכום ומסקנות

Channel bandwidth

Signal to Noise Ratio (SNR)

  • חסם פיזיקאלי לקיבולת ערוץ (קצב אינפורמציה):
  • אנתרופיה כמדד לכמות האינפורמציה:

in bits/second

the speech vocoder voice coder

Model the vocal-tract with a small number of parameters.

Lawfulness of speech subspace only  fails for musical input

Used by Skype / Google-talk / GSM (~8-15KBps)

The speech Vocoder (VOice-CODer)

The ancestor of modern speech CODECs (COder-DECoders):

The ‘Human organ’