entropia
Download
Skip this Video
Download Presentation
ENTROPIA

Loading in 2 Seconds...

play fullscreen
1 / 8

ENTROPIA - PowerPoint PPT Presentation


  • 168 Views
  • Uploaded on

ENTROPIA. Średnia informacja na wiadomość [b/w] gdzie P(x) – prawdopodobieństwo wystąpienia danego stanu wiadomości x. Jeśli prawdopodobieństwa P(x) są jednakowe, H(x) jest największa.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' ENTROPIA' - oona


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
entropia
ENTROPIA
  • Średnia informacja na wiadomość [b/w]

gdzie P(x) – prawdopodobieństwo wystąpienia danego stanu wiadomości x.

  • Jeśli prawdopodobieństwa P(x) są jednakowe, H(x) jest największa.
  • H(x) określa się w bitach/wiadomość. Oznacza ona oczekiwaną liczbę bitów przy przesyłaniu danej wiadomości kanałem binarnym.
przyk ad
Przykład
  • Rzucamy idealną kostką do gry
  • Musimy użyć 2,7 (praktycznie 3) bity do przesłania 6 stanów
  • Niech kostka ma uprzywilejowane położenie P(6), np. P(6)=0,05; P(1)=...=P(5)=0,19. Wtedy
  • Widzimy, że entropia zmalała. Występuje bowiem w zasadzie tylko 5 stanów (szósty jest bardzo mało prawdopodobny). Statystycznie mamy oczekiwaną liczbę bitów do przesłania 2,3
ekwiwokacja niepewno
EKWIWOKACJA (NIEPEWNOŚĆ)
  • Jest to entropia warunkowa. Określa stopień niepewności, że nadano wiadomość x gdy odebrano y powiązaną z nią via P(x/y)
  • Dążymy do tego, by H(x/y)0 (niepewność!)
przyk ad 1
PRZYKŁAD (1)
  • Odebrano informację złożoną z

ośmiu jednakowo prawdopodobnych zdarzeń, np. odebrano cyfry 1, 2, ..., 8.

Ich entropia jest największa i wynosi

przyk ad 2
Przykład (2)
  • Dana jest dodatkowa informacja {Y1,Y2} stanowiąca, że

przy Y1 możliwe są tylko stany x1, ...,x4

a przy Y2 – tylko x5, x6, x7, x8

  • Stąd mamy mniejszą entropię (nastąpiło częściowe uporządkowanie)
przyk ad 3
Przykład 3
  • System binarny wyróżnia stany x1 i x2
  • Zakładamy apriori P(x1)=P(x2)=1/2
  • W punkcie odbiorczym mamy y1 i y2, ale bez pewności, że y1x1, y2x2
  • Odsetek pomyłek wynosi 0,01. H(x/y)=?
zadanie 1
ZADANIE 1
  • Informacja pogodowa: X={S, P, D, U},

S –słońce, P-pochmurno, D-deszcz, U- ulewa

  • Dodatkowa informacja

Y={ R - ranek, P – popołudnie}

  • Zależności:

dla R P(S)=1/8,P(P)=1/8, P(D)=3/8, P(U)=3/8

dla P P(S)=3/8. P(P)=3/8, P(D)=1/8, P(U)=1/8

Należy określić entropię H(x) oraz entropię

uzależnioną od pory dnia, czyli niepewność H(x/y).

Wskazówka: musi H(x/y)<H(x), wziąć 1/2x(1/8,3/8...

zadanie 2
ZADANIE 2
  • System binarny wyróżnia stany x1 i x2
  • Zakładamy apriori P(x1)=P(x2)=1/2
  • Odsetek pomyłek w odbiorze wynosi 0,5, czyli

P(x1/y1)=P(x2/y2)=0,5 oraz

P(x1/y2)=P(x2/y1)=0,5.

  • Jaka jest strata (niepewność w odbiorze) informacji, czyli H(x/y)=?
  • Wskazówka: Jest to strata największa możliwa