Entropia
Download
1 / 8

ENTROPIA - PowerPoint PPT Presentation


  • 168 Views
  • Uploaded on

ENTROPIA. Średnia informacja na wiadomość [b/w] gdzie P(x) – prawdopodobieństwo wystąpienia danego stanu wiadomości x. Jeśli prawdopodobieństwa P(x) są jednakowe, H(x) jest największa.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' ENTROPIA' - oona


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
Entropia
ENTROPIA

  • Średnia informacja na wiadomość [b/w]

    gdzie P(x) – prawdopodobieństwo wystąpienia danego stanu wiadomości x.

  • Jeśli prawdopodobieństwa P(x) są jednakowe, H(x) jest największa.

  • H(x) określa się w bitach/wiadomość. Oznacza ona oczekiwaną liczbę bitów przy przesyłaniu danej wiadomości kanałem binarnym.


Przyk ad
Przykład

  • Rzucamy idealną kostką do gry

  • Musimy użyć 2,7 (praktycznie 3) bity do przesłania 6 stanów

  • Niech kostka ma uprzywilejowane położenie P(6), np. P(6)=0,05; P(1)=...=P(5)=0,19. Wtedy

  • Widzimy, że entropia zmalała. Występuje bowiem w zasadzie tylko 5 stanów (szósty jest bardzo mało prawdopodobny). Statystycznie mamy oczekiwaną liczbę bitów do przesłania 2,3


Ekwiwokacja niepewno
EKWIWOKACJA (NIEPEWNOŚĆ)

  • Jest to entropia warunkowa. Określa stopień niepewności, że nadano wiadomość x gdy odebrano y powiązaną z nią via P(x/y)

  • Dążymy do tego, by H(x/y)0 (niepewność!)


Przyk ad 1
PRZYKŁAD (1)

  • Odebrano informację złożoną z

    ośmiu jednakowo prawdopodobnych zdarzeń, np. odebrano cyfry 1, 2, ..., 8.

    Ich entropia jest największa i wynosi


Przyk ad 2
Przykład (2)

  • Dana jest dodatkowa informacja {Y1,Y2} stanowiąca, że

    przy Y1 możliwe są tylko stany x1, ...,x4

    a przy Y2 – tylko x5, x6, x7, x8

  • Stąd mamy mniejszą entropię (nastąpiło częściowe uporządkowanie)


Przyk ad 3
Przykład 3

  • System binarny wyróżnia stany x1 i x2

  • Zakładamy apriori P(x1)=P(x2)=1/2

  • W punkcie odbiorczym mamy y1 i y2, ale bez pewności, że y1x1, y2x2

  • Odsetek pomyłek wynosi 0,01. H(x/y)=?


Zadanie 1
ZADANIE 1

  • Informacja pogodowa: X={S, P, D, U},

    S –słońce, P-pochmurno, D-deszcz, U- ulewa

  • Dodatkowa informacja

    Y={ R - ranek, P – popołudnie}

  • Zależności:

    dla R P(S)=1/8,P(P)=1/8, P(D)=3/8, P(U)=3/8

    dla P P(S)=3/8. P(P)=3/8, P(D)=1/8, P(U)=1/8

    Należy określić entropię H(x) oraz entropię

    uzależnioną od pory dnia, czyli niepewność H(x/y).

    Wskazówka: musi H(x/y)<H(x), wziąć 1/2x(1/8,3/8...


Zadanie 2
ZADANIE 2

  • System binarny wyróżnia stany x1 i x2

  • Zakładamy apriori P(x1)=P(x2)=1/2

  • Odsetek pomyłek w odbiorze wynosi 0,5, czyli

    P(x1/y1)=P(x2/y2)=0,5 oraz

    P(x1/y2)=P(x2/y1)=0,5.

  • Jaka jest strata (niepewność w odbiorze) informacji, czyli H(x/y)=?

  • Wskazówka: Jest to strata największa możliwa