Základy informatiky

1. Základy informatiky přednášky Přenos informace

2. ZÁKLADY INFORMATIKY – Přenos informace • Vznik a vývoj teorie informace • Matematický aparát v teorii informace • Základy teorie pravděpodobnosti – Náhodné veličiny • Číselné soustavy • Informace • Základní pojmy – jednotka a zobrazení informace, informační hodnota • Entropie – vlastnosti entropie • Zdroje zpráv – spojité zdroje zpráv, diskrétní zdroje zpráv • Přenos informace – vlastnosti přenosu kanálů, poruchy a šumy přenosu, způsoby boje proti šumu • Kódování • Elementární teorie kódování • Rovnoměrné kódy – telegrafní kód • Nerovnoměrné kódy – Morseova abeceda, konstrukce nerovnoměrných kódů • Efektivní kódy – Shannonova – Fanova metoda, Huffmanova metoda • Bezpečností kódy • Zabezpečující schopnosti kódů, • Systematické kódy, • Nesystematické kódy

3. Přenos informace Jednou ze základních operací s informacemi je jejich - přenos. V 50.letech 20.století C.E.Shannon ukázal, že všechny komunikační systémy používané v minulosti, přítomnosti i později vytvořené jsou pouze zvláštní případy obecného komunikačního systému, který lze znázornit dle obrázku: vysílač (kodér) přijímač (dekodér) vedení (kanál) zdroj informace příjemce informace Přenosový kanál • přenosová cesta informace jakkoli uskutečněná (nezáleží na fyzikální realizaci této cesty) • souhrn prostředků sloužících k přenosu signálu od zdroje k příjemci zdroj rušivých signálů

4. Informace procházející kanálem může nabýt mnoharůzných forem, obsah však zůstává nezměněn. Forma informace uvnitř kanálu bývá obvykle různáod formy vstupující do kanálu a formy informace z kanálu vystupující. Informace, či zpráva tedy bývá přeložena do řeči kanálu kódována .

5. Zdroj musí mít k dispozici zásobu symbolů, ze kterých zprávu sestaví. Pro přenos musí být tyto symboly převedeny na fyzikální signály, které jsou technicky schopné přenosu kódování zprávy do signálů. Po přenosu musí existovat možnost převedení signálů do původních symbolů dekódování zprávy.

6. Příklad:Uvažujme o telefonním hovoru. Účastník zjistí konkrétní informaci, zvolí si číslo účastníka, kterému chce tuto informaci předat. Do sluchátka řekne informaci ve formě akustického spektra (abecedou zdroje jsou akustické prvky řeči). Telefonní přístroj překóduje jeho řeč do elektrických signálů a vyšle je přenosovým kanálem (telefonní dráty). Přijímací telefonní přístroj dekóduje přijatý elektrický signál zpět do akustického spektra. Příjemce tedy slyší informaci přicházející od zdroje. Informace v přenosu změnila svou formu, ale obsah zůstal zachován.

7. Obecně můžeme říct, že informaci o stavu systému X získáváme zprostředkovaně pozorováním systému Y, který je se systémem Xnějak spojen. Zpravidla je to způsobeno nedostupností systému X(např. systém X je tvořen textem telegramu, který je podán na poště v Brně a systém Y je tvořen textem přijatého telegramu na poště ve Zlíně).

8. Je zřejmé, že stav systému Y nemusí být totožný se stavem systému X. Rozdíly mohou být dvojího druhu: • více některých stavů systému X se zobrazí do jednoho stavu Y - nedokáže rozlišit jemnosti b) chyby při přenosu zprávy mezi systémy - šum V ideálním sdělovacím systému, ve kterém neexistují poruchy, přijatá zpráva přesně souhlasí s vyslanou. Ve skutečných systémech, kde působí poruchy se tento případ nikdy nevyskytuje.

9. To, jak dalece souhlasí přijatý signál s vyslaným, charakterizuje spolehlivost spojení. Při šíření v prostředí s náhodně se měnícími vlastnostmi signál podléhá náhodnému zkreslení, které nelze zkorigovat. Spolehlivost závisí na poměru výkonu signálu k výkonu šumu ve sdělovacím kanálu. Platí, že spolehlivost klesá se vzdáleností. Mezní vzdálenost, ve které je ještě splněna daná spolehlivost, určuje dosah spojení. Ve sdělovacím systému má tento parametr prvořadý význam.

10. Zdroje zpráv - Základem každého zdroje je ABECEDA. - Prvky abecedy zdroje se nazývají písmena abecedy. • Obsahuje-li abeceda zdroje celkem n různýchprvků, pak je tato abeceda charakterizována konečnou množinou prvků • A(n)={ d1, d2, ... , dn }. • Vytvořené posloupnosti ze znaků abecedy se nazývají zprávy. Libovolnou zprávu danou posloupností m symbolů pak můžeme zapsat:

11. Počet prvků m z nichž je složena realizace zprávy nazýváme délkou zprávy. Zdroj zpráv může obecně produkovat různé zprávy, které se budou lišit jednak délkou a jednak výskytem jednotlivých prvků na tom kterém místě dané posloupnosti. Celkový počet možných a navzájem různých realizací zpráv délky m, které by mohly být produkovány zdrojem s abecedou A(n) bude dán počtem všech možných variací m symbolů s opakováním, které lze vytvořit z nprvků. Pak celkový počet možných zpráv délky m ze zdroje s abecedou A(n) je:

12. Každou dílčí zprávu si můžeme představit jako výběr prvků abecedy zdroje di podle příslušných pravděpodobností pi. Vzájemným uspořádáním těchto prvků a příslušných pravděpodobností obdržíme tzv. pravděpodobnostní signální pole. Přitom musí pro celou abecedu zdroje platit: Následuje-li výběr písmen z abecedy zdroje za sebou nezávisle a náhodně, považujeme pravděpodobnostní pole za zdroj informace.

13. Každý zdroj informace představuje jistou neurčitost výběru jeho elementárních znaků - písmen. Tato neurčitost zaniká vždy po provedeném výběru, kdy se příslušná pravděpodobnost mění v jistotu. Stupeň neurčitosti je závislý na organizaci množiny. Neurčitost je tím větší, čím více se blíží rozložení pravděpodobností pirozložení rovnoměrnému. Tedy případu, kdy p1 = p2 = ... = pn. Roste-li počet elementů množiny tvořící zdroj informace - počet písmen abecedy zdroje (a rovnoměrné rozložení pravděpodobnosti je zachováno), neurčitost se rovněž zvyšuje.

14. Ekvipotencionální zdroj je zdroj nad abecedou A(n), který produkuje všechn znaků abecedy A(n) se stejnoupravděpodobností: na libovolné pozici zprávy a nezávisle na výskytu znaků na jiných pozicích zprávy. Obecně můžeme zdroje zpráv dělit na: spojité diskrétní

15. Spojité zdroje zpráv Má-li abeceda zdroje nekonečný počet prvků, paktakový zdroj nazýváme zdrojem spojitých zpráv. Obtížné zavedení pojmů množství informace a entropie ( nekonečný počet možných hodnot ) zavedeme pravděpodobnost výskytu hodnot velementárním intervalu dx. Pravděpodobnost toho, že se určitá konkrétní hodnotasignálu  bude vyskytovat v intervalu dxi je daná výrazem : kde w(xi) dxi vyjadřuje pravděpodobnost spojité náhodné veličiny v elementárním intervalu dxi, který se nazývá element pravděpodobnosti(diferenciální pravděpodobnost).

16. w(x)  x xi xi+1 Interval možných hodnot proměnné x můžeme rozdělit na elementární intervaly ∆x. Tím dostaneme konečnou množinu intervalů ∆x1, ∆x2, … Grafické znázornění rozložení pravděpodobnosti výskytu spojitého signálu:

17. S každým takovým elementárním intervalem ∆ximůžeme spojit pravděpodobnost výskytu proměnné x v tomto intervalu : Množství informace spojené s přijetím nějaké hodnoty, která se nachází v subintervalu xi můžeme definovat vztahem : Tato informace bude mít vždy konečnou hodnotu. Kdyby nás ale zajímala informace získaná přijetím určité konkrétní hodnoty xi tzn. hodnoty z intervalu xi0, bude tato informace nekonečně velká - z praktického hlediska to nemá význam.

18. Příklad:Uvažujme o střelbě na terč. Místo dopadu střely je ve skutečnosti spojitou náhodnou veličinou, neboť se může vyskytnout v libovolném bodě terče. Když si terč rozdělíme např. na 12 kvadrantů, tím vlastně diskretizujeme spojitou náhodnou veličinu. Zásah jednotlivých kvadrantů pokládáme za náhodný. Zajímá nás ale, který kvadrant byl zasažen. To znamená, že můžeme označit zásah i-tého kvadrantu jako jev (zprávu) xis pravděpodobností P(xi). Můžeme tedy definovat množství informace spojené s přijetím nějaké hodnoty, která se nachází v subintervalu (kvadrantu) xi.

19. Diskrétní zdroje zpráv Má-li abeceda zdroje konečný počet n možných prvků, pak takový zdroj nazýváme : zdrojem diskrétních zpráv - diskrétní zdroj. Pod diskrétním zdrojem zpráv rozumíme zařízení, které vyšle za časovou jednotku právě jeden z konečného počtu signálů. Jelikož v praktických podmínkách je výhodnější (někdy nutné) používat konečný počet prvků abecedy zdroje, vysvětlíme si jakým způsobem je možné ze zdroje spojitého získat zdroj diskrétní.

20. T [C] t[min] Spojitou zprávu si můžeme znázornit jako nějakouspojitou časovou funkci. Uvažujme například snímání teploty:

21. T [C] T5 T4 T3 T2 T = Ti - Ti-1 T1 T0 t1 t5 t2 t3 t4 t[min] Představme si nyní, že budou odečítány pouze celistvé hodnoty teplot, lišící se o T [C]. Takováto operace se obecně nazývá kvantováníspojité veličiny podle amplitudy a T je šířka kvantizačního intervalu.

22. T [C] T5 T4 T3 T2 T1 T0 t1 t5 t2 t3 t4 t[min] Touto operací jsme docílili toho, že počet prvkůabecedy zdroje (tj. T0 , T1, ..., T5) je konečný, to znamená zdroj můžeme považovat za diskrétní.

23. Zdá se, že v tomto případě ztrácíme informaci o jemných podrobnostech zprávy!!! Volíme-li však šířku kvantizačních intervalů o něco větší než je chyba měření , pak kvantovaná zpráva budevyjadřovat stejnou informaci jako její spojitýprůběh. (používáme přístroje, které mají vždy konečnou přesnost (neboli měří s jisto chybou ). Změny kvantované veličiny nastávají v různých časových okamžicích t1, t2, ..., tn. Z hlediska realizace přenosu zpráv je to ale nevýhodné. Proto se obvykle provádí další operace.

24. Představme si, že teplota v předchozím příkladě nebude měřena plynule, ale hodnoty teploty budou odečítány po určitých stejných časových intervalech t. V tomto v případě bude zdroj produkovat diskrétní číselné hodnoty y1, y2, ...yn, odpovídající okamžitým hodnotám teploty v časových okamžicích t1, t2, ..., tn. Takováto operace se nazývá kvantování spojité veličiny v čase - vzorkování.

25. y [t] y3 y2 y4 y5 y1 t1 t5 t2 t3 t4 t[min]

26. Po vzorkování zůstává ale zpráva pořád spojitým signálem tzn. počet možných amplitud je nekonečně velký. - Abychom získali vhodný diskrétní signál provedeme spojení obou předchozích operací. - Nejprve realizujeme kvantování v čase a pak kvantování podle amplitudy tj. kvantování v čase a amplitudě. Převod spojitého signálu na diskrétní dvojkový signál se nazývá……..delta kvantování.

27. Přenosový kanál - zprostředkovává předání informace mezi zdrojem a příjemcem. Kodér kanálu - jeho úkolem je zabezpečit spolehlivost přenosu tím, že doplňuje informační znaky o přídavné znaky podle určitého algoritmu bezpečnostního kódu. Ten může být buď-to detekční ( příjemce je schopen zjistit, že při přenosu došlo k chybě ), nebo korekční ( příjemce je navíc schopen lokalizovat místo chyby a opravit ji ). Kodér zdroje - jeho úkolem je provést kódování zprávy s maximální hospodárností tak, aby pro přenos zprávy byl použit co nejmenší počet znaků. (je třeba minimalizovat redundanci zprávy a zvýšit tak její entropii, tj. množství informace na jeden znak). Příkladem je komprese textových souborů před jejich přenosem, častým úkolem kodéru zdroje je převést původní signál – zdroj informace na signál elektrický, případně transformovat jej do digitální podoby (AD převodník). zdroj rušivých signálů kodér zdroje kodér kanálu vedení (kanál) dekodér kanálu dekodér zdroje Kanál - jsou do něj zahrnuty ostatní transformace signálu při přenosu (modulátor a demodulátor, přenosové médium, působení rušení atd.) Dekodér kanálu - jeho úkolem je detekovat či opravovat případné chyby při přenosu a rekonstruovat signál tak, aby odpovídal výstupnímu signálu kodéru zdroje. Dekodér příjemce - jeho úkolem je upravit dekódovanou zprávu na tvar vhodný pro příjemce.

28. Systémy přenosu FEC (Forvard Error Correction, dopředná korekce chyb) • vystačíme s koncepcí podle předchozího obrázku při současném zabezpečení dat korekčním kódem. • Není požadován extrémní požadavek na spolehlivost přenosu zprávy (netrváme na správném přenosu „každého bitu“, např. při přenosu řeči) nebo je-li úroveň rušení při přenosu relativně malá, • Zpětnovazební systémy ARQ (Automatic Request for Repetition, automatická žádost o opakování přenosu) • požadavky na vysoce spolehlivý přenos dat (např. přenos binárních souborů pomocí INTERNETU) • doplnění schématu na předchozím obrázku o tzv. zpětnovazební kanál • data zabezpečena většinou pouze detekčním kódem zdroj rušivých signálů kodér zdroje kodér kanálu vedení (kanál) dekodér kanálu dekodér zdroje Zpětnovazební kanál

29. Zpětnovazební systémy ARQ Systémy s rozhodovací zpětnou vazbou DFB (Decision Feedback)– přijímač využívá při vyhodnocení správnosti přenosu detekčního kódu. V případě správného přenosu - vyšle přijímač zpětným kanálem vysílači tzv. poděkování ACK (Acknowledgment). V případě nesprávného přenosu - zpětnovazebním kanálem je vyslán příkaz NACK (Negative Acknowledgment – negativní poděkování) k opakování přenosu daného slova. Rozhodnutí o případném opakování přenosu tedy vzniká na straně přijímače. Zpětný kanál přenáší pouze jednoduché řídící příkazy, a proto může být pomalý. Nevýhodou je, že nejsou opraveny chyby, které daný kód není schopen detekovat. Druh kódu je proto třeba volit velmi pečlivě s ohledem na charakter rozložení chyb. Systémy s informační zpětnou vazbou IFB (Information Feedback)– přímým kanálem jsou vysílána pouze nezabezpečená slova zprávy. Zabezpečující část je ponechána v paměti vysílače. Na základě přijatého slova (které může být narušeno) je na straně přijímače vypočtena zabezpečující část, která je vyslána zpětným kanálem k přijímači. Zde dojde k porovnání s údajem v paměti. Je-li výsledek porovnání negativní, vysílání se opakuje. V opačném případě vyšle vysílač pokyn k uvolnění dat v paměti přijímače a pokračuje ve vysílání dalšího slova. Zpráva, která se posílá zpět a která je odvozena od přijatého slova se nazývá kvitance. (v nejjednodušším případě může být kvitancí celé přijaté slovo). Rozhodnutí o případném opakování přenosu tedy vzniká na straně vysílače. Nevýhody: - zpětný kanál musí zabezpečit přenosovou rychlost srovnatelnou s přenosovou rychlostí dopředního kanálu. - zbytečné opakování vysílání, dojde-li k chybě ve zpětném kanálu. Výhoda: vysílání pouze nezabezpečených dat. Protože k rozhodování o případné chybě dochází na straně vysílače na základě porovnání atributů vyslaného a přijatého slova, tento systém je značně spolehlivý.

30. Druhy sdělovacích kanálů Podle charakteru přenášené informace dělíme přenosové kanály na: Diskrétní - pracují s konečným počtem symbolů s diskrétním časem: na výstupu kanálu se objeví symbol v určitém časovém okamžiku, se spojitým časem:na výstupu kanálu se objeví symbol v lib. časovém okamžiku, s pamětí:výsledek přenosu znaku ze vstupu na výstup závisí na předchozích znacích na vstupu. (pravděpodobnost vzniku chyby v časovém okamžiku t závisí na vzniku chyby v časových okamžicích t-1, t-2). bez paměti:opak kanálu s pamětí. Spojité - pracují se spojitými veličinami, které mohou nabývat nekonečně mnoho stavů. Spojité kanály mohou také pracovat s diskrétním, či spojitým časem. Protože lze všechny typy kanálů redukovat na diskrétní kanály s diskrétním časem budeme nadále sledovat výhradně tento typ.

31. Z hlediska teorie informace modelujeme přenosový kanál podle pravděpodobnosti příjmu vyslané zprávy. Z tohoto hlediska můžeme rozdělit kanály na: Bezhlukový (bezšumový) - kanál, přenášející informaci s naprostou jistotou, tj. s pravděpodobností p = 1 Bezztrátový - kanál, který nezabezpečuje správný přenos informace a vyslaný symbol se může s různou pravděpodobností změnit na více symbolů na přijímací straně. Nikdy však dva symboly vyslané nepřejdou do téhož symbolu přijatého. Hlukový (šumový) - kanál, v němž každý vyslaný symbol může přejít s libovolnou pravděpodobností v jakýkoli symbol na přijímací straně.

32. Grafické znázornění jednotlivých typů přenosových kanálů Bezhlukový (bezšumový) Bezztrátový Hlukový (šumový)

33. Model diskrétního sdělovacího kanálu Vstup kanáluje množina znaků {X} spolu s jejich pravděpodobnostmi výskytu, které je třeba kanálem přenést. Výstup kanáluje množina znaků {Y} spolu s jejich pravděpodobnostmi výskytu, které získává příjemce. Nejčastěji používáme dvojkových (binárních) symbolů pro vyjádření informace. Pokud jsou tedy množiny {X} a {Y} dvouprvkové, jedná se - o binární kanál. Podmíněné pravděpodobnosti typu P(yj|xi) udávají pravděpodobnost přijetí prvku yj za podmínky, že byl vyslán prvek xi. Pravděpodobnosti P(y1|x1) a P(y2|x2) jsou pravděpodobnost přijetí znaku y1(y2), byl-li vyslán znak x1(x2) - správně přenesený znak x1(x2)),popisují případy správného přenosu – spolehlivost kanálu. Pravděpodobnosti P(y2|x1)a P(y1|x2) jsou pravděpodobnost přijetí znaku y2(y1), byl-li vyslán znak x1(x2) - chybně přenesený znak x1(x2)), popisují případy chybného přenosu – chybovost kanálu.

34. Pravděpodobnosti jsou vázány výrazy: P(y1|x1)+P(y2|x1)=1 (vyšleme-li x1, pak přijmeme buď y1 nebo y2), P(y1|x2)+P(y2|x2)=1(vyšleme-li x2, pak přijmeme buď y1 nebo y2). Z těchto pravděpodobností lze sestavit (přímou) matici kanálu: Pokud platí: P(y1|x1) = P(y2|x2) = p P(y2|x1)= P(y1|x2) = q=1-p pakmluvíme o symetrickém binárním kanále. pravděpodobnost p označujeme jako spolehlivost kanálu pravděpodobnosti q pak označujeme jako chybovost kanálu

35. Známe-li pravděpodobnosti výskytů symbolů x1 a x2 na vstupu kanálu P(x1) a P(x2), pak můžeme určit pravděpodobnosti výskytu symbolů y1 a y2 na výstupu kanálu podle: Příklad:Symetrický binární kanál bez paměti má spolehlivost 95%. Binární znaky {0, 1} se na vstupu objevují s pravděpodobnostmi P(x1) = P(0) = 0,4, P(x2) = P(1) = 0,6. Vypočtěte pravděpodobnosti výskytu těchto znaků na výstupu kanálu. Řešení: p = 0,95, q = 0,05, P(y1)= 0,4 . 0,95 + 0,6 . 0,05 = 0,41 … výskyt nuly na výstupu P(y2)= 0,6 . 0,95 + 0,4 . 0,05 = 0,59 … výskyt jedničky na výstupu

36. Zatím jsme popisovali kanál s orientací ze vstupu na výstup. Podobně se dá kanál popsat z pohledu příjemce informace, který je na výstupu kanálu. V tomto případě pracujeme s těmito pravděpodobnostmi: P(x1|y1)- pravděpodobnost vyslání znaku x1, byl-li přijat znak y1 (správně přenesený znak x1) P(x2|y2)- pravděpodobnost vyslání znaku x2, byl-li přijat znak y2 (správně přenesený znak x2) P(x1|y2)- pravděpodobnost vyslání znaku x1, byl-li přijat znak y2 (chybně přenesený znak x1) P(x2|y1)- pravděpodobnost vyslání znaku x2, byl-li přijat znak y1 (chybně přenesený znak x2). Pro výpočet těchto pravděpodobností platí: P(xi,yj)=P(xi).P(yj|xi) = P(yj).P(xi|yj) i,j = {1,2} P(xi,yj)– pravděpodobnost současného výskytu jevů xi a yj – simultánní pravděpodobnost  Pravděpodobnosti P(y1) resp. P(y2) se určí pomocí vzorců z předešlého slajdu.

37. Z těchto pravděpodobností lze pak sestavit (zpětnou) matici kanálu: Prvky této matice (na rozdíl od matice KXY) už závisí na pravděpodobnostech výskytu znaků na vstupu x1 a x2. Po dosazení a úpravě vyjdou konečné vzorce pro symetrický kanál:

38. Příklad:Určete přímou a zpětnou matici symetrického binárního kanálu bez paměti o spolehlivosti 95%. Uvažujte opět P(x1) = P(0) = 0,4, P(x2) = P(1) = 0,6. Řešení:P(y1|x1)=P(y2|x2)=p = 0,95, P(y1|x2)=P(y2|x1)= q = 0,05 Přímá matice kanálu: Zpětná matice kanálu:

39. Příklad:Na vstup symetrického binárního kanálu bez paměti o spolehlivosti 95% z příkladu 20 je vyslána binární zpráva. Pravděpodobnosti výskytu nul a jedniček jsou stejné a nezávisí na předchozích znacích. Vypočtěte entropii zprávy na vstupu a výstupu. Řešení: p = 0,95, q = 0,05 P(x1)=P(x2)=0,5 → H(X)=1 bit P(y1)= P(x1).p + P(x2).q = 0,5 . 0,95 + 0,5 . 0,05 = 0,5 → H(Y) = 1 P(y2)= P(x2).p + P(x1).q = 0,5 . 0,95 + 0,5 . 0,05 = 0,5 Zdálo by se, že jestliže zpráva vstupuje do hlukového kanálu, část jejího informačního obsahu se „ztratí“. Z příkladu však vyplývá, že množství informace je ve vstupní i výstupní zprávě stejné: stejně vyšly entropie, tj. průměrné množství informace na znak, a obě zprávy jsou stejně dlouhé. Problém je v tom, že v důsledku šumu došlo sice k poklesu množství informace při přenosu, hlukový kanál však doplnil do zprávy shodou okolností stejné množství „dezinformace“. Informační obsahy vstupní a výstupní zprávy se jeví jako stejné. Uživatele však zajímá jen množství informace skutečně přenesené od zdroje k příjemci, tzv. vzájemná informace. Její výpočet si usnadníme pomocí tzv. podmíněných a simultánních entropií.

40. Podmíněné a simultánní entropie Neurčitost příjemce na výstupu kanálu o tom, co je vysláno do vstupu, je H(X). Přečte-li si však výstupní znak a zjistí, že výstup je yj, pak tato neurčitost je zmenšena na hodnotu H(X|yj). (u bezhlukového kanálu je dokonce neurčitost zmenšena na nulovou hodnotu). Podmíněná entropie vstupního souboru {X} při známém výstupu yj: Zprůměrujeme-li entropie pro všechny možné výstupy yj, dostaneme tzv. podmíněnou entropii vstupu po čtení výstupu: (lze chápat jako průměrné množství informace na znak zprávy, které se „ztratilo“ na cestě od vstupu kanálu k příjemci) Konkrétně pro binární kanál vede dvojitá suma na: Podmíněná entropie vstupu po čtení výstupu představuje průměrnou neurčitost pozorovatele o stavu vstupu kanálu po přečtení výstupu. Před přečtením byla jeho neurčitost H(X). Rozdíl těchto hodnot je tedy informace o vstupu, kterou pozorovatel získal čtením a která „prošla“ kanálem k příjemci. Hovoříme ovzájemné informaci ze vstupu na výstup I(X,Y):

41. Příklad:Na vstup symetrického binárního kanálu bez paměti o spolehlivosti 95% je vyslána binární zpráva. Pravděpodobnosti výskytu nul a jedniček jsou stejné a nezávisí na předchozích znacích. Entropie zprávy na vstupu i výstupu je 1 bit (viz předchozí příklad). Vypočtěte průměrné množství informace na znak zprávy, které se „ztratí“ na cestě od vstupu kanálu k příjemci, a vzájemnou vstupně-výstupní informaci. Řešení: P(y1|x1)=P(y2|x2)=p = 0,95, P(y1|x2)=P(y2|x1)= q = 0,05 P(x1)=P(x2)=P(y1)=P(y2)=0,5 → H(X)=H(Y)=1 bit Nejprve vypočteme simultánní pravděpodobnosti P(xi,yj), které budeme potřebovat pro výpočet H(X|Y). P(x1,y1)= P(x1).P(y1|x1) = 0,5 . 0,95 = 0,475 P(x1,y2)= P(x1).P(y2|x1) = 0,5 . 0,05 = 0,025 P(x2,y1)= P(x2).P(y1|x2) = 0,5 . 0,05 = 0,025 P(x2,y2)= P(x2).P(y2|x2) = 0,5 . 0,95 = 0,475 Pravděpodobnosti ze zpětné matice kanálu: Podmíněná entropie vstupu po čtení výstupu: Vzájemná informace ze vstupu na výstup:

42. Pokud se díváme na problém přenosu z pozice vysílače informace na vstupu kanálu je pak neurčitost pozorovatele na vstupu kanálu o tom, co je přijato na výstupu H(Y). Zjistí-li však, že byl vyslán znak xi, pak tato neurčitost je zmenšena na hodnotu H(Y|xi). (u bezhlukového kanálu je dokonce neurčitost zmenšena na nulovou hodnotu). Podmíněná entropie výstupního souboru {Y} při známém vstupu xi: Zprůměrujeme-li entropie pro všechny možné vstupy xi, dostaneme tzv. podmíněnou entropii výstupu po čtení vstupu: (lze chápat jako průměrné množství informace na znak zprávy, které se do výstupní zprávy dostalo rušivým působením kanálu a které nemá původ ve vstupní zprávě.) Konkrétně pro binární kanál vede dvojitá suma na: Podmíněná entropie výstupu po čtení vstupu představuje průměrnou neurčitost pozorovatele o stavu výstupu kanálu po přečtení vstupu. Před přečtením byla jeho neurčitost H(Y). Rozdíl těchto hodnot je tedy informace o výstupu, kterou pozorovatel získal čtením vstupu a která „prošla zpět“ kanálem z výstupu k příjemci. Nazvěme ji vzájemnou informací z výstupu na vstup I(Y,X):

43. Neurčitost pozorovatele, který pozoruje „nad kanálem“ zároveň vstupy i výstupy, o stavech těchto vstupů a výstupů je označována jako: Simultánní entropie vstupního a výstupního souboru: Dá se přesně určit pomocí entropií podmíněných: H(X,Y)=H(X)+H(Y|X) Neurčitost pozorovatele o stavech X a Y se dá snížit přečtením vstupu, tj. získáním informace H(X). To, co zbude, je neurčitost o stavu Y za podmínky, že jsme již přečetli vstup. H(X,Y)=H(Y)+H(X|Y) Neurčitost pozorovatele o stavech X a Y se dá snížit přečtením výstupu, tj. získáním informace H(Y). To, co zbude, je neurčitost o stavu X za podmínky, že jsme již přečetli výstup. H(X)-H(X|Y)=H(Y)-H(Y|X) I(X,Y)=I(Y,X) vzájemná vstupně-výstupní informace

44. Ztráta informace H(X|Y) H(X) H(X,Y) I(X,Y) H(Y) H(Y|X) Dezinformace dodadá hlukovým kanálem Schéma informačních poměrů v hlukovém kanálu min{H(X),H(Y)}≤ H(X,Y) ≤ H(X)+H(Y)

45. Příklad:Vypočtěte vzájemnou vstupně-výstupní informaci a podmíněné entropie H(Y|X) a H(X|Y) pro binární symetrický kanál bez paměti o spolehlivosti: a) 100% b) 50% c) 0% za předpokladu stejných pravděpodobností výskytu symbolů na vstupu. Řešení: P(x1)=P(x2)=P(y1)=P(y2)=0,5 → H(X)=H(Y)=1 bit P(y1|x1)=P(y2|x2)=p, P(y1|x2)=P(y2|x1)= q Z předchozího příkladu je zřejmé, že při předpokladu stejné pravděpodobnosti výskytu znaků platí: P(x1|y1)= P(y1|x1) = p P(x2|y2)= P(y2|x2) = P P(x1|y2)= P(y2|x1) = q P(x2|y1)= P(y1|x2) = q P(x1,y1)= P(x1).P(y1|x1) = 0,5 . p P(x2,y2)= P(x2).P(y2|x2) = 0,5 . P P(x1,y2)= P(x1).P(y2|x1) = 0,5 . q P(x2,y1)= P(x2).P(y1|x2) = 0,5 . q I(X,Y)=1+p.log2p+q.log2q Ad a) p=1, q=0 H(X|Y)=H(Y|X)=0 I(X,Y)=1 Ad b) p=0,5, q=0,5 H(X|Y)=H(Y|X)=1 I(X,Y)=0 Ad c) p=0, q=1 H(X|Y)=H(Y|X)=0 I(X,Y)=1

46. Informační poměry v kanálu pro předchozí příklad pro spolehlivost kanálu a) 100%, b) 50%, c) 0%. Totožnost informačních schémat a) a c) je zarážející jen na první pohled. Případ c) znamená, že při vyslání jedničky je vždy přijata nula a naopak. Kanál má tedy stoprocentní spolehlivost, jen je třeba uvažovat „inverzní“ kód. Pro případ b) není žádná statistická souvislost mezi vstupem a výstupem, čemuž odpovídá nulová vzájemná informace. Kanál je tedy pro přenos informace neprůchodný . Můžeme si ověřit, že nula vyjde při libovolném rozložení pravděpodobností P(x1) a P(x2).

47. Příklad:Vypočtěte entropii na vstupu a výstupu a vzájemnou vstupně-výstupní informaci pro binární symetrický kanál bez paměti o spolehlivosti P, jestliže jedničky a nuly se objevují na vstupu s pravděpodobnostmi: a) stejnými, b) P(1) = 1, P(0) = 0. Řešení: Ad a) P(x1)=P(x2)=P(y1)=P(y2)=0,5 → H(X)=H(Y)=1 bit P(y1|x1)=P(y2|x2)=p, P(y1|x2)=P(y2|x1)= q Z předchozího příkladu platí: H(X|Y)= H(Y|X)=-p.log2 p - q.log2 q I(X,Y)=H(X)+H(X|Y)=1+p.log2 p + q.log2 q Ad b) P(x1)=1, P(x2)=0 → H(X)=0 bit P(y1)=P(x1).p+P(x2).q=p → P(y2)=P(x2).p+P(x1).q=q I(X,Y)=0 H(Y)=-p.log2 p - q.log2 q

48. Vlastnosti přenosových kanálů Schopnost kanálu přenášet informaci se popisuje veličinou nazývanou propustnostneboli kapacita kanálu. Kapacita kanálu C je maximální možná vzájemná informace, kterou můžeme „protlačit“ tímto kanálem při uvažování všech možných statistických vlastností vstupních informačních posloupností. Pro stacionární diskrétní kanál bez paměti stačí hledat maximum vzájemné informace pro různá rozložení pravděpodobnosti vstupních znaků: K tomuto maximu dochází při rovnoměrném rozdělení pravděpodobností. V případě symetrického binárního kanálu pak musí být proto kapacita dána vzorcem:

49. Příklad:Telefonní signál je modulací PCM přenáš en symetrický m binárním kanálem. Je požadována chybovost přenosu BER < 10-4. Navrhněte kapacitu kanálu. Řešení: BER (Bit Error Rate) je možné pro tento případ ztotožnit s chybovostí kanálu Q: Q = 10-4, C’ ≥ 1 + (1-10-4) log2(1-10-4) + 10-4 log210-4 ≈ 0,9985 bit.

50. Je-li informační znak realizován signálovým prvkem délky , je možné vyjádřit kapacitu kanálu v bit/s jako množství informace přenesené za jednotku času: Minimální možná délka signálových prvků t, při které lze ještě realizovat bezchybný přenos takových prvků, souvisí pouze s fyzikálními parametry kanálu. Na základě Kotelnikova teorému dostaneme pro minimální možnou délku signálových prvků t0 vztah: kde Fmje mezní frekvence.