TEORIA TRANSMI T E RI I INFORMAt IEI

TEORIA TRANSMITERII INFORMAtIEI ~ CURS I ~ S.l. dr. ing. Alexandra LigiaBalan

CURS 1 Transmiterea informaţiei • Surse discrete de informaţie • Canale discrete de informaţie • Codarea surselor discrete de informaţie pe canale neperturbate • Codarea surselor discrete de informaţie pe canale perturbate Codareainformaţiei • Coduri bloc • Coduri ciclice • Coduri BCH (Bose/Chaudhuri/Hocquenghem) • Coduri Reed–Solomon • Coduri convoluţionale • Coduri LDPC (Low-DensityParityCheck) TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 BIBLIOGRAFIE: [1] V. Munteanu, “Teoria Transmiterii Informaţiei”, Ed. “Gh. Asachi”, Iaşi, 2001. [2]A. T. Murgan, “Principiile teoriei informaţiei în ingineria informaţiei şi a Comunicaţiilor”, Ed. Academiei Române, Bucuresti, 1998. [3]M. E. Borda,”Teoria transmiterii informatiei. Teoria informaţiei şi codării. Fundamente şi aplicaţii”, Ed. Dacia,1999. [4] R. M. Gray, “Entropy and Information Theory”, Ed. Springer-Verlag New York, 1990 [5]J.C. Moreira, P.G. Farrell,“Essentials Of Error-controlCoding”, Ed. John Wiley & Sons Ltd., 2006. [6] “Channel Coding in Communication Networks”, Edited by Alain Glavieux, ISTE Ltd, 2007 [7] T.M. Cover, J.A. Thomas, “Elements Of Information Theory”, John Wiley & Sons, Inc., 2006 TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 • Teoria informaţiei sauTeoriamatematică a comunicaţiilor • Obiective: • dezvoltarea limitelor teoretice fundamentale cu privire la performanţele atinse atunci când comunicaţia are loc având o sursă de informaţie, un anumit canal de comunicaţie şi folosind scheme de codificare cunoscute; • dezvoltarea unor scheme de codare care prevăd performanţe îmbunătățite în comparaţie cu performanţele optime obţinute teoretic. TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 • Claude Shannon - “A MathematicalTheory of Communication” - 1948 • http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf • - TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 • O sursă binară este un dispozitiv care generează una din cele două simboluri posibile “0” şi “1”, cu o rată de transmisie dată (R) și care se măsoară în simboluri/secundă. Aceste simboluri sunt numiți biţi (binarydigits - cifre binare) şi sunt generați aleatoriu. • Un canal binar simetric (BSC) este un mediu prin care este posibil să se transmită un simbol/unitate de timp. Acest canal nu este sigur, şi este caracterizat de probabilitatea de eroare, p (0 ≤ p ≤ 1 / 2). Simetria acestui canal provine din faptul că p probabilitatea de eroare este aceeaşi pentru ambele simboluri implicate (“0” şi “1”). TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 • Originea conceptului de entropie pornește de la Ludwig Boltzmann (1877); • În teoria informației Shannon, (1848), asociază noțiunii de entropie o interpretare probabilistică; • Entropia exprimă cantitatea de informație sau nedeterminarea (incertitudinea) unei distribuții de probabilitate. • Contribuția esențială a lui Shannon constă în dezvoltarea noțiunii de entropie informațională ca măsură a incertitudinii, concept fundamental al Teoriei Informației (numită și Entropie Shannon). TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 • Entropia măsoară incertitudinea asociată cu o variabilă aleatoare. • Entropia indică cantitatea de informatie conținutăîntr-un mesaj, exprimată în biți saubiți pe simbol. Când este exprimată în biți, ea reprezintă lungimea minimă pe care trebuie să o aibă un mesaj pentru a comunica informația. TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 • Există trei concepte principale în teoria informaţiei: • Primul se referă la definirea cantităţii de informaţie, care ar trebui să fie în concordanţă cu o înţelegerea fizică a proprietăţilor sale • Al doilea concept se referă la relaţia dintre informaţie şi sursa care o generează. Tehnicile de compresie şi criptare sunt legate de acest concept. • Al treilea concept se referă la relaţia dintre informaţie şi canalul de comunicaţie prin care informaţia va fi transmisă. Acest concept conduce la definirea unui parametru foarte important numit capacitatea canalului. Tehnicile de corecţie a erorilor prin procedee de codificare sunt relaţionate de acest concept. TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

Figura 1. Relaţia dintre teoria informaţiei şi alte domenii [4] CURS 1 TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 Limita compresiei datelor Limita transmisiei datelor min I (, ) max I () TEORIA TRANSMITERII INFORMAŢIEI Figura 2. Teoria informației văzută ca puncte extreme ale teoriei comunicațiilor http://stud.usv.ro/TTI/CURS/

CURS 1 • Răspuns: entropia, H • Răspuns:capacitatea canalului, C • Care estelimita de compresiea datelor ? • Care este rata de transmisie într-un sistem de comunicaţie? TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 • Schema bloc a unui sistem de transmitere a informaţiei • ModelulShannon • E • D • S • C • R • P S – sursă de informaţie E – emiţător C – canal de transmisie P – perturbaţii R – receptor D – destinatar TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 S – sursă de informaţie E – emiţător/ transmițător C – canal de transmisie P – perturbaţii R – receptor D – destinatar TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 1.Model matematic de sursă discretă, completă şi fără memorie definiţie: O sursă de informaţie reprezintămecanismul prin care din mulţimea mesajelorsursei se alege într-un mod imprevizibil pentrudestinatar, un anumit mesaj pentru a fitransmis. TEORIA TRANSMITERII INFORMAŢIEI definiţie: experimentul S formează un sistem complet de evenimente, dacă la efectuarea acestuia cu certitudine se realizează unul din evenimente. http://stud.usv.ro/TTI/CURS/

CURS 1 1.Model matematic de sursă discretă, completă şi fără memorie • Osursă de informaţie caracterizată de experimentul S cu distribuţia dată de relaţia (1) se numeşte discretă dacă furnizează un număr finit de mesaje ; • Osursă de informaţie numeşte completă, dacă este îndeplinită relaţia (2); • Osursă de informaţie numeşte fără memorie,dacă furnizarea unui mesaj la un moment dat nu depinde de mesajele furnizate anterior; TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 1.Model matematic de sursă discretă, completă şi fără memorie • Informaţia ataşată unui mesaj şi este o funcţie care depinde de probabilitatea cu care acesta este furnizat. • Atât informaţia cât şi gradul de nedeterminare au aceiaşi măsură şi sunt o funcţie de probabilitatea de realizare a evenimentului (mesajului). TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 1.Model matematic de sursă discretă, completă şi fără memorie definiţie: Se consideră că se obţine o unitate de informaţie, atunci când o sursă discretă, completă şi fără memorie poate furniza numai două mesaje echiprobabile. TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 1.Model matematic de sursă discretă, completă şi fără memorie TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 1.Model matematic de sursă discretă, completă şi fără memorie • Principalele proprietăți ale entropiei: • Din relația (13), rezultă că entropia este nenegativă ; • Prin diversificarea unei surse, entropia crește, ; • Entropia unei surse discrete, complete și fără memorie își atinge valoarea maximă, atunci când mesajele sunt furnizate echiprobabil. TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 1.Model matematic de sursă discretă, completă şi fără memorie definiţie: se numeşte redundanţă absolută a unei surse diferenţa dintre valoarea maximă a entropiei acesteia şi valoarea ei reală. definiţie: se numeşte redundanţă relativă a unei surse raportul dintre redundanţa absolută şivaloarea maximă a entropiei. definiţie: se numeşte eficienţa unei surse raportul dintre entropia sursei şi valoarea maximă a acesteia. TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 2.Model matematic de sursă discretă, completă, fără memorie, extinsă definiţie: extensia de ordin m a unei surse discrete, complete şi fără memorie se obţine formând mesaje compuse din succesiuni de m mesaje ale sursei iniţiale, în toate combinaţiile posibile. Prin metoda inducţiei matematice se poate demonstra că: TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 2.Model matematic de sursă discretă, completă, fără memorie, extinsă TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 3.Model matematic de sursă discretă, completă, cu memorie • Sursele de informaţie discrete cu memorie sunt cunoscute şi sub denumirea de surse Markov. Acestea sunt caracterizate de faptul că furnizarea unui mesaj este dependentă de unul sau mai multe mesaje furnizate anterior. definiţie: o sursă are memorie de ordinul m dacă furnizarea unui mesaj este condiţionată de ultimele m mesaje furnizate anterior. definiţie: se numeşte stare la un moment dat a unei surse cu memorie succesiunea ultimelor m mesaje furnizate anteriormomentului cosiderat. Dacă alfabetul unei surse Markov este format din n mesaje, iar ordinul memoriei sursei este m rezultă că sursa va avea cel mult nm stări distincte, deoarece cele m mesaje care definesc starea pot fi oricare din cele n mesaje care formează alfabetul sursei. Analiza surselor de informaţie discrete se realizează folosind grafurilesau calculul matriceal. TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 3.Model matematic de sursă discretă, completă, cu memorie TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 3.Model matematic de sursă discretă, completă, cu memorie definiţie: Matricea de trecere astfel construită este stochastică(suma elementelor de pe fiecare linie este egală cu unitatea, deoarece cu certitudine dintr-o anumită stare se ajunge în une din stările posibile). definiţie: o sursă cu memorie se numeşte staţionară dacă probabilităţile de trecere sunt invariante în timp. TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 4. Surse cu memorie ergodice TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

CURS 1 5.Entropia surselorcu memorie ergodice TEORIA TRANSMITERII INFORMAŢIEI http://stud.usv.ro/TTI/CURS/

TEORIA TRANSMI T E RI I INFORMAt IEI