1 / 126

Teoria dell’Informazione (Classica)

Teoria dell’Informazione (Classica). Andrea G. B. Tettamanzi Università degli Studi di Milano Dipartimento di Tecnologie dell’Informazione. Lezione 1. 3 ottobre 2002. Programma del Corso. Che cos’è l’Informazione e che cos’è la T.I. Richiami di Teoria della Probabilità

phong
Download Presentation

Teoria dell’Informazione (Classica)

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Teoria dell’Informazione (Classica) Andrea G. B. Tettamanzi Università degli Studi di Milano Dipartimento di Tecnologie dell’Informazione

  2. Lezione 1 3 ottobre 2002

  3. Programma del Corso • Che cos’è l’Informazione e che cos’è la T.I. • Richiami di Teoria della Probabilità • Proprietà matematiche utilizzate nella T.I. • Misura dell’informazione: l’Entropia. • Codici • Comunicazione in presenza di rumore • Codici a correzione d’errore • Cenni sulla Teoria della Trasmissione • Cenni di Crittografia

  4. Bibliografia • E. ANGELERI: Informazione: significato e universalità, UTET, Torino, 2000. (libro di testo) • J. VAN DER LUBBE: Information Theory, Cambridge University Press, 1988. • J. R. PIERCE: An Introduction to Information Theory, Dover, 1980.

  5. Ricevimento Studenti • Giovedì, dalle ore 14.00 alle ore 16.00 • Per appuntamento: • e-mail: andrea.tettamanzi@unimi.it • tel.: 03 73 89 82 48 • Sito del corso: “http://mago.crema.unimi.it/Classes/TIC”

  6. Modalità di Esame • Scritto: 3 o 4 esercizi che coprono vari argomenti del corso. • Temi d’esame degli scritti degli anni passati, completi di correzione, disponibili all’URL: “http://mago.crema.unimi.it/Classes/TIC/Temidesame” • Orale: interrogazione su definizioni, enunciati di teoremi e alcune dimostrazioni, rielaborazione critica del materiale presentato a lezione.

  7. Che Cos’è l’Informazione? SINTASSI SEMANTICA PRAGMATICA

  8. Informazione informazione significato apparato simbolico Rilevanza pratica dell’informazione (effetto, scopo, ecc.)

  9. Informazione - semantica • La quantità di informazione di un enunciato è tanto più grande quante più sono le alternative che esso esclude. U B A

  10. Che cos’è la Teoria dell’Informazione? • Una teoria matematica dell’aspetto simbolico dell’Informazione • Un approccio quantitativo alla nozione di Informazione • Risponde alle domande: • Come immagazzinare e trasmettere informazione in modo compatto? (compressione) • Qual’è la massima quantità di informazione che può essere trasmessa su un canale? (velocità di trasmissione) • Come posso proteggere la mia informazione: • dalla corruzione del suo supporto o da errori di trasmissione? • da sguardi indiscreti?

  11. invio ricezione Compressione Immagazzinamento = Trasmissione scrittura t0 x0 x1 lettura t1

  12. Funzioni convesse Diseguaglianza fondamentale:

  13. Convessità del valore atteso convessa concava

  14. Misura dell’Informazione Alfabeto di s simboli R. V. L. Hartley C I A O , M A M M A ! l 2 1 Messaggi possibili R. Hartley Perché il logaritmo? Perché così

  15. Unità di misura dell’Informazione La quantità di informazione che permette di distinguere uno di due eventi equiprobabili e mutuamente esclusivi è l’unità di misura dell’informazione: il bit. Un simbolo di un alfabeto di s simboli equiprobabili porterà un’informazione di bit

  16. Entropia informativa di Shannon continua simmetrica (commutativa) additiva

  17. Massimo dell’Entropia N.B.:

  18. Entropia delle lingue Frequenze dei simboli testo

  19. Ridondanza Efficienza di codifica

  20. Informazione secondo Kolmogorov Misura assoluta, non utilizza la probabilità Y X y x fn. parziale ricorsiva descrizioni oggetti

  21. Equivalenza con entropia di Shannon

  22. Lezione 2 8 ottobre 2002

  23. Assiomi dell’entropia (1) 1 Misura d’incertezza, max con eventi equiprobabili 2 (simmetrica) 3 4

  24. Assiomi dell’entropia (2) 5 6 continua 7 8 (diramazione)

  25. Teorema Se H soddisfa gli otto assiomi, Basterebbero 4 assiomi “minimali”: - continuità; - simmetria; - proprietà di diramazione - H(1/2, 1/2) = 1

  26. Modello della comunicazione sorgente destinazione canale rumore

  27. Modello dettagliato Sorgente di informazione Destinazione riduzione ricostruzione Codifica sorgente Decodifica sorgente distorsione (rumore) cifratura decifrazione Codifica canale Decodifica canale Canale discreto modulazione Canale continuo demodulazione

  28. Sorgente discreta senza memoria S è un dispositivo che genera ad ogni istante t un simbolo x con probabilità p(x), i.i.d.

  29. Proprietà Indipendenza statistica e stazionarietà: autoinformazione

  30. Il concetto di codice Alfabeto sorgente Alfabeto del codice

  31. Esempio: codifica delle cifre decimali Cifra decimale Rappresentazione binaria 0 1 2 3 4 5 6 7 8 9 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001

  32. Estensione di una sorgente Alfabeto base Alfabeto esteso

  33. Teorema Data una sorgente senza memoria, Dimostrazione:

  34. Nel caso X = {0, 1}

  35. Lezione 3 14 ottobre 2002

  36. Classificazione dei codici A blocco Singolare Non singolare Unicamente decodificabile Non unicamente decodificabile Non istantaneo Istantaneo

  37. Esempi Non istantaneo: Non unicamente decodificabile:

  38. Codici a prefisso Condizione necessaria e sufficiente perché un codice sia istantaneo è che nessuna parola del codice sia un prefisso di un’altra parola del codice. 0 0 0 1 1 1

  39. Diseguaglianza di Kraft Condizione necessaria e sufficiente perché esista un codice istantaneo con lunghezze di parola è che

  40. Dimostrazione - sufficienza Costruiamo un codice istantaneo che soddisfa

  41. Teorema di McMillan Un codice unicamente decodificabile soddisfa la diseguaglianza di Kraft Sviluppando la potenza, avremo qn termini della forma ma allora deve essere

  42. Teorema di codifica della sorgente la lunghezza media di un codice istantaneo Sia a r simboli. Allora,

  43. Dimostrazione Kraft Proprietà fondamentale dei logaritmi

  44. Lezione 4 21 ottobre 2002

  45. Processi Stocastici Un processo stocastico è una successione di v.a. Ciascuna con la propria distribuzione di probabilità. Notazione:

  46. 0.4 0.7 0.6 A B C 0.75 0.3 0.25 Catene di Markov Un processo stocastico è una catena di Markov sse il suo stato dipende solo dallo stato precedente, cioè, per ogni t,

  47. Processi Markoviani È un processo Markoviano di ordine m sse

  48. Sorgente discreta con memoria S è un dispositivo che genera ad ogni istante t un simbolo x con probabilità condizionata dagli m simboli generati in precedenza Stazionarietà: le probabilità sono costanti nel tempo

  49. Informazione e Entropia condizionali Informazione condizionale: Entropia condizionale:

  50. Proprietà dell’Entropia condizionale Dimostrazione:

More Related