Teoria dell’Informazione (Classica)

1. Teoria dell’Informazione (Classica) Andrea G. B. Tettamanzi Università degli Studi di Milano Dipartimento di Tecnologie dell’Informazione

2. Lezione 10 11 novembre 2002

3. Decodifica CANALE Decodifica Regola di decisione

4. Caso più semplice che cosa sarà stato inviato? Se ricevo

5. Criterio di massima verosimiglianza Per la regola di Bayes: Nel caso di distribuzione uniforme di X

6. Errore con Criterio di M.V.

7. Distanza di Hamming e C.M.V. CANALE diminuisce al crescere di Quindi, il C.M.V. dice: prendi la w più vicina.

8. Richiami di Algebra • Gruppi • Gruppi ciclici • Sottogruppi • Laterali • Anelli, ideali, classi di resto • Campi

9. Gruppi è un gruppo sse 1 2 3 Abeliano sse

10. Tabella di Cayley - Ogni riga o colonna contiene tutti gli elementi del gruppo - Se il gruppo è abeliano, la tabella è simmetrica

11. Periodo di un elemento Se il gruppo è finito, Periodo di un elemento:

12. Gruppi ciclici Gruppo ciclico: elementi sono tutti potenze di qualche elemento. Ogni gruppo ciclico è abeliano. Infatti, Inoltre, tutti i gruppi ciclici dello stesso ordine sono isomorfi. gruppo astratto di ordine p

13. Sottogruppi Soddisfa gli assiomi di gruppo Sottogruppo normale sse Ogni sottogruppo di un gruppo abeliano è normale

14. Laterali di un gruppo Rappresentante del laterale

15. Teorema di Lagrange L’ordine di ogni sottogruppo H di un gruppo finito G è un divisore dell’ordine di G. Espansione di G nei laterali di H: Ma non viceversa! Se Hè normale, i laterali di G rispetto ad H formano un guppo detto quoziente

16. Anelli anello sse gruppo abeliano rispetto a + e 1 2 3 Commutativo sse

17. Ideali sottogruppo (ideale destro) (ideale sinistro) Un ideale è un sottogruppo normale

18. Classi di resto Le classi di resto di un anello su un ideale sono a loro volta un anello: l’anello delle classi di resto

19. Ideali e classi di resto sugli interi Un insieme di numeri interi è un ideale sse costituito da tutti i multipli di un intero n; allora si denota con (n) Ogni classe di resti costruita sull’ideale (n) contiene 0 o un intero minore di n. Tutti i numeri da 1 a n – 1 sono in classi di resto distinte, 0 è un elemento dell’ideale.

20. Campi Un anello con elemento neutro 1 rispetto al prodotto e inverso: Dato un numero primo p, è un campo Esiste solo un campo di ordine 2 ed è denotato GF(2)

21. Teorema di Fermat p primo a non divisibile per p divisibile per p Dimostrazione tutti diversi tra loro Uguali a meno di permutazioni c.v.d.

22. Lezione 11 14 novembre 2002

23. Elementi di Algebra Polinomiale • Polinomi come generalizzazione della rappresentazione posizionale dei numeri • Polinomi con coefficienti su GF(2) • Algebre lineari associative • Ampliamento algebrico di GF(p) • Radici di polinomi • Scomposizione in fattori

24. Polinomi come generalizzazione della rappresentazione posizionale dei numeri Polinomi con coefficienti in GF(2) N-uple di cifre binarie

25. Polinomi con coefficienti su GF(2) Polinomio di grado Polinomio irriducibile Numero primo Somma Prodotto È un anello!

26. Proprietà dell’anello dei Polinomi con coefficienti in GF(2) Un insieme di polinomi è un ideale sse è costituito da tutti i multipli di un polinomio. Ogni classe di resto dell’anello dei polinomi, costruita sull’ideale (g(x)), con g(x) di grado n, contiene o 0 o un polinomio di grado minore di n. Tutti i polinomi di grado minore di n stanno in classi di resto distinte.

27. Algebra lineare associativa …su un campo F, è un anello X tale che,

28. Algebre Lineari Associative L’anello dei polinomi g(x) di grado n, è un’algebra lineare associativa di dimensione n sul campo F, ove si definisca Dimostrazione (che la dimensione è n): sono lin. indipendenti (una base) Perché questo polinomio è di grado minore di n e quindi non sta nella classe di resto di 0!

29. Ampliamento algebrico di GF(p) Ampliamento algebrico di irriducibile su Da Si ottiene costruendo le classi di resto sull’ideale di g(x) Esempio:

30. Radici di polinomi di grado n irriducibile su I p – 1 elementi non nulli di GF(p) sono tutte le radici di

31. Scomposizione in fattori sse n divisibile per m divisibile per Ogni p(x) di grado m irriducibile su GF(p) è un fattore di Un polinomio irriducibile appartiene all’esponente e sse tutte le sue radici hanno periodo e. Un polinomio è primitivo se è irriducibile di grado m con coefficienti su GF(p) e ammette come radice un elemento primitivo del campo ampliamento.

32. Lezione 12 25 novembre 2002

33. Codici a rivelazione e correzione di errori Sorgente . . . 0 0 1 0 1 1 0 1 0 0 1 0 1 1 1 . . . . . . 0 0 1 0 1 1 0 1 0 0 1 0 1 1 1 0 0 1 0 0 0 0 1 0 . . . Blocchi di lunghezza l codifica . . . 0 0 1 0 1 1 0 1 0 . 0 0 1 0 1 1 1 0 0 . 0 1 0 0 0 0 1 0 0 . . . Lunghezza n> l parità

34. Codificazione Tasso di trasmissione: Scelta di M parole tra le 2n possibili Parole di codice | Parole vuote

35. Rivelazione e correzione d’errore Codice Rivelazione di errore: Correzione di errore:

36. Codici lineari (1) spazio vettoriale a n dimensioni linearmente indipendenti Il codice lineare è il sottospazio vettoriale con base e distanza di Hamming d. Matrice generatrice:

37. Codici lineari (2) Peso di Hamming di w: numero di “1”. … sempre! Teorema:

38. Codifica e Decodifica Si consideri la matrice identità di ordine k, Ciascuna riga della matrice identità corrisponde a un simbolo sorgente. Codifica: H matrice di parità Decodifica:

39. Codici sistematici Messaggio sorgente Controllo Per i codici sistematici, si ha:

40. Esempio: codice lineare (7, 4)

41. Sindrome Parola ricevuta Parola inviata Errore Tabella di decodifica: Correzione, secondo il Criterio di M.V.: . . . 0 0 . . . 1 . . . 1 0 . . . 0 Rappresentanti dei laterali

42. Lezione 13 28 novembre 2002

43. Codici di Hamming un codice in GF(2), detto di Hamming, La matrice di parità ha come colonne tutte le m-uple non nulle. Codici lineari accorciati: sopprimere r righe ed r colonne della matrice generatrice.

44. Codici di Reed e Muller sono le righe di una matrice che ha per colonne tutte le possibili m-uple di 0 e 1. di ordine r

45. Probabilità di errore residua probabilità di commettere i errori capacità di correzione di errori Probabilità di errore residua per un codice

46. Codici ciclici • Sottoclasse dei codici lineari • facile ed economica implementazione di codifica e decodifica • buona capacità di rivelazione e correzione d’errore • a distribuzione casuale • a pacchetto • elevato grado di utilizzabilità con tecnologia moderna (microprocessori, VLSI, ecc.).

47. Definizione di codice ciclico Un codice lineare K è ciclico sse implica che tutti i vettori ottenuti da w per rotazione ciclica appartengono a K. 1010001 0100011 1000110 Esempio: 0001101 1101010 0110101 0011010

48. Rotazione ciclica modulo

49. Teorema Un sottospazio V di un’algebra lineare associativa A modulo un polinomio di tipo è ciclico sse è un ideale. V ideale: V ciclico: E quindi V è un ideale di A

50. Teorema con Se allora l’ideale generato da g(x) ha k dimensioni. Dimostrazione: è una base dell’ideale: infatti, perché è di grado n – 1.