Esercitazione

1. Esercitazione Ing. E. Ritacco Ing. M. Guarascio

2. Esercizio 1 • Si consideri il seguente data set • Si definisca analiticamente un classificatore SVM, utilizzando il lagrangiano descritto dal vettore  • [0; 0; 0.023802; 0; 0; 0.074711; 0; 0; 0.098512; 0]T

3. T-SVMs Le SVMs cercano l’iperpiano di separazione che tende a massimizzare il margine tra le etichette dei campioni. H+ H- w M d

4. Esercizio 1 • Il lagrangiano primale del problema è dato da • Dove w e b caratterizzano l’iperpiano di separazione, e α rappresenta il lagrangiano.

5. Esercizio 1 • Le condizioni di ottimalità sono date dai valori della funzione che soddisfano:

6. Esercizio 1 • Semplificando, le condizioni possono essere riscritte in

7. Esercizio 1 • L’ultima condizione specifica che, ove αinon sia uguale a 0, allora deve valere la condizione • Nel nostro caso, α è dato dal vettore [0; 0; 0.023802; 0; 0; 0.074711; 0; 0; 0.098512; 0]T • che caratterizza le tuple x3, x6, x9 come vettori di supporto.

8. Esercizio 1 • Analiticamente, i coefficienti del decision boundary sono

9. Esercizio 1 • Graficamente

10. Esercizio 2 • Si consideri il seguente dataset:

11. Esercizio 2 • Considerando C come attributo di classe ed A e B come variabili numeriche continue, calcolare l’entropia del data set e costruire due alberi di decisione: • Discretizzando A e B. • Assumendo A e B come attributi numerici.

12. Esercizio 2

13. Esercizio 2 • L’entropia dell’intero Dataset è 0.9957. • Si discretizzano A e B secondo i seguenti criteri:

14. Esercizio 2

15. Esercizio 2 • L’albero di decisione è il seguente:

16. Esercizio 2 • Nell’altro caso invece, occorre scegliere l’attributo su cui splittare. • Lo split sull’attributo A garantisce un maggior guadagno informativo, rimane però da stabilire la soglia per lo split. • Visto che A assume 8 valori diversi possiamo scegliere fra 7 soglie diverse. • Tramite la seguente tabella calcoliamo il guadagno informativo correlato allo split sulle varie soglie

17. Esercizio 2 • Risulta conveniente splittare il dataset distinguendo fra valori di A<12 e valori di A>=12.

18. Esercizio 2 • A questo punto splittiamo su B. • Risulta conveniente splittare il dataset distinguendo fra valori di B<7 e valori di B>=7.

19. Esercizio 2 • L’ultimo split viene fatto nuovamente su A, la scelta della soglia è banale.

20. Esercizio 3 • Si considerino i seguenti classificatori:

21. Esercizio 3 • Qual è il modello migliore? • E se considerassimo la seguente matrice di costo? • Guardare la sola predizione può essere fuorviante, conviene ricorrere all’analisi delle curve di ROC

22. Esercizio 3

23. Esercizio 3

24. Esercizio 3 • Dalla convex hull si individuano 3 punti principali: P1(0;0.5),P2(0.25;0.85),P3(0.75;1) • Costo(P1)= 0 x 50 + 4 x 10 = 40 • Costo(P2)= 1 x 50 + 1 x 10 = 60 • Costo(P3)= 3 x 50 + 0 x 10 = 150

25. Esercizio 4 • Si consideri il seguente data set • Si assuma il seguente modello probabilistico: • Dove, per una generica variabile binaria z, vale • Definire il passo E dell’algoritmo EM • Per il modello probabilistico di cui sopra, definire il passo M

26. Esercizio 4 • Sappiamo che:

27. Esercizio 4 • Introduciamo le variabili aleatorie yik • Il passo E dell’algoritmo corrisponde al calcolo di:

28. Esercizio 4 Ma ricordiamo che

29. Esercizio 4 • Il passo M • Definizione dei vincoli: Sempre vero

30. Esercizio 4 • Utilizziamo, quindi, i moltiplicatori di Lagrange

31. Esercizio 4 • Derivando su π

32. Esercizio 4 • Derivando sui parametri di θ, e ricordando che • Allora: