Lezione 10

1. Lezione 10 Ordinamento ottimo Ricerca

2. Sommario • Ordinamento Ottimo O(n lg n) • Ordinamento O(n) • Alberi e Grafi • Alberi Binari di Ricerca

3. Ordinamento Ottimo • In un ordinamento per confronto si usa il confronto tra elementi per ottenere informazioni sull’ordine della sequenza degli elementi • dati a e b per determinare l’ordine relativo fra questi si deve eseguire uno dei seguenti confronti: • a > b • a < b • a  b • a  b • I confronti sono tutti equivalenti, nel senso che forniscono tutti la stessa informazione sull’ordinamento relativo tra a e b • consideriamo pertanto solo a  b

4. Albero di decisione • Un algoritmo di ordinamento per confronto può essere rappresentato a livello astratto come un albero di decisione • un albero di decisione rappresenta i confronti eseguiti da un algoritmo su di una sequenza di ingresso di data dimensione e indica sulle foglie la permutazione dell’ingresso che corrisponde alla sequenza ordinata dei dati in ingresso

5. Albero di decisione • In un albero di decisione non si rappresenta niente altro che i confronti (niente istruzioni per il controllo, copia dati, etc) • ogni nodo interno ha etichetta ai:aj con i,j nell’intervallo dei dati in ingresso • ogni foglia ha una etichetta del tipo [3,5,1,...] con la quale indichiamo una permutazione degli elementi in ingresso (cioè in questo caso consideriamo come risultato prima il terzo elemento, poi il quinto, poi il primo, etc)

6. Albero di decisione • Ad ogni nodo interno si compie un confronto: • se ai aj allora si va nel nodo sinistro, altrimenti destro • L’esecuzione di un algoritmo consiste nel compiere un cammino nell’albero di decisione a partire dalla radice fino ad una foglia • perché si abbia sempre una soluzione si deve garantire che ognuna delle n! permutazioni dell’ingresso sia rappresentato come una foglia dell’albero di decisione

7. Albero di decisione per Ordinamento a1:a2  a2:a3 a1:a3   [1,2,3] [2,1,3] a1:a3 a2:a3   [1,3,2] [2,3,1] [3,2,1] [3,1,2] Nota: 3 elementi, 3! combinazioni, 6 foglie

8. Limite inferiore • Il cammino più lungo in un albero di decisione dalla radice ad una qualunque foglia rappresenta il numero di confronti che l’algoritmo deve eseguire nel caso peggiore • questo è pari all’altezza dell’albero • un limite inferiore sull’altezza dell’albero di decisione di un algoritmo è dunque un limite inferiore sul tempo di esecuzione di un algoritmo di ordinamento per confronti

9. Teorema sull’ordinamento ottimo • Teorema: • qualunque albero di decisione che ordina n elementi ha altezza (n ln n) • Dimostrazione: • Dato che vi sono n! permutazioni di n dati ed ogni permutazione rappresenta un possibile ordinamento allora l’albero binario di decisione deve avere n! foglie • un albero binario di altezza h ha al più 2h foglie • pertanto: 2h n!  (approssimazione di Stirling)  nn • passando ai logaritmi: ln 2h ln nn • ovvero: h  n ln n = (n ln n)

10. Conseguenze • Un qualunque algoritmo di ordinamento per confronto non può fare asintoticamente meglio di n ln n • Ne consegue che il merge sort e lo heap sort sono algoritmi ottimi in quanto limitati superiormente come O(n ln n)

11. Ordinamento O(n) • E’ tuttavia possibile scrivere algoritmi di ordinamento che operano in tempo O(n)!! • Per farlo si deve abbandonare il metodo di ordinamento per confronto • Se le chiavi da ordinare sono interi in un intervallo prefissato allora si può utilizzare direttamente il valore della chiave per posizionare l’elemento nella giusta posizione nel vettore ordinato finale

12. Counting Sort • Il Counting Sort si basa sull’ipotesi che ognuno degli n elementi in ingresso sia un intero nell’intervallo da 1 a k. • Se k=O(n) allora il tempo di esecuzione del CountingSort è O(n). • L’algoritmo prende in ingresso un vettore, restituisce un secondo vettore ordinato ed utilizza un vettore di appoggio per l’elaborazione

13. Spiegazione Intuitiva di Counting Sort • Per ogni elemento x si determinano quanti elementi minori di x vi siano • si usa questa informazione per assegnare ad x la sua posizione finale nel vettore ordinato • se ad esempio vi sono 8 elementi minori di x allora x andrà messo nella posizione 9 • bisogna fare attenzione al caso in cui vi siano elementi coincidenti. In questo caso infatti non vogliamo assegnare a tutti la stessa posizione.

14. Counting Sort CountingSort(A,B,k) 1 for i 1 to k 2 do C[i]  0 3 for j 1 to length[A] 4 do C[A[j]]  C[A[j]]+1 5 for i 2 to k 6 do C[i]  C[i]+C[i-1] 7 for j  length[A] downto 1 8 do B[C[A[j]]]  A[j] 9 C[A[j]]  C[A[j]]-1

15. Visualizzazione 1 2 3 4 5 6 1 2 3 4 5 6 1 2 3 4 5 6 7 8 C 2 0 2 3 0 1 C 2 2 4 7 7 8 A 3 6 4 1 3 4 1 4 1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8 B B 4 B 1 4 4 1 4 1 2 3 4 5 6 1 2 3 4 5 6 1 2 3 4 5 6 C 2 2 4 6 7 8 C 1 2 4 5 7 8 C 1 2 4 6 7 8 1 2 3 4 5 6 7 8 B 1 1 3 3 4 4 4 6

16. Tempo di calcolo del Counting Sort • Esaminando l’algoritmo si osserva che vi sono due cicli di lunghezza k e due di lunghezza n • Si può far vedere che la complessità è (k+n) • se k= (n) allora la complessità del Counting Sort è complessivamente (n)

17. Stabilità del Counting Sort • L’algoritmo Counting Sort è un metodo di ordinamento stabile • infatti elementi con lo stesso valore compaiono nel vettore risultato B nello stesso ordine che avevano nel vettore di ingresso A

18. Radix Sort • Il Radix Sort è un algoritmo di ordinamento usato per ordinare record con chiavi multiple • Un esempio di record con chiavi multiple è dato dalla data gg/mm/aaaa. Per ordinare per data si deve ordinare l’anno e a parità di anno si deve ordinare per mese e a parità di mese per giorno • Un altro esempio di record a chiave multipla è dato dal considerare le cifre di un intero come chiavi separate. Per ordinare interi si ordina per la cifra di posizione maggiore e in caso di parità per quelle di ordine via via minore

19. Spiegazione intuitiva • Il Radix Sort opera in modo contro intuitivo ordinando prima sulle cifre meno significative e poi su quelle via via più significative • Supponiamo di dover ordinare una sequenza di numeri a 3 cifre • Utilizzando un ordinamento di tipo stabile possiamo procedere ordinando prima per le unità, poi le decine e in ultimo le centinaia • ad ogni passo la stabilità ci garantisce che le cifre precedenti sono già ordinate

20. Esempio 329 457 657 839 436 720 355 720 355 436 457 657 329 839 720 329 436 839 355 457 657 329 355 436 457 657 720 839 Sequenza in ingresso

21. PseudoCodice Radix-Sort(A,d) 1 for i 1 to d 2 do metodo di ordinamento stabile su cifra i

22. Tempo computazionale • Il tempo di esecuzione dipende dall’algoritmo di ordinamento stabile scelto per ordinare le singole cifre • se si usa il Counting Sort si ha che per ognuna delle d cifre si impiega un tempo (k+n) pertanto si ha • (dk+dn) • se d è una costante rispetto a n • se k=(n) • allora per il radix sort si ha (n)

23. Nota sulle prestazioni • Se vogliamo ordinare 10^6 numeri a 3 cifre • con il radix sort si effettua per ogni dato 3 chiamate al counting sort • con algoritmi O(n lg n) per ogni dato si effettuano lg n=20 operazioni • Andando a estrarre le costanti numeriche nascoste nella notazione asintotica si vede che il radix sort può essere conveniente • Lo svantaggio sta nel fatto che il metodo non è un ordinamento in loco e ha bisogno di più del doppio della memoria dei metodi in loco

24. Definizioni per Grafi e Alberi • Di seguito vengono date delle definizioni su grafi ed alberi che saranno utili per comprendere le strutture dati presentate successivamente

25. Grafi • Un grafo orientato (o diretto) G è una coppia (V,E) dove V è un insieme finito detto dei vertici e E è una relazione binaria su V che forma l’insieme degli archi. Gli archi sono delle coppie ordinate di vertici. V={1,2,3,4,5,6} E={(1,2),(2,2),(2,4), (2,5),(4,1),(4,5), (5,4),(6,3)} 1 2 3 4 5 6

26. Grafi • Un grafo non orientato è un grafo in cui gli archi sono coppie non ordinate di vertici, cioè un arco fra i vertici u,v è un insieme di due elementi {u,v} piuttosto che una coppia (u,v) • tuttavia si indica l’arco sempre con notazione (u,v) 1 2 3 4 5 6

27. Grafi • Sia (u,v) è un arco di un grafo orientato, si dice che: • l’arco esce dal vertice u • l’arco entra nel vertice v • un arco (u,v) di un un grafo non orientato si dice che è incidente sui vertici v e u • si dice che v è adiacente a u • in un grafo non orientato la relazione di adiacenza è simmetrica • in un grafo orientato v è adiacente a u, ma non è vero il viceversa, e si indica con la notazione uv

28. Grafi • Il grado di un vertice in un grafo non orientato è il numero di archi incidenti sul vertice • in un grafo orientato il grado uscente (entrante) di un vertice è il numero di archi uscenti (entranti) dal vertice

29. Grafi • Un cammino di lunghezza k da un vertice a ad un vertice b in un grafo G=(V,E) è una sequenza di vertici < v0, v1,…,vk> tali che • a= v0 • b= vk • (vi-1 ,vi) E per i=1,…,k • La lunghezza di un cammino è il suo numero di archi • un cammino < v0, v1,…,vk> è un ciclo se v0= vk • un grafo senza cicli si dice aciclico • un grafo non orientato è connesso se ogni coppia di vertici è collegata con un cammino

30. Alberi • Un albero è un grafo non orientato, connesso e aciclico. • Un albero radicato è un albero in cui si distingue un vertice (chiamato radice) dagli altri vertici • i vertici in un albero sono chiamati nodi • sia x un nodo di un albero con radice r: qualunque nodo y sull’unico cammino da r a x è chiamato antenato di x e x si dice discendente di y • il sottoalbero radicato in x è l’albero indotto dai discendenti di x, radicato in x

31. Alberi • Se l’ultimo arco di un cammino dalla radice r ad un nodo x è l’arco (y,x) allora y è il padre di x e x è il figlio di y • la radice è l’unico nodo che non ha padre • due nodi con lo stesso padre si dicono fratelli • un nodo senza figli si dice nodo esterno o foglia • un nodo non foglia è un nodo interno • il numero di figli di un nodo x è il grado di x

32. Alberi • la lunghezza di un cammino da r a x è la profondità di x • la profondità massima di un qualunque nodo di un albero è l’altezza dell’albero • un albero ordinato è un albero radicato in cui i figli di ciascun nodo sono ordinati (cioè si distingue il primo figlio, il secondo, etc)

33. Alberi binari • Un albero binario è una struttura definita su un insieme finito di nodi che: • non contiene nessun nodo, oppure • è composto da tre insiemi disgiunti di nodi: un nodo radice, un albero binario chiamato sottoalbero sinistro e un albero binario chiamato sottoalbero destro • un albero binario che non contiene nessun nodo è detto albero vuoto o albero nullo (denotato con NIL) • se il sottoalbero sinistro (destro) non è vuoto allora la sua radice è detta figlio sinistro (destro) • se un sottoalbero è l’albero nullo si dice che il figlio è assente o mancante

34. Alberi binari • Un albero binario non è un albero ordinato con nodi con grado al più due: in un albero ordinato non si distingue fra figlio destro o sinistro (ma si considera solo il numero di figli)

35. Alberi • in generale si parla di alberi posizionali per quegli alberi in cui i figli dei nodi sono etichettati con interi positivi distinti • l’i-esimo figlio di un nodo è assente se nessun figlio è etichettato con l’intero i • Un albero k-ario è un albero posizionale in cui per ogni nodo tutti i figli con etichetta più grande di k sono assenti

36. Alberi • Un albero k-ario completo è un albero k-ario in cui tutte le foglie hanno la stessa profondità e tutti i nodi interni hanno grado k • Il numero di foglie di un albero k-ario è: • la radice ha k figli a profondità 1 • ognuno dei figli ha k figli a profondità 2 per un totale di k.k foglie • a profondità h si hanno kh foglie • il numero di nodi interni di un albero k-ario completo di altezza h è: 1+k+ k2 + … +kh-1 = i=0..h-1 ki = (kh -1)/(k-1) • quindi un albero binario ha 2h -1 nodi interni

37. Implementazione alberi binari • Gli alberi si rappresentano ricorrendo agli stessi metodi usati per rappresentare le liste • In genere si usano strutture dati con puntatori • Per gli alberi binari si usano strutture dati per rappresentare i nodi che hanno un campo key e 2 o 3 puntatori ad altri nodi (si può non utilizzare il puntatore a padre) struct Node{ int key; Node* p; Node * left, * right; };

38. Implementazione alberi binari • Se x è un nodo allora • se p[x]=NIL il nodo è la radice dell’albero • se left[x]=NIL (right[x]=NIL) allora il nodo non ha figlio sinistro (destro) • Si mantiene il puntatore alla radice dell’albero T memorizzandola nell’attributo root[T] • se root[T]=NIL l’albero è vuoto

39. Visualizzazione alberi binari key p left right 2 Ø 2 5 Ø Ø 2 5 2 3 4 4 3 Ø Ø Ø Ø

40. Implementazione alberi • Se vogliamo rappresentare alberi con un numero illimitato di figli potremmo pensare di riservare un numero max di link ai figli come: • ma in questo modo dobbiamo porre un limite sul massimo grado di un nodo • inoltre viene sprecato molta memoria per rappresentare i puntatori NIL key p 1st 2nd 3rd 4th... 2 Ø

41. Implementazione alberi • Per rappresentare alberi con un numero illimitato di figli conviene usare la rappresentazione figlio-sinistro fratello-destro • Ogni nodo conserva il campo key e puntatore a padre • invece di avere un puntatore per ogni figlio i nodi hanno solo due puntatori: • puntatore al figlio più a sinistra • puntatore al fratello immediatamente a destra

42. Visualizzazione 2 2 5 3 5 3 3 4 6 9 8 3 4 6 9 8 4 4 3 3 4 4

43. Visualizzazione 2 2 5 3 5 3 3 4 6 9 8 4 4 4 3 6 3 4 9 8 4 3

44. Algoritmi su gli alberi binari: visite • Dato un puntatore alla radice di un albero vogliamo scandire in modo sistematico tutti i nodi di tale albero • In una lista abbiamo una unica possibilità: quella di seguire il link al nodo successivo • Con un albero binario sono possibili 3 strategie: • preordine o ordine anticipato: si visita prima il nodo e poi i sottoalberi sinistro e destro • inordine o ordine simmetrico: si visita prima il sottoalbero sinistro e poi il nodo e poi il sottoalbero destro • postordine o ordine posticipato: si visita prima il sottoalbero sinistro, poi quello destro e poi il nodo

45. Visita in ordine simmetrico Inorder-Tree-Walk(x) 1 if x  NIL 2 then Inorder-Tree-Walk(left[x]) 3 stampa(key[x]) 4 Inorder-Tree-Walk(right[x])

46. Visualizzazione • si parte in 2 • viene chiamata la funzione sul figlio sinistro • siamo in 1 • viene chiamata la funzione sul figlio sinistro • non esiste figlio sinistro e la ricorsione termina • torniamo in 1 • stampiamo 1 • viene chiamata la funzione sul figlio destro • non esiste figlio destro e la ricorsione termina • torniamo in 1 • la funzione termina • torniamo in 2 • stampiamo 2 • …. 2 1 8 9 4

47. Visualizzazione • viene chiamata la funzione sul figlio destro • siamo in 8 • viene chiamata la funzione sul figlio sinistro • siamo in 4 • viene chiamata la funzione sul figlio sinistro • non esiste figlio sinistro e la ricorsione termina • torniamo in 4 • stampiamo 4 • viene chiamata la funzione sul figlio destro • non esiste figlio destro e la ricorsione termina • la funzione termina • torniamo in 8 • stampiamo 8 • viene chiamata la funzione sul figlio destro • siamo in 9 2 1 8 9 4

48. Visualizzazione 2 • viene chiamata la funzione sul figlio sinistro • non esiste figlio sinistro e la ricorsione termina • torniamo in 9 • stampiamo 9 • viene chiamata la funzione sul figlio destro • non esiste figlio destro e la ricorsione termina • torniamo in 9 • la funzione termina • torniamo in 8 • la funzione termina • torniamo in 2 • la funzione termina 1 8 9 4

49. Visita in ordine anticipato Inorder-Tree-Walk(x) 1 if x  NIL 2 then stampa(key[x]) 3 Inorder-Tree-Walk(left[x]) 4 Inorder-Tree-Walk(right[x])

50. Visualizzazione • si parte in 2 • stampiamo 2 • viene chiamata la funzione sul figlio sinistro • siamo in 1 • stampiamo 1 • viene chiamata la funzione sul figlio sinistro • non esiste figlio sinistro e la ricorsione termina • torniamo in 1 • viene chiamata la funzione sul figlio destro • non esiste figlio destro e la ricorsione termina • torniamo in 1 • la funzione termina • torniamo in 2 2 1 8 9 4