Δημήτριος Στεφ. Κατσαρός Εργ. Τεχνολογίας και Επεξεργασίας Δεδομένων Τμήμα Πληροφορικής

1. Αποδοτική Ανάκτηση Δεδομένων στον Ενσύρματο και Ασύρματο Παγκόσμιο Ιστό Δημήτριος Στεφ. Κατσαρός Εργ. Τεχνολογίας και Επεξεργασίας Δεδομένων Τμήμα Πληροφορικής Αριστοτέλειο Πανεπιστήμιο Θεσ/νικης http://skyblue.csd.auth.gr/~dimitris

2. Το βασικό ερώτημα/κίνητρο της διατριβής Πώς μπορούμε να ελαττώσουμε την καθυστέρηση πρόσβασης στον Παγκόσμιο Ιστό (ΠΙ);

3. Κεντρική ιδέα της διατριβής • Εξετάζουμε μεθόδους διάχυσης της πληροφορίας στον (ενσύρματο και ασύρματο) Παγκόσμιο Ιστό από τους εξυπηρετητές προς τους καταναλωτές • Στηριζόμαστε στην τεχνική του caching, δηλ., στην αποθήκευση της πληροφορίας σε ενδιάμεσους “αντιπροσώπους” των εξυπηρετητών

4. Συνεισφορές της διατριβής (1) • Caching στον ενσύρματο ΠΙ Δημοσιεύτηκε ως: D. Katsaros and Y. Manolopoulos. “Caching in Web Memory Hierarchies, Proceedings ofthe ACM Symposium on Applied Computing (SAC), Mar., 2004. • Caching στον ασύρματο ΠΙ Δημοσιεύτηκε ως: D. Katsaros and Y. Manolopoulos. “Web Caching in Broadcast Mobile Wireless Environments”,IEEE Internet Computing magazine, Special issue on “Data Dissemination on the Web”, vol. 8, no. 3,May/Jun.,2004. • Σημασιολογικό caching Δημοσιεύτηκε ως: D. Katsaros. “Efficiently Maintaining Structural Associations of Semistructured Data”, Proceedings of the Panhellenic Conference on Informatics – Selected papers, Lecture Notes on Computer Science (LNCS), vol. 2563, Springer-Verlag, 2003.

5. Συνεισφορές της διατριβής (2) • Prefetching στον ενσύρματο ΠΙ Δημοσιεύτηκε ως: A. Nanopoulos, D. Katsaros, Y. Manolopoulos. “A Data Mining Algorithm for Generalized Web Prefetching”,IEEE Transactions on Knowledge and Data Engineering, vol. 15, no. 5, Sep./Oct., 2003. • Εκπομπή στον ασύρματο ΠΙ Δημοσιεύτηκε ως: D. Katsaros and Y. Manolopoulos. “Broadcast Program Generation for Webcasting”, Data and Knowledge Engineering (Elsevier), vol. 49, no. 1, Apr., 2004.

6. Οργάνωση της παρουσίασης • ΜΕΡΟΣ 1ο: Βασικές έννοιες • ΜΕΡΟΣ 2ο:Caching στον ενσύρματο ΠΙ • ΜΕΡΟΣ 3ο:Caching στον ασύρματο ΠΙ • ΜΕΡΟΣ 4ο: Διατήρηση σχήματος ημιδομημένων δεδομένων • ΜΕΡΟΣ 5ο:Prefetching στον ενσύρματο ΠΙ • ΜΕΡΟΣ 6ο: Εκπομπή στον ασύρματο ΠΙ • ΜΕΡΟΣ 7ο: Συμπεράσματα διατριβής • ΜΕΡΟΣ 8ο: Μελλοντική έρευνα

7. ΜΕΡΟΣ 1ο : Βασικές έννοιες caching στον ΠΙ • Μοντέλο προσπέλασης της πληροφορίας • Προβλήματα επίδοσης στον ΠΙ • Caching και prefetching • Μέτρα επίδοσης της cache

8. Βασικές Έννοιες Δ Ι Α Δ Ι Κ Τ Υ Ο Web-Powered Βάση Δεδομένων Βάση Δεδομένων Cache Κύριας Μνήμης αίτηση αίτηση αίτηση Πελάτης Proxy απάντηση Εξυπηρετητής Παγκοσμίου Ιστού Εξυπηρετητής Εφαρμογής απάντηση απάντηση απάντηση + prefetch cache cache cache +prefetch Cache Δίσκου αίτηση Το μοντέλο του Παγκοσμίου Ιστού (ενσύρματα δίκτυα)

9. Βασικές Έννοιες Το μοντέλο του Παγκοσμίου Ιστού (ασύρματα δίκτυα)

10. Βασικές Έννοιες Προβλήματα επίδοσης του ΠΙ Τεράστια δημοφιλία του ΠΙ, συνεπάγεται: • Συμφόρηση (congestion) στο δίκτυο • Υπερφόρτωση (overloading)εξυπηρετητών • Μεγάλοι χρόνοι απόκρισης εξυπηρετητών • Υψηλή καθυστέρηση ανάκτησης (user latency)

11. Βασικές Έννοιες Λύσεις στα προβλήματα επίδοσης του ΠΙ Ύπαρξη τοπικότητας (locality) στa ρεύματααναφορών (αιτήσεων) του ΠΙ: • Χρονική τοπικότητα (temporal locality) • Τα πρόσφατα προσπελασθέντα αντικείμενα έχουν μεγάλη πιθανότητα να προσπελαστούν στο κοντινό μέλλον • Χωρική τοπικότητα (spatial locality) • Ο αριθμός των διακριτών υποακολουθιών ενός ρεύματος είναι μικρότερος από αυτόν που αντιστοιχεί σε μια τυχαία μετάθεση του ρεύματος

12. Βασικές Έννοιες Caching και Prefetching για τον ΠΙ • Χρονική τοπικότητα αξιοποίηση Caching • Caching: Προσωρινή αποθήκευση αντικειμένων πλησιέστερα στον καταναλωτή. Είναι “ανταποδοτικό” (reactive): προσπαθεί να βελτιώσει την επίδοση του συστήματος, αφού πρώτα παρατηρηθεί ελάττωση αυτής • Χωρική τοπικότητα αξιοποίηση Prefetching • Prefetching:πρόγνωση των μελλοντικών αιτήσεων και προσωρινή αποθήκευση των αντίστοιχων αντικειμένων στην cache πριν αυτά ζητηθούν. Είναι “προενεργητικό” (proactive): λαμβάνει μέριμνα για να μην ελαττωθεί η επίδοση

13. ΜΕΡΟΣ 2ο :Caching στον ενσύρματο ΠΙ • Εισαγωγή • Κίνητρο και σχετικές εργασίες • Αλγόριθμος αντικατάστασης CRF • Πειραματική αποτίμηση των μεθόδων • Συμπεράσματα

14. Caching στον ενσύρματο ΠΙ Προκλήσεις για μια πολιτική αντικατάστασης Παράγοντες που διακρίνουν το caching στον ΠΙ από το caching σε παραδοσιακές αρχιτεκτονικές υπολογιστικών συστημάτων: • Ετερογένεια στα μεγέθη των αντικειμένων, • Ετερογένεια στακόστη ανάκτησης, • Βάθος της ιεραρχίας των caches στον ΠΙ,και • Πρότυπο αιτήσεων, οι αιτήσεις δεν γεννιούνται από μερικές προγραμματιζόμενες διεργασίες, αλλάπηγάζουν από μεγάλους ανθρώπινους πληθυσμούς με διαφορετικά και μεταβαλλόμενα ενδιαφέροντα

15. Caching στον ενσύρματο ΠΙ Πώς αντιμετωπίστηκαν οι προκλήσεις? (1) Η πλειονότητα των πολιτικών αντικατάστασης δεν επιτυγχάνουν ισορροπίαHR και CSR: • Οι recency-based πολιτικές, ευνοούν το HR, π.χ., η οικογένεια των αλγορίθμων GreedyDualSize • Οι frequency-basedπολιτικές, ευνοούν το CSR (BHR ή DSR), π.χ., LFUDA Εξαιρέσεις : LUV και GD*. Συνδυάζουν recency και frequency. • Μειονέκτημα του LUV είναι η ύπαρξη μιας “διοικητικά” ρυθμιζόμενης παραμέτρου λ, που “επιλέγει” τη recency-based ή frequency-based συμπεριφορά • Ο GD* έχει παρόμοι μειονέκτημα, αφού απαιτεί ρύθμιση τηςπαραμέτρου β

16. Caching στον ενσύρματο ΠΙ Πώς αντιμετωπίστηκαν οι προκλήσεις? (2) Σχετικά με το βάθος της ιεραρχίας των caches: O Carey Williamson • Απέδειξεαλλαγή στο πρότυπο προσπέλασης,που χαρακτηρίζεται απόασθενέστερη χρονική τοπικότητα Η προέλευση του ρεύματος των αιτήσεων έλαβε μικρή σχετικά προσοχή • Η προέλευση (σε συνδυασμό με το βάθος της ιεραρχίας)είναι υπεύθυνη για το μεγάλο αριθμό των one-timers(αντικείμενα που ζητούνται μόνο μια φορά)

17. Caching στον ενσύρματο ΠΙ Γιατί χρειαζόμαστε νέα μέθοδο αντικατάστασης? • Σε ετερογενή περιβάλλοντα, όπως ο ΠΙ, ανάγκη βελτιστοποίησης/ ισορροπίας μεταξύ HR και CSR(ισορροπία μεταξύ μέσης καθυστέρησης ανάκτησης για το χρήστη και κυκλοφορίας στο δίκτυο) • Αντιμετώπιση τηςασθενούς χρονικής τοπικότητας στον Παγκόσμιο Ιστό • Αντιμετώπιση των one-timers • Αποφυγή χρήσης“διοικητικά”ρυθμιζόμενων παραμέτρων

18. Caching στον ενσύρματο ΠΙ Η πολιτική αντικατάστασης CRF • Διαμερίζουμε το χώρο της cache • R-segment • Συνάρτηση ταξινόμησης αντικειμένων: κλάσμα χρόνου εισόδου στην cacheπρος το μέγεθος του αντικειμένου • Προστασία από one-timers • Εκμεταλλεύεται μικρής εμβέλειας (short-range) χρονική τοπικότητα • I-segment. • Συνάρτηση ταξινόμησης αντικειμένων: γινόμενο χρόνου τελευταίας δια-αναφοράςεπί τη recencyτου αντικειμένου • Ο χρόνος τελευταίας δια-αναφοράςεκτιμά τη σταθερή δημοφιλία (συχνότητα αναφοράς) ενός αντικειμένου • Η recency εκτιμά την παροδική προτίμηση στο αντικείμενο

19. Caching στον ενσύρματο ΠΙ Επίδοση της CRF (1) Εξετάσαμε τηCRFσε σχέση με τις πολιτικές • Recency-based: LRU, Size, GDS, SLRU • GDS ως αντιπρόσωπος της οικογένειαςπου περιλαμβάνει τις GDS, GDSF • Frequency-based: LFU, LFUDA, HLRU, LNCRW3 • HRLU(6) ως αντιπρόσωπος της οικογένειας HLRU • LNCRW3 υλοποιήθηκε, ώστε να βελτιστοποιεί το BHR και όχι το DSR • Recency + Frequency:LUV • LUVρύθμιση:δοκιμάσαμε διάφορεες τιμές για την παράμετρολ, and we επιλέξαμε την τιμή 0.01, επειδή έδωσε την καλύτερη επίδοσηγια μικρές caches,αλλά και την καλύτερη επίδοση στις περισσότερες περιπτώσεις

20. Caching στον ενσύρματο ΠΙ Επίδοση της CRF (2) • Χρησιμοποιήσαμε πραγματικά ρεύματα αιτήσεων • Δημιουργήσαμε συνθετικά ρεύματα αιτήσεων με το εργαλείο ProWGenμοντελοποιώντας • Κατανομή μεγέθους αντικειμένων, Κατανομή δημοφιλίας, Ισχύ χρονικής τοπικότητας • Εξετάσαμε τους παράγοντες • One-timers • Κύρτωση Zipf • Χρονική τοπικότητα • κανονική • εξαιρετικά ισχυρή • Μέγεθος cache • μικρή • μεσαία • μεγάλη

21. Caching στον ενσύρματο ΠΙ Πραγματικά δεδομένα : recency-based Αριστερά: Hit Ratio Δεξιά: Byte Hit Ratio

22. Caching στον ενσύρματο ΠΙ Πραγματικά δεδομένα : frequency-based Αριστερά: Hit Ratio Δεξιά: Byte Hit Ratio

23. ΜΕΡΟΣ 3ο :Caching στον ασύρματο ΠΙ • Κίνητρο • Σχετικές εργασίες • Αλγόριθμος αντικατάστασης SliCache • Πειραματική αποτίμηση των μεθόδων • Συμπεράσματα

24. Caching στον ασύρματο ΠΙ Κίνητρο ανάπτυξης πολιτικής αντικατάστασης • Διάκριση μεταξύ αντικειμένων που είναι πιθανό να προσπελαστούν στο κοντινό μέλλον και εκείνων που έχουν μικρή τέτοια πιθανότητα • Αποφυγή χρήσης “διοικητικά” ρυθμιζόμενων παραμέτρων (εξαιτίας δυσκολίας ρύθμισης της τιμής τους, κινητικότητας πελατών) • Αντιμετώπιση του γεγονότος ότι τα αντικείμενα έχουν μεταβλητό μέγεθος • Αποφυγή υποθέσεων σχετικά με το πρόγραμμα εκπομπής (διαφορετικοί εξυπηρετητές, διαφορετικά προγράμματα εκπομπής του ίδιου εξυπηρετητή)

25. Caching στον ασύρματο ΠΙ Σχετικές εργασίες για caching(σε ασύρματα δίκτυα) • PIX: Πιθανότητα προσπέλασης προς τη συχνότητα εκπομπής • Πολιτική του Tassiula: βασίζεται σε lookahead, δηλ., γνώση του προγράμματος εκπομπής • Gray: όμοια, βασίζεται σε lookahead • Min-SAUD: γενίκευση του PIX, λαμβάνοντας υπόψη το μεταβλητό μέγεθος των αντικειμένων

26. Caching στον ασύρματο ΠΙ Η πολιτικήSliCache • Περιγράψαμε νωρίτερα την CRF • Ικανοποιεί όλα τα κριτήρια που θέσαμε • Θα δείξουμε πόσο ευεργετική είναι η επίτευξη ισορροπίας σε HR και BHR σε ασύρματα περιβάλλοντα • Κατάλληλη για “διάφανη” ενοποίηση

27. Caching στον ασύρματο ΠΙ Aνάλυση επίδοσηςτης SliCache • Εξετάστηκε η SliCache σε σχέση με τους LRU, LRU-K, PIX, Min-SAUD

28. Caching στον ασύρματο ΠΙ Aνάλυση επίδοσηςτης SliCache • Χρησιμοποιήσαμε συνθετικά ρεύματα αιτήσεων • Εξετάσαμε τις κατανομές μεγέθους/δημοφιλίας: • INCRT:τα μικρά αντικείμενα είναι πιο δημοφιλή • DECRT:τα μικρά αντικείμενα είναι πιο δημοφιλή • RAND: δεν υπάρχει συσχέτιση μεγέθους/δημοφιλίας • Μελετήσαμε την επίδραση του παράγοντα: • Μέγεθος της cache • Κύρτωση Zipf • Ομοιογένεια των πελατών • Γνώση του προγράμματος εκπομπής

29. Caching στον ασύρματο ΠΙ Επίδραση του μεγέθους της cache Κατανομή INCRT Κατανομή DECRT

30. Caching στον ασύρματο ΠΙ Επίδραση της Zipfian κύρτωσης Κατανομή INCRT

31. Caching στον ασύρματο ΠΙ Επίδραση του προγράμματος εκπομπής Κατανομή INCRT

32. ΜΕΡΟΣ 4ο : Διατήρηση σχήματος ημιδομημένων δεδομένων • Περιγραφή προβλήματος • Κίνητρο • Ορισμός του προβλήματος • Σχετικές εργασίες • Αλγόριθμος DeltaSSD • Πειραματική αποτίμηση των μεθόδων • Συμπεράσματα

33. Διατήρηση σχήματος ημιδομημένων δεδομένων Κίνητρο • Σημασιολογικό cachingσε δεδομένα του ΠΙ: τα επερωτήματα των χρηστών (μαζί με τα αντίστοιχα αποτελέσματά τους) στεγάζονται στην cache για μελλοντική χρήση. Έχει δυο συνιστώσες: • Εύρεση και διατήρηση των κοινών (υπο)δομών σε συλλογές π.χ., XML εγγράφων • Υιοθέτηση/επινόηση μιας πολιτικής αντικατάστασης • Το κίνητρό μας είναι η πρώτη συνιστώσα, και ειδικότερα η διατήρηση

34. Διατήρηση σχήματος ημιδομημένων δεδομένων Το ζήτημα της διατήρησης σχήματος • Μεγάλος όγκος (π.χ., XML) δεδομένων, δηλ., δενδρικών δομών • Υποθέτουμε ότι είναι ήδη γνωστές οι κοινές (υπο)δομές της συλλογής (π.χ., με τον αλγόριθμο Wang & Liu, IEEE TKDE 2000) • Εύρεση των κοινών (υπο)δομών όταν προστίθενται νέα δεδομένα στη συλλογή

35. Διατήρηση σχήματος ημιδομημένων δεδομένων Ορισμός προβλήματος Είσοδος • Συλλογή αντικειμένων δενδρικών συναλλαγών, που συμβολίζεται με DB • Ελάχιστο κατώφλι υποστήριξης MINSUP • Οι συχνές δενδρικές δομές της DB • Σύνολο νέων αντικειμένων προστίθεται στη συλλογή, και συμβολίζεται με db Το πρόβλημα τηςαυξητικής εξόρυξης σχήματος είναι η ανακάλυψη όλων των δενδρικών δομών που έχουν υποστήριξη στη συλλογή DB  db μεγαλύτερη ή ίση από το MINSUP

36. Διατήρηση σχήματος ημιδομημένων δεδομένων Σχετικές εργασίες • WANG:Όμοιος με τον Apriori (όχι αυξητικός). Εκτελεί πολλαπλές σαρώσεις της βάσης, δημιουργεί υποψήφιες συχνές δενδρικές δομές και ελέγχει την υποστήριξή τους • ZJZT:Έλεγχος των παλιών συχνών δενδρικών, εάν εξακολουθούν να είναι ακόμα συχνές. Εκτέλεση εξόρυξης στο db και επιβεβαίωση των αποτελεσμάτων στην DB

37. Διατήρηση σχήματος ημιδομημένων δεδομένων Ο αλγόριθμος DeltaSSD • Αξιοποιεί τις υποψήφιες δενδρικές δομές που απέτυχαν να γίνουν συχνές. Αυτές αποτελούν το Αρνητικό Σύνορο • Ελέγχει εάν κάποιες δενδρικές δομές που ανήκαν στο Αρνητικό σύνορο γίνονται συχνές • Βρίσκεται το “Κλείσιμο” (closure)αυτών, και ελέγχει ποιες είναι συχνές στη συνολική βάση

38. Διατήρηση σχήματος ημιδομημένων δεδομένων Πειραματικά αποτελέσματα: Σαφής ανωτερότητα Αριθμός σαρώσεων της βάσης

39. ΜΕΡΟΣ 5ο :Prefetching στον ενσύρματο ΠΙ • Εισαγωγή • Κίνητρο και σχετικές εργασίες • Αλγόριθμος αντικατάστασης WMo • Πειραματική αποτίμηση των μεθόδων • Συμπεράσματα

40. Prefetching στον ενσύρματο ΠΙ Το ζήτημα του prefetching Prefetching: Γνώση των μελλοντικών αιτήσεων και στέγαση των αντίστοιχων αντικειμένων στην cache, πριν ζητηθούν • Με πληροφόρηση (Informed): Ανεφάρμοστο στον ΠΙ • Προγνωστικό (Predictive) Εξετάζουμε: • Προγνωστικό predictive (αξιοποιούμε το ιστορικό των αιτήσεων) • Πρωτοβουλία του εξυπηρετητή (ο εξυπηρετητής κάνει προβλέψεις και τις γνωστοποιεί στους πελάτες)

41. Prefetching στον ενσύρματο ΠΙ Σχετικές εργασίες για prefetching Οικογένειεςαλγορίθμων: (a) DG:Πρότυπα μεταξύ ζευγών αντικειμένων. (b) PPM:Πρότυπα μεταξύ συνεχόμενων ακολουθιών Ρεύματα αιτήσεων: ABCACBD και CCABCBCA

42. Prefetching στον ενσύρματο ΠΙ Κίνητρο ανάπτυξης • Η δομή του Διαδικτυακού τόπου και τα περιεχόμενα των ιστοσελίδων επιβάλλουν: • Την τάξη των εξαρτήσεων (πρώτη ή υψηλότερες) μεταξύ των αντικειμένων • Την “παρεμβολή” αντικειμένων που ανήκουν σε πρότυπα μαζί με τυχαίες επισκέψεις (θόρυβος) • Τα πρότυπα που αναζητούμε θα πρέπει να σέβονται αυτούς τους παράγοντες

43. Prefetching στον ενσύρματο ΠΙ Η πολιτικήWMo • Βασίζεται στο παράδειγμα της εξόρυξης κανόνων συσχέτισης, δηλ., μέθοδο Apriori • Διαφορετικό τρόπο δημιουργίας των υποψηφίων: λαμβάνει υπόψη τη διάταξή τους

44. Caching στον ασύρματο ΠΙ Μέτρο επίδοσης των πολιτικών • Ακρίβεια:ισούται με το κλάσμα του αριθμού των εγγράφων που ζητήθηκαν από το χρήστη αλλά ήταν ήδη στην cache του εξαιτίας της λειτουργίας του prefetching, προς το συνολικό αριθμό των εγγράφων που μεταφέρθηκαν στην cache εξαιτίας της λειτουργίας του prefetching • Χρησιμότητα:ισούται με το κλάσμα του αριθμού των εγγράφων που ζητήθηκαν από το χρήστη, αλλά ήταν ήδη στην cache του εξαιτίας της λειτουργίας του prefetching, προς τονσυνολικό αριθμό των εγγράφων που ζητήθηκαν • Δικτυακή κίνηση:ισούται με το κλάσμα του συνολικού αριθμού των εγγράφων που φτάνουν στην cache των πελατών (non prefeteched + prefeteched έγγραφα), προς τον αριθμό των non prefeteched εγγράφων.

45. Caching στον ασύρματο ΠΙ Αξιολόγηση επίδοσης • Δημιουργήσαμε συνθετικά ρεύματα αιτήσεων μοντελοποιώντας: συνδεσμολογία, μεγέθη αντικειμένων • Εξετάσαμε τους παράγοντες • Θόρυβο • Τάξη εξαρτήσεων • cache • Χρησιμοποιήσαμε πραγματικά ρεύματα αιτήσεων • Εξετάσαμε: DG, PPM

46. Prefetching στον ενσύρματο ΠΙ Ακρίβεια σε σχέση με το θόρυβο

47. Prefetching στον ενσύρματο ΠΙ Χρησιμότητα σε σχέση με το θόρυβο

48. Prefetching στον ενσύρματο ΠΙ Ακρίβεια σε σχέση με τις εξαρτήσεις

49. Prefetching στον ενσύρματο ΠΙ Χρησιμότητα σε σχέση με τις εξαρτήσεις

50. ΜΕΡΟΣ 6ο : Εκπομπή στον ασύρματο ΠΙ • Κίνητρο • Περιγραφή προβλήματος • Σχετικές εργασίες • Αλγόριθμος CascadedWebcasting • Πειραματική αποτίμηση των μεθόδων • Συμπεράσματα