Τ.Ε.Ι Θεσσαλονίκης – Τμήμα Πληροφορικής

1. Τ.Ε.Ι Θεσσαλονίκης – Τμήμα Πληροφορικής Μάθημα Προηγμένες Αρχιτεκτονικές Υπολογιστών Εργαστηριακό Μέρος Μέρος: Πρώτο Απόδοση συστημάτων Εξάμηνο: Έβδομο Καθηγητής: Α. Βαφειάδης 2007

2. ? Τι στο καλό συμβαίνει ?

3. Μερικοί είναι πιο ευγενικοί

4. Τα παθήματα Ta τελευταία χρόνια , εταιρείες , όπως Amazon.com Inc., eBay Inc., and Yahoo Inc. έχουν ταχύτατα αναπτυχθεί από το μηδέν σε επενδύσεις εκατομμυρίων δολαρίων . Εν τούτοις ο μετασχηματισμός δεν ήταν ομαλός. Οι χρήστες παραπονιούνται για καθυστερήσεις στην επικοινωνία με τους web servers που φτάνουν μέχρι την αδυναμία εξυπηρέτησης By Paul Korzeniowski28 Aug 2001 | availability.com Οι υπολογιστές έκλεισαν προσωρινά το ηλεκτρονικό βιβλιοπωλείο Amazon.com. Αυτό έμεινε κλειστό από τις 10 το πρωί μέχρι τις 10 το βράδυ The Seattle Times 1/8/98

5. Διαπιστώσεις Οι εταιρείες ηλεκτρονικού εμπορίου (e-commerce companies) επικεντρώνουν την προσοχή τους στο περιεχόμενο των sites και παραμελούν το γεγονός ότι ένας βασικός παράγοντας για να απόκτηση και διατήρηση πελατών είναι η απόδοση των web εφαρμογών. Gene Shklar, Keynote, The New York Times Tripod’s Web site είναι η δουλειά μας. Αν δεν γίνει γρήγορο και αξιόπιστο γρήγορα θα χρεοκοπήσουμε Don Zereski Tripod’s vice-president (Internet World)

6. ΣΤΟΧΟΣ του Εργαστηρίου Η μέτρηση της απόδοσης ενός υπολογιστικού Συστήματος και των επιμέρους μονάδων Computer Performance Evaluation

7. ΠΕΡΙΕΧΟΜΕΝΑ • Δείκτες απόδοσης • CPU και instruction set performance • Workload (φόρτος εργασίας) • Μέθοδοι αποτίμησης • Μοντελοποίηση(Modeling) • ΑναλυτικάΜοντέλα • Μοντέλα προσομοίωσης • Μελέτη απόδοσης Συστήματος • Απόδοση Cache και Main Memory • Απόδοση CPU • Αποτίμηση Απόδοσης(performance evaluation)

8. ΕΡΩΤΗΜΑΤΑ • Τι είναι η αποτίμηση ή εκτίμηση της απόδοσης. • Γιατί και πότε πρέπει να εκτιμήσουμε την απόδοση. • Ποια είναι τα εργαλεία μέτρησης. • Ποιες μεταβλητές (δείκτες απόδοσης) τη χαρακτηρίζουν. • Τι είναιο φόρτος εργασίας (workload). • Πώς γίνεται ο χαρακτηρισμός του workload. • Πως μπορούμε να μετρήσουμε την απόδοση ενός υπολογιστή πριν αυτός κατασκευαστεί. • Τι είναι η μοντελοποίηση (modeling). • Πότε ένας υπολογιστής είναι «καλύτερος» από έναν άλλο.

9. Αποτίμηση απόδοσηςΣυστήματος • Με τον όρο performance evaluation (αποτίμηση απόδοσης) εννοούμε την εύρεση των αριθμητικών τιμών ή των στατιστικών μεγεθών ή κατανομών των δεικτών απόδοσης • ενός υπολογιστικού συστήματος • των μονάδων ενός υπολογιστικού συστήματος • ενός δικτύου • ενός προγράμματος (συστήματος ή εφαρμογής)

10. Γιατί πρέπει να αποτιμήσουμε την απόδοση ενός συστήματος; • Βελτίωση υπάρχοντος συστήματος (improvement) Ένας από τους βασικούς στόχους της αποτίμησηςτης απόδοσης είναι και η βελτίωση της απόδοσης των συστημάτων που βρίσκονται σε λειτουργία(system tuning). • Προμήθεια νέου συστήματος(Procurement) Κατά τη φάση της επιλογής ενός νέου συστήματος πρέπει να γνωρίζουμε αν το σύστημα Α είναι καλύτερο από το σύστημα Β με γνώμονα πάντα της ανάγκες μας.

11. Γιατί πρέπει να μετρήσουμε ; • Σχεδιασμός νέου συστήματος (design) Στη διάρκεια της φάσης του σχεδιασμού χρειάζεται να γνωρίζουμε τη μελλοντική του απόδοση, ώστε να είμαστε σίγουροι ότι θα ανταποκριθεί στους στόχους που τέθηκαν αρχικά. • Προγραμματισμός χωρητικότητας (Capacity planning) Χρειάζεται να γνωρίζουμε αν η χωρητικότητα (μέγιστές τιμές των δεικτών απόδοσης) ενός συστήματος θα είναι αρκετή για να ανταποκριθεί στις απαιτήσεις του περιβάλλοντος (workload) για ένα επιθυμητό επίπεδο απόδοσής

12. Workload – capacity planning • Workload(φόρτος εργασίας) είναι το σύνολο των απαιτήσεων των χρηστών ενός συστήματος σε ένα καθορισμένο χρονικό διάστημα. • Capacity planning(προϋπολογισμός της χωρητικότητας) είναι ο εύρεση του αριθμού και των μέγιστων τιμών της χωρητικότητας των μονάδων ενός συστήματος (π.χ Disk Capacity)

13. Models • Model είναι ένα αντικείμενο, το οποίο χρησιμοποιείται από κάποιον εξ αιτίας της ομοιότητας του προς ένα πραγματικό σύστημα, ως προς την συμπεριφορά, την δομή και την λειτουργία του. • Model είναι μια αφαίρεση της πραγματικότητας • Στην περίπτωση μας, ονομάζουμε computer model ή Network model είναι ένα πρόγραμμα που προσπαθεί να επιλύσει ή να προσεγγίσει τους δείκτες απόδοσης ενός υπολογιστή ή ενός δικτυού υπολογιστών. • Στη μελέτη της απόδοσης συστημάτων χρησιμοποιούνται • Τα αναλυτικά μοντέλα (analytic models) • Τα μοντέλα προσομοίωσης (simulation models)

14. Αναλυτικό μοντέλο – μοντέλο προσομοίωσης • Το αναλυτικό μοντέλο χρησιμοποιεί μαθηματικές υποθέσεις, θεωρίες και εξισώσεις από τον χώρο των στοχαστικών μαθηματικών για την περιγραφή του πραγματικού συστήματος που πρόκειται να μελετήσουμε (π.χ θεωρία ουρών, operational analysis, προσέγγιση). • Το μοντέλο προσομοίωσης είναι ένα πρόγραμμα υπολογιστή, το οποίο μιμείται τις βασικές συμπεριφορές και λειτουργίες του πραγματικού υπό μελέτη συστήματος.

15. Ποιο σύστημα είναι πιο γρήγορο ??? • Υπόθεση • Συμπέρασμα πρώτο • Αν το σύστημα «τρέχει» μόνο αυτά τα δύο προγράμματα τότε το σύστημα C είναι το γρηγορότερο

16. Ποιο σύστημα είναι πιο γρήγορο ??? • Συμπέρασμα δεύτερο Αν το σύστημα τρέχει καθημερινά 500 φορές το πρόγραμμα P1 και 5 φορές το πρόγραμμα P2 τότε συνολικός χρόνος απασχόλησης για τα τρία συστήματα θα είναι: Σύστημα Α 500*1sec + 5*1000sec = 5500sec Σύστημα Β 500*10sec + 5*100sec = 5500sec Σύστημα C500*20sec + 5*20sec = 10100sec Άρα τα συστήματα Α και Β έχουν την ίδια απόδοση ενώ το σύστημα C είναι το αργότερο (Η απόδοση ποσοτικοποιείται με τον δείκτη απόδοσης «χρόνος απασχόλησης» ΤΕΛΙΚΟ ΣΥΜΠΕΡΑΣΜΑ ΚΑΛΥΤΕΡΟ ΕΙΝΑΙ ΤΟ ΣΥΣΤΗΜΑ ΠΟΥ ΚΑΝΕΙΓΡΗΓΟPΑ ΑΥΤΟ ΠΟΥ ΘΕΛΕΙΣ ΕΣΥ ΝΑ ΚΑΝΕΙ

17. Ποιο από τα παρακάτω αεροπλάνα έχει την καλύτερη απόδοση ?? Airplane Passengers Range (mi) Speed (mph) Boeing 737-100 101 630 598 Boeing 747 470 4150 610 BAC/Sud Concorde 132 4000 1350 Douglas DC-8-50 146 8720 544 • Περίπτωση πρώτη: Ταχύτητα πτήσης (BAC/Sud Concorde) • Περίπτωση δεύτερη: Χωρητικότητα (Boeing 747) • Περίπτωση Τρίτη: Εμβέλεια (Douglas DC-8-50) • Περίπτωση τέταρτη: Μεταφορά επιβατών στο λιγότερο χρόνο (passengers*speed) (Boeing 747) • Περίπτωση τέταρτη: Μεταφορά επιβατών στη μεγίστη απόσταση (passengers*range) (Boeing 747)

18. Μελέτη-βελτίωση απόδοσης συστήματος

20. Workload (φόρτος εργασίας) • Workload(φόρτος εργασίας) είναι το σύνολο των απαιτήσεων των χρηστών ενός συστήματος από το ίδιο το σύστημα σε ένα καθορισμένο χρονικό διάστημα. • Το σύνολο των απαιτήσεων των χρηστών καθορίζεται π.χ από: • τον κώδικα των προγραμμάτων • τα δεδομένα των προγραμμάτων • τις εντολές προς το λειτουργικό σύστημα • τις SQL σε Βάσεις δεδομένων • τις HTTP απαιτήσεις • Κ.λ.π

21. Χαρακτηρισμός του Workload • Η ποσοτική περιγραφή των χαρακτηριστικών ενός Workload (φόρτος εργασίαςσε ορισμένο χρονικό διάστημα), ονομάζεται χαρακτηρισμός του Workload και γίνεται από παραμέτρους οι οποίες επηρεάζουν την συμπεριφορά του συστήματος.

22. Παράμετροι χαρακτηρισμού Workload/1 • Basic workload • Χρόνος που καταναλώνει η CPU • Το πλήθος των Ι/Ο λειτουργιών • Το πλήθος των bytes που μεταφερθήκαν • Το μέσο μήκος της μνήμης που απαιτούν τα προγράμματα • Το πλήθος των αρχείων (μόνιμα ή προσωρινά) • Το μέσο μήκος των αρχείων • Η συχνότητα των εντολών γλώσσας μηχανής (instruction mix) • Ο μέσος χρόνος απασχόλησης της CPU μεταξύ δύο Ι/Ο λειτουργιών. • Ο μέσος χρόνος απασχόλησης των Ι/Ο συσκευών • Η πιθανότητα μετάβασης στο δίσκο Α ή Β μετά το τέλος μιας CPU λειτουργίας

23. Παράμετροι χαρακτηρισμού Workload/2 • Interactive workload • O μέσος χρόνος μεταξύ δύο διαδοχικών αφίξεων απαιτήσεων προς μια συσκευή η ένα πρόγραμμα . (Π.Χ ο μέσος χρόνος μεταξύ δυο διαδοχικών εκδόσεων εντολών προς το λειτουργικό σύστημα, ή τα http request) • Η κατανομή των παραπάνω χρόνων. • Ο μέσος αριθμός διαλογικών χρηστών που απασχολούν ταυτόχρονα το σύστημα και κατανομή τους κατά την διάρκεια της ημέρας. • Ο μέσος χρόνος απαιτήσεων των διαλογικών χρηστών • Database Workload • Ο μέσος όρος αφίξεως των data base Queries • O μέσος χρόνος απαιτήσεων των data base Queries

24. Workload Model • Workload Model είναι μια τεχνητή αναπαράσταση ενός πραγματικού workload • Τα Workload Models χρησιμοποιούνται για: • την επιλογή ενός συστήματος • το προγραμματισμό της χωρητικότητας • τη βελτίωση της απόδοσης (performance tuning)

25. Workload Model • Το Workload Model ή τοtest workload πρέπει να πληροί τους παρακάτω όρους • Να μπορεί να επαναληφθεί • Να είναι σχετικά σύντομο • Να είναι αντιπροσωπευτικό • Να εξαφανίζει τους περιορισμούς ασφαλείας που ενδέχεται να υπάρχουν για προγράμματα και δεδομένα και τα οποία συναντάμε κατά την διάρκεια των πραγματικών συνθηκών λειτουργίας

26. Χαρακτηρισμός Μοντέλων

27. Ταξινόμηση των workload models • Real : Αποτελείται από όλα τα αρχικά προγράμματα και δεδομένα που «τρέχουν» οι χρήστες κατά την διάρκεια της μετρούμενης περιόδου. • Synthetic: • Natural: Είναι ένα υποσύνολο του real workload. ( Ο αρχικός ορισμός του benchmark) • Hybrid : Μίξη προγραμμάτων που αποσπάστηκαν από ένα πραγματικό workload και από προγράμματα που κατασκευάστηκαν για τον σκοπό της μέτρησης (artificial)

28. Ταξινόμηση των workload models • Artificial: • Executableείναι ένα workload το οποίο αποτελείται από ένα σύνολο από προγράμματα που κατασκευάστηκαν ειδικά για να αποτελέσουν ένα τεχνητό workload. • Τα executable workloads “τρέχουν” στο πραγματικό υπό μελέτη σύστημα το οποίο χρησιμοποιεί κάποια τεχνική μέτρησης(hardware ή software) για τon υπολογισμό) των δεικτών απόδοσης • Non executableείναι όλα τα δεδομένα που δίδονται στα αναλυτικά μοντέλα και τα μοντέλα προσομοίωσης

29. Κατηγορίες workload models • Instruction mixes : Ένα πρόγραμμα το οποίο αντικατοπτρίζει τη σχετική συχνότητα των CPU εντολών γλώσσας μηχανής (π.χ πολλές load/store εντολές, και μερικές πράξειςακέραιες ή κινητής υποδιαστολής). • Kernels: Μικρές ρουτίνες κώδικά ο οποίος υπάρχει συνήθως μέσα σε εφαρμογές των χρηστών (π.χSieve, Puzzle, tree searching, Acckerman’s function, Sorting, αντιστροφή πινάκων) • Synthetic programs: Μικρά προγράμματα τα οποία ελέγχουν συμπεριφορές του συστήματος ή του δικτύου οι οποίες όμως δεν σχετίζονται με συγκεκριμένες εφαρμογές(π.χ disk test για τον έλεγχο του χρόνου προσπέλασης στον δίσκο, ή τον χρόνο ανταπόκρισης ενός απομακρυσμένου δικτυακού κόμβου.

30. Κατηγορίες workload models • Traces or scripted applications: Μια σειρά από διαφορετικές εφαρμογές οι οποίες συνδυάζονται μεταξύ τους με scripts(shell, perl) για να προσομοιάσουν (μιμηθούν) τυπικές συμπεριφορές ενός τυπικού χρήστη (π.χ να προσομοιάσουν την δικτυακή συμπεριφορά ενός τυπικού χρήστη). Ονομάζονται και σενάρια. • Real applications:Π.χ video applications, Συνεχής χρεώσεις πιστώσεις(τράπεζες)

31. Σύγκριση μεταξύ Real και artificial Real artificial Αντιπροσωπευτικότατα πολύ μεγάλη μικρότερη Κόστος κατασκευής χαμηλό υψηλότερο Κόστος χρήσης χαμηλό υψηλότερο Ευελιξία χαμηλή υψηλή Επαναληπτικότητα χαμηλή υψηλή Ανεξαρτησία χαμηλή υψηλή Πειραματισμός Ανεξέλεγκτος ελεγχόμενος Χρήση τροποποίησηΣχεδιασμός tuning Αγορά

32. Benchmarks • Αρχικός ορισμός: Ονομαζόταν έτσι τα natural Workload Models • Σημερινός ορισμός: Ονομάζεται έτσι κάθε artificial workload model. • Κύρια χρήση: Η μέτρηση της απόδοσης ενός υπολογιστή ή τμημάτων του, δικτύων, βάσεων δεδομένων, web servers, με στόχο την επιλογή της πιο συμφέρουσας αγοράς. Συμφέρουσα αγορά θεωρείται αυτή που έχει τον μικρότερο λόγο κόστους/απόδοσης