Στατιστικές Μέθοδοι στην Αξιολόγηση

1. Στατιστικές Μέθοδοι στην Αξιολόγηση Θανάσης Ράπτης O.R.PhD

2. Ποιος είναι ο σκοπός της παρουσίασης αυτής? Σκοποί της παρουσίασης αυτής είναι: • Να φανεί η χρησιμότητα ή η αναγκαιότητα χρήσης στατιστικών εργαλείων στην υπόθεση της αξιολόγησης • Να δοθούν ορισμένα παραδείγματα μεθοδολογιών ώστε να εμπεδωθεί ο πρώτος στόχος αλλά και να παρουσιαστούν οι μεθοδολογίες αυτές.

3. Συνοψίζοντας τους ορισμούς της Αξιολόγησης Μιλώντας για αξιολόγηση μπορεί να αναφερόμαστε σε: • Προσδιορισμό της Αξίας/Σημασίας/Ωφελιμότητας • Ικανοποίησης ή όχι στόχου/προδιαγραφών απαιτήσεων • Εντοπισμό σημείων προς βελτίωση • Επίπτωση από την εφαρμογή ενός σχεδίου • Μέρος μιας κυκλικής διαδικασίας ποιότητας

4. Αξιολόγηση και Μέτρηση • Η αξιολόγηση εμπεριέχει τον ποσοτικό προσδιορισμό, δηλαδή την μέτρηση, αν και είναι υπερσύνολο της μέτρησης.

5. Μέτρηση και Δεδομένα • Η μέτρηση απαιτεί δεδομένα (πληροφόρηση)! • Τα δεδομένα μπορεί να είναι κάθε είδους και σε κάθε μορφή.

6. Δεδομένα και Μεταβλητότητα Τα (αναγκαία) δεδομένα μπορεί να… • Είναι ασαφή • Αλλάζουν συνεχώς • Είναι υποκειμενικά • Είναι “τυχαία” Με απλά λόγια να έχουν «Μεταβλητότητα» Τι γίνεται τότε?? Η Θεά Τύχη

7. Μεταβλητότητα και Στατιστική Χρειαζόμαστε την Στατιστική προκειμένου να διαχειριστούμε την μεταβλητότητα των δεδομένων και να λάβουμε αποφάσεις σε περιβάλλον όπου παρουσιάζεται τυχαιότητα.

8. Πηγές Μεταβλητότητας Η μεταβλητότητα κατά βάση προκύπτει από δυο μηχανισμούς: • Από διαφόρων ειδών σφάλματα στον ποσοτικό προσδιορισμό • Από την ίδια την φύση των φαινομένων που μπορεί να είναι στοχαστικά Στην αξιολόγηση υπηρεσιών, η συνήθης πηγή μεταβλητότητας είναι η ικανοποίηση των ληπτών της υπηρεσίας.

9. Κατηγοριοποίηση των Στατιστικών μεθόδων Γενικά μπορούμε να κατηγοριοποιήσουμε τις υπαρκτές μεθόδους στις εξής δύο κατηγορίες: • Μέθοδοι οι οποίες έρχονται μπορούν να εφαρμοστούν πάνω σε υπαρκτές ντετερμινιστικές μεθόδους και να επεκτείνουν την χρήση τους. • Μέθοδοι οι οποίες νοούνται μόνο ως στατιστικές και δεν υφίστανται διαφορετικά.

10. Έξι μεθοδολογίες Πολυκριτήρια Ανάλυση Χρησιμότητας ΠολυμεταβλητάΨευδομεταβλητά μοντέλα Συσταδοποίηση των απόψεων των εταίρων Περιβάλλουσα Ανάλυση Δεδομένων Ανάλυση κειμένου εκθέσεων αξιολόγησης PERT-CPM

11. Πολυκριτήρια Ανάλυση Λήψης Απόφασης (MCDA): Συνάρτηση Ωφελιμότητας • Πρόκειται για την μέθοδο εκείνη κατά την οποία αξιολογούνται μια σειρά από αντικείμενα/υποκείμενα/»εναλλακτικές στρατηγικές», μέσω του υπολογισμού της ωφελιμότητας που συνεπάγεται κάθε επιλογή για τον τελικό χρήστη. • Η ωφέλεια προκύπτει ως σταθμισμένο άθροισμα με βάρη, των επιμέρους ωφέλιμων χαρακτηριστικών κάθε υποκειμένου. Τα βάρη εκφράζουν την σημαντικότητα που δίνει ο χρήστης σε κάθε χαρακτηριστικό και σταθμίζουν την επίδοση του αξιολογούμενου σε κάθε πεδίο αξιολόγησης.

12. MCDA :Περίπτωση στην εκπαίδευση • Συνήθης επιλογή: Αξιολόγηση προσωπικού, μαθητών, προγραμμάτων κλπ • Διαφορετικότητα στην προσέγγιση: Τα βάρη δεν τίθενται από τους αξιολογητές αλλά από τους αξιολογούμενους. Αυτό αμέσως εισάγει την ανάγκη χρήσης στατιστικών μεθόδων.

13. MCDA: Η επίδραση της γνώμης των εταίρων • Η άποψη των εταίρων για κάποιο ζήτημα (π.χ. σύλλογος διδασκόντων για κάποιο σχολείο) είναι μια ποσότητα η οποία δεν είναι αυστηρά προσδιορισμένη αλλά έχει κάποια κατανομή. • Αυτό κληροδοτεί ένα στατιστικό χαρακτήρα στα αποτελέσματα. • 1=2?

14. Η επιλογή της σημαντικότητας των κριτηρίων: Τρείς τρόποι • 1ος τρόπος: Ορισμός από τον αξιολογητή. • 2ος τρόπος: Ορισμός από τους αξιολογούμενους. • 3ος τρόπος: Ορισμός από κάποια στατιστική πολυμεταβλητή μέθοδο..

15. Πολυμεταβλητές Τεχνικές- Latent Variable Models • Το αντικείμενο της πολυμεταβλητής ανάλυσης είναι η ταυτόχρονη ανάλυση πολλών μεταβλητών οι οποίες μπορεί να είναι συνεχείς, διακριτές ή κατηγορικές. • Σκοπός της ανάλυσης είναι η ερμηνεία της διακύμανσης και των συνδιακυμάνσεων του συνόλου των μεταβλητών, η γραφική ερμηνεία των δεδομένων και η μείωση της διάστασης των δεδομένων. • Απώτερος σκοπός η εξαγωγή πληροφορίας.

16. Η γενική ιδέα των πολυμεταβλητών τεχνικών Οι πιο γνωστές από αυτές τις μεθόδους είναι οι Factor και PCA • Η γενική ιδέα είναι ότι υπάρχουν κάποιες μη παρατηρούμενες μεταβλητές οι οποίες βρίσκονται σε λανθάνουσα μορφή και ο στόχος είναι να γίνει ανάκτηση της τιμής αυτών των μεταβλητών μέσω της μέτρησης κάποιων άλλων παρατηρήσιμων, μετρούμενων (observable) και πολυπληθέστερων μεταβλητών οι οποίες δέχονται επιδράσεις από τις μη μετρούμενες. • Παραδείγματα από Οικονομία και Ψυχομετρία

17. Η εφαρμογή των πολυμεταβλητών στην εκπαιδευτική αξιολόγηση • Μέτρηση της ικανοποίησης διαφόρων φορέων και αποκάλυψη της δομής της ικανοποίησης • Μέτρηση ατομικών χαρακτηριστικών

18. Συσταδοποίηση των απόψεων των εταίρων (Clustering) • Βασικό εργαλείο η ανάλυση συστάδων-cluster analysis • Σκοπός της μεθόδου είναι η εύρεση τυχών φυσικών ομαδοποιήσεων εντός ενός μεγάλου συνόλου υποκειμένων και αποκάλυψη των κοινών χαρακτηριστικών τους. • Τυπική εφαρμογή: ταξινόμηση των απόψεων σε ομάδες.

19. Συσταδοποίηση των απόψεων των εταίρων (Clustering)

20. Συσταδοποίηση των απόψεων των εταίρων (Clustering)

21. Συσταδοποίηση των απόψεων των εταίρων (Clustering)

22. Περιβάλλουσα Ανάλυση Δεδομένων • Μέθοδος συγκριτικής αξιολόγησης ομοειδών μονάδων. • Ιδανική για περιπτώσεις αξιολόγησης υπηρεσιών εκπαίδευσης, υγείας και γενικότερα άυλων προϊόντων. • Σύστημα εισροών εκροών, μικτές εισροές και εκροές

23. Περιβάλλουσα Ανάλυση Δεδομένων • Η μέθοδος ταξινομεί τις μονάδες ως προς την αποδοτικότητά τους • Εντοπίζει τις αλλαγές που πρέπει να γίνουν σε κάθε μονάδα ώστε να «μοιάσει» στις ποιο αποδοτικές από το σύνολο αξιολογούμενων μονάδων

24. Αλγόριθμοι ανάλυσης κειμένων εφαρμογή σε εκθέσεις αξιολόγησης • Ανάλυση εκθέσεων αξιολόγησης • 200 εκθέσεις αξιολόγησης Ελληνικών ΑΕΙ

25. Ανάλυση εκθέσεων αξιολόγησης

26. Ανάλυση εκθέσεων αξιολόγησης

27. Ανάλυση εκθέσεων αξιολόγησης

28. PERT-CPM: ΣΧΕΔΙΑΣΜΟΣ ΕΡΓΟΥ • Προσδιορισμός σκοπού του έργου • Επιλογή μεθόδου σχεδιασμού • Υλοποίηση ενός σχεδίου • Βελτιστοποίηση σχεδίου • Έλεγχος του σχεδίου ¨ Plan your work first…..then work your plan ¨

29. ΣΧΕΔΙΑΣΜΟΣ ΕΡΓΟΥ(2) • Παράδειγμα μεθόδου: Top-Down Design (από το γενικό στο ειδικό):

30. ΥΠΑΡΧΟΥΣΕΣ ΜΕΘΟΔΟΛΟΓΙΕΣ • Δυο Μεθοδολογίες: • PERT: Program Evaluation & Review Technique • CPM: Critical Path Method

31. ΚΑΘΟΡΙΣΜΟΣ ΕΝΕΡΓΕΙΩΝ ΚΑΘΟΡΙΣΜΟΣ ΑΠΑΙΤΗΣΕΩΝ ΚΑΘΟΡΙΣΜΟΣ ΤΩΝ ΑΝΑΓΚΩΝ ΓΙΑ ΕΠΙΜΟΡΦΩΣΗ ΚΑΘΟΡΙΣΜΟΣ ΑΠΑΙΤΟΥΜΕΝΩΝ ΠΟΡΩΝ ΠΡΟΔΙΑΓΡΑΦΕΣ ΛΕΙΤΟΥΡΓΙΚΟΥ ΣΧΕΔΙΑΣΜΟΥ ΑΝΑΠΤΥΞΗ ΒΑΣΙΚΩΝ ΑΡΧΩΝ ΣΧΕΔΙΑΣΗΣ ΑΝΑΠΤΥΞΗ ΤΟΥ ΣΥΣΤΗΜΑΤΟΣ ΕΠΙΜΟΡΦΩΣΗΣ ΚΑΙ ΔΗΜΙΟΥΡΓΙΑ ΠΡΟΤΥΠΩΝ ΑΞΙΟΛΟΓΗΣΗΣ ΔΙΑΜΟΡΦΩΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ ΤΩΝ ΠΡΟΤΥΠΩΝ ΑΝΑΠΤΥΞΗ ΣΕ ΠΛΗΡΗ ΚΛΙΜΑΚΑ ΤΕΛΙΚΗ ΔΟΚΙΜΗ ΑΞΙΟΛΟΓΗΣΗ ΤΟΥ ΣΥΣΤΗΜΑΤΟΣ ΟΡΙΣΤΙΚΟΠΟΙΗΣΗ ΤΩΝ ΚΡΙΤΗΡΙΩΝ ΑΞΙΟΛΟΓΗΣΗΣ ΣΧΕΔΙΑΣΜΟΣ ΕΝΟΣ ΣΥΣΤΗΜΑΤΟΣ ΑΞΙΟΛΟΓΗΣΗΣ ΣΥΛΛΟΓΗ ΚΑΙ ΑΝΑΛΥΣΗ ΣΤΟΙΧΕΙΩΝ ΜΕΘΟΔΟΣ ΣΥΛΛΟΓΗΣ ΠΛΗΡΟΦΟΡΙΩΝ ΑΠΟΦΑΣΗ ΠΡΟΣΒΑΣΗΣ ΚΑΙ ΣΥΜΜΕΤΟΧΗΣ ΑΠΟΦΑΣΗ ΓΙΑ ΤΟΠΟ –ΧΡΟΝΟ- ΤΡΟΠΟ ΑΠΟΦΑΣΗ ΓΙΑ ΠΕΡΙΕΧΟΜΕΝΑ ΕΠΙΛΟΓΗ ΕΚΠΑΙΔΕΥΤΙΚΟΥ ΜΕΣΟΥ ΕΡΓΑΣΙΕΣ ΥΠΟΣΤΗΡΙΞΗΣ ΑΠΟΦΑΣΗ ΓΙΑ ΔΙΑΡΚΕΙΑ ΑΞΙΟΛΟΓΗΣΗ ΤΕΛΙΚΗ ΑΠΟΦΑΣΗ

32. ΕΙΣΑΓΩΓΗ ΣΤΟΝ ΥΠΟΛΟΓΙΣΤΗ(2)

33. ΕΠΙΛΥΣΗ – CRITICAL PATH

34. CRITICAL PATH RESULTS TABLE

35. GANT CHART Πίνακας με το χρονοδιάγραμμα των δραστηριοτήτων:

36. Το δίκτυο ενεργειών (1)

37. Το δίκτυο ενεργειών (2)

38. ΤΡΟΠΟΠΟΊΗΣΗ ΤΟΥ ΑΡΧΙΚΟΥ ΣΧΕΔΙΟΥ ΑΦΟΥ ΑΦΑΙΡΕΣΟΥΜΕ ΤΙΣ ΨΕΥΔΟΔΙΑΔΙΚΑΣΙΕΣ (DUMMY):

39. Η λύση του δικτύου ενεργειών

40. Μετρώντας τα χιλιοστά και χάνοντας τους πόντους! • Όλα αυτά και πολλά άλλα έχουν ανάγκη μιας σωστής μεθοδολογίας. Διαφορετικά το όφελος των μεθόδων εξανεμίζεται από σοβαρά μεθοδολογικά σφάλματα.

41. Στατιστικός Έλεγχος Ποιότητας Διεργασιών

42. Διαγράμματα δράσης

43. Ευχαριστώ για την υπομονή σας!