Measuring educational workload : a pilot study of paper based and PDA tools

1. Μπόλου Βασιλική-Χρυσάνθη Τάγγα Παναγιώτα Χάσιου Αικατερίνη Measuring educational workload : a pilot study of paper based and PDA tools

2. Υπάρχει μεγάλη ανάγκη για σκιαγράφηση του εκπαιδευτικού φόρτου εργασίας ώστε να επιβραβευθούν οι διδακτικές προσπάθειες και να διευκολυνθεί η δίκαιη κατανομή των πόρων.Για αυτό το σκοπό αναπτύχθηκε και αξιολογήθηκε ένα εργαλείο στον τομέα της παιδιατρικής σε ένα ακαδημαικό κέντρο επιστημών υγείας. Μέτρηση εκπαιδευτικού φόρτου εργασίας:μια πειραματική μελέτη εγγράφων και προσωπικών ψηφιακών βοηθητικών εργαλείων(PDA)

3. Προτάσεις για νέα εργαλεία κατά καιρούς. • Το 1993 η ένωση αμερικανικών κολεγίων ιατρικής σε έκθεση σύστησε ανεύρεση καλύτερων μεθόδων αξιολόγησης διδακτικών επιτευγμάτων. • Αρκετοί συγγραφείς περιέγραψαν νέα εργαλεία για την αξιολόγηση των σχολών,τη διαχείριση των πόρων και του χρόνου καθώς και την ανάπτυξη σταδιοδρομίας.(Daugird 2003) • Πρόσφατη προσπάθεια για μέτρηση κλινικού και εκπαιδευτικού φόρτου εργασίας στέφθηκε με επιτυχία(MacGregor 2006)

4. Η μελέτη του Daugird 2003 προτείνει ότι ίσως υπάρχουν εμπόδια στην εφαρμογή αυτών των εργαλείων εν αντιθέσει με άλλες μελέτες που εστιάζουν την προσοχή τους στο σχεδιασμό αυτών. • Οι περισσότεροι συγγραφείς τονίζουν ότι θα πρέπει αυτού του είδους τα εργαλεία-και η διαδικασία εφαρμογής τους-να είναι αποδεκτά και εφικτά σε ένα συγκεκριμένο πολιτιστικό πλαίσιο.

5. PDA εργαλείο Τα μέλη ΔΕΠ του τμήματος παιδιατρικής στο Τορόντο αναγνώρισαν την ανάγκη ανεύρεσης εργαλείου που θα συλλάμβανε το διαφορετικό εκπαιδευτικό φόρτο εργασίας κάθε μέλους ανάλογα με τη φύση της θέσης του,δηλαδή ανάλογα με τους διδασκόμενους.. • Αρχάριοι • Προπτυχιακοί • Απόφοιτοι • Μεταπτυχιακοί • Μέλη που επιδιώκουν επαγγελματική ανέλιξη

6. Λόγω αυτής της ποικιλίας δραστηριοτήτων οραματίστηκαν ένα πρότυπο που θα κάλυπτε τις ανάγκες και των επικεφαλής τμημάτων που έρχονταν αντιμέτωποι με τη διαχείριση των πόρων και της σχολής που θα επωφελούταν από τη συστηματική καταγραφή του ποσού και της φύσης των εκπαιδευτικών δραστηριοτήτων. • Φυσικά οι πληροφορίες θα συλλέγονταν ανώνυμα.

7. Χαρακτηριστικά PDA Το πρότυπο αυτό θα βοηθούσε: • Στον προσδιορισμό του αριθμού διδασκόντων • Στη διευκόλυνση της ακαδημαικής αναγνώρισης και προώθησης της μόρφωσης. • Στην κατανομή των πόρων • Στην αναβάθμιση του προγράμματος επαγγελματικής σταδιοδρομίας και αποζημίωσης.

8. Στόχοι μελέτης • Να αναπτυχθεί και να αξιολογηθεί ένα νέο εργαλείο για την καταγραφή του φόρτου εργασίας στην παιδιατρική σχολή στην εκπαίδευση των: • προπτυχιακών, • πτυχιούχων, • μεταπτυχιακών, • και διαρκώς εκπαιδευομένων.

9. Φάσεις διαμόρφωσης εργαλείου • Φάση πειραματισμού(Νοέμβριος 2002) • Φάση εφαρμογής/μελέτης σκοπιμότητας.(Απρίλιος 2003) • PDA φάση(Ιούνιος 2004)

10. Στόχοι κάθε φάσης • Καθορισμός ισχύος και ευκολίας χρήσης ενός πρότυπου εργαλείου μέτρησης εργασιακού φόρτου • Εξευγενισμός και καθορισμός βραχυπρόθεσμης δυνατότητας χρήσης. • Ανάπτυξη PDA εκδοχής του εργαλείου και προσδιορισμός αποδοχής και δυνατότητας αξιοποίησης του.

11. Ανάπτυξη • Η συμβουλευτική επιτροπή ιατρικής εκπαίδευσης ανέπτυξε 4 πρότυπα για την αξιολόγηση του εκπαιδευτικού φόρτου εργασίας ύστερα από εξάμηνη αρχική ατομική παρουσίαση του εργαλείου,συζήτηση και εξευγενισμό του.Τα πρότυπα αφορούσαν : • Εκπαιδευτικές παρουσιάσεις • Κλινικά μαθήματα • Καθοδήγηση • Άλλες δραστηριότητες(επίβλεψη ερευνητικών προγραμμάτων κ.α...) • Πραγματοποιήθηκε ύστερα από έγκριση του νοσοκομειακού συμβουλίου ηθικής και συγκατάθεση από όλους τους συμμετέχοντες.

12. Πειραματική φάση • Το Νοέμβριο 2002 11 μέλη ΔΕΠ συμπλήρωσαν τα πρότυπα αυτά.Σκόπιμη δειγματοληψία αντιπροσώπευσε και τα 6 εκπαιδευτικά προφίλ που διαφοροποιούνταν στις κλινικές,εκπαιδευτικές και ερευνητικές δραστηριότητες.Κάθε συμμετέχων διάλεξε μια αντιπροσωπευτική ομάδα μέσα στον υπό μελέτη μήνα για να καταγράψει το εργασιακό φόρτο και στο τέλος ερωτήθη αν το πρόγραμμα ήταν εφικτό. • Το πρότυπο κλινικών μαθημάτων δόθηκε σε 2 επικεφαλής για συζήτηση μιας και αναμενόταν να ενέχει πρόκληση και να επωφεληθεί από ομαδική ζύμωση.

13. Αποτελέσματα • Βρέθηκε ότι το εργαλείο μπορούσε να χρησιμοποιηθεί και αντιπροσώπευε μεγάλο φάσμα εκπαιδευτικών δραστηριοτήτων.Η PDA μορφή ήταν πιο εύκολη στη χρήση,αλλά για μακροχρόνια εφαρμογή θα απαιτούταν τεχνική υποστήριξη.Τα μεγαλύτερα εμπόδια στην εφαρμογή ήταν ο σκεπτικισμός αναφορικά με το σκοπό του εργαλείου και η ανησυχία ότι θα προωθούσε την ποσότητα εις βάρος της ποιότητας.

14. ΦΑΣΗ ΕΦΑΡΜΟΓΗΣ/ΜΕΛΕΤΗΣ ΣΚΟΠΙΜΟΤΗΤΑΣ • Τα πρότυπα βαζίζονται στην ανατροφοδότηση που στηρίζεται στη φάση πειραματισμού.

15. Τον Απρίλιο του 2003 ένα τμήμα προπτυχιακών και μεταπτυχιακών μελών κλήθηκε να ολοκληρώσει τα αναθεωρημένα πρότυπα για 4 εβδομάδες • Από τα 18 μέλη του τμήματος υπήρξαν ακυρώσεις και τελικά συμμετείχαν οι 16 από τους οποίους 4 ολοκλήρωσαν μόνο τη 1η εβδομάδα.

16. Οι συμμετέχοντες περνούσαν από συνέντευξη κάθε εβδομάδα αλλά και στο τέλος κάθε περιόδου μελέτης, υπό την καθοδήγηση ενός βοηθού προγράμματος ο οποίος • ολοκλήρωνε τις μελέτες με κάθε συμμετέχοντα ξεχωριστά • Εξασφάλιζε συνέπεια στη χρήση των προτύπων • Οι συνεντεύξεις καταγράφονταν και παρουσίαζαν ανωνυμία. • Τα δεδομένα και οι πληροφορίες αναλύονταν από ένα σταθερό ερευνητή κατά συγκριτικό τρόπο

17. ΦΑΣΗ PDA • Λόγω των ανησυχιών που είχαν οι συμμετέχοντες για τα έγγραφα πρότυπα, υπήρξε ανάπτυξη των προτύπων με το σχήμα PDA έτσι ώστε: • Να διατηρηθούν ικανοποιητικά οι λεπτομέρειες • Να παραχθεί μια ευρεία εκτίμηση του υπηρεσιακού φόρτου εργασίας.

18. Το σχήμα PDA στηριζόταν σε ένα πρότυπο δειγμάτων που αφορούσε αποκλειστικά τις εκπαιδευτικές δραστηριότητες. • Για τη μετατροπή του αρχέτυπου φόρτου εργασίας στο σύστημα PDA χρειάστηκε η συνεργασία με έναν ειδικό εμπειρογνώμονα.Η μορφοποίηση των στοιχείων έγινε συγκριτικά ανάμεσα στο νοσοκομείο για άρρωστα παιδιά και στο σύστημα Πανεπιστημίου του Τορόντο.

19. Αποτέλεσμα • Το PDA ήταν σε θέση να αξιολογήσει τη χρησιμότητα ενός ηλεκτρονικού εργαλείου και κατά πόσο αυτή ήταν εφικτή για ευρύτερη εφαρμογή. • Τον Ιούνιο του 2004 ένα μικρό τμήμα κλήθηκε να ολοκληρώσει όλο το PDA σε διάρκεια 2 εβδομάδων υπό την επίβλεψη ενός βοηθού προγράμματος ο οποίος υποστήριζε την ικανότητα του συστήματος για ολοκλήρωση μέχρι και 2 εβδομάδες.

20. ΦΑΣΗ ΠΕΙΡΑΜΑΤΙΣΜΟΥ ΚΑΙ ΦΑΣΗ ΕΦΑΡΜΟΓΗΣ(έγγραφα εργαλεία) • Η πλειονότητα των συμμετεχόντων δήλωσαν πως τα πρότυπα: • Ήταν εύχρηστα • Έδιναν εύκολη πρόσβαση στις εκπαιδευτικές δραστηριότητες • Ήταν λεπτομερή • Περίπλοκα εκτός πειραματικών μελετών

21. Το εργαλείο παρ όλα αυτά προκάλεσε αρνητική αντίδραση στην αρχή μεταξύ των συμμετεχόντων στη φάση εφαρμογής/μελέτης –σκοπιμότητας .Κατά τη φάση της μελέτης υπήρξε έντονος προβληματισμός σχετικά με τον ειδικό σκοπό του εργαλείου και ανησυχία για τα δεδομένα που θα χρησιμοποιηθούν.

22. Στο ερώτημα για τη χρησιμότητα του εργαλείου γι’ αυτούς προσωπικά η σχολή πρότεινε στη φάση εφαρμογής/σκοπιμότητας συγκεκριμένες περιοχές για την αναθεώρηση στο σχεδιασμό του εργαλείου • Τέλος, οι συμμετέχοντες ανέφεραν λογιστική δυσκολία για την άτυπη διδασκαλία καθώς και το ακαθόριστο του χρόνου που οι ειδικευόμενοι θα βλέπουν τους ασθενείς.

23. ΦΑΣΗ PDA • Ενώ οι συμμετέχοντες στη μελέτη της φάσης εφαρμογής/σκοπιμότητας διαμόρφωσαν μια ποικιλία αντιλήψεων οι περισσότερες παρατηρήσεις σχετικά με τη χρησιμότητα και σημασία του PDA ήταν θετικές. • Σε αντίθεση με τη φάση της μελέτης σκοπιμότητας/εφαρμογής οι συμμετέχοντες συμπλήρωναν τα πρότυπα χωρίς την εντατική υποστήριξη του βοηθού του έργου και στο τέλος της φάσης αυτής δέχτηκαν το εργαλείο.

24. Η μεγαλύτερη πρόκληση στη φάση αυτή ήταν ο βαθμός τεχνολογικής πολυπλοκότητας και η αποτελεσματική υποστήριξη που απαιτείται για τη δημιουργία του PDA προγράμματος στα ηλεκτρονικά συστήματα της σχολής.Αυτό βέβαια απαιτούσε όχι μόνο χρόνο αλλά και τη βοήθεια ειδικών στα computer. Άλλα προβλήματα αποτέλεσαν το πλαίσιο της έρευνας, η ανάγκη για ανωνυμία και η ανικανότητα να επανεξετασθεί η εισαγωγή των δεδομένων κάτι που οφείλεται σε μεγάλο βαθμό στο ζήτημα της διασύνδεσης με συστήματα άλλων ιδρυμάτων.

25. Υπήρχαν 3 λογικές πτυχές τις οποίες οι συμμετέχοντες προσδιόρισαν ως εν δυνάμει προβληματικές: • Οι πρώτοι ανέφεραν ότι ήταν δύσκολη η χρήση του εργαλείου σε καθημερινή βάση • Άλλοι ισχυρίστηκαν ότι δεν μπορούσαν να φέρουν στην παλάμη τους το εργαλείο ανα πάσα στιγμή και σημείωσαν ότι θα ήταν πιο εφικτή η χρήση του εργαλείου από τους άνδρες. • Και τέλος κάποιοι συμμετέχοντες ανησυχούσαν ότι οι πληροφορίες μπορεί να χαθούν επειδή ήταν ιδιαίτερα απασχολημένοι για να τις στέλνουν στη κεντρική μνήμη.

26. ΣΥΖΗΤΗΣΗ • Σημαντική ήταν η ανακάλυψη του PDA εργαλείου καθώς η χρήση του αποδείχθηκε ευκολότερη σε σχέση με προϊόντα του παρελθόντος.Στόχοι ήταν η μακροπρόθεσμη χρήση του,η τεχνική επεξεργασία και υποστήριξη υποβοηθούμενη από ειδική ηλεκτρονική βοήθεια και η διαθέσιμοτητα του στο διαδίκτυο.Προβλήματα στη μακροπρόθεσμη χρήση του αποτέλεσαν κυρίως υλικοτεχνικά και πολιτισμικά ζητήματα.Στη μελλοντική του βελτίωση θα πρέπει να επιδιωχθεί ισορροπία ανάμεσα στη χρήση και την πρακτική των πληροφοριών καθώς και ο ορθός τρόπος χρησιμοποίησης τους.

27. Τα μέλη ΔΕΠ προβάλλουν αντίσταση στη χρησιμοποίηση καθώς ανησυχούν ότι η μετατροπή και η τροποποίση των πληροφοριών θα υποκαθιστούσαν την ποιότητα.Παρόλο που το τμήμα είχε διακρίσεις και αξιολογήσεις για την υπεροχή του η γραπτή και προφορική παρουσίαση του εργαλείου δεν έγινε άμεσα κατανοητή και αποδεκτή.

28. Το εύρημα αυτό επιβεβαιώνει τη μελέτη του Daugird’s(2003) όπου το καθηγητικό σώμα εμφανίζεται ιδιαίτερα επιφυλακτικό όσων αφορά την ακρίβεια και τη χρησιμότητα του συστήματος, παρόλο που η δοκιμή του PDA εργαλείου από τα μέλη ΔΕΠ είχε καλύτερες κριτικές σε σχέση με το εργαλείο Daugird’s, το οποίο οδήγησε σε μέτρια βελτίωση της εκπαιδευτικής γνώσης.Η δουλειά μας υποστηρίζει τη χρησιμότητα του εργαλείου φόρτου εργασίας στην εκπαίδευση και στοχεύει στην ισότιμη κατανομή των πόρων και σε τεχνικές μετρήσεων του φόρτου εργασίας.

29. Σε αντίθεση με άλλα εργαλεία που στρέφονταν στους παραδοσιακούς ρόλους εργασίας στόχος ήταν η αναγνώριση της εκπαιδευτικής δραστηριότητας (περιλαμβανομένης και της άτυπης διδασκαλίας και καθοδήγησης) κάτι που οδήγησε σε ένταση ανάμεσα στην πληρότητα του εργαλείου και την πρακτικότητα του.Αυτή η επαναληπτική διαδικασία ανάπτυξης βοήθησε να βρούμε ισορροπία ανάμεσα στους στόχους.Η μορφή PDA παρακάμπτει το πρόβλημα επιτρέποντας στη σχόλη να μεταβεί απευθείας στα σχετικά θέματα,παρακάμπτοντας τα υπόλοιπα θέματα του εργαλείου.Καθώς οι υλικοτεχνικές προκλήσεις παραμένουν πολλοί συμμετέχοντες εκτίμησαν τη διορατικότητα που τους έδωσε το εργαλείο στον εκπαιδευτικό τους ρόλο.

30. Τα γεγονότα ότι το δείγμα μπορεί να μην ήταν αντιπροσωπευτικό, η διάρκεια του σταδίου της μελέτης σκοπιμότητας/ εφαρμογής ήταν περιορισμένη μετά από παρέμβαση του SARS και ότι η συνέπεια της χρήσης εργαλείων από τη σχολή μέσα σε ομάδες και σε όλες τις φάσεις ήταν άγνωστη αποτέλεσαν προβλήματα στη μελέτη.

31. Εμπόδια που παρουσιάστηκαν σε κάποιες φάσεις του έργου παρέκαμψαν σημαντικά στοιχεία από τον πρωταρχικό ρόλο της εργασίας. • Πιθανότατα η τεχνική κατάρτιση πριν την ευρύτερη εφαρμογή θα μπορούσε να αντιμετωπίσει το βάρος της σχολής.

32. Η ανακάλυψη του εργαλείου προσδιορισμού φόρτου εργασίας είναι μια σύνθετη επιχείρηση γιατί είναι απαραίτητο να συλλάβει την ποιότητα και την ποσότητα της δραστηριότητας η οποία λαμβάνει χώρα σε πολλά διαφορετικά περιβάλλοντα συχνά ως συμπλήρωμα στην φροντίδα των ασθενών ή της έρευνας.Η αναγνώριση της ανεξάρτητης ιατρικής εκπαίδευσης στα πρόσφατα χρόνια έφερε και την ανάγκη για ευθύνη ιδιαίτερα στο κλίμα της οικονομικής συρρίκνωσης και υγειονομικής περίθαλψης.

33. Αυτή η μελέτη αναφέρει την ανακάλυψη του υποσχόμενου PDA εργαλείου το οποίο στοχεύει στον περιορισμό-μέτρηση του φόρτου εργασίας.Τα επόμενα βήματα θα απαιτήσουν τον επιπλέον εξευγενισμό του και την εξασφάλιση της χρησιμότητας του στα μέλη ΔΕΠ και στη διάδοση πληροφοριών σχετικά με την προβλεπόμενη χρήση του για να πετύχουμε αποδοχή και επιπλέον βελτίωση. • Η μελλοντική αυτή δουλειά επιδιώκεται να μπορεί να ενσωματώσει κλινική και εκπαιδευτική μέτρηση του φόρτου εργασίας σε ένα συνδυασμένο PDA εργαλείο.

34. ΕΚΠΑΙΔΕΥΤΙΚΗ ΔΙΑΔΙΚΑΣΙΑ • Εκπαιδευτικός στόχος:η χρήση του PDA εργαλείου είναι εφικτή για τη σκιαγράφηση του εκπαιδευτικού φόρτου εργασίας σε ανώτερο εκπαιδευτικό ίδρυμα.Αυτό ενδέχεται να βοηθήσει στην αναγνώριση της εκπαιδευτικής διαδικασίας και στη δίκαιη διαχείριση και κατανομή των πόρων.

35. ΕΠΙΔΙΩΚΩΜΕΝΕΣ ΔΕΞΙΟΤΗΤΕΣ ΤΩΝ ΕΚΠΑΙΔΕΥΟΜΕΝΩΝ • Η κατανόηση της δυνατότητας χρήσης του εργαλείου στην καθημερινότητα, της αναγκαιότητας τεχνικής κατάρτισης από τους εκπαιδευτές και από τους εκπαιδευόμενους ,της απόδοσης ίσης αξίας στην ποιότητα και την ποσότητα της διδασκαλίας και της διαφοροποίησης μεταξύ της εκπαιδευτικών και κλινικών καθηκόντων.

36. ΣΥΝΤΕΛΕΣΤΕΣ • Susan Tallet • Lorelei Lingard • Karen Leslie • Jonathan Pirie • Ann Jefferies • Lawrence Spero • Rayfel Schneider • Robert Hilliard • Jay Rosenfield • Jonathan Hellmann • MarcellinaMian • Jennifer Hurley.

37. (University of Toronto, Hospital for sick children, Toronto , Appleby college, oakville, mount sinai hospital, toronto, canada.) • Correspondence dr Susan Tallett, department of paidiatrics, the Hospital of sick children 555 University Avenue, Postgraduate education office, toronto, onpario M5g 1x8 canada • ISSN 0142-159Xprint/ISSN 1466-187X online/08/030296-6 2008 informa UK ltb • Βιβλιογραφικές μας αναφορές:MEDICAL TEACHER 2008,30 :296-301 • DOI:10.1080/01421590701852658.

38. Αναφορές • ACME-TRI report 1993.Educating medical students:assessing change in Medical Education-the road to implementation. Acad Med 68:S1-S46 • Bardes CL Hayes JG 1995.Are the teachers teaching? Measuring the educational activities of clinical faculty. Acad Med 70:111-114 • Daugird AJ Arndt JE Olson PR 2003. A computerized faculty time-management system in a academic family medicine department. Acad Med 78:129-136 • Davidson SJ 2000a.Measuring productivity means setting expectations and possibly managing performance. Emerg Med News 22(7):25-34

39. Davidson SJ 2000b. The whys and hows of relative value units (RVUs)Emerg Med News 22(8):42-43 • Graff LG, Wolf S, Dinwoodie R, Buono D, Mucci D 1993.Emergency physician workload:a time study. Ann Emerg Med 22:1156-1163 • Hawker RW, Brai B, Campbell J, Durrant M, Mc Lean M. 1996.Development and application of a computerized workload measurement tool for nurse educators.Can J Nurs Adm 9 :53-66. • Hilton C, Fisher Jr W, Lopez A, Sanders C.1997.A relative value-based system for calculating faculty produstivity in teaching, research, administration and patient care.Acad Med 72:787-793

40. Mac Gregor D, Tallett S, Mac Millan S, Gerber R, O’Brodovich H 2006.Clinical and education workload measurements using personal digital assistant based software.Pediatrics 118:985-991 • Munoz E, Mulloy K, Goldstein J, Josephson J, Tenenbaum N, Wise L.1990.Physicians patient load per DRG the consumption of hospital resources, and the incentives of the DRG prospective payment system.Acad Med 65:533-538 • Strauss A, Corbin J 1998.Basics of Qualitative Research(Thousand Oaks, Sage Publications)