ΑΞΙΟΛΟΓΗΣΗ ΨΗΦΙΑΚΩΝ ΒΙΒΛΙΟΘΗΚΩΝ

1. ΑΞΙΟΛΟΓΗΣΗ ΨΗΦΙΑΚΩΝΒΙΒΛΙΟΘΗΚΩΝ ΕΠΙΜΕΛΕΙΑ-ΠΑΡΟΥΣΙΑΣΗ: ΓΡΗΓΟΡΙΟΥΒΙΒΗ ΚΕΡΚΥΡΑ 2004

2. ΤΟ ΠΑΡΕΛΘΟΝ…ΤΟ ΠΑΡΟΝ… ΜΙΑ ΜΑΤΙΑ ΣΤΟ ΜΕΛΛΟΝ… • Βιβλιοθήκη (κτίριο, βιβλία, ράφια, προσωπικό) • Ψηφιακή Βιβλιοθήκη - ψηφιοποιημένο υλικό - αλλαγή απαιτήσεων • Στόχος : μια «καλή» Ψηφιακή Βιβλιοθήκη - πώς επιτυγχάνεται ? - παράγοντες που παίζουν ρόλο - μέσο η ΑΞΙΟΛΟΓΗΣΗ

3. Γιατί είναι σημαντική η αξιολόγηση Ψηφιακών Βιβλιοθηκών ; (1) • Οι ΨΒ υποστηρίζουν συγκεκριμένες δραστηριότητες σε συγκεκριμένους τομείς επιμορφωτικούς κυρίως αλλά και ψυχαγωγικούς. • Η αξιολόγηση είναι σημαντική γιατί εξετάζει: • λειτουργικότητα του συστήματος • τεχνολογίες πληροφόρησης - διαδραστικότητα - υιοθέτηση - χρήση - υλοποίηση - κοινωνικός αντίκτυπος

4. Γιατί είναι σημαντική η αξιολόγηση Ψηφιακών Βιβλιοθηκών ; (2) • κοστολόγηση διαδικασιών και ιδιαίτερα όσον αφορά την χρησιμότητα • εξοικονόμηση πόρων από χαμένη παραγωγικότητα

5. Τι είναι η αξιολόγηση ; • Η αξιολόγηση ενός συστήματος είναι ένας γενικός όρος που περιλαμβάνει απόψεις απόδοσης, μετρήσεων και εκτιμήσεων των ανθρώπων που χρησιμοποιούν το σύστημα. • Οι δραστηριότητές της περιλαμβάνουν εργαστηριακά πειράματα, έρευνες σε τοπικό, εθνικό και διεθνές επίπεδο, αναλύσεις, παρακολούθηση και καταγραφή της διεπαφής χρήστη-συστήματος, παρατηρήσεις χρηστών κ.λ.π.

6. Τύποι αξιολόγησης (1) 4 τύποι αξιολόγησης είναι συμβατοί με τις Ψηφιακές Βιβλιοθήκες : • Παραγωγική αξιολόγηση (formative) – ορίζει προτεραιότητες σε τρέχοντα ζητήματα, θέτει στόχους και προκαθορίζει τα επιθυμητά αποτελέσματα. • Αθροιστική αξιολόγηση (summative) – το αν επιτεύχθηκαν οι στόχοι ή όχι εξετάζεται στο τέλος της όλης διαδικασίας. Αλληλοσυμπληρώνεται με την παραγωγική.

7. Τύποι αξιολόγησης (2) • Επαναληπτική αξιολόγηση (iterative) –θέτει αρχικά μετρήσιμους στόχους όμως δίνει τη δυνατότητα αναθεώρησης και επαναπροσδιορισμού τους μέσα από την αναπτυξιακή διαδικασία. • Συγκριτική αξιολόγηση (comparative) – το αποτέλεσμα προκύπτει μέσα από συγκρίσεις συστημάτων, μετρήσεις και διασταύρωση των αποτελεσμάτων τους (συγκρίνουμε διαφορετικές λειτουργίες και αλγόριθμους).

8. Κοινό Ψηφιακών Βιβλιοθηκών • Για να μπορέσουμε να προχωρήσουμε στην αξιολόγηση μιας ΨΒ θα πρέπει πρώτα να προσδιορίσουμε το αναγνωστικό κοινό της. • Ανάλογα με την κοινότητα χρηστών στην οποία απευθυνόμαστε θα προσαρμόσουμε και τα κριτήρια της αξιολόγησης. • Απευθυνόμαστε λοιπόν: 1. στην ερευνητική κοινότητα χρηστών 2. στην «παραδοσιακή» κοινότητα χρηστών

9. Συνέχεια… • Στην πρώτη περίπτωση μας ενδιαφέρει να ικανοποιήσουμε τις ανάγκες συγκεκριμένων ομάδων χρηστών, ερευνητών, επιστημόνων, μελετητών κ.λ.π. Η ψηφιοποιημένη πληροφορία πρέπει να είναι σωστά κατανεμημένη, εύκολα και γρήγορα προσβάσιμη και όσο το δυνατόν πιο πρόσφατη. • Αντίθετα, το παραδοσιακό κοινό μιας βιβλιοθήκης αντιμετωπίζει τις ΨΒ ως οργανισμούς που προσφέρουν τις ίδιες πληροφορίες με παλιότερα απλά τώρα πια με διαφορετική / ψηφιοποιημένη μορφή.

10. Ερωτήματα Για να προχωρήσουμε στην αξιολόγηση μιας ΨΒ θα πρέπει να λάβουμε υπόψη τα παρακάτω ερωτήματα: • Τι αξιολογούμε ; (π.χ. συλλογή, τεχνολογία) • Με τι κριτήρια αξιολογούμε τις μετρήσεις ; (αποδοτικότητα ή αποτελεσματικότητα συστήματος) • Ποιόν ενδιαφέρουν τα αποτελέσματα της αξιολόγησης ; • Πότε είναι η κατάλληλη στιγμή για να προχωρήσουμε στο στάδιο της αξιολόγησης ;

11. Θέματα που πρέπει να λάβουμε υπόψη πριν ξεκινήσουμε μια διαδικασία αξιολόγησης • ΔΟΜΗ • ΠΕΡΙΕΧΟΜΕΝΟ • ΚΡΙΤΗΡΙΑ • ΕΙΔΟΣ ΜΕΤΡΗΣΕΩΝ • ΟΡΙΑ • ΜΕΘΟΔΟΛΟΓΙΑ

12. Προσπάθειες Αξιολόγησης • US DLI test suite:6 τεστ αξιολόγησης ΨΒ (Digital Library Initiative) http://www.dlib.org/test-suite/index.html • D-Lib Working Group on Digital Library Metrics μια πρώτη προσπάθεια πάνω σε θέματα αξιολόγησης το 1998. http://www.dlib.org/metrics/public/index.html • DELOS Network of Excellence (Digital Library Evaluation Forum δημιουργίαυποδομής για αξιολόγηση και σχετικές ενέργειες) http://www.ercim.org/DELOS

13. Παράμετροι Αξιολόγησης • Το πρόβλημα στην αξιολόγηση μιας ΨΒ έγκειται στην πολυπλοκότητα του περιεχομένου της και στην διαφορετικότητα της δομής της σε σχέση με μια υβριδική βιβλιοθήκη. • Παράμετροι που πρέπει να λάβουμε υπόψη κατά τον σχεδιασμό ενός μοντέλου αξιολόγησης: • επεκτασιμότητα • αποτελεσματικότητα • αποδοτικότητα • κόστος • ποιότητα

14. Συνέχεια… • Οι μέθοδοι και οι τεχνικές για τη δημιουργία ενός μοντέλου αξιολόγησης θα πρέπει να στηρίζονται σε δεδομένα: • ποσοτικής ανάλυσης • ποιοτικής ανάλυσης

15. Ολική Προσέγγιση Αξιολόγησης ΨΒ • Θεωρώντας μια ΨΒ ως ένα είδος πληροφοριακού συστήματος θα πρέπει να λάβουμε υπόψη και τις επιμέρους συνιστώσες του «συστήματος»: - συλλογή - υπολογιστικά συστήματα (τεχνολογία) - άτομα (προσωπικό, χρήστες) - περιβάλλον χρήσης • Μεμονωμένες προσεγγίσεις θα είναι αναποτελεσματικές.

16. Θέματα Αξιολόγησης • Το σύστήμα και οι συνιστώσες του. (περιλαμβάνει αξιολόγηση μεθόδων και τεχνικών ανάκτησης πληροφοριών και γενικότερα λειτουργικότητα του συστήματος) • Το επίπεδο αλληλεπίδρασης χρήστη – συστήματος. • Υποστήριξη των διαφόρων στρατηγικών πρόσβασης και χρήσης. • Υποστήριξη συγκεκριμένων εργασιών. • π.χ. αναζήτηση • Οργανωσιακά θέματα και άλλοι παράγοντες περιστασιακοί ή μη.

17. Συνιστώσες αξιολόγησης ΧΡΗΣΤΕΣ ΔΕΔΟΜΕΝΑ / ΣΥΛΛΟΓΗ ΤΕΧΝΟΛΟΓΙΑ Χαρακτηριστικά: Αλληλεπίδραση Αλληλεξάρτηση

20. ΚΡΙΤΗΡΙΑ ΑΞΙΟΛΟΓΗΣΗΣ (1) • ΧΡΗΣΤΕΣ ΚΑΙ ΧΡΗΣΕΙΣ Για να μπορέσουμε να προχωρήσουμε στην αξιολόγηση μίας ΨΒ θα πρέπει να απαντήσουμε σε 4 βασικές ερωτήσεις σχετικά με τα χαρακτηριστικά των χρηστών της: • Ποιοι είναι οι χρήστες της ; - εσωτερικοί – εξωτερικοί - ερευνητές - φοιτητές - ……

21. Συνέχεια … 2. Ποια είναι τα θεματικά πεδία που ενδιαφέρουν τους χρήστες της ; 3.Πώς γίνεται η αναζήτηση και τελικά η ανάκτηση των πληροφοριών ; (αφορά τη χρήση) - δομημένα θέματα με τη βοήθεια μηχανών αναζήτησης / δομημένη αναζήτηση - περιπλάνηση στον κατάλογο / αδόμητη αναζήτηση 4. Ποιοι οι σκοποί αλλά και ποιοι οι στόχοι της αναζήτησης ;

22. ΚΡΙΤΗΡΙΑ ΑΞΙΟΛΟΓΗΣΗΣ (2) • ΔΕΔΟΜΕΝΑ / ΣΥΛΛΟΓΗ Ο τομέας που αφορά στην αξιολόγηση του «υλικού» μιας ψηφιακής συλλογής μπορεί να περιγράφει σε 3 άξονες : Α. περιγραφή του περιεχομένου Β. προσδιοριστές ποιότητας και αξιοπιστίας Γ. προσδιοριστές διαχείρισης πληροφορίας και προσβασιμότητας .

23. ΚΡΙΤΗΡΙΑ ΑΞΙΟΛΟΓΗΣΗΣ (3) • ΤΕΧΝΟΛΟΓΙΑ Όσον αφορά τον τομέα της τεχνολογίας οι παράγοντες που πρέπει να ληφθούν υπόψη σε μια διαδικασία αξιολόγησης είναι : 1 .Τεχνολογία του χρήστη : οι δυνατότητες που προσφέρει ένα σύστημα ΨΒ στο χρήστη - εύκολη αναζήτηση - αυτόματη ενημέρωση για νέο υλικό - ….. 2.Πρόσβαση στην πληροφορία - Ανάκτηση πληροφοριών - διασυνδέσεις (κείμενα , μεταδεδομένα)

24. Συνέχεια… 3. Τεχνολογία δομημένων συστημάτων - αρχιτεκτονική συστημάτων - πρωτόκολλα επικοινωνίας και διεπαφής 4. Τεχνολογία κειμένων / παρουσίασης υλικού - δομή κειμένων - παρουσίαση κειμένων - χαρακτηριστικά και δυνατότητες του υλικού

25. Ερωτηματολόγια - μετρήσεις • Όλα όσα περιγράψαμε παραπάνω αποτελούν τη βάση για την εκπόνηση μιας διαδικασίας αξιολόγησης ΨΒ. • Λαμβάνοντας απαντήσεις στα ερωτήματα τα οποία τέθηκαν παραπάνω μπορούμε να έχουμε την περιγραφή και παράλληλα την αξιολόγηση μιας ΨΒ. • Η συγκέντρωση όλων των ερωτήσεων σε απλά ερωτηματολόγια και η διάθεση τους τόσο στο αναγνωστικό κοινό όσο και στο προσωπικό της βιβλιοθήκης είναι ίσως η καλύτερη και η πιο αποτελεσματική μέθοδος για να επιτευχθεί η αξιολόγηση.

26. Πρώτη Προσπάθεια Αξιολόγησης • 2 ερωτηματολόγια (Α + Β) • Ερωτηματολόγιο Α : εξετάζει την πραγματική κατάσταση, το υπαρκτό. • Ερωτηματολόγιο Β : εκφράζει το επιθυμητό, μέσα από τις απαντήσεις προκύπτει ο μελλοντικός σχεδιασμός. • Οι ερωτήσεις βασίζονται στους τομείς που ήδη αναφέρθηκαν (χρήστες / χρήση, δεδομένα / συλλογή, τεχνολογία)

27. Συνέχεια… • Απαντήσεις πολλαπλών επιλογών, ναι / όχι, σχόλια. • Η έρευνα διεξήχθη μέσα από την ηλεκτρονική σελίδα του SZTAKI και στάλθηκε με e-mail στους χρήστες της ΨΒ. (MTA SZTAKI-Computer and Automation Research Institute Hungarian Academy of Sciences)

28. Νέα Προσπάθεια Αξιολόγησης • DL MetaLibrary ( DELOS WG 2.1) http://www.sztaki.hu/delos_wg21/metalib Εκτεταμένη έρευνα όπου κάθε ΨΒ μπορεί να τεθεί σε διαδικασία αξιολόγησης και να συλλέξει απόψεις για την ποιότητά της. Φυσικά οι πληροφορίες και τα αποτελέσματα ανανεώνονται συνεχώς.

37. Αντικείμενο μελέτης… • ECDL 2003 Workshop on Evaluation of Digital Libraries - US National Science Foundation - EU DELOS Network of Excellence for DL • Metrics, Testbeds and Processes • D-Lib Metrics Working Group (MWG)

38. ΒΙΒΛΙΟΓΡΑΦΙΑ/ΔΙΚΤΥΟΓΡΑΦΙΑ: • http://www.is.informatik.uni-duisburg.de/bib/fulltext/ir/fuhr_etal:01.pdf • http://www.dli2.nsf.gov/internationalprojects/working_group_reports/evaluation.html • http://www.sztaki.hu/delos_wg21/metalib/ • http://www.sis.pitt.edu/~ecdl2003/

39. ΕΡΩΤΗΣΕΙΣ – ΑΠΟΡΙΕΣ