Usability & usefulness in digital libraries

1. Usability & usefulness in digital libraries Summer School Digital Libraries 20.-24. September 2010 Bozen-Bolzano Prof. Dr. René Schneider, Haute Ecole de Gestion, Genf

2. Warum dieses Modul? Aktuelle Trends in der Evaluation kennenlernen 3. Lernen, selbst zu evaluieren oder Evaluationen zu beauftragen 2. Grundkenntnisse vermeiden Fehler in der Konzeption von DL Usability und Usefulness sind essentiell für die Kundenarbeit

3. Ziele Konkrete und aktuelle Forschungsergebnisse präsentieren 3. Modelle und Methoden kennenlernen 2. Das Verhältnis zwischen Usability & Usefulness verstehen Grundkenntnisse über das Themenspektrum erwerben

4. Überblick 4. Forschungsprojekt ACCEPT 3. Usefulness (in Digital Libraries) 2. Usability (in Digital Libraries) 1. Begriffe & Definitionen

5. 1. Begriffe & Definitionen

6. Definition: Digital Libraries "Digital libraries are organized collections of digital information. They combine the structuring and gathering of information, which libraries and archives have always done, with the digital representation that computers have made possible." Practical Digital Libraries. Michael Lesk. Morgan Kaufmann. 1997.

7. Beispiel http://sunsite.berkeley.edu

8. Frage Welcher Prozess steckt hinter diesen Begriffen?

9. Enwicklungsprozess http://www.slideshare.net/UIEpreviews/search-discovery-patterns-a-uie-virtual-seminar

10. Definition: Evaluation Evaluation (Evaluierung) ist in der allgemeinsten Bedeutung die Bewertung von Organisationseinheiten, Prozessen und Ergebnissen dieser Prozesse gemeint. Darunter fällt auch Software bzw. besondere Bestandteile dieser Software, also Benutzerschnittstellen und Inhalte.

11. Evaluation: Prinzipien “Regardless of methodology, evaluation is a social activity.” Hirschman/Mani 2003 http://findability.org/images/uxpeople.png

12. Frage Welche Eigenschaften sollte eine benutzerfreundliche digitale Bibliothek besitzen ?

13. Eigenschaften http://semanticstudios.com/publications/semantics/images/honeycombbig.jpg

14. Barrierefreiheit & Universal Design

15. Evaluation: Motivation • Wie können diese unterschiedlichen Eigenschaften während • der Entwicklung (development) • des Testens (testing) • der Auslieferung (deployment) in objektive Qualitätskriterien gefasst werden? • Zielgruppen / Interessenten • Geldgeber, • Projektmanager, • Entwickler, • Benutzer.

16. Zeitpunkt: immer!

17. Evaluationstypen • Bewertende Evaluation: How good? • Hier wird eine bestimmte gewünschte oder geforderte Systemeigenschaft geprüft. • Analysierende Evaluation: Why bad? • Ziel dieser Evaluation ist es, Hinweise auf Schwachstellen zu erhalten, um direkte Gestaltungsvorschläge zu liefern. • Vergleichende Evaluation: Which is better? • Zwei oder mehr Systeme werden miteinander verglichen

18. Objektive vs. subjektive Methoden(1) objektive Methoden versucht, die subjektiven Einflüsse weitgehend auszuschalten. Objektive Methoden ermitteln harte Daten, beispielsweise präzise Angaben über Bearbeitungszeiten und Fehlerzahlen. Ziel der objektiven Methoden ist die Beobachtung der tatsächlichen Benutzung der Anwendung. Die Beobachtung ohne technische Unterstützung erfolgt mit Hilfe von Beobachtungsprotokollen, die in der Regel in strukturierter Form vorliegen und die zu beobachteten Sachverhalte vorgeben. Beispiel: Logfile-Analyse

19. Objektive vs. subjektive Methoden(2) subjektive Methoden Bei subjektiven Methoden steht die Bewertung der Benutzungsschnittstelle durch den Benutzer im Vordergrund. Es werden hier sogenannte weiche Daten ermittelt, beispielsweise ob die Benutzung des Systems einfach, angenehm und verständlich ist. Vorwiegend werden hier Befragungen der Benutzer eingesetzt. Dabei können die Befragungen per Fragebogen oder als Interview erfolgen. Beispiel: Usability-Test

20. Kriterien für die Wahl einer Methode • Was ist das Ziel der Evaluation? • Geht es um einen abschließenden Test des Gesamtsystems, oder sollen bestimmte Aspekte überprüft werden? • Wer soll die Evaluation durchführen? • Ist es besser, dass ein Expertedas System inspiziert, oder sollten auch Benutzerdie Evaluation durchführen? • Wo soll die Evaluation durchgeführt werden? • Soll sie in einem Labor oder einem Arbeitsplatz durchgeführt werden?

21. Kriterien für die Wahl einer Methode • Welche Informationen werden gesammelt? • Was soll gemessen werden, welche Daten sind von Bedeutung? • Wie groß sind die Ressourcen? • Wieviel Geld und Zeit stehen für die Evaluation zur Verfügung?

22. Vorgehen Für die Durchführung einer gelungenen Evaluation geht es also darum, eine Vielzahl von Parameter a priori abzuschätzen. Dabei kann es hilfreich sein, diese Parameter als Online-Beratungshilfe zur Verfügung zu stellen, um die Entscheidungsfindung zu erleichtern. Evaluierungsplattform CHEVAL der HTW Chur: http://www.cheval-lab.ch/online-beratungskomponente

23. Das « LHC-Problem » Für fast alle Evaluationsmethoden muss beachtet werden, dass ein erheblicher Arbeitsaufwand für die Auswertung entsteht, der Tage, in vielen Fällen Wochen beansprucht.

24. Definition: Usability In design, Usability is the study of the ease with which people can employ a particular tool or other human-made object in order to achieve a particular goal. en.wikipedia.org/wiki/Usability The state or condition of being usable; The degree to which an object, device, software application, etc. is easy to use with no specific training. en.wiktionary.org/wiki/usability

25. Usability: Charakterisika (Nielsen) • Effizienz (efficient to use) • Zufriedenheit (subjective satisfaction) • Erlernbarkeit (easy to learn) • Merkbarkeit (easy to remember) • Fehlertoleranz (few errors)

26. Usability: Methoden • Expertenorientierte Methoden • Cognitive Walkthrough • Heuristische Evaluation • Benutzerorientierte Methoden • Fokusgruppen • Benutzerbefragung • Usability-Test s. Schweibenz/Thissen: Qualität im Web

27. Qualität - Quantität Jakob Nielsen, alertbox, 19 März 2010

28. Mythen zur Software-Evaluierung • Fünf Testteilnehmer reichen aus. • Das Hauptziel eines Usability Tests ist es, Usability Probleme zu finden. • Ein Usability Test wird sehr viel besser, wenn er in einem Usability Lab durchgeführt wird. • Usability Tests sind besser als Experten-Reviews. • Gefundene Probleme sind einfach zu korrigieren. Rolf Molich http://www.slideshare.net/uxhh/5-mythen-ber-usability-testing

29. Definition: Usefulness utility: the quality of being of practical use wordnetweb.princeton.edu/perl/webwn the quality of having utility and especially practical worth or applicability Merriam Webster Online Dictionary

30. Definition: Usefulness “The content and services offered by a system, and how closely they meet user requirements, are considered key aspects of system usefulness.” (Hartmann, 2006; Savolainen, 2008, Buchanan, 2009) “The concept of usefulness defines whether DLs constitute valuable tools for the completion of users’ tasks. Usefulness answers the questions if DLs support users’ information needs and work completion.“ (Tsakonas et Papatheodorou, 2008, p. 1237)

31. 2. / 3. Usability & Usefulness in DL

32. Frage Wie verhalten sich Usability & Usefulness zueinander?

33. Usability & Usefulness Etwas kann leicht zu bedienen, aber völlig nutzlos sein: Usability ist unabhängig von Usefulness. Hingegen kann nicht nützlich sein, was schwer zu bedienen ist: Usefulness ist abhängig von Usability.

34. Usability & Usefulness in DL Bei Usability (in digitalen Bibliotheken) geht es um die Schnittstelle zum System, genauer um die Beziehung zwischen System und Benutzer. Bei der Usefulness (in digitalen Bibliotheken) geht es um den Inhalt, genauer um die Beziehung zwischen Inhalt und Benutzer.

35. The Elements of User Experience http://www.jjg.net/elements/pdf/elements.pdf

37. Usability & Usefulness In beiden Fällen geht es bei der Evaluation der Usability und der Usefulness um die Feststellung qualitativerMerkmale und deren Beurteilung durch den Benutzer.

38. Interaction triptych framework http://www.is.informatik.uni-duisburg.de/wiki/index.php/JPA_2_-_WP7

39. Frage Welche Merkmale kennzeichnen die Relationen zwischen Benutzer, Inhalt und System in einer digitalen Bibliothek?

40. Interaction triptych framework Tsakonas, Papatheodorou, 2008, Exploring usefulness and usability in the evaluation of open access digital libraries

42. Usefulness in DL: Ausgangspunkt Die Evaluation der Usefulness ist für Bibliotheken von besonderem Interesse, da diese Evaluation häufig intern (in house), d.h. durch den Bibliothekar geschehen kann. Allerdings existieren im Gegensatz zur Evaluation der Usability wenige ausgereifte Methoden, sondern eher eine Vielzahl von Modellen zur Bestimmung der Nützlichkeit.

43. Usefulness in DL: Problematik • Der Grundscheint in einemprinzipiellenAntagonismuszwischen • den Bibliothekaren, die dieSystemeerstellen und betreuen, • sowie den Nutzern, die dieInhaltekonsultieren • zuliegen. • Bibliothekare und NutzerhabenhäufigunterschiedlicheSichtweisenbzgl. der Nützlichkeiteiner Ressource.

44. Usefulness in DL: P3 Modell Dillon & Morris, 1999, Power, Perception and Performance: From Usability Engineering to Technology Acceptance with the P3 Model of User Response

45. Usefulness: Modelle Fuhr et al., 2001, Digital libraries: a generic classification scheme

47. Usefulness in DL: Evaluationskriterien Fuhr et al., 2001, S. 193

49. Usefulness in DL: Voraussetzungen Khani-Zabihi, Ghinea & Chen, 2006, „Digital libraries: what do users want?“

50. Usefulness in DL: Verbesserungsvorschläge Khani-Zabihi, Ghinea & Chen, 2006, „Digital libraries: what do users want?“