Métodos de evaluación

1. Métodos de evaluación

2. Evaluación de los diseños • Tipos de evaluaciones • Estrategias de campo • Estudio de los sistemas con tareas y en condiciones reales • Estrategias experimentales • Experimentos desarrollados en laboratorios • Estrategias de inspección • Verificación del cumplimiento de directivas, mediciones, etc. • Estrategias teóricas • Evaluaciones con base teórica

3. Métodos de Inspección de usabilidad • Inspección de la interfaz utilizando métodos heurísticos (no experimentos) • Evaluación Heurística: • Un conjunto pequeño de evaluadores examina la interfaz, y verifica si satisface los principios reconocidos de usabilidad • Análisis de Acciones • Análisis cuantitativo de las acciones, para predecir el tiempo requerido para determinadas tareas

4. Evaluación heurística • Chequeo sistemático del diseño contra principios de usabilidad reconocidos (“heurísticas”) • Realizado por un conjunto pequeño de evaluadores • Algunas heurísticas: • Diseño minimalista (“less is more”) • Utilizar el lenguaje del usuario • Reconocer, no recordar • Consistencia • Proveer feedback • Indicar claramente las salidas • Proveer aceleradores • Buenos mensajes de error • Prevenir los errores • Ayudas y documentaciones

5. Evaluación heurística • Realización de una evaluación heurística • El diseño puede ser una descripción textual, un bosquejo, prototipo o un sistema finalizado • Pueden proveerse evaluadores con conocimiento específico del dominio • Cada evaluador debiera trabajar individualmente • La interfaz es analizada en 2 pasos • 1. Centrada en el flujo general • 2. Análisis de los elementos individuales del diálogo • Las evaluaciones individuales posteriormente deben ser compuestas

6. Evaluación heurística • Cuántos problemas son identificados? • Las evaluaciones individuales encuentran relativamente pocos problemas

7. Evaluación Heurística • Componer las evaluaciones individuales • La composición de las evaluaciones individuales produce mejores resultados

8. Evaluación heurística

9. Evaluación heurística • La experiencia de los evaluadores influencia la cantidad de problemas hallados • Tipos de evaluadores • Novatos (sin conocimiento de usabilidad ni del dominio) • Expertos en usabilidad, pero no del dominio • Especialistas en usabilidad y con conocimiento del dominio • Hallar todos los errores requiere combinar evaluadores de distintos tipos

10. Evaluación heurística • Ventajas y desventajas • económico • intuitivo • utilizable en las primeras fases del proceso de desarrollo • halla muchos problemas • halla tanto problemas mayores como menores • puede ignorar problemas específicos del dominio

11. Análisis de las acciones • Análisis cuantitativo de las acciones para predecir el tiempo requerido por un usuario experimentado para completar las tareas • Basado en las estimaciones de tiempos para acciones típicas • Focalizado en la performance de usuarios experimentados(eficiencia) • Niveles de detalle • Formal (detallado) • Informal

12. Análisis de las acciones • Análisis detallado • “Análisis a nivel de tecla” • Basado en modelo GOMS (“Goals, Operators, Methods, Selection”) • Muy detallado • Predicción del tiempo de las tareas 20% • Muy tedioso de calcular • Subdivide las tareas jerárquicamente en subtareas • Utiliza tiempos promedios (tabulados) para los tiempos de cada acción • Utilizado para optimizar la performance de sistemas de alto uso

13. Análisis de las acciones

14. Análisis de las acciones • Análisis informal • Alto nivel de detalle • Lista las acciones requeridas para completar una tarea, pero con menos detalle que el método detallado • “Seleccionar ‘Save’ en el menú” • “Editar el archivo ‘XXX’ “ • “Confirmar presionando ‘Ok’ “ • En este nivel de análisis, cada acción toma al menos 2 a 3 segundos • Permite una estimación rápida de la performance para una tarea particular

15. Tests de Usabilidad • Tests empíricos del diseño de la interfaz con usuarios representativos • Tests con Lápiz y Papel • Se muestra a los usuarios aspectos de la interfaz “en papel”, respondiendo a determinadas preguntas • “Thinking Aloud” • Los usuarios expresan sus pensamientos en voz alta, mientras realizan tareas típicas • Experimentos formales: • Experimentos controlados y análisis estadísticos • Técnicas de consulta • Entrevistas y cuestionarios

16. Test en Lápiz y Papel • Se muestra a los usuarios aspectos de la interfaz “en papel” • Los usuarios responden a determinadas cuestiones • El administrador del test toma notas, las colecta y construye tablas • Ej. presentar bosquejos de una página Web, y preguntar a los usuarios que esperan encontrar bajo iconos particulares • Rápido, efectivo y económico

17. Test en Lápiz y Papel • Ejemplo: organización de menúes • “En forma similar a un procesador de texto actual, escriba el nombre de la opción del menú bajo la cual esperaría encontrar la tarea deseada” File Edit View Insert Format Utilities Macro Window 1. Search for a word: __________ 2. Create a header: __________ 3. Create an index entry: __________ 4. Set up your document preferences: __________ 5. Repeat an annotation: __________ 6. Paste another file into your current file: __________ 7. Use italics: _______________ 8. Show summary information about your document: __________ 9. Switch to another document: __________ 10. Show all annotations in the document: __________ 11. Repaginate the document: __________ 12. Set up your printer: __________

18. “Thinking Aloud” • Se les solicita a los usuarios pensar en voz alta, mientras realizan sus tareas • Se obtiene una alta cantidad de comentarios • Ventajas y desventajas • Encuentra muchos problemas de usabilidad • Encuentra las causas de los problemas • Requiere un número pequeño de usuarios (3 - 5) • Utilizable en las primeras fases del proceso de desarrollo • Requiere poca experiencia del administrador de la evaluación • El tener que pensar en voz alta puede influenciar la forma de trabajo del usuario • Puede no proveer datos acerca de la performance

19. Experimentos formales • Experimentos controlados con usuarios • Análisis estadísticos • Análisis de performance • Proveen mediciones acerca de la performance, pero requieren muchos usuarios para estadísticas precisas (16-20)

20. Medición de la performance • Recolección de datos cuantitativos y objetivos: • Tiempo para completar algunas tareas específicas • Número de tareas completadas en un tiempo dado • Número de errores • Tiempo de recuperación de errores • Número de comandos y características utilizadas • Número de características que el usuario puede reconocer luego del test • Frecuencia de uso de la ayuda del sistema • Tiempo dedicado a leer la ayuda

21. Análisis Estadístico • Existe alguna diferencia estadística significante entre los sistemas A y B? • Test de Hipótesis • Qué tamaño tiene esa diferencia? • Media • Que precisión tienen los resultados? • Desviación estándar, certeza • Ej. • “Tenemos un 95% de certeza que el tiempo para realizar la tarea X es 4.5 minutos”

22. Experimentos formales • Ventajas y desventajas • Permite la comparación de diseños alternativos • Recolecta datos cuantitativos y objetivos • Necesita un número significativo de usuarios (16-20) • Utilizable sólo en las etapas finales del proceso de desarrollo • Requiere experiencia del administrador • No proveen información acerca de las razones de un hecho

23. Técnicas de Consulta • Preguntas a los usuarios, luego de haber utilizado el sistema para realizar tareas representativas • Entrevistas • Cuestionarios • Provee datos subjetivos acerca de la visión del usuario del sistema • Preferencias, impresiones, actitudes • Simple, económico, y suplemento útil al “thinking aloud” o experimentos formales

24. Entrevistas • Permitir al usuario expresar primeramente sus pensamientos • Comenzar con aspectos de alto nivel, y luego con más detallados • Aceptar preguntas de cualquier otro observador • Consulte cualquier aspecto que surja de las notas de la entrevista • Flexible, el administrador puede preguntar por cualquier aspecto de interés • Consume mucho tiempo • Difícil de analizar y comparar

25. Cuestionarios • Formulario escrito, estructurado, completado por el usuario • Datos cualitativos y cuantitativos • Cuestionarios electrónicos (ej. GVU Web User Survey). • puede alcanzar a muchos individuos (por correo, mail, Web) • fácil de repetir • consume menos tiempo que las entrevistas • fácil de analizar y comparar • menos flexible que las entrevistas

26. Técnicas de consulta • Ventajas y desventajas • recolección de datos acerca de la visión subjetiva del usuario del sistema • datos cuantitativos y cualitativos • información suplementaria útil • simple • económico • los datos subjetivos pueden no ser muy confiables

27. Comparación de técnicas de evaluación

28. Evaluaciones en cada etapa • Recolección de información • Entrevistas y cuestionarios, observaciones lugar de trabajo • Diseño conceptual • Entrevistas, evaluación heurística • Diseño de la funcionalidad y la interfaz • Evaluación heurística, test de usabilidad, evaluaciones teóricas • Implementación del prototipo • Test de usabilidad, evaluación heurística • Implementación del sistema final • Test de usabilidad • Evolución y ampliación del sistema • Observaciones lugar de trabajo, entrevistas y cuestionarios, experimentos de campo