Integración y Prueba de Herramientas de Evaluación en un Entorno Hipermedia Adaptativo

1. Integración y Prueba de Herramientas de Evaluación en un Entorno Hipermedia Adaptativo Javier Bravo Agapito and Alvaro Ortigosa {javier.bravo,alvaro.ortigosa}@uam.es SIIE 2006 Universidad Autónoma de Madrid

2. Índice • Introducción • Objetivos • Arquitectura del sistema de evaluación • Simulog: Sistema de Simulación de Usuarios • Arquitectura de Simulog • Motor de simulación • Conclusiones y Trabajo Futuro • Bibliografía SIIE - Octubre 2006

3. Introducción • AHS (Adaptive Hypermedia Systems) utilizan un modelo de usuario para adecuar los contenidos a las preferencias de los usuarios. • AEH (Adaptive Educational Hypermedia) utilizan un modelo de estudiante que en base a unas reglas de adaptación permiten personalizar los contenidos de los cursos ofrecidos. • Existe amplia aceptación de estos sistemas, pero es necesario valorar su efectividad (técnicas de evaluación empírica). • El objetivo de las herramientas de evaluación que se presentan en este congreso es identificar posibles fallos u oportunidades que permitan mejorarlas reglas de adaptación. • Valorar la efectividad de estas herramientas constituye un gran reto. Problemas: • Se necesita un amplio conjunto de logs. • Análisis manual de los logs. SIIE - Octubre 2006

4. Objetivos • Integrar las herramientas de evaluación en la arquitectura de los AHS. • Proporcionar al diseñador del curso una herramienta que le ayude a comprobar si los resultados devueltos por la herramienta de evaluación son correctos. SIIE - Octubre 2006

5. Arquitectura del sistema de evaluación Motor de Adaptación Curso Estudiante 1 Estudiante 2 MdU ¿AD contiene todas las anomalías? Herramienta de Evaluación Estudiante n AD: Anomalías Detectadas Evaluador

6. Contexto de Simulog ¿ AD = AT ? Estudiante 1 AT: Anomalías a testear Motor de Adaptación Simulog Curso Estudiante 2 PE: Perfil del estudiante MdU con anomalías Estudiante 3 MdU ¿AD contiene todas las anomalías? Herramienta de Evaluación Estudiante n AD: Anomalías Detectadas AD: Anomalías Detectadas Evaluador

7. Simulog • Simulación de Usuarios a través de Logs. • Objetivo: validar métodos y herramientas de evaluación (basadas en análisis de logs) de sistemas AEH. • Simulog genera ficheros logs de forma controlada. Estos logs permiten realizar un control de los resultados devueltos por la herramienta de evaluación. SIIE - Octubre 2006

8. Arquitectura de Simulog

9. Conclusiones y Trabajo Futuro • Conclusiones: • Propuesta de una arquitectura de un sistema AEH con la incorporación de herramientas de evaluación empírica. • Presentación de Simulog como una herramienta práctica y económica para evaluar las herramientas de evaluación basadas en análisis de logs. • Trabajo Futuro: • Validar los resultados simulados por la herramienta Simulog. • Mayor desarrollo de la ontología de anomalías. • Diseñar una ontología de descripción de cursos. SIIE - Octubre 2006

10. Fin Preguntas Muchas gracias. SIIE - Octubre 2006

11. Estructura de un fichero log <log-root> <user-model> <dimension name=“ “ value=“ “ /> </user-model> <log-activity> <log activity=“ “ score=“ “ action= “ “ porcent=“ “ timestamp=“ “ /> </log-activity> <log-update> <update name=“ “ value=“ “ /> </log-update> </log-root> SIIE - Octubre 2006