BIGT Banco de metaItems para la Generación de Test

1. BIGTBanco de metaItems para la Generación de Test Juan Carlos Rodríguez del Pino Margarita Díaz Roca José Daniel González Domínguez Zenón Hernández Figueroa Dpto. de Informática y Sistemas Universidad de Las Palmas de Gran Canaria

2. Ponencia • Introducción • Descripción del sistema • El banco de metaitems • Aplicación desarrollada • Conclusiones y perspectivas

3. Introducción (1/2) • La evaluación forma parte esencial del proceso de aprendizaje • Los test destacan por su objetividad y porque son susceptibles de un alto grado de informatización • Se requiere un banco de items • Seguridad/fiabilidad de los test • Generación de items

4. Introducción (2/2) • Propuesta BIGT • Desarrollo de un sistema de generación y evaluación de test • Claridad y sencillez como objetivo • Basado en metaitems capaces de generar numerosos items multichoice

5. Descripción del sistema (1/7) • Los Metaítem sirve de generatriz de items multichoice y están formados por: • Un enunciado • Una pregunta, y asociado, un conjunto de respuesta correctas a la pregunta • Un conjunto de respuestas incorrectas y, opcionalmente, una pregunta asociada • La segunda pregunta debe ser tal que los conjuntos de respuestas correctas e incorrectas se intercambian

6. Descripción del sistema (2/7) • Las preguntas y los conjuntos de respuestas correctas e incorrectas deben ser coherentes • Pueden existir relaciones entre respuestas correctas e incorrectas que las hagan incompatibles para aparecer juntas en un mismo ítem. • El banco está organizado en temas que agrupan metaitems relacionados.

7. Descripción del sistema (3/7) Formato de representación • Se usa XML (eXtensible Markup Language) como medio de representación • Se ha definido un DTD (Document Type Definition) • XML posibilita que el material que se elabore sea fácilmente trasladable a otros sistemas • Sencillez y claridad • Permite generar con facilidad el banco de metaitems • Mejorar su comprensibilidad y legibilidad por un lector humano.

8. Descripción del sistema (4/7) DTD <!ELEMENTbancoDeMetaitems (tema*) > <!ATTLISTbancoDeMetaitems título CDATA#REQUIRED> <!ELEMENTtema (metaitem*) > <!ATTLISTtema título CDATA#REQUIRED> <!ELEMENTmetaitem (enunciado?, preguntaRespuestasCorrectas, preguntaRespuestasIncorrectas)> <!ATTLISTmetaitem identificador ID#REQUIRED> <!ELEMENTpreguntaRespuestasCorrectas (pregunta,respuesta+)> <!ELEMENTpreguntaRespuestasIncorrectas (pregunta?,respuesta+)> <!ELEMENTenunciado (#PCDATA|b|i|pre|br)*> <!ELEMENTpregunta (#PCDATA|b|i|pre|br)*> <!ELEMENTrespuesta (#PCDATA|b|i|pre|br)*> <!ATTLISTrespuesta idIncompatibilidad CDATA#IMPLIED> <!ELEMENTb (#PCDATA|br|i)*> <!ELEMENTi (#PCDATA|br|b)*> <!ELEMENTpre (#PCDATA|br|b|i)*> <!ELEMENTbrEMPTY>

9. Descripción del sistema (5/7)

10. Descripción del sistema (6/7) • El DTD propuesto es sencillo (8 etiquetas) • El estándar QTI 2.1 (Question & Test Interoperability) desarrollado por el IMS (Global Learning Consortium) tiene más de 100 etiquetas • Como mucho se permite variar el orden del las respuestas • La sencillez no supone grandes restricciones en cuanto a las posibilidades del banco • El esquema es válido para expresar items clásicos

11. Descripción del sistema (7/7) <?xmlversion="1.0" encoding="iso-8859-1"?> <!DOCTYPEbancoDeMetaitems SYSTEM "bigt.dtd"> <bancoDeMetaitemstítulo="Lenguaje de programación C"> <tematítulo="Léxico"> <metaitemidentificador="tb_hexadecimal"> <enunciado> Es posible escribir literales de un entero en hexadecimal. </enunciado> <preguntaRespuestasCorrectas> <pregunta>¿Indique cuál es el formato correcto?</pregunta> <respuesta>comienzan por 0x ó por 0X</respuesta> </preguntaRespuestasCorrectas> <preguntaRespuestasIncorrectas> <respuesta>comienzan por HEX</respuesta> <respuesta>comienzan por x0 ó por X0</respuesta> <respuesta>finalizan con x0 ó por X0</respuesta> </preguntaRespuestasIncorrectas> </metaitem> </tema> </bancoDeMetaitems>

12. Construcción del banco de metaitems (1/3) • Se debe elaborar una lista de objetivos detallados y seguirla apoyándose en el material didáctico • Cada tema debe quedar reflejado en el documento XML • Cada apartado o concepto del tema debe reflejarse en un metaítem

13. Construcción del banco de metaitems (2/3) • El enunciado del metaítem debe establecer el concepto sobre el que versa el ítem • El nivel de abstracción, tanto del enunciado como de la pregunta, debe ser tal que permita varias respuestas correctas • El conjunto de respuestas incorrectas deben ser alteraciones verosímiles de las respuestas correctas

14. Construcción del banco de metaitems (3/3) <metaitemidentificador="id3"> <enunciado>Laspalabras reservadas no se pueden usar como dentificadores.</enunciado> <preguntaRespuestasCorrectas> <pregunta> ¿Cuál de los siguientes términos <b>es una palabra reservada</b> en C?</pregunta> <respuesta> auto </respuesta> <respuesta> extern </respuesta> <respuesta> short </respuesta> <respuesta> signed </respuesta> <respuesta> static </respuesta> </preguntaRespuestasCorrectas> <preguntaRespuestasIncorrectas> <pregunta> ¿Cuál de los siguientes términos <b>no es una palabra reservada</b> en C?</pregunta> <respuesta> import </respuesta> <respuesta> dynamic </respuesta> <respuesta> repeat </respuesta> <respuesta> fault </respuesta> <respuesta> until </respuesta> <respuesta> with </respuesta> <respuesta> record </respuesta> </preguntaRespuestasIncorrectas> </metaitem>

15. Variabilidad Caso de 4 respuestas por pregunta nrc: Número de respuestas correctas nre: Número de respuestas incorrectas Si nrc=5 y nre=7 entonces nird=12 nid=245 y nidco=5880

16. Aplicación para la generación de test (1/4) • Como entrada tiene bancos de metaitems en XML • Genera test autoevaluable en HTML+JavaScript • Medio de autoevaluación para los alumnos • Genera tests en RTF para examen escrito • Permite personalizarlo antes de imprimirlo • Suministra plantilla de respuestas correctas • Facilidad de corrección

17. Aplicación para la generación de test (2/4)

18. Aplicación para la generación de test (3/4)

19. Aplicación para la generación de test (4/4)

20. Experiencia de uso • Buena acogida de los test autoevaluables • Facilidad en la elaboración del examen escrito • 4 versiones distintas para evitar copias • Corrección manual de 2 test por minuto • Para los alumnos • prueba sin subjetividad en la corrección • Revisión de exámenes sólo para comprobar errores, sin polémica

21. Conclusiones y perspectivas • Se ha desarrolla un sistema de generación y evaluación de test • Usabilidad del banco sin perdida de fiabilidad • Formato claro y sencillo • No cerrado • Coste de elaboración de material abordable • Usable en autoevaluación y exámenes escritos • Perspectivas • Desarrollar una interfaz amigable en la elaboración de los bancos • Poder usar ecuaciones, gráficos, etc. en enunciados y respuestas • Exportación de datos a otros formatos (GIF, QTI, moodle) • Integración en sistemas de apoyo a la docencia • A más largo plazo, el calibrado automático de los items

22. Fin exposición