Evaluación y Tecnología: Un matrimonio de conveniencia

1. Evaluación y Tecnología: Un matrimonio de conveniencia Gregorio Rodríguez Gómez (UCA) Eduardo García Jiménez (US) Grupo EVALfor

2. Estructura de la conferencia • Evaluar utilizando la Tecnología 2. ¿Innovación? ¿Modernización? 3. Tareas de evaluación sofisticadas y evaluación 2.0 4. El reto de la retroinformación 5. Prospectiva: ¿qué deberíamos exigir a la Tecnología?

3. 1. Evaluar utilizando la Tecnología Tecnologías que aumentan nuestra fuerza o resistencia Tecnologías que amplían nuestros sentidos TECNOLOGÍAS INTELECTUALES Amplían/apoyan nuestra capacidad mental Tecnologías que modifican la naturaleza Carr, N. (2011) . Superficiales. ¿Qué está haciendo Internet con nuestras mentes?. Madrid: Taurus.

4. 1. Evaluar utilizando la Tecnología TECNOLOGÍA EVALUACIÓN

5. 1. Evaluar utilizando la Tecnología

6. 1. Evaluar utilizando la Tecnología Evaluación de competencias en contextos de aprendizaje mixto (blended-learning) Ref. EA2007-0099 Evaluación de competencias con Herramientas de Interacción Dialógica Asíncrona (Foros, blogs y wikis) Ref. EA2008-0237 Reingeniería de la e-Evaluación, tecnologías y desarrollo de competencias en profesores y estudiantes universitarios – Ref. Proyecto de Excelencia P08-SEJ-03502 INnovación en la EVALuación de COmpetencias: Diseño y desarrollo de procedimientos e instrumentos para la evaluación de competencias en entornos de aprendizaje mixtos/virtuales con la participación de los estudiantes en los títulos de grado Ref. EA2010-0052

7. 2. ¿Innovación? ¿Modernización?

8. 2. ¿Innovación? ¿Modernización?

9. 2. ¿Innovación? ¿Modernización? Delimitando la innovación Conceptualización Experiencia + innovación = creación de valor José Antonio Pérez-Nievas Heredero. Presidente de Iberfomento Capacidad innovadora de una Universidad INNOVACIÓN = Entorno x (Creatividad x Riesgo Asumido) Bajo control de la organización Fuente: Club de excelencia en gestión

10. 2. ¿Innovación? ¿Modernización?

11. 2. ¿Innovación? ¿Modernización? Retos

12. 3. Tareas de evaluación sofisticadas y evaluación 2.0 • La evaluación en un entorno virtual se ha mantenido fiel a su origen: • Las prácticas de evaluación al uso en la enseñanza presencial. • La evaluación basada en el uso de ordenadores. (ComputerBasedAssessment; ComputerBasedAssessment; PLATO)

13. 3. Tareas de evaluación sofisticadas y evaluación 2.0 • El cambio en los fundamentos teóricos (TRI a TCT) tampoco ha modificado en esencia las tareas de evaluación. Los TAIs (CAT) continúan la tradición de la taxonomía de Bloom al construir las tareas de evaluación. • TAIs en Educación Secundaria, CC. Sociales y Jurídicas, elaborados a partir de MICROCAT (García, Gil y Rodríguez, 1999); • SIETTE (Guzman y Conejo, 2002)

14. 3. Tareas de evaluación sofisticadas y evaluación 2.0 • La aparición de Internet no ha cambiado sustancialmente el tipo de tareas de evaluación planteadas al estudiante. • QUIZIT, WebCTahora Blackboard,  ASSYST. Moodle o PILOT permite que los estudiantes respondan a preguntas y reciban retroinformación desde cualquier dispositivo conectado a Internet en cualquier momento.   

15. 3. Tareas de evaluación sofisticadas y evaluación 2.0 • Los estudiantes contestan oralmente a una pregunta, completan matrices de información, emparejen preguntas y respuestas, arrastran y sueltan objetos, ponen etiquetas, etc.. • Feedback automatizado y cerrado: • “a la respuesta errónea A le corresponde el feedback A’ “ La evaluación han modernizado la forma de preguntar y dar retroinformación a los estudiantes pero no el enfoque de las preguntas ni de la retroalimentación.  

16. 3. Tareas de evaluación sofisticadas y evaluación 2.0 • Bennett (1998) una nueva generación de evaluación: • Habría que cambiar la naturaleza de las tareas y de las preguntas. • El cambio generacional debería ser capaz de integrar las tareas de evaluación y el aprendizaje: • Con tutores inteligentes, micromundos y simulaciones. • Contenido altamente dinámico y adaptable considerando los intereses particulares, las fortalezas y debilidades de los estudiantes.    ¡¡ PERO LAS INNOVACIONES SIGUEN SIENDO ESCASAS !!

17. 3. Tareas de evaluación sofisticadas y evaluación 2.0 El avance de las TICscomo respuesta… • Automatización del proceso de evaluación: • Lei He (2006): evalúa los resultados de los estudiantes y las actividades de enseñanza de los profesores en la vida real, pero sigue apoyándose en la taxonomía de Bloom. • e-Examiner (Guelt, 2007). permite generar automáticamente pruebas proporcionando retroinformación automática al estudiante, pero sigue utilizando preguntas semicerradas y de texto libre (hasta 20 palabras).

18. 3. Tareas de evaluación sofisticadas y evaluación 2.0 • Tareas sofisticadas ¿una alternativa?: • material de estímulo rico en medios (gráficos, sonido, vídeo o animación). • requiere al estudiante que interactúe en una variedad de formas con dicho material. • Cada tarea debe hacer referencia a varios temas o tópicos centrales en el aprendizaje del estudiante. • Tripartite Interactive Assessment Development System (TRIADs). • pruebas ricas en medios que permiten al estudiante interactuar con las diferentes  informaciones presentes en un ítem (textos, imágenes, sonidos) pero finalmente se trata de elegir una respuesta entre varias opciones o para completarla. • Retroalimentación inmediata y de una única fuente: el profesor.

19. 3. Tareas de evaluación sofisticadas y evaluación 2.0 Tripartite Interactive Assessment Development system (TRIADs) Mackenzie, 1999

20. 3. Tareas de evaluación sofisticadas y evaluación 2.0 Tripartite Interactive Assessment Development system (TRIADs) Mackenzie, 1999

21. 3. Tareas de evaluación sofisticadas y evaluación 2.0 • Integración de evaluaciones (University of Technology, Sidney): • Tareas integradoras: los estudiantes reúnen y reprocesan los diferentes trabajos que han llevado a cabo a lo largo de un curso, después reflexionan sobre ellos y los analizan, de ese modo modifica tanto su interpretación de las exigencias de cada tarea como su valoración del alcance de las mismas. • Examen completo: Se da al estudiante un caso de estudio dos semanas antes del examen; pueden crearse grupos de estudio para analizarlo. En el examen de conjunto se incluyen diferentes pruebas a través de distintas materias, que se apoyan en preguntas cortas o de elección múltiple, y requieren conocimiento aplicado. Maastricht University (Segers, 1997).

22. 3. Tareas de evaluación sofisticadas y evaluación 2.0 • Assessment 2.0 (Elliot, 2008): • Desarrollo de tareas de evaluación en un entorno Web 2.0: • Apoyada en applets, simulaciones u hojas de cálculo con macros, reorientación de objetos dentro de una imagen o un gráfico, empleo de imágenes de video o 3D. • Acontecida de forma natural: ya existente no generada ad hoc para realizar la evaluación. • Multimedia: existente en formato texto, audio o video. • Digital: correo electrónico, mensajería instantánea, blogs, wiki y grabaciones en audio y video. • Distribuida: como la que puede obtenerse a través de varias fuentes, tales como sitios web, blogs, inbox, iPod.

23. 3. Tareas de evaluación sofisticadas y evaluación 2.0 • Assessment 2.0 (Elliot, 2008): • Auténtica. • Personalizada. • Negociada. • Socialmente construida. • Reconoce las habilidades previas. • Orientada a problemas. • Elaboradas de forma colaborativa. • Autoevaluación y evaluación entre iguales.

24. 3. Tareas de evaluación sofisticadas y evaluación 2.0 • Assessment 2.0 (Elliot, 2008): Inconvenientes • Tecnología sofisticada para desarrollar una evaluación que también es sofisticada y que tiene aplicaciones igualmente sofisticadas. • Se necesita que los profesores tengan las habilidades necesarias para construir una evaluación 2.0 y puedan dedicar el tiempo que se necesita, detrayéndolo de otras actividades como por ejemplo la investigación. • ¿Es necesaria tanta sofisticación? ¿Es un problema tecnológico o de enfoque de la evaluación?

25. 3. Tareas de evaluación sofisticadas y evaluación 2.0 • ¿SE REQUIEREN TAREAS TAN SOFISTICADAS? • LA INNOVACIÓN EN LAS TAREAS DE EVALUACIÓN, ¿ES UN PROBLEMA TECNOLÓGICO O UN PROBLEMA DE ENFOQUE?

26. 4. El reto de la retroinformación • La retroinformación al uso en la enseñanza virtual no es muy diferente a la que se lleva a cabo en la enseñanza presencial, como parte de una evaluación de tipo formativa. • La investigación sobre retroinformación se ha centrado fundamentalmente en hacer más eficaz la labor del profesor que sigue a la evaluación de los estudiantes.

27. 4. El reto de la retroinformación • Shute(2007: 30-33) ha sistematizado los resultados de las investigaciones sobre retroalimentación en cuatro categorías: “lo que puede hacerse”, “lo que puede evitarse”, “oportunidad de la retroinformación” y “características de los estudiantes”.

28. 4. El reto de la retroinformación • En el caso particular de la enseñanza asistida por ordenador, la investigación sobre retroinformación se ha apoyado igualmente en el concepto de evaluación formativa tratando de identificar el mejor modo de que el profesor apoye el aprendizaje del estudiante, una vez realizada la evaluación. • Mason y Bruning (2001), un esquema para la toma de decisiones sobre el tipo de retroinformación más adecuado en una enseñanza asistida por ordenador.

29. 4. El reto de la retroinformación

30. 4. El reto de la retroinformación • El profesor como la única fuente de retroinformación; tiene el monopolio de la retroinformación. • Se priva a otros agentes –los compañeros de clase y el propio estudiante, entre otros- de participar en ese proceso. • Buena parte del potencial de Internet, y especialmente de la Web 2.0, quedarían desaprovechados. • La evaluación formativa es una una rémora en el avance de la evaluación al desviar el foco de atención hacia el profesor y la enseñanza.

31. 4. El reto de la retroinformación • Este tipo de retroinformación centrada en la enseñanza y monopolizada por el profesor tiene además otro consecuencia fundamental: • su utilidad es una función de la capacidad del estudiante para: • a) decodificar el mensaje (feedback) del profesor; • b) internalizar dicho mensaje; y, • c) utilizarlo para confirmar su respuesta, hacer cambios en ella o simplemente reemplazarla.

32. 4. El reto de la retroinformación Nicol y Macfarlane-Dick (2006), modelo de aprendizaje autorregulado, 7 principios básicos para una buena retroinformación: • Clarificar qué se entiende por un trabajo bien hecho. • Facilitar la reflexión y la autoevaluación en el aprendizaje. • Proporcionar información significativa en la retroinformación que ayude a los estudiantes a autocorregirse. • Promover el diálogo profesor-estudiantes y compañeros. • Estimular la autoestima y la motivación positiva. • Crear las oportunidades para que se pueda actuar sobre la retroinformación. • Utilizar la retroinformación de los estudiantes para mejorar la enseñanza.

33. 4. El reto de la retroinformación • Algunas experiencias del JISC ¿frustrantes? Open University, en su curso a distancia “Explorar la ciencia”, basando en iMACs: • Diferentes tipos de preguntas abiertas o cerradas, texto libre (hasta 20 palabras). • Retroinformación diferenciada en función de cada uno de los intentos que realiza el estudiante para responder de forma correcta a una pregunta (a más intentos más retroinformación). • Si es necesario remiten al estudiante a los materiales fundamentales del curso • Se puntúan las respuestas correctas en función del número de intentos necesarios para lograrlas.

34. 4. El reto de la retroinformación • Algunas experiencias del JISC ¿frustrantes? Open University, en su curso a distancia “Explorar la ciencia” • Amedio camino entre la retroinformación proporcionada en los modelos de evaluación apoyados en el uso del ordenador y la autorregulación del aprendizaje. • Evaluación que prima –ciertamente ya no es un monopolio- el papel de una retroinformación externa en detrimento de la interna o de la que puedan proporcionar los propios compañeros.

35. 4. El reto de la retroinformación • Algunas experiencias del JISC ¿frustrantes? Universidad de Leicester en un Máster sobre Psicología Ocupacional. • Tecnología en la que se apoyó la retroinformación: archivos de audio (podcasts) grabados por el profesor/ tutor distribuidos vía correo electrónico/ Blackboardy descargados a través de un sistema de redifusión (RSS) en MP3 en su teléfono móvil, ipad u ordenador. • Estudiantes: rompen su aislamiento (humanizan), pueden recibir la retroinformación en cualquier momento y lugar. • Profesores: adecuada y eficiente, especialmente en aquellos casos en los precisan dar al estudiante una retroinformación detallada como en los trabajos finales de máster

36. 4. El reto de la retroinformación • Algunas experiencias del JISC ¿frustrantes? Universidad de Leicester en un Máster sobre Psicología Ocupacional. • El enfoque sigue considerando al profesor como fuente única de dicha retroinformación y, desde luego, esta lejos de favorecer procesos de autorregulación del aprendizaje del estudiante.

37. 4. El reto de la retroinformación • ¿Podemos esperar algo más? Grupo Evalfor en diferentes enseñanzas universitarias, ámbito de las Ciencias de la Salud: • Estudiantes de Enfermería han llevado un proceso de evaluación que comporta autoevaluación, evaluación entre compañeros y evaluación del profesor. • En una metodología de enseñanza por pequeños grupos, los estudiantes tenían que elaborar un genograma y subirlo a un entorno de aprendizaje virtual Moodle. • Posteriormente, los estudiantes de cada grupo tenían acceso a los genogramas elaborados por los demás grupos, los evaluaban utilizando una rúbrica común elaborada ad hoc y podían proporcionar retroinformación a sus compañeros.

38. 4. El reto de la retroinformación • ¿Podemos esperar algo más? Grupo Evalfor en diferentes enseñanzas universitarias, ámbito de las Ciencias de la Salud: Limitaciones/Posibilidades: • Una mayor formación específica sobre evaluación del aprendizaje. • Proceso dialógico: Criterios de evaluación y estándares de ejecución son objeto de revisión por profesores y alumnos. • Un entrenamiento en directrices que articulan la retroinformación hubieran contribuido a un mayor aprovechamiento de esta última por parte de los estudiantes acrecentando su capacidad para autorregular el aprendizaje. • Proceso dialógico: Ejemplificar y compartir modelos de retroinformación. • En el futuro, sería necesario profundizar en la relación entre dicha formación y entrenamiento y la mejora de los procesos de autorregulación.

39. 5. Prospectiva: ¿qué deberíamos exigir a la Tecnología

45. EVALUACIÓN TECNOLOGÍA

46. Let us envisage new forms of e-assessment and then build and evaluate them. Imaginemosnuevasformas de e-evaluación y despuésconstruyámoslas y evaluémoslas. (Whitelock, 2009)

48. ¡¡Muchas gracias!!