IX Congreso de Metodología de Investigación en Ciencias Sociales y de la Salud

1. IX Congreso de Metodología de Investigación en Ciencias Sociales y de la Salud Granada, septiembre de 2005 Evaluación Entre Iguales en el Espacio Europeo de Educación Superior: Dinámicas del poder y el género Mª Angeles Rebollo y Rafael García Universidad de Sevilla

2. Marco teórico y contextos de referencia Proyectos e Iniciativas Antecedentes científicos Contexto Institucional Espacio Europeo (EEES) ICE 2002 UCUA 2003 SIC/US Teoría Sociocultural • Objetivos formativos • Modelos Pedagógicos • Metodología y procedimientos de evaluación • Modelos pedagógicos ECTS. • - Plan de Actividades • - Evaluación de • Competencias • Cambio de roles • Enseñanza Recíproca • Evaluación entre iguales Peer evaluation (Leathwood, 2005; Lagan, 2005; Falchicov, 2005) Assessment and Evaluation in Higher Education

3. 1. Elaboración de indicadores de evaluación de competencias 3. Experimentación de sistemas de evaluación en el aula Objetivos del estudio 2. Construcción y validación de instrumentos 4. Identificación de factores intervinientes en la evaluación

4. Material y Método

5. Instrumentación, organización, resultados y valoraciones respecto de las experiencias desarrolladas en la APLICACIÓN 1

6. Escala de estimación de competencias sobre “Documentación y Comunicación Científicas” Elaborada por Mª Angeles Rebollo para la asignatura Métodos de Investigación en Educación

7. Dimensiones didácticas del instrumento (1/2) Escala de estimación: 12 ítems Competencias Específicas Factor 1 DOMINIO Factor 2 COMUNICACIÓN Factor 3 RELEVANCIA Factor 4 DISEÑO 1 2 3 4 5 6 7 8 9 10 11 12

8. Dimensiones didácticas del instrumento (2/2) Escala de estimación: 12 ítems Competencias Genéricas Factor A COMPETENCIA CIENTÍFICA Factor B CAPACIDAD FORMATIVA 1 2 3 4 5 6 7 8 9 10 11 12

9. Validez y fiabilidad de las dimensiones Factor 1 DOMINIO Factor 2 COMUNICACIÓN Factor 3 RELEVANCIA Factor 4 DISEÑO

10. Validez y fiabilidad de las dimensiones Factor A COMPETENCIA CIENTÍFICA Factor B CAPACIDAD FORMATIVA P. Global Docum. y comun. Científicas

11. Estructura y organización empírica de las observaciones Primera sesión de exposición/observación por jueces (prof+alum) Segunda sesión de exposición/observación por jueces (prof+alum) 25 Jueces/ Observadores 27 Jueces/ Observadores Grupos que exponen Grupos que exponen (5) 1 NP 3 4 5 6 -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 36 37 38 39 40 1 (prof) 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 -- -- -- 25 26 27 28 29 30 31 32 33 34 35 -- -- -- -- -- 1 (prof) -- -- 4 5 6 7 8 9 -- 11 12 13 14 15 16 17 18 19 -- Se rechazan las estimaciones de 19 alum. 7 8 9 10 11 NP Se rechazan las estimaciones de 20 alum.

12. Dimensionalidad y Consistencia de las estimaciones Primera sesión de exposición/observación por jueces (prof+alum) Segunda sesión de exposición/observación por jueces (prof+alum)

13. Las puntuaciones de los jueces ofrecen altos niveles de saturación en el componente principal que se extrae cada muestra de datos

14. Dimensionalidad y Consistencia de las estimaciones Primera sesión de exposición/observación por jueces Item-total Statistics Scale Scale Corrected Mean Variance Item- Squared Alpha if Item if Item Total Multiple if Item Deleted Deleted Correlation Correlation Deleted JUEZ1 13,5333 2,6713 ,7507 ,5826 ,5473 JUEZ3 13,9333 3,9264 ,4681 ,2325 ,6862 JUEZ9 13,1333 4,7402 ,3126 ,1828 ,7352 JUEZ10 13,6333 3,1368 ,5793 ,4543 ,6420 JUEZ38 13,1000 4,6448 ,3842 ,1660 ,7186 Reliability Coefficients 5 items Alpha = ,7261 Standardized item alpha = ,7136 Segunda sesión de exposición/observación por jueces Item-total Statistics Scale Scale Corrected Mean Variance Item- Squared Alpha if Item if Item Total Multiple if Item Deleted Deleted Correlation Correlation Deleted JUEZ1 24,3611 6,9802 ,6394 ,4908 ,7537 JUEZ6 23,4722 8,4849 ,3377 ,2946 ,7999 JUEZ12 24,0278 7,8563 ,3948 ,3286 ,7969 JUEZ13 23,5556 7,3968 ,6378 ,5041 ,7561 JUEZ18 23,6667 7,3714 ,5983 ,5639 ,7617 JUEZ21 23,6389 7,7230 ,4817 ,5355 ,7810 JUEZ30 23,1667 8,7143 ,5668 ,4237 ,7820 JUEZ32 23,5000 7,7429 ,5245 ,3782 ,7740 Reliability Coefficients 8 items Alpha = ,7989 Standardized item alpha = ,8094

15. Resultados de la evaluación recíproca de los grupos: Diagnóstico global para el aula respecto al desarrollo de las competencias específicas en la actividad educativa

16. Resultados de la evaluación recíproca de los grupos: Diagnóstico global para el aula respecto al desarrollo de las competencias genéricas en la materia educativa

17. Resultados de la evaluación recíproca de los grupos: Diagnóstico global para el aula respecto al desarrollo de la competencia genérica global en la actividad de “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

18. Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

19. Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

20. Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

21. Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

22. Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

23. Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

24. Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

25. Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

26. Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

27. Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

28. Participación en el desarrollo empírico de las observaciones Primera sesión de exposición/observación por jueces (prof+alum) Segunda sesión de exposición/observación por jueces (prof+alum) Jueces/ Observadores Jueces/ Observadores Grupos que exponen Grupos que exponen 1 NP 3 4 5 6 -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 36 37 38 39 40 1 (prof) 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 -- -- -- 25 26 27 28 29 30 31 32 33 34 35 -- -- -- -- -- 1 (prof) -- -- 4 5 6 7 8 9 -- 11 12 13 14 15 16 17 18 19 -- 32 alumnos/as no asumen la actividad 7 8 9 10 11 NP 35 alumnos/as no asumen la actividad

29. Instrumentación, organización, resultados y valoraciones respecto de las experiencias desarrolladas en la APLICACIÓN 2

30. Escala de estimación de la calidad de las páginas web científico-educativas Elaborada por Rafael García para la asignatura Técnicas e Instrumentos de Diagnóstico Dimensiones a estudiar: * Estimaciones de puntuación global según el instrumento de evaluación del diseño web * Actitudes hacia la calidad según las puntuaciones del diferencial semántico

31. Calificaciones finales ofrecidas por cada grupo a los demás

32. Curioseando y descubriendo un problema Se observa que los grupos cuyas evaluaciones no se muestran consistentes con el conjunto de estimaciones (bajas saturaciones en la D1) son aquellos en los que la composición incluye hombres ¿Casualidad o cuestiones de género y dinámicas de poder ante la evaluación recíproca entre iguales?...

33. Planteando un nuevo estudio para indagar más... Diseño descriptivo/comparativo ex-post-facto: Se procede a estudiar la muestra de estimaciones realizadas por hombres y mujeres en la evaluación recíproca N: 1980 evaluaciones recíprocas (237 de hombres, 1743 de mujeres). Selección muestral de observaciones: n = 441(nH + nM) observaciones totales estudiadas considerando para ambos sexos su representación en el estudio nH: Todas las estimaciones de hombres nM: muestreo por conglomerados elegidos al azar sistemático (204) Técnicas analíticas: Diagramas de caja y bigote compuestos según sexo Consideración de la composición del grupo valorado (mixto, ...) para identificar posibles factores intervinientes en la diferencia estimativa Contraste por sexo Interacciones con la composición del grupo /objeto evaluado

34. Resultados de la puntuación de cada sexo a los grupos

35. Resultados de la actitud de cada sexo a los grupos

36. Resultados según el sexo del grupo/objeto evaluado

37. Resultados según el sexo del grupo/objeto evaluado

38. Resultados según el sexo del grupo/objeto evaluado

39. Resultados según el sexo del grupo/objeto evaluado

40. Resultados globales según el sexo del evaluador

41. Resultados globales según el sexo del evaluador

42. Resultados según el sexo del evaluador para el 14 Punto de corte de la actitud Punto de corte nivel de aprobado

43. Prueba de contraste según el sexo del evaluador

44. Los hombres estiman puntuaciones más altas que las mujeres, cualquiera que sea el sexo del grupo evaluado Los datos se ajustan en función de las diferencias de género del evaluador y no en función del género del grupo evaluado

45. Finalizando Conclusiones a debate: *Contamos con instrumentos y procedimientos útiles a la evaluación recíproca entre iguales (peer assessment), aunque se detectan inconsistencias en las valoraciones de grupo que implican “negociar” puntuaciones entre los hombres y las mujeres *Existen diferencias estadísticamente significativas entre las estimaciones realizadas por hombres y mujeres lo que coincide con la tendencia establecida en la literatura especializada en los procesos de evaluación recíproca *Las mujeres se ajustan mejor al sistema de observación establecido, siguiendo los criterios desarrollados en el aula y el procedimiento instrumental establecido *Los hombres tienden a desarrollar estimaciones más elevadas de lo razonable, como demuestra el análisis que determina que incluso han “aprobado” a un grupo claramente suspenso en la actividad valorada (web) *Ambos grupos desarrollan estimaciones consistentes dentro de la tendencia señalada, no se encuentran valoraciones significativamente diferentes en función del sexo del grupo/objeto (mujeres/mixto) evaluado