LAS LECCIONES APRENDIDAS POR LAS AGENCIAS EN 10 AÑOS DE EVALUACIÓN INSTITUCIONAL

1. LAS LECCIONES APRENDIDAS POR LAS AGENCIAS EN 10 AÑOS DE EVALUACIÓN INSTITUCIONAL LA EXPERIENCIA EN LA ACSUG VIII FORO DE ALMAGRO 5 y 6 de octubre de 2006

2. EL ENFOQUE DE LAS GUÍAS

3. EL ENFOQUE DE LAS GUÍAS PNECU • Las universidades del SUG participaron en el PNECU aunque la creación de la ACSUG fue posterior. • La ACSUG recopila todos los informes de evaluación de las titulaciones evaluadas en el SUG durante el PNECU y elabora un Informe Final del que podemos extraer las siguientes conclusiones relacionadas con la guía de evaluación utilizada: • El seguimiento de la Guía de Evaluación: • CA: seguimiento dispar. Algunas titulaciones se limitan a la mera exposición de datos estadísticos • CEE: mayor seguimiento. Los evaluadores destacan la adecuación y utilidad de la guía • Heterogeneidad en los modelos de Informe Final • En general, valoración positiva de las herramientas facilitadas

4. EL ENFOQUE DE LAS GUÍAS II PCU • La ACSUG se crea en enero del 2001 para encargarse de la gestión del II PCU en Galicia • Las guías utilizadas siguen siendo las que elabora el CCU para el desarrollo de este plan • La ACSUG elabora un Informe al final de cada convocatoria del II PCU del que podemos extraer las siguientes conclusiones en relación con las guías de evaluación: • La estructura de los informes se ajusta cada vez más a las guías de evaluación (mayor conocimiento de los procesos y contribución de las Unidades de Calidad) • Las nuevas guías facilitan herramientas: Inclusión de la lista de verificación de los autoinformes, desarrollo de la audiencia, formato de IEE… • Mayor uniformidad en la estructura de los Informes Finales

5. EL ENFOQUE DE LAS GUÍAS • La ACSUG utiliza las guías y herramientas que elabora ANECA con algunas modificaciones obligadas en cuanto a procedimiento (convenio firmado en julio de 2003) • Conclusiones al realizar el Informe Global del PEI en Galicia: • Mejora significativa en el contenido y estructura de los diferentes informes, subsanándose la mayoría de problemas de las convocatorias anteriores. • De forma general, se siguen las distintas guías para elaborar los informes, se cubren las tablas correctamente, se hace un seguimiento exhaustivo por parte de las UTC y hay una mayor implicación de los miembros de los CA en el proceso. PEI-ACSUG

6. LOS DATOS E INDICADORES

7. LOS DATOS E INDICADORES • PNECU • En la mayoría de los casos… • No se cumplimentan todas las tablas de datos e indicadores • Los informes se limitan a exponer datos estadísticos sin presentar ningún tipo de análisis ni valoración • Dificultad para obtener todos los datos estadísticos necesarios para comprobar las valoraciones (las Unidades de Calidad se estaban creando)

8. LOS DATOS E INDICADORES Sigue fallando la cumplimentación de las tablas de datos e indicadores (muchos aparecen sin cubrir o cubiertos de forma incorrecta) II PCU Principales indicadores sin cubrir en el II PCU: • Nota Media de Acceso PAU y FP • PDI a Tiempo Completo • Gasto Corriente • Puestos en Biblioteca • Tasa de Rendimiento • Tasa de Éxito • Proporción de Sexenios

9. LOS DATOS E INDICADORES PEI • Se observa frecuentemente dificultades para valorar algunos datos estadísticos básicos, tales como la duración media de los estudios, la tasa de abandono, etc. • Los Comités de Evaluación Externa recomiendan incorporar los datos sobre el contexto de la titulación, las evidencias empleadas y mayor desarrollo del plan de mejoras.

10. LOS DATOS E INDICADORES PEI-ACSUG, 1ª convocatoria Principales Indicadores / Tablas Sin Cubrir • Recursos Humanos – Grado de Movilidad del Personal Académico. – Formación Pedagógica del Personal Académico. • Recursos Materiales – Disponibilidad de m2 en espacios experimentales. • Proceso Formativo – Participación de alumnos de nuevo ingreso en programas de acogida. – Participación en programas de inserción laboral. – Movilidad de los alumnos. – Prácticas externas. • Resultados – Tasa de Eficiencia. – Indice de satisfacción del egresado. – Grado de satisfacción de empleadores.

11. LA FORMACIÓN DE LOS COMITÉS DE EVALUACIÓN

12. LA FORMACIÓN DE LOS COMITÉS DE EVALUACIÓN • LOS COMITÉS DE AUTOEVALUACIÓN • LOS COMITÉS DE EVALUACIÓN EXTERNA • LAS JORNADAS DE REFLEXIÓN CON LOS EVALUADORES EXTERNOS

13. LA FORMACIÓN DE LOS COMITÉS DE AUTOEVALUACIÓN • La ACSUG organizó desde el año 2002 siete jornadas de formación a las que asistieron 446 miembros de Comités de Autoevaluación • Tras estas jornadas podemos extraer una serie de recomendaciones/conclusiones (la mayoría extraídas de cuestionarios de valoración realizados a los asistentes): • Es importante que antes de la jornada los miembros de los comités se familiaricen con la guía de autoevaluación y lleguen a la jornada con el objetivo de aclarar conceptos y solucionar dudas • Es preferible dedicar más tiempo a la realización del caso práctico, ya que es donde se solucionan más dudas • Es importante la participación en las jornadas de personal de las Unidades Técnicas de Calidad

14. LA FORMACIÓN DE LOS EVALUADORES EXTERNOS • Se realizaron dos Jornadas de formación en las que participaron 64 evaluadores externos • Se organizaron también dos Jornadas de Reflexión con miembros de los comités de evaluación externa que participaron en el SUG. En total asistieron 50 evaluadores, la mayoría actuaron como Presidentes/Coordinadores de los CEE y también se invitó a una representación de vocales profesionales, dada la singularidad de sus planteamientos

15. LA FORMACIÓN DE LOS EVALUADORES EXTERNOS LAS JORNADAS DE REFLEXIÓN CON EVALUADORES EXTERNOS • OBJETIVO PRINCIPAL DE ESTAS JORNADAS: • Analizar en profundidad el proceso de evaluación externa, detectar las debilidades que hayan podido surgir y proponer correcciones para futuros procesos de evaluación

16. LA FORMACIÓN DE LOS EVALUADORES EXTERNOS • Valoraciones de los Comités de Evaluación Externa • Escaso reconocimiento de la labor realizada por los Comités de Evaluación. • Elevado grado de satisfacción de los Comités de Evaluación Externa. Buena coordinación entre los miembros. • Visita al Centro: • Excesivo número de reuniones y audiencias. • Falta de tiempo para análisis y puesta en común de criterios para la elaboración del Informe de Evaluación Externa. • Escasa asistencia de la Comunidad Universitaria a las audiencias.

17. EL INFORME FINAL • PNECU • En los Informes Finales de las titulaciones y en los elaborados por las universidades se aprecia gran heterogeneidad en la estructura de los mismos favorecida por la ausencia de una definición clara sobre su estructura y contenidos en la guía de evaluación.

18. EL INFORME FINAL PCU • En los Informes Finales se pone de manifiesto el elevado nivel de implicación y satisfacción de los Comités de Autoevaluación, pero manifiestan que no se consigue trasladar esta implicación al resto de la comunidad universitaria • Hay una mejora significativa observada en la estructura y uniformidad de los Informes con respecto a los presentados en el PNECU • La ACSUG elabora un Modelo de Propuestas de Mejora consensuado con las tres universidades gallegas y que será el que utilicen para la presentación de las mismas en los Informes Finales

19. EL INFORME FINAL PEI • La ACSUG elabora la Guía para el seguimiento del Plan de Mejora de manera consensuada con las Universidades y que están utilizando en la actualidad para realizar el seguimiento de las propuestas

20. EL INFORME FINAL • Resumen de los Puntos Fuertes, Puntos Débiles y Propuestas de Mejora más comunes a lo largo de los diferentes planes de evaluación institucional

21. EL INFORME FINAL

22. EL INFORME FINAL

23. EL INFORME FINAL

24. Gracias por su atención