Programas basados en competencias y su evaluación

1. Programas basados en competencias y su evaluación La experiencia del Tecnológico de Monterrey TEOFILO J. RAMOS San Salvador, El Salvador Mayo 16, 2013

2. Contexto Institucional

3. Contexto Institucional • El Tecnológico de Monterrey fue fundado en 1943 por un grupo de empresarios mexicanos, bajo el liderazgo de Don Eugenio Garza Sada • Institución privada sin fines de lucro • Independiente • Genera los recursos necesarios para su operación www.itesm.edu

4. Contexto Institucional • 31 Campus y una Universidad Virtual • 96,649 estudiantes: • Preparatoria: 24,592 • Profesional: 54,777 • Posgrado: 17,280 (8380 en la UV) • 48.25% con beca o apoyo financiero • 8,391 profesores

5. Contexto Institucional • 58 carreras profesionales • 18 programas de especialidades médicas • 42 programas de maestría • 10 programas de doctorado • 185,797 egresados de carreras profesionales • 44,483 egresados de programas de posgrado • 18% de las 200 empresas más importantes de México son dirigidas por egresados

6. Contexto Institucional • 21 oficinas de enlace internacional • 6,959 estudiantes nuestros en universidades extranjeras • 4,423 estudiantes internacionales • 754 profesores participaron en proyectos internacionales • 911 profesores extranjeros impartieron cursos en alguno de los campus • 372 convenios con universidades internacionales de prestigio

7. Programas académicos acreditados(a junio 2012) Profesional Posgrado Nacional Internacional • Meta institucional: 100% de los programas de profesional y posgrado acreditados • por algún organismo nacional • **Programas acreditables: programas que se ofrecen de manera completa en un • campus y han graduado al menos a tres generaciones

8. Calidad Académica en el Tecnológico de Monterrey • Estándares de admisión (College Board) • Pruebas estandarizadas • Antecedentes académicos Selección de Alumnos Mejora Continua • Exámenes estandarizados • Pruebas nacionales Evaluación del Aprendizaje • Estudios de egresados: Candidatos a graduarse, 3 meses de graduados, Trayectoria de graduados 5,10, 15, 20 y 25 años • Empleadores Seguimiento de Egresados • Indicadores de Excelencia Académica: IDEA (alumnos, profesores, directivos), Tableros • Juntas de Evaluación Efectividad Institucional • Institucionales y de Programas • Nacionales e Internacionales Acreditaciones • Medición de competencias de egreso “Learningoutcomes” (Programas académicos) Evaluación de Programas Académico

9. Algunos resultados de estos procesos • Campus que viven la filosofía del mejoramiento continuo. • Reconocimiento y prestigio nacional e internacional por la acreditación externa de los programas académicos. • Profesores más competentes. • Mejores alumnos en lo académico y más comprometidos en el desarrollo de sus comunidades. • Mejores bibliotecas, infraestructura, y recursos de apoyo al aprendizaje.

10. Resultados • Identificación de áreas de oportunidad para mejorar. • Se refuerza la visión del quehacer importante, desde el cumplimiento de la Misión hasta los Perfiles de Egreso y de que hay que demostrar que se está logrando (rendición de cuentas) • Desarrollo de la cultura de la “documentación”.

11. Resultados • Se facilitan las conversaciones con aliados académicos internacionales (actuales y potenciales). • Ciclo virtuoso de calidad • Enfoque al aseguramiento de la calidad académica. • Enriquecimiento del modelo educativo (formación y evaluación por competencias) • Inversión importante en recursos humanos y económicos.

12. Contexto de programas basados en competencias • Fortalecimiento de la rendición de cuentas • Énfasis en la medición del aprendizaje versus medición de la infraestructura y los procesos académicos • Tendencia internacional de las acreditaciones

13. Objetivo Asegurar el cumplimiento del perfil de egreso de los programas académicos.

14. ABET “The program must regularly use appropriate, documented processes for assessing and evaluating the extent to which both the program educational objectives and the student outcomes are being attained. The results of these evaluations must be systematically utilized as input for the continuous improvement of the program. Other available information may also be used to assist in the continuous improvement of the program.”

15. SACS The institution identifies expected outcomes, assess the extent to which theses outcomes, and provides evidence of improvement based on analysis of the results in each of the following areas: • Educational programs, to include student learning outcomes.

16. Assessment “A systematic process of looking at student achievement within and across courses by gathering, interpreting and using information about student learning for educational improvement” American Association of Higher Education

17. Nuestra definición de Assessment • Assessment es la evaluación sistemática de los programas académicos con base en resultados del aprendizaje (learningoutcomes*) y utilizando los resultados de la evaluación para la mejora continua *En el Tecnológico de Monterrey las denominamos competencias de egreso

18. Evaluación a nivel curso Evaluación de programa y ciclos de mejora Evaluación de programas • En cada materia, los profesores y departamentos académicos evalúan objetivos de aprendizaje del curso: conocimientos, habilidades, actitudes y valores. • Para ser evaluadas las CE´s, tienen que ser expresadas en criterios de desempeño. Esto es lo que ya se hace Esto se añade

19. Proceso de evaluación de programas Competencias de egreso Definición Criterios de desempeño Cursos, actividades co-curriculares, programas de apoyo, recursos de aprendizaje Plan de Evaluación Acciones educativas Medición Indirecta Evaluación Directa Valoración Decisión de mejora continua

20. Etapas del proceso de evaluación de programas Etapa 1. Perfil de egreso basado en competencias Etapa 2. Plan de evaluación del programa Etapa 3. Evaluación y Resultados Etapa 4. Acciones de mejora

21. Etapa 1.Perfil de Egreso basado en Competencias

22. Etapa 1. Perfil de Egreso basado en competencias • Profesionales: • Básicas de la Profesión • Administración • Ingeniería • Ciencias Sociales y Humanidades • Ciencias de la Salud Personales: Dominio del Inglés Ética Ciudadanía Capacidad emprendedora y de innovación Liderazgo Confianza en sí mismo Compromiso con el medio ambiente Comunicación oral y escrita Perspectiva global • Profesionales: • De la Especialidad • Mecánico Administrador • Mecatrónica • Biotecnología • Médico Cirujano • Psicología Laboral • Arquitecto • Ciencia Política • Etc.

23. Etapa 1. Perfil de Egreso basado en competencias Competencias de Egreso (CEs) Combinación de atributos — con respecto al conocimiento y su aplicación, a las actitudes y a las responsabilidades— que hacen referencia a las capacidades que un estudiante debe haber desarrollado al momento de su graduación.

24. Criterios de Desempeño (CDs) Etapa 1. Perfil de Egreso basado en competencias Enunciados específicos medibles que identifican comportamientos observables que evidencian el desarrollo de una competencia. Se definen al menos 2 por cada CE

25. Objetivos de Programa Los objetivos de un programa son declaraciones amplias que describen los logros de un egresado de un programa después de cierto tiempo de su graduación La medición de los objetivos puede utilizarse para determinar el progreso del programa hacia el cumplimiento de su oferta académica Típicamente, un programa tiene alrededor de 5 a 7 objetivos

26. Objetivos de Programa Deben reflejar las necesidades de los grupos de interés a los que sirve el programa Deben ser consistentes con la Misión de la institución y estar publicados Deben medirse para evaluar el programa en función de su cumplimiento Se deben revisar periódicamente para reflejar posibles cambios en las necesidades del entorno El proceso de definición, medición, evaluación y mejora debe estar documentado

27. Ejemplo: Carrera Ingeniero en Sistemas Computacionales • Objetivos del programa 1. Los egresados basan, consistentemente, en criterios éticos las decisiones que toman en relación con su persona, su práctica profesional y su entorno. 1.1 Los egresados basan, consistentemente, en criterios éticos las decisiones que toman en relación con su persona, su práctica profesional y su entorno y reportan que generalmente o la mayoría de las veces, aplican un razonamiento que les permite asegurar que su decisión será válida o justificable en el futuro y no sólo en el momento presente. 2. Los egresados consideran las consecuencias de su actuación personal, social y profesional para las personas y su entorno. 3. Los egresados se mantienen actualizados sobre el acontecer social, económico y político. 4. Los egresados participan en organizaciones o actividades que contribuyen al mejoramiento de su comunidad.

28. Ejemplo: Carrera Ingeniero en Sistemas Computacionales • Competencia de egreso: 1. El alumno diseñará, desarrollará, implementará, probará y mantendrá proyectos de software de acuerdo a criterios de cumplimiento previamente establecidos. <<>> • Criterios de desempeño: 1.1 El alumno aplica los conceptos del ciclo de vida de sistemas en el desarrollo de proyectos de software. Tendrá la habilidad de hacer un análisis de la problemática, modelar una solución, desarrollar y probar el producto de software, cuidando que se satisfaga la problemática inicial 1.2 El alumno será capaz de aplicar de manera adecuada, diferentes modelos del ciclo de vida del desarrollo de software. 1.3 El alumno define la problemática de TI, realiza un diagnóstico para identificar requerimientos y genera alternativas de solución. 1.4 El alumno modela, diseña y codifica satisfactoriamente la solución de un problema de tecnología de información aplicando herramientas de diseño y desarrollo

29. Etapa 2.Plan de Evaluación de cada carrera

30. Etapa 2. Plan de Evaluación de cada carrera • Es la guía para realizar la evaluación del programa. • Para cada criterio de desempeño de cada una de las competencias de egreso, identificar: • Frecuencia de la medición • Método de medición • Dónde medir • Forma de cumplimiento y metas • Responsable de la medición

31. Etapa 2. Plan de Evaluación de cada carrera

32. Etapa 2. Plan de Evaluación de cada carrera

33. Etapa 2. Plan de Evaluación de cada carrera Consideraciones metodológicas: • Es una tarea adicional a la evaluación del curso pero puede hacerse sobre el producto de un curso (course embedded assessment) • También es posible realizarlo en un evento especial (assessment center)

34. Etapa 2. Plan de Evaluación de cada carrera Consideraciones metodológicas: • Se evalúa el programa académico, y no al alumno o al profesor en lo individual, a través de evidencias del desarrollo de las competencias a nivel programa.

35. Etapa 2. Plan de Evaluación de cada carrera Consideraciones metodológicas: • Se pueden utilizar los siguientes métodos de medición: • Métodos indirectos: mediante los resultados de encuestas. Ejemplo: Instrumento de Competencias Éticas y Ciudadanas • Métodos directos: se observa de primera mano el desempeño del alumno. Ejemplos: • Examen estandarizado (EGEL, TOEFL). • Aplicación de rúbrica (evaluación de un ensayo, proyecto, presentación oral).

36. Etapa 2. Plan de Evaluación de cada carrera Consideraciones metodológicas: • No se requiere medir todo, ni todo el tiempo: • La medición puede ser semestral o anual • La medición se realiza sobre una muestra aleatoria

37. Etapa 3.Evaluación y Resultados

38. Etapa 3. Evaluación y resultados Ejecutar el plan de evaluación • Realizar la medición de las competencias de egreso de acuerdo con el plan de evaluación. • Integrar reportes para el análisis colegiado y la toma de decisiones de mejor.

39. Etapa 4.Documentación de Acciones de Mejora

40. Etapa 4. Documentación de Acciones de Mejora • Realizar el análisis de resultados de la medición y la definición de acciones de mejora y su implementación (se recomienda integrar esas actividades dentro del plan semestral de trabajo departamental) • Documentar y dar seguimiento a los acuerdos • Asegurar el inicio de un nuevo ciclo de medición y mejora

41. Sistema para Administrar la Evaluación de Programas Académicos (SAEP) Tecnológico de Monterrey Vicerrectoría Académica Junio 2012

42. SAEP Herramienta de apoyo para administrar la evaluación: • Sistema en línea • Permite dar seguimiento a la evaluación de programa • Enlaza los resultados de evaluaciones oficiales (pruebas nacionales, encuestas institucionales y externas) con criterios de desempeño • Facilita la evaluación de evidencias a través de rúbricas • Documenta los resultados del desarrollo de competencias y las acciones de mejora establecidas

43. SAEP como herramienta de ayuda en el proceso de evaluación de programas académicos • Se visualiza el perfil de egreso por carrera • Permite generar reportes en word o html • Se define el plan de evaluación por carrera-campus: • Métodos de evaluación (encuestas, rúbricas y exámenes) • Formas de cumplimiento, responsables y metas • Permite generar reportes en word o html • Permite agregar por criterio de desempeño acciones de mejora • Funcionalidad de documentar información adicional • Permite a los profesores evaluar trabajos de alumnos a través de rúbricas • Obtiene de fuentes oficiales resultados de exámenes (TOEFL, CENEVAL) y encuestas (Trayectoria, ICEC, NSSE) • Permite generar reportes de avance en word o html • Funcionalidad de exportar a Excel los resultados

44. ¿Comentarios o preguntas? Teófilo J. Ramos t.ramos@ieee.org