Los nuevos exámenes SABER PRO

1. Los nuevosexámenes SABER PRO Javier Botero Álvarez Viceministro de Educación Superior Margarita Peña Borrero Directora General - ICFES Julián Mariño Von Hildebrand Director de Evaluación - ICFES Bogotá, agosto 24 de 2011

2. Plan de la presentación • El sistema de calidad de la Educación Superior • Aprendizajes de los ECAES (2004 – 2008) • Marco Legal de la transformación de los Exámenes de Estado de la Educación Superior • Decreto 3963 • Periodo de transición • Resoluciones de características mínimas • Propósitos de los nuevos exámenes • Los nuevos exámenes de ES: SABER PRO • Módulos • Competencias Genéricas • Competencias Comunes a Grupos de Programas • Producción de resultados: Grupos de Referencia • Transición ECAES – SABER PRO • Cómo se construye • Avance • Evaluación Noviembre 2011 • Combinaciones de módulos

3. Plan de la presentación • El sistema de calidad de la Educación Superior • Aprendizajes de los ECAES (2004 – 2008) • Marco Legal de la transformación de los Exámenes de Estado de la Educación Superior • Decreto 3963 • Periodo de transición • Resoluciones de características mínimas • Propósitos de los nuevos exámenes • Los nuevos exámenes de ES: SABER PRO • Módulos • Competencias Genéricas • Competencias Comunes a Grupos de Programas • Producción de resultados: Grupos de Referencia • Transición ECAES – SABER PRO • Cómo se construye • Avance • Evaluación Noviembre 2011 • Combinaciones de módulos

4. Objetivos del Sistema de Calidad de la Educación Superior

5. Ministerio de Educación Nacional CESU Sistema de Calidad de la Educación Superior CONACES C.N.A. SNIES. Sistema Nacional de Información de la Educación Superior Formulación de políticas públicas ICFES Normas y procesos de calidad SACES. Sistema de Aseguramiento de la Calidad de la Educación Superior Investigación científica para el mejoramiento continuo SPADIES. Sistema de Prevención y Atención de la Deserción de la Educación Superior Operación del modelo Verificación del cumplimiento de normas OLE. Observatorio Laboral de la Educación I E S Inspección y Vigilancia

6. Evaluación en el Sistema de Calidad de la Educación Superior • Antecedentes Normativos • Actualización legislativa de la evaluación externa. • Ley 1188 de 2008 • Condiciones generales de calidad • Decreto reglamentario 1295 de 2010 • Características específicas de calidad • Ley 1324 de 2009 • Cambia la naturaleza jurídica las funciones del ICFES • Regula los Exámenes de Estado • Decreto 3963 de 2009 • Reglamenta las pruebas de estado de la educación superior

7. Evaluación en el Sistema de Calidad de la Educación Superior

8. Evaluación de Estudiantes en el Sistema de Calidad de la Educación Superior Objetivos de SABER PRO (Decreto 3963 de 2009) Servir de fuente de información para la construcción de indicadores de evaluación de la calidad de los programas e instituciones de educación superior y del servicio público educativo, que soporten la cualificación de los procesos institucionales, la formulación de políticas y el proceso de toma de decisiones en todos los órdenes y componentes del sistema educativo. Comprobar el grado de desarrollo de las competencias de los estudiantes próximos a culminar los programas que ofrecen las instituciones de educación superior de tal manera que sirva como insumo para el mejoramiento continuo. Producir indicadores de valor agregado de la educación superior en relación con el nivel de competencias de quienes ingresan a este nivel.

9. Plan de la presentación • El sistema de calidad de la Educación Superior • Aprendizajes de los ECAES (2004 – 2008) • Marco Legal de la transformación de los Exámenes de Estado de la Educación Superior • Decreto 3963 • Periodo de transición • Resoluciones de características mínimas • Propósitos de los nuevos exámenes • Los nuevos exámenes de ES: SABER PRO • Módulos • Competencias Genéricas • Competencias Comunes a Grupos de Programas • Producción de resultados: Grupos de Referencia • Transición ECAES – SABER PRO • Cómo se construye • Avance • Evaluación Noviembre 2011 • Combinaciones de módulos

10. Número de programas evaluados, 2004 - 2008 54 55 55 38 50

11. Total de estudiantes evaluados por área del conocimiento, 2004 - 2008

12. Puntajes promedio ECAES, 2004 - 2008

13. Puntaje ECAES, 2008Diferencias Oficial – Privado

14. Participación por ECAES 5 ECAES concentraban el 44% de los evaluados, mientras 15 representaban tan sólo el 3%.

15. Limitaciones de los ECAES (2004 – 2008) • Los resultados producidos presentan las siguientes dificultades para construir indicadores que apoyen la toma de decisiones sobre calidad en Educación Superior: • Sesgo por no presentación del examen de una parte importante de la población (cerca del 25% entre individuales y programas enteros). • Imposibilidad para comparar las medidas entre programas: los exámenes evalúan cosas distintas en poblaciones distintas. Ni los promedios, ni las distribuciones, ni las variaciones son comparables. • Posibilidades restringidas de uso para la toma de decisiones en los niveles altos de la administración del sistema (por encima de programa: facultades, rectorías, MEN, público en general) debido a la atomización de resultados.

16. Limitaciones de los ECAES (2004 – 2008) Posibilidades restringidas de interpretación pedagógica de los resultados de los exámenes particulares. No se asocian a los puntajes descripciones pedagógicas sobre qué pueden hacer los estudiantes y qué les falta. Con excepción de Inglés y de una evaluación limitada de Comprensión Lectora, no se da cuenta del desarrollo de competencias transversales, requeridas para cualquier profesional. Orientación a la producción de resultados brutos, no medidas de valor agregado. Los mejores puntajes corresponden sistemáticamente a las instituciones con procesos de selección más estrictos. Problemas técnicos que afectan la calidad de las mediciones debidos a los tamaños demasiado pequeños de las poblaciones que se evalúan con algunos de ellos.

17. Plan de la presentación • El sistema de calidad de la Educación Superior • Aprendizajes de los ECAES (2004 – 2008) • Marco Legal de la transformación de los Exámenes de Estado de la Educación Superior • Decreto 3963 • Periodo de transición • Resoluciones de características mínimas • Propósitos de los nuevos exámenes • Los nuevos exámenes de ES: SABER PRO • Módulos • Competencias Genéricas • Competencias Comunes a Grupos de Programas • Producción de resultados: Grupos de Referencia • Transición ECAES – SABER PRO • Cómo se construye • Avance • Evaluación Noviembre 2011 • Combinaciones de módulos

18. Marco legal – Decreto 3963 de 2009 Competencias a evaluar • Se deben evaluar las competencias de los estudiantes que están próximos a culminar los distintos programas de pregrado, en la medida en que puedan ser valoradas con exámenes externos de carácter masivo, incluyendo aquellas genéricas que son necesarias para el adecuado desempeño profesional o académico independientemente del programa que hayan cursado. • Las competencias específicas serán definidas por el MEN con la participación de la comunidad académica, profesional y del sector productivo, teniendo en cuenta los elementos disciplinares fundamentales de la formación superior que son comunes a grupos de programas en una o más áreas del conocimiento. • Los exámenes estandarizados no pretenden ser la medidade la calidad de la formación impartida.

19. Marco legal – Decreto 3963 de 2009 Nuevas reglas • Obligatoriedad de los exámenes de Estado (de Media y Superior), para ingresar al pregrado y obtener el título • Adopción de estructuras de examen e indicadores comparables por períodos no menores a 12 años • Establecimiento de un periodo de transición para la adopción gradual de las nuevas estructuras. Durante este periodo se elaborarán y validarán las nuevas evaluaciones.

20. Competencias del MEN y del ICFES En cooperación con: Comunidad académica Sector productivo

21. Resoluciones de características específicas definidas por competencias

22. Plan de la presentación • El sistema de calidad de la Educación Superior • Aprendizajes de los ECAES (2004 – 2008) • Marco Legal de la transformación de los Exámenes de Estado de la Educación Superior • Decreto 3963 • Periodo de transición • Resoluciones de características mínimas • Propósitos de los nuevos exámenes • Los nuevos exámenes de ES: SABER PRO • Módulos • Competencias Genéricas • Competencias Comunes a Grupos de Programas • Producción de resultados: Grupos de Referencia • Transición ECAES – SABER PRO • Cómo se construye • Avance • Evaluación Noviembre 2011 • Combinaciones de módulos

23. Propósito de los nuevos exámenes • Apoyar el Sistema de Aseguramiento de la Calidad de la Educación Superior con mejor información para la toma de decisiones. • Evaluar todo el sistema de ES • Garantizar la utilidad de los indicadores • Garantizar la confiabilidad y la continuidad • Garantizar interpretación pedagógica

24. Propósito de los nuevos exámenes • Evaluar todo el sistema de ES • La Ley 1324 hizo obligatorio el presentarse al examen para obtener el título. Con esta medida se logró corregir el sesgo enorme que producía la no presentación del examen por parte de estudiantes y programas enteros. • El nuevo esquema de evaluación debe permitir evaluar a la totalidad de la población de ES.

25. Propósito de los nuevos exámenes • Garantizar la utilidad de los indicadores • Los indicadores producidos deben apoyar la toma de decisiones de los distintos niveles del sistema de educación y de otros grupos de interés: deben permitir hacer comparaciones y establecer referentes para diversas agrupaciones. • Se deben evaluar elementos comunes para distintos tipos de formación. • Para poder identificar experiencias exitosas de formación en ES no basta con medir resultados de salida de los estudiantes. Es necesario tener una medida de variación entre la entrada y la salida, una medida de valor agregado.

26. Propósito de los nuevos exámenes • Garantizar la confiabilidad y la continuidad de los indicadores • Se deben garantizar las condiciones técnicas de evaluación en exámenes estandarizados, en particular, respetar los tamaños mínimos de grupos evaluados. • La evaluación se debe enfocar en los elementos fundamentales que no son susceptibles de variar en el corto plazo. • La evaluación de elementos altamente específicos y variables debe desarrollarse en las instituciones de ES.

27. Propósito de los nuevos exámenes • Garantizar interpretación pedagógica • Para que la evaluación produzca una información rica en términos cualitativos, que permita orientar las decisiones pedagógicas, es necesario identificar niveles y elaborar interpretaciones de los rendimientos que los caracterizan.

28. Plan de la presentación • El sistema de calidad de la Educación Superior • Aprendizajes de los ECAES (2004 – 2008) • Marco legal de la transformación de los Exámenes de Estado de la Educación Superior • Decreto 3963 • Periodo de transición • Resoluciones de características mínimas • Propósitos de los nuevos exámenes • Los nuevos exámenes de ES: SABER PRO • Módulos • Competencias Genéricas • Competencias Comunes a Grupos de Programas • Producción de resultados: Grupos de Referencia • Transición ECAES – SABER PRO • Cómo se construye • Avance • Evaluación Noviembre 2011 • Combinaciones de módulos

29. Estructura de los exámenes • Los exámenes SABER PRO se estructuran por módulos (componentes combinables ) de evaluación de dos tipos de competencias: • Competencias genéricas • Competencias específicas comunes a grupos de programas • Algunos módulos de competencias genéricas se incorporarán también a SABER 11º para producir medidas de valor agregado.

30. Módulos de Competencias Genéricas • Lectura Crítica • Razonamiento Cuantitativo • Cultura Ciudadana y Entendimiento del Entorno • Redacción • Inglés Todas las personas que presenten el examen deberán tomar estas pruebas comunes.

31. Módulos de Competencias Genéricas • Lectura Crítica: desempeños asociados a Lectura, Pensamiento Crítico y Entendimiento Interpersonal • Leer analítica y reflexivamente. • Comprender los planteamientos expuestos en un texto e identificar sus perspectivas y juicios de valor. • Identificar y recuperar información presente en uno o varios textos, construir su sentido global, establecer relaciones entre enunciados y evaluar intencionalidad. • Se evaluará también en SABER 11º.

32. Módulos de Competencias Genéricas • Razonamiento Cuantitativo: desempeños relacionados con Uso Lenguaje Cuantitativo y Solución de Problemas. • Comprensión de conceptos básicos de las matemáticas para analizar, modelar y resolver problemas, aplicando métodos y procedimientos cuantitativos y esquemáticos. • Interpretación de datos, la formulación de problemas y la ejecución, evaluación y validación de procedimientos y estrategias. • Se evaluará también en SABER 11º.

33. Módulos de Competencias Genéricas • Competencias Ciudadanas y Entendimiento del Entorno • Reconocer y valorar la diversidad cultural y los derechos individuales y colectivos. • Entender, en el contexto nacional y global, los grandes problemas sociales, económicos, políticos y ambientales contemporáneos. • Identificar dilemas éticos en situaciones concretas. • En desarrollo

34. Módulos de Competencias Genéricas • Escritura • Comunicar ideas por escrito referidas a un tema dado. Los escritos se califican teniendo en cuenta los siguientes criterios: • Elaboración de la intención y el propósito. • Claridad de la estructura y la organización. • Manejo del lenguaje y las convenciones.

35. Módulos de Competencias Genéricas • Inglés • Comunicarse efectivamente en inglés. • Permiten clasificar a los evaluados en cuatro categorías de desempeño, según las bandas del Marco Común Europeo. • Se evalúa en SABER 11º.

36. Módulos de Competencias Específicas comunes de grupos de programas Cada módulo evalúa un saber hacer complejo en contexto que se define con base en las competencias fundamentales de grupos de programas o áreas de conocimiento. Se refieren a problemas que son comunes a distintos programas, más que a contenidos curriculares específicos. Corresponden a una definición de cada formación, no de forma aislada, sino a partir de sus interacciones y sus elementos comunes con las demás. Se usan para evaluar estudiantes de distintos programas, incluso de distintas áreas del conocimiento.

37. Módulos de competencias comunes • Ejemplos: • Diseño en ingeniería • Indagación • Investigación en ciencias sociales • Salud pública • Gestión de recursos • El Ministeriodeterminará, a partir de 2012, paracadaprograma, los módulosqueseránobligatoriosparasusestudiantes, con base en lo establecido en lasresoluciones de característicasmínimas. • De acuerdo con suorientaciónpropia, cadaprogramapodráseleccionarmódulosadicionales (sujeto a limitaciones de tamaño de estos) en los queevaluar a susestudiantes.

38. Producción de resultados No se pretende que los estudiantes de todas las formaciones desarrollen a un mismo nivel las competencias genéricas, ni aún las comunes a grupos de programas. Entregar solo un puntaje o un promedio no es informativo, es preciso ubicarlo con respecto a una referencia. Para que la referencia tenga sentido, es preciso conformar grupos de referencia. Se deben definir niveles de desempeño para los módulos.

39. GRUPOS DE REFERENCIA Agrupación de programas con características similares entre los que se compararán los resultados de la evaluación. Los grupos de referencia se definieron según la clasificación de programas del Sistema Nacional de Información de la Educación Superior (SNIES) del Ministerio de Educación Nacional y la Clasificación Internacional Normalizada de la Educación (CINE) de la Unesco. Se han conformado 30 grupos de referencia según nivel de formación: 14 de nivel universitario 6 de nivel tecnológico 6 de nivel técnico 2 para niveles técnicos y tecnólogos 1 para todos los niveles 1 para el ciclo de normalistas superiores

40. Presentación de resultados • Se entregarán resultados por módulo. • No habrá un puntaje total del examen. • RESULTADOS INDIVIDUALES – por módulo • Puntaje • Nivel de desempeño • Promedio de puntajes en el grupo de referencia • Desviación estándar de puntajes del grupo de referencia • RESULTADOS INSTITUCIONALES – por módulo • Resultados individuales (de sus estudiantes) • Distribución por niveles de desempeño (público) • Promedios de puntajes en relación con los promedios y desviaciones del grupo de referencia y el total nacional (público)

41. Grupos de referencia Número de programas por nivel clasificados en cada grupo de referencia

42. Grupos de referencia Número de programas por nivel clasificados en cada grupo de referencia

43. Plan de la presentación • El sistema de calidad de la Educación Superior • Aprendizajes de los ECAES (2004 – 2008) • Marco legal de la transformación de los Exámenes de Estado de la Educación Superior • Decreto 3963 • Periodo de transición • Resoluciones de características mínimas • Propósitos de los nuevos exámenes • Los nuevos exámenes de ES: SABER PRO • Módulos • Competencias Genéricas • Competencias Comunes a Grupos de Programas • Producción de resultados: Grupos de Referencia • Transición ECAES – SABER PRO • Cómo se construye • Avance • Evaluación Noviembre 2011 • Combinaciones de módulos

44. Transición ECAES – SABER PRO

45. Transición ECAES – SABER PROEl proceso… Se ha realizado un proceso participativo en la elaboración y validación de módulos y en la construcción de preguntas: Participación de más de 30 Asociaciones de Facultades, Redes y Programas. Más de 60 talleres, grupos focales y sesiones de discusión para la elaboración de módulos y validación de especificaciones. Más de 50 sesiones de validación de especificaciones de módulos cubriendo todas las regiones del país y en las ciudades principales en donde tienen sede los diferentes programas. Participación de más de 500 docentes de Instituciones de Educación Superior en todas las fases del proceso de diseño de módulos.

46. Plan de la presentación • El sistema de calidad de la Educación Superior • Aprendizajes de los ECAES (2004 – 2008) • Marco legal de la transformación de los Exámenes de Estado de la Educación Superior • Decreto 3963 • Periodo de transición • Resoluciones de características mínimas • Propósitos de los nuevos exámenes • Los nuevos exámenes de ES: SABER PRO • Módulos • Competencias Genéricas • Competencias Comunes a Grupos de Programas • Producción de resultados: Grupos de Referencia • Transición ECAES – SABER PRO • Cómo se construye • Avance • Evaluación Noviembre 2011 • Combinaciones de módulos

47. Aplicación de noviembre 2011 • Competencias Genéricas • Lectura Crítica • Razonamiento Cuantitativo • Inglés • Escritura Mañana • Competencias Específicas • Cada programa establece, según su grupo de referencia, en cuál de las 50 combinaciones de módulos de competencias comunes son evaluados sus estudiantes. Tarde

48. Módulos para el examen SABER PRO de Noviembre de 2011 Se ha logrado consolidar 20 módulos de competencias específicas comunes a grupos de programas. No se pretende que todos los programas de una misma área tomen los mismos módulos. La oferta de exámenes para noviembre se estructuró en 50 combinaciones de módulos. Se han definido diferentes combinaciones de módulos para cada grupo de referencia. Cada programa seleccionará aquella que sea más afín con su perfil de formación, entre las que se ofrezcan para su grupo de referencia.

49. Competencias Específicas Comunes

50. Muchas Gracias!