Septiembre, 2007

1. Evaluación Nacional del Logro Académico en Centros Escolares Mayo, 2008 Septiembre, 2007

2. Temas • Propósito y características de la prueba • Interpretación adecuada y uso de los resultados • Alcances y limitaciones de la prueba • Uso pedagógico de los resultados. • Reportes y materiales para coadyuvar al logro educativo

3. Propósitos Generar información de los temas y contenidos que los alumnos evaluados han logrado aprender bien y así como detectar deficiencias en Español, Matemáticas y Ciencias, que permitan desarrollar acciones, a: • Padres de familia • Docentes y directivos • Autoridades educativas del país • Sociedad en general

4. ¿Qué es ENLACE y cuáles son sus objetivos? Reforzar y mejorar las habilidades y conocimientos de los alumnos Aportar información para la gestión escolar. Estimular la participación de los padres de familia. Sustentar procesos efectivos y pertinentes de planeación educativa y políticas públicas. Atender requerimientos específicos de capacitación a docentes y directivos. Brindar información a jefes de sector, supervisores y Directores para realizar análisis y focalizar esfuerzos. Informar a padres de familia, docentes, directivos, autoridades educativas y la sociedad respecto del estado actual y la evolución de los esfuerzos y resultados escolares.

5. En la oscuridad… o en los promedios…todos los alumnos y escuelas parecen iguales…

6. Pero con un poco de luz… o sea, mayor información . ¡…se hacen visibles diferencias importantes….!

7. Principales Cuestionamientos respecto a su concepción • ¿Para qué realizar una evaluación censal, si basta una muestra rigurosamente calculada para generar resultados representativos? • ¿Es válido que la SEP aplique evaluaciones, si para este fin se creó un Instituto Nacional de Evaluación? • ¿Es realmente necesario realizar tantas evaluaciones: EXCALE, PISA, IDANIS, Olimpiada del Conocimiento, ENLACE? • En su caso, ¿Qué diferencias presenta ENLACE con el resto de las evaluaciones y principalmente con las evaluaciones que se realizan por el profesor en el aula?

8. Programas Evaluativos de los aprendizajes alumnos de educación básica

9. Ha sido concebida para coadyuvar a la mejora de educativa Indirecta e intencionalmente se relaciona con: Rendición de cuentas Transparencia Participación social. Su implantación ha generado controversias, posturas favorables y desfavorables. Un grave riesgo es que las políticas giren en torno a ENLACE y no a la inversa. Sus resultados no deben soslayarse ni sobre valorarse, sino darles su justo valor. Se requiere conocer mejor sus características, alcances y limitaciones, para evitar prejuicios. Las evaluaciones por sí solas no mejoran la calidad educativa. ENLACE y las políticas públicas en materia educativa Reflexiones

10. Que es un instrumento que permite conocer el nivel de aprendizaje de los niños. Que al menos la mitad de los resultados educativos dependen del apoyo y participación de los padres. Que falta mucho por hacer pues sólo 1% de los evaluados está en el nivel de logro de excelencia, basta con analizar los resultados. Que la ciudadanía desea rendición de cuentas y evaluación permanente, que podemos y debemos construir una cultura de evaluación. Que el resultado educativo es compromiso de todo: los directores de los planteles, los jefes de sector, las autoridades educativas, la sociedad civil y los gobiernos locales. ENLACE ha mostrado

11. Altas ambiciones la escuela como centro de la acción Oportunidades educativas integradas Rendición de cuentas Aprendizajeindividualizado Acceso a las mejores prácticas y desarrollo profesional de calidad

12. Principales Cuestionamientos respecto a Su diseño, características y fechas de aplicación • Si ENLACE es un instrumento para evaluar el logro educativo ¿porqué se aplica en Abril si el ciclo escolar concluye hasta julio? • ¿No es injusto aplicar el mismo instrumento a población de áreas rurales marginadas al igual que a alumnos que estudian en escuelas de las ciudades capitales y que por tanto poseen un mayor capital cultural? • En este mismo tenor ¿no es injusto aplicar una prueba en español a población monolingue o con un bajo grado del manejo del español? • ¿Es confiable el sistema de detección de copia? ¿No es injusto darle el mismo tratamiento a la persona que copia que a la fuente de la información?

13. Principales características de las pruebas • Objetivas, estandarizadas, de opción múltiple. • Extensión: Entre 50 y 70 reactivos como máximo para cada asignatura-grado, suficiente para constituir una muestra representativa de los contenidos a evaluar en cada grado-asignatura. • Contenido: Responde al diseño explicitado en la matriz de especificaciones para cada asignatura-grado y se ajusta a los contenidos establecidos en los planes y programas de estudios oficiales vigentes. • Comparabilidad. cada año se evalúan en pretest los reactivos a utilizarse de manera operativa al año siguiente y permiten una referencia nacional. • Volatilidad alta, lo cual implica la necesidad de construir el mismo volumen de reactivos cada año. Elaboración de Reactivos • De acuerdo al Manual de Normas y Tablas de Contenidos y Especificaciones: Taller de Jueceo, piloteo y selección de reactivos

14. Temas y contenidos que se evalúan en ENLACE Básica • Asignaturas de Español, Matemáticas y en 2008, incluye Ciencias. • La tabla de contenidos es diseñada por la SubSecretaría de Educación Básica considerados como “prioritarios” de todo el plan y programas de estudio oficiales vigentes. La DGEP: • Contextualiza el contenido en los planes y programas de estudio. • Reflexiona sobre su importancia en el contexto escolar mexicano. • Revisa y reconoce los contenidos que colindan entre sí. • Analiza sus límites y ejecución deseable • Define su nivel de generalidad así como su nivel de dificultad.

15. Decidiendo qué evaluar... ver hacia atrás, hacia lo que se espera que los estudiantes hayan aprendido o… ver hacia adelante, hacia qué tan bien estos pueden extrapolar lo que han aprendido y aplicar sus conocimientos y habilidades a nuevos escenarios .

16. Métodos de calificación Toma como base una escala subyacente, basada en la Teoría de Respuesta al Item (TRI), utilizando el modelo de tres parámetros: adivinación, dificultad y discriminación. Valor en puntaje. Se asigna a cada alumno no sólo por la cantidad de respuestas correctas sino en base a cuáles se respondieron. Este valor se presenta de forma estandarizada. En una escala de 200 a 800 con media 500 y desviación estándar de 100 para cada grado-asignatura. Dado que la escala se establece para cada grado-asignatura, es incorrecto hacer comparaciones de estos puntajes entre niveles, asignaturas y grados diferentes

17. Calificaciones de ENLACE Valor en puntaje. • Se asigna a cada alumno un valor, considerando no sólo la cantidad de respuestas correctas sino su grado de dificultad. • Este valor se presenta para cada grado-asignatura en una escala entre 200 y 800 con una media de 500 y desviación estándar de 100. • Para 2006 la media fue de 500 puntos. Para 2007, los valores de las medias nacionales se incrementaron en todos los grados de ambas asignaturas de 500 a 504.7 como mínimo para 4º de español y hasta 513.7 para 3º de secundaria español • Un puntaje mayor a la media nacional de 500 puntos, se considera en el nivel de logro “bueno”. Mayor a los 670 se ubica en “excelente”. (La escala tradicional de calificación hace pensar que 500 es reprobado, 600 es suficiente y 700-800 es regular) por ello, el reporte de resultados en puntaje se acompaña siempre del nivel de logro

18. Escuelas primarias

19. Puntajes máximos y mínimos por escuela Secundarias

20. PUNTAJES MÍNIMOS Y MÁXIMOS POR GRADO-ASIGNATURA Y MODALIDAD EDUCATIVA

22. Niveles de Logro EXCELENTE BUENO ELEMENTAL INSUFICIENTE

23. Niveles de logro • Se ha construido partiendo de la calibración de los ítems y se identifican 4 niveles. • En cada nivel se establecen las competencias de los alumnos en un punto medio. • El contenido de estas competencias se obtiene a partir del análisis de las comunalidades de los ítems ubicados por debajo del primer punto de corte. Dentro de cada nivel se establecen tres subniveles con características similares. • Una vez calibrados los ítems se ordenan a partir de los valores del parámetro b (dificultad).

24. Más difícil Más fácil

25. Niveles de logro • Los especialistas determinan para cada materia y grado, a la vista de los contenidos curriculares de los ítems ordenados, dos puntos de corte. • El primero se establece identificando los contenidos mínimos que debe dominar un alumno en ese grado al término del curso. • El segundo se establece determinando que contenidos no deben ser dominados y todavía presentar un rendimiento satisfactorio.

26. Más difícil Primer punto de corte Más fácil

27. Más difícil Segundo punto de corte Primer punto de corte Más fácil

28. Más difícil Segundo punto de corte Primer punto de corte Más fácil Nivel 1

29. Más difícil Segundo punto de corte Primer punto de corte Más fácil Nivel 2 Nivel 1

30. Más difícil Segundo punto de corte Primer punto de corte Más fácil Nivel 3 Nivel 2 Nivel 1

31. Niveles de logro • Se establecen cuatro niveles de acuerdo al dominio de los conocimientos y habilidades evaluados en ENLACE, ubicando a cada alumno en uno de los cuatro niveles de logro, de acuerdo al grado de dificultad de las preguntas que contestaron correctamente. • El más bajo, Insuficiente, significa que el alumno necesita adquirir los conocimientos y desarrollar las habilidades de la asignatura evaluada (alumnos que obtienen en promedio entre 200 y 350 puntos) • Elemental, significa que el alumno requiere fortalecer la mayoría de los conocimientos y desarrollar las habilidades de las asignatura evaluada. (obtienen en promedio entre 350 y menos de 500 puntos) • Bueno, significa que el alumno muestra un nivel de dominio adecuado de los conocimientos y posee las habilidades de la asignatura evaluada. (Entre 500 y 650 puntos apro • El nivel más alto, Excelente, significa que el alumno posee un alto nivel de dominio de los conocimientos y las habilidades de la asignatrura evaluada. (más de 650 puntos)

32. Monitoreo anual Metas anuales considerando los resultados ENLACE 2007

33. ENLACE 2007 Cifras NacionalesPorcentaje de alumnos de primaria y secundaria por niveles de logro, grado y asignatura

34. Alcances y limitaciones de ENLACE Alcances: Permite realizar comparaciones, en una misma escala nacional, entre grupos de un mismo grado-asignatura de una misma escuela, entre escuelas de la misma modalidad educativa, región, zona, entidad o nacional, de resultados generados por grado-asignatura y compararlos a través del tiempo Limitaciones: • No es un examen que aprueba o reprueba o que pueda ser utilizado para emitir juicios de valor, calificar o descalificar la calidad de los servicios educativos de las escuelas, ya que no es una evaluación escuelas o maestros • Es una evaluación de bajo impacto (no es apta para la toma de decisiones administrativas o que beneficien o perjudiquen a los alumnos) • Dado que la escala se establece para cada grado-asignatura, es incorrecto hacer comparaciones de estos puntajes entre niveles, asignaturas y grados diferentes

35. Enfoque pedagógico de los resultados • Al docente se le proporciona porcentaje de sus alumnos que contestaron incorrectamente o correctamente cada pregunta. Se presentan recursos de enseñanza del tema evaluado. El reporte impreso contiene sugerencias y recomendaciones para apoyar a los alumnos así como orientar a los padres de familia para que estimulen a su hijo a lograr mejores resultados. • También proporciona orientación sobre fortalezas y debilidades de las prácticas docentes y posibles necesidades de capacitación. • Al Director de una escuela, información de todos los grupos del plante, para analizar resultados entre grupos de un mismo grado y asignaturas • A un Supervisor escolar, a realizar análisis de fortalezas y debilidades de las escuelas de su zona, principalmente aquellas cuyo capital cultura y condiciones socioeconómicas sean similares. Se sugiere promover intercambio de prácticas exitosas en las escuelas de la misma zona. • A un Jefe de Sector, a contar con información sobre los resultados obtenidos por los alumnos de las escuelas que pertenecen a una misma zona, pudiendo comparar resultados entre gados-asignaturas y focalizar esfuerzos realizando visitas a aquellas que merecen mayor atención

36. Fundamentos de los métodos de detección de copia • Basados en análisis de respuestas incorrectas • En principio, la copia de respuestas correctas es indetectable • Los métodos tratan de estimar la probabilidad de que los patrones de respuestas incorrectas, o incorrectas coincidentes de cada par de sujetos en un grupo se deba al azar

38. Objetivo de la detección de copia • Tratamos de maximizar: • Sensibilidad=Verdaderos Positivos/Total de Positivos • Especificidad=Verdaderos Negativos/Total de Negativos

39. Consideración final • Para cada etapa del proyecto se ha utilizado la metodología más avanzada disponible, de modo que se facilitase tanto la interpretación de los resultados como la precisión técnica necesaria para garantizar futuras comparaciones

40. Principales Cuestionamientos respecto a Reportes de Resultados y material de apoyo • ¿Qué material se enviará en 2008? • ¿Cómo los resultados de ENLACE pueden realmente apoyar la labor docente y directiva? • ¿Cómo puedo mejorar los resultados de mi escuela?

41. Control para accesar el resultado de un alumno en el Sistema de Consulta de Resultados

42. Contenido de los Reportes Reporte para padres de familia sobre los resultados de su hija(o) Reporte para docentes del grupo evaluado y del nuevo grupo sobre los resultados de los alumnos del grupo Cartel para la comunidad educativa. con los resultados de todos los alumnos evaluados de la escuela

43. Reporte para padres de familia o tutores Recomendaciones

44. Información 415 521 10 32 10 32

45. Reporte de la Escuela para la Comunidad Escolar Información comparativa por puntaje y nivel de logro por grado-asignatura 2006-2007 con escuelas del mismo tipo de la entidad y del país Porcentaje de escuela del mismo tipo por grado-asignatura que se encuentran por debajo de la escuela a nivel entidad y país.

46. ¿Cómo puedo mejorar los resultados de mi escuela? Realizar un ejercicio de identificación de las debilidades y fortalezas de la escuela, sus posibles causas y definir prioridades y un plan de acción. Principales insumos para realizar este ejercicio: • Diagnóstico de grupo que cada maestro de la escuela • Cartel de los Resultados de la escuela • Indicadores que identifican cómo inciden en los resultados educativos de la escuela factores de infraestructura y otras variables de contexto (resultado del análisis del cuestionarios de contexto aplicados con ENLACE) • El plan de acción deberá ser acordado por la comunidad educativa escolar, estableciendo un plan de seguimiento y evaluación de las metas que se establezcan.

47. Sistema de Consulta de Resultados 2008 www.enlace.sep.gob.mx

48. Sistema de Apoyo didáctico en el marco del programa ENLACE Modelo Auto-evaluación Escolar Diagnóstico de la escuela CURSOS DE CAPACITACIÓN • Talleres Generales de Actualización • Diplomado para el fortalecimiento del Español y las Matemáticas ESCUELA Diagnóstico del grupo • Libros de análisis de reactivos • Generador de exámenes. MAESTRO • Apoyos para el aprendizaje • a través de ligas con programas • PUEMAC “Proyecto Universitario de Enseñanza de las Matemáticas asistida por Computadora” UNAM-Sociedad Mexicana de Matemáticas • Chicos y Escritores F.C.E. • “Mi Ayudante” UPN-Sociedad Mexicana de Matemáticas. • “Programas para Escuelas Secundarias SIGLO XXI” Diagnóstico del Sistema Educativo Ejercicios y reforzamiento de temas educativos Diagnóstico del alumno ALUMNO

49. Materiales y reportes que se entregan en las escuelasLibros para docentes 2008 2008 2008 2008

50. ENLACE BÁSICA