L neas de investigaci n y estudios relacionados con resultados del egel
This presentation is the property of its rightful owner.
Sponsored Links
1 / 48

Líneas de investigación y estudios relacionados con resultados del EGEL PowerPoint PPT Presentation


  • 101 Views
  • Uploaded on
  • Presentation posted in: General

Líneas de investigación y estudios relacionados con resultados del EGEL. Rafael Hernández Director de los EGEL de Ciencias de la Vida y la Conducta. Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval) Dirección General Adjunta de los EGEL. 06-08 de diciembre de 2007

Download Presentation

Líneas de investigación y estudios relacionados con resultados del EGEL

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


L neas de investigaci n y estudios relacionados con resultados del egel

Líneas de investigación y

estudios relacionados con

resultados del EGEL

Rafael Hernández

Director de los EGEL de Ciencias de la Vida y la Conducta

Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval)

Dirección General Adjunta de los EGEL

06-08 de diciembre de 2007

Campeche, Campeche


Din mica de trabajo

Dinámica de trabajo

1ª sesión. Diciembre 6

12:30-13:10

Conferencia

13:10-13:30

Sesión de preguntas

13:30-14:00

Levantamiento de información (encuesta)

2ª sesión. Diciembre 7

9:30-10:00

Organización en mesas de trabajo

10:00-11:00

Discusión de la propuesta del Ceneval

11:00-12:00

Recopilación de sugerencias y observaciones de las IES usuarias por grupo de trabajo

12:00-12:30

Presentación de conclusiones por mesa


L neas de investigaci n y estudios relacionados con resultados del egel

Contenido

  • Conceptos y preguntas en torno a la investigación educativa

  • Reportes del Ceneval:

    • Resultados de los sustentantes en Índice Ceneval

    • Bases de datos con variables de contexto

    • Informe anual de resultados

  • Orientación de la investigación

  • Cuestionarios de contexto del Ceneval


L neas de investigaci n y estudios relacionados con resultados del egel

Medir o evaluar, ¿ese es el dilema?

Cuando una institución aplica un EGEL, cuenta los testimonios satisfactorios y sobresalientes que obtienen sus estudiantes y compara sus resultados con los de otras instituciones (y los reporta en los PIFI, procesos de acreditación, etc.),¿está haciendo evaluación?

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto


L neas de investigaci n y estudios relacionados con resultados del egel

¿Los resultados de los sustentantes son atribuibles al contexto, a los individuos, al profesor, o a las instituciones?

¿Cuál es la contribución de la planta docente y de la escuela al proceso de aprendizaje del estudiante?

¿Se puede medir la eficacia educativa?

¿Puede el EGEL ayudarme a conocer la eficacia de mi programa académico o institución?

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto


L neas de investigaci n y estudios relacionados con resultados del egel

¿Qué debo buscar cuando se analizan los resultados de una evaluación?

¿Las deficiencias o los logros?

¿Se puede hacer evaluación e investigación educativa sin jerarquizar a las instituciones y sin generar resentimientos?

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto


L neas de investigaci n y estudios relacionados con resultados del egel

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto

Reportes

  • Resultados de los sustentantes en Índice Ceneval

  • Testimonios de desempeño

    • Satisfactorio

    • Sobresaliente

  • Bases de datos con variables de contexto (información de la hoja de registro)

  • Informe anual de resultados


Reporte de resultados egel

Reporte de resultados EGEL


L neas de investigaci n y estudios relacionados con resultados del egel

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto

Dos tipos de exámenes: EXANI y EGEL

Dos tipos de escala diferentes con un mismo nombre:

Índice Ceneval

EXANI

Examen referido a la norma

EGEL

Examen referido al criterio


L neas de investigaci n y estudios relacionados con resultados del egel

Calificación de los EXANI

Índice Ceneval

Número de aciertos

% aciertos

0

700

0

850

30

25

60

50

1000

1150

75

90

120

100

1300


L neas de investigaci n y estudios relacionados con resultados del egel

Calificación de los EGEL

Escala Ceneval

Examen 1

% rc

Examen 2

% rc

No satisfactorio

700

0

0

Pto. corte

Satisfactorio

Pto. corte

40

Pto. corte

1000

48

60

Sobresaliente

Pto. corte

1150

94

1300

100

100


Base de datos con variables de contexto informaci n de la hoja de registro

Base de datos con variables de contexto (Información de la hoja de registro)


L neas de investigaci n y estudios relacionados con resultados del egel

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto


L neas de investigaci n y estudios relacionados con resultados del egel

Objetivo de la investigación

Marco teórico de la investigación

Escala de medición de las variables

Representatividad de la muestra y alcances del estudio

Características de la población sustentante

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto

Condiciones necesarias para el desarrollo de estudios sobre el EGEL


Investigaci n educativa

Investigación educativa

Estudios comparativos

Estudios predictivos

Estudios explicativos

Estudios sobre eficacia

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto


Estudios comparativos

Estudios comparativos

Contrastar valores respecto de:

Proporción o % de sustentantes por arriba del punto de corte

Proporción o % de testimonios

versus:

Referentes o parámetros internos de la institución

Referentes similares, regionales, nacionales e internacionales

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto


Estudios comparativos1

Estudios comparativos

Supuestos:

  • Medidas comparables en las variables bajo estudio (equivalentes)

  • Población igualada en las variables importantes

  • Escuelas similares


Comparaci n de niveles de desempe o por instituci n

Comparación de niveles de desempeño por institución


L neas de investigaci n y estudios relacionados con resultados del egel

Se orientan a predecir el éxito académico que tendrán los estudiantes en ciclos escolares posteriores o en el desempeño laboral.

Se requiere tomar mediciones de las variables en diferentes tiempos.

  • Estudios predictivos

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto


L neas de investigaci n y estudios relacionados con resultados del egel

Participantes:

590 egresados de la ULSA sustentantes del ENERAM 2001-2003

Variables:

Promedio de la carrera

Resultado en el EGEL

Curso AMLS (Actualización Médica La Salle)

Hospital del internado

Lugar del servicio social

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto

Félix, O. A. y Ahumada, A. M. Desempeño de los egresados de la ULSA en el ENARM* (2001-2003).

  • *ENARM = Examen Nacional de Aspirantes a Residencias Médicas


L neas de investigaci n y estudios relacionados con resultados del egel

Ceneval. (2004). El EGEL-Medicina. El mejor predictor para el examen de residencias médicas.Este País, Noviembre, p47-50

Aspirantes

11.6%

Desempeño académico

NS= No satisfactorio DS= Desempeño Satisfactorio DSS= Desempeño Sobresaliente


L neas de investigaci n y estudios relacionados con resultados del egel

Pérez, G.J.A. y Martínez, P.J.H. (2006). Modelos de predicción del desempeño de estudiantes de licenciatura sujetos a instrumentos de evaluación.Revista Iberoamericana de Educación. Número 39/7.

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto

Objetivo:

Pronosticar el desempeño de 155 sustentantes del EGEL egresados del programa de Ingeniería Civil de la UASLP


L neas de investigaci n y estudios relacionados con resultados del egel

Resultados:

137 sustentantes (88.4 %) obtuvieron pronóstico positivo, al correlacionar de manera satisfactoria los resultados; índice de desempeño establecido (70%) y calificaciones arriba de 1000 puntos en el índice Ceneval.

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto


L neas de investigaci n y estudios relacionados con resultados del egel

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto

  • Estudios explicativos

  • Se orientan a generar modelos que dan cuenta de la influencia de variables personales, económicas, escolares o sociales sobre el aprendizaje.

  • Pueden utilizarse diseños longitudinales o cortes transversales.


L neas de investigaci n y estudios relacionados con resultados del egel

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto

Hernández, J., Márquez, A. y Palomar, J. (2006). Factores asociados con el desempeño académico en el EXANI-I: zona metropolitana de la ciudad de México 1996-2000. Revista Mexicana de Investigación Educativa,11, 547-581.

Objetivo:

  • Identificar el impacto de variables socioeconómicas y educativas sobre el rendimiento académico de sustentantes del EXANI-I, así como la estructura de relaciones que se establecía entre las diversas variables consideradas.


L neas de investigaci n y estudios relacionados con resultados del egel

Aciertos obtenidos por los sustentantes según la escolaridad de la madre y el ingreso familiar mensual


L neas de investigaci n y estudios relacionados con resultados del egel

Encuesta sobre Igualdad de Oportunidades Educativas, (EEOS) conocida como:

El Reporte Coleman (Coleman et al., 1966)

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto

  • Eficacia y mejora


L neas de investigaci n y estudios relacionados con resultados del egel

Evolución de la efectividad escolar, indicadores escolares y la rendición de cuentas para la mejora educativa

Rendición de cuentas

Encuesta sobre Igualdad de Oportunidades Educativas (EEOS)

(El Reporte Coleman, 1966)

Acciones para la mejora educativa

Indicadores escolares

Efectividad escolar

Procesos educativos

Productos

Susan Kochan, 2007

CharlesTeddlie and Susan Stringfield, 2007


L neas de investigaci n y estudios relacionados con resultados del egel

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto

  • Efectividad escolar

  • Legados de la Investigación sobre efectividad escolar:

    • Bajo condiciones apropiadas, todos los estudiantes pueden aprender.

    • El valor agregado sobre el estigma ESE (SES).

    • El bajo desempeño escolar no es sólo un problema individual del estudiante o su familia.

    • Las mejores instituciones están mejor integradas (estructuralmente, simbólicamente y culturalmente), que las menos efectivas.

      Tony Townsend, 2007


Fuentes y estimado de explicaci n de la varianza en el desempe o de los estudiantes

Fuentes y % estimado de explicación de la varianza en el desempeño de los estudiantes


L neas de investigaci n y estudios relacionados con resultados del egel

De las hojas de registro a los cuestionarios de contexto

Lucía Monroy Cazorla

Directora General Adjunta Técnica y de Investigación

Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval)

06-08 de diciembre de 2007

Campeche, Campeche


L neas de investigaci n y estudios relacionados con resultados del egel

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto

Los cuestionarios de contexto: una definición

  • Son instrumentos de medición que se aplican para obtener información y hacer inferencias cuantitativas acerca de la población.

  • A diferencia de los exámenes, en un cuestionario de contexto no existen respuestas correctas e incorrectas.


L neas de investigaci n y estudios relacionados con resultados del egel

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto

Características

Un cuestionario bien diseñado debe generar información:

  • Válida. Las variables que se incorporan responden a definiciones claras de lo que se pretende medir.

  • Confiable. Las mediciones deben ser consistentes, por lo que cambios en las puntuaciones deben reflejar cambios en la situación de los respondientes. Los resultados de los cuestionarios deben ser reproducibles en poblaciones similares.

  • No sesgada. Las mediciones deben presentarse a los respondientes de forma tal que no favorezcan a grupos de la población.


L neas de investigaci n y estudios relacionados con resultados del egel

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto

Las hojas de registro: motivos de cambio

  • Bajo impacto. Eliminación de variables que no están consistentemente asociadas con el logro académico.

  • Cuestiones metodológicas. Cambios en las variables que presentan baja tasa de respuestas o producen respuestas inverosímiles.

  • Diseño inapropiado. El formato de algunas preguntas generaba confusión entre las categorías de respuesta.

  • Baja utilidad. Variables que no han sido utilizadas en los reportes que produce el Ceneval.


L neas de investigaci n y estudios relacionados con resultados del egel

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto

Las hojas de registro: estructura 2007


L neas de investigaci n y estudios relacionados con resultados del egel

Proponer modelos de explicación sobre el rendimiento escolar de los alumnos en diferentes asignaturas y grados escolares.

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto

Los nuevos cuestionarios de contexto: utilidad

Describir a la población sustentante del examen.

1

Contextualizar las medidas obtenidas en las pruebas de logro académico.

2

3


L neas de investigaci n y estudios relacionados con resultados del egel

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto

Los nuevos cuestionarios de contexto: supuestos

  • Responder a los propósitos de la medición.

  • Cada una de las preguntas debe ser útil y pertinente para lograr el objeto de medición.

  • Los constructos explorados deben incorporar variables manifiestas acordes con la definición conceptual.

  • La escala de medición de las variables debe corresponder a la definición del constructo que se mide y corresponder de manera natural a la pregunta.

  • Los modelos estadísticos para el análisis de los datos deben contemplar la métrica de las variables manifiestas y de los constructos definidos.


L neas de investigaci n y estudios relacionados con resultados del egel

Definir el propósito de la evaluación.

Revisar el estado actual del conocimiento.

Determinar el perfil de los investigadores que conformarán el Consejo Técnico del Cuestionario.

Determinar el diseño del estudio y los requerimientos para la aplicación.

Seleccionar las variables que se incorporarán.

Construir el instrumento.

Analizar el instrumento con grupos focales.

Realizar un estudio piloto del instrumento en poblaciones similares.

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto

Proceso de construcción de los nuevos cuestionarios


L neas de investigaci n y estudios relacionados con resultados del egel

Revisar los resultados del piloteo y conformar las versiones definitivas.

Aplicar el instrumento.

Leer y elaborar las bases de datos.

Analizar el comportamiento de las preguntas.

Elaborar los indicadores de los constructos medidos.

Elaborar los perfiles descriptivos de la población.

Generar modelos explicativos del aprendizaje (mediano plazo).

Difundir los resultados.

  • Conceptos y preguntas

  • Reportes del Ceneval

  • Investigación:

  • - Comparativos

  • - Predictivos

  • - Explicativos

  • Eficacia

  • Cuestionarios de Contexto

Proceso de construcción de los nuevos cuestionarios

40


L neas de investigaci n y estudios relacionados con resultados del egel

Consejo Técnico

41


L neas de investigaci n y estudios relacionados con resultados del egel

Cuestionarios de contexto elaborados en 2007

  • Directores

    • SEP

  • Docentes

    • SEP

  • Sustentantes

    • EXANI I, II, III

    • EGEL

    • Exámenes SEP


L neas de investigaci n y estudios relacionados con resultados del egel

Estructura de los nuevos cuestionarios

  • Descriptivas

  • Personales

  • Escolares

  • Sociales

  • Recursos no-cognitivos

  • Capital cultural familiar

  • Capital socio-económico familiar

  • Calidad de la escuela de procedencia

  • Recursos cognitivos: cómputo e inglés

  • Comportamientos de riesgo

  • Clima escolar

  • Influencia de los pares

Módulo

básico

Módulo

investigación

Módulo

temporal


L neas de investigaci n y estudios relacionados con resultados del egel

Estructura

Cuestionario de Contexto para sustentantes del EGEL

Módulo Temporal


L neas de investigaci n y estudios relacionados con resultados del egel

Estructura

Cuestionario de Contexto para docentes

Elaborado para SEP


L neas de investigaci n y estudios relacionados con resultados del egel

Estructura

Cuestionario de Contexto para directores

Elaborado para SEP


L neas de investigaci n y estudios relacionados con resultados del egel

Encuesta

47


L neas de investigaci n y estudios relacionados con resultados del egel

Muchas Gracias

Lucía Monroy Cazorla

Directora General Adjunta Técnica y de Investigación

[email protected]

Rafael Hernández

Director de los EGEL de Ciencias de la Vida y la Conducta

[email protected]


  • Login