Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE

1. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE La evaluación de la escritura en PSU-Lenguaje y Comunicación: estudios preliminares EXPERIMENTACIONES 2006-2007 DEMRE Jorge Hernández M. Comité de Lenguaje DEMRE - DICIEMBRE, 2009 -

2. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE CONCEPTOS BÁSICOS Lectura y Escritura: dos competencias fundamentales para el desempeño académico universitario. Habilidades Escriturales Por lo tanto, DESARROLLO Lectura y Escritura: resultado de Proceso de Enseñanza-Aprendizaje escolar. Prueba de selección universitaria: debe incluir ítemes para medir estas dos competencias (validez predictiva del desempeño académico). Comprensión Lectora BUEN DESEMPEÑO ACADÉMICO

3. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE Enseñanza media LENGUAJE Y COMUNICACIÓN MATEMÁTICA BATERÍA PSU NEM HISTORIA Y CIENCIAS SOCIALES CIENCIAS: BIOLOGÍA, FÍSICA, QUÍMICA VALIDEZ PREDICTIVA ALINEADAS MARCO CURRICULAR Ingreso educación superior • Problemas: • CMO no medibles con pruebas de lápiz y papel: oralidad. • CMO no medibles con preguntas de selección múltiple: redacción. Primer año universitario

4. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE

5. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE Revisión bibliográfica • Estudios DEMRE: Medición de la redacción, 1982 • Conclusiones: • “La medición de la redacción es un problema de gran complejidad que reside principalmente en la dificultad que preenta la definición y delimitación de los indicadores que se utilizan para realizarla (Afecta la confiabilidad).” • “La capacidad de redactar puede ser medida indirectamente evaluando conductas específicas que son sintomáticas de esa capacidad.” • “Hemos comprobado que los rasgos que suelen considerar en otros países para medir la capacidad de redactar (corrección idiomática respecto de las normas imperantes) no tienen aplicación en nuestro medio.”

6. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE Estudios DEMRE: Medición de la redacción, 1982 • Muestra: • Estudiantes de cuarto medio. • Elegidos al azar • Proporcional muestra experimental 1981. • Unidad de muestreo: cursos, elegidos en forma aleatoria proporcional. • Tipo de pregunta abierta: • texto de tema libre • extensión mínima de dos carillas • una hora de tiempo • Se seleccionaron aquellos textos en que predominaba el aspecto comunicativo, excluyendo literarios y de menor extensión.

7. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE

8. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE Revisión bibliográfica Estudios internacionales: SAT II Tipo de pregunta abierta: Ensayo. Instrucción: Presentar y apoyar un punto de vista sobre un tema específico. Tiempo: 25 minutos.

9. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE Revisión bibliográfica • Además, se acompaña de una sección de escritura con tres tipos de preguntas de opción múltiple: • Corrección de oraciones (25 preguntas) • Identificar errores oracionales (18 preguntas) • Corrección de párrafos (6 preguntas) • El ensayo mide la capacidad de: • desarrollar un punto de vista sobre un tema presentado en un extracto. • apoyar su punto de vista utilizando el razonamiento y ejemplos de su lectura, estudios, experiencias, observaciones o seguir las convenciones de la norma escrita inglesa.

10. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE Propuesta Comité LyC: Recopilar evidencia sobre pregunta abierta. PROPÓSITO: Posibilidad de incluir pregunta abierta como nuevo instrumento o como un ítem que forme parte de la actual batería para incrementar la validez predictiva. Condición: No incrementar la diferencia entre los grupos que rinden (variables).

11. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE • Características teóricas de la pregunta abierta: • Pregunta de respuesta breve (10 a 20 líneas) • Respuesta redactada debe corresponder a una forma textual (organización funcional discursiva v/s estructura textual). • Asociada a la lectura de un texto, para controlar el “efecto” de las experiencias de vida de los grupos al momento de redactar. • Vinculada a comprensión lectora, pero focalizada en la organización de ideas. • Textos elegidos: literarios y no literarios. • Textos de cualquier extensión, de preferencia medianos o extensos.

12. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE Año 2006 • Experiencia Exploratoria • Forma experimental 510 • Prueba de 80 preguntas cerradas, tipo PSU. • Incorporación de 2 preguntas de desarrollo asociadas a un texto que presenta preguntas cerradas. • Se solicita la redacción de dos tipos de textos: expositivo y argumentativo.

13. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE Año 2006 • Temas por resolver: • Disposición de los estudiantes. • Características adecuadas del texto base. • Características textuales de la respuesta. • Variable medida. • Relación entre preguntas cerradas y abiertas. • Logística del proceso de corrección.

14. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE Año 2006 • Experiencia Exploratoria • Características grupo de experimentación: • Muestra estratificada según variables de género, ubicación geográfica, dependencia y rama educacional. • Total de sujetos: 816 • Estudiantes de cuarto año de enseñanza media • Elegidos al azar

15. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE Por dependencia educacional Por género

16. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE Por Rama educacional Por ubicación geográfica

17. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE Año 2006: Experiencia Exploratoria • Proceso de corrección de preguntas abiertas: • Hojas corregidas: 1632 • Rúbrica Holística • Seis indicadores: comprensión, cohesión, planteamiento de ideas, estructura discursiva, registro discursivo y ortografía. • Doble corrección (consistencia 80%) • Generación de sistema informático • Conclusiones: • Probar rúbrica mixta: holística- analítica. • Eliminar indicador comprensión. • Concepto de corrección múltiple.

18. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE Año 2006 • Conclusiones obtenidas: • Buena disposición a contestar este tipo de ítem. • La omisión total fue de 51 estudiantes (6,3%). • Omisión de hojas: 102. • Omisión pregunta A o B: 62 estudiantes. • Los textos más adecuados son expositivos y argumentativos. • Puede existir diferencia entre el tipo textual de la instrucción y el tipo textual estímulo. • La pregunta abierta mide una variable diferente, por lo tanto, está referida a dimensiones diferentes.

19. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE • Conclusiones obtenidas: Correlación puntaje pregunta abierta y el puntaje secciones de la Prueba de Lenguaje y Comunicación: • Pretest: mayor covariación se produce con Comprensión de Lectura, seguida de Plan de Redacción, Uso de Conectores y Vocabulario. • Prueba Oficial: plan de Redacción, Comprensión de Lectura, Vocabulario y Uso de Conectores. • La independencia se ratifica con los resultados del Análisis de Regresión Múltiple y del Análisis Factorial, método de Componentes Principales.

20. Análisis factorial PRUEBA OFICIAL VS PREGUNTA ABIERTA. DOS FACTORES Varianza total explicada Método de extracción: Análisis de Componentes principales. Matriz de componentes rotados(a) Método de extracción: Análisis de componentes principales. Método de rotación: Normalización Varimax con Kaiser. a La rotación ha convergido en 3 iteraciones.

21. PRUEBA EXPERIMENTAL VS PREGUNTA ABIERTA. DOS FACTORES Varianza total explicada Análisis factorial Método de extracción: Análisis de Componentes principales. Matriz de componentes rotados(a) Método de extracción: Análisis de componentes principales. Método de rotación: Normalización Varimax con Kaiser. a La rotación ha convergido en 3 iteraciones.

22. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE

23. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE • Características de la aplicación 2007 • Prueba PSU: 80 preguntas • Incorporación de una pregunta abierta extensión mediana • Tipo de texto lectura: literario • Tipo de pregunta abierta: texto argumentativo, ajustado a estructura textual (carta) • Muestra: 1105 estudiantes • Estudiantes: Cuarto año de enseñanza media • Estratificada según variables

24. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE Año 2007 • Experiencia 2007 • Proceso de corrección de preguntas abiertas: • Hojas corregidas: 636 • Rúbrica Mixta: holística – analítica. • Cinco indicadores graduados en seis niveles. • Puntaje 0, diferente de omisión. • Doble corrección (consistencia 80%) • Prueba de sistema informático. • Validación de logística de corrección: tiempos, cantidad de correctores, formación de correctores.

25. TEXTO ESTÍMULO “Helena jamás volverá junto a Menelao. Un marido que para vengar su honor complica a tanta gente y a tantos dioses demuestra que tiene más amor propio que amor”. Marco Denevi, Helena y Menelao

26. INSTRUCCIÓN DE ESCRITURA • Después de leer el Texto 1 (“Helena y Menelao” de Marco Denevi), elija a uno de los dos personajes de la narración. • Asumiendo el rol de Helena o Menelao, escriba una carta personal al otro personaje, donde explique, tanto su propio actuar como el del otro. • En la redacción debe dar cuenta del formato o estructura de la carta, es decir, indicar fecha, destinatario, saludo, cuerpo del texto y despedida. Utilice, en la redacción, un vocabulario adecuado a la situación y una organización coherente de las ideas.

28. 25·Agosto·07 *Grecia Querido Menelao: Aún no comprendo el actuar que haz conllevado desde que nuestra relación comenzó a perdurar. Aún no comprendo porqué ese afán de priorizar el honor, tus batallas, antes que tu amada. Quiero que comprendas que yo siempre te he amado, en mi corazón perdurarás por siempre, pero esto; no puede continuar, se me escapó de las manos, tu actuar me rompe el corazón y por este motivo; no te amaré jamás, me haz dañado y tú por tu parte sigues amandote a ti mismo. Ojalá comprendas. Se despide Atte, Helena.

29. “HAZ” POR “HAS”: imprecisión semántica (indicador Elementos de cohesión). Construcciones sin sentido. Realizó una selección lexical “ultracorrecta” (indicador Utilización de registro y selección lexical). No cumple con el propósito de argumentar. Carece de hipótesis, argumentos y conclusiones. No existe la explicación de algún hecho, sino la exposición de un suceso sin determinar sus causas (Planteamiento de ideas). Tema no se ajusta a las indicaciones expuestas en la instrucción del ítem. Respuesta informa sobre el estado de la relación: se solicitó dar cuenta de los hechos que motivan el accionar de alguno de los personajes, desde la voz de uno de ellos (indicador “Adecuación al tema”). Uso correcto de conector adversativo. Uso de punto y coma interrumpe la oración tornándola incohesiva en su nivel interno (indicador elementos de la cohesión). Se ajusta a la silueta discursiva (indicador Estructura discursiva).

30. EVALUACIÓN

31. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE Experiencia 2007. Conclusiones. Hojas de respuestas válidas: 636 Omisión: 42%. Cambios en la estructura de la prueba: disminución de ítemes cerrados.

32. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE Año 2007 **. La correlación es significativa al nivel 0,01 (bilateral) *. La correlación es significante al nivel 0,05 (bilateral).

33. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE Año 2007

34. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE Año 2007

35. Universidad de Chile Vicerrectoría de Asuntos Académicos DEMRE • CONCLUSIONES FINALES • Pregunta abierta permite medir aspectos no contemplados en la estructura actual de la prueba. • Proceso de estudio y análisis de los resultados. • Etapa de decisiones operativas: mayor tiempo de corrección y formación de correctores. • Diseño instrumento para medición de la comprensión y producción textual que pueda servir como prueba complementaria a la PSU. • Instrumento CODICE será aplicado a los estudiantes matriculados en la Universidad de Chile para realizar estudios de seguimiento y validez predictiva.