Lineamientos técnicos para la elaboración de REACTIVOS objetivos

1. Lineamientos técnicos para la elaboración de REACTIVOS objetivos SLP-2008 INSTITUTO DE EVALUACION E INGENIERIA AVANZADA, S.C. Otros productos y servicios: www.ieesa-kalt.com Correo electrónico: ici1@prodigy.net.mx

2. Objetivo general Conocer los lineamientos técnicos necesarios para la elaboración de reactivos de conocimientos que permitan estructurar pruebas validas, objetivas y confiables.

3. Objetivos específicos • Hacer el diseño de una prueba de Conocimientos y definir sus objetivos • Elaborar la Tabla de Validez de Contenido de una prueba de conocimientos • Redactar reactivos que correspondan a los niveles de complejidad y a las áreas temáticas establecidas en una Tabla de Validez de Contenido • Redactar reactivos conforme a lineamientos técnicos preestablecidos

4. Atributos de la evaluación Pruebas objetivas

5. ¿Qué es la evaluación? Elegir una escala y un instrumento de medición acorde a la escala Comparar a los miembros de una población respecto a la escala Ordenar y ubicar a los elementos de la población Emitir juicios valorativos de la población y de sus elementos Emitir juicios valorativos respecto a la escala elegida y respecto a los instrumentos utilizados La evaluación es un proceso Que a su vez, forma parte de un proceso mayor.

6. FINALIDAD Es conveniente definir de la prueba: ¿A quién esta dirigida la prueba? y ¿para qué se evalúa?

7. Atributos de la evaluación La evaluación debe contar con tres atributos, compartidos con el concepto de escala y el diseño de los instrumentos de medición, en el orden VOC: Validez  Objetividad  Confiabilidad

8. VALIDEZ El instrumento recoge evidencias que se relacionan directa y exclusivamente con la competencia del sustentante o propósito que se pretende

9. VALIDEZ

10. OBJETIVIDAD No produce divergencias de opinión entre diversos evaluadores, en un mismo evaluador a lo largo del tiempo o entre el evaluador y el evaluado. El instrumento es independiente del sujeto

11. OBJETIVIDAD

12. CONFIABILIDAD Precisión del instrumento para conducir al mismo dictamen de competencia, consistente en el tiempo, entre versiones o aplicaciones

13. CONFIABILIDAD

14. CONFIABILIDAD

15. Elaboración de Tabla de Validez de Contenido TVC

16. TABLAS DE VALIDEZ DE CONTENIDO (TVC) La validez es el primer aspecto que debe cubrir una prueba. La TVC especifica las proporciones y pesos de los reactivos que engloba una prueba o evento de evaluación. Para construirla se deberán seguir estos pasos (p.46):

17. PASO 1 Determinar qué contenidos temáticos se evaluarán mediante exámenes escritos, cuáles otros con trabajos, con observación, con actividades de laboratorio o manuales, etc., de acuerdo a los contenidos del programa, a la dosificación de contenidos y a su importancia.

18. PASO 2 La TVC debe diseñarse en forma de tabla o matriz, con los temas y subtemas en los renglones y los niveles de complejidad o niveles taxonómicos cognitivos, afectivos o psicomotores en las columnas.

19. ELABORACIÓN DE LA TVC

20. PASO 3 Asignar las proporciones de reactivos que deberá tener cada tema de la dosificación. Normalmente no se distribuyen los reactivos en forma proporcional al número de temas sino de acuerdo con otros criterios, de modo que la proporción responda a: 1) la pertinencia del tema dentro del programa, 2) la importancia en la práctica profesional o académica, 3) al tiempo empleado en su enseñanza, 4) al tiempo empleado en el aprendizaje, 5) las aplicaciones dentro de la misma materia, y 6) las aplicaciones en materias que el alumno cursa en paralelo, concurrentes o subsecuentes en el plan de estudios.

21. PASO 4 La muestra de reactivos que se empleen en la prueba debe estar equilibrada de acuerdo con los contenidos, conductas y objetivos asignados, de tal modo que el programa completo represente el 100% a evaluar. El número de reactivos se elegirá en función de tiempo disponible para el examen y del error de diseño que posteriormente se desee tener en la prueba.

22. PASO 5 Se sugiere que todos los reactivos tengan el mismo peso. Los temas con mayor peso deberán contener más reactivos, en lugar de un reactivo que proporcione todo el peso.

23. TAXONOMÍA DEL DOMINIO COGNITIVO DE BLOOM La taxonomía de Bloom (1956) parte de la idea de describir los procesos de pensamiento desde niveles inferiores (asociados con la memoria y la evocación), hasta pensamiento de alto orden (análisis, síntesis y evaluación). Sus seis categorías o niveles involucran a su vez cuatro criterios.

24. CRITERIOS DE LA TAXONOMÍA DEL DOMINIO COGNITIVO DE BLOOM • Pedagógico • Psicológico • Lógico inclusivo • Objetivo

25. NIVELES DE LA TAXONOMÍA DEL DOMINIO COGNITIVO DE BLOOM

26. 1. CONOCIMIENTO Comportamientos y aprendizajes con base en el recuerdo de ideas, objetos o fenómenos, ya sea como reconocimiento o evocación.

27. 2. COMPRENSIÓN Capacidad para proporcionar respuestas que indican que un mensaje se ha comprendido y que puede transformarse o parafrasearse.

28. 3. APLICACIÓN • Capacidad para transferir la información o conceptos a condiciones diferentes a las que se tuvieron en la instrucción. Considera el manejo de métodos propios para resolver un problema, disponer de actitudes apropiadas ante un trabajo intelectual, confianza en sí mismo y control de las reacciones. • En este caso no se incluyen aspectos ejecutivos sensoriomotrices, mismos que se asocian con destrezas que deben ubicarse en el dominio psicomotor.

29. 4. ANÁLISIS Capacidad para fragmentar un objeto o material en sus partes constitutivas, determinar las relaciones entre ideas o partes y comprender de qué manera están relacionadas. Incluye distinguir entre hechos e hipótesis, identificar conclusiones y sus razones para sustentarlas, separar el material pertinente del accesorio, identificar la presencia de postulados supuestos no explícitos, diferenciar las ideas dominantes de las subordinadas, etc.

30. 5. SÍNTESIS Capacidad para reunir los elementos y las partes de diversos orígenes para formar un todo coherente. Este proceso obliga a trabajar con ideas, partes o elementos y combinarlos para que constituyan una estructura que antes no estaba presente, combinar partes de experiencias previas con materiales nuevos, para integrarlos en un todo. Incluye a la producción original de productos de aprendizaje y al proceso creador.

31. 6. EVALUACIÓN Capacidad para formular juicios de valor, cualitativos o cuantitativos, sobre ideas, objetos, obras, soluciones, métodos, materiales, etc. Involucra el uso de criterios y normas para establecer la medida en que los elementos particulares son pertinentes, exactos, efectivos, económicos o satisfactorios. Esta toma de decisiones puede hacerse con un criterio propio o por medio de un criterio dado.

32. Resumen de la taxonomía

33. Resumen de los pasos de la TVC Determinar qué contenidos temáticos Elegir una taxonomía a emplear Elaborar una tabla o matriz, con los temas y subtemas en los renglones y los niveles de complejidad o niveles taxonómicos Establecer el nivel taxonómico para cada uno de los temas Asignar las proporciones de reactivos que deberá tener cada tema La información contenida en la TVC debe representar el 100% a evaluar

34. Elaboración de reactivos de opción múltiple Lineamientos técnicos

35. ESTRUCTURA DE LOS REACTIVOS DE OPCIÓN MÚLTIPLE La base es el enunciado que presenta la situación problema planteada explícita o implícitamente en una pregunta, afirmación o enunciado incompleto. Las opciones se entienden como las posibles respuestas, entre las cuales sólo una corresponde a la respuesta correcta del enunciado o pregunta y las otras son respuestas incorrectas llamadas distractores, pero que forman parte del mismo campo de conocimiento.

36. ESTRUCTURA DE LOS REACTIVOS DE OPCIÓN MÚLTIPLE Puede haber también instrucciones que se acostumbran colocar antes del enunciado o entre la base y las opciones; estas instrucciones proporcionan indicaciones pertinentes para resolver el reactivo o la forma en que se debe presentar la respuesta por parte del examinado.

37. ESTRUCTURA DE LOS REACTIVOS DE OPCIÓN MÚLTIPLE

38. REDACCIÓN Emplear un lenguaje sencillo, libre de elaboraciones excesivas y acorde al nivel escolar y de maduración de los examinados Respetar el vocabulario técnico de la materia o área a evaluar Evitar errores gramaticales (de puntuación y de ortografía) y abreviaturas, así como el uso complicado de gerundios, participios, artículos y preposiciones Proporcionar únicamente la información necesaria, pero suficiente, y evitar dar conceptos o introducciones que roben tiempo de lectura Determinar primero la respuesta deseada y luego redactar la pregunta cuya respuesta no pueda ser mas que la deseada

39. CONTENIDO Tomar como referencia la tabla de validez de contenido Presentar en cada ejercicio un solo problema o idea que al ser contestado demuestre que el examinado ha alcanzado un objetivo determinado Elaborar reactivos con base en los aprendizajes importantes y significativos del contenido a evaluar Hacer reactivos independientes unos de otros; la información que se incluye en un ejercicio no debe sugerir la solución de otro ni depender de la respuesta anterior. Los reactivos interdependientes disminuyen la exactitud de una prueba y por lo tanto su validez

40. CONTENIDO • NO se debe: • Elaborar reactivos que evalúen sólo el sentido común del examinado • Preguntar contenidos intrascendentes o triviales • Aumentar la dificultad al emplear preguntas capciosas

41. BASE O ENUNCIADO Presentar solamente un problema central o contenido a medir. Cada estímulo debe presentar, por sí mismo, un problema que al ser resuelto permita demostrar que se ha alcanzado el objetivo determinado Incluir únicamente los elementos estrictamente necesarios para comprender el sentido correcto de la pregunta, de tal manera que ocultando las alternativas, se puede entender de qué trata el problema o pregunta Elaborar un esquema de indagación y no sólo una palabra o frase Dar una instrucción (implícita o explícita) por enunciado

42. BASE O ENUNCIADO Incluir términos que pertenecen a todas las opciones: artículos, palabras, frases, etcétera. Utilizar frases cortas, evitando los preámbulos que no contribuyan al mejor entendimiento. Redactar el enunciado en forma afirmativa, ya que la forma negativa tiende a tener menor validez. En caso de que sea necesario usar negaciones, resaltarlas con mayúsculas, negritas o subrayado.

43. BASE O ENUNCIADO • NO se debe: • Pedir como respuesta la opinión del examinado; en su lugar, referirla a un contexto (ejemplo: de acuerdo al autor o a tal teoría) • Sobrecargar el enunciado con material no pertinente por el deseo de seguir enseñando • Emplear términos que confundan o den claves para llegar a la respuesta correcta • Pedir que los reactivos tengan como respuesta correcta, una respuesta incorrecta • Usar las formas negativas como: NO y EXCEPTO (en caso de usarlas resaltarlas con mayúsculas, negritas o subrayadas) y no usar dobles negaciones • Emplear las formas absolutas, como son: NUNCA, SIEMPRE, COMPLETAMENTE, TOTALMENTE

44. INSTRUCCIONES En muchas pruebas se acostumbra dar instrucciones al inicio del cuestionario o de una sección, para evitar repetirlas en cada reactivo. La cantidad de instrucciones y el detalle que se desee ofrecer depende del propósito de la evaluación.

45. INSTRUCCIONES • Ejemplos: • A continuación aparece un texto seguido de preguntas basadas en su contenido. Después de leerlo, selecciona la respuesta que corresponda a cada pregunta (instrucción explícita). • Selecciona, entre las cinco opciones de respuesta, la palabra cuyo significado sea opuesto a EMIGRACIÓN: (instrucción explícita). • ¿Por qué número se tiene que dividir 80 para que el resultado sea 3/5? (instrucción implícita). • Indica cómo se expresa 40º en radianes (instrucción implícita).

46. OPCIONES DE RESPUESTA En todos los casos, dentro de las opciones de respuesta presentadas en un reactivo debe existir sólo una respuesta correcta, las demás opciones serán totalmente incorrectas y funcionarán como distractores.

47. OPCIONES DE RESPUESTA • La respuesta correcta debe: • Resolver el problema satisfactoriamente. • La redacción debe ser incuestionable y clara para no propiciar el tener dos o más respuestas igualmente correctas. • Hacer una construcción gramatical similar a la de los distractores, evitando que resalte. • Evitar que la respuesta correcta sea la más larga o la más corta, todas las opciones deben ser homogéneas en contenido y tamaño. • Evitar el uso de determinantes específicos que puedan dar una clave a los examinados como: estilo o semejanza entre enunciado y clave, asociación fonética o de forma gramatical entre una palabra importante en el enunciado y una palabra esencial en la alternativa.

48. OPCIONES DE RESPUESTA • Los distractores deben: • Ser plausibles, lógicos e igualmente aceptables que la respuesta correcta al planteamiento realizado, de manera que puedan confundir a los examinados que no tienen dominio del tema. • Tener concordancia gramatical y de contenido con la base. • Guardar entre sí un equilibrio coherente en su aspecto gramatical: sintaxis, género, número, tiempo verbal, tipo de contenido, etc. • Ser congruentes con el campo semántico de la base. • Evitar repetir información en cada opción, para ello es mejor incluirla en la base. • Ser diferentes y no se pueden emplear sinónimos. • Evitar ayudar a elegir la opción correcta, por indicios gramaticales o falta de credibilidad. • Presentar al azar, a menos que se requiera un orden cronológico o numérico.

49. OPCIONES DE RESPUESTA • Incluir, preferentemente, los errores de pensamiento que cometen los examinados con mayor frecuencia tratando de que parezcan verdaderos; no deben ser obvias porque reduce la capacidad de discriminación entre examinados que poseen el conocimiento, habilidad o dominio evaluado y los que no. • Prescindir de opciones como: "TODAS LA ANTERIORES", “NINGUNA DE LAS ANTERIORES", "NO SÉ", u otras que sólo representan la incapacidad de pensar en otras posibilidades. • Evitar las frases inadecuadas, ridículas o humorísticas. • Omitir las palabras que se encuentran en el enunciado, dentro de las opciones. • Presentar la misma extensión. • Presentar las opciones en una columna, no en fila ni en párrafo. • Ser escalas equidistantes cuando los reactivos piden respuestas numéricas de algún tipo. • Estar dispuestos al azar, con excepción de las alternativas numéricas o cronológico que se presentan de manera ascendente o descendente.

50. REACTIVO SIMPLE Es el planteamiento de un problema en forma sencilla; sin embargo, existen diversas formas de formular la base: interrogativa, imperativa, de completamiento y, de manera excepcional, negativa. La base puede incluir además del texto gráficas, imágenes, ecuaciones, esquemas, entre otros recursos, y las instrucciones deben aclarar el tipo de desempeño que se espera por parte del examinado.