PROFESORA : Mª Teresa Sanz de Acedo Baquedano

1. MÉTODOS, DISEÑOS Y TÉCNICAS DE INVESTIGACIÓN PSICOLÓGICA Curso 2009-10 PROFESORA: Mª Teresa Sanz de Acedo Baquedano

2. TEMA 3. Los instrumentos de medición psicológica. I: Construcción y aplicación

3. TEMA 3: LOS INSTRUMENTOS DE MEDICIÓN PSICOLÓGICA I: CONSTRUCCIÓN Y APLICACIÓN 1.- Introducción 2.- Objetivo del test 2.1. Variables de interés 2.2. Población diana 2.3. Utilización prevista 3.- Especificación del test 3.1. Contenido 3.2. Formato 3.3. Longitud 3.4. Características psicométricas

4. 4.- Confección de los ítems 4.1. Recomendaciones generales 4.2. En el dominio cognitivo 4.3. En el dominio no cognitivo 4.4. Revisión de los ítems 5.- Confección de la prueba 5.1. Instrucciones de administración 5.2. Formato de presentación de la prueba 5.3. Formato de registro de las respuestas 6.- Aplicación de la prueba 7.- Puntos básicos, Ejercicios, Soluciones, Bibliografía, Lecturas y Material complementario

5. Comprender la lógica que permite pasar del plano teórico al plano empírico en el proceso de medición psicológica. O B J E T I V O S D E L T E M A Conocer las etapas para la construcción de un instrumento de medida. Entender las distintas estrategias que permiten representar empíricamente el constructo o característica que se desea medir. Conocer los tipos de ítems más frecuentemente utilizados.

6. Saber cuáles son las reglas básicas que hay que seguir para escribir buenos ítems o preguntas. O B J E T I V O S D E L T E M A Conocer las distintas posibilidades de administración de una prueba. Saber de qué posibilidades se dispone para pilotar una prueba.

7. 1.- Introducción

8. Este tema se ocupa de la construcción y aplicación de pruebas o tests que nos permiten pasar: Del plano teórico, en el que se encuentran los constructos que deseamos medir al plano empírico, en el que lo que tenemos son ya respuestas directamente observables (las respuestas de los sujetos a los ítems del test)

9. Figura 2.1. EL PROCESO DE MEDICIÓN PSICOLÓGICA Representación formal de modelos PLANO MATEMÁTICO Representación formalizada del modelo y representación numérica de los indicadores empíricos PLANO TEÓRICO Incluye conceptos subyacentes inobservables Representación empírica de los constructos Representación numéricas de los indicadores PLANO EMPÍRICO Objetos, eventos y propiedades, indicadores empíricos

10. LA CONSTRUCCIÓN DE UNA NUEVA PRUEBA O TEST OBJETIVO DEL TEST ESPECIFICACIÓN DEL TEST CONFECCIÓN DE LOS ITEMS CONFECCIÓN DEL TEST

11. 2.- Objetivo del test

12. La primera fase en la construcción de un instrumento de medida es la DEFINICIÓN CLARA DEL OBJETIVO que se persigue con ese nuevo test, lo cual supone responder: 2/¿A quién se va a medir? POBLACIÓN DIANA 1/ ¿Qué se va a medir con el test? VARIABLE DE INTERÉS 3/ ¿Qué se pretende? UTILIZACIÓN PREVISTA

13. Hay que tomar dos decisiones: Si se va a medir una variable manifiesta o latente Si se trata de una variable cognitiva o afectiva (no cognitiva) VARIABLE MANIFIESTA El absentismo escolar VARIABLE LATENTE COGNITIVA El rendimiento académico VARIABLE LATENTE NO COGNITIVA La actitud de los alumnos a los grupos minoritarios

14. La consideración de la POBLACIÓN DIANA a la que va dirigida la prueba es una cuestión decisiva que deber ser claramente explicitada al formular el objetivo de la misma, ya que ésta definirá en parte las características que ha de tener la prueba. Por ejemplo: no se puede evaluar con la misma prueba el rendimiento académico de los niños al comenzar y al finalizar la educación secundaria.

15. Funciones desempeñadas por los test (Tabla 3.1 de la pág. 100) Descripción/ Información Diagnóstico Consejo Selección Clasificación Certificación

16. 3.- Especificación del test

17. 3. ESPECIFICACIÓN DEL TEST • ¿Qué tipo de ítems se van a utilizar en el test? FORMATO • ¿Cuál va a ser el contenido del test? CONTENIDO • ¿Qué propiedades métricas ha de mostrar? CARACTERÍSTICAS PSICOMÉTRICAS • ¿Cuántos ítems debe tener la prueba? LONGITUD

18. 3.1. CONTENIDO DEL TEST • Para ello, hay que identificar las conductas que se pueden utilizar como indicadores empíricos de la variable o constructo que se desea medir (pasar del plano teórico al plano empírico). • Teniendo en cuenta a quién se dirige la prueba y para qué se va a utilizar, lo primero que ha de hacer el constructor del test es representar empíricamente la característica o constructo que se desea medir. • La situación ideal sería que dicho constructo forme parte de un modelo teórico de cuya formulación se derive directamente la representación empírica del mismo. En Psicología no son muy frecuentes estos modelos. • Por eso, Crocker y Algina (1986) proponen seguir alguna de las estrategias que nombraremos a continuación.

19. Crocker y Algina (1986) Análisis de contenido Muestro del dominio del ítem Revisión bibliográfica Objetos de la instrucción Opinión de expertos Incidentes críticos Observación natural

20. La aproximación, más habitual, la que utilizan, por ejemplo, las empresas de tests más importantes de EEUU es la conocida como: Tabla de especificación se utiliza sobre todo para construir pruebas que miden variables latentes en el ámbito cognitivo

21. Las columnas indican distintas áreas de contenido relevantes para el constructo en cuestión. T A B L A D E E S P E C I F I C A C I Ó N Las filas indican las distintas operaciones o procesos cognitivos implicados en la resolución de las tareas planteadas por las preguntas o ítems de la prueba (Figura 3.2. Taxonomía de Bloom) Las celdillas indican el porcentaje de ítems que tiene que haber en la prueba que midan el área de contendido de la columna en cuestión y cuya resolución ponga en marcha el proceso cognitivo de la fila correspondiente.

22. Tabla 3.2. Ej de una tabla de especificación de rendimiento en Matemáticas

23. 3.2. FORMATO DEL TEST VARIABLE COGNITIVA VARIABLE NO COGNTIVA • Dos grandes categorías: 1/ Los que exigen que el sujeto seleccione una o varias opciones de entre las propuestas. 2/ Los que requieren que el sujeto construya o elabore la respuesta. • Dos tipos de ítems: 1/ Los ítems de respuesta abierta 2/ Los ítems de respuesta cerrada o escalas de valoración (escalas de categorías y listados).

24. ÍTEMS DE ELECCIÓN Á M B I T O C O G N I T I V O TRES TIPOS: Ítems de elección múltiple, ítems de elección binaria e ítems de emparejamiento EJEMPLOS: Página 105 del libro.

25. ÍTEMS DE CONSTRUCCIÓN Á M B I T O C O G N I T I V O DOS TIPOS: De respuesta corta o de completar y de respuesta extensa. Ítems de valoración de la actuación (pj. El portafolio) EJEMPLOS: Página 106 del libro.

26. ¿Qué tipo de ítem utilizar en cada caso? No hay respuestas unívocas. Depende de la variable que se desea medir y de cómo se haya representado empíricamente dicha variable. Indicación general: • Ítems de elección y de respuesta corta (procesos cognitivos como adquirir conocimientos, su comprensión y aplicación) • Ítems de respuesta extensa (procesos como el análisis, la síntesis y la evaluación)

27. La recomendación general sería trabajar con el tipo de ítem que proporcione la medida más directa de aquello que queremos medir. Gronlund (1991) recomienda en igualdad de condiciones optar por los ítems de elección (debido a su mayor cobertura de contenido). Aunque en la última década los ítems de construcción han suscitado mucho interés (evaluar conocimientos de orden superior; interés educativo por la evaluación formativa; etc.). Ver Tabla 3.3. (pág. 107).

28. Los ítems de respuesta abierta: en los que el sujeto escribe directamente su respuesta. ÁMBITO NO COGNITIVO Los ítems de respuesta cerrada: en los que el sujeto responde eligiendo (una de) entre las distintas opciones propuestas. Se denominan escalas de valoración LAS ESCALAS DE CATEGORÍAS LOS LISTADOS

29. ESCALAS DE VALORACIÓN 2/ LOS LISTADOS Un conjunto o lista de términos, frases o afirmaciones relativas a un objeto (sujeto, hecho o idea), en los que la tarea del sujeto se reduce a marcar con una cruz los elementos de la lista que en su opinión sean aplicables al objeto que se está valorando (ejemplo en pág.111). 1/ LAS ESCALAS DE CATEGORÍAS Ítems formados por un enunciado y un conjunto de categorías, donde se pide al sujeto que se posicione respecto a algo (sujeto, objeto, idea, etc.), que examine sus opiniones y los sitúe en la categoría apropiada. TABLA 3.4. (pág. 110)

30. LOS LISTADOS Y LAS CATEGORÍAS DE VALORACIÓN VENTAJAS DESVENTAJAS • Resultan sencillos, baratos y precisos al describir o evaluar a una persona. • Fáciles de construir, administrar puntuar y versátiles en sus aplicaciones. • Se pueden utilizar para evaluarse a uno mismo (autoinformes). • No es conveniente cuando se desea obtener información sobre una situación compleja o si se está interesado en saber qué piensan realmente los sujetos de un tema particular.

31. 3.3.- LONGITUD DE LA PRUEBA • Es importante tener en cuenta para qué se va a utilizar el test (pj.: para tomar una decisión importante o para ver el progreso educativo de un niño). • La longitud y la fiabilidad de una prueba están directamente relacionadas, de forma que cuanto más larga es la prueba más fiable resulta (desventajas: los efectos de la fatiga y la pérdida de motivación del sujeto). • Una forma de operar es decidir cuál es el número mínimo deseable de ítems en cada celdilla de la tabla de identificación. • Otra forma es decidir el número mínimo de ítems por columna y fila. • Hay que tener en cuenta las características de la población a la que se dirige la prueba (edad de los sujetos, ritmo de aprendizaje, etc.).

32. Ya sabemos cuántos ítems y de qué tipo han de medir cada uno de los indicadores empíricos que representa la característica o constructo que mide el test. La siguiente pregunta es: ¿Cómo tienen que ser esos ítems? Cuál es su nivel de dificultad y su capacidad para discriminar entre sujetos que poseen en distinto grado la característica evaluada

33. Supongamos que se desea detectar a los alumnos más brillantes de la clase. La prueba deberá estar formada por ítems muy difíciles. Si lo que se desea es saber el nivel general de conocimientos de una clase. La prueba deberá estar formada por ítems de dificultad media.

34. 4.- Confección de los ítems

35. Lo primero es seleccionar a las personas que se van a encargar de redactar o construir los ítems. Suelen ser: Expertos en contenido, que además, deberán estar familiarizados con la población a la que va a ir destinada la prueba. Lo ideal es que se construyan tres veces más ítems que los necesarios.

36. Escribir de forma clara, simple, precisa y concisa (escribir ítems cortos, evitando la inclusión de palabras o frases irrelevantes, no utilizar ítems generales o ambiguos, etc.) R E C O M E N D A C I O N E S G E N E R A L E S Cuidar el lenguaje (vocabulario apropiado, frases gramaticalmente correctas, fácil comprensión, evitar negaciones en el enunciado, etc.). Expresar una única idea por ítem (incluir una sola idea por enunciado y no varias combinadas, evitar preguntar dos cosas al mismo tiempo).

37. 4.2.- EN EL DOMINIO COGNITIVO 1) El enunciado debe contener la idea central y la mayor parte del texto del ítem (evitando repetir palabras en las distintas opciones de respuesta). 2) Las opciones de respuesta deben aparecer al final del enunciado y no a la mitad de éste. 3) El ítem debe tener una única respuesta. 4) Hay que evitar como alternativas de respuesta -Todas las anteriores y Ninguna de las anteriores- porque confunden a los que responden.

38. 4.2.- EN EL DOMINIO COGNITIVO 5) Ordenar las opciones de respuesta de forma lógica o secuencial y evitar que las alternativas se solapen. 6) Controlar la posición en la que aparece la opción correcta de respuesta en los ítems de una prueba para evitar un patrón sistemático que pueda ser detectado por los sujetos. 7) Evitar dar pistas acerca de la opción correcta de respuesta (indicios gramaticales, alternativas correctas e incorrectas deben ser razonables, etc.).

39. Para generar ideas para construir ítems se puede acudir a textos, manuales, libros de problemas, obras de referencia, etc. A D E M Á S Para construir los distractores lo más habitual es recurrir a las interpretaciones erróneas frecuentes a los errores más comunes de los sujetos, etc. Para lo que no existe consenso generalizado es para la respuesta a la pregunta de cuántas opciones de respuesta incluir en el ítem: 3, 4 o más.

40. 4.3.- EN EL DOMINIO NO COGNITIVO 1) Evitar expresiones coloquiales y procedentes del argot que pueden ser comprendidas únicamente por un segmento específico de la población y en un determinado periodo de tiempo. 2) Variar la dirección de la pregunta, incluyendo en la prueba el mismo número de ítems formulados de manera positiva y negativa. 3) Normalmente es conveniente incluir una categoría de respuesta que represente un punto medio (p.j.: ni de acuerdo ni en desacuerdo).

41. Un SESGO DE RESPUESTA es la tendencia sistemática de un sujeto a responder a los ítems de la prueba de una determinada manera, con independencia de cuál sea el contenido de los ítems: 2/ LA AQUIESCENCIA: responder sistemáticamente que se está de acuerdo o en desacuerdo con lo que indica el enunciado, al margen de lo que en él se afirma 1/ LA DESEABILIAD SOCIAL: elegir sistemáticamente la opción de respuesta que se considera más deseable socialmente 3/ LA RESPUESTA EXTERNA: responder sistemáticamente eligiendo las categorías de respuesta de los extremos, con independencia del contenido del ítem

42. 4.4. REVISIÓN DE LOS ÍTEMS • Lo ideal es poder pasar el conjunto de ítems redactados a un experto ajeno al constructor y pedirle que los revise (lenguaje, redacción, contenido, etc.). • El constructor deberá dejar pasar un día o más y volver a examinar todos los ítems revisando su contenido, claridad y lenguaje. Los seleccionados pasaran a la siguiente fase (confección de la prueba) y después serán de nuevo chequeados en la última fase (evaluación de la prueba).

43. 5.- Confección de la prueba

44. Confeccionar la prueba supone que resulte lo más fácil posible seguir las instrucciones del test, leer los ítems y registrar sus respuestas (Fowler, 1995): INSTRUCCIONES DE ADMINISTRACIÓN FORMATO DE PRESENTACIÓN DE LA PRUEBA FORMATO DE REGISTRO DE LAS RESPUESTAS

45. 5.1. INSTRUCCIONES DE LA ADMINISTRACIÓN OBJETIVO OBJETIVO • Se pretende uniformar y estandarizar las condiciones de administración de la prueba, para que las puntuaciones de los distintos sujetos sean comparables y reflejen solo diferencias en la característica que mide el test. • Es proporcionar un marco de referencia común que nos permita asegurarnos que todos los sujetos comprenden perfectamente la mecánica del test.

46. 5.1. INSTRUCCIONES DE LA ADMINISTRACIÓN • Las instrucciones del test deben indicar con un lenguaje claro y sencillo cómo ha de responder, dónde ha de responder, de cuánto tiempo dispone para ello y , en el caso de las pruebas cognitivas, si es conveniente responder a todos los ítems o es mejor no responder al azar. • En ocasiones, es útil incluir ejemplos o ejercicios prácticos con el fin de clarificar aun más las instrucciones. • Si la prueba se envía por correo, las instrucciones deberán estar más detalladas. • Si la aplicación es presencial, es conveniente que el encuestador lea en voz alta las instrucciones. • Adicionalmente, en las instrucciones se puede indicar cuál es el objetivo del test, cómo van a ser puntuadas sus respuestas y se le puede sugerir cómo distribuir el tiempo de aplicación de la prueba.

47. 5.2. FORMATO DE PRESENTACIÓN DE LA PRUEBA • Es importante que el orden en el que aparecen las preguntas sea lógico. Hay que evitar poner preguntas consecutivas que salten de un tema a otro o que cambien sucesivamente de formato. • La simple ordenación de los ítems de un test puede llevar a que un sujeto dé por terminada la prueba antes casi de empezar. En pruebas cognitivas se recomienda empezar con ítems fáciles y en pruebas no cognitivas con preguntas de calentamiento que le hagan sentirse cómodo. • Conviene agrupar por bloques las preguntas que traten del mismo tema, que comparten el mismo enunciado o material de referencia, que tengan las mismas instrucciones o que utilicen el mismo formato. • En pruebas largas si es aconsejable utilizar distintos formatos para los ítems con el fin de romper un poco la monotonía de la prueba. • Tabla 3.6 (pág. 126 libro).

48. 5.3. FORMATO DE REGISTRO DE LAS RESPUESTAS SEGUNDA OPCIÓN DOS POSIBILIDADES • La ventaja es que permite reutilizar posteriormente el cuadernillo. • El inconveniente es que el sujeto que no está muy familiarizado le resulta más complicado (pj.: recordar la opción elegida). • Los sujetos responden directamente en el mismo cuadernillo en el que están las preguntas. 2) Los sujetos responden en hojas de respuesta que son entregadas junto con el cuadernillo.

49. 5.3. FORMATO DE REGISTRO DE LAS RESPUESTAS INTERESANTE • Antes de embarcarse en la construcción de un nuevo tests o prueba es conveniente examinar si existe en el mercado alguno ya comercializado que evalúe aquello que queremos medir con los requisitos métricos exigibles. • Es útil crear un banco de ítems que nos permita construir distintas pruebas en distintos momentos con distintos objetivos y para evaluar a diferentes sujetos.

50. 6.- Aplicación de la prueba