PROFESORA : Mª Teresa Sanz de Acedo Baquedano

1. MÉTODOS, DISEÑOS Y TÉCNICAS DE INVESTIGACIÓN PSICOLÓGICA Curso 2009-10 PROFESORA: Mª Teresa Sanz de Acedo Baquedano

2. TEMA 4. Los instrumentos de medición psicológica. II: Asignación e interpretación de puntuaciones

3. TEMA 4: LOS INSTRUMENTOS DE MEDICIÓN PSICOLÓGICA II: ASIGNACIÓN E INTERPRETACIÓN DE PUNTUACIONES 1.- Introducción 2.- Puntuación del test 2.1. Puntuación de las respuestas a los ítems 2.2. Combinación de las puntuaciones a los ítems 3.- Interpretación de las puntuaciones del test 3.1. Interpretación normativa 3.1.1. Puntuaciones cronológicas 3.1.2. Puntuaciones centiles 3.1.3. Puntuaciones típicas 3.2. Interpretación criterial

4. 4.- Puntos básicos 5.- Ejercicios 6.- Soluciones a los ejercicios propuestos 7.- Bibliografía básica recomendada 8.- Lecturas sugeridas 9.- Material complementario

5. 1.- Introducción

6. ESQUEMA-RESUMEN DE LOS CONTENIDOS DEL CAPÍTULO • En la fase de asignación de puntuaciones pasamos del PLANO EMPÍRICO AL MATEMÁTICO • Al construir y aplicar un instrumento de medición pasamos del PLANO TEÓRICO AL EMPÍRICO • En este capítulo se tratará de ver cómo asignar números o puntuaciones a las respuestas –observables- dadas por los sujetos. • En este capítulo también se intentará ver cómo interpretar dichos valores.

7. Figura 4.1. EL PROCESO DE MEDICIÓN PSICOLÓGICA PLANO MATEMÁTICO PLANO TEÓRICO Construcción y aplicación de instrumentos de medida Asignación de puntuaciones al test PLANO EMPÍRICO

8. 2.- Puntuación del test

9. La PUNTUACIÓN DEL TEST hace referencia a: La estimación del nivel real en que el sujeto posee la característica o rasgo evaluado con la prueba. Se dan dos fases en este proceso: Asignación de puntaciones a los ítems del test 2) Combinación de las puntuaciones a los ítems para determinar la puntuación en el test

10. 2.1.- PUNTUACIÓN DE LAS RESPUESTAS A LOS ÍTEMS La regla de asignación de números o puntuaciones a los ítems varía según el tipo de ítem considerado: 2º/ ÍTEMS DE CONSTRUCCIÓN Y DE RESPUESTA ABIERTA - La puntuación de ítems de respuesta corta y extensa (pruebas cognitivas) e ítems de respuesta abierta (pruebas no cognitivas) 1º/ ÍTEMS DE ELECCIÓN O DE RESPUESTA CERRADA (ESCALAS DE VALORACIÓN) -Se utilizan en la mayoría de las pruebas cognitivas y en una buena parte de los tests no cognitivos

11. ÍTEMS DE ELECCIÓN O DE RESPUESTA CERRADA (ESCALAS DE VALORACIÓN) Se utiliza una plantilla de corrección: si la respuesta dada coincide con la indicada como correcta en la plantilla se asigna un uno a la respuesta y si no coincide un cero. PRUEBAS COGNITIVAS La regla consiste en asignar como puntuación al ítem el código numérico correspondiente a la alternativa elegida por el sujeto. PRUEBAS NO COGNITIVAS

12. PRUEBAS NO COGNITIVAS ÍTEMS DE RESPUESTA CERRADA O ESCALAS DE VALORACIÓN Antes de asignar como puntuación al ítem el código numérico correspondiente a la alternativa o categoría elegida por el sujeto. Hay que decidir: • Qué extremo del continuo denotará una actitud/sentimiento/opinión favorable a la característica o cuestión evaluada y • Si éste se asociará a puntuaciones altas en la prueba.

13. Por ejemplo: Supongamos que se desea conocer la opinión de los padres acerca de la incorporación de niños marroquíes a las aulas donde estudian sus hijos y se les aplica una prueba que tiene entre otros los dos ítems siguientes: • Es conveniente que los niños marroquíes sean escolarizados con niños españoles: A) Totalmente en desacuerdo B) En desacuerdo C) De acuerdo (Actitud FAVORABLE) D) Totalmente de acuerdo • Es imposible una integración escolar normal de niños marroquíes en centros españoles: A) Totalmente en desacuerdo B) En desacuerdo C) De acuerdo (Actitud DESFAVORABLE) D) Totalmente de acuerdo • Si seguimos la regla de asignación propuesta, un sujeto que escoja la tercera opción en el primer ítem recibirá la misma puntuación que otro sujeto que escoja esa misma opción en el segundo ítem. Problema: cada número debe significar siempre lo mismo, o una actitud favorable o una desfavorable, con independencia del enunciado del ítem.

14. Lo primero que hay que hacer es decidir si los números altos de la escala (3, 4) denotan una actitud positiva o negativa. Supongamos que se desea denoten una actitud favorable. Para ello, es preciso dar la vuelta a la escala o recodificar sus valores en el segundo ítem. Transformaremos el 1 en 4 y el 2 en 3 • Es imposible una integración escolar normal de niños marroquíes en centros españoles: A) Totalmente en desacuerdo (1 punto) B) En desacuerdo (2 puntos) C) De acuerdo (3 puntos: ACT DESFV) D) Totalmente de acuerdo (4 puntos) • Es imposible una integración escolar normal de niños marroquíes en centros españoles: A) Totalmente de acuerdo (1 punto) B) De acuerdo (2 puntos) C) En desacuerdo (3 puntos: ACT FAV) D) Totalmente en desacuerdo (4 puntos)

15. Tabla 4.1. Reglas de asignación de puntuaciones a distintos tipos de ítems de elección y de respuesta cerrada

16. ÍTEMS DE CONSTRUCCIÓN Y DE RESPUESTA ABIERTA • En pruebas cognitivas. • Se suele proporcionar un listado de respuestas aceptables y la regla consiste en asignar un 1 si la respuesta del sujeto está entre las de la lista y un 0 en caso contrario. ÍTEMS DE RESPUETA CORTA • Pruebas no cognitivas. • Se realiza un trabajo previo de categorización; se selecciona una muestra de respuestas de las obtenidas y a partir de éstas se definen posibles categorías de respuesta. Por último, a cada categoría se le asigna un código numérico. ÍTEMS DE RESPUETA ABIERTA • Pruebas cognitivas • Se suelen utilizar dos métodos distintos: 1) El método de puntuación analítica 2) El método de puntuación holística ÍTEMS DE RESPUESTA EXTENSA

17. ÍTEMS DE RESPUESTA EXTENSA 1º/ MÉTODO ANALÍTICO 1º/ MÉTODO ANALÍTICO • Consiste en la definición inequívoca de los criterios que se deben utilizar en la corrección y asignación de puntuaciones. Así, personas sin grandes conocimientos sobre el tema no tengan problemas al puntuar. • Se analizan las dimensiones que se consideran relevantes en la realización de una tarea. • Se define qué es lo que se considera como una respuesta correcta en cada dimensión y cuántas son necesarias.

18. ÍTEMS DE RESPUESTA EXTENSA 2º/ MÉTODO HOLÍSTICO 2º/ MÉTODO HOLÍSTICO • Consiste en entrenar a un grupo de personas que conocen en profundidad la materia sobre la que versa el ítem, con el fin de que den una única puntuación que evalúe la calidad global de la respuesta dada por el sujeto. • En la medida en que durante el entrenamiento se consiga un alto grado de acuerdo entre los jueces, se eliminará la subjetividad del evaluador y dará lugar a un sistema de puntuación eficiente y fiable.

19. ¿QUÉ MÉTODO UTILIZAR? Depende del objetivo planteado al iniciar el proceso de construcción del test. Si la utilización prevista de la prueba tiene que ver con una: • Función diagnóstica o de información/descripción: el método analítico proporciona información sobre dimensiones relevantes sobre el constructo evaluado. 2) Función de certificación/acreditación: el método holístico ya que puede ser suficiente un juicio global.

20. 2.2.- COMBINACIÓN DE LAS PUNTUACIONES A LOS ÍTEMS Una vez asignadas las puntuaciones a cada ítem del test hay que proceder a combinarlas para obtener la puntuación total en la prueba, para lo cual se utiliza la siguiente fórmula general: La puntuación total –X– se define como la suma ponderada de las puntuaciones obtenidas por el sujeto en los ítems del test

21. Un problema que plantea la asignación de la puntuación total en las pruebas con ítems de elección múltiple y binaria es la tendencia de algunos sujetos a: RESPONDER AL AZAR ESTO SUCEDE CUANDO NO CONOCEN LA RESPUESTA CORRECTA Que se plantea es que aquellos sujetos que presentan este patrón de respuesta, obtienen estimaciones infladas del nivel en que poseen el rasgo o característica evaluada por la prueba. El problema

22. Supongamos que un profesor de matemáticas pone a los alumnos de su clase un examen de 100 preguntas de elección múltiple con una dificultad similar. La puntuación final del alumno será el número de preguntas que haya respondido correctamente. Álvaro y Laura saben cuál es la respuesta correcta a 40 de las preguntas. Álvaro responde sólo a las preguntas cuya respuesta conoce pero Laura decide responder a todas las preguntas del examen. Si todas las preguntas constan de cuatro alternativas de respuesta con un atractivo similar, de las cuales sólo una es correcta y las tres restantes incorrectas, la probabilidad de escoger al azar entre todas las opciones de respuesta del ítem la opción correcta será ¼, una de cada cuatro.

23. Si Álvaro responde únicamente las preguntas que sabe que son correctas • Su puntuación final será 40. • Si Laura ha respondido al azar a 60 preguntas (de las 100 totales), es posible que haya acertado en la respuesta de 60 x ¼ = 15 preguntas. • Su puntuación final será de 40 + 15 = 55 • Si el nivel que fija el profesor para aprobar el examen es responder al menos a la mitad de las preguntas, tendremos: -Álvaro suspenderá el examen y -Laura lo aprobará, aunque ambos conocían el mismo número de respuestas correctas. • Esta tendencia a responder al azar cuando no se sabe la respuesta correcta es una fuente de variación ajena a la situación de evaluación, por lo que debe ser controlada. • Se utilizan dos fórmulas de corrección.

24. 1º/ Penalizar cada respuesta incorrecta: al asumir que cuando un sujeto responde incorrectamente es porque ha contestado al azar al desconocer la respuesta correcta. • Fórmula: –Xc– es la nueva estimación corregida –X– es la puntuación total –A– es el número de aciertos –Aa– es el número de aciertos aleatorios –E – es el número de errores –K – es el número de opciones de respuesta * En el caso de Álvaro: Xc= 40 – 0/(4-1) = 40 * En el caso de Laura : Xc= 55 – 45/(4-1) = 40

25. 2º/ Bonificar cada ítem no respondido u omitido: ya que el hecho de que no existan respuestas incorrectas prueba que el sujeto no conjetura al responder a los ítems del tets cuando desconoce la respuesta correcta. • Fórmula: –Xc– es la nueva estimación corregida –X– es la puntuación total –A– es el número de aciertos –Aa– es el número de aciertos aleatorios –O – es el número de ítems sin responder –K – es el número de opciones de respuesta * En el caso de Álvaro: Xc= 40 + 60/4 = 55 * En el caso de Laura : Xc= 55 + 0/4 = 55

26. ELECCIÓN DEL MÉTODO • De los dos métodos: 1/ Penalizar cada respuesta incorrecta 2/ Bonificar cada ítem no respondido Es más indicado el primero, ya que se obtienen puntuaciones comparables para todos los sujetos pero no se sobreestima el nivel real en que los sujetos manifiestan o poseen la característica medida por la prueba.

27. 3.- Interpretación de las puntuaciones del test

28. INTERPRETACIÓN DE LAS PUNTUACIONES DEL TEST • Al pasar un test a una muestra de sujetos obtenemos una escala primaria o escala de puntuaciones directas (casi siempre, puntuaciones por número de aciertos). • Una vez asignada al sujeto una puntuación final en la prueba, el siguiente paso es interpretar esa puntuación. • Esta escala, normalmente no tiene un origen absoluto y, en ocasiones, tampoco una unidad constante de medida a lo largo de la misma. • Las puntuaciones obtenidas pueden ser ordenadas de mayor a menor según la característica que evalúa el test. • Para dotar de significado a las puntuaciones de los tests se han propuesto dos tipos de interpretaciones: 1) Interpretación normativa 2) Interpretación criterial

29. Interpretaciones de las puntuaciones de los test: 1/ LA INTERPRETACIÓN NORMATIVA Dentro de la tradición de la Psicología diferencial. Enfatiza las diferencias entre los sujetos. El significado de la puntuación de un sujeto es refiriéndola a una norma, se compara su actuación en el test con la actuación en esa prueba de un grupo de referencia al sujeto. 2/ LA INTERPRETACIÓN CRITERIAL Dentro de la tradición conductista. Enfatiza lo que el sujeto sabe o es capaz de hacer. El significado de la puntuación de un sujeto es refiriéndola a un criterio (un dominio de conductas o contenidos perfectamente definido o un punto de corte en la escala).

30. Un psicólogo de un centro escolar desea saber qué niños en 2º curso de ESO presentan dificultades de aprendizaje en la lectura. Para obtener esa información, diseña una prueba que consta de 25 preguntas. Nicolás ha respondido correctamente a 13 preguntas y se le asigna una puntuación de 13. A la vista de esta puntuación, ¿Qué podemos concluir acerca de su nivel en lectura?: • ¿El rendimiento de Nicolás es el de un alumno medio de 2º curso de ESO o es diferente y, si lo es, cómo de diferente? 2) ¿Su nivel de lectura es similar al de sus compañeros en el centro? 3) ¿Debería ser incluido en un programa de recuperación que le ayudara a superar sus problemas con la lectura?

31. 1º/¿El rendimiento de Nicolás es el de un alumno medio de 2º curso de ESO o es diferente y, si lo es, cómo de diferente? Se trata de relacionar el rendimiento de Nicolás con el rendimiento de un típico alumno que cursa 2º ESO. Lo primero, es determinar cuál es el rendimiento típico en esa prueba de lectura de un alumno de 2º curso. Se elegirá una muestra representativa de la población de niños de 2º curso de ESO, se les aplicará la prueba y se estudiará la distribución de frecuencias de las puntuaciones de los niños en la prueba. Para finalmente, ver dónde se sitúa Nicolás, si por encima o por debajo del comportamiento característico de un alumno medio de ese curso.

32. 2º/¿Su nivel de lectura es similar al de sus compañeros en el centro? El planteamiento es similar a la pregunta anterior. La diferencia consiste en que el grupo de referencia es más reducido y tiene un carácter local, no general. En este caso, lo que se trata de comparar es el nivel de lectura de Nicolás, tal y como es medido por la prueba aplicada, con el de sus compañeros de curso en el centro escolar. Para ello, se aplicaría la prueba a todos los alumnos de 2º curso del centro y se estudiaría la distribución de sus puntuaciones y así, poder examinar, a continuación, la situación dentro de la misma de la puntuación de Nicolás.

33. 3º/¿ Debería ser incluido en un programa de recuperación que le ayudara a superar sus problemas con la lectura? Esta pregunta requiere un planteamiento muy distinto al de los dos anteriores. Exige que se establezca cuándo debe incorporarse un alumno al programa y cuándo debe seguir el desarrollo normal del curso. Por ello, será necesario primero definir un criterio que indique claramente qué características han de tener los alumnos para acceder al programa de recuperación y segundo, examinar la puntuación de Nicolás en relación al mismo para determinar si es asignado o no al programa de recuperación. Si su puntuación es menor a la establecida se incorporará al programa y si es mayor no.

34. 1ª Y 2ª PREGUNTA: Una interpretación normativa E J E M P L O 3ª PREGUNTA: Una interpretación criterial

35. 3.1.- INTERPRETACIÓN NORMATIVA • DEFINICIÓN La puntuación obtenida por un sujeto en un test se interpreta en relación a las puntuaciones obtenidas en ese test por su grupo de referencia. • GRUPO NORMATIVO Se denomina también grupo de referencia del sujeto y es el grupo con el que se desea comparar al sujeto objeto de nuestro estudio. • NORMAS Las puntuaciones obtenidas en la prueba por el grupo normativo, llamadas también puntuaciones normativas o tipificadas. Nos indica la posición relativa de un sujeto en el grupo normativo. • TIPIFICACIÓN Consiste en aplicar el test a una muestra representativa de la población a la que éste va dirigido (grupo normativo) y en transformar las puntuaciones directas obtenidas por esa muestra a normas.

36. Puntuaciones cronológicas: indican la relación entre la puntuación en el test con la edad cronológica del sujeto que la ha obtenido. En poblaciones infantiles y con tests de inteligencia general. P U N T U A C I O N E S N O R M A T I V A S Puntuaciones centiles: el porcentaje de sujetos del grupo normativo que puntúa por debajo de la puntuación obtenida por un sujeto determinado. Puntuaciones típicas: indican la distancia que separa un sujeto de la media del grupo normativo, expresando dicha distancia en unidades de desviación típica.

37. Existen tres tipos fundamentales de normas o puntuaciones normativas: 1/ PUNTUACIONES CRONOLÓGICAS • La Edad Mental (EM) • El Cociente Intelectual (CI) 2/ PUNTUACIONES CENTILES -El Centil o Percentil • 3/ PUNTUACIONES TÍPICAS • La escala típica lineal (Z) • La escala típica normalizada (Zn)

38. 3.1.1.- PUNTUACIONES CRONOLÓGICAS La Edad Mental (EM) de un sujeto es la edad cronológica correspondiente a los sujetos cuya puntuación media en la prueba coincide con la del sujeto en cuestión. Por ejemplo: si la puntuación media de los niños de 8 años en un test de inteligencia es de 26 puntos, entonces al sujeto que obtenga una puntuación de 26 en el test se le asignará como puntuación una edad mental de 8 años. El problema que plantea este tipo de puntuación es que un año de edad mental no significa lo mismo a lo largo del desarrollo, ya que la distancia que va de un año al siguiente disminuye con la edad. El Cociente Intelectual (CI) elimina el problema anterior al dividir la edad mental por la Edad Cronológica (EC) y se le multiplica por 100, para eliminar los decimales de la escala:

39. La Edad Mental y el Cociente Intelectual fueron las primeras puntuaciones normativas utilizadas, pero en la actualidad no son las más usadas, debido a dos razones: • La elaboración de este tipo de escalas es muy compleja. 2) Todos los tests poseen una edad tope a partir de la cual carecen de sentido y aplicación dichos conceptos. • Plantean un problema: su aplicación limitada sólo a rasgos que tienen un desarrollo sistemático o que no alcanzan rápidamente la madurez y no deben ser utilizadas en tests destinados exclusivamente a poblaciones adultas. PUNTUACIONES CRONOLÓGICAS

40. 3.1.2. Puntuaciones centiles: relacionan la actuación del sujeto con la de su grupo de referencia en términos del porcentaje de sujetos que obtienen una puntuación inferior a la del sujeto en cuestión. TABLA 4.2 CENTIL O PERCENTIL • Es aquella puntuación (Xc) del test que deja por debajo de sí el c por 100 de sujetos del grupo normativo. • Por ejemplo: si a la puntuación 13 obtenida por Nicolás le corresponde el centil 4, significa que solamente un 4 por 100 de los niños de 2º curso de ESO responden correctamente a menos de 13 preguntas en el test examinado. • Esta tabla recoge la conversión de puntuaciones directas a normativas en una prueba diseñada para detectar dificultades de aprendizaje en el área de lectura por 150 alumnos, que constituyen la muestra extraída de la población de niños de 2º curso de ESO.

41. Tabla 4.2. Puntuaciones directas, distribución de frecuencias y puntuaciones normativas de un test en el diagnóstico de dificultades de aprendizaje en la lectura

42. Tabla 4.2. Puntuaciones directas, distribución de frecuencias y puntuaciones normativas de un test en el diagnóstico de dificultades de aprendizaje en la lectura f: la frecuencia con la que cada una de esas puntuaciones ha sido observada en la muestra (2 alumnos han obtenido una puntuación directa de 11 puntos, 1 alumno una puntuación directa de 12 puntos, etc.). fa:la frecuencia acumulada, se suman a los sujetos que han obtenido una determinada puntuación los sujetos que obtuvieron las puntuaciones precedentes. El valor que corresponde a la puntuación más alta obtenida en el test ha de ser siempre el número de sujetos de la muestra a la que se administró dicha prueba.

43. Tabla 4.2. Puntuaciones directas, distribución de frecuencias y puntuaciones normativas de un test en el diagnóstico de dificultades de aprendizaje en la lectura fapm: la frecuencia acumulada en el punto medio consiste en dividir entre dos la frecuencia obtenida por una puntuación directa y al resultado sumarle la frecuencia acumulada de la puntuación anterior. Por ejemplo: en nuestra tabla tenemos que existen 12 sujetos que han sacado la puntuación directa de 15. Si dividimos 12/2 = 6 y si a esta puntuación le sumamos la frecuencia acumulada anterior: 6 + 14 = 20 (frecuencia acumulada en el punto medio).

44. La fórmula siguiente se utiliza para determinar el rango centil correspondiente a una puntuación directa X (cx). Tabla 4.2. Es la frecuencia correspondiente a la puntuación X (columna f) Es la frecuencia acumulada correspondiente a la puntuación inmediatamente inferior a la puntuación X (columna fa) El número de sujetos que componen la muestra (valor de la columna fa correspondiente a la puntuación más alta del test) Es la frecuencia acumulada en el punto medio del intervalo en el que se encuentra la puntuación X

45. Calcule el rango percentil correspondiente a una puntuación directa de 22. Solución = 92,33 Hacer el ejercicio 4.5.6. del libro Tabla 4.2. Es la frecuencia correspondiente a la puntuación X (columna f) = 5 Es la frecuencia acumulada correspondiente a la puntuación inmediatamente inferior a la puntuación X (columna fa) = 136 El número de sujetos que componen la muestra (valor de la columna fa correspondiente a la puntuación más alta del test) = 150 Es la frecuencia acumulada en el punto medio del intervalo en el que se encuentra la puntuación X = 138,5

46. La fórmula siguiente se utiliza para determinar un centil dado (Xc): Tabla 4.2. Es el límite inferior del intervalo en el que se encuentra la puntuación directa que queremos determinar (Xc) Es la amplitud del intervalo, la diferencia entre el límite superior e inferior del intervalo Es el rango centil Hacer ejercicio 4.5.6. del libro

47. 3.1.3. PUNTUACIONES TÍPICAS DEFINICIÓN • Las puntuaciones típicas refieren la actuación del sujeto a la media del grupo normativo en términos de unidades de desviación típica, es decir, indican la distancia que separa a un sujeto que ha obtenido una puntuación determinada en el test de la media de su grupo, utilizando como unidad para medir esa distancia la desviación típica del grupo normativo del sujeto.

48. Hay dos tipos básicos de puntuaciones típicas: 1/ LA ESCALA TÍPICA LINEAL (Z) 2/ LA ESCALA TÍPICA NORMALIZALIZADA (Zn) La gran ventaja de las puntuaciones típicas frente a las directas es que su significación es universal siempre que las distribuciones de las puntuaciones de los tests que se comparan sean similares.

49. Interpretaciones de las puntuaciones de los test: 1/ LA ESCALA TÍPICA LINEAL Calculamos la puntuación típica de Nicolás cuya media es 17,94 y su desviación típica 2,74. Z = (13-17’94)/2,74 = -1,80 Nos indica que Nicolás está dos desviaciones típicas por debajo de la media de los niños de 2º curso de ESO

50. Escalas derivadas de puntuaciones típicas lineales DEFINICIÓN • Las escalas típicas derivadas son obtenidas mediante una transformación lineal de las escalas de puntuaciones típicas. • La forma general de la transformación lineal es: Y = A + BZ Donde Y es la puntuación típica derivada y A (la media de las puntuaciones típicas derivadas) y B (la desviación típica de su distribución) son constantes elegidas de forma arbitraria.