TECNICHE DI COSTRUZIONE DEI TEST

1. TECNICHE DI COSTRUZIONE DEI TEST prof.ssa Lisa Di Blasdiblali@units.itricevimento: Marted� 10.30-12.00, st. 501E

2. OBIETTIVO: COME SCEGLIERE UN TEST?Come costruire un test? Che cosa vogliamo misurare? Che cosa misura il test? In che misura il test riesce a misurare ci� che intende misurare?

3. TIPI DI TEST Test qualitativi e test quantitativi Obiettivi Stimoli Risposte Sistemi di codifica delle risposte Test di massima prestazione e test di tipica prestazione Obiettivi Stimoli Risposte Sistemi di codifica delle risposte

4. TEST COME STRUMENTO DI OSSERVAZIONE SISTEMATICA:procedura di somministrazione e di scoring standardizzati TEST QUANTITATIVO SI PROPONE di MISURARE una QUALIT� ovvero di ASSEGNARE una QUANTIT� ad una QUALIT� PSICOLOGICA

5. COME MISURIAMO? Misurazione come processo di assegnazione di valori numerici ad entit� non numeriche, secondo regole di corrispondenza Nei test di cui ci occupiamo si usano scale Likert (ordinali) per dare un valore numerico alle risposte ai singoli item punteggi su scala (o aggregato di item) per definire profili e misure di qualit� (livello di scala ordinale, ma trattate COME SE fossero a livello di scala a intervalli, quando i punteggi osservati hanno una distribuzione normale )

6. CHE COSA MISURIAMO?UN COSTRUTTO Il costrutto � un concetto teorico, formulato per rappresentare la qualit� psicologica che si vuole valutare o misurare in modo sistematico COSTRUTTO ? REALT�

7. DEFINIRE UN COSTRUTTO Definizione teorica del costrutto: Che cosa intendiamo per �? Dalla definizione dipendono i nostri tentativi di misurare il costrutto (facet analysis) Definizione operativa del costrutto: Quale metodo di misurazione? Quali indicatori? Definizione empirica del costrutto: Che cosa mostrano i dati empirici? In che direzione vanno? � il dominio della Psicometria

8. DEFINIRE UN COSTRUTTO Ogni scelta circoscrive il costrutto: pertanto costrutto ?misura

9. DEFINIRE UN COSTRUTTO I risultati empirici permettono di raffinare il costrutto, in un processo circolare da definizione teorica a definizione empirica La definizione del costrutto � in ogni caso un processo virtualmente infinito,poich� ogni momento della definizione pu� essere corretto e migliorato

10. L�ERRORE NEL PROCESSO DI MISURAZIONE In ogni momento della definizione del costrutto, dalla definizione teorica a quella empirica, possiamo commettere errori

11. FONTI d�ERRORE nella MISURAZIONE ERRORI SISTEMATICI: Definizione del costrutto Scelta degli indicatori oppure del metodo Trattamento dei dati possono essere tenuti sotto controllo migliorando la definizione del costrutto, attraverso i vari livelli ERRORI CASUALI non possono essere tenuti sotto controllo, ma si pu� stimare il loro impatto

12. REALT�COSTRUTTOERROREPUNTEGGIO (MISURA) La qualit� della relazione tra COSTRUTTO e PUNTEGGIO pu� essere valutata sotto 3 aspetti Validit� Affidabilit� Generalizzabilit�

13. 3 propriet� essenziali di un test VALIDIT�: capacit� di un test di misurare ci� che intende misurare (errore sistematico) Validit� di contenuto Validit� esterna Validit� di costrutto AFFIDABILIT�: stabilit� o coerenza con cui il test misura ci� che misura (errore casuale) GENERALIZZABILIT�: con quale accuratezza � possibile estendere un campione di osservazioni all�universo che dovrebbero rappresentare?

14. VALIDIT� di CONTENUTO La verifica della validit� di contenuto dipende essenzialmente da VALUTAZIONI su Campionatura degli stimoli Aspetti formali del test (dal titolo alla griglia di correzione)

15. VALIDIT� di CONTENUTO: aspetti formali che coinvolgono anche la validit� apparente REGOLA BASE: NESSUNA DIFFICOLT� NON PERTINENTE TITOLO ISTRUZIONI ITEM: evitare l�uso di linguaggio complesso negazioni (�Non mi sembra di preoccuparmi per quello che mi succede�) domande doppie (�Mi piace ascoltare musica e leggere libri�)

16. VALIDIT� di CONTENUTO:aspetti formali  OPZIONI di RISPOSTA risposte aperte dicotomiche likert unipolari (da poco a moderatamente a molto) bipolari (da opposto a neutro a molto) GRIGLIA di CORREZIONE � valida se permette di classificare qualsiasi tipo di risposta e se pi� siglatori assegnano alla stessa risposta lo stesso valore numerico (o categoria)

17. VALIDIT� di CONTENUTO:aspetti formali  Controllare gli stili di risposta acquiescenza: item rovesciati (da ricodificare prima di calcolare i punteggi scala) desiderabilit� sociale: scala Lie risposte estreme

18. VALIDIT� di CONTENUTO: la campionatura degli stimoli Possiamo sostenere che gli stimoli del test sono coerenti con la definizione del costrutto e che lo rappresentano in tutti i suoi aspetti? Giudizio di esperti Giudizio delle persone cui il test � destinato Verifica psicometrica: grado di accordo tra giudici

19. VALIDIT� di CONTENUTO: la campionatura degli stimoli Grado di accordo tra giudici (interrater agreement): rappresenta il grado in cui diverse persone assegnano esattamente lo stesso valore numerico (o categoria) allo stesso oggetto di valutazione Regola pratica: meglio includere indicatori di debole validit� che rischiare di escludere indicatori validi: CRITERI NON RESTRITTIVI IN FASE DI SELEZIONE Percentuale di accordo (sul singolo stimolo e sull�insieme) Coefficiente k di Cohen (sull�insieme di stimoli)

20. VALIDIT� di CONTENUTO:  in breve, la validit� di contenuto � un giudizio formulato intorno al grado di corrispondenza tra definizione teorica e definizione operativa del costrutto: se contenuti e forma del test sono stati espressi in modo tale da cogliere ci� che si intende misurare e non altro, limitando l�impatto di errori sistematici (tra cui bias cognitivo-affettivi del rispondente)

21. VALIDIT� ESTERNA Se un costrutto viene elaborato per osservare e comprendere la realt�, allora un costrutto e la sua misura pu� dirsi valido quando trova un riscontro in un evento esterno (criterio). Un test � valido se permette di prevedere correttamente le reazioni di un individuo in determinate circostanze

22. VALIDIT� ESTERNA: la scelta del criterio formulazione di ipotesi �se � allora �� chiare e sensate in termini teorici precisando a priori i livelli di generalit� delle variabili confrontate le reti di relazioni attese tra misure del costrutto e del criterio le conclusioni circa la validit� del test in esame dipendono dalla scelta del criterio

23. VALIDIT� ESTERNA: la variabile �tempo� Validit� concorrente test e criterio sono rilevati in un unico momento temporale T1 Validit� di previsione test e criterio sono rilevati in momenti differenti, con test in T1 e criterio in T2, T3, � La distanza temporale deve essere scelta in linea con ipotesi teoriche

24. VALIDIT� ESTERNA: tecniche di verifica Analisi della correlazione (lineare) Analisi della regressione (lineare) obiettivi esplicativi: spiegare una variabile spiegare una relazione obiettivi applicativi di previsione Metodo dei gruppi contrapposti

25. VALIDIT� CONCORRENTE Verifica l�intensit� e la direzione della relazione tra test e criterio, rilevati in un breve arco di tempo. Il risultato empirico ha senso solo in relazione a esiti attesi. I correlati osservati aiutano a ridefinire ci� che stiamo misurando VALIDIT� CONVERGENTE: quando si rileva una correlazione da moderata a elevata tra 2 misure di costrutti teoricamente (piuttosto) simili VALIDIT� DIVERGENTE: quando si rileva una correlazione bassa o nulla tra 2 misure di costrutti teoricamente dissimili

26. VALIDIT� CONCORRENTE:un esempio (N = 70)

27. VALIDIT� CONCORRENTE:un esempio (N = 70)

28. ANALISI DELLA REGRESSIONE MULTIPLA A SCOPO ESPLICATIVO Le relazioni tra la misura e le variabili esterne al test � coerente con le ipotesi formulate sulla base delle relazioni che intercorrono logicamente il costrutto che si intende misurare e le variabili esterne?

29. ANALISI DELLA REGRESSIONE MULTIPLA A SCOPO ESPLICATIVO Si stabilisce una relazione di DIPENDENZA tra test e criteri esterni secondo criteri logici: Il test � una delle VI che si associa in modo esclusivo al criterio esterno (VD), quando inserita in un modello di regressione che verifica anche l�impatto di un insieme VI teoricamente rilevanti? Quale il suo peso unico? peso coerente con le attese? Se confrontato con pi� criteri esterni (VI), il test (VD) come si associa in modo esclusivo a ciascuno di questi?

30. ANALISI DELLA REGRESSIONE MULTIPLA:elementi informativi 1. l�equazione di previsione di Y con 2 VI:

31. ANALISI DELLA REGRESSIONE MULTIPLA:elementi informativi 2. Coefficienti di regressione parziale, b e �: rappresentano il peso o impatto unico di ciascuna VI nell�equazione di previsione di Y (t test verifica ovvero )

32. ANALISI DELLA REGRESSIONE MULTIPLA:elementi informativi 3A. Coefficiente di correlazione semi-parziale: rappresenta la % di varianza che ogni VI, parzializzata dalle altre VI, spiega della varianza totale di Y 3B. Coefficiente di correlazione parziale: rappresenta la % di varianza che ogni VI, parzializzata dalle altre VI, spiega della varianza di Y, parzializzata dalle altre VI

35. ANALISI DELLA REGRESSIONE MULTIPLA:elementi informativi 4. Coefficiente di determinazione multiplo : rappresenta un indice quantitativo di RPE o riduzione proporzionale dell�errore ( )

36.

37. VALIDIT� ESTERNA: la scelta del criterio Le VI devono presentare bassi livelli di intercorrelazione (multicollinearit�) per poter contribuire significativamente alla stima della VD.

38. VALIDIT� ESTERNA: la scelta del criterio Un eventuale errore di specificazione pesa sulla significativit� dell�intero modello di previsione e sulla precisione dei coefficienti parziali di associazione

39. ANALISI DELLA REGRESSIONE MULTIPLA a SCOPO di PREVISIONE Legge della parsimonia: maggior con minor costo ovvero numero di k predittori La variabilit� dei punteggi residui attorno alla retta di regressione pu� essere espressa come: e a livello di dati campionari, l�errore standard della stima l�errore standard della previsione � dato da

40. ANALISI DELLA REGRESSIONE MULTIPLA a SCOPO di PREVISIONE pertanto � possibile definire intervalli fiduciari atorno al valore di Y stimato:

41. La predicibilit� differenziale :il predittore � equo? Equit� delle misure: stessa intercetta per i diversi sottogruppi Equit� relazionale: stesso coefficiente di regressione per i sottogruppi Pu� esserci Equit� delle misure, ma non relazionale Equit� relazionale, ma non delle misure Disequit� relazionale e disequit� delle misure

42. La predicibilit� differenziale :equit� delle misure?

43. La predicibilit� differenziale: equit� relazionale?Le differenze sistematiche tra sottogruppi possono dipendere da variabili moderatrici (se escluse, errore di specificazione) Un esempio

44. La predicibilit� differenziale :tecniche di verifica* Confronto statistico tra parametri osservati nei diversi campioni Analisi della regressione: la VM viene aggiunta nel modello di previsione dopo aver centrato la VM, viene creato il termine d�interazione Quale l�effetto dell�interazione? R2change L�effetto � significativo? F E qual � la natura dell�effetto? Confronto tra parametri

45. 3 gruppiHigh (+ 0,5 SD) Beta = .300 (R2 = .106)Medium Beta = .290 (R2 = .118)Low (-0,5 SD) Beta = .046 (R2 = .005)

46. ESERCITAZIONI: Correlazioni: verifica della validit� esterna, convergente e divergente, tra misure dei Big Five: Big Five Marker Scales e Five Factor Personality Inventory 

47. ESERCITAZIONI:Correlazioni tra le scale stesse del Five Factor Personality Inventory (FFPI)

48. ESERCITAZIONI:ARM viene applicata per verificare le associazioni parziali tra scale BFMEX (VD) e FFPI-Big Five (VI)

49. ESERCITAZIONI:ARM viene applicata per verificare le associazioni parziali tra scale BFMEX (VD) e FFPI-Big Five (VI)

50. ESERCITAZIONI:ARM viene applicata per verificare le associazioni parziali tra scale BFMEX (VD) e FFPI-Big Five (VI)