Criteri per la costruzione delle prove

1. Criteri per la costruzione delle prove Belgrado 11-13 febbraio 2004 Monica Barni Sabrina Machetti

2. LE FASI DI UN PROCESSO DI VALUTAZIONE • DETERMINARE LO SCOPO • DEFINIRE IL CONTENUTO • TRADURRE GLI SCOPI E I CONTENUTI IN COMPORTAMENTI OSSERVABILI E CONTROLLABILI • PREPARARE IL TEST • STABILIRE I CRITERI DI CORREZIONE E ASSEGNAZIONE DEI PUNTEGGI • SOMMINISTRARE IL TEST • CORREGGERE LE PROVE E ASSEGNARE I PUNTEGGI IN BASE A I CRITERI • INTERPRETARE I RISULTATI • PRENDERE LE DECISIONI CONSEGUENTI • ANALIZZARE LO STRUMENTO USATO

3. FASI DI PREPARAZIONE DI UN TEST • DEFINIRE IL TIPO DI TEST CONSIDERANDO a) I CONTENUTI b)IL GRADO DI DIFFICOLTÀ c) IL PUBBLICO A CUI È RIVOLTO • FARE UN INVENTARIO ACCURATO DEGLI ELEMENTI DI CONOSCENZA E/O COMPETENZA CHE DEVONO ESSERE NOTI • STABILIRE LA LUNGHEZZA MASSIMA DEL TEST • STABILIRE LE TIPOLOGIE DI PROVA PIù OPPORTUNE E ADATTE AGLI SCOPI DELLA VERIFICA • REDIGERE IL TEST

4. PROVE OGGETTIVE scelte multiple vero/falso individuazione informazioni cloze test PROVE SOGGETTIVE produzione scritta produzione orale ALCUNI TIPI DI PROVE

5. Oggettività Risparmio di tempo per la valutazione Rapidità e facilità di uso Simultaneità delle misurazioni Recupero individualizzato Si limita la libertà di espressione degli studenti Necessità di molto tempo per la costruzione Casualità delle risposte Misurazione solo di alcuni aspetti dell’apprendimento VANTAGGI E LIMITI DELLE PROVE OGGETTIVE

6. TIPI DI TESTI • articoli • regolamenti • volantini • interviste • monologhi • dialoghi • racconti • ecc.

7. TITOLO DEL TESTO • Tipo di testo............................................ • Lunghezza del testo................................ • Tipo di lessico......................................... • Tipo di pubblico e livello al quale può essere destinato..................................... • Tipo di test per il quale è più adeguato... • Utilizzabile, sì o no?................................

8. Linguaggio non complicato, ma adeguato ai destinatari Gli stimoli brevi ed essenziali Non fare tranelli Non chiedere cose banali o sciocche La misurazione non deve essere accompagnata o filtrata dalla misurazione delle abilità linguistiche possedute Si perde meno tempo, si provoca minore stanchezza Si misurerebbe l’abilità di sfuggire ai tranelli Si misurerebbero conoscenze inutili CRITERI GENERALI PER LA COSTRUZIONE DI QUESITI OGGETTIVI

9. Non fare domande risolvibili in base al buon senso o alla cultura generale Le risposte sbagliate non siano ingenue né raffinate, ma adeguate alla preparazione degli scolari La collocazione delle risposte esatte non deve essere preordinata Si misurerebbe il buon senso o la cultura generale Si misurerebbero acquisizioni estranee agli obiettivi perseguiti Qualcuno potrebbe scoprirla CRITERI GENERALI PER LA COSTRUZIONE DI QUESITI OGGETTIVI

10. RREGOLE PER LA COSTRUZIONE DI QUESITI VERO-FALSO evitare di verificare l’apprendimento mnemonico; le affermazioni devono far riferimento ad una sola idea (elemento/concetto) Formulazione linguistica eevitare di utilizzare negazioni nelle affermazioni e le affermazioni devono essere espresse in forma chiara e concisa, evitando quindi dettagli secondari. utilizzare un linguaggio adeguato al livello dei destinatari e delle tematiche da valutare evitare l’uso dei quantificatori quali sempre, spesso, qualche volta, mai ecc. in quanto inducono a ritenere più giusta o errata l’affermazione a prescindere dal quesito. Oorganizzazione dei quesiti Ccontrollare l’indipendenza delle affermazioni: il rispondere ad una non deve facilitare o pregiudicare la risposta ad un’altra Iil numero delle affermazioni vere e di quelle false (giuste/esatte) dovrebbe bilanciarsi nel totale dei quesiti.

11. RREGOLE PER LA COSTRUZIONE DI QUESITI A SCELTA MULTIPLA • posizione e soluzione del problema • la domanda deve focalizzare un solo problema o concetto, esprimendolo con precisione per evitare incertezze e confusioni nella scelta della risposta. • usare distrattori plausibili rispetto al problema considerato. Ogni distrattore deve, per contenuto e natura, risultare in qualche modo collegato alle domande.

12. RREGOLE PER LA COSTRUZIONE DI • QQUESITI A SCELTA MULTIPLA • fformulazione linguistica • formulare la domanda in forma semplice ed esplicita. Il corpo della domanda dovrebbe essere composto di una frase in forma interrogativa o affermativa. • Nei quesiti relativi alla comprensione della lettura, usare un linguaggio simile a quello del testo cui ci si riferisce. • Formulare i distrattori e la risposta corretta in modo omogeneo. Questi quesiti devono essere relativamente simili sia per struttura sintattica sia per lunghezza. • evitare che le risposte esatte e i distrattori riprendano termini o formulazioni usate nella domanda • evitare, nella costruzione delle alternative, l’utilizzazione di espressioni come sempre, tutti, dappertutto, che inducono a credere nell’inesattezza della risposta che le contiene, Evitare ugualmente termini come quasi sempre, spesso, qualche volta che inducono a credere nell’esattezza delle alternative. Unica eccezione a quanto detto è il caso in cui tali espressioni sono usate in scala graduata: sempre, quasi sempre, talvolta, quasi mai, mai

13. REGOLE PER LA COSTRUZIONE DI • QUESITI A SCELTA MULTIPLA • formulazione linguistica • evitare di inserire negazioni semplici o doppie nel corpo domanda. Se è proprio indispensabile, evidenziare la negazione in neretto, con sottolineatura o usando la lettera maiuscola. • quando si tratta di proporre risposte che indicano cifre o quantità disporle in ordine crescente o decrescente. • evitare alternative del tipo: nessuna di queste, sia a) che c), tutte le precedenti, perché non omogenee alle altre. • evitare che elementi grammaticali o la struttura della frase favoriscano l’individuazione della risposta esatta. • quando le alternative di risposta iniziano con lo stesso gruppo di parole è preferibile includerlo nel corpo della domanda.

14. REGOLE PER LA COSTRUZIONE DI • QUESITI A SCELTA MULTIPLA • organizzazione dei quesiti • fare in modo che i quesiti siano tra loro indipendenti. • non usare alcuna risposta precedente come distrattore o come risposta corretta in altri quesiti. • prevedere la collocazione della risposta corretta in modo che nell’insieme dei quesiti, le risposte esatte non corrispondano tutte alla stessa lettera.

15. REGOLE PER LA COSTRUZIONE DI • QUESITI A SCELTA MULTIPLA • convenzioni grafiche • le alternative di risposta dei quesiti che terminano con il punto interrogativo devono cominciare con la maiuscola. • I distrattori dei quesiti a completamento devono iniziare con la minuscola. • per convenzione, alla fine di ogni alternativa di risposta si usa il punto. • il corpo della domanda nella forma a completamento non termina mai con i due punti o con i puntini sospensivi. • le alternative di risposta vanno elencate e non disposte di seguito una dietro l’altra.

16. REGOLE PER LA COSTRUZIONE DI • QUESITI A CORRISPONDENZA • posizione del problema • gli elementi dei due elenchi (termini, espressioni, enunciati...) devono essere omogenei fra loro per contenuto. • ad evitare ambiguità nella risposta, almeno uno dei due elenchi dovrà contenere semplici elementi (date, singole parole, autori ecc.) mentre l’altro potrà contenere anche enunciati o elementi più complessi. • nel caso di elenchi di diversa complessità, adopera l’elenco con le espressioni più lunghe come premessa del quesito e l’altro per le risposte. • fornire chiare istruzioni per spiegare le modalità di corrispondenza tra gli elenchi (frecce, numeri, ordinamenti..) • ad ogni elemento del primo elenco ne deve corrispondere soltanto uno esatto del secondo.

17. REGOLE PER LA COSTRUZIONE DI • QUESITI A CORRISPONDENZA • organizzazione dei quesiti • Il numero delle corrispondenze da compiere dovrebbe essere tra 5 e 15. • Evitare di costruire una corrispondenza “perfetta”, cioè le due liste dovrebbero essere disomogenee per numero, per evitare la dipendenza delle risposte. • Il numero degli elementi “risposta” sarà al massimo doppio di quello da completare.

18. REGOLE PER LA COSTRUZIONE DI • QUESITI A COMPLETAMENTO • Tipologie • Completamento di una frase senza alternative di risposta. • Completamento di una frase con alternative di risposta. • Completamento di un testo senza alternative di risposta. • Completamento di un testo con alternative di risposta.

19. Regole per la costruzione di quesiti a completamento Posizione del problema • Nei completamenti mirati, iniziare ad eliminare le parole dal testo dopo il primo periodo (altrimenti tralasciare le prime righe) • Nei cloze, i periodi iniziali e finali dovrebbero rimanere integri. • Eliminare al massimo 2 o 3 parole per periodo (far dipendere il numero dalla lunghezza del periodo). • Se è un completamento di frase, cercare di collocare verso la fine la parola mancante, così da evitare eccessiva ambiguità.

20. Regole per la costruzione di quesiti a completamento Formulazione linguistica • Controllare la coerenza sintattica e grammaticale tra testo da completare e termini presentati in calce. • Evitare tra i termini da inserire di utilizzare sinonimi (ugualmente accettabili nel completamento). • Garantire l’omogeneità lessicale tra testo da completare e alternative di completamento.

21. Regole per la costruzione di quesiti a completamento Organizzazione dei quesiti • Evitare di costruire quesiti con più di 15 completamenti. • La lunghezza degli spazi vuoti sia sempre la stessa e non proporzionale al termine da inserire. • I termini da inserire siano elencati seguendo un ordine alfabetico. • Per ogni parola da completare ci sia, oltre la risposta esatta, almeno un’alternativa. • Presentare un numero di parole da inserire al massimo doppio degli spazi previsti, e nel caso di un alto numero disporle su più colonne.

22. GRIGLIA PER LE PROVE APERTE • efficacia comunicativa • correttezza morfosintattica • adeguatezza stilistica alla tipologia testuale • adeguatezza e ricchezza lessicale • pronuncia e intonazione (per l’orale) • ortografia e punteggiatura (per lo scritto)

23. EFFICACIA COMUNICATIVA • L'efficacia comunicativa comprende l'adeguatezza di contenuto, la coerenza e la coesione. • Adeguatezza di contenuto: il contenuto è adeguato e coerente con lo stimolo dato • Coerenza: si intende il carattere unitario di un testo, cioè il fatto che un testo deve presentare una struttura che lega le sue parti sul piano semantico - pragmatico o su quello logico. Tra le varie parti del testo ci deve essere concordanza nel significato e non si devono creare problemi di comprensione dovuti a passaggi eccessivamente impliciti. • Coesione: si intende l'insieme dei legami che si stabiliscono tra le varie parti di un testo. Si realizza quando le varie parti di un testo sono connesse tra loro da legami di tipo semantico - lessicale e di tipo morfosintattico, ad esempio congiunzioni, pronomi, clitici, legami che indicano relazioni tra le varie parti del testo (relazioni di causa, di tempo, ecc.).

24. CORRETTEZZA MORFOSINTATTICA Accordi, concordanze, tempi verbali, consecutio temporum, pronomi, clitici, preposizioni, congiunzioni, formazione delle parole.

25. I livelli CILS: A1, introduttivo A2, di sopravviv. UNO, di base DUE, intermedio TRE, avanzato QUATTRO, di padronanza I livelli FRAMEWORK: A1, introduttivo A2, di sopravviv. B1, soglia B2, avanz. Indip. C1, autonomo C2, padronanza I LIVELLI CILS

26. CILS: LE ABILITÀ TESTATE • Comprensione dell’ascolto • Comprensione della lettura • Analisi e strutture della comunicazione • Produzione scritta • Produzione orale

27. STRUTTURA DELL’ESAME Per ogni livello: • 3 prove di ascolto • 3 prove di lettura • 4 prove di analisi delle strutture di comunicazione • 2 produzioni orali • 2 produzioni scritte

28. LA MISURAZIONE DELLE PROVE CHIUSE Si assegna un punteggio prestabilito (0,25-0,5-1) per ogni item esatto, 0 punti per l’omissione o la risposta errata, si utilizzano griglie per le prove soggettive Ogni abilità vale 20 punti in totale ripartiti tra i test presentati (3 per l’ascolto, 3 per la lettura, 4 per le strutture, 2 per la produzione scritta, 2 per la produzione orale)

29. LA VALUTAZIONE • Ogni abilità ha un medesimo peso sull’esito dell’esame • Il candidato può ottenere tre diversi tipi di esito: • promosso • non promosso • capitalizzato

30. LA VALUTAZIONE Candidato • promosso: in ogni abilità ha raggiunto la soglia minima di 11 punti su 20 • non promosso: in ogni abilità NON ha raggiunto la soglia minima di 11 punti su 20 • capitalizzato: ha raggiunto la soglia minima di 11 punti su 20 solo in alcune abilità, ha tempo un anno (due sessioni d’esame) per ripresentare le abilità non sufficienti

31. LA SPENDIBILITÀ Il certificato CILS è SPENDIBILE: • nel mondo del lavoro • nel proprio percorso di studi • come indice della propria formazione permanente

32. ISTRUZIONI PRATICHE • Quanto tempo prima dell’esame è necessario iscriversi? • Come iscriversi all’esame? • Quali documenti servono? • Esistono limiti d’età? • Come scegliere il livello? • Come trovare la sede d’esame più vicina?

33. ISTRUZIONI PRATICHE • Quanto costa l’esame? • Come esercitarsi all’esame? • Quando è possibile conoscere il risultato dell’esame? • La CILS ha una scadenza?

34. PER ISCRIVERSI ALL’ESAME • Modulo compilato • Fotocopia di un documento di identità valido • Ricevuta del pagamento delle tasse d’esame

35. IL GIORNO DELL’ESAME • Predisporre aule in base al numero dei candidati e in base ai livelli, con almeno un somministratore per ogni aula • Verificare che l’aula abbia una buona acustica e avere un registratore per ogni aula • Aprire i pacchi • Far firmare i verbali dai candidati e verificare la validità del loro documento

36. IL GIORNO DELL’ESAME • Distribuire i quaderni d’esame e fornire alcune istruzioni essenziali • Far compilare il questionario iniziale • Dare il via alla prova di ascolto • Non interrompere mai la cassetta durante la prova d’ascolto • Rispettare i tempi stabiliti per ogni abilità

37. IL GIORNO DELL’ESAME • Il candidato può svolgere liberamente le prove relative alla stessa abilità, ma non può né proseguire né rivedere ciò che ha già svolto • La pausa avviene prima della prova di produzione scritta

38. IL GIORNO DELL’ESAME • Le produzioni orali si svolgono il pomeriggio dello stesso giorno o eventualmente il giorno dopo • Le produzioni orali vanno registrate su audiocassette (diverse in base al livello) sulle quali il somministratore dovrà scrivere il numero di matricola del candidato, numero che il candidato pronuncerà all’inizio della prova orale

39. AL TERMINE DELL’ESAME Rispedire tutto il materiale (meno la busta di salvataggio) a CENTRO CILS UNIVERSITÀ PER STRANIERI VIA BANDINI 35 53100 SIENA

40. CONTATTI CENTRO CILS tel. + 39 0577 240467-113 (per le iscrizioni) fax. + 39 0577 240461, e-mail cils@unistrasi.it servizio agli insegnanti: e-mail infocils@unistrasi.it

41. CILS, CELI, IT, PLIDA TIPO DI CERTIFICATO - ABILITA’ DA TESTARE TIPOLOGIA DELLE PROVE - TIPO DI PROVA E DURATA DELL’ESAME - TIPO DI INPUT E MODALITA’ DI SOMMINISTRAZIONE - FORMATO DEL TEST TIPO DI VALUTAZIONE - SEDE DELLA CORREZIONE - ASSEGNAZIONE DEI PUNTEGGI ATTRIBUZIONE DEL CERTIFICATO -CONDIZIONI MINIME PER OTTENERE IL CERTIFICATO - OPZIONI IN CASO DI SUPERAMENTO PARZIALE DEL CERTIFICATO - USI POSSIBILI DEL CERTIFICATO

42. 4 CERTIFICAZIONI • DIVERSE PER FINALITA’ • PER MODELLI DI ITALIANO DI RIFERIMENTO • ADERENTI ALL’AMPIO PANORAMA DI CERTIFICAZIONI DELLE ALTRE GRANDI LINGUE DI CULTURA MA • DEVONO ESSERE RESE IL PIU’ POSSIBILE ESPLICITE LE LORO CARATTERISTICHE COSI’ COME I CRITERI DI PROGETTAZIONE E VALUTAZIONE DELLE PROVE