Criteri e strumenti per la creazione di prove di verifica
Download
1 / 95

Criteri e strumenti per la creazione di prove di verifica - PowerPoint PPT Presentation


  • 134 Views
  • Uploaded on

Criteri e strumenti per la creazione di prove di verifica. 1) Testing: tra tecnica e arte Gianfranco Porcelli 26 febbraio 2010 Città del Messico Istituto Italiano di Cultura. Premessa.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Criteri e strumenti per la creazione di prove di verifica' - damita


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
Criteri e strumenti per la creazione di prove di verifica

Criteri e strumenti per la creazione di prove di verifica

1) Testing: tra tecnica e arte

Gianfranco Porcelli

26 febbraio 2010

Città del Messico

Istituto Italiano di Cultura


Premessa
Premessa

  • Le condizioni in cui si inquadrano le operazioni di testing negli IIC e in altre sedi non sono ottimali, se comparate con le condizioni nelle quali lavorano gli Enti Certificatori e alcuni Centri Linguistici Universitari

  • Malgrado ciò, la presa di coscienza rispetto alle strategie e tecniche migliori può essere di valido aiuto.


Oggetto dell esame
Oggetto dell’esame

  • Idealmente: tutto

  • Realisticamente:un campione

  • Restrizioni a causa di:

    • limiti di tempo

    • affaticamento dell’esaminato

    • (in)disponibilità di strumentazione

  • P.A.C.E.


Campionatura
Campionatura

  • Il più possibile estesa

  • il più possibile rappresentativa

  • Problemi:

    • le percentuali significative

    • ciò che non esaminiamo perché non sappiamo come fare


Oggettivit un mito
Oggettività: un mito?

  • Prove oggettive

    • univocità della risposta esatta

    • predeterminazione del punteggio

  • Oggettive nella tecnica di risposta, soggettive nella scelta del campione, del livello, dei materiali, della strumentazione…

  • Obiettivo realistico: riduzione della soggettività


Pre e post testing
Pre- e post-testing

  • Il test “una tantum”

  • La banca di quesiti e le analisi post-test

  • - indice di facilità

  • - indice di discriminazione

  • - analisi dei distrattori


Facilit e discriminazione
Facilità e discriminazione

  • Indice di facilità (IF): percentuale delle risposte corrette sul totale delle risposte attese (G * 100 / N)

  • Indice di discriminazione: rappresenta la tendenza di un quesito ad ottenere risposte esatte dagli studenti migliori



Riduzione della soggettivit
Riduzione della soggettività

  • Produzione scritta:

  • Contenuto

    • appropriato / fuori tema

    • originale / banale

    • consapevole delle differenze interculturali / non…

  • Forma

    • lessico

      • vocaboli

      • espressioni idiomatiche

    • sintassi

    • morfologia

    • ortografia


Processi di riduzione
Processi di riduzione

  • a) attribuzione di un giudizio su ciascuno dei fattori individuati

    • presuppone l’attribuzione di “pesi” a seconda del rilievo dei fattori

  • b) attribuzione di un giudizio complessivo tenendo conto della gerarchia dei fattori

  • Fonti di ponderazione o gerarchizzazione:

    • il QCER

    • gli obiettivi locali e/o la politica degli IIC


Le risposte a caso
Le risposte a caso

  • Il Totocalcio

  • La correzione del “tirare a indovinare” (guessing)

    Pc = E – S / (A – 1)

  • superamento della scelta binaria “secca” (V/F) – meglio V/F/ND (non dichiarato, non disponibile, non documentato nel testo)

  • controllo del funzionamento dei distrattori




Clever
Clever







Oggettivit e realismo
Oggettività e realismo

  • Ciò che si guadagna in oggettività si perde in realismo

  • Le capacità di interagire nelle reali situazioni di comunicazione si possono osservare solo nelle reali situazioni di comunicazione



Padronanza e livello
Padronanza e livello

  • “Padronanza” (achievement / attainment) commisurata all’apprendimento di quanto previsto in un determinato programma di studi e/o insieme di materiali didattici;

  • “livello” (proficiency) commisurato a quadri di riferimento esterni e alla competenza comunicativa in situazione.

  • Problema: l’altalena a mezz’aria – nessuno dei due bimbi ha i piedi per terra.


La verifica del profitto come comunicazione
La verifica del profitto come comunicazione

  • Tre termini cruciali:

    • Verifica

    • Profitto

    • Comunicazione


La verifica del profitto come comunicazione1
La verifica del profitto come comunicazione

  • Verifica e valutazione

  • La ‘misurazione’


Verifica valutazione
Verifica¹ Valutazione


La verifica 1 di che cosa
La verifica… (1: di che cosa?)

  • Oggetto della verifica è la performance, ciò che lo studente “esterna”, comeindice e campione della competence:

    a) indice, perché può condurre a intuire processi mentali e abilità complesse;

    b) campione, perché ogni prova di controllo non può che selezionare alcune abilità, competenze, aree lessicali...



La verifica 2 quali parametri
La verifica… (2: quali parametri?)

  • La accuracy, in termini di correttezza a livello fonetico, grammaticale e lessicale

  • La fluency, intesa come capacità di comunicare non necessariamente in modo totalmente accurato

  • La comprensione interculturale, grande obiettivo di fondo da non dimenticare


Coerenza delle verifiche
Coerenza delle verifiche

  •  con il metodo adottato: un testing di matrice strutturalista non è compatibile con approcci comunicativi e/o umanistico-affettivi;

  •  con gli obiettivi della verifica.

  • Senza tale coerenza il test è privo di VALIDITA’.


Validit dei test
Validità dei test

  • Definizione: capacità di un test di verificare ciò che intende verificare e nient’altro.

    • Test “di intelligenza” o “di lingua” ?

      Parametri della validità:

    • Pertinenza;

    • Accettabilità;

    • Comparabilità;

    • Economia.


Del profitto
...del profitto...

CALIBAN:

You taught me language, and my profit on’t

Is, I know how to curse; the red plague rid you,

For learning me your language!

W. Shakespeare, The Tempest, I, ii, 363

[Italiano lingua seconda per i colf, 1611]


Come comunicazione
…come comunicazione.

a) coerente con un approccio comunicativo;

b) come comunicazione operativa di obiettivi.


Misurare si pu
Misurare: si può?

  • Unità di misura

  • Lo zero

  • Gauss e “distanze relative”

  • Misurare, in senso stretto, non si può.


La distribuzione normale delle frequenze
La distribuzione normale delle frequenze

  • Ovvero, anche il caso ha le sue regole









Statica o dinamica
Statica o dinamica?

  • giovedì: 40°

  • venerdì: 39°

  • sabato: 37°

  • domenica: 36°

  • lunedì… ?


Verifiche statiche e dinamiche
Verifiche statiche e dinamiche

  • Controllo del prodotto (“fotografia”)

  • Controllo dei processi (“cinepresa”)

    • alta definizione, 3D, ecc.: quali speranze per il testing?


Norma e criterio
Norma e Criterio

  • “Norma”: riferimenti interni.

    • Il richiamo alla “norma” è un raffronto con i livelli medi di profitto riscontrabili in una classe (è un raffronto possibile, in qualche misura, per lo scolaro).

  • “Criterio”: riferimenti esterni

    • Il richiamo al “criterio” è un raffronto con parametri esterni — ad esempio, quelli offerti da Quadro Europeo di Riferimento (è un raffronto di norma impossibile per lo scolaro).


La sufficienza
La “sufficienza”

  • Sufficienza “assoluta” o “criteriale” (p. es. con riferimento alle esigenze di un’azienda);

    • “dieci euro sono sufficienti?”

    • criterio: il bene o servizio da acquistare

  • Sufficienza “relativa” o “normale”, ossia scolastica

    • “mio figlio è sufficiente?”

    • criterio: le attese dell’insegnante.


Conoscenza delle lingue
Conoscenza delle lingue...

  •  Ottima

  •  Sufficiente

  •  Scolastica

  • Da questo punto di vista l’insegnamento dell’italiano a stranieri in Italia è molto più realistico e attento all’extra-scuola


Descrittori produzione scritta a
Descrittori Produzione Scritta A

  • A1 - So scrivere una breve e semplice cartolina, per es. per mandare i saluti dalle vacanze. So riempire moduli con dati personali ad es. il mio nome, la nazionalità e l'indirizzo sulla scheda di registrazione di un albergo.

  • A2 - So scrivere semplici appunti e brevi messaggi su argomenti riguardanti bisogni immediati. Riesco a scrivere una lettera personale molto semplice, per es. per ringraziare qualcuno.


Descrittori produzione scritta b
Descrittori Produzione Scritta B

  • B1 - So scrivere semplici testi coerenti su argomenti noti o di mio interesse. So scrivere lettere personali esponendo esperienze e impressioni.

  • B2 - Sono in grado di scrivere testi chiari e articolati su un'ampia gamma di argomenti che mi interessano. Sono capace di scrivere saggi e relazioni, fornendo informazioni e ragioni a favore o contro una determinata opinione. So scrivere lettere mettendo in evidenza il significato che attribuisco personalmente agli avvenimenti e alle esperienze.


Descrittori produzione scritta c
Descrittori Produzione Scritta C

  • Sono in grado di esprimermi sviluppando analiticamente il mio punto di vista in testi chiari e ben strutturati. Scrivo lettere, saggi e relazioni esponendo argomenti complessi, evidenziando i punti che ritengo salienti. Sono in grado di scegliere lo stile adatto ai lettori ai quali intendo rivolgermi.

  • Sono in grado di scrivere testi chiari, scorrevoli e stilisticamente adeguati. Scrivo lettere, relazioni e articoli complessi e supporto il contenuto con una struttura logica efficace che aiuti il destinatario a identificare i punti salienti da rammentare. Sono capace di scriver riassunti e recensioni di opere letterarie e saggi professionali


Errore e sbaglio
Errore e Sbaglio

  • I termini NON sono sinonimi nemmeno nella lingua italiana corrente: si può fare qualcosa per errore o per sbaglio, tuttavia si può solo indurre in errore ma non *indurre in sbaglio.

  • Le co-occorrenze

  • In Glottodidattica...


L errore
L’errore

  • a) Si riferisce alla competencee quindi è sistematico;

  • b) Ha bisogno di interventi esterni e espliciti per essere corretto;

  • c) L’insieme degli errori rivela il livello di interlanguage raggiunto e, potenzialmente, il grado di fossilizzazione.


Lo sbaglio
Lo sbaglio

  • a) Si riferisce alla performance e quindi è occasionale;

  • b) Per definizione, può essere corretto da chi l’ha commesso, purché se ne accorga;

  • c) La frequenza degli sbagli può essere indice di uno stato ansioso in chi parla o scrive.


Corollario fondamentale
Corollario fondamentale

  • Qualora un dato elemento venisse esaminato una sola volta in un test:

  • se la risposta è errata, non sapremo mai se si tratta di un errore o di uno sbaglio;

  • ma anche una risposta corretta potrebbe nascondere problemi di competence, con una performance “giusta per sbaglio”;

    • [errore palese e errore nascosto]


Accaduto in una scuola media
È accaduto in una Scuola Media

  • Alcuni studenti hanno meritato un giudizio nettamente positivo sulla base delle risposte date a un questionario ma hanno rivelato gravi lacune nella comprensione del testo quando è stato chiesta la retroversione del brano su cui era basato il questionario.

    • (segue)


C poca scelta

Se si segue l’ordine del brano

la sequenza facilita il ritrovamento delle risposte giuste, “a intuito”

Se non si segue l’ordine del brano

si procede in modo innaturale e si inseriscono difficoltà artificiose

C’è poca scelta …


La legge del non reciproco variante della legge di murphy
La legge del non-reciproco(variante della “legge di Murphy”)

  • Se un test o una prova strutturata palesano errori, ci sono problemi di apprendimento.

  • Se invece non palesano errori, i problemi potrebbero esserci ugualmente.


Genesi degli errori 1
Genesi degli errori / 1

  • a) transfer interlinguistico

    errori di “interferenza”:

    *the goods boys

    *le chaleur, le méthode

    *die Fräulein

    *largo (per “lungo”), *salita (per “uscita”),

    *aceto (per “olio”), *equipaggio (per “bagaglio”) ecc. ecc.


Genesi degli errori 2
Genesi degli errori / 2

b) transfer di apprendimento

errori di ipergeneralizzazione:

*who did arrive?

*speak you English?

  • Chi risponde dà una risposta

  • Chi propone fa una proposta

  • …ma chi dispone non dà una *disposta

  • …e soprattutto chi suppone non… osta


Genesi degli errori 3
Genesi degli errori / 3

c) strategie didattiche, strategie di apprendimento della L2, strategie di comunicazione

uso eccessivo o scorretto di:

  • forme rare

  • un solo genere

  • forme elementari

  • Esito generale: FOSSILIZZAZIONE


  • Esempi inglese ls
    Esempi (inglese LS)

    • What (happen) ________ there after I had left?

    • My friend Tom can ski vey well; he’s a small champion

    • A friend of mine / Un amico dei miei

    • What was Pepys doing when they woke him up?

    • You’ve written a romance


    Osservazione e consapevolezza
    Osservazione e Consapevolezza

    • Sono due parole-chiave, sempre più diffuse in Glottodidattica:

    • Imparare significa sviluppare consapevolezza, e per questo occorre anzitutto accorgersi delle strutture lessicali e grammaticali operanti nella lingua da imparare.


    Consapevolezza per l autovalutazione
    Consapevolezza per l’autovalutazione

    • Perché chi impara una lingua possa autovalutarsi occorrono:

    • 1) coscienza precisa degli obiettivi e dei livelli desiderati (“criteri”);

    • 2) strumenti di verifica della correttezza della propria performance (non solo in termini di accuracy).


    Verifiche comode e verifiche valide
    Verifiche comode e verifiche valide

    • È anche colpa mia?

    • “Gli studenti sanno mettere le crocette ma non capiscono quello che fanno”

    • “mettere le crocette” può essere sostituito da:

      • Riempire i buchi

      • Abbinare tra due colonne

      • Riordinare

      • … altro ancora [che cosa?]



    Ma avevo anche scritto
    … ma avevo anche scritto …

    • “non abbiamo mai affermato che i test debbano soppiantare in toto le prove tradizionali: essi servono invece ad assicurare che tali prove vengano affrontate dagli allievi in condizioni ottimali.”


    Concludendo cos
    … concludendo così:

    • “Fare eseguire un riassunto o una composizione dopo aver accertato la padronanza delle strutture linguistiche è assai più produttivo che servirsi delle stesse prove anche per verificare tale padronanza.”

      • Il Language testing: problemi e tecniche, Bergamo, Minerva Italica, 1975, p. 124.


    Solo apparenze
    Solo apparenze

    • 5 risposte esatte a 20 quesiti a scelta quadrupla

    • da 1 a 10, quanto valgono?

    • valgono ZERO!

      • Una scimmia addestrata che lavora a caso ha la stessa probabilità di raggiungere quel risultato, e se è fortunata fa anche meglio!


    Errori palesi e nascosti
    Errori palesi e nascosti

    • “Maurice? Who's Maurice? What does he do?”

    • “He's a friend of mine. He's a waiter.”

    • Due studenti hanno tradotto a friend of mine come:

      • * un amico di famiglia.

      • * un amico dei miei genitori.

    • Sarà ‘giusto’ “un amico dei miei” ?


    Una metafora del language testing
    Una metafora del Language Testing

    • è quella dei ciechi che si accostano a un elefante: a seconda della parte con cui entrano in contatto (la proboscide, le zanne, le orecchie, la coda, ecc.) ognuno di loro ne avrà una percezione del tutto particolare; ne risulterà una serie di descrizioni che pur essendo in sé veritiere riflettono solo parzialmente un'entità che è qualcosa di più e di diverso della somma delle singole osservazioni.

    • Non è una metafora nuova ma serve comunque a metterci in guardia contro l'illusione di avere colto nel loro insieme realtà complesse quando invece se ne possiedono solo visioni unilaterali.



    L assioma di titone sul testing
    L’assioma di Titone sul testing

    • Non possiamo prendere due piccioni con una fava:

    • siamo costretti a usare molte fave per prendere un solo piccione


    Problemi vecchi
    Problemi vecchi …

    • Se si usa una sola delle tante tecniche di testing si privilegiano gli allievi che si trovano bene con esse e si sfavoriscono indebitamente gli altri

    • Ossia, la pluralità delle tecniche come strumento di equità

    • Globalisti / serialisti


    E problemi attuali
    … e problemi attuali

    • Se ci limitiamo alle verifiche mediante test potremmo non avere il quadro esatto delle (in)competenze degli studenti

    • Le prove che implicano la redazione di testi richiedono tempi lunghi di esecuzione e di correzione

    • ma sono indispensabili


    Grammatica e lessico
    Grammatica e lessico

    • Per capire un testo e comunicare la grammatica serve a poco …

    • … il lessico molto di più!

      • Il Lexical Approach (1993)

    • Chi viaggia all’estero si porta una grammatica o un dizionario?

    • E allora, perché tendiamo a ragionare come se imparare una lingua fosse impararne la grammatica?


    Grammatica dell aspettativa e testing pragmatico
    Grammatica dell’aspettativa e testing pragmatico

    • Le prove pragmatiche mettono in gioco le competenze testuali

      • - in particolare la capacità di capire un testo facendo anticipazioni corrette

    • Oller (1979) cita anzitutto il dettato per l’orale e il cloze test per lo scritto, ma anche la traduzione e altre forme di parafrasi sono incluse tra le prove pragmatiche


    In linea generale quindi
    In linea generale, quindi …

    • Dettare per verificare la comprensione orale e far tradurre per verificare quella scritta

      • Sono prove complesse e quindi con un certo grado di difficoltà

      • Richiedono più tempo e impegno rispetto alle crocette e al tappabuchi

    • L’alternativa è illudersi di avere insegnato e illudere gli studenti su un profitto che non c’è


    Il dettato
    Il dettato

    • Non “ortografico”, come prova del saper scrivere

      • Sistemi alfabetici (o addirittura ideografici) molto diversi da quello latino

    • ma come prova del saper ascoltare

      • alternative: dettato di disegni, di azioni … (ascolta e fai) [TPR]


    La procedura cloze
    La procedura “cloze”

    I quattro famosi cantanti __1__ attesi da un momento all’altro __2__ una gran folla di giovani fan __3__ era radunata all’aeroporto __4__ accoglierli.

    Per la polizia fu molto difficile __5__ la folla sotto controllo dopo __6__ i cantanti erano apparsi sula scaletta. __7__ con una maglia rosa a strisce e __8__ azzurri, i capelli tagliati corti e __9__ strumenti musicali a tracolla, i __10__ givanotti si assomigliavano molto.


    Requisito generale
    Requisito generale

    • Lavorare su t e s t i

    • s i g n i f i c a t i v i

      • > di senso compiuto

      • > e possibilmente “incisivi”

    • La dimensione affettiva

      • Da insegnanti a “giudici”


    E quindi per non vanificare il tutto
    E quindi, per non vanificare il tutto:

    • Estrema attenzione alle differenze culturali

      • > la tragedia di perdere la faccia

      • > i tanti modi di

        • offendere

        • creare ansia

        • o anche “soltanto” disamorare e far perdere l’entusiasmo

    • Può bastare un giudizio formulato male e certi studenti non li vediamo più!


    Bibliografia
    Bibliografia

    • G. Porcelli, Il Language testing: problemi e tecniche, Bergamo, Minerva Italica, 1975, [p. 124].

    • G. Porcelli, Educazione linguistica e valutazione, Torino, UTET-Libreria, 1998

    • “Scuola e Lingue Moderne”, ANILS Associazione Nazionale Insegnanti Lingue Straniere, Campobasso [c.c.p. 10441863]


    Contatti
    Contatti


    S a l i d a siamo ancora confusi ma a un livello pi elevato
    S A L I D A “Siamo ancora confusi, ma a un livello più elevato.”


    Scale di valutazione
    Scale di valutazione

    • La “scala di valutazione generale” secondo B.J. CARROLL, Testing Communicative Performance, Oxford, Pergamon, 1980.

    • Il two-tier system e le certificazioni.


    1 0 non utente
    1/0. Non utente.

    • Può non riconoscere con sicurezza quale lingua si stia usando.


    2 utente intermittente
    2. Utenteintermittente.

    • Esecuzione ben al di sotto del livello di conoscenza operativa della lingua dell'uso quotidiano. La comunicazione si instaura solo sporadicamente.


    3 utente estremamente limitato
    3. Utenteestremamente limitato.

    • Non possiede una conoscenza operativa della lingua dell'uso quotidiano, ma è migliore di un principiante assoluto. Né le abilità produttive né quelle ricettive permettono una comunicazione continuativa.


    4 utente marginale
    4. Utentemarginale.

    • Manca di stile, scorrevolezza e accuratezza; non è facile comunicare con lui, l'accento straniero e la scarsa padronanza del codice provocano fraintendimenti. In genere se la cava senza gravi intoppi.


    5 utente modesto
    5. Utentemodesto.

    • Sebbene in genere riesca a comunicare, spesso usa un linguaggio non accurato o improprio.


    6 utente competente
    6. Utentecompetente.

    • Malgrado sappia far fronte alla maggior parte delle situazioni che probabilmente dovrà affrontare, è un po' carente nella scorrevolezza (fluency) e nell'accuratezza e occasionalmente incorrerà in fraintendimenti o errori significativi.


    7 utente buono
    7. Utentebuono.

    • Sa affrontare la maggior parte delle situazioni in un ambiente anglofono. Lapsus occasionali e limitazioni nel linguaggio non impediscono la comunicazione.


    8 utente ottimo
    8. Utente ottimo.

    • La presentazione dell'argomento è chiara e logica con buono stile e una chiara percezione degli indicatori di atteggiamento. Si avvicina spesso alla competenza bilingue.


    9 utente esperto
    9. Utenteesperto.

    • Comunica con autorevolezza, accuratezza e stile. Completamente a proprio agio nell'inglese idiomatico e specialistico.


    ad