Criteri e strumenti per la creazione di prove di verifica
This presentation is the property of its rightful owner.
Sponsored Links
1 / 95

Criteri e strumenti per la creazione di prove di verifica PowerPoint PPT Presentation


  • 79 Views
  • Uploaded on
  • Presentation posted in: General

Criteri e strumenti per la creazione di prove di verifica. 1) Testing: tra tecnica e arte Gianfranco Porcelli 26 febbraio 2010 Città del Messico Istituto Italiano di Cultura. Premessa.

Download Presentation

Criteri e strumenti per la creazione di prove di verifica

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Criteri e strumenti per la creazione di prove di verifica

Criteri e strumenti per la creazione di prove di verifica

1) Testing: tra tecnica e arte

Gianfranco Porcelli

26 febbraio 2010

Città del Messico

Istituto Italiano di Cultura


Premessa

Premessa

  • Le condizioni in cui si inquadrano le operazioni di testing negli IIC e in altre sedi non sono ottimali, se comparate con le condizioni nelle quali lavorano gli Enti Certificatori e alcuni Centri Linguistici Universitari

  • Malgrado ciò, la presa di coscienza rispetto alle strategie e tecniche migliori può essere di valido aiuto.


Oggetto dell esame

Oggetto dell’esame

  • Idealmente: tutto

  • Realisticamente:un campione

  • Restrizioni a causa di:

    • limiti di tempo

    • affaticamento dell’esaminato

    • (in)disponibilità di strumentazione

  • P.A.C.E.


Campionatura

Campionatura

  • Il più possibile estesa

  • il più possibile rappresentativa

  • Problemi:

    • le percentuali significative

    • ciò che non esaminiamo perché non sappiamo come fare


Oggettivit un mito

Oggettività: un mito?

  • Prove oggettive

    • univocità della risposta esatta

    • predeterminazione del punteggio

  • Oggettive nella tecnica di risposta, soggettive nella scelta del campione, del livello, dei materiali, della strumentazione…

  • Obiettivo realistico: riduzione della soggettività


Pre e post testing

Pre- e post-testing

  • Il test “una tantum”

  • La banca di quesiti e le analisi post-test

  • - indice di facilità

  • - indice di discriminazione

  • - analisi dei distrattori


Facilit e discriminazione

Facilità e discriminazione

  • Indice di facilità (IF): percentuale delle risposte corrette sul totale delle risposte attese (G * 100 / N)

  • Indice di discriminazione: rappresenta la tendenza di un quesito ad ottenere risposte esatte dagli studenti migliori


Facilit e discriminazione1

Facilità e discriminazione


Riduzione della soggettivit

Riduzione della soggettività

  • Produzione scritta:

  • Contenuto

    • appropriato / fuori tema

    • originale / banale

    • consapevole delle differenze interculturali / non…

  • Forma

    • lessico

      • vocaboli

      • espressioni idiomatiche

    • sintassi

    • morfologia

    • ortografia


Processi di riduzione

Processi di riduzione

  • a) attribuzione di un giudizio su ciascuno dei fattori individuati

    • presuppone l’attribuzione di “pesi” a seconda del rilievo dei fattori

  • b) attribuzione di un giudizio complessivo tenendo conto della gerarchia dei fattori

  • Fonti di ponderazione o gerarchizzazione:

    • il QCER

    • gli obiettivi locali e/o la politica degli IIC


Le risposte a caso

Le risposte a caso

  • Il Totocalcio

  • La correzione del “tirare a indovinare” (guessing)

    Pc = E – S / (A – 1)

  • superamento della scelta binaria “secca” (V/F) – meglio V/F/ND (non dichiarato, non disponibile, non documentato nel testo)

  • controllo del funzionamento dei distrattori


Ansia da test

Ansia da test


La bella notizia

La bella notizia


Clever

Clever…


Verare e falsare

Verare e falsare


Bleah

Bleah!


Non solo linus 1

Non solo Linus / 1


Non solo linus 2

Non solo Linus / 2


La forza e il movimento

La forza e il movimento


Oggettivit e realismo

Oggettività e realismo

  • Ciò che si guadagna in oggettività si perde in realismo

  • Le capacità di interagire nelle reali situazioni di comunicazione si possono osservare solo nelle reali situazioni di comunicazione


Padronanza livello

padronanza / livello


Padronanza e livello

Padronanza e livello

  • “Padronanza” (achievement / attainment) commisurata all’apprendimento di quanto previsto in un determinato programma di studi e/o insieme di materiali didattici;

  • “livello” (proficiency) commisurato a quadri di riferimento esterni e alla competenza comunicativa in situazione.

  • Problema: l’altalena a mezz’aria – nessuno dei due bimbi ha i piedi per terra.


La verifica del profitto come comunicazione

La verifica del profitto come comunicazione

  • Tre termini cruciali:

    • Verifica

    • Profitto

    • Comunicazione


La verifica del profitto come comunicazione1

La verifica del profitto come comunicazione

  • Verifica e valutazione

  • La ‘misurazione’


Verifica valutazione

Verifica¹ Valutazione


La verifica 1 di che cosa

La verifica… (1: di che cosa?)

  • Oggetto della verifica è la performance, ciò che lo studente “esterna”, comeindice e campione della competence:

    a) indice, perché può condurre a intuire processi mentali e abilità complesse;

    b) campione, perché ogni prova di controllo non può che selezionare alcune abilità, competenze, aree lessicali...


Input intake output

Input, Intake, Output


La verifica 2 quali parametri

La verifica… (2: quali parametri?)

  • La accuracy, in termini di correttezza a livello fonetico, grammaticale e lessicale

  • La fluency, intesa come capacità di comunicare non necessariamente in modo totalmente accurato

  • La comprensione interculturale, grande obiettivo di fondo da non dimenticare


Coerenza delle verifiche

Coerenza delle verifiche

  •  con il metodo adottato: un testing di matrice strutturalista non è compatibile con approcci comunicativi e/o umanistico-affettivi;

  •  con gli obiettivi della verifica.

  • Senza tale coerenza il test è privo di VALIDITA’.


Validit dei test

Validità dei test

  • Definizione: capacità di un test di verificare ciò che intende verificare e nient’altro.

    • Test “di intelligenza” o “di lingua” ?

      Parametri della validità:

    • Pertinenza;

    • Accettabilità;

    • Comparabilità;

    • Economia.


Del profitto

...del profitto...

CALIBAN:

You taught me language, and my profit on’t

Is, I know how to curse; the red plague rid you,

For learning me your language!

W. Shakespeare, The Tempest, I, ii, 363

[Italiano lingua seconda per i colf, 1611]


Come comunicazione

…come comunicazione.

a) coerente con un approccio comunicativo;

b) come comunicazione operativa di obiettivi.


Misurare si pu

Misurare: si può?

  • Unità di misura

  • Lo zero

  • Gauss e “distanze relative”

  • Misurare, in senso stretto, non si può.


La distribuzione normale delle frequenze

La distribuzione normale delle frequenze

  • Ovvero, anche il caso ha le sue regole


Poligono frequenze 1 dado

Poligono frequenze 1 dado


Poligono frequenze 2 dadi

Poligono frequenze 2 dadi


Poligono frequenze 3 dadi

Poligono frequenze 3 dadi


Poligono frequenze 3 dadi1

Poligono frequenze 3 dadi


Poligono frequenze 4 dadi

Poligono frequenze 4 dadi


Poligono frequenze 5 dadi

Poligono frequenze 5 dadi


Poligono frequenze 6 dadi

Poligono frequenze 6 dadi


Statica o dinamica

Statica o dinamica?

  • giovedì: 40°

  • venerdì: 39°

  • sabato: 37°

  • domenica: 36°

  • lunedì… ?


Verifiche statiche e dinamiche

Verifiche statiche e dinamiche

  • Controllo del prodotto (“fotografia”)

  • Controllo dei processi (“cinepresa”)

    • alta definizione, 3D, ecc.: quali speranze per il testing?


Norma e criterio

Norma e Criterio

  • “Norma”: riferimenti interni.

    • Il richiamo alla “norma” è un raffronto con i livelli medi di profitto riscontrabili in una classe (è un raffronto possibile, in qualche misura, per lo scolaro).

  • “Criterio”: riferimenti esterni

    • Il richiamo al “criterio” è un raffronto con parametri esterni — ad esempio, quelli offerti da Quadro Europeo di Riferimento (è un raffronto di norma impossibile per lo scolaro).


La sufficienza

La “sufficienza”

  • Sufficienza “assoluta” o “criteriale” (p. es. con riferimento alle esigenze di un’azienda);

    • “dieci euro sono sufficienti?”

    • criterio: il bene o servizio da acquistare

  • Sufficienza “relativa” o “normale”, ossia scolastica

    • “mio figlio è sufficiente?”

    • criterio: le attese dell’insegnante.


Conoscenza delle lingue

Conoscenza delle lingue...

  •  Ottima

  •  Sufficiente

  •  Scolastica

  • Da questo punto di vista l’insegnamento dell’italiano a stranieri in Italia è molto più realistico e attento all’extra-scuola


Descrittori produzione scritta a

Descrittori Produzione Scritta A

  • A1 - So scrivere una breve e semplice cartolina, per es. per mandare i saluti dalle vacanze. So riempire moduli con dati personali ad es. il mio nome, la nazionalità e l'indirizzo sulla scheda di registrazione di un albergo.

  • A2 - So scrivere semplici appunti e brevi messaggi su argomenti riguardanti bisogni immediati. Riesco a scrivere una lettera personale molto semplice, per es. per ringraziare qualcuno.


Descrittori produzione scritta b

Descrittori Produzione Scritta B

  • B1 - So scrivere semplici testi coerenti su argomenti noti o di mio interesse. So scrivere lettere personali esponendo esperienze e impressioni.

  • B2 - Sono in grado di scrivere testi chiari e articolati su un'ampia gamma di argomenti che mi interessano. Sono capace di scrivere saggi e relazioni, fornendo informazioni e ragioni a favore o contro una determinata opinione. So scrivere lettere mettendo in evidenza il significato che attribuisco personalmente agli avvenimenti e alle esperienze.


Descrittori produzione scritta c

Descrittori Produzione Scritta C

  • Sono in grado di esprimermi sviluppando analiticamente il mio punto di vista in testi chiari e ben strutturati. Scrivo lettere, saggi e relazioni esponendo argomenti complessi, evidenziando i punti che ritengo salienti. Sono in grado di scegliere lo stile adatto ai lettori ai quali intendo rivolgermi.

  • Sono in grado di scrivere testi chiari, scorrevoli e stilisticamente adeguati. Scrivo lettere, relazioni e articoli complessi e supporto il contenuto con una struttura logica efficace che aiuti il destinatario a identificare i punti salienti da rammentare. Sono capace di scriver riassunti e recensioni di opere letterarie e saggi professionali


Errore e sbaglio

Errore e Sbaglio

  • I termini NON sono sinonimi nemmeno nella lingua italiana corrente: si può fare qualcosa per errore o per sbaglio, tuttavia si può solo indurre in errore ma non *indurre in sbaglio.

  • Le co-occorrenze

  • In Glottodidattica...


L errore

L’errore

  • a) Si riferisce alla competencee quindi è sistematico;

  • b) Ha bisogno di interventi esterni e espliciti per essere corretto;

  • c) L’insieme degli errori rivela il livello di interlanguage raggiunto e, potenzialmente, il grado di fossilizzazione.


Lo sbaglio

Lo sbaglio

  • a) Si riferisce alla performance e quindi è occasionale;

  • b) Per definizione, può essere corretto da chi l’ha commesso, purché se ne accorga;

  • c) La frequenza degli sbagli può essere indice di uno stato ansioso in chi parla o scrive.


Corollario fondamentale

Corollario fondamentale

  • Qualora un dato elemento venisse esaminato una sola volta in un test:

  • se la risposta è errata, non sapremo mai se si tratta di un errore o di uno sbaglio;

  • ma anche una risposta corretta potrebbe nascondere problemi di competence, con una performance “giusta per sbaglio”;

    • [errore palese e errore nascosto]


Accaduto in una scuola media

È accaduto in una Scuola Media

  • Alcuni studenti hanno meritato un giudizio nettamente positivo sulla base delle risposte date a un questionario ma hanno rivelato gravi lacune nella comprensione del testo quando è stato chiesta la retroversione del brano su cui era basato il questionario.

    • (segue)


C poca scelta

Se si segue l’ordine del brano

la sequenza facilita il ritrovamento delle risposte giuste, “a intuito”

Se non si segue l’ordine del brano

si procede in modo innaturale e si inseriscono difficoltà artificiose

C’è poca scelta …


La legge del non reciproco variante della legge di murphy

La legge del non-reciproco(variante della “legge di Murphy”)

  • Se un test o una prova strutturata palesano errori, ci sono problemi di apprendimento.

  • Se invece non palesano errori, i problemi potrebbero esserci ugualmente.


Genesi degli errori 1

Genesi degli errori / 1

  • a) transfer interlinguistico

    errori di “interferenza”:

    *the goods boys

    *le chaleur, le méthode

    *die Fräulein

    *largo (per “lungo”), *salita (per “uscita”),

    *aceto (per “olio”), *equipaggio (per “bagaglio”) ecc. ecc.


Genesi degli errori 2

Genesi degli errori / 2

b) transfer di apprendimento

errori di ipergeneralizzazione:

*who did arrive?

*speak you English?

  • Chi risponde dà una risposta

  • Chi propone fa una proposta

  • …ma chi dispone non dà una *disposta

  • …e soprattutto chi suppone non… osta


Genesi degli errori 3

Genesi degli errori / 3

c) strategie didattiche, strategie di apprendimento della L2, strategie di comunicazione

uso eccessivo o scorretto di:

  • forme rare

  • un solo genere

  • forme elementari

  • Esito generale: FOSSILIZZAZIONE


  • Esempi inglese ls

    Esempi (inglese LS)

    • What (happen) ________ there after I had left?

    • My friend Tom can ski vey well; he’s a small champion

    • A friend of mine / Un amico dei miei

    • What was Pepys doing when they woke him up?

    • You’ve written a romance


    Osservazione e consapevolezza

    Osservazione e Consapevolezza

    • Sono due parole-chiave, sempre più diffuse in Glottodidattica:

    • Imparare significa sviluppare consapevolezza, e per questo occorre anzitutto accorgersi delle strutture lessicali e grammaticali operanti nella lingua da imparare.


    Consapevolezza per l autovalutazione

    Consapevolezza per l’autovalutazione

    • Perché chi impara una lingua possa autovalutarsi occorrono:

    • 1) coscienza precisa degli obiettivi e dei livelli desiderati (“criteri”);

    • 2) strumenti di verifica della correttezza della propria performance (non solo in termini di accuracy).


    Verifiche comode e verifiche valide

    Verifiche comode e verifiche valide

    • È anche colpa mia?

    • “Gli studenti sanno mettere le crocette ma non capiscono quello che fanno”

    • “mettere le crocette” può essere sostituito da:

      • Riempire i buchi

      • Abbinare tra due colonne

      • Riordinare

      • … altro ancora [che cosa?]


    Avevo scritto

    Avevo scritto …


    Ma avevo anche scritto

    … ma avevo anche scritto …

    • “non abbiamo mai affermato che i test debbano soppiantare in toto le prove tradizionali: essi servono invece ad assicurare che tali prove vengano affrontate dagli allievi in condizioni ottimali.”


    Concludendo cos

    … concludendo così:

    • “Fare eseguire un riassunto o una composizione dopo aver accertato la padronanza delle strutture linguistiche è assai più produttivo che servirsi delle stesse prove anche per verificare tale padronanza.”

      • Il Language testing: problemi e tecniche, Bergamo, Minerva Italica, 1975, p. 124.


    Solo apparenze

    Solo apparenze

    • 5 risposte esatte a 20 quesiti a scelta quadrupla

    • da 1 a 10, quanto valgono?

    • valgono ZERO!

      • Una scimmia addestrata che lavora a caso ha la stessa probabilità di raggiungere quel risultato, e se è fortunata fa anche meglio!


    Errori palesi e nascosti

    Errori palesi e nascosti

    • “Maurice? Who's Maurice? What does he do?”

    • “He's a friend of mine. He's a waiter.”

    • Due studenti hanno tradotto a friend of mine come:

      • * un amico di famiglia.

      • * un amico dei miei genitori.

    • Sarà ‘giusto’ “un amico dei miei” ?


    Una metafora del language testing

    Una metafora del Language Testing

    • è quella dei ciechi che si accostano a un elefante: a seconda della parte con cui entrano in contatto (la proboscide, le zanne, le orecchie, la coda, ecc.) ognuno di loro ne avrà una percezione del tutto particolare; ne risulterà una serie di descrizioni che pur essendo in sé veritiere riflettono solo parzialmente un'entità che è qualcosa di più e di diverso della somma delle singole osservazioni.

    • Non è una metafora nuova ma serve comunque a metterci in guardia contro l'illusione di avere colto nel loro insieme realtà complesse quando invece se ne possiedono solo visioni unilaterali.


    Un elefante senza la coda

    Un elefante senza la coda


    L assioma di titone sul testing

    L’assioma di Titone sul testing

    • Non possiamo prendere due piccioni con una fava:

    • siamo costretti a usare molte fave per prendere un solo piccione


    Problemi vecchi

    Problemi vecchi …

    • Se si usa una sola delle tante tecniche di testing si privilegiano gli allievi che si trovano bene con esse e si sfavoriscono indebitamente gli altri

    • Ossia, la pluralità delle tecniche come strumento di equità

    • Globalisti / serialisti


    E problemi attuali

    … e problemi attuali

    • Se ci limitiamo alle verifiche mediante test potremmo non avere il quadro esatto delle (in)competenze degli studenti

    • Le prove che implicano la redazione di testi richiedono tempi lunghi di esecuzione e di correzione

    • ma sono indispensabili


    Grammatica e lessico

    Grammatica e lessico

    • Per capire un testo e comunicare la grammatica serve a poco …

    • … il lessico molto di più!

      • Il Lexical Approach (1993)

    • Chi viaggia all’estero si porta una grammatica o un dizionario?

    • E allora, perché tendiamo a ragionare come se imparare una lingua fosse impararne la grammatica?


    Grammatica dell aspettativa e testing pragmatico

    Grammatica dell’aspettativa e testing pragmatico

    • Le prove pragmatiche mettono in gioco le competenze testuali

      • - in particolare la capacità di capire un testo facendo anticipazioni corrette

    • Oller (1979) cita anzitutto il dettato per l’orale e il cloze test per lo scritto, ma anche la traduzione e altre forme di parafrasi sono incluse tra le prove pragmatiche


    In linea generale quindi

    In linea generale, quindi …

    • Dettare per verificare la comprensione orale e far tradurre per verificare quella scritta

      • Sono prove complesse e quindi con un certo grado di difficoltà

      • Richiedono più tempo e impegno rispetto alle crocette e al tappabuchi

    • L’alternativa è illudersi di avere insegnato e illudere gli studenti su un profitto che non c’è


    Il dettato

    Il dettato

    • Non “ortografico”, come prova del saper scrivere

      • Sistemi alfabetici (o addirittura ideografici) molto diversi da quello latino

    • ma come prova del saper ascoltare

      • alternative: dettato di disegni, di azioni … (ascolta e fai) [TPR]


    La procedura cloze

    La procedura “cloze”

    I quattro famosi cantanti __1__ attesi da un momento all’altro __2__ una gran folla di giovani fan __3__ era radunata all’aeroporto __4__ accoglierli.

    Per la polizia fu molto difficile __5__ la folla sotto controllo dopo __6__ i cantanti erano apparsi sula scaletta. __7__ con una maglia rosa a strisce e __8__ azzurri, i capelli tagliati corti e __9__ strumenti musicali a tracolla, i __10__ givanotti si assomigliavano molto.


    Requisito generale

    Requisito generale

    • Lavorare su t e s t i

    • s i g n i f i c a t i v i

      • > di senso compiuto

      • > e possibilmente “incisivi”

    • La dimensione affettiva

      • Da insegnanti a “giudici”


    E quindi per non vanificare il tutto

    E quindi, per non vanificare il tutto:

    • Estrema attenzione alle differenze culturali

      • > la tragedia di perdere la faccia

      • > i tanti modi di

        • offendere

        • creare ansia

        • o anche “soltanto” disamorare e far perdere l’entusiasmo

    • Può bastare un giudizio formulato male e certi studenti non li vediamo più!


    Bibliografia

    Bibliografia

    • G. Porcelli, Il Language testing: problemi e tecniche, Bergamo, Minerva Italica, 1975, [p. 124].

    • G. Porcelli, Educazione linguistica e valutazione, Torino, UTET-Libreria, 1998

    • “Scuola e Lingue Moderne”, ANILS Associazione Nazionale Insegnanti Lingue Straniere, Campobasso [c.c.p. 10441863]


    Contatti

    Contatti

    • [email protected]

    • www.gporcelli.it

    • www.anils.it


    S a l i d a siamo ancora confusi ma a un livello pi elevato

    S A L I D A “Siamo ancora confusi, ma a un livello più elevato.”


    Scale di valutazione

    Scale di valutazione

    • La “scala di valutazione generale” secondo B.J. CARROLL, Testing Communicative Performance, Oxford, Pergamon, 1980.

    • Il two-tier system e le certificazioni.


    1 0 non utente

    1/0. Non utente.

    • Può non riconoscere con sicurezza quale lingua si stia usando.


    2 utente intermittente

    2. Utenteintermittente.

    • Esecuzione ben al di sotto del livello di conoscenza operativa della lingua dell'uso quotidiano. La comunicazione si instaura solo sporadicamente.


    3 utente estremamente limitato

    3. Utenteestremamente limitato.

    • Non possiede una conoscenza operativa della lingua dell'uso quotidiano, ma è migliore di un principiante assoluto. Né le abilità produttive né quelle ricettive permettono una comunicazione continuativa.


    4 utente marginale

    4. Utentemarginale.

    • Manca di stile, scorrevolezza e accuratezza; non è facile comunicare con lui, l'accento straniero e la scarsa padronanza del codice provocano fraintendimenti. In genere se la cava senza gravi intoppi.


    5 utente modesto

    5. Utentemodesto.

    • Sebbene in genere riesca a comunicare, spesso usa un linguaggio non accurato o improprio.


    6 utente competente

    6. Utentecompetente.

    • Malgrado sappia far fronte alla maggior parte delle situazioni che probabilmente dovrà affrontare, è un po' carente nella scorrevolezza (fluency) e nell'accuratezza e occasionalmente incorrerà in fraintendimenti o errori significativi.


    7 utente buono

    7. Utentebuono.

    • Sa affrontare la maggior parte delle situazioni in un ambiente anglofono. Lapsus occasionali e limitazioni nel linguaggio non impediscono la comunicazione.


    8 utente ottimo

    8. Utente ottimo.

    • La presentazione dell'argomento è chiara e logica con buono stile e una chiara percezione degli indicatori di atteggiamento. Si avvicina spesso alla competenza bilingue.


    9 utente esperto

    9. Utenteesperto.

    • Comunica con autorevolezza, accuratezza e stile. Completamente a proprio agio nell'inglese idiomatico e specialistico.


  • Login