L’AVALUACIÓ DE L’ADQUISICIÓ DE CLE Juliol 2010 Joan Melcion UAB

1. L’AVALUACIÓ DE L’ADQUISICIÓ DE CLE Juliol 2010 Joan Melcion UAB

2. AVALUAR Què és? • apreuar jutjar • valorar • (com)provar • calcular • examinar • comparar • mesurar • estimar • qualificar • determinar

3. AVALUACIÓ EXAMEN • ? =

4. avaluació. avaluar. f. Acció d’avaluar. 1. v. tr. Determinar, esp. d’una manera aproximada, la vàlua o el valor (d’alguna cosa) Avaluació educativa. 2. v tr.Determinar, esp. d’una manera aproximada(una magnitud)Una fortuna avaluada en milions de pessetes. 3. Fig. Apreuar ¶ Real Academia Española © Todos los derechos reservados

5. evaluación. evaluar. (De evaluar). 1. f. Acción y efecto de evaluar. (Del fr. évaluer). 2.f.Examen escolar.Hoy tengo la evaluación de matemáticas. 1. tr. Señalar el valor de algo. 2.tr. Estimar, apreciar, calcular el valor de algo. Evaluó los daños de la inundación en varios millones. 3.tr.Estimar los conocimientos, aptitudes y rendimiento de los alumnos. ¶ Real Academia Española © Todos los derechos reservados

6. examen. 1. m. Acció d’examinar. L’examen de la qüestió. L’examen del malalt, de la ferida. Un examen microscòpic. 2.m. Prova escrita o oral a què és sotmès un candidat per a declarar si és apte a entrar en una escola, a obtenir un grau, un càrrec, l’aprovació d’una assignatura, etc.

7. examen. (Del lat. exāmen). 1. m. Indagación y estudio que se hace acerca de las cualidades y circunstancias de una cosa o de un hecho. 2.m.Prueba que se hace de la idoneidad de una persona para el ejercicio y profesión de una facultad, oficio o ministerio, o para comprobar o demostrar el aprovechamiento en los estudios.

8. PROCÉS AVALUACIÓ EXAMEN INSTRUMENT

9. Prejudicis i malentesos al voltant de l’avaluació. • L’avaluació sovint és vista com una prova, o un conjunt de proves, en què els alumnes han de demostrar les seves capacitats, de cara a determinar qui és millor i (o qui és pitjor). • L’avaluació s’identifica amb examen. • L’avaluació es tendeix a situar al final d’un procés d’aprenentatge (curs, trimestre, semestre...). • La informació que es dóna de l’avaluació se sol reduir a la informació sobre la nota. • L’avaluació sovint es concentra en un sol aspecte del que s’aprèn (p. ex. gramàtica). • L’avaluació sovint informa més sobre el que no s’ha après que sobre allò que s’ha après.

10. AVALUACIÓ Què és? Què avaluem? • fluïdesa • gramàtica • comprensió • pronunciació • comunicació • coherència • sintaxi • precisió • lèxic

11. L’OBJECTE D’AVALUACIÓ (QUÈ?) • Els coneixements (què sap) • Les destreses lingüístiques (què entén, què diu  com ho • entén; com ho diu) • L’actitud (què fa) • La competència lingüística / comunicativa (què sap fer) • El progrés • L’assoliment d’uns objectius

12. FINALITAT DE L’AVALUACIÓ Què és? Què avaluem? Per a què avaluem?

13. FINALITAT I TIPUS D’AVALUACIÓ (PER A QUÈ? • Per saber sobre el propi aprenentatge  Autoavaluació • Per detectar el punt de partida  prova de nivell • Per conèixer punts forts i febles  prova diagnòstica • Per mesurar l’evolució de l’aprenentatge  aval. de progrés • Per valorar si s’han assolit els objectius  aval. d’assoliment. • Per comprovar si es té un determinat nivell de competència •  de domini (o proficiència)

14. EL MOMENT DE L’AVALUACIÓ Què és? Què avaluem? Per a què avaluem? Quan avaluem?

15. EL MOMENT DE L’AVALUACIÓ (QUAN?) Durant tot el procés d’aprenentatge, si volem que tingui un efecte positiu sobre aquest aprenentatge: • a l’inici del procés d’aprenentatge, per conèixer el punt de partida • i fer un diagnòstic; • de manera contínua, per controlar l’evolució de l’aprenentatge • (avaluació continuada); • freqüentment, sobre punts essencials del programa (avaluació de progrés); • al final d’un curs, per establir si s’ha cobert els objectius (avaluació final).

17. L’AGENT DE L’AVALUACIÓ Què és? Què avaluem? Per a què avaluem? Quan avaluem? Qui avalua?

18. L’AGENT (QUI?) • El/la professor/a • Els/les alumnes (autoavaluació) • La institució

19. LA MANERA D’AVALUAR Què és? Què avaluem? Per a què avaluem? Quan avaluem? Qui avalua? Com avaluem?

20. LA MANERA D’AVALUAR (COM?) • De manera constructiva: focalitzant més en allò que s’ha • après que en allò que no s’aconsegueix aprendre • De manera vàlida: avaluant allò que volem avaluar i no una altra cosa. • De manera fiable: en les mateixes condicions, els mateixos • alumnes obtindrien el mateixos resultats. • De manera viable: dedicant-hi un temps raonable i amb unes • condicions acceptables. • De manera intel·ligible: que s’entenguin els resultats.

21. EL TRIANGLE MÀGIC DE L’AVALUACIÓ • FIABILITAT VALIDESA • VIABILITAT

22. VALIDESA Fins a quin punt una prova mesura el que se suposa que mesura. Està relacionada directament amb el propòsit de la prova: ¿què i per a què volem avaluar? “La validesa es refereix, en general, a l’adequació d’una prova determinada o de qualsevol de les seves seccions com a mesura d’allò que se suposa que mesura. Una prova es vàlida si avalua allò que se suposa que avalua. D’aquí es desprèn que el terme vàlida, quan s'utilitza per descriure una prova, hauria d’anar acompanyat de la preposició per a. Qualsevol prova pot ser vàlida per a uns objectius i no per a uns altres.” HENNING, G. (1987) A Guide to Language Test. 2ª edició Longman, Londres.

23. VALIDESA • Dictat • Traducció • Opció múltiple • Resum • Lectura en veu alta

24. TIPUS DE VALIDESA • Validesa interna: • aparent (Face validity): credibilitat / acceptació d’una prova per part dels avaluats • de contingut: anàlisi de les parts de les proves per veure si conté una mostra representativa d’allò (DESTRESES) que es vol avaluar. • de resposta: tècniques qualitatives per esbrinar informació sobre com contesten els avaluats en una prova (p. ex. com responen a un cloze o a una prova de comprensió lectora) ALDERSON, J.CH., CLAPHAM, C., WALL, D (1998) Exámenes de idiomas. Elaboración y evaluación. CUP, Madrid.

25. TIPUS DE VALIDESA • Validesa externa: • concurrent: comparació dels resultats de la prova, amb el d’altres proves o qualificacions (p. ex, avaluació del professor, una altra prova) • predictiva: més o menys el mateix, però diferit en el temps. (p. ex. Una prova de nivell a l’inici i un examen final) • de constructe: correlació entre parts diferents de la prova (destreses diferents

26. Validesa externa concurrent: coeficient de correlació

27. Validesa del constructe

28. Anàlisi d’ítems

29. FIABILITAT Per a proves amb components de subjectivitat · Entre correctors (inter-rater reliability): la mateixa prova i el mateix avaluat obté la mateixa qualificació · Interna (Intra-rater reliability): el mateix avaluador dóna qualificacions molt similars al mateix grup d’avaluats, en dos moments diferents i corregint la mateixa prova.

30. VIABILITAT • Format de les proves • Sistema de correcció • Durada de les proves • Mecanismes d’administració • Informació de resultats i mecanismes de revisió • Instal·lacions, equipament i recursos necessaris

31. CONSIDERACIONS GENERALS El nivell de dificultat lingüística i sociocultural dels textos o dels ítems ha de ser apropiat al nivell de les persones avaluades. Les instruccions han de ser clares i senzilles. Sempre que es pugui, és recomanable posar algun exemple. La prova ha de presentar-se en un format fàcil de corregir. El nombre total d’ítems o de textos ha d’estar en relació amb el barem perquè la prova sigui fàcil de puntuar Si és una prova per avaluar la competència comunicativa en una llengua, ha de tenir en compte les quatre habilitats lingüístiques: EO, EE, CO, CE. Es pot plantejar si cal preparar o no una prova específica de gramàtica i de lèxic o si les proves seran integrades o per a cada habilitat

32. MODELS DE BAREMACIÓ: HOLÍSTICS ANALÍTICS

33. MODELS DE BAREMACIÓ: HOLÍSTICS L’avaluació es fa a partir de descriptors de comportament o d’assoliment d’objectius generals i globals.

34. BAREMACIÓ HOLÍSTICA P. exemple (avaluació d’una tasca d’expressió oral):

35. MODELS DE BAREMACIÓ: ANALÍTICS S’analitzen aspectes concrets de la producció de l’alumne i s’avalua cada un d’aquests aspectes per separat.

36. BAREMACIÓ ANALÍTICA P. exemple (avaluació d’una tasca d’expressió oral): Adequació i coherència:

37. BAREMACIÓ ANALÍTICA Cohesió, fluïdesa i estructuració del discurs

38. BAREMACIÓ ANALÍTICA Correcció gramatical

39. BAREMACIÓ ANALÍTICA Entonació i pronunciació

40. TIPOLOGIA DE PROVES + OBJECTIVES + SUBJECTIVES

41. PROVES OBJECTIVES 1.  DE SELECCIÓ MÚLTIPLE (Se sol fer servir per avaluar CO, CE, CGr, lèxic) El requisit més important és que la resposta correcta ho sigui realment. Encara que sembli obvi, és possible sobretot en proves de CO o de CE donar com a correctes respostes en què d’altres examinadors no hi estarien d’acord. S’han de presentar en un context, així solen ser menys ambigus. No hi ha d’haver distractors que siguin incorrectes o inexistents. 2.  D’ÍTEMS DICOTÒMICS (Veritable / Fals ; Sí / No) (Se sol fer servir per avaluar CO i CE) 3.  DE RELACIONAR (columnes, per exemple) (Se sol fer servir per avaluar CGr, lèxic) 4.  DE TRANSFERIR INFORMACIÓ ( a un quadre, mapa, qüestionari, ...) (Se sol fer servir per avaluar CO, CE)

42. PROVES OBJECTIVES 5.  D’ORDENAR (paraules, expressions, frases o paràgrafs) (Se sol fer servir per avaluar CE, Cgr, EE/coherència, cohesió) 6.  DE CORRECCIÓ (Se sol fer servir per avaluar competència gramatical, lèxic) 7.  D’OMPLIR BUITS (Se sol fer servir per avaluar CO, CE, Cgr, lèxic) 8.  CLOZE (Es pot fer servir per avaluar CE, CGr, LÈXIC) Després de la segona o tercera frase, se suprimeixen paraules d’un text, mecànicament, cada cert nombre de paraules (6-7), sigui quina sigui la seva funció en la frase. 9.  CLOZE SELECTIU (Se sol fer servir per avaluar CE, Cgr, lèxic)

43. PROVES OBJECTIVES 10.  C-test (Prova integrativa: CE, CGr, EE, ortografia. Es pot fer servir per ordenar segons nivells de coneixements) Després de la primera frase, se suprimeix la segona meitat de cada segona paraula del text. 11.  DICTAT (Es pot fer servir per avaluar CO, CGr, lèxic, ortografia) 12.  DE PREGUNTES DE RESPOSTA BREU (Se solen fer servir per avaluar CO, CE) 13.  TRANSFORMACIONS (Se solen fer servir per avaluar CGr, lèxic)

44. PROVES SUBJECTIVES 14.  REDACCIONS (EE: sintaxi, coherència, cohesió, lèxic, CGr) 15.  RESUMS (Es poden fer servir per avaluar CO, CE, EE i EO) 16.  ENTREVISTES ORALS (EO) 17.  EXPOSICIONS ORALS (EO) 18.  ACTIVITATS AMB BUITS D’INFORMACIÓ (Se solen fer servir per avaluar EO, CO, CE, lèxic) 19.  CONVERSES (amb el professor o amb companys) (EO) 20.  TRADUCCIÓ (Se sol fer servir per avaluar Competència gramatical, lèxic) 21.  PRENDRE NOTES (Se sol fer servir per avaluar CO)

45. TIPOLOGIA DE PROVES • Consideracions sobre proves de comprensió escrita (CE) i comprensió oral (CO) • Cal: • Crear un ventall ampli i variat de tasques que cobreixin tots els objectius. • Triar textos que siguin interessants per a les persones que s’examinen. • Evitar textos en què els alumnes coneixen, ja abans d’escoltar-los o de llegir-los, una • gran part de la informació que contenen. • Tenir en compte la llargària del textos. Que sigui adequada a les necessitats i als objectius. • Incloure textos de tipologia variada, però adequats al nivell que es vol avaluar. • Que la forma d’avaluar (preguntes, ítems, etc.) no suposi una dificultat afegida a la prova. • No fer servir textos ni formes d’avaluar ni tècniques que tinguin com a finalitat avaluar un • altre aspecte que aquell que volem avaluar. • No tenir en compte, quan corregim, errors de puntuació o d’ortografia si no dificulten • la comprensió de la resposta de la persona que s’examina. • (CO) Procurar que la qualitat de l’enregistrament i de l’acústica de l’aula siguin adequades. • (CE) Que el text tingui una llargària adequada a la prova, de manera que no es converteixi • en un exercici memorístic .

46. TIPOLOGIA DE PROVES • Consideracions sobre proves d’expressió escrita (EE) • Cal: • Proposar l’exercici com una tasca (o més d’una) que cobreixi els objectius marcats, en • termes d’acte comunicatiu. • Mirar que la tasca que es proposa sigui, tan com sigui possible, pròxima a la realitat de les • persones que s’examinen. • Proposar tasques que permetin avaluar sobretot capacitats comunes d’ús instrumental de • la llengua escrita i no tant característiques més personals com la imaginació o la creativitat • literària, la capacitat de síntesi o de raonament lògic, l’originalitat... • Escriure les instruccions de manera clara, perquè no siguin més complicades que l’exercici, • i concisa, perquè no es puguin parafrasejar, amb variacions mínimes, per fer l’escrit. • Donar poques opcions per triar per tal de poder comparar i contrastar puntuacions. • Tenir en compte la llargada del textos. Que sigui adequada a les neces-sitats, als objectius, • als criteris de correcció i al barem que hi apliquem. • Tenir en compte, a l’hora de corregir, que hem de donar la importància adequada als objectius • que tenim marcats. Per exemple: en un curs que té com a objectiu aconseguir un ús • comunicatiu de la llengua, caldrà donar més importància a l’efectivitat comunicativa que a • d’altres més relacionats amb la correcció formal, com l’ortografia, la puntuació o segons • quins aspectes gramaticals.

47. TIPOLOGIA DE PROVES • Consideracions sobre proves d’expressió oral (EO) • Cal: • Crear una varietat de tasques que cobreixin els objectius marcats. • No posar la persona que s’examina en una situació que li resulti incòmoda o difícil de tractar fins i tot en la seva pròpia llengua. • Fer la prova prou llarga i variada per cobrir els objectius marcats i donar a l’examinand l’oportunitat d’expressar-se en situacions i temes diferents. • Sempre que sigui possible, administrar la prova entre dos examinadors o, si no, enregistrar-la. • Fer la prova en un lloc tranquil i amb bona acústica. • Fer sempre un escalfament per tranquil·litzar l’examinand (explicar-li com serà la prova si no ho sap, fer-li unes quantes preguntes prèvies d’acostament, donar-li l’oportunitat que s’acostumi a la manera d’expressar-se de l’examinador,...). • Donar opcions semblants, als diferents examinands, per tal de poder comparar i contrastar puntuacions. • Tenir en compte que les tasques proposades han de ser adequades als objectius marcats, als criteris de correcció i al barem que hi apliquem.

48. TIPOLOGIA DE PROVES • Consideracions sobre proves d’expressió oral (EO) • Cal: • Tenir en compte, a l’hora de corregir, que hem de donar la importància adequada als objectius que tenim marcats. Per exemple: en un curs que té com a objectiu l’ús comunicatiu de la llengua, caldrà saber valorar l’efectivitat comunicativa i no posar un èmfasi excessiu en aspectes de pronúncia, entonació o correcció lingüística, si aquests no dificulten excessivament la comprensió.

49. TIPOLOGIA DE PROVES • Consideracions sobre proves de gramàtica i lèxic • Cal: • Crear un ventall ampli i variat de tasques que cobreixin tots els objectius. • Considerar les estructures i el lèxic més important per als objectius marcats, no pas el que sigui més fàcil d’avaluar o el que pensem que serà més difícil per als que s’examinen. • Ser conscient i decidir si la tasca avalua aspectes de competència gramatical o de lèxic i si ho fa a un nivell de reconeixement o productiu. • Tenir en compte la llargària de les tasques i el pes específic que té aquest apartat si forma part d’una prova que contempla d’altres aspectes (EO, EE, CO, CE). Cal donar-hi el valor adequat d’acord a les especificacions, els objectius i el barem de la prova. • Plantejar el sistema d’avaluació (preguntes, ítems, etc.) de manera que no suposi una dificultat afegida a la prova. • Que les instruccions siguin adequades al nivell de competència lingüistica de l’examinand. • No han de ser una dificultat més a la prova. • No tenir en compte, quan corregim, errors que no tenen res a veure amb els objectius que pretenem avaluar.

50. BIBLIOGRAFIA ESSENCIAL • Alderson, J.C., Clapham, C i Wall, D.(1998), Exámenes de idiomas. Elaboración y Evaluación, Cambridge University Press, Madrid. • Alderson, J. Ch. (2003). «Diagnosing foreign language proficiency: a teaching / testing interface». Invited Presentation 38th SEAMEO RELC International Seminar, 03-05 November, 2003, dins L’avaluació dins I for a de l’aula. Barcelona: Generalitat de Catalunya, Secretaria de Política Lingüística, 2005, pp. 185-194. • Bachman, L. F. (1990). Fundamental Considerations in Language testing. Oxford: Oxford University Press. • Davis, Alan et al. (1999). Studies in Language Testing. Dictionary of language testing. Cambridge: Cambridge University Press. • Figueras, N. (2002). «El proyecto Dialang o cómo integrar evaluación y aprendizaje». Revista Inter E.O.I. n.º VI. Madrid: Oxford University Press, pp. 3-9. • Harris, M. I McCann, P.(1994), Assessment, Heinemann. Oxford, 1994. • Henning, G. (1987) A Guide to Language Test. 2ª edició Longman, Londres. • Mas, M, Verdés, G., Vergés, M.H., Vilagrasa, A. El nou nivell C. Teide. • Barcelona, 2001. • Puig, F. (2002). «El proceso de elaboración de ítemes de español para el Proyecto Dialang». Revista Inter E.O.I. n.º VI. Madrid: Oxford University Press, pp. 10-1