opava 13 jna 2006 n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Opava, 13. října 2006 PowerPoint Presentation
Download Presentation
Opava, 13. října 2006

Loading in 2 Seconds...

play fullscreen
1 / 44

Opava, 13. října 2006 - PowerPoint PPT Presentation


  • 70 Views
  • Uploaded on

Opava, 13. října 2006. CO JE DOBRÉ VĚDĚT O TESTOVÁNÍ Mgr. Irena Smetáčková, CERMAT. Obsah semináře. Test Tvorba testu Testové úlohy a jejich tvorba Hodnocení testových úloh a testů Ukázky vyhodnocení. Co je test ?. = zkouška se shodnými podmínkami pro všechny testované jedince a

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Opava, 13. října 2006' - yaakov


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
opava 13 jna 2006
Opava, 13. října 2006

CO JE DOBRÉ VĚDĚT O TESTOVÁNÍ

Mgr. Irena Smetáčková, CERMAT

obsah semin e
Obsah semináře
  • Test
  • Tvorba testu
  • Testové úlohy a jejich tvorba
  • Hodnocení testových úloh a testů
  • Ukázky vyhodnocení
co je test
Co je test ?

= zkouška se shodnými podmínkami pro všechny testované jedince a

s výsledky číselného charakteru

co je didaktick test
Co je didaktický test ?

= test použitý v pedagogické situaci za účelem ověření úrovně znalostí a dovedností žáků

  • vstupní test
  • průběžný test
  • výstupní test
vlastnosti testu
VLASTNOSTI TESTU
  • objektivita, srovnatelnost
  • citlivost
  • validita
  • reliabilita
objektivita srovnatelnost
OBJEKTIVITASROVNATELNOST

Výkon v testu závisí pouze na znalostech a dovednostech žáka.

Formulaceúlohy a kritéria hodnocení musí být jednoznačná.

Úlohy musí ověřovat znalosti a dovednosti, nikoliv postoje.

Jaká kniha je Vaše oblíbená?

Babička; Tenká; Česká...

citlivost
CITLIVOST

Který z uvedených států neleží v Asii?

A) Vietnam

B) Korea

C) Polsko

D) Čína

A) Laos

B) Malawi

C) Omán

D) Kyrgyzstán

V kterém ročním období opadává listí ze stromů?

A) jaro

B) léto

C) podzim

D) zima

citlivost1
CITLIVOST
  • Test musí rozlišovat výkony různých žáků.
  • Výkony žáků by měly být v testu přiměřeně rozloženy.
  • Optimální citlivost testu je dána jeho účelem.
validita
VALIDITA

Test měří skutečně to, k čemu byl vytvořen.

Pokud není test validní, není možné na základě výsledků vyslovit závěr o úrovni znalostí a dovedností žáků.

Obec Kovač má 250 obyvatel. Každý rok se v obci narodí nebo se přistěhují 3 noví obyvatelé. Každý rok 2 obyvatelé zemřou nebo se odstěhují. Vypočítejte, za kolik let se obec Kovač stane městem.

reliabilita
RELIABILITA

Test měří přesně a spolehlivě.

Přesné měření znamená, že výsledek v testu vypovídá o skutečných znalostech a dovednostech žáka.

Spolehlivé měření znamená, že při opakovaném měření žák dosáhne obdobného výsledku v testu.

druhy didaktick ch test
DRUHY DIDAKTICKÝCH TESTŮ

Možná kritéria třídění testů:

  • Forma zadání

písemný, ústní, Computer adaptive testing,...

  • Druh výsledku učení

znalosti, kognitivní dovednosti, psychomotorické dovednosti,...

  • Interpretace výsledků

rozlišující, ověřující

testy rozli uj c
TESTY ROZLIŠUJÍCÍ
  • Cíl testu:

vzájemné porovnání žáků

  • Interpretace výsledků:

pořadí žáků podle skóre

  • Vlastnosti testu:

vysoká citlivost

  • Konstrukce testu:

obtížné úlohy s vysokou citlivostí

  • Použití testu:

např. přijímací zkoušky

testy ov uj c
TESTY OVĚŘUJÍCÍ
  • Cíl testu:

ověřit splnění předem daných požadavků

  • Interpretace výsledků:

míra splnění předem daných požadavků, porovnání s „ideálním žákem“

  • Vlastnosti testu:

validita vůči vymezenému učivu

  • Konstrukce testu:

úlohy různých obtížností, zastoupení všech předem daných požadavků

  • Použití testu:

např. test v autoškole

tvorba testu
TVORBA TESTU

FÁZE TVORBY TESTU:

1) Plánování testu

- cíl, obsah, specifikační tabulka

2) Sestavování testu

- výběr úloh, řazení úloh, odhad času, volba způsobu hodnocení

3) Ověřování testu

- odborné posouzení, pilotáž

4) Použití testu

testov lohy
TESTOVÉ ÚLOHY

Přečtěte si následující text a odpovězte na úlohu 2.

Výchozí text k úloze 2

Z hlediska způsobu interpretace testových výsledků se rozlišují dva druhy didaktických testů. Prostřednictvím testů rozlišujících jsou žáci seřazeni do pořadí podle svých výkonů v testu. Testy ověřující slouží k tomu, aby se ověřilo, nakolik konkrétní žák zvládl určitou oblast učiva. V případě ověřujících testů není podstatné, jak se daný žák umístí vůči ostatním, ale v jaké míře dokázal splnit předem dané požadavky.

Úloha 2

Na základě výchozího textu rozhodněte, ve které z následujících situací je správné použít přednostně ověřující test.

A) přijímací zkoušky na vysokou školu

B) olympiáda z anglického jazyka

C) televizní soutěž ve znalostech českých dějin

D)* státní jazyková zkouška z německého jazyka

testov lohy1
TESTOVÉ ÚLOHY

STRUKTURA TESTOVÉ ÚLOHY:

  • Instrukce
  • Výchozí informace (text, graf, obrázek)
  • Kmen úlohy
  • Alternativy (správná odpověď a distraktory)
  • Správné řešení, kódový klíč
testov lohy2
TESTOVÉ ÚLOHY

Přečtěte si následující text a odpovězte na úlohu 2.

Výchozí text k úloze 2

Z hlediska způsobu interpretace testových výsledků se rozlišují dva druhy didaktických testů. Prostřednictvím testů rozlišujících jsou žáci seřazeni do pořadí podle svých výkonů v testu. Testy ověřující slouží k tomu, aby se ověřilo, nakolik konkrétní žák zvládl určitou oblast učiva. V případě ověřujících testů není podstatné, jak se daný žák umístí vůči ostatním, ale v jaké míře dokázal splnit předem dané požadavky.

Úloha 2

Na základě výchozího textu rozhodněte, ve které z následujících situací je správné použít přednostně ověřující test.

A) přijímací zkoušky na vysokou školu

B) olympiáda z anglického jazyka

C) televizní soutěž ve znalostech českých dějin

D)* státní jazyková zkouška z německého jazyka

instrukce

výchozí text

zadání

alternativy

správné řešení

testov lohy3
s výběrem odpovědi

dichotomické

přiřazovací

uspořádací

se stručnou odpovědí

se širokou odpovědí

TESTOVÉ ÚLOHY

TYPY TESTOVÝCH ÚLOH PODLE ZPŮSOBU ŘEŠENÍ

ÚLOHY UZAVŘENÉ ÚLOHY OTEVŘENÉ

lohy s v b rem odpov di
ÚLOHY S VÝBĚREM ODPOVĚDI

= volba odpovědi ze tří až pěti nabízených alternativ

Který z uvedených států nesousedí s Českou republikou?

A) Polsko

B) Rumunsko

C) Německo

D) Slovensko

Více správných odpovědí?

Riziko uhádnutí správné odpovědi?

dichotomick lohy
DICHOTOMICKÉ ÚLOHY

= volba odpovědi ze dvou nabízených alternativ

Rozhodněte, zda je uvedené tvrzenípravdivé.

Hlavním městem České republiky je Praha.ANO) NE)

Rozhodněte, zda jsou uvedená tvrzení o Českérepublice pravdivá.

Hlavním městem České republiky je Praha.ANO) NE)

Počet obyvatel ČR je 5 milionů.ANO) NE)

Nejvyšším pohořím v ČR je Šumava.ANO) NE)

Nejdelší řekou České republiky je Vltava.ANO) NE)

lohy p i azovac
ÚLOHY PŘIŘAZOVACÍ

= přiřazení pojmů, slov, čísel z jednoho sloupce k pojmům, slovům, číslům z druhého sloupce

Přiřaďte ke každému z uvedených států (1–3) jeho hlavní město (A–D).

1. Itálie

2. Francie

3. Rakousko

A) Bern

B) Paříž

C) Řím

D) Vídeň

Jeden sloupec musí být delší, aby každý krok byl rozhodnutím

lohy uspo dad
ÚLOHY USPOŘÁDADÍ

= uspořádání pojmů, slov nebo čísel podle určitého pravidla

Seřaďte uvedená města (A–D) podle počtu obyvatel od nejmenšího k největšímu.

A) Hradec Králové

B) Brno

C) Vlašim

D) Kutná Hora

Hodnocení jednotlivých pořadí nebo uspořádaných dvojic?

lohy se stru nou odpov d
ÚLOHY SE STRUČNOU ODPOVĚDÍ

= vytvoření odpovědi v rozsahu jednoho slova, čísla či slovního spojení

Napište název úřadu, na kterém se registrují žadatelé o zaměstnání.

_____________________________ (úřad práce, pracovní úřad)

Obtížné hodnocení – vytvoření klíče všech adekvátních odpovědí

lohy se irokou odpov d
ÚLOHY SE ŠIROKOU ODPOVĚDÍ

= vytvoření rozsáhlé odpovědi, např. výpočet s uvedením postupu, pojednání v několika větách, esej atd.

Popište průběh II. světové války. _______________________________________________

Uveďte dva argumenty pro přímou volbu prezidenta a dva argumenty proti přímé volbě prezidenta.

______________________________________________

Obtížné hodnocení – vytvoření kritérií

testov lohy4
TESTOVÉ ÚLOHY

TYPY TESTOVÝCH ÚLOH PODLE CÍLŮ UČENÍ

ÚLOHY ZNALOSTNÍ ÚLOHY DOVEDNOSTNÍ

= ověřují konkrétní = ověřují aplikaci znalosti znalostí v nových situacích, při řešení problémů

Bloomova taxonomie kognitivních cílů

znalostn a dovednostn lohy
ZNALOSTNÍ A DOVEDNOSTNÍ ÚLOHY

Přečtěte si následující text a odpovězte na úlohu 2.

Výchozí text k úloze 2

Z hlediska způsobu interpretace testových výsledků se rozlišují dva druhy didaktických testů. Prostřednictvím testů rozlišujících jsou žáci seřazeni do pořadí podle svých výkonů v testu. Testy ověřující slouží k tomu, aby se ověřilo, nakolik konkrétní žák zvládl určitou oblast učiva. V případě ověřujících testů není podstatné, jak se daný žák umístí vůči ostatním, ale v jaké míře dokázal splnit předem dané požadavky.

Úloha 2

Na základě výchozího textu rozhodněte, ve které z následujících situací je správné použít přednostně ověřující test.

A) přijímací zkoušky na vysokou školu

B) olympiáda z anglického jazyka

C) televizní soutěž ve znalostech českých dějin

D)* státní jazyková zkouška z německého jazyka

znalostn a dovednostn lohy1
ZNALOSTNÍ A DOVEDNOSTNÍ ÚLOHY

Úloha 2

Které české označení didaktického testu se používá pro NR-test ?

A) ověřující

B) kontrolní

C) psychologický

D)* rozlišující

pravidla pro tvorbu loh
PRAVIDLA PRO TVORBU ÚLOH
  • Formulovat úlohy stručně, srozumitelně a jednoznačně.
  • Nepoužívat nebo zvýraznit informace, které by mohly být zavádějící (např. zápory).
  • Vybrat správný typ úlohy k ověřovanému učivu.
  • Ověřovat pouze znalosti a dovednosti, které si žáci mohli osvojit ve škole. Pamatovat na nebezpečí sociální či genderové zatíženosti.
  • Vhodně určit bodové ohodnocení správných odpovědí.
  • Mít na paměti způsob technického zpracování odpovědí.
f ze tvorby loh
FÁZE TVORBY ÚLOH
  • vymezení učiva, které má být úlohou ověřeno, a hloubka osvojení učiva (východiskem je specifikační tabulka testu)
  • vytvoření úlohy autorem
  • posouzení úlohy revizním týmem, odborným recenzentem a jazykovým korektorem
  • ověření úlohy prostřednictvím try-outu a pilotáže
  • úprava úlohy na základě výsledků posuzování a ověřování
  • vložení úlohy do banky testových úloh a následné použití v testu
ii st
II. ČÁST

POSUZOVÁNÍ TESTOVÝCH ÚLOH

VÝSTUPY PRO ŽÁKY, VÝSTUPY PRO ŠKOLY

ROZBOR UKÁZEK

DISKUSE

testov lohy5
TESTOVÉ ÚLOHY

POSUZOVÁNÍ TESTOVÝCH ÚLOH

  • ověřované znalosti a dovednosti – vztah k učivu, vztah k vymezeným požadavkům (katalog požadavků)
  • obtížnost úloh
  • citlivost úloh
  • postavení úlohy v rámci testu
hodnocen
HODNOCENÍ

PSYCHOMETRICKÉ CHARAKTERISTIKY

= číselné údaje popisující test, úlohy nebo výkony žáků vypočtené na základě žákovských řešení

PSYCHOMETRICKÉ CHARAKTERISTIKY TESTU

PSYCHOMETRICKÉ CHARAKTERISTIKY TESTOVÉ ÚLOHY

PSYCHOMETRICKÉ CHARAKTERISTIKY VÝKONU ŽÁKA V TESTU

POLOŽKOVÁ ANALÝZA

hodnocen1
HODNOCENÍ

HODNOCENÍ TESTU

PRŮMĚRNÉ SKÓRE = průměr celkového počtu bodů všech testovaných žáků

PRŮMĚRNÁ ÚSPĚŠNOST = poměr průměrného skóre a maximálního možného vyjádřený v procentech

REALIABILITA = spolehlivost a přesnost testu

HODNOCENÍ ÚLOH

OBTÍŽNOST = podíl mezi počtem žáků, kteří vyřešili úlohu správně, a počtem všech testovaných žáků (nebo úspěšnost žáků v úloze)

CITLIVOST = schopnost úlohy rozlišovat mezi úspěšnými a neúspěšnými žáky v testu

hodnocen2
HODNOCENÍ

HODNOCENÍ ŽÁKŮ

CELKOVÉ SKÓRE = celkový počet bodů v testu

CELKOVÁ ÚSPĚŠNOST= poměr celkového skóre a maximálního možného skóre

HODNOCENÍ SKUPINY ŽÁKŮ

PRŮMĚRNÉ SKÓRE = průměr celkového počtu bodů všech žáků ve skupině

PRŮMĚRNÁ ÚSPĚŠNOST= poměr průměrného skóre a maximálního možného

ÚSPĚŠNOST ŽÁKŮ V ÚLOZE = podíl mezi počtem žáků, kteří vyřešili úlohu správně, a počtem všech žáků ve skupině vyjádřený v procentech

uk zka testov lohy
UKÁZKA TESTOVÉ ÚLOHY

Který z uvedených znaků patří mezi současné státní symboly České republiky?

A) B) C) D)

uk zka testov lohy1
UKÁZKA TESTOVÉ ÚLOHY

Přiřazení úlohy ke katalogu

Občan a demokracie

IV.2.1A - Žák dokáže popsat základní symboly české státnosti a objasnit jejich význam.

Typ úlohy

uzavřená – s výběrem odpovědi

s jednou správnou odpovědí

uk zka testov lohy2
UKÁZKA TESTOVÉ ÚLOHY

Psychometrické charakteristiky úlohy

Počet žáků 4854

Obtížnost úlohy 0,96

Diskriminace úlohy 0,21

Úspěšnost žáků 96 %

uk zka testov lohy3
UKÁZKA TESTOVÉ ÚLOHY

Položková analýza

uk zka testov lohy4
UKÁZKA TESTOVÉ ÚLOHY

Rozbor upravené úlohy pro žáky s SVP

Počet žáků 122

Obtížnost úlohy 0,70

Diskriminace úlohy 0,25

Úspěšnost žáků 70 %

uk zka testov lohy5
UKÁZKA TESTOVÉ ÚLOHY

Rozbor podle známek na vysvědčení

Počet žáků se známkou 1 3141 Úspěšnost žáků 98 %

Počet žáků se známkou 2 1012 Úspěšnost žáků 87 %

Počet žáků se známkou 3 535 Úspěšnost žáků 68 %

Počet žáků se známkou 4 159 Úspěšnost žáků 55 %

Počet žáků se známkou 5 7 Úspěšnost žáků 53 %

Rozbor podle pohlaví

Počet dívek 2403 Úspěšnost dívek v úloze 89 %

Počet chlapců 2451 Úspěšnost chlapců v úloze 98 %

uk zka testov lohy6
UKÁZKA TESTOVÉ ÚLOHY

Doplňkové charakteristiky úlohy

  • Rozbor podle kombinace znaků, např. pohlaví a typ školy
  • Rozbor podle výsledků v jiných testech
  • Rozbor složení 10 % žáků s nejlepšími, respektive nejhoršími výsledky
  • ...
v stupy pro ky a koly
VÝSTUPY PRO ŽÁKY A ŠKOLY

Testové výsledky umožňují:

  • Porovnávat úroveň znalostí a dovedností žáků mezi sebou
  • Porovnávat vývoj znalostí a dovedností jednotlivých žáků
  • Vytvořit si představu o znalostech a dovednostech žáků dané skupiny
  • Získat zpětnou vazbu k obsahu a formě výuky
  • Porovnávat výsledky tříd různých vyučujících (zdroj pro diskusi a zkvalitňování pedagogické práce)
  • Získat představu o klasifikačních normách
  • ...
slide44

Děkuji za pozornost.

CERMAT – Centrum pro zjišťování výsledků vzdělávání

www.cermat.cz

www.esf-kvalita1.cz

Tel. 224 507 111

smetackova@volny.cz