NAPOVEDOVANJE UČNEGA USPEHA: kombiniran pristop DM in DS

1. NAPOVEDOVANJE UČNEGA USPEHA:kombiniran pristop DM in DS Silvana Gasar Srednja šola Jesenice silvana.gasar@telesat.si

2. Osnovna ideja • Lastne predhodne raziskave: • Izgradnja različnih ES (večparametrski modeli, DSS) • Iskanje zakonitosti učnega uspeha z DM • Baza podatkov o dijakih (skrite zakonitosti učnega uspeha) • Poznavanje problemov izobraževalnega svetovanja, usmerjanja (problemi odločanja, izbire) • Kako to znanje povezati in uporabiti v praksi? • Razviti orodje za svetovalne delavce (model DSS)

3. Osnovni pristop M. Bohanec, B. Zupan: Integrating Decision Support and Data Mining by Hierarchical Multi-Attribute Decision Models. IDDM-2001. Študija primera: dodelitev stanovanjskih posojil [revizija, hipotetično]

4. Metoda dela

5. 5: zaključi: 4 ali 5 4: zaključi: 2 ali 3 3: podaljšano 2: pade kmalu 1: pade kasneje Napoved Problem:napoved uspešnosti zaključka šolanja Osnovna šola Srednja šola

6. Problem • Ali je iz baze podatkov o dijakih mogoče ugotoviti splošne zakonitosti učnega uspeha? • Ali je mogoče najti karakteristike dijakov, ki verjetno ne bodo uspešno zaključili šolanja, ipd.? • Ali je na podlagi zakonitosti mogoče zgraditi večparametrski model za napovedovanje uspešnosti zaključka šolanja? • Kakšna je napovedna vrednost takega modela? • Ali in kako tak model prispeva k boljšemu ocenjevanju uspešnosti? • Ali lahko izboljša uspešnost samo? • Kako ga uvesti v vsakodnevno prakso?

7. Cilji in namen • Primarni cilj: • Razviti večparametrski model za napovedovanje uspešnosti zaključka šolanja na posameznem izobraževalnem programu • Sekundarni cilji: • Odkriti splošne vzorce in pravila učnega uspeha iz baze podatkov učencev • Uporaba za napovedovanje in preprečevanje učnega neuspeha • Zajeti samo dostopne podatke (nič dodatnih testov ali merjenj) • Oceniti kvaliteto napovedi (validacija) • Kombinirati metode DM in DS • Pokazati uporabnost modela, prednosti, slabosti, priložnosti in pasti

8. Metodologija • Zaporedna uporaba DM in DS • Priprava podatkov (MS SQL Server 2000 Enterprise Manager) • Rudarjenje podatkov (DM) • Statistične metode in vizualizacija (SPSS) • Razvrščanje v skupine (WEKA) • Odločitvena drevesa (WEKA) • Večparametrski modeli (HINT, Orange) • Sprotno vrednotenje in validacija odkritih zakonitosti • Podpora odločanju • “Ročni” razvoj večparametrski modelov (DEXi – lupina ES) • Zajeto znanje eksperta in odkrite zakonitosti • Interpretacija in validacija • Klasifikacijska točnost • Primerjava s človeškim ekspertom KDD

9. Priprava podatkov • Vir: baza podatkov o dijakih ene od slovenskih SŠ (Evidenca 3) • Integracija, “čiščenje”, selekcija, transformacije (zamudno, zahtevno) • En zapis (vrstica) vsebuje vse dostopne podatke enega dijaka: • 96 atributov (19 poznanih pred vpisom, 77 kasneje): • Osebni in demografski podatki: spol, datum in mesto rojstva, državljanstvo, ime OŠ, kraj bivanja ... • Pokazatelji uspešnostiv OŠ: ocene posameznih predmetov in splošnega učnega uspeha za 7. in 8. razred • Pokazatelji uspešnostv SŠ: ocene posameznih predmetov in splošnega učnega uspeha za vse 4 letnike • Drugi podatki: ure opravičenih in neopravičenih izostankov, disciplinski ukrepi... • DB1: 1794 dijakov (delno nepopolni podatki) • DB2: 889 dijakov (popolni podatki)

10. Podatki o dijakih v končni bazi Znani do vpisa v SŠ Znani do konca 1. letnika SŠ

11. Rezultati KDD - poskusni • DM na 2 bazah dveh različnih SŠ (napoved uspeha 1. letnika SŠ) • Odločitvena drevesa: • Ponavljalci redkeje “izdelajo” 1. letnik SŠ • Število nezadostnih ali neocenjenih predmetov 2. in 3. konference vpliva na to, kdo bo “izdelal” 1. letnik • Uspeh OŠ ima napovedno veljavnost za uspeh 1. letnika SŠ • Najbolj selektivni predmeti v SŠ: MAT, ANJ, SJK • Dijaki s težavami pri MAT: težko pozitivni uspeh 1. letnika • Razvrščanje v skupine: • Glede na učno uspešnost se dijaki smiselno delijo v 3 skupine: • neproblematični • problematični - mejni • neuspešni

12. Osnovne statistike DB1 N = 1794, večina M, državljani SLO, ob vpisu stari 15 let...

13. Osnovne statistične analize • Ostalo: • Smiselna delitev na 5 kategorij po uspešnosti • Smiselno ločeno obravnavati 3 smeri • Razlike med DB1 (vsi) in DB2 (samo mlajše generacije) • Ni bistvenih razlik v osnovnih statistikah • Le razlike v uspešnosti (mlajši prej opustijo SŠ in manj vztrajajo) • Pomembne korelacije uspešnosti: • Pozitivne s skoraj vsemi ocenami OŠ in SŠ • Negativne z izostanki od pouka, disciplinskimi ukrepi in starostjo • Frekvenčna porazdelitev kategorij uspešnosti v DB1

14. Odločitvena drevesa Različno število in različen izbor atributov: • Ekspertno, strojno (Relief), pragmatično-strojno (Relief, omejeni atributi) Rezultati: • Vsi in strojno izbrani atributi - zelo visoka KT (nad 95%), neuporabna (atributi znani pozno) • Največ pridobimo z vključitvijo atributov, znanih do konca 1. letnika • Ekspertna in pragmatično-strojna izbira - KT enaka (nizka ~ 50 oz. 60%) • Sklep: uporaba dreves iz ekspertno izbranih atributov Poskusi izboljšanja KT: • Glede na program izobraževanja – izboljšanje KT (težja smer - večja KT), • Z uporabo drugačnih klasifikacij uspešnosti (5, 3, 2, kategoriji) - ni izboljšanja KT • Uporaba na stroške občutljive klasifikacije - ni izboljšanja KT • Uporaba boljših podatkov (DB2) - manjša drevesa, pomembno izboljšanje KT

15. Odločitvena drevesa Klasifikacijska točnost na DB1

16. Najboljša odločitvena drevesa Eksperten izbor 16 (do vpisa) oz. 30 atributov (do 1.letnika) Grajena ločeno po smereh izobraževanja, na DB2 Opredelitev uspešnosti v 5 kategorijah (KU in čas izobraževanja) KT najboljših dreves: • Ob koncu OŠ: okrog 60% • Ob koncu 1. letnika SŠ: okrog 70% • Slabost: nekatere razrede napovedujejo zelo točno, druge pa slabo • Napoved dobre uspešnosti še ne izključuje neuspešnosti • Napoved neuspešnosti dopušča le malo možnosti uspeha Smiselno izdelati orodje, ki omogoča napoved pred vpisom in ob koncu 1. letnika – dva ločena DEX modela

17. Primer odločitvenega drevesa Izobraževalni program "L“,ob vpisu v SŠ (n= 468, KT=60.5%)

18. Primer odločitvenega drevesa Izobraževalni program "L“,ob koncu 1. letnika SŠ (n=468, KT= 69.7%)

19. Rezultati razvrščanja v skupine Razvrščanje po metodi voditeljev na 3, 4 in 5 skupin Po 16 in 30 atributih (istih kot pri drevesih) Rezultat: 6 razvrstitev SKLEP: • Najbolj smiselna razvrstitev na 5 skupin (30 atributov) • Nekatere razlike se pokažejo šele na zahtevnejšem nivoju SŠ • Slabši učenci v OŠ se vpisujejo na manj zahtevno smer • Višje izobrazbene aspiracije učencev iz večjih mest • Ob slabem uspehu OŠ vpišejo zahtevnejšo smer - najnižji uspeh 1. letnika • Uspeh 1. letnika SŠ za 1-2 oceni nižji od uspeha OŠ • Oboji izostanki močno povezani z uspehom 1. letnika • Uspeh 1. letnika je nizek (večinoma nezadosten do dober)

20. Primer rezultatov razvrščanja Scheme: weka.clusterers.SimpleKMeans -N 3 -S 10 • Relation: usp-weka.filters.AttributeFilter-V-R2,5-6,8-17,19-21 • Instances: 1794 • Cluster centroids • Attributes: 16Cluster 1 Cluster 2 Cluster 3 • SPOL M M M • DRZAVA_ROJ Slovenija Slovenija Slovenija • DRZAVLJANSTVO slovensko slovensko slovensko • vozac true false true • TUJ_JEZ_OS angleski angleski angleski • USPEH_7R 4.01 3.68 3.19 • SJK_8R 3.73 3.43 3.09 • TUJ_JEZ_8R 3.84 3.53 3.07 • MAT_8R 3.91 3.56 3.09 • FIZ_8R 4.03 3.78 3.25 • TUJ_JEZIKI ANG ANG ANG • USPEH_OS 4.04 3.69 3.15 • redni_vpis true true true • starost_vpis 180.47 180.88 181.42 • K_smer L L N • L1_status_sp false false false • N (f) 641 ( 36%) 842 ( 47%) 311 ( 17%)

21. Večparametrski modeli (HINT) • Gradnja modelov iz 16 in 30 atributov na DB2 • Zvezni atributi predhodno diskretizirani (ekspertna presoja) • Predprocesiranje (dodali manjkajoče vrednosti atributov) • Metoda minimalne napake, velikost množice 2, nenadzorovana dekompozicija, KT – navzkrižna validacija 10-tega reda • Večinski klasifikator za primerjavo KT • Rezultati: • Nizka KT zgrajenih modelov - večinoma blizu apriorne ali nižja • Nesmiselno reduciranje vrednosti atributov, številne zaloge vrednosti • Mnoge koncepte je težko poimenovati in smiselno interpretirati • Odkrili zanimive kombinacije atributov in pravila: • npr. “pravilo najšibkejšega člena verige”: ocene Matematike in Fizike omejujejo oceno splošnega učnega uspeha

22. Večparametrski modeli (HINT) • Sklep: • Modeli niso primerni za neposredno uporabo • HINT je koristen za raziskovanje znanja in odkrivanje značilnosti • Modeli lahko koristno služijo kot smernice za DEX model • Iz danih atributov bo težko zgraditi model z visoko KT

23. Razvoj splošnih DEX modelov • Spisek kriterijev (na podlagi dreves in ekspertnega mnenja) • Strukturiranje kriterijev (vsebinska povezanost, HINT) • Isti model za vse smeri (različne obtežitve po smereh) • Problem: različna nasičenost atributov z istimi faktorji (sposobnosti, motivacija, okoliščine) – odvisnosti atributov • Razvoj 2 modelov: primarna napoved - 15 atributov, sekundarna napoved - 33 atributov • Določanje merskih lestvic kriterijev • Ocena uspešnosti 5 vrednosti, ostali večinoma 3 diskretne vrednosti • Definiranje funkcij koristnosti (obtežitve po ekspertni presoji) • Poskusno vrednotenje in analize primerov • Bistveno višje ocene uspešnosti od dejanske • Potrebne strožje funkcije koristnosti, upoštevanje “načela verige”

24. Razvoj DEX modelov za smer “L” • Izgradnja in validacija modelov samo za smer “L” • Model 1 – primarna napoved ob vpisu • Model 2 – sekundarna napoved ob koncu 1. letnika • Spremenili funkcije koristnosti obeh splošnih modelov • Ročno oblikovanje pravil, upoštevali: “načelo verige”, pogostost pojavljanja atributov v drevesih, kvaliteto pokazateljev • Spremenili • Model 1: zaloge vrednosti znanje tujih jezikov (s 3 na 2), • Model 2: strukturo splošnega modela, zaloge vrednosti, izključili nekatere osnovne kriterije • SKLEP: • Model je možno izboljšati z bolj natančnimi podatki o motivaciji dijaka, okoliščinah in znanju slovenskega jezika; smiselno dodati podatke o popravnih izpitih v OŠ (svetovalec jih hitro pridobi v pogovoru) – tak model možno validirati le v praksi (na bazi ne)

25. Model 1: ob vpisu v SŠ Demonstracija uporabe

26. Model 2: ob koncu 1. letnika SŠ Opis zalog vrednosti “uspešnosti” za oba modela

27. Evaluacija modelov smeri “L” Izbor podatkov in validacija: • 10 % slučajni stratificirani vzorec iz DB1 smeri L (N = 47) • Primarna (model 1) in sekundarna (model 2) DEX ocena • Ocene izkušenega svetovalca – uporablja iste podatke in ocene kot DEX • Primerjava KT DEXa, svetovalca in odločitvenih dreves Rezultati: • Nepomembne razlike v splošni KT svetovalca, DEXa in dreves: • primarna ~ 60%, sekundarna ~ 70% • Nepomembne razlike v KT po posameznih razredih • Podobne napake: ne prepoznajo atipičnih primerov, pomešajo kategoriji 1 in 3 • Napačne napovedi uspeha: 12.8% and 8.5% • Napovedi več kot eno kategorijo narazen: 12.8% and 6% • Ekspertna ocena modelov: “presenetljivo visoka” točnost • KT izkušenega eksperta v praksi je verjetno višja (uporablja dodatne podatke)

28. Zaključki (1/5) • KT modelov je primerljiva človeškemu ekspertu • Modeli primerni za eksperimentalno uporabo (šolski svetovalec) • Svetovalec se opira na lastno presojo, upošteva dodatne informacije, ob koncu 1. letnika izdela ponovno oceno, zbira podatke za validacijo • Internetna aplikacija za dijake in starše odpade (nizka KT, nezadostna validacija) • Prednosti: • Uporabljata podatke, ki so vedno dostopni ali jih zelo lahko pridobimo • Dosledna in sistematična napoved (evidentiranje, evaluacija) • Možnost ponovne ocene po 1. letniku SŠ • Manjša možnost napak • Psihološki vpliv na dijaka in starše (bolj verjamejo, upoštevajo) • Tisti, ki jim napovesta neuspešnost, so največkrat zares neuspešni (odsvetujemo vpis, predlagamo lažje možnosti)

29. Zaključki (2/5) • Slabosti: • Manj in neuspešnim (kategorije 1, 2, 3) občasno napovesta uspešen zaključek šolanja v rednem roku (ocena 4) • Slabo prepoznavata mejno uspešne (kategorija 3) • Zahtevata nadaljnjo validacijo na drugih podatkih • Zahtevata neprestano prilagajanje in validacijo (občutljivost na spremembe programov, šolskega sistema in generacijske spremembe dijakov) • Pasti: • Vpliv napovedi na motivacijo dijaka (lahko jo zmanjša) • Ob spremenjeni motivaciji in okoliščinah se napoved spremeni • Možnost napačnega razumevanja napovedi in pritožb (dijak, starši) • Ekspert-novinec daje preveliko težo DEX, premalo lastni presoji

30. Zaključki (3/5) Možnosti nadaljnjega razvoja : • Možnih več smiselnih struktur – manjše izboljšanje KT s spremembami modela • Možnost uvajanja sestavljenih atributov kot kriterijev • Uporaba nadzorovane dekompozicije (HINT) • Vključevanje novih kriterijev (niso v bazi, zahtevna validacija) • Ideal: razvoj sistema ES, ki predlaga nekaj najprimernejših šol • Zahteven, veliko dela, longitudinalna študija, testiranja – nerealno • Odprto vprašanje nadaljnjega razvoja modelov DEX: • Zahteven, zaradi hitrih sprememb lahko kmalu neuporabni • Predlog uporabe DEX modelov v kombinaciji z odločitvenimi drevesi • Samo uporaba dreves (hitra izgradnja in validacija, preprosta klasifikacija, dobra razumljivost, morda bolj primerna glede na naravo podatkov)

31. Zaključki (4/5) • Večina z DM odkritih zakonitosti ni novih za izkušene učitelje • Vseeno nekaj novih zanimivih odkritij (za vodstvo šole) • Pomen odkritih zakonitosti za prepričevanje dijakov in staršev • Večje upoštevanje nasvetov, posredno k višja uspešnost • Rezultati lahko šoli služijo za izdelavo “profila” primernega dijaka • Minimum posameznih lastnosti dijaka potrebnih za uspešen zaključek • Vodilo nadaljnjim raziskavam: • Predlog postopka za izgradnjo večparametrskih odločitvenih modelov na podlagi zaporedne kombinacije metod DM in DS

32. Zaključki (5/5) Prednosti kombiniranja: • Prispevki DM k DS: • Boljše razumevanje podatkov in pravil učnega uspeha • Pokaže “kaj je možno doseči”z danimi podatki (ciljna KT modelov) • HINT: orodje za raziskovanje znanja in odkrivanje značilnosti • Pospeši evaluacijo modelov DS (urejena baza podatkov) • Prispevki DS k DM: • Dobimo splošno hierarhijo atributov • Model se lahko prilagodi drugim izobraževalnim programom • Model se zlahka razširi s pomočjo DEXa (novi atributi) • Pospeši analize tipične za DS: občutljivosti, kaj-če analiza

33. Hvala!Vprašanja?