Skolebidragsindikatorer nyttig verkt y for skolene i oslo
This presentation is the property of its rightful owner.
Sponsored Links
1 / 50

Skolebidragsindikatorer Nyttig verktøy for skolene i Oslo? PowerPoint PPT Presentation


  • 103 Views
  • Uploaded on
  • Presentation posted in: General

Skolebidragsindikatorer Nyttig verktøy for skolene i Oslo?. Torbjørn Hægeland (SSB), Lars J. Kirkebøen (SSB), Oddbjørn Raaum (Frischsenteret), Kjell G. Salvanes (NHH) UDE, Oslo kommune 5.12.2005. Bakgrunn.

Download Presentation

Skolebidragsindikatorer Nyttig verktøy for skolene i Oslo?

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Skolebidragsindikatorer nyttig verkt y for skolene i oslo

Skolebidragsindikatorer Nyttig verktøy for skolene i Oslo?

Torbjørn Hægeland (SSB),

Lars J. Kirkebøen (SSB),

Oddbjørn Raaum (Frischsenteret),

Kjell G. Salvanes (NHH)

UDE, Oslo kommune 5.12.2005


Bakgrunn

Bakgrunn

  • Internasjonal trend; Åpenhet og resultatoffentlighet om tjenesteproduksjon finansiert ved skatteinntekter

  • Søgnenutvalgets første delrapport:

    • Foreslo Kvalitetsportalen – nå Skoleporten

  • Forslag til en rekke indikatorer

  • Også indikatorer for skolens bidrag til elevenes læring

  • Utredet i 2004 – rapport fra SSB. Beskrevet i temakapittel i Utdanningsspeilet 2005, fra Utdanningsdirektoratet

  • Nå gjort et arbeid for å beregne skolebidragsindikatorer til skoleporten.no. Bakgrunnsrapport publisert 18.11.05 samtidig med at indikatorene ble lagt ut på pålogget del av skoleporten.no.

  • ...Og publisert for Oslo i Aftenposten dagen etter.


Indikatorer for l ringsutbytte i skoleporten

Indikatorer for læringsutbytte i Skoleporten

  • Publiseres på skolenivå

  • I stor grad basert på resultater fra ulike eksamener og prøver

  • Ukorrigerte resultatfordelinger/gj.snitt gir et bilde av

    • kunnskaps- og ferdighetsnivået til elevene ved en skole på et gitt tidspunkt

    • endringer over tid ved å sammenlikne flere kull

  • Ambisjonen for Skoleporten går lenger enn å gi et bilde av hva elevene kan

  • Ønsker indikatorer som reflekterer forskjeller i hva skolene tilfører elevene av kunnskaper og ferdigheter, både målt ved karakterer og andre måleinstrumenter


Hva skaper resultatforskjeller mellom skoler

Hva skaper resultatforskjeller mellom skoler?


Hva skaper resultatforskjeller mellom skoler1

Hva skaper resultatforskjeller mellom skoler?


Hva skaper resultatforskjeller mellom skoler2

Hva skaper resultatforskjeller mellom skoler?


Hva skaper resultatforskjeller mellom skoler3

Hva skaper resultatforskjeller mellom skoler?


Skolebidragsindikatorer nyttig verkt y for skolene i oslo

  • Elevsammensetning og tilfeldig variasjon er faktorer som ligger utenfor skolens kontroll

  • I hvilken grad faktiske resultatforskjeller mellom skoler reflekterer forskjeller i skolens bidrag, avhenger av hvor viktig elevsammensetning og tilfeldig variasjon er for resultatforskjellene.

  • Dette er et empirisk spørsmål

    • Kan bare fastslås ved nøyaktige undersøkelser basert på faktiske resultater for de samme skolene over flere år

    • Pålitelige svar krever detaljert informasjon om elevenes læringsforutsetninger


Hvor viktig er elevsammensetningen

Hvor viktig er elevsammensetningen?

  • Sterk sammenheng mellom observert familiebakgrunn og skoleprestasjoner

    • Ca. 30 prosent av karakterforskjeller mellom enkeltelever kan tilskrives observerte forskjeller i familiebakgrunn

    • Ingen lovmessighet, 70 prosent skyldes ’andre ting’ (dog herunder uobserverte familiefaktorer).

  • Elever med lik bakgrunn tenderer til å gå på samme skole (boligmarkedet/nærområdeskoler)

  • Resultatforskjeller mellom skoler skyldes i noen grad ulik elevsammensetning

    Forskjeller i elevgrunnlag kan ikke observeres fullt ut, men registerdata gir

    svært detaljert informasjon om familiebakgrunn i Norge.


Tilfeldig variasjon

Tilfeldig variasjon

  • Resultater svinger fra år til år

  • Tilfeldigheter knyttet til enkeltelevers prestasjoner

  • Særskilte hendelser som påvirker resultatene på klasse- eller skolenivå

  • Usikkerhet størst for små skoler, men statistisk usikkerhet rundt ethvert gjennomsnitt

  • Tilfeldig variasjon vil gi tendens til en rangering med små skoler i topp og bunn, uten at dette nødvendigvis reflekterer kjennetegn ved skolen

  • => Små skoler vil typisk være ’vinnere’ og ’tapere’ basert på endringer fra et år til det neste.


Svingninger fra r til r h geland m fl 2004 basert p grunnskolepoeng

Svingninger fra år til år (Hægeland m.fl, 2004 basert på grunnskolepoeng)


Alt i alt

Alt i alt....

  • Elevsammensetning og tilfeldig variasjon er viktige forklaringer på resultatforskjeller mellom skoler.

  • Resultatmål som ikke tar hensyn til disse faktorene, er med stor sikkerhet misvisende.

  • Spørsmålet er om man kan finne resultatmål basert på karakterer som bedre reflekterer skolens bidrag til elevenes læring enn ukorrigerte karaktergjennomsnitt.


Skolebidragsindikatorer

Skolebidragsindikatorer

  • Skolebidragsindikatorer (SBI) er slike resultatmål; ”Hva ville resultatforskjellene mellom skoler vært dersom de hadde hatt det samme elevgrunnlaget?”

  • SBI er verktøy for bedre å kunne sammenlikne skoler på likt grunnlag ved å ta hensyn til at skolene har ulikt elevgrunnlag, og samtidig redusere betydningen av tilfeldig variasjon

  • Mange mener SBI basert på enkeltelevers utvikling over tid er det ideelle. Stiller store krav til informasjon om elevenes kunnskaper

  • I dag kun mulig med SBI basert på (karakter)nivå for grunnskolen. Videregående byr på flere muligheter.

  • Et viktig budskap i navnet: Indikator. Ikke et eksakt mål på kvalitetsforskjeller eller som gir oss endelige svar på hva som er ’gode/dårlige’ skoler

  • Tallfesting av hvilken betydning elevsammensetningen har. Alle vet det er viktig, men hvor viktig?


Hvordan beregnes skolebidragsindikatorene p skoleporten no

Hvordan beregnes skolebidragsindikatorene på skoleporten.no ?

  • Enkelt forklart tenker vi oss at resultatet for hver elev, målt ved for karakterer, kan tilskrives kjønn, alder, familiebakgrunn, skoletilhørighet og uobserverte ("tilfeldige") faktorer.

  • Trekker ut den delen av resultatet som skyldes at elevens familiebakgrunn avviker fra gjennomsnittet blant elevene.

    • Dette gjøres ved hjelp av regresjonsanalyse

  • Vi sitter da igjen med et justert gjennomsnitt for hver enkelt skole.

  • Dette indikerer "skolebidraget" og kan tolkes som det gjennomsnittet vi forventer at skolen ville hatt, dersom elevsammensetningen ved skolen var lik gjennomsnittet i landet.

  • Noen skoler får et tillegg, andre et fradrag. Denne korreksjonen skyldes elevsammensetningen og har ingenting med SBI å gjøre.


Hva slags elevkjennetegn tar vi hensyn til

Hva slags elevkjennetegn tar vi hensyn til?

  • Elevens kjønn og alder (år, kvartal)

  • Foreldrenes utdanning  

  • Familiestruktur   

  • Innvandringsbakgrunn     

  • Familieøkonomi

  • Trygdeforhold


Hvordan h ndteres tilfeldig variasjon

Hvordan håndteres tilfeldig variasjon?

  • Ser på to år under ett (2002-03 og 2003-04)

  • Minst 20 elevobservasjoner for hvert enkelt år

  • Dette reduserer usikkerheten til skolebidragsindikatorene

  • I tillegg: Rapporterer mål på usikkerheten ved hjelp av konfidensintervall og ’tommelfinger-regler’ ved sammenlikninger ( veiledning i ”hvor store forskjellene må være for å kunne avvise at de skyldes tilfeldigheter”)

    • mer om dette i løpet av et par minutter!


For hvilke resultatm l beregnes skolebidragsindikatorene

For hvilke resultatmål beregnes skolebidragsindikatorene?

  • Grunnskolepoeng

  • Karakterer i basisfag

    • Norsk hovedmål, matematikk og engelsk

  • Skriftlig eksamenskarakter

    • Tar hensyn til at skoler blir trukket ut i ulike fag

      Skolebidragsindikatorer for ca. 600 enkeltskoler


Grunnskolepoeng p skoleniv

Grunnskolepoeng på skolenivå


Differanse sbi skolegjennomsnitt grunnskolepoeng

Differanse SBI-skolegjennomsnitt, grunnskolepoeng


Sammenheng mellom sbi og skolegjennomsnitt grunnskolepoeng

Sammenheng mellom SBI og skolegjennomsnitt, grunnskolepoeng


Usikkerhet ved indikatorene

Usikkerhet ved indikatorene

  • Hvorfor usikkerhet når datamaterialet omfatter alle elevene?

    • Ute etter hva skolen vanligvis bidrag med til elevenes læring, ikke bare hva som skjedde ’akkurat i år’

    • Tilfeldig variasjon en del av enhver observasjon (både på skole- og elevnivå)

    • Bidragene fra familiebakgrunn er estimert og beheftet med en viss usikkerhet

    • Men flere uavhengige observasjoner gir lavere usikkerhet

  • Skoleporten: Rapporterer usikkerhet i form av konfidensintervall

  • Også veiledning i når en forskjell er statistisk signifikant?

    • Tommelfingerregler


Skolebidragsindikatorer nyttig verkt y for skolene i oslo

Tommelfinger-regler; Når er forskjeller mellom skoler så store at de kan avvises som tilfeldige? (Oslo-tall)


Prosjekt for ude oslo kommune bakgrunn

Prosjekt for UDE, Oslo kommune. Bakgrunn

  • Skolebidragsindikatorene beregnet for hele landet

  • En underliggende forutsetning om at sammenhengene mellom ulike familiebakgrunnsvariable og individuelle resultater ikke varierer med hvor i landet elevene går på skole.

  • Ikke opplagt riktig

  • Karakterforskjeller mellom elever fra ulike sosioøkonomiske grupper kan variere mellom bykommuner og spredtbygde strøk.

  • Hvis disse sammenhengene varierer sterkt mellom regioner, vil skolebidragsindikatorer basert på beregninger for hele landet ikke nødvendigvis være et like treffsikkert verktøy til sammenligning av skoler innenfor en enkelt region.

  • Må studeres ved hjelp av data, kan ikke avgjøres uten å gjøre detaljerte beregninger!


Oslo rapportens fokus

Oslo-rapportens fokus

  • Er det store forskjeller i sammenhengene mellom ulike familiebakgrunnsvariable og individuelle skoleresultater mellom Oslo og landet som helhet?

  • Hvis ja, ’spiller det noen rolle?’, eller

  • Gir skolebidragsindikatorer beregnet for Oslo-skoler separat et annet bilde av skolenes bidrag til elevenes læring enn indikatorer for de samme skolene beregnet på grunnlag av et nasjonalt datasett?


Familiebakgrunn og skoleprestasjoner forskjell oslo og resten av landet

Familiebakgrunn og skoleprestasjoner – forskjell Oslo og resten av landet?

  • I utgangspunktet grunn til å tro at de grunnleggende sammenhengene er noenlunde like i Oslo og resten av landet

  • Men størrelsen på effektene kan tenkes å variere

  • Også forskjeller i sammensetning innad i grupper slik vi definerer dem

    • Utdanning

    • Inntekt

    • Innvandringsbakgrunn

  • Konsekvenser for skolebidragsindikatorene? Først og fremst dersom vi finner ulike effekter knyttet til kjennetegn der variasjonen mellom skoler er stor


Forskjeller i grunnskolepoeng etter foreldrenes utdanning

Forskjeller i grunnskolepoeng etter foreldrenes utdanning


Gjennomsnittsforskjeller mellom elever med ulik bakgrunn modellberegnet

Gjennomsnittsforskjeller mellom elever med ulik bakgrunn (modellberegnet)


Skolegjennomsnitt grunnskolepoeng

Skolegjennomsnitt, grunnskolepoeng


Skolegjennomsnitt karakterer i basisfag

Skolegjennomsnitt, karakterer i basisfag


Skolegjennomsnitt skriftlig eksamen

Skolegjennomsnitt, skriftlig eksamen


Skolebidragsindikatorer grunnskolepoeng

Skolebidragsindikatorer - grunnskolepoeng


Skolebidragsindikatorer skriftlig eksamen

Skolebidragsindikatorer – skriftlig eksamen


Sammenheng skolebidragsindikator skolegjennomsnitt hele landet

Sammenheng skolebidragsindikator – skolegjennomsnitt (hele landet)


Sammenheng skolebidragsindikator skolegjennomsnitt oslo

Sammenheng skolebidragsindikator – skolegjennomsnitt (Oslo)


Skolebidragsindikatorer for oslo estimert sammen med resten av landet eller separat

Skolebidragsindikatorer for Oslo. Estimert sammen med resten av landet eller separat


Bevegelser opp og ned i fordelingen grunnskolepoeng

Bevegelser opp og ned i fordelingen, grunnskolepoeng


Bevegelser opp og ned i fordelingen skriftlig eksamen

Bevegelser opp og ned i fordelingen, skriftlig eksamen


Resultater for utvalgte oslo skoler basert p grunnskolepoeng

Resultater for utvalgte Oslo-skoler (basert på grunnskolepoeng)


Resultater for utvalgte oslo skoler basert p karakterer i basisfag

Resultater for utvalgte Oslo-skoler (basert på karakterer i basisfag)


Oppsummering oslo rapport

Oppsummering Oslo-rapport

  • Variasjonen i elevsammensetningen mellom skolene i Oslo stor, og langt større enn i resten av landet.

  • Dette medfører at skolebidragsindikatorene for Osloskolene gir vesentlig tilleggsinformasjon - i enda større grad enn for resten av landet - om skolenes bidrag til elevenes læring, utover hva ujusterte karakterforskjeller forteller oss.

  • Eller; ujusterte karakterforskjeller sier svært lite om skolens bidrag i Oslo

  • Selv om forskjellene i elevsammensetning er større i Oslo, er sammenhengen mellom familiebakgrunn og elevprestasjoner ikke vesentlig forskjellig fra resten av landet.

  • => Skolebidragsindikatorene for Oslo er ikke særlig følsomme for om de beregnes for Osloskoler separat eller hentes fra en nasjonal beregning.


Andre interessante funn og problemstillinger

Andre interessante funn og problemstillinger

  • For grunnskolepoeng ligger Oslo høyt i fordelingen av skolebidragsindikatorer – men ikke for basisfag eller eksamen

  • Snillere karaktergiving i Oslo – særlig i fag uten ekstern sensur?

  • Konsekvenser av (det tidligere) inntakssystemet for videregående skoler?


Hva sier skolebidragsindikatorene og hva kan de brukes til

Hva sier skolebidragsindikatorene, og hva kan de brukes til?

  • Et hjelpemiddel til vurdering og utvikling av skoler,

    ikke til måling av enkelte elever!

  • Men kun ett av mange verktøy for å kunne kvalitetssikre og forbedre læringsutbyttet i skolen

  • Hjelp til arbeidet med å identifisere ”god praksis”

    (Hva dette skyldes, er neste skritt)

  • Skoler kan gi gode bidrag til læring uten at de utpeker seg på karakterstatistikken, fordi de har et mer krevende elevgrunnlag.

  • Gjør det lettere å identifisere skoler som ikke utnytter elevenes potensial

  • Lettere å tolke endringer over tid

  • Kan motivere til forbedring: Skolene vil kunne se at det hjelper

  • Vanskeligere å bortforklare dårlige (og gode) resultater med elevgrunnlaget


Hva sier skolebidragsindikatorer og hva kan de brukes til forts

Hva sier skolebidragsindikatorer, og hva kan de brukes til? (forts.)

  • Overvåke og tolke spredning i resultater mellom skoler i Norge

  • Korreksjonen kan endre seg over tid

    • Korreksjonen avspeiler forskjeller mellom grupper der og da, ikke en fast ’mal’

    • Dersom en skole forbedrer seg, skjerper dette ”kravene” til skoler med tilsvarende elevgrunnlag.

  • Både ujusterte resultater og skolebidragsindikatorer

    • Dårlige karakterer fremdeles et problem selv om skolebidraget er høyt.

    • ’Alarmen’ bør primært stilles inn på ujusterte resultater

    • Elevenes videre karriere i utdanning/arbeidsliv og kvalitet på sosiale relasjoner bestemmes ikke av familiebakgrunnskorrigerte karakterer!


Herfra og ut skal ikke brukes

Herfra og ut skal ikke brukes


Konklusjoner

Konklusjoner

  • Skolebidragsindikatorene korrigerer for viktige faktorer som ikke kan tilskrives skolen,

    - men gjenstår likevel mulighet for uobserverte forskjeller i elevgrunnlag.

  • Skolebidragsindikatorene løser ikke alle problemer knyttet til tolkning av forskjeller mellom skoler

  • De har likevel høy informasjonsverdi og kan gi konstruktive bidrag til debatten om skolekvalitet

  • Skolebidragsindikatorene er et viktig - men langt fra siste - skritt videre i arbeidet med å utvikle måleinstrumenter for kvalitetsvurdering av norske skoler


Differanse skolebidrag skolegjennomnsitt grunnskolepoeng

Differanse skolebidrag- skolegjennomnsitt (grunnskolepoeng)


Forklaringskraft for grupper av variable dropper denne her for teknisk

”Forklaringskraft” for grupper av variable, dropper denne her/for teknisk??


  • Login