Skolebidragsindikatorer nyttig verkt y for skolene i oslo
Download
1 / 50

Skolebidragsindikatorer Nyttig verktøy for skolene i Oslo? - PowerPoint PPT Presentation


  • 133 Views
  • Uploaded on

Skolebidragsindikatorer Nyttig verktøy for skolene i Oslo?. Torbjørn Hægeland (SSB), Lars J. Kirkebøen (SSB), Oddbjørn Raaum (Frischsenteret), Kjell G. Salvanes (NHH) UDE, Oslo kommune 5.12.2005. Bakgrunn.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Skolebidragsindikatorer Nyttig verktøy for skolene i Oslo? ' - chelsa


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
Skolebidragsindikatorer nyttig verkt y for skolene i oslo

Skolebidragsindikatorer Nyttig verktøy for skolene i Oslo?

Torbjørn Hægeland (SSB),

Lars J. Kirkebøen (SSB),

Oddbjørn Raaum (Frischsenteret),

Kjell G. Salvanes (NHH)

UDE, Oslo kommune 5.12.2005


Bakgrunn
Bakgrunn

  • Internasjonal trend; Åpenhet og resultatoffentlighet om tjenesteproduksjon finansiert ved skatteinntekter

  • Søgnenutvalgets første delrapport:

    • Foreslo Kvalitetsportalen – nå Skoleporten

  • Forslag til en rekke indikatorer

  • Også indikatorer for skolens bidrag til elevenes læring

  • Utredet i 2004 – rapport fra SSB. Beskrevet i temakapittel i Utdanningsspeilet 2005, fra Utdanningsdirektoratet

  • Nå gjort et arbeid for å beregne skolebidragsindikatorer til skoleporten.no. Bakgrunnsrapport publisert 18.11.05 samtidig med at indikatorene ble lagt ut på pålogget del av skoleporten.no.

  • ...Og publisert for Oslo i Aftenposten dagen etter.


Indikatorer for l ringsutbytte i skoleporten
Indikatorer for læringsutbytte i Skoleporten

  • Publiseres på skolenivå

  • I stor grad basert på resultater fra ulike eksamener og prøver

  • Ukorrigerte resultatfordelinger/gj.snitt gir et bilde av

    • kunnskaps- og ferdighetsnivået til elevene ved en skole på et gitt tidspunkt

    • endringer over tid ved å sammenlikne flere kull

  • Ambisjonen for Skoleporten går lenger enn å gi et bilde av hva elevene kan

  • Ønsker indikatorer som reflekterer forskjeller i hva skolene tilfører elevene av kunnskaper og ferdigheter, både målt ved karakterer og andre måleinstrumenter






  • Elevsammensetning og tilfeldig variasjon er faktorer som ligger utenfor skolens kontroll

  • I hvilken grad faktiske resultatforskjeller mellom skoler reflekterer forskjeller i skolens bidrag, avhenger av hvor viktig elevsammensetning og tilfeldig variasjon er for resultatforskjellene.

  • Dette er et empirisk spørsmål

    • Kan bare fastslås ved nøyaktige undersøkelser basert på faktiske resultater for de samme skolene over flere år

    • Pålitelige svar krever detaljert informasjon om elevenes læringsforutsetninger


Hvor viktig er elevsammensetningen
Hvor viktig er elevsammensetningen? ligger utenfor skolens kontroll

  • Sterk sammenheng mellom observert familiebakgrunn og skoleprestasjoner

    • Ca. 30 prosent av karakterforskjeller mellom enkeltelever kan tilskrives observerte forskjeller i familiebakgrunn

    • Ingen lovmessighet, 70 prosent skyldes ’andre ting’ (dog herunder uobserverte familiefaktorer).

  • Elever med lik bakgrunn tenderer til å gå på samme skole (boligmarkedet/nærområdeskoler)

  • Resultatforskjeller mellom skoler skyldes i noen grad ulik elevsammensetning

    Forskjeller i elevgrunnlag kan ikke observeres fullt ut, men registerdata gir

    svært detaljert informasjon om familiebakgrunn i Norge.


Tilfeldig variasjon
Tilfeldig variasjon ligger utenfor skolens kontroll

  • Resultater svinger fra år til år

  • Tilfeldigheter knyttet til enkeltelevers prestasjoner

  • Særskilte hendelser som påvirker resultatene på klasse- eller skolenivå

  • Usikkerhet størst for små skoler, men statistisk usikkerhet rundt ethvert gjennomsnitt

  • Tilfeldig variasjon vil gi tendens til en rangering med små skoler i topp og bunn, uten at dette nødvendigvis reflekterer kjennetegn ved skolen

  • => Små skoler vil typisk være ’vinnere’ og ’tapere’ basert på endringer fra et år til det neste.


Svingninger fra r til r h geland m fl 2004 basert p grunnskolepoeng
Svingninger fra år til år ligger utenfor skolens kontroll(Hægeland m.fl, 2004 basert på grunnskolepoeng)


Alt i alt
Alt i alt.... ligger utenfor skolens kontroll

  • Elevsammensetning og tilfeldig variasjon er viktige forklaringer på resultatforskjeller mellom skoler.

  • Resultatmål som ikke tar hensyn til disse faktorene, er med stor sikkerhet misvisende.

  • Spørsmålet er om man kan finne resultatmål basert på karakterer som bedre reflekterer skolens bidrag til elevenes læring enn ukorrigerte karaktergjennomsnitt.


Skolebidragsindikatorer
Skolebidragsindikatorer ligger utenfor skolens kontroll

  • Skolebidragsindikatorer (SBI) er slike resultatmål; ”Hva ville resultatforskjellene mellom skoler vært dersom de hadde hatt det samme elevgrunnlaget?”

  • SBI er verktøy for bedre å kunne sammenlikne skoler på likt grunnlag ved å ta hensyn til at skolene har ulikt elevgrunnlag, og samtidig redusere betydningen av tilfeldig variasjon

  • Mange mener SBI basert på enkeltelevers utvikling over tid er det ideelle. Stiller store krav til informasjon om elevenes kunnskaper

  • I dag kun mulig med SBI basert på (karakter)nivå for grunnskolen. Videregående byr på flere muligheter.

  • Et viktig budskap i navnet: Indikator. Ikke et eksakt mål på kvalitetsforskjeller eller som gir oss endelige svar på hva som er ’gode/dårlige’ skoler

  • Tallfesting av hvilken betydning elevsammensetningen har. Alle vet det er viktig, men hvor viktig?


Hvordan beregnes skolebidragsindikatorene p skoleporten no
Hvordan beregnes skolebidragsindikatorene ligger utenfor skolens kontrollpå skoleporten.no ?

  • Enkelt forklart tenker vi oss at resultatet for hver elev, målt ved for karakterer, kan tilskrives kjønn, alder, familiebakgrunn, skoletilhørighet og uobserverte ("tilfeldige") faktorer.

  • Trekker ut den delen av resultatet som skyldes at elevens familiebakgrunn avviker fra gjennomsnittet blant elevene.

    • Dette gjøres ved hjelp av regresjonsanalyse

  • Vi sitter da igjen med et justert gjennomsnitt for hver enkelt skole.

  • Dette indikerer "skolebidraget" og kan tolkes som det gjennomsnittet vi forventer at skolen ville hatt, dersom elevsammensetningen ved skolen var lik gjennomsnittet i landet.

  • Noen skoler får et tillegg, andre et fradrag. Denne korreksjonen skyldes elevsammensetningen og har ingenting med SBI å gjøre.


Hva slags elevkjennetegn tar vi hensyn til
Hva slags elevkjennetegn tar vi hensyn til? ligger utenfor skolens kontroll

  • Elevens kjønn og alder (år, kvartal)

  • Foreldrenes utdanning  

  • Familiestruktur   

  • Innvandringsbakgrunn     

  • Familieøkonomi

  • Trygdeforhold


Hvordan h ndteres tilfeldig variasjon
Hvordan håndteres tilfeldig variasjon? ligger utenfor skolens kontroll

  • Ser på to år under ett (2002-03 og 2003-04)

  • Minst 20 elevobservasjoner for hvert enkelt år

  • Dette reduserer usikkerheten til skolebidragsindikatorene

  • I tillegg: Rapporterer mål på usikkerheten ved hjelp av konfidensintervall og ’tommelfinger-regler’ ved sammenlikninger ( veiledning i ”hvor store forskjellene må være for å kunne avvise at de skyldes tilfeldigheter”)

    • mer om dette i løpet av et par minutter!


For hvilke resultatm l beregnes skolebidragsindikatorene
For hvilke resultatmål beregnes skolebidragsindikatorene? ligger utenfor skolens kontroll

  • Grunnskolepoeng

  • Karakterer i basisfag

    • Norsk hovedmål, matematikk og engelsk

  • Skriftlig eksamenskarakter

    • Tar hensyn til at skoler blir trukket ut i ulike fag

      Skolebidragsindikatorer for ca. 600 enkeltskoler


Grunnskolepoeng p skoleniv
Grunnskolepoeng på skolenivå ligger utenfor skolens kontroll


Differanse sbi skolegjennomsnitt grunnskolepoeng
Differanse SBI-skolegjennomsnitt, grunnskolepoeng ligger utenfor skolens kontroll



Usikkerhet ved indikatorene
Usikkerhet ved indikatorene ligger utenfor skolens kontroll

  • Hvorfor usikkerhet når datamaterialet omfatter alle elevene?

    • Ute etter hva skolen vanligvis bidrag med til elevenes læring, ikke bare hva som skjedde ’akkurat i år’

    • Tilfeldig variasjon en del av enhver observasjon (både på skole- og elevnivå)

    • Bidragene fra familiebakgrunn er estimert og beheftet med en viss usikkerhet

    • Men flere uavhengige observasjoner gir lavere usikkerhet

  • Skoleporten: Rapporterer usikkerhet i form av konfidensintervall

  • Også veiledning i når en forskjell er statistisk signifikant?

    • Tommelfingerregler


Tommelfinger-regler; Når er forskjeller mellom skoler så store at de kan avvises som tilfeldige? (Oslo-tall)


Prosjekt for ude oslo kommune bakgrunn
Prosjekt for UDE, Oslo kommune. Bakgrunn store at de kan avvises som tilfeldige? (Oslo-tall)

  • Skolebidragsindikatorene beregnet for hele landet

  • En underliggende forutsetning om at sammenhengene mellom ulike familiebakgrunnsvariable og individuelle resultater ikke varierer med hvor i landet elevene går på skole.

  • Ikke opplagt riktig

  • Karakterforskjeller mellom elever fra ulike sosioøkonomiske grupper kan variere mellom bykommuner og spredtbygde strøk.

  • Hvis disse sammenhengene varierer sterkt mellom regioner, vil skolebidragsindikatorer basert på beregninger for hele landet ikke nødvendigvis være et like treffsikkert verktøy til sammenligning av skoler innenfor en enkelt region.

  • Må studeres ved hjelp av data, kan ikke avgjøres uten å gjøre detaljerte beregninger!


Oslo rapportens fokus
Oslo-rapportens fokus store at de kan avvises som tilfeldige? (Oslo-tall)

  • Er det store forskjeller i sammenhengene mellom ulike familiebakgrunnsvariable og individuelle skoleresultater mellom Oslo og landet som helhet?

  • Hvis ja, ’spiller det noen rolle?’, eller

  • Gir skolebidragsindikatorer beregnet for Oslo-skoler separat et annet bilde av skolenes bidrag til elevenes læring enn indikatorer for de samme skolene beregnet på grunnlag av et nasjonalt datasett?


Familiebakgrunn og skoleprestasjoner forskjell oslo og resten av landet
Familiebakgrunn og skoleprestasjoner – forskjell Oslo og resten av landet?

  • I utgangspunktet grunn til å tro at de grunnleggende sammenhengene er noenlunde like i Oslo og resten av landet

  • Men størrelsen på effektene kan tenkes å variere

  • Også forskjeller i sammensetning innad i grupper slik vi definerer dem

    • Utdanning

    • Inntekt

    • Innvandringsbakgrunn

  • Konsekvenser for skolebidragsindikatorene? Først og fremst dersom vi finner ulike effekter knyttet til kjennetegn der variasjonen mellom skoler er stor



Gjennomsnittsforskjeller mellom elever med ulik bakgrunn modellberegnet
Gjennomsnittsforskjeller mellom elever resten av landet?med ulik bakgrunn (modellberegnet)











Bevegelser opp og ned i fordelingen skriftlig eksamen
Bevegelser opp og ned i fordelingen, av landet eller separatskriftlig eksamen


Resultater for utvalgte oslo skoler basert p grunnskolepoeng
Resultater for utvalgte Oslo-skoler av landet eller separat(basert på grunnskolepoeng)


Resultater for utvalgte oslo skoler basert p karakterer i basisfag
Resultater for utvalgte Oslo-skoler av landet eller separat(basert på karakterer i basisfag)


Oppsummering oslo rapport
Oppsummering Oslo-rapport av landet eller separat

  • Variasjonen i elevsammensetningen mellom skolene i Oslo stor, og langt større enn i resten av landet.

  • Dette medfører at skolebidragsindikatorene for Osloskolene gir vesentlig tilleggsinformasjon - i enda større grad enn for resten av landet - om skolenes bidrag til elevenes læring, utover hva ujusterte karakterforskjeller forteller oss.

  • Eller; ujusterte karakterforskjeller sier svært lite om skolens bidrag i Oslo

  • Selv om forskjellene i elevsammensetning er større i Oslo, er sammenhengen mellom familiebakgrunn og elevprestasjoner ikke vesentlig forskjellig fra resten av landet.

  • => Skolebidragsindikatorene for Oslo er ikke særlig følsomme for om de beregnes for Osloskoler separat eller hentes fra en nasjonal beregning.


Andre interessante funn og problemstillinger
Andre interessante funn og problemstillinger av landet eller separat

  • For grunnskolepoeng ligger Oslo høyt i fordelingen av skolebidragsindikatorer – men ikke for basisfag eller eksamen

  • Snillere karaktergiving i Oslo – særlig i fag uten ekstern sensur?

  • Konsekvenser av (det tidligere) inntakssystemet for videregående skoler?


Hva sier skolebidragsindikatorene og hva kan de brukes til
Hva sier skolebidragsindikatorene, og hva kan de brukes til? av landet eller separat

  • Et hjelpemiddel til vurdering og utvikling av skoler,

    ikke til måling av enkelte elever!

  • Men kun ett av mange verktøy for å kunne kvalitetssikre og forbedre læringsutbyttet i skolen

  • Hjelp til arbeidet med å identifisere ”god praksis”

    (Hva dette skyldes, er neste skritt)

  • Skoler kan gi gode bidrag til læring uten at de utpeker seg på karakterstatistikken, fordi de har et mer krevende elevgrunnlag.

  • Gjør det lettere å identifisere skoler som ikke utnytter elevenes potensial

  • Lettere å tolke endringer over tid

  • Kan motivere til forbedring: Skolene vil kunne se at det hjelper

  • Vanskeligere å bortforklare dårlige (og gode) resultater med elevgrunnlaget


Hva sier skolebidragsindikatorer og hva kan de brukes til forts
Hva sier skolebidragsindikatorer, og hva kan de brukes til? (forts.)

  • Overvåke og tolke spredning i resultater mellom skoler i Norge

  • Korreksjonen kan endre seg over tid

    • Korreksjonen avspeiler forskjeller mellom grupper der og da, ikke en fast ’mal’

    • Dersom en skole forbedrer seg, skjerper dette ”kravene” til skoler med tilsvarende elevgrunnlag.

  • Både ujusterte resultater og skolebidragsindikatorer

    • Dårlige karakterer fremdeles et problem selv om skolebidraget er høyt.

    • ’Alarmen’ bør primært stilles inn på ujusterte resultater

    • Elevenes videre karriere i utdanning/arbeidsliv og kvalitet på sosiale relasjoner bestemmes ikke av familiebakgrunnskorrigerte karakterer!



Konklusjoner
Konklusjoner (forts.)

  • Skolebidragsindikatorene korrigerer for viktige faktorer som ikke kan tilskrives skolen,

    - men gjenstår likevel mulighet for uobserverte forskjeller i elevgrunnlag.

  • Skolebidragsindikatorene løser ikke alle problemer knyttet til tolkning av forskjeller mellom skoler

  • De har likevel høy informasjonsverdi og kan gi konstruktive bidrag til debatten om skolekvalitet

  • Skolebidragsindikatorene er et viktig - men langt fra siste - skritt videre i arbeidet med å utvikle måleinstrumenter for kvalitetsvurdering av norske skoler




ad