Overvurdering av egne evner er normalt hos mentalt friske mennesker!

1. Overoptimisme (i IT-prosjekter): Hvorfor lærer vi aldri?NVF-11s sommermøteSvolværMagne Jørgensen

2. Overvurdering av egne evner er normalthos mentalt friske mennesker!

3. Trenger du en realist? Se etter lett depressive mennesker.

4. Undervurdering av egen risiko er normalt(Risiko for egen skilsmisse er for eksempel sterkt undervurdert selv blant de som vet at nær 50% av ekteskap sprekker)

5. Optimisme er ofte en fordel! Mannen i grønt må kanskje være stor optimist for å gidde å hoppe. Av og til vinner man med høye odds - stort sett ikke!

6. Men optimisme kan være negativt … • Båtverftet påpekte at Titanic lett kunne ta flere livbåter. • Rederiet White Star nektet å bygge flere fordi SIDEN SKIPET VAR USYNKBART VILLE DET IKKE TRENGE LIVBÅTER! • Her ville en pessimist vært klart bedre.

7. Over-optimisme innen IT-prosjekter • Systematisk overoptimisme i IT-prosjekter • Ca. 30% overskridelse • en del måleproblemer gjør at det er uklart hva dette tallet egentlig sier oss • Ingen registrert forbedring over tid • Overoptimisme ofte immun mot historiske data (”the planning fallacy”) • Manglende læring skyldes at intuisjonsbaserte estimater (”magic step”) ikke kontrolleres av bevisste prosesser • IT-prosjekter trolig ikke dårligere enn andre (lignende) prosjekter • Også ca. 30% overskridelse, med tilsvarende måleproblemer • Stort sett ingen læring her heller

8. Vi trenger bedre kunnskap om årsaker til overoptimisme for å … • identifisere situasjoner for overoptimistiske kostnadsestimater i IT-prosjekter kan forventes • lage prosesser som fjerner (deler av) overoptimismen • øke realisme uten å ødelegge de (antatt) positive egenskapene som følger med optimisme

9. Hva er årsakene til overoptimisme? • Store individuelle forskjeller? • Mange teorier og synspunkter • Populært tema å forske på, men få grunnleggende vitenskapelige studier på overoptimisme i IT-prosjekter • Overoptimisme skyldes trolig samspillet av et mangfold av faktorer og er sterkt kontekstavhengig • I en del situasjoner er vi realistiske og til og med overpessimistiske. • Vi har ikke fokus på overpessimisme her, men det er også et interessant tema!

10. Studier på IT-prosjekter og overoptimisme SPØRRESKJEMA-BASERTE STUDIER: • Phan et al.: “unrealistic over-optimism”, “frequent changes”. • van Genuchten: “more time spent on other work than planned”, “complexity of application underestimated”. • Lederer and Prasad: “frequent requests for changes by users”, “users lack of understanding of their own requirements”, “overlooked tasks”. • Standish Group,1994: “lack of user input”, “incomplete requirements and specifications”, “changing requirements and specifications”. • Subramanian and Breslawski: “requirement change”, “programmer or team member experience, turnover”, “design changes, scope, complexity”. OPPGAVE: Hva er manglene ved slike spørreundersøkelser?

11. Studier på IT-prosjekter og overoptimisme KORRELASJONSANALYSE (mer overoptimisme når …) • Lederer and Prasad: • “not estimating own work” • “no revision of estimates by the management” • “no independent evaluation of development process” • “no formal process of cost control” • “no evaluation of estimation accuracy to assess the managers, the estimators or developers” • Standish Group: • “larger size” • Gray et al.: • “when changing large modules” • “development of reports, and models accessing more than one data table” • (men, overpessimisme “when changing small modules”, “development of screens and modules accessing one or less data tables”)

12. Tidligere studier av optimisme i IT-prosjekter: • Mye basert på ”første ordens årsaker” • Erfaringsgjennomganger hjelper noe men her kommer typisk ”illusion of explanatory depth” inn. • Grunne årsaksanalyser av estimeringsfeil kan faktisk ha negative effekt ved at vi tror vi har forstått sammenhenger som ikke er der og blir for overoptimistisk i neste runde (”denne gangen har vi lært”). • Mest korrelasjoner og ikke dypereliggende årsaker. • www.simula.no/departments/engineering/publications/SE.4.Joergensen.2004.h • Vi trenger mer dybde i vår forståelse av overoptimisme for å kunne unngå den!

13. Hva er optimisme? Optimisme kan opptre som: • personlighetsegenskap (dispositional optimism) • sammenligning med andre (comparative optimism) • forhold mellom estimert og virkelig utfall • Egen prestasjon • Andres prestasjon

14. Bevisst eller ubevisst overoptimisme? • I noen tilfeller er IT-estimater bevisst manipulert. • I denne presentasjonen er vi ikke opptatt av denne typen ’overoptimisme’ • Slike manipulasjoner bør neppe kalles overoptimisme, men kanskje ”løgn & bedrag” eller ”politiske estimater” • Vi er i denne presentasjonen opptatt av overoptimisme som følge av mer eller mindre ubevisste prosesser og påvirkninger.

15. KATEGORIER (overlappende): Biologi Kultur Gruppedynamikk Motivasjon Kognisjon Sinnstilstand (”mood”) ”Struktur” Kategorisering av årsaker til optimisme i IT-prosjekter

16. Gjennomført søk etter relevante studier • Søk etter studier om ”overoptimism”, ”overoptimistic”, ”overconfidence”, ”overconfident” i søkebasene Inspec og PsychInfo • Ca. 500 relevante treff • Gjennomlesning og kategorisering pågår • Presentasjonen er en underveis analyse basert på våre egne studier, tidligere leste studier og den pågående gjennomgangen av relaterte studier • Presentasjonen er ikke IT-spesifikk, men det meste er relevant for IT-prosjekter og overoptimisme

17. Biologi - 1 • Evolusjonen synes å ha belønnet selvsikkerhet og risikoundervurdering. (Jenter: Dere får skylden igjen. Hvem av de to ovenfor er mest attraktiv?). Studier indikerer at selvsikkerhet og særlig ”narsissisme” henger sammen med overoptimisme. • Ingen sterke bevis for at optimisme er biologisk betinget (?). Det er mulig at overoptimisme i hovedsak er kultur/miljøbestemt. • En del indikasjoner på sammenheng mellom optimisme og biologi. F eks, så hjelper trolig optimisme på en del sykdomsforløp (styrking av immunforsvar), og håndtering av problematiske situasjoner (”coping”). • Simulering indikerer at overoptimisme i noen sammenhenger gir systematisk bedre utfall enn realisme. (Særlig når man vet lite om sannsynligheten for ulike utfall, men mye om konsekvensene av utfallene.)

18. Biologi - 2 • Det synes å være liten eller ingen sammenheng mellom optimisme (som personlighetsegenskap) og optimistiske estimater! • Optimisme er altså mye mer enn optimistiske estimater. • Sier noe om definisjonsproblemene • Menn synes å være mer overoptimistiske enn kvinner og (noe overraskende?) eldre mer enn yngre • Kultur eller biologi? • Evolusjon har trolig ført til at vår tenkning tenderer til overoptimisme i mange situasjoner. • At noen har sterk overoptimisme lønner seg trolig for et samfunn, og av og til også for den enkelte. • Gründere er f eks mye mer overoptimistiske enn resten av befolkningen.

19. Kultur • Det er kulturelle forskjeller i optimisme, men funnene er forvirrende: • Innen studier på ”overconfidence” er det enighet om at asiater er mer overoptimistiske enn vestlige. • Innen studier på ”self-efficacy” synes vestlige personer (individorienterte samfunn) å være mer overoptimistiske mhp egne prestasjoner enn asiatiske (kollektivorienterte samfunn). • Et studium på ”planning fallacy” fant ingen forskjell grad av overoptimisme i estimater av prosjektvarighet mellom japanske og kanadiske studenter. • Kan det være forskjellen i tester og type optimisme som gir dette spriket i resultater? • Kultur forklarer ikke alt – trolig ikke en gang særlig mye når det gjelder overoptimistiske estimater av tid og kostnad.

20. Gruppedynamikk • Igjen ganske sprikende resultater • Det synes å være et mønster at grupper fører til større overoptimisme mhp hvor riktige vurderinger som gjøres • Grupper fører ofte til at ytelsen går opp, men at troen på økt ytelse går enda mer opp. • Vår studie på IT-prosjekter indikerer imidlertid mindre overoptimisme ved bruk av grupper til å estimere. • Flere hoder husker på mer (union av aktiviteter) • Krav om begrunnelse kan gi økt realisme • Men, se opp for ”group think” og dominerende individer (se bilde) • Effekten av grupper på overoptimisme trolig svært kontekstavhengig, dvs vanskelig å finne generelle mønstre. • Bruk av Delphi-metode (strukturerte grupper) gir stort sett svært bra innvirkning på realisme.

21. Motivasjon - 1 • Entydige resultater som viser sterk sammenheng mellom motivasjon for høy ytelse (på egne vegne) og overoptimisme • Optimisme kan påvirke ytelsen positivt, MEN • Optimistiske estimater synes typisk å ha kun en kortvarig positiv effekt på gjennomføringen. • Hvor stor og hvor positiv effekten av optimisme er på ytelse overvurderes ofte sterkt.

22. Motivasjon – 2(Unngå kognitiv dissonans) • Det lønner seg med et godt selvbilde • For egen del • Selvbilde brukes som indikator på ytelse • Derfor bør ikke et prosjekt ta lang tid, det bør ikke oppstå problemer man ikke kan løse, … • Ubevisst, får vi oss selv derfor mer og mer til å tro på at vi skal klare det på urealistisk kort tid … • Hvis ikke, så får vi kognitiv dissonans (dvs sprik mellom hvem vi ønsker å være og hva vi estimerer at vi vil komme til å være) • Motivasjon en svært viktig årsak.

23. Kognitive prosesser – 1 • Planlegging (visualisering av fremtidsscenarier) gir ofte mindre grad av realisme enn historierefleksjoner (hvordan det har gått) • Overvurdering av hvor mye vi kan kontrollere/håndtere er en viktig kilde til overoptimisme (the illusion of control) • Kanskje den viktigste årsaken til overoptimisme i IT-prosjekter? • Flaks vs dyktighet ofte et spørsmål om man lykkes eller mislykkes

24. Kognitive prosesser - 2 • Selektiv hukommelse • Forskjønnelse av problemer • Faktisk tid medgått på lignende oppgaver undervurderes • Årsaksanalyser (erfaringsgjennomganger) kan ofte føre til større grad av overoptimisme! • Vi tror vi har skjønt mer enn det er å skjønne • ”Illusion of explanatory depth” • Svakheter i våre mentale prosesser trolig svært viktig for overoptimisme (som muliggjører for overoptimisme ved ”motivasjon”)

25. Sinnsstemning • Sinnsstemning når estimatene gjøres har trolig noe, men ikke så mye å si for grad av overoptimisme. • Selv ikke det å sette personer i negativ stemning, be dem beskrive oppgaver de har mislykkes med, etc. synes å ha store effekten på overoptimismen.

26. Strukturelle forhold • Winner’s curse • Større sannsynlighet for å vinne anbudsrunder og få startet prosjekter når man er overoptimistisk • Forklarer mye av overskridelsene i IT-prosjekter!

27. Ti faktorer som signaliserer fare for overoptimisme (foreløpige resultater) • Høy usikkerhet • Lite relevant erfaring • Høy grad av prosjektengasjement (commitment) for å lykkes hos de som estimerer • Vanskelig å evaluere estimatene (f eks ved at antagelsene for estimatene er uklare eller at hva som er ment med estimatet ikke er klart) • Lang varighet på prosjektet • Prosjekt mye større enn tidligere prosjekter • Prosjektleveranser har liten grad av fleksibilitet (dette øker risikoen for at man overvurderer hvor mye man kan ”justere seg inn”) • Manglende skille mellom prosesser for estimat, plan og tilbud • Kundeforventning og/eller budsjett er kjent av de som estimerer • Estimater utarbeidet som del av planlegging

28. Elleve råd for å redusere overoptimisme • Utdann en ”cost engineer” som evalueres mhp realisme i estimater og ikke selv er del av prosjektene han/hun estimerer. • Skill tydelig mellom prosesser for estimering, planlegging og prising. • Unngå irrelevant informasjon som leder til for lave ”ankere” (f eks kundeforventninger) • Bruk historiske data. • Ikke stol på at prosjektforbruk huskes riktig. Dokumenter reelt tidsforbruk. • Krev at argumentasjon for estimater er etterprøvbar, dvs viser til lignende erfaringer. Krev en svært god argumentasjon dersom ytelsen estimeres å være bedre enn historiske data skulle tilsi. • Ikke regn med at dere har lært noe særlig fra forrige prosjekt. • Dersom historiske data ikke finnes, forsøk å finne eksperter med relevant bakgrunn (også utenfor organisasjonen) og historiske data. • Ikke la ekspertutviklere estimere arbeidsmengde til uerfarne (bruk middels dyktige til å estimere middels og under middels dyktige). • Dersom en person har motiver for lave estimater (svært engasjert i å få prosjektet startet, indirekte belønnes for å angi lave estimater for eget arbeid, etc), finn en annen person til å estimere. • Kombiner estimater fra uavhengige kilder. Sørg for at disse har ulik bakgrunn og roller. Bruk en Delphi-prosess for å kombinere vurderingsbaserte estimater.

29. Mer om dette …. • www.simula.no/departments/engineering/projects/best/publications/ • Se særlig: • www.simula.no/departments/engineering/publications/SE.4.Joergensen.2004.c