John Øvretveit,
This presentation is the property of its rightful owner.
Sponsored Links
1 / 44

John Øvretveit, PowerPoint PPT Presentation


  • 58 Views
  • Uploaded on
  • Presentation posted in: General

John Øvretveit, Director of Research, Professor, Karolinska Medical Management Centre Sweden and Professor of Health Management, Faculty of Medicine, Bergen University. Nordic experience with Safety Culture Survey Resources download from: http://homepage.mac.com/johnovr/FileSharing2.html.

Download Presentation

John Øvretveit,

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


John vretveit

John Øvretveit,

Director of Research, Professor, Karolinska Medical Management Centre Sweden and Professor of Health Management, Faculty of Medicine, Bergen University

Nordic experience with Safety Culture SurveyResources download from:http://homepage.mac.com/johnovr/FileSharing2.html


John vretveit

Sweden in blue

Finland white

Norway orange

Denmark red

Europe

Scandinavia is Sweden, Norway and Denmark


John vretveit

Iceland

Finland

Norway

Sweden

Denmark


John vretveit

.t

  • .

    • .

  • .

    • .

Karolinska

Institute

Medical University

- Largest in NE


Report

Report

Draws on role as coordinator for

  • Nordic patient safety research network &

  • International Quality improvement research network

  • Sweden: 5 hospitals approx 2000 people surveyed

  • Norway: Stavanger & Akershus studies

  • Denmark: Copenhagen hospitals study

  • Finland: considering AHRQ vs IHI versions


  • Why we wanted a survey tool

    Why we wanted a survey tool

    • Diagnosis to show possible intervention points and problem areas

    • Compare units/organisations to discover and learn from “best cultures/practice”

    • Assess impact of changes on before/after responses to questions


    Sweden study requirements

    Sweden: study requirements

    a)describe the different “pictures” which different surveys provide – differences and strengths and weaknesses of each

    b)describe what the surveys really measure, by comparing aggregate data from units which should be the same to find out if same data is produced, by comparing different instruments and asking subjects views about validity and in other ways

    • c)assess reliability by comparing matched subjects responses and test-retest reliability

    • d) assess sensitivity to registering different changes

    • e) describe how data from these related to real changes and activities (comparing survey data to observational and interview data).


    Criteria for assessing surveys include

    Criteria for assessing surveys include:

    Practical

    • Value assessed by managers for action and making more informed decisions

    • Use for identifying best practice units

    • Time and cost to administer and analyse

      Scientific

    • Value for research use to studying change and influences on performance

    • Validity (global)

    • Sensitivity


    How to measure

    How to measure?.

    Typological approaches:

    Competing Values Framework

    Harrison’s Organizational Ideology Questionnaire

    Quality Improvement Implementation Survey

    Dimensional instruments:

    Organizational Culture Inventory

    Hospital Culture Questionnaire

    Nursing Unit Culture Assessment Tool

    Practice Culture Questionnaire

    MacKenzie’s Culture Questionnaire

    Survey of Organizational Culture

    Corporate Culture Questionnaire

    Core Employee Opinion Questionnaire

    Hofstede’s Organizational Culture Questionnaire

    Organizational Culture Survey

    (Scott et al. (2003) HSR)


    Publicly available safety culture survey instruments

    Publicly available safety culture survey instruments

    • California 15 hospitals study (Singer et al. 2003 (Stanford/PSCI survey 2001)

    • AHRQ 2004 survey

    • IHI survey

    • Weingart et al. 2004 employee survey instrument

    • Manchester patient safety tool (MaPSaT) 2005


    Metaphors for culture the iceberg

    Metaphors for culture - the iceberg

    Tip: what people say in response to questions

    Observable behaviours, practices and discourse: this is ‘the way we do things round here’.

    Below : underlying beliefs, attitudes, values, philosophies and taken-for-granted aspects of workplace life: ‘why we do the things we do round here’.

    Waterline


    Previous research john s assessment

    Previous research - John’s assessment

    • most are attitude surveys

      • tell us about climate not culture,

    • often without theoretical basis,

    • rarely build on previous instruments.

    • more research combining ethnographic and survey pictures needed

    • Unclear for which purpose each instrument most useful and perspective it gives.


    What research can contribute

    What research can contribute

    To safer patient care

    • Is there a link between culture and safety performance?

    • Can you predict safety performance using culture assessment?

    • Theory explaining any causal pathways

    • What changes which aspects of culture in which situations?


    Uk sweden senior leaders views

    UK-Sweden senior leaders views


    Swedish experience so far

    Swedish experience so far

    Pilot:

    • One hospital 100 questionnaires in 10 departments (10 staff at each unit). (acute care, primary healthcare, psychiatrics and geriatrics)

    • Interviews with 20

    • Longer than IHI, but easier to fill-in

      Main study: AHRQ apprx 2000 administered – currently analysing

    • Large variations

    • Similarities and differences to AHRQ averages possibly signficant

      - preliminary findings – next slides

    • contact [email protected]


    Svarsfrekvenser

    H2. BEFATTNING, SAMMANSLAGNA GRUPPER

    403

    SJUKSKÖTERSKA

    351

    USK/SKÖTARE

    188

    LÄKARE

    166

    PARAMEDICIN

    120

    ADMINISTRATÖR

    114

    CHEF

    38

    BIO MEDICIN

    8

    TEKNIKER

    89

    ANNAN

    46

    EJ IFYLLD

    0

    50

    100

    150

    200

    250

    300

    350

    400

    450

    Svarsfrekvenser


    Biggest difference to usa

    100

    88

    70

    75

    50

    38

    36

    25

    16

    0

    Snittvärde

    Medianvärde

    Högsta

    Lägsta

    AHRQ snitt

    2007

    BIGGEST DIFFERENCE TO USA

    Senior management

    I12 Högsta ledningens stöd till patientsäkerhetsarbete

    • Sjukhusledningen eller motsvarande har skapat ett arbetsklimat som främjar patientsäkerheten

    • Sjukhusledningens eller motsvarandes agerande visar att patientsäkerheten har högsta prioritet

    • Sjukhusledningen eller motsvarande vekar endast intressera sig för patientsäkerheten när en negativ händelse har inträffat


    I1 ben genhet att rapportera h ndelser

    100

    83

    75

    60

    45

    50

    43

    23

    25

    0

    Snittvärde

    Medianvärde

    Högsta

    Lägsta

    AHRQ snitt

    2007

    I1 Benägenhet att rapportera händelser

    Reporting (AHRQ section D)

    • När ett misstag inträffar och rättas till innan det påverkar patienten, hur ofta rapporteras det?

    • När ett misstag inträffar som inte kan skada patienten, hur ofta rapporteras det?

    • När ett misstag inträffat som skulle kunnat skada patienten, men inte gjorde det, hur ofta rapporteras det?

    Average; median highest lowest AHRQ ave


    I6 l randeorganisation

    100

    88

    70

    75

    54

    55

    50

    20

    25

    0

    Snittvärde

    Medianvärde

    Högsta

    Lägsta

    AHRQ snitt

    2007

    I6 Lärandeorganisation

    Learning organisation

    • Vi arbetar aktivt för att förbättra patientsäkerheten

    • Misstag har lett till positiva förändringar här

    • När vi har infört förändringar för att förbättra patientsäkerheten utvärderar vi deras effektivitet


    Biggest variation between swedish hospitals i3 sj lvskattad patients kerhetsniv

    100

    100

    72

    75

    66

    61

    50

    25

    18

    0

    Snittvärde

    Medianvärde

    Högsta

    Lägsta

    AHRQ snitt

    2007

    BIGGEST VARIATION BETWEEN SWEDISH HOSPITALSI3 Självskattad patientsäkerhetsnivå

    • Gör en generell bedömning av patientsäkerheten på din vårdenhet.

    General view of how safe patients are in your service area


    I2 sammantagen s kerhetsmedvetenhet

    100

    96

    75

    66

    65

    64

    50

    33

    25

    0

    Snittvärde

    Medianvärde

    Högsta

    Lägsta

    AHRQ snitt

    2007

    I2 Sammantagen säkerhetsmedvetenhet

    Overall safety situation (e.g.)

    We have patient safety problems in this unit

    • Vi gör aldrig avkall på patientsäkerheten för att hinna mer

    • Våra rutiner och system är bra på att förhindra att fel inträffar

    • Det är ren tur att inga allvarligare misstag sker här

    • Vi har problem med patientsäkerheten inom den här vårdenheten


    I5 min n rmaste chefs agerande kring patients kerhet

    100

    91

    75

    75

    64

    62

    50

    38

    25

    0

    Snittvärde

    Medianvärde

    Högsta

    Lägsta

    AHRQ snitt

    2007

    I5 Min närmaste chefs agerande kring patientsäkerhet

    My supervisor

    • Min närmaste chef ger beröm när han eller hon ser att en uppgift utförs i enlighet med fastställda patientsäkerhetsrutiner

    • Min närmaste chef beaktar på allvar personalens förslag till förbättringar av patientsäkerheten

    • När arbetsbelastningen ökar vill min närmaste chef att vi ökar tempot, även om det innebär att vi måste ta genvägar

    • Min närmaste chef låtsas inte om de patientsäkerhetsproblem som uppträder om och om igen


    I7 samarbete inom v rdenheten

    100

    97

    79

    79

    76

    75

    50

    25

    17

    0

    Snittvärde

    Medianvärde

    Högsta

    Lägsta

    AHRQ snitt

    2007

    I7 Samarbete inom vårdenheten

    • På vår vårdenhet stöttar personalen varandra

    • När det är mycket arbete som måste utföras snabbt arbetar vi tillsammans som team för att få arbetet avklarat

    • Inom den här vårdenheten behandlar personalen varandra med respekt

    • När det blir hektiskt för någon del inom vårdenheten, kommer vi andra och hjälper till

    Cooperation


    Norway stavanger studies

    Norway: Stavanger studies

    • 400 bed hospital, 10 departments

    • 1919 questionnaires returned (55% rr)

    • Investigate fit of proposed factor structure using Confirmatory factor analysis (CFA)

    • Internal consistency of dimensions: Cronbach’s alpha

    • Discriminant validity: intercorrelation among concepts and MANOVA


    John vretveit

    • Concurrent validity: degree to which dimensions influenced outcome variables included in HSOPSC


    Stavanger studies findings

    Stavanger studies: Findings

    • Factor analyses: factorial model fitted the data well.

    • poor internal consistency - “Organizational learning—continuous improvement”, - improved when “mistakes have led to positive changes here” removed

    • Surprise: safety culture dimension exerted several negative influences on “Number of events reported (last 12 months)”, - suggests this outcome variable is invalid.


    Stavanger studies findings1

    Stavanger studies: Findings

    • Can be used in Norwegian hospital settings.

    • Psychometric properties satisfactory

    • “Number of events reported” is not a good outcome measure.

      Research challenges:

    • Getting high/unbiased survey response rate

    • Using correct statistical methods to avoid Type I and Type II errors.

      Ref: Olsen in:Øvretveit, J Sousa, P (2008) Quality and Safety Improvement Research, Portugal School of Public Health Publisher: Lisbon.


    Denmark copenhagen hospitals study n 10k

    Denmark: Copenhagen hospitals study (n=10k)

    • .


    Denmark copenhagen hospitals study

    Denmark: Copenhagen hospitals study

    • .


    Denmark copenhagen hospitals study1

    Denmark: Copenhagen hospitals study

    • .


    Conclusions copenhagen hospitals study

    Conclusions: Copenhagen hospitals study

    • .


    Denmark copenhagen hospitals study2

    Denmark: Copenhagen hospitals study

    • Comparisons with similar regions in DK & comparison over time in a repeat survey in 2 years

    • Comparing with data from clinical databases and surveys of

      patient satisfaction.

    • Results given to department managers –required to report their follow-up.

    • Provided: tools and ideas how to react on problem areas.

    • Results contribute to the Region’s patient safety

      action plan & used in leadership development.

      Acknowledgements to: Marlene Madsen Dansk [email protected] Institut for Medicinsk Simulation, Amtssygehuset i Herlev


    Norway akershus sexton saq 2006 study

    Norway: Akershus Sexton (SAQ 2006) study

    • .


    John vretveit

    • Norway: Akershus Sexton (SAQ 2006) study

    • Six patient safety dimensions

    • Teamwork Climate

    • Safety Climate

    • Stress Recognition

    • Working Conditions

    • Job Satisfaction

    • Perceptions of Management

      • (Hospital Mgmt and Unit Mgmt)


    John vretveit

    Safety climate by ward/outpatient unit

    % units reporting “good patient safety climate”

    % som rapporterer bra sikkerhetsklima


    John vretveit

    Acceptability

    - Relatively high response rate

    - Relatively quickly answered (but not as quickly as promised)

    - Not obviously threatening (but some units did decline to participate)

    Met with interest (by nurses, not by all doctors)

    Discriminatory ability

    Good - Variation across professions, departments, wards


    John vretveit

    • Validity of safety atttitudes scores?

    • Reasonable confirmation of factor structure

    • But can it be improved?

    • By reformulating translated questions?

    • By re-reversing the three reversed questions?

    • By emphasizing: your general evaluation (not just ”this morning”)

    • 2) Employees recognized their own ward/department

    • 3) Quality department recognized ”safer” wards/departments

    • 4) Department SAQ-averages correlated with number of errors discovered by ”Trigger Tool”-revision of patient records

    • 5) Department SAQ-scores correlate with (same time) average patient response to questions on

    • suspected treatment errors and

    • poor organization of hospital work


    I8 ppenhet i kommunikationen

    100

    93

    73

    72

    75

    62

    51

    50

    25

    0

    Snittvärde

    Medianvärde

    Högsta

    Lägsta

    AHRQ snitt

    2007

    I8 Öppenhet i kommunikationen

    • Personalen säger, utan att tveka ifrån, om de ser något som kan påverka vården av patienterna negativt

    • När de med högre status/ställning tar beslut eller utför handlingar vågar personalen ifrågasätta

    • Personalen är rädd för att ställa frågor när något inte verkar stå rätt till


    I9 terf ring och kommunikation kring avvikelser

    100

    100

    69

    75

    68

    62

    50

    42

    25

    0

    Snittvärde

    Medianvärde

    Högsta

    Lägsta

    AHRQ snitt

    2007

    I9 Återföring och kommunikation kring avvikelser

    • Vi får återkoppling om de förändringar som genomförs baserade på avvikelserapporter

    • Vi informeras om de misstag som görs inom vår vårdenhet

    • På den här vårdenheten diskuterar vi hur vi ska undvika att fel inträffar igen


    I10 en icke straff och skuldbel ggande kultur

    100

    88

    75

    62

    61

    44

    50

    20

    25

    0

    Snittvärde

    Medianvärde

    Högsta

    Lägsta

    AHRQ snitt

    2007

    I10 En icke straff- och skuldbeläggande kultur

    • Personalen upplever att deras misstag läggs dem till last

    • När en avvikelse rapporteras känns det som att det är personen som utpekas istället för problemet

    • Personalen oroar sig för att de misstag de gjort sparas i personalakten


    I11 arbetsbelastning och personalt thet

    100

    79

    75

    55

    51

    50

    50

    21

    25

    0

    Snittvärde

    Medianvärde

    Högsta

    Lägsta

    AHRQ snitt

    2007

    I11 Arbetsbelastning och personaltäthet

    • Vi har tillräckligt med personal för att klara arbetsbelastningen

    • Personalens arbetspass (planerad + eventuell övertid) på den här vårdenheten är längre än vad som är bra för vården av patienterna

    • Vi använder personal från bemanningsföretag/tillfällig personal mer än vad som är bra för vården av patienterna

    • Vi arbetar under mycket hård press och försöker utföra alltför mycket, alltför snabbt


    I13 samarbete mellan v rdenheterna

    100

    75

    67

    57

    49

    47

    50

    27

    25

    0

    Snittvärde

    Medianvärde

    Högsta

    Lägsta

    AHRQ snitt

    2007

    I13 Samarbete mellan vårdenheterna

    Coordination

    • Det råder ett gott samarbete mellan de vårdenheter som behöver arbeta tillsammans

    • Vårdenheterna samarbetar bra för att ge patienterna den bästa vården

    • Vårdenheterna inom sjukhuset eller motsvarande kan inte samverka på ett bra sätt

    • Det är ofta otryggt att arbeta tillsammans med personal från andra vårdenheter


    I14 verl mningar och verf ringar av patienter och information

    100

    72

    75

    49

    48

    48

    50

    22

    25

    0

    Snittvärde

    Medianvärde

    Högsta

    Lägsta

    AHRQ snitt

    2007

     I14 Överlämningar och överföringar av patienter och information

    Coordination

    • Skiftbyten är problematiska för patienterna på den här vårdenheten

    • Viktig information om vården av patienterna går ofta förlorad mellan arbetspass/skiftbyten t.ex. mellan kväll/natt

    • Problem uppstår ofta vid informationsutbytet mellan vårdenheter

    • Saker och ting "faller mellan stolarna" då patienter överförs från en vårdenhet till en annan


  • Login