เครื่องชี้วัดเพื่อการพัฒนา

1. เครื่องชี้วัดเพื่อการพัฒนาเครื่องชี้วัดเพื่อการพัฒนา นพ.อนุวัฒน์ ศุภชุติกุล สถาบันพัฒนาและรับรองคุณภาพโรงพยาบาล

2. ประเด็นที่จะนำเสนอ • แนวคิดเรื่องการวัด • การวัดที่สมดุล • เครื่องชี้วัดทางคลินิก • ตัวอย่างเครื่องชี้วัดที่จัดทำโดยองค์กรในต่างประเทศ • หน่วยงานมากำหนดมาตรฐานร่วมกัน • วิชาชีพจัดทำโดยอิงกับเวชปฏิบัติที่ดี • การวัดสิ่งที่สัมผัสได้ยาก: ทุนทางปัญญา/บุคคล

3. 1.Measures Meaning & Purpose

4. Measures & Indicators • Numerical information that quantifies input, output, and performance dimension of processes, products, services, and the overall organization • Not necessary to make distinction between measures & indicators • Some users prefer ‘indicator’ when • Relate to but not a direct measure of such performance • Use with a predictor of some more significant performance Measures คือตัวเลขที่ระบุปริมาณ input, output และผลดำเนินงานในมิติต่างๆ Measures และ Indicators สามารถใช้ทดแทนกันได้ บางคนสงวน Indicator ไว้ใช้กับสิ่งที่ไม่ใช่ตัววัดผลดำเนินงานที่ต้องการ MBNQA 2003

5. Measures & Metrics • A Quality Measure: • a mechanism that enables the user to quantify the quality of a selected aspect of care by comparing it to a criterion • Metrics: • quantitative number to measure performance การวัดคุณภาพ (Quality Measure) คือกลไกที่จะช่วยให้วัดปริมาณคุณภาพ ในแง่มุมต่างๆ โดยเปรียบเทียบกับเกณฑ์ Metrics เป็นตัวเลขปริมาณที่ใช้วัดผลดำเนินงาน

6. Performance Assessment • Measure what is done and how well • valid, data-driven mechanisms generate a continuous stream of performance information • Better results can be achieved through focused improvement actions. • Used internally to support performance improvement • Usedexternally to demonstrate accountability to stakeholders.   การประเมินผลดำเนินงานคือการวัดด้วยข้อมูลที่ตรงประเด็น ต่อเนื่อง ว่าได้ทำอะไร ทำดีแค่ไหน นำไปสู่การปรับปรุงในจุดที่จำเป็น ใช้ภายในเพื่อให้เกิดการปรับปรุง ใช้ภายนอกเพื่อแสดงความรับผิดชอบต่อผู้มีส่วนได้เสีย

7. Internal Use of Measures • Baseline – “Where am I starting from?” • Trending – “How is the process working?” • Control – “Is the process staying in control and within the predetermined boundaries?” • Diagnostic – “Where are the problems?” • Planning – “What can I predict and plan for the future?” เราเริ่มต้นจากที่ไหน, กระบวนการมีแนวโน้มอย่างไร, กระบวนการอยู่ในระดับที่กำหนดไว้หรือไม่, มีปัญหาอยู่ที่ไหน, อนาคตจะเป็นเท่าไร

8. Broader Use of Measures • Quality Improvement ปรับปรุงคุณภาพ • Identify problem ค้นหาปัญหา • Baseline assessment ประเมินก่อนปรับ • Monitor improvement efforts ติดตามผลการปรับปรุง • Accountability (need standardization) แสดงความรับผิดชอบ • Purchaser/consumer decision-making การตัดสินใจของผู้ซื้อ • Accreditation การรับรองคุณภาพ • External quality oversight การกำกับคุณภาพจากภายนอก • Research การวิจัย • require larger sample sizes, longer time horizons, more detailed data collection, the merging of multiple sources of data, and more complex analyses www.qualitymeasures.ahrq.gov

9. Guideline in Developing Measures • Develop measures that drive behavior • Measure real work outputs and accomplishments • Ensure usefulness and relevance • Tie a specific performance measurement to a specific position or position • Develop measurement collection tools that provide adequate warnings of negative change กำหนดตัววัดเพื่อขับเคลื่อนพฤติกรรม วัดผลลัพธ์ของงานและความสำเร็จที่เกิดขึ้น วัดให้ตรงความต้องการและใช้ประโยชน์ มีเครื่องมือเก็บข้อมูลที่ให้สัญญาณเตือน

10. 2.Balance of Measurement

11. Balanced Scorecard

12. Canada (CCHSA) • Responsivenessการสนองตอบ • Availability, Accessibility, Continuity, Equity, Timeliness • System Competency ศักยภาพของระบบ • Alignment, Appropriateness, Competency, Effectiveness, Efficiency, Legitimacy, Safety • Patient Focus การมุ่งเน้นผู้ป่วย • Communication, Confidentiality, Involvement, Respect • Work-life คุณภาพชีวิตผู้ปฏิบัติงาน • Decision-making, Learning Environment, Open Communication, Role Clarity, Well-being

13. MBNQA 2003: Healthcare Criteria • Health Care Results ผลลัพธ์ด้านสุขภาพ • Health care outcome, Health care service delivery results, patient safety, patients’ functional status • Patient- and Other Customer- Focus Results • Customer satisfaction/dissatisfaction, complaints, royalty, retention, gains and losses, positive referral • Financial & Market Results ผลลัพธ์ด้านการเงินและตลาด • Staff&Work System Results ผลลัพธ์ด้านเจ้าหน้าที่และระบบงาน • Staff satisfaction, Training, CE credit per MD/nurse, CQI project success, # cross functional team in CQI, % staff participate in CQI, Turn over rate, Lost workdays due to accident, Incident of back injury, Absenteeism

14. MBNQA 2003: Healthcare Criteria (cont) • Organizational Effectiveness Results ผลลัพธ์ด้านประสิทธิผลขององค์กร • Internal responsiveness (cycle time & turnaround time), Utilization rate, Waste reduction, Cost reduction, Innovation rate, Supply chain indicator • Governance & Social Responsibility Results ผลลัพธ์ด้านธรรมาภิบาลและความรับผิดชอบต่อสังคม • Patient safety data, Staff licensure & recredential, External audit, Proficiency testing, Utilization review, Environment & regulatory compliance, Support for key communities & community health

15. Intellectual Capitals • Human Capital ทุนทรัพยากรบุคคล • Retention of key personnel, Ability to attract talented people, IT literacy, Training expenditure, Replacement cost of key personnel, Employee satisfaction, Employee commitment • Innovative Capital ทุนนวตกรรม • R&D expenditure, % Workforce involved in innovation, Product freshness, Research leadership, New opportunity exploited • Process Capital ทุนกระบวนการ • Process documented & mapped,Use of doc. process • Customer Capital ทุนลูกค้า • Customer satisfaction, Customer retention, Complaints, Duration of customer relationship

16. Integration of Balance • Organization Effectiveness • Internal Responsiveness (cycle time & turnaround time) • Effectiveness • Efficiency (Utilization rate, Waste reduction, Cost reduction) • Supply chain indicator • Patient & Customer Perspective • Access • Outcome • Patient Experience • Process • Human Resource results • Work System • Learning & development • Work-life & Well-being • Human Capitals (Growth, Innovation, Efficiency, Stability) • Accountability & Survival/Sustainability • Governance • Social Responsibility • Financial & Market

17. 3. Clinical Indicators Clinical Performance Measures A subset of a Quality Measures

18. จุดเน้นในการพัฒนาทางคลินิก (Clinical CQI) • อะไรคือโรคที่สำคัญ (พบบ่อย, เสี่ยงสูง, ผลลัพธ์ไม่ดี, ต้องประสานกัน, ยืดเยื้อ) • อะไรคือประเด็นสำคัญในโรคดังกล่าว • จะวัดคุณภาพการดูแลโรคดังกล่าวได้อย่างไร (Clinical Indicator) • จะปรับปรุงการดูแลโรคดังกล่าวได้อย่างไร • ใช้แนวคิดองค์รวม/มุมมองของทีมสหสาขาวิชาชีพเข้ามามอง • ใช้ความรู้วิชาการเข้ามาเทียบ (Gap Analysis) • ใช้เครื่องชี้วัดเข้ามาวัด (Indicator Monitoring) • ใช้การทบทวนเหตุการณ์ไม่พึงประสงค์มากระตุ้น (Adverse Event/Root Cause Analysis)

19. Clinical Performance Measures • A mechanism for • assessing the degree to which a provider competentlyand safely delivers clinical services that are appropriate for the patient in the optimal time period • Domain of measurement: • Access • Outcome • Patient Experience • Process กลไกประเมินว่ามีการดูแลผู้ป่วยอย่างเหมาะสม ปลอดภัย เต็มความสามารถ ในเวลาที่พอเหมาะ ขอบเขตของการวัด: การเข้าถึง, ผลลัพธ์, การรับรู้, กระบวนการ www.qualitymeasures.ahrq.gov

20. Scientific Basis for Clinical Indicator • Monitoring health care quality is impossible without the use of clinical indicators • They create the basis for quality improvement, prioritization and transparency in the health care system • It is imperative that clinical indicators are meaningful, scientifically sound, generalizable and interpretable • To achieve this, clinical indicators must be developed, tested and implemented with scientific rigor การติดตามคุณภาพบริการสุขภาพต้องใช้ clinical indicator ซึ่งจะต้องมีความหมาย มีพื้นฐานทางวิทยาศาสตร์ ขยายผลได้ แปลผลได้ จะต้องจัดทำ ทดสอบ และดำเนินการอย่างเป็นวิทยาศาสตร์ Jan Mainz,ISQua 2002

21. Attributes & Selection Criteriafor Clinical Indicators • Clinical Importance (มีความสำคัญทางคลินิก) • Burden (high volume/risk/cost, problem prone) • Valid (actually measure quality of care) • Usefulness (relevance to clinical practice) • Data Issues (มั่นใจในข้อมูลและการเก็บ) • Definable • Accessible • Reliable (reproducible with different observer) • Identifiable (numerator & denominator) • Meaningful (allow appropriate stat. analysis) • Responsiveness (วัดแล้วเกิดการปรับปรุง) • Potential to improve Victoria: Acute Health Clinical Indicator Project, 1999

22. Desirable Attribute of Measures • Importanceวัดสิ่งที่สำคัญ • Relevance (financially, strategically) • Health importance (high prevalence/incidence, burden) • Potential for improvement (be a problem) • Susceptibility/feasible improvement • Scientific soundness มีวิชาการรองรับ • Clinical Logic (explicit & strength of evidence) • Measure Properties (reliability, validity, allow stratification, understandable) • Feasibility วัดได้ไม่ยาก • Explicit specification (numerator and denominator) • Data availability (available, accessible, timely, justified cost) www.qualitymeasures.ahrq.gov

23. Costs of Data Collection Costs of abstracting and collecting data are justified by the potential for improvement in care. พิจารณาความคุ้มค่าที่ต้องลงทุนลงแรงเก็บข้อมูลเทียบกับโอกาสที่จะใช้ในการปรับปรุงบริการ www.qualitymeasures.ahrq.gov

24. Dimension of Care Victorian Government 2002

25. Quality of Patient Care • Improved data statistics • Compliance with Standards of Care and Practice • Beginning of transition from “process” to “clinical outcomes”

26. Indicator: Process or Outcome? • A good process increases the likelihood of a good outcome • The process of care do not signify quality until their relationship to desirable outcomes have been established • It is necessary to have established a relationship between a particular process and outcome • The scientific literature can establish the linkage between process and outcome • Clinical indicators should be evidence based to confirm this linkage กระบวนการที่ดีมีโอกาสก่อให้เกิดผลลัพธ์ที่ดี เครื่องชี้วัดทางคลินิกที่จะยืนยันความสัมพันธ์นี้ต้องมีข้อมูลวิชาการยืนยัน Jan Mainz,ISQua 2002

27. Process Indicators Are Useful When: • The goal is improving delivery of care • Explaining why specific providers achieve particular outcomes • Short time frames are necessary • The processes of interest affect long-term outcomes • Performance of low volume providers is of interest • Tools to adjust or stratify compared in a competitive/coercive situation เป้าหมายคือการปรับปรุงบริการ, อธิบายเหตุผลที่เกิดผลลัพธ์ดี, เวลาน้อย, ต้องใช้เวลานานกว่าจะเห็นผล, สนใจผลงานของผู้ให้บริการที่มีงานน้อย, ใช้ปรับหรือจัดชั้นในสถานการณ์ที่แข่งขัน/บังคับ Palmer, Int J Quality Healthcare, 1998

28. Outcome Indicators Are Useful When: • Areas for quality improvement should be identified • If specific processes are known to yield specific gains in outcomes • Long time frames are possible • Performance of whole systems should be studied • High volume cases are available ต้องการค้นหาประเด็นที่จะปรับปรุง, รู้อยู่ว่ากระบวนการนั้นให้ผลลัพธ์ที่ดี, มีเวลานานพอที่จะรอผล, ต้องการวัดผลงานของทั้งระบบ, มีจำนวนผู้ป่วยมาก Palmer, Int J Quality Healthcare, 1998

29. Outcome Indicators • Intermediate • HbA1C for diabetics • Lipid profile for patients with hypertipidemia • Blood pressure for hypertensive patients • End result (should be specified for diseases) • Mortality • Morbidity • Functional status • Health status measurement • Work status • Quality of life • Patient satisfaction Craniotomy mortality rate DHF mortality rate Maternal mortality rate Neonatal mortality rate Acute MI mortality rate Esophageal resection mortality rate Palmer, Int J Quality Healthcare, 1998

30. Risk Adjusted ผู้ป่วยอุบัติเหตุ: อัตราตายตามระดับความรุนแรง Outcome = Patient Illness Treatment Organization + + + • Demographic factors • (age, sex, height) • Lifestyle factors • (smoking, alcohol, weight, diet, physical exercise) • Psychosocial factors (social status, education) • Compliance · • Use of clinical guidelines • Cooperation • Delay • The illness • Severity, prognosis • Comorbidity • • Competence • Technical equipment • Evidence based clinical practice • Efficacy, accuracy

31. Naming Measures: Access Access topic/clinical service topic/clinical specialty Clinical appointment waiting time: Average time in days between between the scheduling date and the appointment date Metric Description of the clinical service provided or the access issue of outcome www.qualitymeasures.ahrq.gov

32. Naming Measures: Outcome AMI: %of IP death Disease/condition Metric Description of Outcome ClinicalTopic Tobacco Cessation: %of patients currently not using tobacco (Primary Care Cohort) www.qualitymeasures.ahrq.gov

33. Naming Measures: Patient Experience Disease/Condition or Clinical Topic Well-child care: mean score on helpfulness and effectiveness of all information received from health providers Patient Experience Topic Metric Treatment/Intervention Communication and experience of care: mean score on seven items asking about helpfulness of office staff, overall rating of care and whether doctor/other providers listen carefully, explain things clearly, respect you, spend enough time. www.qualitymeasures.ahrq.gov

34. Naming Measures: Process Major depressive disorder: %of patients screened for depression Disease/condition Metric ClinicalTopic Treatment/intervention Tobacco Cessation: %of patients Screened annually for use of tobacco www.qualitymeasures.ahrq.gov

35. AHRQ Quality IndicatorInpatient Quality Indicator

36. AHRQ Quality IndicatorPatient Safety Indicator

37. AHRQ Quality IndicatorPatient Safety Indicator

40. Problems with Some Outcome Indicators • Mortality rate • Overall nosocomial infection rate • Medication error rate • Unplanned readmission rate • LOS

41. 4.Standardization of Measurement The National Quality Forum (NQF) www.qualityforum.org

42. Need for Standardization • Need for measuring & reporting the quality of hospital care • Problems of measurement & reporting • Redundancy, inconsistency, inefficiency of efforts, confusion about the data • Burden of measurement & reporting • NQF • Facilitate healthcare quality improvement by endorsing national healthcare quality performance measurement & reporting system • Consensus Development Process for standardization of measurement to allow valid comparisons www.qualityforum.org

43. NQF Voluntary Standards for Performance Measurement 2003Acute Coronary Syndrome NQF 2003

44. NQF Voluntary Standards for Performance Measurement 2003 NQF 2003

45. NQF Voluntary Standards for Performance Measurement 2003 NQF 2003

46. 5.Clinical Performance MeasuresTools Developed by Physicians For Physicians Physician Consortium for Performance Improvement www.ama-assn.org/go/quality

47. Clinical Performance Measures:Asthma • % asthma patients (5-40 yrs) who were evaluated during at least one office visit during the reporting year for the frequency (numeric) of daytime and nocturnal asthma symptoms • Signs and symptoms (daytime, nocturnal awakening), Pulmonary function, Quality of life/functional status, History of exacerbations, Pharmacotherapy, Patient-provider communication and patient satisfaction • % asthma patients (5-40 yrs) with persistent asthma who were prescribed either the preferred long-term control medication (inhaled corticosteroid) or an acceptable alternative treatment Preferred treatment • Mild persistent : Low-dose inhaled corticosteroids (ICS) • Moderate persistent: Low-medium dose ICS + long-acting inhaled beta2-agonists (LABA) • Severe persistent: High-dose ICS + LABA AND, if needed, corticosteroid tablets or syrup long term

50. Clinical Performance Measures:Preventive Care & Screening • % patients (>=18 yrs) who were queried about tobacco use one or more times during the 2-year measurement period • % patients (>=18 yrs) identified as tobacco users who received cessation intervention during the 2-year measurement period • % patients (>=18 yrs) who were queried about and screened for problem drinking during the 2-year measurement period • % patients (>=50 years) screened for colorectal cancer during the 1-year measurement period • Fecal occult blood testing (FOBT) annually • Flexible sigmoidoscopy every 5 years • % female patients (50-69 yrs) who had a mammogram performed during the 2-year measurement period