Critical appraisal

1. Critical appraisal 張祐泟 100-2-25

2. EBM 五大步驟 • Asking answerable question • Finding the best evidence • Appraising the evidence • Making a decision • Evaluating your performance

3. 在評讀之前須先瞭解各種研究是屬何種設計方式，研究方法介紹在評讀之前須先瞭解各種研究是屬何種設計方式，研究方法介紹 • 醫學統計學介紹 • 評讀方法和工具 • 如何應用

4. 所有研究 描述性研究 分析性研究 橫切調查 質性研究 介入性試驗 觀察性分析 隨機對照試驗 世代研究 交叉設計 橫切研究 病例對照研究

5. 簡介幾種常用的研究設計 系統性回顧 • 隨機對照試驗 • 交叉設計 • 世代研究 • 病例對照研究 • 橫切研究

6. 系統性回顧 系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究 試驗A 試驗B 試驗C 試驗D 整合分析

7. 系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究 系統性回顧 (Systematic review) • 集合多個目的和方法十分相近的研究報告整合在一起進行分析 • 若有將各研究的結果合併進行統計則稱為 meta-analysis(後設分析)

8. 隨機對照試驗 (Ramdomized Control Studies) 系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究 追蹤及分析治療結果 隨機分組 病人族群 治療組 對照組

9. 系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究 隨機對照試驗 • 研究對象：某種疾病的患者或具備某種特徵的人 • 研究內容： • 以隨機方式將受試者分為治療組及控制組 • 前者接受試驗性的治療，後者接受傳統治療或安慰劑（外表如試驗藥物但實際不含活性藥物） • 比較兩組受試者的狀況而了解試驗藥物的療效及安全性 • 首選領域：探討某種處置或藥物之效益

10. 系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究 隨機對照試驗 Advantages: • 無偏誤地均攤干擾因素 • 較能作盲性試驗 • 隨機分配有利於統計分析 Disadvantages: • 耗費時間和金錢 • 志願者的偏差 • 時有倫理問題

11. 交叉設計 (Crossover Design) 系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究 追蹤及比較兩種用藥的結果 隨機分組 交換用藥 病人族群 治療用藥 對照用藥

12. 系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究 交叉設計 • 研究對象：某種疾病的患者或具備某種特徵的人 • 研究內容： • 受試者會先後接受試驗治療及控制治療 • 受試者被隨機分配先接受其中一種治療，在經過交叉點後便接受另一種治療 • 評估指標為比較受試者在接受兩種不同治療時所發生的效應 • 設計限制：類試驗僅限於相關治療之效力屬可逆性者

13. 系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究 交叉設計 Advantages: • 因所有受試者均與自己比較，減少誤差而所需受試者人數可以較少 • 所有受試者均有接受治療（起碼有一段時間） • 統計方法可比照隨機分配試驗者 • 試驗盲性可以維持 Disadvantages: • 所有受試者在某一段時間會接受安慰劑或非試驗性的治療 • 廓清期（washout period）或許很長或尚不清楚 • 不能用於具永久效應的治療

14. 世代研究 (Cohort Study) 系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究 探討危險因子的角色 長期追蹤 具危險因子者 無危險因子者 發病者

15. 系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究 世代研究 • 研究對象：從資料庫中找出曾經曝露及沒有曝露於研究標科技或因素的兩個族群 • 研究內容：研究者不涉入任何處置，僅作追蹤以了解兩個族群的結果及預後 • 首選領域：探討某預期風險因素對預後影響

16. 系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究 世代研究 Advantages: • 較無倫理的顧慮 • 可對兩組受試者的條件作配對 • 可建立timing and directionality of events • 納入條件及結果評估能標準化 • 較RCT在行政上較為簡易及便宜 Disadvantages: • 對照組可能不易識別 • 可能潛藏著干擾因素 • 難以保持盲性 • 欠缺隨機分組 • 研究罕見疾病時仍需頗大的個案數目或長久的追蹤時間

17. 病例對照研究(Case-Control Studies) 系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究 探討危險因子的角色 回顧及分析病史 患有某病者 未患該病者 具危險因素者

18. 系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究 病例對照研究 • 研究對象：某種疾病的疾患（研究組）與未罹病的人（對照組） • 研究內容：比較兩組曾經曝露於某些推測的危險因子之狀況，進而了解該等因子與疾病的關係

19. 系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究 病例對照研究 Advantages: • 快速及便宜 • 對罕見疾病或曝露效應需很長期的追蹤等情況唯一較實際可行的方法 • 較一般橫斷研究需要較少的受試者. Disadvantages: • 依賴回憶或紀錄來判斷曝露情形 • 存有許多干擾因素 • 對照組的選擇不易 • 潛在偏誤：回憶、取樣

20. 橫切研究 (Cross-Sectional Survey) 系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究 分析特定族群中各種異常與族群特色之相關 某一時間點 檢查某些項目 特定族群 具一項或多項危險因素、罹病或檢查異常者

21. 系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究 橫切研究 • 研究對象：某一時間點中之特定族群 • 研究內容：檢視該族群中疾病與欲探討變項間的關係 • 首選領域：探討疾病盛行率、診斷檢測方法的精確度

22. 系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究系統性回顧隨機對照試驗交叉設計世代研究病例對照研究橫切研究 橫切研究 Advantages: • 便宜及簡單 • 倫理上安全 Disadvantages: • 只了解是否相關，但無法確立因果關係 • 回憶易生偏誤 • 干擾因素分配可能不均勻 • bias • 組別大小可能會不對等

23. 嚴格評讀證據(for therapy) • 研究方法的探討: Validity (Reliability) 效度/信度 Can we believe it ? • 研究結果的分析: Importance (Impact) 重要性 We believe it ! But does it matter? • 如何在臨床運用: Practice (Applicability) 臨床適用性 If we believe it ‐ does it apply to our patients?

24. 依問題性質選最佳的研究方法 • Different study design has different level of evidence, the best quality study design for each question: • Frequency ‐ Prevalence (case control), Incidence (cohort) • Etiology / Harm ‐ cohort • Diagnosis – case control • Prognosis ‐ cohort • Treatment / Intervention ‐ RCT

25. 解答不同類型臨床問題之最佳研究設計

30. 探討醫學統計學 • 假設檢定的核心是推論H0 • 當H0是真實的，拒絕H0就是錯誤的；不拒絕H0則是正確的 • 當H0是不真實的，拒絕H0就是正確的；不拒絕H0則是錯誤的

31. 檢定水準 α: 拒絕H0時的最大允許誤差， α是拒絕了實際上成立的H0的概率 • 習慣上常用的檢定水準為 α= 0.05 • 若P ≦ α 則拒絕H0 ，接受H1，可以認為樣本與群體的差別不僅僅是抽樣誤差造成的，可能存在本質上的差別，屬顯著差別 • P質的大小代表了多大的誤差拒絕H0 • P質越小，風險越小

33. H0 H1

34. I 型錯誤概率用α表示 • II 型錯誤概率用β表示 • Power of a test: 1- β

35. 醫學研究的目的之一即對未知的群體參數進行估計醫學研究的目的之一即對未知的群體參數進行估計 • 點估計 (point estimation): 是直接用樣本統計量作為對應的群體參數的估計值 • 例如: 2011年對大台南市7歲男童的身高作調查，真正母群體的平均身高及身高分佈不易獲取，隨機抽取120名測得平均身高為123.62 cm, 標準差 s= 4.75 cm，這就是點估計

36. 區間估計是按一定的概率或可信度 (1-α) 用一個區間估計母群體參數所在範圍，這個範圍稱作可信度為 (1- α) 的信賴區間 (confidence interval, CI) • 例如取α= 0.05, 從一母群體中重複抽取100個樣本，理論上有95個包含群體均數，有5個不包含群體均數

40. Diagnostic test disease non-disease positive A B negative C D • Sensitivity: A/A+C • Specificity: D/B+D • Positive predictive value(PPV): A/A+B • Negative predictive value(NPV): D/C+D

41. In therapy study • Relative risk (RR) : Odd ratio • Relative risk reduction (RRR) • Absolute risk reduction (ARR) • Number needed to treat (NNT): 1/ARR

42. Relative risk(相對風險)/ Risk ratio (風險比) • 用A藥治療一疾病 100 人就有一個會產生副作用, Relative risk: 1/100= 0.01 • 用B藥治療一疾病 50 人就有一個會產生副作用, Relative risk: 1/50= 0.02 • B藥相較於A藥的 risk ratio= 0.02/0.01= 2

43. Odds (勝算) / Odds ratio (勝算比) • Odds (勝算): 事件發生次數除以事件無發生次數 • 用A藥治療一疾病,100 人就有一個會產生副作用, 產生副作用的odds (勝算)= 1:99=1/99= 0.0101

44. 什麼是odds ratio( 勝算比): • Odds ratio: 病人組中對某危險因子暴露的勝算除以對照組的勝算 • 舉例: 兩勝算相比。如罹患A疾病機率是 0.5 ，罹患B疾病機率是 0.2; • 以勝算來比較, 則罹患A疾為 1(=0.5/0.5) • 罹患B疾為1/4 (=0.2/0.8) • 罹患A疾和罹患B疾的勝算比(odds ratio), 即: 1比 ¼ 為 4。 • 勝算比為1表示兩組的風險是沒有差別的

45. Effect of Therapy (治療效果） 實驗組事件發生率(EER) = 300 / (300+700) = 30% 對照組事件發生率(CER) = 800 / (800+200) = 80% 風險比(Risk Ratio, RR) = EER / CER = 0.3 / 0.8 = 0.375 絕對危險性降低度(ARR) = CER – EER = 80% - 30% = 50% 相對風險性降低度(RRR) = CER – EER / CER = (80% - 30%) / 80% = 62.5% EER: Experimental event rate CER: Control event rate ARR: Absolute risk reduction RRR: Relative risk reduction

46. Number Needed to Treat (NNT)“益一需治數＂ “益一需治數”：為了預防一個不良結果 或減少一人死亡所需治療的病人數 例如：治療五人可減少一人死亡　VS　治療兩千人可減少一人死亡 NNT = 1 / ARR or 100 / ARR (%)

47. How large was the treatment effect 治療效果有多大？ 某一研究追蹤二年，對照組死亡率15%，治療組死亡率10%， 結果的呈現方式有：

48. Critically Appraising the Evidence (VIP) • Critically appraising the evidence for its (VIP) • Validity (closeness to the truth) • 1. Was the assignment of patients to treatment randomized? • 2. Was follow-up of patients sufficiently long and complete? (> 80%) • 3. Were all patients analyzed in the groups to which they were randomized? (ITT, Intension To Treat analysis) • 4. Were patients and clinicians kept blind to treatment? • 5. Were groups treated equally, apart from the experimental therapy? • 6. Were the groups similar at the start of the trial? • Validity: selection bias, information bias, confounding • Reliability of measurement: intraobserver, interobserver, internal consistency • SD, variance, 95% CI (confidence interval), p value • Impact (size of the effect): • NNT (number needed to treat) = 1/ARR (absolute risk reduction) • NNH (number needed to harm) = 1/ARI (absolute risk increase) • Applicability (usefulness in our clinical practice) • Integratingthe evidence with our clinical expertise and patients’ values and preferences.

49. The RAMMbo* acronym: assessing study bias P • Recruitment • Allocation • Maintenance • Measurement of outcomes blind or objective P E C O T E C O T

50. Critical Appraisal Skills Programme (CASP) 10 questions to help you make sense of randomised controlled trials • How to use this appraisal tool • Three broad issues need to be considered when appraising the report of a • randomised controlled trial: • • Is the trial valid? • • What are the results? • • Will the results help locally?