第十三章 诊断试验的评价

1. 第十三章 诊断试验的评价

2. 循证医学的重要内容 及时取舍或灵活应用新的诊断试验（试剂、药物、方法） 提高业务素质，减少患者不必要的经济开支。 为什么要学习诊断试验的评价

3. 第一节 贝叶斯定理 第二节 诊断试验中常用的评价指标 第三节 ROC曲线 目 录

4. 第一节 贝叶斯定理

5. 贝叶斯定理应用

6. 第二节 诊断试验中常用的评价指标 例13.2 表13.2 ECG诊断试验的结果 常用指标有（一）正确百分率、（二）灵敏度、（三）特异度、（四）Youden指数、（五）阳性似然比、（六）阴性似然比、（七）阳性预报值、 （八）阴性预报值。

7. 例13.2 表13.2 ECG诊断试验的结果

8. 例13.2 表13.2 ECG诊断试验的结果

9. 例13.2 表13.2 ECG诊断试验的结果

11. 优点：灵敏度与特异度不受患病率的影响，其取值范围均在（0, 1）之间，其值越接近于1，说明其诊断准确性越好。 缺点：当比较两个诊断试验时，单独使用灵敏度或特异度，可能出现矛盾。 解决办法：将两指标结合：Youden指数、阳性似然比、阴性似然比等 灵敏度与特异度的优缺点

12. 例13.2 表13.2 ECG诊断试验的结果

13. 例13.2 表13.2 ECG诊断试验的结果

14. 例13.2 表13.2 ECG诊断试验的结果

15. 医生最关心的问题：1. 试验阳性时患病的概率多大？2. 试验阴性时不患病的概率多大？

16. 例13.2 表13.2 ECG诊断试验的结果

17. 例13.2 表13.2 ECG诊断试验的结果

18. 例13.2 表13.2 ECG诊断试验的结果

19. 阳性预报值与阴性预报值

20. 第三节 ROC曲线

21. ROC【receiver(relative) operating characteristic的缩写，译为“接受者工作特征”】 ROC曲线研究历史 1950’s 雷达信号观测能力评价 1960’s中期 实验心理学、心理物理学 1970’s末与1980’s初 诊断医学 ROC的涵义与起源

22. ROC曲线评价诊断试验的重要性 诊断试验：泛指血液生化、影像学、免疫学、细胞学、病理学、统计模型等检查。 重要性： 1. 循证医学的重要组成部分 2. 诊断试验评价方法可用于： 临床试验评价 临床检验评价 流行病学筛查试验评价 实验室检验评价 统计学模型评价……

23. Test variable 灵敏度,特异度,假阴性率,假阳性率

24. 百分率（％） 100 80 60 特异度 40 灵敏度 20 0 50 60 70 80 90 100 Test variable 不同诊断界值时灵敏度与特异度间的平衡(trade off)

25. 真阳性率 即 灵敏度 机率线(chance line)(diagonal reference line) 假阳性率 即 1－特异度 完美与无用的ROC曲线

26. ROC曲线下面积（Area）与诊断准确度高低 高 0.90-1.00 = excellent (A) 中 0.80-0.90 = good (B) 0.70-0.80 = fair (C) 低 0.60-0.70 = poor (D) 0.50-0.60 = fail (F) 1.0 1.0 T 0.8 T 0.8 P P R R 0.6 0.6 0.4 0.4 0.938 0.2 0.2 A 0.830 ＝ 0.664 A ＝ A ＝ 0.0 0.0 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 FPR FPR 0.9 诊断准确度较高 （> ） <0.7 诊断准确度较低（ ）

27. 似然比（LR）在ROC曲线空间的涵义 LR＝0.7 LR＝2.3 LR＝7.5 LR＝25.0 白细胞计数诊断白血病

28. ROC曲线反映了灵敏度与特异度间的平衡 (增加灵敏度将降低特异度；增加特异度将降低灵敏度)。 在ROC曲线空间，如果曲线沿着左边线，然后沿着上边线越紧密，则试验准确度越高。 在ROC曲线空间，如果曲线沿着机会线（45度对角线）越紧密，则试验准确度越低。 在诊断界值（cutpoint）处的正切线的斜率就是该试验值对应的阳性似然比（likelihood ratio，LR)。在ROC曲线空间的左下角LR+最大，随着曲线从左下往右上方移动，LR+逐渐减小。 ROC曲线下面积是重要的试验准确度指标。 基本概念小结

29. 一、ROC曲线工作点的计算与曲线绘制 主要任务： • 计算ROC曲线工作点（Coordinate point或Operating point）（FPR, TPR） • 连接相邻两点

30. 连续型数据的ROC曲线工作点（TPR，FPR）计算 将这9个数据从大到小排列，以前8个数，分别作为诊断界值，大于等于诊断界值者判为阳性，小于该值者判为阴性。这样，可整理成8个四格表 表13－3 假想的连续型数据

32. 有序分类数据的ROC曲线工作点（TPR，FPR）计算 将诊断分类数据按大到小排序，以前4个分类作为诊断界值，大于等于诊断界值者为阳性，小于该值者为阴性。这样，可整理出4个四格表，每个四格表对应的ROC曲线的工作点见下表。 1 0 0 1 1

33. 2

34. 二、ROC曲线下面积的计算 • ROC曲线下面积 (Area) • 部分ROC曲线下的面积 • FPR为某值对应的TPR值

35. (一)Hanley 和 McNeil非参数法 ROC曲线下面积(Az)就是异常组观察值大于正常组观察值的概率 Mann-Whitney U 统计量

36. Hanley 和 McNeil法ROC曲线下面积与Mann-Whitney U检验 • 由秩和检验中的Mann-Whitney U统计量（SPSS等软件均可计算）可计算ROC曲线下面积 • 零假设H0:总体ROC面积θ＝0.5的检验等价于Mann-Whitney U检验 SPSS输出的ROC面积检验P值即为上述Z值对应的概率

37. Hanley 和 McNeil法ROC曲线下面积与梯形规则（trapezoidal rule） • Hanley 和 McNeil法ROC曲线下面积等于所有曲线下梯形（包括最左侧的三角形）面积之和

38. 1. 双正态法 2. 有序回归模型 3. 其他模型(如双Gama法、双指数法) （二）其他ROC曲线下面积计算方法

39. 三、ROC曲线下面积的假设检验

40. 单个连续型资料（实例1） 单个有序分类资料（实例2） 两个相关连续型资料（实例3） 两个相关有序分类资料（实例4） 二、ROC分析的数据类型 Test variables

41. 实例1：采用骨髓诊断作为金标准，对100例缺铁性贫血疑似患者进行确诊，患该病者为异常组(34例)，未患该病者为正常组(66例)。为了考察红细胞平均容积（MCV）诊断缺铁性贫血的效果，测得每一个体的MCV值如下：实例1：采用骨髓诊断作为金标准，对100例缺铁性贫血疑似患者进行确诊，患该病者为异常组(34例)，未患该病者为正常组(66例)。为了考察红细胞平均容积（MCV）诊断缺铁性贫血的效果，测得每一个体的MCV值如下： Test Variable State Variable

42. 实例1：MCV诊断缺铁性贫血 0.3 异 常 0.2 组 频 0.1 率 0 55 60 65 70 75 80 85 90 95 100 105 组段上限值 0.1 0.2 0.3 图4 连续性资料的两组频率分布

43. 实例1的SPSS输入格式 Test Variable＝MCV结果 State Variable ＝骨髓诊断 0＝正常组1＝异常组 Value of State Variable：1

44. SPSS的GraphsROC Curve界面 如果试验测量值越小患病的可能性越大时应改变默认的Options…

45. SPSS输出结果

46. SPSS输出结果

47. SPSS输出结果

48. SPSS输出结果

49. 1.0 T 0.8 P R 0.6 0.4 双正态 机率线 0.2 工作点 0.0 0.0 0.2 0.4 0.6 0.8 1.0 FPR MCV诊断缺铁性贫血的ROC曲线

50. 实例2：某放射医生将已知实际分类的影像，按肯定正常、可能正常、疑似异常、可能异常、肯定异常，分别分为1、2、3、4、5五类。实例2：某放射医生将已知实际分类的影像，按肯定正常、可能正常、疑似异常、可能异常、肯定异常，分别分为1、2、3、4、5五类。 Test Variable State Variable Frequency Variable