Discrimination

1. Discrimination Validation • Système de classification: affecte un sujet à la classe 0 ou à la classe 1 • Diagnostic: 0 = non malade; 1= malade • Pronostic: 0 = non événement (good outcome); 1= événement (poor outcome) • Problème : • Résultat observé binaire • Risque prédit: probabilité p entre 0 et 1 à laquelle on applique un seuil pour prendre la décision de classification (ex: Dg positif si p > 0.5) • Indicateurs: Sensibilité, Spécificité, Valeurs prédictives, aire sous la courbe ROC Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)

2. M+ M- PVP FP NFN VN M+: événement M-: non événement P: positifs (p > S) N: Négatifs (p < S) VP: vrais positifs FP: faux positifs VN: vrais négatifs FN: faux négatifs Seuil S négatif positif Non événement VN VP événement FN FP 0 0.5 1 Probabilité p Discrimination Validation Sensibilité = VP/ M+ Spécificité = VN / M- VPP = VP /P Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)

3. M+ M- p1> S VP FP p1 <= S FN VN M+ M- p1> S VP FP p1 <= S FN VN Seuil =0.6 Seuil = 0.4 Seuil =0.4 M+ M- p1> S VP FP p1 <= S FN VN Seuil =0.2 Seuil = 0.6 (…) C index = 0.8 C index = 0.55 Discrimination Validation • Risque = probabilité p1estimée, évaluée par rapport à un résultat observé (0 ou 1) Seuil = 0.2 1 0.8 0.6 0.4 Sensibilité 0.2 0 0 0.2 0.4 0.6 0.8 1 1- Spécificité (taux de faux positifs) Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)

4. Discrimination Validation Signification de l’aire sous la courbe ROC 1 Discrimination parfaite: C index = 1 Exemple: C index = 0.8 Pas de discrimination: C index = 0.5 0.8 0.6 0.4 Sensibilité 0.2 0 0 0.2 0.4 0.6 0.8 1 1- Spécificité (taux de faux positifs) Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)

5. Estimations p du modèle de prédiction Pour les Malades Pour les non malades 0.7 . 0.1 0.6 . 0.3 0.2 . 0.7 0.5 . 0.4 0.2 0.8 Paires concordante concordante ex-aequo concordante concordante discordante …On envisage toutes les paires possibles: Discrimination Validation Interprétation du C index Concordantes + ½ ex-aequo C index = ---------------------------------------- Toutes les paires Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)

6. Calibration Validation • Dans quelle mesure le risque prédit est-il proche du risque réel (virtuel) ? • Test de Hosmer et Lemeshow • Test de qualité de l’ajustement (« Goodness of fit  ») • Décomposition de la covariance • Histogramme des taux d’événements observés par décile de risque prédit (représentation graphique du test de qualité de l’ajustement) Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)

7. Seuil S (sur le risque prédit) Négatif Positif Moyennement discriminant Bas Moyen Elevé Risque prédit: Calibration/Discrimination Validation Bien calibré Risque « réel » 1 0 Seuil théorique = 0.5 Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)

8. Seuil S (sur le risque prédit) Négatif Positif Bien Discriminant Bas Moyen Elevé Risque prédit: Calibration/Discrimination Validation Mal calibré Risque « réel » 1 0 Seuil théorique = 0.5 Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)

9. 1 1 Mal calibré Bien calibré 0.8 0.8 0.6 0.6 Observed event rate 0.4 0.4 0.2 0.2 0 0 0 0.2 0.4 0.6 0.8 1 0 0.2 0.4 0.6 0.8 1 Predicted event rate Events 1 3 5 7 9 11 13 15 17 19 Patients 20 20 20 20 20 20 20 20 20 20 /décile 8 9 14 6 17 10 12 8 8 8 13 22 27 19 25 22 24 20 17 11 Calibration Validation Dans quelle mesure le risque prédit est-il proche du risque réel (virtuel) ? (nombre d’événements observés par décile de risque prédit) Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)

10. Predictive performance Results Santé Publique et Informatique Médicale (SPIM-Broussais-Hôtel-Dieu, Paris VI)