Liens entre indicateurs, PEP et certification Analyse et perspectives

1. Liens entre indicateurs, PEP et certification Analyse et perspectives P. Loirat Conseiller médical du Directeur de la DAQSS JIQH 2011

2. Hypothèse • L’information donnée par les indicateurs et les PEP suffit à déterminer le niveau de certification • La procédure pourrait s’en trouver simplifiée JIQH 2011

3. Méthodes – 1Matériel • Analyse rétrospective des bases 2010, IPAQSS, certification, FINESS • EdS MCO (±SSR)certifiés avec V2010 au 1er juin 2010 devant participer au recueil d’indicateurs IPAQSS • Données colligées • IQ • Résultat de chaque IQ: • TDP, DEC, TRD, DTN, TDA, ± TDPSSSR, DECSSR, TRDSSR, DTNSSR • Valeur brute (score %) et décision (+, =, -, NA, NR) • PEP • Décisions des EV pour chacune des 13 PEP MCO et 6 PEP SSR • Pas de décision, recommandation, réserve, réserve majeure • Décisions de certification • Certification (A), Recommandation (B), Réserve (C), Sursis (D) JIQH 2011

4. Méthodes – 2Description des liens entre IQ, PEP et certification • Pour chaque établissement • Résultat des IQ exprimé sous forme de score composite (0 à 100) agrégeant les résultats des indicateurs, calculé selon la méthode Indicator Average • Nombre de PEP incomplètement satisfaites (amenant à une décision), évaluant la non-compliance aux standards. • Décision de certification • Comparaisons et corrélations à l’aide de tests non-parametriques (Spearman, Kruskaal-Wallis) JIQH 2011

5. Méthodes – 3Modélisation des décisions de certification • Pour chaque établissements prise en compte de: • Décision prise pour chaque IQ (+, =, -, NA, NR) • Décision concernant chaque PEP Pas de décision, recommandation, réserve, réserve majeure • Décision de certification Certification (A), Recommandation (B), Réserve (C), Sursis (D) • Modèle: Certification à 3 niveaux: A vs (B ou C) vs D • Méthode PLS (algorithme Nipals) et régression multinomiale • 1ère étape: équivalant à une ACP avec identification de composantes significatives • 2ème étape: régression multinomiale entre ces composantes et la décision de certification JIQH 2011

6. P < 0.0001 12 10 8 Nombre de PEP non satisfaites 6 4 2 0 Certification Recommandation Réserve Sursis Décision de certification Résultats196 établissements • Les décisions de certification sont liées au nombre de PEP non satisfaites JIQH 2011

7. Il y a aussi un lien entre le score composite et les décisions de certification; les résultats des EdS certifiés sans recommandation ni réserve laissent des opportunités d’amélioration… P < 0.0001 Score composite Certification Recommandation Réserve Sursis Décision de certification JIQH 2011

8. 100 Rho = - 0.487 P < 0.0001 Rho = - 0.482 P < 0.0001 80 Score Composite 60 40 20 0 4 8 12 Nombre de PEP non satisfaites • Le nombre de PEP non satisfaites est lié au score composite d’IQ mais les décisions de non-compliance aux PEP tiennent compte, pour une faible partie, des résultats d’IQ JIQH 2011

9. Modélisation de la certification • 81% des EdS sont correctement classés JIQH 2011

10. 80,0 9 8 7 70,0 6 Nbre PEP non satisfaites Score Composite 5 60,0 4 3 50,0 2 1 40,0 0 Abien B prédits A A prédits B Bbien C prédits B B prédits C Cbien prédits prédits prédits Score Composite Nbre PEP non-satisfaites • les résultats d’IQ et de PEP des 38 EdS mal prédits par le modèle soulèvent des questions ? JIQH 2011

11. Conclusion • À partir d’un nombre restreint de données on peut sans doute se faire une idée assez précise du niveau moyen de qualité d’un établissement • Les données d’un modèle validé pourraient alimenter un compte qualité si le degré de mise en œuvre des PEP était évalué chaque année par les établissements. • Il est probable que les divergences observées entre modèle et décisions de certification témoignent d’autres facteurs pris compte dans le processus de décision, mais l’algorithme de décision mériterait cependant d’être revu. • Le set actuel d’IQ et de PEP ne couvre en effet pas des champs importants de la qualité/sécurité, comme par exemple le management des unités de soins ou la réalité de la mise en œuvre d’une gestion des risques JIQH 2011