PT Schemes: significato, applicazione e impatto all’interno del laboratorio certificato

1. PT Schemes: significato, applicazione e impatto all’interno del laboratorio certificato Massimiliano Brugnoli LGC Standards Italia Verona, 23 ottobre 9:30-13:30 Padiglione 4 – Sala 7

2. Introduzione di LGC e LGC PT • Requisiti di uno schema e di un campione • La distribuzione • Raccolta del dato e “reporting” • Interpretazione del risultato e casi reali • Perchè un laboratorio aderisce ad un circuito • Accreditamento di LGC PT • Conclusioni

3. LGC: Laboratory of Government Chemist • Afferisce all’Istituto di Metrologia britannico • Sviluppo e validazione di metodi, standard e CRM in ambito chimico e biochimico • Privatizzato nel 1996 (70% costituito da fondi di investimento pubblici) • Accreditato presso UKAS e conforme agli standard 17025, 9001, ISO Guide 30-31-33-34-35 • Partecipa ai programmi di validazione europei (VAM, MfB) • Coopera con altri istituti di metrologia quali IRMM e BAM (ERM)

4. Aquacheck LGC Standards & PT Group • LGC Standards: divisione marketing e vendite di LGC • PT Group: divisione di LGC Standards incaricata dello sviluppo, armonizzazione e fornitura degli schemi di Verifica Esterna della Qualità (V.E.Q.) o Proficiency Testing (PT) • Più di 4.000 laboratori in 95 nazioni • Settori di applicazione: • farmaceutico, clinico-tossicologico, chimico-fisico, consumer safety • microbiologia applicata al settore Food&Beverage (Quality Management) • Ambientale (controlli chimico-fisici di acque chiare, scure e suoli), radiochimica LGC, QM and Aquacheck - promoting excellence through proficiency testing

5. PT Scheme (o V.E.Q.): requisiti di uno schema • Stabile nel tempo (è un metro di misura) • Riconosciuto a livello internazionale • Qualità: deve rappresentare un”gold standard” • Utile: deve soddifare le aspettative dei partecipanti al circuito • Il numero dei partecipanti deve essere statisticamente valido (>8) • Il fornitore deve essere accreditato secondo gli standards internazionali • E’ uno strumento di misurazione della performance della qualità all’interno del laboratorio…nel tempo ! X

6. PT Scheme: requisiti del campione • Stabile (almeno per il periodo di validità del “round”) • Omogeneo • Adatto allo scopo del laboratorio (settore di applicazione, livelli di concentrazione degli analiti) • Tracciabilità (qualora non preparato dal fornitore) • Testato adeguatamente in termini di metodo e precisione (misura della variazione sperimentale e limiti di accettabilità) • Dove possibile, deve rappresentare un campione reale (re-idratazioni, diluizioni)

7. A 1 2 B Valore assegnato 3 C 4 D 5 E PT Scheme: la distribuzione (1) • Viene preparato un unico campione primario (omogeneo e testato) • Le aliquote, con una più che sufficiente quantità per i tests, vengono distribuite ai partecipanti Tutti i risultati ricevuti vengono elaborati per stabilire la performance complessiva ed individuale

8. 17 d a y s PT Scheme: la distribuzione (2) Despatch date Fax Post E-mail Paper or Website Final test Date* Report issued Result deadline Assigned values *guideline

9. PT Scheme: la raccolta del dato • Manuale (cartaceo) • Possibilità di errori di inserimento • Time consuming • Elettronico • Client software • Spreadsheet • Internet • Velocità (3 giorni invece di 2 settimane)

10. PT Scheme: la raccolta del dato (manuale)

11. PT Scheme: la raccolta del dato (elettronica)

12. PT Scheme: il “reporting” • Report cartaceo • Non è manipolabile • Report elettronico • Client software, l’utente può personalizzare i report grafici dei risultati • PDF • Web, possibilità di personalizzare i report • IL risultato: Qualitativo / Quantitativo • Presente/Assente • Risposta tipo (ove lo schema preveda un’opinione soggettiva) • Performance score (Z-score)

13. PT Scheme: il “reporting” cartaceo (1)

14. PT Scheme: il “reporting” cartaceo (2)

15. PT Scheme: il “reporting” elettronico

16. PT Scheme: Z-score, il più utilizzato Zscore: Z = x – X s dove x = risultato del laboratorio X = valore assegnato s = deviazione standard (proficiency assessment), detta anche ESD (established standard deviation) Il valore assegnato, per definizione, è il valore individuato come “best estimate” rispetto al “true value” per ogni specifico parametro del test. Rif.: IUPAC International Harmonised Protocol (2006)

17. PT Scheme: Z-score • Considerando una normale distribuzione gaussiana: • Circa il 95% degli Z-scores sono compresi tra -2 e +2: solitamente designati come “satisfactory” o “acceptable” • I punteggi compresi tra -2 e -3 o 2 e 3 sono statisticamente attesi 1 ogni 20: solitamente designati come “questionable” • I punteggi oltre -3 e 3 sono statisticamente attesi 1 ogni 300: solitamente designati come “unsatisfactory” o “unacceptable” |z|≤2 Satisfactory 2<|z|<3 Questionable |z|≥3 Unsatisfactory

18. Diagramma di una distribuzione normale 99.75%  3  X 3 2 2 68% 95% Legenda: X = mean = standard deviation or variation around the mean  PT Scheme: l’interpretazione

19. PT Scheme: caso 1 Warning – no action at this stage

20. PT Scheme: caso 2 Action – investigation required Warning – no action at this stage

21. PT Scheme: caso 3 Action – investigation required Action – investigation required

22. PT Scheme: caso 4 Action – investigation required Warning – no action at this stage

23. Perchè il laboratorio aderisce ad un circuito E’ uno strumento utile, spesso essenziale per il raggiungimento dell’accreditamento

24. Accuratezza e Precisione molto buone Accuratezza accettabile, scarsa Precisione Scarsa Accuratezza, buona Precisione Scarse Accuratezza e Precisione Accuratezza e Precisione

25. Una volta raggiunto l’accreditamento? • Il laboratorio dispone di uno strumento unico per misurare il proprio sistema qualità nel suo complesso, confrontandosi all’interno di una “popolazione” • Il laboratorio fa riferimento a linee guida che indicano QUANDO intraprendere un’azione • Un’azione deve essere intrapresa: • ogni volta che si presenta un risultato “unsatisfactory” • un risultato “questionable” occorre 2 volte di seguito (per la stessa misura) • dopo 9 risultati consecutivi con lo stesso “bias” verso il “valore assegnato” • La causa di tali risultati deve essere investigata • Un’azione correttiva riporta quindi il laboratorio in una situazione di normalità • Nel tempo, il laboratorio migliora le proprie performance !

26. Accreditamento di LGC PT Group: una condizione essenziale • ISO 17025 (General requirements for the competence of testing & calibration laboratories) • ISO 9001:2001 (Quality Management Systems - Requirements) • ISO 43-1:1997 (Development and operation of proficiency testing schemes) • ILAC G13:2007 (Guidelines for the requirements for the competence of providers of proficiency testing schemes) • ISO13528 (Guidelines for statistics) United Kingdom Accreditation Service Unico ente di accreditamento nazionale, approvato e monitorato dal governo britannico

27. Considerazioni & Conclusioni • Il PT scheme (V.E.Q.) è uno strumento indispensabile in un sistema accreditato • I dati ottenuti dal circuito sono di grande valore (se il fornitore è accreditato) • I risultati ottenuti offrono un quadro attendibile del sistema qualità del laboratorio • Le performance “Unsatisfactory” devono essere interpretate in un contesto più ampio (nel quale il laboratorio opera) • Le cause di una performance “Unsatisfactory” possono essere molteplici • L’andamento della performance nel tempo deve essere monitorato • Tutti i risultati dovrebbero essere usati costruttivamente • Le azioni correttive devono essere intraprese in modo costruttivo e devono essere pienamente documentate • Il PT aiuta a migliorare la qualità delle proprie misurazioni

28. Minus 40!! What z-score did you get? Grazie per la Vostra cortese attenzione !