Circuiti Interlaboratorio: gestione dei risultati

Transcript

1 Circuiti Interlaboratorio: gestione dei risultati M. Patriarca, A. Menditto Convegno L ACCREDITAMENTO DEI LABORATORI PER LA SICUREZZA ALIMENTARE 1 a edizione ottobre 2005, Aula Magna ISS Viale Regina Elena, 299, Roma organizzato da SINAL ISS ORL SIT Circuiti interlaboratorio per prove valutative L organizzazione, l esecuzione e la valutazione di prove su materiali di prova identici o comparabili, da parte di due o più laboratori, in base a condizioni prestabilite, allo scopo di determinare la qualità delle misurazioni eseguite dai partecipanti. Anche detti Schemi di Proficiency Testing o Schemi di valutazione esterna di qualità 1

2 Scopo delle prove valutative Confrontare i risultati di un laboratorio con quelli ottenuti da altri (o con altri riferimenti) Fornire una verifica periodica, obiettiva, indipendente e documentata della qualità delle analisi eseguite di routine Fornire informazioni di ritorno per il miglioramento delle operazioni di laboratorio Valutare lo stato dell arte in merito alla qualità di analisi specifiche in particolari settori, nazioni o aree geografiche Linee Guida per l organizzazione e la conduzione di prove valutative IUPAC 1993 (M. Thompson and R. Wood). The International Harmonised Protocol for the Proficiency Testing of (Chemical) Analytical Laboratories. Pure Appl. Chem. 65, ISO Guide 43-1:1997 Proficiency testing by interlaboratory comparisons - Part 1: Development and operation of proficiency testing schemes ISO Guide 43-2:1997 Proficiency testing by interlaboratory comparisons - Part 2: Selection and use of proficiency testing schemes by laboratory accreditation bodies UNI CEI 70008: 1998 Criteri per le prove valutative dell efficienza dei laboratori ILAC-G13:2000 Guidelines for the requirements for the competence of providers of Proficiency Testing Schemes IFCC/EMD/C-AQ:2002 Guidelines for the requirements for the competence of EQAP organizers in medical laboratories 2

3 Nuovi documenti ISO/FDIS 13528:2005. Statistical methods for use in proficiency testing by interlaboratory comparisons M. Thompson, S.L.R. Ellison, R. Wood. The International Harmonized Protocol For The Proficiency Testing Of Analytical Chemistry Laboratories (IUPAC Technical Report) Aspetti rilevanti dei nuovi documenti Incertezza di misura dei valori assegnati ai campioni distribuiti per le prove valutative Criteri di valutazione del risultato del laboratorio che includono l incertezza di misura Criteri di valutazione del risultato del laboratorio basati sull idoneità per lo scopo previsto Uso dei risultati delle prove da parte degli utenti 3

4 Aspetti rilevanti per la gestione dei risultati di prove valutative Pianificazione delle attività Assegnazione dei valori attesi Analisi statistica dei risultati Metodi per la valutazione delle prestazioni Definizione dei criteri di accettabilità Incertezza di misura Aspetti della pianificazione relativi alla gestione dei risultati Le modalità per il trattamento dei risultati sono parte integrante del disegno dello schema e includono modalità per: stimare omogeneità e stabilità dei materiali da distribuire distribuire i materiali ai laboratori, incluse strategie per evitare l identificazione dei campioni assegnare i valori attesi ai materiali (e stimare l incertezza associata) riportare i risultati (ad es. metodo analitico, unità di misura, numero di cifre significative) l analisi statistica dei risultati dei partecipanti la valutazione dei risultati dei partecipanti 4

5 Valutazione dell omogeneità e della stabilità dei materiali Determinate su un campione statisticamente casuale ma rappresentativo di unità di un lotto di materiale La stabilità dei materiali deve essere sufficiente ad assicurare che essi non subiranno cambiamenti significativi per la durata dello schema. Le procedure di valutazione devono essere condotte secondo un disegno statistico appropriato Collusione e falsificazione dei risultati Se praticabile, il circuito deve essere organizzato in modo da ridurre al minimo le possibilità di collusione o falsificazione dei risultati. Es.: Codici identificativi diversi per lo stesso campione (quando inviato più volte) Distribuzione di campioni scelti in modo casuale da un gruppo di campioni numericamente maggiore 5

6 Determinazione dei valori assegnati (e della loro incertezza) in una prova valutativa Formulazione Valori certificati (si usa un MRC per le prove valutative) Assegnazione dei valori da parte di un laboratorio di riferimento per confronto diretto tra il materiale per la prova e un MRC Valore di consenso tra laboratori esperti Valore di consenso tra i partecipanti Incertezza dei valori assegnati in base al metodo scelto per l assegnazione Con approccio metrologico (secondo la GUM) Dalle informazioni riportate nel certificato Combinando l incertezza del MRC usato per il confronto e l incertezza della differenza osservata Combinando le incertezze riportate dai laboratori esperti per il proprio risultato In base allo scarto tipo robusto calcolato con l Algoritmo A della ISO/FDIS 13528:2005 6

7 Scelta del metodo per assegnare i valori attesi Dipende dalle caratteristiche/scopo dello schema. Deve tenere conto di: costi associati per l organizzatore e i partecipanti efficacia dello schema eventuali requisiti cogenti per la coerenza dei risultati con quelli di laboratori di riferimento o altre organizzazioni la necessità di utilizzare valori assegnati in modo indipendente per verificare lo scostamento sistematico dell intera popolazione di laboratori osservati requisiti particolari per la riferibilità a valori di riferimento specificati Analisi dei dati e registrazioni Gli strumenti utilizzati per l analisi dei dati devono essere adeguati per tutte le fasi della elaborazione (ingresso dei dati, analisi statistiche, ecc.) e devono essere in grado di fornire risultati puntuali e validi. Il fornitore deve anche avere e mantenere aggiornata la descrizione delle procedure per il trattamento dei dati. 7

8 Responsabilità, validazione e manutenzione Le funzioni e le responsabilità per il trattamento dei dati devono essere chiaramente definite Designare un responsabile per le operazioni relative al trattamento dei dati. Validazione del sistema per il trattamento dei dati e dei relativi software secondo procedure documentate prima dell utilizzo. Manutenzione regolare del software con procedure di back-up periodico e definizione di un piano per il recupero totale del sistema. Gestione dei risultati dei partecipanti Registrazione immediata dei risultati ricevuti Analisi mediante procedimenti statistici idonei e documentati. Procedure documentate per verificare la validità di: ingresso, trasferimento e analisi statistica dei dati. Conservazione delle copie cartacee dei dati trasmessi, dei file di back-up, e delle elaborazioni sotto forma di stampe e/o grafici per un periodo stabilito. Emissione del rapporto sulla prova il prima possibile dopo l esecuzione della prova Garanzia della riservatezza delle informazioni 8

9 Analisi dei dati Statistiche riassuntive sulle misurazioni e sulle prestazioni dei laboratori L effetto di risultati estremi sulle statistiche riassuntive dovrà essere ridotto mediante l uso di test per l identificazione di outlier o mediante l uso di statistiche robuste. Deve essere possibile identificare e riconoscere eventuali problemi dei materiali, per es, a causa di una sopravvenuta o non identificata disomogeneità, instabilità o contaminazione. Se i partecipanti utilizzano metodi di propria scelta, e sono disponibili le informazioni sui metodi usati, possono essere confrontati e commentati i risultati ottenuti con metodi diversi Criteri per la valutazione delle prestazioni analitiche in accordo con ISO/IEC Guide 43-1 e ISO/FDIS rango e rango normalizzato scostamento dal valore atteso (Q-score, metodo grafico) diagramma di Youden z-score z -score E n e zeta score 9

10 Campione B PbS, µg/l 3 ST Diagramma di Youden ST campione A Laboratori di riferimento: Campione A: 243 ± 15.5 Campione B: 494 ± 15.5 Z-score z-score = risultato - valore atteso σ Il valore di σ è determinato in base ad un criterio di idoneità per lo scopo definito dagli organizzatori per quella particolare prova Il risultato del laboratorio è: per z <2 accettabile per 2< z <3 discutibile per z >3 non accettabile 10

11 Criteri per la scelta di σ Stato dell arte: ad es. lo scarto tipo osservato in esercizi simili, lo scarto tipo (o un suo multiplo) dei risultati di laboratori di riferimento Requisiti di legge Idoneità per lo scopo (ad es.: nelle analisi cliniche, criteri derivati dalla variabilità biologica) Scarto tipo calcolato in base all equazione di Horwitz z score Tiene conto dell incertezza del valore atteso Viene interpretato nello stesso modo dello z-score 2 z x X + ' = ( ) σ u 2 X con u X = incertezza del valore assegnato 11

12 Criteri di valutazione basati sull incertezza di misura L indice E n per valutare i risultati dei partecipanti tiene conto dell incertezza di misura estesa dichiarata dal laboratorio E = x X U2ref U2lab n ( )/ + Dove x = risultato del laboratorio X = valore assegnato da un laboratorio di riferimento U ref = incertezza estesa associata al valore del campione U lab = incertezza estesa dichiarata dal laboratorio per il risultato fornito L indice zeta score utilizza, nella stessa formula, i valori delle incertezze tipo Criteri di valutazione basati sull incertezza di misura Il valore di E n permette di stabilire se la deviazione del valore fornito dal laboratorio dal valore atteso del campione analizzato rientra nella incertezza dichiarata dal laboratorio stesso. Poiché lo stesso tipo di analisi può essere richiesta per scopi diversi, l indice E n consente al laboratorio di dimostrare la propria competenza nell ambito dei limiti da esso stesso dichiarati. E n < 1 accettabile E n > 1 non accettabile 12

13 Valutazione degli z-scores nel lungo periodo PUNTEGGI CUMULATIVI L esame degli z-score sul lungo periodo consente una valutazione approfondita delle prestazioni del laboratorio I Punteggi cumulativi (Summary scores) derivati dai singoli valori di z-score ottenuti nel tempo per un dato misurando determinato con la stessa procedura analitica sono: Statisticamente validi Consentono di valutare le prestazioni di un laboratorio nel tempo Consentono di mettere in evidenza andamenti o problemi persistenti Valutazione degli z-scores nel lungo periodo PUNTEGGI CUMULATIVI Rescaled Sum S z, rs = i z i n Può essere valutato con gli stessi criteri di z-score singoli Può mettere in evidenza andamenti o scostamenti sistematici persistenti Somma dei quadrati degli z-score 2 S zz = z i i ha il vantaggio di non risentire di valori estremi, ma è meno sensibile. può essere interpretata come una distribuzione chi2 13

14 Valutazione degli z-scores nel lungo periodo PUNTEGGI CUMULATIVI Limitazioni Non è appropriato cumulare z-score relativi a misurandi diversi o ottenuti con metodi diversi Metodi grafici Carte di controllo di tipo Shewhart charts (con limiti di allerta ed azione pari a z = ±2 e z = ±3 rispettivamente) Carte multiple [1] (in particolare per la valutazione di z-score per un gruppo di analiti determinati con lo stesso metodo) [1] M. Thompson, K. M. Malik, R. J. Howarth. Multiple univariate symbolic control chart for internal quality control of analytical data. Anal Comm. 35, (1998). 14

15 Stima dell incertezza dai risultati di PV I risultati ottenuti nella partecipazione a schemi di VEQ possono essere utilizzati per: 4 verificare che la stima dell incertezza del metodo fatta dal laboratorio è valida 4 valutare direttamente l incertezza di misura (almeno in prima approssimazione) A condizione che: lo schema copra il campo di applicazione del metodo (matrici e concentrazioni) i campioni di VEQ siano trattati esattamente come quelli reali, compreso ogni pretrattamento i valori assegnati siano riferibili a riferimenti appropriati e le loro incertezze siano piccole rispetto alla dispersione dei risultati Rapporto sulla prova valutativa Elementi chiave: Deve essere: Chiaro Esaustivo Deve includere almeno: i dati relativi alla distribuzione dei risultati di tutti i partecipanti un indicazione delle prestazioni del singolo partecipante 15

16 Equivalenza del giudizio Quando, per stesse tipologie analitiche, esistono più circuiti nello stesso paese/paesi diversi, ciascuno operante con proprie modalità, lo stesso laboratorio potrebbe essere giudicato in maniera diversa in diversi circuiti. Questo potenziale problema è stato oggetto di studio con attività collaborative tra organizzatori di circuiti a livello europeo, nell ambito di progetti finanziati dall UE: -Thematic Network: European Organisers of External Quality Assessment/Proficiency Testing (EQAS/PT) Schemes Related to Occupational and Environmental Laboratory Medicine (OELM) -Comparability of the Operation and Evaluation protocols of European Proficiency Testing schemes in the chemistry sector (COEPT) Organisers of EQAS/PT related to OELM Background: l esame dei protocolli operativi/statistici di 9 schemi operanti nell UE ha evidenziato la possibilità di giudizi non equivalenti sulle prestazioni dei laboratori in paesi differenti, principalmente a causa dell adozione di criteri diversi per la valutazione dei risultati. Obiettivi: adottare, in aggiunta ai sistemi già operativi in ciascuno schema, lo z-score come indice comune di prestazione; definire criteri univoci per il valore di σ Metodi: analisi di pool di dati per conc. simili e confronto tra diversi criteri per la definizione del valore di σ (stato dell arte, variabilità biologica, limiti di legge, raccomandazioni di esperti/organizzazioni riconosciute) Conclusioni: l approccio adottato consente il confronto delle prestazioni di laboratori in un ambito sovranazionale 16

17 COEPT Obiettivi: confrontare protocolli statistici e risultati di Schemi di PT nell UE nei settori dell analisi di: acque, suoli, alimenti e igiene del lavoro valutare le differenze tra i risultati di ciascuno schema in relazione ai protocolli operativi adottati Metodi: Analisi di set di dati simulati e analisi dei set di dati ottenuti attraverso una prova sugli stessi campioni in tutti gli schemi dello stesso settore. Conclusioni: esiste un accordo di massima tra gli schemi europei operanti nello stesso settore per quanto riguarda la gestione dei risultati. Tuttavia le differenze potrebbero essere maggiori se si prendessero in esame anche i protocolli operativi per la gestione dei campioni Conclusione E necessaria una maggiore collaborazione a livello nazionale ed internazionale per l armonizzazione delle modalità operative e dei criteri di valutazione delle prestazioni in relazione allo scopo prefissato. 17

18 Utilizzo dei risultati di circuiti Utenti: Laboratori Enti di accreditamento Utenti finali del dato Utilizzo dei risultati di circuiti Laboratori L analisi dei risultati dei circuiti deve essere parte del riesame del sistema di gestione per la qualità Il laboratorio deve dimostrare di tenere conto dei risultati dei circuiti implementando le azioni preventive e correttive necessarie, in caso di risultati non conformi (riesame da parte della direzione) Il laboratorio deve tenere conto dei risultati dei circuiti per l analisi delle linee di tendenza 18

19 Utilizzo dei risultati di circuiti Enti di accreditamento: valutazione dei risultati dei circuiti come conferma indipendente della competenza del laboratorio In discussione: nella sorveglianza di laboratori accreditati, tenere conto durante l esame della documentazione anche dei risultati ottenuti nei PT ai fini di una più efficace programmazione della frequenza e/o della durata delle visite di sorveglianza Utilizzo dei risultati di circuiti Utenti finali del dato: aumento del livello di fiducia riposto nei dati analitici forniti da laboratori che possono documentare attraverso la partecipazione a circuiti prestazioni analitiche di buona qualità. 19