Attività internazionali: aggiornamento della norma ISO 13528 Statistical methods for use in proficiency testing by interlaboratory comparisons. Cosa cambia per i laboratori? Marina Patriarca Laboratorio Nazionale di Riferimento per i metalli negli alimenti, Isituto Superiore di Sanità, Roma Eurachem-Italia
Parte del materiale è tratto da quello presentato nei corsi di formazione organizzati come parte degli Eurachem Workshops on Proficiency Testing in analytical chemistry, microbiology and laboratory medicine 7th Edition, Istanbul, 3-6 October 2011 8th Edition, Berlin 5-9 October 2014 da Marina Patriarca, Piotr Robouch, EC JRC IRMM, Geel, Belgium and Michael Koch, University of Stuttgart, Germany
Scopo della norma ISO 13528 Fornire una descrizione dettagliata dei metodi statistici per l analisi dei dati ottenuti nelle prove valutative per la valutazione delle prestazioni dei partecipanti per la pianificazione delle prove valutative Fornire raccomandazioni per l interpretazione dei risultati delle prove valutative da parte di: partecipanti enti di accreditamento utenti finali
Perché è importante? Le prove valutative forniscono informazioni sulle prestazioni dei laboratori. E essenziale che tale informazione sia Basata su solide basi scientifiche Affidabile Confrontabile Comprensibile Utile
La ISO 13528 riguarda: Elementi statistici nella pianificazione dei PT Qualità dei materiali per i PT Determinazione dei valori assegnati e delle loro incertezze Metodi statistici robusti Determinazione dei criteri per valutare le prestazioni Metodi statistici per la valutazione delle prestazioni Metodi per la valutazione delle prestazioni nel tempo
Perché rivedere la norma? Esperienza crescente 2005 2015
Qualcosa di. ANTICO NUOVO I principi rimangono gli stessi Alcune nuove idee PRESTATO BLU! Allineamento con alcune norme entrate in vigore nel frattempo
La nuova ISO 13528 quasi pronta! Armonizzazione con la ISO/IEC 17043:2010 Estensione dello scopo Nuovi simboli Metodi statistici associati con gli obiettivi del PT Nuovo modello statistico Valutazione della qualità dei materiali basata sull esperienza Più opzioni per I metodi statistici da applicare Maggiore flessibilità per l uso degli z -score Segnalazione ai partecipanti in merito all affidabilità dell incertezza riportata Linee guida specifiche per PT con pochi partecipanti Nuove sezioni per I dati qualitativi Eliminazione di tecniche obsolete, correzione di errori di minore entità Non tutti I problemi sono stati risolti
Riferimenti normativi ISO 3534-1, Statistics Vocabulary and symbols Part 1: Probability and general statistical terms ISO 3534-2, Statistics Vocabulary and symbols Part 2: Applied statistics ISO 5725-1, Accuracy (trueness and precision) of measurement methods and results Part 1: General principles and definitions ISO/IEC 17043, Conformity assessment General requirements for proficiency testing ISO/IEC Guide 99, International vocabulary of metrology Basic and general concepts and associated terms (VIM) ISO/IEC Guide 98-3, Uncertainty of measurement Part 3: Guide to the expression of uncertainty in measurement (GUM:1995)
Estensione dello scopo Applicabile ai risultati di misura ottenuti da laboratori, ad enti di ispezione e ad individui Sia alle osservazioni di tipo quantitativo che qualitativo Può essere applicata alla valutazione dell opinione di esperti
Nuovi simboli Valore assegnato x pt Incertezza tipo del valore assegnato u(x pt ) Incertezza tipo per la valutazione delle prestazioni σ pt
Qualità dei materiali per i PT: affidabilità del valore assegnato (x pt ) L incertezza tipo di un valore assegnato (u(x pt )) dipende da: Metodo usato per determinarlo Numero di partecipanti (se si usano valori di consenso) Altri fattori, tra cui omogeneità e stabilità
Effetto della qualità dei materiali sulla valutazione delle prestazioni Se u(x pt ) è troppo grande rispetto a σ pt alcuni laboratori potrebbero ricevere un giudizio inadeguato dovuto all inaccuratezza del valore assegnato piuttosto che a cause interne al laboratorio. u(x pt ) 0.3. σ pt
Valutazione dell omogeneità e della stabilità Sono possibili più approcci: Studi sperimentali dei materiali prima della distribuzione ai partecipanti Esperienza pregressa con materiali molto simili, soggetta a verifica Valutazione dei dati riportati dai partecipanti in un dato esercizio rispetto a quelli di esercizi precedenti per individuare eventuali variazioni attribuibili a disomogeneità o instabilità Esperienza crescente
Valutazione della stabilità Studi pianificati delle condizioni di trasporto e conservazione prima dell inizio del PT Verifica di eventuali cambiamenti significativi tra successivi esercizi Verifica di eventuali andamenti nei risultati in base alla data in cui vengono riportati
Se i criteri non sono soddisfatti Omogeneità Ri-esaminare Preparazione Conservazione Aumentare i replicati richiesti Stabilità Ri-esaminare Preparazione Conservazione Aumentare σ pt Utilizzare z -scores
Valori assegnati e loro incertezze Approcci invariati per i dati quantitativi Più opzioni per i metodi statistici Approcci specifici per i dati qualitativi
Metodi per determinare il valore assegnato 7.3 Formulazione 7.4 Valori certificati 7.5 Risultati forniti da un singolo laboratorio 7.6 Valore di consenso tra laboratori esperti 7.7 Valore di consenso tra i partecipanti Incertezza crescente
Valutazione delle prestazioni Tre approcci generali: a) Confronto con criteri esterni b) Confronto con gli altri partecipanti c) Confronto con l incertezza di misura dichiarata
Definire lo scarto tipo per la valutazione delle prestazioni (σ pt ) 8.1. Valore prescritto Un valore richiesto per un particolare compito (e.g. dalla legislazione) 8.2 Indicazione di esperti Un livello di prestazione desiderabile per un dato scopo 8.3 Esperienza dai precedenti esercizi 8.4 Un modello generale E.g. Horwitz s R = 0.02 c 0.8495 8.5 Informazioni sulla riproducibilità ottenute precedentemente E.g. riportate nel metodo normato che deve essere utilizzato 8.6 Ottenuto dai dati ottenuti nello stesso PT
Punteggi (9) Differenza z-score z'-score σ pt >> u(x pt ) z z Valuazione: 0 < z 2 : soddisfacente 2 < z 3 : da valutare z > 3 : insoddisfacente
CoEPT, Mn in water Boley & Co. 70.0 60.0 Mg [mg/l] 50.0 40.0 Mg [mg/l] 30.0 20.0 10.0 50 45 40 Diversi criteri di valutazione 35 30 25 20 cert W01 W02 W03 W04 W05 W06 W07 W08 W09 W10
Punteggi (9) Valuazione: 0 < ζ 2 : soddisfacente 2 < ζ 3 : da valutare ζ > 3 : insoddisfacente ζ-score 0.1 E n 0.05 0 0.45 0.4 0.35 0.3 0.25 0.2 0.15 10 20 30 40 Valuazione: 0 < En 1 : soddisfacente En > 1 : insoddisfacente
Riportare le incertezze Utile anche se non utilizzate per la valutazione delle prestazioni, e.g.: Enti di accreditamento: coerenza con lo scopo dell accreditamento del laboratorio Confronto con I valori rupotrtati dagli altri partecipanti Uso dei PT per confermare le stime di incertezza
La mia stima dell incertezza è. Raccomandazione di segnalare valori riportati per le incertezze insolitamente grandi o piccoli, ad es: u lab << u(x pt ) u lab >> 1.5 s* s* = scarto tipo robusto
Cosa cambia per i laboratori? Maggiore flessibilità nell organizzazione dei PT: Offerta più differenziata Maggiori opportunità di uso dei dati Maggiore responsabilità nella selezione di PT idonei Maggiore competenza nell interpretazione dei risultati