Marina Patriarca Laboratorio Nazionale di Riferimento per i metalli negli alimenti, Isituto Superiore di Sanità, Roma Eurachem-Italia

Transcript

1 Attività internazionali: aggiornamento della norma ISO Statistical methods for use in proficiency testing by interlaboratory comparisons. Cosa cambia per i laboratori? Marina Patriarca Laboratorio Nazionale di Riferimento per i metalli negli alimenti, Isituto Superiore di Sanità, Roma Eurachem-Italia

2 Parte del materiale è tratto da quello presentato nei corsi di formazione organizzati come parte degli Eurachem Workshops on Proficiency Testing in analytical chemistry, microbiology and laboratory medicine 7th Edition, Istanbul, 3-6 October th Edition, Berlin 5-9 October 2014 da Marina Patriarca, Piotr Robouch, EC JRC IRMM, Geel, Belgium and Michael Koch, University of Stuttgart, Germany

3 Scopo della norma ISO Fornire una descrizione dettagliata dei metodi statistici per l analisi dei dati ottenuti nelle prove valutative per la valutazione delle prestazioni dei partecipanti per la pianificazione delle prove valutative Fornire raccomandazioni per l interpretazione dei risultati delle prove valutative da parte di: partecipanti enti di accreditamento utenti finali

4 Perché è importante? Le prove valutative forniscono informazioni sulle prestazioni dei laboratori. E essenziale che tale informazione sia Basata su solide basi scientifiche Affidabile Confrontabile Comprensibile Utile

5 La ISO riguarda: Elementi statistici nella pianificazione dei PT Qualità dei materiali per i PT Determinazione dei valori assegnati e delle loro incertezze Metodi statistici robusti Determinazione dei criteri per valutare le prestazioni Metodi statistici per la valutazione delle prestazioni Metodi per la valutazione delle prestazioni nel tempo

6 Perché rivedere la norma? Esperienza crescente

7 Qualcosa di. ANTICO NUOVO I principi rimangono gli stessi Alcune nuove idee PRESTATO BLU! Allineamento con alcune norme entrate in vigore nel frattempo

8 La nuova ISO quasi pronta! Armonizzazione con la ISO/IEC 17043:2010 Estensione dello scopo Nuovi simboli Metodi statistici associati con gli obiettivi del PT Nuovo modello statistico Valutazione della qualità dei materiali basata sull esperienza Più opzioni per I metodi statistici da applicare Maggiore flessibilità per l uso degli z -score Segnalazione ai partecipanti in merito all affidabilità dell incertezza riportata Linee guida specifiche per PT con pochi partecipanti Nuove sezioni per I dati qualitativi Eliminazione di tecniche obsolete, correzione di errori di minore entità Non tutti I problemi sono stati risolti

9 Riferimenti normativi ISO , Statistics Vocabulary and symbols Part 1: Probability and general statistical terms ISO , Statistics Vocabulary and symbols Part 2: Applied statistics ISO , Accuracy (trueness and precision) of measurement methods and results Part 1: General principles and definitions ISO/IEC 17043, Conformity assessment General requirements for proficiency testing ISO/IEC Guide 99, International vocabulary of metrology Basic and general concepts and associated terms (VIM) ISO/IEC Guide 98-3, Uncertainty of measurement Part 3: Guide to the expression of uncertainty in measurement (GUM:1995)

10 Estensione dello scopo Applicabile ai risultati di misura ottenuti da laboratori, ad enti di ispezione e ad individui Sia alle osservazioni di tipo quantitativo che qualitativo Può essere applicata alla valutazione dell opinione di esperti

11 Nuovi simboli Valore assegnato x pt Incertezza tipo del valore assegnato u(x pt ) Incertezza tipo per la valutazione delle prestazioni σ pt

12 Qualità dei materiali per i PT: affidabilità del valore assegnato (x pt ) L incertezza tipo di un valore assegnato (u(x pt )) dipende da: Metodo usato per determinarlo Numero di partecipanti (se si usano valori di consenso) Altri fattori, tra cui omogeneità e stabilità

13 Effetto della qualità dei materiali sulla valutazione delle prestazioni Se u(x pt ) è troppo grande rispetto a σ pt alcuni laboratori potrebbero ricevere un giudizio inadeguato dovuto all inaccuratezza del valore assegnato piuttosto che a cause interne al laboratorio. u(x pt ) 0.3. σ pt

14 Valutazione dell omogeneità e della stabilità Sono possibili più approcci: Studi sperimentali dei materiali prima della distribuzione ai partecipanti Esperienza pregressa con materiali molto simili, soggetta a verifica Valutazione dei dati riportati dai partecipanti in un dato esercizio rispetto a quelli di esercizi precedenti per individuare eventuali variazioni attribuibili a disomogeneità o instabilità Esperienza crescente

15 Valutazione della stabilità Studi pianificati delle condizioni di trasporto e conservazione prima dell inizio del PT Verifica di eventuali cambiamenti significativi tra successivi esercizi Verifica di eventuali andamenti nei risultati in base alla data in cui vengono riportati

16 Se i criteri non sono soddisfatti Omogeneità Ri-esaminare Preparazione Conservazione Aumentare i replicati richiesti Stabilità Ri-esaminare Preparazione Conservazione Aumentare σ pt Utilizzare z -scores

17 Valori assegnati e loro incertezze Approcci invariati per i dati quantitativi Più opzioni per i metodi statistici Approcci specifici per i dati qualitativi

18 Metodi per determinare il valore assegnato 7.3 Formulazione 7.4 Valori certificati 7.5 Risultati forniti da un singolo laboratorio 7.6 Valore di consenso tra laboratori esperti 7.7 Valore di consenso tra i partecipanti Incertezza crescente

19 Valutazione delle prestazioni Tre approcci generali: a) Confronto con criteri esterni b) Confronto con gli altri partecipanti c) Confronto con l incertezza di misura dichiarata

20 Definire lo scarto tipo per la valutazione delle prestazioni (σ pt ) 8.1. Valore prescritto Un valore richiesto per un particolare compito (e.g. dalla legislazione) 8.2 Indicazione di esperti Un livello di prestazione desiderabile per un dato scopo 8.3 Esperienza dai precedenti esercizi 8.4 Un modello generale E.g. Horwitz s R = 0.02 c Informazioni sulla riproducibilità ottenute precedentemente E.g. riportate nel metodo normato che deve essere utilizzato 8.6 Ottenuto dai dati ottenuti nello stesso PT

21 Punteggi (9) Differenza z-score z'-score σ pt >> u(x pt ) z z Valuazione: 0 < z 2 : soddisfacente 2 < z 3 : da valutare z > 3 : insoddisfacente

22 CoEPT, Mn in water Boley & Co Mg [mg/l] Mg [mg/l] Diversi criteri di valutazione cert W01 W02 W03 W04 W05 W06 W07 W08 W09 W10

23 Punteggi (9) Valuazione: 0 < ζ 2 : soddisfacente 2 < ζ 3 : da valutare ζ > 3 : insoddisfacente ζ-score 0.1 E n Valuazione: 0 < En 1 : soddisfacente En > 1 : insoddisfacente

24 Riportare le incertezze Utile anche se non utilizzate per la valutazione delle prestazioni, e.g.: Enti di accreditamento: coerenza con lo scopo dell accreditamento del laboratorio Confronto con I valori rupotrtati dagli altri partecipanti Uso dei PT per confermare le stime di incertezza

25

26 La mia stima dell incertezza è. Raccomandazione di segnalare valori riportati per le incertezze insolitamente grandi o piccoli, ad es: u lab << u(x pt ) u lab >> 1.5 s* s* = scarto tipo robusto

27 Cosa cambia per i laboratori? Maggiore flessibilità nell organizzazione dei PT: Offerta più differenziata Maggiori opportunità di uso dei dati Maggiore responsabilità nella selezione di PT idonei Maggiore competenza nell interpretazione dei risultati

28