Cos è Come calcolarla Come controllarla Come utilizzarla

Transcript

1 Riferimenti «Incertezza di misura nelle analisi chimiche ambientali: principi di determinazione, confronto con limiti di legge e specifiche tecniche» Alessandro Grigato [email protected] Argomenti trattati: - Approcci nel calcolo dell incertezza di misura in chimica - Espressione dell incertezza di misura sul Rapporto di prova - L'utilizzo dell'incertezza di misura nell'analisi di conformità 1. Rapporti ISTISAN 13/41 Terminologia per le misurazioni analitiche Introduzione al VIM 3 (2013). Traduzione della Guida Eurachem TAM - Terminology in Analitycal Measurements (2011) SINAL, DT0002, Guida per la valutazione ed espressione dell incertezza nelle misurazioni, Rev 1, Roma (2000), 3. EA-4/16 Expression of uncertainty in quantitative testing (2003), 4. EUROLAB, Technical Report No 1/2007, Measurement uncertainty revisited Alternative approaches to uncertainty evaluation (2007), 5. Rapporti ISTISAN 03/30, Quantificazione dell incertezza nelle misure analitiche (2003) ( (Traduzione di QUAM 2000.P1 2 nd Ed 2000) 6. EURACHEM, The fitness for purpose in analytical methods 2 nd Ed (2014) 7. Analytical Methods Committee,Tecnical Brief nr 13,15,17,22, 53, 61 (2014) Cos è Come calcolarla Come controllarla Come utilizzarla Errore di misura (VIM3-2.16) Valore misurato di una grandezza meno il valore di riferimento di una grandezza Errori casuali influenzano la precisione (dispersione dei dati) Errori sistematici Errore = Scostamento influenzano l esattezza (distanza dal valore vero) 3 4

2 Accuratezza & Incertezza L accuratezza di un dato è una combinazione di errori casuali e sistematici ed è quantificata dall Incertezza. Royal Society of Chemistry, AMC technical brief No. 13 Sep Incertezza di misura (VIM3, 2.26) Parametro non negativo che caratterizza la dispersione dei risultati di misura che sono attribuibili a un misurando, sulla base delle informazioni utilizzate 7 8

3 UNI CEI ENV 13005:2000 (GUM) Lab A 10 è obbligatorio fornire una qualche indicazione quantitativa della qualità del risultato, cosicché gli utenti ne possano accertare l attendibilità. 2 5 Lab B Senza tale indicazione i risultati non possono essere confrontati né tra di loro, né con valori di riferimento assegnati da specifiche o norme. I due risultati sono differenti I due risultati non sono differenti Alessandro Grigato 9 10 Cos è Come calcolarla Come controllarla Come utilizzarla Da PT + CQI ISO 11352: EUROLAB, TR 1/2007, 12

4 Da PT + CQI ISO 11352: 2012 Water quality Estimation of measurement uncertainty based on validation and quality control data Prima della GUM Si usava sommare la componente sistematica (V-M) con quella casuale: V M Errore max Questo comportava una sovrastima dell incertezza che in alcuni casi poteva costar cara! L errore massimo ottenuto è un essere misterioso che non si sa come gestire. UNI CEI ENV (GUM) La GUM fornisce le regole di combinazione tra componenti casuali e sistematiche. Le componenti si dividono in tipo A e tipo B. La distinzione riguarda unicamente il modo in cui esse vengono valutate TIPO A: la cui valutazione è basate su prove ripetute TIPO B: tutte le altre. Ciò non ha nulla a che fare con casualità e sistematicità 15 16

5 UNI CEI ENV (GUM) Le 5 fasi del processo Bottom-Up 1. Identificare il modello matematico che esprime il risultato 2. Identificare (tutti ) i contributi all incertezza 3. Trasformare i contributi in scarti tipo u i 4. Calcolare l incertezza composta: u c = f (u 1,u 2.. u n ) 5. Calcolare l incertezza estesa: U = k u c 1 st Edition 1995 EURACHEM, nell intento di aiutare i laboratori chimici, pubblica nel 1995 questa Guida che recepisce, purtroppo in toto, l approccio Bottom-Up della GUM ma non tutti concordano Horwitz W., Albert R., Analyst, 122, 615 (1997)

6 APPROCCIO TOP - DOWN Proposto dall Analytical Methods Commettee nel (Analytica Methods Committee Analyst, 120, 2303 (1995)) Riproducibilità (Top) Risultato (Down) Il singolo laboratorio è considerato come un elemento di una popolazione di laboratori. Gli errori casuali e sistematici del singolo laboratorio diventano errori tutti casuali nel contesto tra laboratori. In questo modo gli errori possono essere trattati con semplici tecniche statistiche. u c u R 1. Calcolare l incertezza estesa: U = 2 u R L autocritica EURACHEM, nel 1999, commissiona a quattro gruppi di ricerca uno studio di fattibilità da cui risulta che...e il ravvedimento «the reconciliation approach» Proposto nel 1998 da... Ellison S.L.R., Barwick V.J., Accred Qual Assur, 3, 101, (1998) è improbabile che l approccio bottom up rappresenti per i chimici analitici uno strumento utile alla stima dell incertezza di misura. Tutti i gruppi hanno convenuto che i dati disponibili da studi di validazione permettono stime ragionevoli dell incertezza di misura. Visser R.G., Accred. Qual. Assur., 7, 124 (2002) Ufficializzato nel 2000 in... 2 nd Edition 2000 Ellison R., Barwick V., VAM Project Part D (2000) 23 24

7 ma subito dopo «La Ed 2 della Guida EURACHEM è molto più utile della Ed 1. Peccato però che gli esempi riportati diano molto più spazio all approccio botton-up che a quello basato su dati di validazione.» Verrà trattato in dettaglio più avanti (Caso C) Massart D.L. et al., Trac., 20, 394 (2001) Dec 2003 rev Specific difficulties of uncertainty evaluation in testing 1- Introduction. La GUM è applicabile anche alle prove (testing procedures), tuttavia ci sono sostanziali differenze tra misure (measurement) e prove La reale natura di alcune tipologie di prove può rendere difficile la applicazione stretta della GUM. Per le prove chimiche la definizione del modello matematico richiesta dalla GUM può risultare impossibile per vari motivi, anche economici In particular, the major sources of variability can often be assessed by interlaboratory studies, which provides estimates of repeatability, reproducibility and (sometimes) trueness 27 28

8 Laboratori esperti, stesso campione, stesso metodo. Se le incertezze fornite dai laboratori fossero realistiche, ossia comprensive di tutte le fonti di variazione, si dovrebbe avere questa situazione: In realtà Le incertezze dei laboratori non sono realistiche perchè sottostimate. L incertezza reale è doppia Il modello degli errori in chimica analitica elaborato da Thompson nel 2000 Unico metodo di prova. Questa è la componente che sfugge perché contiene i bias interni ai laboratori, difficili da intercettare. Ecco perché mediamente SR = 3Sr [1] M. Thompson, Toward a unified model of errors in analytical measurement, Analyst, 125, (2000) [1] M. Thompson, Toward a unified model of errors in analytical measurement, Analyst, , (2000)

9 M. Thompson, Comparability and traceability in analytical measurements and reference materials, Analyst, 122, (1997) C è l errore (scostamento) del metodo 35 A parità di metodo c è l errore (scostamento) del laboratorio 36

10 A parità di lab c è la variabilità «tra giorni» Per catturare il bias tra laboratori bisogna impossessarsi, in qualche maniera, della Riproducibilità (da confronti inter-laboratorio)

11 L incertezza di misura Come valutarla in pratica? Caso A TD per metodi normalizzati con dati di precisione Caso A: Approccio Top Down per metodi normalizzati con dati di precisione Caso B: Approccio Top Down per metodi normalizzati con dati di precisione assenti o incompleti e per metodi interni validati Caso C: Approccio misto (metrologico ricorrendo a dati di validazione e di CQI) Si verifica la capacità del laboratorio di eseguire la prova con una ripetibilità s r compatibile con la ripetibilità del metodo σ r (test F delle varianze): A s r /σ r B Se il criterio è rispettato, l incertezza del risultato di una singola misura può essere espressa sulla base di σ R del metodo normalizzato. Caso B TD per metodi normalizzati con dati di precisione assenti o incompleti e per metodi interni validati y σ R Risultato y ± 2 σr Scarto tipo di riproducibilità Eq 1 B1 Da equazioni empiriche B2 Da Studi Collaborativi (Collaborative Trial) B3 Da prove su CRM B4 Da Prove Valutative (PT - Proficiency Testing) B5 Da PT e Controllo Qualità Interno 43 44

12 B1 Da equazioni empiriche Se la prova è applicata a matrici alimentari, lo scarto tipo di riproducibilità può essere calcolato in funzione del livello di analita. σ H = 0.02 C Dalla Riproducibilità si risale all incertezza! Se la riproducibilità stimata con Horwitz è σ H e se vale la seguente relazione: 0,5 s r /σ H 0,66 (HORRAT: HORwitz RATio) y±2σ H Horwitz W., Anal Chem, 54-1, 67A (1982) A natural history of analytical methods Thompsos M.., Analyst, 124, 991, (1999).. ma vale anche per analisi di metalli in lave vulcaniche (ben diverse dagli alimenti) con Laser Ablation - ICP MS (che non esisteva ai tempi di Horwitz)..solo i metodi migliori sopravvivono, selezionati dai chimici. La relazione di Horwitz tra riproducibilità e livello di analita è il frutto di tale selezione, come avviene per la massa cerebrale in funzione del peso corporeo nei mammiferi. the Horwitz Trumpet is a feature of considerable theoretical interest 47 Alessandro Grigato 48

13 B2 Da Studi Collaborativi B3 Da prove su CRM Se il laboratorio ha partecipato: l incertezza di misura si calcola in base alle Eq 1 dove gli scarti tipo sono quelli ricavati dal circuito. Se il laboratorio non ha partecipato: prima di applicare la eq 1 bisogna verificare la compatibilità tra lo scarto tipo del lab s r e quello risultante dal circuito σ r I dati che generalmente compaiono nel certificato del CRM sono i seguenti: σ r = scarto tipo intralaboratorio σ L = scarto tipo interlaboratorio σ D o (σ M ) = scarto tipo delle medie p = numero dei laboratori n = repliche fatte da ogni laboratorio Alessandro Grigato 49 Alessandro Grigato 50 Se valgono le seguenti condizioni: B4 Da Prove Valutative (PT) il CRM è simile per matrice ai campioni analizzati il metodo è esatto lo scarto tipo del laboratorio s r è compatibile con lo scarto tipo intralaboratorio σ r e se il risultato è la media di m repliche, allora y ± 2 σ L 2 + s r2 /m E necessario estrapolare i risultati ottenuti con metodi accomunati dalla stessa tecnica analitica impiegata dal laboratorio Sulla base di questi dati si ricalcolano i parametri di precisione che quindi possono essere utilizzati per il calcolo dell incertezza applicando la Eq 1 Ma c è un altro modo per sfruttare i PT Alessandro Grigato 51 Alessandro Grigato 52

14 B5 Da PT e CQI y ± y s b y = risultato della misura S = scarto tipo relativo di ripetibilità (molto) intermedia b = scarto quadratico medio relativo degli scostamenti dei risultati nei PT b L incertezza di misura Come valutarla in pratica? Da PT + CQI ISO 11352: 2012 Water quality Estimation of measurement uncertainty based on validation and quality control data. Caso A: Approccio Top Down per metodi normalizzati con dati di precisione Caso B: Approccio Top Down per metodi normalizzati con dati di precisione assenti o incompleti e per metodi interni validati Caso C: approccio misto (metrologico ricorrendo a dati di validazione e di CQI)

15 Caso C Approccio misto, da dati di validazione e CQI Vi si ricorre nei casi disperati in cui alcun approccio precedente può essere utilizzato. Generalmente le componenti più significative dell'incertezza sono dovute a: Ripetibilità intermedia E lo specchio della reale variabilità interna ed è indispensabile per una valutazione ragionevole dell incertezza di misura. Più la durata della sperimentazione è lunga e più numerose saranno le fonti di variazione intercettate Ripetibilità intermedia (a lungo termine) Taratura strumentale Fattore di recupero Materiale di riferimento Incertezza della retta di taratura Recupero Se il metodo non è esatto, il valore corretto si ottiene per correzione con il fattore di recupero: Valore corretto = valore sperimentale / f L incertezza (tipo) del valore corretto sarà quindi: ůcorr = ůsper 2 + ůrec 2 Con ůsper = incertezza del valore sperimentale, prima della correzione e ůrec = incertezza del (fattore di) recupero 59 60

16 L incertezza del recupero urec sarà: urec = urif 2 + soss 2 /n Con urif = incertezza del valore di riferimento e soss e n = scarto tipo di ripetibilità degli n valori osservati nello studio del recupero. Generalmente soss = sr Eq 3 Benchè questa guida fornisca uno schema generale per valutare l incertezza, essa non può sostituirsi al pensiero critico, all onestà intellettuale ed alla professionalità La valutazione dell incertezza non è né un compito di routine né un esercizio puramente matematico, ma dipende dalla conoscenza approfondita della natura del misurando e della misurazione Cos è Come calcolarla Come controllarla Come utilizzarla Quando e come riportarla Come interpretarla L armonizzazione La gestione del recupero Le regole decisionali La sfida culturale 63 64

17 ISO 17025:2005 Quando e come riportarla Come interpretarla L armonizzazione La gestione del recupero Le regole decisionali La sfida culturale L incertezza va riportata nel rapporto di prova quando: 1. Il cliente la richiede 2. Ha influenza sulla conformità ad un limite specificato L incertezza deve sempre essere conosciuta dal laboratorio anche quando non va riportata nel RdP Espressione del risultato Esprimere l incertezza con non più di due cifre significative. l valore numerico del risultato va arrotondato in modo tale che la sua ultima cifra decimale corrisponda all ultima cifra dell incertezza. Risultato Incertezza estesa Espressione risultato 0, , ,1021 ±0,0002 3,043 1,649 3,0 ± 1,6 100,07 8,04 100,1 ± 8,0 102,41 65, ± 65 Esempi Gli zeri tra cifre non nulle sono significativi: ,06 Gli zeri a sn di una cifra significativa non sono significativi: 0,08 0,001 Gli zeri a destra di cifre significative e dopo la virgola sono significativi: 5,0 0, ,4 61,3 0,7 8,0 7,00 0,09 0,70 0,253 0, ,080 0,

18 CONSIDERAZIONI Quando e come riportarla Come interpretarla L armonizzazione La gestione del recupero Le regole decisionali La sfida culturale L incertezza dipende: - dalle informazioni a disposizione - dall approccio sperimentale. A parità di risultato, incertezze diverse possono portare a conclusioni diverse. L incertezza può influenzare il giudizio di conformità modificando di fatto il limite di legge Rob Visser è imperativo che il metodo per valutare l incertezza sia uniforme nel mondo, cosicché le misurazioni effettuate in Paesi diversi siano confrontabili Calcolo, espressione e interpretazione dell incertezza devono essere armonizzati 71 72

19 al fine di evitare infruttuose discussioni, i chimici dovrebbero essere consapevoli che differenti fonti di informazione possono produrre stime dell incertezza di misura statisticamente diverse. Quando e come riportarla Come interpretarla L armonizzazione La gestione del recupero Le regole decisionali La sfida culturale L incerta gestione del recupero la questione più controversa è quando e come inserire nel computo dell incertezza totale il contributo dovuto al recupero. Aspetti non ancora armonizzati: risultato corretto per il recupero, si o no? incertezza del recupero nell inc. totale, si o no? e se si, come? L incerta gestione del recupero Fonte Correzione del risultato per il recupero GUM [1] sempre QUAM 2012 [2] solo se è significativo IUPAC [3] solo se è significativo * AOAC [4] è una scelta «politica» * IUPAC riporta una pagina di motivi a favore della correzione e una pagina di motivi contro la correzione

20 L incerta gestione del recupero Fonte urec nell incertezza totale GUM [1] sempre QUAM 2012 [2] sempre IUPAC [3] solo se il dato viene corretto AOAC [4] solo se il dato viene corretto NT TR 537 [5] Sempre e come calcolare urec? [1] [5] [6] [1] UNI CEI ENV 13005:2000 GUM [2] EURACHEM/CITAC, Quantifying Uncertainty in Analytical Measurement, 3 Ed, (2012) [3] IUPAC, Technical Report Harmonized guidelines for the use of recovery information in analytical measurement, Pure & Appl. Chem., Vol 71, No 2, pp , [4] AOAC, Guidelines for single laboratory validation of chemical methods (2002) [5] NORDTEST, TR 537 "Handbook for calculation of Uncertainty Measurement [6] EUROLAB, Technical Report No. 1/2007, Measurement uncertainty revisited: Alternative approaches to uncertainty evaluation (2007) D.Lgs. 10 dicembre 2010, n. 219 Attuazione della direttiva 2008/105/CE relativa a standard di qualità ambientale nel settore della politica delle acque, Nel caso di metodi normati che non includono i dati di precisione, stimare la ripetibilità intermedia e l esattezza. Questi principali contributi all'incertezza di misura devono essere combinati secondo UNI 13005: Comparability & Traceability in Analytical Measurements Thompsos M.., Analyst, 112, 1201, (1997) IN MINIERA Nelle analisi per decidere dove scavare si trascura il recupero. I risultati sono tra loro comparabili perché usati entro la miniera. Questi dati + quelli di altre miniere, se utilizzati per studi geologici su vasta scala, sono inutilizzabili perché non riferibili e quindi non confrontabili tra loro. 5.4 Es 3. Quando variazioni nella matrice hanno effetti grandi /prevedibili, si sviluppa un metodo con il solo scopo di ottenere la confrontabilità tra laboratori e non di ottenere la reale quantità di analita. il metodo potrebbe poi essere normato per poter prendere decisioni su aspetti commerciali o di altro tipo il metodo è considerato empirico e per convenzione il bias è nullo per cui i risultati vengono riportati senza applicare correzioni per il recupero i risultati sono riferibili al metodo e quindi sono tra loro confrontabili così si è fatto per i pesticidi in alimenti 79 80

21 Il paradosso della luna Scostamento sistematico bias trascurabile o corretto? In entrambi i casi l incertezza rimane una componente essenziale dell incertezza globale. Altri fattori Gli effetti di qualsiasi altro fattore dovrebbero essere valutati separatamente, sia mediante esperimenti, sia per deduzioni teoriche. L incertezza associata con questi fattori dovrebbe essere stimata e combinata con gli altri contributi. 81 Se noi applichiamo questo principio per ogni fattore di potenziale influenza indagato (come ad es. l influenza delle fasi lunari), l incertezza combinata aumenta di 0,71 volte per ogni fattore. Per 10 fattori indagati, anche se trascurabili, l incertezza combinata aumenta del 50%!! 82 Incertezza e analisi di conformità Quando e come riportarla Come interpretarla L armonizzazione La gestione del recupero Le regole decisionali La sfida culturale 5 Servono regole decisionali che, seppur basate su argomentazioni tecnico scientifiche, dovrebbero sempre derivare da disposizioni di legge o da accordi tra il laboratorio e il cliente Alessandro Grigato 83 84

22 Regola decisionale implicita nella espressione del Valore Limite Nell analisi di conformità, il risultato deve essere espresso con lo stesso numero di cifre decimali del Valore Limite. 0,1 0,10 0,100 se vale la si dovrà concludere che R non eccede il VL a prescindere dall incertezza di misura. La zona di accettabilità è definita, di fatto, dal Normatore con la scelta delle modalità di espressione del VL. Ma il normatore ne è sempre consapevole? ISPRA, LG52/2009 «L analisi di conformità con i valori di legge» (2009) Regole decisionali da disposizioni di legge DM 10/02/2000 (Benzene in benzine) Regole decisionali da accordi con il cliente Linee guida regionali per la sorveglianza ed il controllo delle acque destinate al consumo umano nella Regione Veneto All A alla DGR nr 4080 del 22 dic 2004 Pto 7.2 Interpretazione dei valori analitici: Nel rispetto della norma 17025, ai soli fini interpretativi per la valutazione si tiene conto del dato effettivamente ottenuto dal procedimento analitico e si trascurano i ranges di incertezza del metodo utilizzato

23 Due esempi virtuosi che superano tutti i problemi visti prima: - disomogeneità tra incertezze - approccio per il calcolo di U - gestione del recupero - regole decisionali WADA nei suoi documenti prescrittivi stabilisce: - il valore di soglia T (Threshold) - l incertezza combinata massima accettabile uc max - il Limite di Decisione: DL = T + k ucmax e ancora: - come calcolare l incertezza ( sconsigliato l approccio metrologico perché sottostima l incertezza) - la regola decisionale: SANCO prevede: - l incertezza estesa massima accettabile MU = 50% - come calcolare l incertezza - come gestire il recupero - come esprimere il risultato results above the RL and <10 mg/kg should be rounded to two significant figures - la regola decisionale:.. the MRL is exceeded if x-u > MRL 91 92

24 In assenza di regole LG52/2009 In assenza di regole predefinite il Chimico, nel prendere decisioni, è indipendente e si avvale della sua competenza, esperienza, deontologia professionale, assumendo spesso responsabilità non sue. in: Pubblicazioni > Altre pubblicazioni > Manuali e Linee guida In assenza di regole decisionali, si propone il criterio dell «oltre ogni ragionevole dubbio» : il Risultato della misura (R) è non conforme quando risulta maggiore del VL con una probabilità > 95%. Ma la LG52 ha un basso livello di condivisione 95 96

25 In assenza di regole In assenza di regole predefinite il Chimico deve fare affidamento sulle competenze dell utilizzatore finale: cliente, magistrato ma lo spread di cultura metrologica tra chi produce il risultato (con l incertezza) e chi lo deve interpretare è spesso abissale. Quando e come riportarla Come interpretarla L armonizzazione La gestione del recupero Le regole decisionali La sfida culturale Incertezza. - Questo parametro non viene usualmente valutato dai chimici. - Di più, molti sperimentatori lo considerano, nel migliore dei casi, un inutile e fastidioso orpello inventato dai metrologi per complicare la vita ai chimici che non ne sentivano il bisogno. - E difficile non concordare con loro su questa valutazione dopo un primo impatto con certe formule ostiche

26 Febbraio 2015, matrice fango: il cliente esige nei RdP i risultati espressi così: Residuo a 550 C = 7,94% Potassio = 821,4 mg/k ss Grassi e oli animali = 4491,4 mg/k ss Idrocarburi C>12 = 407,2 mg/k Crimine e incertezza Avv. Veronica Scotti TuttoMisure Edizione telematica condanna. Le prove schiaccianti erano: - la compatibilità del coltello con le ferite - la presenza del DNA sull arma. - In appello la sentenza venne ribaltata grazie ad un più rigoroso approccio metrologico dei periti verso le misure fatte: una corretta valutazione dell incertezza di misura avrebbe portato i periti di primo grado alle stesse conclusioni dei periti di secondo grado Crimine e incertezza Avv. Veronica Scotti TuttoMisure Edizione telematica Crimine e incertezza Avv. Veronica Scotti TuttoMisure Edizione telematica Il PM, sorpreso dal ribaltamento della sentenza, ha ritenuto i periti nominati in sede di appello inadeguati a svolgere il loro incarico perché non hanno risposto ai quesiti, hanno lanciato dubbi, hanno detto che tutto è possibile. Ciò mostra, ancora una volta, la scarsa familiarità del mondo giuridico con il concetto di incertezza. Evidentemente la magistratura, ritenendo le attività tecniche perfette, si aspetta di poter ottenere risultati inequivocabili che possano fugare ogni dubbio circa la verità dei fatti. Possiamo incolpare i magistrati?

27 Non tutti gli attori del processo decisionale di conformità dei risultati sono responsabili ed esperti anche del processo di misura che li ha generati il legislatore che impone i limiti di legge gli estensori di metodi normalizzati i normatori gli utilizzatori - decisori i clienti in genere che hanno il diritto di essere istruiti e informati Chi può avere la professionalità e la competenza necessarie per divulgare la cultura della qualità del dato? solo NOI!