LA VALIDAZIONE DEI METODI ANALITICI

Transcript

1 Ancona 7 ottobre 003 Validazione dei metodi ed incertezza di misura nei laboratori di prova: le linee guida della Agenzie Ambientali. LA VALIDAZIONE DEI METODI ANALITICI Graziano Bonacchi ARPAT Agenzia regionale protezione ambientale della Toscana

2 Il Gruppo di lavoro ANPA - ARPA-APPA ha ritenuto utile proporre le Linee Guida sulla Validazione dei metodi e sulla Stima dell incertezza di misura, dopo aver verificato che è condivisa l esigenza di avere riferimenti comuni per affrontare questi temi, da sempre all attenzione degli operatori delle Agenzie impegnati nell attività di prova, che devono confrontare i risultati con limiti di legge o produrre valutazioni sui fattori di pressione e di rischio ambientale supportate dalla qualità e dalla confrontabilità dei dati ottenuti in laboratorio. Graziano Bonacchi Ancona 7 ottobre 003

3 Il Gruppo di lavoro si è proposto come obiettivo quello di tracciare delle linee guida generali, e di evidenziare le eventuali criticità nell applicazione della metodologia di validazione, che comprende evidentemente la stima dell incertezza. Le linee guida non trattano il tema del campionamento, primario e secondario, e quindi non considerano nel budget dell incertezza i contributi di queste importanti e critiche fasi di prova. La recente costituzione del Laboratorio di metrologia in APAT consentirà di concertare il lavoro anche su questi obiettivi. Graziano Bonacchi Ancona 7 ottobre 003 3

4 La necessità di applicare la nuova norma UNI CEI EN ISO/IEC 1705 :000 Requisiti generali per la competenza dei laboratori di prova e taratura, per ottenere l accreditamento delle prove, previsto nei programmi di tutte le Agenzie, ha senz altro contribuito ad alzare il livello dell attenzione dei Responsabili dei laboratori e dei Direttori Generali delle Agenzie stesse. D altra parte, su questi temi, negli ultimi anni, sono state prodotte Linee Guida da tutti i più importanti organismi internazionali ed è anche aumentata la produzione di articoli e pubblicazioni apparsi in qualificate riviste scientifiche nazionali ed internazionali Graziano Bonacchi Ancona 7 ottobre 003 4

5 Manuale UNICHIM 179/0 (Ed. 1999) Linee guida per la validazione dei metodi analitici Manuale UNICHIM 179/1 (Ed.001) Valutazione della precisione(ripetibilità) di un metodo analitico Manuale UNICHIM 197 (Ed.003) Guida alla scelta ed all uso dei materiali di riferimento EURACHEM/CITAC Guide (Ed.000) Quantifying Uncertainty in Analytical Measurement. IUPAC,ISO,AOAC International - TECHNICAL REPORT Harmonised guidelines for single-laboratory validation of analysis ( Resulting from Symposium Budapest 1999 and published Pure Appl.Chem 74,pp ,00). FAO / IAEA Training &Reference centre (1997) Guidelines for single laboratory validation of analytical methods for trace-level concentrations of organic chemicals Graziano Bonacchi Ancona 7 ottobre 003 5

6 La validazione di metodi dentro il processo di pianificazione/ progettazione di un servizio. La validazione dei metodi : Conferma, sostenuta da evidenze oggettive che i requisiti relativi ad una specifica utilizzazione o applicazione prevista sono stati soddisfatti La ISO 1705 prevede non solo che i metodi sviluppati dal laboratorio devono essere validati in modo appropriato prima dell uso, ma anche che la loro introduzione nell uso deve essere un attività pianificata e deve essere affidata a personale qualificato con risorse adeguate Graziano Bonacchi Ancona 7 ottobre 003 6

7 La validazione dei metodi, oltre a costituire un processo tecnico, è anche un processo di sistema qualità, i cui requisiti sono definiti dalla norma UNI EN ISO 9001:94. La ISO 1705, al punto 1.6, richiede infatti che i laboratori devono operare secondo un sistema qualità per le loro attività di prova e di taratura che soddisferà anche i requisiti della ISO 9001, quando comprendono la progettazione/sviluppo di nuovi metodi. La norma UNI EN ISO 9001:94 prevede ( punto 4.4) che la progettazione di qualsiasi prodotto o servizio ( e quindi anche la progettazione di un nuovo metodo di prova) parta dall esame delle richieste del cliente( nel caso dei laboratori pubblici di controllo, molto spesso, il cliente è il legislatore) e si sviluppi attraverso diverse fasi : - pianificazione; - definizione delle interfaccie organizzative e tecniche; - riesame della progettazione; - verifica, validazione; - modifiche della progettazione. Graziano Bonacchi Ancona 7 ottobre 003 7

8 Fasi della pianificazione della progettazione del metodo. La validazione di un metodo interno, così come la verifica dell applicabilità di un metodo normalizzato nell uso del laboratorio fa parte di un processo che si sviluppa attraverso le seguenti fasi coordinate dal responsabile dell attività di prova: richiesta di introduzione/modifica di un metodo prova studio di fattibilità approvazione dello studio di fattibilità stesura del metodo sperimentazione (validazione metodo interno o verifica di applicabilità metodo normalizzato) stesura del rapporto finale approvazione del metodo riesame del metodo eventuale rivalidazione del metodo. Graziano Bonacchi Ancona 7 ottobre 003 8

9 Richiesta di introduzione/modifica del metodo La richiesta deriva in genere da disposizioni di legge, ma può essere promossa anche da organizzazioni pubbliche e/o private o da singoli clienti privati e può provenire anche dall interno dell Agenzia sia da parte di operatori impegnati in compiti di controllo territoriale istituzionale sia dagli stessi operatori tecnici impegnati nell attività di prova. La richiesta può essere motivata per: estendere / modificare il campo di applicazione, estendere/ modificare il campo di misura, modificare / integrare i parametri qualità del metodo, determinare un nuovo analita mai ricercato nella matrice/ matrici indicate nel metodo, determinare un analita già ricercato, ma in una diversa matrice, apportare modifiche a metodi (normalizzati e non) impiegati per la determinazione di uno o più analiti, utilizzare tecniche diverse. Graziano Bonacchi Ancona 7 ottobre 003 9

10 Il responsabile dell attività di prova, dopo aver valutato ed accettato le richieste, deve assumere o assegnare ad un collaboratore qualificato, il compito e la responsabilità di pianificare le attività di progetto relative alle diverse fasi. Il responsabile della pianificazione deciderà a chi assegnare i compiti di ogni fase ed informerà il Responsabile della Garanzia della Qualità sull andamento dell intero processo. Graziano Bonacchi Ancona 7 ottobre

11 Studio di fattibilità Lo studio ha come presupposto la definizione dei requisiti che il metodo deve avere per garantire il soddisfacimento della richiesta, anche in rapporto ai tempi ed ai costi. Il responsabile dello studio deve verificare l esistenza di metodi normalizzati adeguati e, in questo caso, valutare se proporne l impiego oppure proporre, sulla base di motivazioni documentate, di sviluppare un metodo interno, Lo studio di fattibilità deve comprendere anche una valutazione relativa alla sicurezza ed alla compatibilità ambientale. Approvazione dello studio di fattibilità Il responsabile dell attività di prova approva lo studio congiuntamente al responsabile del laboratorio Graziano Bonacchi Ancona 7 ottobre

12 Stesura e sperimentazione del metodo di prova scelto Tutti i metodi di nuova introduzione nell uso di laboratorio, sia normalizzati che interni, devono essere sperimentati. La sperimentazione deve prevedere le seguenti fasi: controllo dello stato di manutenzione e taratura delle apparecchiature; informazione e formazione degli operatori tecnici, sulle caratteristiche del metodo ( che deve essere consegnato scritto) verifica, nel caso si tratti di un metodo normalizzato, che il laboratorio è in grado di applicarlo garantendone le prestazioni ( in particolare ripetibilità,riproducibilità ed esattezza). Se il metodo normalizzato non riporta i parametri di validazione, il laboratorio deve progettare uno studio adeguato ad esprimere il risultato della prova, se richiesto, con il dato dell incertezza. verifica preliminare, nel caso sia scelto un metodo interno, della sua specificità e successivamente degli altri parametri di validazione Graziano Bonacchi Ancona 7 ottobre 003 1

13 Alcune caratteristiche di un metodo : Sensibilità Specificità (Selettività) Campo di applicazione Campo di misura Limite di rivelabilità Limite di determinazione o quantificazione Linearità Accuratezza Esattezza Precisione Ripetibilità Riproducibilità Incertezza Robustezza Modalità, tipo e limiti della validazione di un metodo possono variare in ragione all applicazione, al settore o a quanto specificato in ambito regolamentato, sia esso volontario (es. metodi normati) o cogente (es. metodi ufficiali ). Graziano Bonacchi Ancona 7 ottobre

14 Classificazione dei metodi analitici secondo UNICHIM (Manuale UNICHIM 179/0:1999 ) Parametro Accuratezza Precisione Specificità ; recupero Limite di rivelabilità Limite di quantificazione Taratura Campo di applicazione Robustezza Prove identificazione Titoli composti principali Tipo di prova Prove rispetto valore fissato * * * Saggi di purezza quantitativi Saggi di purezza al limite Prove di comportamento * * * * * * * * * * * * * * * * * * * * * * * Graziano Bonacchi Ancona 7 ottobre

15 Controllo qualità e riesame dei requisiti del metodo Il metodo nuovo una volta introdotto nell uso routinario, deve essere sottoposto al controllo qualità, ad esempio con l uso di carte di controllo che consentono di verificare se le prestazioni di precisione ( ed anche di esattezza) stimate si mantengono nel tempo. Il riesame dei metodi deve essere eseguito con periodicità programmata. Rivalidazione del metodo La rivalidazione di un metodo interno deve essere eseguita se: non è impiegato da tempo vengono introdotte modificazioni significative: Graziano Bonacchi Ancona 7 ottobre

16 Analista diverso MODIFICHE Modifica nella preparazione del campione (diverso solvente, diverso intervallo di concentrazione) PARAMETRI Verifica dell adeguata qualificazione (controllo interno della qualità della prestazione tramite campioni civetta ecc.) Verifica completa di tutti i parametri di validazione Modifica nella preparazione del campione (stesso solvente, stesso intervallo di concentrazione) Verifica del recupero, esattezza, precisione, robustezza Variazione dei prodotti e reagenti Specificità, esattezza, precisione Modifiche strumentale Curva di taratura, precisione, LOD e LOQ Graziano Bonacchi Ancona 7 ottobre

17 Stesura del rapporto finale della sperimentazione Il responsabile del progettazione redige il rapporto finale, al quale sono allegati : la stesura definitiva del metodo interno o la eventuale procedura integrativa che dettaglia il metodo normalizzato la stesura definitiva delle procedure operative per il controllo e la manutenzione delle apparecchiature Il riferimento alle schede di sicurezza relative a reattivi ed apparecchiature. Approvazione ed autorizzazione del metodo di prova Il metodo di prova (o la procedura integrativa) è approvato dal responsabile dell attività di prova ed è autorizzato dal responsabile del laboratorio. Graziano Bonacchi Ancona 7 ottobre

18 Validazione di un metodo di prova: requisiti tecnici Graziano Bonacchi Ancona 7 ottobre

19 PARAMETRI CARATTERISTICI DI UN METODO ANALITICO * Specificità e selettività * Limite di rilevabilità (LOD) * Limite di quantificazione o determinazione (LOQ) * Intervallo di lavoro ed intervallo di linearità * Accuratezza (Precisione+esattezza) * Precisione (ripetibilit( ripetibilità e riproducibilità) * Sensibilità * Robustezza * Incertezza * Recupero Graziano Bonacchi Ancona 7 ottobre

20 ACCURATEZZA Il parametro dell accuratezza è definito in due modi : -grado di accordo tra il risultato di una misurazione e il valore vero del misurando (VIM) ; -grado di accordo tra il risultato di un procedimento analitico e il valore di riferimento accettato (IS0 575:1994 Accuracy ( trueness and precision) of measurement methods and results. La valutazione dell accuratezza si basa sul confronto tra il risultato ottenuto applicando il metodo stesso a un campione per la misurazione di un certo analita e il valore atteso per quell'analita in quel campione. Il parametro dell accuratezza è, quindi, il più importante tra quanti vengono impiegati nella valutazione di un metodo d'analisi. Graziano Bonacchi Ancona 7 ottobre 003 0

21 L accuratezza dipende dalla combinazione di errori casuali e sistematici. L accuratezza di un risultato è espressa con la sua incertezza, definita come l intervallo di valori entro cui è stimato che ricada, ad un definito livello di probabilità (es. p =0,95), il valore del misurando. Le esigenze del cliente possono essere meglio soddisfatte da dati meno accurati, ma ottenuti con rapidità o a minor costo o con procedimenti più sicuri per l operatore e l ambiente, ma, in ogni caso, l accuratezza deve essere conosciuta, come richiede esplicitamente la norma UNI CEI EN ISO/IEC 1705:000. Graziano Bonacchi Ancona 7 ottobre 003 1

22 Dalla considerazione appena riportata, nasce l'opportunità di ripartire l'esposizione sul parametro accuratezza, come sopra definito, in due parti: una riguardante la precisione (ricavata quantitativamente dallo scarto aleatorio) una riguardante l'accuratezza della media o esattezza (misurata quantitativamente dallo scostamento). Graziano Bonacchi Ancona 7 ottobre 003

23 PRECISIONE Definizione: Grado di accordo tra i risultati indipendenti ottenuti con un procedimento d analisi in condizioni ben specificate. Queste condizioni sono individuate da alcuni fattori : metodo, materiale esaminato, laboratorio, operatore, apparecchiatura, sua taratura, intervallo di tempo tra le prove. Premesso che il metodo ed il materiale esaminato devono, in ogni caso, essere sempre gli stessi, si possono avere, a seconda della variazione degli altri fattori, tre tipi di precisione: - Ripetibilità stretta o ripetibilità - Ripetibilità intermedia o riproducibilità intermedia - Riproducibilità. Graziano Bonacchi Ancona 7 ottobre 003 3

24 La Ripetibilità stretta o ripetibilità( S r ) = precisione ottenuta nelle condizioni in cui tutti i fattori sopra indicati cono mantenuti costanti. La Ripetibilità intermedia ( S I ) o riproducibilità intermedia ( Long term repeatibility ) = precisione ottenuta nelle condizioni in cui quattro fattori: 1) operatore, ) apparecchiatura, 3) taratura, 4) tempi di esecuzione variano con diverse modalità. La Riproducibilità ( S R ) = precisione ottenuta nelle condizioni in cui, oltre ai fattori sopra indicati, varia anche il laboratorio. La riproducibilità è stimabile soltanto da prove interlaboratorio. Rimanendo all interno del laboratorio è quindi possibile stimare soltanto la ripetibilità stretta o intermedia. Graziano Bonacchi Ancona 7 ottobre 003 4

25 La precisione di un metodo misura la dispersione dei risultati di prove ripetute sullo stesso campione dovuta a fattori casuali. La distribuzione è assunta di tipo normale o gaussiana e la dispersione random intorno al valore medio è misurato dallo scarto tipo di ripetibilità ( standard deviation ) : Scarto tipo di ripetibilità S r = n i = 1 ( X X ) i n 1 Media X n i= = 1 n X i Con n = numero delle prove e X i = valore della prova singola Graziano Bonacchi Ancona 7 ottobre 003 5

26 Il quadrato dello scarto tipo è la varianza. Tutte le operazioni relative alla composizione dei diversi contributi delle incertezze ( Legge di propagazione degli errori ) devono essere effettuate sommando le varianze e non gli scarti tipo. V r = S r = n i = 1 ( X X ) i n 1 X n i= = 1 n X i Con n = numero delle prove e X i = valore della prova singola Graziano Bonacchi Ancona 7 ottobre 003 6

27 Lo scarto tipo della media delle n prove di ripetibilità è espressa dalla relazione : S ( media ) r = S r n Il limite di ripetibilità è definito come il parametro con il quale si deve confrontare la differenza tra dati in doppio ottenuti in condizioni di ripetibilità. La definizione vale anche per il limite riferito alle condizioni di ripetibilità intermedia o riproducibilità). Limite di ripetibilità r = X X1 = t Sr Limite di ripetibilità intermedia r i = X X1 = t SI Limite di riproducibilità R = X X1 = t SR Graziano Bonacchi Ancona 7 ottobre 003 7

28 Nella relazione del limite di ripetibilità è considerato un fattore di copertura : il t di Student che accompagna tutti i calcoli statistici impiegati nella gestione dei dati di prova. r = t( p= 0,95; ν = n 1) Sr Serve una premessa. Lo scarto tipo, ottenuto con un numero elevato di prove documenta che l oscillazione intorno al valore medio definita dall intervallo ±1S copre il 68% dei dati dentro la distribuzione gaussiana (a due code), mentre l oscillazione dentro l intervallo ± S copre il 95 % ( vedi slide n.1). Il laboratorio fa riferimento ad un intervallo di fiducia del 95%,, per cui il valore di t, se il numero di prove è sufficientemente elevato (diciamo n>0), dovrebbe essere ed il limite di riipetibilità diventa : r = S r =, 8 S r Graziano Bonacchi Ancona 7 ottobre 003 8

29 Inserendo il t di student,il cui valore si trova riportato in tabelle, che fanno riferimento al grado di libertà (ν =n-1) ed al livello di fiducia ( confidence limits ), es. p=0,95, da considerare nel calcolo dei risultato, il laboratorio tiene conto delle correzioni necessarie per il fatto che le n prove eseguite non rappresentano con efficacia la popolazione campione. Ad esempio, se la ripetibilità è stata stimata con n= 10 prove, il t di Student per ν = n-1=9 è =,6 ed il limite di ripetibilità sarà : r =,6 S r = 3, S r Il t di Student è utilizzato anche nell espressione dell intervallo di confidenza (I.C). stimato per il valore medio delle n prove di ripetibilità ad un livello di fiducia del 95% (p=0,95): Risultato = X ± t S n Graziano Bonacchi Ancona 7 ottobre 003 9

30 La stima corretta dello scarto tipo di ripetibilità ha una importanza decisiva nella gestione dei dati non solo di precisione, ma anche di esattezza e di incertezza. Il valore dello scarto tipo di ripetibilità stretta dei risultati ottenuti applicando il metodo, consente di confrontare le prestazioni del laboratorio con quelle dichiarate nel metodo ufficiale oppure riportate nella documentazione di un circuito interlaboratorio od anche definite dal laboratorio stesso come adeguate a soddisfare le esigenze del cliente. La statistica insegna che il rapporto tra scarto tipo S r del laboratorio e scarto tipo target indicato con σ è funzione del numero delle prove n : S A σr r B Graziano Bonacchi Ancona 7 ottobre

31 A S r σ r B Limite inferiore Limite superiore Gradi di libertà ν=n-1 A B , ,91 3 0,68 1, ,348 1, ,408 1,60 6 0,454 1, ,491 1,51 8 0,5 1, ,548 1, ,570 1, ,589 1, , ,69 1, ,748 1,51 p =0,95 Graziano Bonacchi Ancona 7 ottobre

32 Il confronto tra scarti tipo può essere eseguito, sostanzialmente con gli stessi risultati, utilizzando il test di Fischer che confronta le varianze : S S r ( max, ν = n 1) ) r ( min, ν = m 1) F ( ν = n 1; ν = m 1; p= 0,95) IL MODULO STATISTICO 30, disponibile nel CD distribuito opera in automatico tutti i calcoli necessari a stimare lo scarto tipo di ripetibilità dopo aver controllato l esistenza di normalità della distribuzione e di outliers dati anomali operando gli opportuni e previsti test statistici. Graziano Bonacchi Ancona 7 ottobre 003 3

33 La relazione dello scarto tipo di ripetibilità rappresenta un esempio di propagazione degli errori, ed infatti, se la consideriamo senza fattore di copertura, possiamo vedere che la differenza tra i due valori ha una incertezza data dalla somma delle due varianze, che si assumono entrambi uguali a quella stimata con le n prove di ripetibilità r = X X1 = Sr differenza r r S = S + S = S r La cosa più importante da considerare e da ricordare è questa: la relazione, per essere valida, comporta che lo scarto tipo di ripetibilità, calcolato, ad esempio, sei mesi prima, sia ancora valido e che, quindi, i risultati delle due prove, eseguite oggi appartengano alla stessa popolazione dei risultati delle n prove di ripetibilità iniziali. Per poter essere sicuri di questo, il laboratorio deve assicurare il controllo statistico del metodo: DEVE AVERE LE CARTE DI CONTROLLO Graziano Bonacchi Ancona 7 ottobre

34 La stima della precisione inizia sempre con le prove eseguite in condizioni di ripetibilità, perchè l acquisizione del dato di scarto tipo S r risulta fondamentale nel processo di validazione del metodo e nel processo di controllo del mantenimento nel tempo delle prestazioni degli operatori e del metodo stesso. Il parametro della ripetibilità potrebbe essere stimato anche senza conoscere il valore presunto vero del parametro da determinare. Nella pratica del laboratorio, tuttavia, sono scelti, come campioni di prova, materiali di riferimento, certificati o preparati dal laboratorio, che siano rappresentativi delle prestazioni ( campo di applicazione e campo di misura) del metodo di prova sotto indagine, sia per il tipo di matrice che per il livello, presunto noto, dell analita da determinare. Graziano Bonacchi Ancona 7 ottobre

35 Dal momento che il laboratorio esegue le n prove di ripetibilità su un campione rappresentativo conoscendo il valore presunto vero dell analita da determinare, il valore medio delle prove definisce il valore dell eventuale differenza ( scostamento ) rispetto al valore di riferimento. Se non esiste differenza significativa ( ossia se il metodo è esatto), l incertezza del risultato ottenuto coincide con l imprecisione del risultato ed è esprimibile con lo scarto tipo di ripetibilità, di ripetibilità intermedia o di riproducibilità Graziano Bonacchi Ancona 7 ottobre

36 Se esiste una differenza significativa tra il valore medio delle n prove ed il valore di riferimento, e tale differenza permane nonostante che il laboratorio abbia cercato di migliorare le prestazioni del metodo, il laboratorio stesso può decidere di correggere i risultati ottenuti inserendo nel calcolo un fattore di correzione, per tener conto dello scostamento. In questo caso, l incertezza composta del risultato non è stimata soltanto con il parametro dell imprecisione (espresso dallo scarto tipo di ripetibilità, stretta o intermedia, o di riproducibilità), ma dovrà tener conto anche del contributo dell incertezza del fattore di correzione, ossia del valore dello scostamento. Il valore dello scostamento varierà infatti da sequenza a sequenza di n prove e tale variazione sarà tanto più casuale quanto più i valori medi ottenuti saranno indipendenti tra di loro, come avviene appunto nelle condizioni di riproducibilità. Graziano Bonacchi Ancona 7 ottobre

37 RIPRODUCIBILITA Lo scarto tipo di riproducibilità è ricavato dallo scarto tipo di ripetibilità dei p laboratori partecipanti e dallo scarto tipo interlaboratorio, che è a sua volta ricavato dallo scarto tipo delle medie dei risultati ottenuti nelle n prove ripetute dai singoli laboratori: R L σ = σ + σ σ σ σ r L = σ M L = σ R n S r m r Numero repliche effettuate dai laboratori Numero prove effettuate in routine σ σ M r p j= = 1 = p S j 1 ( p 1) p j= 1 ( ) X X Media delle prove in doppio j Graziano Bonacchi Ancona 7 ottobre

38 RIPRODUCIBILITA Dallo scarto tipo di riproducibilità si ricava direttamente il valore dell incertezza dei risultati del metodo, considerata naturalmente al livello di concentrazione studiato nel circuito. Un laboratorio che non ha partecipato al circuito, può appropriarsi dei dati di riproducibilità del circuito stesso se, operando su un campione simile a quello studiato, ottiene da m prove di ripetibilità un valore di scarto tipo coerente con quello determinato dai laboratori partecipanti. La coerenza è definita dal rapporto tra gli scarti tipo già riportato precedentemente. Se così è,esprimerà l incertezza, al 95% di confidenza (p=0,95), in uno dei due modi: Incertezza = σ + L Sr m Incertezza = σ R Graziano Bonacchi Ancona 7 ottobre

39 ESATTEZZA ( ACCURATEZZA DELLA MEDIA ) Definizione : Grado di accordo tra il valore medio ottenuto da una larga serie di risultati ed il valore di riferimento accettato Se laboratorio ha eseguito le n prove di ripetibilità su un materiale di riferimento in cui è noto il valore, presunto vero, dell analita, la differenza tra la media dei valori trovati ed il valore noto misura l esattezza del risultato, che viene espressa con il termine scostamento ( bias ). Lo scostamento quindi misura il recupero dell analita dalla matrice. Se il laboratorio esegue sullo stesso materiale di riferimento una successiva serie di n prove, è certo che troverà dei valori diversi di scostamento. In questo senso è necessario tener conto anche della variabilità ( incertezza ) del recupero. Graziano Bonacchi Ancona 7 ottobre

40 ESATTEZZA Confronto con un materiale di riferimento Si eseguono n prove replicate ( almeno 6 ; possibilmente 10) indipendenti su un materiale di riferimento o su una matrice bianca fortificata e, dopo aver valutato che lo scarto tipo trovato è in linea con le aspettative di ripetibilità, si confronta il valore medio trovato con il valore di riferimento e si verifica se la loro differenza è significativa o meno al 95 % (p=0,95). Se è conosciuta l incertezza del materiale di riferimento la verifica è eseguita con il seguente test statistico : C CRM s n r + X u CRM t p,ν con C CRM = valore certificato del CRM con X medio = valore medio delle n prove di ripetibilità Graziano Bonacchi Ancona 7 ottobre

41 S r + ucrm n ν = n S r n ( 1) e concludere che lo scostamento riferibile al metodo e quello riferibile al laboratorio sono trascurabili. Se ne potrebbe concludere che il metodo è esatto,che l incertezza del recupero è compresa nella ripetibilità del metodo e che, l incertezza del risultato della prova, ottenuto ad esempio come valor medio di m replicati è esprimibile dalla relazione: S U + m r = tp, ν ucrm Con m = numero delle prove eseguite sul campione vero. Per prova singola m =1. N.B. La relazione non tiene conto di altri contributi all incertezza, quali ad esempio, l incertezza di taratura ecc. Graziano Bonacchi Ancona 7 ottobre

42 ESATTEZZA Confronto con un materiale di riferimento Se si verifica che il valore medio trovato con le prove di ripetibilità ha uno scostamento, stimato con la relazione precedente, significativo rispetto al valore di riferimento, il laboratorio ne verifica, se applicabile, la significatività tenendo conto, nella stima dell esattezza, anche della variabilità riferibile a condizioni di riproducibilità. Se sono conosciute l incertezza del materiale di riferimento ed anche la varianza interlaboratorio, la verifica è eseguita con il seguente test statistico : C σ L CRM sr + m X + u CRM t p, ν Graziano Bonacchi Ancona 7 ottobre 003 4

43 ESATTEZZA Confronto con un metodo normalizzato Il metodo da validare viene confrontato con uno normalizzato che dispone di dati di scarto tipo di ripetibilità e di riproducibilità. Se il laboratorio esegue sullo stesso campione due serie di prove n a e n b, con il metodo da validare e con quello normalizzato, ottenendo due valori medi e due valori di scarto tipo s a e s b non significativamente diversi tra loro ed entrambi compatibili con gli scarti tipo ( vedi PG 99-0) del metodo normalizzato allora il metodo interno può essere considerato esatto se : S x a 1 n a x b + con t = valore della variabile di Student al livello di probabilità p( al 95%) e con ν= gradi di libertà. S = 1 n b ( na 1) Sa + ( nb 1) ( n + n ) a b S t b p,ν Graziano Bonacchi Ancona 7 ottobre

44 Precisione Esattezza - Incertezza Incertezza: Parametro associato al risultato di una misurazione o prova, che caratterizza la dispersione dei valori ragionevolmente attribuibili al misurando. Precisione: Grado di accordo tra i risultati indipendenti ottenuti con un procedimento d analisi in condizioni ben specificate. Esattezza: Grado di accordo tra il valore medio ottenuto da una larga serie di risultati ed il valore di riferimento accettato Se la precisione è stimata eseguendo n prove su un campione di cui si conosca la concentrazione dell analita ed in condizioni che garantiscano l indipendenza dei dati ( RIPRODUCIBILTA O ANCHE RIPETIBILITA INTERMEDIA ), lo scarto tipo esprime anche il valore dell incertezza se il valore medio delle prove non si discosta significativamente dal valore di riferimento, ossia se il metodo è esatto. Graziano Bonacchi Ancona 7 ottobre

45 PRECISIONE ed ESATTEZZA PRECISIONE = Differenza (scarto aleatorio) tra un singolo valore e la media degli n valori ESATTEZZA ( accuratezza della media) = Differenza (scostamento) tra il valore presunto vero ed il valore medio degli n. valori ACCURATEZZA = Differenza ( scarto) tra il valore presunto vero ed il valore singolo del misurando Graziano Bonacchi Ancona 7 ottobre

46 Riepilogo: Scarto aleatorio: differenza tra il risultato della singola prova e la media dei risultati delle n prove di ripetibilità ( PRECISIONE); Scostamento :differenza tra il valore medio delle n prove ed il valore presunto vero (ESATTEZZA - trueness); Scarto :differenza tra il risultato della singola prova ed il valore presunto vero ( ACCURATEZZA - accuracy). Dalla definizione di accuratezza sopra riportata, si comprende che questo parametro racchiude in sé sia il concetto di esattezza che quello di precisione. scarto = scostamento ± scarto aleatorio Graziano Bonacchi Ancona 7 ottobre

47 ACCURATEZZA = ESATTEZZA + PRECISIONE ( Scarto = Scostamento ± Scarto aleatorio ) * * - 5,0 ESATTEZZA Scostamento = ( X M X R ) = + 4, -,0 10,0 + 4, + 4,0 +,5 + 5,0 14, + 6,0 + 7,0 + 8,0 + 9,0 + 8,5 ACCURATEZZA Scarto = ( Xi X R ) = + 9,0 x R x M 0 5-9, 10-7, - 0, ,8 + 1,8 +,8 + 3,8 + 4,3 + 4,8 5 0 PRECISIONE Scarto aleatorio = (Xi X M )= + 4,8 x R = valore di riferimento accettato x M = media delle misure x 1, x, x 3, x 4. x n = risultati singole misuse Dati distribuiti normalmente test Shapiro-Wilks ( α = 0,05 %) n<40 * Dati anomali per test di Grupps coppia di dati ( α = 0,05 %) Graziano Bonacchi Ancona 7 ottobre

48 bias bias = Xm Xm X X X R R % = 100 R DATI SPERIMENTALI RIPORTATI NEL GRAFICO Parametri statistici tutti i valori senza anomali Numero misure 10 8 Intervallo valori (range) 14 6,5 Valore minima misura 5 1,5 Valore massima misura Mediana 15,5 16,5 Media 14, 16, Scarto tipo ( Sr ) 4,8,3 Coeff. Variazione % (CVr ) 33,8 14,1 Gradi libertà ( ν = n-1) 9 7 t di student ( ν = n-1 ; p =0,95),6,364 Intervallo confidenza media ( p = 0,95 ) 3,4 1,9 Limite inferiore intervallo 10,8 14,3 Limite superiore intervallo 17,6 18, Limite di ripetibilità metodo ( r ) ( p = 0,95) 15,3 7,7 Esattezza Scostamento (bias) 4, 6, Scostamento (bias) % 4,0 6,5 Verifica esattezza per confronto t di student NON ESATTO NON ESATTO t calcolato ( ν = n-1 ; p=0,95) > t tabulato,769 >,6 7,689 >,364 t calcolato = Xm X Sr n R = Graziano Bonacchi Ancona 7 ottobre

49 LIMITE DI RIVELABILITA Determinazione del limite di rivelabilità del metodo di prova La determinazione del limite di rivelabilità rappresenta spesso un requisito importante, soprattutto nel caso di analisi in tracce. Il limite di rivelabilità può essere calcolato, per via empirica, analizzando campioni preparati per aggiunta del misurando alla matrice in quantità via via decrescenti, fino ad identificare il valore del misurando in grado di dare un rapporto segnale / rumore (S/N)=3. Il limite di rivelabilità può essere statisticamente definito ( considerando un livello di fiducia del 95%) come il valore del misurando che produce un segnale Y equivalente al segnale prodotto da un bianco ( ottenuto dal trattamento della matrice priva del misurando) Y B più il triplo dello scarto tipo determinato sul segnale del bianco 3S B ; ( METODO IUPAC ) Y=Y B +3S B; Da un punto di vista statistico la relazione corretta, ad un livello di fiducia del 95%, è: Y= Y B +3,8 S B. Graziano Bonacchi Ancona 7 ottobre

50 il limite di rivelabilità può essere stimato dai dati della retta di taratura, assumendo che lo scarto tipo del bianco coincida con lo scarto tipo dei residui : s y x = i ( y yˆ ) i n con y i = valori sperimentali ed valori stimati dalla retta di regressione ed n = numero complessivo delle determinazioni eseguite per costruire la retta di regressione Nel caso il metodo preveda la costruzione di una retta di taratura e si disponga di opportuni programmi statistici, il limite di rivelabilità può essere agevolmente stimato, utilizzando opportuni programmi statistici che applicano la relazione che fornisce l incertezza della retta: S y 1 1 ( y y) Sx = x + + b m n b x x i Graziano Bonacchi Ancona 7 ottobre ( ) Dalle considerazioni precedenti si desume l importanza di conoscere le modalità di stima del limite di ripetibilità. Il metodo progettato dal laboratorio deve quindi dare evidenza a questa informazione. i

51 LIMITE di QUANTIFICAZIONE: Il limite di quantificazione = limite di determinazione : minimo valore del determinando che può essere rivelato e calcolato con accettabile precisione Il limite di quantificazione può essere stimato dai dati della retta di taratura, disponendo di opportuni programmi statistici, impostando il livello di precisione desiderato: ad esempio una precisione non inferiore al 10%. IUPAC stima,ad un livello di fiducia del 95%, il limite di quantificazione come il livello di concentrazione corrispondente al segnale del bianco + 10 volte lo scarto tipo del bianco. LIMITE di DECISIONE Il limite di decisione non deve essere confuso con il limite di rivelabilità: esso è definito come il livello di segnale con una probabilità del 50% di essere confuso con quello del bianco e quindi con la stessa probabilità di appartenere al determinando. Graziano Bonacchi Ancona 7 ottobre

52 STIMA DELL INCERTEZZA Qualsiasi sia il criterio scelto per la stima dell incertezza, è chiaro, dalle cose dette finora, che essa può essere intrapresa solo dopo aver eliminato o corretto tutti gli effetti sistematici conosciuti, perché il valore del risultato deve rappresentare la miglior stima possibile della grandezza da misurare. Nella parte della relazione relativa all esattezza, è stato visto come stimare la significatività o meno degli effetti sistematici. Graziano Bonacchi Ancona 7 ottobre 003 5

53 INCERTEZZA Modalità di stima Approccio chimico /olistico - Impiego dello scarto tipo di ripetibilità intermedia( R Chart) - Impiego dello scarto tipo di riproducibilità Ricavato da metodi ufficiali Ricavato dal confronto con metodi validati Ricavato da dati riportati nei certificati dei MRC Ricavato dalla relazione di Horwitz (C : espressa in m/m): CV R ( ) ( 1 0,5logC ) % = Ricavato dalla relazione di Thompson ( valida sotto 10 ppb; C: espressa in m/m) σ = 0, C R Graziano Bonacchi Ancona 7 ottobre

54 INCERTEZZA Modalità di stima Approccio metrologico -Legge di propagazione degli errori La norma ENV 13005/000 considera due fonti di incertezza: -quelle valutabili dallo scarto tipo di ripetibilità (categoria A): -quelle valutabili attraverso informazioni o stime di provenienza interna ( incertezza di taratura ) o esterna ( incertezza dei materiali di riferimento; incertezza di pesata ; incertezza di diluizione ecc) (categoria B). In entrambi i casi si utilizza un modello matematico,che descrive la relazione funzionale tra grandezze da quantificare Y e le grandezze X effettivamente misurate (grandezze di ingresso) Graziano Bonacchi Ancona 7 ottobre

55 Graziano Bonacchi 55 Ancona 7 ottobre 003 INCERTEZZA Modalità di stima Approccio metrologico -Legge di propagazione degli errori ( ) x i x N x x f y... 1,,... = ( ) ( ) ( ) = = N i i i i c x u x x f y u 1. δ δ Nella maggior parte dei casi che interessano i calcoli sono semplificabili, come risulta dai due esempi: 3 1 x x x y + + = ( ) ( ) ( ) ( ) 3 1 x u x u x u y u c + + = x x x x y = ( ) ( ) ( ) ( ) ( ) ( ) x x u x x u x x u x x u y y u y u c c = = &

56 Fine presentazione Graziano Bonacchi Ancona 7 ottobre