QUALITÀ, VERIFICA E VALIDAZIONE DEL DATO. Eleonora Beccaloni Reparto Suolo e Rifiuti Istituto Superiore di Sanità Roma Suolo@iss.

Transcript

1 QUALITÀ, VERIFICA E VALIDAZIONE DEL DATO Eleonora Beccaloni Reparto Suolo e Rifiuti Istituto Superiore di Sanità Roma Suolo@iss.it

2 Qualità del dato Le risultanze ottenute da analisi chimiche sono spesso la base per decisioni in merito a: Problematiche ambientali. Problematiche di salute pubblica. Valutazione del Rischio igienico-sanitario. Problematiche di sicurezza alimentare. Problematiche d interesse legale. Quindi perché i dati siano accettati come validi è necessario dimostrare l adeguatezza delle metodiche analitiche scelte nonché l attendibilità dei risultati.

3 GLI OBIETTIVI DI QUALITÀ Definire l errore accettabile e quindi un piano di qualità (requisiti legislativi) Definire gli Obiettivi della Qualità dei Dati DQO S (Data Quality Objectives)

4 Obiettivi di qualità del dato (DQOs) Misure degli obiettivi di qualità(mqos) Sono dichiarazioni numeriche di performance degli obiettivi della qualità dei Dati Si riferiscono specificatamente ai requisiti analitici desiderati da un particolare metodo analitico Sono test di verifica di accettazione per gli Attributi della qualità dei Dati, misurati solitamente mediante i DQIs

5 Indicatori della Qualità dei Dati (DQI s ) PARCCS - Precisione - Accuratezza (deviazione della misura o esattezza) - Rappresentatività - Completezza - Comparabilità - Sensibilità

6 Indicatori di Qualità dei Dati Gli DQIs sono misure quantitative e qualitative degli attributi principali della qualità Indicatori Quantitativi - precisione, deviazione della misura e sensibilità Indicatori Qualitativi - rappresentatività, comparabilità, e completezza

7 INDICATORI Quantitativi

8 PRECISIONE La precisione è la misura di accordo fra misure ripetute della stessa proprietà nelle identiche circostanze o in circostanze sostanzialmente simili è un componente dell incertezza di misura Si esprime come range, %RPD o come deviazione standard dei risultati ottenuti Determinazione Repliche di CRM possono essere utilizzate per la determinazione della precisione di un metodo analitico

9 Deviazione della misura (BIAS) Bias è la distorsione sistematica o persistente di un processo di misura che causa l'errore in un unica direzione Il Bias è un indicatore quantitativo della grandezza dell'errore sistematico derivante da diverse cause Si esprime come % di recupero

10 Verifica del bias Calibrazione strumentale Bianchi Campioni Materiale di riferimento

11 Calibrazione strumentale Punti richiesti almeno 3 Bianco del punto zero trattamento del campione possibilmente quello di Concentrazione del campione ove possibile deve essere a circa metà della retta di calibrazione Linearità della taratura Coefficiente di correlazione più vicino a 1

12 Controllo dei bianchi Il controllo dei bianchi può aiutare a definire il bias Bianco strumentale Bianco dell intera procedura analitica Bianco di calibrazione

13 Bianchi di Strumento Servono a verificare gli eventuali errori sistematici dovuti all effetto memoria strumentale - (freq. su esigenza, dopo campioni inquinanti) Consiste nell analizzare un bianco del solvente usato per l analisi I Bianchi strumentali sono sotto controllo quando: - il loro valore è inferiore al limite di quantificazione

14 Bianchi del Metodo Servono a verificare gli eventuali errori sistematici dovuti a vetreria, reagenti e laboratorio - ogni 20 campioni Consiste nell analizzare un bianco del solvente usato per l analisi sottoposto a tutte le operazioni del metodo I Bianchi del metodo sono sotto controllo quando: - il loro valore è inferiore al limite di quantificazione

15 Bianchi di Calibrazione Servono a verificare gli eventuali errori sistematici dovuti all effetto memoria strumentale riscontrati dopo il controllo della calibrazione Consiste nell analizzare un bianco del solvente usato per l analisi I Bianchi di calibrazione sono sotto controllo quando: - Il loro valore è inferiore al limite di quantificazione

16 Controllo dei Campioni Sui campioni va eseguito un controllo iniziale per definire: eventuali diluizioni; verifica delle interferenze; verifica delle scelte dei parametri strumentali;

17 Materiale di riferimento Usato in tutte le procedure che caratterizzano l attività del QA e QC. Nel caso specifico i materiali di riferimento servono a verificare gli eventuali errori sistematici dovuti al metodo eseguito su una matrice reale seppur omogenea. I MCR sono sotto controllo quando il loro valore trovato è nei limiti definiti

18 ACCURATEZZA È una misura complessiva della precisione (errori statistici) e del bias (errori sistematici) durante l esecuzione del metodo L accuratezza si compone di precisione e di bias

19 L influenza del Bias e della precisione sull accuratezza generale Imprecisi e deviati poco preisi e poco deviati Precisi e deviati Precisi e non deviati

20 QUALITA DEL DATO MATERIALI DI RIFERIMENTO La funzione dei materiali di riferimento è rivolte alla: - calibrazione della strumentazione; - sviluppo e valutazione dei metodi; - qualificazione della riferibilità della misura; - ed a tutte quelle funzioni che caratterizzano l'attività di Quality Assurance (QA) e Quality Control (QC).

21 CASO STUDIO Nel Laboratorio di Igiene Ambientale dell Istituto Superiore di Sanità è stato condotto uno studio approfondito sulla determinazione del contenuto totale di arsenico in una matrice solida. Per lo studio in questione è stato utilizzato un materiale di riferimento del tipo BCR n. 141R rappresentato da un suolo calcareo.

22 SCHEMA OPERATIVO Prove di Recupero Mineralizzazione di due soluzioni standard con concentrazione di As pari a 50 e 100 µg/l rispettivamente Letture strumentali mediante ICP-AES, ETAAS con correttori di fondo Zeeman e lampada al Deuterio Prova sul materiale di riferimento Mineralizzazione del campione in sei vessels Lettura strumentale in triplo per ogni vessel con gli stessi strumenti sopra elencati

23 PROVE DI RECUPERO RISULTATI Le prove di recupero non hanno evidenziato particolari problemi né durante il processo di mineralizzazione né, tantomeno, durante l'analisi strumentale in entrambe le tecniche saggiate. I risultati sono stati soddisfacenti poiché il recupero è stato del 95% nella soluzione standard da 100 µg/l e del 108% nella soluzione standard da 50 µg/l per entrambe le due diverse tecniche strumentali.

24 PROVE DI RECUPERO LETTURA ICP-AES

25 PROVE SUL BCR RISULTATI Sulla matrice suolo sono stati riscontrati interferenze di riga durante le determinazioni in ICP-AES e di matrice durante le analisi in ETAAS (con correttore di fondo con lampada al Deuterio). Per entrambe le tecniche strumentali è stato necessario cambiare la lunghezza d onda, passando da una più sensibile ( nm) ma con interferenti, ad una meno sensibile ( nm) priva di interferenze.

26 LETTURA ICP-AES 193,696 nm As line

27 LETTURA ICP-AES 188,979 nm As line

28 LETTURA ETAAS (Deuterium) 193,696 nm As line

29 LETTURA ETAAS (Deuterium) 188,979 nm As line

30 LETTURA ETAAS (Zeeman) 193,696 nm As line

31 RING TEST Lo stesso materiale di riferimento è stato utilizzato per uno studio di intercalibrazione. I partecipanti alla prova hanno usato, oltre alle tecniche strumentali precedentemente descritte, altre due tecniche spettroscopiche, in particolare spettroscopia in assorbimento atomico con sviluppo d idruri e spettroscopia in ICP-MS.

32 Valori trovati nel materiale di riferimento BCR 141 R determinati con le due lunghezze d onda con le diverse tecniche di assorbimento atomico (mg/kg s.s.) ETAAS Deuterio ETAAS Zeeman HAAS 188,98 nm 193,70 nm 188,98 nm 193,70 nm 188,98 nm 193,70 m VESSEL 1 9,13 42,1 n.d. 10,7 n.d. 7,33 VESSEL 2 8,45 37,2 n.d. 8,89 n.d. 7,68 VESSEL 3 8,14 35,4 n.d. 9,00 n.d. 14,9 VESSEL 4 8,07 40,4 n.d. 10,5 n.d. 8,45 VESSEL 5 9,38 36,7 n.d. 10,3 n.d. 6,60 VESSEL 6 8,01 37,8 n.d. 8,87 n.d. 8,88 Valore trovato 8,53 ± 0,53 38,3 ± 2,5-9,71 ± 0,80-8,97 ± 2,75 Valore certificato 8,84 ± 0,43 n.d. = non determinato perché non necessario

33 Valori trovati nel materiale di riferimento BCR 141 R determinati mediante ICP-AES e ICP-MS (mg/kg s.s.) ICP-AES ICP-MS 188,98 nm 193,70 nm VESSEL 1 10,5 n.d. 8,6 VESSEL 2 11,6 n.d. 11,2 VESSEL 3 10,2 n.d. 11,6 VESSEL 4 11,4 n.d. 13,1 VESSEL 5 10,9 n.d. 13,3 VESSEL 6 10,3 n.d. 10,3 Valore trovato 10,8 ± 0,56-11,6 ± 1,90 Valore certificato 8,84 ± 0,43

34 Grafico comparativo dei valori medi e deviazioni standard dei risultati di As ottenuti mediante diverse tecniche di spettroscopia (mg/kg ss) Valori trovati Valore di riferimento 12 mg/kg ss ETAAS Deuterium 188,98 nm ETAAS Zeeman 193,70 nm HAAS 193,70 nm ICP-AES 188,98 nm ICP-MS

35 CONCLUSIONI Non è del tutto semplice determinare i microinquinanti inorganici, soprattutto in matrici ambientali complesse ed eterogenee. L uso routinario del materiale di riferimento permette di risolvere problemi che non sarebbero neanche evidenziati, garantendo la qualità del dato finale. La partecipazione a studi di intercalibrazione o ring-test si rivela molto utile, in alcuni casi risolutiva, poiché permette di valutare, mediante elaborazione statistica dei risultati, alcune criticità legate alle metodiche stesse di analisi e non ad errori dell operatore. La possibilità di scelta della tecnica strumentale più idonea è molto ampia, purché si prenda coscienza dei pregi e dei difetti di ogni tecnica strumentale.

36 SENSIBILITÀ La sensibilità è la possibilità di un metodo o di uno strumento di discriminare fra le risposte di misura La sensibilità può essere considerata come il limite di rivelabilità - ma questo termine è usato spesso senza definire che cosa si intende (rivelazione o quantificazione minima) DQI la sensibilità descrive la possibilità di misurazione del costituente ai bassi livelli - un livello pratico di quantificazione descrive la capacità di misurare un costituente con la certezza conosciuta

37 Limiti di rivelabilità Limite di rivelabilità strumentale E la minima concentrazione misurata da cui si possa dedurre con ragionevole certezza statistica la presenza dell analita. E numericamente uguale a tre volte la deviazione standards del valore medio della soluzione standards dell analita più prossima al bianco, sottratto del bianco stesso. Il calcolo deve essere effettuato su almeno dieci repliche di soluzione standards e dieci repliche di bianco. Il bianco è definito come il procedimento analitico completo, con omissione del campione di prova. Limite di rivelabilità del metodo E la minima concentrazione misurata da cui si possa dedurre con ragionevole certezza statistica la presenza dell analita tenendo conto dell intera procedura analitica. E numericamente uguale al limite di rivelabilità strumentale per il fattore di diluizione. Limite di quantificazione E il più basso tenore di analita misurabile con ragionevole certezza statistica. Qualora sia l accuratezza che la precisione siano costanti in un campo di concentrazione intorno al limite di rivelazione. Il limite di qualificazione sarà numericamente uguale a dieci volte la deviazione standards del valore medio della soluzione standards dell analita più prossima al bianco, sottratto del bianco stesso. Il bianco è definito come il procedimento analitico completo, con omissione del campione di prova.

38 Quality Associated with Calibration Regions Zero Analyte Concentration Approximate MDL Level Approximate PQL Level Region of high uncertainty Region of certain detection Region of less certain quantification Region of certain quantification Matrix/method blank 3σ LOD LOQ 10 σ LOD = limit of detection LOQ = limit of quantitation σ = population standard deviation Instrument signal, standard deviation units

39 VERIFICA La verifica di dati si riferisce alle procedure necessarie per accertarsi se un insieme di dati sia una riflessione fedele di tutti i processi e le procedure seguite per generare i dati la verifica è un processo di valutazione che richiede l'esame obiettivo della complessità, correttezza e conformità di uno specifico set di dati, rispetto ai metodi, alle procedure e alle condizioni progettuali precedentemente definite

40 Attività tipiche di verifica -Confermare che le pratiche richieste dal metodo, dalla procedura o dai requisiti del progetto, siano state realmente impiegate -Effettuare indipendentemente il doppio controllo dei calcoli -Confermare che le note del laboratorio o di campo siano costanti con i rapporti convenzionali -Valutazione analitica e incertezza del campo -Controllare le operazioni sistema di gestione informativo del laboratorio

41 INDICATORI Quantitativi

42 DQIs da considerare nelle verifica Completezza: Abbiamo ottenuto il numero voluto di punti di riferimenti dei campioni, con i metà dati corrispondenti? Comparabilità: Possiamo confermare che tutti i campioni sono stati analizzati usando i metodi paragonabili? Rappresentatività: Lo schema di campionamento previsto è stato seguito giustamente?

43 COMPLETEZZA La completezza è una misura della quantità di dati validi ottenuti da un sistema di misura, espresso come percentuale del numero di misure valide che dovrebbero essere raccolte il DQI per la completezza è spesso espresso come percentuale Completezza % = numero di risultati validi/numero di possibili risultati

44 COMPARABILITÀ La comparabilità è la confidenza con la quale un set di dati può essere comparato con un altro set di dati. I set di dati da confrontare devono avere la stessa seguenza di analiti/varibili da ricercare Le unità di misura usate devono essere le stesse Le procedure analitiche usate devono essere equiparabili ed avere lo stesso tipo di performance: Precisione, Bias, Limiti di Rivelabilità, Standard utilizzati I protocolli di assicurazione della qualità dei dati devono essere gli stessi (stessi QC) Le regole per escludere certi dati dai set devono essere uguali Il campionamento deve essere fatto in modo ed in tempistiche paragonabili e in posti uguali (dove possibile) Le variabili macroscopiche dei set devono essere paragonabili

45 RAPPRESENTATIVITÀ La rappresentatività è la misura del grado con cui i dati adeguatamente rappresentano una caratteristica di una popolazione di campioni o di una matrice d interesse Si misura mediante un appropriato programma di prelievo dei campioni (tecniche e procedure definite) Si valuta mediante la valutazione dei dati relativi ai QC di campo Influenze: l omogeneità del sito l omogeneità del campione rispetto ad un punto preciso dell area campionata Carenza di informazioni nel piano di campionamento. L utilizzo di metodiche analitiche non omogenee o con diversi DQO

46 VALIDAZIONE E la conferma che deriva da un controllo dove si evidenzia il raggiungimento di obiettivi specifici richiesti, per un uso predefinito.

47 DQIs da considerare nella validazione Sensibilità: I limiti di rivelabilità voluti sono stati realizzati? Accuratezza: Sono stati raggiunti I recuperi prefissati? Precisione: Sono stati raggiunti gli obiettivi delle prestazioni stabiliti nel programma dell assicurazione della qualità?

48 INTEGRITÀ La mancanza di integrità interessa tutte le funzioni dell'interpretazione di dati. La mancanza di integrità include : manipolazione delle misure di QC la falsificazione dei dati manipolazione dei risultati durante l'analisi omissione di condurre i punti analitici richiesti alterazione delle analisi dei risultati

49 RIFERIMENTI US-EPA Sito: QA/G-4 Guidance for the Data Quality Objectives Process QA/G-5 EPA Guidance for Quality Assurance Project Plans QA/G-5I Guidance for the Data Quality Indicators QA/G-8 Guidance on Environmental Data Verification and Validation

50 SUGGERIMENTI ISS Si ritiene che sussista una difformità non accettabile nel confronto tra i dati analitici dei laboratori a vario titolo coinvolti quando si verificano i seguenti casi: Parametri inorganici: (metalli e non metalli): intervallo di variabilità tra i dati > ± 20% Parametri organici: intervallo di variabilità tra i dati >±50% Se si è in presenza di un caso del genere, si ritiene che si debba procedere nel seguente modo

51 SCENARIO A Si procede ad una intercalibrazione, dalle risultanze di tale intercalibrazione si possono prospettare alcune situazioni: 1) entrambi i laboratori determinano correttamente i valori di concentrazione relativi al materiale di riferimento, e quindi dimostrano di lavorare con procedure idonee. In tal caso ripetere di nuovo le analisi dei due campioni, uniformando, ove necessario, i protocolli operativi adottati. Eventualmente operare uno scambio dei campioni al fine di verificare l omogeneità degli stessi.

52 SCENARIO A 2) uno dei due laboratori non determina correttamente i valori certificati. In tal caso sarebbe opportuno per ulteriore conferma ripetere l analisi da parte dell altro laboratorio coinvolto, in presenza di un rappresentante del primo laboratorio. I valori determinati e confermati in questa fase saranno quelli da prendere per validi. 3) entrambi i laboratori non determinano correttamente i valori di concentrazione certificati. In tal caso prioritariamente andranno verificate le procedure analitiche adottate, al fine di produrre un protocollo condivisibile da entrambi i laboratori e ripetere le analisi. Qualora l esito sia ancora negativo, si dovranno analizzare soluzioni ad hoc caso per caso in funzione delle procedure analitiche adottate, sia di preparazione del campione sia di tecnica strumentale.

53 SCENARIO B Nel caso in cui sia impossibile reperire in commercio un materiale di riferimento in matrice suolo per lo specifico analita/i in questione, si può ipotizzare di produrne uno ad hoc, in cui l analita/i è presente a concentrazione nota solo dall Ente supervisore. Dopodiché si avranno gli stessi scenari ipotizzati al punto A).

54 SCENARIO C Nel caso in cui non sia possibile reperire o produrre un materiale che presenta le stesse caratteristiche di matrice e concentrazioni confrontabili di analita, si possono fare le seguenti ipotesi: 1. prioritariamente procedere ad uno scambio dei 2 campioni originali e ripetere le analisi. Ciò permetterà una prima valutazione sulla omogeneità dei due campioni. Nel caso di esito ancora discorde si dovrà utilizzare il terzo campione di suolo, fermo restando che il terzo campione sia da considerarsi rappresentativo della massa di suolo campionato, e facente parte dello stesso campione primario. Tale 3 campione andrà suddiviso in tre aliquote, di cui una conservata ancora come testimone da utilizzare eventualmente per una ulteriore indagine di dettaglio, e ripetere le analisi sulle aliquote del terzo campione

55 SCENARIO C come ultima soluzione nell ipotesi in cui si hanno anche sulle due aliquote del terzo campione di suolo dati discordanti, si propone di utilizzare la terza aliquota (qualora sufficiente in termini quantitativi per una analisi esaustiva) da analizzare congiuntamente, da parte di tutti i tecnici dei due laboratori interessati, dopo aver messo a punto concordemente un preciso protocollo operativo. I risultati ottenuti saranno considerati validi ai fini della caratterizzazione.