La validazione dei metodi di prova microbiologici

Transcript

1 La validazione dei metodi di prova microbiologici Pisa, 23 maggio 2014 Dr.ssa Anna Moschin Polesine Acque S.p.A. 1

2 1. Riferimenti normativi UNI CEI EN ISO/IEC 17025:2005 Requisiti generali per la competenza dei laboratori di prova e taratura UNI ENV ISO 13843:2003 Qualità dell acqua - Guida alla validazione dei metodi microbiologici ISO 7218:2007 Microbiology of food and animal feeding stuffs - General rules for microbiological examinations ISO 7218:2007 Amendment 1:2013 Microbiology of food and animal feeding stuffs - General rules for microbiological examinations (sostituisce i cap. 5, 6, 10, Annex B-D: Apparatus and equipment, Preparation of glassware and other laboratory materials, Enumeration, Intervalli di confidenza conte) Eurachem Guide AML 2013 Accreditation for Microbiological Laboratories UNI 10674:2002 Acque destinate al consumo umano - Guida generale per le determinazioni microbiologiche ISO/TS 19036:2006 Microbiology of food and animal feeding stuffs - Guidelines for the estimation of measurement uncertainty for quantitative determinations ISO/TS 19036:2006 Amendment 1:2009 Microbiology of food and animal feeding stuffs - Guidelines for the estimation of measurement uncertainty for quantitative determinations - Amendment 1: Measurement uncertainty for low counts 2

3 1. Riferimenti normativi UNI EN ISO 8199:2008 Qualità dell acqua - Linea guida generale per la conta di microrganismi su terreno di coltura ISO 29201:2012 Water quality - The variability of test results and the uncertainty of measurement of microbiological enumeration methods UNI ISO :2004 Accuratezza (esattezza e precisione) dei risultati e dei metodi di misurazione - Parte 1: Principi generali e definizioni UNI CEI 70099:2008 Vocabolario Internazionale di Metrologia - Concetti fondamentali e generali e termini correlati (VIM) ARPAT - Guida pratica per l esecuzione di prove microbiologiche su alimenti e acque (Maggio 2012) ACCREDIA RT-08 Prescrizioni per l'accreditamento dei laboratori di prova ACCREDIA RT-23 Prescrizioni per la definizione del campo di accreditamento UNICHIM Manuale N. 199 (edizione 2005) Guida per la realizzazione di un Sistema Qualità conforme alla norma UNI CEI EN ISO/IEC 17025:2005 in laboratori di microbiologia UNICHIM Manuale N. 179/1 (edizione 2011) Linee guida per la validazione di metodi analitici nei laboratori chimici Valutazione della precisione (ripetibilità stretta) di un metodo analitico eseguito in un unico laboratorio da un solo operatore su di un unico strumento in un breve intervallo di tempo 3

4 2. Termini e Definizioni (RT-08) Metodo di prova ufficiale: Metodo di prova riportato o richiamato in documenti normativi cogenti e/o pubblicato su Gazzetta Ufficiale Italiana (GU) o dell Unione Europea (GUCE) o comunque richiamato o riportato in un documento emesso da una autorità quale Regione, Provincia, ecc. Un metodo ufficiale può essere normalizzato o non normalizzato. 4

5 2. Termini e Definizioni (RT-08) Metodo di prova normalizzato: metodo emesso da organismi di normazione nazionali, europei o internazionali (ad es. UNI, CEI, CEN, ISO, UNICHIM, AOAC, ecc.) Metodo di prova non normalizzato: metodo emesso da organizzazioni tecniche nazionali o internazionali (ad es. Rapporti ISTISAN, Quaderni IRSA, ecc.) e metodo sviluppato da laboratori/centri di riferimento nazionali o comunitari o da centri di referenza nazionali accreditati. Elemento discriminante è che la responsabilità dei dati forniti è riferita non all organizzazione che lo ha emesso, ma ai singoli autori. 5

6 2. Termini e Definizioni (RT-08) Metodo di prova sviluppato dal laboratorio (interno): Metodo di prova messo a punto o adottato da un laboratorio sulla base di conoscenze desunte dalla letteratura scientifica e/o dall esperienza pratica. Il metodo interno può essere sia un metodo sviluppato dal laboratorio che un metodo normalizzato o non normalizzato che è stato sostanzialmente modificato a seguito di particolari esigenze del laboratorio. 6

7 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 (RT-08) Generalità Se le modifiche apportate ad un metodo ufficiale/normalizzato/non normalizzato sono tali da migliorarne le prestazioni senza snaturarne il principio (es. impiego di apparecchiatura con migliore risoluzione e stabilità, materiali di riferimento e reagenti di più elevata purezza) il metodo può essere indicato nell elenco prove mantenendo i riferimenti originali. 7

8 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 Gli scostamenti dai metodi, quali: impiego fuori dal campo di misura o di applicazione indicato, se assimilabile, estensioni e/o modifiche rispetto al protocollo, devono essere comunque soggette a validazione mantenendo i riferimenti al metodo originario. 8

9 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 (UNI CEI EN ISO/IEC 17025:2005) Selezione dei metodi Il laboratorio deve utilizzare metodi di prova e/o di taratura, compresi i metodi di campionamento, che soddisfino le esigenze del cliente e che siano appropriati per le prove e/o le tarature da eseguire. 9

10 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 (UNI CEI EN ISO/IEC 17025:2005) Selezione dei metodi Metodi sviluppati dal laboratorio o adottati dal laboratorio possono essere utilizzati se sono appropriati per l uso previsto e se sono validati. Il laboratorio deve confermare che può correttamente eseguire i metodi normalizzati prima di metterli in opera per le prove e/o le tarature. 10

11 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 (RT-08) Scelta dei metodi Il laboratorio deve, ove possibile, utilizzare metodi ufficiali in vigore, metodi definiti da regole tecniche o norme. I laboratori, addetti al controllo ufficiale, devono utilizzare i metodi indicati dalla normativa cogente, ovvero altri metodi che abbiano prestazioni equivalenti a quelli indicati nella normativa cogente. 11

12 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 (RT-08) Scelta dei metodi Quando un metodo normalizzato o ufficiale indica la ripetibilità e l esattezza, il laboratorio è tenuto a verificare che, in condizioni di ripetibilità, le prestazioni del laboratorio siano compatibili con quelle indicate. Ove manchino tali informazioni, il laboratorio deve determinare la propria ripetibilità e l esattezza e verificare di mantenerla nel tempo. 12

13 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 (RT-08) Metodi sviluppati dal laboratorio l eliminazione di fasi di prova, l impiego di apparecchiature con prestazioni inferiori a quelle previste o che si basano su principi differenti, l applicazione a materiali o prodotti non indicati nel campo di applicazione del metodo, normalizzato o ufficiale, e non assimilabili richiedono la trasformazione in metodo sviluppato dal laboratorio. 13

14 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 (RT-08) Metodi sviluppati dal laboratorio Il laboratorio che richiede l'accreditamento di prove eseguite secondo metodi di prova sviluppati dal laboratorio deve inviare ad ACCREDIA copia di tali metodi, accompagnati dalla dichiarazione di validazione e idoneità (sintesi di quanto descritto al punto della norma) 14

15 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 (RT-08) Metodi sviluppati dal laboratorio I metodi sviluppati dal laboratorio devono essere redatti seguendo lo schema riportato nella NOTA al punto della norma e validati secondo i requisiti del punto della norma. 15

16 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 (UNI CEI EN ISO/IEC 17025:2005) Nota Per i nuovi metodi di prova e/o di taratura dovrebbero essere sviluppate delle procedure contenenti : 16

17 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 a) identificazione appropriata; b) scopo e campo di applicazione; c) descrizione del tipo di oggetto da sottoporre a prova o a taratura; d) parametri o grandezze e campi di misura da determinare; e) attrezzature ed apparecchiature, compresi i requisiti tecnici di prestazione; f) campioni di riferimento e materiali di riferimento richiesti; g) condizioni ambientali e qualsiasi periodo di stabilizzazione richiesto; h) descrizione della procedura (identificazione, verifiche di funzionamento delle apparecchiature, registrazione dei risultati, sicurezza); i) criteri e/o requisiti per l approvazione/rifiuto; j) dati da registrare e metodi di analisi e di presentazione; k) incertezza o procedure di stima dell incertezza. 17

18 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 (RT-08) Metodi non normalizzati I metodi non normalizzati ancorché pubblicati da autorevoli istituzioni (es. Rapporti ISTISAN, metodi pubblicati sul Notiziario IRSA) e le norme di prova prodotte da industrie, istruzioni del produttore, devono essere validati dal laboratorio, che li può indicare nella domanda di accreditamento e sui rapporti di prova come riferimento. Sono comunque accettabili le dichiarazioni di validazione AOAC, NORDVAL, o di organismi di certificazione di prodotto accreditati (es. AFNOR). 18

19 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 (RT-08) Metodi non normalizzati quando un metodo non normalizzato indica la ripetibilità e l esattezza, il laboratorio è tenuto anche a verificare che, in condizioni di ripetibilità, le proprie prestazioni siano compatibili con quelle indicate. Ove manchino tali informazioni, il laboratorio nella validazione deve determinare la propria ripetibilità ed esattezza; in entrambi i casi il laboratorio deve verificare di mantenere nel tempo tali parametri. 19

20 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 (RT-08) I metodi validati da Laboratori/Centri di Riferimento Nazionali o Comunitari accreditati o da Centri di Referenza Nazionali accreditati e riconosciuti dallʼautorità centrale, possono essere utilizzati da altri laboratori senza ulteriore validazione 20

21 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 Purché: il laboratorio che li applica abbia verificato di saperli eseguire nel proprio laboratorio ottenendo risultati rientranti nei limiti definiti dal metodo (dati di precisione); il laboratorio che li applica abbia verificato che le caratteristiche prestazionali che dipendono dal laboratorio e non dal metodo siano compatibili con quelle ottenute durante la validazione del metodo 21

22 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 (UNI CEI EN ISO/IEC 17025:2005) Validazione dei metodi La validazione è la conferma attraverso esame e l apporto di evidenza oggettiva che i requisiti particolari per l utilizzazione prevista sono soddisfatti. 22

23 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 (UNI CEI EN ISO/IEC 17025:2005) Il laboratorio deve registrare i risultati ottenuti, le procedure utilizzate per la validazione, l idoneità del metodo per l utilizzo previsto 23

24 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 Nota 2 Le tecniche utilizzate per la determinazione della prestazione di un metodo dovrebbero essere una, o una combinazione delle seguenti: taratura, utilizzando campioni o materiali di riferimento; confronto dei risultati ottenuti con altri metodi; confronti interlaboratorio; valutazione sistematica dei fattori che influenzano il risultato; stima dell incertezza dei risultati sulla base di una conoscenza scientifica dei principi teorici del metodo e di un esperienza pratica. 24

25 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 Nota 1 La validazione comprende la specifica dei requisiti, la determinazione delle caratteristiche dei metodi, un controllo che i requisiti possano essere soddisfatti utilizzando il metodo ed una dichiarazione relativa alla validità. 25

26 3. UNI CEI EN ISO/IEC 17025:2005 e regolamento tecnico di ACCREDIA RT-08 (RT-08) Il laboratorio deve definire i criteri per il riesame periodico della validazione dei metodi (es. risultanze positive da prove valutative, conferme da prove su materiali di riferimento), sia in termini di frequenza che di compatibilità dei risultati ottenuti. 26

27 4. Validazione e verifica dei metodi di prova UNI ENV ISO 13843:2003 Qualità dell acqua Guida per la validazione di metodi microbiologici La norma, sperimentale, tratta la validazione dei metodi microbiologici, con particolare riguardo per i metodi quantitativi selettivi in cui la stima quantitativa è basata sul conteggio delle particelle direttamente, con l ausilio di un microscopio, o indirettamente, in base alla crescita (moltiplicazione) di colonie o torbidità. 27

28 4. Validazione e verifica dei metodi di prova (UNI ENV ISO 13843:2003) 4.2 Validazione Generalità La validazione è un processo che fornisce le prove che un metodo è in grado di espletare il suo scopo previsto: rivelare o quantificare un microbo o gruppo microbico specificato con precisione e accuratezza adeguate. 28

29 4. Validazione e verifica dei metodi di prova (UNI ENV ISO 13843:2003) La validazione, in conformità alla sua finalità, può essere classificata in: A. VALIDAZIONE PRIMARIA B. VALIDAZIONE SECONDARIA 29

30 4. Validazione e verifica dei metodi di prova (UNI ENV ISO 13843:2003) 2.26 Validazione primaria Determinazione delle specifiche per le prestazioni di un nuovo metodo e/o verifica sperimentale che il metodo soddisfi i criteri di qualità derivati per via teorica. 30

31 4. Validazione e verifica dei metodi di prova (UNI ENV ISO 13843:2003) La validazione primaria è un processo esplorativo finalizzato a determinare i limiti operativi e le caratteristiche prestazionali (performances) di un metodo nuovo, modificato o altrimenti inadeguatamente caratterizzato. 31

32 4. Validazione e verifica dei metodi di prova (UNI ENV ISO 13843:2003) 2.38 validazione secondaria: Dimostrazione per via sperimentale che un metodo stabilito funziona in conformità alle sue specifiche presso l'utilizzatore. 32

33 4. Validazione e verifica dei metodi di prova (UNI ENV ISO 13843:2003) la validazione secondaria utilizza forme selezionate e semplificate degli stessi procedimenti utilizzati nella validazione primaria, ma possibilmente estesi su un periodo di tempo più lungo. 33

34 5. Pianificazione della validazione (UNI ENV ISO 13843:2003) Materiali di prova La validazione dovrebbe simulare la routine il più possibile. I campioni naturali con concentrazioni naturali di microbi dovrebbero pertanto essere i materiali di prova principali. 34

35 6. Parametri di validazione (UNI ENV ISO 13843:2003) 4.4 Caratteristiche prestazionali Le caratteristiche prestazionali sono relative a: scopo e campo di applicazione elenco delle situazioni e tipi di campioni in cui sia applicabile il metodo, precisione, linearità, recupero, limiti operativi, selettività, specificità e robustezza (solidità). 35

36 6. Parametri di validazione LIMITE DI RIVELAZIONE e DETERMINAZIONE (UNI ENV ISO 13843:2003) 2.16 limite di rivelazione: numero di particelle x (per porzione analitica) dove la probabilità p 0 di un risultato negativo è uguale al 5%. Nota 2 a) Calcolo di x tramite la distribuzione di Poisson: x = ln 1 p 0 = ln = ln(20) = 3,00 36

37 6. Parametri di validazione 2.17 limite di determinazione: Concentrazione media minima delle particelle x per porzione analitica, dove l incertezza tipo relativa è uguale a un valore specificato (RSD=Scarto tipo relativo). Nota a) Calcolo di x tramite la distribuzione di Poisson: x = 1 ( RSD) 2 37

38 6. Parametri di validazione b) LIMITI OPERATIVI (UNI ENV ISO 13843:2003) limiti operativi affidabili in termini di numeri di colonie per rivelatore (piastra, filtro su membrana). c) PRECISIONE (UNI ENV ISO 13843:2003) 2.25 precisione: Prossimità della concordanza tra i risultati delle prove indipendenti ottenuta nelle condizioni concordate. 38

39 6. Parametri di validazione d) RIPETIBILITA e RIPRODUCIBILITA (UNI ENV ISO 13843:2003) 2.35 ripetibilità (r): grado di concordanza tra i risultati di misurazioni successive dello stesso misurando effettuate nelle stesse condizioni di misurazione (condizioni di ripetibilità) Nota 2 La ripetibilità è calcolata come r = 2. 8 dove Sr è lo Scarto tipo della ripetibilità. s r 39

40 6. Parametri di validazione (UNI ENV ISO 13843:2003) 2.36 riproducibilità (R): grado di concordanza tra i risultati di misurazioni successive dello stesso misurando effettuate cambiando le condizioni di misurazione (condizioni di riproducibilità). Nota 2 La riproducibilità è calcolata come R = 2. 8 s R dove: s = s + s R 2 L S R è lo scarto tipo della riproducibilità generalmente composto dallo scarto tipo tra laboratori S L e lo scarto tipo della ripetibilità Sr. 2 r 40

41 6. Parametri di validazione e) LINEARITA (PROPORZIONALITA ) (UNI ENV ISO 13843:2003) Il parametro G 2, definito come «logaritmo del rapporto di verosimiglianza della proporzionalità (linearità) delle conte» esprime il grado di proporzionalità dei conteggi in un sistema rivelatore multiplo. 41

42 6. Parametri di validazione f) SENSIBILITA, SPECIFICITA, EFFICIENZA, SELETTIVITA, % DI FALSI POSITIVI E NEGATIVI (UNI ENV ISO 13843:2003, p.to 9.2.1) Nella validazione primaria, le colture presunte positive e presunte negative dovrebbero essere verificate. Tutte le colonie che al termine del processo di prova sono state considerate presunte positive e tutte le colonie assegnate come presunte negative, sono verificate con ulteriori mezzi diagnostici (ad es. test biochimici, sierologici o con altri sistemi di cui è nota la prestazione). 42

43 6. Parametri di validazione Si considera un numero di colonie presumibilmente positive e negative e dopo aver effettuato le prove di verifica, i risultati sono divisi in quattro categorie: a = numero di presunti positivi trovati positivi (veri positivi); b = numero di presunti negativi trovati positivi (falsi negativi); c = numero di presunti positivi trovati negativi (falsi positivi); d = numero di presunti negativi trovati negativi (veri negativi). 43

44 6. Parametri di validazione g) ROBUSTEZZA (UNI ENV ISO 13843:2003) 2.37 robustezza: Insensibilità di un metodo analitico alle piccole variazioni nel procedimento. Nota 2 Per esaminare la robustezza è consigliabile «abusare» del metodo in modo controllato. 44

45 6. Parametri di validazione h) RECUPERO (UNI ENV ISO 13843:2003) 2.33 recupero relativo: Rapporto (A/B) dei conteggi delle colonie ottenuti da due metodi sottoposti a prova su porzioni di prova uguali della stessa sospensione, dove B è il riferimento (quando applicabile). 45

46 6. Parametri di validazione Validazione dei Metodi qualitativi Il risultato è espresso come presenza o assenza dell analita in un determinato quantitativo di prodotto. I metodi qualitativi possono essere validati attraverso: stima dell accordanza, calcolo del numero di falsi positivi, falsi negativi, sensibilità e specificità, confronto con un metodo di riferimento partecipazione a circuiti interlaboratorio. e 46

47 7. Tecniche impiegate per la validazione (UNI CEI EN ISO/IEC 17025:2005) Validazione dei metodi Nota 2 Le tecniche utilizzate per la determinazione della prestazione di un metodo dovrebbero essere una, o una combinazione delle seguenti: taratura, utilizzando campioni o materiali di riferimento, confronto dei risultati ottenuti con altri metodi, confronti interlaboratorio, valutazione sistematica dei fattori che influenzano il risultato, stima dell incertezza dei risultati sulla base di una conoscenza scientifica dei principi teorici del metodo e di un esperienza pratica. 47

48 7. Tecniche impiegate per la validazione Confronto di metodi UNI EN ISO 17994:2004 Qualità dell acqua Criteri per stabilire una equivalenza tra metodi microbiologici La norma definisce una procedura per il confronto tra due metodi, di tipo qualitativo (P/A) o quantitativo (conta e MPN), per il riscontro di un medesimo gruppo o specie di microrganismi. Il procedimento non si applica a: confronto diretto, tra un metodo quantitativo (conta/mpn) e un metodo qualitativo (P/A). 48