WORKSHOP RISULTATI DI PROVE INTERLABORATORIO NEL SETTORE DELLA MICROBIOLOGIA AMBIENTALE 13 a e 14 a PROVA INTERLABORATORIO ISS UNICHIM

Transcript

1 WORKSHOP RISULTATI DI PROVE INTERLABORATORIO NEL SETTORE DELLA MICROBIOLOGIA AMBIENTALE 3 a e 4 a PROVA INTERLABORATORIO ISS UNICHIM Roma dicembre 2007 Criteri di qualità dei laboratori di prova: aspetti applicativi Alava Fausto BAS-Servizi Idrici Integrati Bergamo Gruppo ASM

2 Processo Di Prova Microbiologico omogeneità e rappresentatività del campione modalità di conservazione e trasferimento Input richiesta cliente campionamento procedura di campionamento umidità, temperatura, tempo, luce/oscurità conservazione campioni in attesa di analisi ambienti di prova separazione aree lavorative procedure per pulizia e sanitizzazione monitoraggio condizioni ambientali apparecchiature e strumentazioni manutenzione taratura preparazione terreni culturali e reagenti prodotti e reagenti sterilizzazione pesate e diluizioni verifica sterilità e fertilità terreni conservazione terreni preparati Tratto dal diagramma causa effetto di Ishikawa (diagramma a lisca di pesce) preparazione campioni per la prova omogenizzazione pesate e diluizioni semina incubazione valutazione risultato criteri di accettabilità dei risultati valutazione incertezza di misura output risultato di prova

3 PROBLEMI DELLE ANALISI MICROBIOLOGICHE PROBLEMI DI OMOGENEIZZAZIONE DEGLI ELEMENTI RICERCATI (CELLULE MICROBICHE) NEL SUBSTRATO CHE LI CONTIENE IMPOSSIBILITÀ PRATICA DI AVERE COMUNQUE ALIQUOTE ASSOLUTAMENTE CORRISPONDENTI PER QUANTO RIGUARDA I LIVELLI DI CARICA MICROBICA PRESENTE, DI QUALUNQUE ENTITÀ ESSA SIA. IL FATTO CHE L OGGETTO DELLA RICERCA ANALITICA SIA RAPPRESENTATO DA MATERIALE VIVENTE LA POSSIBILITÀ CHE TALE CONDIZIONE EVOLVA IN UNO STATO DI STRESS O DI DANNEGGIAMENTO NON IRREVERSIBILE I METODI DI PROVA STESSI CHE, IMPIEGANDO TERRENO DI COLTURA ALTAMENTE SELETTIVI, FACILITANO LE OPERAZIONI ANALITICHE, MA SONO EFFICACI SOLO IN PRESENZA DI CELLULE MICROBICHE IN CONDIZIONI OTTIMALI DAL PUNTO DI VISTA STRUTTURALE E FUNZIONALE.

4 FONTI DI INFLUENZA DELLE PROVE MICROBIOLOGICHE Interne: : dovuto al sistema di crescita utilizzato in laboratorio simile a quello naturale ma in ogni caso artificiale e al modello statistico preso a riferimento per stimare la dispersione dei batteri nel campione sottoposto a prova Esterne: : ambienti di lavoro, personale, attrezzature, tecniche di prova Variabilità complessiva delle prove microbiologiche: ) Preclude la possibilità di associare alle prove microbiologiche una incertezza calcolata con un approccio statistico metrologico 2) le diverse fonti della variabilità devono essere identificate, tenute sotto controllo, e valutato il loro contributo alla variabilità complessiva (incertezza)

5 Metodo di prova Procedura tecnica che descrive i criteri, le operazioni ed i materiali impiegati per eseguire una determinata prova. La sequenza delle operazioni deve essere definita e codificata, in modo che la prova possa essere riprodotta sia a distanza di tempo che da operatori diversi Un metodo per essere ritenuto valido deve soddisfare vari parametri di qualità e deve essere sottoposto a convalida Obiettivo delle prove nei laboratori di microbiologia è costituito dalla ricerca, isolamento ed identificazione dei microrganismi, con la possibile estensione alla enumerazione dei medesimi. Manuale Unichim n. 99 Ed Cap.7

6 LA 7025 AL PUNTO INDICA CHE UN LABORATORIO DEVE UTILIZZARE UN METODO: ) CHE SODDISFI LE ESIGENZE DEL CLIENTE 2) CHE SIA APPROPRIATO PER LA PROVA DA ESEGUIRE 3) PREFERIBILMENTE UTILIZZANDO METODI PUBBLICATI NELLE NORME INTERNAZIONALI (ISO) EUROPEE (EN) O NAZIONALI (UNI) O PUBBLICATI DA ENTI RICONOSCIUTI 4) O SVILUPPATI DAL LABORATORIO a condizione che siano: ) appropriati per l uso previsto 2) convalidati 3) condivisi con il cliente La scelta di un metodo deve essere pianificata e gestita da personale altamente qualificato; va fatto quindi uno studio di fattibilità (valutazione delle risorse umane, strumentali e tecniche necessarie per l adozione del metodo) (valutazione dei costi, tempi di implementazione, numero di determinazioni) UNI EN ISO/IEC 7025 par.5.4

7 La validazione di un metodo è un tipico processo di sistema di qualità (PROGETTAZIONE) i cui requisiti sono definiti dalla norma UNI EN ISO 900. La ISO 7025 al punto.6 richiede che i laboratori devono operare secondo un sistema di qualità per le attività di prova che soddisfi anche i requisiti della ISO 900, quando comprendono la progettazione/sviluppo di nuovi metodi.. La ISO 900:00 prevede (punto 7.3 progettazione e sviluppo): Pianificazione della progettazione Valutazione degli elementi in ingresso e in uscita Riesame della progettazione Verifica della progettazione Validazione della progettazione Tenuta sotto controllo delle modifiche

8 Validazione primaria: (definita anche convalida) processo esplorativo, finalizzata a stabilire i limiti e le possibili applicazioni di un metodo nuovo, modificato o non adeguatamente caratterizzato Validazione secondaria (detta anche verifica) finalizzata ad implementare un metodo sviluppato e validato (validazione primaria) da altri. La validazione secondaria consiste nel dare evidenza che il laboratorio applicando un metodo validato è capace di corrispondere alle specifiche stabilite nella validazione primaria. Ad es. molti metodi normalizzati microbiologici non riportano tutte le specifiche richieste dalla validazione primaria ad es. la riproducibilità. In questo caso il laboratorio, partecipando a circuiti interlaboratorio può effettuare una validazione secondaria

9 METODO NORMATO Redatto in lingua conosciuta dagli operatori Verificare le eventuali integrazioni (punto (istruzioni circa l utilizzo e il funzionamento delle apparecchiature manipolazione e preparazione degli oggetti da provare documentazione aggiuntiva per parti facoltative del metodo o ulteriori dettagli) METODO INTERNO (SVILUPPATO DAL LABORATORIO) Sviluppare procedure e modalità operative Che contengano le seguenti informazioni (punto )

10 a) Identificazione appropriata b) Scopo c) Descrizione del tipo di oggetto da provare d) Parametri o grandezze e campi di misura da determinare e) Attrezzature e apparecchiature, compresi i requisiti tecnici di prestazione f) Campioni di riferimento e materiali di riferimento richiesti g) Condizioni ambientali e periodo di stabilizzazione richiesto h) Descrizione della procedura comprendente (Apposizione di marchi di identificazione, manipolazione, trasporto, immagazzinamento e preparazione degli oggetti da provare; Verifiche da effettuare prima di iniziare l attività; Verifiche del buon funzionamento dell apparecchiatura e, se richiesto, taratura e messa a punto prima dell utilizzo; Metodi di registrazione delle osservazioni e dei risultati; Tutte le misure di sicurezza da osservare i) Criteri e/o requisiti per l approvazione/rifiuto j) Dati da registrare e i metodi di analisi e di presentazione k) Incertezza o le procedure di stima dell incertezza

11 METODO NORMATO L utilizzo di un metodo microbiologico normato non è di per se garanzia di validità dei risultati. Il laboratorio dovrà quindi prevedere un controllo di qualità che garantisca oltre che la corretta applicazione del metodo anche il rispetto delle performances analitiche e la qualità del dato analitico. ) Dimostrare che le sue prestazioni sono equivalenti e mantenute costanti con quelle del metodo normato 2) Determinare la propria ripetibilità e riproducibilità e confrontarle (se riportate) con quelle del metodo normato 3) Rispettare tutte le indicazioni applicative 4) Verifica delle apparecchiature e degli operatori (valutazione della competenza tecnica degli operatori) 5) Partecipazione a circuiti interlaboratorio 6) Valutazione dell incertezza del metodo applicato alle peculiarità del laboratorio 7) Applicazione di alcuni test al fine di valutare i contributi all incertezza o le performances analitiche in rapporto alla distribuzione di Poisson a) verifica proporzionalità delle diluizioni b) accettabilità dei conteggi c) verifica test di conferma ripetibilità di conteggio

12 METODO INTERNO VALIDAZIONE DI UN METODO La validazione è la conferma attraverso esame e l apporto di evidenza oggettiva che i requisiti particolari per l utilizzazione siano soddisfatti. Le tecniche utilizzate per la determinazione della prestazione di un metodo dovrebbero essere una, o una combinazione delle seguenti a) Taratura utilizzando campioni o materiali di riferimento b) confronto dei risultati ottenuti con altri metodi c) Confronti interlaboratorio d) Valutazione sistematica dei valori che influenzano il risultato e) Stima dell incertezza dei risultati sulla base di una conoscenza scientifica dei principi teorici del metodo e di una esperienza pratica. La validazione comprende la specifica di requisiti, la determinazione delle caratteristiche dei metodi, un controllo che i requisiti possano essere soddisfatti utilizzando il metodo e una dichiarazione relativa alla validità.

13 EA-4/0 European Co-operation for Accreditation Accreditamento per i laboratori di Microbiologia Per convalidare un metodo microbiologico bisogna prendere in considerazione i seguenti parametri Metodi qualitativi (presenza/assenza) e successiva conferma ed identificazione: Specificità Sensibilità Deviazione standard positiva Deviazione standard negativa Limiti di rilevamento Effetto matrice Ripetibilità Riproducibilità Metodi quantitativi Specificità Sensibilità Deviazione standard positiva Deviazione standard negativa Limiti di rilevamento compresi in una variabile definita Riproducibilità

14 Manuale UNICHIM 99/2005 Guida per la realizzazione di un Sistema Qualità conforme alla 7025 in laboratori di microbiologia par. 7.2 In campo microbiologico la convalida è necessaria per prove di tipo sia qualitativo che quantitativo e deve prendere in considerazione i seguenti parametri: SPECIFICITA SENSIBILITA SCARTO TIPO LIMITI DI RILEVABILITA RIPETIBILITA RIPRODUCIBILITA UNI EN ISO 3843 Qualità dell acqua Guida alla validazione dei metodi microbiologici Linee guida per la avlidazione dei metodi analitici Manuali ARPA Emilia Romagna Validazione Metodi Microbiologici Dr. A. Vitti ottobre 2005 ISS/ORL/SINAL/SIT Validazione dei metodi microbiologici Dr L. Ballati ARPAT Toscana

15 Il processo di validazione di un metodo microbiologico deve prevedere la riduzione degli effetti indesiderati sui risultati finali dovuti ai fattori critici quali:. Rappresentatività dell aliquota rispetto alla totalità del campione 2. Tempo tra campionamento e analisi e temperatura di conservazione 3. Tempi e temperature di incubazione 4. Prestazione dei mezzi culturali/prove identificazione/conferma (selettività, specificità, sensibilità) 5. Competenze del personale

16 Determinazione delle caratteristiche prestazionali di un metodo Allestire 0 prove, determinazione, conferma: a) Positivi confermati b) Positivi non confermati (falsi positivi) c) Negativi confermati d) Negativi non confermati (falsi negativi) Sensibilità = a/a+b Specificità = d/c+d c/a+c b/b+d Efficienza = a+d/n (accuratezza) Selettività = log((a+c)/n) Probabilità che un risultato positivo sia realmente positivo Probabilità che un risultato negativo sia realmente negativo Quota falsi positivi: frazione dei positivi erroneamente assegnati Quota falsi negativi: frazione dei negativi erroneamente assegnati Frazione delle colonie correttamente assegnate Logaritmo del rapporto tra i presunti positivi e il numero totale delle colonie

17 PRECISIONE (ISO 3843:2003 punto 0.2.5) La stima della precisione del metodo viene effettuata attraverso le stime dell incertezza del conteggio, della ripetibilità e della riproducibilità LINEARITA Si verifica con volumi /o diluizioni scalari G 2 n- =2 [ (C lnc /R +C 2 lnc 2 /R 2 + +C n lnc n /R n ) - ( C)ln( C/ R)] X2 p,n- C, C 2, C n sono i conteggi ottenuti sullo stesso campione ai rispettivi rapporti di diluizione R, R 2, R n Un metodo fornisce risultati lineari se: G 2 n- X2 p,n- RECUPERO RELATIVO (ISO 3843:2003 punto 0.2.6) Rapporto A/B delle colonie ottenute (dopo conferma) dai due metodi. A = metodo sotto esame B = metodo di riferimento

18 VALIDAZIONE PRIMARIA La valutazione delle prestazioni di un metodo microbiologico quantitativo viene fatta: Confronto con altro metodo le cui prestazioni sono note: 0 repliche in parallelo stesso campione, verificare che la distribuzione dei dati sia compatibile con il modello di Poisson X 2 sp = ( Ci Cm ) 2 / Cm X 2 sp < X2 p,n ,95 3,84 5,99 7,85 9,488,07 2,592 4,067 0,99 6,635 9,20,345 3,277 5,086 6,82 8,475 Verificata la compatibilità con il modello statistico di Poisson si verificano le prestazioni dei due metodi con: C ma -C mb / C ma /n A + C mb /n B < Kp In questo caso i due metodi forniscono risultati sovrapponibili Confronto con campioni a valore noto: partecipazione a un circuito interlaboratorio qualificato e adottare i criteri di accettabilità proposti dal circuito.

19 Analisi della sovradispersione dei dati : (ISO 3843:2003) Per dettagli vedi allegato e es. B.7 ISO 3843:2003 L analisi dcella sovradispersione viene effettuata esaminando i risultati ottenuti su più repliche (almeno2) dello stesso campione, un gran numero (almeno 00) di piastre parallele su un lungo periodo di tempo. Y = S 2 / C = + u 2 c dove = intercetta e u 2 coefficiente angolare Per ogni coppia di dati ottengo Y e c; metto sull asse x c e sull asse y metto Y, ottengo una retta il cui coefficiente angolare è il quadrato del coefficiente di sovradispersione; la u 2 deve avvicinarsi allo 0. 5,00 4,00 3,00 Y 2,00,00 0, media delle conte c

20 UNI EN ISO/IEC Generalità Il laboratorio deve adottare metodi e procedure appropriate per tutte le prove e/o tarature che rientrano nei suoi scopi. Questi includono il campionamento, la manipolazione, il trasporto, l immagazzinamento e la preparazione degli oggetti da provare e/o da tarare, e quando APPROPRIATO, una stima dell incertezza di misura come pure le tecniche statistiche per l analisi l dei dati di prova e/o di taratura.

21 APPROPRIATO: Adatto; Conveniente; Calzante Adatto: che ha i requisiti necessari per un determinato uso o scopo; idoneo, opportuno, conveniente Conveniente: Adatto, opportuno, vantaggioso Calzante: Appropriato, adeguato, idoneo

22 Acqua dl 3/0 Parametro Val. di param. E.Coli 0 / 00ml Enterococchi 0 / 00ml Batt. Coliformi 0 / 00ml Clostr. Perfrig. 0 / 00ml Stafil. Patogeni 0 / 250ml Pseudom. Aureg. 0 / 250ml Alimenti OM /0/78 Alimento n un. camp Parametro limite. di tolleranza Latte lunga cons 5 n totale colonie 2 col/ml in tutte le u.c. Latte media cons UHT 5 n totale colonie 0 col/ml in tutte le u.c Latte polvere 5 n totale colonie 0000 col/gr in tutte le u.c Latte pastorizzato 5 coliformi <2 / ml in una sola u.c. Gelato 5 n totale colonie < col/gr in 4 u.c < col/gr in u.c. Gelato 5 coliformi <20 col/gr in 4 u.c < 00 col/gr in u.c DM SANITA n.32/85 Pasta all uovo coliformi m < 000/g M < 0.000/g Paste farcite fresche stafilococchi pat. m < 00/g M < 500/g

23 VALUTAZIONE DEL RISCHIO DI FALSI NEGATIVI NELLE PROVE MICROBIOLOGICHE QUANTITATIVE

24 ISO 728:2007 par Metodo di calcolo per bassi conteggi par Caso di una piastra con meno di 0 colonie Limite di determinazione è la concentrazione media minima di particelle (x) per porzione analitica dove l incertezza relativa attesa eguaglia un valore specificato RSD (Deviazione Standard Relativa) calcolato dividendo lo scarto tipo di una popolazione di un campione (n) per la media di tale campione: RSD = S / X m invece di RSD, il simbolo w sarà usato per la deviazione standard relativa. Quindi W = S / X m Il limite di determinazione in microbiologia è quel livello di contaminazione che si può determinare con una incertezza del 50%. Nel caso della distribuzione di Poisson x si calcola con l espressione: X = / (W) 2 = / (0,50) 2 = 4 Se la piastra contiene meno di 0 colonie ma un minimo di 4 si calcola il risultato come definito al punto della ISO 728:2007 e cioè:

25 N = Σ C / V x, x d Se il totale è compreso fra 3 e la precisione del risultato è troppo bassa e il risultato sarà rapportato come: Il microorganismo è presente ma meno di (4 x d) per grammo o ml

26 La probabilità di trovare (i) piastre positive λ i P(i) = e -λ i! P(i) = probabilità che il n di piastre positive sia i e = base logaritmo naturale ( 2,78282) λ = n atteso di UFC per aliquota ( in questo caso = ) i! = fattoriale del numero i delle piastre positive Il rischio che nessuna delle capsule sia positiva è: P(i=o) = e - x = e - = 0,368 = 36,8% i = 0; λ i = ; i! = ; λi / i! = Se faccio una prova (in presenza di UFC) applicando Poisson ho il rischio di avere un falso negativo pari al 36,8%

27 Dalla prima formula di Poisson se sostituisco λ= con λ=2 (cioè ho 2 colonie per aliquota mediamente distribuite la probabilità di falsi negativi che era del 36,8% scende a 3,5%. Se λ=3 il rischio di falsi negativi scende al 5%.

28 Fatta la sperimentazione ho dimostrato che il mio laboratorio opera secondo la distribuzione di Poisson. Quindi in presenza di colonia in 00 ml di campione ho il 36,8% di rischio di dare un falso negativo e il 63,2 % di probabilità di dare un positivo. Per calcolare allora a questo punto quante piastre dovrei seminare per essere sicuro di avere la positività almeno al 95% canonico? Interviene la distribuzione binomiale

29 Cioè se le piastre seminate sono n e k sono quelle negative allora la probabilità P(k) che proprio questo sia il risultato della prova si calcola con l espressione: n! P(k) = x p k x ( -p ) n-k K! (n-k)! È un espressione del n di piastre = 0 cioè K= negativo Ricordiamo che p=0,368 probabilità che un campione di 00ml non contenga UFC, ammesso che mediamente sia presente UFC. Vediamo qual è il rischio di avere tutte le piastre negative quando invece so che c è almeno piastra. Il rischio di falso negativo si ha quando K = n

30 n! P(k) = x p n x ( -p ) n-n n! (n-n)! (n-n)! = 0! = (-p) 0 = P(k=n) = p n Io voglio che questo rischio non sia maggiore del 5% quindi la formula diventa p n = 0,05 p= 0,368 n lnp = ln 0,05 n = ln 0,05 / ln 0,368 = -2,995 / - 0,996 = 3 Se faccio 3 prove e sono tutte negative il rischio di dare un falso negativo è inferiore al 5%.

31 N colonie/piastra piastra 2 piastra 3 piastra 0, , ,93 2 0,93 3 0, ,04 0, ,22, Se semino 3 aliquote da 00 ml e ne trovo 3 negative sono sicuro con un incertezza teorica del 4,97% di non dare falsi negativi. Per essere sicuro di non dare falsi negativi con un rischio inferiore al 5% devo fare quindi 3 semine. 0 volte 3 negativi su prove 0/ = 0 < 5% Se faccio due semine ho un rischio teorico del 3,5% di dare falsi negativi volta due negativi su prove / = 0,09 = 9%