VALUTARE LE PERFORMANCE DEL LAB E MONITORARLE NEL TEMPO SE RT NEGATIVO

Transcript

1 Montegrotto, 4-5 dicembre 2008

2 PRODUZIONE MAT.RIF VALUTARE LE PERFORMANCE DEL LAB E MONITORARLE NEL TEMPO CONFRONTARE FIGURE DI PRECISIONE (r, R) CONFRONTO TRA LE CAPACITÀ DEGLI OPERATORI CONFRONTARE METODI E PROCEDURE DI ANALISI SODDISFARE L ORGANISMO DI ACCREDITAMENTO SE RT NEGATIVO (VALUTARE LA RIPETIBILITÀ E RIPRODUCIBILITÀ INTRALABORATORIO) IDENTIFICARE L ORIGINE DEI PROBLEMI ATTUARE LE AZIONI DI MIGLIORAMENTO ( es. procedure di analisi non corrette, inadeguata formazione dell analista, problemi legati agli strumenti, ai reagenti di analisi..)

3 L ENTE DI ACCREDITAMENTO DOVREBBE GARANTIRE CHE I LABORATORI DA LUI ACCREDITATI PARTECIPINO A PROVE INTERLABORATORIO (RING TEST),., E CHE VENGANO INTRAPRESE AZIONI CORRETTIVE QUALORA FOSSE NECESSARIO. IL NUMERO MINIMO DI PARTECIPAZIONI DEVE ESSERE STABILITO TRA L ENTE DI ACCREDITAMENTO E I LABORATORI

4 4.15 RIESAME DELLA DIREZIONE VALIDAZIONE DEI METODI ASSICURAZIONE DELLA QUALITA DEI RISULTATI DI PROVA E TARATURA Al fine di dimostrare la propria competenza tecnica e la conformità ai requisiti del pto 5.9 della norma, i lab devono partecipare ad un numero sufficiente di confronti interlaboratorio dei cui risultati, l Organismo di accreditamento, deve tener conto sia nella valutazione iniziale sia per il mantenimento dell accreditamento e inoltre opportuno che i laboratori e gli ispettori, in fase di verifica, tengano conto non solo dei risultati di ZS ma anche di altre valutazioni che possono derivare da specifiche elaborazioni statistiche dei dati derivanti dal confronto interlaboratorio

5 VALORI DI RIFERIMENTO E SCARTO TIPO CALCOLO OUTLIER COCHRAN E GRUBBS RIPRODUCIBILITÀ E RIPETIBILITÀ DEL RING TEST Z SCORE (SINGOLI CAMPIONI E DEL LABORATORIO) D: DISTANZA EUCLIDIANA RANKING DEI LABORATORI SLOPE BIAS CORRELAZIONE ISO :1994 FIL/IDF 135B:1991 The International harmonized protocol for the proficiency testing of analytical laboratories ILAC G13:2007;

6 RISULTATI LABS Val. rif = mediana no outliers St= dev. standard no outliers COCHRAN Valuta la ripetibilità di ciascun laboratorio ed elimina labs con una differenza tra le due ripetizioni dello stesso campione eccezionalmente alta rispetto agli altri GRUBBS Valuta quanto un lab si discosta dalla media generale ed elimina labs la cui media delle rip si discosta troppo dal valore di riferimento DIFFERENZE DAI RISPETTIVI VAL RIF Medie delle differenze dev. standard delle differenze D distanza euclidiana dall origine degli assi

7 4 ZS = M lab VAL RIF st rif zs < 2 soddisfacente <zs>3 dubbio zs>3 insoddisfacente % dei lab ZS FISSO: PERMETTE DI CONFRONTARE LA PERFORMANCE DEL LABORATORIO PER CIASCUN RT SENZA SUBIRE L INFLUENZA DELL ANDAMENTO DEL RT TIENE CONTO SOLO DELLA DIFF DAL VAL RIF s= dev.standard del valore di riferimento dev.st

8 Indice di accuratezza del laboratorio T DELLE IFFERENZE DAL ALORE DI IFERIMENTO 0,090 L origine degli assi è la situazione ideale, se M diff =0 e st diff =0 sottostima sovrastima St alta m negative St alta m positive disperso disperso 0,060 0,030 MEDIE DELLE DIFFERENZE DAL VALORE DI RIFERIMENTO 0,000-0,105-0,070-0,035 0,000 0,035 0,070 0,105 0,140 0,175

9 D = (M diff ) 2 + (st diff ) 2 ORD LAB D % ,89 6% ,20 11% ,66 17% SCARTO TIPO DELLE DIFFERENZE ,01 22% 5 1 2,06 28% ,58 33% DIFFERENZE DAL VALORE DI RIFERIMENTO 7 3 2,80 39% ,86 44% 9 5 3,53 50% ,47 56% ,46 61% ,05 67% ,31 72% ,37 78% ,03 83% ,99 89% ,14 94% ,05 100%

10 MEDIA DELLE RIPETIZIONI LAB ST VAL. RIF 1 25,78 7,27 45,56 45,50 4,57 25, ,83 20,87 62,32 16,22 9,20 42, ,5 31,92 85,43 82,00 12,53 60,68 m lab 46,04 20,02 64,44 47,91 7,13 42,80 SCORE OK sottostima sovrastima LAB ZS CAMP 1 0,080-3,974 4,412 4,399 ZS CAMP 2 0,423-2,398 2,106-2,903 ZS CAMP 3 0,385-2,296 1,976 1,702 ZS LAB 0,453-3,193 3,032 0,715 sovrastima sottostima Zs<1!!

11 LAB ZS CAMP 1 0,080-3,974 4,412 4,39 ZS CAMP 2 0,423-2,398 2,106-2,90 ZS CAMP 3 0,385-2,296 1,976 1,70 ZS LAB 0,453-3,193 3,032 0,71 DIFFERENZE DAL VAL RIF ,365-18,145 20,145 20, ,893-22,064 19,383-26, ,820-28,759 24,750 21,320 media diff 3,03-22,99 21,43 4,90 st diff 2,35 5,37 2,90 27,38 D 3,832 23,608 21,622 27,819 RANKING LAB D % 1 1 3,831 25% ,622 50% ,607 75% , % SCARTO TIPO DELLE DIFFERENZE DIFFERENZE DAL VALORE DI RIFERIMENTO

12 Camp.1 sovrastima Camp.2 sottostima Zs lab < 1 perchè si annullano Ma la ds delle differenze è elevata! Zs camp Zs camp Zs camp Zs lab ,20 0,15 0,10 0,05 0,00-0,05-0,10-0,15-0,20-0,25-0, media diff scarto tipo diff

13 REGRESSIONE LINEARE inclinazione della retta rispetto al valore di riferimento (slope=1 inclinazione a 45 ) INTERCETTA la retta interseca l asse delle y. La retta de val rif ha bias=0 Correlazione tra valori del lab e val di rif. R 2 =1 ideale slope bias correlazione y = 0,999x - 0,03 R 2 = 0,999 riferimento y = x + 0 R 2 = 1 y = 0,863x + 0,25 R 2 = 0,652 2

14 RING TEST ROUTINE MAGGIO 2008 CONTENUTO IN GRASSO g/100g RIPETIBILITA' - RIPRODUCIBILITA' - OUTLIERS Campione Lab. Utili Media r R Sr SR RSDr RSDR RSDL Lab. Out ,661 0,032 0,100 0,011 0,035 0,422 1,325 1,256! ,445 0,027 0,136 0,009 0,048 0,274 1,395 1, ,214 0,024 0,138 0,008 0,049 0,259 1,517 1, ,434 0,030 0,159 0,011 0,056 0,309 1,641 1, ,545 0,021 0,115 0,007 0,041 0,286 1,602 1,576! LEGENDA r R Sr SR RSDr RSDR RSDL OUT ripetibilita' riproducibilità scarto tipo della ripetibilità scarto tipo della riproducibilità ripetibilità espressa in unità di media riproducibilità espressa in unità di media frazione di RSDR dovuta alla differenza fra i laboratori outlier SE r lab r RT La SR può essere utilizzata come incertezza di misura del metodo, quando non è riportata nella relativa norma di riferimento, se: - il lab utilizza il metodo di analisi del RT nelle sue analisi di routine - i livelli dei campioni del RT sono confrontabili con quelli analizzati normalmente in routine

15 LA r DEVE ESSERE CALCOLATA E VERIFICATA PERIODICAMENTE Il lab può dichiarare, dove non riportato dalla norma del metodo, la r del RT come r del lab s r /σ r valutare se il valore del rapporto ottenuto cade all interno del range riportato nella tabella 1 del DT0002/6 s 2 a/s 2 r F p=1-α; ν1,ν2 F variabile di Fisher (vedere tabella DT0002-6) s a scarto tipo dei risultati ottenuti in fase di verifica s r scarto tipo di ripetibilità ottenuto in fase di convalida P=1-α livello di probabilità prescelto (in genere a=0,05 ν 1 e ν 2 rispettivi gradi di libertà

16 Parametro limiti Z SCORE < ± 2 D % a discrezione del lab (50%) R 2 1 ±? slope 1 ± 0,02 (ICAR linee guida)* * G,P e L per taratura mensile 57% 7% 75% 93% 66% D range=1 GEN 2008 MAR 2008 MAG 2008 LUG 2008 SET 2008 NOV 2008 SR incertezza di misura del laboratorio r definire r del lab e valutarla nel tempo

17 * PREPARAZIONE DEL CAMPIONE DA ANALIZZARE (AGITAZIONE CAMPIONI, PESARE, DILUIZIONI, ESTRAZIONI, PROCESSARE IL CAMPIONE) * GUASTI O PROBLEMI DI MANUTENZIONE STRUMENTALE * ERRORI UMANI (TRASCRIZIONE DEI RISULTATI, ESPRESSIONE DELL UNITÀ DI MISURA, FORMAZIONE DEL PERSONALE..) * TARATURE DEGLI STRUMENTI * SCELTA DEL METODO DI ANALISI * ERRORI DI CALCOLO

18 UN BUON RISULTATO DI UN RT NON RENDE NECESSARIAMENTE IL LABORATORIO BRAVO. LO SCOPO E MANTENERE I RISULTATI COSTANTI NEL TEMPO