Confrontabilità e VEQ: risultanze sperimentali

Transcript

1 Confrontabilità e VEQ: risultanze sperimentali Sonia Mattioli Gruppo di studio SIBioC "Qualità analitica" ASST Valcamonica Milano, 4 dicembre

2 VEQ SPERIMENTALE DEL CENTRO Miller, Clin Chem 2011;57: Milano, 4 dicembre

3 OBIETTIVI Sapere se e quali tra le informazioni di ritorno fornite dal Provider in seguito all'elaborazione dei risultati inviati dai laboratori sono trasferibili alla routine Evidenziare il grado di armonizzazione dei sistemi in uso Milano, 4 dicembre

4 OBIETTIVI Sapere se e quali tra le informazioni di ritorno fornite dal Provider in seguito all'elaborazione dei risultati inviati dai laboratori sono trasferibili alla routine Evidenziare quindi eventuali differenze di comportamento tra i campioni "trattati" e i campioni "non trattati" Evidenziare il grado di armonizzazione dei sistemi in uso Comparare i risultati ottenuti con i vari sistemi (analizzare le differenze sia dal punto di vista statistico che dal punto di vista "clinico") e determinare se eventuali disallineamenti sono dovuti alla tipologia di materiale utilizzato ("trattato" vs "non trattato") o alle caratteristiche proprie dei vari sistemi. Milano, 4 dicembre

5 ELEMENTI NECESSARI Campioni freschi "non trattati" di derivazione umana Sistemi di ditte diverse su cui eseguire le analisi Numero di risultati sufficiente a costituire gruppi omogenei abbastanza numerosi per l'elaborazione statistica Risultati ottenuti sui campioni "trattati" usualmente inviati dal provider per l'esecuzione degli esercizi di VEQ Milano, 4 dicembre

6 Centro di Riferimento Regione Lombardia Centro di Riferimento Regione Toscana Ditta Polymed per la fornitura dei materiali "non trattati" Laboratori afferenti ai Centri di riferimento lombardo e toscano, "scelti" in base anche ai metodi utilizzati per avere un numero di risultati che fosse statisticamente elaborabile. Milano, 4 dicembre

7 A 46 laboratori scelti tra i partecipanti al programma VEQ "Ormoni e marcatori tumorali" che determinano i misurandi prescelti su un unico sistema (data la scarsa quantià di materiale a disposizione) sono stati inviati, in un'unica spedizione, due campioni freschi di derivazione umana "non trattati" uno di provenienza maschile (unico donatore) e uno di provenienza femminile (unico donatore) Milano, 4 dicembre

8 MISURANDI TSH FT3 FT4 Testosterone Progesterone Prolattina LH FSH Insulina Vitamina B12 Acido Folico Ferritina PSA Totale PSA Libero CEA AFP Cortisolo CA 15.3 Estradiolo CA 19.9 Milano, 4 dicembre

9 Dal database regionale del programma VEQ "Ormoni e Marcatori tumorali" per ogni misurando sono stati estratti i risultati ottenuti sui campioni di origine umana "trattati", aventi concentrazione simile a quella dei corrispondenti campioni "non trattati". L'intervallo di concentrazione tra cui scegliere l'esercizio di VEQ per i materiali "trattati" è stato calcolato come media del campione umano ± TEa Milano, 4 dicembre

10 ANALISI DEI DATI Suddivisione dei 4995 risultati ottenuti per gruppo omogeneo Eliminazione dei gruppi composti da un numero < 6 di partecipanti Milano, 4 dicembre

11 ANALISI DEI DATI Individuazione ed eliminazione di eventuali outlier Milano, 4 dicembre

12 ANALISI DEI DATI Calcolo di media e deviazione standard per ogni gruppo omogeneo Milano, 4 dicembre

13 ANALISI DEI DATI Aggregazione dei gruppi omogenei per ogni sistema analitico FT4 Maschio Milano, 4 dicembre

14 ANALISI DEI DATI I gruppi omogenei sono stati dapprima confrontati fra loro per rilevare eventuali differenze di tipo statistico utilizzando in sequenza il test ANOVA one way e.. FT4 Maschio Milano, 4 dicembre

15 ANALISI DEI DATI...e il test di Tukey-Kramer per confronti multipli FT4 Maschio Milano, 4 dicembre

16 ANALISI DEI DATI Verifica se la differenza media fra ogni coppia di strumenti ± il suo intervallo di confidenza al 95% è superiore al traguardo di Bias basato sulla variabilità biologica FT4 Maschio Milano, 4 dicembre

17 ANALISI DEI DATI Questa analisi è stata effettuata per ogni misurando per tutte le tipologie di campione in esame: "non trattato" maschio "trattato" VEQ con concentrazione equivalente al "non trattato maschio" "non trattato" femmina "trattato" VEQ con concentrazione equivalente al "non trattato femmina" per un totale di 191 confronti Milano, 4 dicembre

18 RISULTATI Nella maggior parte dei confronti tra le medie dei gruppi omogenei vi è una differenza statisticamente significativa sia si utilizzino i materiali "non trattati" (nel 68% dei confronti i sistemi analitici risultano statisticamente non allineati) sia si utilizzino campioni trattati (nel 84% dei confronti i sistemi analitici risultano statisticamente non allineati). La maggior frequenza di disallineamento dei sistemi analitici, evidenziata attraverso i campioni trattati rispetto a quelli non trattati, risulta statisticamente significativa (p=0,0002 con il test esatto di Fischer) Milano, 4 dicembre

19 RISULTATI Se invece, come limite di accettabilità delle differenze fra i sistemi, si utilizza il traguardo di bias basato sulla variabilità biologica le frequenze di disallineamento si riducono passando al 49% per i materiali "non trattati" e al 60% per i materiali "trattati". In questo caso la maggior frequenza di disallineamento dei sistemi analitici, evidenziata attraverso i campioni trattati rispetto a quelli non trattati, non è statisticamente significativa (p=0,058 con il test esatto di Fischer) Milano, 4 dicembre

20 RISULTATI Sia che si valuti la significatività delle differenze tra i vari sistemi dal punto di vista statistico, sia che si valuti quella dal punto di vista clinico, si evidenzia una importante frequenza di disallineamento fra i sistemi, sia utilizzando il materiale "trattato", sia utilizzando quello "non trattato". Quest'ultimo dato, seppur quasi scontato, mostra però che le differenze tra le frequenze di disallineamento tra le due tipologie di materiali non sono così abissali come ci si sarebbe potuto aspettare; anzi, se si considera come limite di accettabilità delle differenze tra i sistemi il traguardo di bias basato sulla varabilità biologica, non c'è differenza statisticamente significativa tra le frequenze di disallineamento ottenute utilizzando le due diverse tipologie di materiale. Milano, 4 dicembre

21 CAUSE DI DISALLINEAMENTO Il disallineamento dei risultati ottenuti sui materiali "trattati" può essere ragionevolmente attribuito a due motivi: Interferenze dovute alle sostanze di cui sono addizionati i materiali che quindi non sono commutabili Utilizzo di sistemi analitici diversi le cui metodiche non sono tra di loro armonizzate/standardizzate Il disallineamento dei risultati ottenuti sui materiali "non trattati" può essere ragionevolmente attribuito ad un unico motivo: Utilizzo di sistemi analitici diversi le cui metodiche non sono tra di loro armonizzate/standardizzate Milano, 4 dicembre

22 ANALISI MATERIALI "NON TRATTATI" PROBLEMA DI ARMONIZZAZIONE? 2 misurandi in cui i sistemi sono allineati tra di loro: AFP e Cortisolo AFP maschio AFP femmina Milano, 4 dicembre

23 PRL maschio ANALISI MATERIALI "NON TRATTATI" PROBLEMA DI ARMONIZZAZIONE? 9 misurandi in cui i sistemi sono completamente disallineati tra di loro: CA 15.3, CA 19.9, CEA, Folati, FT3, FT4, LH, PRL e Testosterone PRL femmina Milano, 4 dicembre

24 ANALISI MATERIALI "NON TRATTATI" PROBLEMA DI ARMONIZZAZIONE? 9 misurandi in cui alcuni sistemi sovrastimano o sottostimano mentre i rimanenti sono allineati (pur essendo le metodiche calibrate verso standard diversi): Estradiolo, Ferritina, FSH, Insulina, Progesterone, PSA Libero, PSA Totale, TSH e Vitamina B12. Ferritina maschio WHO 80/602 WHO 80/578 WHO 80/602 WHO 94/572 WHO 94/572 Milano, 4 dicembre

25 ANALISI MATERIALI "NON TRATTATI" PROBLEMA DI ARMONIZZAZIONE? 9 misurandi in cui il sistema che sovrastima rispetto agli altri è sempre lo stesso ma non avendo a disposizione un valore assegnato con metodo di riferimento non è possibile giungere ad alcuna conclusione circa l'esattezza "metrologica" dei risultati ottenuti. CA 15.3 M Ferr M FT3 M FT4 F Insulina M LH F PRL F PSA Totale TSH F Milano, 4 dicembre

26 ARMONIZZAZIONE: SOGNO O REALTÀ? 20 misurandi analizzati 6 diversi sistemi analitici: Access/Dxi 800, Advia Centaur, Architect, Immulite, Vista, Modular/Elecsys/Cobas per soli 2 misurandi i sistemi risultano tra di loro armonizzati per 18 misurandi i sistemi mostrano problemi di armonizzazione In conclusione si può affermare che la causa dell'elevata frequenza di disallineamenti evidenziati con i materiali "non trattati" è attribuibile a problemi di armonizzazione Milano, 4 dicembre

27 ANALISI MATERIALI "TRATTATI": PROBLEMA DI ARMONIZZAZIONE O DI MATERIALE? FERR F FERR M FERR TRATTATO FERR TRATTATO Milano, 4 dicembre

28 ANALISI MATERIALI "TRATTATI": PROBLEMA DI ARMONIZZAZIONE O DI MATERIALE? B12 F B12 M B12 TRATTATO Milano, 4 dicembre

29 ANALISI MATERIALI "TRATTATI": PROBLEMA DI ARMONIZZAZIONE O DI MATERIALE? FT3 M FT3 F FT3 M TRATTATO FT3 F TRATTATO Milano, 4 dicembre

30 ANALISI MATERIALI "TRATTATI": PROBLEMA DI ARMONIZZAZIONE O DI MATERIALE? CA 19.9 M CA 19.9 F CA 19.9 TRATTATO Milano, 4 dicembre

31 ANALISI MATERIALI "TRATTATI": PROBLEMA DI ARMONIZZAZIONE O DI MATERIALE? 20 misurandi analizzati 6 diversi sistemi analitici: Access/Dxi 800, Advia Centaur, Architect, Immulite, Vista, Modular/Elecsys/Cobas per 6 misurandi si evidenzia una possibile interferenza dovuta al materiale 7 misurandi non risentono della diversa tipologia di materiale utilizzato per 7 misurandi non è possibile stabilire la causa del disallineamento perché potrebbe essere attribuibile tanto alla non armonizzazione dei sistemi quanto a interferenze dovute al materiale Milano, 4 dicembre

32 CONFRONTO IMPRECISIONE TSH Milano, 4 dicembre

33 CONFRONTO IMPRECISIONE Milano, 4 dicembre

34 OBIETTIVI Sapere se e quali tra le informazioni di ritorno fornite dal Provider in seguito all'elaborazione dei risultati inviati dai laboratori sono trasferibili alla routine Evidenziare il grado di armonizzazione dei sistemi in uso Milano, 4 dicembre

35 TAKE HOME MESSAGE Il livello di confidenza attribuibile alle informazioni di ritorno da parte del Provider è sicuramente alto per quanto riguarda quelle ottenute dal confronto con il gruppo omogeneo (accuratezza relativa e CV intra-laboratorio) Le informazioni ottenute ci permettono di fare delle inferenze relative al nostro modo di utilizzare il sistema in uso rispetto al gruppo di pari L'utilizzo di campioni "non trattati" ha messo in evidenza importanti problemi di armonizzazione fra i sistemi presenti sul mercato In molti casi (relativamente ai 20 misurandi studiati in questo lavoro) i materiali "trattati" sembrano non aggiungere ulteriore variabilità rispetto a quella dovuta alla non armonizzazione dei sistemi Milano, 4 dicembre

36 GRAZIE PER L'ATTENZIONE Milano, 4 dicembre