Confrontabilità e VEQ: risultanze sperimentali Sonia Mattioli Gruppo di studio SIBioC "Qualità analitica" ASST Valcamonica Milano, 4 dicembre 2018 1
VEQ SPERIMENTALE DEL CENTRO Miller, Clin Chem 2011;57:1670-80 Milano, 4 dicembre 2018 2
OBIETTIVI Sapere se e quali tra le informazioni di ritorno fornite dal Provider in seguito all'elaborazione dei risultati inviati dai laboratori sono trasferibili alla routine Evidenziare il grado di armonizzazione dei sistemi in uso Milano, 4 dicembre 2018 3
OBIETTIVI Sapere se e quali tra le informazioni di ritorno fornite dal Provider in seguito all'elaborazione dei risultati inviati dai laboratori sono trasferibili alla routine Evidenziare quindi eventuali differenze di comportamento tra i campioni "trattati" e i campioni "non trattati" Evidenziare il grado di armonizzazione dei sistemi in uso Comparare i risultati ottenuti con i vari sistemi (analizzare le differenze sia dal punto di vista statistico che dal punto di vista "clinico") e determinare se eventuali disallineamenti sono dovuti alla tipologia di materiale utilizzato ("trattato" vs "non trattato") o alle caratteristiche proprie dei vari sistemi. Milano, 4 dicembre 2018 4
ELEMENTI NECESSARI Campioni freschi "non trattati" di derivazione umana Sistemi di ditte diverse su cui eseguire le analisi Numero di risultati sufficiente a costituire gruppi omogenei abbastanza numerosi per l'elaborazione statistica Risultati ottenuti sui campioni "trattati" usualmente inviati dal provider per l'esecuzione degli esercizi di VEQ Milano, 4 dicembre 2018 5
Centro di Riferimento Regione Lombardia Centro di Riferimento Regione Toscana Ditta Polymed per la fornitura dei materiali "non trattati" Laboratori afferenti ai Centri di riferimento lombardo e toscano, "scelti" in base anche ai metodi utilizzati per avere un numero di risultati che fosse statisticamente elaborabile. Milano, 4 dicembre 2018 6
A 46 laboratori scelti tra i partecipanti al programma VEQ "Ormoni e marcatori tumorali" che determinano i misurandi prescelti su un unico sistema (data la scarsa quantià di materiale a disposizione) sono stati inviati, in un'unica spedizione, due campioni freschi di derivazione umana "non trattati" uno di provenienza maschile (unico donatore) e uno di provenienza femminile (unico donatore) Milano, 4 dicembre 2018 7
MISURANDI TSH FT3 FT4 Testosterone Progesterone Prolattina LH FSH Insulina Vitamina B12 Acido Folico Ferritina PSA Totale PSA Libero CEA AFP Cortisolo CA 15.3 Estradiolo CA 19.9 Milano, 4 dicembre 2018 8
Dal database regionale del programma VEQ "Ormoni e Marcatori tumorali" per ogni misurando sono stati estratti i risultati ottenuti sui campioni di origine umana "trattati", aventi concentrazione simile a quella dei corrispondenti campioni "non trattati". L'intervallo di concentrazione tra cui scegliere l'esercizio di VEQ per i materiali "trattati" è stato calcolato come media del campione umano ± TEa Milano, 4 dicembre 2018 9
ANALISI DEI DATI Suddivisione dei 4995 risultati ottenuti per gruppo omogeneo Eliminazione dei gruppi composti da un numero < 6 di partecipanti Milano, 4 dicembre 2018 10
ANALISI DEI DATI Individuazione ed eliminazione di eventuali outlier Milano, 4 dicembre 2018 11
ANALISI DEI DATI Calcolo di media e deviazione standard per ogni gruppo omogeneo Milano, 4 dicembre 2018 12
ANALISI DEI DATI Aggregazione dei gruppi omogenei per ogni sistema analitico FT4 Maschio Milano, 4 dicembre 2018 13
ANALISI DEI DATI I gruppi omogenei sono stati dapprima confrontati fra loro per rilevare eventuali differenze di tipo statistico utilizzando in sequenza il test ANOVA one way e.. FT4 Maschio Milano, 4 dicembre 2018 14
ANALISI DEI DATI...e il test di Tukey-Kramer per confronti multipli FT4 Maschio Milano, 4 dicembre 2018 15
ANALISI DEI DATI Verifica se la differenza media fra ogni coppia di strumenti ± il suo intervallo di confidenza al 95% è superiore al traguardo di Bias basato sulla variabilità biologica FT4 Maschio Milano, 4 dicembre 2018 16
ANALISI DEI DATI Questa analisi è stata effettuata per ogni misurando per tutte le tipologie di campione in esame: "non trattato" maschio "trattato" VEQ con concentrazione equivalente al "non trattato maschio" "non trattato" femmina "trattato" VEQ con concentrazione equivalente al "non trattato femmina" per un totale di 191 confronti Milano, 4 dicembre 2018 17
RISULTATI Nella maggior parte dei confronti tra le medie dei gruppi omogenei vi è una differenza statisticamente significativa sia si utilizzino i materiali "non trattati" (nel 68% dei confronti i sistemi analitici risultano statisticamente non allineati) sia si utilizzino campioni trattati (nel 84% dei confronti i sistemi analitici risultano statisticamente non allineati). La maggior frequenza di disallineamento dei sistemi analitici, evidenziata attraverso i campioni trattati rispetto a quelli non trattati, risulta statisticamente significativa (p=0,0002 con il test esatto di Fischer) Milano, 4 dicembre 2018 18
RISULTATI Se invece, come limite di accettabilità delle differenze fra i sistemi, si utilizza il traguardo di bias basato sulla variabilità biologica le frequenze di disallineamento si riducono passando al 49% per i materiali "non trattati" e al 60% per i materiali "trattati". In questo caso la maggior frequenza di disallineamento dei sistemi analitici, evidenziata attraverso i campioni trattati rispetto a quelli non trattati, non è statisticamente significativa (p=0,058 con il test esatto di Fischer) Milano, 4 dicembre 2018 19
RISULTATI Sia che si valuti la significatività delle differenze tra i vari sistemi dal punto di vista statistico, sia che si valuti quella dal punto di vista clinico, si evidenzia una importante frequenza di disallineamento fra i sistemi, sia utilizzando il materiale "trattato", sia utilizzando quello "non trattato". Quest'ultimo dato, seppur quasi scontato, mostra però che le differenze tra le frequenze di disallineamento tra le due tipologie di materiali non sono così abissali come ci si sarebbe potuto aspettare; anzi, se si considera come limite di accettabilità delle differenze tra i sistemi il traguardo di bias basato sulla varabilità biologica, non c'è differenza statisticamente significativa tra le frequenze di disallineamento ottenute utilizzando le due diverse tipologie di materiale. Milano, 4 dicembre 2018 20
CAUSE DI DISALLINEAMENTO Il disallineamento dei risultati ottenuti sui materiali "trattati" può essere ragionevolmente attribuito a due motivi: Interferenze dovute alle sostanze di cui sono addizionati i materiali che quindi non sono commutabili Utilizzo di sistemi analitici diversi le cui metodiche non sono tra di loro armonizzate/standardizzate Il disallineamento dei risultati ottenuti sui materiali "non trattati" può essere ragionevolmente attribuito ad un unico motivo: Utilizzo di sistemi analitici diversi le cui metodiche non sono tra di loro armonizzate/standardizzate Milano, 4 dicembre 2018 21
ANALISI MATERIALI "NON TRATTATI" PROBLEMA DI ARMONIZZAZIONE? 2 misurandi in cui i sistemi sono allineati tra di loro: AFP e Cortisolo AFP maschio AFP femmina Milano, 4 dicembre 2018 22
PRL maschio ANALISI MATERIALI "NON TRATTATI" PROBLEMA DI ARMONIZZAZIONE? 9 misurandi in cui i sistemi sono completamente disallineati tra di loro: CA 15.3, CA 19.9, CEA, Folati, FT3, FT4, LH, PRL e Testosterone PRL femmina Milano, 4 dicembre 2018 23
ANALISI MATERIALI "NON TRATTATI" PROBLEMA DI ARMONIZZAZIONE? 9 misurandi in cui alcuni sistemi sovrastimano o sottostimano mentre i rimanenti sono allineati (pur essendo le metodiche calibrate verso standard diversi): Estradiolo, Ferritina, FSH, Insulina, Progesterone, PSA Libero, PSA Totale, TSH e Vitamina B12. Ferritina maschio WHO 80/602 WHO 80/578 WHO 80/602 WHO 94/572 WHO 94/572 Milano, 4 dicembre 2018 24
ANALISI MATERIALI "NON TRATTATI" PROBLEMA DI ARMONIZZAZIONE? 9 misurandi in cui il sistema che sovrastima rispetto agli altri è sempre lo stesso ma non avendo a disposizione un valore assegnato con metodo di riferimento non è possibile giungere ad alcuna conclusione circa l'esattezza "metrologica" dei risultati ottenuti. CA 15.3 M Ferr M FT3 M FT4 F Insulina M LH F PRL F PSA Totale TSH F Milano, 4 dicembre 2018 25
ARMONIZZAZIONE: SOGNO O REALTÀ? 20 misurandi analizzati 6 diversi sistemi analitici: Access/Dxi 800, Advia Centaur, Architect, Immulite, Vista, Modular/Elecsys/Cobas per soli 2 misurandi i sistemi risultano tra di loro armonizzati per 18 misurandi i sistemi mostrano problemi di armonizzazione In conclusione si può affermare che la causa dell'elevata frequenza di disallineamenti evidenziati con i materiali "non trattati" è attribuibile a problemi di armonizzazione Milano, 4 dicembre 2018 26
ANALISI MATERIALI "TRATTATI": PROBLEMA DI ARMONIZZAZIONE O DI MATERIALE? FERR F FERR M FERR TRATTATO FERR TRATTATO Milano, 4 dicembre 2018 27
ANALISI MATERIALI "TRATTATI": PROBLEMA DI ARMONIZZAZIONE O DI MATERIALE? B12 F B12 M B12 TRATTATO Milano, 4 dicembre 2018 28
ANALISI MATERIALI "TRATTATI": PROBLEMA DI ARMONIZZAZIONE O DI MATERIALE? FT3 M FT3 F FT3 M TRATTATO FT3 F TRATTATO Milano, 4 dicembre 2018 29
ANALISI MATERIALI "TRATTATI": PROBLEMA DI ARMONIZZAZIONE O DI MATERIALE? CA 19.9 M CA 19.9 F CA 19.9 TRATTATO Milano, 4 dicembre 2018 30
ANALISI MATERIALI "TRATTATI": PROBLEMA DI ARMONIZZAZIONE O DI MATERIALE? 20 misurandi analizzati 6 diversi sistemi analitici: Access/Dxi 800, Advia Centaur, Architect, Immulite, Vista, Modular/Elecsys/Cobas per 6 misurandi si evidenzia una possibile interferenza dovuta al materiale 7 misurandi non risentono della diversa tipologia di materiale utilizzato per 7 misurandi non è possibile stabilire la causa del disallineamento perché potrebbe essere attribuibile tanto alla non armonizzazione dei sistemi quanto a interferenze dovute al materiale Milano, 4 dicembre 2018 31
CONFRONTO IMPRECISIONE TSH Milano, 4 dicembre 2018 32
CONFRONTO IMPRECISIONE Milano, 4 dicembre 2018 33
OBIETTIVI Sapere se e quali tra le informazioni di ritorno fornite dal Provider in seguito all'elaborazione dei risultati inviati dai laboratori sono trasferibili alla routine Evidenziare il grado di armonizzazione dei sistemi in uso Milano, 4 dicembre 2018 34
TAKE HOME MESSAGE Il livello di confidenza attribuibile alle informazioni di ritorno da parte del Provider è sicuramente alto per quanto riguarda quelle ottenute dal confronto con il gruppo omogeneo (accuratezza relativa e CV intra-laboratorio) Le informazioni ottenute ci permettono di fare delle inferenze relative al nostro modo di utilizzare il sistema in uso rispetto al gruppo di pari L'utilizzo di campioni "non trattati" ha messo in evidenza importanti problemi di armonizzazione fra i sistemi presenti sul mercato In molti casi (relativamente ai 20 misurandi studiati in questo lavoro) i materiali "trattati" sembrano non aggiungere ulteriore variabilità rispetto a quella dovuta alla non armonizzazione dei sistemi Milano, 4 dicembre 2018 35
GRAZIE PER L'ATTENZIONE Milano, 4 dicembre 2018 36