13.15-14.15 Sala Bernini 2 Sessione Parallela - A Colazione con l Esperto Leggere una metanalisi di laboratorio D. Giavarina
JAMA 1992: EBLM l'uso coscienzioso, esplicito e giudizioso delle migliori Prove sulla cura del singolo paziente Tutte le prove Sintesi delle prove Review? 2
Il Volume dell informazione Medico-Sanitaria 17.000 nuovi libri Ogni anno: 2 milioni di articoli in 20.000 riviste diverse Page 3
STUDIO PRIMARIO STUDIO SECONDARIO Rappresentano la maggio parte degli articoli pubblicati nelle riviste scientifiche. Descrivono le singole ricerche Riassumono e traggono conclusioni dagli studi primari Studi sperimentali Studi clinici Studi osservazionali Rassegne Narrative Sistematiche Metanalisi Sperimentazione su pazienti Linee-Guida Sperimentazione in ambiente artificiale Valutano l intervento su un gruppo di pazienti o di soggetti Analisi Decisionali 4
Revisioni Narrative Mix tra le opinioni di esperti e studi primari. Gli studi primari sono scelti in base a Disponibilità bibliografica Lingua Concordanza con l opinione dello scrittore Una revisione narrativa tratta e riassume la letteratura su uno specifico argomento, senza generare grafici di sintesi Tende a dare una panoramica generale dell argomento, piuttosto che rispondere a specifiche domande sull efficacia dell intervento Raramente riporta in modo con cui sono state ricercate le fonti 5
Systematic Review Una revisione sistematica e una revisione della letteratura focalizzata su una specifica domanda. Essa vuole identificare, valutare selezionare e riassumere tutte le ricerche di elevata qualità rilevanti per quella domanda. Porre la domanda Trovare e selezionare gli studi Valutare criticamente gli studi Raccogliere le prove Analizzare e riassumere le prove Interpretare i risultati Migliorare e aggiornare le revisioni Arcibald Cochrane METANALISI Tecnica statistica per combinare i risultati di studi indipendenti al fine di arrivare a una misura complessiva dell effetto 6
Le prove (Evidences) Trials Clinici ODDs Ratio (OR) Con che forza la presenza o l assenza di una condizione A è associata alla presenza o assenza di una condizione B in una data popolazione Studi di accuratezza diagnostica Sensibilità Specificità Curva ROC Likelihood Ratio Diagnostic ODDs Ratio (DOR) 7
Cosa e come si misura l efficacia degli studi clinici Si misura l effetto della terapia contro placebo e altra terapia TRATTATI PLACEBO Esito Favorevole a b Esito non Favorevole c d Le lettere nelle celle corrispondono al numero di soggetti (ad es. a indica il numero di soggetti trattati con esito favorevole 8
ESEMPIO Cosa e come si misura l efficacia degli studi clinici TRATTATI PLACEBO Esito Favorevole 80 40 Esito non Favorevole 166 249 9
10
Sensibilità Specificità Specificità 80% SPIN high Specificity and Positive results rule IN the diagnosis con alta specificità, un risultato positivo conferma la diagnosi Qualità di riconoscere i negativi Sensibilità SNOUT high Sensitivity and Negative results rule OUT the diagnosis 80% con alta sensibilità un risultato negativo esclude la diagnosi Qualità di riconoscere i positivi 11
% Veri Positivi (Sensbilità) 100 Curva ROC 80 60 40 FERRITINA Test cut-off 20 0 0 20 40 60 80 100 % Falsi Positivi (100-Specificità) SIDEROPENICO NON SIDEROPENICO Positivo Negativo 12
Likelihood ratio LR(+) LR(-) La probabilità che un dato risultato sia presente in un soggetto con la malattia cercata rispetto alla probabilità dello stesso risultato in un soggetto sano L(+) = Se 1 - Sp L(-) = 1 Se Sp LR+ > 10 LR- < 0.1 5 < LR+ < 10 0.1 <LR- <0.2 2 < LR+ < 5 0.2 <LR- <0.5 1 < LR+ < 2 0.5 <LR- <1.0 Modificano in modo spesso conclusivo la probabilità di malattia Modificano in modo discreto la probabilità di malattia Modificano modestamente la probabilità di malattia Modificano scarsamente la probabilità di malattia e solo di rado sono importanti. 13
Odd Ratio Diagnostico DOR = LR + LR - Il DOR esprime quanto più grande è la probabilità di avere la malattia per i soggetti con un risultato positivo rispetto ai soggetti con un risultato negativo. É una singola misura delle performance del test diagnostico che combina entrambi i likelihood ratio. 14
15
Background & Obiettivo Background : I metodi per la misura degli anticorpi anti nucleosoma (ANuA) sono disponibili da più di 10 anni e i test hanno dimostrato buona sensibilità e elevata specificità nella diagnosi di lupus eritematoso sistemico (LES). Nonostante questi dati prodotti da ricerche cliniche e di laboratorio, il test è poco usato. Obiettivo: Verificare le performance diagnostiche dei metodi di misura degli ANuA a compararli con quelle per gli anticorpi antidsdna. 16
Le domande 1. Gli ANuA sono caratterizzati da un adequato livello di accuratezza diagnostica per la diagnosi di LES? 2. In caso di positività degli ANuA, questo test può escludere la presenza di altre connettiviti? 3. Il test ANuA è comparabile, ai fini diagnostici, al test per gli anticorpi anti-dsdna? 17
«Prima di iniziare la selezione degli studi primari, è stato preparato un protocollo con predefiniti criteri di inclusione ed esclusione» 1990 to 2011 MEDLINE and EMBASE terms: nucleosome, chromatin, antinucleosome antibodies and anti-chromatin antibodies. no language restriction. 18
PARAMETRI E CRITERI PER LA VALUTAZIONE STATISTICA A) STUDI. Numero complessivo degli studi, contando una sola volta quelli che hanno studiato la stessa popolazione con più metodi. B) CASI. Numero dei casi di LES e controlli, contati una sola volta quelli che hanno studiato la stessa popolazione con più metodi; in questo caso, per la valutazione della accuratezza diagnostica globale, verranno selezionati i dati del metodo che ha ottenuto i risultati migliori. C) METODI. Numero dei metodi impiegati. Negli studi che hanno valutato la stessa popolazione con più metodi, l accuratezza diagnostica verrà calcolata separatamente per ciascun metodo. 19
Analisi statistica 1. Sensibilità e specificità 1.1) globali (tutti i lavori selezionati) 1.2) per metodo a) in house b) ELISA c) ALBIA Bioplex d) LIA e) con H1 stripped o no 1.3) suddivise per adulti e bambini (0-14 anni) 1.4) confronto con anti-dsdna 2. Sensibilità 2.1) nei pazienti con LES con nefrite o senza nefrite 2.3) nei pazienti con LES in fase attiva in fase quiescente 20
21
L'area di ogni quadrato rappresenta la dimensione dello studio; le linee orizzontali sono gli intervalli di confidenza (CI) CI è un intervallo di valori per una variabile di interesse (ad es.: Se, Sp, LR, e DOR) costruito in modo tale che tale intervalo ha una specifica probabilità (usualmente il 95%) di comprendere il valore vero della variabile Variabile aggregata: Fixed effect o Random effect 22
Eterogeneità Il problema: troppa variabilità tra gli studi perché un indice di centralità abbia senso Si può stimare l eterogeneità: Visivamente osservando la sovrapposizione degli intervalli di cinficenza tra gli studi Statisticamente Cochran Q test: ETEROGENEITÀ Test I 2 : INCONSISTENZA 23
24
25
Cochran s Q Test Esamina l ipotesi nulla che tutti gli studi stiano misurando/valutando lo stesso effetto. Il valore del test è calcolato mediante la somma delle devianze al quadrato dei risultati di ciascun studio, rispetto alla stima aggregata (metanalitica), pesata per il contributo dato da ciscuno studio (numerosità). Il valore di p è ottenuto mediante il confronto con la distribuzione 2. Più basso è il valore di p sotto 0.05, minore è l omogeneità Inconsistency Test I 2 = 100% x (Q-df)/Q I = Inconsistenza Q= statistica di Cochran s per l eterogeneità df = gradi di libertà In valore di 0% indica = non eterogenità osservata; valori più elevati corrispondono a a livelli maggiori di eterogeneità. 26
Changes in diagnostic threshold 27
25% 50% 75% No Bassa Moderata Alta Quanto è troppa eterogeneità? L'eterogeneità è normale in una meta-analisi : Caso Variabilità nel disegno degli studi Eterogeneità tra i metodi analitici utilizzati per i test diagnostici diversa selezione dei pazienti Differenze nei cut-off decisionali 28
Curve SROC 29
Variazione del cut-off decisionale ed eterogeneità SROC ANuA antibody anti-dsdna antibody 30
Stime aggregate 31
0 0,2 0,4 0,6 0,8 1 Specificity Analysis Options: H1 NO-stripped Add 1/2 to all cells of the studies with zero Filter ON (H1stripped = 0 ) Specificity (95% CI) Ravirajan CT et al. 2001 1,00 (0,84-1,00) Lepers S et al. 2002 - (c) 0,78 (0,62-0,89) Min DJ et al. 2002 0,98 (0,89-1,00) Lepers S et al. 2002 - (a) 0,76 (0,60-0,88) Schett G et al. 2002 - (b) 0,85 (0,81-0,89) Lepers S et al. 2002 - (b) 0,61 (0,45-0,76) Cortés-Hernández J et al. 21,00 (0,90-1,00) Villalta D et al. 2005 - (c 0,95 (0,91-0,97) Quattrocchi P et al. 2005 0,73 (0,62-0,82) Tonutti E et al. 2008 1,00 (0,96-1,00) Pooled Specificity = 0,88 (0,85 to 0,90) Chi-s quare = 102,83; df = 9 (p = 0,0000) Inconsistency (I-s quare) = 91,2 % Amoura Z Bruns A e Amoura Z Hmida Y e Schett G e Lepers S e Cairns AP Cervera R González Ghirardel l Suer W et Simón JA González Julkunen H Villalta D Sallai K e Villalta D Wu JF et a Campos L Saisoong Wu JF et a Braun A e P?tová I e T ikly M et Su Y et al Düzgün N Bossuyt X Shabana Gosink J. H1 stripped 0 0,2 0,4 0,6 0,8 1 Specificity Analysis Options: Add 1/2 to all cells of the studies with zero Filter ON (H1stripped = 1 ) Pooled Sp Chi-square Inconsiste 32
33
34
Conclusioni I risultati della metanalisi hanno dimostrato che gli anticorpi anti nucleosomi sono un marker molto accurato per il LES. Gli anticorpi anti nucleosomi hanno uguale specificità ma maggiore sensibilità, likelihood ratio positivi e Diagnostic Odds Ratio rispetto agli anticorpi anti -dsdna, per la diagnosi di LES. Quindi, il test per gli anticorpi anti nucleosomi possono rappresentare una valida alternativa al test per gli anticorpi antidsdna. Misurare anticorpi anti-dsdna con un metodo di immunofluorescenza deve ora essere considerato obsoleto a causa della bassa sensibilità diagnostica e alla difficoltà di interpretazione, un elemento comune a tutti i test in immunofluorescenza indiretta 35
DUE ALTRI ESEMPI IN SINTESI 36
861 articles 2nd generation porcine TRAb Assay: no 11 2nd generation human TRAb Assay: no: 6 3nd generation manual TRAb Assay: no.5 3nd generation automated TRAb Assay: no.7 37
Sensibilità Considerando la sensibilità aggregata, ossia la media delle sensibilità pesate per il numero di casi analizzati da ciascuno studio, essa è aumentata da 89.0% a 97.1%, a 97.4%, rispettivamente. 38
39
40
What is the diagnostic accuracy of available ELISA methods in the diagnosis of autoimmune blistering skin diseases? Should quantitative ELISA tests be used instead of IIF in the diagnosis of BP and PV? 69 articles for anti- BP180 autoab 17 studies (1058 patients with BP and 2416 controls) 178 articles for anti- Dsg3 autoab 13 studies (583 patients with PV and 2040 controls) 41
Forest plot di Sensibilità and Specificità per il test ELISA per gli anticorpi anti-bp180 ELISA nella diagnosi di Penfigo Bolloso 42
Forest plot di Sensibilità and Specificità per il test ELISA per gli anticorpi anti-dsg3 nella diagnosi di Penfigo Volgare. 43
Analisi della curva SROC per il test ELISA per gli anticorpi anti-bp180 nella diagnosi di Penfigo Bolloso. Analisi della curva SROC per il test ELISA per gli anticorpi anti-dsg3 nella diagnosi di Penfigo Volgare. 44
45
Qualità delle prove Confidenza nella stima dell effetto migliori prove/migliori raccomandazioni Definizione della qualità delle prove Alta qualità è molto improbabile che ulteriori ricerche cambino la nostra opinione (confidenza, fiducia) sulla stima dell effetto Qualità moderata è possibile che ulteriori ricerche abbiano un impatto importante sulla nostra opinione circa la stima dell effetto e possano cambiare la stima Bassa Qualità è molto probabile che ulteriori ricerche abbiano un impatto importante sulla nostra opinione circa la stima dell effetto ed verosimilmente cambiare la stima Qualità molto bassa ogni stima è molto incerta 46
Grazie Davide Giavarina 47
48