Criteri per valutare la validità di una revisione sistematica

Transcript

1 Criteri per valutare la validità di una revisione sistematica 1. La revisione risponde ad un quesito clinico chiaro e ben definito? 2. I criteri di selezione degli articoli (inclusione/esclusione) sono descritti e appropriati? Specificati: - malattia/condizione - intervento/esposizione - outcome - disegno degli studi inclusi (RCT, quasi-rct ) 1 3. Sono stati ricercati e inclusi tutti gli studi rilevanti? 1. Quali strategie utilizzate termini utilizzati per cercare nelle banche dati 2. Quali banche dati consultate a. ricerca nei principali data base elettronici di letteratura primaria (MEDLINE, EMBASE, CINAHL, CENTRAL/CCTR, database specialistici.) b. ricerca manuale nelle voci bibliografiche degli articoli identificati 2

2 c. ricerca (manuale o elettronica) in abstract di congressi, conferenze, ecc d. contatto personale con esperti/autori qualificati nell area della revisione identificare studi rilevanti pubblicati ma sfuggiti alle precedenti ricerche, studi in via di pubblicazione e studi non pubblicati Identificazione di studi non pubblicati tentativo di ridurre il publication bias 3 4. È stata valutata la validità degli studi inclusi? Andrebbe fatta sempre, anche se si tratta di RCTs studi di bassa qualità aumentano il rischio di sovrastimare l efficacia degli interventi riportato nei metodi se tale lavoro è stato fatto e con che metodologia (vari tipi di checklists Jadad scale) 4

3 Scale di valutazione di qualità per RCT. Jadad Scale 1) Lo studio era descritto come randomizzato? 2) Lo studio era descritto come doppio cieco? 3) Era presente la descrizione dei persi al follow-up? Assegnare 1 punto per ogni risposta positiva o 0 punti per ogni risposta negativa Assegnare 1 punto in più se Togliere 1 punto se 4) Randomizzazione appropriata 5) Cecità appropriata 4) Randomizzazione inappropriata 5) Cecità inappropriata Range dello score: 0-5 RCT di non buona qualità < La selezione e la valutazione dei singoli studi è riproducibile e libera da bias? 1) la selezione dei lavori da includere nella RS 2) la valutazione della loro validità 3) l estrazione/interpretazione dei dati richiedono giudizi soggettivi ogni passaggio è soggetto a possibili errori casuali e sistematici (bias) 6

4 Minimizzazione degli errori attraverso: 1) Utilizzo di criteri espliciti 2) La realizzazione di ciascuna delle 3 tappe da parte di 2 o più valutatori indipendenti (ciechi), risolvendo eventuali disaccordi con il consenso o con l intervento di un terzo valutatore Tale approccio garantisce la qualità della RS e ne rende i risultati più affidabili 7 8

5 9 1. La revisione risponde ad un quesito clinico chiaro e ben definito? 2. I criteri di selezione degli articoli (inclusione/esclusione) sono descritti e appropriati? PICO Criteri di selezione dei lavori Non è specificato quali procedure vengono considerate Outcomes non definiti (cosa si intende per efficacia e sicurezza?) Non specificato il disegno (all trials è troppo generico) 10

6 3. Sono stati ricercati e inclusi tutti gli studi rilevanti? Strategia di ricerca riportata Non restrizioni di linguaggio Solo MEDLINE Analisi delle referenze dei lavori identificati ma troppo schematica: non è ad esempio detto niente su come sono stati identificati i trial non riproducibile e le altre banche dati? C è rischio di perdita di lavori rilevanti ma non ricerca di altre fonti di letteratura grigia né contatto con esperti È stata valutata la validità degli studi inclusi? Nessuna valutazione della qualità metodologica 5. La selezione e la valutazione dei singoli studi è riproducibile e libera da bias? Revisione indipendente di due investigatori Ma di quali fasi? Solo inclusione? 12

7 6. I risultati dei diversi studi inclusi erano simili? I risultati degli studi primari inclusi in una RS sono sempre un po diversi tra loro 13 Questa variabilità nei risultati tra i diversi studi viene definita eterogeneità L eterogeneità può dipendere da: - differenze cliniche tra i diversi studi variabilità: nei partecipanti negli interventi negli outcomes - differenze metodologiche tra i diversi studi variabilità: nel disegno nella qualità 14

8 Questa variabilità tra studi va adeguatamente analizzata metanalisi andrebbe realizzata solo con studi primari SUFFICIENTEMENTE omogenei L eterogeneità può essere esplorata: 15 1) visivamente c è sovrapposizione tra gli IC dei singoli trials e il risultato cumulativo La linea rossa che attraversa il risultato cumulativo incrocia le linee orizzontali di tutti i singoli studi significa che probabilmente non c è eterogeneità 16

9 2) con un test statistico (Cochran Q test) eterogeneità presente se p<0,1 Il test statistico per eterogeneità nelle RS Cochrane è riportato sotto il forest plot. p=0,92 quindi >0,1 quindi non c è eterogeneità tra i risultati dei diversi studi 17 18

10 Cosa è giusto fare in presenza di eterogeneità? 1) Analizzarne le possibili cause 2) Non fare la metanalisi presentare i dati in maniera qualitativa 3) Utilizzare particolari sistemi di analisi (analisi ad effetti random) 19 Ai fini pratici di lettori di RS ci interessa che gli autori abbiano 1) adeguatamente descritto i singoli studi primari 2) valutato la presenza di eterogeneità tra i risultati dei diversi studi primari 3) valutato e descritto le possibili fonti di eterogeneità 4) abbiano tenuto conto dell eventuale presenza di eterogeneità nell analisi dei dati, in discussione e nelle conclusioni 20

11 7. Quali sono i risultati? Obiettivo della RS è quello di fornire una misura sintetica di risultati provenienti da diversi studi Se possibile metanalisi tecnica statistica che permette di combinare i risultati degli studi primari per ottenere stima cumulativa dell effetto Dove non è possibile la metanalisi risultati presentati in maniera qualitativa: in tabella o in grafico dei risultati dei singoli studi primari 21 I risultati sono presentati utilizzando le stesse misure degli studi primari: Riduzione del Rischio, Rischio relativo, Odds Ratio, Number Needed to Treat (NNT). Insieme a misure della precisione dei risultati Intervallo di confidenza 22

12 Analisi per sottogruppi Per esplorare l eterogeneità e per rispondere a quesiti specifici su particolari gruppi di pazienti, tipi di interventi o tipi di studio Suddivisione dei dati per realizzare confronti tra: - Sottogruppi di soggetti (sesso, età, ecc) - Sottogruppi di trattamento (diversi dosaggi di un farmaco) - Sottogruppi di studi (setting geografici, diversa qualità metodologica, anni di realizzazione) 23 Review: Oral zinc for treating diarrhoea in children Comparison: 01 Zinc vs placebo for acute diarrhoea Outcome: 01 Diarrhoea duration (h) Study Treatment Control WMD (random) Weight WMD (random) or sub-category N Mean (SD) N Mean (SD) 95% CI % 95% CI 01 All trials Al-Sonboli (19.20) (43.20) [-46.43, Bhatnagar (37.00) (45.60) [-18.77, Brooks 2005 (20 mg) (111.90) (113.90) [-41.13, Brooks 2005 (5 mg) (111.30) (113.90) [-40.83, Dutta (10.00) (17.10) [-39.32, Faruque (122.40) (122.40) [-40.29, Fischer 2006 Ethiop (44.20) (58.80) [-22.13, Fischer 2006 India (127.20) (99.10) [-0.48, 4 Fischer 2006 Pakist (73.90) (59.30) [-3.56, 1 Polat 2003 low Zn (1.30) (1.70) [-2.39, - Polat 2003 normal Zn (1.40) (1.60) [-1.07, 0 Roy (60.00) (32.70) [-41.22, Sachdev (42.90) (40.00) [-31.49, Subtotal (95% CI) [-11.37, Test for heterogeneity: Chi² = , df = 12 (P < ), I² = 91.2% Test for overall effect: Z = 4.38 (P < ) 24

13 25 Zinco per trattamento diarrea nei bambini Stratificazioni per - Stato nutrizione (malnutriti vs non malnutriti) - Sesso (maschi vs entrambi i sessi) - Tipo di diarrea (acuta vs persistente) - Dose di zinco (<=20 mg vs >20 mg) - Tipo di zinco (gluconato vs acetato vs solfato) - Area geografica (Asia vs Africa vs Sud America) 26

14 Sensitivity analysis (analisi di sensitività) Serve per stabilire quanto sono robusti i risultati come si modificano i risultati se provo a modificare le assunzioni chiave poste per lo svolgimento della metanalisi? - Criteri di inclusione degli studi (RCT vs quasi RCT) - Studi di migliore qualità metodologica (RCT doppio cieco vs RCT non ciechi; Jadad >3 vs <3) - Diverse popolazioni di pazienti (sintomi ben definiti vs mal definiti; compliance monitorata vs non monitorata) - diverso approccio statistico. 27 Se le analisi svolte non cambiano materialmente i risultati questi si possono prendere con una certa confidenza. Se i risultati cambiano tanto da portare a conclusioni differenti gli autori dovranno tenerne conto e porre cautela nelle conclusioni 28

15 29 Esempi di schede per valutare la qualità di una RS 1) Scheda tratta da Clinical Evidence 1. Definizione chiara del quesito (Pazienti/patologia, Intervento, Confronto, Outcome/s) 2. Definizione dei criteri di eleggibilità dei lavori nella RS 3. Descrizione della strategia di ricerca: - Ricerca nei principali database (multifonte, non solo Medline!) - Parole chiave utilizzate per le principali banche dati (è riproducibile?) - Analisi manuale di referenze bibliografiche/abstracts di conferenze, ecc. - Contatto diretto con esperti 30

16 4. Analisi indipendente da parte di due o più ricercatori di - Selezione e valutazione dei lavori - Estrazione dei dati dai lavori 5. Descrizione della qualità metodologica dei lavori identificati 6. Descrizione delle differenze nei risultati dei singoli studi primari 7. Combinazione appropriata dei risultati dei singoli studi primari - OR - 95% IC 8. Corrispondenza tra i risultati presentati e le conclusioni dei revisori 31 Vi sono anche modelli più complessi che prevedono l assegnazione di punteggi ad alcune domande con valutazione di uno score finale indice di Oxman e Guyatt Sono state prodotte raccomandazioni per migliorare la qualità della presentazione di meta-analisi di RCTs QUOROM statement checklist - Checklist su come presentare abstract, metodi, risultati e discussione - Diagramma di flusso per rappresentare il processo di analisi, inclusione, esclusione dei RCT e le relative motivazioni 32