Quantificare la forza dell evidenza scientifica (quando i resoconti aneddotici valgono più di uno studio controllato randomizzato)

Transcript

1 Quantificare la forza dell evidenza scientifica (quando i resoconti aneddotici valgono più di uno studio controllato randomizzato) Rubrica con metodo Epidemiol Prev Settembre- dicembre 2011 Elena Farina Journal Club 25 gennaio 2012

2 Introduzione Secondo l impostazione statistica, la valutazione dell evidenza empirica consiste nel controllo della variabilità campionaria Uno studio è tanto più informativo quanto più è stretto l intervallo di confidenza Il valore di uno studio scientifico non dipende dal grado di controllo dell incertezza statistica se non in seconda battuta

3 Tipo di studio e obiettivo Questo studio può essere classificato come commento Discutere il valore scientifico di uno studio epidemiologico alla luce degli scopi scientifici che intende perseguire e del disegno che è stato adottato

4 Validità per uno studio malfatto ha senso porsi interrogativi rispetto al valore scientifico? La validità di uno studio dipende dalla sua corretta impostazione, esecuzione e analisi Es: studio clinico controllato randomizzato sono stati considerati nella valutazione finale di esito tutti i soggetti arruolati e sono stati analizzati relativamente al gruppo a cui sono stati assegnati all inizio dello studio? il trattamento è stato assegnato in modo randomizzato?

5 Valore Il valore di uno studio è relativo alla qualità dell informazione da esso fornito alla luce delle conoscenze acquisite fino a quel momento La classificazione degli studi rispetto al loro valore non corrisponde necessariamente ad una gerarchia dei diversi tipi di studio!! La IARC per esempio, nelle sue valutazioni, non assegna un valore maggiore ad un certo disegno dello studio

6 Intervento valutato Vengono valutati due differenti approcci epidemiologici rispetto agli scopi di una ricerca Discovery and explanation Evaluation

7 Evaluation Nello studio sperimentale: Tipico esempio: studio clinico randomizzato Il quesito scientifico è molto strutturato e lo studio è completamente predefinito Tutto è sotto controllo del ricercatore e il ruolo causale dell esposizione /trattamento è l oggetto dello studio Le conoscenze a priori sono molte e sofisticate, quindi non c è spazio per inventare e suggerire nuove vie di ricerca

8 Evaluation Revisioni sistematiche e meta-analisi Studi clinici controllati randomizzati? Studi di coorte Studi caso-controllo Studi ecologici Case report e case series Vandenbroucke (2008)

9 Discovery and explanation PRIMA FASE Il ricercatore si trova di fronte a: a) Una osservazione spontanea non a seguito di uno studio pianificato sulla base di una precisa ipotesi di ricerca b) Un risultato inatteso un numero di casi straordinario per una malattia rara, un rischio dimezzato per un tumore in un area, ecc

10 Discovery and explanation SECONDA FASE Il ricercatore per saggiare la consistenza delle nuove e inattese evidenze raccoglie dati, in genere da fonti correnti e cerca di pubblicare articoli scientifici TERZA FASE Il ricercatore conduce degli studi analitici che cercano di confermare le prime ipotesi di ricerca, controllando i fattori di confondimento e le potenziali distorsioni

11 Discovery and explanation Case-report/case-series; resoconti aneddotici Studi di correlazione e studi ecologici Studi caso-controllo Studi di coorte Studi di intervento Vandenbroucke (2008)

12 Confronto approcci Differenze rispetto alle ipotesi a priori Uso contradditorio del test d ipotesi e delle graduatoria Differenza nella funzione di perdita Direttamente subita dai pazienti / spese per ulteriori studi volti ad chiarire l associazione trovata

13 Confronto approcci Nell ambito della ricerca clinica i due approcci si possono facilmente riconoscere VS In epidemiologia osservazionale le barriere etiche alla conduzione di studi sperimentali sull uomo rendono molto meno netta la distinzione tra questi due approcci

14 Discussione Vale la pena considerare nel processo di acquisizione della conoscenza scientifica i casereport, le evidenze aneddotiche e i resoconti prodotti dai non addetti ai lavori Il valore di prova è tanto più alto quanto più è in grado di influenzare la decisione di intervenire. Tutti i tipi di studio devono concorrere a una valutazione estesa della conoscenza disponibile!

15 Discussione La confusione che porta a considerare due differenti graduatorie del valore di prova degli studi origina dal ruolo della statistica, che controlla la variabilità campionaria a patto che certe assunzioni siano rispettate (es. RCT). Il punto è estendere la trattazione dell incertezza anche ad altri disegni: la possibilità di mettere in evidenza un nesso causale dipende dal tipo di studio, dal fenomeno che si sta valutando e dal particolare modello causale assunto.

16 Conclusioni 1 In epidemiologia osservazionale vi sono situazioni in cui vale l approccio valutativo (monografie IARC). In questi casi non è possibile rifarsi agli RCT, ma si deve procedere a una valutazione estesa dell incertezza scientifica. 2 Negli studi di scoperta e spiegazione bisogna evitare che un uso tradizionale della procedura statistica basata sui test d ipotesi porti a sottovalutare l informazione proveniente da case report o studi aneddotici.

17 Concetti chiave / sintesi dei risultati Segnalazioni di cluster di casi di malattia, report spontanei, case-series anche quando prodotti da ricerche non ufficiali possono avere altrettanto valore scientifico di uno studio clinico controllato. Il valore di prova di uno studio dipende dalla sua qualità, dagli scopi e dal contesto in cui si colloca. Ogni graduatoria aprioristica deve essere evitata perché impedisce una corretta valutazione critica. Test d ipotesi (e p-value) hanno senso solo in poche selezionate circostanze, tra le quali rientrano in un contesto valutativo gli studi clinici controllati randomizzati. Pensare che su questo assunto tali studi abbiamo un maggior valore di prova è arbitrario e fonte di confusione.