Manuale Operativo + Critical Appraisal

Transcript

1 Manuale Operativo + Critical Appraisal Milano, 26 febbraio 2014 Michela Cinquini

2 Obiettivi aggiornamento LG AIOM 2013 ACQUISIZIONE DEL METODO: verifica o inserimento

3 Aggiornamento LG AIOM 2013 Descrizione dello/degli studio/i che stanno alla base di ciascuna raccomandazione clinica Livello di evidenza SIGN accanto alla referenza Sintesi delle raccomandazioni cliniche per quesito o macro-area

4 Aggiornamento LG AIOM 2013 Descrizione dello/degli studio/i che stanno alla base di ciascuna raccomandazione clinica Partire dagli studi con disegno più rigoroso Riportare PICO e verificarne la consistenza con quello della raccomandazione (applicabilità) Descrivere i risultati con le appropriate misure di associazione sia per i benefici che per i danni Descrivere principali rischi di bias e le eventuali ripercussioni sulla dimensione e direzione dei risultati

5 QUALE LA FORMULA?

6 livello grado A B C D

7 livello grado A B C D 1++ RCT o MA Richio bias molto basso Applicabile direttamente RCT o MA Rischio bias molto basso Non Applicabile direttamente 1+ RCT o MA Rischio bias basso Applicabile direttamente RCT o MA Rischio bias basso Non Applicabile direttamente 2++ Coorte caso/controllo Rischio bias molto basso Applicabile direttamente Coorte caso/controllo Rischio bias molto basso Non Applicabile direttamente 2+ Coorte caso/controllo Rischio bias basso Applicabile direttamente Coorte caso/controllo Rischio bias basso Non Applicabile direttamente 3 Serie di casi o altri disegni osservazionali 4 Opinione di esperti

8 QUESITO: Qual è la formula? Il trattamento del dolore da cancro da moderato a forte deve essere effettuato con oppioidi classificati del III scalino come morfina, fentanyl, buprenorfina, ossicodone, metadone e idromorfone? Descrivo criticamente le fonti

9 Descrivo criticamente le fonti

10 Descrivo criticamente le fonti Che tipo di disegno di studio era? Una revisione sistematica su (10; livello di evidenza ) Rischi di bias? Nessuno di questi studi era in cieco e alcuni erano di bassa qualità metodologica Aveva dei problemi di applicabilità? Pazienti che già assumevano oppioidi del III scalino

11 Riassumo e torno al SIGN Che tipo di disegno di studio era? Una revisione sistematica Rischi di bias? Basso rischio di bias Aveva dei problemi di applicabilità? Si

12 livello grado A B C D 1++ RCT o MA Richio bias molto basso Applicabile direttamente RCT o MA Rischio bias molto basso Non Applicabile direttamente 1+ RCT o MA Rischio bias basso Applicabile direttamente RCT o MA Rischio bias basso Non direttamente applicabile 2++ Coorte caso/controllo Rischio bias molto basso Applicabile direttamente Coorte caso/controllo Rischio bias molto basso Non Applicabile direttamente 2+ Coorte caso/controllo Rischio bias basso Applicabile direttamente Coorte caso/controllo Rischio bias basso Non Applicabile direttamente 3 Serie di casi o altri disegni osservazionali 4 Opinione di esperti

13

14 ?Non Direttamente Applicabile? Studi eseguiti su pazienti in I linea raccomandazione prodotta per la II linea Studi eseguiti in setting diversi da quelli in cui sarà applicata la raccomandazione Differenze nei dosaggi tra lo studio e la pratica clinica Studi eseguiti su pazienti asiatici raccomandazione prodotta per pazienti caucasici

15 Grado di raccomandazione SIGN Il grado di raccomandazione SIGN dipende da: valutazione complessiva del livello di prova valutazione dell applicabilità ai miei pazienti

16

17 o

18 Disegno dello studio e livello di evidenza 1 = studi randomizzati 2 = studi di caso-controllo e studi di coorte 3 = serie di casi; studi osservazionali di altro tipo 4 = opinione di esperti

19 CHI E BIAS?

20

21

22 Tipo di bias Descrizione Item Risk of Bias SELECTION PERFORMANCE Differenze sistematiche delle caratteristiche dei due gruppi a confronto al baseline Differenze sistematiche nella cura dei due gruppi a confronto o nella loro esposizione ad un determinato fattore altro dal trattamento sperimentale Generazione della sequenza di randomizzazione Nascondimento della sequenza di randomizzazione (allocation concealment) Cieco dei pazienti, degli operatori (medico ed altri) e cieco nella valutazione degli outcome DETECTION ATTRITION Differenze sistematiche tra i gruppi a confronto nella valutazione dell outcome Differenze sistematiche tra i gruppi a confronto nelle perdite al follow up Cieco dei pazienti, degli operatori (medico ed altri) e cieco nella valutazione degli outcome Persi al follow-up REPORTING Differenze sistematiche tra i dati pubblicati e non pubblicati Reporting selettivo degli outcome (Reporting selettivo degli studi)

23 Item nelle Risk of Bias Table Generazione della sequenza di randomizzazione Nascondimento della sequenza di randomizzazione (allocation concealment) Descrizione Descrizione sufficientemente dettagliata del processo di generazione della sequenza di randomizzazione: garantisce la comparabilità dei due gruppi. Descrizione sufficientemente dettagliata del processo di nascondimento della sequenza di randomizzazione: garantisce che gli operatori non possano prevedere l allocazione di un paziente ad un braccio rispetto all altro durante l arruolamento. Giudizio del Revisore La sequenza di randomizzazione è stata generata in modo adeguato? Es. computer, numeri casuali La sequenza di randomizzazione è stata nascosta in modo adeguato? Es. busta chiusa e opaca, centralizzazione Cieco dei pazienti, degli operatori e/o valutazione in cieco degli outcome Dati incompleti Reporting selettivo degli outcome Descrizione sufficientemente dettagliata del processo di nascondimento del trattamento a pazienti, operatori (medico ed altri) e valutazione in cieco degli outcome. Informazioni sul mantenimento del cieco durante lo studio e durante le analisi. Descrizione sufficientemente dettagliata dei dati mancanti (persi al follow up e dati non inseriti nelle analisi). Vanno riportati i numeri per braccio rispetto al numero di pazienti randomizzati e i motivi per cui si perdono e/o non entrano nell analisi Possibilità che ci sia stata una pubblicazione selettiva di alcuni outcome o inversione tra outcome primari e secondari L assegnazione ad un trattamento è stata adeguatamente nascosta durante lo studio? I dati incompleti sono stati adeguatamente descritti? Esiste il rischio di una pubblicazione selettiva degli outcome? Es. confronto con il protocollo Altre fonti di Altre possibili fonti di distorsione Es. studio interrotto ad

24 QUESTION: DESIGN: Selection? VALIDITY Participants Allocation? 1. Fair start? Intervention Group (IG) & Comparison Group (CG) I G CG Outcome Maintenance of allocation? A B - C D Measurement of outcomes? 2. Few drop outs? 3. Fair finish?

25 QUESTION: Participants DESIGN: Selection? Allocation? VALIDITY Representative? Allocation? Randomisation concealed? Intervention Group (IG) & Comparison Group (CG) I G CG Outcome Maintenance of allocation? A B - C D Measurement of outcomes? Maintenance? treated equally? Measurements blind subjective? OR objective?

26 Use the RAMMbo to check validity Was the Study valid? 1. Representativeness Who did the subjects represent? 2. Allocation Was the assignment to treatments randomised? Were the groups similar at the trial s start? 3. Maintenance Were the groups treated equally? Were outcomes ascertained & analysed for most patients? 4. Measurements blinded OR objective Were patients and clinicians blinded to treatment? OR Were measurements objective & standardised? Study statistics (confidence intervals) User Guide. JAMA, 1993

27

28 Allocation concealment It prevents selection bias in intervention assignment by protecting the allocation sequence before and until assignment It can always be successfully implemented regardless of the study topic Blinding It seeks to prevent performance and detection bias by protecting the sequence after assignment Not always feasible for example, in trials comparing surgical with medical interventions

29

30

31

32

33

34

35

36 Forza della raccomandazione Descrizione Esempio esplicativo Positiva forte Positiva debole Negativa debole Negativa forte La maggior parte dei pazienti con le caratteristiche descritte devono essere invitati a considerare l intervento in oggetto, il bilancio tra beneficio e danno è nettamente a favore del beneficio I pazienti con le caratteristiche descritte devono essere informati sull esistenza di un trattamento che potrebbe avere degli effetti positivi, tuttavia il bilancio tra beneficio e danno del trattamento è carico di incertezza. Il medico deve tenere conto dei valori e delle preferenze del paziente A fronte di una piccola probabilità di beneficio dovuto al trattamento il bilancio beneficio/danno tende a dimostrare più eventi dannosi, le evidenze sono cariche di incertezza. Il medico deve tenere conto dei valori e delle preferenze del paziente. I pazienti non devono essere sottoposti all intervento in oggetto perché il bilancio beneficio/danno è a favore del danno con un buon margine di certezza Nei pazienti X con le caratteristiche Y, il trattamento Z deve essere somministrato Nei pazienti X con le caratteristiche Y, il trattamento Z dovrebbe essere somministrato Nei pazienti X con le caratteristiche Y, il trattamento Z non dovrebbe essere somministrato Nei pazienti X con le caratteristiche Y, il trattamento Z non deve essere somministrato

37 Raccomandazioni GRADE Qualità globale delle evidenze GRADE Raccomandazione clinica R27 Forza della raccomandazione clinica Molto Bassa La ketamina orale o parenterale come adiuvante della morfina nel dolore refrattario da cancro non dovrebbe essere utilizzata * La valutazione complessiva della qualità delle evidenze ad oggi disponibili circa l efficacia della ketamina come farmaco adiuvante, la valutazione del rapporto tra i benefici ed i rischi correlati e la formulazione della raccomandazione relativa al quesito posto, sono state analizzate secondo metodologia GRADE (vedere capitolo 22). Negativa Debole

38 Elementi principali per la valutazione critica di studi osservazionali (coorte, caso-controllo) STUDI DI COORTE STUDI CASO-CONTROLLO I soggetti inclusi sono rappresentativi della popolazione target (popolazione a cui si riferisce la raccomandazione)? Cercare le informazioni nella sezione dei metodi RECLUTAMENTO Confrontabilità delle popolazioni (unica differenza = fattore di rischio oggetto di studio) I Casi e i Controlli sono ricavati da popolazioni confrontabili Medesimi criteri di esclusione per i Casi e per i Controlli MANTENIMENTO Adeguata percentuale di soggetti accettanti / soggetti invitati MISURAZIONE Affidabilità della rilevazione del fattore di rischio Standardizzazione e affidabilità nella rilevazione dell outcome di interesse clinico (in cieco rispetto al fattore di rischio) Non differenza tra la percentuale di Casi e di Controlli rispetto ai soggetti eleggibili Standardizzazione e affidabilità nella rilevazione del fattore di esposizione (in cieco rispetto al fattore di esposizione) FOLLOW-UP Contenimento dei drop-out CONFONDIMENTO Identificazione dei possibili fattori di confondi mento Fare le opportune considerazioni rispetto a come il fattore di confondimento può influire sulla dimensione e direzione dell effetto osservato Identificazione dei possibili fattori di confondimento Fare le opportune considerazioni rispetto a come il fattore di confondimento può influire sulla dimensione e direzione dell effetto osservato ASSOCIAZIONE Probabile nesso di causalità Probabile nesso di causalità

39 Per approfondimenti in merito alla valutazione della qualità /reporting delle evidenze: AMSTAR: a measurement tool to assess the methodological quality of systematic reviews, 2007 Shea et al. Si tratta di uno strumento di 11 items validati per misurare la qualità metodologica di una revisione sistematica. PRISMA: Preferred Reporting Items for Systematic Reviews and Meta-Analyses: 2009 Moher at al. Si tratta di una checklist con 27 items nata per supportare gli autori nel reporting di una revisione sistematica. Può essere anche utilizzata come guida per il critical appraisal di una meta analisi. CONSORT 2010 Explanation and Elaboration: updated guidelines for reporting parallel group randomized trials 2010 David Moher, et al. Si tratta di uno strumento utile a valutare la qualità del reporting di RCT, sono disponibili varianti di questo strumento per interventi non farmacologici. EQUATOR network: Per quanto riguarda la valutazione metodologica di disegni di studio diversi da RCT/ revisioni sistematiche di RCT suggeriamo di fare riferimento al sito Il progetto raccoglie diversi strumenti per valutare la qualità del reporting dei diversi disegni di studio.

40 GRAZIE PER L ATTENZIONE!