I trial clinici e la gerarchia delle evidenze Come gli RCT sono diventati gli studi di riferimento nel generare evidenze; Analisi critica della

Transcript

1 I trial clinici e la gerarchia delle evidenze Come gli RCT sono diventati gli studi di riferimento nel generare evidenze; Analisi critica della qualità delle evidenze fornite da un trial Introduzione a GRADE Marina Davoli Roma, 1 Febbraio 2013

2 Acupuncture for tension type headache Giorgio ha fatto l agopuntura e gli è passato il mal di testa Se Giorgio non avesse fatto l agopuntura non gli sarebbe passato il mal di testa L agopuntura ha causato in Giorgio la guarigione dal mal di testa?

3 Acupuncture for tension type headache Anche Simona ha fatto l agopuntura e le è passato il mal di testa Se Simona non avesse fatto l agopuntura le sarebbe passato il mal di testa L agopuntura ha causato in Simona la guarigione dal mal di testa?

4 Cosa vuol dire causa? Confrontiamo che cosa succederebbe (esiti/outcome), in due scenari diversi In presenza di una esposizione In assenza di una esposizione Se gli esiti sono diversi, diciamo che l esposizione (il trattamento, l intervento, il programma ) ha un effetto causale, sia protettivo che nocivo

5 Counterfactuals Abbiamo parlato degli esiti di Simona e Giorgio dopo una esposizione osservata (hanno entrambi fatto l agopuntura) e dopo una esposizione ipotetica che non hanno sperimentato Questa esposizione è controfattuale (contro i fatti)

6 Counterfactuals Nella popolazione alcuni individui con il mal di testa hanno fatto l agopuntura e alcuni no. Ci potremmo chiedere che cosa sarebbe successo se tutti avessero fatto l agopuntura o se nessuno l avesse fatta Anche queste domande sono controfattuali

7 Misurare l effetto L ambizione dell epidemiologo sarebbe di misurare effetti causali. Per ottenere questo obiettivo sarebbe necessario confrontare: l esperienza (l occorrenza) di una popolazione esposta quello che sarebbe successo alla stessa popolazione in assenza di esposizione.

8 Misurare l effetto E possibile misurare e confrontare l occorrenza nella stessa popolazione sotto le 2 differenti ipotesi ( esposizione e non esposizione )? Costruire cioè un esperimento ideale, in cui l unica cosa che cambia è l esposizione e, di conseguenza, qualunque differenza nella frequenza dell esito è interpretabile come effetto dell esposizione?

9 La macchina del tempo Ogni persona dovrebbe vivere la stessa esperienza 2 volte, una da esposto e una da non esposto

10 Dall ideale al reale Nelle situazioni reali, l epidemiologo (ma anche lo scienziato in genere) deve accontentarsi di un surrogato, in cui il confronto avviene tra l esperienza (l occorrenza) in una popolazione esposta l occorrenza in un altra popolazione, non esposta

11 Dall ideale al reale In questa situazione è possibile attribuire con certezza le differenze osservate all esposizione? Dipende da quanto bene l esperienza della popolazione non esposta simula quella che sarebbe stata l esperienza della popolazione esposta se questa non fosse stata esposta In questo senso preferiamo parlare di misure di associazione

12 Il problema più importante è la CONFRONTABILITA

13 James Lind ( )

14 HMS Salisbury

15

16 .I took twelve patients in the scurvy Their cases were as similar as I could have them. They all in general had putrid gums, the spots and lassitude, with weakness of their knees. They lay together in one place, being a proper apartment for the sick in the fore-hold; and had one diet common to all.

17 Lind allocated two sailors with scurvy to each of: a quart of cyder a day twenty-five gutts of elixir vitriol three times a-day two spoonfuls of vinegar three times a-day a course of sea water half a pint every day two oranges and one lemon every day the bigness of a nutmeg three times a day

18 The most sudden and visible good effects were perceived from the use of oranges and lemons.

19 Recognising the need to compare like with like

20 Francesco Petrarca (1364). Letter to Boccaccio, Rerum Senilium V.3

21 Francesco Petrarca ( ) Giovanni Boccacio ( )

22 "I solemnly affirm and believe, if a hundred or a thousand men of the same age, same temperament and habits, together with the same surroundings, were attacked at the same time by the same disease, that if one half followed the prescriptions of the doctors of the variety of those practising at the present day, and that the other half took no medicine but relied on Nature's instincts, I have no doubt as to which half would escape."

23 Leonardo Fioravanti ( )

24

25 that there be consigned to me alone twenty or twenty-five sick people with diverse ailments, and an equal number with the same infirmities to all the physicians of Milan, and if I don't cure mine faster and better than they do theirs, I am willing to be banished forever from this city.'

26 When were controlled clinical trials first used in Italy?

27

28 Torpé, Sardinia

29 Studio controllato randomizzato L'assegnazione del trattamento ai soggetti deve avvenire con un metodo casuale (random) La randomizzazione aumenta la probabilità che altre variabili, non considerate nel disegno dello studio, si distribuiscano in maniera uniforme nel gruppo sperimentale e in quello di controllo. Ma solo se fatto bene

30 Studio controllato randomizzato Il ricercatore assegna l esposizione: i gruppi a confronto sulla base della presenza o assenza dell esposizione (esposti e non esposti )sono selezionati in modo casuale Popolazione in studio Esposizione SI Esposizione NO Follow-up Follow-up Esito SI Esito NO Esito SI Esito NO

31 LA GERARCHIA DEI DISEGNI DI STUDIO PER LA VALUTAZIONE DI EFFICACIA DI UN INTERVENTO Studi randomizzati controllati Studi non randomizzati controllati Studi di coorte Studi caso controllo Studi trasversali Studi su database, registri Serie di casi consecutive Singolo case report

32 Interpretare la letteratura Fare attenzione - molti studi pubblicati sono mal fatti I risultati possono essere non validi e perfino sbagliati E necessario valutare se il disegno, l analisi e l interpretazione erano adeguati Validità interna vs Validità esterna Non c è validità esterna se non c è validità interna Focus sulla validità interna Complicata da una maniera inadeguata di riportare lo studio nell articolo

33 Aspetti chiave del DISEGNO e dell ANALISI di un RCT Randomizzazione Generazione della sequenza casuale Allocazione nascosta fino a che il paziente non viene assegnato al trattamento Massimo livello di cecità In particolare cecità nella valutazione degli esiti Analisi degli esiti per tutti i pazienti randomizzati (ITT)

34 NON RISPETTO DELLA RANDOMIZZAZIONE La possibilità di scoprire chi farà cosa talvolta è una tentazione troppo grossa La randomizzazione da sola (sequence generation) può non metterci al riparo da bias (consci o subconsci) La persona che assegna il paziente al trattamento non dovrebbe sapere prima quale è il trattamento che prenderà il prossimo paziente (allocation concealment o mascheramento nell allocazione) Tutti i trial randomizzati possono e dovrebbero usare il mascheramento dell allocazione, indipendentemente dalla cecità rispetto al trattamento

35 ALLOCAZIONE MASCHERATA VS CECITA Il mascheramento dell allocazione, fino al momento dell assegnazione al trattamento serve ad eliminare il bias di selezione La cecità dopo l assegnazione serve principalmente per ridurre il bias di accertamento Da un punto di vista pratico il mascheramento dell allocazione è sempre possibile La cecità in alcuni casi non si può ottenere Il controllo del bias di selezione è rilevante per tutto il trial complessivamente

36 Prove empiriche dell associazione tra qualità metodologica e risultati degli RCT Diversi studi hanno dimostrato una associazione tra qualità metodologica (randomizzazione e cecità) e grandezza della stima di effetto Schulz et al Moher et al 1998 Gluud et al 2000 Hewitt et al 2005 Kunz et al

37 Distribution of P values by adequacy of allocation concealment. As the P values were highly positively skewed, the data were transformed using the logit function. The vertical lines represent mean P values for trials using adequate or inadequate concealment Hewitt, C. et al. BMJ 2005;330: Copyright 2005 BMJ Publishing Group Ltd.

38 Randomisation to protect against selection bias in healthcare trials (Cochrane Methdology Review Kunz R et al. CDSR 2007) OBJECTIVES: To assess the effects of randomisation and concealment of allocation on the results of healthcare trials SEARCH STRATEGY: We searched the Cochrane Methodology Register, MEDLINE, SciSearch, reference lists up to August 2000 and used personal communication. SELECTION CRITERIA: Cohorts of trials, systematic reviews or meta-analyses of healthcare interventions that compared outcomes or prognostic factors for one of the following comparisons: randomised versus non-randomised trials, randomised trials with adequately versus inadequately concealed allocation, or high versus low quality trial 32 studies with 3000 trial

39 Randomisation to protect against selection bias in healthcare trials (Cochrane Methdology Review Kunz R et al. CDSR 2007) AUTHORS' CONCLUSIONS: On average, non-rcts and RCTs with inadequate concealment of allocation tend to result in larger estimates of effect than randomised trials with adequately concealed allocation. However, it is not generally possible to predict the magnitude, or even the direction, of possible selection biases and consequent distortions of treatment effects

40 CONDUZIONE DEL TRIAL L allocazione randomizzata non esclude distorsione nella conduzione del trial La risposta del paziente può essere diversa se è a conoscenza del trattamento che sta facendo Il comportamento del clinico può essere influenzato dalla conoscenza del trattamento che il paziente sta facendo Il bias può anche essere inconscio, non deliberato Più probabile quando la valutazione dell esito nei pazienti si basa su dati soft (I.e. diminuzione del dolore, miglioramento generale..)

41 CECITA I risultati di uno studio in doppio cieco sono molto più affidabili Si dovrebbe utilizzare il massimo livello di cecità La maggior parte degli studi da informazioni inadeguate Pochi studi valutano il successo delle procedure di cecità Uno studio riportava di essere stato fatto in doppio cieco ma riferiva che ad un gruppo erano stati dati due farmaci e all altro uno La valutazione in cieco dell esito probabilmente è più importante del solito doppio ceco

42 SCELTA DELL ESITO Esiti clinicamente importanti (mortalità totale o causa-specifica, eventi non fatali, morbidità...) Esiti secondari (end point surrogati ): pressione arteriosa, colesterolemia, ) Qualità della vita (problema della validazione degli strumenti/questionari)

43 Outcome oggettivi vs outcome Oggettivi: determinati in modo inequivocabile ed oggettivo (mortalità, diagnosi di malattia, # giorni di ricovero...) soggettivi Soggettivi: determinazione meno sicura (miglioramentopeggioramento della qualità di vita, dolore, sintomi vari, )

44

45 PUBLICATION BIAS Hopewell S et al. CDSR 2009

46

47 Lundh A et al. CDSR 2012

48 Chan A-W et al. JAMA 2004;291:

49

50

51 Study limitations (Risk of bias) for Randomized trials Lack of allocation concealment Lack of blinding Incomplete accounting of patients and outcome events Selective outcome reporting Other limitations e.g. stopping early for benefit; use of unvalidated patient-reported outcomes; carry-over effects in cross-over trials; recruitment bias in clusterrandomized trials

52 How Cochrane reviews help in assessing the quality of evidence

53 Risk of bias Table

54

55 Brief Interventions for heavy alcohol users admitted to general hospital wards: 11 studies included

56 Brief Interventions for heavy alcohol users admitted to general hospital wards: 11 studies included review authors' judgements about each methodological quality item presented as percentages across all included studies

57 Study design is important Early systems of grading the quality of evidence focused almost exclusively on study design Randomised trials provide, in general, far stronger evidence than observational studies. Randomised trials start out at High Observational studies start out at Low However, other factors may decrease or increase the quality of evidence

58 Valutazione degli interventi sanitari Obiettivo Produrre una stima valida dell efficacia sia in termini di validità interna sia in termini di validità esterna

59 Valutazione degli interventi sanitari validità interna: i risultati dello studio possono essere attribuiti con sicurezza all intervento in questione Dipende dalla possibilità di poter escludere la presenza di qualunque spiegazione alternativa all associazione osservata dovuta a: caso, cioè alla variabilità campionaria; errori sistematici (bias) commessi nella conduzione dello studio, relativi cioè a come sono stati selezionati gli individui e a come sono state raccolte le informazioni; confondimento, presenza di differenze delle caratteristiche di base tra i gruppi di individui che vengono confrontati.

60 Valutazione degli interventi sanitari validità esterna: i risultati dello studio possono essere generalizzati (vanno oltre il contesto in esame)

61 RCT: validità esterna GENERALIZZABILITA DEI RISULTATI Tipo di popolazione studiata Altamente selezionata Co-morbidità Problemi di compliance Continuità di trattamento Setting

62 JAMA. 2007;297:

63 GLI STUDI SPERIMENTALI POSSONO ESSERE: Non necessari Inappropriati Impossibili Inadeguati Black N, 1996

64

65 GLI STUDI SPERIMENTALI POSSONO ESSERE: Non necessari l effetto dell intervento è drammatico Inappropriati ampia numerosità necessaria per misurare eventi rari lunga durata per esiti a lungo termine Black N, 1996

66 GLI STUDI SPERIMENTALI POSSONO ESSERE: Impossibili riluttanza dei clinici o altri a partecipare obiezioni etiche ostacoli politici o legali contaminazione mancanza di risorse Inadeguati Scarsa generalizzabilità (tanto più le caratteristiche della persona che eroga il trattamento influenzano l esito, tanto minore sarà la generalizzabilità dei risultati del trial) Black N, 1996

67 Studi osservazionali Sono opportuni: Valutazione dell efficacia nella pratica: quindi anche per interventi per cui l efficacia teorica è stata dimostrata con RCT e documentata in revisioni sistematiche dei RCT RCT non possibili prima dell implementazione del trattamento Valutazione comparativa di interventi tra servizi diversi, strutture ed organizzazioni diverse, popolazioni diverse (outcome research)

68 Dalla valutazione critica Della qualità degli studi Alla valutazione critica Della qualità delle prove

69 La valutazione della qualità delle prove è relativa al grado di confidenza con cui si giudica la causalità di una associazione

70

71 Quality of evidence High Moderate Low Very Low We are very confident that the true lies close to that of the estimate of the effect We are moderately confident in the effect estimate: The true effect is likely to be close to the estimate of the effect, but there is a possibility that it is substantially different Our confidence in the effect estimate is limited: The true effect may be substantially different from the estimate of the effect We have very little confidence in the effect estimate: The true effect is likely to be substantially different from the estimate of effect Department for Evidence-Based Medicine and Clinical Epidemiology

72 Acupuncture for smoking cessation Is acupuncture more effective than waiting list (no intervention) for long term smoking cessation? White AR, Rampes H, Liu JP, Stead LF, Campbell J. Acupuncture and related interventions for smoking cessation. Cochrane Database of Systematic Reviews 2011, Issue 1. Art. No.: CD DOI: / CD pub3. Department for Evidence-Based Medicine and Clinical Epidemiology

73 Grade quality of evidence for each outcome Body of evidence of included studies Complete abstinence Reduction of tobacco use Relapse rates quality of evidence quality of evidence quality of evidence High moderatelow-very low High moderatelow-very low High moderatelow-very low Quality of life quality of evidence High moderatelow-very low Withdrawal symptoms quality of evidence High moderatelow-very low Adverse effects of acupuncture quality of evidence High moderatelow-very low Department for Evidence-Based Medicine and Clinical Epidemiology

74 The GRADE process Consider study designs of available studies High (Randomised trials) (High) Moderate Low (Observational studies) Very Low Downgrade Upgrade (Moderate) (Low) (Very low) Department for Evidence-Based Medicine and Clinical Epidemiology

75 5 factors that can lower quality Risk of bias Inconsistency Indirectness How much confidence do we have in the methodological validity? Do studies show the same direction of effect? The same magnitude of effect? Are studies applicable to the PICOTS of interest? Imprecision Uncertainty (confidence intervals) around estimates Publication bias Are we missing studies? Department for Evidence-Based Medicine and Clinical Epidemiology

76 3 factors that can increase quality of evidence Dose-response relationship Is there a dose-response gradient? Size of effect Large or very large magnitude of effect Confounding would reduce effect Conceivable confounding would reduce effect Department for Evidence-Based Medicine and Clinical Epidemiology

77 Acupuncture for long-term smoking cessation 79% higher benefit for acupuncture compared with no intervention (waiting list) The difference is not statistically significant (RR 1.79; 95% CI ) White AR, Rampes H, Liu JP, Stead LF, Campbell J. Acupuncture and related interventions for smoking cessation. Cochrane Database of Systematic Reviews 2011, Issue 1. Art. No.: CD DOI: / CD pub3. Department for Evidence-Based Medicine and Clinical Epidemiology

78 What can lower the quality of evidence? Study limitations Inconsistency of results Indirectness of evidence Imprecise results Publication bias

79 Inconsistency or Heterogeneity Consider in a meta-analysis: Variation in size of effect Variation in direction of effect Overlap in confidence intervals If no overlap, then variation between the study results is more than what you would except by chance P value of heterogeneity I 2 Department for Evidence-Based Medicine and Clinical Epidemiology

80 Variation in direction of effect I 2 57% Moderate heterogeneity but variation in direction of effects For outcomes with heterogeneity that cannot be explained confidence in result decreases Department for Evidence-Based Medicine and Clinical Epidemiology

81 Indirectness Studies that meet inclusion criteria may still raise concerns about direct application of results Consider PICO: Population Intervention and comparison Outcome Department for Evidence-Based Medicine and Clinical Epidemiology

82 Imprecision Consider: Width of confidence intervals Wide confidence intervals indicate uncertainty about the effect Includes null effect and appreciable benefit or harm Sample sizes and numer of events Assess according to effect size, control event rates, Optimal information size (OIS) Department for Evidence-Based Medicine and Clinical Epidemiology

83 CI: 0.98 to 3.28 Few events and participants (27/393) Confidence intervals wide: Includes no difference in smoking cessation Crosses threshold of appreciable benefit Serious imprecision! Department for Evidence-Based Medicine and Clinical Epidemiology

84 Publication Bias Consider funnel plot results or check trial registries Downgrade if you strongly suspect publication bias Department for Evidence-Based Medicine and Clinical Epidemiology

85 What can raise quality? 1. Large effect (large: RR>2 or RR<0.5; very large RR>5 or RR<0.2) 2. Dose response relation (only observational studies) (higher INR increased bleeding) 3. All plausible residual confounding may be working to reduce the demonstrated effect (only observational studies Do not upgrade studies that have been downgraded for risk of bias Department for Evidence-Based Medicine and Clinical Epidemiology

86 Step 1 Basic Study Design Step 2 Appraisal of Study Methods Step 3 Study Data & Results Step 4 Final Quality Rating Smoking cessation High (Randomised trials) Moderate Low (Observational studies) Very Low Downgrade for: Risk of bias Downgrade for: Inconsistency Downgrade for: Imprecision (High) (Moderate) (Low) (Very low) Department for Evidence-Based Medicine and Clinical Epidemiology

87 efficacy / effectiveness Efficacious: Capable to produce a desired effect Effective: Having an expected effect Efficacy: theoretical, potential, general Effectiveness: actual, practical, specific Efficacy: experimental Effectiveness: observational

88 Studi epidemiologici OSSERVAZIONALI (NON sperimentali) SPERIMENTALI (di INTERVENTO) Il ricercatore si limita ad OSSERVARE i gruppi dei trattati e dei non trattati, cioè NON interviene nell assegnazione del trattamento Il ricercatore ASSEGNA il trattamento e controlla le condizioni in cui si svolge lo studio

89

90 Studio di coorte osservazionale Il ricercatore NON assegna l esposizione ma seleziona i grupp a confronto sulla base della presenza o assenza dell esposizione esposti e non esposti sono selezionati in modo NON casuale Popolazione in studio Esposizione SI Esposizione NO Follow-up Follow-up Esito SI Esito NO Esito SI Esito NO

91 Comparative effectiveness research (CER) a rigorous evaluation of the impact of different options that are available for treating a given medical condition for a particular set of patients. Congressional Budget Office. Research on the comparative effectiveness of medical treatments. Available at: doc8891/12 18-ComparativeEffectiveness.pdf. Released December Accessed February 21, 2011.

92 Efficacy and Effectiveness studies have different priorities The continuum in the assessment of health Interventions Internal External Validity Validity Efficacy Effectiveness Experimental studies (RCTs) Quasi-experimental/ Observational designs Most studies fall within this continuum though with different emphasis and informative values

93

94

95

96

97

98

99

100

101

102

103

104

105

106 The Newcastle-Ottawa Scale (NOS) for Assessing the Quality of Nonrandomized Studies in Meta-Analysis G. Wells, B. Shea, D. O Connell, J. Robertson, J. Peterson, V. Welch, M. Losos, P. Tugwell

107 2008;336; BMJ 2008;336; BMJ 2008;336; BMJ

108 ggroup.org/toolbox/index.htm