Criteri per valutare la qualità metodologica di studi osservazionali

Transcript

1 Criteri per valutare la qualità metodologica di studi osservazionali Il problema? Capire se lo studio che stiamo leggendo è stato metodologicamente ben condotto (a basso rischio di bias) e se quindi possiamo fidarci dei suoi risultati/conclusioni) 1 Coorte 1) Lo studio affronta un quesito chiaramente definito? - Popolazione - Esposizioni/fattori di rischio - Outcomes in studio 2) Il disegno dello studio utilizzato è il più appropriato per rispondere al quesito? 2

2 Efficacia della terapia medica nel trattamento della OME. Studio osservazionale Popolazione: tutti i pazienti di età compresa tra 1 e 7 anni c/o ambulatorio ORL con ipoacusia trasmissiva e timpanogramma bilaterale di tipo B/C Esposizione: trattamento deciso da medico in ambulatorio; reclutamento indipendente da strategia terapeutica (trattamento o non trattamento) Outcome: miglioramento della soglia audiometrica (definito da..) in relazione alla strategia terapeutica effettuata o al non trattamento Controllo del confondimento (età, sesso, periodo dell'anno, durata della OME, presenza di fratelli maggiori, fumo, frequenza di comunità infantili). 3 3) La coorte reclutata (esposti e non esposti) è rappresentativa della popolazione di interesse? Dove è stata reclutata? Perché è stata reclutata? Criteri di inclusione/esclusione? NON esposti: reclutati dalla stessa popolazione degli esposti Esposti e non esposti sono identici fatta eccezione per la loro esposizione 4

3 Bias di selezione Errore sistematico nella creazione dei gruppi che ha portato a differenze nell esito finale i gruppi differiscono per le loro caratteristiche di base Non possiamo più attribuire alla sola esposizione la presenza/assenza dell esito in studio Esposti quanti malati? NON Esposti quanti malati? 5 Follow up di una coorte di neonati prematuri. Esposizione gruppo supplementato con calcio e fosforo fino a 48 settimane di età post concezionale gruppo supplementato fino a 40 settimane Esito:accrescimento Risultati: crescono meglio i bambini del gruppo 2 Ma: quelli del gruppo 1 erano più prematuri e di più basso peso alla nascita questo era stato il motivo per continuare la supplementazione 6

4 4) L esposizione è stata misurata in maniera accurata? 5) Gli esiti sono stati misurati in maniera accurata? Erano chiaramente definiti? Come sono stati misurati? Sono stati utilizzati criteri oggettivi vs soggettivi? Sono stati utilizzati strumenti validati? È stato possibile garantire la cecità dei valutatori degli esiti rispetto all esposizione? 7 Bias di misurazione o di classificazione Se i metodi di misurazione non sono ben tarati o imprecisi o diversi tra i pazienti studiati si compiono errori nell assegnazione del paziente al gruppo di esposizione/non esposizione e/o nella valutazione della presenza/assenza degli esiti. Esposti quanti malati? NON Esposti quanti malati? 8

5 Studio di coorte prospettico per valutare relazione tra allattamento al seno (AS) e asma in età adulta Reclutamento negli anni 80 di coorte di nati follow up di 20 anni Esposizione: AS definito come qualsiasi tipo di AS vs non AS misura molto imprecisa Misura più precisa: definizioni WHO (esclusivo, predominante, complementare, non AS) 9 6) Gli autori hanno adeguatamente considerato il problema del confondimento? Sono indicati nei metodi i possibili fattori di confusione? Se ne è tenuto conto in sede di analisi (stratificazioni, analisi multivariata)? 10

6 Framingham Heart Study grosso studio di coorte con l obiettivo di studiare la prognosi delle malattie cardiovascolari: Rischio di stroke era simile in pz con fibrillazione atriale (FA) e malattia cardiaca reumatica (MCR) e in pz con sola fibrillazione atriale. ma pazienti con MCR erano più giovani rispetto a quelli senza MCR Dopo aver aggiustato per età, sesso e stato ipertensivo, il rischio di stroke nei pazienti con FA e MCR è risultato essere di 6 volte superiore rispetto a quello dei pazienti senza MCR 11 7) Il follow up era sufficientemente lungo e completo? La durata del follow up era sufficiente a permettere la comparsa degli esiti? Quanti sono stati persi al follow up? È presente una loro descrizione e il loro confronto con i pazienti che sono rimasti in follow up? 12

7 Durata del follow up Perdita al follow up La perdita può essere legata a fattori strettamente connessi alle esposizioni o agli esiti dello studio (morte, istituzionalizzazione conseguente alla malattia, ecc) Esposti quanti malati? NON Esposti quanti malati? 13 Rischio cardiovascolare dopo esposizione prenatale a betametasone. Follow-up a 30 anni RCT realizzato nel Popolazione: 1142 donne a rischio di parto prematuro e loro neonati Esposizione: assegnazione random a betametasone (560) o placebo (582) Esito: prevenzione sindrome distress respiratorio Follow up a 30 anni su 534 soggetti/988 sopravvissuti (54%), 253 intervento vs 281 placebo Esiti coorte: pressione arteriosa, lipidi ematici Risultati: nessuna differenza tra i 2 gruppi 14

8 15 Storia naturale dell asma dalla nascita fino all età di 26 anni. Studio di coorte longitudinale Coorte di 1037 bambini (tutti i nati dall aprile 1972 al marzo del 1973 a Dunadin, Nuova Zelanda) non selezionata, seguita in maniera prospettica dalla nascita fino all età di 26 anni L analisi finale viene realizzata su 613 pazienti con dati completi sulla loro situazione respiratoria a 26 anni rispetto ai 1037 pazienti della coorte originaria (59%) 16

9 Male sex Maternal asthma Paternal asthma Maternal hay fever Paternal hay fever Asthma at 9 yr Wheezing at 9 yr Atopy at 13 yr Pos. house-dust-mite at 13 yr Pos. house-dust-mite at 21 yr Asthma at 26 yr Wheezing at 26 yr Asthma treatment at 26 yr Smoking at 26 yr FEV 1 at 26 yr (% of predicted) Seen at all assessments (613) 51.7% 9.0% 9.1% 21.8% 12.6% 9.0% 21.7% 46.9% 31.3% 58.6% 20.7% 36.1% 17.8% 33.8% 101.5% Not seen at all assessments (424) 51.4% 5.9% 9.0% 16.9% 11.7% 3.5% 14.4% 33.3% 22.2% 49.7% 16.4% 37.6% 13.2% 40.5% 101.1% 17 18

10 Caso-controllo 1) Lo studio affronta un quesito chiaramente definito? - Popolazione - Esposizioni/fattori di rischio 2) Il disegno dello studio utilizzato è il più appropriato per rispondere al quesito? 19 3) I CASI sono stati reclutati in maniera accettabile? Sono stati definiti in maniera precisa? La definizione è adeguata? Come sono stati identificati/selezionati? Dove sono stati identificati/selezionati? Sono stati reclutati in maniera consecutiva (tutti i casi in un determinato periodo di tempo) o un campione casuale di questi? Sono rappresentativi? 20

11 4) I CONTROLLI sono stati reclutati in maniera accettabile? Sono stati reclutati dalla stessa popolazione dei casi? Come e dove sono stati identificati? Come è stata verificata l assenza dell esito in studio? È stato realizzato un appaiamento con i casi o è stato estratto un campione casuale di controlli? Casi e controlli dovrebbero essere estratti dalla stessa popolazione e dovrebbero differire solo per la presenza dell outcome 21 4) L esposizione è stata misurata in maniera accurata? Era chiaramente definita? Come è stata misurata? Sono stati utilizzati criteri oggettivi vs soggettivi? Sono stati utilizzati strumenti validati? È stato possibile garantire la cecità dei valutatori dell esposizione rispetto agli esiti? 22

12 5) Gli autori hanno adeguatamente considerato il problema del confondimento? Sono indicati nei metodi i possibili fattori di confusione? Se ne è tenuto conto in sede di analisi (stratificazioni, analisi multivariata)? 23 Criteri per valutare la qualità metodologica di studi osservazionali Esistono specifici strumenti CASP (Critical Appraisal Skills Programme) Newcastle-Ottawa Quality Assessment Scale 24

13 Esistono anche specifici strumenti che forniscono indicazioni su come si scrive in maniera adeguata il report di uno studio osservazionale STROBE Statement STrengthening the Reporting of OBservational studies in Epidemiology 25 Approfondimento Perdita al follow up 26

14 Quando il follow up si può considerare sufficientemente completo? a. Regola del 5 e 20 : sotto il 5% di persi studio accettabile, sopra il 20% inaccettabile b. sensitivity analysis : valutare come si modificano i risultati dello studio nella peggiore delle ipotesi (tutti i persi vengono considerati come evento sfavorevole) e nella migliore delle ipotesi (tutti i persi vengono considerati evento favorevole). 27 sensitivity analysis : I valori ottenuti nella migliore e nella peggiore delle ipotesi sono sono abbastanza vicini da non influenzare quello che diremo (o faremo) con il nostro paziente? 28

15 71 pazienti 6 persi al follow up (8%) 39 ricaduta Rischio di ricaduta = 39/65 = 60% Peggiore delle ipotesi (sommiamo al numeratore a al denominatore i persi al F-up) Rischio di ricaduta = 45/71 = 63% Migliore delle ipotesi (sommiamo solo al denominatore i persi al F-up) Rischio di ricaduta = 39/71 = 55% pazienti 6 persi al follow up (8%) 1 morto Rischio di morte = 1/65 = 1,5% Peggiore delle ipotesi (sommiamo al numeratore a al denominatore i persi al F-up) Rischio di morte = 7/71 = 10% Migliore delle ipotesi (sommiamo solo al denominatore i persi al F-up) Rischio di morte = 1/71 = 1,4% 30

16 Quanto più basso è il rischio di un outcome, quanto più grande è l effetto potenziale dei pazienti persi al follow up. 31