Gli errori e i bias negli studi epidemiologici osservazionali e sperimentali

Transcript

1 CdLM Classe LM-67 - Scienze e tecniche delle attività motorie preventive ed adattate C.I. Epidemiologia e valutazione degli stili di vita sulla salute Modulo: Metodologia epidemiologica Gli errori e i bias negli studi epidemiologici osservazionali e sperimentali Prof. Giovanni Capelli Cattedra di Igiene Dipartimento di Scienze Motorie e della Salute Facoltà di Scienze Motorie - Università di Cassino

2 Errore Errori e Bias: concetti Un atto, asserzione o una convinzione che devia dal giusto In matematica errore è la differenza tra un valore calcolato o misurato e il valore vero o quello eroicamente corretto Ma attenzione! La lunghezza di 1 metro è stata, nel tempo, definita come: una frazione della lunghezza del quadrante del meridiano terrestre che attraversa Parigi la distanza tra due segni su una barra di metallo il tragitto percorso dalla luce nel vuoto in un particolare lasso di tempo Quindi, la giusta lunghezza di un metro è decisa arbitrariamente, accordandosi su una definizione Importanza dei metodi standardizzati di misura

3 Errori e bias: concetti Bias E qualcosa di più sottile dell errore Si tratta piuttosto di una preferenza, di una inclinazione Che impedisce un giudizio imparziale O porta a decisioni o azioni ingiuste a causa di un pregiudizio In statistica, Bias è un errore dovuto al fatto che sistematicamente alcuni gruppi o esiti sono favoriti rispetto ad altri In pratica, il bias è Un errore che si presenta in misura diversa nei diversi gruppi considerati intenzionalmente o involontariamente Ovvero una inappropriata generalizzazione dei risultati di uno studio ad una popolazione che differisce da quella studiata

4 Errori in Epidemiologia Precisione Errori random Validità Errori sistematici Confondimento Misclassificazione Selezione

5 Validità e precisione

6 Precisione È di solito espressa utilizzando gli intervalli di confidenza Dipende dalla grandezza del campione e dall efficienza dello studio

7 Validità - Tipologie di bias (errore sistematico ) Di selezione (selection bias) Scelta della popolazione Deviata sistematicamente Di informazione (information bias) Raccolta Analisi Interpretazione dei dati Deviate sistematicamente Confondimento (confounding) Le variabili misurate e considerate nell analisi sono scelte in modo erroneo

8 Da: Raj Bhopal, Concepts of epidemiology, Oxford University Press, 2002

9 Da: Raj Bhopal, Concepts of epidemiology, Oxford University Press, 2002

10 Rischi nella scelta della popolazione in studio Da: Raj Bhopal, Concepts of epidemiology, Oxford University Press, 2002

11 Filosofia della valutazione di causalità Teorie probabilistiche della causalità Il problema principale di queste teorie è il soddisfacimento della terza condizione (che l associazione non sia spuria ) che implica identificazione ed eliminazione dei fattori disturbanti (confounding factors) Che X sia causa di Y secondo la definizione probabilistica può dipendere, dunque da quali fattori sono presi in considerazione e quindi X resta una causa a meno di altri fattori, a noi sconosciuti, potenzialmente rilevanti

12 Il confondimento In ambito epidemiologico e di sanità pubblica siamo interessati alla associazione tra esposizione ed effetto Capita spesso di dover verificare che la nostra analisi di associazione non sia distorta da una terza variabile correlata sia alla esposizione che all effetto Definiremo questa variabile di confondimento se si tratta di una variabile estranea che soddisfa entrambe le seguenti condizioni: E fattore di rischio per l effetto E associata alla esposizione, ma non ne è una conseguenza

13 La stratificazione Per controllare per i fattori di confondimento possiamo utilizzare la stratificazione. L idea di base è: Suddividiamo il campione in strati Facciamo confronti all interno degli strati confrontando similia cum similibus Ricombiniamo per una stima complessiva (overall) Spesso la decisione se trattare o no una variabile come confondente è legata a considerazione non statistiche, quali la conoscenza della storia naturale di malattia il giudizio soggettivo una revisione della letteratura

14 Confondimento: una definizione operativa Se una analisi cruda ( unadjusted ) fornisce una risposta sostanzialmente diversa da una analisi stratificata che controlli per la variabile Z, Z è un fattore di confondimento Il confondimento non è tutto o nulla è un bias (distorsione) e le distorsioni possono essere grandi o piccole

15 Confondimento Un errore nella stima di una misura epidemiologica o nella stima di un effetto che deriva da uno squilibrio negli altri fattori causali della malattia tra i gruppi posti a confronto Un confondente È associato con la malattia tra i non esposti È associato con l esposizione nella popolazione che dà origine ai casi Non è una causa intermedia

16 Confondimento ESPOSIZIONE MALATTIA CONFONDENTE

17 Esempio di confondimento Dati grezzi Esposti Non esposti Casi Tempo-persona RR=0.4 Giovani Anziani Esposti Non esposti Esposti Non esposti Casi 20 1 Casi Tempopersonpersona Tempo RR=2.0 RR=2.0

18 Confondimento Misura Cambiamento nella stima dell effetto Controllo Prevenzione Restrizione Randomizzazione Appaiamento Terapia Analisi stratificata Modelli multivariabili

19 Confondimento: esempio Shapiro et al. (Lancet, 1979) hanno realizzato uno studio caso-controllo su utilizzo di contraccettivi orali (OC) e infarto del miocardio stratificando per età Età Età Infarto Controlli Infarto Controlli Uso recente di SI Uso recente di SI contraccettivi NO contraccettivi NO orali orali ^OR1= 3.53 ^OR2= 3.60 C è associazione tra uso di OC e Infarto, controllando per classi di età?

20 Confondimento: una definizione operativa Se una analisi cruda ( unadjusted ) fornisce una risposta sostanzialmente diversa da una analisi stratificata che controlli per la variabile X, X è un fattore di confondimento Il confondimento non è tutto o nulla è un bias (distorsione) e le distorsioni possono essere grandi o piccole

21 Confondimento: esempio Età Età Infarto Controlli Infarto Controlli Uso recente di SI Uso recente di SI contraccettivi NO contraccettivi NO orali orali ^OR1= 3.53 ^OR2= 3.60 La stima dell OR cruda (unadjusted) è: ORˆ (13 12)*( ) (59 14)*(45 158) 2.33 valore ben inferiore agli ^OR strato-specifici il che suggerisce, secondo la nostra defizione operativa, che l età sia un confondente

22 Confondimento: esempio Infatti, l età è associata sia con l effetto che con l esposizione nel gruppo più anziano ci sono PIU infarti 170/847=0.201 contro 58/837=0.069 nel gruppo più anziano c è MENO uso di OC 26/847=0.031 contro 72/837=0.086 ma l età più avanzata non è una conseguenza dell uso di OC Perciò, concluderemo che l età è fattore di confondimento della associazione tra uso di OC e infarto del miocardio

23 Confondimento ed interazione Confondimento E una distorsione sistematica della associazione esposizioneeffetto dovuta ad una terza variabile Zc, il fattore di confondimento Può talvolta essere controllato con una analisi appropriata (analisi stratificata) con un disegno apposito (matching) E un bias e quindi va EVITATO! Modificazione di effetto (interazione) E la variazione della associazione esposizione-effetto per livelli di una terza variabile, Ze, il modificatore di effetto E una proprietà intrinseca del fenomeno esposizione-effetto e non c è disegno che la possa evitare se c è E un fenomeno interessante, e quindi va DESCRITTO!

24 Stratificazione Immaginiamo di suddividere la popolazione in studio in strati per ogni strato considereremo una associazione esposizione-effetto avremo dunque numerose tabelle 2x2, una per strato Se non c è relazione tra esposizione ed effetto gli OR calcolati per ogni strato saranno tutti =1 L ipotesi nulla di non associazione è dunque H0: OR1=OR2=OR3=Ork=1 Se c è associazione positiva (fattore di rischio) costante in ogni strato OR1>1, OR2>1, OR3>1, ORk>1

25 Stratificazione Se gli OR negli strati sono più o meno gli stessi OR1~OR2~OR3~ORk~ OR* Una stima di OR*m sarà una utiule misura della associazione tra esposizione ed effetto nella intera popolazione Se invece i valori di OR differiscono sostanzialmente tra gli strati parleremo di modificazione di effetto (in epidemiologia) o di interazione (in statistica) non sarà possibile stimare un valore riassuntivo per tutta la popolazione perchè l effetto cambia nei doversi strati! La stratificazione può essere usata per: controllare per i fattori di confondimento descrivere l interazione (modificatori di effetto)

26 Confondimento ed interazione Confondimento E una distorsione sistematica della associazione esposizioneeffetto dovuta ad una terza variabile X, il fattore di confondimento Può talvolta essere controllato con una analisi appropriata (analisi stratificata) con un disegno apposito (matching) E un bias e quindi va EVITATO! Modificazione di effetto (interazione) E la variazione della associazione esposizione-effetto per livelli di una terza variabile, X, il modificatore di effetto E una proprietà intrinseca del fenomeno esposizione-effetto e non c è disegno che la possa evitare se c è E un fenomeno interessante, e quindi va DESCRITTO!

27 Una strategia per l analisi di tabelle 2x2 stratificate (1) Determinare i potenziali fattori di confondimento o le variabili categoriche per le quali il campione è stato stratificato sulla base delle conoscenze mediche ed epidemiologiche Dare un occhiata agli ^ORi per avere una idea della situazione se si ha un piccolo numero di strati con numerosi soggetti ciascuno, Svolgere il test di non associazione di Mantel-Haenszel se non sono evidenti interazioni qualitative (alcuni ^ORi >1 ed altri < 1)

28 Una strategia per l analisi di tabelle 2x2 stratificate (2) Svolgere un test di omogeneità per valutare se si può ritenere comune l OR tra gli strati esempio il test di Woolf per l omogeneità di un piccolo numero di strati numerosi Se non ci sono elementi per rifiutare l assunzione di un OR comune stimarlo con lo stimatore di Mantel-Haenszel, e stimare i relativi intervalli di confidenza Se invece si rifiuta l assunzione di omogeneità degli OR è necessario riportare OR e intervalli di confidenza separati per ogni strato

29 Stima dell OR combinato secondo M-H Lo stimatore di Mantel-Haenszel può essere in pratica considerato una media ponderata degli OR strato-specifici Lo stimatore di Mantel-Haenszel dell OR combinato lavora bene sia per un piccolo numero (K) di strati numerosi che per un grande numero di strati piccoli

30 La regressione logistica Se la variabile che misura l effetto, è binomiale, possiamo estendere i metodi della regressione per prevederla? Se applichiamo la regressione lineare abbiamo un problema il valore previsto può essere inferiore a 0 o maggiore di 1 Ci serve allora un altra funzione, che sia vincolata a non oltrepassare 0 e 1 Ma cosa possiamo prevedere? Non tanto il valore della variabile di effetto, quanto la probabilità che essa assuma uno dei due valori possibili (1-> l effetto verificato)

31 La regressione logistica Potremmo prendere in considerazione una quantità L che sia una funzione lineare del valori assunto dal fattore di rischio considerato: L=b 0 + b 1 x 1 Ed operare su di essa una trasformazione che produca una quantità obbligata a non assumere valori esterni all intervallo 0-1 un trasformazione logistica: y Pr( effetto L) 1 1 e L

32 Infatti, se L=0, avremo: La regressione logistica 1 1 y Pr( effetto L) 0 1 e 1 1 Se L va ad, avremo: y Pr( effetto L) 1 1 e 1 E se L va a -, avremo: e L y Pr( effetto L) 1 1 e 1 1 0

33 La regressione logistica E con alcuni passaggi, arriviamo facilamente a: y 1 1 Pr( effetto L) y Pr( effetto L) L ( b0 b1x1 ) 1 e 1 e ( 1 y) ( b b x1) y e 0 1 p/(1-p)=odds! y log (1 y) b b x Pr( eff log (1 Pr( eff L) L)) b b x 0 1 1

34 La regressione logistica La regressione logistica si utilizza per costruire un modello della probabilità che si verifichi una certo risultato binario in funzione di una serie di variabili che si ritiene siano collegate al fenomeno (covariate) Regressione logistica semplice: Regressione logistica multipla: p x p x exp( b0 b1x) 1 exp( b b x) exp( b0 b1x1 b2x2... bqxq ) 1 exp( b b x b x... b x q q )

35 I parametri nella regressione logistica Calcolo La stima avviene attraverso un procedimento matematico ricorsivo (maximum likelihood), non può essere fatto a mano Significato I coefficenti b corrispondono al logaritmo degli Odds Ratio che confrontano i soggetti esposti con i non esposti (o l esposizione baseline ) e dunque: OR = exp(b)

36 Odds Ratio: problemi Gli OR sono difficili da comprendere direttamente e sono solitamente interpretati come equivalenti del Rischio Relativo Tuttavia, va ricordato che gli OR non approssimano bene il RR quando il rischio iniziale (la prevalenza o l incidenza del fenomeno di interesse) è alto sovrastimano la dimensione del rischio, sia in senso negativo che protettivo Davies HTO, Crombie IK, Tavakoli M, When can odds ratios mislead?, BMJ, 316: , 1998 Le uniche situazione sicure in cui utilizzare gli OR sono gli studi caso-controllo e le regressioni logistiche, situazioni in cui essi consentono le migliori stime possibili del Rischio Relativo Deeks J, Letters to the Editor, BMJ, 317: 1155, 1998

37 Vantaggi della regressione logistica Si può operare un aggiustamento per più fattori di confondimento contemporaneamente Si possono considerare sia covariate qualitative che quantitative Si possono testare direttamente le interazioni (modificatori di effetto) Si possono valutare i possibili fattori di confondimento Si ottengono stime puntuali ed intervalli di confidenza degli OR Matematicamente conveniente se si ha un software adatto

38 Svantaggi della regressione logistica E astratta e matematica Può creare una barriera tra il ricercatore ed i dati ci si potrebbe trovare a migliore agio valutando i risultati di un metodo classico (es. Mantel-Haenszel) Fa assunzioni implicite, delle quali può esser difficile verificare l applicabilità Molti modelli potrebbero fittare bene, e non è facile scegliere Possibilità di troppa fiducia nei risultati Ho fatto una analisi estensiva sul computer: allora le mie conclusioni sono corrette

39 Un esempio di regressione logistica. logistic lowbwt gestwks mothsmok Logit Estimates Number of obs = 680 chi2(2) = Prob > chi2 = Log Likelihood = Pseudo R2 = lowbwt Odds Ratio Std. Err. z P> z [95% Conf. Interval] gestwks mothsmok logit Logit Estimates Number of obs = 680 chi2(2) = Prob > chi2 = Log Likelihood = Pseudo R2 = lowbwt Coef. Std. Err. z P> z [95% Conf. Interval] gestwks mothsmok _cons

40 Rappresentazione grafica del modello 1 probsmo2 probnsm Gestational age (weeks)

41 Regressione lineare e logistica: alcuni suggerimenti Non sempre conviene utilizzare una variabile numerica come tale se il suo comportamento non è lineare, spezzarla in classi (ed analizzarla come più variabili dummy ) aiuta ad avere risultati più attendibili Come decidere le classi? Valori rilevanti di letteratura Classi di eguale ampiezza Gruppi di eguale numerosità quartili, quintili

42 Regressione lineare e logistica: scelta del modello Valutare modelli di regressione è una operazione complicata Può essere necessario considerare molte covariate e le interazioni tra loro ricordate, per avere risultati attendibili bisogna avere almeno 10 osservazioni per ogni variabile considerata nel modello (ogni interazione è una nuova variabile ) E talvolta necessario considerare trasformazioni dei dati, relazioni non lineari Bisogna partire da strutture semplici e poi complicare via via facendosi guidare dalle conoscenze sull argomento, dal buon senso e dai risultati dei test formali

43 Regressione lineare e logistica: scelta del modello Il primo passo utile è fare uno screening attraverso una analisi univariata modelli che considerano 1 sola covariata Hosmer e Lemeshow consigliano di prendere in considerazione le variabili che in questa fase hanno un coefficiente con un p<0.25 E poi costruire un modello multivariato che includono tutte le variabili considerate rilevanto nella IPOTESI formulata e le variabili che hanno superato lo screening univariato Quando ci sembra di essere vicini ad un modello finale cominciamo a testare le interazioni, le trasformate, i termini quadratici, ecc.

44 Regressione lineare e logistica: scelta del modello NON esiste UN SOLO modello finale! Si può arrivare a più soluzioni logiche, plausibili e supportate dai dati Bisgna usare attenzione, logica, buon senso e plausibilità biologica nel costruire un modello ma bisogna anche saper essere creativi la scelta dei modelli è altrettanto arte quanto scienza La significatività statistica non è l unica ragione per la quale vale la pena di mantenere una variabile nei modelli definitivi le variabili essenziali (l esposizione principale, i confondenti noti, ecc.) vanno mantunuti nel modello comunque!

45 Esempi di confondimento Da: Raj Bhopal, Concepts of epidemiology, Oxford University Press, 2002

46 Misclassificazione Assegnazione dei soggetti in studio alla categoria sbagliata di una variabile categorica Misclassificazione non differenziale Non dipende da altre variabili in esame Misclassificazione differenziale È influenzata da altre variabili in esame

47 Effetto senza misclassificazione dell esposizione Effetto senza misclassificazione ESPOSTI NON ESPOSTI

48 Effetto con misclassificazione dell esposizione Effetto con misclassificazione Effetto senza misclassificazione ESPOSTI NON ESPOSTI

49 Misclassificazione non differenziale dell esposizione Dati corretti Esposti Non esposti Casi Controlli OR = 3,00 Sensibilità = 0,6 Specificità = 1,0 Esposti Non esposti Casi Controlli OR = 2,35

50 Misclassificazione non differenziale dell esposizione Sensibilità = 0,8 Specificità = 0,8 Esposti Non esposti Casi Controlli OR = 1,89 Sensibilità = 0,4 Specificità = 0,6 Esposti Non esposti Casi Controlli OR = 1,00

51 Misclassificazione non differenziale dell effetto Imperfetta specificità Falsi positivi Differenza tra rischi (o tassi) inalterata Rapporto tra rischi (o tassi) sottostimato Imperfetta sensibilità Falsi negativi Differenza tra rischi (o tassi) sottostimata Rapporto tra rischi (o tassi) inalterato

52 Matching Selezione di un gruppo di confronto che ha una identica o simile distribuzione per una o più covariate L appaiamento è molto comune negli studi caso-controllo, poiché negli studi di coorte è molto costoso Le conseguenze sono però diverse tra studi di coorte e caso-controllo

53 Popolazione ipotetica N Rischio N. casi Esposti Uomini 90,000 5% 4,500 Donne 10,000 1% 100 N Rischio N. casi Non esposti Uomini 10, % 50 Donne 90, % 90 RR grezzo=4600/140=32.9

54 Studio di coorte appaiato (10% degli esposti) N Rischio N. casi Esposti Uomini 9,000 5% 450 Donne 1,000 1% 10 N Rischio N. casi Non esposti Uomini 9, % 45 Donne 1, % 1 RR grezzo=460/46=10.0

55 Studio caso-controllo appaiato (tutti i casi, 1 controllo per caso) Casi 4,550 maschi 4500 esposti 50 non esposti 190 femmine 100 esposti 90 non esposti 4740 totale 4600 esposti 140 non esposti Controlli 4,550 maschi 4095 esposti 455 non esposti 190 femmine 19 esposti 171 non esposti 4740 totale 4114 esposti 626 non esposti

56 Studio caso-controllo appaiato (tutti i casi, 1 controllo per caso) Esposti Non esposti Casi Controlli ORgrezzo=(4600*626)/(140*4114)=5.0

57 Studio caso-controllo appaiato (tutti i casi, 1 controllo per caso) Uomini Donne Esposti Non esposti Esposti Non esposti Casi Casi Controlli Controlli OR=10.0 OR=10.0

58 Evitare i bias

59 Evitare i bias