Studi sperimentali 3 La strategia di ricerca Domanda EBN SI E possibile dare da bere al paziente immediatamente dopo la rimozione del tubo endotracheale????? Dott. Paolo Chiari - Centro Studi EBN Direzione Servizio Infermieristico, Tecnico e Riabilitativo Azienda Ospedaliero-Universitaria di Bologna Policlinico S. Orsola Malpighi NO Area grigia Pratica clinica RICERCA SCIENTIFICA Tipologia di studi (quantitativi) A. Sperimentali: - disegno pre test-post test - solo post test - quattro gruppi di Salomone B. Quasi-sperimentali C. Non sperimentali (osservazionali): - disegni descrittivi - disegni correlazionali D. Altri disegni: - serie storiche - meta-analisi RCT Trial clinici randomizzati Prospettici (coorte) o retrospettivi (caso-) GERARCHIE DELLE FORME DI PROVA Trial randomizzati e controllati in doppio cieco Trial controllati e randomizzati Studi di Coorte Studio Caso- Serie di casi Report di caso QUESITO Mappa della ricerca Revisioni sistematiche E un trattamento? Trial randomizzto e controllato Ricerca una causa? Vuole conoscere una prognosi? Vuole valutare un test diagnostico? TIPOLOGIA DI STUDI Studio di coorte o Caso Studio di coorte Studio di sensibilità e specificità (validazione) Studi Randomizzati e Controllati - RCT RANDOMISED = randomizzato, campione preso a caso. CONTROLLED = controllato, raffrontato con un campione di. TRIAL = prova, studio, esperimento. 1
Anatomia dell RCT Gruppo Sperimentale Gruppo di Controllo Outcome No Outcome Outcome No Outcome Trial randomizzato e controllato Sono gli studi sperimentali considerati il gold standard per la valutazione dei trattamenti, grazie al loro disegno formulato in modo da minimizzare i bias rispetto ad altri disegni. Negli RCT i membri del campione sono assegnati in modo randomizzato ai due gruppi: ciò consente di costituire due gruppi in cui i fattori prognostici, sia noti che non, sono equamente distribuiti, e che quindi sono identici ad eccezione del trattamento sperimentato. Fasi degli studi farmacologici Nella fase I dei trials definita la massima dose tollerata e gli effetti tossici di un nuovo farmaco già sperimentato in laboratorio su animali. In ambito oncologico il farmaco è provato su pz con diverse tipologie neoplastiche (Si svolgono su pochi pazienti 30). Lo scopo della fase II dei trials è stabilire l efficacia del farmaco in un gruppo maggiore (inferiore a 100) e più mirato di pazienti. Fasi degli studi farmacologici La fase III dei trials rappresenta i tipici effettivi trials, in quanto si cerca di comparare il nuovo farmaco con un farmaco esistente o un intervento ritenuto efficace. La fase IV si realizza dopo l immissione sul mercato del farmaco ed è volta a monitorare la presenza di effetti benefici o indesiderati inattesi. Studi senza gruppo di Trial non controllato Il trattamento sperimentale viene assegnato a tutti i pazienti eleggibili consecutivamente osservati. Sono ad esempio le serie di casi o gli studi di fase II. In assenza del gruppo di, i benefici del trattamento sperimentale vengono misurati confrontando il decorso della malattia non trattata (o trattata con terapia standard). Pazienti eleggibili Esposizione: Intervento Sperimentale Outcome Follow up 2
Trial non controllati - NCCTs Principali fonti bias sono: variabilità prognostica e di decorso della malattia. effetto placebo. aspettative ottimistiche del medico e del paziente. L effetto totale del trattamento è la somma del miglioramento spontaneo, delle risposte aspecifiche e della risposta specifica Effetto reale del trattamento Effetto placebo Aspettative ottimistiche Effetto Hawthorne (che induce il paziente a stare meglio per la consapevolezza di essere parte di uno studio) Miglioramento spontaneo Copyright 1996-1999 - GIMBE Trials senza gruppo di In una certa epoca storica hanno prodotto evidenze inconfutabili per trattamenti di drammatica efficacia in condizioni ad esito invariabilmente fatale/sfavorele: Insulina nel coma diabetico. Penicillina nella polmonite pneumococcica (o nella endocardite batterica). Vitamina B12 nell anemia perniciosa. Appendicectomia nell appendicite acuta. Trials senza gruppo di Oggi si utilizzano per: Trattamento di drammatica efficacia. Patologie a decorso sfavorevole (defibrillazione, trapianto di fegato nell epatite fulminante). Patologie rare. Studi di fase II. Assenza di trattamenti alternativi. Presupposti fisiopatologici convincenti. I possibili errori negli RCT Benchè costituiscano gli studi più rigorosi, in essi la presenza di errori sistematici (bias), compromette la credibilità e l autorevolezza dei risultati. I bias possono essere: Bias di selezione. Bias di accertamento. Bias di violazione del protocollo. Bias di selezione selection bias Accade quando gli outcome di uno studio sono influenzati dalle differenze sistematiche dei due gruppi di studio, che dipendono dalle modalità con cui le persone sono state selezionate a partecipare al trial o con cui sono state assegnate ai due gruppi. La prevenzione di questo tipo di bias si realizza con una corretta randomizzazione. 3
RANDOMIZZAZIONE P R2 R1 POTENZA Se il numero è sufficientemente grande rappresenta la popolazione Campione 1 (R) Campione 2 (R) Rischio basale ovvero comune a tutti Campione 1 (R) Intervento sperimentale dovrebbe ridurre il rischi basale Campione 2 (R) Rischio basale dovrebbe rimane inalterato Bias di selezione selection bias Se uno studio è realmente randomizzato, l allocazione ai gruppi non può essere influenzata dai ricercatori o dai partecipanti allo studio. Con la randomizzazione a tutti i partecipanti dello studio sono date le stesse opportunità di essere assegnati ad ognuno dei gruppi di studio. Bias di accertamento ascertainment bias Questo tipo di bias accade quando i risultati o le conclusioni di un trial sono distorte dalla conoscenza relativa all intervento a cui ogni partecipante è stato sottoposto. Questo tipo di errore può essere determinato da chi eroga l intervento, dai soggetti studiati, dai ricercatori che valutano o analizzano gli outcome e coloro che scrivono l articolo descrivente il trial. Bias di accertamento ascertainment bias Il miglior modo per evitare questo bias è mantenere le persone, coinvolte nello studio, non a conoscenza dell identità dell intervento il più a lungo possibile, realizzando quella che è detta CECITA. 4
Bias di violazione del protocollo Tutti i pazienti inclusi inizialmente nello studio dovrebbero essere considerati anche nella formulazione delle conclusioni all interno del gruppo di assegnazione. Ciò si rende necessario in presenza di soggetti che hanno abbandonato lo studio, che si sono persi durante il follow up o che non hanno seguito il protocollo di trattamento (crossover). Se venissero considerati solo i risultati di coloro che hanno finito lo studio si potrebbe sovrastimare l efficacia del trattamento. Per questo l analisi dei dati deve essere effettuata secondo l intention to treat (intenzione di trattamento). La generalizzabilità degli RCTs End point misurati (surrogati vs clinicamente significativi) (Fleming TR,et al. Ann inter Med 1996). Misure utilizzate per riportare i risultati (relative vs assolute) (Bobbio M, et al. Lancet 1994). Endpoint surrogato Misure di efficacia nei trials Intervento Patologia End point surrogato Outcome clinico reale Nella lettura degli studi troveremo indicate diverse misure di efficacia. La comprensione del loro significato, l interpretazione del loro valore e della loro precisione ci servono per capire la forza e la direzione della associazione che vi è tra trattamento e outcome (e quindi di capire se l intervento è efficace e in che misura). L efficacia negli studi I dati all interno degli studi possono riguardare variabili continue (glicemia, temperatura, pressione, colesterolemia) o variabili discrete o dicotomiche (vivo o morto, frattura o non frattura, guarito o non guarito). Nel primo caso i ricercatori riportano l intervallo di valori nel quale si modificano i parametri in seguito all intervento, confrontando le medie o le mediane dei valori. Nel secondo caso i ricercatori riportano la frequenza con cui si verifica l evento. Esempio variabili continue Cullen l, et al. Nebulized lidocaine decrease the discomfort of nasogastric tube insertion: a randomized, doubleblind trial. Ann Emerg Med 2004; 44: 131-7. La somministrazione di lidocaina nebulizzata prima dell inserimento del sondino naso gastrico riduce il discomfort del paziente? P: Adulti da sottoporre a posizionamento del SNG in pronto soccorso. Intervento: nebulizzazione di lidocaina. Confronto: nebulizzazione di soluzione fisiologica. Outcome: disagio misurato attraverso una scala visuale analogica (misura continua), difficoltà di inserimento del sondino (misura continua), complicanze (sanguinamento, vomito, impossibilità di passaggio, dispnea misure discrete). 5
Esempio variabili continue Outcome Disagio riferito (media dei punteggi della scala visuale analogica) Difficoltà percepita dall infermiere nell inserimento del SNG Sanguinamento nasale Vomito Lidocaina 37.7 2 17% 10% Placebo 59.3 2 0 0 Differenza 95%) 26.6 (5.3 a 38.0) 0 (-1 a 1) 17% (3,5-31) 10%(-0,7-21) (IC Misure di efficacia per gli esiti discreti Il primo passaggio per capire le diverse misure di efficacia consiste nel tabellare i dati. Evento Sì Evento No Gruppo sperimentale Gruppo di a b a + b c d c + d a + c b + d La misura degli effetti quando si utilizzano outcome discreti Experimental event rate - Frequenza (o rischio) nel gruppo sperimentale a EER = ------------ a + b Control event rate - Frequenza (o rischio) nel gruppo di c CER = ------------ c + d La EER ci dice con che frequenza l evento si è verificato nel gruppo sperimentale La CER ci dice con che frequenza l evento si è verificato nel gruppo La misura degli effetti quando si utilizzano outcome discreti Rischio Relativo a EER -------------- a + b RR = ------------ = ------------- c CER -------------- c + d Misura relativa Dal rapporto tra EER e CER individuiamo il rischio relativo che ci dice qual è il rischio di manifestare l evento negativo nel gruppo sperimentale rispetto a quello del gruppo di. Se l intervento ha un effetto benefico RR<1 Se peggiora l esito RR>1 Se non c è differenza RR=1 La misura degli effetti quando si utilizzano outcome discreti L odds ratio (OR) a/b OR = ------------ c/d OR=aXd / bxc Misura relativa A volte per motivi statistici anziché essere calcolato il RR troviamo indicato l odds ratio che non confronta le frequenze (rischio) degli eventi, ma le loro probabilità. se l intervento ha un effetto benefico OR<1 Se peggiora l esito OR>1 Se non c è differenza OR=1 Il difetto di RR e di OR Sia il RR che l OR sono misure della forza dell associazione tra trattamento ed esito RELATIVE. Esse, cioè, non ci danno espressione della importanza clinica degli eventi nei due gruppi. Per questo motivo, per comprendere la rilevanza clinica degli effetti, vengono calcolate altre misure di efficacia. 6
La misura degli effetti quando si utilizzano outcome discreti Riduzione Rischio Assoluto ARR = CER - EER Misura assoluta Riduzione Rischio Relativo ARR RRR = ------------- o (1 RR) CER Misura relativa La riduzione del rischio assoluto ci dà l esatta espressione di quanto si riduca la frequenza degli eventi negativi con il trattamento sperimentato. La riduzione del rischio relativo dice con che proporzione diminuisce il rischio con il trattamento sperimentato. I difetti di e RRR di ARR La RRR è di nuovo una misura relativa, che non ci dà idea della frequenza, e quindi dell importanza, dell evento negativo. Al contrario ARR è proprio espressione di questa misura, ma essendo un numero decimale non è facile da ricordare. Per questo motivo la misura che rende al meglio l importanza clinica dell associazione tra trattamento ed outcome è il NNT. Campione 1 (R) Campione 2 (R) Campione 1 (R) Campione 2 (R) Intervento sperimentale ha ridotto il rischi basale Rischio basale inalterato RR ARR (RD) - TRATTAMENTO Domanda: quanto è buono (pillola)? Se è buono il rischio diminuisce EZIOLOGIA (fattore di rischio) Domanda: quanto è cattivo (fumo)? Se è cattivo il rischio aumenta 0,6 1,6 1 =???? La misura degli effetti quando si utilizzano outcome discreti Number Needed to Treat 1 NNT = ---------- ARR Misura assoluta Il numero dei pazienti da trattare ci dice il numero di quante persone è necessario trattare per evitare un evento negativo. Si tratta di un valore espresso con numeri interi (e quindi è più facile da ricordare) tanto più è piccolo tanto maggiore è l efficacia clinica del trattamento. Tanto più è grande tanto più è modesta l efficacia del trattamento. 7
NNT e NNH NNT = Number Needed to Treat Quando il trattamento produce dei danni anziché dei benefici, il valore di ARR diventa negativo ed anche l NNT si presenta con il segno -. L NNT negativo si legge NNH in quanto il trattamento produce un danno. NNH = Number Needed to Harm Intention to treat L analisi secondo Intention to treat è un tipo di analisi dei risultati in cui non vengono valutati solo coloro che hanno effettivamente assunto il trattamento, ma tutti coloro che sono stati assegnati a quel tipo di trattamento. I soggetti possono interrompere precocemente un trattamento o a causa degli effetti collaterali oppure a causa della malattia che può aver assunto un andamento più grave. Non tener conto di questi risultati, potrebbe portare a conclusioni errate. Ipotizziamo uno studio Immaginiamo uno studio randomizzato e controllato il cui obiettivo è verificare se un farmaco innovativo offre vantaggi in termini di riduzione della mortalità per una patologia incurabile, rispetto al placebo. Vengono arruolati 1000 pazienti nel gruppo sperimentale e 1000 pazienti nel gruppo di. Al follow up effettuato dopo 5 anni, questo è lo scenario: Dei 1000 trattati con placebo, 10 sono deceduti. Dei 1000 del gruppo di sperimentale, 100 hanno abbandonato lo studio. Nei 900 che hanno seguito il protocollo fino alla fine, si sono verificati 20 decessi. Tra i 100 che non hanno terminato lo studio 30 sono morti a causa di un effetto collaterale tardivo del farmaco. Da www.netaudit.org Scenario al termine dello studio 1000 farmaco 900 farmaco 100 sospendono 10 morti 30 morti 1000 placebo 20 morti Come considerare questi dati Esistono tre modi per analizzare i dati: Analysis per protocol, che non considera coloro che non hanno seguito il protocollo (drop out). Analysis as treated, che compara i risultati tra coloro che hanno seguito interamente il protocollo e coloro che non lo hanno seguito (drop out e controlli). Analysis per Intention to treat, che compara i risultati di coloro che erano stati inclusi nel gruppo sperimentale, con il gruppo di, indipendentemente dall abbandono dello studio. Analisi per protocol Morti Vivi Gruppo sperimentale 10 890 900 Gruppo di 20 980 1000 RR = 0,55 ARR = 0,009 RRR = 45% NNT = 111 8
Analisi as treated Morti Vivi Gruppo sperimentale 10 890 900 Gruppo di 50 1050 1100 Intention to treat Morti Vivi Gruppo sperimentale 40 960 1000 Gruppo di 20 980 1000 RR = 0,24 ARR = 0,034 RRR = 75% NNT = 29 RR = 2 ARI = 0,02 RRI = 100% NNH = 50 Un esempio reale Trivedi DP, Doll R, Khaw KT. Effect of four montly oral vitamin D3 supplementation on fracutres and mortality in men and women living in the community: randomised double blind controlled trial. BMJ 2003; 326:469-72. La somministrazione di un integratore di Vitamina D3 per via orale riduce l incidenza di fratture negli anziani (65-85) residenti al domicilio? P: anziani residenti al domicilio. Intervento: somministrazione di un integratore di Vit D3. Confronto: somministrazione di un placebo. Outcome: Incidenza di fratture e mortalità da tutte le cause. Gruppo intervento Trattamento sperimentale Trattamento Un esempio reale Frattura 119 149 Rischio Relativo Riduzione Rischio Assoluto EER 0,088 RR = ---------- = -------- = 0,8 ARR = CER-EER= 0,11 0,088 = 0,022 CER 0,11 Non frattura 1226 1192 N. Tot. 1345 1341 Riduzione del rischio relativo= di quanto si riduce il rischio nel gruppo sperimentale? Riduzione rischio assoluto = differenza (%) fra e sperimentale Riduzione Rischio Relativo Number Needed to Treat ARR 0,022 1 1 RRR = ---------- = -------- = 20% NNT = ---------- = -------- = 46 CER 0,11 ARR 0,022 Intervallo di confidenza Quando valutiamo l efficacia di un trattamento, oltre ad osservare il valore della misura di efficacia, dobbiamo valutarne la sua precisione. Ciò si effettua considerando l intervallo di confidenza (IC). Cos è l intervallo di confidenza? È l intervallo dei valori entro i quali al 95% delle probabilità è presente il valore reale della popolazione studiata. 9
Cos è l intervallo di confidenza? La necessità di considerare l IC nasce dal fatto che gli studi sono eseguiti su dei campioni e non sulla popolazione. Se ripetessimo tante volte lo stesso studio difficilmente otterremmo le identiche misure di efficacia, ma questi risultati sarebbero distribuiti intorno al risultato vero che resta sconosciuto. L IC valuta questa variabilità, che dipende dal campionamento. Esso ci dice quali sono i valori entro cui, con una grande probabilità, si trova il valore di efficacia che si otterrebbe studiando tutta la popolazione. Come è costruito Attraverso delle formule matematiche. Non dobbiamo sapere calcolare l IC, ma dobbiamo saperlo interpretare. Cosa ci interessa sapere del IC? In particolare dobbiamo verificare: Quanto è ampio l intervallo di confidenza. Che i suoi limiti non vadano oltre il valore che conferma l ipotesi nulla. Ampiezza dell intervallo di confidenza Tanto più è ampio l intervallo di confidenza, tanto meno precisa è la stima dell efficacia del trattamento (e meno dobbiamo fidarci del risultato dello studio). L ampiezza dell IC è inversamente proporzionale alla dimensione del campione (se ho incluso pochi soggetti il risultato ottenuto è necessariamente poco preciso). L ipotesi nulla Ipotesi nulla Coloro che eseguono lo studio mirano a dimostrare l esistenza di una relazione tra il trattamento ed il miglioramento dell outcome, cercando di dimostrare l inesistenza dell ipotesi nulla. L ipotesi nulla sussiste tutte le volte in cui non vi è alcuna relazione tra il miglioramento dell esito ed il trattamento studiato. Ipotesi nulla H0 Non esiste una reale differenza tra le variabili studiate: le differenze osservate sono dovute la caso. Ipotesi alternativa H1 Le differenze osservate sono troppo grandi per essere dovute al caso. 10
Ipotesi nulla Come faccio a verificare che l ipotesi nulla si è verificata o meno? Attraverso l esame dei valori delle misure di efficacia, che non devono esprimere specifici valori. Parametro RR, OR ARR, RRR NNT Ipotesi nulla nei parametri discreti Valore nullo 1 0 Infinito ARR non deve essere 0, perché significherebbe che il beneficio ottenuto in termini di riduzione assoluta del rischio è 0, nel qual caso NNT diventerebbe un valore tendente ad infinito. Se questo valore è 1, Il rischio o la probabilità di incorrere nell evento avverso sono uguali sia che io faccia il trattamento x o meno Ipotesi nulla nei parametri continui Nel caso in cui lo studio misuri parametri continui, mediante la dimostrazione della differenza della media, essa non deve essere 0. Attenzione! Il valore che conferma l ipotesi l nulla non solo non deve essere corrispondente alla misura di efficacia, ma non deve neanche cadere all interno del suo IC, perché in questo caso potrebbe ugualmente corrispondere ad esso! Test di significatività statistica Oltre a verificare i valori delle misure di efficacia, e del loro IC, vi è anche un altro parametro che occorre osservare che ci dice quale sia la significatività statistica dei risultati ottenuti. Si tratta del test di significatività che attibuisce il valore ad una variabile detta p. Test di significatività statistica Il valore di p misura la probabilità che una differenza, o una associazione, osservata possa essere dovuta a fluttuazioni casuali, ossia alla possibile variabilità tra campioni, e possa quindi non corrispondere a fenomeni reali. Quanto deve essere il valore di p per poter escludere l ipotesi nulla? 11
Test di significatività statistica Viene deciso dei ricercatori che indicano che il livello di significatività statistica è stabilito a 0,05 o a 0,01. Il livello di significatività più comune è 0.05; Si conclude cioè che una differenza non è dovuta al caso se p è uguale o inferiore a 0.05, che vuole dire che il risultato ottenuto potrebbe dipendere dal caso nella misura del 5%, ossia di 1 volta ogni 20 ripetizioni dello stesso studio insomma piuttosto improbabile. Livello di significatività 0.05 p > 0.05 c è una probabilità superiore al 5% che una differenza tra le variabili studiate si verifichi solamente a causa della variabilità campionaria 1. non si può rifiutare l ipotesi nulla p < 0.05 c è una probabilità inferiore al 5% che una forte differenza tra le variabili studiate si verifichi solamente a causa della variabilità campionaria 2. si può rifiutare l ipotesi nulla ed accettare l ipotesi alternativa Livello di significatività 0.01 p > 0.01 c è una probabilità superiore al 1% che una differenza tra le variabili studiate si verifichi solamente a causa della variabilità campionaria 1. non si può rifiutare l ipotesi nulla p < 0.01 c è una probabilità inferiore al 1% che una forte differenza tra le variabili studiate si verifichi solamente a causa della variabilità campionaria 2. si può rifiutare l ipotesi nulla ed accettare l ipotesi alternativa ESEMPIO Abbiamo effettuato una sperimentazione su due gruppi di individui affetti da una determinata malattia. Uno dei due gruppi è stato trattato con il farmaco A e l'altro con il farmaco B; Gli individui trattati con A sembrano guarire con maggiore frequenza di quelli trattati con B. ESEMPIO Calcolando il valore p otteniamo una stima quantitativa della probabilità che le differenze osservate siano dovute al caso. In altre parole, p è la risposta alla seguente domanda: «se non ci fossero differenze fra A e B, e se la sperimentazione fossa eseguita molte volte, quale proporzione di sperimentazioni condurrebbe alla conclusione che A è migliore di B?». Significatività non vuole dire importanza È chiaro quindi che "Significativo" non è sinonimo di "importante "Significativo" = difficilmente dovuto al puro caso. Significatività statistica e significato clinico La significatività statistica non è l unico criterio utile per decidere se utilizzare i risultati di uno studio. La significatività statistica dipende dall entità delle differenze tra i gruppi, dalla variabilità degli esiti all interno dei gruppi e dal numero di pazienti. Differenze clinicamente irrilevanti possono divenire statisticamente significative se le dimensioni dei campioni sono sufficientemente grandi. Al contrario, differenze clinicamente rilevanti possono essere statisticamente non significative se i campioni sono troppo piccoli (in gergo statistico, se lo studio manca di potenza statistica). 12