SCOPO. Stabilire se i risultati siano vicini alla veritàe rilevanti nel setting o nel gruppo di pazienti che ci interessa SCALE PERCHÈ È IMPORTANTE

Transcript

1 VALUTAZIONE CRITICA DEGLI STUDI PROLOGO Protocollo CAPITOLO 1 Quesito CAPITOLO 2 Background CAPITOLO 3 Ricerca degli studi CAPITOLO 4 Selezione degli studi CAPITOLO 5 Valutazione critica degli studi CAPITOLO 6 CAPITOLO 7 CAPITOLO 8 EPILOGO Processo sistematico mirato a identificare le forze e le debolezze di un articolo di ricerca per valutare l utilitàe la validità dei suoi risultati VALUTAZIONE CRITICA DEGLI STUDI SCOPO Stabilire se i risultati siano vicini alla veritàe rilevanti nel setting o nel gruppo di pazienti che ci interessa PERCHÈ È IMPORTANTE Gli studi possono essere molto diversi tra loro come qualitàe per il rischio di sviluppare bias I risultati potrebbero dipendere da come èstato condotto lo studio e non dalla reale efficacia dell intervento Evidenze non valide possono portare a conclusioni fuorviate e quindi a danni o aumento dei costi immotivato SCALE STRUMENTI DI VALUTAZIONE CRITICA La qualitàviene valutata mediante punteggi che combinati insieme danno un punteggio riassuntivo CHECKLISTS Elenco di quesiti specifici che valutano gli elementi che definiscono la qualità dello studio ma non viene calcolato un punteggio riassuntivo DOMAIN-BASED La valutazione critica viene fatta in modo separato per diversi ambiti della qualità SCALE Le scale non sono raccomandate Calcolare un punteggio totale vuol dire dare un peso alle singole voci della scala e questo peso è difficile da giustificare Valutare lo stesso trial con scale diverse può portare a risultati diversi Un punteggio totale non è trasparente per i lettori

2 APPROPRIATEZZA DEL DISEGNO APPROPRIATEZZA DEL DISEGNO Aumento del rischio di bias L RCT èconsiderato la tipologia di studio migliore per valutare l effetto di un intervento Quando uno studio sperimentale non è possibile o non è etico randomizzare i partecipanti si possono cercare disegni quasi-sperimentali o osservazionali. port.pdf APPROPRIATEZZA DEL DISEGNO Possono però essere implementati in modo da rendere probabile che i loro risultati siano seriamente inficiati da bias e quindi si riduca il loro valore ai fini di essere utilizzati per la pratica. QUALITÀ VERSUS RISCHIO DI BIAS Il bias è un errore sistematico nella stima dell effetto reale di un intervento Il bias può emergere da diversi difetti nel disegno dello studio. Più rigoroso sarà lo studio, minore sarà il rischio di bias Il rischio di bias qualità di uno studio. La qualità si riferisce a quanto gli investigatori si attengano ai migliori standard per condurre il loro studio. QUALITÀ VERSUS RISCHIO DI BIAS (Handbook Cochrane 2011) QUALITÀ VERSUS RISCHIO DI BIAS (Handbook Cochrane 2011) Ci sono delle caratteristiche della qualità di uno studio che probabilmente non influenzano il suo rischio di bias. Esempio: Approvazione etica, ottenere il consenso informato, riportare il calcolo delle dimensioni del campione Gli studi possono essere condotti seguendo gli standard migliori possibili ma essere ancora a elevato rischio di bias. Esempio: Un trial dove sia impossibile la cecità dei partecipanti può essere condotto seguendo gli standard migliori possibili ma essere comunque a alto rischio di bias per la mancanza di cecità.

3 FONTI DI BIAS SELECTION BIAS Differenze sistematiche tra le caratteristiche di base dei gruppi comparati RANDOMIZZAZIONE: I partecipanti dovrebbe essere allocati ai gruppi usando una vera sequenza di randomizzazione. Usare la data di nascita, la data di ingresso o il numero di ricovero non èuna vera randomizzazione. OSCURAMENTO DELL ALLOCAMENTO (CONCEALMENT): I partecipanti e gli investigatori non dovrebbero essere in grado di prevedere l allocazione prima che il partecipanti sia inserito nello studio. Allocazione centralizzata (uso del telefono o numerazione generata dal web) o numeri sequenziali contenuti in buste anonime. PERFORMANCE BIAS Differenze sistematiche tra i gruppi rispetto al tipo di assistenza ricevuta o all esposizione a fattori diversi dall intervento in oggetto. CECITÀ: I partecipanti e gli investigatori dovrebbero essere all oscuro dell allocazione per fare in modo che ognuno riceva la stessa quantità di attenzioni, di trattamenti secondari o di esami diagnostici. DETECTION BIAS Differenze sistematiche tra i gruppi dovute al modo in cui viene determinato l esito ATTRITION BIAS O DI VIOLAZIONE DEL PROTOCOLLO Differenza sistematica nei ritiri dallo studio tra i due gruppi CECITÀ: La cecità di coloro che valutano gli esiti può ridurre il rischio che la conoscenza dell intervento ricevuto, piuttosto che l intervento stesso, influenzi la misurazione degli esiti. OUTCOME DATA: Nel report del trial dovrebbe essere descritto come sono stati misurati gli outcome nella sezione dei metodi. OUTCOME DATA: Nell analisi dei risultati dovrebbero essere inclusi tutti I partecipanti che sono stati randomizzati, inclusi quelli che si sono ritirati dallo studio o non hanno ricevuto l intervento a cui erano stati destinati (intention-to-treat) Le ragioni per cui I partecipanti sono usciti dallo studio dovrebbero essere riportate REPORTING BIAS Differenze tra gli esiti inseriti nel protocollo e quelli che vengono riportati nel lavoro finale. REGISTRAZIONE DEGLI OUTCOME: Dovrebbero essere riportati i risultati per ogni outcome identificato all inizio, primari e secondari. I report degli studi non dovrebbero focalizzarsi solo su quegli outcome che sono favorevoli o quelli che hanno dimostrato una differenza statisticamente significativa tra i gruppi. ALTRI BIAS Relativi soprattutto a particolari disegni di studi (p.e. carry-over nei trial cross over o il recruitment bias nei trial randomizzati per cluster) Altri si presentano in un largo spettro di studi ma solo in particolari circostanze (p.e. la contaminazione dell intervento sperimentale con quello di controllo) Tutti gli outcome, primari e secondari, dovrebbero essere descritti nella sezione Metodi.

4 STRUMENTO DI VALUTAZIONE CRITICA GLI AMBITI ESEMPIO Cochrane Collaboration s s Risk of Bias Tool: Strumento di valutazione del rischio di bias negli RCT basato su degli ambiti I potenziali bias che si possono ritrovare in uno studio sono stati suddivisi in ambiti/aree e sono state definite le strategie per la loro valutazione. Ambiti Generazione della Sequenza Randomizzata Oscuramento dell allocazione Cecitàdei Partecipanti e del Personale Cecitàdi Coloro che valutano gli Outcome Dati incompleti sugli Outcome Altre fonti di bias Bias Selection Bias Selection Bias Performance Bias Detection Bias Reporting Bias Other Bias LA VALUTAZIONE I CRITERI 1) Descrizione di come èstato considerato quell ambito all interno dello studio 2) Assegnazione di un giudizio sul rischio di biasnello studio per quell area Low risk of bias High risk of bias Unclear risk of bias Generazione della Sequenza Randomizzata Selection bias (allocazione all intervento pregiudicato da bias) dovuto a una inadeguata generazione della sequenza di randomizzazione Low risk of bias High risk of bias Unclear risk of bias Gli investigatori descrivono la generazione della sequenza di randomizzazione come: -Tavola di numerazione random -Generatore computerizzato di numeri random -Testa o croce, pescare una carta o una busta, tiro dei dadi, tirare a sorte, -Minimizzazione Gli investigatori descrivono una componente non randomizzata nella generazione della sequenza. In genere riguarda alcuni approcci sistematici non randomizzati, per esempio: -Sequenze generata da: non ben specificato o anche la data di nascita, qualche regola basata sulla data di ammissione o il numero nosologico Altri approcci non randomizzati che si presentano meno frequentemente e che in genere riguardano giudizi o categorizzazioni dei partecipanti come: -Allocazione secondo il giudizio del clinico, le preferenze del partecipante, risultati di un test di laboratorio, disponibilità dell intervento Informazioni insufficienti sul processo di generazione della sequenza per permettere un giudizio di basso o alto rischio. TABELLA RISCHIO BIAS COCHRANE LO STRUMENTO TABELLA RIASSUNTIVA Review Manager (RevMan) 5 Software VERDE: Low risk GIALLO: Unclear risk ROSSO: High risk

5 TABELLA RISCHIO BIAS COCHRANE (Handbook Cochrane 2011) STUDI OSSERVAZIONALI Esempio fittizio port.pdf STUDI OSSERVAZIONALI STUDI OSSERVAZIONALI Gli studi che tracciano inferenze o testano ipotesi attraverso I metodi osservazionali Studiosservazionalidescrittivi: Gli eventi sono semplicemente osservati e descritti mentre seguono il loro corso naturale Studiosservazionalianalitici: Comparazione di due gruppi nei quali l obiettivo è spiegare la relazione di causa ed effetto dove non sia possibile condurre un intervento controllato o sperimentale port.pdf I BIAS PIÙ FREQUENTI Selection bias Differenze sistematiche tra i gruppi rispetto a fattori diversi da quelli dell esposizione sotto osservazione Misclassification bias Errori nella categorizzazione dello stato di esposizione o dell outcome tra i gruppi in modo che non sia random ma collegata all esposizione o all outcome. Attrition bias Quando i soggetti che presentano l outcome non rispondono in modo selettivo o si perdono al follow-up I BIAS PIÙ FREQUENTI Recall bias Differenze nel modo in cui le informazioni sull esposizioni vengono ricordate o riferite dai partecipanti nei diversi gruppi Observation (information, detection) bias Quando la conoscenza dello stato di esposizione o della presenza dell outcomeinfluenza il modo in cui vengono riferite le informazioni dai soggetti sotto osservazione o dagli investigatori Le differenze tra I gruppi sulla quantità d informazioni ottenute

6 CONFONDIMENTO STRUMENTI DI APPROCCIO CRITICO QUANDO LE DIFFERENZE NEGLI ESITI TRA I GRUPPI IN STUDIO SONO DOVUTE A QUALCOSA DI DIVERSO DALL ESPOSIZIONE SOTTO OSSERVAZIONE Fattore collegato all esposizione e all outcomeche è distribuito nei gruppi in modo irregolare Variabile esterna correlata (in modo positivo o negativo) sia con la variabile dipendente che con quella indipendente Non èun bias. I bias riguardano errori nella misurazione, i fattori di confondimento invece sono errori di interpretazione di una misurazione accurata Ci sono centinaia di strumenti per l approccio critico disponibile per gli studi di coorte, caso controllo e cross-sectional Alcuni sono specifici per un tipo di studio osservazionale mentre altri sono più generici Non c è accordo su quali siano gli elementi importanti per valutare il rischio di bias negli studi osservazionali Non c è un solo gold standard per l approccio critico degli studi osservazionali STRUMENTO DI APPROCCIO CRITICO Revisione sistematica sugli strumenti per l approccio critico degli studi osservazionali Sanderson S, Tatt ID, Higgins JPT. Tools for assessing quality and susceptibility to bias in observational studies in epidemiology: a systematic review and annotated bibliography. International Journal of Epidemiology 2007;36: STRUMENTI PER L APPROCCIO CRITICO COME SCEGLIERE LA CHECKLIST La checklist dovrebbe includere delle voci che valutano: Il metodo di selezione dei partecipanti I metodi di misurazione dell esposizione e degli outcome Le fonti di biasspecifiche per la tipologia di disegno Metodo di controllo del confondimento I metodi statistici La presenza della menzione degli eventuali conflitti di interessi La checklistdovrebbe fornire informazioni su come sia stata sviluppata e deve essere stata testata per validità e affidabilità. STROBE STATEMENT von Elm E, et al. The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement: guidelines for reporting observational studies. BMJ. 2007;335(7624): Checklist con 22 voci considerate essenziali per scrivere nel modo giusto gli studi osservazionali PERSONE CHE DEVONO FARE LA VALUTAZIONE Almeno due ricercatori indipendenti. Necessario l accordo e deve essere stabilito a priori cosa fare nel caso non si raggiunga Deve essere riportato tutto nella pubblicazione definitiva

7 COSA FARE CON L APPROCCIO CRITICO Restringere la principale meta analisi a studi a basso rischio di bias Presentare meta analisi stratificate rispetto al rischio di bias La scelta può dipendere a)dal contesto della specifica revisione e b)dal bilanciamento tra i potenziali biase la perdita di precisione che si avrebbe se gli studi ad alto rischio o a rischio di biasnon chiaro fossero esclusi. COSA FARE CON L APPROCCIO CRITICO TERZA VIA Presentare una meta analisi di tutti gli studi, insieme a un riassunto del rischio di biasdegli studi. Incorporare questo riassunto in una valutazione piùampia di ogni outcomeimportante usando un sistema di misurazione della qualità(grade) Summaryof findings Tabella riassuntiva dei risultati Cochrane