Strumenti del processo diagnostico: il questionario

Transcript

1 Strumenti del processo diagnostico: il questionario Costruzione del questionario Analisi della validità e riproducibilità del questionario attraverso un indice statistico di concordanza : il kappa

2 Argomento della lezione Il questionario: strumento principale per raccogliere le informazioni Come si costruisce un questionario Vari tipi di questionari Validazione di un questionario Confrontare le informazioni raccolte da un questionario con un gold standard (strumentazioni, esami, clinico) attraverso il kappa di Coehn

3 Obiettivo della lezione L'obiettivo di questa lezione è riflettere sulla complessità che c'è dietro la costruzione di un buon questionario Essere in grado di rispondere alle seguenti domande: Come si costruisce un questionario? quando si usa? come faccio a sapere se il questionario che ho costruito per raccogliere una serie di informazioni sulla insufficienza renale funziona?

4 Il processo diagnostico Il processo diagnostico consiste nel trarre dall osservazione di un individuo quegli elementi che permettano di giudicare se è affetto o meno da una determinata malattia e, conseguentemente, le indicazioni sulla linea terapeutica da seguire. Alla base del processo diagnostico vi è l acquisizione di informazioni riconducibili alle caratteristiche dell individuo che si presenta all osservazione. Queste informazioni possono essere raccolti attraverso: sintomi riferiti, esame obiettivo esami strumentali o di laboratorio Questionario, test

5 Che cos'è il questionario? Uno strumento per raccogliere informazioni che può essere utilizzato in molti campi: indagine clinica, stesura di linee guida e protocolli terapeutici, nelle audit cliniche, ricerca epidemiologica, valutazione dello stato della qualità. È uno strumento apparentemente semplice, ma il disegno di un questionario è un processo complesso che coinvolge diversi aspetti e considerazioni

6 Obiettivi possibili: Studiare i fattori di rischio (es. indagini epidemiologiche) Verificare l'efficacia di misure applicate (stesura di linee guida, analisi casistica, etc) Strumenti di diagnosi (disturbi comportamentali, alimentari, mentali, etc ) Scheda raccolta dati (anamnesi, checklist)

7 Il questionario una definizione I questionari sono strumenti di raccolta delle informazioni, definiti come un insieme strutturato di domande e relative categorie di risposta definite a priori da chi lo costruisce, ovvero di domande cosiddette chiuse dove all intervistato (inteso come colui che risponde alle domande scritte del questionario) viene richiesto di individuare tra le risposte presentate quella che più si avvicina alla propria posizione, e/o di domande aperte, che non prevedono cioè delle risposte predeterminate (Zammuner, 1996). ma alle quali il soggetto può rispondere riportando e valutando la propria esperienza.

8 Il questionario Se è vero che tutti i questionari sono costituiti da domande, non è vero che le domande da sole bastano a fare un questionario Ciò che distingue un buon questionario da una serie di domande è l'attività di pianificazione Ricordate sempre che: OGNI DOMANDA HA LA RISPOSTA CHE SI MERITA!!!

9 QUALE QUESTIONARIO? per costruire un questionario la prima domanda da porsi è: "cosa voglio sapere? cosa voglio misurare?" Stabiliti gli obiettivi bisogna scegliere se utilizzare un questionario: Già validato (creato, utilizzato, testato) Già utilizzato possibilità di comparare i dati Creato ad hoc -> Ci occuperemo del terzo caso

10 Caratteristiche di base essere facile da leggere riportare istruzioni chiare occuparsi delle informazioni veramente importanti avere già in mente il tipo di analisi che si vorrà poi fare sui dati il questionario deve essere trattato come un delicato strumento scientifico e in quest ottica deve essere calibrato, controllato e utilizzato

11 Passi preliminari: la raccolta delle informazioni Analisi della letteratura scientifica sull ambito di indagine. Analisi delle esperienze simili. Interviste o focus group con osservatori privilegiati e operatori del servizio.

12 Fasi della costruzione del questionario Scelta e definizione delle aree di contenuto da esplorare nel questionario. Formulazione dei relativi quesiti o item. Declinazione dei contenuti delle aree in singoli quesiti che rilevano verbalmente le opinioni e le percezioni dei rispondenti. Sistemazione dei quesiti in un ordine adeguato.

13 Alcuni suggerimenti: all inizio del questionario dare alcune brevi istruzioni su come rispondere; iniziare possibilmente con domande semplici, che mettano a proprio agio chi risponde raggruppare le domande che si riferiscono a uno stesso tema per facilitare la concentrazione del rispondente su un unico argomento alla volta, esaurito il quale si passa al successivo posizionare le domande più complesse che richiedono maggiore attenzione in posizione intermedia della sequenza, non all inizio poiché possono demotivare il rispondente nel proseguire la compilazione, e non alla fine quando la fatica si può far sentire

14 Alcuni suggerimenti: se è necessario usare una sequenza temporale, è consigliabile porre prima le domande riguardanti il passato, poi quelle relative al presente condurre una analisi tramite pre-test dello strumento ottenuto; ovvero testare su un piccolo campione di soggetti il questionario.

15 Pre-test È consigliabile che lo strumento di rilevazione sia somministrato a un gruppo di individui (10-20) con caratteristiche simili a quelle del campione che si intende intervistare. Lo scopo è quello di individuare e correggere i possibili errori di interpretazione, le domande superflue, le domande mancanti, le modalità di risposta confuse o inappropriate, ecc. In questa fase risulta utile incoraggiare gli intervistati a commentare le domande e le risposte, facendo così emergere eventuali criticità dello strumento.

16 Tipi di domande Aperte : qualsiasi risposta possibile, risposte anche lunghe, risposta trascritta e codificata in un secondo tempo. Queste domande vanno bene per raccogliere opinioni in interviste personali. Chiuse : chi risponde deve scegliere tra un limitato numero di opzioni. Dicotomiche (si/no ma aggiungere anche non so) A scelta multipla. Facili da codificare ed analizzare. Il range di risposte possibili è limitato. Ciascun tipo di domande presenta vantaggi e limiti.

17 esempi Domande chiuse Le domande sono accompagnate da una lista di alternative (o categorie) di risposta fra le quali il soggetto sceglie quella o quelle che meglio rappresentano la sua risposta esempio: quante volte in un mese si reca dal medico di base? meno di una volta una volta due - tre volte quattro volte più di 4 volte non so/non ricordo Domande aperte Le domande aperte permettono al rispondente di esporre liberamente con le proprie parole le sue percezioni esempio quante volte in un mese si reca dal medico di base?

18 Domande chiuse Vantaggi Si risponde più velocemente Tasso di risposta più alto Più facili da analizzare La lista di alternative aiuta a comprendere meglio la domanda Limiti Le categorie possono suggerire la risposta Le categorie possono non comprendere tutte le casistiche

19 Domande aperte Vantaggi Qualità delle risposte, possono emergere aspetti nuovi Originalità delle risposte Possibilità di approfondire gli argomenti Limiti Più difficili da codificare Le risposte possono mancare o possono contenere informazioni irrilevanti Richiede maggior tempo nelle risposte

20 Tipi di risposta chiusi formati di risposta chiusi esempio si usa quando Domande ad Alternativa Fissa si deve scegliere da un elenco di possibili risposte tra loro esclusive Domande a scelta multipla il rispondente compie una scelta da un elenco di possibili risposte Domande a risposta graduata il rispondente compie una scelta sulla base di una scala a risposte graduate. età meno di 20 anni tra 20 e 40 anni tra 41 e 60 anni più di 60 anni chi l'ha informata della possibilità di accesso alla day-surgery (può indicare più di una alternativa) il medico di medicina generale specialista amici conoscenti libero accesso altro come va in generale la sua salute molto bene bene discretamente male molto male si conoscono bene le possibili risposte, che vengono sintetizzate nei punti di un elenco è possibile chiedere agli intervistati di scegliere una o più possibili risposte si chiede di indicare la categoria verbale che più si avvicina alla propria posizione

21 Response effect Quando gli intervistati scelgono la risposta che occupa la stessa posizione nella scala (scelgono sempre abbastanza) o nelle alternative di risposta, per esempio sempre le prime risposte presentate o le ultime, senza considerare il contenuto della domanda. Se si teme uno di questi effetti, può essere utile introdurre nella batteria alcune domande di controllo a polarità invertita, che controllino la sincerità delle risposte.

22 Punto intermedio e non so Solitamente si tende a utilizzare scale di risposta che abbiano un numero pari di punti, e a escludere il punto intermedio con etichetta moderatamente adeguato o così così, In questo modo gli intervistati sono forzati a prendere una posizione ed evitare che sia alto il numero di coloro che non esprimono una posizione netta circa l oggetto dell indagine. È consigliabile non introdurre tra le categorie di risposta il punto non so.

23 target Il questionario deve essere modellato sulla base delle caratteristiche socio-anagrafiche del target. Aspetti rilevanti possono essere: Età, Sesso, tasso di Scolarizzazione Tipo di Professione, etnia, religione, Nazionalità Dimestichezza con la lingua italiana scritta e parlata scelta delle domande ordine delle domande modalità di risposta lunghezza del questionario,

24 Costruzione delle domande 1. Usare parole, frasi e stile familiari alla maggior parte delle persone 2. usare parole semplici e frasi brevi e semplici 3. cercare di essere specifici senza entrare in dettagli molto elaborati 4. fare domande concise senza il rischio di dettagli ambigui o domande doppie 5. cercare di essere precisi e non vaghi 6. Porsi l obbiettivo di usare meno di 20 parole per domanda 7. evitare domande fuorvianti o in cui si suggerisca la risposta 8. evitare di immaginarsi in anticipo la risposta 9. cercare di essere realistici e non ipotetici 10.usare il buon senso

25 Qualche esempio Domande ambigue: quante volte all anno si è recato dal medico di famiglia nel biennio ? Due domande in una: Ha accusato problemi respiratori quando fa troppo caldo? Parole che non vengono comprese: Soffre di dispnea? Eventi difficilmente ricordabili: Quanto pesava all età di 10 anni? Domande pilotate: Lei non fuma,vero?

26 Qualche esempio Domande troppo lunghe con troppe idee Ha mai usato integratori, antinfiammatori, analgesici? Intervalli che si sovrappongono: Quante visite avvengono in un anno? Fino a 10, da 10a 20, da 20 in su? Non richiedere esattamente l informazione voluta: Non ha mai un desiderio irresistibile verso alcuni cibi? (per sapere cosa effettivamente le persone mangiano)

27 E ancora... Scelta delle parole:dovrebbero essere scelte con l obiettivo di assicurare il corretto significato. Criteri di scelta: la parola significa proprio ciò che intendiamo dire? la parola ha qualche altro significato? il contesto rende chiaro ciò che vogliamo dire? esistono parole simili che potrebbero confondere? esiste una parola o una frase più semplice?

28 somministrazione Autosomministrazione È il soggetto, nel vostro caso il paziente che compila il questionario Intervista È un medico o un altro operatore che pone le domande del questionario al soggetto Somministrazione postale Il questionario viene inviato per posta Intervista telefonica Internet

29 differenze Tutte queste tecniche hanno dei limiti e dei vantaggi che bisogna tenere presente nella fase di costruzione In particolare se il questionario sarà autosomministrato o postale le domande dovranno essere particolarmente chiare e il layout dovrà essere semplice accattivante I questionari postali dovranno essere spediti in buste preaffrancate e indirizzate per ridurre il tasso di non risposta che è il più alto tra le tipologie di somministrazione

30 Esempi di questionari

31

32

33 Quando si costruisce un questionario è buona norma codificare le risposte come in questo caso. Lo scopo è facilitare l analisi

34 Questo questionario fa parte di uno studio per le linee guida del trattamento della tiroide Si raccolgono tutte le informazioni provenienti da diverse fonti: esame obiettivo, strumentale etc

35 Questionario, test, scala Questionario, test e scala sono la stessa cosa? no. Differenza tra questionario e scala Nel questionario le risposte possono essere anche a bassa articolazione (si/no) Nella scala le risposte prevedono una maggiore graduazione nella scelta (es le scale del dolore come definisce il dolore..?molto forte, forte, moderatamente forte assente) Differenza tra questionario e test Nel test il setting è rigidamente strutturato, oltre a domande ci possono essere anche una serie di prove (esempio i test di intelligenza, i test sulla memoria)

36 Vantaggi e limiti del questionario I vantaggi principali del questionario sono il basso costo e la rapidità di somministrazione. Questo strumento, però, presenta numerosi limiti, come ad esempio, l impossibilità per il soggetto di approfondire la risposta data, perché comunque è costretto a scegliere tra i soli items proposti. I questionari vengono costruiti per misurare qualcosa che non è misurabile in altri modi. Questo ne costituisce il limite e il vantaggio.

37 Validità e attendibilità del questionario Come per tutti gli strumenti diagnostici anche per il questionario bisogna valutare la validità e l attendibilità o riproducibilità La validità si riferisce alla proprietà del giudizio clinico di dimostrarsi in accordo con evidenze più probanti, quale un più attento esame obiettivo o strumentale del paziente, o la sua osservazione nel corso del tempo (gold standard). La riproducibilità si riferisce alla proprietà del giudizio clinico di dimostrarsi in accordo con quello derivante da altre osservazioni dello stesso fenomeno (grado di accordo tra operatori diversi o tra strumenti diversi)

38 validità La validità di uno strumento si riferisce al grado con cui lo strumento stesso misura ciò che si prefigge di misurare. Perché i dati raccolti siano validi, devono fornire effettivamente le informazioni per ottenere le quali lo strumento è stato costruito. Ci sono vari tipi di validità: validità concorrente/di criterio; validità di costrutto; validità di facciata; validità convergente/discriminante; validità predittiva

39 validità Validità di contenuto/concettuale Capacità dello strumento di misurare effettivamente ciò che si intende rilevare esempio un test sull alcolismo deve classificare correttamente i soggetti in fumatori non fumatori Come misurarla Attraverso l analisi indipendente dello strumento da un gruppo di esperti Validità di costrutto Corrispondenza tra i risultati ottenuti e la costruzione teorica proposta. Come misurarla Elaborando una ipotesi teorica ed esaminando la corrispondenza tra tale ipotesi e i risultati ottenuti. Validità concorrente/di criterio Corrispondenza tra i risultati ottenuti e un criterio esterno correlato esempio il test per alcolismo deve registrare accordo con il test che rileva la presenza di alcol nel sangue Come misurarla Confrontando i risultati ottenuti da un pre-test con altri risultati noti Validità di facciata Analisi dell adeguatezza del materialestimolo ai soggetti da esaminare. Come misurarla Attraverso la richiesta di un giudizio qualitativo intuitivo ai soggetti sul materiale-stimolo

40 validità Validità convergente e discriminante La validità discriminante consiste nel dimostrare un ragionevole grado di indipendenza tra le varie aree che compongono lo strumento. Per validità convergente si intende la misura della dipendenza di ogni item con il fattore di riferimento. Come misurarla Per la misura della validità discriminante si può utilizzare il coefficiente di cograduazione di Spearman. La validità convergente si misura tramite correlazione tra ogni domanda/item e la sua scala di appartenenza. Validità predittiva Indica la capacità della scala di predire l evoluzione del fenomeno che si intende misurare. Come misurarla Si può utilizzare la cograduazione come misura dell intensità del legame tra le variabili.

41 attendibilità Per attendibilità si intende una misurazione che, applicata allo stesso oggetto, deve dare gli stessi risultati anche quando viene compiuta da persone diverse, in situazioni diverse, con strumenti diversi. Le verifiche empiriche dell attendibilità riguardano: l omogeneità o coerenza interna dell insieme degli stimoli che compongono il test; la concordanza tra forme parallele di uno stesso test; la stabilità delle reazioni di soggetti esaminate più volte, ossia la verifica dei risultati al re-test.

42 attendibilità Omogeneità /coerenza interna Corrispondenza tra risposta e risposta all interno dello strumento. Come misurarla alfa di Cronbach: calcolare la correlazione delle risposte a ogni domanda con le risposte a tutte le altre domande. Stabilità Concordanza Corrispondenza tra risultati di rilevazioni ripetute con strumenti diversi. Come misurarla Replicare la rilevazione con strumenti diversi e calcolare la correlazione tra i risultati. Corrispondenza tra risultati di rilevazioni ripetute con lo stesso strumento. Come misurarla rilevazione nel tempo sugli stessi soggetti e calcolare la correlazione tra i due risultati.

43 Accordo tra due osservatori Per misurare il grado di accordo tra due osservatori bisognerebbe che due clinici esaminassero separatamente un certo numero di pazienti e che per ognuno di essi formulassero il giudizio clinico relativo alla classificazione dei pazienti in base: a due categorie diagnostiche, ad esempio malattia presente o assente, malattia A o B, malattia lieve o grave; a più di due categorie diagnostiche non ordinali, ad esempio malattia A, B o C; a categorie diagnostiche ordinali, ad esempio malattia assente, lieve o grave, malattia assente, sospetta o presente, ecc

44 Come mettere i dati per calcolare l accordo

45 Accordo osservato Si definisce accordo osservato (AO) la proporzione di pazienti per i quali i due clinici concordano nella formulazione del giudizio clinico sul totale dei pazienti sottoposti al giudizio stesso: Questa misura dell accordo tra osservatori è tuttavia piuttosto superficiale in quanto non considera che i due clinici potrebbero concordare nella diagnosi per puro effetto del caso

46 Accordo atteso Si definisce accordo atteso (AA) la proporzione attesa di diagnosi concordanti per effetto del caso sul totale dei pazienti

47 Indice K di concordanza oltre il caso Ne deriva che una misura della proporzione di accordo che esclude la quota dovuta al caso è data dall indice K di concordanza:

48 Indice kappa un esempio A 2 clinici viene chiesto di classificare 100 pazienti psichiatrici in 2 categorie: malattia psichiatrica, malattia organica. L accordo osservato è: AO = / 100 = 0.95 ovvero i due clinici concordano sulla diagnosi nel 95% dei casi. Tuttavia, l accordo atteso per effetto del caso è: AA = ( ) / = 0.78 ovvero l accordo potenziale oltre il caso è di (1 0.78) = Ne deriva che l indice K di concordanza è: K = ( ) / (1 0.78) = 0.77

49 Indice K generalizzato per categorie diagnostiche ordinali Si sommano le diagnosi concordanti e si pesano in base alla vicinanza diagnostica esempio

50 esempio 2 clinici esaminano indipendentemente l uno dall altro 100 mammografie classificandole nelle seguenti tre categorie ordinali: assenza di lesioni, presenza di lesioni dubbia e presenza di lesioni certa. Indicizzando le tre categorie con 1 (assenza di lesioni), 2 (dubbia presenza di lesioni) e 3 (certa presenza di lesioni) i pesi sono qui di seguito indicati:

51 accordo osservato è: Ow = 1 * (22/100) * (1/100) + 0 *(7/100) * (2/100) + 1 * *(21/100) *(3/100) + 0 * (8/100) * (4/100) + 1 (32/100) = 0.83 accordo atteso per effetto del caso è: Aw = [1 * (32 * 30)/100 2 )] + [0.75 * (26* 30)/ )] + [0 * 42*30)/ )] + [0.75* (32 * 26)/ )] + [1* (26 *26)/ )] + [0.75* 42 * 26)/ )] + [0* (32 * 44)/ )] + [0.75* (26*44)/ )] + [1* 42* 4)/ ) = 0.64 e deriva che l indice K di concordanza pesato è: w = ( ) / (1 0.64) = 0.52

52 Indice di concordanza per dati quantitativi Quando vogliamo misurare l accordo tra due o più strumenti od operatori e le modalità non sono espresse in termini qualitativi (esempio assenza/presenza malattia), ma quantitative (livelli di colesterolo nel sangue)si utilizzano altri strumenti: Il grafico di correlazione Il Coefficiente di Correlazione Lineare Il Coefficiente di Correlazione Intraclasse (ICC)

53 Grafico di correlazione 1,5 correlazione y = x + 0,2 R = 1 operatore B 1 0, ,5 1 operatore A

54 Il coefficiente di correlazione Intraclasse Stima quanto della variabilità totale osservata è da attribuire alla variabilità tra diversi operatori ICC = var var tra tot È un rapporto tra la varianza tra gruppi e la varianza totale 2 ( x i x) var = n

55 bibliografia Boncori L., Teoria e tecnica dei test. Torino, Bollati Boringhieri, Manganelli Rattazzi A.M., Il questionario. Padova, Cluep Editrice, Zammuner V.L., Interviste e questionari. Roma, Borla Edizioni, Fleiss, J. L., Levin, B., & Paik M. C. (2003). Statistical methods for rates and proportions.hoboken, New Jersey: Wiley. Info/Forma/REGOLE%20PER%20UN%20QUESTIONARIO.htm