ANALISI AFFIDABILITÀ SCALE

Transcript

1 RICERCA CONGIUNTA NEL SETTORE DELLA MISURA DELLA SODDISFAZIONE DEGLI UTENTI DEI SITI E DEI SERVIZI ON LINE DELLE AMMINISTRAZIONI E PER LA PREDISPOSIZIONE DI UNO STRUMENTO DI RILEVAZIONE DELLA CUSTOMER SATISFACTION ANALISI AFFIDABILITÀ SCALE ACCORDO DI COLLABORAZIONE TRA IL CNIPA E IL DIPARTIMENTO DI SCIENZE AZIENDALI E ECONOMICO-GIURIDICHE DELL UNIVERSITÀ DEGLI STUDI ROMA TRE Data consegna

2 ANALISI AFFIDABILITA SCALE Introduzione La fase di costruzione di un questionario si avvale dei seguenti momenti: formulazione degli item; somministrazione pilota; valutazione dell affidabilità della misurazione; validità del questionario. Il concetto di affidabilità di un questionario è relativo alla credibilità dei punteggi, ossia alla loro stabilità nel tempo e alla loro coerenza. Misurare l affidabilità di un questionario è diverso dal misurarne la validità. Questa, infatti, individua l idoneità del questionario a misurare l oggetto della rilevazione. Un questionario affidabile (o attendibile) può anche non essere valido, ma un test non affidabile è anche non valido. Per valutare l affidabilità si lavora con i punteggi ottenuti dalla somministrazione pilota del questionario. Secondo la teoria dei punteggi veri, i punteggi X ottenuti da un individuo in un item sono la somma di due componenti: il vero punteggio V e un certo errore E dovuto a fattori casuali. X=V+E Statisticamente con punteggio vero si intende il punteggio che si otterrebbe se si facesse la media di infinite misurazioni di punteggi osservati sulla stessa persona. La misura dell affidabilità è il coefficiente di affidabilità che indica il livello di fiducia (in termini di coerenza e stabilità) che è possibile riporre in un test. In termini analitici esprime il rapporto tra la varianza del punteggio reale e quella del punteggio del questionario: r xx = V v /V x e ancora r xx =V v /(V v +V E ) Segue che valutare l attendibilità di un questionario, significa interrogarsi su quale porzione di varianza sia vera e quale sia dovuta ad errori casuali. Il coefficiente di affidabilità viene interpretato come la percentuale di varianza dei punteggi dovuta alla variabilità intrinseca dei punteggi assegnati (ossia alla naturale differenza di assegnazione di punteggio tra individuo e individuo). I metodi statistici per tale misurazione sono stati messi a punto dagli psicometrici e si dividono fondamentalmente in due categorie: 1. metodi per test somministrati due volte allo stesso gruppo di persone; 2. metodi basati su una somministrazione unica.

3 Con metodi per test somministrati due volte allo stesso gruppo di persone si intendono quelle procedure tese a misurare la stabilità nel tempo dei punteggi. Tali metodi sono: Test-retest Forme parallele Questi metodi usano come misura dell attendibilità il coefficiente di correlazione di Pearson. cov( X ; Y ) = var( X ) var( Y ) Dove il numeratore rappresenta la media aritmetica del prodotto degli scarti di X e Y. Il denominatore è la radice del prodotto delle varianze. Il valore del coefficiente di Pearson varia tra -1 e 1 restituisce il grado di correlazione lineare tra le variabili X e Y. Più si avvicina a 1 più le variabili sono correlate positivamente (e quindi all aumentare dei valori della prima variabile corrisponde un aumento dei valori della seconda); se tende a -1 sono correlate negativamente (all aumentare dei valori della prima variabile corrisponde una di munizione dei valori della seconda); se tende allo 0 le variabili non sono linearmente correlate. In termini di affidabilità individua la porzione di varianza nei punteggi osservati che va attribuita ai punteggi reali. Passando alla sua formulazione in termini percentuali, un buon valore di correlazione, e quindi di affidabilità del questionario, si aggira intorno all 80%. Parlando di metodi basati su una somministrazione unica si fa riferimento a procedure tese a valutare la coerenza interna tra gi item di un test. Tali metodi sono: Coefficiente di affidabilità split-half Alpha di Cronbach La formula di Kuder-Richardson Metodi che richiedono due somministrazioni Test-retest Una possibile definizione di attendibilità è la capacità di uno strumento applicato a un fenomeno di produrre sempre gli stessi risultati e quindi è la stabilità dei risultati nel tempo. Gli indici che misurano tale tipo di affidabilità sono detti coefficienti di stabilità e possono essere calcolati su questionari somministrati due volte a uno stesso gruppo di individui in un determinato intervallo di tempo. I coefficienti di stabilità non sono altro che coefficienti di correlazioni di Pearson calcolati su due insiemi di risultati ottenuti dalle due somministrazioni. Poniamo X= prima somministrazione e Y= seconda somministrazione

4 cov( X ; Y ) = rappresenta la correlazione lineare tra la prima e la seconda rilevazione. var( X ) var( Y ) Un buon valore di affidabilità si registra per un valore del coefficiente pari all 80%. Il metodo del test-retest è utile quando le grandezze oggetto del test non sono suscettibili nel tempo, come per esempio caratteristiche della personalità, in modo da compensare l errore dovuto al gap temporale della somministrazione che rappresenta uno dei limiti più significativi di questo strumento. Forme parallele Questo metodo consiste nell elaborare forme alternative di uno stesso test che devono essere il più possibile simili in termini di contenuto e modalità di risposta. Il primo test si somministra a un primo gruppo di individui; dopo breve tempo allo stesso gruppo si somministra la seconda forma del test. A questo punto si calcola un indice di equivalenza, sempre attraverso il coefficiente di correlazione di Pearson, tra i due gruppi di risposte. Poniamo X= somministrazione del primo test e Y= somministrazione del test alternativo cov( X ; Y ) = rappresenta la correlazione lineare tra le risposte date nella prima e nella var( X ) var( Y ) seconda versione del questionario. Il vantaggio rispetto al precedente metodo è di poter avere delle rilevazioni vicine nel tempo e quindi di poter avere una valutazione in termini brevi. Tuttavia alcuni soggetti potrebbero trovare più comprensibile una delle due forme del test e, conseguentemente, la rilevazioni potrebbe essere affetta da errori dovuta alla mancanza di omogeneità. Infine oltre ai costi di una doppia somministrazione a questo metodo si aggiungono i costi di una seconda elaborazione della forma del questionario, per cui lo strumento risulta piuttosto dispendioso. Metodi basati su una somministrazione unica Questi metodi sono utili quando per motivazioni strategiche, economiche o di tempo si decide di effettuare una singola somministrazione del test. La valutazione dell attendibilità del questionario avviene misurando dei coefficienti di coerenza interna degli item, ossia il grado di correlazione ra tutti gli item d una scala. Coefficiente di affidabilità split-half

5 In questo caso il questionario viene diviso in due parti comparabili somministrate una sola volta a un gruppo di individui. Anche in questo caso si procede con il calcolo del coefficiente di correlazione, ma per stimare l affidabilità dell intero test, si ricorre all uso della formula di Spearman-Brown che permette di prevedere la misura del coefficiente di fedeltà del test intero e, più in generale, di prevedere l affidabilità di un test quando ne viene aumenta la lunghezza. In generale per prevedere l affidabilità di un test quando viene modificato nella lunghezza si usa il seguente coefficiente: n SB = 1 + n 1 ( ) dove: SB è il nuovo coefficiente di affidabilità (e quindi il coefficiente del test nella sua nuova lunghezza) è il coefficiente di Pearson n è il numero delle volte che il questionario ha subito modifiche e si ottiene come rapporto tra il numero degli item nuovi e quelli originali. Poiché calcolare l affidabilità dell intero questionario è equivalente a raddoppiare l affidabilità del questionario splittato il coefficiente di affidabilità split-half sarà: 2 SB = 1 + La formula di Kuder-Richardson Alcune difficoltà operative legate al precedente coefficiente hanno spinto Kuder e Richardson a elaborare una serie di formule alternative, di cui la più nota è la KR20. Tale indice è molto utile per valutare la coerenza di item dicotomici che possono essere giusti o sbagliati e funziona molto bene per item omogenei (che misurano un solo fattore), mentre per item eterogenei (che misurano cioè più caratteristiche) produce risultati meno soddisfacenti del precedente indice. = K ( p q ) KR20 1 dove: K! V X è il coefficiente KR20 KR20 K è il numero degli item del test V x è la varianza dei punteggi dell intero test ( p q) è la somma dei prodotti tra la porzione di soggetti che hanno dato la risposta esatta e la porzione di soggetti che hanno dato la risposta errata. Tale indice è stato sottoposte a molte modifiche ma la più usata e note è l alpha di Cronbach. Alpha di Cronbach

6 A differenza del precedente è un coefficiente molto utile per valutare la coerenza interna di item che prevedono risposte con più alternative e che riguardano la misurazioni di atteggiamenti e opinioni. La formula è la seguente: α = dove k (1 ( k 1) s s 2 x 2 j s j 2 è la varianza di ogni item, s x 2 varianza della scala intera k è il numero degli item. ) Questo coefficiente, quindi, esprime il rapporto tra la somma delle varianze degli item e la varianza totale della scala (cioè la varianza dei punteggi sommati). Per ottenere una buona coerenza interna (e quindi un alpha elevato) è necessario che la varianza dovuta ai singoli item sia piuttosto bassa in rapporto alla varianza della scala. Questo coefficiente è molto utile quando le caratteristiche che si stanno misurando sono dinamiche ossia sono suscettibili a mutazioni nel tempo perché riguardano aspetti variabili a causa di fattori esterni (opinioni o percezioni). Solitamente si tende a interpretare in questo modo i seguenti valori del coefficiente: <0.60 il questionario è inaffidabile non desiderabile il questionario è appena affidabile rispettabile molto affidabile >0.90 considerare la lunghezza della scala e valutare come cambia l affidabilità andando a eliminare alcuni item. Il presente documento è stato elaborato da: M.F. Renzi Professore ordinario Università degli studi Roma Tre L. Cappelli Professore ordinario Università di Cassino G. Mattia Professore a contratto presso l Università degli studi di Roma Tre P. Vicard Professore associato all Università degli studi di Roma Tre R. Merli Ricercatore all l Università degli studi di Roma Tre R. Guglielmetti Dottoranda all Università Sapienza di Roma F. Musella Dottoranda all Università degli studi di Roma Tre

7