La validità. La validità

Transcript

1 1. Validità interna 2. Validità di costrutto 3. Validità esterna 4. Validità statistica La validità La validità La validità di una ricerca ci permette di valutare se quello che è stato trovato nella ricerca rispecchia effettivamente il fenomeno studiato, oppure dipende da variabili di disturbo; la validità di una ricerca ci dice se i risultati aggiungono qualcosa alla teoria di riferimento e consentono un utile modello interpretativo; la validità di una ricerca ci dice se le deduzioni tratte dai dati sono estensibili ad altri contesti; infine ci dice se la relazione trovata tra le variabili dipende dalla loro reciproca influenza, oppure se dipende dal caso. Con validità della ricerca intendiamo la verità o l esattezza delle cunclusioni a cui il ricercatore è giunto. Abbiamo quattro tipi di «validità» per progettare e valutare una ricerca: 1.Validità interna 2.Validità di costrutto 3.Validità esterna 4.Validità statistica 1

2 La validità interna Questo tipo di validità di una ricerca si riferisce alla relazione tra la variabile indipendente e quella dipendente: vi è validità interna quando la relazione tra queste due variabili è di tipo causale, cioè quando si può provare che le modifiche apportate alla variabile indipendente causino quelle rilevate nella variabile dipendente. Un esperimento o una ricerca hanno validità interna se vi sono ragioni valide per ritenere che una relazione di causa ed effetto esiste realmente fra la variabile indipendente e quella dipendente. Abbiamo vari fattori che possono minacciare la validità interna che possono dipendere da errori dovuti allo sperimentatore o al soggetto preso in esame o da variabili di confusione. 1. Variabili di confusione Le variabili di confusione sono variabili che possono alterare la relazione tra le variabili sperimentali. Queste variabili di confusione o di disturbo, per esempio sono: eventi esterni, la storia, la «maturazione», l effetto delle prove, la strumentazione, la regressione verso la media, la selezione e la mortalità. Gli eventi esterni sono fatti non previsti nella situazione di ricerca, come per esempio un black-out durante l esecuzione di una prova, oppure un rumore forte all esterno della stanza; in generale sono stimoli disturbanti che alterano la prestazione di alcuni soggetti rispetto ad altri. Ovviamente è impossibile evitare del tutto la presenza di questi eventi disturbanti durante la ricerca. E preferibile eliminare dalla ricerca il soggetto con la cui prestazione ha interferito un evento esterno e, qualora sia possibile, sostituirlo con un altro. 2

3 Con il concetto di storia ci si riferisce a qualsiasi evento che interferisce durante un esperimento che prevede un andamento longitudinale, sovrapponendosi all effetto della variabile indipendente. Per scongiurare questa minaccia, quando si prevede l impossibilità di mantenere costanti le condizioni per tutta la durata della ricerca occorrerebbe condurre la ricerca in tempi brevi, oppure accorciare gli intervalli di tempo tra le prove in modo da ridurre la possibilità che si verifichi un evento improvviso. I processi di «maturazione», definiti anche evolutivi, si riferisco ai cambiamenti sistematici, biologici o psicologici che avvengono con il passare del tempo. Gli effetti dei processi di maturazione si verificano soprattutto nei disegni longitudinali. Per tenere sotto controllo tale minaccia occorre, ove sia possibile ed eticamente lecito, avere un gruppo di controllo sul quale si effettuano misurazioni ripetute delle variabili oggetto di ricerca parallelamente al gruppo sperimentale. L effetto delle prove si riferisce al fatto che la partecipazione stessa all esperimento può influenzare le successive prestazioni, a causa dell apprendimento. Questa minaccia si presenta soprattutto nei disegni che hanno un pre-test. Dal momento che i soggetti svolgono il pre-test, un eventuale miglioramento potrebbe non dipendere solo dal trattamento, ma dal fatto che compilando il pre-test i soggetti abbiano acquisito più praticità nello svolgere l esercizio. Per eliminare tale minaccia, se si è assicurata in altro modo l equivalenza dei gruppi è possibile eliminare il pre-test, oppure far effettuare un pre-test con prove di tipo diverso (ma equivalenti) rispetto a quelle che saranno utilizzate al post-test. 3

4 Gli errori dovuti alla strumentazione fanno riferimento al fatto che lo strumento prescelto può non essere adatto a rilevare le variabili che si stanno studiando, oppure non è tarato bene, oppure subisce delle fluttuazioni momentanee. Gli errori dovuti alla strumentazione possono anche derivare dall inserimento dei dati nella banca dati. Per evitare di usare uno strumento sbagliato è bene fare un attenta analisi della letteratura esistente, mentre per ridurre le fluttuazioni momentanee, è necessario mantenere il più possibile costante la situazione sperimentale. L effetto della regressione verso la media si riferisce al fatto che, nelle prove ripetute sugli stessi soggetti e sulla stessa variabile, i punteggi estremi tendono a convergere verso la media. Questa minaccia può essere scongiurata se tutti i soggetti hanno analoga possibilità di incremento nella ripetizione delle prova; oppure potrà essere controllata rapportando, mediante appropriate statistiche, la differenza pre-post al livello iniziale di ciascun soggetto. Gli effetti della selezione riguardano sia il modo in cui si effettua il campionamento, sia l assegnazione dei soggetti alle condizioni sperimentali. Per scongiurare tale minaccia, bisogna tenere presenti le regole del campionamento e dell assegnazione dei soggetti ai gruppi. L effetto della mortalità (nel senso di perdita/abbandono durante la ricerca) si riferisce al fatto che alcuni soggetti dopo essere stati sottoposti alla prima prova possono ritirarsi o comunque venir meno al campione della ricerca. Non esiste alcuna strategia efficace per evitare che i soggetti abbandonino la ricerca, tranne che cercare di effettuare le varie prove nell arco di tempo più breve possibile. 4

5 2. Gli errori dovuti al soggetto I soggetti delle nostre ricerche sono degli esseri umani, sono per loro stessa natura variabili e subiscono l influenza di molti fattori. Non abbiamo quasi mai dei soggetti «obiettivi», cioè capaci di lasciare fuori dalla situazione di ricerca le loro tendenze, predisposizioni, ecc. Gli errori dovuti al soggetto sono: l effetto Hawthorne, l acquiescenza, la desiderabilità sociale, le caratteristiche di richiesta e le conoscenze del soggetto. L effetto Hawthorne (1927) si riferisce ai risultati di una ricerca condotta dalla Harvard Business School di Chicago negli stabilimenti di un azienda ad Hawthorne nell Illinois, la Western Electric. L effetto Hawthorne si riferisce al fatto che il soggetto della ricerca si rende conto (più o meno coscientemente) di essere oggetto di osservazione e questo modifica il suo comportamento. Per eliminare questo tipo di effetto è possibile fare in modo che il soggetto non sappia che sta partecipando alla ricerca. Metodo del singolo cieco, che consiste nel nascondere ai soggetti non solo lo scopo generale della ricerca ma anche la condizione sperimentale a cui sono stati assegnati. 5

6 L acquiescenza è la tendenza a dare una risposta piuttosto che un altra non in base al contenuto dell item presentato, ma in base a contingenze e a predisposizioni particolari. Essa dipende dal fatto che i soggetti, in particolar modo quelle meno istruite, tendono a dichiararsi con più frequenza d accordo con gli item posti dal ricercatore, questo perché o non capiscono bene il contenuto delle affermazioni o perché non se la sentono di contraddire le affermazioni proposte dello sperimentatore, uno che su quell argomento ne sa più di loro. La desiderabilità sociale è strettamente legata all acquiescenza e si riferisce alla più generale tendenza di alcuni soggetti a rispondere nel senso socialmente approvato, a prescindere del fatto che la risposta sia congruente con quanto effettivamente pensano. Per ridurre questa minaccia è necessario garantire l anonimato delle risposte, reale o percepito come tale dai soggetti. Le caratteristiche della richiesta sono una serie di indizi, presenti nella situazione di ricerca, che spingono il soggetto a dare una risposta piuttosto che un altra. Per limitare questo effetto è necessario condurre la ricerca in un ambiente neutro, uguale per tutti i soggetti e in cui tutti i possibili stimoli interferenti siano eliminati. Le conoscenze del soggetto influenzano i risultati della ricerca perché possono produrre risposte che vanno in direzione dell obbiettivo della ricerca, o, al contrario, possono spingere il soggetto a non collaborare o a essere ostile. Si può trattare di conoscenze o competenze relative alle procedure o al contenuto della particolare ricerca che si sta svolgendo. Per emarginare questo effetto si può: dare delle istruzioni al soggetto che lo spingano ad evitare di fare inferenze e rassicurarlo che alla fine della ricerca sarà informato di tutto; somministrare un questionario per indagare le competenze pregresse che potrebbero influire sulla prestazione. E utile invitare i soggetti alla riservatezza sulla ricerca. 6

7 3. Gli errori dovuti allo sperimentatore Gli errori dovuti allo sperimentatore minacciano la validità interna di una ricerca. Questi si possono dividere in: caratteristiche fisiche e di personalità dello sperimentatore, aspettative ed errori sistematici che egli può compiere nell interazione con i soggetti. Le caratteristiche fisiche dello sperimentatore, come l età, il sesso o l appartenenza etnica, possono influenzare, anche se solo minimamente, i risultati della ricerca. Nei casi in cui si prevede un effetto di interferenza di queste variabili, è necessario casualizzare l intervento di più ricercatori rispetto alla loro condizione di razza o di genere. Per quanto riguarda le caratteristiche di personalità del ricercatore, quella che maggiormente può influenzare i risultati di una ricerca è l esperienza. Anche in questo caso è necessario casualizzare l intervento di più ricercatori con diversi livelli di esperienza Le aspettative dello sperimentatore (effetto Rosenthal) influenzano, senza volerlo, il comportamento dei soggetti, per cui se egli si aspetta un certo risultato, finisce per ottenerlo realmente. L effetto,cheprendeilnomedarosenthalchelohastudiatoalungo, non riguarda solo i soggetti umani ma si estende anche agli studi con animali. Per ridurre l effetto delle aspettative del ricercatore è possibile utilizzare la procedura del doppio cieco, che consiste nel nascondere sia al soggetto sperimentale sia allo sperimentatore le ipotesi della ricerca e la condizione sperimentale a cui il soggetto sta partecipando. Gli errori sistematici compiuti dallo sperimentatore quando interagisce con i soggetti riguardano il fatto che il ricercatore può involontariamente comunicare ai soggetti come rispondere, con il sorriso, con lo sguardo, con la postura, ecc. Per limitare questi errori, bisogna ridurre al minimo le interazioni tra lo sperimentatore e i soggetti, automatizzando le istruzioni e la raccolta dei dati. 7

8 La validità di costrutto La validità di costrutto si riferisce alla corrispondenza tra il piano dellaricercaelateoriachestaallabasedellaricerca. Una ricerca è valida se si possono ragionevolmente escludere spiegazioni alternative dei dati rispetto alla teoria di riferimento. Perché ciò sia possibile è necessario che il riferimento teorico sia chiaro ed univoco. Tra le minacce alla validità di costrutto, la più importante è la mancanza di una dettagliata analisi a livello concettuale dei costrutti, consistente nel non identificare chiaramente il fenomeno che si vuole studiare e i suoi aspetti più importanti. Un altra minaccia alla validità di costrutto riguarda l inadeguata definizione operazionale dei costrutti teorici. I costrutti teorici, per essere analizzati, devono essere operazionalizzati, ovvero devono essere tradotti in operazioni concrete. Nel fare questo è possibile commettere degli errori. Sbagliando nell operazionalizzare una variabile si rischia di non essere certi di quale sia la variabile che stiamo rilevando. Minacce alla validità di costrutto Un ulteriore minaccia alla validità di costrutto è costituita dall ambiguità delle variabili indipendenti, che si riferisce al fatto che la variabile indipendente può non essere quella ipotizzata dal ricercatore. Ogni soggetto della ricerca può avere delle proprie idee su quanto ci si aspetta da lui e questo può interferire con le variabili indipendenti. Ci sono vari metodi per ridurre tali minacce: il primo consiste nel definire chiaramente il costrutto astratto che si vuole analizzare; il secondo consiste nella verifica delle correlazioni tra i dati delle variabili che stiamo studiando e le variabili concettualmente simili; un terzo metodo è rappresentato dal controllo della manipolazione (manipulation check) che consiste nel verificare se la manipolazione sperimentale è effettivamente rappresentativa del costrutto ipotizzato. 8

9 La validità esterna La validità esterna di una ricerca fa riferimento alla possibilità di generalizzare, cioè di estendere le conclusioni tratte dalla ricerca empirica ad ambiti più ampi rispetto a quello in cui la ricerca è stata compiuta. Un primo criterio di generalizzazione considerato a proposito di validità esterna riguarda la possibilità di estendere i risultati dal campione alla popolazione. Un secondo criterio di generalizzazione riguarda la possibilità di estendere i risultati, ottenuti all interno di un unica ricerca, a condizioni che non sono sovrapponibili a quelle in cui la ricerca è stata condotta (altri soggetti, altro luogo, ecc.). Un terzo criterio di generalizzazione riguarda la stabilità temporale dei risultati, ovvero il fatto che i risultati tratti da una ricerca rimangono immutati anche in momenti diversi da quello della ricerca. Minacce alla validità esterna I problemi di generalizzazione riguardano anche gli strumenti utilizzati. Anche le statistiche usate influenzano la possibilità di trarre conclusioni di ordine generale: se si usa come criterio quello probabilistico, la numerosità del campione aumenta la possibilità di ottenere risultati significativi (ciò che è definito potenza dell esperimento), mentre un numero ridotto di osservazioni la abbassa. Una delle principali minacce alla validità esterna riguarda la inadeguatezza del campione utilizzato nella ricerca e del modo di reperirlo. Un altra fonte di minaccia deriva dalle variazioni stagionali (sono cambiamenti che si verificano nella popolazione a intervalli regolari) e dalle variazioni cicliche (riguardano l organismo dei soggetti, come il ritmo cardiaco, la temperatura corporea, ecc.) 9

10 Minacce alla validità esterna Possono minacciare la validità esterna anche le variazioni personologiche, cioè il cambiamento di alcune caratteristiche individuali (maturazione ed effetto della storia) Per ridurre le minacce alla validità esterna, oltre ad avere un buon campione, esistono altri accorgimenti. E preferibile condurre la ricerca in situazioni non artefatte; è meglio usare misure non troppo «esplicite» nella rilevazione dei dati, oppure raccogliere i dati senza che i soggetti si rendano conto che stanno partecipando ad un esperimento. La validità esterna - validità ecologica - La validità ecologica è un particolare tipo di validità esterna che si riferisce alla corrispondenza tra le condizioni dell esperimento, o della verifica empirica, elarealtàcui si fa riferimento e alla quale i risultati ottenuti dovrebbero essere estesi. La validità ecologica rappresenta lo studio di un fenomeno nel contesto reale, senza la scomposizione artificiale delle variabili. La validità ecologica e la validità interna sono inversamente correlate: la situazione della ricerca diventa tanto più artificiale e lontana dalla realtà quanto più la sperimentazione prevede un rigoroso controllo delle variabili. 10

11 La validità statistica La validità statistica ha lo scopo di verificare se la relazione trovata tra le variabili sperimentali è o meno di tipo causale (causa-effetto), ovvero se l effetto è significativamente diverso da quello che si sarebbe ottenuto per caso. La validità statistica si occupa di controllare la variabilità dovuta al caso, tramite il calcolo delle probabilità e dell inferenza statistica. Un primo tipo di minaccia alla validità statistica deriva dal «fishing», letteralmente «andare a pesca», che si verifica quando si effettuano correlazioni tra le variabili senza avere precise ipotesi circa le relazioni tra esse. Un secondo tipo di minaccia alla validità statistica deriva dal fatto di avere un campione troppo piccolo, per cui il test statistico applicato non rileva una relazione significativa La validità statistica Altri fattori che diminuiscono la validità statistica possono dipendere dagli strumenti, poco affidabili nel rilevare le variabili; dalla manipolazione della variabile indipendente, che può non essere standardizzata; dalla presenza di variabili di confusione che aumentano la variabilità di errore la quale a sua volta influisce sul test statistico usato. Per aumentare la validità statistica possiamo: ridurre il rischio di commettere l errore di 1 tipo (da p<0.05 a p<0.01); aumentare l intervallo tra i valori della variabile indipendente; ridurre l errore casuale utilizzando appropriate tecniche di campionamento e assegnazione dei soggetti alle condizioni sperimentali, e raccogliendo i dati con strumenti attendibili e a loro volta poco soggetti ad errore di misurazione. 11

12 Hans l intelligente Siamo tra la fine 1800 e gli inizi del Iprotagonisti: -il barone Von Osten -il cavallo Hans (l intelligente) -la Hans Commission -lo psicologo Pfungst 12