8. Dieci domande per giudicare l affidabilità di un sondaggio

Transcript

1 8. Dieci domande per giudicare l affidabilità di un sondaggio In conclusione, qualunque sia il giudizio che si può esprimere in merito ai sondaggi d opinione, resta il fatto che essi sono difficilmente sostituibili come strumento di conoscenza quantitativa delle opinioni e degli atteggiamenti di una popolazione. Potremmo dire, insomma, che il sondaggio è sì uno strumento difettoso, ma che è anche il più soddisfacente di cui disponiamo. Tuttavia, un sondaggio condotto male può rendere un pessimo servizio alle nostre ambizioni conoscitive e, se condotto in malafede, può essere nocivo alla salute stessa della vita democratica. Ecco dunque un piccolo, modesto «decalogo» che vorrebbe tentare di ricordare al lettore quali sono gli aspetti essenziali cui deve fare attenzione nella valutazione di un sondaggio, e ricapitolargli alcuni dei principali indicatori che fanno la differenza fra un sondaggio fatto bene ed uno fatto male. Naturalmente, ciascuno dei punti seguenti è stato più ampiamente trattato nel corso del libro, e si propone quindi come una sorta di memorandum finale. 1. Chi ha fatto il sondaggio e per chi? L affidabilità di un sondaggio dipende innanzitutto dalla serietà dell istituto che lo conduce. Un indizio in questo senso è il fatto che l istituto sia riconosciuto dalle apposite associazioni nazionali o internazionali. In alternativa, il fatto che sia disponibile a fornire ulteriori precisazioni sulla metodologia del sondaggio a chiunque ne faccia richiesta. Per quanto riguarda i commit- 120

2 tenti, è consigliabile una certa prudenza quando questi siano direttamente parte in causa nel tema del sondaggio. Un caso tipico al riguardo è quello dei sondaggi politici fatti eseguire dai partiti durante la campagna elettorale, talvolta con scopi più propagandistici che conoscitivi. 2. Quando è stato fatto il sondaggio? Un sondaggio è un «istantanea» dello stato dell opinione pubblica in un momento dato. Il «tempo» del sondaggio riveste dunque un importanza cruciale in una corretta lettura dei risultati, poiché gli orientamenti pubblici (per esempio, nei confronti dell operato del primo ministro) possono cambiare rapidamente, specie in seguito a uno shock esterno (una crisi internazionale, un crollo in borsa, un inchiesta giudiziaria, una gaffe politica o mediatica ). Per questa ragione, sarebbe auspicabile che anche i media italiani come quelli di altri paesi precisassero sempre la data in cui il sondaggio è stato eseguito. 3. Come sono state scelte le persone da intervistare? Questa domanda ci serve soprattutto a distinguere i sondaggi «scientifici» effettuati su campioni rappresentativi di una popolazione da quelli che abbiamo definito «pseudo-sondaggi», in quanto basati su campioni autoselezionati e perciò incapaci di rappresentare una popolazione più ampia di quella dei rispondenti stessi. Solo i primi, infatti, permettono di estendere i risultati dal campione alla popolazione statistica di riferimento, cioè di proiettare sull intero «universo» da cui gli intervistati sono stati estratti le risposte che questi ultimi hanno fornito. 4. Fra chi sono state scelte queste persone? Oltre alla tecnica di campionamento, è fondamentale conoscere l oggetto del campionamento stesso, cioè la popolazione statistica (o, appunto, l «universo») campionata. Se la popolazione da cui le persone intervistate sono state estratte è, per esempio, quella degli elettori di un area politica o quella degli aderenti a 121

3 una determinata categoria professionale, a queste stesse precise popolazioni devono essere riferiti i risultati. Sarebbe un sondaggio assai poco leale, insomma, quello che estendesse tali risultati agli «elettori» o ai «lavoratori» in generale. 5. Quante sono queste persone? Un buon sondaggio può essere eseguito anche con mille o meno intervistati, e non è quindi la taglia del campione in sé a suggerirci l affidabilità o meno di un sondaggio. Le dimensioni del campione ci servono piuttosto per conoscere il «margine d errore» del sondaggio, cioè il numero massimo di punti percentuali che i suoi risultati possono avere in più o in meno rispetto al valore reale nella popolazione. Putroppo, in Italia il numero degli intervistati è pubblicato solo saltuariamente, e il margine d errore ancor più di rado. Anche qui, la diffusione di queste informazioni insieme alla presentazione dei risultati di un sondaggio costituirebbe un indice di serietà e di correttezza per i media che vi provvedessero. 6. E quante sono quelle che non è stato possibile intervistare? Informazione diffusa raramente dagli istituti stessi, quella sul tasso di «non-risposte» può essere tuttavia importante per stabilire la bontà o meno di un sondaggio, quantomeno di un sondaggio eseguito su un campione probabilistico. In certi casi, infatti, si è visto come coloro che non accettano di essere intervistati o che sono irreperibili al momento del contatto presentino caratteristiche complessivamente differenti da quelle del resto del campione. Quando il tasso di non-risposte è troppo elevato, pertanto, le risposte fornite dal campione residuo possono risultare scarsamente rappresentative dell universo studiato, e dare così luogo a risultati inattendibili. Si ricorderà, tuttavia, che varie contromisure sono adottate dagli istituti di ricerca per neutralizzare i possibili effetti deleteri delle non-risposte. Fra queste, le principali sono il metodo della lista di riserva e la tecnica della ponderazione. 122

4 7. Come sono state effettuate le interviste? I principali metodi di raccolta delle informazioni sono le interviste telefoniche, le interviste faccia a faccia e i questionari autosomministrati (postali o telematici). Fra gli altri metodi, le interviste «all angolo della strada» o la pila di questionari lasciati a disposizione dei passanti hanno spesso una funzione pubblicitaria, e in ogni caso servono solo a conoscere le opinioni di quelle stesse persone che hanno risposto; i questionari ritagliati e rispediti a riviste e giornali, le domande televisive cui rispondere per telefono e quelle dei siti web da «votare» via internet danno invece luogo a degli «pseudo-sondaggi» del tutto legittimi, ma con una funzione di intrattenimento più che conoscitiva. 8. Come sono state formulate le domande? Un sondaggio d opinione non fornisce mai dei dati esaustivi e incontrovertibili su un argomento, ma unicamente dei risultati che devono essere ricondotti alla domanda specifica che era stata posta. Il modo in cui una domanda è formulata, infatti, ha un impatto considerevole sulle risposte degli intervistati. Se una domanda presenta parole troppo difficili, se appare «sbilanciata» in un senso, se è contraddittoria, se sembra «suggerire» la risposta o se utilizza termini carichi di forti significati positivi o negativi, in tutti questi casi i risultati finiranno per risentirne. Anche quando una domanda d opinione è apparentemente formulata in modo corretto, resta il fatto che la scelta della parola chiave (la «madre» o la «mamma») all interno della domanda stessa può influenzare pesantemente la risposta. Data la forte dipendenza dei risultati «assoluti» di un sondaggio dalla formulazione della domanda, dunque, il metodo più utile per leggere un sondaggio resta quello del confronto tra i «sottogruppi» di una popolazione, oppure quello del confronto con altri sondaggi eseguiti in precedenza a partire dalle stesse, identiche domande. 9. In che ordine sono state poste? Questa è un altra delle informazioni che è particolarmente 123

5 raro avere a disposizione. Tuttavia, sarebbe sempre opportuno poter dare uno sguardo all intero questionario, perché talvolta le percentuali un po «anomale» attribuite a una risposta si spiegano con un «effetto contesto» dipendente dalle domande precedenti. Altre volte, le risposte possono essere influenzate dall ordine degli items, vale a dire dalle alternative fra cui l intervistato è invitato a scegliere. Su quest ultimo punto, una necessaria precauzione da parte degli istituti è quella di far ruotare a ogni intervista l ordine degli items stessi. 10. Ha senso fare un sondaggio su un tema del genere? Questa domanda di fondo solleva il problema classico delle «non-opinioni», ossia delle risposte fornite un po a casaccio dagli intervistati a proposito dei temi più lontani dai loro interessi personali e dalle loro sfere di competenza. Il rischio di ottenere risultati privi di senso è in questi casi elevato, proprio perché gli intervistati tendono a fornire una risposta anche quando non dispongano di opinioni ben precise in merito all argomento della domanda. Un sondaggio affidabile, dunque, è anche un sondaggio che evita di indagare su temi ignoti alla maggior parte della gente, e che rinuncia a porre tutte quelle domande destinate a raccogliere soltanto un artificiosa serie di «non-opinioni». 124