C:\fabbris\annali.doc LE OPPORTUNITÁ OFFERTE DALLE NUOVE TECNOLOGIE DI INDAGINE NELLE RILEVAZIONI LONGITUDINALI (*)

Transcript

1 C:\fabbris\annali.doc LE OPPORTUNITÁ OFFERTE DALLE NUOVE TECNOLOGIE DI INDAGINE NELLE RILEVAZIONI LONGITUDINALI (*) Claudio Quintano e A. A. Romano Istituto di Statistica e Matematica, Istituto Universitario Navale via De Gasperi, Napoli, quintano@nava3.uninav.it 1 - INTRODUZIONE È da lungo tempo che i ricercatori impegnati sul versante dell'acquisizione dei dati per fini statistici si interrogano sulle possibilità offerte dalle nuove tecnologie dell'informatica e delle telecomunicazioni per ottenere informazioni di migliore qualità, in tempi notevolmente ridotti e con un costo più contenuto rispetto all adozione delle metodologie classiche dell'intervista diretta, faccia a faccia, o per via postale. Alcune tecniche definite innovative solo qualche anno fa oggi sono già nel novero di quelle classiche senza che, peraltro, si possa ritenere completamente conclusa la fase della loro applicazione sperimentale nei più svariati campi di interesse statistico. È difficile, inoltre, anche tentare una efficace sintesi tra le tecnologie resesi disponibili, gli ambiti delle possibili applicazioni, i numerosi progetti in avanzata fase di definizione e le problematiche connesse all'uso delle tecnologie stesse. Il fatto è che lo sviluppo e la diffusione delle infrastrutture telematiche è un processo che appare ancora ben lungi dalla fase di stabilizzazione, per non parlare delle novità in campo normativo (leggi tutela della privacy) che, insieme, rendono la situazione attuale estremamente fluida e diversificata in assoluto e, soprattutto se si tiene conto dell impatto tanto nei settori di attività economica tanto nei territori. Volendo rimanere nell'ambito di interesse della produzione dei dati economici, dove chi scrive ha maturato una esperienza nel corso degli anni sul versante del controllo degli errori (Quintano et al., 1987; Quintano e Taccini, 1989; Quintano, 1991; Quintano e Taccini, 1996), vi sono da rilevare, per esempio, specificità sostanziali tra le indagini che riguardano il versante della domanda (famiglie) e quelle che quelle che fanno riferimento (*) Il lavoro è svolto nell'ambito della ricerca MURST 40% dal titolo "Indagine sulla disponibilità ad adottare nuove tecniche di data capturing per migliorare la qualità dei dati (tempestività) nelle rilevazioni economiche da parte delle Imprese" (Unità Operativa Locale diretta dal prof. Claudio Quintano). Essa si svolge all'interno del Programma Nazionale di ricerca dal titolo "Strategie e tecniche di formazione di dati microeconomici per l'analisi dei comportamenti delle famiglie e delle Imprese". Coordinatore Nazionale prof. Carlo Filippucci. Il presente lavoro è frutto dell'impegno congiunto degli Autori, tuttavia l'introduzione e le conclusioni sono da attribuire al prof. Quintano, la restante parte al dott. Romano. 1

2 all'offerta produttiva (imprese). Nei due ambiti applicativi, infatti, occorre fare i conti con l'impossibilità di ricorrere agli stessi mezzi di comunicazione per la conduzione dell'intervista e ciò a causa dell'obiettiva differenziazione che si rileva in merito alle possibilità di accesso ai sistemi di trasmissione dell'informazione. Allo stato attuale dei fatti sembrerebbe, ed il condizionale è d'obbligo, che le possibilità di sviluppo reale delle tecnologie innovative di raccolta dei dati si diversifichino all'interno dei due suddetti ambiti applicativi secondo lo schema riassuntivo seguente: per le famiglie: miglioramento delle tecniche CATI (Computer Assisted Telephone Interviewing); valutazione delle opportunità di impiego del TDE (Touchtone Data Entry); prosecuzione delle sperimentazioni (Filippucci, 1998), già in fase avanzata, delle tecnologie CAPI (Computer Assisted Personal Interviewing); valutazione delle possibilità offerte dal VRE (Voice Recognition Entry) e dal Televideo interattivo. per le imprese: valutazione dei primi risultati dell'applicazione delle tecniche relative al questionario auto amministrato, PDE/CSAQ (Prepared Data Entry) che coinvolge, in parte, alcune tecniche dell'ems (Electronic Mail Survey); valutazione delle opportunità offerte dalle tecniche legate all'uso di Internet (Web Interviewing); studio di fattibilità per l'applicazione delle tecnologie EDI (Electronic Data Interchange), che rappresentano l'unica possibilità di superamento totale dell'intervista e, di conseguenza, sono quelle per le quali è più proprio parlare, in senso stretto, di cattura dei dati. L'aridità della lista e la serie di sigle e di acronimi appena fatta, nasconde la ricchezza di possibilità offerte dalle metodologie che possono realmente segnare un momento di svolta dal punto di vista del generale miglioramento della qualità dei dati. Infatti, escludendo forse l'aspetto dell'adeguatezza, che dipende più strettamente dalla fase di prima progettazione dell'indagine, tanto l'accuratezza quanto la tempestività dell'informazione statistica possono beneficiare in maniera rilevante dell'innovazione tecnologica sia nella fase di raccolta vera e propria dei dati, sia in quella legata al loro trasferimento su supporto informatico per le successive elaborazioni (data entry). Vi è da rilevare che queste due fasi si posizionano all'inizio del processo produttivo, laddove gli errori non campionari fanno sentire maggiormente il loro effetto sulla correttezza delle stime finali. L'importanza dei possibili vantaggi derivanti dal ricorso alle tecniche innovative non può, però, nascondere l'altra faccia della medaglia: qualsiasi sia l'ambito di applicazione (famiglie o imprese) e la metodologia utilizzata, occorre fare i conti con una 2

3 serie di problemi che determinano il limite alla loro utilizzazione ed al loro sviluppo. Il primo e più evidente di questi problemi è quello relativo all'autoselezione delle unità statistiche determinata dal ricorso a strumenti e competenze non ancora sufficientemente diffusi e, quindi, alla inevitabile distorsione nelle stime dei parametri nella popolazione. In fase transitoria il problema può essere ridotto (ma non evitato) attraverso il ricorso alla cosiddetta multimode collection e cioè alla presenza contemporanea nella stessa indagine di metodologie differenziate di raccolta, ciascuna utilizzata da un sub insieme del campione dei rispondenti. Una scelta di questo tipo, se evita, da un lato, il fenomeno dell'autoselezione permettendo a tutte le unità di collaborare all'indagine, dall'altro pone non poche difficoltà sul versante della definizione dell'error profile dell'indagine stessa che diventa maggiormente complessa a causa dei cammini paralleli che i dati percorrono fino alla costruzione dell'informazione statistica. Nonostante tali difficoltà, è opinione diffusa tra i ricercatori che non sia conveniente (e, forse, nemmeno possibile) rinunciare ai vantaggi così rilevanti offerti dalle tecnologie innovative di raccolta e cattura dei dati in presenza di una evoluzione delle infrastrutture telematiche e di una diffusione sempre più ampia degli strumenti informatici che, insieme, promettono, nel breve periodo, di ridurre in buona parte gli effetti distorsivi di cui si è detto. Rimane sullo sfondo, tuttavia, un tema di grande interesse che, per quanto detto, varrebbe la pena di affrontare con sollecitudine. Esso riguarda il ruolo che il campione casuale semplice e quelli che da esso traggono origine, è chiamato a svolgere nelle future indagini che, presumibilmente, finiranno per essere condotte, tutte o quasi tutte, con tecnologie avanzate. Non è escluso che, rispetto ad oggi, tale ruolo risulti sensibilmente ridimensionato anche se si è ben coscienti che una transizione di tale rilievo, per avere dignità scientifica, deve necessariamente avvenire in un quadro metodologico ben definito a priori che contempli nuove possibilità nelle strategie di inferenza. Per non dire, poi, degli errori non campionari indotti dal ricorso alle nuove tecnologie la cui individuazione e sistematizzazione è ancora in una fase del tutto sperimentale. Poiché il presente lavoro è dedicato alle indagini il cui disegno campionario prevede l'esistenza di una parte panel all'interno delle unità statistiche, si focalizzerà l'attenzione su quelle metodologie di rilevazione che appaiono più promettenti dal punto di vista del miglioramento della qualità dei dati statistici da esse ottenibile. È probabile, infatti, che le nuove tecnologie di raccolta o di cattura dei dati possano, in parte, avere una ricaduta positiva anche sugli aspetti più problematici delle indagini longitudinali, specialmente per quelle a cadenza sub annuale. A questo proposito, vale la pena di ricordare, brevemente, 3

4 almeno due fonti di errori extra campionari che sono specifici delle indagini con parte panel e che si aggiungono al novero degli errori delle inchieste in cross-section (Quintano, Castellano e Romano, 1996): Effetto condizionamento. Questo tipo di effetto è legato alla circostanza che l'intervistato può adeguare la sua risposta attuale a quella data nella precedente occasione d'indagine e ciò allo scopo di accorciare i tempi dell'intervista o di fornire una indicazione che risulti, in qualche modo, compatibile con le indicazioni date in precedenza. È da tenere presente, però, che non sempre e non in tutte le circostanze la conoscenza esatta della valutazione data dall'intervistato di un fenomeno nelle occasioni di indagine precedenti può essere ritenuta pregiudizievole ai fini della qualità del dato attuale. Qualche volta, infatti, la valutazione del dato attuale può essere più precisa se essa è costruita in termini differenziali (o di incremento/decremento) rispetto a quella precedente. Inoltre, se la conoscenza della risposta fornita dall'intervistato nell'occasione di indagine precedente può essere ritenuta ragionevolmente condizionante per l'intervistato stesso, non è detto che essa non possa riuscire utile all'intervistatore per una valutazione on the fly della coerenza e/o della plausibilità delle risposte fornita attualmente, fermo restante che il verificarsi di tali evenienze non può essere sempre trattato come un errore ma piuttosto come un indizio di errore. Non risposta longitudinale. Questo caso si verifica quando una unità statistica non risponde, in tutto o in parte, a domande per le quali ha fornito risposta nelle occasioni di indagine precedente. In particolare, per quanto riguarda la mancata risposta totale, è ben noto che la caduta, nel tempo, del numero di interviste effettuate presso le unità costituenti la parte panel del campione non può essere attribuita esclusivamente al fenomeno dell'attrition ma va invece imputata ad un insieme di motivazioni dalla genesi complessa ed ancora non sufficientemente studiata. La maggiore facilità di gestione del questionario (o dell'intervista) non tradizionale e la possibilità che qualche tecnologia prevede di fornire in anteprima all'intervistato alcuni risultati dell'indagine di suo interesse, possono aiutare a diminuire l'entità del fenomeno della non risposta. Le tecniche innovative prese in considerazione in questo lavoro saranno quindi analizzate dal punto di vista del miglioramento della qualità dei dati piuttosto che da quello della riduzione dei costi dell'indagine che, pure, è un argomento di non secondaria importanza. In particolare, poi, si farà riferimento alle indagini di statistica economica che 4

5 fanno riferimento alle imprese anche se il discorso non perde di una certa generalità ed è comunque valido, a certe condizioni, anche per le rilevazioni che riguardano le famiglie. Infine, ci si soffermerà sui miglioramenti di cui possono usufruire le indagini sia per quel che riguarda la loro connotazione trasversale, sia e soprattutto per quanto riguarda quella longitudinale. 2 - LE TECNICHE DI INDAGINE In questo lavoro si farà esplicito riferimento alle indagini con parte panel per analizzare la possibilità che per esse l'applicazione delle tecnologie innovative di cattura o di rilevazione dei dati possa portare ad un miglioramento della qualità delle informazioni ricavate. Come è noto, la caratteristica comune a tutte le indagini panel è data dal fatto che un certo numero n di unità facenti parte di un campione di numerosità N, con n N, vengono intervistate in almeno due occasioni di indagine successive. Le unità in questione possono essere riconosciute nelle diverse wave dell'indagine attraverso un codice identificativo non duplicabile in modo da rendere possibile l'analisi dinamica del fenomeno sotto osservazione. La generica matrice dei microdati rilevata ad ogni occasione di indagine può essere quindi idealmente suddivisa in due parti: una prima sub matrice T composta dai dati relativi alla parte non panel del campione, di numerosità pari ad N - n, utilizzabile solo per le analisi trasversali statiche, ed una seconda sub matrice P contenente i dati relativi alla parte panel del campione, di numerosità pari ad n, utilizzabile sia per le analisi trasversali che longitudinali. Indicando con k il numero di occasioni per le quali è prevista, nel disegno campionario, la sopravvivenza di un generico panel p, ed indicando con t 0 il riferimento temporale della prima indagine che ha interessato tale panel, al momento di dare inizio alle operazioni della rilevazione al tempo t m, sarà disponibile la serie storica delle matrici P rilevate in precedenza: P t0, P t1,, P tm con m k È da presumere, generalmente, che nel passaggio dal tempo t 0 al tempo t m si assista ad una diminuzione della numerosità delle unità panel e, di conseguenza, del numero di righe delle suddette matrici a causa del già citato fenomeno di caduta delle interviste. In alcuni disegni campionari, inoltre, la parte panel del campione viene reintegrata di volta in volta rendendo corrette le analisi dinamiche solo a cavallo di due 5

6 occasioni successive di indagine. Per gli scopi di questo lavoro, che riguardano solo l'analisi delle metodologie di rilevazione, si riterrà che le matrici P t0, P t1,, P tm siano complete e cioè senza mancate risposte, né parziali né totali 1. Per ciascuna unità inserita nelle matrici P, si riterranno disponibili, quindi, tante serie storiche quante sono le variabili rilevate in ogni occasione di indagine. Per quanto riguarda l'applicazione delle tecniche innovative di rilevazione alle indagini longitudinali occorre ipotizzare che per ognuna di esse sia sempre possibile l'accesso ad un data base contenente tutte le matrici P, dal tempo t 0 al tempo t (m - 1). Alcuni vantaggi, intanto, sono generalmente conseguibili dal ricorso a tutte le metodologie assistite da computer, sia che si tratti di indagini longitudinali, sia che si tratti di quelle solo trasversali. Tra essi sono da ricordare: - Il miglioramento della tempestività nella disponibilità dei risultati dell'indagine. Tale miglioramento si ottiene grazie ad alcune caratteristiche comuni a tutte le tecnologie innovative: i) la drastica (o totale) riduzione dei tempi necessari all'invio ed al reinvio del questionario cartaceo, in quanto quest'ultimo è eliminato del tutto; ii) la soppressione della fase relativa al trasferimento dei dati dal supporto cartaceo a quello magnetico, in quanto i dati raccolti sono immessi direttamente in formato elettronico durante la rilevazione; iii) la riduzione dei tempi necessari ai controlli di primo livello delle risposte fornite (controlli di coerenza), in quanto tali controlli possono essere demandati al software di gestione del questionario e/o dell'intervista. È appena il caso di sottolineare che quanto più le indagini vengono poste in essere a cadenze ravvicinate, come è il caso delle rilevazioni di interesse congiunturale, tanto più il fattore tempestività diventa critico (Quintano e Strassoldo, 1996; Romano A.A., 1996). - Accuratezza delle informazioni rilevate. Il guadagno in accuratezza può essere attribuito alla possibilità offerta dalle procedure informatiche che gestiscono la fase dell'intervista, di individuare e proporre per la correzione di quegli errori dovuti ad incoerenze oppure a scarsa plausibilità delle risposte, già durante la raccolta dei dati. Inoltre, l'eliminazione della fase di cui al punto ii) precedente, elimina gli errori immessi nel ciclo produttivo dell'indagine dagli operatori 1 In caso di mancate risposte parziali è possibile ritenere che esse siano state già precedentemente colmate. Nel caso di cadute di interviste, possono essere considerate solo quelle unità che risultano presenti, contemporaneamente, in tutte le occasioni di indagine, sempre che la loro numerosità possa essere ritenuta statisticamente accettabile per le applicazioni di cui si dirà nel seguito. Questo modo di procedere è valido anche nel caso in cui la parte panel del campione venga reintegrata periodicamente come capita, per esempio, nell'indagine sui bilanci delle famiglie italiane, condotta dalla Banca d'italia. 6

7 addetti al data entry. Infine, non è da trascurare la possibilità di utilizzazione, per certi tipi di tecniche, dei cosiddetti help in linea che, se ben progettati, possono risultare sensibili al contesto, meglio strutturati, più esaustivi e di superiore leggibilità se confrontati alle note esplicative allegate solitamente ai questionari cartacei. - Riduzione dei costi dell'indagine La riduzione dei costi dell'indagine (Baker et al., 1995) è in buona parte dovuta al fatto che le nuove tecniche di rilevazione prevedono (o quasi tutte) la conduzione a distanza dell'intervista (se di intervista si può trattare) e non più presso la sede dell'intervistato e ciò è un evidente motivo di economia. In alcuni casi è prevista addirittura l'eliminazione totale dell'intervista e del rilevatore. Infine, un ulteriore fonte di risparmio è costituita dall'assenza della fase di data entry di cui si è già detto e che spesso è affidata ad organizzazioni esterne all'ente gestore dell'indagine. Sono da prevedere, però, investimenti non trascurabili per l'acquisizione delle apparecchiature elettroniche ed informatiche e per le spese inerenti il contratto e l'uso delle reti telefoniche e telematiche. Per concludere sui vantaggi conseguibili attraverso il ricorso alle tecnologie innovative, vi è da rilevare che per alcune di esse, tipicamente per quelle che prevedono la presenza di un intervistatore a distanza, è possibile costruire dei sistemi supervisori e di monitoraggio non intrusivi per la valutazione della qualità del lavoro dell'intervistatore stesso e della sua produttività. Questo non trascurabile vantaggio permette di avere una "misura" in corso d'opera dell'effetto intervistatore e, quindi, di poter intervenire per le opportune correzioni. In merito alle indagini longitudinali, le ulteriori opportunità offerte dal ricorso allo strumento informatico per la raccolta delle informazioni presso le unità statistiche sono in buona parte riconducibili alla disponibilità delle matrici P precedentemente introdotte. Si procederà a descrivere immediatamente tali opportunità ed in seguito si analizzeranno le possibilità di utilizzazione delle stesse all'interno delle tecnologie scelte. Indichiamo con x ij la risposta fornita dall'intervistato, appartenente all'insieme panel dei campioni, in merito alla variabile i nell'occasione di indagine j. Si prospettano, a seconda della variabile considerata, diversi scenari: Il valore atteso della variabile qualitativa o quantitativa i al tempo j dipende (o è funzione) dai valori assunti da altre variabili nella stessa occasione di indagine j. 7

8 I controlli effettuati sfruttando questa opportunità appartengono al gruppo delle misure di congruità cosiddette "trasversali" nel senso che esse riguardano solo le variabili rilevate nella stessa occasione. Dato che si tratta, in genere, di controlli elementari essi vengono detti anche di primo livello. Un esempio può essere costituito dal reddito familiare (variabile quantitativa) che deve risultare dalla somma dei redditi di tutti i percettori. Un altro caso di incongruenza potrebbe verificarsi nella eventualità in cui un individuo che ha dichiarato di possedere un reddito da lavoro dipendente dichiari, in una successiva sezione del questionario, di essere in cerca di prima occupazione. In questi casi sarebbe opportuno emettere un messaggio di errore (oppure un semplice avviso di probabile incongruenza) per invitare il compilatore a valutare meglio la risposta fornita. il valore atteso della variabile quantitativa i al tempo j è funzione dei valori assunti dalla stessa variabile nei tempi precedenti e/o dal valore assunto da altre variabili k al tempo attuale o ai tempi precedenti. In altre parole, quando ciò accade vuol dire che si è di fronte ad un fenomeno autoregressivo. In questi casi ci si aspetta che il valore di una certa variabile dichiarata dall'intervistato al tempo corrente, assuma un livello compreso tra un limite superiore, α ucl, ed uno inferiore α lcl. Tali limiti possono essere fissati con un determinato livello di significatività α fissato dal ricercatore. Per esempio, un possibile modello può essere considerato il seguente: E(x i,j ) = f(x i,j-1,,x i,j-m, x k,j ) + ε dove ε è la nota componente di errore del tipo white noise e cioè caratterizzata da media nulla e varianza costante. Se il valore rilevato al tempo corrente dovesse eccedere l'intervallo di confidenza prefissato, la procedura di gestione del questionario provvederebbe ad emettere un apposito messaggio di warning. È bene sottolineare ancora una volta che, nelle applicazioni più comuni, il verificarsi di una tale eventualità va considerata solo un indizio di errore e non un errore tout court. Una variabile classica di questo tipo potrebbe essere il consumo aggregato familiare espresso come funzione analitica autoregressiva. In questo caso il ruolo della variabile x k,j è rivestito dal reddito della famiglia al tempo corrente. Qualche volta, invece, il ruolo di x k,j potrebbe essere assunto da una variabile esogena al questionario e nota a livello aggregato, che potrebbe fungere come proxy per x i,j. 8

9 Il valore atteso della variabile i, qualitativa o quantitativa, al tempo j è identico a quello assunto nella/e occasione/i di indagine precedente. In questo caso si può scrivere: E(x i,j ) = x i,j-1 Alcuni esempi di variabili di questo tipo sono il sesso di una persona, la forma giuridica di una impresa, il titolo di proprietà di un immobile, ecc. Ovviamente, non si esclude che tali variabili possano mutare nel tempo ma, in tale caso, sarebbe quanto mai opportuno sollecitare una conferma da parte dell'intervistato. Il valore atteso della variabile i, qualitativa o quantitativa, al tempo j è diverso, superiore o inferiore a quello assunto nella/e occasione/i di indagine precedente. In questo caso si può scrivere: E(x i,j ) x i,j-1 ; E(x i,j ) < x i,j-1 ; E(x i,j ) > x i,j-1 Una variabile per la quale può verificarsi questa eventualità è, per esempio, l'età di un individuo. Comportamenti similari possono essere utilizzati per effettuare alcuni controlli di congruità longitudinale: per esempio, se nell'indagine precedente una data famiglia risultava composta da due componenti coniugati ed in quella in corso risulta formata da un solo componente, l'unico componente attuale dovrà necessariamente risultare vedovo, separato o divorziato. Se ciò non accade, significa che si è in presenza di un errore o che si è verificata una eventualità non prevista. Anche in questo caso sarebbe opportuno sollecitare una conferma da parte dell'intervistato. In tutti i casi sopra descritti, le opportunità di controllo (sia trasversale che longitudinale) permettono sicuramente di migliorare l'accuratezza dei dati rilevati agendo nelle fasi a monte del processo produttivo dell'informazione e cioè sin dal momento della compilazione del questionario. Non va dimenticato, però, che quanto più sono i controlli previsti dalle procedure automatiche tanto più aumenta la probabilità che il compilatore incappi in un errore. In alcuni casi, specialmente in quelli in cui non vi è la presenza del rilevatore, l'emissione ripetuta di messaggi di errore impersonali (e, qualche volta, poco amichevoli) tende ad indurre uno stato di ansia e di frustrazione nel compilatore che 9

10 spesso reagisce interrompendo la collaborazione all'indagine. In altri casi, inoltre, il tempo che intercorre tra l'invio (elettronico) del questionario e l'emissione del messaggio di errore è tale rendere problematica e costosa la collaborazione dell'intervistato. Si intuisce, quindi, che la gestione ottimale dei controlli va ricercata caso per caso a seconda della tecnologia utilizzata. 2.1 La tecnologia CATI La tecnologia CATI (Computer Assisted Telephone Interview) prevede una intervista diretta e, di conseguenza, il ricorso all'intervistatore il quale, in generale, conduce l'intervista stessa da un centro informaticamente attrezzato cui fanno capo le linee telefoniche utilizzate per i collegamenti con gli intervistati. Il sistema di gestione delle code di chiamata e di richiamata è implementato attraverso appositi programmi finalizzati all'ottimizzazione dei tempi. Nella versione classica, sullo schermo del computer dell'intervistatore appaiono le domande da sottoporre all'intervistato ed i campi da riempire con le risposte da lui fornite. Alla fine dell'intervista, i dati rilevati vengono registrati automaticamente sul supporto magnetico del computer dal quale, in una fase successiva, possono essere riversati nel data base definitivo, senza alcun ulteriore intervento degli operatori del data entry. Alcune tecniche derivate dal CATI come il Touchtone Data Entry ed il Voice Recognition Entry, che non prevedono la figura dell'intervistatore, non sono ovviamente utilizzabili nel caso in cui siano implementati controlli trasversali e/o longitudinali di coerenza. Lo schema logico di un sistema di rilevazione CATI è riportato in Fig Per poter implementare le funzioni di controllo trasversale basta modificare il programma di gestione dell'intervista inserendo le opportune routine di calcolo. Se si vogliono prevedere, invece, anche i controlli longitudinali, oltre a modificare il programma di gestione delle interviste, occorre costruire un vero e proprio sistema di accesso alle informazioni registrate, per la stessa unità, nelle occasioni di indagine precedenti. 10

11 Fig Schema di principio di un sistema CATI modificato per la gestione dei controlli longitudinali. È presumibile che il data base che contiene le suddette informazioni non sia fisicamente ubicato nella memoria di massa del computer dell'intervistatore, così come è possibile che risulti utile l'accesso a registri amministrativi esterni 2 ai fini del miglioramento della qualità dei dati rilevati. In ambedue i casi occorrerebbe prevedere anche la gestione dei collegamenti su rete informatica. L'effetto dei controlli di coerenza, sia trasversali che longitudinali, è quello di ridurre la varianza semplice di risposta 3 e la distorsione non campionaria per il fatto che gli errori presunti rilevati in fase di compilazione vengono, in buona parte, sottoposti all'analisi del compilatore e, se del caso, corretti direttamente prima di essere riversati nel data base. 2.2 La tecnologia CAPI 2 Per esempio, alcune informazioni che, tipicamente, sono richieste alle imprese nel corso di una indagine sono già disponibili in alcuni registri amministrativi come il Registro delle Imprese, gestito dalle Camere di Commercio oppure in registri statistici come ASIA, gestito dall'istat. Sebbene l'accesso a tali data base appaia molto problematico nei tempi ridotti richiesti dalla conduzione di una intervista, non si può, di principio, escludere una tale interessante eventualità, specialmente se si tiene conto della prevedibile evoluzione delle tecniche di trasmissione dell'informazione in forma numerica. 3 È appena il caso di ricordare che in alcuni modelli dell'errore (si veda, per esempio, ISTAT, 1989) uno stimatore come la media, relativa ad una variabile di questionario, può essere affetto da un errore medio pari a: mse = vca/n + vsr/n + (n-1)vcr/n + b 2 dove vca/n è la varianza campionaria, vsr/n è la varianza semplice relativa alla risposta in questione, [(n- 1)vcr/n] è la varianza della risposta correlata al rilevatore e b 2 è la distorsione non campionaria. 11

12 Nella tecnologia CAPI (Computer Assisted Personal Interview) l'intervista viene condotta da un rilevatore, faccia a faccia con l'intervistato, così come accade per le interviste tradizionali. La differenza sta nel fatto che il rilevatore stesso, anziché compilare un questionario cartaceo, registra le risposte direttamente su un computer portatile di cui è fornito. Generalmente, a fine giornata i file contenenti i dati raccolti vengono scaricati all'interno di un repository appositamente predisposto presso l'ente gestore dell'indagine. Tutte le considerazioni fatte per il CATI valgono anche per questa tecnica di rilevazione. Solo nel caso in cui vengano posti in essere dei controlli di tipo longitudinale, oltre a quelli trasversali, emergerà una differenziazione che riguarda l'organizzazione logica e fisica del database delle informazioni relative alle occasioni di indagine precedenti a quella corrente. Infatti, date le attuali capacità delle memorie di massa dei personal computer, se è ancora possibile avere direttamente in linea le informazioni, relative all'indagine in corso, necessarie alla implementazione delle suddette procedure di controllo, non altrettanto si può dire in merito alle reali possibilità di connettere in rete gli elaboratori presso tutte le sedi in cui si svolgono le interviste, specialmente nel caso in cui le unità statistiche interessate dall'indagine siano le famiglie. Poiché, per un tempo ancora presumibilmente lungo, non si potrà prevedere l'accesso diretto ai registri amministrativi, si potrà trovare una soluzione alternativa pianificando rigidamente le interviste da poter caricare da essi solo i dati inerenti quelle unità che saranno intervistate in un certo lasso di tempo. In ogni caso, occorrerà prevedere una fase di, precaricamento sui computer portatili almeno dei data base relativi alle indagini precedenti. Anche in questo caso, i messaggi di warning generati dalle procedure di controllo appaiono solo al rilevatore, insieme alla forma della domanda da porre all'intervistato per risolvere l'incongruenza. Una variante della tecnologia CAPI prevede che il computer portatile venga lasciato per qualche tempo presso la sede dell'intervistato. Si rinuncia così alla figura dell'intervistatore per lasciare al compilatore del questionario una maggiore libertà nella scelta dei tempi di gestione della compilazione stessa. A parte la capacità dell'intervistato di dominare il mezzo informatico, che può essere ragionevolmente presunta solo in alcuni indagini molto particolari, appare evidente la necessità di ridisegnare interamente le procedure in modo che esse siano in grado di guidare il compilatore lungo tutti i percorsi possibili previsti da questionario, compresa la gestione degli errori di congruenza. Questo modo di concepire il CAPI rende questa metodologia molto simile alle tecniche relative alla auto somministrazione del questionario, di cui si parlerà immediatamente. 12

13 2.3 La tecnologia CASI In realtà sarebbe forse il caso di parlare di tecnologie CASI (Computer Assisted Self Interview) per le differenze non secondarie tra le due varianti del metodo. Entrambe hanno in comune una procedura informatica, appositamente preparata, che simula il questionario cartaceo sul video di un computer e, nello stesso tempo, guida il compilatore durante tutta la fase di risposta alle domande. Ovviamente, la procedura stessa dovrà essere installata su un elaboratore utilizzabile presso l'unità di rilevazione. La progettazione del software è cruciale e dovrà essere attentamente pianificata ed eseguita in quanto la qualità dei dati rilevati dipende interamente dalla qualità del software stesso, specialmente se si tiene conto che nella tecnica CASI il ruolo dell'intervistatore è assunto in tutto dalle procedure automatiche di guida e di aiuto. I punti chiave della progettazione riguardano: La scelta del sistema operativo sotto il quale si prevede che girerà la procedura. Tale scelta non è né banale né scontata se si deve tenere conto delle caratteristiche peculiari della popolazione di riferimento dell'indagine. È evidente, intanto, la divaricazione netta tra le indagini sulle famiglie e quelle sulle imprese e, all'interno di queste ultime, tra le piccole, medie e grandi aziende. Infatti, a seconda della categoria considerata occorre, nella scelta del linguaggio di programmazione, salvaguardare la possibilità di utilizzazione della procedura con una configurazione hardware minimale. Ancora oggi, sebbene le interfacce grafiche siano ampiamente diffuse, ci si vede costretti ad utilizzare interfacce a carattere per evitare di dar luogo ad una autoselezione di unità (indotta dal possesso o meno di elaboratori in grado di gestire sistemi a finestre) all'interno di una autoselezione già esistente (indotta dal possesso o meno sistemi di elaborazione e dalla capacità di utilizzarli efficacemente). L'organizzazione del questionario. L'aspetto grafico e l'architettura del questionario elettronico dovrà essere molto più curata ed accattivante che nel caso di quello cartaceo. Basti pensare, infatti, che sfogliare un fascicolo è una operazione molto più facile e veloce dello scrolling di una serie di pagine video. Inoltre, mentre sul cartaceo è possibile utilizzare le leve del formato del foglio, dei margini e della dimensione del carattere per avere sott'occhio una intera sezione del questionario, una eguale libertà non è permessa per una pagina video dove è problematico raggiungere un accettabile compromesso tra la definizione delle schede grafiche e dei monitor, le esigenze di leggibilità e la quantità di testo che si desidererebbe avere a vista senza ricorrere allo 13

14 scorrimento delle pagine. Se si pensa che spesso capita di essere costretti a rinunciare alle interfacce grafiche, si ha un'idea delle difficoltà che devono essere superate per evitare le cadute di collaborazione dovute a farraginosità nella gestione delle pagine o a difficoltà nella lettura delle stesse. Da questo punto di vista, il questionario elettronico è, forse, quello che può avere maggiori vantaggi dall'applicazione del concetto di entità-relazione che può risultare risolutivo nel tentativo di parcellizzare "per piccole isole" il percorso logico dell'acquisizione dell'informazione senza che, per questo, ci si debba vedere costretti a rinunciare definitivamente all'unità insita nelle tradizionali sezioni e sottosezioni del questionario. La gestione dei cammini di compilazione. Sebbene sia opinione comune che il questionario-tipo per una intervista auto amministrata debba essere strutturalmente semplice, non pare che nella realtà, tale opinione sia giustificata dai fatti. Anzi, le possibilità offerte dai linguaggi orientati agli oggetti e dai sistemi di ultima generazione, se ben utilizzati, permettono di gestire percorsi anche molto articolati con tratti addirittura non prevedibili a priori. I problemi, semmai, nascono dall'onerosità della progettazione software e dalle richieste che i programmi fanno alla piattaforma hardware che, per altro, appare in rapida evoluzione sia per quel che riguarda la tecnica che per i costi. La gestione degli aiuti in linea. La presenza degli aiuti in linea durante la fase di compilazione, è certamente uno dei fattori che più qualificano una procedura dedicata all'auto somministrazione di una intervista. Riprodurre semplicemente nelle finestre di testo di un questionario elettronico le "Note per la compilazione" di un questionario cartaceo, se qualche volta è giustificato dalla povertà delle opzioni di un sistema operativo, significa comunque rinunciare alle notevoli potenzialità offerte dagli strumenti più moderni della programmazione. Due di queste potenzialità sono rappresentate dagli ipertesti (link) e dagli aiuti sensibili al contesto. Nel caso dei collegamenti ipertestuali è possibile che all'interno di un testo predisposto per fornire aiuti alla compilazione siano previste parole o concetti (in genere evidenziati in colore diverso) per i quali sono disponibili ulteriori spiegazioni o approfondimenti sino alla formazione un insieme nidificato di informazioni dalla struttura gerarchica ad albero non definita a priori. Non a caso, per la visita di un tale albero indefinito è stato utilizzato il termine suggestivo di "navigazione". Si tratta di una tecnica che sebbene offra il fianco al pericolo della dispersività, rappresenta comunque uno strumento efficiente di guida alla compilazione del questionario. Per quanto riguarda gli aiuti 14

15 sensibili al contesto, si tratta di finestre di testo che, anche se riferite ad una stessa item, variano di contenuto a seconda della "zona" di questionario dal quale vengono attivate. La sinergia tra le due forme di guida, sempre se ben progettate, sono tali da sostituire efficacemente la figura degli intervistatori senza innescare effetti indesiderati dovuti alla loro diversa formazione e sensibilità. Da quanto si è detto, nell applicazione della tecnologia CASI la progettazione del questionario elettronico è ancora più critica che nell uso del cartaceo ed è ormai indispensabile fare ricorso a competenze professionali diversificate. Nel software di gestione dell'intervista saranno previsti, naturalmente, i controlli di congruità trasversale, sostanzialmente simili a quelli descritti per le tecniche CATI e CAPI. Nel caso in cui si desideri effettuare anche i controlli longitudinali per le unità panel, occorrerà far fronte al problema costituito dall'accesso al data base che contiene le informazioni relative alle precedenti occasioni di indagine. Le vie di soluzione a tale problema dipendono dalle seguenti varianti della tecnologia CASI usate nelle applicazioni pratiche: Spedizione e reinvio di un dischetto contenente software e data base per posta ordinaria. È sicuramente la variante meno efficiente ma spesso la sua scelta è resa obbligatoria dall'impossibilità, dovuta a vari motivi, di raggiungere le unità di rilevazione attraverso la rete telematica. I motivi di inefficienza sono ascrivibili: i) ai tempi notevoli necessari all'invio e reinvio del questionario per via postale ordinaria; ii) al costo ed ai tempi richiesti per la riproduzione dei supporti magnetici, specialmente se la numerosità del campione è elevata; iii) alla scarsa capacità del supporto stesso che non permette di sviluppare programmi troppo complessi né è in grado di contenere data base oltre una certa dimensione. Sebbene sia possibile fare ricorso a tecniche di compressione dei dati, il problema non è in generale risolvibile a meno che non si sia disposti accettare aumenti notevoli dei costi associati alla rilevazione. Con questa variante, però, il fenomeno di autoselezione è determinato solo dal fatto che non tutte le unità da intervistare possiedono un elaboratore e sono in grado di gestirlo efficacemente. Utilizzazione della rete internet. In questo caso il programma di gestione del questionario elettronico e, eventualmente, il database allegato, possono essere scaricati via rete, sull'elaboratore situato presso l'unità da intervistare. Con questa variante, l'ente gestore rilevazione dovrà provvedere alla costituzione di un repository 15

16 al quale le unità costituenti il campione possano accedere dopo essere state riconosciute in fase di log on. Un'altra via potrebbe essere quella di inviare all'unità da intervistare i files suddetti come attachment alla comunicazione di inizio rilevazione. In ogni caso, prima della compilazione del questionario, occorrerà che il responsabile dell'unità remota provveda alla installazione del software. Il risultato del lavoro è costituito, in genere, da un file di dimensioni ridottissime che può essere inviato all'ente che cura la rilevazione via . Un primo problema di questa variante riguarda il tempo ed il relativo costo associati al trasferimento dei files. Se si sceglie l'invio tramite attachment il costo graverà sull'ente gestore dell'indagine, nel secondo caso il costo graverà sull'unità intervistata. Il costo del reinvio del file prodotto dalla compilazione assistita sarà comunque a carico dell'unità intervistata ma di entità trascurabile a causa della piccola dimensione di tale file. Il secondo problema è costituito dalla autoselezione delle unità da intervistare che è determinata sia dal fatto che solo alcune unità possiedono un elaboratore e, di queste, una parte ancora più piccola ha la possibilità di connettersi in rete per i trasferimenti dei files. 2.4 Il sito WEB La rete telematica può essere utilizzata per istituire un "sito" presso l'ente gestore dell'indagine su cui può trovare posto una pagina HTML dedicata alla compilazione del questionario di una generica indagine (Clayton e Werking, 1995). La compilazione avviene on line e l'aspetto esteriore del questionario è simile a quello del questionario auto amministrato di cui si è detto precedentemente con la differenza che, in questo caso, è obbligatoria (in pratica) l'interfaccia grafica che, peraltro, è gestibile solo attraverso un prodotto software adatto alle applicazioni di rete (browser). Anche il sistema di help in linea e le procedure di controllo, longitudinale e trasversale, sono logicamente simili. La differenza sostanziale consiste nel fatto che le procedure software e gli eventuali database di riferimento si trovano fisicamente allocati sulla macchina remota ubicata presso l'ente gestore. Concettualmente l'elaboratore dell'unità intervistata agisce, quindi, come un "terminale remoto", ma intelligente, collegato ad sistema multiutente centralizzato. Questi ultimi sistemi erano organizzati in modo da trasferire in linea piccolissime quantità di informazioni alla volta (tipicamente, comandi) il che non è perseguibile con i sistemi con interfaccia grafica nei quali la sola emissione di un messaggio di errore coinvolge meccanismi più complessi che richiedono tempi notevoli per la trasmissione 16

17 dell'informazione. Da ciò si comprende come il limite principale della compilazione on line su sito Web è costituito dai tempi necessari all'interscambio delle informazioni (anche grafiche) che invece richiede pochi centesimi di secondo nel caso dell'intervista autoamministrata. Quindi, l'esigenza di una sinergia tra le competenze statistiche ed informatiche per la corretta progettazione del questionario diventa, con questa tecnica, ancora più stringente. Le domande a cui rispondere ed i problemi da risolvere sono in parte noti ed in parte scaturiranno sicuramente delle prime sperimentazioni in atto. Volendo schematizzare, è possibile stilare il seguente elenco: Organizzazione delle pagine del questionario. Si tratta di scegliere tra l'interfaccia a caratteri e quella grafica e, per ognuna di esse, tra la gestione a pagine multiple indipendenti (assimilabili a sezioni indipendenti del questionario da compilare gerarchicamente) o a pagina singola con attivazione della funzione di scorrimento per la lettura dell'intero questionario. Alcune ricerche effettuate all'estero (Vehovar e Batangeli, 1996) hanno dimostrato la netta convenienza delle interfacce grafiche rispetto a quelle a carattere e della gestione a pagina singola rispetto a quella a pagina multipla, sia dal punto di vista dei tempi medi di compilazione, sia da quello del tasso di completamento del questionario. Gestione degli errori e delle incongruenze. Premesso che il numero atteso di tali errori è funzione della complessità del questionario e della presenza o meno di controlli longitudinali, si tratta di scegliere tra l'emissione dei messaggi di errore alla fine di ogni sezione (o pagina) del questionario e l'emissione di tutti i messaggi alla fine della compilazione. Nel primo caso, sono da prevedere tempi più lunghi per la versione definitiva del questionario compilato a fronte di una più semplice e meno stressante correzione degli errori commessi. Nel secondo caso, si accorciano i tempi della compilazione ma il numero dei messaggi di errore è spesso tale da scoraggiare il compilatore nella continuazione del lavoro. Come sempre, si tratterà di ricercare un valido compromesso tra le diverse esigenze effettuando i controlli necessari alla fine di ciascun gruppo omogeneo di informazioni, che sia, però, abbastanza ampio da non parcellizzare troppo il lavoro di compilazione. Occorrerà altresì valutare la convenienza di caricare parte del software di controllo presso l'unità remota in modo da accorciare i tempi di trasferimento delle finestre con i messaggi di errore. Questa strategia è sicuramente valida per i controlli di tipo trasversale, per i quali sono sufficienti le informazioni presenti nel questionario compilato, mentre 17

18 risulta meno efficace per la verifica delle congruità longitudinali per la quale è necessario ricorrere comunque al data base di riferimento,. Esso, come è stato già osservato, risiede fisicamente presso l'ente gestore e, quindi, il tempo di trasferimento dei dati tra le macchine remote rende le procedure decentrate poco utili, se non addirittura dannose. Attualmente sono in atto due sperimentazioni che riguardano la somministrazione di questionari sia in tecnologia CASI che WEB. La prima riguarda la stima provvisoria del valore aggiunto e vede la collaborazione tra l'istat e l'istituto di Statistica e Matematica dell'iun di Napoli. La scelta della tecnologia di rilevazione è caduta sul tipo multimode in quanto sono previste contemporaneamente sia la metodologia classica (invio presso le imprese del questionario cartaceo) che quelle innovative e cioè quella relativa al questionario su sito WEB e quella CASI nella versione internet. La seconda sperimentazione è condotta in collaborazione tra l'istituto Tagliacarne e l'istituto di Statistica suddetto. Anche in questo caso convivono nella stessa indagine (sulle congiunture regionali standardizzate) la metodologia CATI, tradizionalmente usata dal Tagliacarne, e quella WEB con un sito appositamente istituito presso l'istituto di Statistica e matematica dell'iun di Napoli. 2.5 La tecnologia EDI Questo tipo di metodologia è realisticamente applicabile solo alle indagini statisticoeconomiche che riguardano le imprese, anche se non sono da escludere, in futuro, applicazioni ad altro tipo di rilevazioni. Inoltre, l'edi (Electronic Data Interchange) è l'unica tecnologia per la quale è corretto parlare di cattura dei dati, in quanto per essa non è prevista l'effettuazione di alcun tipo di intervista. Il principio informatore del metodo discende dall'osservazione che molte variabili di interesse statistico-economico sono: a) presenti nel sistema informativo gestionale dell'impresa; b) da esso ricavabili mediante opportune regole di calcolo e c) possono essere "catturate" come risultato intermedio di alcune transazioni contabili ed amministrative. È evidente che l'applicazione della tecnologia di cattura richiede che l'impresa sia connessa in rete e che il software gestionale da essa utilizzato sia modificato al fine di conservare memoria delle variabili intermedie. Ciascuna impresa interessata da una indagine condotta con questa tecnica, dovrebbe quindi "preparare", sui propri supporti magnetici, un data base di dimensioni ridotte contenente le variabili di interesse dell'indagine stessa. Le informazioni, strutturate secondo regole prefissate, sarebbero scaricate, alle cadenze previste, su un altro data 18

19 base fisicamente allocato presso l'ente gestore dell'indagine. La tendenza emersa dalle prime sperimentazioni in atto, sembra evidenziare il gradimento, da parte delle imprese, per un trasferimento delle suddette affermazioni sotto il loro diretto controllo, anche se non è da escludere il flusso completamente automatico delle operazioni 4. Un possibile modello concettuale del sistema è quello della Fig che riproduce lo schema posto in essere dall'eurofer che è una associazione internazionale di diverse Associazioni Nazionali di Produttori dell'industria del ferro e dell'acciaio. Fig Schema logico del sistema EDI implementato dall'eurofer per le Associazioni Nazionali Produttori dell'industria del ferro e dell'acciaio Secondo tale schema, le imprese aderenti al progetto trasmettono i propri dati ad un modulo di interfaccia (Entry Base) tra i dati stessi ed un data basa relazionale (BISE) situato presso l'associazione. Il compito principale del modulo, oltre a procedere ad alcuni controlli di congruità, è quello di effettuare la transcodifica tra le variabili del sistema informativo gestionale delle imprese e quelle statistiche richieste dall'indagine. Una volta registrati tutti dati provenienti dalle imprese, il modulo di estrazione e compilazione provvede alla formazione dei report che vengono teletrasmessi agli Enti interessati, da una parte, ed alle imprese collaboranti, dall'altra. La funzione dei report inviati alle imprese collaboranti non è secondaria: essi, oltre ad avere lo scopo di controllo della corretta 4 Si fa qui riferimento alla sperimentazione TELER, che vede coinvolti 7 Istituti Nazionali di Statistica di altrettanti Paesi dell'unione Europea. Per una più completa descrizione del progetto si veda Quintano e 19

20 sequenza di costruzione dell'informazione statistica, costituiscono una forma di incentivazione alla collaborazione in quanto forniscono indicazioni utili e tempestive per definire il posizionamento dell'impresa stessa nel mercato concorrenziale. Evidentemente, il principale pregio della tecnologia EDI è quello di diminuire il carico statistico per le imprese le quali si limitano, alle scadenze prefissate, ad avviare il trasferimento dei dati dal proprio sistema informativo verso l'ente gestore dell'indagine. Da questo punto di vista bisognerebbe tenere conto, per altro, che se si procedesse ad un censimento delle indagini che hanno come riferimento il versante dell'offerta produttiva, ci si renderebbe conto che molte variabili statistiche oggetto della rilevazione sono di interesse generale e, pertanto, potrebbero essere rilevate una volta per tutte, dalla stessa fonte ed allo stesso momento, evitando il pericolo di inconsistenza dei dati. Non sempre, però, tutte le variabili di interesse dell'indagine sono presenti o ricavabili dal sistema informativo-contabile dell'impresa. Talvolta alcune di esse non possono essere agevolmente reperite o non sono sufficientemente aggiornate. In questi casi potrebbe essere indispensabile accedere ad alcuni registri amministrativi esterni all'impresa e ciò potrebbe riuscire utile anche per indagini che hanno le famiglie come popolazione di riferimento. Il sistema, in questi casi, si complica notevolmente in quanto, oltre ai problemi tecnici, occorre risolvere anche quelli relativi alla standardizzazione delle informazioni, al reperimento della stessa unità nei diversi archivi, alla diversa qualità dei dati in essi presenti, ecc. Le difficoltà di implementazione di un sistema di tale complessità richiedono che la sua progettazione sia frutto della collaborazione di tutti i principali Enti gestori delle indagini. Tale collaborazione dovrebbe essere finalizzata a: Fissare regole e procedure per la salvaguardia della sicurezza e della riservatezza dei dati. La definizione di tali regole è tanto più stringente quanto più il data base centrale è reso "disponibile" per fini di ricerca e studio. I livelli di accesso alle informazioni dovrebbero essere, in questo caso, rigidamente definiti e controllati man mano che ci si sposta nella direzione della disaggregazione crescente. Fissare le regole per l'univoca identificazione delle unità statistiche. Poiché i dati relativi ad una specifica unità possono essere raccolti o catturati presso fonti (archivi) differenziati, è utile, preliminarmente, fornire le unità di un codice non duplicabile in modo da facilitare il loro reperimento. In mancanza di ciò, è necessario fare ricorso a Romano (1998). 20