A13
Antonio Perna Clelia Cascella Statistica assistita Indirizzi pratici di statistica descrittiva
Copyright MMXIV ARACNE editrice S.r.l. www.aracneeditrice.it info@aracneeditrice.it via Raffaele Garofalo, 133/A B 00173 Roma (06) 93781065 ISBN 978-88-548-6868-7 I diritti di traduzione, di memorizzazione elettronica, di riproduzione e di adattamento anche parziale, con qualsiasi mezzo, sono riservati per tutti i Paesi. Non sono assolutamente consentite le fotocopie senza il permesso scritto dell Editore. I edizione: gennaio 2014
Credo che il calcolo delle probabilità sia l'unica branca della matematica in cui buoni autori ottengono spesso risultati completamente sbagliati. Charles Pierce Non fidatevi di ciò che le statistiche dicono prima di avere attentamente considerato ciò che non dicono. William Watt Se siete in aereo e state tirando ad indovinare qual è il lavoro degli altri passeggeri, come fate ad individuare uno statistico? Facile! È l unico che parte con una bomba nella borsa perché è statisticamente impossibile che ci siano due attentatori sullo stesso aereo. Anonimo
Indice 011 Prefazione 013 Introduzione PARTE I Statistica Descrittiva 027 Capitolo I L organizzazione dei dati 1.1. I profili di riga e colonna in una matrice a doppia entrata, 027 1.2. Distribuzioni di frequenza per valori singoli della modalità, 029 1.3. Distribuzioni derivate, 031 1.4. Il concetto di intensità, 033 1.5. Divisione in classi di una variabile, 034 1.6. Glossario, 035 1.7. Tabelle a doppia entrata, 036 1.8. Le possibili combinazioni dei caratteri nelle tabelle a doppia entrata, 039 1.9. Le rappresentazioni grafiche, 040 1.10. Rappresentazione grafica di una variabile articolata in classi, 044. 053 Capitolo II Sintesi dei dati 2.1. La media aritmetica, 056 2.2. La media geometrica, 061 2.3. La media quadratica, 063 2.4. La media armonica, 064 2.5. Le medie di posizione, 065 2.6. La mediana, 065 2.7. La moda, 069 2.8. Il box-plot (o grafico a scatola) e i quartili, 071 2.9. Glossario, 078 2.10. Esercizi di ricapitolazione, 078. 7
4 8 Indice 093 Capitolo III La variabilità 3.1. Variabilità e mutabilità: prime definizioni, 094 3.2. Misure della variabilità, 096 3.3. Le proprietà della varianza, 099 3.4. La covarianza, 103 3.5. Le differenze medie, 105 3.6. Esercizi svolti di ricapitolazione, 108. 111 Capitolo IV La concentrazione 4.1. Alcuni esempi di aree di concentrazione, 114 4.2. Il primo metodo: approssimazione per rettangoli (il metodo di Gini), 116 4.3. Il secondo metodo: approssimazione per trapezi, 119 4.4. Esercizi di ricapitolazione, 121. 129 Capitolo V I rapporti statistici 5.1. Trasformazione degli indici, 132 5.2. Il saggio di incremento, 133 5.3. La variazione relativa, 134 5.4. Il rapporto di durata, 135 5.5. Esercizi di ricapitolazione, 136. 143 Capitolo VI L interpolazione statistica 6.1. Scelta della funzione interpolante, 145 6.2. La determinazione dei parametri, 146 6.3. Procedimento per la determinazione dei parametri, 148 6.4. Esercizi di ricapitolazione, 153. 157 Capitolo VII La variabilità nella forma di una distribuzione 7.1. Indici di disnormalità (indici di variabilità delle forme), 158 7.2. La distribuzione normale, 160 7.3. Misura della curtosi, 165 7.4. La distribuzione normale standardizzata, 167 7.5. Media e
Indice 9 varianza della normale standardizzata, 170 7.6. Bienaymé- Chebicheff, 172 7.7. Esercizi di ricapitolazione, 172. 175 Capitolo VIII L interpolazione statistica 8.1. Confronto tra due mutabili, 178 8.2. Confronto tra una mutabile ed una variabile, 179 8.3. Confronto tra due variabili, 182 8.4. Alcune considerazioni, 182 8.5. Definizioni e misure dell indipendenza assoluta, 185 8.6. Definizioni e misure dell indipendenza in media, 189 8.7. Definizioni e misure dell indipendenza interpolativa, 192 8.9. L indice di Bravais- Pearson, 200 8.9. Esercizi di ricapitolazione, 203. 217 Capitolo IX Il campionamento statistico 9.1. Il campionamento probabilistico, 222 9.1.1. Il campionamento casuale semplice, 223 9.1.2. La tavola dei numeri aleatori, 225 9.1.3. La numerosità campionaria, 228 9.2. Il campionamento non probabilistico, 234 9.2.1. Il disegno fattoriale, 234 9.2.2. Il campionamento per quote, 234 9.2.3. Il campionamento a scelta ragionata, 235 9.2.4. Il campionamento a valanga, 236 9.2.5. Il campionamento di convenienza, 237. 239 Sezione I Gli esercizi PARTE II Esercizi, formulario e tavole 1.1. Organizzazione, sintesi e variabilità dei dati, 239 1.2. La concentrazione, 245 1.3. I rapporti statistici, 247 1.4. L interpolazione statistica, 250 1.5. La variabilità nella forma di una distribuzione, 251 1.6. Le relazioni statistiche, 253. 257 Sezione II Il formulario
6 10 Indice 269 Sezione II Bibliografia 273 Sezione III Le tavole della zeta standardizzata
Prefazione Questo manuale ha lo scopo di avvicinare alla Statistica Descrittiva il lettore che desidera coniugare l approfondimento teorico a quello più strettamente applicativo. Lo scopo dell opera è infatti quello di dotare coloro che si avvicinano in maniera applicativa alla Statistica Descrittiva di una base concettuale che li ponga in grado di capire l utilizzo degli strumenti e di interpretarne correttamente i risultati. Il volume si articola in due parti. La prima illustra e spiega i più importanti strumenti della Statistica Descrittiva corredando l esposizione teorica con una corposa serie di esercizi svolti e commentati che servono, da una parte, a rendere più chiari i contenuti teorici e, dall altra, a illustrare come risolvere gli esercizi. La seconda parte propone, per ciascuno degli argomenti trattati nella prima, una ricca raccolta di esercizi che possono servire al lettore come banco di prova e verifica del livello di apprendimento raggiunto. Completano la sezione, un formulario commentato e le tavole della funzione di ripartizione e della funzione di densità. Parte integrante dell opera è la sezione, disponibile on-line sul sito della casa editrice, che contiene slide di ricapitolazione sui contenuti del testo e esercizi in Excel. Ciascun foglio di lavoro è impostato con formule predefinite ed è quindi predisposto anche per la soluzione di ulteriori tracce: inserendo nuovi dati, il lettore potrà pervenire, in modo facile ed automatico, alla soluzione dei nuovi esercizi. Attraverso una serie di collegamenti ipertestuali è inoltre possibile richiamare, durante le applicazioni pratiche, le relative parti teoriche e viceversa. 11
8 12 Prefazione Questo libro nasce da un progetto del Prof. Antonio Perna ed è oggi il risultato di un lavoro congiunto e condiviso dai due Autori. In particolare, si precisa che la parte teorica dei capitoli da 2 a 8 è a cura del Prof. Antonio Perna mentre le sezioni applicative (l ultimo paragrafo di ciascun capitolo nonché la II parte del volume) sono a cura della Dott.ssa Cascella così come i capitoli 1 e 9. Si ringraziano, infine, le dott.sse G. Milone e G. Della Pietra per l affettuosa ed importante collaborazione. Antonio Perna e Clelia Cascella
Introduzione La statistica è una scienza che si interessa della raccolta, organizzazione e trattamento dei dati al fine di estrarne, attraverso un processo di sintesi, il contenuto informativo. Pur avendo una forte caratterizzazione matematica, essa è però autonoma rispetto a quest ultima. Il termine deriva dal latino status, e cioè, ricchezza e posizione sociale. In origine, infatti, tale termine serviva per indicare l inventario generale delle ricchezze di uno Stato, soprattutto in relazione all ammontare dei tributi che i cittadini più ricchi dovevano versare allo Stato, anche, per finanziare operazioni belliche. Successivamente la Statistica si è evoluta sotto la spinta e l impulso di numerose altre discipline. Buffon fu il primo naturalista a ricoprire un ruolo importante nella storia della Statistica moderna. A suo giudizio questa disciplina doveva servire a contare ma soprattutto a descrivere e semplificare la realtà, allo scopo di pervenire a rappresentazioni sintetiche e a classificazioni. Altro pioniere della scienza Statistica è Galton, eccellente biometra. La biometria studia le relazioni esistenti tra le misurazioni effettuate su soggetti appartenenti ad una certa specie (ad esempio, il legame esistente tra l altezza dei padri e quella dei figli). Degno di menzione particolare è anche Spearman, che nel campo della psicometria effettuò le prime analisi fattoriali. Attraverso misurazioni oggettive dei risultati ottenuti mediante tests, cercò di definire 13
12 14 Introduzione quelle dimensioni più nascoste ed astratte come l intelligenza o la memoria. Tutti questi precursori dell analisi statistica più avanzata, e ne abbiamo citati solo alcuni, lavoravano esclusivamente con l aiuto dei loro mezzi fisici (il cervello e le mani). La maggior parte delle tecniche che oggi giorno vengono sviluppate sugli elaboratori esistevano già da molti anni ma il loro utilizzo risultava difficile a causa della complessità dei calcoli ad esse connessi. Oggi gli statistici dispongono di un potente aiuto: l elaboratore elettronico è diventato uno strumento indispensabile per trattare grandi quantità di dati e di calcoli, ma non si può omettere di ricordare che, per quanto potente, rimane comunque uno strumento inerte senza l uomo. La Statistica si basa essenzialmente sull osservazione che si fa di una caratteristica (carattere) su ogni individuo appartenente ad un gruppo. Tale caratteristica può essere di natura qualitativa o quantitativa. Trattare i dati non vuol dire manipolarli ma occorre saper scegliere lo strumento idoneo, dati gli obiettivi dell analisi, per ottenere le migliori informazioni. La fase organizzativa dei dati (ordinamento, classificazione, creazione delle tabelle, rappresentazioni grafiche, ecc,) è necessaria e propedeutica alla sintesi di una distribuzione univariata. Si parlerà, invece, di analisi bivariata o multivariata nel caso in cui sia ritenuto opportuno indagare le connessioni tra i caratteri. Il concetto di carattere in Statistica I caratteri in statistica possono essere qualitativi o quantitativi.
Introduzione 13 15 Al di là della mera distonia terminologica, tale concetto implica delle differenze sostanziali nel modo di analizzare tali caratteri e, conseguentemente, nei risultati cui si può giungere. Diciamo anzitutto che ogni carattere, di natura qualitativa o quantitativa, possiede un proprio stato. Si definisce stato del carattere la sua manifestazione in un individuo (tale assunzione di stato si chiama modalità). La caratteristica muta originando una mutabile (non vi è, cioè, una scala di possibili valori, da collegare anche ad una funzione). I valori che un carattere può assumere nel caso in cui abbia natura quantitativa, costituiscono le cc. dd. variabili. Ad ogni carattere corrisponde una popolazione di dati (in gergo tecnico, universo ) costituita dalle modalità o dai valori del carattere. Una frazione di osservazione estratte da una popolazione prende il nome di campione. Allo scopo di rendere immediatamente fruibili le distinzioni intercorrenti tra qualitativo e quantitativo, proponiamo immediatamente il seguente prospetto sinottico.
14 16 Introduzione Figura 1 - Differenze tra caratteri qualitativi e quantitativi. Attenzione! Una variabile si dirà discreta quando può sempre essere posta in corrispondenza dell insieme dei numeri naturali o di un suo sottoinsieme (la modalità di misurazione sarà, quindi, quella del conteggio o della numerazione); si dirà, invece, continua nel momento in cui essa può assumere, in linea di principio, qualsiasi valore contenuto in un dato intervallo reale predefinito (le variabili continue, quindi, potranno essere misurate solo mediante l impiego di una funzione). Un ulteriore motivo di distinzione tra qualitativo e quantitativo risiede anche nella tipologia di scala di misurazione che può essere usata di volte in volta. Il primo a stigmatizzare tali differenze fu Stevens che stilò un elenco delle possibili scale di misurazione in base al grado di complessità delle operazioni che egli considerava lecito condurre su certi caratteri.
Introduzione 15 17 Abbiamo quattro scale di misurazione: 1. Nominale (caratteri qualitativi): l unica operazione consentita è l uguale o diverso. Si pensi al caso di una scala relativa alle confessioni religiose: non è certo possibile, ad esempio, attribuire un grado di maggiore o minore importanza, ma si potrà solo dire se sono uguali o diverse tra loro. Si noti, inoltre, che laddove fosse presente un numero accanto alle singole voci, esso non avrebbe alcun tipo di significato numerico, ma avrebbe il solo ed unico scopo di fungere da etichetta. 2. Ordinale (caratteri qualitativi): così come nel caso precedente, le mutabili non assumono valori numerici, ma acquisiscono modalità logicamente sequenziali, in ordine crescente o decrescente (è questo, ad esempio il caso, della valutazione scolastica nella sua esplicitazione sotto forma di giudizi quali mediocre, sufficiente, buono ed ottimo. 3. Ad intervallo: sono variabili (e, quindi, quantitative) che consentono un confronto solo per la differenza tra le modalità che i soggetti assumono poiché essi fanno riferimento ad un origine arbitraria (ad esempio, nel determinare una temperatura in gradi Celsius si conviene che lo zero espresso in gradi centigradi 0 - corrisponda alla temperatura alla quale l acqua gela. Tale misura è connessa all analoga quantità espressa nella scala Fahreneit dalla relazione F=(9/5)C+C+32. In forza di quest ultima, invece, lo zero non ha un significato analogo, corrispondendo a -17,78 Celsius. Per contro la temperatura misurata in gradi Kelvin fa riferimento allo zero assoluto e non rientra in tale tipologia. 4. Di rapporto: sono variabili (e, quindi, quantitative) per le quali intrinseca ed univoca è la definizione dello zero (si pensi, ad esempio, al caso in cui si voglia
16 18 Introduzione determinare il peso di un oggetto, la durata in secondi di uno sparo, ecc ). Le rappresentazioni grafiche. Scopo precipuo dalla rappresentazione grafica risiede nell immediata fruibilità dell informazione contenuta nei dati. Attraverso la loro visualizzazione, il ricercatore ha, infatti, la possibilità di memorizzare ed intuire elementi preziosi nell arco del processo di ricerca. Nel seguito proviamo a proporre un semplice elenco delle possibili rappresentazioni grafiche senza scendere nel merito di ciascuna giacché al loro studio sarà appositamente dedicata una sezione del capitolo successivo: 1. diagramma cartesiano a scala naturale; 2. diagramma cartesiano a scala logaritmica, semplice o doppia; 3. diagrammi circolari; 4. grafico rami e foglie; 5. istogramma; 6. curva ogiva; 7. box plot. I valori di sintesi di una distribuzione. Così come anticipato nelle prime righe di questa introduzione, ribadiamo ora che lo scopo della statistica è quello di raccogliere, organizzare e trattare dei dati al fine di estrarne il contenuto informativo. Si disse inoltre, in quella sede, che il procedimento attraverso cui questo si rende possibile consiste essenzialmente nella possibilità di calcolare talune misure di sintesi, quali, ad esempio, le medie (razionali e/o di posizione).
Introduzione 17 19 Anche in questo caso, occorre fare una distinzione tra variabili e mutabili. Nel caso in cui, infatti, ci si muova nel campo del quantitativo, sarà possibile calcolare sui dati a disposizione sia medie razionali (e cioè, la media aritmetica, geometrica od armonica 1 ), sia medie di posizione (e segnatamente, moda e mediana). Nel caso qualitativo, invece, si potranno calcolare esclusivamente le medie di posizione e non anche quelle razionali. Ciò trova la propria motivazione in quanto precedentemente detto in relazione alla natura degli eventuali numeri relativi all identificazione dei diversi stati della modalità: in tal caso, infatti, si ribadisce, tali numeri avrebbero il solo valore di etichette e sarebbero prive di qualsivoglia contenuto numerico. Da ciò discende l impossibilità di condurre su di essi qualsiasi tipo di operazione aritmetica. La variabilità. La variabilità è l attitudine di un fenomeno quantitativo a variare nel tempo e/o nello spazio, mentre la mutabilità riguarda i fenomeni qualitativi. In assenza di tale caratteristica e, cioè, in presenza di un ambiente statico ed immutabile, non avrebbe senso condurre indagini statistiche su qualsiasi fenomeno 1 Per le differenze intercorrenti tra media aritmetica, geometrica ed armonica si rinvia al capitolo successivo. In esso, alla definizione di ciascuna delle summenzionate voci, si accompagnano anche molteplici esempi volti a rendere maggiormente chiare le differenze concettuali e, quindi, applicative, tra le diverse tipologie.
18 20 Introduzione Figura 2 - Esempi di distribuzioni con stessa media e varianza diversa. Essa può essere verificata attraverso l utilizzo di grafici e quantificata con indici che di variabilità: 1. assoluta, se espressi in unità di misura; 2. relativa, se espressi in forma adimensionale, cioè senza riferimento ad alcuna unità di misura. Gli indici di forma. La posizione e la variabilità di una distribuzione di frequenza non esauriscono le informazioni contenute nei dati. Può, infatti, accadere che due variabili statistiche possano avere la stessa posizione e la stessa variabilità, ma differire per il peso dei valori più grandi o più piccoli rispetto al valore centrale, a causa del comportamento differenziato delle code della distribuzione. Ricorriamo, quindi, ai cc.dd. indici di forma che indicano il modo in cui i dati sono distribuiti.
Introduzione 19 21 Figura 3 - Distribuzioni simmetriche e asimmetriche. Le relazioni statistiche. Con la teoria delle relazioni, la statistica si propone, a scopo prevalentemente previsionale, di studiare i possibili condizionamenti, influenze ed attrazioni che possono verificarsi tra i caratteri. Èevidente che i caratteri debbono essere logicamente collegabili. La relazione tra caratteri può essere studiata in vari modi, soprattutto tenendo presente la loro natura: - dipendenza (o indipendenza) assoluta: studia l influenza tra i caratteri attraverso l analisi delle sole frequenze; - dipendenza in media: esprime, generalmente, il concetto di dipendenza di una variabile da una
20 22 Introduzione mutabile. Considera le informazioni desumibili dalla variabile. Si parlerà di dipendenza (o indipendenza) in media; - regressione: esprime il concetto di dipendenza funzionale tra due variabili. Si parlerà, in questo caso, di dipendenza interpolativa, distinguendo tra: a. dipendenza funzionale: presuppone la possibilità di individuare l antecedenza di una variabile rispetto ad un altra; b. concordanza o discordanza: si valuta l interdipendenza come notizia aggiuntiva a quella della dipendenza. Si parlerà, in questo caso, di correlazione. - cograduazione: esprime il concetto di relazione tra graduatorie. Può esser interpretata come una misura della coerenza tra diversi atteggiamenti e/o giudizi espressi da diversi individui per la stessa situazione. La rappresentazione analitica di una variabile. Premesso che ogni fenomeno quantitativo ha una propria legge evolutiva, la rappresentazione analitica di una variabile ha lo scopo di indagare sulla forma di tale legge, studiarla, determinarne i parametri, rappresentare l andamento che il fenomeno dovrebbe teoricamente avere se non fosse turbato, nelle sue determinazioni ed evoluzioni, da cause accidentali e/o sistematiche. Si basa essenzialmente sui principi dell interpolazione matematica i cui principi però non possono essere rigidamente seguiti anche in campo statistico.
Introduzione 21 23 Figura 4 - Interpolazione matematica versus interpolazione statistica. La statistica inferenziale. La Statistica si può classificare in: a) descrittiva o deduttiva: partendo dal generale (popolazione), lo descrive deducendone le caratteristiche; b) inferenziale o induttiva: partendo dal particolare (campione) 2 ne osserva le caratteristiche, lo descrive e cerca di estenderle (inferirle, appunto) al generale (popolazione). Dal latino in fero, cioè portare dentro, la statistica inferenziale s interessa quindi di estendere il significato delle misure della Statistica descrittiva a una popolazione, partendo dal presupposto di aver studiato una parte di essa. Si basa essenzialmente sulle leggi della probabilità; comporta, quindi, lo studio dei principi della probabilità. Si articola in tre sezioni: a) Stima dei parametri: definizione degli stimatori, definizione della stima, metodi di stima (puntuale, intervalli di confidenza, massima verosimiglianza). 2 Il campione è detto casuale o aleatorio quando è ottenuto con un procedimento che offre ad ogni elemento della popolazione la stessa probabilità di entrare a farne parte (equiprobabilità).
22 24 Introduzione b) Verifica delle ipotesi: test d ipotesi parametrici, metodi decisionali, teoria degli errori, modello di regressione. c) Metodi non parametrici: test di adattamento e test d indipendenza. La statistica a più dimensioni Con tale termine s'intende quella parte della statistica in cui l'oggetto dell'analisi è per sua natura formato da almeno due componenti, come spesso accade nell'ambito di scienze quali l Economia, le Scienze Sociali, la medicina, la biologia, ecc.. Fanno parte della statistica a più dimensioni metodi quali: - analisi della correlazione canonica e analisi delle componenti principali. - analisi fattoriale. - analisi delle corrispondenze. - analisi dei cluster. - analisi discriminante. - analisi della regressione multipla. Glossario Ogni capitolo si conclude con un paragrafo intitolato glossario che raccoglie tutti i termini tecnici specifici della disciplina, utilizzati nel capitolo. La sua funzione è duplice: da una parte, costituisce un strumento utile per il lettore non ancora avvezzo alla terminologia tecnica per potersi concentrare specificamente sulla terminologia e assimilarla prima e meglio; dall altro, anche una guida per lo studente che, dopo aver studiato i contenuti delle sezioni precedenti,
Introduzione 23 25 potrà agevolmente verificare di aver assimilato i punti più importanti del capitolo. In questo capitolo, abbiamo imparato i seguenti concetti: - Carattere = oggetto dell indagine (es. altezza, peso, reddito, sesso, titolo di studio, ecc...). - Dato = osservazione che si fa di un carattere su un unità statistica. - Unità statistica = soggetto dell indagine (appartenente al collettivo oggetto di studio). - Modalità = stato del carattere (l altezza, il peso, ecc. di un unità statistica). - Successione di dati = insieme delle modalità osservate. - Distribuzione di frequenza per valori singoli di modalità: consiste nell organizzare la successione dei dati in funzione delle modalità e del numero di volte che esse si ripetono (= frequenza).