STATISTICA STATISTICA GIOVANNI GIRONE CORRADO CROCETTA ANTONELLA MASSARI BARI

Transcript

1 La statistica ci aiuta a prendere decisioni razionali in condizioni di incertezza, a capire i processi sottostanti i fenomeni, ad estrarre informazioni utili dai dati disponibili e comunicarle in modo appropriato. Un data scientist deve possedere solide competenze teoriche ed una profonda comprensione dei principi fondamentali della statistica, per questo gli autori hanno ritenuto opportuno aggiornare un manuale di statistica di lunga tradizione, apprezzato dagli studenti per la sua semplicità e la sua chiarezza espositiva, adeguandolo alle esigenze formative dei nuovi percorsi di studio. Il presente manuale affronta, con un approccio molto pratico e fortemente orientato allo studio della realtà, i principali argomenti di statistica descrittiva ed inferenziale, con l intento di andare oltre le formule, sforzandosi di far capire la logica alla base dei diversi metodi e le diverse applicazioni possibili. Questo volume ha come obiettivo quello di fornire la formazione critica necessaria per applicare, nella maniera migliore, la metodologia statistica ai casi concreti e saper interpretare i risultati in modo corretto. STATISTICA GIOVANNI GIRONE CORRADO CROCETTA ANTONELLA MASSARI STATISTICA Giovanni Girone è stato professore emerito di Statistica dell Università degli Studi di Bari Aldo Moro, presso la quale ha ricoperto la carica di Rettore ( ). È stato preside dell allora Facoltà di Economia dell Università di Bari ( ), membro del CUN, coordinatore del Comitato di Economia e Statistica del CUN e membro della Commissione per la Garanzia della Qualità dell Informazione Statistica dell ISTAT. Ha pubblicato diverse monografie e numerose pubblicazioni scientifiche nazionali ed internazionali. Corrado Crocetta è professore ordinario di Statistica presso l Università degli Studi di Foggia. Ha partecipato a diversi progetti di ricerca nazionali ed internazionali. È stato membro eletto del Consiglio direttivo della Società Italiana di Statistica ( ). Ha maturato una esperienza di 24 anni di insegnamento in ambito statistico presso diverse università italiane. È autore di numerose pubblicazioni scientifiche nazionali ed internazionali. GIOVANNI GIRONE CORRADO CROCETTA ANTONELLA MASSARI Antonella Massari è professore ordinario di Statistica presso l Università degli Studi di Bari Aldo Moro, membro della Società Italiana di Statistica e della Società Italiana di Economia Demografia e Statistica. È docente di Statistica descrittiva ed inferenziale presso il Dipartimento di Economia, Management e Diritto dell Impresa dell Università di Bari; è stata membro del Ph.D in Statistica e in Economia e Management; ha partecipato a diversi progetti di ricerca ed è autrice di numerose pubblicazioni scientifiche nazionali ed internazionali. ISBN CACUCCI EDITORE 38,00 BARI

2 GIOVANNI GIRONE CORRADO CROCETTA ANTONELLA MASSARI STATISTICA cacucci editore bari

3 Si ringraziano per la preziosa collaborazione Fabio Manca e Lucia Mongelli proprietà letteraria riservata 2019 Cacucci Editore Bari Via Nicolai, Bari Tel. 080/ info@cacucci.it Ai sensi della legge sui diritti d Autore e del codice civile è vietata la riproduzione di questo libro o di parte di esso con qualsiasi mezzo, elettronico, meccanico, per mezzo di fotocopie, microfilms, registrazioni o altro, senza il consenso dell autore e dell editore.

4 Prefazione La statistica è una scienza ormai onnipresente nella vita quotidiana di tutti, sempre più caratterizzata da fenomeni complessi, per la comprensione dei quali serve districarsi nell ampia mole di dati di cui disponiamo. Non a caso Hal Varian capo economista di Google ha affermato: I keep saying the sexy job in the next ten years will be statisticians. People think I m joking, but who would ve guessed that computer engineers would ve been the sexy job of the 1990s? La statistica ci aiuta a prendere decisioni razionali in condizioni di incertezza, basandosi sui dati disponibili, a capire i processi sottostanti i fenomeni e ad estrarre le informazioni utili per fare le nostre scelte, per visualizzarle e per comunicarle in modo appropriato. La statistica, insieme a management e computer science è uno dei pilastri di un data scientist, di colui che ha il compito di estrarre informazioni dai dati, modellizzare problemi complessi e identificare opportunità di business. In un mercato del lavoro in continua evoluzione questa figura professionale svolge un ruolo chiave ed è fondamentale per le diverse funzioni aziendali. La statistica come l informatica sta ormai diventando una competenza trasversale indispensabile per molte delle professioni ad alto contenuto innovativo, legate alla medicina, alle biotecnologie, alla scienza dei materiali, ai servizi, ecc. Per utilizzare le diverse tecniche e gli strumenti complessi che la statistica offre è necessario avere delle solide conoscenze teoriche ed una profonda comprensione dei principi fondamentali della statistica descrittiva e inferenziale, per questo gli autori hanno ritenuto opportuno aggiornare un manuale di statistica di lunga tradizione, apprezzato dagli studenti per la sua semplicità e la sua chiarezza espositiva, adeguandolo alle esigenze formative dei nuovi percorsi di studio. Il presente manuale affronta, con un approccio molto pratico e fortemente orientato allo studio della realtà, i principali argomenti di statistica descrittiva ed inferenziale, con l intento di andare oltre le formule sforzandosi di far capire la logica alla base dei diversi metodi e le diverse possibili applicazioni. Il lavoro di aggiornamento ha subito una brusca interruzione a causa della perdita improvvisa del prof. Giovanni Girone che è stato l autore delle precedenti edizioni di questo volume e Maestro dei due coautori. Proprio l intento di proseguire l opera di diffusione della cultura statistica ha animato la riedizione del presente volume che si prefigge di coniugare tradizione ed innovazione. Nella speranza che questo volume possa essere utile per i giovani che intendono avvicinarsi alla statistica intesa come strumento per prendere decisioni in funzione del raggiungimento di precisi obiettivi, invitiamo il lettore a trarre il massimo arricchimento dallo studio di questo manuale. Gennaio 2019 Corrado Crocetta, Antonella Massari 5

5

6 INDICE Prefazione pag. 5 PARTE PRIMA STATISTICA DESCRITTIVA Capitolo 1 INTRODUZIONE ALLA STATISTICA Oggetto e scopo della statistica» 9 Unità statistiche e collettivi statistici» 9 Caratteri e modalità» 11 Fenomeni collettivi» 11 Fasi dell indagine statistica» 12 Aspetti della statistica moderna» 12 Nuovi settori di applicazione della statistica» 14 Cenni storici intorno alla statistica» 15 Capitolo 2 RILEVAZIONE E CLASSIFICAZIONE DEI DATI Fonti statistiche» 21 Piano della rilevazione» 24 Rilevazioni parziali e rilevazioni campionarie» 28 Campioni ottenuti mediante scelta casuale» 30 Campioni stratificati» 32 Campioni a due stadi» 33 Campioni mediante scelta ragionata» 35 Piano degli esperimenti» 37 Raccolta dei dati. Fenomeni di stato e fenomeni di flusso» 37 Intensità, modalità e frequenze» 38 Vari tipi di caratteri»

7 Spoglio o classificazione dei dati rilevati. Tabelle di spoglio pag. 40 Statistica d informatica» 41 Software statistici» 42 Sistemazione dei dati in tabelle» 43 Errori di rilevazione» 45 Correzione degli errori» 46 Lacune» 48 Approssimazione e grado di precisione dei dati» 48 Capitolo 3 VARI TIPI DI TABELLE STATISTICHE Variabile statistica» 51 Mutabile statistica» 56 Serie storiche e serie territoriali» 59 Variabile statistica doppia e multipla» 61 Mutabile statistica doppia e multipla» 63 Tabelle statistiche di intensità o v.s. derivate» 64 Tabella statistica mista» 65 Osservazioni» 65 Capitolo 4 RAPPRESENTAZIONI GRAFICHE Scopo delle rappresentazioni grafiche» 67 Diagramma cartesiano per la rappresentazione delle variabili statistiche» 68 Istogrammi per rappresentare variabili statistiche divise in intervalli» 70 Piramide della popolazione» 71 Diagrammi integrali e funzioni di ripartizione» 73 Diagramma cartesiano per la rappresentazione delle serie storiche» 75 Scelta delle unità di misura. Amputazione dei diagrammi» 76 Diagrammi a scala logaritmica» 79 Metodo areale per la rappresentazione delle mutabili statistiche» 82 Diagramma polare per la rappresentazione delle mutabili cicliche» 85 Cartogrammi per la rappresentazione delle serie territoriali» 87 Rappresentazione delle variabili statistiche doppie» 90 Cenni sui principali metodi di rappresentazione delle v.s. multiple» 93 Tracciamento automatico dei grafici» 93 Raccomandazioni generali per le rappresentazioni grafiche»

8 Capitolo 5 RAPPORTI STATISTICI Confronto mediante differenze e mediante rapporti pag. 95 Frequenze relative o percentuali» 96 Saggi di incremento e di decremento» 97 Saggio di variazione nel caso di esistenza di un carattere complementare» 98 Rapporti di composizione o di parte al tutto» 99 Rapporti di derivazione» 100 Rapporti di durata» 101 Altri tipi di rapporti» 102 Numeri indici semplici o rapporti indici» 103 Numeri indici complessi» 106 Esempio» 110 Principali numeri indici dei prezzi calcolati dall Istat» 111 Coefficienti di rivalutazione monetaria» 113 Capitolo 6 MEDIE Ricerca della media fissando le quantità invarianti» 117 Media aritmetica» 118 Proprietà della media aritmetica» 122 Abbreviazione del calcolo della media aritmetica» 125 Media geometrica» 126 Proprietà della media geometrica» 129 Media armonica» 130 Media dei rapporti» 132 Media di potenze» 134 Altri tipi di medie: medie lasche» 137 Proprietà della mediana» 141 Influenza dei pesi assegnati alle x i» 145 Influenza dei valori anomali» 146 Ancora sulla scelta della media» 147 Box-plot o diagramma a scatola e baffi 147 Capitolo 7 VARIABILITÀ MISURE DI DISPERSIONE E DI DISUGUAGLIANZA Definizioni di variabilità e di mutabilità» 149 Diversi aspetti dello studio della variabilità» 149 Campo di variazione» 150 Differenza interquartilica» 150 Scostamenti medi per la misura della dispersione intorno a valori caratteristici»

9 Esempio pag. 154 Varianza, devianza e abbreviazione del calcolo di σ» 155 Scarti standardizzati» 157 Scomposizione della devianza» 158 Scostamento medio dalla mediana» 162 Differenza media per la misura della disuguaglianza» 162 Variabilità relativa» 168 Massimo della variabilità» 169 Concentrazione» 172 Esempi» 178 Indici di concentrazione aziendale» 179 Ulteriori considerazioni sugli indici di variabilità» 180 Capitolo 8 ASIMMETRIA, CURVA NORMALE E DISNORMALITÀ Concetto e indici di asimmetria» 183 Distribuzioni empiriche e curve continue» 186 Curva normale» 186 Espressione algebrica della curva normale» 188 Aree della curva normale» 189 Disuguaglianze di Bienaymé e Chebichcff» 193 Concetto e misura della disnormalità» Capitolo 9 RAPPRESENTAZIONE ANALITICA DELLE DISTRIBUZIONI Nozioni introduttive» 201 Scopi della rappresentazione analitica» 204 Perequazione grafica» 206 Perequazione meccanica o a medie mobili» 207 Fasi della rappresentazione analitica» 208 Scelta del tipo di funzione» 209 Conoscenza geometrico-analitica della forma grafica assunta dai dati osservati» 210 Scelta della funzione in base al criterio K di Pearson» 212 Condizioni generali per il calcolo dei parametri» 213 Determinazione dei parametri» 214 Metodo delle ordinate fisse» 214 Metodo delle somme» 218 Metodo delle aree o di Cantelli» 222 Metodo dei momenti» 225 Metodo dei minimi quadrati» 234

10 Determinazione del grado di accostamento pag. 236 Indici di accostamento» 237 Interpolazione mediante splines» 239 Considerazioni finali» 240 Capitolo 10 DIVERGENZA TRA DUE VARIABILI STATISTICHE Valori corrispondenti. Indice di disuguaglianza» 243 Valori cograduati. Indice di dissomiglianza» 244 Tabella di cograduazione» 248 Calcolo dell indice di dissomiglianza nel caso di caratteri divisi in intervalli» 249 Indice semplice di dissomiglianza come misura della distanza tra due distribuzioni» 252 Indice di dissomiglianza relativo» 252 Utilizzazioni dell indice di dissomiglianza» 252 Capitolo 11 CONCETTI GENERALI SULLE RELAZIONI INTERNE TRA LE COMPONENTI DI UNA VARIABILE STATISTICA DOPPIA Distribuzioni in due o più variabili» 253 Concetto di indipendenza in generale» 257 Indipendenza in media» 258 Dipendenza e interdipendenza» 260 Capitolo 12 ANALISI DELLA DIPENDENZA Richiamo storico e significato attuale del termine regressione» 263 Regressione nel caso di v.s. doppie date in forma di serie di coppie di valori» 263 Codevianza, covarianza e formule alternative di calcolo» 267 Regressione del carattere X rispetto al carattere Y» 267 Regressione nel caso di v.s. doppie date in forma di tabelle a doppia entrata» 268 Varianza di regressione» 274 Indice di connessione e rapporto di correlazione» 278 Indice di non linearità»

11 Capitolo 13 ANALISI DELL INTERDIPENDENZA Concordanza e discordanza. Coefficiente di correlazione pag. 281 Su altri significati del coefficiente di correlazione» 286 Considerazioni sul significato di r. Correlazione illusoria e correlazione spuria» 289 Indici di cograduazione» 291 Capitolo 14 REGRESSIONE E CORRELAZIONE PARZIALI E MULTIPLE Relazione tra più variabili» 295 Variabili statistiche multiple» 295 Regressione multipla» 296 Varianza del piano di regressione. Coefficiente di correlazione multipla» 302 Correlazione parziale» 303 Capitolo 15 ANALISI DELLE MUTUABILI STATISTICHE Medie delle mutabili» 307 Indici di mutabilità o di eterogeneità» 308 Disuguaglianza tra mutabili statistiche» 310 Dissomiglianza tra mutabili statistiche» 311 Indici di connessione e di associazione» 313 Indici di connessione e di associazione nelle tabelle tetracoriche» Capitolo 16 ANALISI DELLE SERIE STORICHE Scopi dell analisi delle serie storiche» 320 Rappresentazione grafica delle serie storiche» 321 Medie e variabilità delle serie storiche» 322 Componenti di una serie storica» 322 Tipi di modelli di serie storiche» 324 Scomposizione delle serie storiche nelle varie componenti» 324 Serie storiche stazionarie e serie storiche evolutive» 325 Detrendizzazione» 326 Principali tipi di trend» 326 Destagionalizzazione» 342 Individuazione della componente ciclica» 344

12 Individuazione della componente stagionale pag. 344 Analisi delle periodicità» 348 Analisi di una serie storica stazionaria. Correlogramma» 352 Spettrogramma e periodogramma» 354 Correlazione tra due serie storiche» 356 Indici di concomitanza» 358 Correlazione tra serie storiche di cui l una ritardata rispetto all altra» 359 Considerazioni finali» 359 Capitolo 17 ANALISI DELLE SERIE TERRITORIALI Concetti preliminari» 361 Analisi centrografica» 362 Dispersione territoriale» 365 Decomposizione della dispersione territoriale» 369 Distanza tra circoscrizioni di partenza e circoscrizioni di arrivo» 370 PARTE SECONDA METODOLOGIA DELL INFERENZA STATISTICA Capitolo 18 NOZIONI INTRODUTTIVE ALL INFERENZA STATISTICA Concetti preliminari» 373 Popolazione e campione» 374 Campione casuale» 375 Dimensione del campione» 375 Estrazioni con ripetizione e senza ripetizione. Universo dei campioni» 376 Campione casuale e calcolo delle probabilità» 379 Parametri e statistiche» 380 Distribuzione campionaria delle statistiche» 381 Capitolo 19 VARIABILI CASUALI E LORO DISTRIBUZIONI Probabilità e frequenza. Legge empirica del caso» 383 Probabilità totali e probabilità composte» 385 Problema delle prove ripetute e distribuzione binomiale» 390 Applicazioni riguardanti il problema delle prove ripetute»

13 Variabile casuale e variabile statistica pag. 392 Media e varianza di una variabile casuale» 394 Valori caratteristici della variabile casuale delle prove ripetute o binomiale» 395 Variabile casuale di Poisson» 397 Variabile casuale normale» 400 Teorema del limite centrale» 401 Teorema di De Moivre e Laplace» 402 Variabile casuale χ 2 di Pizzetti-Pearson» 403 Derivazione della variabile casuale χ 2 con un grado di libertà» 405 Additività della variabile casuale χ 2» 406 Variabile casuale T di Student» 407 Derivazione della variabile casuale T di Student» 408 Variabile casuale F di Snedecor-Fisher» 409 Derivazione della variabile casuale F di Snedecor-Fisher» 410 Alcuni teoremi sulle distribuzioni di probabilità» 411 Capitolo 20 LOGICA E TECNICHE DELL INFERENZA Problema inverso» 413 Tipi di problemi inferenziali» 415 Stima dei parametri» 415 Stima puntuale con il metodo della massima verosimiglianza» 420 Intervallo di confidenza» 423 Verifica statistica delle ipotesi» 425 Capitolo 21 PROBLEMI DI INFERENZA SU MEDIA Considerazioni preliminari sulla stima di una media» 431 Stima puntuale della media di una popolazione» 431 Intervalli di confidenza per la media di una popolazione» 432 Numerosità del campione per la stima di una media» 436 Verifica dell ipotesi sul valore della media di una popolazione» 438 Confronto fra le medie di due campioni» Capitolo 22 PROBLEMI DI INFERENZA SU PERCENTUALI Considerazioni preliminari» 447 Stima puntuale della percentuale» 447

14 Intervalli di confidenza per la frequenza pag. 448 Numerosità del campione per la stima di una frequenza» 450 Verifica dell ipotesi sul valore di una frequenza» 452 Verifica della differenza fra due frequenze» 457 Capitolo 23 PROBLEMI DI INFERENZA SU VARIANZE Stima puntuale della varianza σ 2» 461 Intervalli di confidenza per la varianza σ 2 di una popolazione» 462 Verifica dell ipotesi sul valore della varianza σ 2 della popolazione» 465 Confronto fra le varianze di due popolazioni» 468 Analisi della varianza» 470 Capitolo 24 PROBLEMI DI INFERENZA SUI COEFFICIENTI DI REGRESSIONE E DI CORRELAZIONE Generalità sulla stima puntuale dei coefficienti di regressione β e di correlazione ρ di una popolazione» 473 Modello lineare» 473 Stima puntuale del coefficiente di regressione» 474 Intervallo di confidenza per il coefficiente di regressione» 476 Verifica di ipotesi formulate sul valore del coefficiente di regressione» 479 Significatività della differenza fra due coefficienti di regressione» 480 Variabile casuale normale doppia» 483 Stima del coefficiente di correlazione» 487 Intervallo di confidenza per il coefficiente di correlazione» 489 Verifica di ipotesi formulata sul valore del coefficiente di correlazione» 490 Significatività della differenza tra due coefficienti di correlazione» 492 Capitolo 25 VERIFICA DI IPOTESI INDIPENDENTI DALLA DISTRIBUZIONE DELLA POPOLAZIONE Considerazioni preliminari» 495 Metodi svincolati dalla forma della distribuzione» 496 Conformità di un campione di osservazioni ad un modello teorico (Goodness of fit)» 497 Test di Kolmogorov» 499 Confronto fra due campioni» 504 Test dell X 2»

15 Test di Smirnov pag. 506 Altri test di omogeneità di due campioni» 509 Utilizzazione degli indici di conformità ed omogeneità per la verifica della normalità e della simmetria» 510 Verifica dell indipendenza per mezzo dell X 2» 511 Verifica dell indipendenza con gli indici di cograduazione» 512 APPENDICE (Tavole)» 515 Bibliografia»