Percorsi didattici, interdisciplinari ed innovativi per la Statistica Maurizio Vichi Sapienza Università di Roa Presidente Federazione Europea delle Società azionali di Statistica Scuola Estiva di Mateatica per i Docenti delle Scuole Secondarie di Grado Montegrotto Tere, -5 Luglio 04
La Statistica è ultidisciplinare. Si utilizza per valutare una nazione oderna (statistica ufficiale);. E utile nelle scienze sperientali (fisica, chiica, biologia ) perché si basa sui principi galileiani di osservazione e raccolta dati e definizione di un odello, verifica del odello. Ad esepio si usa per onitorare il nostro habitat, isura i cabiaenti di clia, e per le previsioni eteo; 3. E essenziale nelle aziende per isurare l andaento del business, la qualità della produzione e il arketing (valutazione di efficacia efficienza, soddisfazione) 4. E utile nella edicina per valutare l efficacia dei trattaenti e prevenire alattie, per lo studio del genoa 5. Rappresenta una nuova conoscenza di base nelle società oderne Conoscenza: saper leggere e interpretare e sintetizzare la realtà che ci circonda. Statistico aziendale, Statistico finanziario, Statistico gestionale Attuario Statistico ufficiale Statistico Valutatore Statistico Coputazionale Tecnologo nella sperientazione Deografo Statistico Sociale Biostatistico Epideiologo Statistico Medico Econoetrico Risk Manager Esperto di Marketing Mondo del lavoro Statistico abientale. 0
Coe insegnare la statistica insiee ad altre aterie La Statistica è forteente ultidisciplinare Il prof di ateatica che insegna la statistica può essere al centro di un progetto didattico ultidisciplinare E di ausilio a olte aterie scolastiche Statistica e Mateatica; L uso dell algebra delle atrici per insegnare statistica Statistica e Inforatica; La realizzazione di una indagine statistica Statistica e Fisica (o altre scienze dure); L osservazione e la isurazione dei dati di un esperiento 3
Indagine statistica: Schea ER Questionario Base-dati (file) Matrice Dati Uso di ACCESS per la costruzione delle BASE DATI dell Indagine Statistica Schea ER del fenoeno sesso età Individuo Titolo di studio Acquisto quotidiani Questionario individuale Età Reddito ensile EUR Consuo ensile.. EUR Reddito ensile Consuo ensile 3 Base dati ediante ACCESS e aschera di input Dati 4 Matrice dei dati 4
L algebra delle Matrici Per calcolare i principali indici statistici Distribuzioni di frequenze seplici e doppie Media aritetica e vettore delle edie Varianza Covarianza Matrice di varianze e covarianze Matrice di correlazione Retta di regressione 5
. Matrici, Vettori Definizione Matrice: Una atrice X è una tabella rettangolare forata da ( ) eleenti (oggetti, nueri, atrici). Il nuero di eleenti ( ) rappresenta la diensione della atrice. La atrice X può essere vista coe un insiee di righe (righe orizzontali) o un insiee di colonne (righe verticali). Le atrici più diffuse in statistica sono costituite da nueri appartenenti al capo dei reali. Una atrice X è descritta da una lettera aiscola in grassetto, e si scrive equivalenteente nei seguenti odi X = [ i : i=,,; =,,], X = [ i ] ( ), X = i i I i I i. 6
Vettore: Un vettore è una particolare atrice avente una sola colonna, ossia, di diensione ( ). Un vettore è descritto da una lettera inuscola in grassetto ed è scritto coe segue =. Talvolta il vettore viene rappresentato coe una riga, ossia è trasposto e si scrive ' = [,, ].. Operazioni su atrici e vettori, proprietà e principali risultati Addizione e sottrazione di due atrici X = [ i ] ( ) e Y =[ i ] ( ), dove Z = X ± Y, Z = [z i = i ± i ] ( ). Proprietà coutativa della soa X ± Y = Y ± X. Proprietà associativa della soa (X ± Y) ± Z= X ± (Y ± Z). Moltiplicazione di una atrice X = [ i ] ( ) per uno scalare a ax = Xa = [a i ]. Proprietà associativa del prodotto di una atrice per uno scalare (ab)x=(a)bx. Proprietà distributiva della soa a(x ± Y) = (ax ± ay). 7
8 Moltiplicazione di due vettori (Prodotto scalare) = [ i ] ( ) ed =[ i ] ( ), =[,,, ] = + + + Proprietà = [ i ] ( ), =[ i ] ( ),. ' = '; 3. (a)'(b) = ab '; 4. ( + )'z = 'z + 'z; 5. ( + )'(w + z) = '(w + z) + '(w + z). ora di un vettore = [ i ] ( ) : = ' = = i i 0 è il quadrato della distanza Euclidea dall origine Moltiplicazione di due vettori (Prodotto atriciale) = [ i ] ( ) e =[ i ] ( ) : = [,,, ] =. Moltiplicazione di due atrici (riga per colonna) X = [ i ] ( ) ed Y =[ i ] ( H) : XY = = i i = [ ] =,,...,. ( ) ( )
Trasposta di X = [ i ] ( ) : X = = La atrice trasposta di X si denota con un apice o con una T ad esponente (Xꞌ o X T ) ed è la atrice in cui le colonne diventano righe e le righe diventano colonne. Proprietà X = [ i ] ( ), Y =[ i ] ( ), a scalare. (X + Y) = X + Y;. (ax) = ax; 3. (XY) = YX; 4. (X) = X; 5. (X) + = (X + ) 6. rk(x) = rk(x); 7. XX e XX sono sietriche; 8. [X Y] = XX YY ; X = [ i ] ( ), Y =[ i ] ( H) 9. (XY) = YX; X = [ i ] ( ), Y =[ i ] ( H), Z = [z i ] ( P), W =[w i ] ( H) XX YY. ZZ WW = XX ZZ YY WW. 9
Rango di una atrice X = [ i ] ( ), si denota con rk(x) è il assio nuero di righe o colonne di X linearente indipendenti. Traccia di una atrice X = [ i ] ( ) : tr(x) = i= Proprietà ii X = [ i ] ( ), Y =[ i ] ( ),. tr(xy) = tr(yx);. tr(xx + ) = rk(x); X = [ i ] ( ), Y =[ i ] ( ), a scalare 3. tr(x ± Y) = tr(x) ± tr(y); 4. tr(ax) = a tr(x); 5. tr(x) = tr(x). ora di una atrice X = [ i ] ( ) :. ora Euclidea : X = ( X' X) tr = i =. ora di Mahalanobis: X W = tr ( X' WX) W è definita positiva. Spesso W= Σ X, l inversa della atrice di varianze e covarianze di X. Proprietà X = [ i ] ( ), Y =[ i ] ( ), a scalare. Se X 0, X > 0;. ax = a X ; 3. X + Y = X + Y. i, dove 0
Deterinante di X = [ i ] ( ), det(x) = X = ( ) σ ( i) σ i= P sng σ i dove la soa si riferisce a tutti i possibili prodotti ciascuno dei quali e forato da un eleento per ciascuna riga di X. I possibili prodotti sono pari alle perutazioni P ed il prodotto è preso con il segno negativo o positivo a seconda che la perutazione σ sia dispari o pari. deterinante di una atrice det(x) = = ; deterinate di una atrice 3 3 det(x) = 3 3 3 3 33 = 3 3 3 3 33 3 3 = 33 + 3 3 + 3 3-3 3-3 3-33. Proprietà X = [ i ] ( ), a scalare. det(ax) = a det(ax);. det(x') = det(x); 3. Se X è non singolare det(x - ) = det(x) - ; 4. rk(x) <, allora det(x) = 0; 5. rk(x) =, allora det(x) 0; X = [ i ] ( ), Y =[ i ] ( ), 6. det(xy) = det(x) det(y);
Matrice identità: I, ( ), I = 0 0. Rappresenta l eleento neutro del prodotto di atrici. Ovvero per X = [ i ] ( ), XI = I X = X. Matrice diagonale di X = [ i ] ( ) : dg(x) = 0 0 = = [ i ] ( ), diag() = diag( ) = 0 0. Matrice Indicatrice X = [ i ] ( K), se è ad eleenti binari e tale che X K =, ossia ogni riga di X ha un solo eleento diverso da zero. Proprietà. X indicatrice XX = diag(), dove = X ;. X indicatrice noralizzata : X n = X(XX) -/ è ortogonale, ovvero X n X n = I K Matrice Inversa di X = [ i ] ( ), con deterinante det(x) 0 (non singolare o invertibile) X - ( ) : X - X = I Proprietà X = [ i ] ( ), Y =[ i ] ( ), a scalare. (XY) - = Y - X - ;. (ax) - = a - X - ; 3. X - = X - ; 4. (diag(,, )) - = diag(,, ). Matrice Inversa di Moore-Penrose di X = [ i ] ( ) : X + ( ) : XX + X = X; X + XX + = X + ; (XX + ) = XX + ; (X + X) = X + X; Proprietà. X + esiste ed è unica;. (X + ) + = X; 3. (X) + = (X + ); 4. rk(x) = X + = (XX) - X; 5. rk(x) = X + = X (XX) - ; 6. XXX + = X; 7. X + XX = X; 8. X(X + )X + = X + ; 9. X + (X + )X = X + ; 0. (XX) + = X + (X + );. (XX) + = (X + )X + ;. XX + e X + X sono idepotenti. Matrice X = [ i ] ( ) idepotente XX = X. Matrice ortogonale: X = [ i ] ( ), con deterinante det(x) 0 (non singolare) è ortogonale se X = X -. Proprietà. X ortogonale XX = XX = I ;. X ortogonale X ortogonale; 3. X ortogonale X - ortogonale; 4. Una atrice di perutazione è ortogonale; 6. La atrice indicatrice è ortogonale.
. Le strutture statistiche dei dati Alla base di una copleta conoscenza statistica (quantitativa) di un fenoeno in tutte le sue anifestazioni, vi è, una popolazione o universo, che supponiao costituita da un nuero finito di unità statistiche. Si supponga di poter osservare o isurare su tale una popolazione variabili statistiche.. La atrice dei dati Le odalità delle variabili sono disposte in una atrice dei dati di diensione ( ), X = =[ i : i=,,; =,,], ( ) i i i i I I dove l eleento i rappresenta la odalità della variabile -esia osservata o isurata sull unità i-esia. In pratica, i dati osservati, o isurati, sono organizzati in fora tabellare secondo due odi: le unità statistiche e le variabili, che rappresentano rispettivaente le righe e le colonne di X. La atrice dei dati X può essere vista coe un insiee di colonne di dati, ovvero, coposta da vettori di diensione ( ), che rappresentano le variabili, X = [.,.,,.,,. ], dove in particole con. si indica il vettore associato alla variabile -esia, che si scrive. = ( ) = [ i : i=,..,]. 3
Più frequenteente la atrice dei dati è vista coe un insiee di righe, ovvero, vettori ( ), che rappresentano le unità statistiche. Queste rappresentano un insiee di osservazioni ultivariate X = [.,.,, i.,,. ], dove in particolare con i. si indica il vettore associato all unità statistica i-esia, che si scrive i i. = i = [ i : =,..,]. ( ) i.. Variabili qualitative el caso la variabile X sia qualitativa (o categoriale) ed assua un nuero finito di diverse odalità (categorie), queste ultie possono essere arbitrariaente codificate con i prii nueri interi da a che sono riportati nel vettore. Ciò non corrisponde ad una quantificazione del carattere qualitativo che riane tale, a sepliceente una convenzione usata con il solo scopo di seplificare la scrittura dei dati; infatti, le odalità qualitative sono sostituite con dei nueri scelti arbitrariaente. Ciò generalente aiuta a iniizzare gli errori di registrazione dei dati sui supporti inforatici. 4
Le variabili qualitative con odalità (variabili categoriali) ( > ) possono essere codificate in fora binaria associando ad ogni variabile X una atrice indicatrice B questa volta di diensioni ( ). Le colonne di B corrispondono alle odalità che la variabile X può assuere. Ogni unità avrà valori di cui ( -) pari a zero e il rianente uguale a. Se l unità assue la odalità l-esia allora l è posizionato nella colonna l-esia. Anche in questo caso si ha che la soa di ogni riga è paria ad, ossia B =. La atrice X =[.,.,,.,,. ] relativa a variabili qualitative X (=,,) avrà associata la atrice indicatrice a blocchi B = [B, B,, B ], di diensioni ( L) dove L= = per riga costante e pari a. Infatti, si ha B L =,. La atrice B ha la proprietà di avere soa ovvero la soa si ogni riga di B è paria a. In generale si ha che B = B B, ovvero la soa delle colonne di B sono pari alle frequenze delle odalità della variabile X. Infatti, B B = diag( B ), è una atrice diagonale i cui eleenti non nulli sono pari alle frequenze delle odalità della variabile X. Si noti che dalla variabile qualitativa codificata in fora binaria B si ritorna al vettore ediante la seguente espressione = B. dove gli eleenti di sono le codifiche nueriche delle odalità qualitative. 5
. Le distribuzioni di frequenze seplici Data la variabile qualitativa X che presenta diverse odalità, riportate nel vettore =[,,, ]' la distribuzione di frequenze della variabile è Modalità Frequenze n n k n k n Totale Per scriverla in fora copatta si consideri la atrice binaria B associata al vettore, la distribuzione seplice di frequenze è rappresentata dalla coppia di vettori (, c ), con c = B B, ( ) dove c =[ n k cui eleenti : k=,, ] è il vettore delle frequenze assolute di diensione ( ) i n sono le frequenze assolute delle unità che presentano la odalità k- k esia della variabile -esia. Dalle frequenze assolute si passa alle frequenze relative ediante la seguente espressione che rappresenta il vettore delle frequenze relative rc = ( c )- c = ( B B ) - B B, ( ) dove r c =[ f k : k=,, ] è un vettore di diensione ( ) i cui eleenti fk sono le frequenze relative delle unità che presentano la odalità k-esia della variabile -esia. 6
Date due variabili qualitative X e X con ed diverse odalità riportate nei vettori e, la tabella di contingenza relativa alle due variabili si scrive Modalità Modalità n n n n Totale riga n n. n n. n n n Totale colonna n. n. n n. La distribuzione doppia espressa in fora atriciale, considerando le atrici binarie B e B, associate a X e X, si scrive X X \ C c c dove c e c sono i vettori delle frequenze arginali della tabella doppia; in e sono riportate le odalità delle variabili X e X. La tabella doppia è sinteticaente rappresentata dalla distribuzione delle frequenze, ovvero dalla atrice delle frequenze assolute C, con C = B B, ( ) dove C =[ eleenti nk l n k l : k=,, ; l=,, ] è una atrice di diensioni ( ) i cui sono le frequenze assolute delle unità che presentano la odalità k-esia ed l-esia rispettivaente delle variabili X ed X. 7
Dalle frequenze assolute si passa alle frequenze relative di riga, e quindi alla tabella di contingenza noralizzata per riga ediante la seguente atrice delle frequenze relative di riga rc = ( B B ) - C = ( B B )- + B B = B B, ( ) dove r C =[ f : k=,, ; l=,, r k l ] è una atrice di diensioni ( ) i cui eleenti r f k l (l=,, ) sono le frequenze relative (di riga) delle unità al variare della odalità l-esia della variabile -esia, e della odalità k-esia delle variabili - esia. + La atrice B è la atrice inversa di Moore-Penrose di B supposta di rango assio (generalente pari a ). Analogaente la tabella di contingenza noralizzata per colonna, ove cioè le colonne sono frequenze relative è rappresentata dalla atrice delle frequenze relative di colonna cc = C ( B B ) - = B B ( B B ) - + = B B ' = ( B ( ) + B )', dove c C =[ c f k l : k=,, ; l=,, ] è una atrice di diensioni ( ) i cui eleenti f (k=,, c k l ) sono le frequenze relative (di colonna) delle unità al variare della odalità k-esia della variabile -esia e della odalità l-esia delle variabili - + esia. La atrice B è la atrice inversa di Moore-Penrose della atrice B supposta di rango assio. Infine, la tabella di contingenza noralizzata per il nuero totale di unità si ottiene dividendo le frequenze assolute per il nuero di unità; in tal caso la atrice delle frequenze relative al totale delle unità è TC = - C = [ T f k l : k=,, ; l=, l ]. ( ) 8
. La edia Il valore atteso E(X ) della variabile aleatoria X è la edia aritetica µ delle odalità, riportate nel vettore, osservate sulle unità statistiche della popolazione sulle quali si anifesta X E(X ) = µ = ( ) = + = =, dove è un vettore a coponenti unitarie, ossia il vettore -diensionale = [,,,]'.. Il vettore delle edie Il valore atteso E() del vettore aleatorio è il vettore delle edie aritetiche delle variabili aleatorie X, X,, X, ossia il vettore le cui coponenti sono i valori attesi o edie µ delle odalità, riportate nella atrice X, osservate sulle unità statistiche della popolazione, E() = µ X = E[X, X,, X ] = [E(X ), E(X ),, E(X )] ( ) =[µ, µ,, µ,, µ ] µ X = ( ) X ( ) X = ( ) = X = ( ) + X.,,..., = [.. ] = [µ, µ,, µ ]. Il vettore delle edie si può scrivere anche a partire dal vettori delle osservazioni ultivariate.,.,, i.,,., µ X = ( ) X,...,. = [. ] = i = [µ, µ,, µ ],. i=
.3 Il vettore delle edie delle distribuzioni parziali Quando si osserva una variabile quantitativa X e una variabile qualitativa X con associata atrice indicatrice B, per le distribuzioni parziali della variabile X condizionataente alle odalità della variabile X si possono calcolare le edie che possono essere disposte nel vettore delle edie condizionate µ = [µ, µ, µ ] = ( B B ) - ( ) B = + B. Il vettore delle edie capionarie delle distribuzione parziali di X condizionataente alle odalità di X per le n osservazione capionarie ultivariate.,.,, i.,,.4 La varianza La varianza Cov(X ) = σ (che si scrive anche con la notazione ) della variabile aleatoria X è Cov(X ) = E(X - µ ) = σ. La varianza della variabile -esia si scrive a partire dal vettore degli scarti c associato alla variabile -esia σ = c c = ( µ )' ( µ ) = ' = = I ' I =, dove c = µ è il vettore degli scarti dalla edia aritetica. Dalla precedente espressione si ricava anche σ =. Infine, la varianza σ si può calcolare anche coe nora euclidea del vettore, ossia σ = c. σ 0
.9 La covarianza La covarianza Cov(X, X ) = σ tra le variabili aleatorie quantitative X, X si scrive σ = c c = ( ) ( ) µ µ = = = I I ' =. Dalla precedente espressione si ricava anche σ =..0 Il coefficiente di correlazione r = σ σ σ = =.
. La atrice di varianze e covarianze Le varianze e le covarianze tra le coppie di variabili si possono disporre nella atrice di varianze e covarianze quadrata X di diensione, sietrica. σ σ... σ X = σ σ... σ. ( ) σ σ... σ La atrice di varianze e covarianze si ricava a partire dalle osservazioni ultivariate, X = Cov() = E( - µ X )( - µ X ) = [ ][ ]. μx,. μx,...,. μx. μx,. μx,...,. μx = ( i. μx )( i μ X ) = i. i - µ X µ X,. i=. i= essendo XX = [.,.,,. ][.,.,,. ] = i. i.. La atrice di varianze e covarianze si ottiene a partire dalla atrice X centrata X = XX c c = X X. La atrice di varianze e covarianze si può ricavare a partire dai vettori.,.,,.,,. associati alle variabili, X = X X = [.,.,...,. ] [.,.,...,. ]........... = [.,.,...,. ] =................................... La atrice di covarianza essendo X = X X si può anche scrivere essendo = I X = X ( I )X = X X - X X = X X - µ X µ X. i=
. La atrice di correlazione I coefficienti di correlazioni tra le coppie di variabili si possono disporre nella atrice di varianze e covarianze quadrata R di diensione, sietrica e seidefinta positiva. R X = ( ) r r r r......... r σ. La atrice di correlazione si ottiene R X = D - X D -, ( ) ( ) dove: D = dg(σ, σ ) è una atrice diagonale che ha gli eleenti non nulli pari agli scostaenti quadratici edi delle variabili. Dalla atrice di correlazione si ricava la atrice di varianze e covarianze X = D R X D. ( ) 3
.3 Il Chi-quadrato La dipendenza fra due variabili qualitative X ed X coe è noto si isura ediante il chi-quadrato verificando la dissiilarità tra la tabella di contingenze osservata C e quella di indipendenza r c r c, dove r c h =( c h ) - c h =( h B h hbh ) - B B h h h, (h=, h ) sono le distribuzioni delle frequenze relative delle due variabili X e X. Il chi-quadrato espresso coe quadrato delle distanza euclidea tra la tabella osservata e la tabella di indipendenza si scrive Il chi-quadrato n n. l n ( T fkl T fk. T f. l ) = k = l= T fk. T f. l = 3 tr[( B B ) ( TC - rc r c ) ( B B ) ( TC - rc r c )] k. kl χ = n k = l= k n.. l χ tra le variabile qualitative X e X si scrive anche n χ = kl k = l= nk. n. l + = (tr( rc C c ) -) = (tr( B B B + B )-) = (tr( PB P B ) -), dove P B = B ( B B ) - + B = B B è una atrice di proiezione della atrice B e nella precedente espressione si è utilizzata la proprietà circolare della traccia del prodotto di tre atrici A, B, C: tr(abc)=tr(bca)=tr(cab). Possiao anche scrivere χ = n ( c c ) ( B B ) ( c c ) k. r k r r k k = = n ( c c ) ( B B ) ( c c ). l r l r r l r. l= Le ultie due espressioni del chi-quadrato individuano due odi alternativi per definire l indipendenza ovvero che le distribuzioni parziali sono siili ovvero le distribuzioni parziali delle frequenze relative di riga sono tra loro uguali e quindi uguali a quelle della distribuzione arginale, foralente r c l = r c per l=,,, r c k = r c per k=,,. r
Statistica e Fisica La statistica per un fisco sperientale è uno dei principali struenti di lavoro - rilevazione statistica per la realizzazione di un esperiento di fisica, chiica, edicina - Rilevazione dei dati - Randoizzazione dell esperiento - Piano degli esperienti (caso controllo, disegno ottio) (Biostatistica) Replicazione, blocking (gruppi), Otogonalità (confronto) ESEMPIO: Rilevazione dati di un esperiento sulla relazione fra variabili Esperiento volue dell acqua in un beaker graduato e l altezza della colonna isurata in c con un righello graduato Misurazione rappresentazione grafica interpolazione con una funzione lineare dei dati isurati retta di regressione (uso ecell) 5
SOFTWARE Ecel ACESS Matlab o Scilab R 6
Microsoft Ecel 7
Il software Matlab o Scilab o GU Octave Software coerciale Software libero facilente scaricabile 8
Il software R http://www.r-proect.org/ R è un abiente «open source» di sviluppo specifico per l'analisi statistica dei dati che utilizza un linguaggio di prograazione derivato Si possono trattare atrici e vettori che sono gli struenti di base della statistica ultivariata. - Esistono packages per ogni analisi statistica conosciuta anche olto avanzata. 9
IDICI STATISTICI coe ALGORITMI di CALCOLO - indicatori di sintesi dei dati: edie, indici di variabilità di correlazione, di regressione viste coe algoriti di calcolo Mr = r n n r i i= Progra MediaVettore; Uses Crt; Const Ma=30; Var V:ARRAY [..Ma] OF integer; Di,i,Tot:integer; Med:real; Begin Clrscr; Writeln ('Prograa per calcolare il valore edio di un vettore nuerico'); REPEAT writeln; Write('Inserisci la diensione del vettore: '); Readln (); Writeln; UTIL (>=) AD (<=Ma); FOR i:= TO DO Begin Write ('Dai il nuero di posizione ',i,': '); Readln (VEC[i]); End; SOM:=VEC[]; Med:=0; FOR i:= TO DO SOM:=SOM+VEC[i]; Med:=(SOM/); Writeln ('La edia è: ',Med:5:); Readln; End. 30
Statistica e Fisica (o altre scienze dure) La statistica per un fisco sperientale è uno dei principali struenti di lavoro - rilevazione statistica per la realizzazione di un esperiento di fisica, chiica, edicina - Rilevazione dei dati - Randoizzazione dell esperiento - Piano degli esperienti (caso controllo, disegno ottio) (Biostatistica) Replicazione, blocking (gruppi), Otogonalità (confronto) ESEMPIO: Rilevazione dati di un esperiento sulla relazione fra variabili Esperiento volue dell acqua in un beaker graduato e l altezza della colonna isurata in c con un righello graduato Misurazione rappresentazione grafica interpolazione con una funzione lineare dei dati isurati retta di regressione (uso ecell)