Statistica computazionale. Informazioni sul docente. Parte I. Informazioni preliminari. Stefano Tonellato. Anno Accademico

Transcript

1 Statistica computazionale Stefano Tonellato Dipartimento di Statistica Università Ca Foscari Venezia Anno Accademico sul docente Parte I preliminari Nome: Stefano Tonellato stone@unive.it (= stefano.tonellato@unive.it) Orario di ricevimento: Giovedì dalle ore 13:30 alle ore 16:30; Dipartimento di Statistica, primo piano, studio n. 19 Telefono: vietato, a meno di casi di straordinaria gravità (pericolo di morte, guerra, invasione di marziani o apparizione di fantasmi)

2 Prerequisiti Modalità d esame 1 Prova al computer (esercizi) 2 Prova orale (discussione della prova al computer, accertamento della comprensione dei concetti fondamentali) Statistica I e Statistica II (propedeutici) Matematica I e Matematica II (contenuti dati per noti) Programma del corso Riferimenti bibliografici 1 Concetti fondamentali per l uso del software statistico R. 2 Modelli di regressione (non lineari). 3 Metodi di ottimizzazione. 4 Esempi su dati reali. Testo di riferimento T. Hastie, R. Tibshirani and J. Friedman. The Elements of Statistical Learning. Data Mining, Inference and Prediction. Springer, N.Y. 2001, cap. 1,2,3,4,7. P. Mantovan. Stima dei modelli. In: mantovan/

3 Scopi del corso Parte II Introduzione Introdurre alcune problematiche importanti nelle applicazioni reali, con particolare enfasi sugli aspetti legati al calcolo. Quando un azienda chiede un finanziamento ad una banca, è possibile valutarne la solvibilità sulla base di alcune sue caratteristiche? Possiamo prevedere l andamento del fatturato di un prodotto? Un vettore reale di dimensione n (x R n ) è una colonna di n numeri reali: x1. x = xi. xn Il trasposto di x, x, è dato da: x = [x1,..., xi,... xn] Dati due vettori reali, x e y, di dimensione n, il prodotto scalare tra di essi è definito come: Esempio x = [1, 2, 3], y = [5, 1, 6], x y = = 25 n x y = xiyi i=1

4 Il vettore y R n è una combinazione lineare di x1,... xm R n se m y = cjxj, cj R, j = 1,..., m m vettori di dimensione n si dicono linearmente indipendenti se m cjxj = 0 Osservazione Se esistessero dei coefficienti cj diversi da 0, tali che m cjxj = 0, allora uno qualsiasi degli m vettori sarebbe combinazione lineare degli altri m 1. Supponiamo che cm 0: m m 1 m 1 cjxj = 0 cmxm = cjxj xm = cj xj con cj = cj/cm. solo se cj = 0, j = 1,..., m Una matrice di dimensione m n, A R m n, è insieme di numeri reali ordinati in m righe e n colonne: a1,1... a1,j... a1,n. A = ai,1... ai,j... ai,n. am,1... am,j... am,n il termine ai,j rappresenta il numero reale che si trova sulla i-esima riga e sulla j-esima colonna di A Una matrice quadrata di ordine n è una matrice con n righe e n colonne La matrice trasposta di A R m n, A R n m è tale che a i,j = aj,i Esempio Se A R m n e x R n, allora con yi = n Ax = y R m, ai,jxj, i = 1,..., m 1 3 [ ] =

5 Esempio Se A R m n e B R n k, allora con ci,j = n s=1 AB = C R m k ai,sbs,j, i = 1,..., m; j = 1,..., k. A = B = C = [ ] Se A e B sono due matrici di dimensione m n e C è una matrice di dimensione n k, allora (A + B)C = AC + BC A matrice quadrata di ordine n Se esistono un numero (reale o complesso), λ, e un vettore di dimensione n (reale o complesso), x, tali che: Ax = λx, λ e x sono rispettivamente un autovalore e un autovettore di A Una matrice di dimensione n ha sempre n autovalori, non necessariamente distinti Gli autovalori di una matrice quadrata simmetrica sono sempre reali

6 Una matrice quadrata, A di ordine n si dice non singolare se le sue righe (e le sue colonne) sono linearmente indipendenti. Una matrice quadrata, A di ordine n è non singolare se i suoi autovalori sono tutti diversi da zero Se A è una matrice quadrata non singolare di ordine n, allora esiste ed è unica la sua matrice inversa, A 1 tale che AA 1 = A 1 A = I Una matrice quadrata simmetrica di ordine n, A, si dice definita positiva se x Ax > 0 x R n, x 0. Una matrice quadrata simmetrica di ordine n, A, è definita positiva se e solo se i suoi autovalori sono tutti positivi Una matrice quadrata simmetrica di ordine n, A, si dice semidefinita positiva se x Ax 0 x R n, x 0. Una matrice quadrata simmetrica di ordine n, A, è semidefinita positiva se e solo se i suoi autovalori sono tutti non negativi Una matrice quadrata simmetrica di ordine n, A, si dice definita negativa se x Ax < 0 x R n, x 0. Una matrice quadrata simmetrica di ordine n, A, è definita negativa se e solo se i suoi autovalori sono tutti negativi Una matrice quadrata simmetrica di ordine n, A, si dice semidefinita negativa se x Ax 0 x R n, x 0. Una matrice quadrata, A di dimensione n, simmetrica e definita positiva può sempre essere fattorizzata come: A = A 1/2 A 1/2 (decomposizione di Cholesky), con A 1/2 matrice quadrata di ordine n non singolare. Ne segue che A 1/2 AA 1/2 = A 1/2 A 1/2 A 1/2 A 1/2 = I Una matrice quadrata simmetrica di ordine n, A, è semidefinita negativa se e solo se i suoi autovalori sono tutti non positivi

7 Funzioni di più variabili Funzioni di più variabili f (x), x R n funzione da R n a R [ ] f (x) f (x) f (x) f (x) gradiente: =,...,,..., x x1 xi xn Matrice hessiana: f (x) H(x) = x x, matrice quadrata simmetrica di ordine n con f (x) hi,j =, i, j = 1,..., n xi xj Sia x R n un punto in cui f (x) sia derivabile. Se f (x) x = 0 x e H(x f (x) ) = x x definita negativa, x allora x è un punto di massimo locale per f (x). Funzioni di più variabili Funzioni di più variabili Sia x R n un punto in cui f (x) sia derivabile. Se f (x) x = 0 x e H(x f (x) ) = x x definita positiva, x allora x è un punto di minimo locale per f (x). f (x) = x1 2 + x2 2, 1 < x1 < 1, 1 < x2 < 1 f (x) = [2x1, 2x2] x [ ] f (x) 2 0 H(x) = x x = 0 2 quindi x = 0 è un punto di minimo.

8 z Figura 1: Grafico di f (x, y) Variabili casuali multivariate Sia X = [X1,..., Xi,..., Xn] x y un vettore di variabili casuali. Con Xi indichiamo la i esima variabile del vettore. Poniamo E(Xi) = µi, Var(Xi) = σi 2 > 0 e Cov(Xi, Xj) = E[(Xi µi)(xj µj)] = σi,j Corr(Xi, Xj) = E[(Xi µi)(xj µj)] = σi,j = ρi,j σi, σj Variabili casuali multivariate Variabili casuali multivariate Vettore media E(X) = µ = [µ1,..., µi,..., µn] Matrice di varianze e covarianze ΣX: { σ 2 ΣXi,j = i se i = j i, j = 1,..., n σi,j se i j Se Y = AX + b con A R n n e b R n, E(Y) = Aµ + b ΣY = AΣXA Σ è simmetrica e semidefinita positiva

9 La matrice dei dati La matrice dei dati Disponiamo di un campione di n unità statistiche: i = 1,..., n; Su ogni unità statistica osserviamo la determinazione di k variabili, X1,..., Xk; Su ogni unità statistica osserviamo un vettore di k determinazioni: x i = [xi,1,..., xi,k], ovvero xi,j rappresenta la determinazione della variabile Xj sull unità statistica i-esima. I dati sono raccolti nella matrice X di dimensione n k: ogni riga corrisponde ad una unità statistica ogni colonna corrisponde ad una variabile. x1,1... x1,j... x1,k x 1.. X = xi,j... xi,j... xi,k = x i.. xn,1... xn,j... xn,k x n Standardizzazione dei dei dati Standardizzazione dei dati Possiamo definire la media campionaria della j-esima variabile come: xj = 1 n n i=1 xi,j Il vettore delle medie campionarie delle k variabili è definito come: x = 1 n n i=1 xi, x Rk. La varianza campionaria della j-esima variabile è definita come: var (Xj) = 1 n i=1 (xi,j xj)2 n La covararianza campionaria tra Xj e Xs, j, s = 1,..., k, è definita come cov (Xj, Xs) = 1 n i=1 (xi,j xj)(xi,s xs) n La matrice varianze-covarianze campionarie è definita come { ˆΣi,j = cov (Xi, Xj) se i j. var (Xi) se i = j ed è simmetrica e semidefinita positiva. Definiamo la matrice Γ tale che: 1 se i = j Γi,j = var (Xi) 0 se i j

10 Standardizzazione dei dati Definiamo X = [In 1n ] 11 X (il vettore 1 ha dimensione n e tutti i suoi elementi sono uguali a 1). Le variabili nella nuova matrice dati avranno tutte media campionaria nulla. Definiamo X = XΓ Le variabili nella nuova matrice dati avranno tutte media campionaria nulla e varianza campionaria uguale a 1.