Elementi di Econometria. Riccardo (Jack) Lucchetti

Transcript

1 Elementi di Econometria Riccardo (Jack) Lucchetti 2 ottobre 2014

2 2

3 Premessa (per chi è già del mestiere) Questo non è un vero libro di econometria. È un libro per bambini. Ma è anche un esercizio di acrobazia. Se ci fate caso, questa dispensa non contiene le parole stimatore, test, né alcun altro concetto di tipo probabilistico-inferenziale. Ciò di cui parleremo sono solo ed esclusivamente statistiche descrittive, che hanno la proprietà di fornire una sintesi (ottimale da un certo punto di vista) dei dati. Il problema, tipicamente inferenziale, di usare i dati per parlare del mondo qui non ci sfiora. Qui affronteremo soltanto il problema di usare i dati per parlare dei dati, evitando accuratamente le perigliose acque del Mare dell Induzione. La scelta ha vari motivi, ma è soprattutto una scelta didattica. Gli studenti a cui è rivolta questa dispensa sono persone che spesso dichiarano di non essere a loro agio con gli strumenti dell inferenza statistica: hanno imparato le proprietà degli stimatori a memoria, non sono sicuri di saper leggere un test, non hanno ben chiaro cosa sia la distribuzione di una statistica (figurarsi quella asintotica), fanno confusione fra lo stimatore di una varianza e la varianza di uno stimatore. E questo, quando va bene. E allora, lasciamo stare; non importa. C è tanto che si può dire sull attrezzo base dell econometria (l OLS) anche senza tutto questo, e che fa bene sapere. Una volta che lo studente abbia imparato a maneggiare con sicurezza l OLS come puro strumento computazionale, si potrà affrontare il problema del suo uso e della sua interpretazione come stimatore e dell uso delle statistiche test da esso derivate. Il neofita tende a far confusione fra proprietà dei minimi quadrati che sono vere per costruzione e proprietà che discendono da qualche assunzione probabilistica. Queste ultime, in questa dispensa, non ci sono. In un certo senso, è come una dispensa di geometria assoluta. Forse si sarebbe potuto chiamare Econometria assoluta, ma suppongo che sarebbe sembrata la mia ennesima dimostrazione di sciocca presunzione. Mi sono baloccato per un po con l idea di intitolarla Econometria improbabile, ma pensandoci bene anche quello sarebbe stato vacuo ed esibizionista. Tenterò, in questo breve testo, di spiegare come si legge una regressione senza cadere nell automatismo dello statistico di professione, che è istintivamente portato a vedere gli OLS come uno stimatore di parametri incogniti di una distribuzione condizionata. Certo, l OLS si può usare come stimatore, ma ha una sua ragion d essere ed una sua dignità anche come semplice, umile, modesta statistica descrittiva. Anzi, chi legge gli OLS come stimatori (cioè noi tutti) è spesso portato a dimenticarsi che quello che stiamo stimando non è mai il modello giusto, qualsiasi cosa questo voglia dire. Un automatismo simile ce l ha l economista di professione, che è tentato di vedere nei risultati di una regressione la quantificazione dei parametri di un suo modello teorico. Da qui, il gioco delle parti che si fa regolarmente fra economisti in cui ci si accapiglia per finta sull esogeneità dei regressori. Di nuovo: gli OLS possono essere usati per stimare parametri comportamentali, sotto certe parti- 3

4 colari condizioni. Ma non è che debbano essere buttati via, se queste condizioni non ricorrono. Credo che sia molto salutare saper leggere una regressione usando un set minimale di assunzioni, probabilistiche o di teoria economica. Lo studente volonteroso queste le può studiare in seguito; l economista applicato forse si risparmierebbe qualcuna delle ingenuità che a volte gli escono dalla bocca (ma gli si vuol bene per questo, in fondo). Non vorrei che la scelta di non parlare di probabilità venisse fraintesa: è una scelta didattica sperimentale, che magari tra qualche anno abbandonerò, ma prima voglio vedere cosa succede. Di sicuro la scelta non deriva da un atteggiamento snobistico tipo quello di certi statistici francesi che fanno i brillanti parlando male dell inferenza. Anzi, uno degli scopi di questa dispensa è proprio quello di far venire al lettore la voglia di studiare statistica inferenziale. Un altra cosa su cui vorrei evitare equivoci: non mi astengo dal parlare di probabilità perché penso che il lettore sia troppo scemo per capirla. E infatti, nonostante che questa dispensa sia nata col nome il libro per bambini, non farò alcuno sforzo per semplificare i problemi se non nei casi in cui spiegazioni rigorose implicherebbero digressioni impraticabili. Mi impegno formalmente a non trattare il lettore in modo paternalistico. Certo, banalizzerò, semplificherò, a volte anche in modo irritante per chi le cose le sa già. Ma se uno non fa così, non deve fare didattica. Si accontenti di fare ricerca e basta. Peraltro, i prerequisiti per leggere fruttuosamente questa dispensa sono pochi: un minimo di analisi reale, i concetti di vettore e matrice con associate operazioni elementari (somma, prodotto, trasposizione, inversione) e una qualche familiarità con la statistica descrittiva: media, varianza, frequenza eccetera. Un ultima cosa: questa dispensa è rilasciata sotto la licenza Creative Commons BY-SA 3.0. Questo significa che tu, lettore, sei libero di riprodurre, distribuire, comunicare al pubblico, esporre in pubblico, rappresentare, eseguire e recitare quest opera; di modificare quest opera; di usare quest opera per fini commerciali; alle seguenti condizioni: Attribuzione Devi attribuire la paternità dell opera nei modi indicati dall autore o da chi ti ha dato l opera in licenza e in modo tale da non suggerire che essi avallino te o il modo in cui tu usi l opera. Condividi allo stesso modo Se alteri o trasformi quest opera, o se la usi per crearne un altra, puoi distribuire l opera risultante solo con una licenza identica o equivalente a questa. La licenza vera e propria è in fondo al testo. 4

5 Indice Premessa (per chi è già del mestiere) La teoria La media aritmetica Gli OLS La regressione su una dummy Il caso generale Il problema geometrico Le matrici di proiezione Misure di bontà del modello La scelta dei regressori Un altro paio di cose sulle matrici di proiezione Un risultato sconfortante (in apparenza) Modelli e vincoli I minimi quadrati vincolati Misure di perdita di fit Un interessante caso particolare Come si legge l output La lettura dei coefficienti Il resto dell output Il teorema di Frisch-Waugh L effetto leva La regressione dinamica L operatore ritardo Equazioni alle differenze La rappresentazione ECM E adesso? A La Licenza 64 5

6 6

7 Capitolo 1 La teoria 1.1 La media aritmetica Cos è una statistica descrittiva? È una funzione dei dati che fornisce una sintesi su un particolare aspetto dei dati che a noi interessa; naturalmente, è auspicabile che questa sintesi sia quanto più informativa possibile. L idea che motiva l uso delle statistiche descrittive è grosso modo questa: vogliamo studiare un fenomeno ed abbiamo dei dati; questi dati, però, sono tanti, e non abbiamo tempo/voglia/modo di guardarli tutti. Cerchiamo allora una funzione di questi dati che, una volta calcolata, ci dica quel che vogliamo sapere, senza appesantirci con dettagli non necessari. L esempio più ovvio di statistica descrittiva è la media aritmetica, che ogni studente sa calcolare, se non altro per l attenzione maniacale che riserva al proprio libretto. Dato un vettore colonna y di dimensione n, la media aritmetica non è che Ȳ = 1 n y i = 1 n n ι y (1.1) i=1 La notazione con la sommatoria sarà probabilmente più familiare alla maggior parte dei lettori; io, però, preferisco la seconda per la sua maggiore concisione e perché, come vedremo, si presta meglio ad essere generalizzata. Per convenzione, indichiamo con ι un vettore colonna i cui elementi sono tutti pari a 1. Un vettore così fatto si chiama anche vettore somma, perché il suo prodotto interno con un altro vettore x resituisce la somma degli elementi di x. Vediamo come possiamo motivare l uso della media aritmetica. Come ho già detto, noi vorremmo poter usare una statistica descrittiva, che provvisoriamente chiamerò m, come sintesi dell informazione contenuta nell intero campione. Un idea interessante l ha data nel 1929 Oscar Chisini, che ha proposto questa definizione: data una funzione di interesse g ( ), la media del vettore y è quel numero m che rappresenta l unica soluzione di g (y) = g (m ι). L idea è potente: per esempio, la media aritmetica emerge come caso particolare se la funzione g ( ) è la somma e altri casi notevoli ve li trovate da soli. 7

8 L idea di Chisini può essere ulteriormente raffinata: se ci mettiamo nell ottica di usare m che, a questo stadio del ragionamento, non è necessariamente la media aritmetica come descrizione imperfetta ma parsimoniosa del campione completo, è naturale chiedersi quanta e quale sia l informazione che perdiamo. Vediamo: se di un campione conoscessimo solo m, cosa potremmo dire su ogni singolo elemento del campione? In assenza di altre informazioni, la cosa più sensata che possiamo dire è che, per un i generico, y i sarà più o meno uguale a m. Se dello studente Pinco Pallino sappiamo solo che ha la media OSCAR CHISINI del 23, alla domanda Quanto ha preso P.P. in Storia Economica?, risponderemmo Boh? Avrà preso ventitré. Se poi venisse fuori che P.P. ha effettivamente preso 23, tutto bene. Se invece ha preso 30, l abbiamo sottovalutato, e possiamo misurare la discrepanza in 7 punti. Nella situazione ideale, in cui l uso di m come sintesi dei dati non provoca perdita di informazione, la discrepanza è 0 per ogni elemento del campione (Pinco Pallino ha un libretto di tutti 23). Nella situazione non ideale, si può pensare di misurare la bontà di m tramite la dimensione degli errori, che in gergo si chiamano residui. Il vettore dei residui, naturalmente, è definito come e = y ι m. Definiamo pertanto una funzione, che chiamiamo funzione di perdita, che dipende dai residui e misura il costo che noi sosteniamo in seguito alla perdita di informazione. C (m) = P[e(m)] In linea di principio, non ci sono molte cose che si possono dare per scontate sulla forma di questa funzione. Una cosa che si può dire è che P(0) = 0: se i residui sono tutti zero, non ci sono errori di approssimazione e il costo che si sostiene è zero. Un altra idea ragionevole è che P(e) 0: non si può guadagnare da un errore. 1 Per il resto, c è poco che si può dire in generale: non è detto che la funzione C ( ) abbia particolari caratteristiche di concavità, né di simmetria. Dipende dal problema. Come che sia fatta questa funzione, comunque, sarà bene scegliere m in modo da rendere C (m) più piccolo possibile. Detto più in matematichese: per un dato problema, specifichiamo la funzione di perdita e utilizziamo, come indicatore di sintesi, quella statistica che ha la proprietà di renderla minima. In formule: ˆm = Argmin m R C (m) = ArgminP(y ι m) m R In pratica, trovando il minimo della funzione C ( ) per un dato problema, abbiamo la garanzia di aver usato al meglio i nostri dati. Bene. E adesso? Eh, adesso 1 Attenzione, però. Non è detto che valga il converso. Il costo può essere 0 anche presenza di un errore non-zero: in certi contesti, possiamo considerare errori piccoli come irrilevanti. 8

9 comincia il bello, perché la prima cosa che viene in mente ad una persona ragionevole è Ma come faccio a specificare la funzione C ( )? Cioè, chi me lo dice come è fatta? Che faccio, vado su Google e digito funzione di perdita? Mi consiglio col guru, col prete, con lo psicanalista?. Infatti, a parte casi straordinari in cui la funzione di perdita viene suggerita naturalmente dal problema stesso, formalizzare la forma della funzione può essere un affare complicato. Com è fatta la funzione di perdita per il libretto di Pinco Pallino? Per di più, spesso abbiamo la necessità di calcolare un indicatore di sintesi senza sapere in anticipo a cosa ci servirà. È ovvio che in questi casi trovare ˆm non è difficile, bensì impossibile. Dobbiamo accontentarci di una cosa che non sia troppo sbagliata. Una possibilità allettante è quella di definire C (m) = n (y i m) 2 = e e (1.2) i=1 Questo criterio è una funzione di m basato sulla somma dei quadrati dei residui: oltre ad essere semplice da manipolare, è una funzione simmetrica e convessa, così da valutare equanimemente residui in difetto e in eccesso e da penalizzare di più errori più grandi in valore assoluto. Oltretutto, una funzione così, rispetto alle possibili alternative simmetriche e globalmente convesse, offre il non trascurabile vantaggio (come vedremo fra breve) di far sì che la soluzione del problema sia molto facile da calcolare. Non è irragionevole pensare che, in molti casi pratici, una funzione di perdita così sia un compromesso accettabile. Parliamo, in questo caso, di criterio dei minimi quadrati. Per trovare il minimo della (1.2) rispetto a m non facciamo altro che derivare C rispetto a m; C (m) = dc n dm = d ( y i m ) 2 n ( = 2 yi m ) dm i=1 Nel punto di minimo la derivata dev essere 0, così che che a sua volta implica n ( yi m ) = 0 i=1 nm = n y i t=1 e quindi m = Ȳ. In notazione matriciale si faceva ancora prima: C (m) = (y ιm) (y ιm) t=1 la derivata è da cui C (m) = 2ι (y ιm) = 0 m = (ι ι) 1 ι y = Ȳ 9

10 Il lettore è invitato a controllare che ι ι = n. Il valore della funzione C nel punto di minimo, ovvero e e = n i=1 (y i Ȳ ) 2 è una quantità che in questo caso particolare si chiama devianza, ma che conviene abituarsi (per motivi che saranno chiari più avanti) ad indicare con la sigla SSR, dall inglese Sum of Squared Residuals. L argomento che porta a scegliere la media aritmetica come indicatore di sintesi che ho appena sviluppato è, in realtà, molto più generale di quanto non appaia a prima vista: infatti, quasi tutte le statistiche descrittive che usiamo sono casi particolari della media aritmetica, che può essere usata per descrivere molte caratteristiche di y: basta prenderne trasformazioni appropriate. In pratica: la media aritmetica di z, dove z i = f (y i ) e la funzione f ( ) è scelta con intelligenza, ci racconta un sacco di cose. L esempio più banale è la varianza: essa, infatti non è altro che la media aritmetica di una variabile z i = (y i Ȳ ) 2, che ovviamente misura quanto y i è diverso da Ȳ ; come si sa, la varianza è un indicatore di dispersione. Più interessante il caso in cui esprimiamo una frequenza relativa come media aritmetica: definiamo l evento y i A, dove A è un qualche sottoinsieme dei valori possibili per y i ; definiamo ora la variabile z i = I(y i A), dove I( ) è la cosiddetta funzione indicatrice, che vale 1 quando il suo argomento è vero e 0 quando è falso. Evidentemente, Z è la frequenza relativa dell evento A. Altri esempi inventateli voi. 1.2 Gli OLS La regressione su una dummy Se ci limitiamo a descrivere il mondo per mezzo di una sola variabile, facciamo poca strada. Ovviamente, questo apre il problema di avere un sistema per dire delle cose sensate sulle relazioni fra variabili. Un possibile approccio è: chiediamoci se y i è grande o piccolo quando x i è grande o piccolo. Definiamo z i = (y i Ȳ )(x i X ) che in pratica è una specie di indicatore della concordanza fra i segni. Vale a dire, z i > 0 quando y i > Ȳ e x i > X oppure quando y i < Ȳ e x i < X. Come è noto, Z si chiama covarianza, e la covarianza può essere normalizzata per la media geometrica delle varianze ottenendo così il cosiddetto coefficiente di correlazione; ma questa è roba da statistica elementare è non è il caso di rivangarla qui. Il problema con la covarianza/correlazione è che è un concetto simmetrico. Vale a dire, le variabili y i e x i sono trattate allo stesso modo: la covarianza fra y i e x i è, per costruzione, la stessa che c è fra x i e y i. Invece, spesso a noi piace di più ragionare in termini di y i = m(x i ) perché abbiamo in mente una lettura 10

11 del mondo in cui y i dipende da x i, e non il contrario. 2 È per questo che la y i viene detta variabile dipendente e la x i variabile esplicativa. In questo contesto, un idea che sorge piuttosto naturale è quella di esaminare cosa succede suddividendo il vettore y in diversi sottovettori, ad ognuno dei quali corrisponde un diverso valore di x i. In un contesto probabilistico, questo si chiamerebbe condizionamento. Un esempio semplice: supponiamo che il nostro vettore y includa n osservazioni, di cui n u riguardano maschi e n d = n n u riguardano le femmine. Diciamo che questa informazione è inclusa in una variabile x i, che vale 1 se l individuo è maschio e 0 se è femmina. Come si sa, una variabile 0/1 si dice binaria, dicotomica, o più comunemente variabile dummy. Il buonsenso ci dice che, se diamo per nota la distribuzione per genere, la media aritmetica per genere ci fornirà una descrizione dei dati che sarà lievemente meno sintetica della semplice media aritmetica (perché usa due numeri anziché uno), ma sicuramente non meno accurata. Evidentemente, possiamo definire x Ȳ u = i =1 y i = S u x Ȳ d = i =0 y i = S d n u n u n d n d dove, cioè, S u è la somma delle y i per i maschi e S d è la somma delle y i per le femmine. Il ragionamento, però, diventa più eccitante se formalizziamo il problema in modo analogo a quanto abbiamo fatto prima con la media aritmetica. In altre parole, vediamo se possiamo usare al meglio l informazione (che supponiamo di avere) se l individuo i -esimo è maschio o femmina. Quindi, anziché adoperare un numero per sintetizzare i dati, vogliamo usare una funzione, ossia una cosa del tipo m(x i ) = m u x i + m d (1 x i ) che ovviamente vale m u per gli uomini (perché x i = 1) e m d per le donne (perché x i = 0). La nostra sintesi deve essere una regola che ci dia un valore emblematico di y i in funzione di x i. In un contesto probabilistico, un oggetto simile si chiama funzione di regressione; qui non siamo in un contesto probabilistico, ma usiamo il termine lo stesso. Parallelamente, la variabile esplicativa viene anche detta regressore. A questo punto, riprendiamo la definizione del residuo come errore di approssimazione: chiaramente, in questo caso, si ha che e i y i m(x i ), da cui si ricava y i = m u x i + m d (1 x i ) + e i (1.3) 2 Qui sono deliberatamente vago: dire che A dipende da B può voler dire, nel linguaggio corrente, molte cose, non tutte coerenti fra loro. Per esempio, non è detto che la dipendenza implichi un rapporto di causa-effetto. Il problema è molto meno banale di quel che non appaia a prima vista, e lo lasciamo agli epistemologi professionisti; noi, qui, stiamo sul sicuro tenendoci sul generico. 11

12 L equazione (1.3) è importante perché è un semplice esempio di ciò che in econometria chiamiamo un modello. Il numero y i viene scisso in due componenti additive, di cui la prima è la cosiddetta parte sistematica, che dipende dalla variabile x i (per essere precisi, è una funzione lineare di x i ), e l altra è un di più che contiene la parte non riconducibile ad una specifica regolarità. In questa dispensa, useremo la seguente notazione y i m(x i ), per indicare che il nostro modello consiste di una funzione che deve approssimare meglio che si può il valore della variabile y per tutte le i. Nell econometria vera e i = y i m(x i ) è un oggetto su cui vengono fatte varie ipotesi di tipo probabilistico che qui però, come promesso, ignoriamo. In questo esempio, m(x i ) = m u x i + m d (1 x i ). Farà comodo riscrivere la (1.3) come y i = m d + (m u m d )x i + e i = [ 1 x i ] [ m d m u m d ] + e i perché ciò ci permetterà di usare la notazione matriciale, che è decisamente più compatta ed elegante y = Xβ + e, (1.4) dove [ β = m d m u m d ] [ β1 = β 2 e X è una matrice di n righe e 2 colonne, in cui la i -esima riga è [1,1] se il corrispondente individuo è di sesso maschile e [1,0] altrimenti. In questo modo, il problema di scegliere in modo ottimale m u e m d è ricondotto al problema di trovare quel vettore β che minimizza la funzione di perdita e e. La soluzione non è difficile: troviamo quel (o quei) β per cui valga de e dβ = d dβ (y Xβ) (y Xβ) = d dβ (y y 2β X y + β X Xβ) = 0 Usando le note regole di derivazione matriciale, 3 si ha che ] X y = X Xβ (1.5) Se la matrice X X è invertibile, la soluzione esiste unica, ed è Argmin e e = ˆβ = (X X) 1 X y β R 2 3 Non sono note? Uffa: da x dx = dx Ax a = x (A + A ) dx 12

13 Il cappello ( ˆ ) sulla β sta ad indicare che fra tutti i possibili valori di β, noi stiamo prendendo proprio quello che rende vera la (1.5) e che quindi rende minima la funzione di perdita. I coefficienti ˆβ ottenuti dalla (1.10) hanno il nome di coefficienti OLS, dall inglese Ordinary Least Squares, ossia minimi quadrati ordinari. 4 Il vettore ŷ = X ˆβ è la nostra rappresentazione approssimata di y. Convenzionalmente, ci si riferisce a ŷ come al vettore dei valori fittati, con brutto prestito dall inglese fitted. Gli orrori linguistici non finiscono qui, peraltro: sovente, scappa anche a me di parlare della capacità del modello di fittare i dati, e di dire che la SSR è una misura del fit del modello. Pertanto, se vi capita di trovare uno che dice questo modello fitta bene compiangetelo, perché come dice Nanni Moretti chi parla male pensa male e vive male, ma sappiate che non si è inventato nulla. 5 Nell esempio in questione, bastano un po di semplici conti per vedere che X X = X y = [ ] n nu n u n u [ n i=1 y ] [ ] i Su + S d = x i =1 y i S u dove (ricordo al lettore) S u = x i =1 y i e S d = x i =0 y i cioè le somme delle y i per maschi e femmine rispettivamente. Usando la regola standard per l inversione di matrici (2 2), che suppongo anch essa nota, 6 (X X) 1 = 1 [ ] nu n u da cui e infine ˆβ = 1 n u n d n u n d [ nu ][ n u Su + S d n u n S u n u n ] = 1 [ n u n d [ ] [ ] S d /n d Ȳ d ˆβ = = S u /n u S d /n d Ȳ u Ȳ d n u S d n d S u n u S d per cui m u non è che la media aritmetica dei maschi e m d quella delle femmine. Ancora una volta, se usiamo una funzione di perdita quadratica (e e), gli indicatori di sintesi che risultano ottimali sono quelli che ci suggerisce il buon senso. La cosa nuova, però, è che in questo caso, per descrivere il vettore y utilizziamo una funzione, che ha come argomento il vettore x, i cui parametri sono i nostri indicatori di sintesi. 4 Per inverosimile che possa sembrare, il senso dell aggettivo ordinario, in questo contesto, è semplicemente l opposto di straordinario. Cioè, minimi quadrati, ma niente di straordinario. 5 Per carità, eh, al peggio non c è mai fine: l Italia è piena di gente che crede di far bella figura dicendo pèrformans, oppure manàgment o menéigment. Potrei andare avanti, ma mi fermo. ( ) 1 ( ) 6 a b Non è nota? Ariuffa: = (ad bc) 1 d b. c d c a ] 13

14 1.2.2 Il caso generale Nel problema analizzato alla sezione precedente, il lettore attento avrà notato che, di fatto, l assunzione che x sia una variabile dummy gioca un ruolo marginalissimo. Non ci sono motivi per i quali l equazione m(x i ) = β 1 + β 2 x i non debba valere anche quando x i contiene dati numerici di qualsiasi altro tipo. Si può controllare che la soluzione del problema rimane assolutamente invariata; ovvio: il vettore ˆβ non conterrà più le medie per sottocampione, ma il fatto che ˆβ = (X X) 1 X y minimizzi la funzione di perdita continua ad essere vero. Esempio 1 Supponiamo che y = 3 X = Il lettore è invitato a controllare che X X = [ ] [ ] 3 3 (X X) 1 5/6 1/2 = 3 5 1/2 1/2 X y = [ ] 9 8 e quindi [ ] 3.5 ˆβ = ŷ = 2.5 e = m(x) = x 5 4 y x Figura 1.1: OLS su sei dati Nei libri di econometria più attaccati alla tradizione, a questo punto c è sempre un grafico simile a quello mostrato in Figura 1.1, che però a me non sta 14

15 simpaticissimo, e fra poco spiegherò perché. Comunque, ve lo faccio vedere anch io: in questo esempio, usiamo y = [ ] x = [ ] Come si può controllare, 7 la funzione m(x i ) che minimizza la SSR è m(x i ) = x i ed il valore di e e è pari a 26/15. Nel grafico in figura, ogni pallino corrisponde ad una coppia di valori; la linea tratteggiata è il grafico della funzione m(x) e i residui sono le differenze verticali fra ognuno dei pallini e la linea tratteggiata; il criterio dei minimi quadrati consiste nel fatto che la linea tratteggiata rende minima la somma dei quadrati delle lunghezze di tali segmenti, ossia passa più che può in mezzo ai pallini. Ciò premesso, si vede bene che il ragionamento fatto fin qui si può generalizzare in varie direzioni: ad esempio, non si vede perché la funzione m(x i ) debba per forza essere lineare. E infatti, una tecnica più generale esiste, è ben nota e si chiama NLS (Non-linear Least Squares). Non è molto utilizzata, però, per due motivi. In primo luogo, la minimizzazione di una funzione criterio del tipo C (β) = [ n i=1 yi m(x i,β) ] 2, dove m( ) è una qualche funzione più o meno fantasiosa può essere un problema spinoso: può avere soluzioni multiple, o non averne nessuna, o magari averne una, ma che non si può scrivere in forma chiusa. In secondo luogo, per poter utilizzare la tecnica OLS è sufficiente che il modello sia lineare nei parametri, ma non serve che lo sia nelle variabili. Per essere più chiari, un modello del tipo m(x i ) = β 1 + β 2 log(x i ) comporta una trasformazione nonlineare di x i, ma la funzione in sé resta una combinazione lineare di roba osservabile: basta definire z i = log(x i ) e il gioco è fatto. Un altra generalizzazione, decisamente più interessante, riguarda il caso in cui abbiamo più di una variabile esplicativa. In questo caso, la cosa naturale da fare è pensare la nostra funzione di regressione come una funzione lineare del vettore di variabili esplicative x i, e cioè m(x i ) = x β. Ad esempio noi sappiamo, per ogni esame che Pinco Pallino ha dato, non solo quanto ha preso, ma i anche in quanti giorni l ha preparato e la percentuale delle lezioni che ha frequentato; questi dati per l i -esimo esame stanno in un vettore x, ciò che riconduce all equazione (1.4). Oltretutto, il vantaggio che c è ad usare una funzione i lineare è che i coefficienti β possono essere interpretati come derivate parziali. Nell esempio precedente, il coefficiente associato al numero di giorni che Pinco Pallino ha impiegato a preparare l esame può essere definito come m(x) x j = β j (1.6) e quindi può essere letto come la derivata della funzione m( ) rispetto al numero di giorni. Ovviamente, su queste grandezze si può ragionare sia tenendo 7 Prima di esclamare trionfalmente Non porta! ricordatevi di accostare ι a x. 15

16 presente il loro segno (la funzione voto è crescente o decrescente rispetto ai giorni impiegati per la preparazione?) che il loro valore assoluto (che differenza c è nella funzione m( ) fra due esami che hanno le stessa caratteristiche, a parte il fatto che uno è stato preparato in 10 giorni e un altro in 11?). Evidentemente, è forte la tentazione di leggere i coefficienti in forma controfattuale (quanto avrebbe preso Pinco Pallino se avesse studiato un giorno di più?), ma per poter far questo in modo epistemologicamente corretto avremmo bisogno di tutta una serie di assunzioni extra che non sono disposto a fare qui. 8 L algebra per risolvere questo problema è esattamente la stessa del caso che abbiamo analizzato fino ad ora, e la riespongo qui in forma abbreviata per pura comodità del lettore. Se il residuo in base al quale vogliamo minimizzare la funzione di perdita è e i (β) = y i x β, allora il vettore dei residui può essere i scritto e(β) = y Xβ (1.7) cosicché la funzione criterio da minimizzare sarà C (β) = e(β) e(β). Poiché la derivata di e(β) non è che X, la condizione di primo ordine sarà semplicemente X e(β) = 0 (1.8) Mettendo assieme la (1.7) con la (1.8) si ottiene un sistema di equazioni note come equazioni normali: X Xβ = X y (1.9) dalle quali si ricava l espressione per ˆβ ˆβ = ( X X ) 1 X y (1.10) sempreché la matrice X X sia invertibile. Si noti, di nuovo, che la media aritmetica può essere ottenuta come caso particolare ponendo X = ι. Aggiungo anche che le formule precedenti consentono di calcolare tutte le quantità rilevanti nel problema senza necessariamente conoscere le matrici X e y: in effetti, basta conoscere y y, X y e (X X) 1. Date queste quantità, infatti, non solo è immediato trovare ˆβ, ma anche e e: e e = (y X ˆβ) (y X ˆβ) = y y y X ˆβ ˆβ X y + ˆβ (X X) ˆβ e usando la (1.9) si ha e e = y y (y X) ˆβ. Se chiamiamo k il numero di colonne di X, si vede immediatamente che la formula qui sopra esprime la SSR come differenza fra uno scalare e il prodotto interno di due vettori di k elementi. Il numero di righe di y, cioè n, non entra mai 8 Chi è del mestiere sa benissimo di cosa parlo. Chi non sa di cosa parlo, e vorrebbe saperlo, si rassegni a studiare econometria per davvero. 16

17 in gioco, e potrebbe anche essere immenso senza che il calcolo ne risulti per questo più difficile. La mia assenza di entusiasmo per il grafico mostrato in Figura 1.1 dovrebbe avere, a questo punto, una motivazione chiara: nel caso in cui X abbia un numero di colonne superiore a 2, non è ben chiaro come disegnare un grafico del genere. Anzi, quando le colonne sono più di 3 la strada risulta evidentemente impercorribile. In più, l intuizione geometrica che veicola rischia di sovrapporsi ed oscurare un interpretazione geometrica alternativa del problema che è al tempo stesso molto più interessante e molto più utile. Ne parlo al prossimo paragrafo Il problema geometrico Qui conviene partire ricordando in breve un paio di concetti di cui il lettore ha già probabilmente sentito parlare, ma da cui, altrettanto probabilmente, ha già provveduto a disinfestare il cervello (spero, senza troppo successo). Il primo è il concetto di distanza (a volte detta anche metrica). Dati due oggetti a e b, la distanza fra loro è una funzione che deve possedere queste quattro proprietà: 1. d(a,b) = d(b, a) 2. d(a,b) 0 3. d(a,b) = 0 a = b 4. d(a,b) + d(b,c) d(a,c) L unica che val la pena di commentare è la quarta, che si chiama diseguaglianza triangolare, che dice semplicemente che ad andare dritti si fa prima. 9 Gli oggetti in questione possono essere i più svariati, ma noi considereremo solo il caso in cui essi sono vettori. La distanza di un vettore dallo zero si chiama norma, e si scrive x = d(x, 0). L esempio più comune, nella vita di tutti i giorni, di funzione che ci piace chiamare distanza è la cosiddetta distanza euclidea, che è definita come d(x, y) = (x y) (x y) di cui dò per note le proprietà. Ovviamente, la norma euclidea è x = x x. Il secondo concetto che vorrei richiamare alla mente del lettore è quello di spazio lineare. Consideriamo k vettori ad n elementi. Coi vettori possiamo fare sostanzialmente due cose: moltiplicarli per uno scalare e sommarli fra loro. 9 Non sto prendendo in giro il lettore: in certi casi, è utile considerare delle funzioni in cui la diseguaglianza triangolare non vale. Consiglio a chi fosse interessato di partire dalla pagina Distanza di Wikipedia. 17

18 Poiché in ambo i casi il risultato dell operazione è un vettore, ha senso chiedersi che caratteristiche abbia la combinazione lineare di k vettori: y = k λ j x j j =1 che, volendo, si poteva scrivere più compattamente y = Xλ, in cui X è una matrice le cui colonne sono i vettori x j e λ è un vettore di k elementi. Il risultato è, naturalmente, un vettore a n elementi, ossia un punto in R n. Visto che i k vettori x 1,...,x k possono essere visti a loro volta come k punti nello spazio R n, ci chiediamo: quali sono le caratteristiche geometriche di y? Ossia, che posto occupa nello spazio? Dov è y rispetto ai vettori x 1, x 2 eccetera? Cominciamo col considerare il caso particolare k = 1. In questo caso y è un puro e semplice multiplo di x 1 ; più lungo, se λ 1 > 1, più corto altrimenti; rovesciato rispetto all origine se λ 1 < 0, dritto altrimenti. Facile, banale, noioso. A questo punto del discorso, mi basta far notare che, se metto insieme tutti gli y ottenibili con diverse scelte di λ 1, ottengo una retta; questo insieme di punti si chiama Sp(x), che si legge spazio generato da x. Si noti che il giochino smette di funzionare se x = 0: in questo caso, Sp(x) non è più una retta, ma un punto (l origine). Se i vettori x sono due, il caso standard è che non siano allineati rispetto all origine. In questo caso, Sp(x 1, x 2 ) è un piano e y = λ 1 x 1 + λ 2 x 2 è un punto da qualche parte sul piano. Il punto esatto del piano su cui si trova dipende da λ 1 e λ 2, ma va notato che scegliendo opportunamente λ 1 e λ 2, nessun punto del piano è irraggiungibile comunque vengano scelti λ 1 e λ 2, non si può uscire dal piano. Tuttavia, se x 2 è già un multiplo di x 1, allora x 2 Sp(x 1 ) e Sp(x 1, x 2 ) = Sp(x 1 ), cioè di nuovo una retta. In questo caso, considerare x 2 non fa crescere di dimensione Sp(x 1 ), perché è già contenuto in esso. Per generalizzare ancora di più il discorso è utile introdurre il concetto di indipendenza lineare: un insieme di k vettori x 1,...,x k si dice linearmente indipendente se nessuno di essi può essere espresso come combinazione lineare degli altri. Nel caso di prima dei due vettori, quello che ho chiamato caso standard è il caso in cui x 1 e x 2 sono linearmente indipendenti. Chiudo il discorso ricordando al lettore il concetto di rango: se prendiamo k vettori e li usiamo per costruire una matrice (n k) (chiamiamola X), il numero massimo di colonne linearmente indipendenti di X si dice rango di X, e si scrive rk(x). La funzione rango ha varie simpatiche proprietà, alcune più semplici da dimostrare, altre meno rk(x) k (dalla definizione) 18

19 2. rk(x) = rk ( X ) (non lo dimostro) 3. 0 rk(x) min(k, n) (mettendo insieme le due precedenti) 4. se rk(x) = min(k,n) la matrice si dice di rango pieno 5. rk(a B) min(rk(a),rk(b)); nel caso particolare A = B, allora vale l uguaglianza, ossia rk ( B B ) = rk(b) (non lo dimostro). 6. se A è (n n), allora rk(a) = n A 0, ossia per le matrici quadrate il rango pieno è sinonimo di invertibilità. Mi pare che basti con le proprietà; la cosa davvero importante, in questo contesto, è che la funzione rango può essere pensata come un misuratore della dimensione dello spazio generato da X. Cioè, se per esempio rk(x) = 1, allora Sp(X) è una retta, se rk(x) = 2, allora Sp(X) è un piano, e così via. A questo punto, siamo pronti a discutere il problema che ci interessa davvero: consideriamo lo spazio R n, dove abitano un vettore y e un certo numero di vettori x j, con j = 1...k e k < n. Chiamiamo X la matrice le cui colonne sono i vari x j. Vogliamo trovare, fra tutti i vettori appartenenti a Sp(X), quello più vicino ad y. In formule: ŷ = Argmin y x ; x Sp(X) poiché la ricerca del punto ottimale deve avvenire all interno di Sp(X), il problema si può ri-esprimere come: troviamo quel vettore β tale per cui il vettore Xβ (che è compreso in Sp(X) per definizione) è più vicino possibile a y: ˆβ = Argmin y Xβ (1.11) β R k Se la distanza è quella euclidea, la soluzione è la stessa del problema statistico visto prima alla sezione 1.2.2: dato che la funzione radice quadrata è monotona, il minimo di y Xβ, se esiste, è lo stesso di (y Xβ) (y Xβ), e quindi Argmin y Xβ = ˆβ = (X X) 1 X y β R k da cui discende ŷ = X ˆβ = X(X X) 1 X y. Si noti che ŷ è una trasformata lineare di y. In altre parole, il punto ŷ è il risultato della premoltiplicazione di y per la matrice X(X X) 1 X, che opera una trasformazione detta proiezione. Ne parleremo più avanti. Perché, parlando della soluzione, ho detto se esiste? Perché, se rk(x) < k, la matrice X X non è invertibile. In tal caso, il minimo c è ed è unico, ma non è unico il vettore ˆβ ad esso associato. Faccio un esempio per farmi capire. 19

20 Supponiamo di avere un vettore y e che la matrice X sia composta da una sola colonna (non-zero) chiamata x 1. Come è chiaro, la soluzione esiste unica, è uno scalare ed è molto semplice da scrivere: ˆβ 1 = x 1 y x 1 x, 1 per cui ŷ = β 1 x 1. Ora, aggiungiamo alla matrice X una seconda colonna x 2, che però è un multiplo di x 1 ; cioè x 2 = kx 1. Evidentemente, x 2 Sp(x 1 ), quindi Sp(x 1, x 2 ) = Sp(x 1 ), quindi ŷ è sempre lo stesso. Si noti, però, che ci sono infiniti modi di scriverlo: ŷ = β 1 x 1 = 0.5β 1 x β 1 k x 2 = 0.01β 1 x β 1 k x 2 =... perché ovviamente β 1 k x 2 = β 1 x In altre parole, esistono infiniti modi di combinare x 1 e x 2 fra loro per ottenere ŷ, anche se quest ultimo è unico e la funzione obiettivo ha un minimo ben definito. Questa situazione si chiama collinearità, o anche multicollinearità, ed in teoria è facile da risolvere: basta buttare via le colonne in più, e quindi potare X in modo che abbia rango pieno. Nella pratica, le cose non sempre sono così semplici, perché come è noto gli elaboratori operano con precisione numerica finita. Mi spiego: immaginiamo di avere a che fare con una matrice X fatta così: X = ɛ Ovvio che, per ɛ > 0, la matrice ha rango 2; tuttavia, se ɛ è un numero molto piccolo, un software non appositamente costruito per gestire queste situazioni 11 dà di matto; si parla, tecnicamente, di quasi-collinearità. Per esempio, ho fatto fare a gretl 12 il prodotto (X X) 1 (X X) per diversi valori di ɛ; il risultato è nella Tabella 1.1. Se il problema della precisione macchina non esistesse, nella colonna a destra della tabella dovremmo vedere tutte matrici identità. Invece, come si vede, già per ɛ = 1e 05 il risultato è abbastanza insoddisfacente, e più si va avanti, peggio è. Tengo a precisare che questo non è un problema di gretl, ma del fatto che in un elaboratore digitale la precisione numerica non è infinita. In questo esempio è chiaro cosa succede, perché la matrice X ha quattro righe, e le cose si vedono a occhio. In una situazione in cui la matrice ha decine, o 10 Sono sicuro che il lettore volonteroso non faticherà a trovare una generalizzazione della formula di cui sopra. 11 Ce n è: si chiama software in precisione arbitraria. I programmi statistico/econometrici, però, non fanno parte di questa categoria per ragioni che sarebbe lungo spiegare, ma che sono ottime ragioni. 12 Noto pacchetto statistico-econometrico: vedi alla URL Ma qualcosa mi dice che il lettore sa già di cosa parlo. 20

21 ɛ (X X) 1 (X X) [ ] e e 13 1 [ ] e e 13 1 [ ] e e 08 1 [ ] e e 07 1 [ ] e 05 1e e [ ] e [ ] e [ ] e Tabella 1.1: Precisione numerica centinaia, o migliaia di righe, una situazione così rischia di non essere evidente, e bisogna capirlo dai risultati che ci restituisce il software, che possono essere del tutto farlocchi: ci possono essere dei casi in cui la matrice X è collineare, ma il software non se ne accorge, e spara dei numeri a caso. Oppure, dei casi in cui la matrice X non è collineare, ma il software dice che lo è. In questi casi, di solito il problema è la precisione macchina. Mi piacerebbe parlare ancora di questo argomento, ma la digressione è durata già troppo a lungo Le matrici di proiezione Nella sottosezione precedente abbiamo visto che la soluzione ŷ è una trasformata lineare di y. La matrice che opera tale trasformazione è detta matrice di proiezione. Per spiegare il perché, l esempio che faccio sempre è quello della mosca nel cinema. Immaginate che ci sia una mosca in un cinema. Sullo schermo appare un puntino: l ombra della mosca. La posizione della mosca è y, lo spazio generato dalle X è lo schermo e l ombra della mosca è ŷ. La matrice che trasforma la posizione della mosca nella posizione della sua ombra è la matrice X(X X) 1 X. Per essere più precisi, questa matrice proietta sullo spazio generato dalle X qualsiasi vettore per cui viene postmoltiplicata. Come vedremo, tale matrice è abbastanza utile ed importante da meritare un nome (matrice di proiezione) 13 e un abbreviazione: P X. P X = X(X X) 1 X 13 Ad essere pignoli, bisognerebbe dire proiezione ortogonale, perché esiste anche un altro attrezzo che si chiama proiezione obliqua. Ma noi non lo useremo mai. 21

22 Figura 1.2: Esempio: proiezione di un vettore su un altro coordinata 2 y Sp(x) e x y^ coordinata 1 In questo semplice esempio, x = (3,1) e y = (5,3); il lettore è invitato a controllare che ŷ = (5.4,1.8) ed e = ( 0.4,1.2). Prima che qualcuno me lo faccia notare: no, non è in scala. La proprietà base di questa matrice è che, per costruzione, P X X = X, come è facile controllare. Inoltre, è simmetrica e idempotente: 14 P X = P X P X P X = P X ; la proprietà dell idempotenza ha anche un interpretazione geometrica che la rende molto intuitiva: la matrice P X prende un vettore da dovunque si trovi e lo trasporta nel punto più vicino di Sp(X); se il punto di partenza è già in Sp(X), evidentemente rimane dov è e quindi applicare P X ad un vettore più di una volta non produce effetti diversi che farlo una volta sola (P X y = P X P X y = P X P X P X y). Un altra proprietà è che P X è singolare; per essere precisi, si può dire (e, volendo, dimostrare) che nessuna matrice idempotente è invertibile, a parte la matrice identità 15. Anche qui, c è una interpretazione geometrica che rende questa proprietà intuitiva: la proiezione comporta una perdita di informazione, perché schiaccia alcune delle coordinate originali sul sottospazio generato dalle X: nell esempio della mosca, non è possibile capire dov è la mosca solo sapendo dov è la sua ombra, perché l informazione sulla profondità viene persa. In formule, la singolarità di P X si traduce nel fatto che non c è nessuna matrice A per cui valga 14 Idempotente significa che, moltiplicata per se stessa, non cambia. Per esempio i numeri reali 1 e 0 sono idempotenti. 15 Ad essere ancora più precisi, si può dire che rk(p X ) = rk(x), per cui P X è una matrice n n con rango k; evidentemente, nella situazione che stiamo considerando qui, n > k. 22

23 A P X = I, e quindi non esiste nessuna matrice che permette di scrivere Aŷ = y, cioè di ricostruire la posizione originale di y partendo dalla sua proiezione. Un altra matrice interessante che possiamo costruire partendo da P X è M X = I P X. Evidentemente, M X y = y ŷ = e. Questa matrice, in un certo senso, fa un lavoro opposto e complementare a quello di P X : applicata ad un vettore, ritorna lo scarto fra il punto originale ed il punto proiettato. Si può controllare facilmente che M X ha la proprietà fondamentale per cui M X X = 0; ciò implica che ogni vettore del tipo M X y è ortogonale a Sp(X), ossia forma un angolo retto con qualsiasi vettore Xλ. 16 Altre proprietà degne di nota: M X è anch essa simmetrica, idempotente e singolare 17. Inoltre, M X P X = P X M X = [0]. Esempio 2 Il lettore è invitato a controllare (facendo i conti a mano o col software che preferisce) che, usando gli stessi dati dell esempio 1, si ha 1/3 1/3 1/3 2/3 1/3 1/3 P X = 1/3 5/6 1/6 M X = 1/3 1/6 1/6 1/3 1/6 5/6 1/3 1/6 1/6 E la varie proprietà di tali matrici (ad esempio l idempotenza). Nel contesto che ci interessa, il vantaggio di aver definito le matrici di proiezione in rapporto al problema geometrico è che diventa facile esprimere in modo semplice, compatto ed intuitivo le principali grandezze inerenti al problema statistico di approssimare la variabile y per mezzo di un modello lineare costruito con le variabili che formano le colonne di X: Grandezza Simbolo Formula Coefficienti OLS ˆβ (X X) 1 X y Valori fittati ŷ P X y Residui e M X y Somma dei quadrati dei residui SSR e e = y M X y Consideriamo ad esempio il caso particolare in cui X = ι. Come abbiamo visto, questo conduce a risolvere il problema per mezzo della media aritmetica, cosicché ˆβ = Ȳ : il vettore dei valori fittati 18 è P ι y = ι Ȳ e i residui sono semplicemente gli scarti dalla media: e = M ι y = y ι Ȳ. Infine, la devianza può essere scritta come y M ι y (e quindi, volendo, la varianza come V (y) = n 1 y M ι y). 16 Ricordo che due vettori si dicono ortogonali fra loro se il loro prodotto interno è 0. In formule: x y x y = 0. Un vettore si dice ortogonale ad uno spazio se è ortogonale a tutti i punti di quello spazio: y Sp(X) y X = 0 e quindi y Xλ per qualsiasi λ. 17 In effetti, M X è anch essa una matrice di proiezione, ma lasciamo stare. 18 Ecco, l ho detto. 23

24 1.2.5 Misure di bontà del modello A questo punto, è piuttosto naturale porsi il problema della bontà dell approssimazione a cui il nostro modello statistico perviene. In un certo senso, il problema è già stato parzialmente risolto con l adozione di una funzione criterio. Quando usiamo ˆβ come approssimatore in y i x β, sappiamo che stiamo facendo del nostro meglio, cioè stiamo scegliendo il valore di β che ottimizza la i funzione criterio. Come spesso accade, però, può darsi che fare del nostro meglio non sia abbastanza. Sarebbe interessante avere un idea di quanto il modello riesce a catturare il fenomeno di nostro interesse, ossia quanta informazione perdiamo nella sintesi. La misura più immediata da definire emerge in modo molto naturale da queste due disuguaglianze: 0 ŷ ŷ = y P X y y y; la prima è abbastanza ovvia considerando che ŷ ŷ è una somma di quadrati, e quindi è non-negativa. La seconda è appena meno evidente: infatti, y P X y = y y y M X y = y y e e; poiché anche e e è una somma di quadrati, ovviamente y P X y y y. Dividendo il tutto per y y, si ha 0 ŷ ŷ y y = R2 u 1 (1.12) Questo indice si chiama Ru 2 (che si legge erre-quadro non centrato ), e gli si può dare un interpretazione molto intuitiva nel problema geometrico. Evidentemente, nello spazio R n i punti y, ŷ e l origine formano un triangolo rettangolo (vedi anche la figura 1.2) in cui c è un cateto buono, che è ŷ, e uno cattivo, che è congruente a e: vogliamo che il cateto cattivo sia più corto possibile. Dato il teorema di Pitagora, l indice Ru 2 ci dà semplicemente il rapporto (al quadrato) fra cateto buono e ipotenusa. Naturalmente, più questo indice è vicino ad 1, più siamo contenti. L indice Ru 2 testè definito è perfettamente appropriato al problema geometrico, ma un tantino meno a quello statistico. Infatti, in molte circostanze noi vorremmo poter dare per scontata l informazione contenuta nella media aritmetica, che però nell indice Ru 2 viene computata nel cateto buono. In altri termini, non ha molto senso che un modello in cui sintetizziamo y con la sola media, e cioè via ι Ȳ ci possa dare un Ru 2 arbitrariamente vicino ad uno; in quel caso, avremmo semplicemente l indicazione che la dispersione dei dati intorno alla media è piccola in rapporto alla media stessa. Una modifica all indice che lo rende più vicino alle esigenze statistiche è quella di usare, come fattore di normalizzazione, y M ι y anziché y y. Infatti, se ι Sp(X), si ha 0 y M X y = e e y M ι y y y, 24

25 ciò che rende possibile definire il cosiddetto R 2 centrato, noto anche come indice di determinazione: R 2 = 1 e e y M ι y. (1.13) Quando si parla di R 2 senza specificare, di solito si intende quest ultimo, e questo è il motivo per cui la versione dell indice definita nella (1.12) aveva una u in pedice (dall inglese uncentred). Forse il lettore distratto non si è accorto di niente, ma in modo del tutto surrettizio ho introdotto un idea travolgente. Dicendo che l R 2 centrato è più adatto a quantificare la bontà del modello sotto il profilo statistico, ho implicitamente detto che la bontà del modello statistico è una cosa che va misurata confrontando due modelli fra loro. In effetti, la (1.13) può essere letta come un numero che dipende dal confronto fra due funzioni di perdita: una, quella relativa al modello, per così dire, base (quello basato sulla sola media aritmetica); l altra, quella che risulta del modello, per così dire, completo. Il proseguimento naturale di questa idea è quella di capire esattamente se, ed in che misura, possiamo usare una valutazione di questo tipo (il confronto fra funzioni di perdita) per guidarci in una scelta che, fino ad ora, abbiamo dato per scontata, e cioè: come si costruisce la matrice X? Quali variabili è giusto, produttivo, utile, istruttivo, eccetera, includere nella nostra funzione m(x i )? Tutte quelle che abbiamo? Solo alcune? E quali? 1.3 La scelta dei regressori In questa sezione, ci porremo il problema di trovare dei criteri per capire quali sono le variabili migliori per costruire la matrice X. Per cominciare, consideriamo il problema di scegliere se è meglio (in qualche senso da decidere) un modello del tipo y i x i β (1.14) (chiamiamolo modello A) oppure un modello del tipo y i x i β + z i γ (1.15) (chiamiamolo modello B). Diciamo che sul potere esplicativo delle x i siamo sicuri; sulle z i, un po meno, e vorremmo decidere sulla base dei dati se è il caso di includerle nel nostro modello o no. Chiaramente, il modello B è più articolato, ma il modello A è più leggero. Potrebbe darsi che B sia ridondante, oppure che A sia troppo succinto. Un esempio estremo di questa situazione è: cerchiamo di capire se c è qualche regolarità che ci possa aiutare a descrivere il libretto di Pinco Pallino. Il vettore x i contiene delle variabili più o meno ragionevoli: quanti giorni ha studiato per quell esame, e così via. Il vettore z i, invece, contiene delle variabili che non possono essere legate al voto preso in quell esame se non per qualche sciocca 25