Corso della Scuola SIS - Metodi statistici per la valutazione e il monitoraggio della formazione universitaria Firenze, ottobre 2005

Transcript

1 Firenze, 0-4 ottobre 005 Corso della Scuola della SIS Metodi statistici per la valutazione e il monitoraggio della formazione universitaria Firenze, 0-4 ottobre 005 Introduzione ai modelli statistici per la valutazione e il monitoraggio Leonardo Grilli grilli@ds.unifi.it Indice. Modelli statistici. Introduzione ai modelli multilivello 3. Il modello lineare a due livelli 4. Modelli multilivello e valutazione 5. Inferenza 6. Software e libri Dipartimento di Statistica G. Parenti, Firenze L. Grilli - Scuola SIS 005 Modelli statistici Modello Modello: schema teorico che descrive un fenomeno ipotizzando le caratteristiche strutturali più rilevanti Modello statistico: modello di tipo matematico con una componente deterministica una componente stocastica L. Grilli - Scuola SIS Modello statistico Modello statistico y x z w f () (,, ) y = f xzw variabile di risposta variabili esplicative molto influenti su y e osservate variabili esplicative molto influenti su y e non osservate variabili esplicative poco influenti su y funzione ignota Ipotesi di errori additivi: y x z w f () ( xz, ) y = f + e w ( x) y = f + e + e variabile di risposta variabili esplicative molto influenti su y e osservate variabili esplicative molto influenti su y e non osservate variabili esplicative poco influenti su y funzione ignota z w L. Grilli - Scuola SIS L. Grilli - Scuola SIS 005 6

2 Firenze, 0-4 ottobre 005 Modello statistico Modello statistico Ipotesi di linearità -> modello di regressione lineare (multipla) y = xβ + enon linearità + ez + e = xβ + e totale Componente sistematica (segnale): xβ = β0+ βx+ βx + + β k x k L. Grilli - Scuola SIS w quantità ignota e deterministica Componente accidentale (rumore): quantità ignota e stocastica e totale y = β0+ βx+ βx + + β k x k + e Sia la componente sistematica che quella accidentale sono ignote perché includono dei parametri: Componente sistematica: k+ coefficienti di regressione Componente accidentale: o più parametri della distribuzione di e Linearità nei parametri sono ammesse trasformazioni delle variabili, es. log y = β0+ β + e x L. Grilli - Scuola SIS I dati Popolazione e campione Campione di n unità statistiche i =,,, n variabili Il modello descrive la relazione fra la y e le x nella POPOLAZIONE e si assume valido per ogni unità del CAMPIONE Unità statistiche y x x k y x x n n nk L. Grilli - Scuola SIS y = β + β x + β x + + β x + e i i =,,, n 0 i i k ik i L. Grilli - Scuola SIS Assunzioni sugli errori Regressione lineare semplice Modello lineare classico: per la distribuzione degli errori (condizionatamente alle variabili esplicative) si assume errori a media nulla errori omoschedastici errori incorrelati Ee ( ) = 0 i Var( e i ) Cov( e, e ) = 0 i L. Grilli - Scuola SIS 005 i = σ Le assunzioni sugli errori determinano le proprietà degli stimatori (distorsione, varianza campionaria, ) i i Caso speciale con una sola variabile esplicativa (k=) y = γ0 + γ x+ e yx Parametri del modello: γ = intercetta (nella popolazione) 0 γ = pendenza o coefficiente angolare (nella popolazione) σ = Var( e ) = varianza residua yx yx L. Grilli - Scuola SIS 005

3 Firenze, 0-4 ottobre 005 Da Regressione lineare semplice ( yx) E e = 0 segue E( y x) = γ + γ x 0 modello per la media condizionata di y (media di y dato x) Interpretazione della pendenza: * * γ = E( y x= x + ) E( y x= x ) Variazione della media condizionata di y corrispondente ad un aumento unitario di x L. Grilli - Scuola SIS y Regressione lineare semplice Modello: relazione nella popolazione (non osservabile, ma stimabile) + γ x 0 L. Grilli - Scuola SIS x γ Regressione lineare semplice Regressione lineare multipla y yˆi Dati e relazione stimata uˆi.. x i ˆ γ + ˆ γ x x 0 k variabili esplicative Parametri del modello: β = intercetta (nella popolazione) 0 β,, β = pendenze o coeff. angolari (nella popolazione) σ y = β + β x + β x + + β x + e k 0 k k y x x k = Var( e ) = varianza residua yx xk yx xk L. Grilli - Scuola SIS L. Grilli - Scuola SIS Regressione lineare multipla ( yx ) x k Da E e = 0 segue E( y x,, x ) = β + β x + β x + + β x k 0 k k modello per la media condizionata di y (media di y dato x,,x k ) Interpretazione della pendenza β : * * * * * * β = E( y x +, x,, xk) E y x x xk Variazione della media condizionata di y corrispondente ad un aumento unitario di x a parità di x,,x k (,,, ) L. Grilli - Scuola SIS Regressione lineare multipla β = effetto di x su y a parità di x,,x k al netto di controllando per Il modello di regressione consente di fare esperimenti virtuali per valutare come cambia la variabile di risposta muovendo una variabile esplicativa alla volta (cioè, tenendo ferme tutte le altre) L. Grilli - Scuola SIS

4 Firenze, 0-4 ottobre 005 Effetti lordi e netti Modelli lineari generalizzati y = γ + γ x + e yx 0 effetto lordo di x y = β + β x + β x + + β x + e 0 k k y x x k In generale β γ effetto netto di x La specificazione lineare per la media condizionata E( y x,, x ) = β + β x + β x + + β x k 0 k k è molto conveniente, ma talvolta non è adeguata, in particolare quando per costruzione la media condizionata assume valori in un intervallo limitato Esempio: y binaria E( y x,, xk ) (0,) mentre β + β x + β x + + β x R ( ) 0 k k L. Grilli - Scuola SIS L. Grilli - Scuola SIS Modelli lineari generalizzati Qual è il modello giusto? In un modello lineare generalizzato la specificazione lineare non viene applicata direttamente alla media condizionata ma a una sua trasformazione: ( ) g E( y x,, x ) = β + β x + β x + + β x k 0 k k g( ) funzione di link (invertibile con codominio R) Esempio: y binaria & g( ) logit modello logit L. Grilli - Scuola SIS 005 La realtà è troppo complessa per poter essere rappresentata in modo esaustivo da un modello Pertanto: un modello è buono quando Coglie gli aspetti salienti del fenomeno (ruolo descrittivo) Aiuta a rispondere ai quesiti della ricerca (ruolo strumentale) Tutti i modelli sono sbagliati, ma alcuni sono utili (G.E.P. Box) L. Grilli - Scuola SIS 005 Qual è il modello giusto? La specificazione del modello (in particolare la scelta delle variabili esplicative) è guidata da: Conoscenza del fenomeno (teoria) Dati (evidenza empirica) Lo statistico è chiamato a stabilire, caso per caso, un ragionevole compromesso tra parsimonia e complessità Introduzione ai modelli multilivello L. Grilli - Scuola SIS

5 Firenze, 0-4 ottobre 005 Un esempio di struttura gerarchica Modello multilivello distretto livello 4 scuola liv. 3 scuola classe classe liv. classe 3 classe 4 s s s3 s4 s5 s6 s7 s8 s9 s0 s s liv. - studenti Modello multilivello: modello di regressione con una struttura di errore complessa che rispecchia una struttura gerarchica Sinonimi: M. gerarchico M. a coefficienti casuali M. a effetti casuali M. a effetti misti L. Grilli - Scuola SIS L. Grilli - Scuola SIS Esempi di strutture gerarchiche rilevanti nella valutazione dei sistemi universitari Valutazione della didattica (): studenti, insegnamenti, corsi di laurea, facoltà, atenei Valutazione della didattica (): studenti, insegnamenti, settori scientifico-disciplinari, atenei Valutazione degli sbocchi occupazionali: laureati, corsi di laurea, atenei Quale struttura adottare dipende dal contenuto informativo dei dati e dalle finalità dell analisi L esistenza della struttura gerarchica non dipende dal piano di campionamento (che può essere semplice, a più stadi, ecc.) Livelli gerarchici Per semplicità consideriamo solo due livelli gerarchici: Livello (es. laureato) Livello (es. corso di laurea) Sinonimi per unità di liv. : unità micro unità within individuo Sinonimi per unità di liv. : unità macro unità between gruppo (cluster) L. Grilli - Scuola SIS L. Grilli - Scuola SIS Variabili e livelli gerarchici Il dilemma dell unita di analisi Le variabili sono riferite ad un certo livello della gerarchia: Es. Valutazione degli sbocchi occupazionali: laureato (liv. ): genere, voto di laurea corso di laurea (liv. ): classe di appartenenza, voto medio di laurea Nota: le variabili di livello (o superiore) si distinguono in GLOBALI: caratteristiche intrinseche delle unità macro (gruppi) che vengono rilevate separatamente e per le quali non esiste la corrispondente misura individuale: es. classe di appartenenza del CdL, rapporto studenti/docenti CONTESTUALI: indicatori macro ottenuti per aggregazione delle corrispondenti misure individuali; esprimono la misura collettiva delle caratteristiche del singolo: es. voto medio di laurea, proporzione di femmine L. Grilli - Scuola SIS =,, J gruppi i=,, n individui nel gruppo dimensione totale J n = N = Si può scegliere di analizzare i dati a livello individuale (es. laureato) -> analisi disaggregata (archivio con N record) a livello di gruppo (es. CdL) -> analisi aggregata (archivio con J record, ottenuti calcolando le medie di gruppo) Entrambe queste scelte danno luogo a dei problemi L. Grilli - Scuola SIS

6 Firenze, 0-4 ottobre 005 Problemi dell analisi disaggregata Problemi dell analisi aggregata Inferenza sui gruppi: impossibile fare inferenza sui gruppi, cioè trattare i gruppi osservati come un campione casuale da una popolazione di gruppi Errata dimensione campionaria delle variabili di livello (che è J e non N) Dipendenza: Le osservazioni all interno di un gruppo sono fra loro più simili rispetto a quelle di altri gruppi, per cui si ha una correlazione positiva all interno dei gruppi viene violata l ipotesi di indipendenza tipica dei metodi tradizionali (es. GLM), che quindi forniscono un errata stima degli errori standard (spesso si ha una sottostima degli errori standard -> errori del I tipo più alti del livello nominale α) L. Grilli - Scuola SIS Shift of meaning: le variabili aggregate si riferiscono al gruppo e non all individuo, per cui non possono nemmeno concettualmente essere usate per indagare le relazioni a livello di individuo Ecological fallacy (distorsione da aggregazione): Le relazioni a livello di gruppo (cioè tra le medie di gruppo) sono diverse dalle corrispondenti relazioni a livello individuale Interazione tra livelli: l analisi aggregata non consente di studiare le relazioni tra livelli gerarchici L. Grilli - Scuola SIS Relazioni entro e tra gruppi Relazioni entro e tra gruppi 8 7 Esempio da Sniders & Bosker, p Within Total Between i X_i X_. _i _ Differenza Between-Within: Ecological fallacy L. Grilli - Scuola SIS i = xi. = x. = x x. i ( i ) i = x. +.00( xi x. ) Regressione totale Regressione tra le medie di gruppo Regressione entro i gruppi Regressione multilivello La regressione multilivello consente di studiare contemporaneamente le relazioni between e within L. Grilli - Scuola SIS ANOVA ad effetti casuali ovvero il modello multilivello più semplice ANOVA ad effetti casuali ovvero il modello multilivello più semplice =,, J gruppi i=,, n individui nel gruppo ε iid, E( ε ) = 0, Var( ε ) = σ i i i ε indipendente da u i = µ + u + ε i i u iid, E( u ) = 0, Var( u ) = Questo modello ha 3 parametri i, media generale: µ varianza di livello : σ varianza di livello : L. Grilli - Scuola SIS Attenzione: è la varianza e non la deviazione std. Esempio: analisi dei tempi di laurea (liv. laureato, liv. CdL) J = numero di CdL nell'archivio n = numero di laureati del CdL = tempo impiegato dal laureato i del CdL i µ = tempo medio generale (tutto l'ateneo) u = scostamento del tempo medio del CdL da quello generale = Var( u ) = varianza dei tempi attribuibile ai CdL ε = scostamento del tempo del laureato i rispetto al tempo medio del CdL i σ = Var( ε ) = varianza residua dei tempi (cioè non attribuibile ai CdL) i L. Grilli - Scuola SIS

7 Firenze, 0-4 ottobre 005 ANOVA ad effetti casuali: varianze e covarianze ANOVA ad effetti casuali: matrice di covarianza i = µ + u + εi 0 se Var( i ) = Var( u + εi ) = + σ Cov( i, i ) = se = e i i' La variabilità di i viene scomposta in una quota legata alla variabilità tra gruppi () ed una alla variabilità individuale (σ ) (componenti di varianza) Le osservazioni appartenenti allo stesso gruppo sono correlate positivamente OSSERVAZIONE: la correlazione è necessariamente positiva perché è generata da una variabile latente condivisa u (è la stessa idea fondamentale dell analisi fattoriale, in cui u è chiamata fattore) L. Grilli - Scuola SIS Esempio J =, n =, n = 3 + σ + σ Var( ) = + σ + σ + σ L. Grilli - Scuola SIS ANOVA ad effetti casuali: coefficiente di correlazione intraclasse ρ denota l ICC (intraclass correlation coefficient) Il modello lineare a due livelli varianza dovuta ai gruppi ρ = Corr( i, i ) = = ρ 0, + σ varianza totale ρ fornisce una misura del grado di omogeneità tra osservazioni appartenenti allo stesso gruppo. Maggiore è il valore di ρ e tanto più importante è utilizzare una procedura di stima adeguata che tenga conto della dipendenza [ ] L. Grilli - Scuola SIS Esempio: valutazione delle scuole Esempio: valutazione delle scuole Livelli di analisi: livello, studenti; livello, scuole Variabile risposta : punteggio test finale Variabile esplicativa di livello X : punteggio test d ingresso Approccio delle regressioni separate: analizzare ogni scuola separatamente, ad es. con il modello di regressione lineare semplice: iid i = β0 + βx i + εi εi ~ N(0, σ ) Sia l intercetta che la pendenza sono importanti per la valutazione: La scuola A è più efficace (valori previsti di più elevati per tutto il range di X) La scuola A è anche più equa (pendenza inferiore) A B L indice è presente anche nei parametri -> ogni scuola ha una diversa intercetta e pendenza! X L. Grilli - Scuola SIS L. Grilli - Scuola SIS

8 Firenze, 0-4 ottobre 005 Ad ogni scuola corrisponde una coppia ( β0, β ) Approccio delle regressioni separate : per ogni scuola ( β0, β ) sono dei parametri e non vi è relazione tra i parametri di scuole diverse Approccio gerarchico (multilivello): le coppie ( β0, β ) delle varie scuole sono realizzazioni indipendenti da una distribuzione di probabilità, tipicamente normale bivariata β iid 0 γ Altre distribuzioni N, sono possibili ma la β γ 0 normale è usualmente preferibile ( β, β ) indipendenti da ε 0 i L. Grilli - Scuola SIS Assumere che β iid 0 γ N, β γ 0 equivale ad assumere che le scuole presenti nell archivio siano un campione casuale semplice da una popolazione di scuole in cui l intercetta media è γ 00 e la pendenza media è γ 0 L. Grilli - Scuola SIS Parametri del modello γ 00 intercetta media γ pendenza media σ varianza intercetta varianza pendenza covarianza intercetta-pendenza varianza residua (livello ) Parametri fissi (= degli effetti fissi) Parametri casuali (= di varianzacovarianza) NOTA: il modello è molto parsimonioso: ha 6 parametri indipendentemente dal numero di scuole nel campione! L. Grilli - Scuola SIS Correlazione tra intercette e pendenze: ρβ (, β ) = L. Grilli - Scuola SIS β 0 Esempio di correlazione negativa β Modello di livello: Modello di livello: Modello combinato: = β + β x + ε i 0 i i β = γ + u β = γ + u ( 00 0 ) ( 0 ) = γ + u + γ + u x + ε i i i = γ + γ x + u + u x + ε 00 0 i 0 i i Parte fissa Parte aleatoria L. Grilli - Scuola SIS Errori di livello (effetti casuali): u u = β γ Var( u ) = = β γ Var( u ) = scarti non spiegati tra il valore del parametro per il gruppo e il valore medio del parametro nella popolazione Le variabili esplicative possono spiegare in parte questi scarti, cioè possono ridurre le loro varianze Di solito le ipotesi distribuzionali vengno espresse con riferimento agli effetti casuali anziché ai beta: u iid 0 0, 00 0 u0 N u 0 indip da εi u L. Grilli - Scuola SIS

9 Firenze, 0-4 ottobre 005 : alcuni casi ( ) ( ) > 0, > 0 = γ + u + γ + u x + ε 00 i i i ( ) > 0, = 0 = γ + u + γ x + ε 00 i i i = 0, = 0 = γ pendenza casuale intercetta casuale + γ x + ε 00 i 00 0 i i = 0 = 0 regressione ordinaria Nota : 0 Nota: nel modello a pendenza casuale anche l intercetta è casuale L. Grilli - Scuola SIS : caso speciale regressione ordinaria 00 = 0, = 0 i = γ00 + γ0xi + εi regressione ordinaria La variabilità tra i gruppi è nulla e quindi i coefficienti sono fissi L. Grilli - Scuola SIS X : caso speciale intercetta casuale ( ) 00 > 0, = 0 i = γ00 + u0 + γ0xi + εi La varianza del coefficiente di regressione è nulla (e quindi anche la covarianza tra i coefficienti) La varianza dell intercetta non dipende da X (la centratura di X è irrilevante) Le rette di regressione relative ai gruppi sono fra loro parallele E possibile ordinare i gruppi intercetta casuale L. Grilli - Scuola SIS X : caso generale pendenza casuale ( ) ( ) 00 > 0, > 0 i = γ00 + u0 + γ0 + u xi + εi La varianza dell intercetta ( 00 ) e la covarianza intercetta-pendenza ( 0 ) si riferiscono a X=0 e dipendono da X Poiché spesso l origine di X è arbitraria è bene non vincolare a zero la covarianza Non esiste un ordinamento univoco dei gruppi: l ordinamento varia al variare del valore X considerato pendenza casuale L. Grilli - Scuola SIS X (una covariata di livello + una covariata di livello ) Introduzione di variabili esplicative di livello : Le variabili di livello rappresentano caratteristiche dei gruppi che servono a Definire un modello per i parametri del modello di livello ( β0, β) ovvero a ridurre le varianze di livello Ad esempio: W variabile binaria, =scuola pubblica; 0=scuola privata (una covariata di livello + una covariata di livello ) Modello di livello: i 0 i i Modello di livello: Modello combinato: = β + β x + ε β = γ + γ w + u β = γ + γ w + u = γ + γ w + γ x + γ w x i i i 0 i i Interazione cross-level Parte fissa + u + u x + ε Parte aleatoria L. Grilli - Scuola SIS L. Grilli - Scuola SIS

10 Firenze, 0-4 ottobre 005 (una covariata di livello + una covariata di livello ) Centratura delle covariate e regressioni entro e tra gruppi Modello di livello : β0 = γ00 + γ0w + u0 β = γ0 + γw + u γ 0 γ u 0 u Var( u ) = Var( u ) = 0 00 differenza nell intercetta media tra scuola privata e pubblica differenza nella pendenza media tra scuola privata e pubblica effetto unico della scuola sull intercetta media effetto unico della scuola sulla pendenza media Attenzione: le ipotesi sugli errori del modello sono le stesse, ma l interpretazione delle varianze cambia poiché le varianze sono di tipo residuale rispetto alle covariate L. Grilli - Scuola SIS Una covariata di livello x i può essere centrata rispetto a: A) una costante, ad es. la media generale x.. si sostituisce xi con ( xi x.. ) i coefficienti di xi e ( xi x.. ) sono identici cambia solo l'intercetta γ 00 B) la media di gruppo x. si sostituisce x con ( x x ) i i coefficienti di x e ( x x ) sono diversi! i i. L. Grilli - Scuola SIS i. Centratura delle covariate e regressioni entro e tra gruppi Generalizzazioni del modello ) = + γ x + i total i ) = + γ x + ( γ γ ) x + i within i between within. 3) = + γ ( x x ) i within i. 4) = + γ ( x x ) + γ x + i within i. between. Più variabili esplicative di livello e di livello : X, X,,W, W, es. modello a intercetta casuale in notazione matriciale T T i = γ 00 + γ0 xi + γ0 w + u + εi Struttura degli errori più complessa: A livello : eteroschedasticità, es. Var( ε ) = σ x A livello : più coefficienti casuali Più di due livelli gerarchici: es. modello a intercetta casuale a 3 livelli [ ] = parte fissa + v + u + ε ik k k ik i i L. Grilli - Scuola SIS L. Grilli - Scuola SIS Modelli multilivello e valutazione Indicatori di performance Le valutazioni comparative di efficacia (c.d. effiacia relativa) di un insieme di Istituzioni sono basate su indicatori di performance (misure statistiche di sintesi che rispecchiano certi aspetti del funzionamento di una Istituzione) Indicatori di input, di output, di outcome Consideriamo gli aspetti statistici legati all utilizzo di indicatori di outcome per valutazioni di efficacia relativa L. Grilli - Scuola SIS

11 Firenze, 0-4 ottobre 005 Indicatori di performance Metodologia statistica Principali questioni statistiche: I) Produrre indicatori netti, cioè aggiustati per le condizioni che caratterizzano l Istituzione e i suoi Utenti -> necessario per effettuare confronti equi, alla pari (ceteris paribus) II) Quantificare l incertezza -> necessario per evitare di trarre conclusioni influenzate dalla variabilità campionaria e da altre fonti di errore Le graduatorie grezze di istituzioni (cosiddette League Tables ) ignorano entrambi gli aspetti (Goldstein & Spiegelhalter, 996) L. Grilli - Scuola SIS I) Produzione di indicatori netti & II) Quantificazione dell incertezza Modelli di regressione Ma i modelli standard non sono adeguati perché si basano sull assunzione irrealistica di indipendenza tra gli outcome degli Utenti (mentre gli outcome degli Utenti di una stessa Istituzione sono tipicamente correlati) -> errata quantificazione dell incertezza Soluzione: modelli di regressione multilivello L. Grilli - Scuola SIS Metodologia statistica Modello multilivello i = Utente (livello ) = Istituzione (livello ) I modelli multilivello rappresentano adeguatamente la struttura di correlazione -> corrretta quantificazione dell incertezza rappresentano esplicitamente la nozione di efficacia tramite gli effetti casuali u Covariate di livello : Caratteristiche dell Utente Covariate di livello : Caratteristiche dell Istituzione e caratteristiche ambientali = γ + γ x + γ w + u + ε T T i 00 0 i 0 i Variabile di risposta: Outcome dell Utente Effetto casuale sull intercetta: Efficacia dell Istituzione Istituz. Istituz. J Utente Utente n Utente Utente n J Efficacia di Tipo A o B a seconda delle covariate L. Grilli - Scuola SIS L. Grilli - Scuola SIS Inferenza sull efficacia basata sul modello multilivello Stima dell efficacia dell Istituzione residuo di livello uˆ Con i residui si possono costruire graduatorie nette delle istituzioni (che però ignorano l incertezza!) Per tener conto dell incertezza si può usare lo standard error dei residui per costruire Intervalli di confidenza univariati Intervalli di confidenza per confronti a coppie L. Grilli - Scuola SIS Inferenza

12 Firenze, 0-4 ottobre 005 Stima e previsione Stima dei parametri = γ + γ w + γ x + γ w x i i i Parte fissa + u0 + uxi + εi Parte aleatoria Approccio di massima verosimiglianza: step : stima dei parametri fissi (γ 00, γ 0, γ 0, γ ) e dei parametri casuali (σ, 00, 0, ) step : previsionedegli effetti casuali (u 0, u : =,,J) (detta anche calcolo dei residui di livello ) La stima di massima verosimiglianza (MV) si basa su algoritmi iterativi (IGLS, Fisher scoring, EM) Sotto deboli condizioni di regolarità gli stimatori di MV hanno buone proprietà asintotiche: Consistenza Normalità Efficienza Osservazione: la teoria asintotica vale all aumentare del numero di gruppi (l aumento della dimensione dei gruppi non è sufficiente) L. Grilli - Scuola SIS L. Grilli - Scuola SIS Previsione degli effetti casuali (calcolo dei residui di livello ) Nel caso dell ANOVA ad effetti casuali = + u + esistono semplici formule per i residui: OLS u =. ˆ µ Residuo OLS grezzo EB OLS u = λ u Residuo Empirical Bayes o shrinkage λ = + σ / n µ ε i i Affidabilità del gruppo (cresce con la dimensione del gruppo ed è circa uguale a per i gruppi grandi) EB OLS u è preferibile a u perché minimizza l'errore quadratico medio di previsione di u L. Grilli - Scuola SIS Previsione degli effetti casuali (calcolo dei residui di livello ) EB OLS per i gruppi grandi u è simile a u, EB ma per i gruppi piccoli u è notevolmente "ristretto" rispetto a u per tener conto della sua scarsa affidabilità EB OLS u e u producono due graduatorie diverse! Nei modelli più complessi dell ANOVA le formule sono complicate, ma valgono gli stessi principi di shrinkage e borrowing strength OLS L. Grilli - Scuola SIS Confronto fra residui Confronto fra residui I residui di livello sono le previsioni dei corrispondenti effetti casuali u Spesso l interesse non è sul valore di u per un singolo cluster, ma sul confronto fra gli u di due diversi cluster (ad es. per capire se l istituzione A è più efficace dell istituzione B) Problema statistico: gli effetti casuali di due cluster arbitrari sono o non sono significativamente diversi ad un certo livello? L. Grilli - Scuola SIS Errore comune: pensare che due quantità i cui intervalli al 95% sono disgiunti siano significativamente diverse al 5% X N( µ X, σ ) X ±.96 σ N( µ, σ ) ±.96 σ Se X e sono indipendenti X N ( µ µ, σ ) ( X ) ±.96 σ X µ X è significativamente diverso da µ al livello 95% se e solo se: la distanza (in unità di σ) fra X e è maggiore di.96 =.77 gli intervalli univariati di raggio.77/ =.39 sono disgiunti L. Grilli - Scuola SIS 005 7

13 Firenze, 0-4 ottobre 005 Confronto fra residui Il valore.39 si basa su alcune ipotesi (distribuzione normale, indipendenza, identica varianza) che tipicamente non sono plausibili -> il valore.39 va inteso come approssimazione e il livello di significatività 5% come livello medio dei confronti Software e libri Grafico per confronti a coppie Approfondimenti in Goldstein & Healy (995) Semintervallo=.39* s.e. del residuo L. Grilli - Scuola SIS Software per la stima di modelli multilivello Software specializzato (es. MLwiN, HLM) Procedure in pacchetti di uso generale (es. Proc Mixed e Proc Nlmixed in SAS, xtmixed e gllamm in Stata) Rassegna critica: Sito con dati ed esercitazioni svolte: Multilevel Modeling Resources at UCLA Sniders & Bosker Libri sui modelli multilivello Hox L. Grilli - Scuola SIS L. Grilli - Scuola SIS Libri sui modelli multilivello Modelli multilivello e valutazione Goldstein Raudenbush & Bryk Raudenbush S.W. & Willms J.D. (995) The Estimation of School Effects. Journal of Educational and Behavioral Statistics, Vol. 0, No. 4, pp Goldstein, H. & Spiegelhalter, D.J. (996). Leage tables and their limitations: statistical issues in comparisons of institutional performances (con discussione). Journal of the Royal Statistical Society, series A, Vol. 59, pp Goldstein H. & Lewis T. (eds) (996) Assessment: problems, developments and statistical issues: a volume of expert contributions. Wiley, Chichester. Gori E. & Vittadini G. (a cura di) (999) Qualità e valutazione nei servizi di pubblica utilità. ETAS, Milano. L. Grilli - Scuola SIS L. Grilli - Scuola SIS