Metodi statistici per la valutazione dei risultati

Transcript

1 Processi e metodi statistici di valutazione Metodi statistici per la valutazione dei risultati PIETRO GIORGIO LOVAGLIO Università di Milano-Bicocca 1

2 1. VARIABILE LATENTE O OUTCOME Costrutto teorico tipico delle scienze sociali (capitale umano, soddisfazione, capacità verbale) non direttamente misurabile, né definito propriamente, legato ad una serie di variabili manifeste. SERVIZI ALLA PERSONA Stato di benessere globale dell utente generato dalla fornitura di un bene o di un servizio alla persona (SPPU) OBIETTIVO: Misurare L Efficacia Relativa di k Agenti che erogano il medesimo servizio alla persona misurando outcome latenti sugli utenti 2

3 STIMA DI VIABILI LATENTI LISREL Equazione strutturale (Path Analysis) due modelli di misura (A. fattoriale): h = Bh + Gx + z y = B h + e v = G x + d (1) IPOTESI E(zd )=E(ze )= E(ed )= 0 E(xz )=E(he )= E(xd )= 0 x, h vettori di k, r LV rispettivamente esogene ed endogene, v, y vettori di p, q variabili osservate (k<p e r<q). PROBLEMI DI LISREL 1. Il modello LISREL non è identificato sotto condizioni generali. 2. I punteggi delle LV sono indeterminate (non uniche). 3. Stime ricavate dalla forma ridotta e non separatamente nei due modelli che lo compongono. (differenza di risultati per le stime). 4. Assunzione di normalità multivariata di (v,y) - stimatori di massima verosimiglianza (variabili continue) - stima delle correlazioni policoriche (variabili ordinali): 5. LISREL non tratta variabili categoriali di tipo nominale 3

4 DEFINIZIONE ALTERNATIVA DI LV IN LETTERATURA Le LV h vengono definite come combinazione lineare di MV y: h = A y (2) ANALISI CONGIUNTA DEL MODELLO FATTORIALE y = B h + e 1. Regression Component Decomposition (RCD, Schonemann e 2. Partial Least Squares (PLS, Wold 1982) Staiger 1976) VANTAGGI 1. LV non indeterminate 2. Stima simultanea di parametri del modello fattoriale (B) e dei pesi che definiscono le LV (A) LIMITI 1. Inefficienza: non è stabilito un criterio di ottimo globale nei due stadi; 2. Inconsistenza logica: si inverte il legame causa-effetto tra LV e MV 3. Non estensione a dati categoriali 4

5 LA PROPOSTA CAUSE LV EFFETTI (3) X h Y Y = 1 n m + XA B + E A X XA=I (4) Y = 1 n m + h B + E ρ(a)= r Vec(E) (0, S I n ) CRITERIO DI OTTIMO GLOBALE Cercare una o r combinazioni lineari di X in modo da massimizzare: i I 1 s 2 (y i ) R 2 (y i, XA) (5) OSSERVAZIONI --Definizione, rango di LV -Stima simultanea di A e B -Errori tra le Y (S) -Y nel modello fattoriale, X come informazione ausiliaria. -LISREL ammette solo variabili-effetti. -Il modello (4) generalizza (PLS, RCD, MIMIC, LISREL) modelli di misura proposti in letteratura per stimare i punteggi delle LV 5

6 PATH DIAGRAM Dimensione h = 2 Dimensione h = 1 6

7 In ambito di efficacia relativa tra le X vanno specificate: - l intercetta per il confronto di efficacia relativa dei K agenti - le caratteristiche individuali degli utenti; - le variabili cause che costituiscono una proxy di h; - il valore basale dell oucome latente h 0 ; - K-1 variabili dummy (appartenenza degli utenti ai K agenti); - le interazioni agenti-valore basale; ESEMPI Outcome (clienti) Agenti X (cause di h) Y (effetti di h) Valore basale Capitale umano (studenti) Università numero esami/media stage caratteristiche personali tempo necessario per occupazione stipendio ruolo professionale raggiunto votazione scuola superiore tipo di scuola superiore Soddisfazione (ospiti) Collegi universitari rapporti con il personale mensa localizzazione aiuto studio Riacquisto Distanza dal prodotto ideale Aspettative amicizie caratteristiche personali 7

8 UNA SPECIFICAZIONE EQUIVALENTE DI Y = 1 n m + XA B + E evita l ipotesi di normalità per vec(y) permette l estensione ai dati categoriali YC = 1 n m +XB + E C C=I ρ(c) = r (6) Ora le LV sono h=yc combinazioni di Y i cui pesi C sono ottenuti attraverso X: Stima Nell ipotesi S = s 2 I h i = Yˆ ˆ c i ĉi è l autovettore associato a λ i autovalore di S -1 xx S xy S yx LA BONTA DI ADATTAMENTO Σ i λ 1 2 c ˆ i varianza spiegata di Y (try Y) attraverso h 1 8

9 ESTENSIONE A VARIABILI CATEGORIALI Per dati categoriali (nominali e/o ordinali) e misti non esistono proposte in letteratura per l estensione della metodologia proposta. Essa viene estesa PER OGNI COMBINAZIONE DEI LIVELLI DI MISURAZIONE DI X ED Y, attraverso l Optimal scaling. La Metodologia dell Optimal Scaling (O.S.) trasforma ogni indicatore categoriale in quantitativo attraverso un opportuno criterio di ottimo. Un insieme di p variabili y j categoriali (nominali e/o ordinali) può essere specificato in p variabili del tipo: y j = G j w j (7) con G j (n*k j ) matrice indicatore con n<< k j j=1, p e w j (k j *1) vettore dei parametri delle categorie di y j. Sensibilità del livello di misurazione y j quantitativa w j corrispondono ai punteggi osservati y j nominale w j sono le categorie da stimare senza vincoli y j ordinale viene supposto vincolo di ordinamento su w j : ω j1. ω ji... ω jkj 9

10 ALGORITMO PER DATI MISTI YC = 1 n m + XB + E 1. Analisi Regressione non lineare ϕ j (y j ) su ϕ i (X j ) os ( y ˆ 1...ˆ y q, X j ) 2. Analisi C. Principali suy ˆ Y ˆ y 1 os y q os (C, hcx 1 h j h r ) 4. Analisi C. principali non lineare h j su ϕ(y i ) (B, m, X os ) 3. Analisi Regressione non lineare h j su ϕ(x) Le stime ai passi 1 e 3 sono ottenute attraverso un ALGORITMO DI REGRESSIONE MULTIPLA CON DATI MISTI (Lovaglio 2000) 10

11 CARATTERISTICHE DELL ALGORITMO DI O.S. Stima simultanea parametri del modello di misura punteggi delle LV quantificazioni dei dati categoriali optimal di Kruskal Le stime delle LV sono: - combinazioni non lineari delle variabili categoriali e quantitative - combinazioni lineari delle variabili ottimamente trasformate: h j = S i y i os ĉ ij 11

12 VANTAGGI DELLA METODOLOGIA ADOTTATA 1. i modelli di misura degli Outcome sono sempre identificati (LISREL) 2. stima congiunta degli Outcome e dei parametri del modello (PLS); 3. rispetta il ruolo degli Outcome come cause latenti (PLS, RCD); 4. evita ipotesi distributive sugli Outcome e su MV (LISREL, MIMIC); 5. tiene conto della struttura di correlazione tra le y i (MIMIC, RCD) 6. si estende al caso in cui gli Outcome sono stimati da variabili manifeste categoriali (PLS, MIMIC, RCD, RCDR) PROPRIETÀ E CARATTERISTICHE DEGLI OUCOME 1. non indeterminati nei punteggi 2. criterio (nested) per la dimensionalità degli Outcome LIMITI DELL APPROCCIO Con variabili categoriali la metodologia non è stata estesa per S I Poiché è un modello ad effetti fissi non consente analisi di efficacia approfondite (Efficacia Tipo B = imputabile alle risorse degli Agenti, Efficacia Tipo C = imputabile alla capacità manageriale degli Agenti). 12

13 LA STIMA DEL CAPITALE UMANO Famiglie americane (Federal Reserve Survey) Variabili Esogene Descrizione** Status anagrafico culturale Intercetta X1 Età H -,005 X2* Sesso H (1=Femmina) 3,451 X3 Stato civile H -3,243 Coefficienti strutturali Status professionale -162,427-10,844 X4 Anni di scolarità H 1,040 0,616 X5 Anni scolarità S 1,057 X6 Anni di lavoro H 0,053 0,210 X7 Anni di lavoro S -,0742 X8* Posiz. Lavorativa H -2,231 X9* Tipo di occupazione H -4,824 X10* Settore lavorativo H -4,477 X11 Posiz. Lavorativa S 0,877 X12 Ricchezza totale F 3,021 Y1 Reddito da lavoro F Dipendente Dipendente Y2 Reddito finanziario F Dipendente Dipendente * VARIABILI DA TRASFORMARE CON O.S. ** H CAPO FAMIGLIA, S CONIUGE F FAMIGLIA 13

14 Distribuzione dei punteggi stimati per status professionale ,0-1,5-1,0 -,5 0,0,5 1,0 1,5 2,0 2,5 3,0 Status professionale Distribuzione dei punteggi stimati per status anagrafico-culturale ,0-15,0-11,0-7,0-3,0 1,0 5,0 9,0 13,0 17,0 Status Anagrafico-Culturale 14

15 LA STIMA DEL CAPITALE UMANO Famiglie americane (Federal Reserve Survey) Anni di scolarità capofamiglia e coniuge Sesso capofamiglia Stato civile capofamiglia h1 Reddito da lavoro familiare Anni di lavoro capofamiglia Ricchezza familiare Settore lavorativo capofamiglia e coniuge 15 h2 Posizione lavorativa capofamiglia e coniuge Reddito finanziario familiare h1= S. professionale h2= S. anagr.-culturale