Analisi Fattoriale Discriminante

Транскрипт

1 Aalisi Fattoriale Discrimiate Bibliografia Lucidi (materiale reperibile via Iteret) Lauro C.N. Uiversità di Napoli Gherghi M. Uiversità di Napoli D Ambra L. Uiversità di Napoli Keeth M. Portier Uiversity of Florida Davio C. Uiversità di Macerata Durad J.F. CNRS Motpellier (Frace) Sabatier R. Uiversità di Motpellier I.

2 Aalisi Fattoriale Discrimiate (Fisher, 930; Altma, 960) L Aalisi Fattoriale Discrimiate (AFD) cosidera u isieme di idividui suddivisi a priori i k ruppi simili. Gli idividui soo raggruppati sulla base delle differeti modalità di ua variabile qualitativa, che costituisce la variabile da spiegare e su di essi vegoo osservate p variabili cotiue che costituiscoo le variabili esplicative 3 Aalisi Fattoriale Discrimiate (Fisher, 930; Altma, 960) Obiettivo osservare se la classificazioe effettuata a priori risulta cofermata ache dopo l osservazioe delle p variabili esplicative Obiettivo descrittivo assegare u uovo idividuo, di cui o si coosca il gruppo di apparteeza, ad uo dei gruppi co la miima probabilità di commettere u errore di classificazioe Obiettivo decisioale 4

3 Aalisi Fattoriale Discrimiate (Fisher, 930; Altma, 960) Si cosideri il caso dei clieti di u istituto di credito che abbiao usufruito di uo dei prodotti dell istituto stesso (es: prestito persoale). Sulla base della storia del loro rapporto co l istituto, i soggetti possoo essere classificati ei k=3 possibili gruppi 5 Aalisi Fattoriale Discrimiate (Fisher, 930; Altma, 960) I gruppi, defiiti i modo arbitrario sulla base del loro rapporto co l Istituto, differiscoo ache rispetto ai valori assuti dalle variabili esplicative? E possibile defiire ua regola di decisioe da applicare ad u uovo cliete, di cui o si coosce il gruppo di apparteeza, che coseta di prevedere l affidabilità? Campi di applicazioe Scieze biologiche Medicia Ecoomia Istruzioe Credito 6

4 Aalisi Fattoriale Discrimiate (Fisher, 930; Altma, 960) I dati possoo essere raccolti ua matrice (,p+) i cui l ultima coloa cotiee le determiazioi della variabile da spiegare che può assumere valori da a k (codifica ridotta) 7 Determiazioe delle fuzioi lieari discrimiati Idichiamo: X Matrice dei dati ( x p) g g Il baricetro del gruppo G E il baricetro della ube totale Defiiamo: W = Matrice Var-Cov gruppo G (=,.,k) i= ( xi g )( xi g ) 8

5 Aalisi Fattoriale Discrimiate (Fisher, 930; Altma, 960) L AFD ricerca le combiazioi lieari delle variabili esplicative i grado di determiare il sottospazio R p tale che le proiezioe dei baricetri g dei gruppi risultio il più distaziate possibile, avedo al tempo stesso il massimo raggruppameto delle uità attoro ai rispettivi baricetri 9 Determiazioe delle fuzioi lieari discrimiati Defiiamo: W = Matrice Var-Cov gruppo G (=,.,k) i= ( xi g )( xi g ) B = k = ( g g)( g g) Matrice Var-Cov tra i gruppi V k = ( xi g)( xi g) Matrice Var-Cov totale i= 0

6 Determiazioe delle fuzioi lieari discrimiati L aalisi lieare discrimiate (ALD) ipotizza l uguagliaza delle matrici di Var-Cov etro i gruppi (ipotesi di omoschedasticità) prededoe come stima la matrice comue W otteuta come media delle matrici di Var-Cov dei k gruppi poderata co la rispettiva umerosità: W k = W = Matrice Var-Cov etro i gruppi Formula di Huyghes V = W + B Matrice di ierzia totale Matrice di ierzia etro le classi Matrice di ierzia tra le classi Determiazioe delle fuzioi lieari discrimiati Il primo passo cosiste el ricercare u asse u, passate per il cetro di gravità della ube dei puti, tale che la variaza dei baricetri proiettati sia massima metre risulti miima la proiezioe della variaza all itero dei gruppi. Obiettivo: = u Bu u Vu ( ) = max Q u Che equivale a ricercare il massimo della forma quadratica vicolo quadratico u Vu =. Si ha quidi: L = u Bu λ Vu ( u ) = max u Bu co il

7 Determiazioe delle fuzioi lieari discrimiati L Derivado rispetto ad u ed uguagliado a zero abbiamo: = Bu λvu = 0 u Da cui: Bu = λvu Ipotizzado che la matrice V o è sigolare: V Bu = λu Il vettore cercato è quidi l autovettore u associato al più grade autovalore della matrice V B λ L autovalore è quidi uguale alla quota di ierzia (proiettata) tra i gruppi rispetto all ierzia totale, ed è perciò sempre iferiore, o la massimo uguale, a 3 Determiazioe delle fuzioi lieari discrimiati Ua volta idividuato il primo asse, la ricerca del secodo sarà idirizzata verso u asse u, ortogoale ad u e tale che dal massimizzare il rapporto: ubu uvu Si dimostra facilmete che gli autovettori u α (α=,,k-) della matrice V - B costituiscoo le soluzioi cercate. È importate ricordare che B è la matrice Var-Cov sui k baricetri, la cui somma poderata è uguale al vettore ullo. Il rago di B è quidi pari a k- e, di cosegueza, il umero di autovalori o ulli dalla matrice è al più pari a k- 4

8 Determiazioe delle fuzioi lieari discrimiati Poedo: v = Vu u = V v L espressioe Bu = λvu diveta: BV v = λv I vettori v α autovettori della matrice BV -, costituiscoo gli assi discrimiati, metre i vettori u α =V - v α, autovettori della matrice B co la metrica V -, soo chiamati forme lieari discrimiati 5 Regola di classificazioe e valutazioe dei risultati Dopo aver idividuato le fuzioi discrimiati che separao al meglio i k gruppi è ecessario defiire ua regola di decisioe che coseta di riassegare ciascu idividuo ad u gruppo, per poter poi cofrotare la partizioe defiita a priori co quella otteuta sulla base delle variabili esplicative. Quado k= la matrice di Var-Cov tra i gruppi si scrive: = g ( g g)( g g) + ( g g)( g ) B Che, utilizzado la relazioe: g = + g g 6

9 Regola di classificazioe e valutazioe dei risultati Idicado ora co h il vettore (p,) h ( g ) = g = hh B Quidi la relazioe V Bu = λu V diveta: hh u = λu ( h V h) h u = λh u λ = h V h 7 Regola di classificazioe e valutazioe dei risultati La quatità λ quidi al meo di ua costate risulta pari alla distaza tra i due baricetri g eg e prede il ome di distaza geeralizzata o distaza di Mahalaobis. L autovettore: u = V h Soluzioe dell espressioe: hh u = λvu Rappreseta l uica fuzioe discrimiate. La regola di decisioe, cosisterà ell assegare u idividuo e al gruppo se risulta: ( e g ) V ( e g ) < ( e g ) V ( e g ) i i i i 8

10 Regola di classificazioe e valutazioe dei risultati Poiché il termie e i V e è comue ad etrambi i membri, si può dire che l idividuo e i verrà assegato al gruppo G se: ( g ei ) V g < ( g ei ) V g equivalete g () ( g g ) 0 V g g V g + ev i > 9 Regola di classificazioe e valutazioe dei risultati Ricordado che si può scrivere: g + ( g + g ) V ( g ) V g g V g = g L espressioe () diveta: e G ev i ( ) ( ) ( ) g > + + g g g V g g E la regola di decisioe sarà: e G ei ( g + g ) V ( g g ) 0 > 0

11 Regola di classificazioe e valutazioe dei risultati La relazioe precedete ci cosete di iterpretare la regola di decisioe ache dal puto di vista geometrico. ( g + g ) g g e i u = V ( g g ) L idividuo e i sarà assegato a G se la proiezioe del vettore che uisce il puto medio tra i baricetri g e g co il puto sull asse u è positivo Regola di classificazioe e valutazioe dei risultati Quado k> la regola di decisioe per u idividuo e i cosiste ell assegare l idividuo al Gruppo G se la distaza della sua proiezioe ê i da quella del baricetro ĝ è miore delle distaze da tutti gli altri baricetri proiettati. e G d i ( eˆ, gˆ ) = mi[ d ( eˆ, gˆ )] i i È possibile dimostrare che misurare la distaza di u idividuo da u gruppo ello spazio iiziale equivale a misurare la stessa distaza i termii di proiezioi sullo spazio defiito dai uovi assi. L idividuo e i verrà quidi assegato al gruppo per il quale risulta: ( e g ) V ( e g ) = mi ( = k) i i,..., O ache: ( g e ) V g = mi ( = k) i,...,

12 Regola di classificazioe e valutazioe dei risultati Estededo questo ragioameto a tutti gli idividui si otterrà la ricostruzioe dei k gruppi sulla base delle coordiate el uovo spazio e sarà possibile cofrotare le ripartizioi effettuate a priori, su quella della variabile da spiegare, co quella otteuta a posteriori sulla base delle p variabili esplicative Quado più soo simili le due partizioi tato più si potrà dire che le variabili hao u buo potere discrimiate 3 Aalisi Fattoriale Discrimiate (Fisher, 930; Altma, 960) U giudizio sulla botà della uova ripartizioe è dato dalla percetuale di be classificati calcolata sulla matrice di cofusioe S i cui vegoo riportati sulle coloe i gruppi origiari e sulle righe quelli a cui gli idividui soo stati idirizzati dopo l aalisi % be classificati = tr(s)/ 4

13 Selezioe delle variabili Il problema, i realtà, si preseta molto complesso per due aspetti. Il umero di sottoisiemi di q variabili che è possibile otteere dalle p di parteza è pari a: p! q!( p q)!. Perché il miglior sottoisieme di q variabili può o coteere affatto il miglior sottoisieme di q- variabili. È quidi ecessario imporre dei vicoli che se risolvoo i problemi computazioali o possoo garatire le defiizioe del sottoisieme ottimo. 5 Selezioe delle variabili Per ridurre i costi e migliorare l affidabilità dell AD è importate selezioare le variabili. Esistoo due metodi:. step by step ascedete a. Si sceglie la variabile che separa meglio i gruppi b. Si sceglie la coppia di variabili, compresa la prima, che separa meglio i gruppi e così via c. L algoritmo si arresta quado l apporto dato da u ulteriore variabile è poco sigificativo. step by step discedete a. Tra i J sottisiemi che è possibile otteere co J- variabili, si sceglie quello che separa meglio i gruppi, elimiado la variabile o compresa b. Tra i J- sottisiemi che è possibile otteere co J- variabili si sceglie quello che separa meglio i gruppi elimiado la variabile o compresa, e così via. c. L algoritmo si arresta quado la differeza tra due iterazioi successive è poco sigificativa Idipedetemete dal tipo di procedura prescelta è ecessario defiire u criterio che defiisce, ad ogi passo, il migliore sottisieme. 6

14 Criteri di selezioe delle variabili Criterio della traccia di Lawley-Hotellig Il criterio selezioa al passo q il gruppo di q variabili per cui: Criterio del determiate di Wilks tr W q B q = max Il criterio selezioa al passo q il gruppo di variabili per cui Criterio della % di BC det W q det Vq = max Il criterio selezioa al passo q la variabile per cui: % BC = max La procedura di selezioe si arresta quado le % di BC el campioe di base e el campioe test si stabilizzao 7 Validazioe dei risultati TEST DELLA REGOLA DI CLASSIFICAZIONE Metodo del campioe test k = 3 Costruzioe della regola di classificazioe E E E E E 3 Campioe Totale E 3 % BC 8

15 Legami co altri metodi Nel caso di due gruppi l AFD può essere cosiderata come ua regressioe multipla i cui la variabile dipedete assume i valori e. Quado k> si possoo avere altre aalogie: Ad esempio: Cosideriamo la relazioe fodametale dell ACP X X M u =λu Matrice Metrica Autovettore B V - v =λv Si può quidi affermare che effettuare u aalisi discrimiate sugli idividui utilizzado la metrica euclidea equivale ad effettuare u ACP sui k baricetri utilizzado la metrica defiita dalla matrice V - 9 Applicazioe Matrice dei dati prezzo cilidrata cavalli lugh largh peso velocità cosstrada cosurbao affidab Var.discr A55 9, ,4 9,5 36 AU80 34, ,8 0, BMW3 40, ,6 9,6 7 3 CXAN 9, , 0,3 8 TEMP 3, ,3 0,5 305 MOND 3, , 0,6 95 DELT 9, ,8 75 DEDR 3, PRIM 8, ,7 8,9 6 VECT , 0, 95 P405 8, , 9,8 80 RE 9, ,8 350 GOLF 8, ,6 9,9 96 PASS ,4 0,4 344 VOL4 3, ,4 0,3 48 Le auto soo state divise i 3 classi (segmeto di mercato) [8, 30[ [30, 33[ [33, 4[ 3 30

16 Applicazioe Autovalori Fuzioe Autovalore % di variaza % cumulata Correlazioe caoica,0 a 9,7 9,7,958,87 a 7,3 00,0,68 a. Per l'aalisi soo state usate le prime fuzioi discrimiati caoiche. Lambda di Wilks Test di fuzioi Da a Lambda di Wilks Chi-quadrato df Sig.,044 4,909 8,7,534 5,05 8,756 3 Applicazioe Coefficieti stadardizzati della fuzioe discrimiate caoica cilidrata cavalli lughezza larghezza peso velocità cosumost cosumourb affidab Fuzioe,3,73 5,8,734 -,45 -,4,685,583 -,0 -,40-3,869 -,73 -,776,709,86 -,884 3,593,3 3

17 Applicazioe cilidrata cosumourb peso cavalli velocità cosumost affidab larghezza lughezza Matrice di struttura Fuzioe,*,99,3*,060,90 -,374*,34 -,370*,35 -,35* -,034 -,86* -,033 -,8*,058,85* -,089 -,03* Correlazioi comui etro gruppi tra variabili discrimiati e fuzioi discrimiati caoiche stadardizzate Variabili ordiate i base alla dimesioe assoluta della correlazioe etro la fuzioe. *. Correlazioe assoluta più grade tra ciascua variabile e qualsiasi fuzioe discrimiate 33 Applicazioe Fuzioi ai baricetri di gruppo discrim 3 Fuzioe -4,698,45,98,88 -,496 -,5 Fuzioi discrimiati caoiche o stadardizzate valutate alle medie di gruppo 34

18 Applicazioe 3 Fuzioi discrimiati caoiche 3 4 Fu zi o e discrim 5 6 Cetroidi di gruppo 3 4 Fuzioe A55 AU80 BMW3 CXAN TEMP MOND DELT DEDR PRIM VECT P405 RE GOLF PASS VOL4 35 Applicazioe Matrice di Cofusioe Gruppo origie di Gruppo di destiazioe G G G 3 G G G La percetuale di corretta classificazioe è quidi: % b. c. = 00 = 00 % 5 36

19 Aalisi Fattoriale Discrimiate Esempio X: Età X: Reddito pricipale X3: % di idebitameto X4: Da quati ai è occupato/a X5: Da quati ai è cliete dell istituto (0 se uovo cliete) X6: Importo del prestito X7: Durata del prestito = Cattivi clieti = Itermedi 3 = Buoi clieti 37 Aalisi Fattoriale Discrimiate Esempio 38