Le 7 fasi dell AMD (PAG.6 M.Fraire-Metodi di AMD CISU, Roma 1994)

Transcript

1 !(Breve rchamo alle lezo ) " I passato l applcazoe ua tecca statstca multvarata cossteva stetcamete tabella e at potes moello e tecca statstca multvarata output e rsultat Ogg l amplars e camp applcazoe e meto aals e at sa elle sceze socal che atural, la varetà e complesstà elle stuazo specfche rcerca, hao portato a are rlevo sa al puto vsta metoologco che formatco ua sere aspett trascurat passato: le fas prelmar ell AMD, la formalzzazoe el problema, le cofche a pror e a posteror. L AMD rguara aals statstche tpo complesso ossa costtute a pù elaborazo tra loro cocateate, al fe poter esamare sstematcamete, moo utaro e artcolato, tal aspett è utle coserare l AMD come u sstema composto pù fas tutte ugualmete mportat e terpeet e avet cascua aspett statstc e formatc. Molto schematcamete è possble potzzare 7 fas prcpal elle qual s svolge u AMD (Frare, 989) che soo ettaglatamete escrtte el testo qu seguto ctato:. Le 7 fas ell AMD (PAG.6 M.Frare-Meto AMD CISU, Roma 994) Complemet alle lezo teute alla Prof.ssa Mary Frare Facoltà Socologa, Uverstà egl Stu Roma La Sapeza, a.a per l Moulo Specalstco (MS) STATISTICA (SECS-S/0) Laboratoro Aals e at Multvarat elle lezo. Il moulo attco rguara cors (SERS, PROVa, CATRI) ella Laurea Magstrale Socologa e l corso per la Laurea Magstrale Programmazoe e gestoe elle Poltche e e Servz socal (ProPols).

2 ## $ % (Breve rchamo alle lezo ) Esstoo vers tp matrc e at, secoo le stuazo rcerca, cascua avete ua ata struttura complessa qu seguto s cao alcue elle pù rcorret elle verse stuazo rcerca: TABELLA INVENTARIO ( ): cotee at mst coc alfaumerc e umer real; essua struttura rchee ulteror cofche a posteror. Dato statstco: [ a coc ; val. umerc ] MATRICE DI DATI QUALITATIVI ( ): cotee coc alfaumerc; essua struttura rchee ulteror co.a posteror per essere statstcamete trattable. Dato statstco: [ a coc ; ] MATRICE DI INTENSITA o DATI QUANTITATIVI( ): cotee umer real, R, possee struttura algebrca spazo vettorale. Dato statstco: [ a R] + MATRICE DI CONTINGENZA (r s): cotee frequeze assolute ( R ) possee struttura algebrca spazo vettorale. + Dato statstco: [ a R ] MATRICE DEI RANGHI ( ): at soo costtut a ragh (mutabl rettlee), possee struttura ore. Dato statstco: [ a co. alfaumerco] MATRICE DELLE PREFERENZE ( ): cotee ragh (struttura ore) o post espress umer ter atural ℵ(struttura algebrca spazo vettorale). Dato statstco: per ragh [ a co. alfaumerco] o per post [ a ℵ] MATRICE DI DESCRIZIONE LOGICA o BOOLEANA ( ): at soo costtut a 0 o, o possee struttura. Dato statstco: [ a 0;] MATRICE DEI PUNTEGGI ( ):cotee umer ter atural ℵ, ha struttura algebrca spazo vettorale. Dato statstco: [ a ℵ ] MATRICI DI PROSSIMITA ( ):cotee staze espresse ragh (struttura ore) o putegg (struttura algebrca spazo vettorale). MATRICI A TRE (three-way) at quattatv (N K O): cotee at umer real, possee struttura algebrca. Dato statstco: [ R] MATRICI DI DATI TESTUALI: cotee parole o fras o test,essua struttura, rchee ulteror partcolar cofche a posteror per essere statstcamete trattable. Ecc.ecc. &! ( ( ) * +, (Breve rchamo alle lezo ) La matrce testà o e at quatatv o varabl cotee umer real R, e possee struttura algebrca spazo vettorale. Dato statstco: [ a R] Esstoo ache le matrc a PIU VIE (mult-way) at quattatv o matrc a tre e pù ve at qualtatv.

3 Sa P u ato collettvo o popolazoe statstca efta a: N (,,..., N ) u. s. P (,,..., ) v a r cu N è l seme supposto fto elle u.s.e l umero elle varabl S ha la matrce e at quattatv a rghe e coloe seguete:,, N \ N N N N N efto a pror. Og rga ella matrce è u vettore umerco a elemet real: (,,...,,..., ) cate le coorate u puto-utà ello spazo R a meso. L seme tutt vettor rga efsce la NUVOLA DEI PUNTI-UNITA, N, ello spazo elle (,,..., ) utà R a meso. Dualmete og coloa ella matrce è u vettore umerco a elemet real: (,,..., ) L seme tutt vettor coloa (,,...,,..., ) efsce la NUVOLA DEI PUNTI VARIABILI, N, ello spazo elle varabl a meso. R Se su tal vettor s possoo effettuare le operazo tere somma vettorale (+) e prootto estero per uo scalare ( ) s può utlzzare la struttura algebrca ello SPAZIO VETTORIALE sopra l corpo reale; se esso è oltre muto ell operazoe estera el prootto scalare (o tero) cato co <, > e efto come applcazoe R s può operare ello SPAZIO VETTORIALE EUCLIDEO. - %./) Esstoo vers tp strutture algebrche (semgruppo, gruppo, gruppo abelao, aello, corpo, corpo commutatvo, retcolo, retcolo Boole, moulo, spazo vettorale, spazo vettorale eucleo ecc. ). I geerale per struttura algebrca s tee og seme A otato ua o pù legg composzoe (tera, estera). Per le efzo e propretà elle strutture ve: Strutture algebrche corpo (M.Frare, op.ct.,pg.) Strutture algebrche gruppo e corpo commutatvo (pg.3) Spazo vettorale (leare)(pg.3) Spazo vettorale eucleo(pg.4) Le matrc avet struttura algebrca spazo vettorale eucleo soo quella alle qual s applcao la maggor parte e meto AMD (ACP, ACC, ACS, ACM, MDS, 3-way Stats ecc.)

4 Uo egl scop ella 3^ e 4^ fase ell AMD rguarat le cofche a posteror elle matrc e at zal è quello trasformare la matrce e at zal affchè abba tale struttura. E a osservare oltre che raramete ell AMD s applcao vers meto multvarat alla matrce e at zal fatt ell AMD: matrce e at zal tabella e at e quest ultma ovrebbe avere le seguet caratterstche per essere effcacemete aalzzata tramte ua o pù tecche AMD: pertete rspetto all oggetto rcerca omogeea e at esaustva ella escrzoe completa ell seme (varabl) e ell seme N (utà statstche) rspetto al feomeo coserato /)! ( * +, Per ua matrce at quattatv la STRUTTURA ALGEBRICA(*) o SPAZIO RIFERIMENTO è lo SPAZIO VETTORIALE (o LINEARE) e VETTORIALE EUCLIDEO. Legge composzoe tera + (azoe o somma vettorale: applcazoe ) co le propretà assomatche:, y, z a) + y y+ b)( + y) + z + ( y+ z) c) esste ( u 0): + u u+ ( u eutro ) ) opposto : : + ( ) 0 Legge composzoe tera (moltplcazoe per uo scalare o prootto estero: EUCLIDEO: R co le seguet propretà assomatche: a ) ( λ ) λ se per l seme b ) λ γ ( λ γ ) e vettor ore c ) 0 0 ove le soo ) λ ( + y ) λ + λ y umer real R e ) ( λ + γ ) λ + γ Soo efte: Prootto scalare o tero R<, > co le seguet propretà assomatche: a) <, y >< Y, > b) < + y, z >< z > + < yz > c) < λ, y > λ <, y >, (*) Per struttura algebrca s tee og seme otato ua o pù legg composzoe tera o estera. Ua operazoe o legge composzoe tera assoca a og coppa elemet (;y) u elemeto z apparteete acora a ossa y z. Ua operazoe o legge composzoe estera coette gl elemet ell seme co gl elemet u altro seme Ω operator moo tale che per og coppa (; ) esste u uco elemeto z apparteete acora a ossa z.

5 # #.0$ 0 0$ La 5^ fase ell AMD (cfr par..) rguara la scelta ua msura (metrca) : RASSOMIGLIANZA-DISSOMIGLIANZA tra utà statstche: Matrc elle staze o elle smlartà. Esstoo molt tp msure a secoa el tpo tabella e at a aalzzare (staze Mows, Mahalaobs, Hammg; c staza; c verstà;c smlartà) Nella Cluster Aalyss (CA) è a esempo rlevate a esempo la scelta ella msura rass./ss. tra u.s.. RELAZIONE TRA CARATTERI: Matrc evaze e coevaze; varaze e covaraze;correlazoe, correlazoe parzale ecc.) Nell Aals Compoet Prcpal (ACP) è a esempo rlevate la scelta ua msura relazoe tra varabl. ## / %3 / %! 4 Nel prospetto che segue s rportao prcpal tp tabelle e at (4^fase ell AMD) e le verse msure rass./ssom. fra u.s. (5^fase ell AMD: la scelta ella metrca) 3 : Tabella e at (4^ fase ell AMD) Tabella testà o at quattatv (varabl) Tabelle cotgeza Tabelle escrzoe logca (booleae) Msura rass./ssom. (5^fase ell AMD) Dstaze: Mows (semplc e poer.) Mahalaobs Ic verstà: Lace e Wllams ecc. Dstaze: Mows (semplc e poer.) Ic staza: staze el χ² Dstaze: Mows (semplc e poer.) Hammg Ic staza: staze el χ² Ic smlartà: Soal e Mcheer Russel e Rao Jaccar ecc. 3 v. M.Frare, Meto AMD, op.ct. pag. 94 per le propretà egl c e pag. 95 per le tabelle e at.

6 Tabelle e ragh Dstaze: Mows (semplc e poer.) Rzz Ic verstà: ρ Sperma (*) τ Keall (*) (*)corrett affchè varo tra 0 e azché tra e + Le matrc mesoe ette ache matrc elle msure rassomglaza/ssomglaza tra tutte le possbl coppe elle N u.s. cotegoo le staze o le smlartà calcolate per tutte le coppe u.s. rspetto a caratter cotemporaemete coserat. Ifatt ata la matrce at quattatv seguete:, N \ N N N N N se s vogloo avere elle msure rassomglaza o ssomglaza tra tutte le possbl coppe ( ) utà statstche rspetto a caratter cotemporaeamete coserat (vettor-rga) occorre sceglere ua msura che forsca la staza (verstà) o la vcaza (somglaza) tra ue rghe. Esstoo molte msure a secoa elle proretà posseute e el lvello msurazoe e caratter co qual cascua esse è compatble. La scelta tra le verse msure è legata alla struttura S posseuta alla tabella e at coserata e le msure co essa compatbl. Ua prma grae stzoe tra le verse msure rassomglaza/ssomglaza tra u.s. è comuque quella tra DISTANZE (vers c) per le varabl e SIMILARITA (vers c) per le mutabl. I geerale se coseramo tutte le possbl coppe elle N u.s. s ha la matrce elle staze cata co D, che cotee tutte le staze per tutte le coppe u.s. seguete: ( ) 0 ( ) ( 3)... ( ) ( ) ( ) 0 ( 3)... ( ) D, ( 3) ( 3 3) 0... ( 3 ) ( ) ( ) ( ) 0 Essa forsce ua msura ella rassomglaza-ssomglaza tutte le N u.s., prese a ue a ue, rspetto a tutt caratter cotemporaeamete coserat. La matrce è ua matrce:

7 QUADRATA mesoe ( ) ( ) SIMMETRICA POSITIVA ( perché per le propretà stesse ua staza qualuque essa sa ) 0, è sempre postva o ulla NULLA solo se ( ) 0 (s ot la agoale prcpale ag[0,0,,0]) ( ) Avete elle staze utl. #& %,5, Tra le pù mpegate staze avet l maggor umero propretà (cfr.tabella 3 pag.94 M.Frare, op.ct.) c soo le staze Mows la cu formula è ata a: t t t ( t t ero) a secoa el valore assuto al parametro t s hao le staze: t Dstaza ella cttà a blocch o Mahatta t Dstaza euclea ( ) t t t Dstaza Lagrage 0 Data la matrce at quattatv { } m a r,,..., N 3 3, La staza ella cttà a blocch o Mahatta per la coppa u.s. (,) è ata a: es.: (;) ( ) 3(3 ) smlmete vao calcolate per tutte le coppe utl: 3 ossa (,); (,3); (,3). La staza Lagrage per la coppa u.s. (,) è ata a: es.: (;) ma{ 3 ; 3 5} smlmete vao calcolate per tutte le coppe utl: (,); (,3); (,3).

8 Le staze euclee per tutte le coppe utl : ( ) (;) ( 3) (3 5) 4,4 + + (;3) ( 7) (3 4) 5 5, (;3); (3 7) (5 4) 6 4, Che costtuscoo la matrce elle staze D 3,3 seguete. D 3,3 3 0, 4 5, 0 9, 4 0 4, 3 5, 0 9 4, 0 Dalla matrce elle staze è possble veere qual u.s. soo pù vce sml rspetto al loro tero proflo-rga ossa avet valor bass elle staze e qual vece pù ssml lotae rspetto al loro tero proflo-rga ossa avet valor alt elle staze. #- %χ64 - Le msure rassomglaza/ssomglaza tra le utà statstche pù aatte el caso ua tabella cotgeza soo le staze (avet le propretà egl c staza, cfr ota 3) el χ6 per le rghe e per le coloe ua tabella cotgeza N r, s I partcolare la staza el χ6 per le rghe è ata a: Esempo ata la tabella cotgeza N,3 seguete: La staza el χ6 per le rghe, χ N,3 χ s (, ) χ (,... ) s calcola come segue: Se \ Età Gova Ault Aza tot M F tot ( M, F ) Smlmete la staza el χ6 per le coloe, χ (, ) è ata a: 4 (v. ache pag M.Frare, Meto AMD,op.ct.)

9 Sempre co rfermeto alla tabella cotgeza suetta la staza el χ6 per le coloe (Gova, Ault) s calcola a esempo come segue: χ ( Gov, Aul) Smlmete s calcola la staza el χ6 per le coloe (Gova, Aza) e (Ault, Aza). Le staze el Ch quarato soo aatte alle tabelle cotgeza perché esse equvalgoo a poerare le rghe (o le coloe) ella tabella elle frequeze relatve (rspettvamete per rga o per coloa) per l verso ell mportaza che cascua moaltà ha el collettvo coserato cò cosete elmare l flueza moaltà che sstematcamete avrebbero frequeze maggor elle altre. #( %( 3 / Coserao partcolare proott scalar <, > è possble trouceo ua matrce (reale, smmetrca, efta postva) etta METRICA ello SPAZIO ore (o ore ) esprmere meate operazo algebrche sa R che R og prootto scalare <, >. Faceo rfermeto alla matrce, e at quattatv efta e cao co: R ue vettor-coloa e co R ue vettor-rga s possoo esprmere meate tal proott scalar seguet c statstc rlevat. a) Prootto scalare tra ue vettor: R R, N < > N N < >, K < > K K < > I cu è l vettore trasposto el vettore cate la varable -esma, è l vettore cate la varable, N è ua matrce quarata, smmetrca ore efta postva e rappreseta la metrca ello spazo vettorale eucleo elle varabl Dualmete è l vettore trasposto el vettore cate l utà statstca -esma, è l vettore cate utà statstca -esma, K è ua matrce quarata, smmetrca ore efta postva e rappreseta la metrca ello spazo vettorale eucleo elle utà statstche. Coserao ue vettor-rga a elemet la staza tra ue vettor-rga (,, R ua matrce at quattv ) s può esprmere : (, ) (, ) K (, ), cu K può assumere vers valor efeo tal moo l tpo staza o metrca. 5 v.pag M.Frare, Meto AMD, op.ct.

10 χ (, ) s... A esempo, coserao per semplctà ua Matrce, se la matrce K è la matrce utà I 0 s ha la staza euclea: K 0 (, ) (, )( I, ) ( ) Nell espressoe suetta coserao l prootto scalare tra matrc <, > s avrebbe: I < > K < > (,..,,.., ), I K, I,, Coserao sempre per semplctà ua Matrce, Per cos θ K s ha la geerca staza tra ue put (vettor rga e ) e partcolare cos θ per K, s ha la staza geeralzzata o Mahalaobs seguete: c o s θ (, ) ( ) ( ) c o s θ Osservao che l agolo tra ue vettor è efto al suo coseo coserare ua metrca KI o K I sgfca coserare per KI u agolo θ 90 e qu l cos θ 0 qu ue vettor soo peet, ortogoal; metre se s cosera K I qu u agolo θ 90 e qu cos θ 0 ue vettor soo correlat. N \ A B

11 & %,, Nell AMD la scelta ella metrca tra caratter rguara la scelta ua msura o ce terpeeza o coessoe o correlazoe tra caratter (mutabl o varabl) coserat, faceo sempre rfermeto a ua matrce e at,. Coserao tutte le possbl coppe caratter per cascua elle qual soo calcolat gl c s hao le corrspoet matrc mesoe,, Nel caso partcolare ua matrce at quattatv cu caratter soo elle varabl tra le pù mpegate msure relazoe s hao le varaze e covaraze e gl c correlazoe leare Bravas-Perso Faceo rfermeto a ua matrce varabl, e coserao come msura relazoe tra caratter (varabl) la covaraza la corrspoete matrce,, è la matrce varaze e covaraze, seguete:, tr( ), La matrce, ha le seguet caratterstche: rago 6 ella matrce: lo stesso rago ella matrce e at ossa coserao che le coloe (varabl) sao learmete peet e che < ; quarata smmetrca : co ( ) elemet utl. Nota se le varabl soo espresse scart staarzzat Z(µ0; ) la matrce varaze e covaraze, coce co la matrce correlazoe R, Ifatt: N ( z 0)( z 0) z z y y Z, ZY Z, Z r Y Z Z Y zzy Z Z N N Y r N Molto mpegata e mportate ell AMD è l erza totale o varaza totale ella matrce e at o uvola e put ossa l formazoe totale espressa alla matrce e at coserata., tr( ) 6 Rago ua matrce è l ore massmo e suo mor o ull.

12 Statstcamete l erza totale o varaza totale è ata alla tracca ella matrce varaze e covaraze suetta ossa: è u ce varabltà leare (perché abba seso però le varabl evoo essere omogeee ossa espresse ella stessa utà msura): la tracca ella matrce varaze e covaraze cosete fatt verfcare la scheastctà ella uvola e put 7. La SCHEDASTICITA ha a che veere co la larghezza ella baa ella uvola e put: se è uforme v è omoscheastctà (... ) se o è uforme (... ) v è eteroscheastctà. Suppoeo per semplctà avere solo ue varabl, qu ua matrce e at, s potrebbero avere le stuazo rcerca seguet cu vegoo cat oltre alla larghezza ella baa ache possbl valor el coeffcete correlazoe leare, r y, Bravas-Pearso: Come s può veere la scheastctà a cazo sa sulla forma che sulla cossteza ella relazoe. Se le varaze elle varabl soo ugual o all crca ugual tra loro v è applcabltà el moello leare a at metre se le varaze elle varabl soo molto verse tra loro l moello leare è meo aatto a at ma potrebbero vece essere aatt altr moell matematc (a es. ella fgura sopra rportata l secoo caso cu r y 0 ca che o v è relazoe leare tra le varabl ma che v è vece ua relazoe tpo parabolco pur rsultato ulla la correlazoe tra le varabl ma solo quella leare. Faceo sempre rfermeto a ua matrce varabl, e coserao come msura relazoe tra caratter (varabl) la correlazoe leare Bravas-Pearso la corrspoete matrce,,è la matrce correlazoe R, seguete: R, r 7 v.pagg M.Frare, Meto AMD,op,ct. r... r r r... r...

13 Caratterstche prcpal ella matrce R, soo le seguet: rago ella matrce: lo stesso rago ella matrce e at ossa coserao che le coloe (varabl) sao learmete peet e che <, ; Quarata Smmetrca : r r co ( ) elemet utl Se le varabl soo espresse scart staarzzat Z (mea art.0; s.q.m.) l erza totale o varaza totale è ata a: tr( R ) Se c è peeza leare tra ue o pù varabl r e l etermate R, è et R, 0 Se le varabl soo learmete peet r 0 e l etermate R, è è et R I L erza totale o varaza totale ca la spersoe totale ella uvola e put-utà toro al loro barcetro o cetro gravtà g efto al vettore elle mee elle varabl ossa g Se s cosera lo spazo elle utà statstche ossa vettor-rga varaza totale è efta come staza al barcetro ossa a:, ( ) l erza totale o è uguale alla somma elle varaze elle varabl coserate o alla mea artmetca poerata co pes p 0 e quarat elle staze euclee tra put e l loro barcetro. Se s cosera vece lo spazo elle varabl ossa vettor-coloa e la matrce R varaze e covaraze, : [,,..., 3 ] tr R, N ( ) ( ) I g p R, L erza totale o varaza totale se s cosera la metrca KI ag[,,,] è: N ( ) ( ) ( ) ( ) I g tr K tr K I tr Se s cosera vece la metrca 8 v.pagg M.Frare, Meto AMD, op,ct.) K ag,,...,

14 l erza totale o varaza totale è ata a: IN( g) tr( K ) tr( D ) tr( R ) cu R, è la matrce correlazoe:! θ "" #$ Dat ue vettor-coloa a elemet ua matrce at quattv se, R, coseramo ue corrspoet vettor espress scart alla mea s possamo, s R esprmere l coeffcete correlazoe leare Bravas-Pearso el seguete moo: r S S ( ) ( ) ( s 0 ) ( s 0 ) s s ( )( ) ( s 0 )( s 0 ) s s s D s ( s D s ) ( s D s ) p / / p p c o s θ r S S I cu D p è ata alla matrce agoale: se θ 90 cos θ 0 se θ 90 cos θ S D p a g [,,..., ] θ r S 0 S 0 0 S 0 S r S S 0 θ 90 S