Laboratorio di Analisi ed Esplorazione Dati A.A. 2008/09 Terzo foglio di esercizi per l esame.

Transcript

1 Laboratorio di Analisi ed Esplorazione Dati A.A. 2008/09 Terzo foglio di esercizi per l esame. Ognuno deve svolgere (scrivendo la soluzione su un foglio) l esercizio A e l esercizio del punto B (scrivendo un programma in R che risponda alle domande, con eventuali commenti, e mandandomelo via a pugliese@science.unitn.it ) del numero (da 1 a 9) assegnato, come da elenco presente anch esso in rete. A. Per riconoscere potenziali portatrici del gene dell emofilia A, venne analizzato il sangue di due gruppi di donne, misurando X 1, il logaritmo dell attività AHF (fattore anti-emofiliaco) e X 2, il logaritmo dell antigene tipo AHF. Il primo gruppo era costituito da n 1 = 30 donne non portatrici del gene; il secondo da n 2 = 22 donne portatrici del gene. Gli scienziati hanno stimato le medie di X nei due gruppi µ 1 = ( ) µ 2 = ( e l inversa della matrice comune di covarianza ( ) S 1 = Supponendo uguali costi per gli errori di misclassificazione e uguali probabilità a priori, assegnare a uno dei gruppi una donna le cui misure sono x 1 = 0.210, x 2 = Calcolate anche le probabilità a posteriori. 2. Ripetete i calcoli, supponendo che la donna sia prima cugina di un emofiliaco, quindi p 1 = 3/4, p 2 = 1/4 e che sia stato deciso che c 2 = 2c Supponendo che la distribuzione di X sia normale bivariata con medie e covarianza date dalla matrice di cui sopra, calcolate la probabilità teorica di errore di classificazione, assumendo p 1 = p 2. B. 2. Il file tab53 2.dat nella directory dati contiene 4 misure morfologiche (le chiamerò Y 1, Y 2, Y 3, Y 4) su 2 specie (identificate con 1 o 2 nella prima colonna) di pulci: Haltica oleracea e Haltica carduorum. (a) Eseguite l analisi discriminante lineare per predire (con probabilità a priori 1/2 e 1/2) la specie sulla base delle 4 variabili morfologiche. Calcolate la frequenza di errore sia sui dati utilizzati nell analisi, sia applicando il metodo della cross-validation escludendo i dati uno alla volta. 1 )

2 (b) Mostrare le proiezioni dei dati (distinguendo la specie) sulla/e variabile discriminante canonica. (c) Ripetere l analisi utilizzando tutte le variabili meno Y 1, tutte meno Y 3 e solo Y 1 e Y 2. Quale metodo raccomandereste di usare per il futuro? (d) Eseguite la regressione lineare di Y 2 su Y 1, usando come covariata la specie di appartenenza. E significativa la differenza della regressione fra le due specie? Fate il grafico di Y 1 e Y 2 con le varie rette di regressione. 3. Attuare l analisi discriminante lineare sui dati delle ditte che hanno subito o meno bancarotta nel file bankrupcy.dat nella directory dati. Valutate la frequenza di errore sia sui dati utilizzati nell analisi, sia con il metodo della cross-validation. (a) Secondo un ricercatore, l osservazione 16 delle ditte che hanno fatto bancarotta (indice 0 nella colonna 1) e l osservazione 13 per le ditte a posto (indice 1) sono influenti nel senso che influenzano i calcoli in modo significativo. Rifate le analisi escludendo queste osservazioni e confrontate i grafici dei dati nelle variabili discriminanti canoniche con o senza l esclusione di queste osservazioni. (b) Ripetere l analisi usando la regressione logistica. 4. Il file plankton.txt (scaricabile dal sito Web del corso) contiene dati sulla quantità di certi tipi di organismi raccolta in 25 campionamenti. [Notare che le prime righe del file contengono informazioni sul contenuto del file, informazioni utili per altri programmi statistici. In R conviene saltare queste righe tramite l opzione skip nel comando read.table()] Sulle righe ci sono i 25 campionamenti; le prime 5 colonne mostrano i dati delle 5 specie A, B, C, D ed E alla profondità di 29 m; le successive 5 colonne si riferiscono alle stesse specie alla profondità di 31 m. Compiete un analisi delle componenti principali su questi dati. Mostrate anche graficamente il risultato di questa procedura. Individuate dal grafico i campionamenti più diversi dagli altri. Ripetete la procedura utilizzando, per ogni campionamento, soltanto la media fra la profondità di 29 m e quella di 31 m per le cinque specie. Ripetete la procedura separatamente per i dati alla profondità di 29 e per quelli alla profondità di 31 metri. Si vede qualche differenza fra le 2

3 due profondità? 5. Il file remote.txt nella directory nella directory dati contiene nella prima colonna un indice sul tipo di coltivazione (1 = corn, 2 = soybeans, 3 = cotton, 4 = sugarbeets, 5 = clover), nelle altre quattro delle misure ottenute tramite remote sensing sulle coltivazioni. [Notare che le prime righe del file contengono informazioni sul contenuto del file, informazioni utili per altri programmi statistici. In R conviene saltare queste righe tramite l opzione skip nel comando read.table()] Utilizzare l analisi discriminante su questi dati per stabilire (usando probabilità a priori uguali) il tipo di coltivazione in base alle altre misure. Fate un grafico dei dati sulle variabili discriminanti canoniche. Trovare il tasso di errore sul campione, e con il metodo della crossvalidation. Provare ad eliminare variabili per eventualmente migliorare i risultati. Ripetere l analisi solo sulle coltivazioni di tipo 1 e 2 (ossia solo le prime 14 righe). Come funziona il metodo? Si potevano usare tecniche diverse per questo caso? 6. Il file forestry.txt nella directory dati contiene dati sulla presenza di 8 specie di alberi in 10 siti nel Wisconsin. Attuare un analisi delle corrispondenze su questi dati. Mostrare i risultati anche in forma grafica. Quante dimensioni scegliereste per la rappresentazione grafica dei dati? Motivare la risposta. E possibile suddividere le specie di alberi in gruppi di specie associate? e associarle ad alcuni di questi siti? scrittori di romanzi sono stati valutati da un campione di lettori i quali hanno espresso opinioni sul tipo di contenuto e sul modo in cui sono state scritte delle opere dei scrittori indicati in base ai parametri riportati (vedi tabella più sotto; i dati (senza nomi di righe e colonne) sono nel file romanzi.txt nella cartella dati ): X1: giudizio, X2: leggibilità, X3: politica, X4: fantasia, X5: rilettura, X6: thriller, X7: attualità. 3

4 Compiere un analisi delle componenti principali su questi dati; presentate i dati in forma grafica, giustificando il numero di componenti scelti; mostrateli anche sotto forma di biplot insieme alle variabili. [E preferibile mostrare i grafici con i nomi corretti di righe e colonne] 8. Analizzate i dati del file savings.txt (nella directory /dati/ascdata ) tramite l analisi delle componenti principali, usando la matrice di covarianza o di correlazione a seconda di cosa vi sembra più appropriato. Interpretate i risultati. Individuate (con il comando identify ) i punti estremi sul grafico delle prime componenti principali. Secondo voi è più appropriato questo tipo di analisi o la regressione multipla svolta in un altro esercizio? 9. Il file uscrime.txt riporta il numero di crimini di vari tipi commessi nel 1985 nei 50 stati degli USA. Le righe indicano (in sigla) gli stati. Le 4

5 colonne indicano (nell ordine) area (in miglia quadrate?), popolazione (in migliaia), omicidi, stupri, rapine, aggressioni, furti con scasso, borseggiamenti, furti di auto, regione, divisione. Credo che anche il numero dei crimini sia in migliaia. Le regioni sono 1 (Nord-Est), 2 (Midwest), 3 (Sud), 4 (Ovest). Le divisioni vanno da 1 a 9 e corrispondono ad una divisione piu fine degli USA. Attuate l analisi delle corrispondenze sui dati dei crimini. Qual è il contributo degli assi? Fate un grafico dei valori sui primi 2 assi (è ragionevole tale scelta?). Si può vedere un effetto della regione (o della divisione) sul tipo di crimini riscontrati? 5