LEZIONI DI STATISTCA APPLICATA. Parte 3. Statistica inferenziale. Variabili categoriali per categoriali. Alessandro Valbonesi

Transcript

1 LEZIONI DI STATISTCA APPLICATA Parte 3 Statistica inferenziale Variabili categoriali per categoriali Alessandro Valbonesi SARRF di Scienze ambientali Anno accademico

2 CAPITOLO - RELAZIONI TRA VARIABILI CATEGORIALI Questa tipologia di analisi prevede che ci siano una o più variabili di raggruppamento dette fattori. Il caso più semplice è quello che prevede un unico fattore con due classi di raggruppamento, dove è possibile associare ad ogni osservazione una probabilità che corrisponde alla probabilità della corrispondente distribuzione binomiale.1. La distribuzione binomiale La probabilità associata ad ogni possibile combinazione si calcola con la formula: K p Y q k-y Y oppure C (k,y) p Y q k-y dove C (k,y),ovvero il coefficiente binomiale, è uguale a k!/[y! (k-y)!] che sarebbero le combinazioni di k elementi presi Y alla volta (ovvero il numero di volte che si ottiene una particolare combinazione) e p Y e q k-y, rispettivamente il potere di p e di q. Es.: la probabilità che, data una certa frequenza di malati in una popolazione (p=0,4), un campione di k (5) persone contenga Y (2) individui malati è: C = 5! /2!*(5-2)! = 5*4/2=10 da cui 10*(0,4) 2 *(0,6) 3 = 10*0,16*0,216 = 0,3456 ovvero 34,5%.2. Rapporto di Verosimiglianza e G-Test Il rapporto di verosomiglianza (likelihood ratio), indicato con L, è il rapporto tra la probabilità, stimata con la distribuzione binomiale, di ottenere una certa osservazione in base alle frequenze osservate e quelle attese secondo una determinata ipotesi. Esempio.Se ipotizziamo che il colore nero del vello delle pecore sia dominate rispetto a quello Marrone e se dall incrocio di animali neri nascono anche animali marroni, dobbiamo assumere che Entrambi i genitori neri abbiano un genotipo eterozigote, per cui dal loro accoppiamento dovrebbero nascere figli neri e marroni nel rapporto mendeliano di 3:1 (ipotesi da testare: segregazione 3 a 1). La frequenza attesa in base alla nostra ipotesi è quindi: p = 0,75 (neri) e q = 0,25 (marroni). Se i dati relativi a questo tipo di incrocio sono quelli riportati in tabella, ci si pone il problema di verificare se la differenza tra la frequenza attesa e quella osservata sia compatibile con la nostra ipotesi di segregazione. Distribuzione binomiale Frequenza Segregazione osservata osservata probabilità probabilità Neri Marroni Totale p q freq oss ipotesi L ,60 0,40 0,21 0,09 2,25 Dato che il rapporto di verosomiglianza, L, è 1 (1 = perfetta concordanza tra le frequenze ipotizzate e quelle attese) dobbiamo appurare se il valore di L ottenuto è ancora compatibile con la nostra ipotesi di partenza. Non abbiamo nessun riferimento statistico per testare questo rapporto ma se utilizziamo il suo valore logaritmico moltiplicato per 2 è possibile confrontare questo nuovo valore con quelli riportati per la distribuzione del Chi quadro 1. 1 La distribuzione dei valori di G segue quella del chi quadro se nelle classi la frequenza attesa è >5.

3 Il test basato sul logaritmo del rapporto delle verosomiglianze è detto Test G 2. Nel nostro esempio: G = 2Ln(L) = 2*0,81 = 1,62 e la relativa distribuzione del chi quadro, con a-1 ( a = numero di classi) gradi di libertà 3, darebbe una probabilità di P = 0,20. In questo caso si può concludere, vista la probabilità del 9% (in base alla distribuzione binomiale) di ottenere questa segregazione ed il valore di G (con P di chi quadro > 0,05), che la segregazione osservata è in accordo con l'ipotesi. Attenzione, questo non vuol dire che la nostra ipotesi è vera, ma che i dati osservati sono compatibili con l ipotesi fatta. Un sistema più veloce per calcolare ln(l) (e quindi anche L) e fare il G-test è il seguente Neri Marroni Neri Marroni Somma Seg. Attesa* oss/att Seg. Attesa* oss/att Oss*ln(oss/att) ln(l) G=2*ln(L) 11,25 0,8 3,75 1,6-2,008 2,820 0,812 1,623 L=e 0,812 = 2.25 e=2, * La segregazione attesa in base all ipotesi, ovvero Neri = 15*0,75; Marroni 15*0,25 Questa formula ci svincola dal calcolo della probabilità binomiale e quindi ci permette di applicare il G-test anche a segregazioni con più di due classi. 2 Una formula equivalente per calcolare G, che si basa sulle proprietà dei logaritmi, è: G =-2*[Ln(pa)-Ln(po)], ovvero fare prima il logaritmo delle due verosomiglianze, farne le sottrazione e moltiplicare per Distribuzione del chi quadro 3 The chi- square distribution is a probability density function whose values range from zero to positive infinity. Thus, unlike the normal distribution or t, the function approaches the χ 2 -axis asymptotically only at the right hand tail of the curve, not at both tails. As in the case of other distributions, there is not merely one χ 2 distribution, but one distribution for each number of degrees of freedom; therefore χ 2 is a function of v, the number of the degrees of freedom. The figure shows probability density functions for the χ 2 distributions foe 1, 2, 3, and 6 degrees of freedom. Notice that the curves are strongly skewed to the right, -shaped at first, but more or less approaching symmetry for higher degrees of freedom

4 Poiché nel G-test la probabilità di compiere un errore di tipo I (rigettare un ipotesi vera) tende ad essere più elevata del desiderato, per ottenere una maggiore approssimazione ad una distribuzione di chi 2, Williams ha suggerito di correggere il valore di G (G adj) con la seguente formula: dividere G per q* = 1+ [(a 2-1) / (6nv)], dove a è il numero di classi, n è il totale dei segreganti e v i gradi di libertà. Il valore così ottenuto è più conservativo. Nel nostro caso, dove a =2, n=15 e v=1, abbiamo: q* = 1,0333 da cui: G adj = 1,571 che avrebbe una probabilità di P = 0,21. In genere il G-test viene preferito ad altri test perché i suoi valori si approssimano maggiormente ad una distribuzione di chi Il test del chi 2 Un altro test usato per valutare questo tipo di dati è quello del chi 2, o statistica di Pearson (da non confondersi con la distribuzione del chi 2 che è una distribuzione continua). la formula è : (f i oss - f i att.) 2 / f i att (Essendo le deviazioni calcolate elevando a quadrato i valori sono sempre positivi, e quindi è un test sempre ad una coda). Vediamo ora un esempio basato sui dati di segregazione precedentemente illustrati. Segregazione osservata Frequenza di Neri (ipotizzata), p = 0,75 Frequenza di marroni (ipot.), q = 0,25 Segregazione attesa Total Neri marroni offspring Neri marroni ,25 3,75

5 Chi 2 = (9-11,25) 2 /11,25 + (6-3,75) 2 /3,75 = 1,80 P= 0,180 Anche in questo caso, dato che la distribuzione di chi quadro è una distribuzione continua mentre i dati osservati sono dati discreti, occorre inserire una correzione detta di Yates, che si ottiene aggiungendo e togliendo 0,5 ai dati osservati in modo da avvicinarli a quelli previsti (Neri 9,5; marroni 5,5), quando le classi di frequenza sono due e la numerosità totale è compresa tra 200>n>25 4. La correzione di Yates può essere inserita direttamente nella formula senza dover cambiare i dati osservati: (Ass[f i oss - f i att.] - 0,5) 2 / f i att. Occorre comunque notare che i test sulle segregazioni non affermano nulla sulla veridicità della ipotesi ma solo che i dati osservati sono in accordo o in disaccordo con la nostra ipotesi. In questo esempio i nostri dati potrebbero concordare con ipotesi alternativa, 1 : 1, ovvero con : Frequenza di N (ipotizzata), p = 0,5 Frequenza di m (ipot.), q = 0,5 Segr. Segregazione osservata Attesa Fenotipo N Fenotipo m Total offspring Fenotipo N Fenotipo m ,500 7,500 correzione di Yates Chi^2 P 2 Chi (adj) P 0,6000 0, ,2667 0, Il punto cruciale è che spesso le osservazioni sono poche, (n = 15, mentre dovrebbe essere almeno 33 per poter distinguere tra queste due ipotesi alternative). E' quindi importante che le frequenze siano stabilite in base ad un numero significativo di osservazioni che può essere così calcolato. Se vogliamo essere sicuri all'80% di distinguere una segregazione,p 1 =0,75 e q 1 =0,25, con un livello di significatività =0,05, da un'altra segregazione, p 2 =0,5 e q 2 = 0,5, allora: n= A[1+radq(1+4*(p 1 -p 2 )/A)] 2 / [4(p 1 -p 2 ) 2 ] essendo A=[t(0,05)* radq(p 1 *(1 - p 1 ) + t(0.40)*radq(p 2 *(1-p 2 )] 2 dove t [0,05] inf= 1,96 2 = 2(1-0,80) = 0,40 da cui t[0,40]inf = 0,842 In questo caso A = 1, da cui n = 33, Se avessimo eseguito il nostro test su 33 osservazioni avremmo avuto che la prima ipotesi 1:3 Non sarebbe stata compatibile con i dati osservati, mentre lo sarebbe stata la seconda ipotesi 1:1.4. Tabelle di contingenza e test di indipendenza Le variabili categoriali vengono spesso analizzate per stabilire se esiste una particolare influenza delle

6 classi di una variabile sulla classi dell altra, ovvero se le variabili sono indipendenti oppure no. In questo caso i dati vengono organizzati in particolari tabelle dette di contingenza (cross table). Il caso più semplice è quello rappresentato da tabelle 2 x 2. tot righe Osservate (tr) Attese a b a+b tr*tc/n c d c+d tot col (tc) a+c b+d grantot (n) (a+b+c+d) Vediamo un esempio relativo a due tipi di vello (uniform e spotted) in alpaca maschi e femmine. MASCHI FEMMINE tot MASCHI FEMMINE UNIFORM , , SPOTTED , , Attese; è una semplice proporzione, in quanto se gli Uniform sono 57/111, uniform sono 57/111, ovvero 0,513, questo rapporto si deve ritrovare anche tra i due sessi, per cui 38*0,513 = 19,513 è il valore atteso per i maschi Uniformi, se il carattere tipo di vello è indipendente dal sesso. E quindi possibile eseguire un test del chi quadro per valutare se le due variabili sino indipendenti tra loro. CHI 2 test of independency CHI 2 P Con la correzione di Yates 6, ,00914 CHI 2 P 5,792 0,161 (ad -bc) 2 n / C'è una formula diretta: (a+b)(c+d)(a+c)(b+d) Yates's correction: (ASS(ad -bc) -n/2) 2 n / (a+b)(c+d)(a+c)(b+d) Un altro test e quello conosciuto come G-test per l indipendenza, che altro non sarebbe che il logaritmo del rapporto delle verosomiglianze. Questo test si basa sulla distribuzione multinomiale, che è una distribuzione discreta di probabilità, ed è una generalizzazione della distribuzione binomiale che contempla la possibilità che una variabile sia distribuita in più di due classi. La possibilità di osservare le frequenze di a, b, c e d, assumendo una distribuzione multinomiale, si calcola come segue: Analogamente si calcola la probabilità di osservare le frequenze attese, le quali si ottengono come illustrato precedentemente. Per esempio, la frequenza di a attesa sarebbe, (a+b)*(a+c)/n.

7 Il G test si esegue pertanto facendo il logaritmo rapporto tra queste due probabilità (verosomiglianze). 5 In altri termini il G test si esegue facendo: 1) la sommatoria del prodotti della frequenza di ciascuna cella per il relativo logaritmo; 2) aggiungendo il prodotto tra numero totale di tutte le osservazioni ed il relativo logaritmo; 3) sottraendo il prodotto del totale di ciascuna riga e di ciascuna colonna per i rispettivi logaritmi; 4) moltiplicando il valore ottenuto per 2 ed andando confrontare il risultato con la distribuzione del chi quadro per (nr- 1)*(nc-1) gradi di libertà, che in una tabella 2x2 sono uguali ad 1. Considerando il nostri esempio otteniamo: G-test of independency MASCHI FEMMINE tot UNIFORM SPOTTED step a) for the cell frequencies f ln(f) 377,9722 step b) for the row and column totals f ln(f) 897,2909 step c) for the grand total n ln(n) 522,7579 P 2(step a - step b + stepc) 6, ,00872 G = df= 1 William's correction, q = 1, G adj =G/q 6, ,00925 In entrambi i test è necessario che le frequenze di ogni classe non siano inferiori a 5. Se questa condizione non è soddisfatta bisogna ricorre ad un altro test: il test esatto di Fisher Il test esatto di Fisher è un test per la verifica d'ipotesi utilizzato nell'ambito della statistica non parametrica in situazioni con due variabili nominali e campioni piccoli. Porta il nome del suo ideatore Ronald Fisher. Questo test non parametrico è usato per verificare se i dati dicotomici di due campioni riassunti in una tabella di contingenza 2x2 siano compatibili con l ipotesi nulla (H 0 ) che le popolazioni di origine dei due campioni abbiano la stessa suddivisione dicotomica e che le differenze osservate con i dati campionari siano dovute semplicemente al caso. Se i campioni sono sufficientemente grandi (e nessuna cella ha un valore inferiore a 5) allora si può usare il test del chi quadrato con 1 grado di libertà. Mentre quest'ultimo test è esatto solo asintoticamente per dimensioni molto grandi dei campioni, il presente test proposto da Fisher è, come dice il nome, sempre esatto. Il test esatto di Fisher richiede di avere due variabili nominali divise ciascuna in due sole categorie. P.es. la prima variabile potrebbe essere il "sesso" con le due categorie "donna" e "uomo" e la seconda variabile potrebbe essere "segue un dieta" con le due categorie "si" e "no". Si ipotizza in questo caso che la percentuale di uomini che segue una dieta sia uguale alla percentuale tra le donne. I dati potrebbero essere i seguenti:

8 uomini donne totale in dieta non in dieta totale Questi dati non sono idonei ad essere analizzati con il test del chi quadrato in quanto il valore atteso è in alcune celle al limite (5 secondo gli uni, 10 secondo altri). Per descrivere il test di Fisher è utile introdurre la seguente notazione, nella quale le lettere a, b, c e d indicano i valori nelle celle e n è la somma totale. La tabella di contingenza verrebbe descritta così: uomini donne totale in dieta a b a+b non in dieta c d c+d totale a+c b+d n Ronald Fisher dimostrò che la probabilità di ottenere tali valori (vincolati alle somme di riga e colonna realmente osservati) segue la variabile casuale ipergeometrica 6 ed è pari a: Questa formula dà le probabilità esatte di osservare i valori a, b, c, d (dati a+b, a+c, c+d, b+d) qualora fosse vera l'ipotesi nulla sopra enunciata. Per verificare se i valori osservati sono eccessivamente diversi da quanto previsto dall'ipotesi nulla, si sommano le probabilità di quanto osservato e di tutti i casi ancora più estremi. Nel nostro esempio l'unico caso ancora più estremo è dato da: uomini donne totale in dieta non in dieta totale Per la prima tabella la probabilità è mentre per la seconda sommando si ottiene: p = p 0 + p 1 = 0,00138 = 0,14% il chè vuol dire che se l'ipotesi nulla è vera, allora solo in 14 esperimenti su si otterrebbero valori così discordanti tra uomini e donne. Essendo il calcolo spesso molto laborioso, si ricorre solitamente a tavole con i valori già precalcolati oppure al calcolatore, per esempio usando software applicativi per la statistica. Un software utile è Calcolatore Test Esatto di Fisher.htm 6 La variabile casuale ipergeometrica è una variabile casuale discreta* che viene usata in particolar modo nell'ambito delle estrazioni in blocco (senza riposizione). Rappresenta la probabilità che, data un'urna con N oggetti di cui r di un certo tipo, estraendone n senza rimpiazzo esattamente k siano di quel tipo. In teoria delle probabilità una variabile casuale (o variabile aleatoria o variabile stocastica o random variable) può essere pensata come il risultato numerico di un esperimento quando questo non è prevedibile con certezza (ossia non è deterministico). Ad esempio, il risultato del lancio di un dado a sei facce può essere matematicamente modellato come una variabile casuale che può assumere uno dei sei possibili valori 1,2,3,4,5,6.

9 .5. Analisi delle proporzioni E un metodo alternativo alle tabelle di contingenza dove invece che i valori osservati si considerano le frequenze delle varie classi. Questo approccio è utilizzabile solo nel caso ci siano due variabili categoriali, ciascuna con due sole classi di frequenza, e consente di valutare qual è la relazione esistente tra le due variabili. Vediamo subito un esempio concreto, utilizzando per aver un raffronto con i test precedenti, gli stessi dati Dead Alive tot Bact+antis p1 q1 1 q1/p1 sul totale (1) è la probabilità di sopravvivere con Bact + antis Bact p2 q2 1 q2/p2 sul totale (1) è la probabilità di sopravvivere con Bact Il rapporto fra queste due probabilità è detto Odd ratios Dead Alive tot Bact+antis Bact Dead Alive tot Bact+antis 0, , , q1/p1 è la probabilità di sopravvivere con Bact + antis Bact 0, , ,16 q2/p2 è la probabilità di sopravvivere con Bact 0, , ,91777 ; la probabilità di sopravvivere è circa tre volte maggiore con il trattamento Bact + antis per vedere se questa probabilità è significamente >1 (ipotesi nulla: nessuna differenza tra i due trattamenti) si può fare il G-test sui dati originali. Il logaritmo di questa probabilità log-odds ratio, Ln(2,9177) = 1,071 è spesso usato per esprimere la differenza tra i due rapporti (ln q1/p1 -ln q2/p2 = 1, ). Il suo errore standard è (1/a +1/b +1/c +1/d) 0,5 = 0,417 Il suo intervallo di confidenza al 95% è: 1,0708 ± 1,96*es, da cui il limite inferiore è 0,253 e quello superiore 1,889. Riportato in valori di odd ratios, ovvero e limiti confidenza 7, abbiamo che la vera probabilità di sopravvivere è; 1,288 2,918 6,619. Il secondo trattamento potrebbe avere pertanto una efficacia maggiore di 6 volte quella del primo in termini di sopravvivenza degli animali trattati. Possiamo anche utilizzare questo valore per decidere se somministrare un trattamento se la sopravvivenza è maggiore di tot volte, es. 8: (Ln Ln 8) 2 / se 2 = 5,842; questo valore si distribuisce come il chi quadro per 1 grado di libertà ed essendo quindi la sua probabilità a 0,0156 possiamo dire che in questo caso la sopravvivenza osservata è significativamente inferiore a quella desiderata (8 volte). Anche in questo tipo di analisi è importante che le frequenze siano stabilite su un numero congruo di osservazioni, che può essere così calcolato. Se vogliamo essere sicuri all'80% di determinare la reale differenza tra q1 e q2 (con q1>q2) o p1 e p2, con un livello di significatività =0,05 t [0,05] inf = 1,960 2 = 2(1-0,80) = 0,40 da cui t [0,40]inf = 0,842 n = [A(1+radq(1+4*(q1-q2)/A^2] / 4(q1 -q2)^2 A=[t (0,05) * radq(2*qm(1 -qm) + t (0.40) *radq(q1*(1-q1) + q2*(1-q2)]^2 A= 3, n= 71,42494 Con: q1 = 0,7719; q2 =0,537; q medio (qm) = 0,654

10 .6. Tabelle di contingenza m x n Tabelle più complesse sono quelle che prevedono due o più variabili categoriali ciascuna con due o più classi, tabelle m x n. Qui ci limiteremo ad caso abbastanza semplice, ovvero ad una tabella dove ci siano ancora due sole variabili la prima però con 4 classi, tabella 4 x 2. Passiamo subito ad un esempio pratico in cui si voglia vedere se il colore degli occhi di un certo coleottero (Cicindela fulgida) sia influenzato dalla stagione. Season = 4 eyes color = 2 Early spring A Late spring B Early summer C Late summer D total bright red no bright red total L eventuale influenza della stagione sul colore degli occhi viene testata utilizzando il G-test: step a) for the cell frequencies f ln(f) = 3314, step b) for the row and column totals f ln(f) = 7667, step c) for the grand total n ln(n) = 4367, df= (righe-1)*(colonne-1) = 3 G = 2(a-b+c) 28,59642 P= 2,72221E-06 Dal risultato del test si evince che il colore degli occhi è influenzato dalla stagionalità. Passiamo Ora a scomporre la tabella per meglio individuare quali periodi esercitino un influenza sul colore degli Occhi. Nel fare questo occorre tenere presente che: 1) le possibili scomposizione devono essere uguali ai gradi di libertà, nel nostro caso 3. 2) il procedimento di ripartizione dovrà essere conseguito in modo gerarchico, ovvero, stabilita una determinata dicotomia, le ripartizioni successive dovranno essere eseguite all'interno delle precedenti Nel nostro caso potremmo inizialmente fare A+B (primavera) versus C+D (estate) successivamente A versus B C versus D In questo caso abbiamo fatto le tre scomposizioni consentite e la somma dei tre valori di G ottenuti deve essere uguale al G della tabella iniziale Season eyes color spring A+B summer C+D total bright red , no bright red , total , G = 14, P= 0, In primavera si osserva un numero di individui con occhi rossi brillanti che è significativamente maggiore di quello atteso (circa 281) se non ci fosse stata nessuna influenza stagionale, mentre in estate c è un numero maggiore di individui con occhi dell altro tipo, rispetto a quello atteso.

11 Le ulteriori scomposizioni gerarchiche ci dicono che: Season eyes color E. spring A L. spring B total bright red ,598 no bright red ,281 total ,178 G = 2, P= 0, Non c è un influenza significativa tra il colore degli occhi all interno dei due periodi (inizio fine) primaverili. Season eyes color E. summer C L.summer D total bright red , no bright red , total , G = 11, P= 0, Diversamente, l eccesso di individui con occhi rossi non brillanti osservato in estate è riscontrabile osservabile solo nel periodo iniziale. Abbiamo optato per il G-test perché i valori sono addittivi,: 14,296 +2, ,308 = 28,596 ovvero, avendo fatto tutte le scomposizioni possibili, la somma dei vari G è uguale al G ottenuto dalla tabella iniziale. Se avessimo usato il chi quadro la somma dei chi parziali non sarebbe stata uguale ah chi quadro della tabella iniziale.

12