Statistica16 1/12/2015

Transcript

1 I metodi non parametrici sono meno efficaci ma più generali (possono essere applicati a tutte le serie di dati). Vengono utilizzati quando non possono essere applicati i metodi parametrici (dati non distribuiti normalmente). Si dividono in due grandi categorie: Statistica16 1/12/2015 quelli basati sulle frequenze quelli basati sull'ordinamento delle informazioni. Questi metodi non parametrici sono test statistici basati sui ranghi delle osservazioni, cioè sul loro numero d'ordine invece che sul valore delle osservazioni in se. Questi metodi prescindono dalla distribuzione dei valori nella popolazione (si possono usare anche quando non è possibile conoscere la distribuzione dei dati) 1

2 In termini statistici: Rispetto alla individuazione di differenze significative, sono meno efficienti (Efficaci) di quelli parametrici in quanto si perdono informazioni (vedi 1 ma lezione, la misura contiene più informazione del rango). Sono quindi generalmente più restrittivi Selettivi) (necessitano di numerosità maggiori per individuare differenze significative). 2

3 Sono giustificati quando: le variabili della stessa classificazione è noto che non seguono la distribuzione normale (i valori sono fortemente asimmetrici, sono distorti, presentano più di un picco ecc. ecc.); il parametro che si deve valutare è nuovo, non deriva da misurazioni semplici ma da analisi strumentali o scaturisce da operazioni di calcolo matematico su più parametri o da analisi di immagini (TAC, PET ecc.). Non è possibile reperire in bibliografia lavori scientifici che hanno già utilizzato tale parametro e i nostri rilievi sono ancora troppo pochi per comprendere se quei dati o la loro trasformazione (es. inversa logaritmica, esponenziale ecc.) può seguire la normale distribuzione biologica dei dati; le osservazioni sono rappresentate da classifiche ordinali arbitrarie (es. gravità di una infestazione parassitaria: punteggi da 1 a 4; scale di colorazioni ecc.). 3

4 Test della mediana, è il test non parametrico più semplice e più restrittivo, serve a verificare se due campioni indipendenti appartengono alla stessa popolazione. In pratica sostituisce il test t di Student nel caso elaborazione di dati non normali (cioè che non seguono la distribuzione normale). Utilizza la mediana al posto della media come misura di tendenza centrale (ma nei risultati si trova spesso riportata anche, o solo, la media aritmetica): - la mediana, come noto, è meno influenzata dai valori anomali (vedi lezione 1); - se la distribuzione fosse normale, media e mediana coinciderebbero; quindi le inferenze sulla mediana possono essere estese alla media; - se la distribuzione dei dati mediante trasformazione diventa normale, il valore che identifica la nuova media coincide con quello della mediana precedente, ovviamente trasformata. 4

5 In pratica: 1. Calcolo la mediana di tutti i numeri senza considerare se appartengono alla prima o seconda serie di numeri; 2. Nella prima serie di numeri conto quanti numeri sono più grandi della mediana e quanti sono più piccoli (o uguali) alla mediana; 3. Nella seconda serie di numeri conto quanti numeri sono più grandi della mediana e quanti sono più piccoli (o uguali) alla mediana; 4. Con i quattro numeri ottenuti (due dalla prima serie e due dalla seconda serie) costruisco una tabella di contingenza 2*2 il cui totale è uguale alla numerosità totale e i due totali parziali sono uguali alla numerosità della prima serie e della seconda serie. 5

6 Test della mediana Consiste nel costruire una tabella di contingenza 2x2 dove sono riportati i valori dei due campioni distinti in maggiori e in minori o uguali al valore mediano dell'insieme dei due campioni. gruppo 1 gruppo 2 maggiore della mediana A B A+B min. e uguale alla mediana C D C+D TOTALE A+C B+D TOT a tale tabella di contingenza 2x2 viene poi applicato il Chi 2. 6

7 record n TESI x 1 A 2 2 A 2 3 A 2 4 A 2 5 A 2 6 A 2 7 A 2 8 A 2 9 A 2 10 A 2 11 A 4 12 A 4 13 A 4 14 A 4 15 A 4 16 A 4 17 A A A A A A A A A A A A A A A 16 record n TESI x 32 A A A A A A A A A A A B 4 44 B 4 45 B 4 46 B 4 47 B 6 48 B 6 49 B 6 50 B 6 51 B 6 52 B 6 53 B 6 54 B 6 55 B 6 56 B 6 57 B 8 58 B 8 59 B 8 60 B 8 61 B 8 62 B 8 record n TESI x 63 B 8 64 B 8 65 B 8 66 B 8 67 B 9 68 B 9 69 B 9 70 B 9 71 B 9 72 B 9 73 B B B B B B B B B B B B B B B B B B B B B 14 7

8 42/2=21, media 21mo-22mo = 14 record 93-42=51 diviso 2= 25,5+42=67.5=68mo numero = 9 Mediana di A = 14 Mediana di B = 9 8

9 record TESI x record TESI x record TESI x 1 A 2 32 B 8 63 A 14 2 A 2 33 B 8 64 A 14 3 A 2 34 B 8 65 A 14 4 A 2 35 B 8 66 A 14 5 A 2 36 B 8 67 A 14 6 A 2 37 B 8 68 A 14 7 A 2 38 B 8 69 A 14 8 A 2 39 B 8 70 A 14 9 A 2 40 B 8 71 A A 2 41 B 9 72 A A 4 42 B 9 73 A A 4 43 B 9 74 B A 4 44 B 9 75 B A 4 45 B 9 76 B A 4 46 B 9 77 B A 4 47 B B B 4 48 B B B 4 49 B B B 4 50 B A B 4 51 B A B 6 52 B A B 6 53 B A B 6 54 B A B 6 55 B A B 6 56 B A B 6 57 B A B 6 58 B A B 6 59 B A B 6 60 B A B 6 61 A A B 8 62 A A 16 Mediana = 93/2=46,5=47mo numero = 10 A min o uguale 10 (primi 16) = 16 A Mag 10 = (42-16) = 26 B min o uguale 10 = (73-42) = 31 B Mag 10 = (93-73) = 20 9

10 gruppo 1 gruppo 2 maggiori della mediana min. e uguale alla mediana TOTALE

11 Il passaggio successivo è molto semplice, basta calcolare la statistica χ² per tabelle 2x2 con 1 grado di libertà! Metodo rapido di calcolo con correzione Yates: NUMERI tesi A tesi B osservati osservati totali magiori mediana 26 a 20 b 46 minori mediana 16 c 31 d 47 totali PERCENTUALE tesi A tesi B osservati osservati totali magiori mediana 61,90% 39,22% 49,46% minori mediana 38,10% 60,78% 50,54% totali 100,00% 100,00% 100,00% corr = [ ad - bc - tot/2 ]^2 * tot (a+b) * (c+d) * (a+c) * (b+d) corr = 3,87905 P % <o= 0,05 11

12 NUMERI tesi A tesi B osservati teorici osservati teorici totali maggiori 26 20, , minori 16 21, , totali A maggiori 42 * 49,46% = 20,77419 minori 42 * 50,54% = 21,22581 B maggiori 51 * 49,46% = 25,22581 minori 51 * 50,54% = 25,77419 osservata correz. attesa 26-0,5-20,77419 = 4, ^2 = 22, ,5-21,22581 = -4, ^2 = 22, ,5-25,22581 = -4, ^2 = 22, ,5-25,77419 = 4, ^2 = 22, , , , , , , , ,77419 corr = 3,

13 Tesi A Tesi B χ² c test n mediana ,88* (media) (10,3) (9,3) * valore significativo per p<0,05 13

14 Test per ranghi di Wilcoxon (the Wilcoxon signed rank test), detto più semplicemente anche test T di Wilcoxon, è uno dei test non parametrici più potenti. Analogamente al test della mediana serve a verificare se due campioni indipendenti appartengono alla stessa popolazione. In pratica sostituisce i test parametrici nel caso elaborazione di dati non normali o supposti tali (cioè che non seguono la distribuzione normale). Anche the Wilcoxon signed rank test, come il precedente, utilizza la mediana al posto della media come misura migliore della tendenza centrale (Vedi test della mediana e lezione 1, la mediana è meno influenzata da valori anomali ) 14

15 I passaggi logici fondamentali del metodo del T di Wilcoxon sono: 1 - Calcolare le differenze d, con relativo segno, tra i dati raccolti (i X) ed il valore (Xˆ) dell'ipotesi nulla, data o calcolata come mediana generale (eliminando le eventuali differenze che risultassero uguali a zero); 2 - Calcolare i ranghi (i R) delle differenze (i d), considerate in valore assoluto (cioè ordinare gli n valori assoluti dal minore al maggiore; se esistono valori che hanno lo stesso rango, assegnare ad ognuno di essi un punteggio dato dalla media dei loro ranghi); 3 - Attribuire ad ogni rango il segno della differenza, già calcolata al punto 1; si ottiene la stessa serie di ranghi del punto 2, ma con il segno ; 4 - Sommare i ranghi (i R) di pari segno = valore T per calcolare T è indifferente quale dei due valori possibili si calcola somma dei meno o somma dei più. Di solito si sceglie il valore ottenuto con il numero minore di dati, perché richiede meno lavoro); 15

16 5 - Stimare il valore medio, al quale dovrebbe tendere la somma dei ranghi T, nella condizione che l ipotesi nulla H 0 sia vera: i ranghi positivi e quelli negativi dovrebbero essere casualmente distribuiti e dare quindi la stessa somma, in funzione del numero di dati; 6 - Se il valore espresso nell'ipotesi nulla fosse la vera tendenza centrale della popolazione, la somma dei ranghi di segno positivo (o quella di segno negativo) non dovrebbe essere significativamente differente dalla media dei ranghi; Nota: alcuni programmi commerciali di statistica approssimano il RANGO nel seguente modo (accettabile): nel caso di numeri doppi, attribuiscono lo stesso rango del primo a tutti i doppi; la presenza di numeri doppi influenza però il rango dei numeri successivi. Ad esempio, se in un elenco di interi il numero 10 appare due volte ed ha un rango uguale a 5, il numero 11 avrà un rango uguale a 7 e nessun numero potrà avere un rango uguale a 6. 16

17 Si supponga di voler verificare se una specie ha una colesterolemia significativamente solo minore di 300 mg/dl. A questo scopo, su un campione di 13 plasmi (indicati con lettere da A ad O) provenienti da animali random (appartenenti cioè casualmente a diverse categorie di età e sesso) è stata misurato il tasso di colesterolo ematico. Dalle analisi chimiche, si sono ottenuti i risultati (i X) seguenti: Sappiamo che la colesterolemia non è distribuita normalmente! Campione X 1 A B C D E F G H I L M N O 215 Impostazione risposta: Si tratta di un test ad una coda (solo minore!), con test non parametrico che utilizza la mediana: H0: me 300 contro H1: me <

18 1 - Calcolo le differenze d, con relativo segno, tra i dati raccolti (i X) ed il valore (Xˆ) dell'ipotesi nulla (eliminando le eventuali differenze che risultassero uguali a zero); Nota: - nel caso di due campioni (con test a due code) l ipotesi nulla sarebbe stata mediana di A e di B uguali; uguali cioè alla mediana di entrambe i campioni. Vedi precedente esercizio con test mediana. Valore dato a priori Ipotesi nulla solo minore di 300 mg/dl Campione X differenze da 300 assoluti A B C D E F G H I L M N O mediana 240 media 273,077 18

19 Campione X ordinate Assoluti ordinati Rango Rango E F I D M A ,5 N ,5 B L O C H G Calcolo i ranghi (i R) delle differenze (i d), considerate in valore assoluto (cioè ordinare gli N valori assoluti dal minore al maggiore; se esistono valori che hanno lo stesso rango, assegnare ad ognuno di essi un punteggio dato dalla media dei loro ranghi); 19

20 3 - Attribuire ad ogni rango il segno della differenza, già calcolata al punto 1; si ottiene la stessa serie di ranghi del punto 2, ma con il segno ; Campione X ordinate Assoluti ordinati Rango Rango 20 Rango con segno 5 E F I D M A ,5-6,5 12 N ,5-6,5 2 B L O C H G

21 4 - Sommare i ranghi (i R) dello stesso segno per calcolare T Ricorda: ai fini del test, è indifferente scegliere il valore minore o maggiore tra somma dei ranghi positivi o la somma dei negativi. Si sceglie il valore ottenuto con il numero minore di dati, per il semplice motivo che richiede meno lavoro. Campione X ordinate Assoluti ordinati Rango Rango Rango con segno 5 E F I D M A ,5-6,5 12 N ,5-6,5 2 B L O C H G mediana 240 media 273,0769 T 27 T -64 somma 91 media ranghi 45,5 media ranghi 45,

22 5 - Stimo il valore medio, al quale dovrebbe tendere la somma dei ranghi T, nella condizione che l ipotesi nulla H 0 sia vera: i ranghi positivi e quelli negativi dovrebbero essere casualmente distribuiti e dare quindi la stessa somma, in funzione del numero di dati; La somma di N ranghi può essere anche calcolata come: La media dei ranghi (media dei valori positivi o negativi µt) può essere anche calcolata come la metà della somma di tutti i ranghi e dovrebbe essere: T N N *( N 4 2 *( N 1) 1) Calcolo quindi la media (µt) attesa nella condizione che l ipotesi nulla sia vera: Rivedi anche: Statistica05-probabilità.pdf 22

23 Assoluti Campione X ordinate Rango Rango ordinati Rango con segno 5 E F I D M A ,5-6,5 12 N ,5-6,5 2 B L O C H G mediana 240 media 273,07692 T 27 T -64 somma = 91 13*14 = 91 = somma 2 13*14 = 45,5 = media =somma diviso

24 ,5 6, ,5 6, /2=45,5 91/2=45, ,5 6, ,5 6, (13+1)= /2=91 13(13+1)= /2=91 2 1) ( * N N 13(13+1)= /4=45,5 13(13+1)= /4=45,5 4 1) ( * N N T

25 6 - Se il valore espresso nell'ipotesi nulla fosse la vera tendenza centrale della popolazione, la somma dei ranghi di segno positivo non dovrebbe essere significativamente differente dalla media dei ranghi, cioè: (T = 27 oppure T= -64 ) non dovrebbe essere significativamente differente dalla media dei ranghi (µt = 45,5). 45,5-27 = 18,5; 45, = 18,5 25

26 Nel caso di grandi campioni (ricordate per gli statistici n>20), sempre nella condizione che H 0 sia vera, la somma dei ranghi dello stesso segno segue (approssimativamente) la distribuzione normale e si può quindi applicare tale analisi, cioè: Vedi: Statistica05-probabilità.pdf e addendum Statistica03-distribuzione normale.pdf Z T dove T- µ T è calcolata con la formula precedente (cioè 27 o 64 meno 45,5) - σ T è la deviazione standard di T, determinata solamente da n secondo la relazione: T N T *( N 1)(2N 1) t

27 Nei lavori di Biologia (Medicina Veterinaria Produzioni Animali ecc.) la formula di approssimazione per grandi campioni è accettata già quando N è maggiore di osservazioni! Nel nostro caso quindi si può applicare: T 13*(13 1)(2*13 1) 18, ,31 Z 64 45,5 14,31 1,29 Z 27 45,5 14,31 1,29 27

28 Z 0 0,01 0,02 0,03 0,04 0,05 0,06 0,07 0,08 0,09 0 0,0000 0,0040 0,0080 0,0120 0,0160 0,0199 0,0239 0,0279 0,0319 0,0359 0,1 0,0398 0,0438 0,0478 0,0517 0,0557 0,0596 0,0636 0,0675 0,0714 0,0753 0,2 0,0793 0,0832 0,0871 0,0910 0,0948 0,0987 0,1026 0,1064 0,1103 0,1141 0,3 0,1179 0,1217 0,1255 0,1293 0,1331 0,1368 0,1406 0,1443 0,1480 0,1517 0,4 0,1554 0,1591 0,1628 0,1664 0,1700 0,1736 0,1772 0,1808 0,1844 0,1879 0,5 0,1915 0,1950 0,1985 0,2019 0,2054 0,2088 0,2123 0,2157 0,2190 0,2224 0,6 0,2257 0,2291 0,2324 0,2357 0,2389 0,2422 0,2454 0,2486 0,2517 0,2549 0,7 0,2580 0,2611 0,2642 0,2673 0,2704 0,2734 0,2764 0,2794 0,2823 0,2852 0,8 0,2881 0,2910 0,2939 0,2967 0,2995 0,3023 0,3051 0,3078 0,3106 0,3133 0,9 0,3159 0,3186 0,3212 0,3238 0,3264 0,3289 0,3315 0,3340 0,3365 0, ,3413 0,3438 0,3461 0,3485 0,3508 0,3531 0,3554 0,3577 0,3599 0,3621 1,1 0,3643 0,3665 0,3686 0,3708 0,3729 0,3749 0,3770 0,3790 0,3810 0,3830 1,2 0,3849 0,3869 0,3888 0,3907 0,3925 0,3944 0,3962 0,3980 0,3997 0,4015 1,3 0,4032 0,4049 0,4066 0,4082 0,4099 0,4115 0,4131 0,4147 0,4162 0,4177 1,4 0,4192 0,4207 0,4222 0,4236 0,4251 0,4265 0,4279 0,4292 0,4306 0,4319 1,5 0,4332 0,4345 0,4357 0,4370 0,4382 0,4394 0,4406 0,4418 0,4429 0,4441 1,6 0,4452 0,4463 0,4474 0,4484 0,4495 0,4505 0,4515 0,4525 0,4535 0,4545 1,7 0,4554 0,4564 0,4573 0,4582 0,4591 0,4599 0,4608 0,4616 0,4625 0,4633 1,8 0,4641 0,4649 0,4656 0,4664 0,4671 0,4678 0,4686 0,4693 0,4699 0,4706 1,9 0,4713 0,4719 0,4726 0,4732 0,4738 0,4744 0,4750 0,4756 0,4761 0, ,4772 0,4778 0,4783 0,4788 0,4793 0,4798 0,4803 0,4808 0,4812 0,4817 2,1 0,4821 0,4826 0,4830 0,4834 0,4838 0,4842 0,4846 0,4850 0,4854 0,4857 2,2 0,4861 0,4864 0,4868 0,4871 0,4875 0,4878 0,4881 0,4884 0,4887 0,4890 2,3 0,4893 0,4896 0,4898 0,4901 0,4904 0,4906 0,4909 0,4911 0,4913 0,4916 2,4 0,4918 0,4920 0,4922 0,4925 0,4927 0,4929 0,4931 0,4932 0,4934 0,4936 2,5 0,4938 0,4940 0,4941 0,4943 0,4945 0,4946 0,4948 0,4949 0,4951 0,4952 2,6 0,4953 0,4955 0,4956 0,4957 0,4959 0,4960 0,4961 0,4962 0,4963 0,4964 2,7 0,4965 0,4966 0,4967 0,4968 0,4969 0,4970 0,4971 0,4972 0,4973 0,4974 2,8 0,4974 0,4975 0,4976 0,4977 0,4977 0,4978 0,4979 0,4979 0,4980 0,4981 2,9 0,4981 0,4982 0,4982 0,4983 0,4984 0,4984 0,4985 0,4985 0,4986 0, ,4987 0,4987 0,4987 0,4988 0,4988 0,4989 0,4989 0,4989 0,4990 0,4990 3,1 0,4990 0,4991 0,4991 0,4991 0,4992 0,4992 0,4992 0,4992 0,4993 0,4993 3,2 0,4993 0,4993 0,4994 0,4994 0,4994 0,4994 0,4994 0,4995 0,4995 0,4995 3,3 0,4995 0,4995 0,4995 0,4996 0,4996 0,4996 0,4996 0,4996 0,4996 0,4997 3,4 0,4997 0,4997 0,4997 0,4997 0,4997 0,4997 0,4997 0,4997 0,4997 0,4998 3,5 0,4998 0,4998 0,4998 0,4998 0,4998 0,4998 0,4998 0,4998 0,4998 0,4998 3,6 0,4998 0,4998 0,4999 0,4999 0,4999 0,4999 0,4999 0,4999 0,4999 0,4999 3,7 0,4999 0,4999 0,4999 0,4999 0,4999 0,4999 0,4999 0,4999 0,4999 3,8 0,4999 0,4999 0,4999 0,4999 0,4999 0,4999 0,4999 0,4999 0, ,4999 3,9 0,5000 0,5000 0,5000 0,5000 0,5000 0,5000 0,5000 0,5000 0,5000 0,5000 Tabella generata con la funzione distrib.norm.st di excel

29 Come è possibile verificare sulla tabella della distribuzione normale standardizzata, Z = 1,29 corrisponde ad una probabilità uguale a (o 9,85%) in una coda: ,500+0,4015= 0,9015 = 0,0985 cioè non minore di 0,05= ns Se il test fosse stato bilaterale, se la domanda fosse stata impostata più correttamente se la cortisolemia della specie in studio differisce o meno (potrebbe cioè essere sia superiore che inferiore) da 300 corrisponde ad una probabilità uguale a (o 19,70%) in due code: ,4015+0,4015= 0,8030 = 0,1970 cioè non minore di 0,05 = ns 29

30 Nella pratica della ricerca ambientale, in cui la distribuzione dei dati è spesso lontana dalla normalità, il test T di Wilcoxon (o anche della mediana) deve sostituire i test parametrici (es. t di Student o l analisi della varianza). Il suo impiego assicura condizioni di validità più generali, senza perdere molto in potenza/efficienza! (meglio del test della mediana) Nel caso di non certa distribuzione non normalità dei dati La tendenza è quella di riportare i risultati dei test non parametrici ma anche di quelli parametrici, soprattutto nei casi significativi al limite. 30

31 Nel caso di piccoli campioni (N 20), la significatività del valore di T è fornita direttamente dalla tavola che riporta il valore critico inferiore Valori critici per il test dei ranghi con segno di Wilcoxon (per campioni con N da 6 a 20) 1 coda N p=0, p=0,01 * p=0, code p=0,01 * * * campione troppo piccolo, per un test statistico valido (test unilaterali e bilaterali, alle probabilità di 0.05 e 0.01) 31

32 Con i dati dell esempio, per N=13 nella colonna p= 0,05 per un test unilaterale il valore di T è 21, al quale corrisponde una probabilità (calcolata in modo più preciso nella tabella della pagina seguente) di α = Il valore T calcolato (T=27) con i dati dell esempio è superiore a quello riportato nella tabella (T=21). Di conseguenza, nell ipotesi che H 0 sia vera, la probabilità di trovare un valore uguale o inferiore a 27 è superiore a 0,05. Non si può quindi rifiutare l'ipotesi nulla, quindi: Conclusione: la tendenza centrale dei dati raccolti non è significativamente minore di

33 Tavola dei valori critici di T nel test di Wilcoxon per un campione e per due campioni dipendenti. Le probabilità sono riferite ad un test unilaterale. Per un test bilaterale occorre moltiplicare per 2 il valore di α. Si può rifiutare l ipotesi nulla alla probabilità α se il valore di T calcolato sui dati è minore o uguale a quello riportato in grassetto alla colonna corrispondente. Per i valori critici di T intorno al valore α è riportata la probabilità esatta. N T a=0,05 T a=0,025 T a=0,01 T a=0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,0053

34 Se il test fosse stato bilaterale, quindi se la domanda fosse stata impostata più correttamente se la cortisolemia della specie in studio differisce o meno (potrebbe cioè essere sia superiore che inferiore) da 300 i valori critici di confronto per il T (con N = 13) sarebbero stati - T = 17 per una probabilità α = T = 9 per una probabilità α = Valori critici per il test dei ranghi con segno di Wilcoxon (per campioni con N da 6 a 20) 1 coda N p=0, p=0,01 * p=0, code p=0,01 * * * campione troppo piccolo, per un test statistico valido (test unilaterali e bilaterali, alle probabilità di 0.05 e 0.01) 34