La statistica nella ricerca scientifica

Transcript

1 La statistica nella ricerca scientifica Pubblicazione dei risultati Presentazione dei dati e la loro elaborazione devono seguire criteri universalmente validi Impossibile verifica dei risultati da parte di altri studiosi raccolta dati non corretta, loro presentazione inadeguata ed analisi statistica non appropriata La metodologia statistica rappresenta uno strumento indispensabile per lo studio, l interpretazione e la divulgazione delle informazioni contenute nei dati sperimentali La metodologia statistica fornisce un criterio oggettivo alla spiegazione del fenomeno

2 Come è organizzata la metodologia statistica? La ricerca sperimentale procede secondo le seguenti fasi: Osservazione del fenomeno Formulazione dell ipotesi Sperimentazione Campionamento Raccolta dati Permette di raccogliere i dati in funzione dello Discussione scopo della ricerca Accettazione o rifiuto dell ipotesi Disegno sperimentale Permette che le osservazioni in natura e le ripetizioni in laboratorio sono scelte e programmate in funzione della ricerca e delle ipotesi esplicative e non casuali Descrizione Insieme delle tecniche utilizzate per la sintesi dei dati grezzi in parametri statistici (media, deviazione standard, ecc.) Utilizzazione del test statistico Processo logico matematico che, mediante il calcolo di probabilità specifiche, porta alla conclusione di non o poter respingere l ipotesi della casualità

3 Principi e definizioni Popolazione: totalità degli individui aventi in comune almeno un carattere Variabile: caratteristiche di una popolazione che può essere misurata 1. Variabile qualitativa: generate da risposte categoriali (es. con un test sulla tossicità, le cavie muoiono o sopravvivono; con un farmaco, i pazienti guariscono o rimangono ammalati; ecc.); 2. Variabile quantitativa: risultato di risposte numeriche ( es., per un analisi del dimorfismo animale, le dimensioni dell organo o il peso dei maschi e delle femmine) 2A. Variabile Discreta: assume solo valori isolati 2B. Variabile Continua: tutti i valori di un intervallo Parametro: stima delle caratteristiche della popolazione Es. la lunghezza del fusto è di 10 cm Lunghezza variabile 10 cm parametro

4 Campione: parte della popolazione Fattore: elemento, antropico o naturale, esterno alla popolazione che modifica in maniera più o meno evidente i parametri della popolazione. Es., l irrigazione, la concimazione, la tessitura del suolo, ecc. Livelli: i livelli ai quali i fattori sono testati Es., dose di fertilizzante, diversi gradi di tessitura, ecc. Trattamenti: il livello o la combinazione di più livelli di uno o più fattori applicato ad un unità sperimentale. Es. 0, 10 e 20 Kh/ha di azoto: Azoto Fattore Dose fertilizzante Livello 0, 10 e 20 Kg/ha Trattamenti

5 Unità sperimentale: è un unità di materiale sperimentale alla quale è stato applicato un trattamento. Es., individuo, una pianta o un intera parcella Replica: è un unità sperimentale ripetuta 1 replica 2 replica 3 replica Unità sperimentale 0 Kg/ha Azoto 0 Kg/ha Azoto 0 Kg/ha Azoto Unità sperimentale 10 Kg/ha azoto 10 Kg/ha azoto 10 Kg/ha azoto Unità sperimentale 20 Kg/ha azoto 20 Kg/ha azoto 20 Kg/ha azoto

6 Parametro statistico: indice che riassume sinteticamente una o più varianti del campione. Es. media, moda, deviazione standard, ecc. Inferenza: estensione dei risultati del campione alla totalità della popolazione Statistica descrittiva: Insieme delle tecniche utilizzate per la sintesi dei dati grezzi in pochi indici informativi (Es. metodologia per il calcolo della media, della deviazione standard, ecc.) Statistica inferenziale: insieme dei metodi con cui si possono elaborare i dati dei campioni per dedurne omogeneità o differenze nelle caratteristiche analizzate, al fine di estendere le conclusioni alla popolazione

7 Studio di un insieme di dati La sperimentazione porta all ottenimento di una serie di dati non organizzati Nessun giudizio sulle ipotesi formulate E necessario organizzare i dati in modo sintetico e condensato criterio di organizzazione dei dati: distribuzione per classi di frequenza Esempio: consideriamo 50 osservazioni di altezza di sorgo da fibra

8 Raggruppamento per frequenza Raggruppamento per classi di frequenza e frequenza relativa (numero di individui della classe/numero totale d individui) Formula per calcolo numero di classi K = log n K: numero di classi n: numero osservazioni

9 Rappresentazion e grafica Vantaggi Presenta la totalità delle informazioni Svantaggi A) l insieme non è chiaro presentare sotto forma più breve e più chiara B) l insieme non si presta a calcoli né a rigorosi confronti occorre trasformarlo Non è efficace Un parametro statistico è più efficace: 1) quanto meglio riassume il contenuto informativo dei dati iniziali con la minor perdita di informazioni (sintetico) 2) quanto meglio si presta ai calcoli ed ai test ulteriori (numerico e trasformabile)

10 2 criterio di organizzazione dei dati: la media La media aritmetica (m) è ottenuta dividendo la somma dei valori per il numero dei casi Es. consideriamo le seguenti tre serie di misure: A: 99, 100, 101 (media = m = 100) B: 90, 100, 110 (media = m = 100) C: 1, 100,199 (media = m = 100) Risultato: la media da sola non è in grado di fornire una sufficiente informazione sul campione da cui è estratta. E necessario considerare la dispersione di valori attorno alla media cioè la variabilità del set di dati La variabilità può essere espressa in diversi modi: 1. Intervallo di variazione: differenza tra il valore massimo e minimo; 2. Devianza o scarto quadratico medio: somma delle singole distanze dalla media elevate al quadrato 3. Varianza (s 2 ): rapporto tra la devianza ed il numero delle osservazioni meno 1 (gdl) 4. Deviazione standard (s): radice quadrata della varianza; 5. Coefficiente di variazione (CV): rapporto tra la deviazione standard e la media il tutto per 100

11 Esempio: calcolare la media, la varianza e la deviazione standard delle produzioni parcellari di frumento (Kg) valori Scarti Quadrati degli scarti 18,2 18,2 20,3 = 2,1 4,41 22,2 18,7 22,2 20,3 = 1,90 18,7 20,3 = 1,60 3,61 2,56 Numero osservazioni (n) = 5 22,6 19,8 22,6 20,3 = 2,3 19,8 20,3 = 0,5 5,29 0,25 Gradi di libertà: numero osservazioni meno uno (n 1) = 5 1=4 Totali 101,5 0 16,12 Soluzione 1. Media (m) = 101,5 Kg 2. Varianza (s 2 ) : somma quadrati degli scarti/ Gradi libertà 16,12 / 4 = 4,03 3. Deviazione standard (s): Varianza 4,03 = 2,0074

12 Che cosa significa gradi di libertà I gradi di libertà sono la quantità di dati necessaria alla stima di un parametro, ossia il numero di dati indipendenti Matematicamente corrispondono al numero delle osservazioni meno 1 Consideriamo l esempio precedente valori 18,2 22,2 18,7 22,6 19,8 Scarti 18,2 20,3 = 2,1 22,2 20,3 = 1,90 18,7 20,3 = 1,60 22,6 20,3 = 2,3 19,8 20,3 = 0,5 Quadrati degli scarti 4,41 3,61 2,56 5,29 0,25 101,5 0 16,12 La somma degli scarti è uguale a 0 Se non è indipendente significa che la sua informazione è già contenuta implicitamente negli altri dati Per poter determinare la somma dei quadrati degli scarti è sufficiente disporre di tutti gli scarti meno uno poiché quest ultimo è ricavabile per differenza (cioè non è indipendente)

13 Distribuzione normale: relazioni campione popolazione I parametri statistici, media, varianza e deviazione standard, fin qui discussi sono relativi ad un campione, poiché teoricamente è impossibile determinare tali parametri per un intera popolazione Fino a quale punto i dati raccolti su un campione permettono di stimare le caratteristiche della popolazione di origine? Per dare una risposta a tale domanda facciamo il percorso inverso: partiamo dalle caratteristiche della popolazione per arrivare a quelle del campione L esperienza ha dimostrato che le variabili biologiche quantitative di una popolazione sono distribuite normalmente

14 Che significa distribuite normalmente? Distribuzione del peso di 175 topi Distribuzione del peso di un numero elevatissimo di topi In una popolazione normalmente distribuita si ha un addensamento dei valori attorno ad una frequenza massima ed una dispersione simmetrica che declina man mano che ci si allontana dai valori centrali. Tipica curva a campana o di Gauss

15 Caratteristiche della curva di Gauss Media 1. è simmetrica rispetto ad un asse 2. l asse di simmetria coincide con la media 3. le distanze misurate a partire dalla media sono le deviazioni standard La media della popolazione (µ) è diversa di quella del campione La deviazione standard della popolazione (σ) è diversa di quella del campione

16 Quanto si scosta la media di un campione da una media della popolazione? Studi matematici hanno calcolato la probabilità che un campione preso a caso dalla popolazione presenta un valore medio (m) compreso entro certi limiti La probabilità di estrarre un campione che abbia 1) una media uguale a quella della popolazione ± 1σ è del 68% m = µ ±1σ 68%; 2) una media uguale a quella della popolazione ± 2σ è del 95,44% m = µ ± 2σ 95,44%; 3) una media uguale a quella della popolazione ± 3σ è del 99,73% m = µ ±3σ 99,73%; Conclusioni: 1. a partire da un campione estratto da una popolazione, è impossibile calcolare esattamente i parametri µ e σ; 2. è invece possibile stimare i loro valori più probabili che sono la media del campione (m) e la deviazione standard (s)

17 Teorema del limite centrale Se una popolazione è distribuita normalmente con una media µ ed una deviazione standard σ, le medie (m 1, m 2,., m n ) di un numero infinito di campioni, ciascuno composto da n individui estratti a caso dalla popolazione si distribuiscono secondo la curva di distribuzione normale la cui media è uguale a m e la deviazione standard è uguale a s/ n Il valore s/ n viene definito deviazione standard della media o errore standard (s m, SE Dai dati di un campione è possibile inferire sulla popolazione : 1. m±1sm ha il 67% delle probabilità di contenere la media della popolazione 2. m±1sm ha il 95% delle probabilità di contenere la media della popolazione 3. m±1sm ha il 99% delle probabilità di contenere la media della popolazione

18 Conclusioni pratiche 1. Una serie di misurazioni devono essere considerati come n individui di un campione la cui media (m) e deviazione standard (s) rappresentano la migliore stima della media (µ) e deviazione standard (σ) della popolazione da cui il campione è estratto; 2. L estrazione del campione deve essere casuale; 3. Una serie di campioni ognuno aventi n individui ed estratti da una popolazione, hanno una media m ed una deviazione standard pari a s/ n che è l errore standard

19 Statistica inferenziale: il confronto fra campioni In precedenza Confronto fra un singolo campione e una popolazione 1 2 Confronto fra due campioni: 1. Fanno parte della stessa popolazione? 2. Fanno parte di popolazioni diverse? Praticamente Si stabilisce, scelto un arbitrario livello di probabilità, se due campioni trattati in maniera diversa siano significativamente differenti tra loro

20 Risultati significativi e non significativi Conoscere con chiarezza 1) le convenzioni abitualmente usate nell applicazione dei test statistici e 2) alcune nozioni teoriche fondamentali nell inferenza. Test statistico: procedure che, sulla base di dati campionari e con un certo grado di probabilità, consente di decidere se è ragionevole respingere l ipotesi nulla H 0 oppure non esistono elementi sufficienti per respingerla. Ipotesi nulla o H 0 : gli effetti osservati nei campioni sono dovuti a fluttuazioni casuali 1. Se l H O è accettata i campioni non sono significativamente differenti: appartengono alla stessa popolazione; 2. Se l H O non è accettata i campioni sono significativamente differenti: appartengono a popolazioni differenti; La scelta delle ipotesi (H 0 ) è fondata sulla probabilità di ottenere per caso il risultato osservato nel campione nella condizione che l ipotesi nulla sia vera. Quanto più tale probabilità è piccola, tanto più è improbabile che H 0 sia vera.

21 La probabilità dipende dal valore stimato con il test o indice statistico (P) L insieme di valori ottenibili con il test formano la distribuzione campionaria dell indice statistico (P) e può essere diviso in due zone: 1. la zona di rifiuto dell ipotesi nulla (regione critica), che corrisponde ai valori collocati agli estremi della distribuzione; quelli che hanno una probabilità piccola di verificarsi per caso; 2. la zona di accettazione dell ipotesi nulla, che comprende i restanti valori Se il valore dell indice statistico cade nella zona di rifiuto, si respinge l ipotesi nulla Per convenzione, i livelli di soglia delle probabilità sono tre: 0.05 (5%), 0.01 (1%) e (0.1%)

22 Confronto tra due medie con il test di t Student Assunzioni: A. I campioni provengono da popolazioni distribuite normalmente B. le rispettive varianze siano omogenee (omoscedasticità) Quando si utilizza? 1. per il confronto della media di un campione (media osservata) con una generica media attesa

23 Soluzione: One sample t test of VAR1 with 7 cases; Ho: Mean = Mean = SD = % CI = to t = df = 6 Prob = Count VAR1 Con probabilità inferiore a 0.05 (di commettere un errore) si rifiuta l ipotesi nulla, cioè le differenze non sono dovute al caso Praticamente: Le sostanze tossiche disperse inibiscono la crescita delle piante della specie A in modo significativo

24

25 One sample t test of VAR1 with 13 cases; Ho: Mean = Mean = % CI= to SD= t = df = 12 Prob = Count VAR1 Con probabilità inferiore a 0.01 (di commettere un errore) si accetta l ipotesi nulla, cioè le differenze sono dovute al caso Praticamente: La dimensione media dei 13 individui della specie Hetrocypris incongruens pescati nel fiume, non è significativamente diversa da quella degli individui della stessa specie che vivono nei laghi della regione.

26 2. Confronto tra le medie di due campioni indipendenti 2A. Confronto tra un campione di individui sottoposti a trattamento ed un altro campione di individui che servono come controllo (non trattato) Test unilaterale o ad una coda: il test dirà se una media è superiore ad un altra escludendo a priori che essa possa essere minore. O viceversa, ma solamente l una o l altra. 2B. Confronto tra le medie di due trattamenti diversi Test bilaterale o a due code: hanno significato tutte le teoriche possibili risposte. Questo test stabilisce se le due medie sono differenti Entrambi i test si possono attuare sia con campioni indipendenti o appaiati sia su campioni dipendenti o non appaiati

27 Sono campioni dipendenti o appaiati quando un osservazione di un campione si accoppia ad una sola osservazione dell altro campione Esempio 3 Osservare che i dati sono appaiati La sostanza può essere la causa di variazioni significative di peso?

28 Paired samples t test on PRIMA vs DOPO with 10 cases Mean PRIMA = Mean DOPO = Mean Difference = % CI = to SD Difference = t = df = 9 Prob = Prob = < 0.05 Si rifiuta l ipotesi nulla in quanto la probabilità che la differenza riscontrata sia dovuta al caso è minore di 0.05 Praticamente: la nuova dieta determina nelle cavie una differenza ponderale significativa

29 Sono campioni indipendenti o dati non appaiati campioni formati da individui differenti. Quindi sono due gruppi di osservazioni ottenute in modo indipendente. Vantaggi: possono avere un numero differente di osservazioni e sono espressione della variabilità casuale Esempio 4 In questo caso i dati sono indipendenti Gli animali cresciuti nella soluzione con concentrazione algale maggiore (gruppo X 1 ) hanno raggiunto dimensioni significativamente superiori a quelli cresciuti nella soluzione con concentrazione algale minore (gruppo X 2 )?

30 Two sample t test on VARIABL grouped by CONC$ Group N Mean SD X X Separate Variance t = df = 34.4 Prob = Difference in Means = % CI = to Pooled Variance t = df = 38 Prob = Difference in Means = % CI = to VARIABL Count Count CONC X1 X2 Praticamente La maggior concentrazione algale Prob = << 0.05 influisce in modo altamente significativo sulla maggior crescita Si rifiuta l ipotesi nulla in quanto la probabilità che delle Daphnie la differenza riscontrata sia dovuta al caso è minore di 0.05

31 Esempio 5 Dati indipendenti e mancanza di un dato

32 Two sample t test on PH grouped by ROCCE Group N Mean SD X X Separate Variance t = df = 21.4 Prob = Difference in Means = % CI = to Pooled Variance t = df = 23 Prob = Difference in Means = % CI = to Si rifiuta l ipotesi nulla in quanto la probabilità che la differenza riscontrata sia dovuta al caso è minore di 0.05 PH Count Count ROCCE X1 X2 Praticamente I due gruppi di laghi hanno un ph medio statisticamente molto diverso

33 Errore di I e II tipo In ogni confronto è possibile, per effetto del caso: 1. che venga considerato diverso (rifiuto dell ipotesi nulla) ciò che in realtà non lo è (errore di tipo I o α) 2. che venga considerato simile (accettazione dell ipotesi nulla) ciò che in realtà è differente (errore di tipo II o β) Non è possibile evitare tali errori, ma è possibile stabilire un limite massimo in cui il caso possa condurre a commettere errori Lo scarto di α dall unità rappresenta il livello di protezione del test Esempio: con α=0.05, il livello di protezione è pari a 0.95 cioè al 95% delle probabilità Lo scarto di β dall unità, rappresenta il livello di potenza del test cioè la capacità di evidenziare differenze All inizio di ogni test si stabiliscono i valori di α o β

34 Esempio nell utilizzare diversi livelli di protezione e potenza del test Se si effettua una prova di pre screening per individuare specie di probabile interesse per la produzione di biomassa, potrebbe essere utile abbassare il livello di protezione (a=0.1) a vantaggio di una maggiore potenza del test. Quindi, è meglio correre il rischio di includere specie che potrebbero essere inferiori, piuttosto che eliminare specie che potrebbero rivelarsi di estremo interesse La potenza del test 1. diminuisce all aumentare di a 2. Aumenta se l effetto del trattamento è maggiore 3. Aumenta se la varianza diminuisce (incremento del numero delle osservazioni)

35 Analisi della varianza (ANOVA) Nella ricerca sperimentale, il confronto avviene spesso simultaneamente tra più di due gruppi di individui Non è corretto ricorrere al test t Student per ripetere l analisi tante volte quanti sono i possibili confronti a coppie tra i singoli gruppi Perché? Con il t test 1. si utilizza solo una parte dei dati 2. la probabilità α prescelta per l accettazione dell ipotesi nulla è valida solamente per ogni singolo confronto L analisi della varianza consente di effettuare il confronto simultaneo tra più medie mantenendo invariata la probabilità α prefissata

36 Novità introdotta dall ANOVA: Permette di scomporre e di misurare l incidenza delle diverse fonti di variazione sui valori osservati di due o più gruppi Permette la ripartizione della varianza totale della variabile dipendente nella varie componenti attribuibili a fonti di variabilità nota (variabili indipendenti) e non nota (errore) Esempio Con il t test Per confrontare l effetto di due tossici su un gruppo di cavie questi dovevano essere raggruppati il più omogeneo possibile. Cioè gli animali dovevano essere raggruppati per sesso, età, dimensione, ecc. Quindi, le conclusioni sono limitate al gruppo di animali con le caratteristiche prescelte, senza la possibilità di estensione ad altri caratteri. Per comprendere l incidenza degli altri caratteri si doveva ripetere l esperimento variando un carattere alla volta. Con l ANOVA Conoscendo le cause ed i diversi fattori, è possibile attribuire ad ognuna di essi la parte di effetto determinata e contemporaneamente ridurre la variabilità d errore. Quindi, posso testare contemporaneamente l effetto dei diversi fattori e le loro interazioni: 1) sesso 2) età 3) dimensioni

37 Il giudizio di significatività viene dedotto dal rapporto tra varianza apportata dal trattamento (oggetto d indagine) e quella dovuta ai fattori non controllabili (errore o varianza dovuta al caso). Tale rapporto (F oss ) viene poi confrontato con la distribuzione di F (statistica di Fisher) (F tab ) Se F oss a F tab, alla probabilità prefissata (α=0.05 o α=0.01) L ipotesi nulla può essere rifiutata almeno una delle medie è diversa dalle altre

38 Assunzioni errore e le osservazioni devono essere distribuite normalmente ed indipendentemente 2. le varianze dei campioni devono essere omogenee (omoscedasticità) 3. le varianze dei campioni non sono correlate alle rispettive medie 4. gli effetti principali devono essere additivi

39 1A. Distribuzione normale ed indipendente dell errore Procedura 1. Costruire la tabella degli errori: ad ogni dato si sottrae la media generale, quella del trattamento e quella del blocco (se è un disegno a blocchi randomizzati) 2. Osservare l andamento dell errore: es. errori differenti tra i trattamenti indicano non indipendenza L errore è simile nei blocchi 1 e 4, e 2 e 3, per cui non è distribuito in modo randomizzato Soluzione: trasformazione dei dati

40 1B. Le osservazioni devono essere distribuite normalmente Test di Kolmogorv Smirnov Test negativo: trasformazione dei dati 2. Le varianze dei campioni devono essere omogenee (omoscedasticità) Test Hartley Test Cochran Test Bartlett Test Levene Test Bartlett si utilizza quando ci sono dati mancanti Test Levene è preferibile in quanto è il più robusto Test negativi: trasformazione dei dati Comunque per osservare che le varianze sono omogenee è bene controllare graficamente la distribuzione dell errore sia prima del test sia dopo aver trasformato i dati

41 4. gli effetti principali devono essere additivi Test di Tukey Trasformazione dei dati La trasformazione dei dati stabilizza le varianze, normalizza le distribuzioni e linearizza i rapporti fra le variabili Esistono diversi tipi di trasformazione: logaritmica, esponenziale, ecc. Considerazioni per la scelta del tipo di trasformazione: 1. La logaritmica effetto moltiplicativo dell errore o quando la varianza è correlata alla media 2. radice quadrata rende le varianze omogenee 3. reciproci efficace quando la varianza aumenta in modo molto pronunciato rispetto alla media 4. trasformazioni angolari dati in proporzioni o percentuali

42 Analisi della varianza a un criterio di classificazione (ANOVA I) Caratteristicihe 1 fattore a più livelli Esempio 6

43 Source Sum of Squares df Mean Square F ratio P FATTORE$ Error P > 0.05 per cui si accetta l ipotesi nulla, cioè le differenze sono dovuta al caso Praticamente Le tre zone non mostrano differenze significative nella quantità in ferro

44 Confronti multipli o a posteriori Quando il confronto statistico avviene fra più di due campioni e l ANOVA mostra differenze significative, confrontano le medie per conoscere quali gruppi sono significativamente differenti e quali no I confronti possono avvenire fra singole medie o fra gruppi di medie Cultivar X Cultivar Y 20 Kg/ha azoto 80 Kg/ha azoto Confronto X20 X80 Y20 Y80 X Y Confronto semplice Confronto complesso

45

46