Inferenza statistica

Transcript

1 Test del

2 Inferenza statistica Indagine campionaria: indagine svolta su una parte dell intero collettivo da indagare (popolazione) Estendere i risultati a tutta la popolazione: i risultati ottenuti per il campione sono approssimativamente validi per tutta la popolazione Inferenza statistica: insieme di metodi che consentono di precisare a posteriori i margini di tale approssimazione oppure a priori l articolazione e il dimensionamento ottimale del campione

3 Problemi inferenziali Stima dei parametri Verifica di ipotesi sui parametri sulla base dei risultati del campione, si valutano i parametri che caratterizzano la distribuzione del carattere nella popolazione (a posteriori) o se ne verificano le congetture (a priori) Problemi inferenziali parametrici Verifica di altre ipotesi riguardano aspetti della distribuzione del carattere nella popolazione non suscettibili di essere espressi dai parametri che compaiono, che valgano per qualsiasi forma funzionale di tale distribuzione Problemi inferenziali nonparametrici

4 Verifica di ipotesi (cap. 8.4 cenni) Nell inferenza statistica parametrica si formulano ASSUNZIONI sui valori di un parametro incognito di una distribuzione di probabilità di funzione NOTA. La verifica statistica delle ipotesi vaglia il grado di attendibilità che può essere attribuito loro.

5 Inferenza statistica non parametrica (cap. 9) Si tratta di usare metodi (detti non parametrici) che non usano alcuna informazione sulla distribuzione di probabilità. Dunque sono utili quando non si conosce la distribuzione di probabilità della popolazione e non è possibile usare test che coinvolgono ipotesi sui parametri della distribuzione. Vedremo come realizzare con Excel un test per la bontà dell adattamento : il test del (che state utilizzando in Fisica).

6 Test del (di buon adattamento) I test di buon adattamento, in generale, hanno lo scopo di verificare se una variabile in esame abbia o meno un certa distribuzione ipotizzata, sulla base, come al solito, di dati sperimentali. Si usa per confrontare un insieme di frequenze osservate in un campione, con le analoghe quantità teoriche ipotizzate per la popolazione

7 Test del (di buon adattamento) I test di buon adattamento, in generale, hanno lo scopo di verificare se una variabile in esame abbia o meno un certa distribuzione ipotizzata sulla base, come al solito, di dati sperimentali. Si usa per confrontare un insieme di frequenze osservate in un campione, con le analoghe quantità teoriche ipotizzate per la popolazione Confronto tra frequenze empiriche e teoriche Mediante il test è possibile misurare quantitativamente il grado di deviazione tra i due insiemi di valori

8 Confronto tra frequenze empiriche e teoriche I risultati ottenuti nei campioni non sempre concordano esattamente con i risultati teorici attesi secondo le regole di probabilità, anzi, è ben raro che questo si verifichi. Per esempio: benché considerazioni teoriche ci portino ad attenderci 50 teste e 50 croci da 100 lanci di una moneta, è raro che questi risultati siano ottenuti esattamente, ma nonostante questo non si deve per forza dedurre che la moneta sia truccata!

9 Un esempio Un amico vi dice: Questa moneta è equa. Infatti su 1000 lanci ho ottenuto 499 "testa" e 501 "croce". Come possiamo valutare la verosimiglianza di quanto raccontato dall'amico con la previsione teorica? Col test del vedremo quanto il dato osservato concorda col dato teorico, e potremo trarre le nostre conclusioni.

10 Distribuzione (a n gradi di libertà) E una distribuzione di probabilità continua, ottenuta come somma dei quadrati di n variabili casuali indipendenti, con media 0 e varianza 1 In Excel esistono le funzioni: DISTRIB.CHI(x;gradi_libertà) INV.CHI(probabilità;gradi_libertà) che ne calcola la sua inversa. Per esempio: DISTRIB.CHI(0,004;1) = 0,950 INV.CHI(0,950;1) = 0,004 Esistono pure DISTRIB.CHI.QUAD, DISTRIB.CHI.QUAD.DS, INV.CHI.QUAD e INV.CHI.QUAD.DS relative alle probabilità a una coda.

11 Come valutare la concordanza Test del χ di Pearson: Nell esempio della moneta, prendiamo come frequenza teorica quella della distribuzione binomiale: si ottiene testa (o croce) con probabilità p=1/

12 Confronto dato empirico e dato teorico modalità frequenze empiriche: fe probabilità teoriche: p frequenze teoriche: ft=p*n (fe - ft) / ft testa 499 0, ,00 croce 501 0, ,00 n= 1000 funzione test = 0,004 livello di significativita' = 0,05 valore critico c= 3, Confrontare col valore teorico nel caso di moneta non truccata Il valore critico lo posso ottenere dalla tabella dei valori della distribuzione, in funzione di a e dei gradi di libertà, o calcolarlo direttamente con INV.CHI(probabilità; gradi_libertà), dove gradi di libertà = quantità delle frequenze sperimentali che devo conoscere direttamente. Nel nostro esempio: a = 0,05 e gradi di libertà = 1 (perché basta conoscere p per ottenere q=1-p) c = INV.CHI(0,05;1) = 3,

13

14 Valori in tabella con Excel Come ottenere i valori in tabella con Excel? 0,950 = 0,004 DISTR.CHI(0,004;1) = 0,950 INV.CHI(0,950;1) = 0,004 0,050 = 3,841 DISTR.CHI(3,841;1) = 0,050 INV.CHI(0,050;1) = 3,841 0,050 corrisponde alla probabilità 5% 0,010 corrisponde alla probabilità 1% 0,950 corrisponde alla probabilità 95%

15 ACCETTO se < C Accettazione (come indica il libro di Excel) Il valore della funzione test = 0,004 = 0,950 Il valore critico C = 3,841 = 0,050 Equivalentemente: 0,004 < 3,841 quindi ACCETTO. ACCETTO se 0,95 > 0,05 = a livello di significatività scelto; ovvero ACCETTO se 95% > 5% In Excel la percentuale 0,950 la posso ottenere direttamente: 0,950 = TEST.CHI(int_effettivo; int_previsto) dove int_effettivo e int_previsto sono rispettivamente le tabelle delle frequenze empiriche e teoriche Quindi più velocemente: ACCETTO se TEST.CHI(int_effettivo; int_previsto) > a

16 Funzione TEST.CHI TEST.CHI(B:B3;D:D3) = 0,950 Indica direttamente che il valore di (0,004) corrisponde a 0,950 Dato che 0,950 > 0,05: ACCETTO!

17 Abbiamo ottenuto: Commento = 0, 950 In realtà ciò indica che la discordanza dal valore teorico è addirittura un po «troppo bassa»: il valore è piuttosto «anormale» e quindi improbabile (è sensato supporre che l amico ci abbia detto una frottola!).

18 Altro esempio Effettuando 50 lanci di un dado si sono ottenuti: 9 uno 11 due 5 tre 8 quattro 10 cinque 7 sei. Vogliamo valutare se i dadi sono equi. Confrontiamo le frequenze ottenute con quelle teoriche della distribuzione uniforme, corrispondente ai dadi equi. Per valutarne la discordanza, calcoliamo il relativo χ.

19 Calcoliamo modalità frequenze empiriche: fe probabilità teoriche: p frequenze teoriche: ft=p*n (fe - ft) / ft 1 9 0,1667 8, , ,1667 8, , ,1667 8, , ,1667 8, , ,1667 8, , ,1667 8, , n= 50 funzione test =,8 Cosa ci dice,8 sulla equità del dado? Studiando la distribuzione teorica, cioè come si distribuirebbe il valore di se il dado fosse equo (per esempio su 5000 lanci) si otterrebbe il seguente istogramma

20 Istogramma della distribuzione di 5000 lanci di un dado equo Dove si colloca il nostro,8? Si nota che,8 è un valore abbastanza centrale. Anzi studiando i percentili si trova che,8 è il 5 percentile. Quindi posso ACCETTARE l ipotesi che il dado sia equo! Per valutare ciò con Excel procediamo come segue.

21 Con Excel (senza usare TEST.CHI) modalità frequenze empiriche: fe probabilità teoriche: p frequenze teoriche: ft=p*n (fe - ft) / ft 1 9 0,1667 8, , ,1667 8, , ,1667 8, , ,1667 8, , ,1667 8, , ,1667 8, , n= 50 funzione test =,8 livello di significativita' = 0,05 valore critico c = 11, Confrontare col valore teorico nel caso di dadi equi risultato: si accetta l'ipotesi nulla Nel nostro esempio (seguendo il libro di Excel che non usa la funzione TEST.CHI): gradi di libertà = 5 (perché occorre conoscere 5 frequenze per ottenere anche la sesta) INV.CHI(0,05;5) = 11, ,8 < 11, quindi ACCETTO

22

23 Con la funzione TEST.CHI TEST.CHI(B:B7;D:D7) = 0,731 Indica direttamente che il valore di corrisponde a 0,731 Dato che 0,731 > 0,05: ACCETTO! Uso la funzione: SE(D11>D10; "ACCETTO H 0 ";"RIFIUTO H 0 ")

24 Tecnica generale Consideriamo una variabile X con distribuzione di probabilità da verificare. 1. Effettuiamo n misurazioni della variabile.. Raggruppiamo i valori in k classi/modalità, ottenendo una distribuzione empirica delle frequenze. 3. Confrontiamola con una distribuzione teorica ipotetica e valutiamo così il grado di adattamento tra le due distribuzioni.

25 Scopo del test Confrontiamo tra loro le frequenze empiriche e quelle teoriche verificando l ipotesi nulla H 0, ossia che tra le probabilità teoriche e le frequenze relative empiriche ci sia un buon accordo L ipotesi alternativa H 1 è che la distribuzione teorica non si adatta alla distribuzione empirica

26 Con Excel (senza la funzione TEST.CHI) Ingredienti per il test (ogni ingrediente in una colonna) a i modalità (classi) della distribuzione empirica (i=1,,k) n numero di elementi del campione f i frequenza assoluta empirica dell i-esima modalità fr i =f i /n frequenza relativa empirica dell i-esima modalità p i probabilità teorica dell i-esima modalità n*p i frequenza assoluta teorica dell i-esima modalità Calcoliamo Calcoliamo il valore critico c con INV.CHI(a ; gdl) dove a = livello di significatività richiesto, e gdl=gradi di libertà; gdl=k-1 se sono noti i parametri della distribuzione teorica; gdl=k-1-r se sono r i parametri da stimare usando le osservazioni Se <c c «Accetta l ipotesi nulla»; altrimenti «Rifiuta l ipotesi nulla»

27 Test del con Excel (con la funzione TEST.CHI) 1. Inserire i dati. Calcolare le frequenze osservate (int_effettivo) 3. Calcolare le frequenze attese (int_previsto) 4. Usare la funzione TEST.CHI(int_effettivo; int_previsto) Il valore ottenuto è il valore della probabilità che la differenza tra i valori osservati e quelli attesi, verificato con il test chi-quadro, sia dovuto al caso, ovvero la probabilità che l ipotesi nulla sia vera. Infine valutare se accettare l ipotesi oppure no. Si accetta l ipotesi nulla se tale valore è maggiore del livello di significatività a voluto.

28 Gradi di libertà TEST.CHI restituisce la probabilità che un valore del dato statistico χ equivalente al valore calcolato mediante la formula venga casualmente ottenuto in base al presupposto di indipendenza. Nel calcolo di tale probabilità, TEST.CHI utilizza la distribuzione χ con il numero adeguato di gradi di libertà, gdl. TEST.CHI(int_effettivo; int_previsto) Se le tabelle int_effettivo e int_previsto hanno un diverso numero di dati, viene restituito il valore di errore: #N/D. Altrimenti, siano r = numero di righe c = numero di colonne delle tabelle int_effettivo e int_previsto. Negli esempi precedenti c = 1. Se r > 1 e c > 1, allora gdl = (r - 1)(c - 1). Se r = 1 e c > 1, allora gdl = c - 1 Se r > 1 e c = 1, allora gdl = r - 1. r = c= 1 non è consentito e viene restituito il valore di errore #N/D.

29 Esempio 9. Durante un certo periodo, un apparecchiatura è stata sottoposta a controllo: in 100 lotti è stata registrata la seguente distribuzione di pezzi difettosi Pezzi Lotti difettosi Si vuole verificare, ad un livello del 5%, se è possibile adattare una distribuzione binomiale a questa distribuzione empirica

30 In Excel Introdurre i dati (modalità=numero pezzi difettosi; frequenze empiriche=lotti) Calcolare la somma delle frequenze (n; sarà 100) Per calcolare la probabilità teorica, in questo caso binomiale, occorre usare 7 volte la funzione DISTRIB.BINOM(num_successi;prove;probabilità_s;cumulativo) Num_successi = numero di successi in prove = 0,1,,6 Prove = numero di prove indipendenti = 100 Probabilità_s= probabilità di successo per ciascuna prova? Cumulativo = valore logico che determina la forma assunta dalla funzione = FALSO Come calcolare la probabilità di successo?

31 Probabilità di successo Per calcolare p ricordiamo che m = n p, dove m è il valor medio, da cui p = m / n. Occorre quindi: sommare i prodotti delle modalità per le rispettive frequenze empiriche e dividere questa quantità per n per ottenere m. Dividendo il risultato per n si ottiene p. Avremo: modalità frequenze empiriche k f e n = m = p = 0,0

32 Frequenze teoriche Usando la funzione DISTRIB.BINOM(num_successi;prove;probabilità_s;cumulativo) con probabilità_s = p (appena calcolato) ottengo le probabilità teoriche; moltiplicandole per n ottengo le frequenze teoriche. modalità frequenze empiriche k f e probabilità teoriche frequenze teoriche , , , , , , , n = = p = 0,0

33 Senza la funzione TEST.CHI Valutare (f e - f t ) / f t per ogni riga Calcolare la somma (funzione test) Calcolare esplicitamente c = INV.CHI(a;gdl) Poi valutare se si accetta l ipotesi: accetto se c > modalità frequenze empiriche k f e probabilità teoriche frequenze teoriche (f e - f t ) / f t , , , , , , , , , , , , , , n = funzione test = 3,395 = 0,05 p = 0,0 5 c = 11,070 risultato : si accetta l'ipotesi nulla

34 Con la funzione TEST.CHI modalità frequenze empiriche k f e probabilità teoriche frequenze teoriche , , , , , , , n = a= 0,05 = test chi= 0, p = 0,0 risultato= si accetta l'ipotesi nulla

35 Test di indipendenza In una indagine epidemiologica si sono classificate 100 persone secondo i seguenti caratteri: A = influenzato durante l'inverno, E = di norma usa l'autobus, ottenendo la seguente tabella Controllare con il test chi-quadro la dipendenza statistica tra A ed E con un livello di fiducia del 95% (alfa=0,05). Nota: in questo esempio la tabella delle frequenze empiriche ha r = e c =.

36 Test del con Excel 1. Inserire i dati. Calcolare le frequenze osservate (int_effettivo) 3. Calcolare le frequenze attese (int_previsto) 4. Usare la funzione TEST.CHI(int_effettivo; int_previsto) Il valore ottenuto è il valore della probabilità che la differenza tra i valori osservati e quelli attesi, verificato con il test chi-quadro, sia dovuto al caso, ovvero la probabilità che l ipotesi nulla sia vera. Infine valutare se accettare l ipotesi oppure no. Si accetta l ipotesi nulla se tale valore è maggiore del livello di significatività alfa.

37 Calcolo delle frequenze attese Inseriamo i dati in una tabella Excel Calcoliamo la tabella delle frequenze attese, cioè quelle che avremmo se non ci fosse nessuna particolare relazione fra prendere l autobus e essere influenzati (i due caratteri fossero indipendenti). Si procede in questo modo: totale riga1 * totale colonna1 / totale generale totale riga * totale colonna1 / totale generale totale riga1 * totale colonna / totale generale totale riga * totale colonna / totale generale Frequenze empiriche Frequenze teoriche influenzato non influenzato usa l'autobus 40,9 5,08 non usa l'autobus 1,08 1,9 Nota: 40,9 = 66%*6%*100 = frequenza teorica di A&B su 100 persone

38 Test con Excel