UNIVERSITA DEGLI STUDI DI PERUGIA STATISTICA MEDICA. Prof.ssa Donatella Siepi tel:

Transcript

1 UNIVERSITA DEGLI STUDI DI PERUGIA STATISTICA MEDICA Prof.ssa Donatella Siepi tel: novembre 2014

2 8 LEZIONE

3 Statistica inferenziale Probabilità Campione Popolazione Statistica inferenziale

4 Basi dei test statistici

5 LA VERIFICA DI IPOTESI: TEST BASATI SU UN CAMPIONE

6 La verifica di ipotesi Una fase dell inferenza è quella che consente di verificare delle ipotesi sui parametri Obiettivo primario: capire e ridurre l incertezza per prendere decisioni Obiettivo secondario: controllare il rischio del prendere decisioni sulla base delle statistiche campionarie

7 La verifica di ipotesi Verifica di ipotesi: metodologia per fare inferenza sui parametri della popolazione alla luce dell analisi delle differenze tra i risultati osservati (statistica campionaria) e quelli che ci aspetteremmo se una qualche ipotesi sulla popolazione fosse vera. La verifica di ipotesi ha inizio con la formulazione del sistema di ipotesi sottoposto a verifica. Il sistema di ipotesi fa sempre riferimento a qualche parametro della popolazione. Consiste sempre in due ipotesi contrapposte.

8 Ipotesi nulla L ipotesi nulla è, in generale, l ipotesi che si vorrebbe rifiutare. Essa afferma che gli effetti osservati nei campioni sono dovuti a fluttuazioni casuali, sempre possibili quando esiste variabilità tra gli individui; si tratta di variazioni che sono tanto più marcate quanto più ridotto è il numero di osservazioni. L ipotesi nulla H0 deve essere rifiutata solamente se esiste l evidenza che la contraddice. E importante comprendere che l ipotesi nulla non è necessariamente vera, quando i dati campionari (eventualmente pochi) non sono tali da contraddirla. L ipotesi nulla H0 non è mai provata o verificata; è solo possibile negarla o disapprovarla, sulla base di dati sperimentali

9 Con un test statistico si determina solamente una probabilità, che può essere differente ripetendo lo stesso esperimento, e inoltre la decisione che ne deriva può essere errata. Come primo caso, si supponga che un giocatore utilizzi una moneta perfettamente bilanciata, ma di cui egli non conosca le caratteristiche. Mediante alcuni lanci, egli deve decidere se la moneta è bilanciata (H0) oppure truccata (H1). Si supponga quindi che egli lanci questa moneta 6 volte e che ottenga croce tutte le volte. Se fosse uno statistico ragionerebbe in questo modo: "Avere 6 croci su 6 lanci è un evento raro; più esattamente ha una probabilità di (1/2 6 =0,5 6 ) 0,0156 o 1,56% di avvenire, se la moneta non fosse truccata (H0 vera).

10 Con una ipotesi bilaterale, quindi comprendendo anche la possibilità di avere 6 volte testa/croce, la probabilità è esattamente uguale a 3,12%. Di conseguenza, poiché 3,12% è una probabilità ritenuta bassa, ottenere 6 volte testa oppure 6 volte croce sono eventi complessivamente poco probabili, seppure possibili". Se egli avesse prefissato come valore soglia la probabilità del 5%, con questo test statistico rifiuterebbe l ipotesi nulla. Giungerebbe alla conclusione che tra atteso (3 volte teste e 3 volte croce su 6 lanci) ed osservato (6 volte croce oppure l'opposto) esiste una differenza significativa e che pertanto la moneta è truccata. Ma noi, sappiamo che in realtà essa non la è. E un errore, che in statistica si chiama errore di I tipo (scritto spesso con l'iniziale maiuscola Tipo=errore di prima specie). Consiste nel rifiutare l ipotesi nulla H0, quando in realtà essa è vera

11 Si supponga ora, come secondo caso, che sempre all insaputa del giocatore questa volta la moneta sia truccata e dia solo croce. Se questa volta egli la lancia solo 3 volte, ovviamente otterrebbe 3 volte croce. In questo caso, se fosse uno statistico seguirebbe questo ragionamento: "Se la moneta non fosse truccata (H0 vera), la probabilità di trovare per caso 3 volte croce è alta, più esattamente uguale a 0,5 3 =0,125 o 12,5%".Con un test bilaterale la probabilità è 0,25. Pertanto, egli non rifiuterebbe l ipotesi nulla. Errando, arriverebbe alla conclusione che la moneta non è truccata. In questo caso, si ha l errore di II tipo (o seconda specie). Consiste nel non rifiutare (o accettare) l'ipotesi nulla H0, quando in realtà essa è falsa. In statistica, non è possibile eliminare questi due tipi di errore.

12 La verifica di ipotesi Una fase dell inferenza è quella che consente di verificare delle ipotesi sui parametri Obiettivo primario: capire e ridurre l incertezza per prendere decisioni Obiettivo secondario: controllare il rischio del prendere decisioni sulla base delle statistiche campionarie Esempio: in una azienda che produce scatole metalliche si intende valutare se il processo produttivo opera in modo tale da garantire che la lunghezza del lato maggiore sia pari a 368 mm. Viene estratto un campione di 25 scatole. Se la lunghezza delle scatole risultasse diversa sarebbe necessario un intervento correttivo, altrimenti no.

13 La verifica di ipotesi Nell approccio classico alla verifica di ipotesi, si individuano i seguenti elementi chiave: 1. L ipotesi nulla H 0 si riferisce sempre a un valore specifico del parametro della popolazione (ad esempio m), e non a una statistica campionaria (ad esempio la media campionaria). 2. L ipotesi nulla contiene sempre un segno di eguale relativo al valore specificato del parametro della popolazione (ad esempio H 0 : m=368 mm). 3. L ipotesi alternativa non contiene mai un segno di eguale relativo al valore specificato del parametro della popolazione (ad esempio H 1 : m 368 mm).

14 La verifica di ipotesi Se la statistica campionaria prescelta si avvicina al valore ipotizzato nell ipotesi nulla accettiamo H 0, altrimenti rifiutiamo H 0 a favore dell ipotesi alternativa H 1. La teoria della verifica di ipotesi fornisce una regola su cui basare il processo decisionale. Tale regola si basa sul calcolo della probabilità di ottenere un dato risultato campionario nel caso in cui l ipotesi nulla sia vera. Questo risultato viene ricavato determinando prima la distribuzione campionaria della statistica di interesse (statistica test) e quindi calcolando il valore assunto per il particolare campione considerato. La distribuzione campionaria della statistica test spesso è una distribuzione statistica nota, come la Normale o la t di Student, e quindi possiamo ricorrere a queste distribuzioni per sottoporre a verifica un ipotesi nulla.

15 La verifica di ipotesi La distribuzione campionaria della statistica test è divisa in due regioni: una regione di rifiuto (o regione critica) una regione di accettazione Regione di rifiuto: insieme dei valori della statistica test che non è probabile si verifichino quando è vera H 0 ed è probabile si verifichino quando H 0 è falsa. La regola decisionale è: Valore della statistica test Cade nella regione di accettazione Cade nella regione di rifiuto L ipotesi nulla non può essere rifiutata L ipotesi nulla deve essere rifiutata

16 La verifica di ipotesi Per prendere una decisione sull ipotesi nulla, dobbiamo determinare il valore critico della statistica test. Tale valore separa la regione di accettazione dalla regione di rifiuto.

17 La verifica di ipotesi Decidere sulla base della statistica campionaria => rischio di errore. Si distinguono due tipi di errore: L errore di prima specie si verifica se si rifiuta l ipotesi nulla quando è vera e quindi non dovrebbe essere rifiutata. La Probabilità che si verifichi un errore di prima specie è indicata con (alfa). L errore di seconda specie si verifica se si accetta l ipotesi nulla quando è falsa e quindi dovrebbe essere rifiutata. La Probabilità che si verifichi un errore di seconda specie è indicata con (beta).

18 La verifica di ipotesi Livello di significatività del test: probabilità di commettere un errore di prima specie. In genere si controlla l errore di prima specie => viene specificato prima di condurre la verifica di ipotesi Il valore di esprime la probabilità che la statistica test cada nella regione di rifiuto quando è vera H 0 => il valore critico dipende da. Coefficiente di confidenza: (1- ) esprime la probabilità di accettare H 0 quando è vera. Espresso in percentuale mi fornisce il livello di confidenza per stime intervallari. Rischio : rischio del consumatore. Non è controllabile Potenza del test (1- ): probabilità di rigettare H 0 quando è falsa => è auspicabile che sia più grande possibile => indicatore della bontà di un test statistico.

19 La verifica di ipotesi Lo schema seguente riassume i rischi del processo decisionale: In genere viene fissato a 0,05. Se le conseguenze di un errore di I specie sono gravi potrei scegliere un valore pari a 0,01 => aumenta il rischio di errore di seconda specie ( ) Per ridurre a parità di posso aumentare la dimensione del campione

20 Test Z per la media (s noto) Per verificare l ipotesi che la media della popolazione sia uguale ad un certo valore m, contro l ipotesi alternativa che la media differisca da tale valore, conoscendo s, si ricorre alla statistica Z: X è distribuita come una normale => sotto H 0 Z è distribuita come una normale standardizzata Se Z assume valori vicini allo zero siamo portati ad accettare H 0, altrimenti si propende per rifiutare H 0 (test a due code).

21 Test Z per la media (s noto) Approccio del valore critico (livello di significatività di 0,05) Regola decisionale: Rifiuto H 0 se Z>+1,96 o se Z<-1,96 Accetto H 0 altrimenti

22 Test Z per la media (s noto) Esempio: l azienda che produce scatole metalliche intende valutare se il processo produttivo opera in modo tale da garantire che la lunghezza del lato maggiore sia pari a 368 mm. Viene estratto un campione di 25 scatole. Lo scarto quadratico medio della popolazione è pari a 15 mm e la media campionaria assume il valore 372,5 mm. H 0 : m = 368 H 1 : m 368 Il valore della statistica test mi porta ad accettare H 0.

23 Le fasi della verifica di ipotesi 1. Specificate l ipotesi nulla H 0 e esprimetela in termini statistici. Nel verificare se la lunghezza media delle scatole è 368 mm, l ipotesi nulla è: m = Specificate l ipotesi alternativa H 1 e esprimetela in termini statistici. Nel verificare se la lunghezza media delle scatole è 368 mm, l ipotesi alternativa è: m Scegliete il livello di significatività. Il livello di significatività viene fissato in base all importanza relativa che si accorda ai rischi derivanti dal commettere un errore di prima specie e dal commettere un errore di seconda specie. Nell esempio considerato, abbiamo posto = 0, Scegliete l ampiezza campionaria. L ampiezza campionaria viene fissata dopo aver considerato i rischi derivanti da un errore di prima specie e da un errore di seconda specie (vale a dire dopo aver specificato e ) e tenendo conto dei vincoli di bilancio a cui si è sottoposti nel condurre lo studio. Nell esempio considerato sono state campionate 25 scatole. 5. Individuate la tecnica statistica da utilizzare e calcolate la statistica test corrispondente. Nell esempio considerato, s era noto e quindi abbiamo usato il test Z.

24 Le fasi della verifica di ipotesi 6. Calcolate i valori critici che separano la regione di rifiuto da quella di accettazione. Una volta specificate l ipotesi nulla e quella alternativa e una volta fissati il livello di significatività e l ampiezza del campione, si possono calcolare i valori critici delle distribuzioni delle statistiche test di modo che la regione di rifiuto e quella di accettazione risultino ben individuate. Nell esempio considerato, sono stati usati i valori +1,96 e 1,96, perché la statistica test Z si distribuisce secondo una normale standardizzata. 7. Raccogliete i dati e calcolate il valore campionario della statistica test. Nell esempio considerato, la media campionaria è pari a 372,5 mm e quindi Z = 1, Stabilite se la statistica test cade nella regione di rifiuto o in quella di accettazione. A tale scopo, confrontate il valore della statistica con i valori critici individuati. Nell esempio considerato, Z = 1,50 cade nella regione di accettazione perché -1,96 < Z = +1,50 < +1,96.

25 Le fasi della verifica di ipotesi 9. Prendete la decisione statistica. Se la statistica test cade nella regione di accettazione, l ipotesi nulla H 0 non può essere rifiutata. Se la statistica test cade nella regione di rifiuto, l ipotesi nulla H 0 viene rifiutata. Nell esempio considerato, l ipotesi nulla H 0 non è rifiutata. 10. Esprimete la decisione statistica con riferimento a una data situazione. Nell esempio relativo alla produzione di scatole, concludiamo che dal campione non si possono trarre degli elementi di prova sufficienti per affermare che la lunghezza media delle scatole è diversa da 368 mm. Non si rende necessario nessun intervento correttivo.

26 PROCEDURA DECISIONALE La procedura decisionale per condurre una verificare di ipotesi consta dei seguenti passi: specificare l ipotesi nulla e l ipotesi alternativa diinteresse considerare l appropriata statistica (meglio detta statistica test ) in relazione alle ipotesi di cui sopra fissare l errore di I tipo α (detto anche livello di significatività del test ) ad un valore accettabile; questa operazione identifica nella distribuzione della statistica test due regioni: la regione di accettazione e la regione di rifiuto (detta anche regione critica ) in base ai dati campionari (ottenuti da un campione casuale IID dalla popolazione sotto indagine) calcolare il valore osservato della statistica test se tale valore appartiene alla regione critica si deve rifiutare l ipotesi nulla, altrimenti apparterrà alla regione di accettazione e non si può rifiutare l ipotesi nulla

27 IL P-VALUE NELLA PROCEDURA DECISIONALE In alternativa al considerare le due regioni di accettazione e rifiuto, è possibile prendere la decisione in base al p-value: Il p-value rappresenta la probabilità di osservare un valore della statistica test uguale o più estremo del valore che si calcola a partire dal campione, quando l ipotesi H0 è vera.

28 L approccio del p-value Negli ultimi anni, anche grazie all ampia diffusione di pacchetti statistici e fogli elettronici, si è affermato un altro approccio alla verifica di ipotesi: l approccio del p-value. Il p-value è anche chiamato livello di significatività osservato. Regola decisionale: se il p-value è maggiore o uguale ad, l ipotesi nulla viene accettata se il p-value è minore di, l ipotesi nulla è rifiutata

29 Come si utilizza il p-value associato a sn in pratica per decidere tra H0 e H1? Il vantaggio del p value è che non ci serve più andare a consultare le tavole della Normale, della t-student, del Chiquadrato o della F, ecc. per decidere. Tutto quello che dobbiamo fare è confrontare il p-value associato a sn con il livello di significatività α che abbiamo fissato in precedenza

30 L approccio del p-value Esempio: l azienda che produce scatole metalliche intende valutare se il processo produttivo opera in modo tale da garantire che la lunghezza del lato maggiore sia pari a 368 mm. Viene estratto un campione di 25 scatole. Lo scarto quadratico medio della popolazione è pari a 15 mm e la media campionaria assume il valore 372,5 mm. H 0 : m = 368 H 1 : m 368 Il valore della statistica test è pari a 1,5. La probabilità che Z assuma valori uguali o più estremi di 1,5 coincide con la probabilità che assuma valori maggiori di 1,5 o minori di -1,5 (test a due code). Le due probabilità sono pari a 0,0668 e la loro somma è perciò 0,1336. Tale valore è maggiore di =0,05 perciò accetto H 0.

31 L approccio del p-value 1. Specificate l ipotesi nulla H Specificate l ipotesi alternativa H Fissate il livello di significatività. 4. Scegliete la tecnica statistica appropriata e la statistica test da utilizzare. 5. Raccogliete i dati e calcolate il valore campionario della statistica test. 6. Calcolate il p-value. Per farlo: (a) determinate la distribuzione della statistica test sotto l ipotesi H 0 ; (b) ponete la statistica test sull asse delle ascisse; (c) ombreggiate l area corretta al di sotto della curva della distribuzione, sulla base dell ipotesi alternativa H Confrontate il p-value con. 8. Prendete la decisione statistica. Se il p-value è maggiore o uguale ad, ipotesi nulla non è rifiutata. Se il p-value è minore di, l ipotesi nulla è rifiutata. 9. Esprimete la decisione statistica con riferimento alla situazione considerata.

32 Intervalli di confidenza e verifiche d ipotesi Gli intervalli di confidenza vengono usati per stimare i parametri della popolazione mentre la verifica di ipotesi serve per prendere decisioni sul valore dei parametri. Alternativamente alla verifica di ipotesi possiamo costruire un intervallo di confidenza per la media m. Accettiamo l ipotesi nulla se il valore ipotizzato è compreso nell intervallo costruito. Rifiutiamo l ipotesi nulla se il valore cade fuori dell intervallo. Nell esempio dell azienda che costruisce scatole di metallo, l intervallo di confidenza al livello del 95% sarà: cioè 372,5 ± (1,96) 15/5. ( X Zs / n) Quindi 366,62 m 378,38. Il valore 368 è compreso nell intervallo, perciò accetto H 0.

33 Statistica Medica Confronto tra due medie

34

35 Campioni appaiati Ad ogni osservazione del primo gruppo corrisponde una osservazione del secondo gruppo (singolo soggetto in due tempi diversi, tipicamente prima e dopo il trattamento). L appaiamento rende il confronto più preciso, eliminando parte della variabilità biologica.

36 Prima: x1 x2 x3..xn Dopo: y1 y2 y3.yn Campioni appaiati Consideriamo le differenze all interno di ciascuna coppia: d1=x1 y1 d2=x2 - y2 dn=xn - yn

37 Campioni appaiati L ipotesi nulla è che la media sia la stessa prima e dopo la terapia. Quindi l ipotesi nulla è che la media delle differenze (d) sia zero!! Calcoliamo la media delle differenze d e la deviazione standard delle differenze s d

38 Campioni appaiati Secondo l ipotesi nulla, la variabile t è distribuita come una t-student con n-1 gradi di libertà t n d s d L ipotesi nulla quindi si potrà accettare con 5% di confidenza se t <1.96. Altrimenti l ipotesi nulla viene rigettata.

39 Campioni appaiati:esempio Prima dopo

40 Campioni appaiati: test unilaterale Supponiamo ora che l ipotesi nulla sia che la media dopo la terapia sia inferiore. Dobbiamo allora fare un test unilaterale sulla media delle differenze. Se t<-1.62 allora si sarebbe verificato un evento che, sotto l ipotesi nulla, ha meno del 5% di probabilità di verificarsi. Se t> accetteremo l ipotesi nulla.

41 Campioni appaiati: esempio Sia la media delle differenze pari a -6.63, e la deviazione standard delle differenze sia 20.29, su n=63 osservazioni. Calcoliamo la t: t=sqrt(63)*(-6.63)/20.29=-2.59 Possiamo rigettare l ipotesi nulla con la confidenza del 5%.

42 Campioni indipendenti Supponiamo di avere due gruppi indipendenti e di voler verificare l ipotesi nulla che la media sia la stessa nelle due popolazioni. Come si implementa il test t- student in questo caso?

43 Campioni indipendenti:varianze uguali Il primo gruppo sia composto da n1 campioni e sia µ1 la media. Il secondo gruppo sia composto da n2 campioni e sia µ2 la media. Supponiamo che la deviazione standard nei due gruppi sia uguale e pari a σ. Ipotesi nulla Ho: µ1 = µ2

44 Campioni indipendenti:varianze uguali t n d s d Sotto Ho: la differenza delle medie è distribuita come una gaussiana con media zero e deviazione standard: 2 s s 2 n 1 n 2

45 Campioni indipendenti:varianze uguali La variabile t in questo caso è: t x 1 2 x 2 s s 2 n 1 n 2

46 Prima popolazione Campioni indipendenti:varianze disuguali Seconda popolazione

47 Varianze disuguali t x x 2 s s 2 2 n 1 n 2

48 Statistica Medica 6. Analisi della varianza

49 One way ANOVA Facciamo un esempio: per lo studio degli effetti dell esposizione a monossido di carbonio in soggetti con patologie coronariche, le distribuzioni del volume espiratorio forzato in un secondo dei pazienti di ciascuno di tre centri medici: John Hopkins University School, Rancho Los Amigos Medical Center, e St. Louis University School in Medicine. Sono tre popolazioni distinte. Vogliamo testare l ipotesi che le medie delle tre popolazioni sono uguali: µ1=µ2=µ3

50 Esempio john Hopkins Rancho Los Amigos sant Louis 3,23 3,22 2,79 3,47 2,88 3,22 1,86 1,71 2,25 2,47 2,89 2,98 3,01 3,77 2,47 1,69 3,29 2,77 2,1 3,39 2,95 2,81 3,86 3,56 3,28 2,64 2,88 3,36 2,71 2,63 2,61 2,71 3,38 2,91 3,41 3,07 1,98 2,87 2,81 2,57 2,61 3,17 2,08 3,39 2,23 2,47 3,17 2,19 2,47 4,06 2,74 1,98 2,88 2,81 2,63 2,85 2,53 2,43 3,2 3,53 n1=21 n2=16 n3=23 x1medio=2,63 litri x2medio=3,03 litri x3medio=2,88 litri s1=0,496 litri s2=0,523 litri s3=0,498 litri

51 One way ANOVA Per testare l ipotesi che le tre medie siano uguali, potrei fare i confronti a due a due,e per ciascuna coppia fare il test t-student. Nel caso N=3 popolazioni devo fare 6 confronti. Nel caso generale può essere un numero proibitivo di coppie. Inoltre questa procedura può condurre ad errori. L ipotesi µ1=µ2=µ3 va testata con un singolo test, l analisi della varianza (ANOVA). Quando c è una sola caratteristica che distingue le varie popolazioni, si parla di one way anova (ad un criterio di classificazione).

52 One way ANOVA Misura della variabilità delle osservazioni rispetto alle medie delle singole osservazioni (stima pooled della varianza comune): ( n1 1) s1 ( n2 1) s2 ( nk 1) s sw n n n k 1 2 k 2 k Varianza campionaria between

53 One way ANOVA Misura della variazione delle medie delle popolazioni rispetto alla media generale: k k k n n x n x n x n x ) ( ) ( ) ( k n x x n x x n x x s k k B Varianza campionaria within

54 One way ANOVA Sotto l ipotesi nulla le due varianze dovrebbero essere simili. Calcoliamo il rapporto, detto F F s s 2 B 2 w

55 One way anova La distribuzione di probabilità di F è nota, sotto l ipotesi nulla, e dipende da k-1 (gradi di libertà del numeratore) e dal numero di dati (n-k=gradi di libertà del denominatore). Questo permette di valutare la probabilità, sotto l ipotesi nulla, che si verifichi un evento almeno estremo come quello che si è verificato, che sarà consistente se tale probabilità sarà maggiore di 0.05.

56 One way ANOVA Torniamo al nostro esempio e calcoliamo la F, otteniamo F= La distribuzione è la F con gradi di libertà 2 e 57. La probabilità che F sia risulta uguale a , quindi non possiamo rifiutare l ipotesi nulla al 5% di confidenza.

57 One way ANOVA Se il risultato dell F test è 1, significa che le medie non sono tutte uguali. A questo punto possiamo cercare le popolazioni che si distinguono dalle altre mediante test specifici che indicano quali tra i gruppi sono differenti. Questo si ottiene con il test di Tukey quando si fanno i confronti multipli.

58

59 ANALISI UNIVARIATE e dati non parametrici 1) raccolta e codifica dei dati (valori osservati) 2) inserimento dei dati in una matrice. 3) definizione ipotesi nulla e ipotesi alternativa 4) calcolo dei ranghi 5) calcolo del valore Wx e zwx 6) si verifica l ipotesi in base alla distribuzione teorica normale 7) si interpretano i risultati IL TEST DI WILCOXON-MANN-WHITNEY

60 VERIFICA DELLE IPOTESI SU DUE CAMPIONI disegni TRA GRUPPI (BETWEEN) (n<30) Se la variabile è misurata su scala Ordinale la statistica più adatta per confrontare due gruppi (due misurazioni indipendenti) è l applicazione del test di Wilcoxon-Mann-Whitney. Questo è uno dei test non parametrici più potenti e rappresenta un alternativa molto valida al test parametrico t.

61 LA VERIFICA DELLE IPOTESI SU DUE CAMPIONI disegni TRA GRUPPI (BETWEEN) (n<30) IL TEST DI WILCOXON-MANN-WHITNEY Mediante questo test, usando come parametro il rango (o la mediana), è possibile verificare se due campioni x e y provengono dalla medesima popolazione. H0= x e y hanno la stessa distribuzione H1= x y x > y x < y

62 Test U di Mann-Whitney Due campioni indipendenti, dati ordinali Il test U di Mann-Whitney dovrebbe essere usato come alternativa non-parametrica ad un test t di Student su campioni indipendenti, se una qualsiasi delle assunzioni necessarie è violata.

63 Test di Wilcoxon Due campioni non indipendenti, dati ordinali Il test di Wilcoxon dovrebbe essere usato come alternativa non-parametrica al t di Student per campioni non indipendenti se una qualsiasi delle assunzioni necessarie per quest ultimo è violata.

64 KRUSKAL-WALLIS Analogo alla ANOVA viene utilizzato incaso di comparazione tra 3 o più gruppi di dati non parametrici

65 Test non parametrici

66

67 Chi-QUADRO

68

69

70 I TESTS del CHI-QUADRATO sono utilizzati per valutare l omogeneità, la casualità, l associazione, l indipendenza e la bontà di adattamento

71 Test Chi-quadrato per la differenza tra due proporzioni Il problema della verifica di ipotesi sulla differenza tra due proporzioni può essere affrontato anche con una procedura basata su una statistica test la cui distribuzione tende ad approssimarsi con una distribuzione chi-quadrato (χ2). Se siamo interessati a confrontare le proporzioni di casi che presentano una certa caratteristica in due gruppi indipendenti possiamo costruire una tabella a doppia entrata (o di contingenza) di dimensioni 2 2 nella quale sono riportati il numero (o le percentuali) di successi e insuccessi nei due gruppi

72 Test Chi-quadrato per la differenza tra due proporzioni

73 Test Chi-quadrato per la differenza tra due proporzioni Per verifica l ipotesi nulla secondo cui non c è differenza tra le due proporzioni H0: π1 = π2 contro l alternativa H1: π1 π2 si può considerare la statistica χ2 La statistica χ2 si ottiene calcolando per ogni cella della tabella di contingenza la differenza al quadrato fra la frequenza osservata (f0) e quella attesa (fe), divisa per fe, e sommando quindi il risultato ottenuto per ogni cella

74 Test Chi-quadrato per la differenza tra due proporzioni Per calcolare la frequenza attesa si deve tener conto del fatto che se l ipotesi nulla è vera la proporzione di successi e insuccessi è la stessa nei due gruppi e le proporzioni campionarie dovrebbero differire solo per effetto del caso. In questo caso per stimare il parametro π conviene utilizzare una combinazione delle due frequenze campionarie indicate con p Per calcolare la frequenza attesa fe per le celle relative al successo (prima riga) si dovrà moltiplicare l ampiezza campionaria n1 e n2 (totali di colonna) per p

75 Test Chi-quadrato per la differenza tra due proporzioni Analogamente, per calcolare la frequenza attesa fe per le celle relative all insuccesso (seconda riga) si dovrà moltiplicare l ampiezza campionaria n1 e n2 di ciascuno dei due gruppi per (1 p ) La statistica test introdotta nell equazione (11.1) si distribuisce approssimativamente secondo una distribuzione chi-quadrato con 1 grado di libertà Fissato α, l ipotesi nulla dovrà essere rifiutata se il valore osservato della statistica χ2 è maggiore del valore critico χ2 U di una distribuzione χ2 con 1 grado di libertà

76 Test Chi-quadrato per la differenza tra due proporzioni

77 Test Chi-quadrato per la differenza tra due proporzioni

78 Test Chi-quadrato per la differenza tra due proporzioni

79 Test Chi-quadrato per la differenza tra due proporzioni Il test χ2 opportunamente generalizzato può essere utilizzato per confrontare le proporzioni di più popolazioni indipendenti. Supponiamo di voler verificare l ipotesi nulla secondo cui le proporzioni di c popolazioni sono uguali H0: π1 = π2 = = πc contro l alternativa H1: non tutte le πj sono uguali tra loro (con j=1,,c) Per risolvere questo problema dovremo costruire una tabella di contingenza di due righe (successo e insuccesso) che avrà un numero di colonne pari a c La statistica test sarà la stessa dell equazione (11.1), dove la frequenza attesa viene calcolata dalla stima p di π = π1 = π2 = = πc che in questo caso si ottiene come

80 Test Chi-quadrato per la differenza tra due proporzioni La statistica test dell equazione (11.1) si distribuisce approssimativamente secondo una distribuzione chiquadrato con (2 1) (c 1)=(c 1) gradi di libertà Fissato α, l ipotesi nulla dovrà essere rifiutata se il valore osservato della statistica χ2 è maggiore del valore critico χ2 U di una distribuzione χ2 con (c 1) gradi di libertà

81 Test Chi-quadrato per la differenza tra due proporzioni

82 Test Chi-quadrato per la differenza tra due proporzioni Calcolo della statistica test χ2 per l esempio relativo alla soddisfazione dei clienti di 3 alberghi Regione di rifiuto e di accettazione del test χ2 (2 gradi di libertà) per la differenza tra tre proporzioni al livello di significatività α=0.05

83 Test Chi-quadrato per la differenza tra due proporzioni Foglio di Microsoft Excel con i calcoli necessari per calcolare valore critico e p-value (test chi-quadro, 3 gruppi)

84 Test Chi-quadrato per la differenza tra due proporzioni

85 Test Chi-quadrato per l indipendenza Se si considera una tabella di contingenza con r righe c colonne il procedimento del test χ2 può esser generalizzato per verificare l indipendenza tra due variabili categoriali X e Y In questo contesto le ipotesi nulla e alternativa sono H0: le due variabili categoriali sono indipendenti (X Y)(non sussistono relazioni tra le due variabili) H1: le due variabili categoriali sono dipendenti (X Y)(sussiste una relazione tra le due variabili) Il test si basa ancora una volta sull equazione (11.1) La regola decisionale consiste nel rifiutare H0 se il valore osservato della statistica 2 è maggiore del valore critico 2 U della distribuzione 2 con (r-1)x(c-1) gdl

86 Test Chi-quadrato per l indipendenza Pure se presentano delle analogie, la differenza fondamentale tra il test chi-quadrato per le proporzioni e per l indipendenza riguarda lo schema di campionamento: Nel confronto tra proporzioni siamo di fronte a campioni estratti da popolazioni indipendenti Nel test di indipendenza abbiamo un solo campione su cui rileviamo due variabili qualitative che possono assumere r e c modalità distinte Nel caso di test chi-quadrato per l indipendenza è possibile semplificare il calcolo delle frequenze attesa applicando la seguente regola:

87 Test Chi-quadrato per l indipendenza

88 Test Chi-quadrato per l indipendenza

89 Test Chi-quadrato per l indipendenza Regione di rifiuto e di accettazione del test 2 per l indipendenza nell esempio sulla soddisfazione dei clienti (al livello di significatività 0.05 con 6 gradi di libertà)

90 Test Chi-quadrato per l indipendenza Foglio di Microsoft Excel con i calcoli necessari per la verifica dell ipotesi di indipendenza tra motivo di insoddisfazione e albergo

91 Procedure per dati categorici Tipi di test Tabelle di contingenza Tabelle 2x2 Tabelle 2xc Tabelle rxc 1 3 o più N di campio ni Test su proporzione 2 Test X 2 per π c Test Z per π 1 = π 2 Test X 2 per π 1 = π 2

92 avanzi

93

94 poiché la distribuzione delle medie campionarie è una distribuzione normale, siamo in grado di calcolare l area sotto la curva utilizzando il rapporto critico e la statistica z Ad esempio: qual è la probabilità di estrarre un campione di 10 individui con altezza media 175 da una popolazione che ha media 170 cm e d.s. 5? Z = ( ) /(5/ 10) = 6.33 Utilizzando le tavole la probabilità è < 0.001

95

96 Introduzione Una volta effettuata una simulazione, è necessario stimare la precisione e l affidabilità dei risultati. Si supponga ad esempio di voler valutare il valore medio di un certo indice di prestazione x. x è una variabile aleatoria con valore medio m e varianza s 2. Ripetendo n esperimenti di simulazione, per ipotesi statisticamente indipendenti tra loro, si ottengono n osservazioni indipendenti X1, X2,..., Xn.

97 Valore medio di una grandezza Una stima di m è data dalla media campionaria X(n) 1 n Questo stimatore è anch esso una variabile aleatoria: ripetendo più volte la simulazione X(n) assume valori diversi n i 1 In generale X(n) m : è necessario valutare l affidabilità della stima. Il metodo dell intervallo di confidenza consiste nel determinare un intervallo attorno al valore X(n), in modo da prevedere con una certa probabilità (detta confidenza) che m cada in questo intervallo. Si noti che X(n) è uno stimatore non polarizzato di m, cioè E{X(n)} = m. X i

98 Livello di confidenza dello stimatore In formule si esprime nel modo seguente P X (n) m 1 dove è la semiampiezza dell intervallo di confidenza: [ X ( n) ; X ( n) ] Tipicamente 1 - vale 0,9 0,95 o 0,99 cioè affidabilità del 90, 95 o 99% rispettivamente.

99 Varianza campionaria Varianza di X(n): Var {X(n)} = s 2 /n da cui si vede che all aumentare del numero di campioni la stima della media migliora La varianza si può stimare mediante la varianza campionaria S 2 (n): S 2 (n) 1 n 2 [X i X(n)] n 1 i 1 Anch essa è uno stimatore non polarizzato cioè E{S 2 (n)}= s 2 sostituendo quindi s 2 con S 2 (n) si ha 1 Var[X(n)] S 2 (n)/n n [X i X(n)] 2 n(n 1) i 1

100 Calcolo di Se il numero di osservazioni è elevato (n > 30) si può assumere che X(n) abbia distribuzione gaussiana (Teo. Limite centrale) Si introduce la variabile aleatoria Z n : Z n [X(n) m] s 2 n La variabile Z n ha valor medio nullo e varianza unitaria con distribuzione gaussiana (variabile normale standard).

101 Calcolo di Si riporta di seguito la distribuzione di Z n /2 /2 -Z 1- /2 Z 1- /2 Il valore z 1- /2 è tale per cui l integrale della curva fra -z 1- /2 e z 1- /2 vale 1-. Ossia: P{ -z 1- /2 z z 1- /2 } = 1-

102 Calcolo di Poiché si suppone n abbastanza grande, si può sostituire nell espressione di Z n S 2 (n) al posto di s 2 : P z 1 2 X(n) m S 2 (n)/n z 1 2 P X(n) z 1 2 S 2 (n)/n m X(n) z 1 2 S 2 (n)/n 1 Il simbolo indica che questa è un approssimazione. Si ricava quindi la semiampiezza dell intervallo di confidenza: z 1 2 S 2 (n)/n

103 T-student Se i campioni Xi hanno distribuzione normale la variabile t n [X(n) m] S 2 (n) n ha una distribuzione detta t di Student a n-1 gradi di libertà e l intervallo di confidenza è in questo caso esattamente espresso da t n 1,1 2 S 2 (n)/n e prende il nome di intervallo di confidenza t. i valori della distribuzione t si trovano tabulati per i diversi valori di n in pratica raramente i campioni X i hanno distribuzione normale per cui l uso dell intervallo di confidenza t è ancora una approssimazione per n tendente all infinito i valori ottenuti con i due metodi coincidono

104 Tabella t-student Si riporta qui a fianco i valori tabulati della distribuzione t-student in funzione del numero di gradi di libertà per un valore 1- =0.95 n - 1 t n 1,

105 Esempio Si supponga di aver effettuato 9 esperimenti di simulazione indipendenti da cui si sono misurate 9 stime della variabile casuale X: X1, X2,., Xn. n Sia: S 2 (n) 1 n 1 X(n) 1 X i 65 n Si può determinare S 2 (n): 9 i 1 n i 1 X i X(n) ) i [X i X(n)]

106 Esempio Scegliendo di determinale l intervallo di confidenza con livello di confidenza del 95%, cioè 1- =0.95 si ha: t n 1,1 2 t 8, t n 1,1 2 S 2 (n)/n / [X(n) ;X(n) ] ; ;81.12 L intervallo di confidenza risulta quindi: P E X cioè