decidiamo, sulla base di un campione, se l ipotesi formulata è plausibile oppure no.

Transcript

1 LA VERIFICA D IPOTESI Alla base dell inferenza statistica vi è l assunzione che i fenomeni collettivi possano essere descritti efficacemente mediante delle distribuzioni di probabilità. Abbiamo già considerato il problema della stima in cui, sulla base di un campione di osservazioni, si avanzano delle valutazioni su aspetti incogniti della distribuzione generatrice dei dati in popolazione. Nei problemi di verifica delle ipotesi procediamo, invece, in questo modo: avanziamo un ipotesi sulla distribuzione generatrice dei dati in popolazione (es: µ 0, p = 0.5, X e Y sono indipendenti in distribuzione); X decidiamo, sulla base di un campione, se l ipotesi formulata è plausibile oppure no. Si tratta di una classe di problemi molto rilevante, in quanto le ipotesi formulate sulla distribuzione generatrice dei dati possono avere profonde implicazioni sulla comprensione di un fenomeno o sulle decisioni operative che lo riguardano. 1

2 Congetture e confutazioni Nella concezione prevalente dell epistemologia contemporanea, una teoria scientifica consiste in un ipotesi su un certo aspetto della realtà che può essere falsificata sulla base di osservazioni empiriche. Una teoria scientifica deve quindi essere in grado di identificare un insieme di risultati sperimentali a lei incompatibili, osservati i quali la teoria decade, ossia viene falsificata. Questo approccio, detto appunto falsificazionista, è stato sistematizzato nell opera di K.Popper (si veda ad esempio Congetture e Confutazioni, 1969) Nello studio dei fenomeni collettivi questo schema deve essere adattato al fatto che le conclusioni che possiamo trarre dall osservazione di un campione non sono mai certe ma probabili.

3 Esempio 1 Nella presentazione dell esempio sullo studio della scomposizione della devianza abbiamo incontrato l ipotesi: H 0 = il numero di pezzi prodotti in una catena di montaggio è indipendente in media dal sesso Supponiamo di aver osservato che ( ) ( ) M npezzi S = m = e M npezzi S = f = 86.7 e che 1 1 Dev(Y) % Entro % Tra % Totale % Cosa possiamo dire sull ipotesi fatta? L evidenza fornita dai dati non è abbastanza chiara per affermare che l ipotesi è vera, visto che si basa su di un solo campione. La natura delle conclusioni che possiamo trarre dall osservazione campionaria è provvisoria, aperta cioè ad ulteriori conferme (che renderanno maggiormente plausibile la loro verità) o ad evidenze contrarie (che orienteranno le nostre convinzioni verso l idea che siano false). 3

4 Esempio - Un applicazione industriale (caso ipotetico) Una linea di produzione metallurgica produce lastre dello spessore programmato di 15mm e varianza 1 mm. Ogni ora vengono estratte e misurate 10 lastre. Se lo spessore medio delle lastre si allontana dal valore programmato i macchinari vengono fermati e ritarati. Ciò comporta un costo considerevole e va limitato ai soli casi in cui effettivamente la laminatrice sia starata. Si osservano i seguenti dati: per cui x = 15.7 Lastra I II III IV V Spessore (X) Lastra VI VII VIII IX X Spessore (X) E il caso di fermare gli impianti e procedere alla ritaratura, oppure la differenza osservata tra spessore programmato e spessore osservato nel campione può essere ascritta al solo caso? 4

5 Breve sommario Nell esempio citato ci siamo fatti un opinione informale circa la verità dell ipotesi che stiamo verificando. Questa opinione si basa sul livello di coerenza tra i dati osservati e l ipotesi stessa. In alcuni casi questa opinione sarà chiara e la conclusione da trarre abbastanza evidente. In altri la decisione è più incerta e apparentemente più soggettiva. La teoria statistica dei test rappresenta una formalizzazione del criterio intuitivo di valutazione della verità di un ipotesi sulla base della sua coerenza con i dati osservati. Una teoria formalizzata è utile perché: Consente di trarre conclusioni coerenti nei casi in cui l evidenza che forniscono i dati non sia schiacciante in un senso o nell altro; La sua natura formalizzata rende le decisioni riguardo alla verità di H 0 intersoggettivamente condivisibili; questo non significa che siano oggettive, ma gli elementi di soggettività sono condivisi e sotto controllo. 5

6 La teoria della verifica di ipotesi (test d ipotesi) La verifica di ipotesi ha come obiettivo quello di prendere una decisione (rifiuto / accetto) su un ipotesi H 0 riguardante la distribuzione generatrice dei dati. Noi consideriamo solo problemi parametrici, ossia problemi in cui gli unici elementi incogniti sono alcuni (uno o più) parametri che la caratterizzano (e l ipotesi è su questi elementi) la famiglia di appartenenza della distribuzione di prob. della pop. è nota L ipotesi nulla H 0 è un affermazione relativa ad uno o più parametri. Ad es.: H0 : θ = θ0; H0 : θ < θ0; H0 : θ θ0 Questa ipotesi rappresenta lo status quo ("null hypotesis" = nessuna ipotesi) ed è preesistente all osservazione dei dati campionari (spessore programmato spessore osservato). E ritenuta vera fino a prova contraria e viene rifiutata solo se i risultati campionari mostrano con decisione la sua falsità. 6

7 L ipotesi alternativa H 1 è un affermazione che contraddice l ipotesi nulla, viene spesso detta ipotesi di ricerca, perché solitamente implica che una qualche azione debba essere intrapresa. Esempio 1 (continua) - Consideriamo la linea di produzione di lastre d acciaio discussa in precedenza. Un possibile sistema di ipotesi è dato da: H : µ = 15 H : µ > 15 Si noti che si tratta di test unilaterale 0 1 Regione di accettazione e regione di rifiuto Indichiamo con D l insieme delle decisioni possibili: { rifiuto (accetto ); accetto (rifiuto ) } D = H H H H Un test statistico δ è una regola per associare a ciascun campione s S una decisione: δ : S D 7

8 Il test viene sviluppato a partire da una statistica campionaria T (detta statistica test) la cui distribuzione è nota se H 0 è vera (in gergo sotto H 0 ). Nei test statistici che studieremo, le statistiche test saranno sempre stimatori dei parametri su cui vertono le ipotesi. Ciò non rappresenta tuttavia una regola normativa generale per la costruzione dei test. In pratica si tratta quindi di confrontare il valore di una stima con un valore ipotetico del parametro a cui la stima si riferisce Il fatto di conoscere la distribuzione di T sotto H 0 ci permetterà di calcolare se il valore stimato è molto o poco probabile sotto H 0 Esempio 1 (continua): Supponiamo che per lo spessore delle lastre prodotte (X) sia ragionevole ipotizzare che X (, ) N µ σ con 1 σ noto ( σ = ). 8

9 Si avrà che, sotto H 0 : 1 X N 15, ovvero che 0 Z = = N ( 0,1 ) X µ σ n X 0.1 La distribuzione della media campionaria è nota sotto H 0 ed è quindi una possibile statistica test (T = X ). E ragionevole rifiutare H 0 se il valore di Z è molto più grande di 0 ossia se z h con h 0 (analogamente: se X è molto più grande di 15 + h 0,1) Dobbiamo fissare h. Un criterio potrebbe essere quello di voler accettare H 0 quando H 0 è vera, ossia imporre ( H H ) = ossia ( Z h) Pr accetto è vera Pr = 1 La condizione scritta è verificata solo se h = + tale scelta non è ragionevole Implicherebbe di accettare H 0 sempre e quindi anche ( ) Pr accetto H H è falsa =

10 Occorre un compromesso Ad esempio possiamo imporre che Pr( rifiuto è vera ) H H α 0 0 = con 0 α 1 E ragionevole fissare un α piccolo così da mantenere bassa la probabilità di intervenire sul processo produttivo (rif. H 0 ) nel caso in cui in realtà non ce ne sia bisogno (H 0 vera, H 0 : µ=15) Possiamo quindi imporre che ( Z h) determinare h usando le tavole: ( Z h) = implica ( Z h) Pr 0.05 Pr = A questo punto sono in grado di Pr = 0.95 Cerco sulle tavole della Normale il valore 0.95 e vado a vedere sui bordi a che valore di h corrisponde. Notiamo che questo uso della tavola è inverso rispetto a quello che abbiamo imparato nelle lezioni precedenti. 10

11 I due valori più prossimi a 0.95 che trovo sono e corrispondenti a 1.64 e Semplificando assumo che il valore corrispondente a 0.95 sia il punto medio tra i due ( ) / =. Se il valore osservato di altrimenti l accetto. z x 15 = è maggiore di rifiuto H 0 (accetto H 1 ) 0.1 Poichéx = 15.7 abbiamo che z = =.6 e quindi rifiuto H Nel linguaggio della statistica si dice che la differenza osservata tra la media aritmetica campionaria e la media teorica (H 0 ) è significativa al livello del 5%. 11

12 Schematizziamo quanto abbiamo imparato attraverso l Esempio si individua H 0 si individua una statistica test T t ( X X X ) = 1,,..., n la cui distribuzione di probabilità sia nota sotto H 0 (nell Esempio: la media campionaria X ) è possibile individuare valori di T poco probabili sotto H 0 (e quindi valori di T "vicini" ad H 1 ) e valori di T molto probabili sotto H 0 (e quindi valori di T "lontani" da H 1 ) decidiamo di rifiutare H 0 se osserviamo nel campione un valore di T compreso tra i valori di T poco probabili; il valore di T nel campione osservato lo indichiamo con T = t x, x,..., x. oss ( ) 1 n Fissata la probabilità α, è possibile individuare una soglia h tale che: ( ) Poiché tale soglia dipende da α, possiamo dire che h h α Pr T h = α Nota: In pratica, nell esempio 1 abbiamo utilizzato la media campionaria standardizzata come statistica test (in quanto è per Z che disponiamo dei valori tabulati) 1

13 L esempio che abbiamo discusso ci ha fornito alcune idee fondamentali per capire il funzionamento dei test statistici. Esse possono tuttavia essere generalizzate: 1. Abbiamo visto che non è possibile trovare una regola di scelta esente da errore. Per risolvere il problema abbiamo imposto: Pr( rifiuto è vera ) H H = α 0 0 α viene detto livello di significatività del test e l errore a cui fa riferimento è l errore di I tipo. Avremmo potuto, in alternativa, imporre un vincolo del tipo: Pr accetto H H è falsa = β ( ) 0 0 (errore del II tipo; la probabilità 1 è detta potenza del test ). β Tuttavia la scelta basata sull errore di I tipo è quella universalmente adottata nella teoria dei test si assume che l errore più grave è quello del I tipo (e quindi quello per cui fissare una certa probabilità di commetterlo) cioè l errore che si commette quando si rifiuta H 0, se H 0 è vera (implica un azione.). 13

14 I test che presenteremo sono basati su scelte delle statistiche test tali da rendere β il più piccolo possibile una volta fissato il livello di significatività α (valori usuali di α: 0.05, 0.01).. Un ipotesi è: semplice se consiste nell assegnare ad un parametro un valore puntuale (es.: µ = 15); composta se supponiamo che il parametro appartenga ad un insieme più ampio di valori (es.: µ > 15). Considereremo soprattutto test con H 0 semplici e H 1 composte; tuttavia questo scenario non rappresenta che un caso particolare. 3. Il test sviluppato nell esempio 1 è unilaterale, ossia H 1 considera l allontanamento da H 0 solo in un senso. In alcuni contesti è utile considerare test bilaterali: H : µ = µ H : µ µ

15 Esempio 1 (sviluppo generale, test bilaterale) Supponiamo di voler stabilire una procedura generale di decisione (arresto della produzione sull esame di un campione di lastre per scostamento dalle specifiche programmate) adattabile a tutti i campioni che vengono periodicamente raccolti. Poiché la procedura deve essere generale, consideriamo sia il caso in cui la media si scosti dal livello programmato per eccesso che per difetto. µ µ La procedura generale sarà quindi un test bilaterale: H0 : = 15 H1 : 15 e che Supponiamo che X N ( µ, σ ) σ = 1 (noto), α = 0.05 Rifiuteremo H 0 se il valore di x (ovvero di z) è estremo per eccesso o per difetto rispetto a 15 ( h1, h ). 15

16 Sfruttando la simmetria della Normale dovremo determinare un unico h tale che: ( ) ( ) Pr Z h H = Pr Z h H = α 0 0 In questo modo la probabilità complessiva di rifiutare H 0 quando è vera, somma ad α. Poiché α = 0.05, α / = Dalle tavole il valore di h per cui ( Z h) Pr = è h = 1.96 Se, su un nuovo campione di controllo della produzione, osservassimo x = 14.6, si avrebbe che: z = = = 1.6 Poiché -1.96< 1.6 < 1.96 accetto H Nota - A parità di α, i test bilaterali sono meno severi (tendono più spesso ad accettare H 0 ) rispetto a quelli unilaterali. La regione di rifiuto viene infatti divisa in parti, include porzioni più estreme delle code della Normale e consente quindi di accettare valori più lontani da H 0 rispetto al caso unilaterale. 16

17 Valore P (o p-value) La decisione sull'ipotesi H 0, può essere anche calcolando il p-value (detto anche livello di significatività osservato). p-value : probabilità di osservare un valore della statistica test uguale o più estremo del valore ottenuto dal campione, sotto l ipotesi nulla. Ad esempio se ci si riferisce ad una statistica test distribuita come una normale standardizzata si ha che: p-value= P( Z > z oss H 0 ) La regola decisionale per rifiutare H 0 è la seguente: Se il p-value è α, l ipotesi nulla non è rifiutata. Se il p-value è < α, l ipotesi nulla è rifiutata. E una quantità che misura l evidenza fornita dai dati contro l ipotesi nulla: minore è il valore del p-value, più è forte l evidenza contro l ipotesi nulla. 17

18 Con riferimento all esempio precedente: p-value= P(Z -1,6 H 0 ) = 1-P(Z 1,6 H 0 )= 1-0,896 = 0,1038 poichè 0,1038 0,05 accetto H 0 Corrispondenza tra: z < z < z accetto H 0 e p value > α accetto H 0 α oss α 18

19 Verifica di ipotesi sulla media di un carattere normale - σ incognito Abbiamo già discusso un problema simile nell esempio riguardante lo spessore delle lastre metalliche. Tuttavia nell esempio abbiamo introdotto un ipotesi: che in pratica è possibile avanzare solo molto raramente. σ noto Se σ è incognito, una soluzione possibile consiste nell impiegare lo stimatore S e quindi la sua stima s : t X 0 = che si distribuisce come una t di Student con 1 S µ n n gdl. 19

20 Esempio Effetti di un messaggio pubblicitario Un campione di 10 individui è stato sottoposto, per un certo periodo, ad un messaggio pubblicitario relativo alla marca di merendine GNAMMI. Alla fine del periodo viene rilevato la variazione della spesa settimanale per l acquisto delle merendine in oggetto: Ind.: I II III IV V VI VII VIII IX X X Nell ipotesi che la variazione della spesa segua una distribuzione di tipo normale, vogliamo verificare se la pubblicità ha avuto qualche effetto oppure no. µ µ Definiamo il sistema di ipotesi: H0 : = 0 H1 : > 0 Si noti che in H 0, che svolge un ruolo centrale, ipotizziamo l inefficacia del messaggio: solo se i dati mostrano una forte evidenza contraria l abbandoneremo. Fissiamo in α = 0.05 il livello di significatività del test. Calcoliamo il valore osservato della statistica T. 0

21 Sulla base dei dati otteniamo le seguenti stime: x = s = s n = / Standardizzando x otteniamo che: t oss = = /10 Si tratta, in questo caso, di un test unilaterale e quindi dovrò cercare sulle tavole il valore di h tale che ( ) Pr t h H α = n 1 0 con α=0,05 h = Poiché 1.75 < 1.833, accetto H 0 1

22 Conclusioni relative alla verifica di ipotesi sulla media di un carattere distribuito in modo normale µ > µ 0, sistemi di ipotesi del tipo H0 : µ = µ 0 H1 : µ < µ 0 µ µ σ non noto: si testano utilizzando la statistica test: X µ 0 t = t n 1 t di Student con n-1 gdl. S / n Se X N ( µ, σ ) - σ noto: (caso piuttosto raro in pratica) si testano utilizzando la statistica test X µ 0 Z = N ( 0,1) σ / n Se n è grande (per fissare una regola approssimativa possiamo dire se n 30) allora la differenza tra t e Z è piccola e possiamo dire che, approssimativamente X µ 0 N ( 0,1) S / n

23 Verifica di ipotesi sulla media di un carattere non normale - test asintotico I risultati mostrati finora non sono più validi se l assunzione di normalità della variabile di interesse non è valida. In tal caso, posto che n sia abbastanza elevato, è possibile richiamare il teorema del Limite Centrale per cui, sotto H 0, la statistica test X µ n 0 S n N(0,1) Le regioni di accettazione e rifiuto sono le stesse descritte in precedenza per popolazioni di tipo normale. 3

24 Verifica di ipotesi su una frequenza test asintotico Una grossa azienda, sulla base della considerazione che un lavoratore soddisfatto lavora meglio e di più, decide di effettuare una politica di attenzione al lavoratore. L amministratore delegato dell azienda, sulla base dell esperienza, ritiene che il 70% dei lavoratori è soddisfatto di lavorare nell azienda in questione. Al fine di verificare tale ipotesi è plausibile, si effettua un indagine campionaria da cui emerge che, su un campione di 600 dipendenti, 406 si dichiarano soddisfatti. Si verifichi se l affermazione fatta dall amministratore può ritenersi corretta al livello di significatività dell 1% (α=0,01). Per decidere se l affermazione è vera è necessario scegliere tra le ipotesi: H : p = 0.70 H : p H : p = p H : p p ) ( Si noti che il carattere X (numero di soddisfatti in un campione di numerosità n) si distribuisce in modo binomiale Bin( n, p ); tuttavia poiché n = 600 è grande possiamo trattare X come se fosse Normale. In altre parole usiamo un argomento asintotico. 4

25 Fissiamo un livello di significatività severo α = La statistica test che utilizzeremo è la proporzione campionaria Pˆ X = standardizzata. n Nel caso in esame abbiamo che la stima di p sarà 406 p ˆ = = Possiamo quindi costruire la statistica test: W = p Pˆ p 0 ( 1 p ) 0 0 In base alle motivazioni addotte in precedenza, assumiamo che W N ( 0,1) è grande e la varianza del carattere in popolazione è nota sotto H 0. in quanto n 5

26 Il valore che W assume nel campione è: w oss pˆ p 0,68 0,70 0 = = = p (1 p ) / n 0, ,07 Cerchiamo sulle tavole della Normale standardizzata quel valore h tale per cui: ( ) ( ) Pr Z h H = Pr Z h H = α Poiché = 0.01, / = α α Il valore di h per cui ( Z h) Pr = è h =,575 Poiché -,575<-1,07 (valore osservato di W) <,575 accetto H 0. 6

27 Conclusioni relative alla verifica di ipotesi sulla proporzione e alcune considerazioni generali sui test asintotici. Per condurre il test relativo all ultimo esempio, abbiamo sfruttato il fatto, scoperto da de Moivre nell 700 che la distribuzione Binomiale converge alla Normale per n +. Non considereremo il problema di verifica di ipotesi su una frequenza per piccoli campioni. E un argomento che vale per molte altre distribuzioni oltre alla Binomiale e che possiamo invocare per effettuare delle verifiche di ipotesi sui parametri di distribuzioni non normali. In particolare abbiamo che X tende a distribuirsi in modo normale, per cui, se n è grande possiamo, qualunque sia la distribuzione del carattere, valutare le ipotesi basandoci sulla v.c. Z. Sottolineiamo che, se il campione è piccolo la distribuzione t di Student emerge solo se il carattere a cui si fa riferimento è Normale. Non considereremo il problema dei test sulla media di caratteri non normali per piccoli campioni. 7

28 Verifica dell ipotesi di differenza tra la medie di due popolazioni normali e indipendenti - varianze incognite Consideriamo il seguente problema. Si vuole valutare se l inserimento dell orario flessibile in un azienda con catena di montaggio genera una maggiore produttività misurata con un punteggio da 0 a 100. Viene condotto un esperimento in un reparto di operai. Il programma di orario flessibile viene svolto per 1 settimane su un campione di 10 operai selezionati in modo casuale (gruppo T), mentre sui rimanenti 1 si procede con l orario tradizionale (gruppo C). La produttività nei due gruppi a inizio periodo è uguale. Alla fine del periodo la produttività viene misurata per ciascun operaio con un punteggio tra 0 e 100 Gruppo T (si fless.) Gruppo C (no fless.) Abbiamo quindi due campioni distinti e indichiamo con 1) X T la produttività misurata nel gruppo sottoposto al trattamento e ) X C nell altro (gruppo di controllo ). 8

29 In entrambi i casi supponiamo che il carattere sia distribuito in modo Normale. Supponiamo di voler sottoporre a test il sistema di ipotesi H : µ = µ H : µ > µ con α = T C 1 T C H 0 può essere riscritta come H : 0 0 µ µ = in cui D T C sappiamo, sotto l ipotesi di indipendenza che T C µ = µ µ è la media della variabile differenza D = XT X C di cui ( ) = µ µ ( ) = ( ) + ( ) E D V D V X V X T C T C Possiamo quindi procedere come se stessimo valutando il sistema di ipotesi H : µ = 0 H : µ > 0 0 D 1 D La statistica test è data in questo caso da X D = XT X C standardizzata. 9

30 T In particolare da: V ( X ) V ( X ) T σ σ C = C = n n si avrà V ( X ) V ( X ) V ( X ) T = +. D T C C V X V X σ Avanziamo l ipotesi: ( ) ( ) T = C = (omoschedasticità o uguale variabilità) Nota: il caso eteroschedastico è più complesso e non sarà trattato. Sviluppiamo il test nel caso (più usuale) di σ non noto deve quindi essere stimato sulla base dei dati campionari. Gli stimatori S T e S C sono entrambi stimatori corretti della varianza possiamo proporre un unico stimatore in forma di media pesata: ( ) + ( ) n 1 S n 1 S S pooled = n + n T T C C T C σ e quindi 30

31 Calcoliamo X T s T ed s C : X C X T X C x = n x = = nt 1 T T i, T i= x = n x = = nc 1 C C i, C i= 1 [ x ] T [ x ] C = =

32 767 = = = nt 1 1 M ( xt ) nt xi, T i= = = = nc 1 1 M ( xc ) nc xi, C i= 1 ( ) [ ] ( ) [ ] v ( x ) = M x x = T 1 T T v ( x ) = M x x = C 1 C C n s = s ( x ) = v ( x ) = = = T T T T nt n s = s ( x ) = v ( x ) = = = C C C C nc Una volta calcolati gli stimatori corretti delle varianza all interno di ciascuno dei due gruppi possiamo costruire lo stimatore pooled introdotto: ( ) ( ) nt 1 st + nc 1 sc spooled = = = n + n T C

33 Per stimare l errore standard della media σ σ = σ nt n + C nt n C x D della variabile differenza dato da utilizziamo lo stimatore: 1 1 spooled + nt n C Possiamo quindi calcolare il valore campionario della statistica test standardizzata: ( ) x D µ D 7.8 t = t = = = s pooled + nt n C T + C gradi di libertà, ossia il numero di osservazioni meno, numero dei gruppi che consideriamo nell esperimento. In questo caso la statistica t si distribuisce come una t di Student con ( n n ) Nel nostro caso ( n n ) T + = = 0 C 33

34 Il valore che leggiamo in corrispondenza di gdl = 0 e α = 0.05 è Poiché < 1.75 accetto H 0 Il risultato può apparire piuttosto sorprendente in quanto la media del gruppo che ha usufruito dell orario flessibile è nettamente più alta dell altro. Tuttavia la procedura di test porta a non rifiutare l ipotesi nulla per effetto della variabilità dei punteggi all interno dei gruppi. Essa è piuttosto elevata in rapporto alla dimensione campionaria piuttosto ridotta. Dal punto di vista scientifico la conclusione è che non abbiamo evidenza sufficiente per ritenere che l orario flessibile induca una maggiore produttività e che ulteriori osservazioni devono essere raccolte. 34

35 Test di indipendenza in distribuzione tra caratteri Nella prima parte del corso abbiamo introdotto l indice dipendenza in distribuzione tra una coppia di caratteri. χ come misura sintetica della Abbiamo inoltre osservato che: χ 0. χ = 0 corrisponde alla perfetta indipendenza in distribuzione. Questa situazione non è virtualmente mai osservabile analizzando un campione, in quanto, per effetto della selezione casuale, le frequenze osservate tenderanno a non riprodurre mai esattamente quelle teoriche di indipendenza, anche se i caratteri sono effettivamente (ossia in popolazione) indipendenti. Un valore elevato di χ indica la presenza di associazione effettiva tra caratteri. Tuttavia valore elevato è un concetto ambiguo, in quanto il valore di χ risente della dimensione del collettivo (e cresce, a parità dell intensità del legame di dipendenza al crescere di n). Abbiamo introdotto delle standardizzazioni di χ ( Φ e V) che ci permettono di rispondere su una base intuitiva alla domanda: lo scostamento delle frequenze osservate da quelle teoriche è ascrivibile al caso oppure evidenzia una caratteristica strutturale della popolazione? 35

36 Voler rispondere a quest ultima domanda in modo rigoroso è equivalente a voler testare il sistema di ipotesi: n n n n H : n = i,j H : n n n ii i j ii i j 0 ij 1 ij per almeno un ij Possiamo sfruttare il risultato in base al quale, se le n osservazioni campionarie di X e Y costituiscono un campione casuale dalla popolazione oggetto di studio allora, sotto l ipotesi nulla H 0 la statistica campionaria χ H K ( n ' ) ij n ij = n' i= 1 j= 1 ij si distribuisce asintoticamente secondo una v.c. detta appunto χ, la cui distribuzione è caratterizzata da un solo parametro, p = ( K 1)( H 1), detto gradi di libertà che dipende dalla dimensione della tabella di frequenza analizzata (H: numero delle righe della tabella, K: numero delle colonne). 36

37 Esempio Consideriamo i dati relativi ad un indagine di customer satisfaction relativa a turisti che hanno scelto un viaggio in crociera (soddisfatti=si, insoddisfatti=no), ed hanno viaggiato in I, II o III classe. Il quesito che ci poniamo è se la soddisfazione dipende dalla classe in cui il turista ha viaggiato. Sulla base della tabella classe Sodd. I II III totale SI NO Totale Abbiamo calcolato χ = Vogliamo testare l ipotesi di indipendenza tra classe del biglietto e soddisfazione. Fissiamo un livello di significatività (errore del I tipo) pari a 0.01 α =. Esistono tavole statistiche per la distribuzione ( p) di h corrispondenti all espressione Pr( χ h) χ in cui è possibile reperire i valori = α al variare dei gdl p e di α. Ogni riga della tavola è intestata ad un valore dei gradi di libertà Ogni colonna è intestata ad un differente valore di α. 37

38 Tavole della distribuzione χ ( p) Probabilità p Unità 15 - Corso di Metodi statistici per l economia e per l azienda (prof. M.R. Ferrante), facoltà di Economia, sede di Forlì, Università di Bologna 38

39 Densità della variabile Chi quadrato al variare dei gradi di libertà p p=1 0.4 p= p=3 p=

40 Il test di indipendenza è sempre un test ad una sola coda (la destra) rifiuteremo H 0 solo in corrispondenza di valori sufficientemente elevati della statistica χ. Tornando all esempio, abbiamo che p =, poiché la tabella ha righe e 3 colonne. Il valore corrispondente a α = 0.01 è 9.1. Poiché > 9.1 concluderemo rifiutando l ipotesi nulla H 0 e accogliendo quella alternativa di dipendenza tra i due caratteri. Commenti Il test di indipendenza è asintotico, quindi affinché sia applicabile occorre che la numerosità campionaria sia adeguatamente grande (ad esempio n 50) e che in ciascuna delle celle della tabella a doppia entrata si abbia una frequenza teorica superiore a 5 (se questo non accade si possono fondere classi contigue di X e/o Y); La statistica χ tende a crescere al crescere di n. Ciò implica che per grandi campioni tendiamo sempre a rifiutare H 0 anche in presenza di scostamenti minimi dalla indipendenza teorica tra i caratteri. - A.A