Popolazione. Campione. I risultati di un esperimento sono variabili aleatorie. I valori stimati sono variabili aleatorie. Teorema del limite centrale

Transcript

1 I risultati di un esperimento sono variabili aleatorie. Un esperimento non consente di esaminare ogni elemento di una popolazione o di effettuare tutte le misure possibili. campione <x>, sx Stime Popolazion e parametri µ σ Dato un campione n estratto da una popolazione N è possibile fornire una stima (<x>, s) dei parametri reali della distribuzione (µ, σ). I risultati ottenuti su un campione rappresentano una stima dei valori "veri" I valori stimati sono variabili aleatorie Quanto sono accurate queste stime? Popolazione Valore atteso (media) Teorema del limite centrale La distribuzione delle medie campionari (<x> i ) segue una distribuzione normale indipendentemente dalla distribuzione della popolazione d origine Varianza Campione edia campionaria Il valor medio della distribuzione delle media campionarie è uguale alla media della popolazione d origine La deviazione standard dell insieme di tutte le medie campionarie (errore standard della media σ x ) è una funzione della deviazione standard della popolazione originaria e del numero di elementi del campione. nota: dev.st. della popolazione Varianza campionaria Proprietà della distribuzione di Gauss σ WH =.35σ σ σ Date due variabili aleatorie indipendenti X a, X b caratterizzate da µ a σ a, µ b σ b, la variabile Z= X a +X b è una variabile aleatoria con: µ z = µ a +µ b σ z = σ a +σ b

2 Stima della media La distribuzione reale confrontata con un ipotetico campione L errore standard della media indica il grado di incertezza da associare alla stima della media ottenuta utilizzando un campione dell intera popolazione Interpretazione: se effettuo diversi campionamenti (al limite tutti i possibili campionamenti) da una data popolazione le medie ottenute per i vari campionamenti si distribuiscono attorno al valore µ. La larghezza della distribuzione dei valori medi sarà tanto più stretta intorno al valore vero quanti più elementi scelgo per ogni campionamento (m). ATTENZIONE: l'errore standard sulla media è funzione della deviazione standard della distribuzione ma non è la deviazione standard della distribuzione. La distribuzione reale confrontata con più campioni La distribuzione reale confrontata la distribuzione delle medie Accuratezza delle stime Il valor medio ottenuto da un solo campione di m elementi è una stima del valore aspettato della popolazione. L'errore standard della media rappresenta una stima dell'errore fatto nella stima del valore atteso. Se non conosco la deviazione standard della popolazione utilizzo la stima della deviazione standard (s) per valutare l'errore sulla media Risultato di un'osservazione: Accuratezza delle stime Per migliorare la stima del valore atteso si puó ripetere l'esperimento utilizzando K campioni indipendenti In questo caso la migliore stima del valore atteso è la media delle medie campionarie: Utilizzando K campioni indipendenti l'errore standard della media si calcola (radice quadrata) dalla varianza della distribuzione delle medie campionarie: varianza: Stima della varianza: Nota: attenziona al significato di queste formule Standardizzazione e normalizzazione La distribuzione delle medie campionarie su campioni di m elementi segue una distribuzione normale indipendentemente dalla distribuzione della popolazione d origine Standardizzazione e normalizzazione La distribuzione delle medie campionarie su campioni di m elementi segue una distribuzione normale indipendentemente dalla distribuzione della popolazione d origine Distribuzione delle medie campionarie Distribuzione delle medie campionarie CASO : non conosco la varianza vera della distribuzione ma la devo stimare dai dati La variabile: CASO : conosco la varianza vera della distribuzione quindi: La variabile: è una variabile aleatoria (t-student) che, per m molto grande, ha una distribuzione Normale Standard (ha media nulla e varianza unitaria): è una variabile aleatoria che segue una distribuzione Normale Standard (ha media nulla e varianza unitaria): - t /

3 Intervalli di Confidenza ovvero quale è la probabilità di sbagliare la stima? Pb.: un'osservazione su un campione di m elementi fornisce come risultato il valor medio di una variabile aleatoria. ) costruisco una variabile aleatoria con distribuzione nota, es.: ) sulla base della g(z) determino i valori di z che hanno una bassa probabilità di essere osservati, cioè: g(t) α es.: α=5% Se z < z < z la probabilità di osservare il valore di t, calocolato in base ai dati, è (-α) Se z < z o z > z la probabilità di osservare il valore di z, calocolato in base ai dati, è α fisso un livello di confidenza α. z z determino un intervallo di valori z α z α (intervallo di confidenza) tale che la probabilità di osservare z all'esterno dell'intervallo dato sia minore di α probabilità che t appartenga all'intervallo z z dato il valore medio, osservato su un campione di m elementi, il valore aspettato della popolazione (µ) è contenuto nell'intervallo: dato il valore medio, osservato su un campione di m elementi, -α è la probabilità che questo sia compreso nell'intervallo con probabilità -α. che puó essere detto anche: α è la probabilità di fare un errore maggiore di utilizzando la media come stima del valore atteso (quantificare il rischio) funzione EXCEL: CONIDENZA(α, dev.st, m) Intervalli di confidenza: varianza nota Se le osservazioni sono distribuite con: funzione EXCEL: CONIDENZA(α, dev.st, m) CONIDENZA(0.05, 0.5, 5)=0.438 valor medio dev.st. La resistenza elettrica di un cavo viene misurata con uno strumento che ha un'incertezza σ=0.5 Ω. Vengono effettuate 5 misure, ne risulta un valor medio R=4.5 Ω La resistenza vera del cavo è nell'intervallo : R = 4.5 ± 0.44 Ω oppure: R = [4.08, 4.96] Intervalli di confidenza: varianza campionaria olto piú spesso non conosco la varianza della distribuzione. La migliore stima della varianza in un campione di m elementi è: posso definire una variabile aleatoria: la variabile t cosi definita ha una distribuzione nota (t-student) con ν = m- gradi di libertà. La t-student approssima una distribuzione Gaussiana per ν che tende a infinito Normale (Gauss) m= m=30 Nota: α rappresenta il rischio di sbagliare, cioè la probabilità che il valore vero della resistenza sia esterno all'intervallo dato 3

4 Una misura dell'altezza di un gruppo di 0 studenti fornisce il valore medio: H =.68 m con la deviazione standard stimata s = 9 cm. L'intervallo di confidenza rappresenta la regione in cui la probabilità che il valore osservato di t sia nell'intervallo t - t intorno al valore vero è -α: Determinare gli intervalli di confidenza con un incertezza minore di %, 0.5% e 0.05% intorno al valore vero. inv.t(α; m-) CONCATENA(TESTO(valore,"0.00"),"testo",...) funzione EXCEL: INV.T(α,m-) = t a Nota: Se conosco la varianza utilizzo la funzione "confidenza", se devo stimare la varianza utilizzo la funzione "inv.t" Una misura dell'altezza di un gruppo di 0 studenti fornisce il valore medio: H =.68 m con la deviazione standard stimata s = 9 cm. Determinare l'intervallo di confidenza dell'% Intervalli di confidenza: varianza campionaria olto piú spesso non conosco la varianza della distribuzione. La migliore stima della varianza in un campione di m elementi è: da cui: Dati numero di osservazioni: m valor medio dev. standard: s Confidenza α 0.0 inv.t(α; m-) probabilità che il valore vero (µ) sia nell'intervallo: t_a.86 µ.68 ± 0.06 funzione EXCEL: INV.T(a,m-) = valore medio Nota: la variabile t cosi definita ha una distribuzione nota (t-student) con ν = m- gradi di libertà. La t-student approssima una distribuzione Gaussiana per ν che tende a infinito Test statistici di reiezione delle ipotesi t>t ) ipotesi da verificare ipotesi nulla: H o ) costruisco una variabile aleatoria con distribuzione nota, es.: Es.: il valore misurato è compatibile con il valore vero? 3) sulla base della g(t) determino i valori di t che hanno una bassa probabilità di essere osservati, fissando il livello di confidenza α. Se, in base alla distribuzione scelta, il valore osservato fornisce un valore di t con bassa probabilità di essere osservato, l'ipotesi deve essere rifiutata. g(t) α es.: α=5% t t Se t < t < t il risultato (cui è associato il valore t) è compatibile l'ipotesi fatta con una probabilità del P = (-α) Se t < t o t > t il risultato (cui è associato il valore t) non è compatibile l'ipotesi fatta con una probabilità del P = (-α) Quale è il rischio di scartare un dato compatibile? α rappresenta la probabilità di sbagliare e scartare un'ipotesi corretta. 4

5 Confronto fra due popolazioni: t-test Problema: si vogliono confrontare se due popolazioni normali, X e X. Supponiamo per ora che queste abbiano la stessa varianza (omeoschedasticità). Ipotesi: (H o ) le due popolazioni hanno la stessa media Campioni omoschedastici (stessa varianza σ=σ =σ, incognita) m diverso da m t = differenza delle medie campionarie errore standard sulla differenza delle medie campionarie m = m = m ν = (m ) Campioni etero-schedastici (varianza diversa) (test di Welch) La variabile aleatoria t ν segue una distribuzione nota (t-student) con ν gradi di libertà Nota: se la numerosità dei campioni è elevata la variabile t Confronto fra due popolazioni: t-test approssima una distribuzione normale, quindi si può utilizzarare una variabile normale standard per il test: La distribuzione della variabile t, ha una forma nota come student s t distribution (tende alla distribuzione normale di Gauss per N ) La forma della distribuzione dipende da un solo parametro, legato alla numerosità del campione: il numero di gradi di libertà ν = m +m - Valori piccoli di t indicano che la differenza fra le medie dei due campioni non è significativa (i campioni sono consistenti), valori grandi indicano una differenza significativa Per formalizzare il concetto, si considera la probabilità che il valore di t sia maggiore (in valore assoluto) di un dato limite. I valori di cui t è maggiore con una data probabilità sono detti valori critici e si trovano tabulati ( ) t-test issato il numero di gradi di libertà, la tabella indica i valori di t tali per cui la probabilità di ottenere un valore maggiore (in modulo) di quello indicato sia pari ad α la probabilità che t 0 >.8 è <5% funzione EXCEL: TEST.T(X A, X B, coda, tipo) X A X A insiemi (matrici) dei dati corrispondenti ai due campionamenti coda: - test a una coda test a due code tipo: test accoppiato (stesso numero di valori) test omeoschedastico (stessa varianza) 3 test eteroschedastico (varianza diversa) Il risultato rappresenta l'indice di confidenza del test. Ad esempio, un valore TEST.T(...)=0.0 indica che, in base ai dati, la probabilità di sbagliare dicendo che le due medie sono diverse è il %. Non posso dire che al 98% sono eguali! E' sbagliato dire che le medie sono diverse con il % di probabilità 5

6 Tassi e proporzioni Classi nominali: non possono essere messe in relazione matematica quantitativa con una scala di riferimento. In Excel la funzione Test.T restituisce la probabilità di osservare casualmente la differenza riscontrata. Si distingue il caso in cui non si conosce il segno della differenza (test a due code) da quello in cui si conosce il segno della differenza (una coda) regione critica da una sola parte della distribuzione ( coda) Es.: maschi/femmine, bianco/nero, mancini/destrorsi,... 45% maschi, 55% femmine Processi Bernulliani: ammettono solo due possibilità Ogni esperimento puó avere solo due risultati V/, /0, si/no... ovvero: Ogni unità della popolazione appartiene solo a una delle due classi gli esperimenti sono indipendenti, ovvero ogni unità del campione è determinata indipendentemente dalle altre la probabilità p di un un certo risultato è costante durante l'esperimento ovvero la proporzione delle classi è costante durante l'esperimento Analisi di proporzioni p = probabilità di successi = N_successi/N_totale X(successo) = X(insuccesso) = 0 q = probabilità di insuccessi = -p Valore medio (proporzione): dev.st: Stime campionarie di proporzioni stima di p: stima di σ uso la stima di p per la stima della σ Test sulle frequenze di un "attributo" H o : f m = p o requenza osservata: Errore stimato sulla frequenza: errore sulla stima di p: In un esperimento di 0 lanci di una moneta si ottengono 6 teste p s = 0.6 s p = La variabile aleatoria: Es.: su un campione si 00 intervistati ha risposto Si il 58%. E' significativamente maggiore di 50%? ) Scelgo un livello di confidenza α=4% segue una distribuzione normale standard (N(0,)) il valore medio atteso (la probabilità di successo) è, con il 95% di probabilità, tra ) Inv.Norm.St(0.98) =.75 = z α 3) lo confronto con il valore della z m INV.NOR.ST(p) = valore di z α per cui l'integrale da - a z α è p α p-s p e p+s p z α Con un livello di confidenza di 4% la maggiornaza del Si ottenuta dal campione scelto non è significativa 6

7 Es.: su un campione si 00 intervistati ha risposto Si il 58%. Quale è il rischio di sbagliare affermando la vittoria del Si al referendum? Ho: P A =P B H : P A >P B La differenza osservata è significativa se: α ) Calcolo il valore della z m z α ) Calcolo la probabilità associata alla coda della distribuzione usando la funzione EXCEL: DISTRIB.NOR.ST(.6) = =0.947 DISTRIB.NOR.ST(z) = probabilità di ottenere un valore minore di z. = - DISTRIB.NOR.ST(.6) =0.05 -DISTRIB.NOR.ST(z) = probabilità di ottenere un valore maggiore di z. Il rischio di sbagliare affermando la vittoria del Si al referendum è di 5.% Attenzione: test a una o due code Es.: in un esperimento effettuato su un campione si 00 individui si osserva il 58% delle volte il carattere A e il 4% il carattere B. Quale è il rischio di sbagliare affermando che la popolazione non è equamente divisa? H o : P A =P B H : P A P B (maggiore o minore) t ν = Problema: si vogliono confrontare i risultati di due esperimenti in termini di frequenze relative Ipotesi: (H o ) i due esperimenti appartengono alla stessa popolazione (hanno lo stesso velore aspettato) differenza delle medie campionarie errore standard sulla differenza delle medie campionarie ) Calcolo il valore della z m DISTRIB.NOR.ST(.6) = =0.947 z = differenza delle frequenze campionarie errore standard sulla differenza delle frequenze campionarie = ( - DISTRIB.NOR.ST(.6)) =0.04 Il rischio di sbagliare affermando che la popolazione non è equamente divisa è di ~0% coda code Nell ipotesi (da verificare) che i due campioni provengono dalla stessa popolazione p m =p m la miglior stima della frequenza di successi ottenuta usando entrambi i campioni è: e la varianza calcolata sull intero campione è: Es.: in un sondaggio elettorale effettuato su un campione di 000 persone, il 4% degli intervistati ha affermato di preferire la coalizione A. In un secondo sondaggio effettuato su un egual numero di intervistati il 46 % ha affermato di preferire la coalizione A. Quale è il rischio che questa differenza sia dovuta al caso? Quale è il valore di Z per credere alla differenza con rischio di errore inferiore al 5% m = m = 000 f = 0.4 f = 0.46 <f> = 0.44 z =.8 s f = z cor =.76 Correzione per la continuità (Yates): Deriva dal fatto che la z può assumere solo valori discreti mentre la distribuzione normale è continua. La correzione diventa via via meno significativa man mano che aumenta il numero di prove m Rischio: 7.9% rischio = (- distrib.norm.st(z cor ) ) rischio: probabilità che, pur essendo valida l'ipotesi f =f, si osservi per caso un valore di z maggiore o uguale a quello trovato Per credere alla differenza con un rischio minore del 5% α = 5% z 5% = inv.norm.st(-α/) =.96 dal momento che z cor < z 5% la probabilità di sbagliare affermando che i due risultati sono diversi è maggiore del 5% 7

8 Tabelle di contingenza effetto sperimentale frequenze assolute effetto n n E n n E N = n +n N = n +n N T = N + N = = E + E sperimentale frequenze relative Distribuzione congiunta f f f E f f f E f ij = n ij /N T f T f T Ipotesi (H o ): valori trovati sono determinati da una distribuzione casuale. Se l'ipotesi è vera i risultati in tabella (n ij ) sono scorrelati e quindi le distribuzioni dei valori trovati nelle righe e nelle colonne sono scorrelate razioni con diverso trattamento razioni con diverso esito f T = N / N T f T = N / N T f E = E / N T f E = E / N T Distribuzione dei trattamenti Distribuzione degli effetti Se effetto e trattamento sono scorrelati la probabilità di avere l'effetto j con il trattamento i è il prodotto: p ij = p Ti p Ej ~ f Ti f Ej teorica teorica Ipotesi: i trattamenti hanno lo stesso effetto Ipotesi: i trattamenti hanno lo stesso effetto frequenze relative effetto f E f T f E f T f E effetto f E f T N T f E f T N T E f E f T f E f T f E I valori attesi nell'ipotesi di effetti indipendenti dal trattamento (p Ei p Tj ) sono diversi dal valore sperimentali p ij frequenze assolute f E f T N T f E f T N T E f T f T N N N T sperimentale teorica sperimentale teorica effetto n n E effetto n' n' E totali B frequenze relative oppure: f f f E n n E f f f E n' n' E frequenze assolute effetto effetto totali B f E f T f E f T f E f E f T f E f T f E f T f T f T f T N N N T N N N T sperimentale teorica Esempio effetto effetto Le differenze osservate sono sognificative? Tratt. Tratt. gradi di libertà ν = (n col. -)(n righe -) effetto exp La variabile χ frequenze osservate Tratt. Tratt Th effetto frequenze attese

9 Nota: ν α unzione EXCEL: INV.CHI(α,ν) Se i trattamenti non avessero un effetto diverso, un valore di χ con grado di libertà maggiore di 6.63 ha una probabilità di essere osservato minore del %. Possiamo quindi affermare che i due trattamenti hanno un diverso effetto sui due gruppi con una probabilità di errore minore dell'% Titanic Classe sopravvissuti deceduti I II III 8 58 I decessi sono correlati con la classe? unzione EXCEL: INV.CHI(α,ν) restituisce il valore associato ad un livello di confidenza α per una variabile χ con ν g.d.l. la funzione: DISTRIB.CHI(χ, ν) restituisce la probabilità associata al valore di χ con ν g.d.l. la funzione EXCEL: TEST.CHI( exp, th ) restituisce la probabilità associata al valore di ottenuto da una matrice di dati sperimentali exp e da una matrice di dati teorici th ottenuta nell'ipotesi di distribuzione casuale dei risultati. Risultati dei Test di ammissione Ammessi Respinti Ammessi Respinti Conclusione: Le donne sono discriminate nei test di ammissione! V/? 9

10 Amm. Resp. % Amm. Risultati dei Test di ammissione dettagli per dipartimento Dip. A Dip. A Dip. B Dip. B Dip. C Dip. C Dip. D Dip. D Dip. E Dip. E Dip. Dip. Le differenza tra ammessi o sono significative? No! Test: le iscrizioni ai vari dipartimenti sono casuali? La frazione di respinti per dipartimento è casuale? Ipotesi: Le donne tendono a far domanda nei dipartimenti dove è maggiore la probabilità di essere respinti. 0.8 Ammessi Respinti Totale (/) Totale % ammessi % respinti % donne A B C D E Uomini ammessi (%) Donne ammesse (%) Respinti (%) Donne iscritte (%) Il grafico mostra qualitativamente una correlazione positiva tra frazione di respinti e numero di donne iscritte. rischio (%) rischio (%) Test sulle frequenze 7.e Test χ tabelle di contingenza 3.e A B C D E A B C D E L'analisi qualitativa (visiva) può essere (e spesso è) fonte di errori soggettivi. Quantificare la correlazione y = f(x) i valori della variabile y sonno funzione dei valori assunti dalla variabile indipendente x (deterministico): = m. a ; x=v. t ; S = b. a ; V=I. R ;... odelli statistici e inferenza statistica Dati Definizione del odello legge fisica: x(t) = x o + vt + 0.5at Definizione dei parametri Ipotesi (teoria) odelli: relazione funzionale tra ciò che si vuole spiegare (effetto) e le cause. Un modello statistico è: Test delle ipotesi Verifica del modello Si No - una semplificazione della realtà (rasoio di Occam: scartare le ipotesi complesse se ne esistono di più semplici che portano allo stesso risultato) Impiego del modello - un'analogia del fenomeno reale: il modello riproduce solo alcuni aspetti della realtà ma non è la realtà Regressione (raffinamento, fitting, etc...): relazione funzionale tra variabili ottenuta con metodi statistici. Il metodo della regressione consente di derivare una relazione statistica tra una variabile dipendente (Y) e una o più variabili esplicative (X, X...X n ). Origine: Galton regression toward mediocrity y y y Usando le variabili standardizzate: x x x La retta di regressione diventa: Correlazione positiva Correlazione negativa Ipotesi: esiste una relazione lineare tra i valori della x e i valori della y Errori sulle osservazioni Varianza x Varianza y Retta di regressione: r = coefficiente di correlazione di Pearson covarianza xy 0

11 Varianza degli errori Nota: Stime campionarie L'incertezza sulle stime dei parametri della regressione decresce aumentanto la varianza campionaria di x Utilizzando si annulla la correlazion e tra β o e β Nell'ipotesi che la varianza sia la stessa per tutti i valori osservati y i, la stima campionaria della varianza sugli errori è s: errore standard della regressione: con Errori standard sui parametri t-test t ν = β i /es(β i ) ν = n- L'intervalli di confidenza Indice di determinazione multipla R è un indice della "bontà della retta di regressione nello spiegare la variabilità di Y mediante X calcolare: Covarianza Deviazione standard Covarianza(at.;at.) nel caso di regressione lineare semplice edia (a:a...) dev.st (a:a...) c_xy/s_x/s_y edia (b:b...) correlazione (at.; at.) dev.st (b:b...) Quanto è significativa la correlazione? T-test sulla correlazione Intervallo di confidenza per la correlazione

12 =INDICE(REGR.LIN(matr y ;matr x ;VERO;VERO);;) ; ; 3; 4; 5; ; ; 3; 4; 5; ; m ; s m ; b ; s b 3; r : coefficiente di d determinazione 4; osservato 5; somma della regressione dei quadrati help regr.lin 3; errore std per la stima di y 4; gradi di libertà 5; somma residua dei quadrati