Metodi statistici per l analisi dei dati

Transcript

1 Metodi statistici per l aalisi dei dati Massimiliao Grosso Dipartimeto di Igegeria Meccaica, Chimica e dei Materiali massimiliao.grosso@dimcm.uica.it Web: Metodi Statistici per l Aalisi dei Dati INTRODUZIONE 4-8 settembre 05 Metodi Statistici per l Aalisi dei Dati statistica

2 Motivazioi Obbiettivo della piaificazioe sperimetale: Piaificazioe degli esperimeti i maiera tale che i risultati della campaga sperimetali possao essere aalizzati co metodi statistici, per giugere a delle coclusioi oggettive del processo Due fasi distite:. Piaificazioe della campaga sperimetale (Desig Of Experimets: DOE). Aalisi statistica dei risultati 4-8 settembre 05 Motivazioi Iputs: Fattori cotrollabili: x x x 3 x Processo z z z 3 z Fattori icotrollabili: Outputs y 4-8 settembre 05 Metodi Statistici per l Aalisi dei Dati statistica

3 Motivazioi Lo studio di u processo è ua procedura iterativa Cogettura su u processo sul processo Coosceza del processo 4-8 settembre 05 Progettazioe campaga sperimetale Cocetti di base I pricipi di base della progettazioe della campaga sperimetale soo:. Replicazioe. Radomizzazioe 3. Blockig 4-8 settembre 05 Metodi Statistici per l Aalisi dei Dati statistica 3

4 Progettazioe campaga sperimetale Cocetti di base Replicazioe Ripetere gli esperimeti elle stesse codizioi più volte. Permette di otteere ua stima «geuia» dell errore sperimetale. Permette ua stima più precisa della variabile di output N.B. No si deve cofodere il cocetto di replica della misura sperimetale co misura ripetuta Nell ultimo caso si può valutare al più la variabilità itriseca del sistema di misura 4-8 settembre 05 Progettazioe campaga sperimetale Cocetti di base Radomizzazioe Ordie co cui soo eseguite le misure sperimetali deve essere del tutto casuale Radomizzado l ordie delle esperieze si possoo compesare evetuali effetti di ulteriori fattori (o cosiderati el modello) che possoo essere preseti 4-8 settembre 05 Metodi Statistici per l Aalisi dei Dati statistica 4

5 Progettazioe campaga sperimetale Cocetti di base Blockig Tecica di progettazioe della campaga sperimetale usata per aumetare la precisioe co cui soo effettuati i cofroti tra i fattori di iteresse. Il Blockig è usato per ridurre la variabilità relativa a fattori di disturbo fattori che possoo ifluezare la risposta ma a cui o siamo iteressati Blocco Defiizioe U isieme di codizioi sperimetali relativamete omogeee 4-8 settembre 05 Liee guida per ua campaga sperimetale. Defiizioe del problema. Scelta dei fattori, livelli e itervalli 3. Selezioe delle variabili da misurare 4. Piaificazioe della campaga sperimetale Aalisi statistica dei dati 7. Coclusioi Le liee guida riportate soo valide qualuque sia il livello di coosceza del processo 4-8 settembre 05 Metodi Statistici per l Aalisi dei Dati statistica 5

6 Coosceza del processo Coosceza del processo Outlie degli strumeti a disposizioe Half fractioal desig Full factorial desig Modelli empirici Ottimizzazio e Modelli a pricipi primi Screeig prelimiare delle variabili Valutazioe delle variabili che ifluezao il processo Modelli lieari Respose Surface Model Regressioe o lieare Oggetto del corso 4 8 settembre 05 Metodi statistici per l aalisi dei dati RICHIAMI DI STATISTICA ESPERIMENTI REPLICATI Metodi Statistici per l Aalisi dei Dati statistica 6

7 Itroduzioe alla sezioe La discussioe permetterà di rivedere diversi cocetti di base di statistica Variabili aleatorie Distribuzioi di probabilità Campioi aleatori Distribuzioi di campioameto Test delle ipotesi Itervalli di fiducia Per il mometo esperimeti effettuati sempre elle stesse codizioi. N.B. Da o cofodere esperimeti elle stesse codizioi co misure ripetute 4-8 settembre 05 Esempio itroduttivo Si itede moitorare la qualità di ua crema destiata ad uso alimetare. A tal proposito soo effettuate 0 misure sperimetali di viscosità riportate i tabella L isieme di misure di viscosità è u campioe sperimetale. j Cotrollo (cp) y 7.69 Metodi Statistici per l Aalisi dei Dati statistica 7

8 Cocetti di statistica di base Le prove sperimetali (etichettate co il pedice j) differiscoo tra loro per effetto delle fluttuazioi dovute all errore sperimetale. La preseza dell errore sperimetale implica che la sigola misura sia l esito di ua variabile aleatoria (ovvero, o è possibile a priori la sua previsioe). Cocetti di statistica di base Descrizioi grafiche della variabilità Diagramma per puti Utile per campioi di piccole dimesioi (sio a 0 osservazioi). y y j j Viscosità [cp] Il diagramma permette di ricooscere il tred cetrale e la dispersioe dei dati. Metodi Statistici per l Aalisi dei Dati statistica 8

9 Cocetti di statistica di base Idici di posizioe e dispersioe del campioe Scalari per idetificare il tred cetrale: Media aritmetica y j y j 7.69 Mediaa: rappreseta il valore cetrale che divide il campioe i due parti uguali costituiti rispettivamete dai valori iferiori e superiori ad esso 6-0 settembre 03 Cocetti di statistica di base Idici di posizioe e dispersioe del campioe Misure della dispersioe dei dati: Variaza: s - y j - y j Deviazioe stadard È la radice quadrata della variaza s - y j - y j La somma dei quadrati è divisa per (-) aziché Utile perché ha le stesse dimesioi della variabile y Metodi Statistici per l Aalisi dei Dati statistica 9

10 Cocetti di statistica di base Descrizioi grafiche della variabilità Frequeze I preseza di campioi di dimesioi maggiori è possibile riportare i dati egli istogrammi delle frequeze assolute (o relative) del campioe di dati. L istogramma è costruito dividedo l asse orizzotale i itervalli (i geere di uguale lughezza) e disegado u rettagolo sul j-esimo itervallo la cui area sia proporzioale a j, umero di osservazioi che cadoo ell itervallo Cocetti di statistica di base Descrizioi grafiche della variabilità Rappresetazioe dei campioi tramite diagrammi a scatola ( box-plots ) Primo quartile Terzo quartile Mediaa Valore miimo del campioe Valore massimo del campioe 70 7 Viscosità [cp] 7 73 Il 5% delle osservazioi cade i questo itervallo Il 50 % delle osservazioi cade i questo itervallo Il 75% delle osservazioi cade i questo itervallo Metodi Statistici per l Aalisi dei Dati statistica 0

11 Campioi e distribuzioi campioarie L obiettivo dell ifereza statistica è trarre delle coclusioi su ua popolazioe a partire da u suo campioe Popolazioe Campioe Ifereza statistica Campaga sperimetale Dal campioe si itede otteere iformazioi sulla popolazioe geeratrice o ota Caratterizzazioe della Popolazioe Distribuzioi di probabilità La struttura di probabilità di ua variabile aleatoria (VA) Y è descritta dalla sua fuzioe desità di probabilità (probability desity fuctio: pdf) f(y). Proprietà fodametali della pdf di ua VA:.. 3. P - f a y b f y f ydy y 0 b a dy Metodi Statistici per l Aalisi dei Dati statistica

12 Caratterizzazioe della Popolazioe Distribuzioi di probabilità Esempio di fuzioe desità di probabilità 0.0 P y 0 f y dy Distribuzioi di probabilità Scalari associati Media di ua variabile aleatoria Y (ache defiito valore atteso) m - y y f dy EY Defiizioe L operatore Valore Atteso E[X] restituisce il risultato medio che si osserverebbe per i preseza di ifiite osservazioi della Variabile Aleatoria X Metodi Statistici per l Aalisi dei Dati statistica

13 Caratterizzazioe della Popolazioe Scalari associati ad ua VA Variaza di ua variabile aleatoria Y s V - Y y - m f ydy E Y - m Variaze piccole soo associate ad icertezze piccole. Caratterizzazioe della Popolazioe Scalari associati ad ua VA Alcue proprietà di iteresse delle VA. / c E c. EY m cey cm E cy Vc 0 VY s V cy c V Y c s Metodi Statistici per l Aalisi dei Dati statistica 3

14 Caratterizzazioe della Popolazioe Scalari associati ad ua VA Alcue proprietà di iteresse delle VA. / I preseza di più variabili aleatorie: Y EY EY m m E Y V Y Y VY V Y cov( Y, ) Y Dove è defiita la covariaza delle VA Y e Y : cov( Y, Y ) Y - m - m E Y Caratterizzazioe della Popolazioe Scalari associati ad ua VA Statistica Defiizioe: Ua statistica è ua fuzioe delle osservazioi di u campioe che o cotiee parametri icogiti della popolazioe che ha geerato il campioe (es: media e variaza). Esempi di statistiche: Yi i Media aritmetica Y Variaza campioaria S i Y -Y i - Metodi Statistici per l Aalisi dei Dati statistica 4

15 Campioi e distribuzioi campioarie - Stimatori Stimatore defiizioe: Uo stimatore di u parametro igoto è ua statistica che mira a valutare il parametro stesso. La media aritmetica e la variaza campioaria soo esempi di stimatori putuali. Lo stimatore putuale del geerico parametro q è i geere idicato co il simbolo del cappuccio: Esempio media aritmetica: U valore umerico putuale calcolato da u campioe di dati, prede il ome di stima. qˆ Y Y mˆ i Campioi e distribuzioi campioarie - Stimatori Proprietà stimatori Imparzialità: Uo stimatore si dice imparziale (ubiased) se il suo valore atteso coicide co il valore vero del parametro NB sebbee il valore vero o sarà mai oto è possibile valutare il verificarsi della imparzialità. E qˆ q Efficieza: È ua misura della variaza dello stimatore. Se dispogo di più stimatori devo scegliere quello co variaza miima ovvero quello co la massima efficieza. Metodi Statistici per l Aalisi dei Dati statistica 5

16 Metodi Statistici per l Aalisi dei Dati statistica 6 Campioi e distribuzioi campioarie - Stimatori Lo stimatore media aritmetica è imparziale: m m m E Y Y E Y E E Y i i i i i i i Campioi e distribuzioi campioarie - Stimatori Lo stimatore media aritmetica è efficiete: 4-8 settembre 05 Y V Y V Y V Y V i i i i i i i s s s

17 Campioi e distribuzioi campioarie - Stimatori I maiera aaloga si può dimostrare che la variaza campioaria S è imparziale E S Y Y i i - E - - ESS - dove SS è la somma corretta dei quadrati delle osservazioi y i SS y - i i i y E Y -Y i Campioi e distribuzioi campioarie - Stimatori Dimostrazioe imparzialità variaza Cotiua E E Yi -Y SS E Y -Y i i m s i i - m s -s da cui: E S E SS s - Metodi Statistici per l Aalisi dei Dati statistica 7

18 Campioi e distribuzioi campioarie Defiizioe gradi di libertà Il umero di gradi di libertà di ua somma di quadrati è data dal umero di elemeti idipedeti preseti ella somma. Esempio: SS ha - g.d.l. SS y - i i y I SS o tutti gli elemeti soo idipedeti: la media aritmetica è calcolata a partire dei valori y i. I altre parole, deve essere soddisfatto il vicolo: y - 0 i i y Campioi e distribuzioi campioarie Defiizioe gradi di libertà Risultato geerale: Se y è ua variabile aleatoria di variaza s e la somma degli scarti quadratici ha g.d.l., allora SS E s Proprietà importate per le applicazioi successive Metodi Statistici per l Aalisi dei Dati statistica 8

19 Caratterizzazioe della Popolazioe Esempi di distribuzioe Distribuzioe di tipo ormale o Gaussiaa La desità di probabilità è data da: y La fuzioe è defiita lugo tutto l asse reale (ovvero u qualuque umero reale può essere u esito di ua VA di tipo ormale) Il grafico di tale fuzioe è ua curva a campaa simmetrica rispetto a ym La distribuzioe dipede da due parametri, m e s. y - m exp - - y s s f Distribuzioe ormale I figura soo riportate tre gaussiae co egual media e variaza 0.5, 0.5, Metodi Statistici per l Aalisi dei Dati statistica 9

20 Distribuzioe ormale N.B. m-s m-s m-s m ms ms ms 68.6% Questo è vero per ogi valore di m e s el caso della Gaussiaa! 95.46% 99.73% Aree sottese dalla distribuzioe ormale Distribuzioe ormale di tipo stadard Defiizioe Data ua variabile aleatoria Y (di tipo gaussiao) di media m e variaza s Si cosideri la seguete trasformazioe lieare: - m Z Y s È facile verificare che la uova VA Z ha media 0 e variaza uitaria: Z ~ N 0, Y ~ N m, s Gaussiaa di tipo stadard Metodi Statistici per l Aalisi dei Dati statistica 0

21 Fuzioi di VA Gaussiae Trasformazioi lieari Nota la fuzioe di distribuzioe stadard è possibile ricavare le proprietà di ua qualsiasi distribuzioe gaussiaa I particolare, è possibile calcolare la probabilità che si verifichi u dato eveto per u geerico processo, co media e variaza ote. Questo è possibile sapedo solo i valori della distribuzioe di tipo stadard. Calcolo probabilità per ua Gaussiaa geerica z (y m) s m 5; s 0 m 0; s Normale stadard Metodi Statistici per l Aalisi dei Dati statistica

22 Calcolo probabilità per ua Gaussiaa geerica Esempio: calcolare quale è la probabilità che si verifichi u eveto apparteete all itervallo [0,5] per la variabile aleatoria di media 3 e deviazioe stadard : Si deve calcolare quale è la probabilità che la variabile aleatoria di tipo stadard assuma u valore ell itervallo corrispodete. 43 Calcolo probabilità per ua Gaussiaa geerica Dobbiamo calcolare la probabilità: P 0 X 5 Gli estremi dell itervallo corrispodete per la distribuzioe di tipo stadard possoo essere facilmete calcolati z z x - m 0-3 x - mx 5-3 s X s X X P P 0 X Z % Metodi Statistici per l Aalisi dei Dati statistica

23 Calcolo probabilità per ua Gaussiaa geerica Esercizi Sia Y ua variabile aleatoria di tipo ormale, di media m 6 e variaza s 5 Calcolare: P(Y > 0) P(0 < Y < 5) P(Y < 0) P( < Y < 4) Teorema del limite cetrale Teorema del limite cetrale Sia y,y,, y ua successioe di VA idipedeti ed ideticamete distribuite tali che E[y i ]m e V(y i )s. Sia ioltre x y +y + +y Allora: Z - m s tede ad ua VA Gaussiaa di tipo stadard per X Metodi Statistici per l Aalisi dei Dati statistica 3

24 Teorema del limite cetrale VA Gaussiaa è ideale per descrivere l errore sperimetale La VA di tipo ormale è u valido modello matematico per descrivere le icertezze preseti ella misura sperimetale È ragioevole assumere che le deviazioi dal valore vero provegao da diverse foti idipedeti Variabili Aleatorie derivate dalla gaussiaa - Variabile Si cosiderio k VA di tipo Stadard idipedeti z, z,. z k La variabile aleatoria scalare X Z Z... Zk prede il ome di variabile aleatoria ad gradi di libertà. Tale variabile aleatoria è caratterizzata completamete da u solo parametro, il umeri di gradi di libertà k. La pdf ha espressioe: f x - - x x exp x 0 k k k Metodi Statistici per l Aalisi dei Dati statistica 4

25 Variabile aleatoria Fuzioe desità di probabilità Variabile aleatoria Proprietà di ua variabile aleatoria a k gradi di libertà m k s k Il massimo si ha per y -. Per la distribuzioe tede ad ua gaussiaa. Metodi Statistici per l Aalisi dei Dati statistica 5

26 Variabile aleatoria Esempio Esempio di VA che segue la distribuzioe di tipo : Siao y, y,, y u campioe di dati geerati da ua VA di tipo Gaussiao N(m,s ). Allora: SS s y - ~ - i i y s Da cui, co semplici passaggi, si può ricavare la seguete relazioe per la stima S della variaza: S SS S s VA derivate dalla gaussiaa Distribuzioe T-studet Siao dati ua variabile aleatoria Z Gaussiaa di tipo stadard (ovvero Z N(0,)), ed ua ad r gradi di libertà La variabile aleatoria : T Z r r r è ua distribuzioe T di studet ad r gradi di libertà. Metodi Statistici per l Aalisi dei Dati statistica 6

27 VA derivate dalla Gaussiaa Distribuzioe T di studet Espressioe aalitica della T di studet f r y r - y r rr y r Proprietà: Dipede da u solo parametro il umero itero r Media: m, r 0 r r - t Variaza: s r t, r VA derivate dalla Gaussiaa Distribuzioe T di studet I figura soo mostrate le fuzioi desità per,3,6 gradi di libertà. f Y (y) Distribuzioe Stadard William Gosset creatore della T di studet y La T è simmetrica rispetto a y0 Per r + la T di studet tede ad ua gaussiaa di tipo stadard. Metodi Statistici per l Aalisi dei Dati statistica 7

28 Variabile aleatoria di tipo t di studet Esempio Esempio di VA che segue la distribuzioe di tipo t di studet: Siao y, y,, y u campioe di dati geerati da ua VA di tipo Gaussiao N(m,s ). Allora, la quatità: t y - m S Segue ua distribuzioe di tipo t di studet a (-) g.d.l. VA derivate dalla Gaussiaa La distribuzioe F di Fisher Siao Y e W due VA di tipo rispettivamete ad u e v gradi di libertà. Il rapporto F u u, v v u v è ua VA di tipo F di Fisher ad (u,v) gradi di libertà. La VA ha due parametri, u e v. Metodi Statistici per l Aalisi dei Dati statistica 8

29 VA derivate dalla Gaussiaa La distribuzioe F di Fisher Espressioe aalitica della F di Fisher f u v u u v v / u- y; u, v 0 y uv y u y v Media: m F v, v - v Variaza: s F u v u v- v-4 v- v 4 VA derivate dalla Gaussiaa La distribuzioe F di Fisher Grafici della F di Fisher al variare dei gradi di libertà f Y (y) (0, 4) g.d.l. (0, 0) g.d.l (0, 50) g.d.l. (0, Ifiity) g.d.l y Sir Roald Aylmer Fisher Metodi Statistici per l Aalisi dei Dati statistica 9

30 Variabile aleatoria di tipo F di Fisher Esempio Esempio di VA che segue la distribuzioe di tipo F di Fisher: Siao: y,, y,,, y, u campioe di osservazioi proveieti da ua data popolazioe y,, y,,, y, u campioe di osservazioi proveieti da ua altra popolazioe Si suppoe ioltre che la variaza s sia la stessa per etrambe le popolazioi. Allora: S S F -, - Dove S e S soo le due variaze campioarie calcolate per i due campioi Aalisi del campioe di dati co strumeti statistici Ulteriori sviluppi Modello statistico per il campioe di dati: 0, s j, y j m e j e j N,..., y i j-esima osservazioe sperimetale m Media della risposta Costate e j Variabile aleatoria ormale associata co la j-esima osservazioe 6-0 settembre 03 Metodi Statistici per l Aalisi dei Dati statistica 30

31 Aalisi del campioe di dati co strumeti statistici Ulteriori sviluppi Nei prossimi lucidi si illustrerao delle teciche utili per approfodire ulteriormete la coosceza del campioe di dati a disposizioe: Test statistici delle ipotesi Itervalli di fiducia 6-0 settembre 03 Test delle ipotesi Itroduzioe Toriamo al campioe sperimetale di prodotti alimetari dell esempio itroduttivo. Da pregressi studi sull impiato si sa che ella liea produttiva o soo graditi materiali troppo viscosi (perdite di carico, costi di esercizio etc.). Da pregresse aalisi si è stabilito u valore di soglia per la viscosità: 7.5 al di sopra del quale risulta difficile la lavorazioe del prodotto. 6-0 settembre 03 Metodi Statistici per l Aalisi dei Dati statistica 3

32 Test delle ipotesi - Defiizioe U ipotesi statistica è u assuzioe che oi facciamo sui parametri di ua distribuzioe o, equivaletemete, di u modello. L ipotesi riflette qualche cogettura sul problema i esame. Nel caso dell esempio itroduttivo, si vuole stabilire se la viscosità della crema possa essere almeo pari al valore critico oppure vi è ua differeza sigificativa rispetto al valore 7.5. Test statistici Defiizioe del problema U test statistico di u ipotesi è ua procedura i cui si coclude se è possibile o rigettare l ipotesi (cioè o si può escludere che essa sia vera) oppure rigettare l ipotesi. Si usa u campioe e si cerca di cocludere se tale campioe è compatibile o meo co l ipotesi ulla di parteza. Nell esempio preso i cosiderazioe, si vuole testare se il campioe sperimetale possa derivare da ua variabile aleatoria di media 7.5 Metodi Statistici per l Aalisi dei Dati statistica 3

33 Test delle Ipotesi - Ipotesi ulla Il test delle ipotesi richiede l itroduzioe di ua ipotesi ulla H 0 : H 0 : m m0 7.5 I alterativa è possibile che la viscosità sia realmete miore del valore di soglia. Questa ipotesi, i cotrasto co l ipotesi ulla, è l ipotesi alterativa H : H : m m0 7.5 Tutti i test delle ipotesi statistici richiedoo la formulazioe di u ipotesi ulla e di u ipotesi alterativa L ipotesi ulla e l ipotesi alterativa soo esaustive e mutuamete esclusive. Test statistici Errori che si possoo commettere ella procedura Errore di tipo I (o errore ) Probabilità di rigettare l ipotesi ulla oostate essa fosse vera P(errore di tipo I)P(rigetto H 0 H 0 è vera) è ache il livello di sigificatività del test. Errore di tipo II (o errore b) Probabilità di o rigettare l ipotesi ulla oostate essa fosse falsa bp(errore di tipo II)P(o rigetto H 0 H 0 è falsa) Metodi Statistici per l Aalisi dei Dati statistica 33

34 Test statistici Sviluppo della procedura Parte della procedura cosiste el calcolo dell isieme di valori che portao al rigetto di H 0. Tale isieme di valori prede il ome di regioe critica o regioe di rigetto del test. Test statistici Caso variaza s ota Ricetta /4 N.B. Tale evetualità o è solo di iteresse didattico: l icertezza presete elle misure sperimetali può essere ota a priori, per esempio da pregresse misure. Per l esempio si assume s. Scegliere u livello di sigificatività del test (i geere 0.05). Calcolare il valore critico z tale che: P Z z Nel caso i esame, per 0.05 si può leggere dalle tabelle z Metodi Statistici per l Aalisi dei Dati statistica 34

35 Test statistici Esempio: Caso variaza ota Ricetta /4 Distribuzioe ormale di tipo stadard co l evidezia delle regioi critiche area0.05 z Regioe di rigetto Regioe di o rigetto Test statistici Esempio: Caso variaza ota Ricetta 3/4 Calcolare Dove: y è la media campioaria s è la stima dell errore sperimetale è la dimesioe del campioe z 0 y - m s 0 Metodi Statistici per l Aalisi dei Dati statistica 35

36 Test statistici Esempio: Caso variaza ota Ricetta 3/4 Si cofrota il valore di z 0 osservato co il valore critico z z 0 o rigettiamo l ipotesi ulla H 0 : o si hao evideze sperimetali tali da affermare che la media sia sigificativamete miore del valore di riferimeto z a z 0 z Si rigetta l ipotesi ulla: la media è sigificativamete miore di m 0. Il «rischio» di affermare la coclusioe sbagliata è pari al livello di sigificatività del test Test delle Ipotesi sulla media - Teoria Caso variaza s ota Se l ipotesi ulla H : m m 0 0 fosse vera, la variabile aleatoria media campioaria Y si comporterebbe come ua distribuzioe gaussiaa di media m 0 e variaza s / Y s Y Nm0, i Metodi Statistici per l Aalisi dei Dati statistica 36

37 Test delle Ipotesi sulla media - Teoria Pertato, se H 0 fosse vera, la variabile aleatoria Y - m Z s sarebbe ua distribuzioe ormale di tipo stadard e il valore osservato z 0 sarebbe u esito che rispetta tale VA. 0 Test delle Ipotesi sulla media - Teoria Al di sopra di z è poco plausibile che la variabile aleatoria Z assuma valori area0.05 z Regioe di rigetto Regioe di o rigetto Metodi Statistici per l Aalisi dei Dati statistica 37

38 Test delle ipotesi sulla media - Esempio Si cosideri di uovo l esempio. Il test delle ipotesi è sul valore medio: H H 0 : : m m m m 0 0 Co u livello di sigificatività a 5 % Test delle ipotesi sulla media - Esempio Si valuta iazitutto il valore z tale che P(Z<z )0.05. P Z z z Se l ipotesi ulla fosse vera, il risultato y - m z s sarebbe u valore osservato di ua variabile aleatoria ormale di tipo stadard. Metodi Statistici per l Aalisi dei Dati statistica 38

39 Test delle ipotesi sulla media - Esempio z z Regioe di rigetto Regioe di o rigetto Il valore osservato z 0 rietra ella regioe i cui la variabile aleatoria ha poche probabilità di cadere C è u 5% di probabilità che il valore osservato appartega alla VA supposta ell ipotesi ulla H 0 e sia comuque rigettata Test statistici Uso del p-value Approccio alterativo a quello classico dell idividuazioe delle zoe di rigetto. Il p-value rappreseta la probabilità che la statistica test stimata assuma u valore almeo uguale al valore osservato della statistica el caso i cui l'ipotesi ulla fosse vera. 0.4 Nel caso dell esempio: p - value P Z z z z Metodi Statistici per l Aalisi dei Dati statistica 39

40 Test statistici Uso del p-value Pro Iformazioe più quatitativa Cotro: Necessita di calcolatori co programmi specifici (o comuque competeze di programmazioe avazata) Test delle Ipotesi - Ipotesi alterative /4 Nel problema i esame si assume che il ostro campioe di dati sperimetali sia caratterizzato da ua variabile aleatoria che abbia ua fuzioe desità di probabilità che coivolge u parametro igoto q e si assume l ipotesi ulla che H 0 : θ θ 0 L ipotesi alterativa era: H : q q 0 Ma o è l uica alterativa che possiamo cosiderare. Metodi Statistici per l Aalisi dei Dati statistica 40

41 Test delle Ipotesi - Ipotesi alterative /4 I altri casi la atura può suggerire altri tipi di alterative: H : q q 0 Oppure H : q q 0 Le prime alterative si chiamao oe-sided. L ultima twosided Test delle Ipotesi Ipotesi alterative 3/4 Nel caso di ipotesi alterativa H : q q 0 Si deve determiare il valore critico z tale che tutti i valori superiori ad esso abbiao ua probabilità di verificarsi pari a Dobbiamo escludere i valori per cui la distribuzioe gaussiaa stadard assume valori tali che P Z z Regioe di o rigetto z Regioe di rigetto Metodi Statistici per l Aalisi dei Dati statistica 4

42 Test delle Ipotesi Ipotesi alterative 4/4 Nel caso di ipotesi alterativa H : q q 0 Ricordiamo che è ua ipotesi alterativa «twosided» Si deve determiare il valore critico z tale che / z.95 / P Z z Regioe di rigetto Regioe di o rigetto Regioe di rigetto 4-8 settembre 05 Test delle ipotesi sulla media - Variaza igota Nel caso i cui o fosse ota la variaza s o è possibile sfruttare la statistica per determiare i valori critici dei test statistici z Y - m s 0 È possibile ricorrere alla stima S della variaza campioaria y - - S i i y Se l ipotesi ulla fosse vera, allora la variabile aleatoria Y - m t 0 S Sarebbe ua distribuzioe t di studet ad (-) gdl. Metodi Statistici per l Aalisi dei Dati statistica 4

43 Test delle ipotesi sulla media Variaza igota Ricetta Fissare u livello di sigificatività del test (es: a 5%) Calcolare il valore ta per cui: dove t è la distribuzioe di studet ad r- gradi di libertà. Calcolare S: Calcolare P t0 < ta: rigettare H0 t0 > ta: o rigettare H0. t t y - - y - m0 t0 S S i i y Test delle ipotesi sulla media Variaza igota Esercizio Ritoriamo al campioe i esame Si fissa u livello di sigificatività 0.05 per il test Dalle tabelle si determia il valore t : P t t.05 t , 9 - Si calcola il valore stimato per la variaza: S - y i i y Da cui è possibile calcolare la statistica t 0 : t y - m S settembre 05 Metodi Statistici per l Aalisi dei Dati statistica 43

44 Test delle ipotesi sulla media Variaza igota Esercizio Quidi t0 t,9 Si rigetta l ipotesi ulla. Alterativamete, è possibile calcolare il p-value t t P r 0 Da otare come il p-value sia più elevato rispetto a quello stimato el caso della variaza ota La macaza di iformazioi sul processo si riflette i delle coclusioi più icerte. 4-8 settembre 05 Test delle ipotesi sulla media Altre ipotesi alterative Nel caso di ipotesi alterativa H : m m 0 Si deve determiare il valore critico t tale che tutti i valori superiori ad esso abbiao ua probabilità di verificarsi pari a Dobbiamo escludere i valori per cui la t di studet assuma valori tali che t t r gdl P r Regioe di o rigetto t Regioe di rigetto Metodi Statistici per l Aalisi dei Dati statistica 44

45 Test delle ipotesi sulla media Altre ipotesi alterative Nel caso di ipotesi alterativa «two sided» H : m m 0 Si deve determiare il valore critico z per cui / t.6 /0.05 P T t r, 3 3 t t r gdl P r 9 Regioe di rigetto Regioe di o rigetto Regioe di rigetto Itervalli di fiducia - Itroduzioe Nell esamiare u campioe di dati sperimetali, si può essere iteressati ad u iformazioe più qualitativa di ua semplice stima putuale di parametri. Ad esempio, si può essere iteressati a determiare u itervallo di valori i cui è molto probabile cada il valore vero del parametro. Tale tipo di ifereza prede il ome di ifereza di itervallo e il risultato della procedura è u itervallo di fiducia (ache deomiato itervallo di cofideza) Per esempio, si può essere iteressati ad u itervallo di fiducia per la media m della viscosità. Metodi Statistici per l Aalisi dei Dati statistica 45

46 Itervalli di fiducia Procedura Si suppoe che q sia il parametro icogito da stimare Si sceglie ua probabilità vicia a (i geere 0.95). Tale probabilità prede il ome di livello di fiducia. I seguito si determiao due quatità L e U tali che P L q U L itervallo di estremi L e U prede il ome di itervallo di fiducia e si idica co il simbolo: CONF L q U Itervalli di fiducia della Media Caso variaza o ota. Determiazioe itervallo di fiducia:. Scegliere u livello di fiducia -. Ricavare (per esempio da tabelle) il valore t / tale che: P t T - - r t essedo T r la T di studet a r- gdl 3. Calcolare media e variaza del campioe dei dati sperimetali. 3. L itervallo di fiducia per la media sarà: CONF y S - t / m y t / S Metodi Statistici per l Aalisi dei Dati statistica 46

47 Itervalli di fiducia della Media el caso di variaza o ota. La variabile aleatoria: Z Y - m s È ua variabile ormale di tipo stadard Si può ulteriormete dimostrare che la variabile aleatoria: S W Y -Y - s s i i È ua variabile aleatoria a - gradi di libertà - Itervalli di fiducia della Media el caso di variaza o ota. I coclusioe la variabile aleatoria: T Z W / Y - Y i -Y s - m s - Y - m S È ua variabile aleatoria di tipo t di studet ad - gradi di libertà Metodi Statistici per l Aalisi dei Dati statistica 47

48 Itervalli di fiducia della Media el caso di variaza o ota. Dalla defiizioe di probabilità è possibile ricavare la relazioe: y - m P- t / Tr t / P- t / t / S da cui co qualche passaggio è possibile ricavare l itervallo di fiducia desiderato: P y - t / S m y t / S CONF y - t / S m y t / S L q U 4-8 settembre 05 Itervalli di fiducia della Media Esercizio Determiazioe itervallo di fiducia:. Si sceglie u livello di fiducia 95%. Ricavare il valore t / tale che: P t T t % t. 6 - r 95 / essedo T r la T di studet a r9 gdl 3. Calcolare media e variaza del campioe dei dati sperimetali. y 7.69, S L itervallo di fiducia per la media sarà: CONF m m settembre 05 Metodi Statistici per l Aalisi dei Dati statistica 48

49 Itervalli di fiducia della Media Esercizio Da otare che ell itervallo di fiducia calcolato o ricade il valore 7.5, cofermado che tale valore è molto improbabile per la media della popolazioe. I geerale, si deve ricordare che, per le proprietà di simmetria della t di studet: P T -t PT t r r Il valore di ta/ può essere calcolato ache dalla relazioe: P T t r 4-8 settembre 05 Diagramma i scala probabilistica Da otare che il modello statistico preso i cosiderazioe parte dall assuzioe che i dati sperimetali seguao ua distribuzioe di tipo Gaussiao. Tale assuzioe può essere verificata costruedo u diagramma i scala probabilistica. La procedura è abbastaza semplice e cosiste i u aalisi di tipo grafico. Per costruire il diagramma si deve: ordiare i dati dal più piccolo al più grade le osservazioi così ordiate soo rappresetate rispetto la loro frequeza cumulativa osservata la scala i ordiata o è lieare ma è tale che, se i dati rispettassero ua dispersioe di tipo Gaussiao, essi si disporrebbero approssimativamete lugo ua retta 4-8 settembre 05 Metodi Statistici per l Aalisi dei Dati statistica 49

50 Diagramma i scala probabilistica Probability Esempio dati crema Normal Probability Plot Viscosità [cp] I liea di pricipio, è possibile implemetare il metodo a mao, ma risulta molto pesate. La maggior parte dei software di uso comue supportao la rappresetazioe su carta probabilistica. 6-0 settembre 03 Coclusioi Cocetti importati Esperimeto come esito di ua variabile aleatoria VA di tipo Gaussiao Campaga sperimetale esito di ua variabile aleatoria VA di tipo studet (o, i casi fortuati, di tipo Gaussiao) Co gli strumeti della statistica è possibile iferire coclusioi rigorose sul processo. Soo stati itrodotti i cocetti (verrao ampiamete ripresi el seguito): Test statistici Itervalli di fiducia Diagrammi i scala probabilistica 6-0 settembre 03 Metodi Statistici per l Aalisi dei Dati statistica 50