Statistica I, Laurea triennale in Ing. Gestionale, a.a /11 Registro delle lezioni

Transcript

1 Statistica I, Laurea trieale i Ig. Gestioale, a.a. 0010/11 Registro delle lezioi Lezioe 1 (7/10). Itroduzioe al corso; materiale e comuicazioi alla pag. di F. Fladoli: Si osserva che ci soo tre corsi a carattere statistico el percorso di Gestioale a Pisa, ovvero Statistica I alla trieale, Statistica II alla magistrale, Statistica Applicata (Prof. Lazetta) tra i facoltativi della trieale, corsi coordiati ta loro. La statistica si può grosso modo dividere i Statistica descrittiva da u lato, e Statistica basata sul Calcolo delle Probabilità dall altro. Il capitolo del Ross è dedicato al primo argometo. Verrà trattato separatamete. Gli altri capitoli putao alla Statistica basata sul Calcolo delle Probabilità. Si iizia lo studio del capitolo 3, sui fodameti del calcolo delle probabilità. Vegoo date le de izioi di uiverso, eveti, eveti elemetari o esiti, vegoo discusse le operazioi (uioe, itersezioe e complemetare) su eveti e viee poi de ita la probabilità (iterpretata ituitivamete col cocetto di massa). Vegoo illustrazioe alcue regole regole, su P (A c ) e P (A [ B) ache el caso o disgiuto (iterpretate tramite l idea di massa; la prima ache dimostrata). Soo poi descritti gli spazi a esiti equiprobabili, la regola per calcolare P (A) (rapporto tra casi favorevoli e casi possibili) e viee così calcolata la probabilità che esca almeo u 6 el lacio di due dadi. Lezioe (30/10). Pricipio di eumerazioe (ache geeralizzato) ed esempio Permutazioi ed esempi Disposizioi e combiazioi, illustrate col problema di creare sequeze oppure gruppi di lettere (diverse) di u alfabeto: le sequeze ordiate di k lettere diverse prese da u alfabeto di lettere, soo le disposizioi di oggetti i k posti, ( 1) ::: ( k + 1); ivece i gruppi (o ordiati) di k lettere diverse prese da u alfabeto di lettere, soo le combiazioi di oggetti i k posti, k = ( 1):::( k+1) (le prime di eriscoo per l ordiameto). Combiazioi e k! strighe di 0/1: il umero di strighe lughe co k ui è k ; ricooscimeto dell equivaleza tra i due problemi (gruppi di lettere e strighe). Esempio (detta distribuzioe ipergeometrica). Probabilità codizioata, iterpretazioe gra ca. Formula di fattorizzazioe (probabilità totali) ed esempio Formula di Bayes ed esempio

2 Viee iterpretata la formula delle probabilità totali tramite u albero di eveti. Si tratta di calcolare probabilità lugo i percorsi e sommarle. Esercizi per casa su fattorizzazioe e Bayes: es. 10 (H) del 8/05/010; es. 1 del 0/07/010; es. 1.i del 9/06/010. Si cosiglia ache la lettura degli esempi 3.5.3, 3.7.4, Lezioe 3 (3/11). Vedere la registrazioe di Barsati. Itroduzioe alla statistica, statistica descrittiva. Frequeza assoluta e relativa. Modi di rappresetare gra camete i dati. Aggregazioe di dati i classi. Campioe, media campioaria e sue proprietà. Media pesata. Mediaa e moda. Lezioe 4 (6/11). La formula di Bayes risolve il problema di trovare la causa più probabile, osservato l e etto (metre il cocetto di probabilità codizioale parla della probabilità dell e etto data la causa). Se l e etto A può essere causato da B 1 o B, si vuole capire chi è maggiore tra P (B 1 ja) e P (B ja). Siccome il deomiatore (ella formula di Bayes) è lo stesso, basta cofrotare P (AjB 1 ) P (B 1 ) co P (AjB ) P (B ). Nel caso di cause equiprobabili, si cofrota P (AjB 1 ) co P (AjB ) (ituitivo). E quato avviee ei caali co rumore, quado il ricevete deve decidere il messaggio iviato (se B 1 o B ), sulla base della ricezioe di u messaggio corrotto A. Viee iterpretato, co l albero di eveti, il problema della scelta della causa più probabile. Si tratta di calcolare probabilità lugo percorsi e cofrotarle. Formule di fattorizzazioe e di Bayes i geerale. Esercizio: i u sistema di lettura automatica dei testi scritti a mao, le lettere ed u soo facili da cofodere. I ua certa ligua, la compare co frequeza 1/15, metre la u co frequeza 1/5. Se la lettera è davvero, il sistema legge il 90% delle volte. Se la lettera è u, il sistema la legge il 0% delle volte. Se la lettera è diversa sia da sia da u, il sistema la legge il % delle volte. Se il sistema legge, co che probabilità ha sbagliato? Soluzioe: 0:30. Per casa: a titolo di esercizio, risolvere i problemi esposti egli esempi e Idipedeza tra eveti. Esempio Variabili aleatorie (esempi). V.a. discrete e cotiue, desità discreta (fuzioe massa di probabilità) e desità cotiua. Lezioe 5 (10/11). Vedere la registrazioe di Barsati. Variaza e deviazioe stadard campioaria co esempi e teciche per abbreviare il calcolo. Percetili campioari e quatili. Box plot.

3 Formula di Chebyshev co dimostrazioe ed esempi di applicazioi. Campioi ormali, asimmetrici, bimodali. Lezioe 6 (13/11). Capitolo 4, paragra 1 e. Variabili aleatorie discrete e cotiue. Desità discreta, p (k) = P (X = k), sue proprietà, P (X A) = P ka p (k). Desità cotiua f (x), sue proprietà, P (X A) = R A f (x) dx. I umeri P (X = a) determiao tutto el caso discreto, valgoo 0 el caso cotiuo. Gra ci ei due casi. Fuzioe di distribuzioe cumulativa (F (t) = P (X t)). Capitolo 5, paragrafo 1. V.a. di Beroulli e biomiale. Gra ci. Ammissibilità delle formula biomiale (ovvero veri ca che soo umeri o egativi a somma 1). Teorema: la somma S = X 1 +:::+X di Beroulli idipedeti di parametro p è ua B (; p). Dimostrazioe. Iterpretazioe di S come umero di successi i prove. Esempio: umero di corretisti di ua baca che prelevao (ipotesi sempli cate). Calcolo di u umero k tale che P (S > k) = 0:99 (impostato teoricamete). Esercizi per casa: risolvere i problemi euciati agli esempi 5.1.1, puto (a). Lezioe 7 (17/11). Soluzioe di alcui esercizi assegati per casa elle lezioi scorse. Lezioe 8 (0/11). Valori medi e loro proprietà. Valor medio (atteso) di ua v.a. discreta, valor medio di ua v.a. cotiua. Somigliaza co la media empirica di u campioe: detti a k i valori della v.a. X e p (a k ) le loro probabilità, la def. di media è E [X] = P a k p (a k ), metre vale x = x 1 + ::: + x = X a k bp k dove bp k è la frequeza relativa empirica co cui si osserva a k el campioe. Iterpretazioe gra ca. Calcolo di E [X] i alcui esempi, icluse Beroulli e uiforme su [0; 1]. Valor medio di ua trasformazioe di v.a., E [g (X)], esempi. Caso particolare: mometi e variaza. Deviazioe stadard, iterpretazioe gra ca; misura di icertezza. Calcolo della variaza per le Beroulli. Proprietà del valor medio e della variaza: E [ax + by + c] = ae [X] + be [Y ] + c V ar [ax + c] = a V ar [X] 3

4 e, se X ed Y soo idipedeti, V ar [X + Y ] = V ar [X] + V ar [Y ] : Applicazioe al calcolo di media e variaza delle biomiali, attraverso il teorema della lezioe 6. Esempio gra co di e per ua B (; p) co elevato e p piccolo, co applicazioe al dimesioameto di u magazzio, relativamete a prodotti acquistati di rado, pur i preseza di moltissimi poteziali clieti. Lezioe del 4/11: o teuta per occupazioe aule polo F. Lezioe 9 (7/11). Fuzioe geeratrice dei mometi, def. geerale e formule el caso discreto e cotiuo. Legame coi mometi. Teorema sulla geeratrice della somma di v.a. idipedeti. Esempi: Beroulli e biomiale. V.a. di Poisso: de izioe, veri ca della somma pari ad 1, calcolo della geeratrice e da essa di media e variaza. Teorema degli eveti rari (covergeza della biomiale alla Poisso) co dimostrazioe. Veri ca o rigorosa delle formule per la geeratrice, la media e la variaza, usado questa covergeza. Gra co tipico di ua Poisso. Importaza applicativa della Poisso: dipede da u solo parametro, pari al valor medio e quidi approssimabile sperimetalmete i modo facile, a di ereza delle biomiali; facile quidi da usare i applicazioi come i sistemi di servizio (magazzii ecc.) co molti uteti poteziali, ciascuo co bassa probabilità dichiedere il servizio. V.a. espoeziali: de izioe, veri ca dell area pari ad 1, calcolo della geeratrice e da essa di media e variaza. Nota: =, elevata aleatorietà rispetto a biomiali e Poisso (dove = p ). Iterpretazioe gra ca di e per le espoeziali (casi grade e piccolo). Lezioe 10 (1/1). Vedere la registrazioe di Barsati. Variabili aleatorie Gaussiae e loro fuzioe geeratrice. Media e variaza di ua variabile Gaussiaa. Trasformazioe lieare di ua variabile Gaussiaa e stadardizzazioe. Esercizi su v.a. Gaussiae. Riproducibilita delle v.a. Gaussiae co esempio. Lezioe 11 (4/1). Capitolo 6. Cocetto di campioe X 1 ; :::; X. Media X e variaza campioaria S (come variabili aleatorie). Stimatori corretti, veri ca che la media campioaria è uo stimatore corretto di. Euciato del fatto che P la variaza campioaria è uo stimatore corretto di e del fatto che 1 i=1 (X i ) è uo stimatore corretto di ; deduzioe della formula E h 1 correttamete ). P i=1 X i X i = 1 (cioè 1 P i=1 X i X o stima 4

5 Calcolo di V ar X (= ), gra co idicativo della desità di X, idicazioe della sua viciaza a. Esercizi dai compiti d esame. Osservazioi sulla proprietà di autoriproduzioe: i) le gaussiae soo autoriproduceti, el seso più ampio possibile (lezioe precedete: se X ed Y soo gaussiae idipedeti, allora ax+by +c è gaussiaa); ii) le biomilai lo soo i u seso u po ristretto: la somma di ua B (; p) più ua B (k; p) idipedeti è B ( + k; p) (si veri ca col teorema di legame tra biomiali e Beroulli); iii) per le Poisso, vale che la somma di ua P () più ua P () idipedeti è P ( + ) (veri cato co le fuzioi geeratrici, come per le gaussiae). Lezioe 1 (11/1). Stadardizzazioe di ua v.a. e della somma S = X 1 + ::: + X di u campioe. Proprietà el caso gaussiao. Teorema limite cetrale e sua applicazioe egli esercizi. Esercizi dai compiti d esame. Distribuzioe della media campioaria: esatta el caso di variabili gaussiae, approssimata el caso geerale. Dimostrazioe del fatto che S è uo stimatore corretto (E [S ] = ). No è stato svolto il collegameto co chi quadro e t di Studet. Esercizi suggeriti per il compitio: tutti quelli svolti a lezioe/esercitazioe; 8/05/010: domade,3,4,6,7 (alcue domade, come la 7 di questo esercizio, richiedoo la lezioe dell 11); 8/06/010: es. 1.iii, es. tutto; 9/06/010: es. 1 tutto, es..ii; 0/07/010: es. 1, i, ii, iii, iv, vi, vii; 14/09/010: es 1 tutto, es..ii. Facoltativamete si possoo ache predere esercizi dai compiti degli ai acora precedeti, selezioado quelli simili (operazioe molto utile per lo studete). Lezioe 13 (15/1). Vedere la registrazioe di Barsati. Stima putuale usado il pricipio di massima verosimigliaza. Esempi: stima del parametro della legge espoeziale e stima dei parametri della legge gaussiaa. Stima di itervalli. De izioe di co deza e itervallo di co deza. Stima di itervalli di co deza bilaterali e uilaterali per la media di ua v.a. gaussiaa di cui è supposta ota la sigma. Lezioe 14 (18/1). A causa delle umerose asseze, la lezioe viee riportata qui itegralmete. Preseta u problema pratico di stima (che verrà proseguito elle prossime lezioi). 5

6 U azieda che e ettua iterveti e riparazioi vuole stimare due gradezze, per poter dimesioare l orgaico ed orgaizzare i turi di lavoro. La prima gradezza è il umero medio di ore di lavoro i azieda, gioraliere, ecessarie per e ettuare tutti i lavori richiesti. La secoda è la probabilità p di dover e ettuare iterveti esteri. Idichiamo co N il umero di ore di lavoro itere, co X ua v.a. di Beroulli che vale 1 se c è da e ettuare u lavoro estero (etrambe le variabili soo riferite ad ua giorata, geerica). L azieda si poe le segueti domade: i) come stimare e p? ii) Che errore potremmo aver commesso i tale stima? iii) Quate osservazioi servoo per fare tali stime? Suppoedo di avere a che fare co u azieda di media gradezza, i cui i valori di N siao di varie decie e o di pochissime uità, decidiamo di trattare N come ua v.a. cotiua e per semplicità gaussiaa. Ivece X è itrisecamete Beroulli. Dobbiamo stimare i etrambi i casi il valor medio: = E [N] ; p = E [X] : La risposta alla domada (i) i u certo seso è ovvia: si devoo e ettuare rilevazioi gioraliere delle due gradezze, chiamiamole N 1 ; :::; N e X 1 ; :::; X (ache umerosità diverse per i due problemi) e poi calcolare gli stimatori b = N 1 + ::: + N ; bp = X 1 + ::: + X : Detto questo però sorgoo tate domade, apputo ad esempio le domade (ii) ed (iii), circa la botà di queste stime. Avedo ipotizzato che N è gaussiaa, vale = b q 1 p co co deza 1. Ad esempio, = b 1:96 p al 95%. Questo sigi ca che, al 95%, il massimo errore possibile è 1:96 p. (I particolare, o c è u errore massimo possibile certo, ma sempre a meo di ua piccola probabilità; c è sempre ua piccola probabilità che l errore sia acora più grosso). Questo o sigi ca che l errore sarà pari a 1:96 p, al 95%: al massimo sarà 1:96 p. 6

7 Ma se riduciamo la co deza, esso è miore: al 90%: all 80%: al 70%: al 60%: 1:64 p 1:8 p 1:04 p 0:84 p e così via. L idea si vede bee gra camete tracciado la desità gaussiaa di N 1+:::+N ed osservado come varia l itervallo attoro a quado si varia l area soprastate. Quidi è molto probabile che l errore sia molto più piccolo di 1:96 p, ad esempio sia la metà. Il umero 1:96 p forisce l ordie di gradezza. Veiamo ora all aspetto pratico: suppoiamo di aver fatto = 5 osservazioi ed aver trovato b = 6:8. Che possiamo dire, ad esempio al 95%? Che = 6:8 1:96 = 6:8 0:39 : 5 Ma quato vale? Nessuo ce lo può dire. La cosa più aturale, avedo a disposizioe il campioe di umerosità = 5, è calcolare S. Suppoiamo di farlo ed aver trovato S = 18:3. Allora, approssimativamete (S o è ), possiamo a ermare che al 95% = 6:8 0:39 18:3 = 6:8 7: 14: I altre parole, al 95%, il valore icogito è compreso tra 55: 66 e 69: 94. Ma, come detto sopra, molto probabilmete è abbastaza più vicio a 6:8. Ad esempio, al 60%, vale circa = 6:8 3: 5 cioè è compreso tra 59: 3 e 66: 3. la sostituzioe di co S ha itrodotto u approssimazioe. U teorema dice che i risultato (cioè l ampiezza dell itervallo di co deza) tora ad essere u risultato esatto se, oltre a sostituire co S, si sostituisce il quatile gaussiao stadard q 1 libertà: co il quatile della t di Studet a 1 gradi di = b t( 1) 1 p : 7

8 Nel ostro esempio, usado le tavole, vale t (4) 1 0:05 = 6:8 18:3 :064 5 = :064 e quidi = 6:8 7: 55: Il risultato è u po peggiore di quello approssimato precedete, ma è sicuro. La di ereza o è però marcatissima. La domada (ii) ha però ua variate fodametale: che si parli di errore relativo ivece che assoluto. L errore assoluto è jb j metre l errore relativo è b : Allora l errore relativo massimo possibile co co deza 1 b = q 1 p : jj Nel ostro esempio, al 95%, usado ad esempio per semplicità i quatili guassiai b 18:3 1:96 7: 17 = = 5 jj jj : aturalmete essuo ci può dare, visto che è la quatità da stimare. Quidi approssimativamete sostiuiamola co b che è ota: b 7: 17 6:8 = 0:114: I sostaza, si commette u errore relativo di u decimo (decete per scopi di commercio o troppo spiti). Ovviamete se si vuole usare la t di Studet, viee lievemete più grade (provare). Sempre relativamete a N, veiamo alla domada (iii). Il umero di osservazioi da fare o può essere ua gradezza assoluta, idipedete da requisiti. Dipede dalla precisioe che vogliamo otteere e dalla co deza che scegliamo (il rischio che accettiamo di correre). Lezioe 15 (/1). (Proseguimeto dell esercizio sulla stima iiziato la volta precedete.) Sempre relativamete alla v.a. N della lezioe precedete, veiamo alla domada (iii). Essa è u esempio di DOE (Desig Of Experimets). Il umero di osservazioi da fare o può essere ua gradezza assoluta, idipedete da requisiti. Dipede dalla precisioe che vogliamo otteere e 8 è

9 dalla co deza che scegliamo (il rischio che accettiamo di correre; rischio di fare ua dichiarazioe falsa circa l itervallo i cui cade la media). Suppoiamo di correre u rischio del 5%, predere cioè co deza 95% e suppoiamo di volere u errore (massimo) pari a 5, erroe assoluto. Uguagliado l errore massimo a 5 abbiamo 1:96 p = 5, ovvero 1:96 = = 0:154 : 5 Co l uguagliaza si itede i realtà il primo itero 0:154 (ifatti per essere più precisi adrebbe impostata dall iizio la disuguagliaza 1:96 p 5). Resta il grave problema di cooscere : se o abbiamo acora fatto rilevazioi, se o abbiamo dati, è icogita. No ci soo scappatoie geerali: o si coosce u valore approssimato di sulla base di dati precedeti, oppure si deve ipotizzare l ordie di gradezza di, approssimado ovviamete per eccesso. Seza o si può stabilire i aticipo. Se o si hao dati precedeti o capacità di stima dell ordie di gradezza, bisoga iiziare i campioameti, raccogliere u po di dati e co essi stimare. Questi primi dati cocorrerao comuque alla stima ale di. Suppoiamo di aver raccolto ua decia di dati prelimiari, dai quali esca la stima Allora troviamo S = 0:4 = 0:154 0:4 = 64: 089: Servoo circa 65 osservazioi. I realtà, dopo u po di ulteriori osservazioi coviee ri-stimare per redere più accurata la previsioe del umero di osservazioi da fare. Se volevamo ivece l errore relativo (massimo) assegato, es. 10%, dovevamo imporre 1:96 p jj = 0:1 ovvero = 1:96 = 384: 16 : 0:1 jj jj Qui servoo addirittura ua stima prelimiare di e. Si agisce come sopra. Suppoiamo che dopo alcue osservazioi prelimiari abbiamo trovato 9

10 x = 60:5, S = 0:4. Allora = 384: 16 0:4 = 43: 678: 60:5 Questi esempi umerici hao il solo scopo di vedere le cose o i fodo e vedere la ragioevolezza del risultato. Si oti comuque che questi calcoli producoo valori piuttosto alti di. I certe applicazioi pratiche, molte decie di osservazioi soo davvero costose. C è u rimedio? Ricordiamo quato appreso sopra circa l itervallo di co deza: esso esprime il risultato più pessimistico. Co buoa probabilità, l itervallo al 95% è pessimistico, la stima è molto migliore, come evidezia l itervallo al 60%, ad esempio. Se accettassimo u rischio molto alto, 40%, i calcoli precedeti darebbero: 60% assoluto = 0:84 5 = 0:08 S=0:4 = 0:08 0:4 = 11: 65: Naturalmete o possiamo esporci ad u tale rischio, ma questo calcolo ci dice che il 60% delle volte accadrebbe che 1 osservazioi soo su cieti, ivece che 65. Similmete, accettado u rischio del 0%, 80% assoluto = 1:8 5 = 0:065 S=0:4 = 0:065 0:4 = 7: 05: Isomma, co elevata probabilità, bastao molte meo osservazioi. Che fare? Ovviamete si può decidere di fare poche osservazioi (es. solo 0-30) e sperare che le cose siao adate bee. Si può però tracciare u gra co della stima della media b al crescere del umero di prove. Nel seso: dopo aver eseguito osservazioi, calcoliamo b ed aggiugiamolo al gra co precedetemete fatto dei valori di b i fuzioe del umero di prove. Al crescere di questo gra co tederà ad assestarsi attoro all asitoto orizzotale (asitoto però scoosciuto!). Quado vediamo il gra co divetare su cietemete orizzotale, abbiamo u forte sitomo che siamo già arrivati a covergeza, come si suol dire. No c è la certezza assoluta, ma è molto di cile che u tale gra co si assesti e poi ripreda a muoversi. Bee, el 60% dei casi, si assesta molto presto, ell 80%, poco oltre, e così via. Solo i rari casi ecessita davvero di valori di itoro a 65 per assestarsi; è solo il caso più pessimistico, che però è garatito al 95%. A priori, o possiamo sapere 10

11 se ci capiterà questo caso o quelli più fortuati. Bisoga eseguire le prove sequezialmete e sperare. Quato qui espresso è ua versioe pratica della cosidetta Sequetial Aalysis. Ripetiamo ora alcui dei passi precedeti per il problema della stima della proporzioe p, altro problema classico e ricorrete. Lo stimatore è bp, ma ora o vale più la teoria gaussiaa dell itervallo di co deza. Tuttavia, i modo approssimato essa è acora vera: vale p = bp q 1 p ; = V ar [X] = p (1 p) co co deza approssimativamete pari 1. Ciò che è approssimata è la probabilità che p stia ell itervallo suddetto, o l itervallo i sé. Tutto deriva dal teorema limite cetrale, i quato P jbp pj q 1 X p 1 + ::: + X = P p q 1 p X 1 + ::: + X p = P p q 1 1 dove l ultima approssimazioe è forita apputo dal TLC. Facciamo u esempio pratico: suppoiamo di aver fatto = 5 osservazioi ed aver trovato bp = 0:1. Che possiamo dire, ad esempio al 95%? Che co probabilità circa uguale a questa, vale p = 0:1 0:39 u po come el caso gaussiao. Resta il problema di cooscere. Qui però c è u elemeto i più, molto particolare: = p (1 p). Il parametro è legato alla quatità p che stiamo cercado di stimare. Ua prima coclusioe quidi è che valga, approssimativamete p bp (1 bp)q1 p = bp p : Nel ostro esempio, p = 0:1 0:39 p 0:1 (1 0:1) = 0:1 0:16: Vale cioè 0:05 p 0:37: 11

12 No è u risultato eccellete, i seso relativo. Naturalmete, è abbastaza probabile che l itervallo sia più piccolo, come abbiamo visto el caso gaussiao: ad esempio, all 80% vale p = 0:1 1:8 5 p 0:1 (1 0:1) = 0:1 0:104: cioè p è compreso tra 0:1 e 0:3. Parlado a braccio, la frequeza co cui il egozio deve madare operatori fuori sede si aggira tra 1/10 e 3/10. Se questa vaghezza di iformazioe è su ciete, basta così, altrimeti bisoga campioare di più. L errore relativo i astratto è bp p p p p (1 p)q1 p p = q 1 ed approssimado le espressioi sulla destra diveta q 1 bp bp p q p bp 1 p i questo esempio è (approssimativamete al 95%) q 1 0:1 bp p 1:96 p 0:1 = 0:76: 5 p p q 1 p Per certe applicazioi è davvero troppo grosso, per altre può ache essere accettabile. Si deve otare che è veuto così grosso perche bp è piccolo: se si stima ua proporzioe piccola, la tedeza è di commettere u errore relativo grosso. Se ivece bp fosse stato grade, q 1 bp bp era piccolo e avrebbe cotribuito a dimiuire l errore relativo. Spesso elle applicazioi si cerca di stimare ua proporzioe piccola al solo scopo di sapere che è piccola, o di cooscere co precisioe il valore. Sapere che è 0.05 o 0.1 o 0.15 o cambia le ostre azioi successive, ache se questi umeri di eriscoo di tatissimo i seso relativo. Di eriscoo poco i seso assoluto. Allora, i problemi di questo geere, basta chiedere che l errore assoluto sia piccolo. L errore relativo o serve. I sitesi, i 1

13 problemi i cui basta scoprire che p è piccolo basta desiderare che l errore assoluto sia piccolo; e quidi i difetti suddetti dell errore relativo per bp piccolo divetao iesseziali. I quest ottica, immagiiamo di voler stimare p co precisioe assoluta 0.1 (se bp è piccolo, ci basta, p o supererà bp + 0:1; se bp è grade, u errore assoluto di 0.1 o è così grave). Dobbiamo imporre p p (1 p) 1:96 p = 0:1 ovvero = 1:96 p (1 p) : 0:1 Serve ua stima di p, che i fase di DOE può proveire da campioameti precedeti, da primi piccoli campioameti, da ipotesi. Ma i questo caso vale ache la seguete stima uiversale: siccome l espressioe p (1 p) può al massimo valere 1, Alla peggio dovremo predere 4 = 1:96 1 0:1 4 = 96: 04: Ovviamete o è u valore molto icoraggiate, però è uiversale. E chiaro che all 80% basta 1:8 1 = = 40: 96 0:1 4 ed al 60% addirittura = 0:84 1 0:1 4 = 17: 64: Quidi, eseguedo le cose sequezialmete e sperado di o essere troppo sfortuati, dovrebbe bastare u umero coteuto di osservazioi. Lezioe 16 (1/1). Vedere la registrazioe di Barsati. Somma di quadrati di variabili ormali stadard e legge del chi quadro. Riproducibilità di tale legge. Legge cogiuta di media e variaza campioaria. Itervallo di co deza per la variaza. Covariaza e coe ciete di correlazioe. Lezioe 17 (15/1). Viee itrodotta la teoria dei test statistici, attraverso u esempio (compito di giugo 010), i cui si cooscoo media e 13

14 variaza delle vedite settimaali i regime ormale, si itroduce u attività pubblicitaria e se e vuole capire l e etto tramite u campioe (si suppoe che la variaza o sia cambiata, ma si dubita della media). Si oti che il valore 0 e quello sperimetale x di eriscoo, ma questo o basta a dire che c è stato u cambiameto; a ituito, devoo giocare u ruolo ache la deviazioe stadard e la umerosità campioaria. Il problema viee risolto facedo riferimeto a idee già ote el corso, gli itervalli di co deza: ssato u rischio, se il campioe proveisse dalla vecchia distribuzioe, la di ereza X 0 q 1 sarebbe iferiore a = p co probabilità 1 ; si cotrolla allora se il valore speriemetale x soddisfa questa codizioe, jx 0 j < (el qual caso o abbiamo trovato cotraddizioi tra il campioe e la media ipotizzata 0 ), oppure quella opposta jx 0 j > (el qual caso riteiamo o più valida la media 0 i quato il campioe è i cotraddizioe co essa). Il ragioameto viee illustrato ache gra camete, tracciado la desità di X, cetrata i 0, di deviazioe p, i cui, ssato il rischio, si tagliao due code di area 1 idividuado così u itervallo. Se x cade i esso, è u valore ragioevole di X, altrimeti o. Il test bilaterale per la media di ua gaussiaa (variaza ota) appea visto viee poi riformulato el modo caoico, tramite cofroto di jzj co q 1. Viee ioltre illustrato ell esempio il fatto che cambiado può cambiare l esito del test. L itervallo dei valori possibili di è diviso i due parti da u umero, detto p-value (valore p): tutti gli più gradi portao al ri uto dell ipotesi, quelli più piccoli o permettoo il ri uto. L algoritmo del test viee esempli cato ulteriormete col seguete esercizio. U certo sistema di servizio (si pesi ad esempio agli sportelli di ua baca) è be dimesioato se ci soo i media 100 richieste al gioro (se soo di più bisoga aumetarlo, se soo di meo si stao sprecado risorse). Forse il mercato è cambiato e le richieste o soo più 100 i media. Si registra u campioe per 9 giori: 98; 11; 103; 96; 108; 115; 10; 99; 109: Al 95%, il servizio è be dimesioato? Si suppoga, sulla base di esperieze passate, che sia = 4. Sol: z = x 0 p 104: 100p = 9 = 3:

15 maggiore (i valore assoluto) di q 1 = z = 1:96 (vale = 0:05, = 0:05, 1 = 0:975, q 0:975 = 1:96). Il sistema o è be dimesioato. Nella risoluzioe si è iterpretato gra camete il test, tramite ua gaussiaa e le sue code. Si è isistito sul rischio, del 5%, ecessariamete presete. E l area totale delle code. Se o si speci ca tale rischio a priori, o ha seso cofrotare u campioe co ua media ipotizzata 0. La media empirica x è sempre diversa da 0, per la casualità del campioe e o perche 0 sia falsa. Quidi il puto è capire se x dista da 0 i modo eccessivo oppure o. Il grado si aomalia della distaza di x da 0 è dato dalle code, idividuate da. Vegoo date alcue de izioi geerali: ipotesi ulla, ipotesi alterativa, regioe di ri uto, regioe di accettazioe, sigi catività, valore p. Nel test appea visto, l ipotesi ulla H 0 è la media è 0, la regioe di ri uto è l isieme di tutti i campioi sperimetali (x 1 ; :::; x ) tali che jzj > q 1 ; la sigi catività è il rischio di ri utare u ipotesi vera: = P H0 jzj > q 1 ed il p-value, oltre ad essere il più piccolo per cui il test risulta sigi cativo, è ache la probabilità di avere valori più estremi di quello sperimetale: p = P H0 (jzj > jzj) dove z è quello dei dati sperimetali, Z ua N (0; 1). Si ra gura la desità N 0 ;, si disega il valore di x, da esso si trovao le due code corrispodeti: il p-value è l area di tali code. Si stadardizza tale disego. Dall equazioe q 1 p = jzj si trova la formula p = (jzj) : Viee commetata la ragioevolezza di ciò che fa il test i termii gra ci. Se vale l ipotesi H 0 (che ell esercizio precedete è il servizio è be dimesioato, o più cocisamete 0 = 100 ), la v.a. X è ua N 0 ;. I suoi valori cadoo molto raramete elle due piccole code di area totale Quidi, se il valore empirico x cade proprio i tali code, siamo idotti a cocludere che era sbagliata l ipotesi (perche sotto di essa ua tale cosa o doveva accadere). Quidi il test si può eseguire cotrollado se x cade 15

16 elle code della gaussiaa N 0 ;. Stadardizzado, lo si può eseguire cotrollado se z = x p 0 cade elle code della gaussiaa caoica, cioè cotrollado se jzj > q 1 Si sottoliea che u test o ri uta H 0, oppure o è i grado di farlo. No ha seso dire che il test coferma H 0. Basta osservare che u certo valore speriemetale x che o coduce a ri uto, è compatibile o solo co 0 ma co altri valori medi. No può quidi essere ua prova che 0 è vero. Lezioe 18 (19/1). Vedere la registrazioe di Barsati. Sigi cato di covariaza e correlazioe, co esempio. Regressioe lieare i ua variabile. Stimatori col metodo dei miimi quadrati. Distribuzioe degli stimatori el caso di errore gaussiao, loro media e variaza. Stima della variaza a partire dai dati. Lezioe 19 (/1). Test uilaterali per la media. Vegoo itrodotti tramite il seguete problema. Esercizio. U servizio ferroviario viee cacellato se il umero medio di passeggeri è iferiore a 0. I passeggeri che viaggiao ad ua certa ora tra Fireze e Pisa vegoo cotati, per 10 giori. I valori soo : 17; 13; 9; 3; 14; 1; 16; 11; 14; 1: A livello di sigi catività 95%, c è ragioe di cacellare quel servizio serale? Soluzioe. Si può eseguire il solito test, ma questo o è aderete al problema. Meglio ragioare dall iizio. Se la media è 0 (caso limite), X è ua N 0 ;. Se i valori di X cadoo ella coda destra, o c è ulla di male: può sigi care che il umero medio di passeggeri è ache maggiore di 0, meglio acora. Il problema sussiste solo se X cade ella coda siistra, cioè assume valori troppo piccoli. Allora è solo la coda siistra che rappreseta la situazioe aomala. Prediamo quidi ua coda siistra di ampiezza 0.05, seza coda destra. Il test cosiste el vedere se X cade i essa, ovvero, dopo stadardizzazioe, se x 0 p < q1 : Questo test uilaterale è più itelligete di quello solito bilaterale, vista la particolare domada dell esercizio. Vegoo esposti i test uilaterale destro e quello uilaterale siistro, sempre esempli cadoli gra camete. 16

17 Viee poi svolto l esercizio 1.i dell 8/6/010, prima eseguedo il test per = 0:05 (viee sigi cativo) ed = 0:01 (viee o sigi cativo), capedo gra camete che c è u valore di demarcazioe, il valore p. Poi viee calcolato questo valore, i due modi: i) osservado che esso separa l itervallo dei valori per cui z > q 1 (test sigi cativo, si tratta di u uilaterale destro) da quello dei valori per cui z < q 1 (test o sigi cativo), quidi risolve l equazioe z = q 1 p, da cui si trova (z) = 1 p ed i e p = 1 (z) ; ii) ricordado che il p-value è ache la probabilità che Z assuma valori più estremi di quello sperimetale, per cui (ci si aiuti co u disego) p = P (Z > z) = 1 (z) : Ci si poe il problema di cofrotare i p-value dei test bilaterale e uilaterale, giusti cado questo iteresse come aalisi di quale sia il test migliore (quello che più facilmete risulta sigi cativo). Nel caso del test uilaterale destro (il ragioameto per l altro è aalogo), se z > 0, vale p B = (jzj) = (z) = p U cioè il p-value migliore è quello uilaterale (è la metà dell altro). Vegoo itrodotti gli errori di prima e di secoda specie, veri cado i primo luogo che, la sigi catività, è la probabilità dell errore di prima specie. Viee itrodotta la probabilità dell errore di secoda specie, osservado che o è calcolabile, o essedo prescritto u valore preciso della media della gaussiaa i gioco. Fissado tale media, diversa da 0 (si può pesare che si stia ssado coem ipotesi alterativa H 1 l ipotesi che la media sia precisamete ), si può calcolare la probabilità dell errore di secoda specie quado la media è : () := P jzj < q 1 Si oti che ora Z o è ua gaussiaa caoica (è gaussiaa, ma la media o è zero, i quato Z = X p 0 e X ha media e o 0 ). Si trova dove abbiamo posto () = d + q 1 d = 0 17 p : : d q 1 :

18 La poteza del test è, per de izioe, 1 (), cioè la probabilità di ri utare H 0 quado è falsa. Viee poi calcolata la poteza del test uilaterale destro () := P (Z < q 1 ) = ::: = (d + q 1 ) I due test, uilaterale e bilaterale, di eriscoo i poteza. Vedremo successivamete che quello uilaterale è più potete. Lezioe 0 (6/1). Vedere la registrazioe di Barsati. Regressioe lieare: calcoli ed esempio. Tabelle di cotigeza. Test per l idipedeza. Coe ciete di determiazioe. Lezioe 1 (9/1). Iterpretazioe gra ca di (e quidi della poteza), tramite il gra co della gaussiaa caoica, il suo itervallo che corrispode alla regioe di accettazioe, la gaussiaa di media d (quella vera) e la probabilità che essa attribuisce alla regioe di accettazioe. Disego el caso bilaterale e uilaterale, da cui si ituisce che UD () < B () se > 0. Si potrebbe i e etti dimostrare che la poteza uilaterale destra è maggiore della bilaterale quado > 0 : (d + q 1 ) < d + q 1 d q 1 (si oti che > 0 corrispode a d < 0). La veri ca aalitica o è elemetare, ma alcue cose si ituiscoo. Ad esempio (i dettagli di queste spiegazioi o soo stati svolti a lezioe), vale sempre d + q 1 < d + q 1, quidi (d + q 1 ) < d + q 1. Allora, quado d q1 è piccolissimo rispetto allo scarto tra (d + q 1 ) e d + q 1, è ragioevole che valga UD () < B (). Ora, siccome d < 0, d q 1 è sempre piuttosto piccolo, e diveta piccolissimo già per valori moderati di d, come d = (la è i itesima per valori itoro a 3-4), se prediamo come riferimeto = 0:05, per esempli care. Viceversa, per tali valori, d + q 1 e d + q 1 soo umeri abbastaza vicii a zero, quidi (d + q 1 ) e d + q 1 differiscoo i modo o baale. No sorprede quidi che per valori di d vicii a la disuguagliaza UD () < B () sia più etta. Altrove sfuma verso l uguagliaza. Si veda il disego, otteuto el caso = 0:05. Curva caratteristica operativa: la curva della poteza (o di ) i fuzioe di jdj. DOE (si veda l aalogo per la stima dei parametri ella lezioe 15): i fase di progettazioe degli esperimeti possiamo cercare di determiare la 18

19 Figure 1: Gra co di B UD i fuzioe di -d, per = 0:05. Figure : Gra co di UD i fuzioe di -d, per = 0:05. 19

20 umerosità degli esperimeti che porterà ad avere ua certa poteza, relativamete ad ua sigi catività scelta ed a u valore di. Ad esempio, el caso uilaterale destro, va risolta u equazioe del tipo (d + q 1 ) = 0:1 (se si vuole poteza 0.9), da cui d + q 1 = q 0:1, d = q 0:9 q 1, da cui si trova ricordado che d = 0 p. I ua certa pratica igegeristica vegoo usate le curve OC proprio per questo. Le curve hao il pregio di far ragioare co buo seso, circa il desiderio di migliorameto i rapporto al costo. U ragioameto può essere: o a circa d = 3 ogi aumeto di d provoca u migliorameto etto della poteza, ma da lì i poi il tasso di migliorameto cala, serve u icremeto sempre più ampio di d per otteere piccoli migliorameti della poteza. Ache se è u cocetto, vago, è come se la curva avesse u gomito. Allora accotetiamoci di d = 3. [Questo valore o è uiversale: è relativo alla curva OC per = 0:05, e comuque è ua ostra ituizioe ad occhio.] Quidi 0 p = 3, da cui si trova. La scelta d = 3 corrispode alla poteza 1 = 1 ( 3 + 1:64) = 1 0:08 = 0:9. A livello pratico, ci soo molte scelte da fare, prima di calcolare. Ua delle più critiche è. U idea possibile, ache se vaga, è che sia il primo valore critico diverso da 0, cioè il primo valore che, se realizzato, provoca delle cosegueze rilevati, e che quidi deve essere rilevato dal test. L esempio seguete aiuta a capire questo cocetto. Carte di cotrollo. Quado si eseguoo test elle aziede? Ad esempio quado si fa moitoraggio, ad esempio co le carte di cotrollo. Vegoo spiegate sommariamete le carte di cotrollo (vedere u ceo ai paragra ), le bade, il campioameto a tempi regolari, l allarme quado si esce dalle bade, l aalogia co l eseguire u test ad ogi istate di cotrollo. Vegoo calcolate le bade: 0 q 1 p, come per l itervallo di co deza (ma lo scopo è u test, o la stima della media). Operativamete, pesado ad u esempio cocreto, come si realizza ua carta? Vao scelti ed, ssati ua volta per tutte. Per sceglerli si deve aver chiaro il sigi cato di ogi elemeto della teoria del test. è la probabilità di uscire dalle bade quado ivece la media è rimasta 0. I molti casi questo o è così grave: quado accade basta rifare il campioameto, per cotrollare meglio. va scelto per avere ua certa poteza, relativamete ad u certo. Si deve sapere, ad es. dagli esperti delle cose prodotte, quali deviazioi da 0 redoo iservibili o pericolose le cose prodotte. corrispode a tali valori critici. A quel puto va scelto (). E la probabilità di o accorgersi di u cambiameto di 0, 0

21 quado questo è avveuto. Questo sì che può essere pericoloso: vedere cose fuori orma seza saperlo. Allora () va preso molto piccolo, e trovato i corrispodeza. Esempio: lato prodotto correttamete: 0 = 0: mm, 0 = 0:0 mm. Spessore da evitare: 0:3 mm, o 0:1 mm. Creare carte di cotrollo. Osservazioe 1: si tratta di u processo ad alta precisioe, cioè co 0 molto piccola. U campioe ha probabilità piccolissima di superare 0:3 mm per caso (servoo 5 sigma, quasi impossibile). Osservazioe : ha quidi seso teere sotto cotrollo la media, ivece che il sigolo esemplare. Ifatti il sigolo esemplare è improbabile che superi 0:3 mm per caso, se la media resta quella. Il pericolo o è ella causalità, ma i u peggiorameto sistematico della media. Osservazioe 3: oppure il pericolo è i u peggiorameto della variaza: se fosse ad es. = 0:05 mm., basta arrivare a per raggiugere 0:3 mm per caso i u esemplare. Questo sarebbe frequete. Coclusioe: vao teute sotto cotrollo media e variaza. Noi qui studiamo solo la media (chi vuole può vedere dei cei sulle carte di cotrollo per el capitolo 13). Si crea ua carta di cotrollo per la media, i cui UCL = 0 + 0q 1 p e 0 q 1 LCL = 0 p. Vao scelti ed. Come già detto sopra, forse può essere scelto o troppo severo, es Tuttavia, immagiiamo di costruire u sistema di cotrollo automatico, che suoa quado si superao le soglie: o vorremo che suoi per caso 5 volte su 100. Prediamo allora = 0:001, ad esempio (q 1 = 3:9). Ivece va scelto co lo scopo di avere ua certa poteza. Va ideti cato u valore che o si vuole raggiugere. Va evitato che lo spessore sia 0:3 mm, o 0:1 mm. Trascurado l i usso delle piccole uttuazioi del sigolo esemplare, va evitato che la media raggiuga questi valori. Quidi = 0:3 oppure = 0:1 soo i valori di riferimeto rispetto a cui calcolare la poteza: essa misura la capacità della carta di cotrollo di accorgersi che lo spessore ha raggiuto quei livelli iaccettabili. Allora, scelta ua poteza, es , cioè = 0:0001, si impoe l equazioe (d + 3:9) (d 3:9) = 0:0001 p = 0:1 0:0p = 5 p. Trascuriamo (d 3:9) che plau- dove d = 0 sibilmete è molto piccolo, risolviamo (d + 3:9) = 0:0001, cioè d + 3:9 = q 0:0001 = 3:7, d = 3:9 3:7 = 7: 01, da cui 5 p = 7, p = 7 = 1: 4, 5 1

22 =. Questo risultato è u po troppo icoraggiate rispetto a molti esempi applicativi, ed è dovuto al fatto che ci voglioo 5 per passare causalmete da 0. a 0.3; cioè si tratta di u esempio co u grado di precisioe già elevatissimo. [No svolto, ma segalato per chi fosse iteresato: poi si deve creare ua carta di cotrollo per la variaza. Si può impostare così: l idicatore è positivo, c è u uico limite, U CL. U modo è predere come idicatore S 0 ( 1), e UCL = ;. Di uovo vao scelti ed, co ragioameti aaloghi.] Complemeti sulla prima parte del corso: macaza di memoria dell espoeziale, teorema sul miimo, etrambi dimostrati e commetati dal puto di vista dell iteresse applicativo. Si trovao etrambi el paragrafo 5.6.