Elementi di statistica

Transcript

1 Elemeti di statistica Argometi: costruzioe di modelli matematici di variabili casuali mediate i parametri stocastici; defiizioe della migliore stima di ua misura; valutazioe dell icertezza della miglior stima di ua misura; qualità delle stime e correzioe per campioi co umero scarso di dati; rigetto dei dati. Itroduzioe Abbiamo visto come, co la teoria della probabilità, sia possibile produrre modelli probabilistici (distribuzioi di probabilità) adattabili ai feomei aleatori reali. Accedere a tutta la popolazioe è ella maggioraza dei casi impossibile perché il umero di idividui è troppo alto (es. iterviste pre elettorali) e spesso, sebbee possibile, o coveiete ecoomicamete (durata di ua lampadia) o i termii di tempo. Acquisire sperimetalmete la distribuzioe di probabilità è quidi, all atto pratico, irragioevole Risulta coveiete adottare u modello che, sotto alcue ipotesi, potrà essere caratterizzato sulla base di u umero limitato, e tedezialmete piccolo, di iformazioi La statistica parte da u campioe aleatorio per descrivere le sue proprietà statistiche oppure risalire o iferire al modello probabilistico sotteso e alla stima dei suoi parametri (media, variaza, deviazioe stadard, moda, mediaa).

2 Itroduzioe La media, m, e la deviazioe stadard, s, associate ad ua fuzioe di desità di probabilità, soo parametri completamete descrittivi delle caratteristiche statistiche di ua popolazioe, a patto di elaborare le iformazioi relative ad ogi sigolo idividuo di essa. I parametri del modello soo defiiti, grazie alle teciche statistiche, sulla scorta di u umero ridotto di iformazioi desute da idagii sperimetali spesso svolte su u umero ridotto di casi. Ua caratterizzazioe di questo tipo sarà ievitabilmete imprecisa. el caso di ua gradezza discreta e fiita, la popolazioe (isieme di tutti gli idividui) viee campioata: per limitare il umero di osservazioi si estrarrà u campioe, sottoisieme di idividui, di ua popolazioe di dimesioe. el caso di ua gradezza cotiua parlare di popolazioe o ha seso i quato sarebbe ifiita. I questi casi avremo solo il campioe dei dati a descrivere la gradezza stessa. I questo cotesto, i termii «campioe» e «campioare» hao u sigificato diverso da quello dell acquisizioe dati 3 edia e variaza campioaria el caso di ua misura la popolazioe è ifiita e il limite al umero di misure acquisibili è solo pratico e/o ecoomico. I questi casi si ha a disposizioe come estimatori della media e della variaza della gradezza i esame solo l approssimazioe costituita dalla media e dalla deviazioe stadard del campioe fisicamete osservato. µ = σ = ( i ) i i= i= Cosa succede se o possiamo operare su tutta la popolazioe e ci dobbiamo accotetare di u campioe? I parametri statistici che abbiamo idividuato aalizzado il campioe quato soo rappresetativi di quelli dell itera popolazioe? Dato u campioe come si stima il valore della misura e la sua variabilità? 4

3 edia e variaza campioaria Aalizziamo come variao i parametri statistici fodametali all aumetare della dimesioe del campioe per due diversi processi casuali. Al crescere del umero degli eveti la media e la deviazioe del campioe tedoo a stabilizzarsi idetificado i parametri dell itera popolazioe. el grafico si mostra il diagramma di stabilizzazioe di media e dev. std. per due tipologie di distribuzioi di probabilità: a siistra distribuzioe uiforme 0- (µ=0.5, σ=0.5/sqrt(3)); a destra distribuzioe gaussiaa (µ=0,σ=). (fig. da pr0.m) 6 edia e variaza campioaria i oti come a partire da campioi di 0/30 idividui i valori dei parametri statistici siao ell itoro di quelli di covergeza. E spotaeo ora chiedersi quale sia l effetto della scelta di u particolare campioe e quidi cercare di capire come variao media e deviazioe stadard se, fissata la dimesioe del campioe, si cosiderao campioi diversi. Campioi diversi di ua popolazioe, ache se di pari dimesioe, forirao ciascuo ua propria media ed ua propria deviazioe stadard, i geerale differeti per ogi campioe (la variabile è casuale). Aalizziamo i risultati otteuti da ua serie di campioi di ua variabile casuale a distribuzioe gaussiaa (µ=0,σ=), campioi tutti di eguale umero di idividui. 7 3

4 edia e variaza campioaria Esamiiamo alcui istogrammi che riportao le distribuzioi corrispodeti a 0 campioi di umero crescete di eveti. i ota che, ache quado gli istogrammi soo sigificativamete diversi, i valori medi e le deviazioi stadard soo poco variabili. i vede ioltre che all aumetare del umero di eveti di ciascu campioe la dispersioe di media e dev. std. diviee sempre più coteuta. edia e deviazioe stadard esibiscoo ach esse ua distribuzioe: soo delle variabili casuali caratterizzabili a loro volta tramite media e deviazioe stadard. 8 edia e variaza campioaria edia e deviazioe stadard di u campioe caratterizzao i dati acquisiti i termii di valore atteso e dispersioe, risetedo di tutti gli effetti mostrati. Applicati ad u processo di misura i parametri statistici campioari possoo essere impiegati per prevedere, cooscedo la distribuzioe, la probabilità di rilevare ulteriori misure i u certo itervallo attraverso l utilizzo della desità di probabilità. L obiettivo di u operazioe di misura o è però questo. Il problema di misurare è stimare il misurado, depurado gli effetti del processo di misura, ovvero forire il valore più probabile e u idicatore di icertezza di tale stima. Problema: possiamo utilizzare la media campioaria e la deviazioe stadard di u campioe per forire la migliore stima possibile della misura e della sua icertezza? 9 4

5 isura come parametro statistico imuliamo u processo di misura. Esecuzioe di u esperimeto basato su ripetizioi della valutazioe della gradezza di iteresse, ivariate el corso dell esperimeto. Poiché la misura è affetta da errore e può essere quidi vista come ua variabile casuale l esperimeto evidezierà ua distribuzioe e forirà u valore di media e dev. std. = i= = ( i ) i= i iccome siamo scettici... ripetiamo l esperimeto! 0 isura come parametro statistico Esecuzioe di ripetizioi dell esperimeto precedete, ciascua basata su valutazioi della gradezza di iteresse, sempre ivariate. Ogi ripetizioe evidezierà la stessa distribuzioe e forirà u valore medio ed ua deviazioe stadard che sarao diversi i geerale tra esperimeto e esperimeto. k = i= = ( ) k ki k i= ki 5

6 isura come parametro statistico Valore medio e dev. std., come già mostrato, soo due variabili casuali: ogua può essere descritta mediate il proprio valore medio e la propria deviazioe stadard. Trattazioe valori medi = k = = ( k ) k = k k = i= = ( ) k ki k i= ki? Trattazioe deviazioe std. k = k = = ( ) k k k k = k isura come parametro statistico Per ogi esperimeto, k, avremo : valor medio e deviazioe stadard. k = i= = ( ) k ki k i= ki Quidi possiamo defiire due uove popolazioi, idipedeti, di gradezza, pari al umero di esperimeti, alle quali afferiscoo i valori assuti da media e deviazioi stadard. A oi iteressao i particolare: la media delle medie: la deviazioe stadard delle medie: = k = = ( k ) k = k 3 6

7 edia e deviazioe stadard della media Data ua popolazioe a distribuzioe gaussiaa (µ=0,σ=), si soo svolti esperimeti basati su 500 campioi coteeti u umero di eveti via via crescete. Distribuzioi delle medie: si vede ua distribuzioe cetrata sul valore ullo, media di tutte le misure dispoibili, co dispersioe decrescete. Distribuzioi delle dev. std.: attestate sul valore uitario, co dispersioe decrescete. Dev. std. delle medie: miore di quella dei dati e decrescete all aumetare del campioe. 4 Dimostrazioe euristica All aumetare del umero di misure: La deviazioe stadard del campioe rimae costate (liee verdi) La deviazioe stadard delle medie dimiuisce (tratti rossi). Vogliamo idividuare, se esiste, ua legge empirica che lega le due deviazioi stadard. L adameto suggerisce ua dimiuzioe della deviazioe all aumetare della dimesioe del campioe Lecito supporre che il umero di eveti compaia a deomiatore del rapporto σ dati /σ media. 5 7

8 Dimostrazioe euristica U coefficiete proporzioale all iverso del umero di misure porta ad ua eccessiva dimiuzioe (liea verde). U coefficiete proporzioale all iverso della radice quadrata porta ad ua corretta iterpretazioe dell adameto della deviazioe della media i fuzioe del umero di dati preseti el campioe. Per sufficietemete grade la media ha distribuzioe gaussiaa co deviazioe stadard data da: σ σ = 6 Dimostrazioe euristica o è ecessario che la popolazioe sia a distribuzioe gaussiaa per otteere i risultati presetati relativi alla media di ua popolazioe: per ua distribuzioe uiforme gli adameti soo aaloghi. 7 8

9 Dimostrazioe rigorosa Esperimeto sigolo co valutazioi: = = ( i ) i i= i= Ripetizioe dell esperimeto volte: k=: (atrice dei valori ki : la riga k-esima cotiee le i misure dell esperimeto k) = = ( ) k ki k ki k i= i= Valutazioe globale misure: = k = i= = ( ki ) k = i= ki 9 Dimostrazioe rigorosa k I valori medi costituiscoo u isieme di variabili casuali idipedete che possiamo ipotizzare gaussiao, quidi caratterizzato da u valore medio e da ua deviazioe stadard m, Vogliamo idetificare questi due parametri. L operatore di media dei valori medi è lieare ovvero la media dei valori medi coicide co la media di tutte le valutazioi fatte i tutti gli esperimeti. = ki = k = m = m k = i= k = e è sufficietemete grade le deviazioi casuali della media soo già compesate i u sigolo campioe di dati, quidi: m k k I particolare: m e o c è ecessità di ripetere l esperimeto! 0 9

10 Dimostrazioe rigorosa Cerchiamo u risultato aalogo per la deviazioe stadard dei valori medi, ; cioè vogliamo metterla i relazioe alla dev. std. totale e, possibilmete, co la dev. std. di ua sola serie di dati. Abbiamo visto che ache la dev.std del campioe, aalogamete al valore medio, si stabilizza co l aumeto del umero di dati. Dev. std. di tutti i dati: m = ( ki ) k k = i = Dev. std dei valori medi: m = ( k ) k = Il termie quadratico della secoda relazioe può essere sviluppato i termii di media delle deviazioi delle sigole misure dalla media globale: k m = ki m = ki m = ki m i= i= i= i= ( ) Dimostrazioe rigorosa k = ki i = ( ) m m m = ( k ) k = Utilizzado questa relazioe della dev. std. dei valori medi otteiamo: = ( k m ) = ( ki m ) k= = k = i= dki dki dkjdki k = i= k = i= i= j= i i j = = + Il secodo termie, per sufficietemete alto, tede a zero trattadosi di scostameti casuali dotati di sego e a distribuzioe simmetrica: la deviazioe stadard dei valori medi diveta: d m ki = ki k = i= k = i= ( ) 0

11 Dimostrazioe rigorosa Caratterizzazioe del processo di misura: deviazioe stadard dei valori medi. ( ) ki m k = i = a poiché: Otteiamo: m = ( ki ) k = i = ( ) ki k = k = i= Assumedo k k k = k abbiamo ifie: 3 Dimostrazioe rigorosa Per essere cosiderato grade dovrebbe essere superiore a 30. Per che tede ad ifiito la deviazioe stadard della media tede a zero. Riassumedo: se la popolazioe è a distribuzioe gaussiaa, la distribuzioe delle medie dei campioi è gaussiaa; se la popolazioe o è a distribuzioe gaussiaa ma è grade ( > 30), la distribuzioe delle medie è gaussiaa; se la popolazioe o è gaussiaa e < 30, la media segue la distribuzioe gaussiaa solo approssimativamete e si discosta tato più da questo adameto quato miore è il umero di dati acquisiti. 4

12 La stima del misurado, itesa come media dei valori medi, è quidi ua gradezza per la quale si può adottare l ipotesi di distribuzioe casuale, caratterizzata da: valore medio deviazioe stadard La deviazioe dal valore omiale della misura essere ormalizzata co la deviazioe stadard e rietrado ello schema della Distribuzioe ormale: µ z = σ i potrà duque utilizzare la tabella di itegrazioe della fuzioe di desità di probabilità ormale, co le medesime procedure operative sviluppate per ua distribuzioe di valori, per stimare l itervallo di cofideza sotteso dal parametro z. 6 Esempio i deve calcolare l itervallo di cofideza della media di u certo umero di resisteze. Viee effettuata la misura di u campioe composto da 36 resisteze; la resisteza media misurata,, è pari a 5Ω e la deviazioe stadard (stimata dal campioe),, è pari a 0.5Ω. Determiare l itervallo di cofideza della media per ua probabilità pari al 90%. 7

13 Esempio Occorre trovare il valore di z α/ : cioè l itervallo espresso i deviazioi stadard che racchiude u area del 90% (esclude u area del 0%). Essedo la fuzioe desità simmetrica è sufficiete ricercare ella tabella 0.45=0.9/. Il valore di z corrispodete è circa z=.645, circa a metà tra i valori della tabelle che limitao Esempio Assumedo ua distribuzioe di tipo gaussiao e utilizzado come migliore stima della deviazioe stadard, teedo coto dell itervallo di cofideza e riferedo la deviazioe alla media, otteiamo co =36 : zα / µ + zα / µ µ 5.4 I defiitiva la resisteza media avrà u valore di: 5 ± 0.4Ω Co u livello di cofideza pari al 90%, cioè il valore medio della popolazioe di resisteza avrà ua probabilità del 90% di essere compreso ell itervallo tra 4.86 e 5.4 Ω. 9 3

14 La misura della resisteza è data dal valore medio delle R i ma sempre da itedersi come approssimazioe del valore medio della popolazioe. Variabile gaussiaa: (media=, deviazioe stadard= ) isure idividuali resisteze R i Esempio R, R m m m = R = R Itervallo di cofideza della media? z % Livello di probabilità 90% Tipologia di problema -α = 0.9 = 90% α/ = 5% α P = = 0.45 P = z 0 z 0 α α / ( code) z Desità cumulativa gaussiaa 30 Distribuzioe t tudet 3 4

15 Distribuzioe t tudet La distribuzioe ormale rappreseta uo schema corretto per la rappresetazioe statistica della misura quado il umero di dati i u campioe è elevato. olo i questo caso la stima della deviazioe a partire da quella campioaria costituisce ua base valida per la defiizioe dell itervallo di cofideza della misura. I caso si abbia u umero limitato di misure la deviazioe stadard della popolazioe, σ, o sarà bee approssimata dalla deviazioe del campioe,, e, a causa della icertezza ella deviazioe stadard del campioe, ci possiamo aspettare sia ecessario garatirsi u itervallo di cofideza più ampio, a parità di livello di cofideza. 3 Distribuzioe t tudet el caso di poche misure, viee utilizzato al posto della gaussiaa u altra distribuzioe statistica, detta t-tudet. La fuzioe di desità t-tudet è simmetrica e si abbassa e si allarga al dimiuire del umero di misure el campioe. Graficamete, le distribuzioi t soo simili alla distribuzioe ormale, e divetao equivaleti ad essa al crescere del umero delle misure. La distribuzioe t-tudet, al cotrario della distribuzioe ormale, dipede o solo da media e deviazioe stadard ma ache dal umero di gradi di libertà (ν=-). I aalogia al parametro z della gaussiaa ormalizzata si defiisce u parametro che prede il ome di t. Esso è pari alla deviazioe della media del campioe da quella vera, divisa per la dev. std. della media. ( µ ) ( µ ) t = = σ / 33 5

16 Distribuzioe t tudet L espressioe aalitica di queste distribuzioe è defiita a partire da u altra distribuzioe (Gamma fuctio) e da u parametro v, che defiisce il umero di gradi di libertà (umero di misure meo il umero miimo di misure ecessarie a defiire u idicatore statistico, -) f ( t, v) = v + Γ ( v+ )/ v t vπ Γ + v Esempio: per defiire il diametro di u tubo il umero miimo di misure ecessarie per defiire ua stima statistica è. e eseguiamo 0 misure, il umero di gradi di libertà è 9, cioè v= Distribuzioe t tudet La distribuzioe t, può essere utilizzata, aalogamete a quella ormale, per stimare l itervallo di cofideza della media a partire da u certo umero di misure, quado queste soo iferiori a 30. Il modo di procedere è del tutto aalogo a quello utilizzato co la distribuzioe ormale: ua volta scelta la curva corrispodete ai gradi di libertà i questioe (v), possiamo defiire la probabilità che t cada ell itervallo: Ovvero: t e + t α / α / [ ] P t t + t = α / α / α 35 6

17 Distribuzioe t tudet ostituedo l espressioe di t otteiamo: µ P tα / + tα / = P tα / µ + tα / = α / µ = ± t Che si può esprimere come: co probabilità -α α/ Dato che le tabelle complete che riportao le distribuzioi t soo volumiose, vegoo solitamete specificati solo alcui valori di t fuzioi di ν ed α. 36 Distribuzioe t tudet Dal puto di vista operativo si tratta di itrodurre u termie di amplificazioe delle icertezze che permette di compesare ua deficieza di attedibilità degli estimatori dovuta alla scarsa dispoibilità di dati. Ifatti co pochi dati si rischia di avere ua o corretta stima delle code, vuoi perché siamo stati fortuati e i dati soo tutti ella zoa cetrale, vuoi perché siamo stati sfortuati e abbiamo troppi dati, statisticamete parlado, lotao dalla zoa cetrale. Co la deviazioe stadard determiata da questi dati e il umero di misure a disposizioe (ridotto di ), attraverso l apposita tabella si ricava il coefficiete t α/ ; che garatisce il livello di cofideza desiderato (-α). I base a questo coefficiete si esprime l icertezza: µ = ± t α/ 37 7

18 Distribuzioe t tudet 39 La trattazioe forisce risultati praticamete sovrappoibili a quelli otteuti co l utilizzo della fuzioe di desità ormale ( o ), quado si utilizzao umerosi eveti coefficiete t-tudet Livello di cofideza 0 - umero di misure Adameto del coefficiete t-tudet al variare del umero di gradi di libertà e del coefficiete di copertura α ( P=- α ) cofrotato co i valori asitotici di z 40 8

19 Esempio i vuole valutare il tempo medio di guasto di schermi VCR co u itervallo di cofideza del 95%, partedo da 6 misure del tempo di guasto, pari a ore: 50, 30, 54, 464, 75 e 383 i chiede di stimare la media e l itervallo di cofideza della media per u livello di cofideza del 95%. oluzioe: Il valor medio e la deviazioe del tempo di guasto valgoo: = = 37 h 6 idi = = 4 h 4 Esempio I parametri soo itervallo di cofideza e umero di campioi: Dalla tabelle si ottiee: 95% α = 0.05 ; v = = 5 tν = =, α/ t5,95%.57 4 µ = ± tα/ = 37 ±.57 = 37 ± 0h 6 e o si fosse teuto coto della correzioe t-tudet, ovvero si fosse applicata la distribuzioe gaussiaa il coefficiete, a parità di itervallo di cofideza, sarebbe stato.96 aziché.57. I due risultati soo alquato differeti e quidi l uso della gaussiaa i queste situazioi è sbagliato! 4 9

20 Esempio 3 e ell esempio precedete si volesse limitare l itervallo di cofideza sulla media a ±80 ore, sempre co u livello di cofideza pari al 95%, quate altre misure soo ecessarie? oluzioe: L itervallo di cofideza è dato da: IC = ± t ν α Avedo eseguito 6 misure, dalla tabella di t-tudet per v=6-=5 e il 95% otteiamo t 5,95% =.57 ; risolvedo rispetto al umero di misure avremo (quidi ipotizzado e t costati): Occorrerebbe quidi acquisire altre 8 misure e verificare che la uova statistica rispetti il requisito IC 80 co probabilità del 95%. I realtà poiché co 4 misure la t si riduce, l itervallo si riduce più del richiesto: ecessario iterare per otteere il umero di misure corretto. i oti comuque che i tutto il procedimeto il valore di rimae costate per ipotesi., / ± 80 = ±.57 = = Esempio 3bis oluzioe: è ecessario assumere costati sia che t? Cofrotiamo la struttura della tabella t-tudet e il modo i cui utilizziamo i coefficieti: ν t ν 95% ν, α / ν, α / ν + Dividedo la coloa delle t per la % di iteresse per otteiamo direttamete i coefficieti moltiplicativi della deviazioe stadard Poiché stiamo cercado come ridurre l itervallo di cofideza da 0 ma 80 ore, abbiamo bisogo di ridurre al 67% tale coefficiete ormalizzado la coloa rispetto al coefficiete di parteza si ottegoo i valori di riduzioe di all aumetare dei gradi di libertà t t ν, α / = La posizioe del coefficiete 67% idetifica il umero di misure richiesto t t 5,95% 44 0

21 Esempio 3bis ν t ν 95% t ν 95%/ t ν 95%/ /t 5,95%/ I questo modo la riduzioe richiesta è otteuta co 9 = 8+ misurazioi i totale, quidi solo 3 i più rispetto a quelle dispoibili, cotro le 8 previste co la prima soluzioe I questo modo la sola ipotesi ecessaria è che la deviazioe stadard dei dati,, rimaga costate Ipotesi che adrà comuque verificata. 45 χ distributio Ache la qualità della stima della variaza può risultare di iteresse pratico. I questo caso vegoo defiiti due coefficieti moltiplicativi della deviazioe stadard calcolata sul campioe,, che permettoo di stabilire u valore massimo e miimo all itero del quale dovrebbe trovarsi la deviazioe stadard vera, σ, co u livello di cofideza, ache i questo caso, da esprimersi i termii tipo probabilistici, es. 95% ν σ ν χ χ ν, α/ ν, α/ L argometo o viee discusso se o per dire che si utilizza ua distribuzioe di desità di probabilità particolare, deomiata χ. i rimada chi fosse iteressato alla bibliografia. 46

22 Da ricordare Problemi iereti all aleatorietà elle misura. Come gestire la misura di ua sigola variabile a partire dai dati idividuali di misura. Come defiire il livello di aleatorietà da associare ad ua misura itesa come valore medio di ua serie di misure idividuali. Come si capisce quado la defiizioe del modello è isufficiete. Come si correggere l etità di aleatorietà della misura quado gli eveti dispoibili soo pochi. 50 Domade? 5