Note di Statistica. ultimo aggiornamento: 15 ottobre CdS in Scienze e Tecniche Psicologiche. a cura di Bruno Bertaccini

Transcript

1 Note d Statstca ultmo aggorameto: 15 ottobre 017 segameto d Statstca (L-Z) CdS Sceze e Tecche Pscologche a cura d Bruo Bertacc Materale ddattco a dsposzoe degl studet, scarcable all drzzo Bruo Bertacc Dpartmeto d Statstca, Iformatca, Applcazo «G. Paret» v.le Morgag, 59 - Freze bruo.bertacc@uf.t rcevmeto: su apputameto (fssado data e luogo) oraro delle lezo / eserctazo: Martedì e Veerdì dalle 11:00 alle 1:45 Govedì dalle 9:15 alle 10:45 dal 3 ottobre al 15 dcembre 017 1

2 Testo d rfermeto e altro materale ddattco Agrest Ala e Flay Barbara (01) "Metod statstc d base e avazat per le sceze socal". Pearso, Pretce Hall. queste dspese predsposte co l obettvo d essere d auslo alla studo delle part del testo da studare (scarcabl su teret all drzzo Modaltà d esame Test scrtto co domade d vara atura (vero/faso; rsposta multpla, esercz brev). Evetuale dscussoe orale dell esto dello scrtto. Appell Gl esam d proftto s svolgoo tre dverse sesso, per complessv otto appell: sessoe Iverale (tre appell) sessoe Estva (tre appell) sessoe Autuale (due appell)

3 INDICE (programma del corso) Itroduzoe alla statstca I Prcp della Probabltà I Prcp dell Ifereza Note d Campoameto statstco Note d Ifereza parametrca (stma putuale e per tervallo) Note d Ifereza parametrca (verfca d potes) Aals dell'assocazoe tra varabl categoral Aals dell'assocazoe tra varabl quattatve Regressoe leare semplce Relazo multvarate Regressoe leare multpla Lezoe 1 Itroduzoe 3

4 la Statstca è la dscpla che s occupa dell'elaborazoe de rsultat dell'osservazoe d uo o pù caratter possedut dagl elemet d u seme determato, co l'teto d esprmere u gudzo e/o predere ua decsoe merto ad alcu aspett d ua realtà d teresse che, quato rferta ad u seme e o a sgol elemet che lo compogoo, vee chamata feomeo collettvo. L esseza della Statstca La rago d'essere della statstca è la preseza d u certo lvello d varabltà e dat (altrmet, paradossalmete, la compresoe del feomeo sarebbe possble rcorredo ad ua sola osservazoe) ello studo de feome collettv s è cosapevol che al varare dell'utà statstca u etro ua certa popolazoe P = { u } varao certe caratterstche msurate su u altre parole, per lo studo d u feomeo caratterzzato da asseza d varabltà o serve scomodare uo statstco 4

5 L esseza della Statstca Alcu semplc esemp: altezza e peso degl studet d ua classe reddto de parlametar votazo rportate all esame d Statstca dagl studet d u certo corso d stud uverstaro valutazoe dell effcaca de ttol d studo uverstar durata delle lampade ad alto rsparmo eergetco soddsfazoe e cofrot del trasporto pubblco locale la Statstca è qud l fodameto logco e metodologco per la rsoluzoe de problem decsoal codzo d certezza 5

6 Le brache della Statstca (1) Statstca Descrttva I questo settore retrao metod per stetzzare co opportue gradezze le caratterstche salet de feome collettv. La descrzoe passa attraverso le fas d formazoe del dato statstco e del trattameto matematco dello stesso. Per formazoe del dato statstco s può tedere: l elaborazoe d dat preesstet atura (dat aagrafc, dc azedal d blaco, dat d produzoe dustrale ecc.) la ecesstà d procedere all effettva rlevazoe delle formazo ecessare alla compresoe del feomeo d teresse Il processo d rlevazoe delle formazo Il processo d rlevazoe delle formazo è geeralmete dstto elle fas d: defzoe del pao d rlevazoe, raccolta delle formazo, spoglo e classfcazoe. La fase pù delcata è seza dubbo la prma, soprattutto relazoe al tpo d feomeo collettvo che s vuole dagare: altezza -> metro; peso -> blaca reddto de parlametar -> modello 730 performace esam d proftto -> voto coseguto durata lampade -> croometro soddsfazoe e cofrot del trasporto pubblco locale ->??? 6

7 La POPOLAZIONE Popolazoe (P ): seme fto o fto d utà che o teressao prese sgolarmete ma per l cotrbuto che dao allo studo del feomeo collettvo d teresse (carattere) F. Se s è teressat alla coosceza d u certo feomeo F s possoo rappresetare le sue possbl mafestazo (modaltà del carattere) come put dell'seme P. Ovvamete o tutt put avrao lo stesso peso, perché può accadere che ua determata mafestazoe s realzz pù frequetemete d u'altra. N dmesoe della Popolazoe Le rlevazo campoare Stablto co quale strumeto msurare F : Rlevazo complete (cesuare) Rlevazo campoare NB: la rlevazoe completa è teorcamete semplce I realtà, motvazo legate: alla umerostà della Popolazoe (sovete o fta), a cost e/o a temp d dage ducoo a optare per la stratega campoara. 7

8 Le rlevazo campoare Fodametale dvee qud statstca l ruolo dell'espermeto campoaro. Campoe: u qualsas aggregato d utà statstche apparteet ad ua certa popolazoe e selezoate medate ua certa procedura. dmesoe del campoe NB1: la stratega campoara è la sola possble quado: la popolazoe è vrtualmete fta; l osservazoe è dstruttva. NB: la popolazoe da cu s estrae l campoe, detta popolazoe campoata, o sempre cocde co la popolazoe obettvo. Le rlevazo campoare Importate dstzoe: Campo probablstc: è possble defre l seme (Uverso) d tutt possbl campo che potrebbero formars seguedo ua determata procedura d estrazoe d tpo radomzzato; è possble assocare a cascu campoe ua probabltà d selezoe ota; è possble attrbure ad og utà compoete la popolazoe ua probabltà strettamete postva d essere estratta. Campo o probablstc: tutt gl altr 8

9 Le rlevazo campoare I prcpal vatagg dervat dall adozoe d ua stratega d campoameto coteere cost dell'dage etro lmt accettabl; svolgere l'dage temp relatvamete brev; raccoglere per og utà clusa ell'dage u maggor umero d formazo; raccoglere le formazo co maggor accuratezza graze all'utlzzazoe d persoale qualfcato e/o d tecche specalstche. Le rlevazo campoare però, dstorsoe dotta dal campoameto: geerale, u campoe o costtusce quas ma ua rproduzoe fedele della popolazoe su pccola scala Ioltre : Dstorso dovute alla rsposte: a causa d rsposte o corrette o quest mal post; Dstorso dovute alle o-rsposte: a causa d soggett campoat che rfutao d partecpare o rspodere ad alcue domade del questoaro. 9

10 Le rlevazo campoare qud (dato che molto spesso o possamo fare a meo d codurre u dage campoara): come estrarre l campoe (secodo quale tecca)? come estedere rsultat campoar all tera popolazoe? Le rlevazo campoare Le fas relatve alla selezoe del campoe costtuscoo l cosddetto dsego d campoameto. Dsego d dage defzoe della popolazoe obettvo; scelta de caratter da studare e dello strumeto per msurarl; scelta de dom spazo-temporal dell dage; defzoe del dsego d campoameto; defzoe de metod d raccolta, codfca ed elaborazoe dat; defzoe de cost e de lvell d precsoe desderat; defzoe de metod d stma e d calcolo degl error campoar; defzoe de metod d cotrollo degl error o campoar; aals e presetazoe de rsultat. 10

11 Le brache della Statstca () Statstca Iferezale Se l'estrazoe del campoe è casuale, dat possoo forre formazo sulla varabltà della popolazoe e sulla fduca da accordare a tal formazo. Quest problem soo oggetto della Statstca Iferezale o Iduttva. Il terme fereza derva dal lato e letteralmete sgfca: argometare, desumere. S effettua fereza quado s geeralzza l'espermeto, operado ua sorta d estesoe dal partcolare al geerale; le geeralzzazo però o soo certe. Ifereza statstca e probabltà L'fereza è qud u processo d'azzardo e l'certezza vee msurata term probablstc. La PROBABILITÀ è l fodameto logco per fare fereza sulla Popolazoe oggetto d dage. Ma che cos è la PROBABILITÀ? 11

12 Lezoe I Prcp della Probabltà La Probabltà è u cocetto prmtvo. Per defrla occorre trodurre alcu gredet: espermeto casuale (es: laco del dado o d ua moeta) eveto spazo degl evet B spazo de possbl rsultat dell espermeto La probabltà è ua fuzoe matematca su B co certe propretà 1

13 La rappresetazoe degl evet A B Dagramma d Ve La probabltà Approcc alla probabltà ( orde croologco): mpostazoe Classca; es: moeta mpostazoe Frequetsta; es: moeta truccata mpostazoe Soggettva; es: uomo su Marte mpostazoe Assomatca 13

14 L mpostazoe assomatca delle Probabltà (Kolmogorov) 1) P ( A ) 0 ) P ( ) 1 3) P( A B) P( A) P( B) sse A B 4) P( A / B) P( A B) P( B) Prcpo delle Probabltà codzoate È ua formalzzazoe matematca d cocett tutv L mpostazoe assomatca delle Probabltà (Kolmogorov) I geerale ( Prcpo delle Probabltà Total ): P ( A B) P(A) P( B) P( A B) A AB B NB: se A B assoma 3 14

15 Evet compatbl e dpedet se A B A e B soo evet compatbl se P( A / B) P( A) A e B soo evet dpedet ovvero l verfcars d B o cde sulla probabltà d A se P( A B) P( A / B) P( A) P( B) P( A B) P( A) P( B) U po d svago: Goco del lotto: prob. che esca 3 al secodo estratto Mazzo d 40 carte: prob. che esca u K alla secoda estraz. Le 3 buste I 3 prgoer 35 studet su uo scuolabus: prob. che almeo abbao stessa data d ascta (gg/mm) Il valore atteso ed l Paradosso d Sa Petroburgo Come msurare l area d u lago 15

16 U po d svago: le 3 buste A B C Solo ua cotee u grosso premo; le altre due soo vuote. Gochamo co Go e propoamo a Go d sceglere ua busta. Go scegle la busta A. Ua volta scelta, faccamo vedere a Go, apredola, che ua tra le buste B e C è vuota. Offramo a Go la possbltà d poter cambare la busta A co la busta chusa rmasta sul tavolo. Il dubbo d Go: cosa covee fare? U po d svago: le 3 buste Izalmete: PA ( vce) PB ( vce) PC ( vce) 1 3 Suppoamo a Go vega mostrato che B è vuota; Go lo cosdera u eveto e codzoa la sua decsoe a questo. PA ( vce Bvuota) PA ( vce Bvuota) PB ( vuota) PB ( vuota Avce) PA ( vce) PB ( vuota) PB ( vuota Avce) PA ( vce) PB ( vuota Avce) PA ( vce) PB ( vuota Cvce) PC ( vce) ovvero sapedo che B è vuota è dfferete coservare A o operare lo scambo 16

17 U po d svago: le 3 buste Provamo a cosderamo vece l eveto mostramo B vuota e codzoamo la decsoe d Go a questo: PA ( vce mbvuota) PA ( vce mbvuota) PmB ( vuota) PmB ( vuota Avce) PA ( vce) PmB ( vuota) PmB ( vuota Avce) PA ( vce) PmB ( vuota Avce) PA ( vce) PmB ( vuota Cvce) PC ( vce) s è dfferet tra mostrare a Go la busta B o la C, se A è la vcete. ovvero l vero eveto o è quello che Go vede, ma l azoe che o faccamo a seguto della scelta zale d Go. È certamete coveete operare lo scambo. U po d svago: tre prgoer Tre prgoer A, B e C l doma sarao codaat a morte. Il Goveratore decde d grazare uo e comuca la sua scelta al secodo S, obblgadolo al slezo sulla scelta fatta. A chede ad S d rvelargl l ome d ch s salverà. S o può parlare pea la sua esecuzoe. I alteratva, A chede ad S d comucargl l ome d ch degl altr due verrà scuramete codaato. S accetta rteedo d o cotravvere agl ord rcevut. A adesso rtee che la sua probabltà d salvars sa par a ½. 17

18 U po d svago: tre prgoer Dopo la graza del Goveratore: PA ( ) PB ( ) PC ( ) 1 3 PA ( SdceB) PAS ( dceb) PS ( dceb) PS ( dceb APA ) ( ) PS ( dceb) PS ( dceb APA ) ( ) PS ( dceb APA ) ( ) PS ( dceb CPC ) ( )? Occorre fare delle potes. I prms, assumamo che S o dca buge U po d svago: tre prgoer S è dfferete tra B e C: PAS ( dceb) PA ( SdceB) PS ( dceb) PS ( dceb APA ) ( ) PS ( dceb) PS ( dceb APA ) ( ) PS ( dceb APA ) ( ) PS ( dceb CPC ) ( ) La probabltà d A o camba (rsultato aalogo al goco delle tre buste) 18

19 U po d svago: tre prgoer Ad S è estremamete atpatco B, per cu se può fa l suo ome: PA ( SdceB) PAS ( dceb) PS ( dceb) PS ( dceb APA ) ( ) PS ( dceb) PS ( dceb APA ) ( ) PS ( dceb APA ) ( ) PS ( dceb CPC ) ( ) S è costretto a fare l ome d B perché è C a salvars S se può fa l ome d B La probabltà d A sale a ½. U po d svago: tre prgoer Ad S è estremamete atpatco C, per cu se può fa l suo ome: PA ( SdceB) PAS ( dceb) PS ( dceb) PS ( dceb APA ) ( ) PS ( dceb) PS ( dceb APA ) ( ) PS ( dceb APA ) ( ) PS ( dceb CPC ) ( ) Se è A a salvars, S farebbe l ome d C per cu, tal caso, la probabltà che dca B è zero A è scuramete codaato perché se S dce B, è certo che è stato costretto a drlo vsto che C s salverà 19

20 Lezoe 3 I Prcp dell Ifereza Ifereza Deduttva: è u metodo per dervare formazo da fatt accertat; le cocluso cu s arrva co l fereza deduttva soo deftve. È l fereza che matematca s usa per dmostrare teorem. es: SE u tragolo rettagolo ha u agolo d 90 e l tragolo A è rettagolo ALLORA l tragolo A ha u agolo d 90 Iduttva: s geeralzza l espermeto sgolo alla classe d tutt gl espermet sml operado ua sorta d estesoe dal partcolare al geerale. Le geeralzzazo però o soo certe. L fereza duttva è u processo d azzardo e l certezza vee msurata term probablstc. 0

21 Ifereza duttva Uo de compt della statstca è quello d forre metod per fare delle fereze duttve e msurare l grado d certezza. Ifereza Statstca Parametrca s presuppoe d cooscere l modello probablstco caratterzzate l feomeo oggetto d studo, ma o s cooscoo suo parametr. Ifereza Statstca No Parametrca o s coosce eache l modello probablstco caratterzzate l feomeo oggetto d studo. Scopo dell Ifereza Statstca Parametrca è utlzzare rsultat dell espermeto campoaro per gugere alla coosceza (de parametr) della Popolazoe che ha geerato que rsultat da dat osservat per u campoe ad affermazo che rguardao la popolazoe 1

22 La Popolazoe e suo parametr Popolazo fte Ua Popolazoe fta è u seme d utà su cu s può osservare u certo carattere. (es: gl vestmet au d tutte le azede d u paese; l umero d fgl d og famgla talaa) I parametr della popolazoe soo delle costat che descrvoo aspett caratterstc della dstrbuzoe del carattere ella popolazoe stessa. Es: meda e varaza della popolazoe Popolazo fte Ua Popolazoe fta è composta da tutte le utà potezalmete osservabl e o ecessaramete gà esstet fscamete. Il carattere d teresse può essere rappresetato da ua varable casuale co ua certa dstrbuzoe d probabltà. I questo caso s dcherà co popolazoe Y la v.c. Y. I parametr della popolazoe soo le costat caratterstche della dstrbuzoe d probabltà della v.c. Y La Popolazoe e suo parametr Parametr (costat) d maggor teresse: Total (occupat, forza lavoro,...) Mede (reddto pro-capte, ) Proporzo (% d laureat, % d soddsfatt, ) Rapport (tra total, tra mede, ecc.)

23 Teora della Stma Attraverso l osservazoe d u campoe s cerca d valutare u parametro (ua costate) della Popolazoe. Stma Putuale Stma per Itervallo Verfca o Test d Ipotes NB: tutte le affermazo della statstca ferezale soo certe, ma certe probablstcamete Teora della Stma putuale (doma) s estrae u campoe casuale Y1, Y,, Y R ogg valor estratt o soo ot per cu Y1, Y,, Y è ua v.c. s utlzza u opportua fuzoe d rduzoe de dat T T : R R T è detta statstca campoara se NON dpede da altre quattà cogte La statstca campoara T è ua v.c., quato è fuzoe delle v.c. Y. 1, Y,, Y T assume valor ell uverso de campo per cu la sua dstrbuzoe d probabltà è detta dstrbuzoe campoara. 3

24 U esempo d statstca (campoara): la meda campoara Meda campoara: ogg è ua v.c. Y T( Y1,..., Y) y y valor che potrà assumere sarao umero uguale al umero de campo e varerao fuzoe d tal campo y la dstrbuzoe d dpederà dalla dstrbuzoe della Popolazoe Y e sarà caratterzzata, come tutte le dstrbuzo d probabltà, da ua sua meda, ua sua varaza, 1 Y E Y Ey E Y Var y Var Var Y? doma è u umero y y 1 dpede se le estrazo soo dpedet o meo Stma putuale Stmatore: è ua statstca (ovvero ua fuzoe d v.c. che è essa stessa v.c.) utlzzata per stmare l parametro cogto T Y, Y,, Y 1 per esempo: ogg è ua v.c. 0 T y, y,, y t 1 doma è u umero ovvero ua stma d Suppoedo d voler stmare qual è l mglor stmatore che possamo utlzzare? 4

25 Stmator e stme Idealmete vorremmo che, doma, la stma T y1, y,, y qualuque sa l campoe che estrarremo e qualuque sa l valore d. T stmatore ottmale NB: o esste alcu metodo d stma che garatsca stmator ottmal tutte le stuazo d t Errore campoaro o errore d stma Stmator e stme L errore d stma d o può geerale essere azzerato ell dage campoara; d = 0 solo e cesmet ( asseza d o rposte). Come cercare d rdurre d ell dage campoara? dmesoe del campoe d Pao d campoameto NB: per quato detto precedeza o può essere aumetato a pacere. 5

26 Ua propretà degl stmator Uo stmatore T è NON DISTORTO sse ET La o dstorsoe è da cosderars pù come u vcolo che come ua propretà auspcable Lezoe 4 Note d Campoameto Statstco 6

27 Il Campoameto Casuale Semplce (CCS) È lo schema d campoameto pù semplce: corrspode all estrazoe da u ura (tpo umer della tombola). Le utà vegoo scelte CASUALMENTE dalla lsta e og utà ha la stessa probabltà d etrare a far parte del campoe. CASUALMENTE però o vuol dre A CASACCIO. Il terme CASUALE è fatt strettamete coesso co quello d probabltà. C soo var mod per fare u estrazoe casuale, tutt rferbl allo schema d estrazoe da u ura: Tavola de umer casual Geerazoe d umer casual e estrazoe co l calcolatore Il Campoameto Casuale Semplce (CCS) CCS co remmssoe seza remmssoe Qual soo le dffereze? Suppoamo che c sa ua Popolazoe d 4 studet (N = 4) Y è la v.c. età degl dvdu ( a) Valor assut da Y : 18, 0,, 5 Suppoamo (doma) d estrarre u campoe d = studet: (Y 1, Y ) Ogg, c chedamo qual è la dstrbuzoe d Y 1? e quella d Y? 7

28 CCS co remmssoe Y 1 : 1 estratto; Y : estratto NB: le Y ogg soo v.c., doma sarao umer NB :le Y sarao v.c. dpedet (perché l estrazoe è co rmessa) cascua delle qual: o potrà assumere gl stess valor della varable Y ; o avrà ua dstrbuzoe esattamete detca a quella della varable Y. Y1 Y Y Y le Y soo v.c. I.I.D. (dp. detcam. dstrbute) CCS co remmssoe Verfchamola rcorredo all esempo de 4 studet: Osservado l seme de possbl rsultat dell estrazoe: ( Y1, Y ) Prob ( 18 ; 18 ) 1/4*1/4 = 1/16 ( 18 ; 0 ) 1/4*1/4 = 1/16 ( 18 ; ) 1/4*1/4 = 1/16 ( 18 ; 5 ) 1/4*1/4 = 1/16 ( 0 ; 18 ) 1/4*1/4 = 1/16 ( 0 ; 0 ) 1/4*1/4 = 1/16 ( 0 ; ) 1/4*1/4 = 1/16 ( 0 ; 5 ) 1/4*1/4 = 1/16 ( ; 18 ) 1/4*1/4 = 1/16 ( ; 0 ) 1/4*1/4 = 1/16 ( ; ) 1/4*1/4 = 1/16 ( ; 5 ) 1/4*1/4 = 1/16 ( 5 ; 18 ) 1/4*1/4 = 1/16 ( 5 ; 0 ) 1/4*1/4 = 1/16 ( 5 ; ) 1/4*1/4 = 1/16 ( 5 ; 5 ) 1/4*1/4 = 1/16 Y1 prob 18 4/16 = 1/4 0 4/16 = 1/4 4/16 = 1/4 5 4/16 = 1/4 Y prob 18 4/16 = 1/4 0 4/16 = 1/4 4/16 = 1/4 5 4/16 = 1/4 Y prob 18 1/4 0 1/4 1/4 5 1/4 8

29 CCS seza remmssoe Y 1 : 1 estratto; Y : estratto NB: ache questo caso le Y ogg soo v.c., doma sarao umer NB :le Y sarao v.c. dpedet (perché l estrazoe è ora seza rmessa) cascua delle qual: o potrà assumere gl stess valor della varable Y ; o avrà ua dstrbuzoe esattamete detca a quella della varable Y. Y1 Y Y Y le Y soo v.c. I.D. (detcam. dstrbute) NB: dal mometo che l campoameto è seza rmessa, la secoda propretà può apparre d o così mmedata compresoe. CCS seza remmssoe Verfchamola rcorredo all esempo de 4 studet: Osservado l seme de possbl rsultat dell estrazoe: Y prob 18 1/4 0 1/4 1/4 5 1/4 ( Y1, Y ) Prob ( 18 ; 0 ) 1/4*1/3 = 1/1 ( 18 ; ) 1/4*1/3 = 1/1 ( 18 ; 5 ) 1/4*1/3 = 1/1 ( 0 ; 18 ) 1/4*1/3 = 1/1 ( 0 ; ) 1/4*1/3 = 1/1 ( 0 ; 5 ) 1/4*1/3 = 1/1 ( ; 18 ) 1/4*1/3 = 1/1 ( ; 0 ) 1/4*1/3 = 1/1 ( ; 5 ) 1/4*1/3 = 1/1 ( 5 ; 18 ) 1/4*1/3 = 1/1 ( 5 ; 0 ) 1/4*1/3 = 1/1 ( 5 ; ) 1/4*1/3 = 1/1 Y1 prob 18 3/1 = 1/4 0 3/1 = 1/4 3/1 = 1/4 5 3/1 = 1/4 Y prob 18 3/1 = 1/4 0 3/1 = 1/4 3/1 = 1/4 5 3/1 = 1/4 9

30 CCS co e seza remmssoe: replogo NB: le Y ogg soo v.c., doma sarao umer NB : quado l estrazoe è co rmessa, le Y soo v.c. dpedet cascua delle qual avrà ua dstrbuzoe esattamete detca a quella della varable Y (Popolazoe). NB 3 : quado l estrazoe è seza rmessa, le Y soo v.c. dpedet cascua delle qual avrà ua dstrbuzoe esattamete detca a quella della varable Y (Popolazoe). I altre parole, la dstrbuzoe margale d Y (coè quella seza alcu codzoameto a possbl valor assut dalla v.c. Y 1 ) o camba. Quello che camba è la dstrbuzoe d Y codzoata ad Y 1, perché, ad og estrazoe, la popolazoe subsce u cambameto term d frequeze relatve. L esempo de 4 studet: CCS seza remmssoe NB: l esempo è puramete ddattco. I realtà campo s dstguoo per la atura e o per l orde per cu, el caso del CCS seza remmssoe, l uverso de campo { s } è d fatto formato da sol 6 campo: (Y 1,Y ); (Y 1,Y 3 ); (Y 1,Y 4 ); (Y,Y 3 ); (Y,Y 4 ); (Y 3,Y 4 ) tutt co la stessa probabltà d essere estratt. CCS seza remmssoe Prob ( s ) = *1/1 =1/6 30

31 L esempo de 4 studet: CCS co remmssoe NB: poché campo s dstguoo per la atura e o per l orde, caso d remmssoe vece l uverso de campo { s } è d fatto formato da 10 campo: (Y 1,Y 1 ); (Y 1,Y ); (Y 1,Y 3 ); (Y 1,Y 4 ); (Y,Y ); (Y,Y 3 ); (Y,Y 4 ); (Y 3,Y 3 ); (Y 3,Y 4 ); (Y 4,Y 4 ) Attezoe: NON tutt co la stessa probabltà d essere estratt. 116 se j Pr( Y, Yj) 1/8 se j Stma della meda da CCS esempo sulla Popolazoe de 4 studet Y prob 18 1/4 0 1/4 1/4 5 1/4 Y 0,35 P(X) 0,30 N 1 N Y meda da stmare 0,5 0,0 0,15 0,10 0,05 0, Y

32 Stma della meda da CCS (seza remmssoe) stmatore s y ( 18 ; 0 ) 19 ( 18 ; ) 0 ( 18 ; 5 ) 1,5 ( 0 ; ) 1 ( 0 ; 5 ),5 ( ; 5 ) 3,5 y Y ogg è ua v.c. doma è u umero y y 1 NB: essua delle possbl mede campoare che s possoo verfcare assume u valore detco alla meda della popolazoe Stma della meda da CCS (co remmssoe) stmatore s P(s) ( 18 ; 18 ) 1/16 18 ( 18 ; 0 ) 1/8 19 ( 18 ; ) 1/8 0 ( 18 ; 5 ) 1/8 1,5 ( 0 ; 0 ) 1/16 0 ( 0 ; ) 1/8 1 ( 0 ; 5 ) 1/8,5 ( ; ) 1/16 ( ; 5 ) 1/8 3,5 ( 5 ; 5 ) 1/16 5 y y Y ogg è ua v.c. doma è u umero y y 1 NB: ache questo caso essua delle possbl mede campoare che s possoo verfcare assume u valore detco alla meda della popolazoe NB: le possbl mede campoare hao, ovvamete, probabltà d verfcars equvalete a quella del relatvo campoe 3

33 La varaza della meda campoara CCS co remmssoe Y 1 Var y Var Var Y Var Y 1 le varabl soo dpedet per cu tutte le possbl covaraze soo ulle la varaza d tutte le mede d tutt possbl campo d dmesoe che potremmo estrarre è uguale alla varaza della Popolazoe fratto la dstrbuzoe della meda campoara è pù cocetrata della dstrbuzoe della Popolazoe, perché Var y Var Y La varaza della meda campoara CCS seza remmssoe Y 1 Var y Var Var Y Var YCov Y, Yj 1 j N Fattore d correzoe N 1 per Popolazo fte N NB: geerale: 1 N 1 per cu Var y Var y seza rmessa co rmessa a) l estrazoe co rmessa cocde co quella seza rmessa quado = 1 o N b) l fattore d correzoe tede a 1 quado N è molto grade rspetto a 33

34 La varaza della meda campoara (otazoe alteratva) CCS seza remmssoe Se dchamo co: ( Y ) 1 Y S POP N 1 N la varaza elemetare della Popolazoe allora la varaza dello stmatore della meda è: S S N Var y 1 N N Y Y 1 N N 1 N Y Y 1 N N N N 1 N 1 ovvero è la varaza dello stmatore della meda el caso co remmssoe, moltplcata per l Fattore d correzoe per Popolazo fte La varaza della meda campoara: u esempo CCS co remmssoe CCS seza remmssoe P(s) ( 18, 18 ) 0, ( 18, 0 ) 0,15 19 ( 18, ) 0,15 0 ( 18, 5 ) 0,15 1,5 ( 0, 0 ) 0,065 0 ( 0, ) 0,15 1 ( 0, 5 ) 0,15,5 (, ) 0,065 (, 5 ) 0,15 3,5 ( 5, 5 ) 0,065 5 meda 1,5 varaza 3,34375 Etrambe le due dstrbuzo o soo pù uform a dffereza della Popolazoe. y P(s) ( 18, 0 ) 0, ( 18, ) 0, ( 18, 5 ) 0, ,5 ( 0, ) 0, ( 0, 5 ) 0,166667,5 (, 5 ) 0, ,5 meda 1,5 varaza,9167 fattore d correzoe per Popolazo fte y 34

35 CCS seza remmssoe: codce R d smulazoe # stallare prevetvamete la lbrera combat lbrary(combat) #umerostà della POPOLAZIONE da varare a pacere (suggerre more d 0) N=10 POP=sample(1:99,N,rep=F) POP=sort(POP) #umerostà del CAMPIONE da varare a pacere (suggerre more d 10) =5 # cardaltà dell'uverso de possbl campo choose(n,) # uverso de possbl campo # estrazo seza rpetzoe: og campoe ha la stessa probabltà # d essere estratto U=comb(POP,) # la fuzoe t() traspoe la matrce U (verte rghe co coloe) U=t(U) # la fuzoe paste() colla alla strga "X" l umero dell'estrazoe colames(u)=paste("x",1:,sep="") CCS seza remmssoe: codce R d smulazoe # la fuzoe apply() applca ad og rga (ovvero og campoe) d U # la meda e la varaza campoara corretta mu=apply(u,1,mea) s=apply(u,1,var) # la fuzoe cbd() cocatea per coloa ad U vettor # delle mede e delle varaze U=cbd(U,mu,s) # calcolo de valor attes (meda) d mu e s ell'uverso de campo exp.mu=mea(mu) exp.mu exp.s=mea(s) exp.s # calcolo della meda e della varaza sgma^ della POP # che devoo essere cofrotat co valor attes calcolat su U mu.pop=mea(pop) mu.pop s.pop=var(pop) s.pop 35

36 Altre tecche d campoameto (probablstco) Campoameto Casuale Stratfcato proporzoale o proporzoale Campoameto Sstematco Campoameto a Grappol o a Stad Il Campoameto casuale Stratfcato Metodo: 1. suddvsoe della Popolazoe STRATI (partzoe della Popolazoe sottosem esaustv e mutualmete escludetes);. selezoe d campo dpedet da cascuo strato. Obettv: 1. otteere stmator pù precs rspetto al CCS;. Garatre la partecpazoe all dage d utà apparteet a tutt dom d studo. 36

37 Il Campoameto casuale Stratfcato P P 1 P Partzoe della Popolazoe H Strat P H Notazoe: N h h h h N h W Wh 1 h proporzoe d h N popolazoe ello strato h h N h N Il Campoameto casuale Stratfcato Parametro da stmare: Stmatore: Varaza dello stmatore: Y y WY h h W y str h h h ( str) Wh Var( yh ) h Var y h Le covaraza soo zero perché campo soo estratt maera dpedete da uo strato all altro NB: la varaza dello stmatore è qud fuzoe d quella elemetare tera a var strat. La possbltà d rdurre la varaza dello stmatore è qud legata a quella d otteere strat che rsulto (rspetto alla varable d dage) pù omogee della Popolazoe presa el suo complesso. 37

38 Il Campoameto Stratfcato Proporzoale È caratterzzato da frazoe d campoameto costate: f h N h h N f Vatagg: La stratfcazoe proporzoale è molto dffusa e dà luogo a stmator molto semplc e d precsoe o ferore a quella che s otterrebbe co l CCS: N N y W y y h h h Wh st. pr h h h h h h H 1 1 y h h h h h 1 s h y Il Campoameto Stratfcato NON Proporzoale Spesso l prcpale obettvo che s persegue co la stratfcazoe è quello d otteere stme d adeguata precsoe per partcolar sottopopolazo, dette dom d studo, che vegoo fatte cocdere co gl strat. Se u domo è rappresetato da uo strato molto pù pccolo rspetto agl altr è probable che ua stratfcazoe proporzoale o rsult adeguata a garatre al suo tero ua suffcete precsoe degl stmator. La soluzoe cosste ell'applcare quello strato ua frazoe d campoameto dversa (maggore) dalle altre. 38

39 Il Campoameto Stratfcato NON Proporzoale Rpartzoe OTTIMALE: voledo massmzzare la precsoe delle stme, teuto coto delle rsorse ecoomche dspobl, la frazoe d campoameto egl strat dovrà teer coto: f h S h c h varabltà (dev.stadard) elemetare degl strat ( proporzoe dretta); radce quadrata del costo d rlevazoe d u utà egl strat ( proporzoe versa). Negl strat pù eterogee occorre applcare ua h maggore rspetto a quella per gl strat pù omogee, teedo coto delle evetuale dfferezale del costo d rlevazoe. f Il Campoameto Stratfcato NON Proporzoale Se l costo utaro d rlevazoe o vara da strato a strato: f h S h Se s è teressat a cofrotare tra loro le stme de var strat (puttosto che a «foderle» u uco stmatore) e se varaze e cost d rlevazoe possoo essere potzzat approssmatvamete ugual egl strat f 1 f... f H 39

40 Il Campoameto Stratfcato NON Proporzoale Svatagg della rpartzoe ottmale: all atto pratco la rpartzoe ottmale presuppoe ua qualche coosceza d S h. Approssmazo grossolae d tal valor possoo vafcare gl effett della stratfcazoe, fo a codurre a perdte d precsoe rspetto al CCS; dato che le varabl d dage soo geeralmete umerose, o è detto che la rpartzoe ottmale per ua o alcue lo sa per tutte le altre. Il Campoameto Sstematco Metodo: Il campoe è formato prededo ua utà og k preset ella lsta della Popolazoe, a partre dalla prma estratta, co k par al recproco della frazoe d campoameto: k N es: N = 1500, = 100 k = 15 qud s estrae u umero casuale r tra 1 e 15 e s procede co passo k 40

41 Il Campoameto Sstematco NB: el campoameto sstematco, come el CCS, og utà della popolazoe ha la stessa probabltà d etrare a far parte del campoe; dversamete dal CCS, o tutte le uple hao la stessa probabltà d essere estratte. I altre parole, soo solo k possbl campo selezoabl a partre da tutte le possbl uple; l campoameto sstematco può essere rcodotto a ua selezoe equvalete al CCS, se s opera u prelmare dsordameto casuale della lsta della Popolazoe. Il Campoameto a Grappol e a pù Stad I gra parte delle popolazo oggetto d dage le utà d studo soo raggruppate sottopopolazo d vara atura. Esemp: La popolazoe presete sul terrtoro talao è la somma delle sottopopolazo preset su terrtor regoal. All'tero d cascua regoe, la popolazoe è dstrbuta provce, qud comu; e comu, fe, la popolazoe è aggregata famgle. Gl studet d u Ateeo soo classfcat facoltà, quell d ua scuola, class, ecc. Quest raggruppamet d utà possoo essere utlzzat come strat al cu tero estrarre utà. Alteratvamete, possoo essere utlzzat come vereepropre utà d selezoe equestocasosoodeomatgrappol. 41

42 Il Campoameto a Grappol e a pù Stad Metodo 1: L eleco de grappol forma la lsta da cu vee estratto l campoe. Per cu l campoe è formato da tutte le utà apparteet a grappol estratt. campoameto a grappol Metodo : Nel campoe vegoo cluse solo alcue utà selezoate da cascuo de grappol estratt. campoameto a due o pù stad Il Campoameto a Grappol e a pù Stad NB: l umero degl stad dpede da quello de lvell gerarchc d aggregazoe delle utà che vegoo dvduat per effettuare la selezoe. es: u campoe d tala potrebbe essere estratto selezoado zalmete alcue rego, da ogua d queste alcue provce, da cascua provca de comu, da quest delle famgle e, fe, dalle famgle, le persoe che soo oggetto d studo. 4

43 Strat VS Grappol Gl stess aggregat d popolazoe possao essere utlzzat come strat e come grappol. Però gl scop che s perseguoo co la stratfcazoe soo profodamete dvers da quell che s perseguoo co la stadfcazoe. Gl strat dovrebbero essere omogee l pù possble al loro tero e l pù eterogee possble tra loro, quato oguo d ess è rappresetato el campoe. Strat VS Grappol Al cotraro, solo alcu de grappol vegoo selezoat, e quest devoo rappresetare ache quell esclus dalla selezoe. L'deale sarebbe qud che tutt grappol fossero pù eterogee possble al loro tero e, coseguetemete, pù sml possble tra loro. Ipotes estrema: se grappol fossero tutt ugual, cascuo sarebbe ua copa rdotta della Popolazoe; sarebbe qud suffcete selezoare solo uo per avere la stessa formazoe che s otterrebbe da u'dage completa. 43

44 Strat VS Grappol Purtroppo, spesso, grappol o vegoo format da ch estrae l campoe, ma soo aggregazo preesstet ella popolazoe (s pes agl esemp fatt precedeza), caratterzzate da ua certa omogeetà tera che rsulta geeralmete tato pù marcata quato more è la loro dmesoe. Ma l'omogeetà, che ella stratfcazoe è somo d precsoe degl stmator, el campoameto a grappol produce ormalmete ua perdta precsoe rspetto al CCS. Qud, geerale, el campoameto a grappol, per otteere stmator caratterzzat dalla stessa precsoe che hao quell d u CCS d dmesoe, occorre u campoe d dmesoe maggore d. Strat VS Grappol Qud l rcorso ad u campoameto a grappol o a pù stad è legato agl aspett pratc ed ecoomc ad esso collegat: rsulta spesso mpossble (ecoomcamete o materalmete) formare ua lsta delle utà d studo, metre può essere dspoble ua lsta d grappol della popolazoe; per ua prestablta dmesoe campoara, l campoameto a grappol comporta cost geeralmete molto feror a quell del CCS, massma parte per la more dspersoe delle utà del campoe. 44

45 Lezoe 5 Note d Ifereza parametrca (stma putuale e per tervallo) Prma potes d lavoro Ipotes sulla Popolazoe: se o dversamete dcato, el proseguo della trattazoe supporremo che quella d rfermeto sa ua Popolazoe fta Y?, el CCS, due schem d campoameto (co e seza remmssoe) N 1 soo d fatto cocdet; N 1 ad og estrazoe, la popolazoe NON subsce u cambameto term d frequeze relatve per cu le Y soo v.c. I.I.D. 45

46 Stma putuale: stmator d uso frequete el caso d varabl I.I.D. Stmatore per la meda Y 1 Y 1 o è o dstorto: E Y E Y EY E Y o ha varaza: VAR Y VAR Y VAR Y VAR Y Stma putuale: stmator d uso frequete el caso d varabl I.I.D. Stmatore per la varaza 1 ˆ Y Y 1 o è dstorto!!!!! 1 1 E ˆ E Y Y... 1 Stmatore o dstorto della varaza 1 1 S ˆ Y Y Y Y

47 Alcu teorem utl Teorema 1: Se Y NY, Y allora W aby N aby, b Y Ua trasformazoe leare d ua ormale è acora ua Normale Teorema : Se Y N, soo v.c. dpedet allora W Y N, La somma d v.c. Normal dpedet è acora ua dstrbuzoe Normale Secoda potes d lavoro sample mea desty Ipotes sulla dstrbuzoe della Popolazoe: se o dversamete dcato, el proseguo della trattazoe supporremo che la Popolazoe s dstrbusca secodo ua Normale x per teorem precedet: 1 Y Y N, 1 Z Y Y N 0,1 47

48 La dstrbuzoe t d Studet Se sosttuamo l parametro otteuta medate: S co ua sua stma ( NB: è ora la varaza elemetare del campoe ) 1 1 S S Y Y 1 S T Y t t d Studet 1 S co - 1 grad d lbertà La dstrbuzoe t d Studet desty Al crescere d (grad d lbertà) la t tede alla Normale N(0,1) colore rosso per =30 l approssmazoe è da cosderars buoa x 48

49 Stme per tervallo Valgoo le potes dstrbutve sulla Popolazoe fatte precedeza. Suppoamo d voler costrure ua stma per tervallo per l parametro della Popolazoe coè suppoamo d voler costrure u tervallo d cofdeza per Il lvello d cofdeza è la probabltà che tervallo. Cofdeza Fduca cada tale Itervall d cofdeza I geerale, l tervallo d cofdeza per defto da co: Pr l L 1 l f Y, Y,, Y 1 L g Y, Y,, Y 1 rsulta lmte ferore (è ua v.c.) lmte superore (è ua v.c.) 1 Lvello d cofdeza Probabltà d sbaglare 49

50 Itervall d cofdeza Lvello d cofdeza: la probabltà che l tervallo casuale cotega al suo tero l parametro è par a 1,,,,, ly1 Y LY1 Y Iformatvtà dell tervallo: sarà tato pù alta quato pù è stretto l tervallo Stuazoe ottmale: Itervallo stretto Lvello d cofdeza elevato Se aumeta l lvello d cofdeza, aumeta l ampezza dell tervallo MA dmusce l formatvtà dello stesso, a meo che o s aumet la dmesoe del campoe Itervall d cofdeza Per determare l tervallo d cofdeza per u geerco parametro, s cerca ua espressoe (quattà pvotale) cu: deve comparre solo l parametro da stmare e o altr parametr cogt (o d dsturbo); la cu dstrbuzoe è perfettamete ota. Ua volta dvduata questa espressoe s può, solado l parametro, costrure l tervallo d cofdeza (questo metodo è detto metodo del pvot). 50

51 Itervall d cofdeza per ( ota) Se la varaza della Popolazoe è ota: 1 Y Y N, 1 No è quattà pvotale perché solo la forma della dstrbuzoe è ota ma o la dstrbuzoe esatta Stadardzzamo Y : Y N 0,1 Questa è quattà pvotale, perché la dstrbuzoe è perfettamete ota (tabulata) e l espressoe cotee u uco parametro cogto possamo applcare l Metodo del Pvot Itervall d cofdeza per ( ota) Partamo da u affermazoe probablstcamete vera relatva alla quattà pvotale: Y Pr z z 1 NB: date le propretà della dstrbuzoe, questo è l pù pccolo tervallo otteble al lvello d probabltà desderato 51

52 Itervall d cofdeza per ( ota) Pvotamo rspetto al parametro cogto : Pr z Y z 1 Pr Y z Y z 1 Pr Y z Y z 1 Itervallo d cofdeza per la meda d ua Popolazoe Normale co varaza ota Itervall d cofdeza per ( NON ota) Se la varaza della Popolazoe NON è ota: 1 Y Y N, 1 Stadardzzamo Y : Y N 0,1 No è quattà pvotale perché solo la forma della dstrbuzoe è ota ma o la dstrbuzoe esatta Neache questa è quattà pvotale, perché la dstrbuzoe o è ota quato l espressoe cotee l parametro cogto ed u parametro d dsturbo. sosttuamo l parametro d dsturbo (cogto) co ua sua stma 5

53 Itervall d cofdeza per ( NON ota) Y t S 1 Questa è quattà pvotale, perché la dstrbuzoe è perfettamete ota (tabulata) e l espressoe cotee u uco parametro cogto possamo applcare l Metodo del Pvot Partamo da u affermazoe probablstcamete vera relatva alla quattà pvotale: Y Pr t t 1, 1 S, 1 La t d Studet ha le stesse propretà della Normale, per cu questo è l pù pccolo tervallo otteble al lvello d probabltà desderato Itervall d cofdeza per ( NON ota) Pvotamo rspetto al parametro cogto : S S Pr t Y t 1, 1, 1 S S Pr Y t Y t 1, 1, 1 S S Pr Y t Y t 1, 1, 1 Itervallo d cofdeza per la meda d ua Popolazoe Normale co varaza NON ota 53

54 Teorema Lmte Cetrale Suppoamo ora che NON valga pù l potes sulla Normaltà della Popolazoe. Y Y?, Se,, 1 soo v.c. I.I.D. co parametr ft, allora Y N Corollaro al TLC: 0,1 Y ovvero la stadardzzazoe della meda campoara tede, al crescere d, a dstrburs come ua Normale stadard N, Teorema Lmte Cetrale Esempo: Popolazoe d tpo Beroullao ( p = 0.1 ) Cetral LmtTheorem Cetral LmtTheorem Desty Desty = 0 = 30 Desty Uverso de campo smulato medate estrazo d campo d dmesoe Cetral LmtTheorem = 40 = 50 Desty Cetral LmtTheorem

55 Teorema Lmte Cetrale Esempo: Popolazoe d tpo Beroullao ( p = 0.3 ) Cetral LmtTheorem Cetral LmtTheorem Desty = 0 = 30 Desty Uverso de campo smulato medate estrazo d campo d dmesoe Cetral LmtTheorem Cetral LmtTheorem Desty Desty = 40 = Teorema Lmte Cetrale Esempo: Popolazoe d tpo Beroullao ( p = 0.5 ) Cetral LmtTheorem Cetral LmtTheorem Desty Desty = 0 = 30 Desty -4-0 Uverso de campo smulato medate estrazo d campo d dmesoe Cetral LmtTheorem = 40 = 50 Desty Cetral LmtTheorem

56 Teorema Lmte Cetrale Esempo: Popolazoe d tpo Uforme (0,1) Cetral LmtTheorem Cetral LmtTheorem Desty = 0 = 30 Desty Cetral LmtTheorem -4-0 Uverso de campo smulato medate estrazo d campo d dmesoe Cetral LmtTheorem Desty Desty = 40 = Itervall d cofdeza per p ( = ) Se la Popolazoe è Beroullaa e le v.c. soo I.I.D.: 1 Y Y pˆ 1 ˆ E Y E p p VAR pˆ VAR Y Per l T.L.C.: pˆ pq p N 0,1 La meda campoara è la proporzoe campoara d success osservat el campoe pq ua Beroull ha meda p e varaza pq NB: questa NON è quattà pvotale, perché la dstrbuzoe o è ota quato l espressoe cotee l parametro cogto sa a umeratore che a deomatore. 56

57 Itervall d cofdeza per p pˆ p pq ˆˆ A N 0,1 Questa è quattà pvotale, perché la dstrbuzoe è perfettamete ota (tabulata) e l espressoe cotee u uco parametro cogto possamo applcare l Metodo del Pvot Partamo da u affermazoe probablstcamete vera relatva alla quattà pvotale: pˆ p Pr z z 1 pq ˆˆ Itervall d cofdeza per p Pvotamo rspetto al parametro cogto p : pq ˆˆ pq ˆˆ Pr z ˆ p p z 1 pq ˆˆ pq ˆˆ Pr pˆ z p pˆ z 1 Itervallo d cofdeza per la proporzoe d ua Popolazoe Beroullaa 57

58 Itervall d cofdeza: replogo Pr Y z Y z 1 S S Pr Y t Y t 1, 1, 1 pq ˆˆ pq ˆˆ Pr pˆ z p pˆ z 1 per, oto per, o oto per p Lvello d cofdeza z t Lvello d cofdeza, dpede da grad d lbertà della t Itervall d cofdeza: determazoe della dmesoe campoara caso: tervallo per, oto chamamo ME la sem-ampezza dell tervallo Itervallo cofdeza = stma putuale ± ME ME = MARGINE d ERRORE ME ME lo stablsce l rcercatore el mometo cu valuta l formatvtà dell tervallo relazoe al suo lvello d cofdeza. Tal cosderazo cosetoo d determare la umerostà campoara adeguata relazoe a lvello d cofdeza e ME desderat. z z ME 58

59 Itervall d cofdeza: determazoe della dmesoe campoara caso: tervallo per p Itervallo cofdeza = stma putuale ± ME dove: ME z pˆ(1 pˆ) z pˆ(1 pˆ) pˆ(1 pˆ) ME Però o è calcolable se o dopo aver estratto l campoe; e per estrarre l campoe occorre cooscere. Itervall d cofdeza: determazoe della dmesoe campoara caso: tervallo per p pˆ(1 pˆ) S sosttusce a l massmo valore assumble dalla varaza el caso d dstrbuzoe d Beroull. se p 0.5 pq 0.5 z 0.5 ME 59

60 Itervall d cofdeza: determazoe della dmesoe campoara caso: tervallo per p es: quate utà occorre selezoare da ua popolazoe beroullaa (fta o ad essa equparable) per stmare la proporzoe d success ella popolazoe co u marge d errore del 4%? lvello d cofdeza Lezoe 6 Note d Ifereza parametrca (verfca d potes) NB: questa lezoe o è el programma d Statstca. È stata serta solo per agevolare l rpasso d cocett acqust al corso d Pscometra. 60

61 Verfca (test) delle potes La dffereza rspetto alla teora del stma cosste el fatto che qualcuo c forma che l parametro assume u certo valore: Ipotes statstca sul parametro: è u affermazoe che specfca completamete o parzalmete la legge d dstrbuzoe d u feomeo. Per esempo, per potes sulla meda: potes semplce: potes composta: X N 5, X N 5 8, Verfca (test) delle potes Def: Test d potes è ua regola attraverso la quale s accetta o meo l potes formulata sulla base dell evdeza campoara coè base al rsultato campoaro che ottego s decde d accettare o respgere l potes formulata. NB: se accettamo ua determata potes statstca o è detto che questa sa vera 61

62 Verfca (test) delle potes I realtà le potes soo due: H H 0 1 : 0 : 40 H H : : dove ecessaramete: 0 1 Alcu esemp: reddto medo de goeller (mglaa d euro aue) H H 0 1 : 0 : 0 potes ulla potes alteratva H H 0 1 : 0 : 0 L potes ulla è geerale l potes a cu o s crede; ovvero l potes che l rcercatore spera o crede sa falsa. S chama NULLA perché se ruscamo a respgerla s fa qualcosa metre se l accettamo, geerale, o s fa ulla. Verfca (test) delle potes dato l Uverso de Campo C, C u test delle potes cosste el C 0 bpartre tale Uverso due sottosem dsgut C 0 e C 1 C 1 modo tale che s decde d rfutare l potes H 0 se l puto campoaro cade C 1 e vceversa d accettarla se cade C 0 C 1 prede l ome d Regoe Crtca. È mportate che C sa bpartto el mglor modo possble ovvero è mportate dvduare la mglor Regoe Crtca 6

63 Verfca (test) delle potes Tavola decsoale AZIONI H 0 vera STATI DI NATURA H 1 vera respgo H 0 Err I tpo OK o respgo H 0 OK Err II tpo Ogg o sappamo quale d quest rsultat s verfcherà. Pertato u test delle potes è sempre formato da decso guste e da decso errate. Verfca (test) delle potes Come sceglere la mglor Regoe Crtca? S cerca d stablre (ogg), prma d estrarre l campoe (doma) u crtero d decsoe maera tale da sapere a pror quado respgere l potes H 0 e quado o respgerla. Naturalmete c farebbe pacere adottare a pror u crtero d comportameto tale che la probabltà d commettere gl error d prmo e secodo tpo sa la pù pccola possble. NB: a pror s possoo commettere etrambe gl error, a posteror s può commettere u solo tpo d errore. 63

64 Verfca (test) delle potes Def: EI H0 H0 E H H Pr Pr respgere è vera Pr Pr o respgere è vera II Stuazoe ottmale:, ma questo vorrebbe dre esser cert d quello che affermamo, e o è possble esser cert sulla base dell estrazoe d u campoe Ioltre le due probabltà e varao seso verso per cu rsulta mpossble mmzzarle etrambe. Verfca (test) delle potes Pass da segure per l dvduazoe della mglor Regoe Crtca: s fssa la probabltà d commettere l errore pù grave, ovvero s fssa la Pr E s scegle la varable test da utlzzare: la varable test è uo stmatore del parametro sottoposto a test oppure è ua sua trasformazoe (ad es. ua stadardzzazoe) s determa la mglor regoe crtca mmzzado la probabltà d commettere l errore d secodo tpo Pr E I II 64

65 Verfca (test) delle potes Test sulla meda co varaza ota H H : : varable test sotto H 0 : X 0 N 0,1 Verfca (test) delle potes Test sulla meda co varaza ota H H : : varable test sotto H 0 : X 0 N 0,1 65

66 Verfca (test) delle potes Test sulla meda co varaza ota H H : : varable test sotto H 0 : X 0 N 0,1 Verfca (test) delle potes Test sulla meda co varaza ota H0 : varable test 0 sotto H H1: 0 : 0 X 0 N 0,1 66

67 Verfca (test) delle potes Test sulla meda co varaza NON ota H0 : 0 H1: 1 H0 : 0 varable test X 0 H1: 0 sotto H 0 : S H0 : 0 H1: 0 H0 : 0 H1: 0 t 1 Verfca (test) delle potes Test sulla proporzoe H : p p H : p p H : p p H : p p H : p p H : p p H : p p H : p p varable test sotto H 0 : pˆ p pq N 0,1 67

68 Verfca (test) delle potes: POTENZA del TEST H Pr E Pro respgere H H è vera 1 II 0 1 H 1H Prrespgere H H è vera La Poteza o Forza del TEST è la probabltà d NON commettere u errore d secoda spece Rsulta fluezata da: lvello d sgfcatvtà prescelto; dalla specfca dell potes alteratva; dalla dmesoe del campoe. Verfca (test) delle potes: POTENZA del TEST 68

69 Verfca (test) delle potes: POTENZA del TEST H 0 : H 1 : ma mao che la specfca dell potes alteratva s sposta verso destra, la poteza cresce Cofroto fra campo dpedet Test sulla meda co varaze, X Y ote H H H H H H : : : : : : X X X X X X Y Y Y Y Y Y varable test sotto H 0 : X Y 0 X Y m m X Y X Y N 0,1 dove:, m soo le dmeso de due campo 69

70 Cofroto fra campo dpedet Test sulla meda co varaze NON ote ma = H H H H H H X : X : X : X : X : X : X Y Y Y Y Y Y Y varable test sotto H 0 : X Y 0 X Y S S m 1 1 S m t m dove:, m soo le dmeso de due campo; S m ( X X) ( Y Y) 1SX m1s Y 1 1 m m Cofroto fra campo dpedet Test sulla meda co varaze NON ote e H H H H H H X : X : X : X : X : X : X Y Y Y Y Y Y Y varable test sotto H 0 X Y : S S m X Y m, N 0,1 dove:, m soo le dmeso de due campo NB: se, m soo pccol, allora o s può fare ete perché o è ota la dstrbuzoe della varable test (Beheres Fsher problem) 70

71 Cofroto fra campo dpedet Test sulla proporzoe: adesso, l potes H 0 specfca automatcamete l uguaglaza tra le varaze H0 : p1 p p H1: p1 p H0 : p1 p p H1: p1 p H0 : p1 p p H1: p1 p varable test sotto H 0 : 1 pˆ ˆ 1 p 0 VAR pˆ pˆ 1 pˆ ˆ 1 p pq pq m pˆ pˆ 1 1 pq m m, N 0,1 Cofroto fra campo dpedet Test sulla proporzoe H0 : p1 p p H1: p1 p H0 : p1 p p H1: p1 p H0 : p1 p p H1: p1 p varable test sotto H 0 : pˆ pˆ pq ˆˆ m m, N 0,1 stmado p medate lo stmatore o dstorto pˆ mpˆ pˆ m 1 perché l potes H 0 specfca automatcamete l uguaglaza tra le varaze 71

72 Lezoe 7 Aals dell assocazoe tra varabl categoral U breve rpasso Varable quattatva: assume valor che rappresetao dvers ord d gradezza (o lvell d testà) del feomeo msurato (es: peso, altezza, reddto, temperatura, durata d ua lampada, ecc.) Il cofroto a coppe de possbl valor rlevat per ua varable quattatva geerale produce ua scala d tervall. Se la scala preseta u orge o covezoale ma fssa s parla d scala d rapport (es: temperatura VS durata lampada). Varable categorale (o qualtatva): assume valor che detfcao u seme d categore (es: geere, status occupazoale, credo relgoso, prefereza poltca, ecc.) Le categore che o presetao essu ordameto formao ua scala omale. Le categore che vece presetao u ordameto aturale de loro valor formao ua scala ordale (es: ttolo d studo). Le varabl ordal possedoo qud ua caratterstca delle scale quattatve: l cocetto d «more» o «maggore» che e determa l ordameto. 7

73 L assocazoe tra varabl I geerale, s ha assocazoe tra due varabl se la dstrbuzoe d ua varable vara al varare dell altra varable. I questa lezoe sarao presetat metod per descrvere l assocazoe tra varabl categoral. Tra due varabl categoral, ua assume geeralmete l ruolo d varable rsposta, l altra d varable esplcatva. U modo per verfcare se la dstrbuzoe d ua varable vara al varare dell altra varable è attraverso l aals della cosddetta tavola d cotgeza. es: Area Geere Umastca Igegerstca Medca Totale Masch Femme Totale Tavole d cotgeza (replogo) Se, relazoe allo studo d u certo feomeo, s rlevao due varabl X (co s modaltà) e Y (co r modaltà), cascua delle utà osservate sarà caratterzzata da u seme d coppe d valor:, co x y j 1...s ; j 1...r a cascua delle qual è assocata ua certa frequeza assoluta o relatva d osservazoe. f j j j 73

74 Tavole d cotgeza (replogo) y 1 y y j y r x 1 f 11 f 1 f 1j f 1r f 1. x f 1 f f j f r f. x f 1 f f j f r f. x s f s1 f s f sj f sr f s. f.1 f. f.j f.r 1 co: f X x Y y f rel j j r s f f f f. j. j j j1 1 dstrbuzo margal Tavole d cotgeza (replogo) Calcolo delle dstrbuzo codzoate (relatve) es: XYy 1 x 1 f 11 /f.1 x f 1 /f.1 x f 1 /f.1 x s f s1 /f.1 1 frel X x / Y y1 f X x Y y f f Y y f rel 1 1 rel 1.1 NB: la formula utlzzata è aaloga al Prcpo delle Probabltà codzoate esposto ella Lezoe Aalogamete, la dstrbuzoe d Y codzoatamete alla -esma modaltà d X: f Y y /Xx rel j f f j. 74

75 Idpedeza e dpedeza statstca Idpedeza statstca: ella Popolazoe due varabl categoral soo statstcamete dpedet se tutte le dstrbuzo codzoate d ua varable a cascua categora dell altra soo detche. Ovvero se e solo se: / / f X x Y y f X x rel j rel f Y y X x f Y y rel j rel j quato l codzoameto o sortsce effetto., j Qud, caso d dpedeza: f f f f oppure f f f f j j.. j j.. j. j f. Idpedeza e dpedeza statstca Dpedeza statstca: se, ella Popolazoe, tutte le dstrbuzo codzoate d ua varable a cascua categora dell altra NON soo detche, allora esste assocazoe tra due varabl che soo dette statstcamete dpedet. Cas estrem d dpedeza: MASSIMA ASSOCIAZIONE (DIPENDENZA PERFETTA): La varable Y dpede perfettamete da X se, corrspodeza d og modaltà d X, s verfca ua sola modaltà d Y. INTERDIPENDENZA PERFETTA Cascua varable dpede perfettamete dall altra (dpedeza perfetta blaterale solo per tavole quadrate). 75

76 Idpedeza e dpedeza statstca y1 y y3 x1 0 0 x 0 0 x3 0 0 x4 0 0 Dpedeza perfetta Comuque s osserv ua x, samo grado d dre quale y s è verfcata, per cu Y dpede perfettamete da X. Il vceversa o è vero. y1 y y3 x1 0 0 x 0 0 x3 0 0 Iterdpedeza perfetta Adesso la dpedeza perfetta è blaterale. NB: la dpedeza perfetta è rara, e s osserva esclusvamete quado tra le due varabl esste ua dpedeza determstca (ovvero ua delle due varable è fuzoe dell altra). Idpedeza e dpedeza statstca: Popolazoe VS evdeza campoara NB: l cocetto d dpedeza è aalogo a quello defto ella lezoe «I Prcp della Probabltà»; la relazoe s rfersce all tera Popolazoe. Però s osservao dat d atura campoara, che possoo evdezare ua «forza» della relazoe dfferete da quella che caratterzza l tera Popolazoe... altre parole, a causa della varabltà campoara, le dstrbuzo codzoate el campoe sarao geerale dverse da quelle osservabl a lvello d tera Popolazoe. DOMANDA: è plausble rteere che le dffereze a lvello d dstrbuzo codzoate osservate el campoe sao dovute soltato al caso? 76

77 Idpedeza e dpedeza statstca: Popolazoe VS evdeza campoara Rtorado al caso dell esempo zale, (avedo osservato u campoe d 483 dvdu), è possble affermare che c è assocazoe tra le varabl Area e Geere ella Popolazoe? Area Geere Umastca Igegerstca Medca Base Masch 19.5% 39.5% 41.0% 05 Femme 34.5% 5.9% 39.6% Le dstrbuzo della varable Area, codzoate a due lvell della varable Geere soo dverse, ma tale dffereza, rscotrata questo campoe, è dovuta al caso o alla struttura della Popolazoe? Test ch-quadrato d dpedeza H0 : le varabl soo statstcamete dpedet H1 : le varabl soo statstcamete dpedet NB: l test rchede che dat sao otteut attraverso u campoameto casuale e chel campoe sa suffcetemete grade. statstca test (ch-quadro d Pearso): f f o e f e co la sommatora che agsce su tutte le celle della tavola d cotgeza dove: f f o e frequeze osservate frequeze attese f f ( caso d dpedeza) j.. j.. j 5 tutte le celle 77

78 Test ch-quadrato d dpedeza Quado H 0 è vera, le frequeze osservate e attese tedoo ad essere vce og cella e la statstca test assume valor relatvamete pccol. Se H 0 è falsa, alcue dffereze sarao rlevat, elevado l valore della statstca test. Pù grade è l valore d, maggore è l evdeza campoara cotro H 0. es: Area Geere Umastca Igegerstca Medca Totale Masch 40 (57.7) 81 (64.9) 84 (8.3) 05 Femme 96 (78.3) 7 (88.1) 110 (111.7) 78 Totale Dstrbuzoe d probabltà ch-quadrato La dstrbuzoe della statstca test ell uverso de campo tede, per elevate umerostà campoare, alla dstrbuzoe d probabltà ch-quadro. Destà della varable Ch-Quadro al crescere de g.l. dchsq(x, df = gl) x Propretà della dstrbuzoe Ch-quadro: a. è defta b. è asmmetrca postva (coda allugata verso dx); c. la sua forma dpede dall uco parametro «grad d lbertà» gdl ; d. la sua meda è = gdl ; e. la sua varaza è gdl ; f. all aumetare de gdl la dstrbuzoe tede alla Normale 78

79 Test ch-quadrato d dpedeza I ua tavola d cotgeza co r rghe e c coloe, per sottoporre a verfca l potes H 0 : dpedeza : gdl = (r 1)(c 1) Questo perché, dat vcol mpost dalle dstrbuzo margal, soo solo (r 1)(c 1) le celle cu valor possoo essere lberamete attrbut etro cert marg d «lbertà» dettat dalle varabl oggetto d studo. r rghe c coloe Test ch-quadrato d dpedeza Poché pù grade è l valore d, maggore è l evdeza campoara cotro H 0, è ragoevole collocare la regoe crtca del test ella coda destra della dstrbuzoe Ch-quadro. Il p-value msura qud la probabltà, qualora sa vera H 0, che s verfcho valor almeo grad quato l valore d effettvamete osservato. se p-value < (lvello d sgfcatvtà prescelto) s respge H 0 79

80 Test ch-quadrato d dpedeza es: Area Geere Umastca Igegerstca Medca Totale Masch 40 (57.7) 81 (64.9) 84 (8.3) 05 Femme 96 (78.3) 7 (88.1) 110 (111.7) 78 Totale % Pr(Χ gdl ) caso d dpedeza, l valore osservato o uo acor pù estremo avrebbero ua probabltà d verfcars cas su respgo l potes d dpedeza. Acora sul test ch-quadrato d dpedeza Uo comodo strumeto d calcolo su web: NB: Il test s applca geeralmete a varabl omal. No usa la caratterzzazoe aggutva delle varabl ordal. No è ecessaro dvduare ua varable rsposta e ua esplcatva. Il test o dce ulla o quas sulla forza dell'assocazoe. Se l p value è molto pccolo, è evdetemete u segale d ua dpedeza mportate. Che o samo però grado d quatfcare. 80

81 Acora sul test ch-quadrato d dpedeza Il test o dce ulla o quas sulla forza dell'assocazoe. Dmostrazoe emprca: Area Geere Umastca Igegerstca Medca Totale Masch 400 (577.) 810 (649.4) 840 (83.4) 050 Femme 960 (78.8) 70 (880.6) 1100 (1116.6) 780 Totale Prma: Ora: Eppure, la moltplcazoe per 10 d tutte le celle o ha alterato la relazoe tra le due varabl. I altre parole, le dstrbuzo codzoate soo le stesse d prma. La struttura dell assocazoe: resdu Ua compoete mportate della statstca test soo le dffereze f o f e. Tal dffereze, dette resdu, cosetoo d compredere se cas osservat soo msura maggore o more d quell attes. I resdu rsetoo però dell orde d gradezza delle frequeze osservate. Per svcolars da tale effetto occorre calcolare cosddett resdu stadardzzat aggustat (RSA): RSA j.. j j f o fe f e (1 f. )(1 f. j ).. j.. j

82 La struttura dell assocazoe: resdu Quado H 0 : le varabl soo dpedet è vera, RSA seguoo, per grad campo, ua dstrbuzoe approssmatvamete ormale stadardzzata (qud co meda 0 e devazoe stadard crca 1). Qud, sempre se H 0 : le varabl soo dpedet è vera, le stuazo RSAj dovrebbero verfcars solo (crca) el 5% de cas (per le caratterstche della Normale Stadard). Le stuazo RSAj 3 soo poco verosml sotto H 0 e dce dell'essteza d ua vero (coè o dovuto al caso, ovvero all osservazoe d u partcolare campoe) effetto assocatvo quelle determate celle. Tavole x : ch-quadro e dffereza d proporzo Nel caso d tavole (o tabelle), a ua varable dcotomca assume l ruolo d varable rposta (geercamete successo / successo) e s cotrappoe a ua varable esplcatva ach'essa dcotomca che geeralmete rappreseta l affereza a due grupp della stessa popolazoe o a due dstte popolazo. varable rsposta successo successo grp grp 1-1 soo dstrbuzo codzoate 1 : la probabltà d successo per la popolazoe 1 : la probabltà d successo per la popolazoe. 8

83 Tavole x : ch-quadro e dffereza d proporzo Qud, el caso d tavole : H 0 : rsposta e esplcatva soo dpedet statstca test per l cofroto tra proporzo z ˆ pool 1 ˆ ˆ 0 1 ˆ pool (s vedao le ultme due dapostve della lezoe 6). H0 : 1 H1: 1, 1. ˆ 1. ˆ stmado medate lo stmatore o dstorto: ˆ pool 1.. perché l potes H 0 specfca automatcamete l uguaglaza tra le varaze 1.. N 0,1 Tavole x : ch-quadro e dffereza d proporzo NB. Nel caso d tavole : esste la relazoe: z ovvero l quadrato della statstca test z corrspode al valore del test d Pearso; A lvello astotco, l p-value otteuto dalla dstrbuzoe del ch-quadro è lo stesso d quello per l test blaterale che usa la statstca z. Elevado al quadrato u qualsas z-score assocato ad ua certa probabltà su due code s ottee l valore del ch-quadro co gdl = 1 corrspodete alla stessa probabltà sottesa alla coda destra della dstrbuzoe. dorm(x) dchsq(x, df = 1) x x.05 z z, gdl

84 Tavole x : ch-quadro e dffereza d proporzo esempo varable rsposta test OK test KO 1 turo turo L aver superato l test dpede dal turo cu questo è stato svolto? Pearso expect freq. Pearso 1 turo turo Pearso test dff. prop. 1 -hat: 0,764 -hat: 0, ˆ pool z ˆ ˆ ˆ 1 ˆ pool pool 1.. s accetta l potes d dpedeza H 0 Acora sulle Tavole x : l Odds-Rato Def: quota (odd) probabltà d successo odd= probabltà d successo Se la probabltà d successo è maggore d quella d successo odd > 1, altrmet 0 odd < 1. odd = 1 mplca che le due probabltà cocdoo. Def: odd rato (rapporto tra quote) odd rga1 odd rga è l rapporto tra gl odd delle due rghe della tabella. 84

85 Come terpretare l odds-rato varable rsposta successo successo grp grp L odd-rato è ua buoa msura dell'assocazoe tabelle l'odds el grp1 è uguale all odd el grp, coè la varable esplcatva o flueza la varable rsposta; l affereza al grp1 è, o può essere, causa del verfcars del «successo»; l affereza al grp è, o può essere, causa del verfcars del «successo». Acora sulle Tavole x : l Relatve Rsk Def: Relatve Rsk 1 RR= a a b c c d varable rsposta successo successo grp1 a b grp c d S dmostra che: se l RR a c a b c d per cu l tervallo d cofdeza al 95% per l RR è: e RR RR RR RR l 1.96 se l l 1.96 se l ; e Gl zero possoo causare problem el calcolo dello stadard error del l(rr); tale problema vee aggrato aggugedo 0.5 a tutte le celle (a, b, c, d). 85

86 Assocazoe tra varabl ordal Quado le varabl categoral soo d tpo ordale è possble sfruttare l'formazoe che provee dall'ordameto aturale delle loro modaltà. Suppoamo che X e Y sao due varabl ordal. I questo caso, s parla d: Assocazoe postva: quado soggett classfcat co elevat valor d X tedoo a mafestare ache elevat valor d Y e vceversa. Assocazoe egatva: quado soggett classfcat co elevat valor d X tedoo a mafestare bass valor d Y. Assocazoe tra varabl ordal: cocordaza e dscordaza Poché elle tavole d cotgeza bvarate og caso statstco è defto medate ua coppa d valor osservat (x,y) Defzoe: Ua coppa d cas statstc è cocordate quado uo de due cas è superore all altro etrambe le varabl osservate. Ua coppa d cas statstc è dscordate quado uo de due cas è superore all altro ua varable, ma ferore ella secoda varable che compoe l osservazoe. 86

87 Assocazoe tra varabl ordal: cocordaza e dscordaza Esempo: Calcolamo le coppe d soggett cocordat (C) e dscordat (D). Assocazoe tra varabl ordal: cocordaza e dscordaza Ad esempo, 16 soggett ella prma cella soo cocordat quado appaat co cascuo de ( ) soggett sotto e a destra che soo cotraddstt tutt dal mostrare categore pù alte per cascua delle due varabl oggetto d studo. Smlmete, 36 soggett ella secoda cella della prma rga soo cocordat co (1 + 8) soggett che appartegoo a categore pù elevate per cascua varable. 87

88 Assocazoe tra varabl ordal: l dce gamma Se C D >0 Se C D <0 assocazoe postva. assocazoe egatva. NB: C e D dpedoo dalla dmesoe campoara. Per elmare tale effetto s stadardzza la dffereza C D per l umero d coppe total (C + D): dce gamma ˆ C D C D Assocazoe tra varabl ordal: l dce gamma Propretà d gamma: l valore d gamma vara tra 1 e +1; l sego d gamma dca se l'assocazoe è postva o egatva; maggore è l valore assoluto d gamma, pù forte è l'assocazoe. Per la tavola d cotgeza Reddto famlare VS Felctà: ˆ l campoe evdeza ua assocazoe postva tra reddto famlare e felctà. 88

89 Lezoe 8 Aals dell assocazoe tra varabl quattatve Lo scatter plot U esempo: l data set IRIS Il grafco evdeza ua assocazoe postva tra la varable X (lughezza de petal) e la varable Y (larghezza del petalo). All aumetare d ua varable, aumetao meda ache valor assut dall altra (ovvero ache l altra tede ad aumetare). Petal.Wdth Code R: data(rs) attach(rs) plot(petal.legth,petal.wdth,pch=16) Petal.Legth 89

90 Lo scatter plot Nel caso d relazo bvarate, lo scatter plot è uo strumeto molto utle quato auta a compredere se esste ua qualche assocazoe tra le varabl X e Y. Ovvero, al varare d ua varable l atra tede ad aumetare? Oppure a dmure? Se al varare d ua varable l altra o vara, ovvero tede a varare maera assolutamete casuale, allora samo asseza d assocazoe. rorm(100) rorm(100) Ua msura d co-varazoe: la covaraza Dalla lezoe 7: s ha geerale assocazoe tra due varabl se la dstrbuzoe d ua varable vara al varare dell altra varable. I caso d ua varable quattatva: Varaza: VAR( X ) x f x x f 1 1 I caso d DUE varabl quattatve: COVARIANZA: COV ( X, Y ) x x yj y fj j 90

91 La covaraza Nel caso d N coppe d valor sgol, ovvero d dat o raggruppat secodo ua tavola (dscreta) doppa: N 1 COVARIANZA: COV ( X, Y ) x xy y N 1 NB: el cotuo o avre ua tavola e o potre rcorrere alla sommatora. Ioltre: se l espermeto casuale deve essere acora effettuato, è possble defre la covaraza tra due varabl casual X e Y come: COV ( X, Y ) E X x Y y La covaraza Nel caso d varabl statstcamete dpedet, s dmostra che: COV ( X, Y ) x y f j x j y j x y f f j x j y.. j x f y f 0 x. j y. j j quato: x f x f f 0 x.. x. x x y f y f f 0 j y. j j. j y. j y y j j j 91

92 La covaraza NB: se la COV = 0, o è detto che X e Y sao dpedet esempo: caso d dpedeza perfetta d X da Y COV ( X, Y ) x y f j x j y j ( 3)(14 15).5 ( 3)(16 15).5 (4 3)(15 15) La covaraza: terpretazoe Petal.Wdth y IV I III II 1 3 x Petal.Legth Quadrat: I: x x yj y II: x x yj y III: x x yj y IV: x x yj y 0; 0 0; 0 0; 0 0; 0 qud, : put I e III: cotrbuscoo postvamete al calcolo della COV; put II e IV: cotrbuscoo egatvamete al calcolo della COV. 9

93 La covaraza: terpretazoe Nel caso cu, come ell esempo, la uvola d put s trov prevaletemete all tero del I e III quadrate, allora la covaraza è postva. I tal caso, all aumetare d ua varable, l altra meda aumeta. Petal.Wdth y IV III I II 1 3 x Petal.Legth Se la covaraza è egatva, la uvola de put s trova prevaletemete all tero del II e IV quadrate. I tal caso, all aumetare d ua varable, l altra meda dmusce. Acora sulla covaraza Ua propretà: COV ( ax, by ) ax a by b f j j x j y j a x b y f x j y j ab x y f abcov ( X, Y ) j x j y j ovvero, cambado utà d msura camba l valore della covaraza. Il suo valore, qud, d per sé o è dcatvo d ete. Solo l suo sego è formatvo. 93

94 Cofroto tra scatter plot Etrambe grafc llustrao stuazo a covaraza postva. Dal cofroto (codotto ovvamete a partà d scala) è però mmedato compredere quale sa l cotesto cu s osserva u assocazoe pù stretta. Il coeffcete d correlazoe Def: XY, COV ( X, Y) X Y coeffcete d correlazoe Propretà: XY 1), matee lo stesso sego d COV ( X, Y ) co stesso sgfcato; ) poché VAR( ax ) a VAR( X ), COV ( ax, by ) abcov ( X, Y) ax by a b, X, Y ax by X Y coè XY, o dpede dall utà d msura; 94

95 Il coeffcete d correlazoe Propretà: 3) valor che assume soo: 1 1 XY, I partcolare, se qud: XY, Y abx VAR Y b VAR X b ( ) ( ) Y X COV( X, a bx) bcov( X, X) bvar( X) b 1 b b b b X x X x X x a secoda del sego d b Il coeffcete d correlazoe Teorema: XY, 1 Dmostrazoe: cosderamo VAR( X dy ) VAR( X ) d VAR( Y ) dcov ( X, Y ) 0 Valutamo: VAR( X dy ) 0 k 1 X dy k costate Y X 1 a secoda d d del sego d d Valutamo: VAR( X dy ) 0 tal caso, l dscrmate dell equazoe d secodo grado (parabola) è egatvo 4 COV ( X, Y ) 4 VAR( Y ) VAR( X ) 0 COV ( X, Y) 1 ovvero 1 1 VAR( Y ) VAR( X ) CVD 95

96 Il coeffcete d correlazoe Qud: valor d prossm a 1 dcao put molto vc alla retta terpolate clata postvamete; valor d prossm a -1 dcao put molto vc alla retta terpolate clata egatvamete. Per questo motvo è u dce d terdpedeza LINEARE. Iterdpedeza perché se la relazoe d dpedeza fosse perfettamete LINEARE, la Y dpederebbe perfettamete dalla X e vceversa la X perfettamete dalla Y, aalogamete al caso esamato delle tavole d cotgeza quadrate del tpo: y1 y y3 x1 0 0 x 0 0 x3 0 0 Il coeffcete d correlazoe Qud: se = 0, o è detto che X e Y sao dpedet Nel grafco a sstra s evdeza ad esempo u legame d tpo quadratco, per cu s può SOLO cocludere che le varabl o soo LINEARMENTE terdpedet. 96

97 Il coeffcete d correlazoe Qual valor d fao rteere che c sa forte assocazoe LINEARE fra le varabl? (forte) assocazoe egatva (forte) assocazoe postva NB: le sogle dpedoo però dal tpo d studo che s sta coducedo. I alcu ambt scetfc le varabl s cosderao learmete assocate ache per valor assolut d feror a 0.7. Lezoe 9 Regressoe leare semplce 97

98 Itroduzoe La Lezoe 8 ha charto l opportutà d approssmare ua certa realtà d teresse medate u modello matematco. Stetzzare l tred d u certo seme d osservazo medate ua retta, sgfca optare per u modello matematco molto semplce e d mmedata terpretazoe. Ma quale retta sceglere? Modello classco d regressoe leare semplce Modello: cocettualzzazoe / costruzoe falzzata all approssmazoe d ua certa realtà Classco: rfermeto alle potes che stao alla base del modello Regressoe: ved dapostva successva Leare: l modello è caratterzzato da ua combazoe leare de parametr che lo compogoo Semplce: l modello è l pù semplce possble, ovvero s aalzza la relazoe esstete tra due sole varabl, la Y che assume l ruolo d varable rsposta o dpedete e la X che assume l ruolo d varable esplcatva o dpedete. 98

99 Regressoe Il terme regressoe e la sua applcazoe a problem statstc furoo trodott verso la metà dell'ottoceto, seme co cocett d base della correlazoe, dall glese Sr Fracs Galto ( ). Galto, d famgla oble glese, era cugo d Charles Darw. Il lbro d Darw del 1861 («Org of Speces») fu fote d sprazoe per le sue rcerche. Tra tat stud che codusse,galto voleva verfcare se la statura de fgl potesse essere prevsta sulla base d quella de getor. Ed esprmere questa corrspodeza ua legge matematca. Se, cooscedo l altezza de getor, è possble predre quella de fgl, a maggor ragoe è dmostrato che l altezza è eredtara. Il ragoameto del Galto geetsta era: ell uomo esstoo fattor eredtar fsc e pscologc? Il suo studo fu pubblcato el 1886 su Joural of the Athropologcal Isttute, Vol. 15: Regresso towards medocrty heredtary stature. I 309 cas, msurò l altezza del fglo adulto e quella de getor. Rmase colpto dal fatto che a getor alt corrspodevao medamete fgl d altezza leggermete ferore. Smmetrcamete, tra getor pù bass, osservò fgl medamete pù alt. Chamò questo feomeo regressoe verso la medocrtà corretta po dagl statstc, co term pù approprat, regressoe verso la meda. Dalla teora alla pratca: l potes ceters parbus Esempo: È, teora, oto che la quattà d grao producble per m è certamete coessa alla fertlzzazoe del terreo ma ache alla composzoe dello stesso, e verosmlmete a fattor metereologc, alla preseza d parasst, ecc. S vogloo ora stablre gl effett d u uovo fertlzzate a base d azoto ell cremeto della produzoe d grao. Il rcercatore deve qud adoperars per mateere «fsse» tuttelealtrevarablchepossoo fluezare la relazoe: azoto grao L osservazoe emprca e la coseguete aals devoo qud essere codotte sotto l potes ceters parbus (= a partà d tutte le altre crcostaze), dal mometo che rsulta mpossble cotrollare tutte le varabl legate al problema. 99

100 Il modello d regressoe leare semplce Per coclare le dverstà rscotrate tra teora e pratca: Y Y f( X, K, Z,...) Y f( X) X Prmo lvello d approssmazoe: esstoo altre varabl che possoo avere u effetto sulla Y ma che soo mpossbl da cotrollare. Secodo lvello d approssmazoe: la relazoe tra Y e X è modellata term lear. ERRORE : clude etrambe lvell d approssmazoe Il modello d regressoe leare semplce Approssmare la f medate fuzoe leare vuol dre potzzare che la relazoe tra Y e X rsult leare meda. Ovvero mmagare che tutt ua retta: EY ( X x ) EY ( X x) x sao dspost su Tale fuzoe prede apputo l ome d fuzoe d regressoe d Y su X. 100

101 Valdtà dell approssmazoe NB: a prma vsta l potes d leartà può apparre poco realstca e, duque, molto restrttva. I realtà occorre osservare che: ache se la f è molto dstate dalla leartà, l approssmazoe leare fuzoa abbastaza bee tervall lmtat: dorm(x) dorm(x) dorm(x) x x x Valdtà dell approssmazoe Ioltre: u problema o leare s può sempre aalzzare medate u modello leare: 1 y y w x y x x y x w y x log(y) log( ) log(x) 101

102 Iterpretazoe del modello A posteror: le x, y soo coppe d valor osservat; A pror: o sappamo quale valore d Y s verfcherà (es: o sappamo quato grao osserveremo ua partcella d terreo trattata co u certo dosaggo d azoto) Aprorqud: la X è ua varable o stocastca che assume fssat valor; l aals vee codotta codzoatamete a var valor d X; altre parole, s cosderao possbl valor d Y che possoo verfcars, fssato cascuo de valor X=x Iterpretazoe del modello Aalogamete all aals dell assocazoe per varabl categoral, se le codzoate fossero tutte ugual tra loro ( meda e varaza) sarebbero tutte collocate su ua retta parallela all ascsse. I tal caso, al varare d X, la Y o varerebbe meda, ovvero la X o s mostrerebbe correlata co la Y. 10

103 Iterpretazoe del modello L'tercetta è l valore che assume. EY ( X 0) La pedeza (coeffcete agolare) esprme la varazoe d Y per cremet utar d X. Coè, per due valor d x che dfferscoo d 1.0 (per esempo x = 0 e x = 1), valor d y dfferscoo d ua quattà. Le potes classche sul modello la X è ua varable o stocastca; E VAR 0 j j COV, E 0 j NB: e Y soo due v.c. strettamete legate tra loro quato hao: stessa forma; mede dverse E 0 E y x varaza uguale VAR y VAR x VAR 103

104 Popolazoe e campoe: l equazoe d prevsoe Y X Se l modello vesse geerale rteuto realstco, occorre rcordare che suo parametr cogt hao la fuzoe d descrvere ua certa realtà d teresse. Ma geerale s osservao dat d atura campoara, tramte qual è solo possble pervere ad ua stma d, : ŷ ˆ ˆ x equazoe d prevsoe Tale otazoe rappreseta u equazoe che stma l modello potzzato ed è grado d forre ua prevsoe per la varable rsposta relazoe ad u qualsas valore d x. I resdu La dstaza d u puto dalla retta d prevsoe: e y ˆ ˆ x prede l ome d RESIDUO. Il resduo o è l errore, ma solo ua sua stma. L errore vero da modello fatt rsulta: y x 104

105 Il metodo de mm quadrat Tra tutte le possbl rette, la retta d prevsoe è quella che rede mma la somma de quadrat de resdu: Q y yˆ y ˆ ˆ x Il metodo de mm quadrat Le stme ˆ, ˆ che mmzzao Q soo: x x y y x x ˆ ˆ y ˆ x 105

106 Regressoe e correlazoe NB: S x x x ˆ x x y y S y y x x y x xy y x x y y r XY, stmatore d X, Y r XY, Sx ˆ S y Il coeffcete d correlazoe è l valore che assume la pedeza della retta d prevsoe quado le due varabl hao devazo stadard ugual. Botà d adattameto Domada: Quata parte della varabltà della Y è mputable alla X? La retta stmata esprme l legame tra Y e X: qud, dato u certo x, l corrspodete valore y rsulta parte determato da x ed parte dall errore e : y yˆ e ˆ ˆ x e 106

107 Botà d adattameto Da cò segue: Y dove ˆ ˆ y y y e y y y e e y ˆ y : dovuto alla x a lvello d stma : dovuto all errore a lvello d stma y yˆ y y y e yˆ y x x X Botà d adattameto Possamo qud scomporre l dce d varabltà della Y: VT y ˆ y y y e... yˆ y e VT = VX + VE VX VE Ovvero, la varabltà totale della Y può essere scomposta ua parte attrbuble alla X e ua parte attrbuble all errore. 107

108 Il coeffcete d determazoe R u mportate dce d adattameto: coeffcete d determazoe cas lmte: 0 0 R 1 VX VT VE VE R 1 VT VT VT R dca quata parte della varabltà d Y è spegata dal modello; altre parole forsce ua dea dell mportaza d X el determare Y. : VX = 0, ovvero le varazo della Y o soo dovute all effetto della varable dpedete; R 1 : VE = 0, tutt gl error soo zero, ovvero tra la Y e la X esste u legame d terdpedeza leare perfetta. Il coeffcete d determazoe Nell output d alcu software statstc: TSS: Total Sum of Squares SSE: Sum of Squared Errors = VT = VE È possble dmostrare la relazoe: R r XY, Ovvero l coeffcete d determazoe è l quadrato del coeffcete d correlazoe. È ache possble dmostrare che: L utltà d r YY ˆ, verrà charta ella Lezoe 11. R r YY ˆ, 108

109 Il coeffcete d determazoe R r X Y, Dmostrazoe: R yˆ ˆ ˆ ˆ ˆ y x y y x x y ˆ x x y y x x x x x x x xy y x x ˆ y y x x y y R r XY, y y x x y y CVD yˆ y y y Il coeffcete d determazoe yˆ ˆ ˆ y y yy y R r YY ˆ, Dmostrazoe: R YY ˆ, y ˆ ˆ y y y y y 1 1 yˆ ˆ y x x y yˆ ˆ y y e y yˆ yˆ y y yˆ yy y yˆ yˆ yˆ y r yˆ y yˆ ˆ y e y y ˆ yˆ y r R YY ˆ, yˆ y y y CVD yˆ y yˆ y y y 109

110 Stma della varaza codzoata Come stmare la varaza codzoata VAR y VAR x VAR? s y ˆ ˆ ˆ x y y e SSE s perdoo gdl a causa del doppo vcolo legato alla stma de due parametr che defscoo la retta. Varabltà codzoata e varabltà margale s è ua stma della varaza codzoata. La varaza codzoata o deve essere cofusa co la varaza d Y (varaza della dstrbuzoe margale); questa è geerale pù grade della varaza codzoata. 110

111 Regressoe e fereza U tervallo d cofdeza per l coeffcete agolare d u modello d regressoe leare semplce forma sull mportaza dell'effetto d X su Y. U test d potes sul coeffcete agolare d u modello d regressoe leare cosete d verfcare se due varabl quattatve soo statstcamete dpedet, e ha la stessa faltà d u test ch-quadro per varabl categoral. Regressoe e fereza Notare che, ottca ferezale: ˆ, ˆ soo varabl casual (l campoe verrà estratto doma), le cu dstrbuzo soo caratterzzate da dfferet valor che potrao verfcars ell uverso d tutt possbl campo. 111

112 Regressoe e fereza U potes aggutva la X è ua varable o stocastca; E VAR 0 j j COV, E 0 j le codzoate d Y a cascu valore d X seguoo ua dstrbuzoe Normale. Y / x N x, N 0, Regressoe e fereza È possble dmostrare che: E ˆ VAR ˆ x x ˆ Poché è combazoe leare d v.c. dstrbute Normalmete, per teorem vst ella Lezoe 5 (ua combazoe leare d dstrbuzo Normal è acora Normale): ˆ N, x x 11

113 Regressoe e fereza Stadardzzado: ˆ ˆ s x x x x N(0,1) t se fosse oto; quato deve essere stmato tramte: s e SSE Ifereza per l coeffcete agolare Itervallo d cofdeza per ˆ s ˆ s Pr t t 1 ; ; x x x x Lmt dell tervallo a lvello 1 : ˆ t ; s x x 113

114 Ifereza per l coeffcete agolare Test d potes H H Respgo H 0 se: : H : : H : ˆ 0 t s ; ˆ x x x x s 0 t ; Ifereza per l coeffcete agolare Il caso pù frequete: test d dpedeza H H 0 1 : 0 : 0 Ifatt, sotto H 0, le dstrbuzo codzoate hao tutte stesso valor medo, ovvero tutte le dstrbuzoe codzoate soo detche tra loro. I tal caso, respgo H 0 se: ˆ 0 s x x t ; 114

115 Ifereza per la correlazoe L asseza d correlazoe s verfca quado la pedeza della retta d prevsoe è ulla. H H Qud, s respge H 0 se: 0 1 : 0 : 0 H H : 0 0 XY, : 0 1 XY, ˆ 0 r 0 t s Le due statstche test soo cocdet. XY, t ; ; 1 rxy, x x Ifereza per la correlazoe Dmostrazoe: r XY, 1 r 0 XY, S X ˆ 0 ˆ 0 ˆ S 0 Y 1 R SY SSE TSS TSS SSE TSS S x x X ˆ 0 ˆ 0 s s x x x x H0 : 0 H0 : XY, 0 H1 : 0 H1 : XY, 0 CVD 115

116 Il problema degl outlers Uo svataggo del metodo de mm quadrat è che sgole osservazo possoo codzoare (talvolta pesatemete) l processo d stma. esempo: cosderamo le varabl Y = tasso d ataltà (at per 1000 ab.) e X = umero d televso per 100 abtat, per dverse azo afrcae e asatche. Il grafco llustra cosa succede seredo e dat gl USA. Esempo: l voto alla prova termeda d Statstca è u buo predttore del voto fale? Y X Y y = 0,6607x + 9,4196 R² = 0, X 116

117 Esempo: l voto alla prova termeda d Statstca è u buo predttore del voto fale? Y X Xmedo Ymedo DevX DevY = VT CoDevXY Yhat (Yhat-Ymedo)^ 3,833 5,167 34,08 10,08 18,47 1,313 14,855 34,08 8,08-16,58 1,313 14,855 Beta-hat 0, ,08 0,08 0,97 1,313 14,855 Alpha-hat 9, , ,361 63,639 1,973 10,198 3, ,361 63,639 1,973 10,198 R^ 0, ,361 6,694 4,97 1,973 10,198 14,694 8,08-10,861,634 6,415 VE 368,3571 0,694 14,694-3,194 4,616 0,303 s^ 16, ,694 3,361-4,08 4,616 0,303 s 4, ,694 4,694 1,806 4,616 0,303 0,08 0,694 0,139 5,77 0,01 t (0.05;),074 0,08 0,694 0,139 5,77 0,01 0,08 0,08-0,08 5,77 0,01 Cof.Iterv 0,08 1,361-0,194 5,77 0,01 Beta Lf 0,149 1,361 0,694 0,97 5,938 0,594 Beta Lsup 1, ,694 1,361 -,58 6,598,049 4,694 3,361 3,97 6,598,049 Test su Beta 10,08 3,361 5,806 7,59 4,378 t.obs 3, ,08 14,694 1,139 7,59 4,378 t.crt,074 17,361 8,08 11,806 7,90 7,579 17,361 3,361 0,139 7,90 7,579 17,361 8,08 11,806 7,90 7,579 17,361 0,08-0,694 7,90 7,579 84,08 3,361 44,306 31,3 36,68 Totale 373, ,333 46,667 16,976 Esempo: l voto alla prova termeda d Statstca è u buo predttore del voto fale? > dat=read.table("c:\\users\\bruo\\desktop\\po.txt",header=t) > m=lm(y~x,data=dat) > summary(m) lm(formula = Y ~ X, data = dat) Resduals: M 1Q Meda 3Q Max Coeffcets: Estmate Std. Error t value Pr(> t ) (Itercept) X ** --- Sgf. codes: 0 *** ** 0.01 * Resdual stadard error: 4.09 o degrees of freedom Multple R-squared: , Adjusted R-squared: 0.75 F-statstc: o 1 ad DF, p-value: > *(1-pt(3.1,df=)) [1]

118 Lezoe 10 Relazo multvarate Assocazoe e causazoe Negl stud spermetal, e acor pù quell osservazoal, raramete le mafestazo d u feomeo collettvo s lmtao allo aals d u solo carattere. Quado s cosderao due, o pù caratter, la rcerca NON può lmtars all esame delle sgole varabl. L obettvo è, soprattutto, quello d esamare ache l tpo e l'testà delle relazo che sussstoo tra caratter rlevat. Nella lezoe 7, soo stat llustrate alcue tecche statstche per valutare tpo (e testà laddove l cotesto osservazoale lo coseta) dell assocazoe tra varabl categoral. 118

119 Assocazoe e causazoe I molt ambt scetfc, otevole mportaza rveste la possbltà d dvduare le cosddette relazo d tpo causale tra varabl. Se esste tra due varabl X e Y esste ua relazoe che cosete d verfcare la susssteza d: assocazoe tra le varabl; approprato orde croologco; asseza d spegazo alteratve. allora è possble parlare d relazoe causale tra X e Y, geeralmete rappresetata secodo la smbologa: X Y Secodo questa rappresetazoe: X è ua varable esplcatva che ha u'flueza causale su Y (X è la causa, Y la cosegueza). Assocazoe e causazoe NB: Verfcare l essteza d u certo lvello d assocazoe tra X e Y NON è qud codzoe suffcete per poters esprmere a favore della causazoe. Per poter terpretare adeguatamete rsultat, è mportate, dvduare correttamete quale varable flueza l'altra (quale la causa, quale l effetto e tal accezo s cela l effetto tempo). Cò pero potrebbe o bastare es: da causat dagl ced e umero d pomper mpegat ella loro estzoe Occorre qud escludere l essteza d spegazo alteratve. e questo è forse l pù rlevate de problem 119

120 Varabl cotrollate I geerale, compredere se e come X fluez Y o è semplce. Ua tecca molto utlzzata è quella del «cotrollo». Ua varable è Z e detta cotrollata quado la sua possble flueza vee rmossa suddvdedo l campoe grupp per qual l valore (o grupp d valor) della varable da cotrollare è costate (es: stesso geere, stesso ttolo d studo, stessa fasca d età). I altre parole, s suddvde l campoe base al umero d modaltà d Z, e per cascuo d ess s studa se e come X Y. Varabl cotrollate es: le ccoge portao bamb? Y = ascte X = umero d d ccoga Se a «qualcuo» vesse mete d staurare ua relazoe causale tra X e Y, quel «qualcuo» s dovrebbe accorgerebbe che la relazoe sparsce cotrollado per lvell d ua terza varable: Z = aree rural / aree urbae Z Nelle zoe rural, le famgle soo pù prolfche e c soo ache pù d d ccoga. X Y I altre parole se, ad esempo, s potzza che ua malatta Y sa dovuta al fattore X, o teere coto dell'età Z (prmo fattore d rscho per quas tutte le malatte) è sbaglato. 10

121 Classfcazoe delle relazo multvarate Relazo spure Relazo drette o cocateate Cause multple Varabl sopprmet Iterazoe Relazo spure La relazoe tra X e Y è spura se etrambe le varabl dpedoo da ua terza varable Z e se la loro assocazoe scompare quado Z è cotrollata. È l caso classco d covarazoe tra X e Y asseza d causazoe. I cambamet Z producoo modfcazo sa Y sa X che soo, qud assocate, ma solo fuzoe della loro assocazoe co Z. es: cotesto rurale / urbao X Z Y dmesoe cedo ascte d d ccoga pomper ettà da 11

122 Relazo cocateate S ha ua relazoe dretta tra X e Y quado l loro legame è medato da ua terza varable Z. I questo caso s parla ache d cocateazoe delle relazo. X Z Y Z è detta varable terveete o medatrce. es: struzoe reddto lughezza della vta razza struzoe quozete tellgeza NB: l assocazoe tra X e Y tede a scomparre cotrollado per Z (ad es: lmtado l aals alla sola fasca ad alto reddto, la correlazoe tra struzoe e lughezza della vta dovrebbero rsultare pressoché ulla) Cause multple Se, come spesso accade, ua varable Y ha pù d ua causa, s parla d cause multple. NB: ella rcerca socale, le cause soo tra loro assocate. Qud ua varable X 1 può eserctare u effetto dretto su Y, ma v possoo ache essere effett drett dovut alla preseza d varabl terveet. X Z X Z Y Y 1

123 Varabl sopprmet V soo cas cu due varabl o mostrao alcua assocazoe tra loro, fo a quado o vee cosderata ua terza varable d cotrollo, defta varable sopprmete. esempo: Igorado l'età, la relazoe tra Istruzoe e Reddto è espressa dalla parte rquadrata della tabella. L'età è però postvamete assocata co l Reddto e egatvamete co l Istruzoe. Per cu cotrollado per Età, la relazoe tra Istruzoe e Reddto emerge charamete. Iterazoe statstca Se l vero effetto del predttore X su Y s modfca al varare de valor assut da u altro predttore Z, allora s parla d terazoe statstca tra X e Z e loro effett su Y. Z X Y NB: la relazoe tra X e Y potrebbe ache cambare d drezoe per effetto d Z 13