La Regressoe Sulla base delle coppe d modaltà osservate (x 1,y 1 ),..,(x,y ), dopo aver verfcato la dpedeza tra caratter quattatv X ed Y, c propoamo d determare la fuzoe matematca f che meglo stetzz l legame d dpedeza tra X ed Y, coè: Y f ( X ) Le motvazo che c spgoo alla rcerca d f essezalmete due: la Prevsoe ed l Cotrollo. soo 1
Prevsoe Nella fase d raccolta de dat corrspodeza de valor osservat x 1, x 2,,x d X e soo stat ache rlevat valor y 1, y 2,...,y d Y. Se s osserva u uovo valore d X, dcamo x +1, possamo prevedere l goto valore d Y co y +1 f ( x +1 ). Cotrollo Sulla base degl valor osservat d X e d Y s è determata la fuzoe che lega le due varabl: Yf(X). C s chede ora: quale valore cogto l operatore deve dare alla X per otteere u desderato valore y 0 della Y. Il valore cogto è: x 0 f -1 ( y 0 ), coè quel valore d X tale che f(x 0 )y 0. 2
Uemploymet Rate 25,0 20,0 Uemploymet rate ( % of age group from 25 to 74 years) by Veture captal vestmets ( % of GDP) of 20 EU coutres YEAR 2012 15,0 10,0 Italy (0,004;8,9) Demark (0,072;6,3) 5,0 0,0 0,000 0,020 0,040 0,060 0,080 0,100 0,120 0,140 Veture Captal Ivestmets 3
Uemploymet Rate 25,0 20,0 Uemploymet rate ( % of age group from 25 to 74 years) by Veture captal vestmets ( % of GDP) of 20 EU coutres YEAR 2012 15,0 10,0 Italy (0,004;8,9) Demark (0,072;6,3) 5,0 0,0 0,000 0,020 0,040 0,060 0,080 0,100 0,120 0,140 Veture Captal Ivestmets 4
Uemploymet Rate 25,0 20,0 Uemploymet rate ( % of age group from 25 to 74 years) by Veture captal vestmets ( % of GDP) of 20 EU coutres YEAR 2012 15,0 10,0 Italy (0,004;8,9) Demark (0,072;6,3) 5,0 x0,040 0,0 0,000 0,020 0,040 0,060 0,080 0,100 0,120 0,140 Veture Captal Ivestmets 5
Uemploymet Rate 25,0 20,0 Uemploymet rate ( % of age group from 25 to 74 years) by Veture captal vestmets ( % of GDP) of 20 EU coutres YEAR 2012 15,0 10,0 Italy (0,004;8,9) Prevsoe8,3 Demark (0,072;6,3) 5,0 x0,040 0,0 0,000 0,020 0,040 0,060 0,080 0,100 0,120 0,140 Veture Captal Ivestmets 6
Uemploymet Rate 25,0 20,0 Uemploymet rate ( % of age group from 25 to 74 years) by Veture captal vestmets ( % of GDP) of 20 EU coutres YEAR 2012 15,0 10,0 Italy (0,004;8,9) y8,0 Demark (0,072;6,3) 5,0 0,0 0,000 0,020 0,040 0,060 0,080 0,100 0,120 0,140 Veture Captal Ivestmets 7
Uemploymet Rate 25,0 20,0 Uemploymet rate ( % of age group from 25 to 74 years) by Veture captal vestmets ( % of GDP) of 20 EU coutres 15,0 10,0 Italy (0,004;8,9) y8,0 Demark (0,072;6,3) 5,0 Cotrollo0,046 0,0 0,000 0,020 0,040 0,060 0,080 0,100 0,120 0,140 Veture Captal Ivestmets 8
I dat del problema della rcerca della fuzoe f pù doea a rappresetare l legame tra X ed Y soo costtut dalle coppe d valor (x, y ) che grafcamete s possoo rappresetare co put: 9
Il modo pù semplcstco per determare f cosste ello sceglere la polomale d equazoe Ya 0 +a 1 x+a 2 x 2 + +a -1 x -1, che passa per tutt gl put dat: 10
Dfett della polomale d grado (-1) La polomale d grado (-1) a) o opera essua stes; dat cosstoo coppe (x, y ) e la polomale è dvduata da parametr a 0,, a -1 ; b) o utlzzable a causa della sua complesstà; c) è certamete dversa dalla evetuale legge vera che lega Y ad X, perché quest ultma geererebbe dat scuramete affett da u certo grado d errore. Meglo sarebbe, ad esempo, la spezzata [x, M(Y x )] ma o s tratta d ua fuzoe matematca. 11
S opera meglo se s procede el modo seguete: a) s potzza u modello semplce d relazoe tra X ed Y; b) s determao valor de parametr del modello mmzzado resdu, coè le dffereze tra valor osservat d Y ed valor teorc d Y*, fort dal modello; c) s gudca la botà d adattameto del modello a dat sulla base dell adameto de resdu; d) se l modello è soddsfacete, sulla base de resdu, s scegle u uovo modello da predere cosderazoe, e s rparte da a). 12
Il modello d relazoe pù semplce è quello leare: a e b soo: - parametr del modello, ovvero: Y a+ b X - l terme oto ed l coeffcete d X, ovvero: - l tercetta ed l coeffcete agolare della retta d equazoe: ya+bx. 13
Esempo d perfetta relazoe leare tra X ed Y: Y a + b X : co Y a quado X 0 e Y a + b per X 1. 14
Y Il Metodo de Mm Quadrat X 15
Y Il Metodo de Mm Quadrat X 16
Y Il Metodo de Mm Quadrat y x X 17
Y Il Metodo de Mm Quadrat y y x X 18
Y Il Metodo de Mm Quadrat y y x X 19
Y Il Metodo de Mm Quadrat y (y -y ) y x X 20
Y Il Metodo de Mm Quadrat y e (y -y ) y x X 21
Metodo de Mm Quadrat S dspoe d coppe d valor ( x, y ) relatve a caratter X ed Y rlevat su utà statstche. Avedo verfcato la dpedeza statstca d Y da X s vuole determare la fuzoe f pù doea per descrvere tale legame. Ipotzzamo, prma approssmazoe, che tale fuzoe sa la retta d equazoe: Y * a + b X. I tal caso corrspodeza de valor d X: x 1, x 2,,x, le ordate de put ad ess corrspodet e gacet su tale retta soo: y * 1 a + b x 1 y * 2 a + b x 2. y * a + b x tal ordate y * (1,) le chameremo valor teorc d Y, 22 metre le y (1,) soo valor osservat della Y.
Impoamo ora la codzoe che sa mmzzata la somma de quadrat delle dffereze (y y * ) e determamo parametr cogt a e b modo che tale codzoe sa soddsfatta: Per determare valor d a e b che redao mma S dobbamo dervare la fuzoe f(a,b) rspetto ad a e b, uguaglare a zero le dervate parzal e rsolvere l sstema d I grado che s ottee, avete cogte a e b. Per verfcare che le soluzo a e b che s otterrao mmzzo S bast cosderare che f(a,b) è ua fuzoe d secodo grado tale 23 f(a,b) 0.
Avremo che: 24
Aalogamete avremo: 25
Uguaglado a zero le due dervate parzal avremo l Sstema Normale: 26
Sstema Normale: 27
Nell espressoe che c forsce b se dvdamo umeratore e deomatore per 2, otterremo: oltre dalla prma equazoe del Sstema avremo: da cu otteamo: a e b soo gl stmator mm quadrat d a e b e la retta d equazoe: Y a + b X è detta Retta d Regressoe e le y a + b x soo valor stmat d Y corrspodeza Gova delle Latorre x osservate d X. 28
Alteratvamete, abbamo: 29
30
31
Propretà della retta d regressoe: 1)Se tutte le coppe d dat osservat (x, y ) soddsfao la relazoe: y c + d x,, allora put corrspodet soo perfettamete alleat su ua retta d equazoe Y c + d X che cocde esattamete co la Retta d Regressoe d equazoe Y a + b X, coè: b Cov(X,Y)/V(X) d e a M(Y) b M(X) c d cosegueza y y,, e V(Y ) V(Y). Dmostrazoe: date le coppe (x equazoe:, y ) la Retta d Regressoe avrà Y a + b X, dove b Cov(X,Y) / V(X) e a M(Y) b M(X). 32
Ma: Cov(X,Y) 1 1 d 1 1 1 1 x - M(X) y - M(Y) x - M(X) c+d x - c - d M(X) x - M(X) d x - M(X) 1 x - M(X) d V(X) 1 da cu: d Cov(X,Y)/V(X) b oltre: c M(Y) d M(X) a + b M(X) b M(X) a. 2 Ife: y a + b x c + d x y c.d.d..,, e V(Y ) V(Y), 33
2)Propretà d mmo de resdu: deft resdu le dffereze tra valor osservat y ed valor stmat y della Y, coè e (y y ) avremo: 1 y - y 2 mmo (a, b) Dmostrazoe: y a + b x, dove a e b soo tal che sa: ma: c.d.d. 34
3) La meda de resdu è ulla, coè M(e) 0, perché la somma de resdu è ulla, coè: La varaza, vece, è par a:. Dmostrazoe: dalla prma equazoe del sstema ormale s ha che:, oltre: qud: e M(e)0. Ife: 35
Msura della botà della regressoe Dopo aver stmato l modello pù semplce d relazoe tra X ed Y affroteremo l problema della botà dell adattameto del modello otteuto a dat rlevat. Baseremo molta d questa aals su resdu, deft da: e y y. Itato s ot che: 1 +2 2 y - M(Y) y - M(Y)+ y - y 1 1 y - y+ y - M(Y) 2 y y' + y - M(Y) 1 y - yy - M(Y) 1 1 2 2 + 2 36
S ot che ella formula precedete l doppo prodotto è ullo: 0, I^ eq. ormale 1 y - yy - M(Y) 1 1 a b b y - y y - y - y M(Y) y - ya +bx - M(Y) y - y 1 1 1 y - y+b y - y 1 y x - a - bx y - a 1 x x 1 - b 1 x 1 x 2 0 0, II^ eq. ormale 0, I^ eq. ormale 37
qud: 1 1 y - M(Y) V(Y)V(Y )+ 2 2 y - M(Y) + y - y dvdedo membro a membro per avremo: 1 1 1 2 1 2 y - y V(Y )+ ma rcordado che M(e)0 l ultmo terme è par a V(e), coclusoe: V(Y) V(Y')+V(e) dove: V(Y) Varabltà Totale Varabltà delle y osservate; V(Y ) Varabltà del Modello o della Regressoe Varabltà delle y ; 38 V(e) Varabltà Resdua Varabltà degl e. 1 e 2
Y y 7 y 9 y 6 y 8 y 4 y 5 y 3 y 2 y 1 I I I I I I I I I I I I I I I I I x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9 I X 39
Y Valor d x y 7 y 9 y 6 y 8 y 4 y 5 y 3 y 2 y 1 I I I I I I I I I I I I I I I I I x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9 I X 40
Y y 7 y 9 y 6 y 8 y 4 y 5 y 3 y 2 y 1 I I I I I I I I I I I I I I I I I x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9 I X 41
Y Retta d Regressoe: Y a + b X y 7 y 9 y 6 y 8 y 4 y 5 y 3 y 2 y 1 I I I I I I I I I I I I I I I I I x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9 I X 42
Y Valor d y y 7 y 9 y 6 y 8 y 4 y 5 y 3 y 2 y 1 I I I I I I I I I V(Y) Varabltà Totale Varabltà delle y osservate I I I I I I I I x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9 I X 43
Y Retta d Regressoe: Y a + b X y 7 y 9 y 6 y 8 y 4 y 5 y 3 y 2 y 1 I I I I I I I I I I I I I I I I I Valor d y V(Y ) Varabltà del Modello o della Regressoe Varabltà spegata Varabltà delle y x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9 I X 44
Y Retta d Regressoe: Y a + b X Valor d e y 7 y 9 y 6 y 8 y 4 y 5 y 3 y 2 y 1 V(e) Varabltà Resdua Varabltà degl e I I I I I I I I I I I I I I I I I x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9 I X 45
Coeffcete d determazoe R 2 V( Y!) V(Y) Valor estrem d R 2 var. spegata var. totale Se put d coordate (x, y ) soo alleat su ua retta abbamo gà vsto che la Retta d Regressoe cocde co tale retta, pertato: y y per (1,,), V(Y ) V(Y) e R 2 1. Se la Retta d Regressoe è parallela all asse delle ascsse s ha che: y cost. M(Y ) M(Y) per (1,,), pertato: V(Y ) 0 e R 2 0. 0 R 2 1 46
V(Y ) 1 1 1 1 1 1 1 1 1 y b Altre propretà d R 2 1 a+bx x - M(X) + a+bm(x)- M(Y) y - M(Y) 2 - M(Y)+bM(X)- bm(x) - bm(x)+bm(x)- M(Y) 2 2 b x - M(X) b x - M(X) 1 1 2 2 2 0, I^ eq. ormale 2 da cu: V(Y ) b 2 V(X) 47
Acora: R 2 V( Y) V(Y) b' 2 V(X) V(Y) Cov(X,Y)2 V(X) 2 V(X) V(Y) Cov(X,Y)2 V(X) V(Y) r(x,y)2 coclusoe, e modell del tpo: Y a + b X, s ha che: R 2 r(x,y) 2 48
49 Nella dmostrazoe sulla scomposzoe della varabltà avevamo dmostrato che: y y y y y y y y y 1 2 1 1 2 1 1 0 0 V(Y ) M(Y) - y 1 M(Y) - y y 1 M(Y) - y M(Y) - y 1 Cov(Y,Y ) 2 1 2 2 1 1 pertato: 2 2 R V(Y) V(Y ) V(Y)V(Y ) V(Y ) V(Y)V(Y ) V(Y ) V(Y)V(Y ) Cov(Y,Y ) Y,Y r qud: coè s ha sempre: r(y,y ). R 2
Aals de Resdu. (1- R 2 ) c dce quato o è stato spegato dal modello, l Aals de Resdu c dce come l modello o ha spegato dat. Rcordamo che resdu soo deft da: e y - y, per (1,..,) e che: a) b) 1 e V(e) 1 1 y - y 0 M(e) e 0 1 e 2 - M(e) 2 1 1 1 1 e 2 1 y - y 1 2 c) V(Y) V(Y ) + V(e). 50
L Aals de Resdu è d tpo grafco. Essa cosste el costrure dagramm scatter : 1) (y, e ); 2)(x, e ) per (1,..,) e verfcare adamet o-formatv, ovvero accdetal etro ua bada parallela all asse delle ascsse. Esempo d scatter d Resdu. e y (o x ) Se resdu hao l adameto descrtto ello scatter l modello è adeguato e o mglorable, ache se R 2 è basso. 51
Lo scatter successvo mostra che l modello che ha determato resdu rportat el dagramma o è adeguato, perché u evdete compoete d II grado o è stata catturata e la s rtrova e resdu. e y (o x ) 52
40,00 35,00 30,00 25,00 Dagramma Scatter (a) relatvo a 100 coppe d modaltà (x, y ) de caratter quattatv X e Y M(X)11,87; M(Y)9,87; V(X)58,74; V(Y)102,84; Cov(X,Y)41,42; r(x,y)0,53 b 0,71; a 1,50; R 2 0,28; X15,00; y15,03; X230,00; y222,66. ( sovrmpressoe la retta d equazoe: Y 1,5 + 0,71 X ) 20,00 15,00 10,00 M y 9,9 5,00 0,00 M x 11,9 0,00 5,00 10,00 15,00 20,00 25,00 30,00 35,00-5,00-10,00-15,00 53
20,00 15,00 Data set (a) relatvo a 100 coppe d modaltà (x, y ) de e caratter quattatv X e Y ANALISI DEI RESIDUI 10,00 5,00 Y 0,00 0,00 5,00 10,00 15,00 20,00 25,00-5,00-10,00-15,00-20,00 54
Aalogamete, per l data set (b), essedo caratter quattatv X e Y cocord, soo prevalet prodott d scart postv, qud Cov(X,Y)>0, partcolare: Cov(X,Y) 41,64. 30,00 25,00 20,00 M(X)11,87; M(Y)10,29; V(X)58,74; V(Y)33,21; Cov(X,Y)41,64; r(x,y)0,94; b 0,71; a 1,88; R 2 0,89; X10,00; y11,88; X220,00; y216,05. ( sovrmpressoe la retta d equazoe: Y 1,88 + 0,71 X ) 15,00 10,00 M(Y)10,29 5,00 M(X)11,87 0,00 0,00 5,00 10,00 15,00 20,00 25,00 30,00 35,00-5,00 55
4,00 3,00 Data set (b) relatvo a 100 coppe d modaltà (x, y ) de e caratter quattatv X e Y ANALISI DEI RESIDUI 2,00 1,00 Y 0,00 0,00 5,00 10,00 15,00 20,00 25,00-1,00-2,00-3,00-4,00-5,00 56
Dagramma Scatter (c) relatvo a 100 coppe d modaltà (x, y ) de caratter quattatv X e Y 30 25 ( sovrmpressoe la retta d equazoe: Y 24,19-0,74 X ) M(X)11,88; M(Y)15,40; V(X)59,05; V(Y)36,31; Cov(X,Y)-43,72; r(x,y)-0,94; b -0,74; a 24,19; R 2 0,89; X10,00; y124,19; X220,00; y29,39. 20 15 M y 15,4 10 5 0 0 5 10 M x 11,9 15 20 25 30 35 57
4,00 3,00 Data set (c) relatvo a 100 coppe d modaltà (x, y ) e de caratter quattatv X e Y ANALISI DEI RESIDUI 2,00 1,00 Y 0,00 0,00 5,00 10,00 15,00 20,00 25,00-1,00-2,00-3,00-4,00-5,00 58
Data Set (d) relatvo a 100 coppe d modaltà (x, y ) de caratter quattatv X e Y 8 6 4 ( sovrmpressoe la retta d equazoe: Y 1,21 0,004 X ) M(X)11,82; M(Y)1,17; V(X)57,42; V(Y)9,28; Cov(X,Y)-0,20; r(x,y)-0,01; b -0,004; a 1,21; R 2 0,00; X10,00; y11,21; X220,00; y21,14. 2 M y 1,2 0 0 5 10 M x 11,8 15 20 25 30-2 -4-6 59
6,00 Data set (d) relatvo a 100 coppe d modaltà (x, y ) e de caratter quattatv X e Y ANALISI DEI RESIDUI 4,00 2,00 Y 0,00 1,10 1,12 1,14 1,16 1,18 1,20 1,22-2,00-4,00-6,00 60
6 4 Data Set (e) relatvo a 100 coppe d modaltà (x, y ) de caratter quattatv X e Y M(X)2,91; M(Y)0,14; V(X)2,01; V(Y)6,17; Cov(X,Y)-0,03; r(x,y)-0,01; b -0,01; a 0,18; R 2 0,00; X10,00; y10,18; X24,00; y20,13. 2 0 M y 0,1 M 0 1 2 x 2,9 3 4 5 6-2 -4-6 -8 61
6,00 4,00 Data set (e) relatvo a 100 coppe d modaltà (x, y ) e de caratter quattatv X e Y ANALISI DEI RESIDUI 2,00 Y 0,00 0,10 0,11 0,12 0,13 0,14 0,15 0,16 0,17 0,18-2,00-4,00-6,00-8,00 62