La regressione lineare: relazioni funzionali

Transcript

1 La regressone lneare: relazon funzonal Molte legg d nteresse fsco e ngegners0co sono descr1e da relazon funzonal tra grandezze (varabl), delle qual la pù semplce è quella lneare. (y=a+bx) Trovare una relazone funzonale tra grandezze, perme1e n alcun cas d superare o ndvduare ncertezze d accuratezza, tecnca che applcata agl strumen0 d msura perme1e la calbrazone degl stess. Indvduare la legge che descrve la relazone tra grandezze, perme1e d u0lzzare tale legge o rsulta0 o1enu0 per predzon su altre grandezze dervate. C sono termn che possono confondere se parlamo d rappresentazone grafca o descrzone anal0ca d una funzone s dce che la varable sulle ascsse (x) è la varable ndpendente, la varable sulle ordnate (y) è la varable dpendente. Abbamo gà vsto che tale scelta nello studo della regressone è legata alle ncertezze rela:ve corrsponden0, noltre per lo studo successvo vedremo che, se c è una relazone funzonale tra le varabl, dal punto d vsta della msura e della s0ma delle ncertezze queste varabl sono dpenden: tra loro, e se lo sono come relazone funzonale, lo sono anche dal punto d vsta del calcolo probabls0co. La probabltà che s osserv una determnata y dpende dall essers verfcato l corrspondente x. Pertanto cercherò d evtare l equvoco e qund parlerò d varable sulle ordnate (y) e varable sulle ascsse (x), la verfca della loro dpendenza, vedremo è descr1a dal coeffcente d correlazone, che è collegato alla covaranza termne d u0lzzo sta0s0co per varabl stocas0camente dpenden0, come vedremo n seguto. Questo argomento è tra1ato nel Cap. 9 d G. Cullo Introduzone al laboratoro d fsca 1

2 Trovare la legge lneare: relazon funzonal Y y Approcco ntu0vo: trovare la re1a Y=A+Bx, tale che la dfferenze del valore o1enuto per ogn x, ovvero Y =A+B x, sano par alle y, qund trovare parametr A e B, tal che n valore assoluto la dfferenza y Y sa mnma possble, l parametro d confronto per questo sono le ncertezze, qund che y Y < δy. È pù pratco consderare l confronto n quadratura Y ) < (δy ), per tutte le coppe d dat da 1 a.

3 Il Metodo de Mnm Quadra:. Rspe1o a valor assolu0, l modo pù mmedato, è consderare la dfferenza rspe1o alle rspewve ncertezze n rapporto alle ncertezze al quadrato: ( y Y ) δy Ognuna d queste quan0tà va rdo1a al mnmo, volendole qund consderare tu1e, mnmzzamo la loro somma mn =1 ( y Y ) δy Da qu l nome Metodo de Mnm Quadra0 (MMQ). (9.1) n G. Cullo Questo è un approcco fgura0vo e pragma0co, che nquadra grafcamente l problema e rende pù esplcto l sgnfcato d quello che studeremo, ma per comprendere a peno le conseguenze e le possbltà prevsonal della sta0s0ca, dobbamo par0re dalle assunzon pù general. 3

4 L approcco sta:s:co-probabls:co Alla varable (grandezza) X posso assocare una varable (grandezza) Y=A+BX Assumo che ogn msura y segua una dstrbuzone d Gauss e tenda alla Y = A+B x. Devo trovare la mglore s0ma della Y, che vada bene per tuw da0 osserva0 y, che sgnfca trovare la mglore stma de parametr A e B. La probabltà che una sngola msura segua una gaussana d centraltà Y e dev. st. σ. P Y, σ ) 1 σ e Y ) σ. P A,B, σ ) 1 σ e A Bx ) σ. P A,B (y 1, y...y ) 1 e A Bx ) σ.= σ =1 =1 1 σ e 1 A Bx ) σ 4

5 La Varable χ Abbamo gà ntrodo1o la varable causale χ (ch) In generale rsulta l rapporto tra - la dfferenza tra un valore msurato, o osservato (p.e. y ), e un valore aspe1ato (p.e. Y ) e - l ncertezza sulla msura δy (rportata come radce quadrata della varanza σ ). Rcordamo ancora che per tenere a mente la connessone con le varabl casual s consderano sempre le varanze, ma rpe0amo che all a1o pra0co bsogna consderare l ncertezza totale espressa secondo le regole delle varanze. χ = Y ) δy, e chamamo χ (ch-quadro) χ = χ n questo caso χ = y Y. (9.4) n G. Cullo δy 5

6 La mnmzzazone del χ Per l prncpo d massma verosmglanza, parametr A e B che meglo descrveranno la legge, che pù s avvcna a da0 spermental, saranno quell che rendono massma la probabltà d o1enere tuw gl even0 y y. { } max max P A,B (y 1, y...y ) 1 =1 σ e 1 A Bx ) σ Vsto che le ncertezze d ogn y non dpendono da parametr A e B s ha: max{ P A,B (y 1, y...y )} 1 =1 σ { } = mn χ mn χ max e 1 A Bx ) Trovare l massmo della funzone esponenzale nega0va, sgnfca trovare l mnmo dell argomento χ = y Y σ (9.3) n G. Cullo S osserv l modo dverso d presentare l ch-quadro ma { } σ (9.4) n G. Cullo 6

7 Dove δy (ncertezza totale espressa dalla varanza) δy = σ y + ε y 3 + η y 3 Useremo per semplctà σ per la δy, e rporto d seguto come ds0nguo var contrbu0 alla varanza totale, ovvero le sngole varanze σ y varanza d una dstrbuzone gaussana ε y / 3 varanza d una dstrbuzone costante (p.e. lettura) η y / 3 varanza d una dstrbuzone costante (p.e. accuratezza) 7

8 Trovare parametr A e B caso n cu δy=δy Trovare parametr della legge Y=A+Bx che rendono massma la probabltà d o1enere tuw gl y, equvale a studare per qual parametr s trov l mnmo del χ. (y A Bx ) (y A Bx ) mn rsp. A A ' = 0 (δ y ) A (δ y ) Rsolvamo alla per l caso semplficato δy = δy per ogn, e o1enamo y = A + Bx, abbamo due ncognte, ma una sola equazone. (y A Bx ) (y A Bx ) mn rsp. B B ' = 0 (δ y ) B (δ y ) Rsolvamo e o1enamo: x y = A x + B x adesso abbamo la seconda equazone nelle due ncognte A e B. Lascamo come eserczo per gl studen0 questa seconda dervazone. 8

9 Dalle due equazon A= y = A + Bx x y = A x + B x x y x x y x ( x ) o1enamo le due ncognte (9.7) e B = x y x y x ( x ) (9.8) Vsto che l denomnatore è lo stesso s e0che1a Δ: s not che dpende dalle sole x Δ = x ( x ) s not che dpende dalle sole x ed ha le dmenson d x. 9

10 Incertezze su parametr A e B Per s0mare le ncertezze par0amo dalla relazone d A rspe1o a da0 spermental A = x y x x y x ( x ) (9.7) su G. Cullo A è qund è data delle x e y. In questo caso s0amo consderando che le ncertezze sono rela0ve alle y mentre per le x abbamo consderato che le ncertezze sano trascurabl. Qund se applchamo le formule della propagazone delle ncertezze possamo lmtarc alle sole ncertezze rspe1o alle y e consderare anche l denomnatore (Δ) constante. σ = A A y 1 σ 1 + A y σ +!+ A y S osserv come nvece dell ncertezza totale, che va espressa come varanza, ho utlzzato l smbolo tpco della statstca per le varanze, per queston d rchamo al teorema del lmte centrale. σ

11 A e B sono varabl gaussane Oltre a σ = A A y 1 σ 1 + A y La (9.9) s owene dalla propagazone delle ncertezze δy (σ ) su A espressa come nella (9.7). Inoltre s può dmostrare sempre dalla (9.7) che: σ +!+ A y A = A y 1 y 1 + A y y +!+ A y y Per l teorema del lmte centrale qund A tende ad una gaussana con centraltà A, data dalla (9.7), e varanza σ Α data dalla (9.9) Dalla (9.9) se consderamo l caso semplfcato n dscussone n cu le δy = δy ovvero le σ sono σ, s ha σ (9.9) su G. Cullo σ A = σ Σx Δ rcordando che δa = δy Σx Δ σ =δy

12 A e B varabl che seguono Gauss Allo stesso modo σ B = B y 1 σ 1 + B y σ +!+ B y σ O1enuta dalle regole d propagazone delle ncertezze δy su B. Inoltre vale anche: B = B y 1 y 1 + B y y +!+ B y y Qund B tende ad una gaussana con centraltà B, data dalla (9.8) e varanza σ Β rportata sopra. Se consderamo l caso semplfcato n dscussone n cu le δy = δy ovvero le σ sono σ, s ha rcordando che per queston mnemonche σ B = σ δb = δy Δ σ =δy Δ

13 Andamento al lmte per la Y=Y(x) Presupponamo a pror che tu1e le y seguano una gaussana deale d centraltà Y, Y può essere una relazone funzonale qualsas Y =Y(x ), e che tutte le y abbano la stessa devazone standard σ Y. Y rsulta una varable casuale che qund abba una sua speranza matematca e una sua devazone standard σ Y, y se gaussana avrà come valore vero Y = Y(x ) e la devazone σ Y P ) 1 e σ Y { } max max P(y 1, y...y ) 1 Y ) σ Y 1 σ e Y Se applchamo l prncpo d massma verosmglanza s owene come rsultato per la σ Y : 1 Y ) σ Y 1 σ Y σ e Y 1 Y ) σ Y = 0 σ (deale) = Y Y )

14 Le s:me d valor med n sta0s0ca vanno dvse per grad d lbertà sta0s0c (d), osservando σ Y per fornla dobbamo s0mare A e B: σ Y (deale) = Y ) ella formula grad d lbertà d sono l numero d da0 u0lzza0, ovvero l numero d y,, evden: dall estremo superore della sommatora, a qual vanno so#ra& parametr necessar per la s8ma stessa, o:enu8 u8lzzando da8 spermental, tale parametr sono de; vncol sta1s1c c. σ Y (mglore stma) = Y ) d el caso = el caso d una lneare Y = A+Bx servono due parametr, che vengono o:enu8, da da8 come potete osservare dalle (9.7) e (9.8) qund vncol sono due per la lneare σ Y el caso d = Y =A+Bx A (c) B (c) x ) d 14

15 Fne della lezone del 15 maggo Inzo lezone del 18 maggo

16 σ y e σ Y charment ell potes che tu1e le y fossero gaussane e segussero la stessa gaussana d centraltà Y=Y(x) e dev. st. σ Y, abbamo osservato che σ Y (la devazone standard dalla legge deale ) è data dalla seguente relazone, rbadamo per qualsas funzone Y=Y(x). σ Y = In fgura 9. rportamo l caso partcolare d Y= A+Bx, n cu d= -. Y ) d In questa fgura s osserva come n meda la dstanza della re1a da da0 spermental è mnore delle ncertezze. Se la verfca che la legge sa approprata dà esto pos0vo allora le ncertezze sta:s:che possono espresse dalla σ Y.

17 Verso la verfca Abbamo vsto che graze al prncpo d massma verosmglanza possamo trovare parametr A dalla (9.3) e B dalla (9.4) che mnmzzano l χ. Quanto è buona la mnmzzazone? Se la legge è approprata c aspewamo che ogn χ soddsf le condzon d cascare nell ntervallo d fduca per G Y,δy s0mable da χ = y Y 1 fduca del 68% δy In meda c aspewamo qund che σ Y = Y ) d χ y = Y 1= δy Qualsas s:ma faha come meda n sta:s:ca abbamo vsto che va dvsa per grad d lbertà, qund la meda de χ s owene Qual valor sono acce1abl per l ch-quadro? y Y La varable χ funzone d varabl casual, è a sua volta!χ = χ d = δy una varable casuale, che segue una par0colare denstà d probabltà e qund avrà la sua speranza matema0ca d (vedremo par a d) e la sua varanza (d) (vd. Cap 11).

18 Un passo n pù verso la verfca Per ora Calcolamo la varable χ Ο da nostr da0. La varable χ, dedo1a da varabl y gaussane che seguono, qund, la denstà d probabltà d Gauss con centraltà Y e dev. st. δy, è una varable casuale che segue la denstà d probabltà del χ, f(χ ) che ha come E[χ ] = d e V[χ ]= d. Per ora c lm:amo all ntervallo d fduca ndvduato dalla dev. st. successvamente applcheremo le regole sta:s:che della verfca d sgnfca:vtà, per rgehare valor troppo grand, qund verfche a destra della denstà d probabltà, o troppo pccol, verfche a snstra. Se samo nella stuazone del rgeho a destra, sgnfca, guardate la formula, che la precsone della msura (δy ) c permette d dre che la legge è napproprata per dat rlevat. Se samo nella stuazone del rgeho a snstra, sgnfca, guardate la formula, che la precsone della msura (δy ) è troppo bassa per poter decdere sulla legge approprata.

19 Metodo de mnm quadra: pesa: δy dvers Consderamo ora l caso n cu le ncertezze sulle y sano dverse: { } max max P A,B (y 1, y...y ) mn =1 1 σ A Bx ) σ e 1 A B A Bx ) σ A e B mn A Bx ) σ rspetto a A Bx ) = 0 σ A Bx ) = 0 σ S osserv che rspe1o a prma s ha che all nterno delle sommatore abbamo 1/σ, che e0chewamo p =1/σ e chamamo pes. 19

20 A B p A Bx ) = p A (y A Bx ) = p A Bx )( 1) = 0 p A Bx ) = p B (y A Bx ) = p A Bx )( x ) = 0 Da cu o1enamo le due equazon normal con rela0v pes: p y = A p + B p x p x y = A p x + B p x Per le ncertezze su parametr dalla semplce Propagazone per dfferenzazone d owene σ Apes = p x σ Bpes = p Δ pes Δ pes Rsolvendo l sstema d due equazon nelle due ncognte A e B: A pes = B pes = p x p y p x p x y p p p x ( p x ) p x y p x p y p p x ( p x ) 0

21 Una volta trovata la legge s deve verfcare che sa approprata, chameremo questo procedmento verfca del ch-quadro, ovvero verfchamo, se la mnmzzazone trovata può essere acce1ata. Anche questa varable è casuale e segurà una ben precsa denstà d probabltà, c rferremo a tabelle che fornscono tal probabltà. Se la legge è approprata per ogn y possamo consderare come ncertezza sta0s0ca la σ Y e utlzzarla nella stma delle ncertezze: σ Apes = p x σ Bpes = p Δ pes Δ pes dove pes p = 1/ (δy ) con posso essere sosttut da δy = σ y + ε y 3 + η y 3 δy = σ Y + ε y 3 + η y 3 Se le ncertezze ε e η sono le stesse per ogn s osserv che δy rsultano le stesse per ogn. Pertanto samo nel caso semplfcato della parte ntroduwva: σ Apes = δy x σ Bpes = δy Δ Δ 1

22 Eserczo: regr. ln della legge del pendolo, con MMQ pesa0. S facca molta a1enzone al fa1o che la legge lnearzzata T = 4 π (l/g), anche nel caso della verfca della legge, fornrà come rsultato δy dvers. Procedmento - trovare parametr A e B con l Metodo de Mnm Quadra0 pesa0. - Calcolare δy pes teorc p = 1/(δY ) - Utlzzarl nella stma de parametr A e B. - verfcare che la legge trovata sa approprata, (per acce1are la legge, n modo grossolano, σ Y sa mnore della meda de δy ). possamo fare qualche altro passo verso la verfca del χ e acce1are la legge se l χ o1enuto, che e0che1o χ Ο, compreso nell ntervallo d- (d) < χ Ο < d+ (d) - Fornre la msura d g e la verfca d sgnfcatvtà per l valore atteso g = m s -.

23 Con0nuate n ordne sul foglo ele1ronco e o1enerrete quanto segue χ = d=-= 4 y Y δy Y =A+Bx d A e B sono vncol stat. χ = d- (d) < χ Ο < d+ (d) rsulta [1.17, 6.83] y A Bx δy Il ch quadro osservato rsulta χ O = 1.9, che è compreso nell ntervallo suddetto, per la verfca fnale dovremmo utlzzare le specfche statstche, rspetto alla probabltà d rgetto dell 1 %, per cu avremo bsogno della denstà d probabltà del χ. Eserczo: calcolate χ O per la regressone lneare consderando δy = δy per tutte le. 3

24 S:ma su un valore y = y(x) Dalla relazone trovata Y=A+Bx, oltre a fornre le msure d A e B, s possono fornre anche delle prevson su un rsultato y per valor d x dvers da quell osserva0 e/o scel0 x. S possono presentare due cas, uno de qual non ben acce1o - 1 Caso: l valore x rsulta compreso nell ntervallo de da: x, la s0ma del valore y=y(x) s defnsce nterpolazone. - Caso: : l valore x è esterno all ntervallo de da: x, la s0ma del valore y=y(x) s defnsce estrapolazone. Il secondo caso rsulta un azzardo, n quanto s potrebbero fornre nformazon sbaglate. S pens al caso della costante elas0ca d un molla, s potrebbero fornre valor oltre l lmte elas0co, qund che non seguono la legge trovata, o anche oltre l lmte d ro1ura. Inoltre se tenamo conto, vedremo, del termne covarante, che sarà fornto nella prossma trasparenza, le ncertezze su tal s0me tendono ad aumentare. 4

25 Per fornre l ncertezza su un valore y(x) dedo1o dalla legge trovata possamo consderare la varable causale Y: ma voglamo stmare l suo valore per un dato x, A e B abbamo vsto che sono Varabl casual con aspettatva A e B date dalle (9.7) e (9.8) e varanze σ Α e σ Β la x fssata rsulta una costante pertanto la varanza della y ottenuta Per una data x, se per ora assumamo A e B ndpendent s ha: σ = σ y(x) A +σ B x Allo stesso rsultato s gunge se consderamo al propagazone delle ncertezze, Tenendo conto che parametr A e B sono affett da ncertezze mentre x è fssato, se A e B fossero ndpendent: ( δy) = y A Y = A + Bx ( δa) + y B = ( δa) + (x) ( δb) ma A e B essendo combnazon lnear delle stesse varabl casual sono tra loro correlate (vedremo l sgnfcato nel prossmo paragrafo) qund non stocastcamente Indpendent. 5 ( δb) =

26 Qund dato che A e B non sono stocas0camente ndpenden0 bsogna tenere conto d un termne de1o covarante, che nel caso n cu le ncertezze ugual per le y è dato da x x Δ ( δy ) per cu o1enamo vsto che A e B non sono ndpeden0 σ = σ y(x) A +σ B x + termne covarante el caso n cu tu1e le ncertezze y sano ugual ovvero δy = δy s ha: [δy(x)] = x Δ ( δy ) + ( Δ δy x ) x x Δ ( δy ) Implemen0amo tale formula per l caso n cu nvece non sa ugual u0lzzando pes: [δy(x)] = px p px + x x Δ pes Δ pes Δ pes 6

27 δy(x ) Y -δy(x ) Y +δy(x ) 5,73E-0 6,08 6,0 4,45E-0 5,10 5,19 3,40E-0 4,13 4,19,87E-0 3,4 3,9,99E-0,7,33 3,81E-0 1,6 1,34 T [s 6, T n funzone d l 5,7 5, 4,7 T [ 6,1 T n funzone d l 4, 3,7 5,6 3, da0 Y pesata 5,1,7 Y-dy(x) Y+dy(x), 4,6 1,7 4, l [cm] 149 1, l [cm]

28 Estensone a ncertezze sulle x on sempre possamo trascurare le ncertezze sulle x Se abbamo ncertezze sulle x qund δx non trascurable rspetto alle y e cerchamo una legge y=y(x) che descrva l andamento delle coppe d dat, osservamo che, data la Legge le ncertezze s propagano dalla x alle y secondo la propagazone per dfferenzazone: δy = dy dx δx Per dstnguere questa ncertezza, propagata sulle y dalle x, la e0chewamo δy-equ dove equ sta per equvalente (ad un ncertezza δy ). δy equ = dy dx δx Adesso qund c trovamo a dovere sommare all ncertezza δy, la corrspondente δy-equ, calcolata per l valore x. Dato che queste ncertezze sono ndpendent tra d loro s sommeranno n quadratura, che è meglo etchettare l rsultato fnale δy* : δy * = δy + (δy equ ) Eppo applchamo l crtero d massma verosmglanza, che sappamo tradurs nella mnmzzazone del χ. 8

29 La mnmzzazone del χ rsulta pù complcata perché parametr della legge, comparranno anche al denomnatore nelle ncertezze, dato che le ncertezze sono dedo1e dalla dfferenzazone della relazone funzonale della legge cercata: mn χ { } = mn y Y δy * = mn ( y Y ) ( ) δy + δy equ Prendamo l semplce caso d assumere che la legge approprata sa quella lneare, e qund d voler mnmzzare l χ, per trovare le s0me de parametr A e B, n questo caso Y =A+Bx e qund δy-equ = B δx : = mn ( y A Bx ) δy + B δx esste software dedcato (Orng, Root, MatLab) che, mnmzzando l χ, fornsce le mglor stme de parametr e le ncertezze, medante l calcolo numerco. 9

30 Un approcco senza u0lzzo d sooware avanzato: 1) S0mare parametr della legge, consderando le sole ncertezze y ) U0lzzare la legge per s0mare le ncertezze equvalen0, se tal ncertezze sono un ordne d grandezza nferor alle δy s possono trascurare 3) Rcalcolare parametr e u0lzzare per verfche e ncertezze, quando dedo1o alla fne. Vedremo che la verfca del ch-quadro c darà ndcazon, se la legge è approprata E se lo è l approcco che abbamo u0lzzato rsulta a1endble, e le prevson che fornamo sono qund acce1abl. 30

31 Lnearzzazone d alcune funzon Molte funzon possono essere rcondo1e a una relazone funzonale lneare Abbamo gà vsto per la legge del perodo del pendolo che s può lnearzzata n due mod T = π l g T = 4π l g ponendo y T e x l o anche T = π l g ponendo y T e x l Le pù comun sono le seguen0: - Legg perbolche y=a+b/z, dove s pone x=1/z. - Legg esponenzal del tpo z = Ce Dx, s applca a funzone logartmo e s ottene ln z = ln C + Dx, e s pone y=ln z, A=ln C mentre B=D. 31

32 Polnom e regressone mul:pla mn A Bx ) ( δy ) A B A Bx ) ( δy ) = 0 A Bx ) ( δy ) = 0 el caso semplfcato n cu s hanno le δy =δy per ogn. 3

33 Se assumamo una legge n cu s hanno le δy =δy per ogn. mn c 0 c 1 x c x ) ( δy ) c 0 c 1 c c 0 c 1 x c x ( δy ) el caso semplfcato n cu s hanno le δy =δy per ogn. ) = 0 c 0 c 1 x c x ( δy ) = 0 c 0 c 1 x c x ( δy ) = 0 33

34 Polnom e regressone mul:pla e cors ntroduttv c lmtamo a utlzzare un foglo elettronco, che fornsca coeffcent, e verfcare eventualmente quale polnomo sa pù approprato per dat osservat, medante la verfca del c. Vsta la complesstà de calcol, nella propagazone delle ncertezze, rmandamo a software dedcato. Un approcco approssmato, n caso s non dsponbltà d software è utlzzare la propagazone delle ncertezze su ogn coeffcente del polnomo c k (k=0,, n) δ(c k ) c = k ( δy ) y approssmando le dervate parzal alle dfferenze fnte c k y Δc k = c k +δy ) c k ) = c k +δy ) c k ) Δy y +δy y δy dove le costan0 c k ) sono ottenute dalla regressone utlzzando le y, mentre le c k +δy ) sono ottenuto utlzzando utlzzando y +δy,, cambando un sngolo valore ogn volta. δ(c k ) = c k +δy ) c k ) δy ( δy ) = c k +δy ) c k ) ( ) 34