Stima dei Parametri: Metodo dei Minimi Quadrati

Transcript

1 Captolo 9 Stma de Parametr: Metodo de Mnm Quadrat Questo captolo llustra uno de metod d stma puntuale pù utlzzat n fsca e non solo, noto col nome d metodo de mnm quadrat. La formulazone matematca nzale d questo metodo è dovuta a Legendre e ndpendentemente a Gauss che lo applcò allo studo del moto de corp celest. 9.1 Il prncpo del Metodo de Mnm Quadrat Il metodo de mnm quadrat (MMQ) è usato nel caso n cu s debba adattare una funzone, n cu compaano de parametr ncognt, ad un nseme d dat spermental. S supponga che n un espermento sano state acquste N coppe d valor (x, y ) d due grandezze fsche X e Y e che tra queste due grandezze s possa potzzare l esstenza d una relazone funzonale 1 Y f(x Λ), dove Λ ndca un nseme d parametr Λ : {λ } ( 1,..., M). Per esempo nello studo spermentale della dpendenza del perodo d un pendolo semplce (varable Y ) dalla sua lunghezza (varable X) la funzone f avrà la forma Y λ X (con λ 2π/ g). In generale la funzone f potrà avere vare forme come quella lneare: f(x λ 1, λ 2 ) λ 1 + λ 2 X, oppure quella quadratca: f(x λ 1, λ 2, λ 3 ) λ 1 + λ 2 X + λ 3 X 2, oppure quella esponenzale: f(x λ 1, λ 2 ) λ 1 exp(λ 2 X) e così va. S supponga noltre che le msure y sano tra loro ndpendent, che u y rappresentno le relatve ncertezze standard e che le ncertezze sulle x s possano trascurare. Il Prncpo de Mnm Quadrat afferma che valor da assegnare a parametr ncognt Λ sono quell che mnmzzano R 2, somma n quadratura delle dstanze tra valor de dat spermental e le prevson teorche dvse per l ncertezza della msura 2 : R 2 (y f(x Λ) ) 2 u 2 (9.1) y Per ottenere la stma d parametr Λ s deve trovare l mnmo dell espressone (9.1) vsta 1 Come gà notato precedentemente, la funzone f(x Λ) usata (l modello matematco) può dervare da consderazon teorche legate all anals del fenomeno che s studa oppure può essere suggerta dagl andament fenomenologc spermental 2 In altre parole la dstanza tra valore msurato e la prevsone teorca è msurata con l untà d msura rappresentata dall ncertezza. 113

2 114 CAPITOLO 9. STIMA DEI PARAMETRI: METODO DEI MINIMI QUADRATI y f(x Λ) x Fgura 9.1: Nel grafco sono rportat punt spermental e relatve ncertezze d un generco espermento nseme alla curva d ft ottenuta con l metodo de mnm quadrat. Con l tratto pù scuro è ndcata la dstanza y f(x Λ) tra ogn punto spermentale e la curva teorca. come funzone de parametr, ovvero s deve rsolvere l seguente sstema: R 2 λ 1 R2 λ 2... R2 λ M 0 (9.2) dove M è l numero de parametr da determnare. Se ndchamo con ˆΛ {ˆλ 1, ˆλ 2,... ˆλ M } la soluzone del sstema (9.2), la funzone f(x, ˆΛ) è completamente determnata e generalmente vene ndcata con l termne gergale d ft 3 de dat. Nella fgura 9.1 è mostrato un generco esempo d ft d alcun dat spermental con una curva teorca f(x ˆΛ) cu parametr ˆΛ sono stat ottenut rsolvendo l sstema (9.2). Ne test d statstca con l espressone Metodo de Mnm Quadrat s ntende, dversamente da quello qu presentato, un metodo basato sulla mnmzzazone dell espressone (y f(x Λ)) 2 dversa dalla (9.1) per l assenza delle ncertezze e nvece l MMQ basato sulla mnmzzazone della (9.1) è detto pesato. In questo testo l MMQ sarà uncamente quello pesato anche se non esplctamente detto. S not che l prncpo de mnm quadrat non rchede alcuna condzone sulla dstrbuzone d probabltà delle grandezze y ; tuttava se le y hanno dstrbuzon gaussane con valore medo f(x ˆΛ) e devazone standard u y allora l espressone che s ottene dalla (9.1) quando Λ ˆΛ è per defnzone una varable che segue la dstrbuzone del χ 2 (ved l paragrafo 5.9.7), e potremo scrvere 4 : χ 2 ( ) 2 y f(x ˆΛ) u 2 y (9.3) In questo caso, utlzzando le tabelle precomplate della dstrbuzone del χ 2, s potranno fare consderazon probablstche sulla qualtà del ft ottenuto. 3 Il termne nglese ft s può tradurre, n questo contesto, con: procedura d adattamento d una curva teorca a dat spermental 4 In molt test, anche se n modo mpropro e che può generare confusone, l espressone (9.1) è ndcata con l smbolo χ 2 anche nel caso generale n cu la dstrbuzone delle y non sa normale.

3 9.2. MINIMI QUADRATI E FIT LINEARE Mnm quadrat e ft lneare L applcazone pù semplce del metodo de mnm quadrat s ha quando la funzone che s vuole adattare all nseme delle N coppe d dat (x, y ± u y ) è lneare. Il modello teorco n questo caso è rappresentato da una retta: y a + bx (per raccordars con la notazone precedente: λ 1 a e λ 2 b), nel pano xy e la funzone R da mnmzzare s scrve come: R 2 w (y a bx ) 2 dove per semplfcare la notazone s sono ntrodott pes w delle msure y defnt dalla relazone: w 1/u 2 y. I valor d a e b che mnmzzano R 2 sono quell che annullano le dervate d R 2 rspetto a due parametr: R 2 N a 2 w (y a bx ) 0 R 2 b Per alleggerre la notazone ponamo: N 2 w x (y a bx ) 0 (9.4) S 0 w, S x w x, S xx w x 2, S xy w x y, S y w y (9.5) Con queste poszon l sstema precedente s scrve: La soluzone del sstema precedente è: { as0 + bs x S y as x + bs xx S xy (9.6) â 1 (S xxs y S x S xy ), ˆb 1 (S 0S xy S y S x ) (9.7) dove è l determnante della matrce de coeffcent del sstema (9.6): S 0 S xx (S x ) 2 S verfca faclmente che valor trovat corrspondono al mnmo d R 2. In conclusone le relazon (9.7) sono le stme de parametr a e b ottenute con l metodo de mnm quadrat Incertezza sulle stme de parametr Le stme (9.7) de parametr a e b sono varabl aleatore n quanto funzon, n partcolare lnear, delle varabl aleatore y e le loro ncertezze u a e u b s ottengono dalla formula d propagazone delle ncertezze 5 (7.10). Inoltre è evdente che â e ˆb sono grandezze correlate tra loro n quanto entrambe dpendono dalle stesse varabl aleatore y, qund c s aspetta che la loro covaranza, Cov[â, ˆb] sa dversa da zero. Valuteremo qund sa l ncertezza delle stme â e ˆb sa la loro covaranza. 5 La formula utlzzata è quella per la propagazone delle ncertezze non correlate n quanto le y sono tra loro ndpendent.

4 116 CAPITOLO 9. STIMA DEI PARAMETRI: METODO DEI MINIMI QUADRATI Come è stato detto â e ˆb sono funzon lnear delle y, qund potremo scrvere â α y e ˆb β y, dove le espresson delle costant α e β s rcavano dalle (9.7) e dalle poszon (9.6): e valgono α 1 ( ( w x 2 )w ( ) w x )w x w (S xx S x x ) β 1 ( ( w )w x ( ) w x )w w (S ox S x ) Tenendo conto che y / y δ, poché le y sono ndpendent, e che per defnzone u 2 1/w, calcolamo l ncertezza su a come: u 2 a ( a 1 2 N y ) 2 u 2 y j ( α y y ) 2 u 2 y α 2 w w 2 (S xx S x x ) 2 ( ) w Sxx 2 + Sxx 2 2 2S xx S x x 1 ) (S 2 o Sxx 2 + SxS 2 xx 2S xx Sx 2 S xx (9.8) Procedendo allo stesso modo per l calcolo dell ncertezza su b s ottene ( ) 2 b ( u 2 b u 2 y y j β ) 2 y u 2 β 2 w y j y w 2 (S ox S x ) 2 j1 1 2 N S 0 ( ) w Sox Sx 2 2S o S x x 1 ) (S 2 2 os xx + S o Sx 2 2S o Sx 2 Calcolamo ora la covaranza Cov[â, ˆb] tra le stme de parametr â e ˆb: Cov[â, ˆb] Cov α y, j β j y j α β j Cov[y, y j ],j (9.9) dove nell ultmo passaggo s è usata una propretà dell operatore covaranza che s deduce faclmente usando la defnzone d covaranza 6. Tenendo conto che per l ndpendenza delle y, Cov[y, y j ] δ j Var[y ], s ha: Cov[â, ˆb] α β j Cov[y, y j ] α β Var[y ] α β 1 w,j 2 w (S xx S x x ) (S o x S x ) 1 2 w (S xx S o x S xx S x S o S x x 2 + Sxx 2 ) S x (9.10) 6 Dmostramo questa propretà calcolando esplctamente la covaranza della varable aleatora x 1 moltplcata per la costante a con una combnazone lneare delle varabl aleatore y 1 e y 2: by 1 + cy 2. Cov[ax, by 1+cy 2] E[(ax aµ x)(by 1+cy 2 bµ y1 cµ y2 )] E(ax aµ x)(by 1 bµ y1 )+E[(ax aµ x)(cy 2 cµ y2 ) ab Cov[x 1, y 1] + ac Cov[x 1, y 2]

5 9.2. MINIMI QUADRATI E FIT LINEARE 117 Dalla covaranza (9.10) e dalle (9.8) e (9.9) possamo ottenere l coeffcente d correlazone tra le stme de parametr â e ˆb ρ ab Cov[â, ˆb] Var[â] Var[ˆb] S x S x S xx S o Sxx S o Rassumendo le ncertezze standard e l coeffcente d correlazone de parametr a e b stmat con l metodo de mnm quadrat sono: u a S xx u b S 0 S x ρ ab (9.11) Sxx S o In var test d anals dat che trattano l metodo de mnm quadrat applcato al ft lneare sono valutate uncamente le ncertezze u a e u b e non è rportata la covaranza. Tuttava se â e ˆb sono usat nella stessa espressone per la valutazone d una grandezza la conoscenza della covaranza è necessara per la corretta valutazone dell ncertezza della grandezza. Caso delle ncertezze ugual. Nel caso n cu tutte le ncertezze sulle y sano ugual (u y u y ) le poszon (9.5) s semplfcano, utlzzando l peso w 1/u 2 y, n S 0 wn, S x w x, S xx w x 2, S xy w x y, S y w y (9.12) S verfca faclmente che n questo caso l valore d entramb parametr a e b, dat dalle (9.7), non dpende dal valore dell ncertezza u y. Le ncertezze su â e ˆb e l loro coeffcente d correlazone date dalle (9.11) n questo caso dvengono: x 2 u a u y N x 2 ( x ) 2, u N b u y N x 2 ( x ) 2, ρ ab x N x Esempo d applcazone del metodo de mnm quadrat La teora dell elastctà, attraverso la legge d Hooe (F x) prevede che, n condzon d equlbro, c sa proporzonaltà tra la forza generata da una molla e l suo allungamento. Un espermento per la msura della costante elastca d una molla consste nella msurazone della poszone del peso aggancato alla molla sospesa vertcalmente n funzone della massa m del peso applcato. La legge d Hoo fornsce l modello matematco che lega le grandezze msurate n questo espermento: m (/g)(l l o ) dove l è la coordnata dell estremo lbero della molla e l o è la coordnata della molla a carco nullo 7 Nell espermento s msurano la massa del peso aggancato alla molla, con un ncertezza trascurable (varable x) e la poszone dell estremo moble della molla rspetto ad un orgne arbtrara (varable y) con la sua ncertezza u y. Nella tabella seguente sono rportate 5 coppe d msure delle grandezze x e y. 7 L espressone allungamento carco nullo n questo espermento è ambgua, nfatt la massa stessa della molla poszonata vertcalmente provoca un allungamento e noltre alcune molle a carco nullo hanno spre a contatto per cu la molla non può contrars ulterormente. Tuttava la lneartà della relazone tra forza e allungamento rende secondara questa osservazone per la msurazone della costante della molla.

6 118 CAPITOLO 9. STIMA DEI PARAMETRI: METODO DEI MINIMI QUADRATI (mm) l m (g) Fgura 9.2: Grafco della poszone dell estremo lbero d una molla n funzone della massa del peso applcato. La retta nel grafco è l ft a dat ottenuto con l metodo de mnm quadrat. x (g) y (mm) u y (mm) Per la stma d /g con l metodo de mnm quadrat la funzone da adattare a dat è quella lneare con la varable x (quella con ncertezze trascurabl) concdente con la massa del peso e la varable y coordnata dell estremo lbero della molla. Nel grafco n fgura 9.2 sono rportat punt della tabella precedente con la massa del peso nell asse delle ascsse e l allungamento della molla nell asse delle ordnate. La retta da adattare a dat s scrve come y a + bx (9.13) dove l parametro ncognto a, una volta stmato, sarà l valore della coordnata l o dell estremo della molla a rposo. Il parametro ncognto b, una volta stmato, sarà l valore /g con la costante della molla cercata e g è l accelerazone d gravtà. Per l applcazone del metodo de mnm quadrat a questo problema è necessaro calcolare l valore delle espresson (9.5). Con semplc calcol algebrc s ottene 8 e qund S , S x , S xx , S y , S xy â S xxs y S x S xy S 0 S xx (S x ) mm ˆb S 0 S xy S y S x S 0 S xx (S x ) mm g 1 (9.14) Attraverso le (9.11) s ottengono le ncertezze standard su parametr a e b: S xx u a S 0 S xx (S x ) mm u S 0 b mm g 1 S 0 S xx (S x ) 2 8 Per questo tpo d calcol, n partcolare quando l numero d dat è elevato, l auto d programm d calcolo faclta e veloczza la procedura e rende pù dffcle fare error ne calcol. Un programma partcolarmente utle per quest calcol è l foglo elettronco excel oppure l suo equvalente open source

7 9.2. MINIMI QUADRATI E FIT LINEARE 119 e l coeffcente d correlazone: S x ρ ab Sxx S o In conclusone la stma puntuale de parametr a e b con l metodo de mnm quadrat è: â (8 ± 4) mm ˆb (0.81 ± 0.04) mm g 1 ρ ab 0.85 Dal valore d b s rsale alla costante della molla attraverso la relazone bg. L ncertezza su s ottene propagando uncamente quella b, solo se s assume per g un valore la cu ncertezza sa tale che u g gu b /b. La gustfcazone d questa condzone è lascata al lettore. Y Fgura 9.3: Msure rpetute con ncertezze dfferent Mnm quadrat e Meda pesata Nel caso n cu s abbano vare msurazon d una stessa grandezza fsca, ottenute anche con modaltà ed esperment dfferent, l metodo de mnm quadrat permette d ottenere la stma della grandezza che tenga conto d tutte le msurazon esegute. Sano y le n msure cascuna con una propra ncertezza u. Rappresentamo grafcamente gl n rsultat come ad esempo mostrato nella fgura 9.3. Nell asse delle ascsse è rportato l numero dentfcatvo della msura (ovvamente del tutto arbtraro). In questo caso la funzone f(x Λ) da adattare a dat s rduce ad una costante, λ, e l valore ˆλ che mnmzza R 2 è la mglore stma della grandezza con l metodo de mnm quadrat. La funzone R 2 da mnmzzare è n R 2 (y λ) 2 dervando e annullando la relazone precedente s ha: R 2 n ( λ 2 y λ n u 2 2 Da cu ntroducendo pes w 1/u 2 pesata: u 2 y u 2 λ n u 2 ) 1 0 ottenamo la nota formula della meda artmetca y λ w y w

8 120 CAPITOLO 9. STIMA DEI PARAMETRI: METODO DEI MINIMI QUADRATI Mnm quadrat e Massma Verosmglanza Il metodo de mnm quadrat può essere dervato da quello d Massma Verosmglanza nel caso partcolare n cu le grandezze y sano dstrbute n modo gaussano. Consderamo due grandezze X e Y tra le qual s suppone essta una relazone funzonale Y φ(x Λ) dove Λ rappresenta l nseme de parametr da determnare eseguendo un espermento. Sano x y ± σ N msurazon ndpendent delle grandezze X e Y con le y dstrbute n modo gaussano attorno al valore φ(x Λ) con devazone standard σ e sano noltre trascurabl le ncertezze sulle x. Per potes, n corrspondenza ad ogn valore x le msurazon y hanno la dstrbuzone: f (y) 1 e (y φ(x Λ)) 2 /2σ 2 (9.15) 2πσ Per l ndpendenza delle msure y la probabltà d ottenere un partcolare evento y 1,..., y N è proporzonale a: f 1 (y 1 Λ)f 2 (y 2 Λ)... f N (y N Λ). Utlzzando la (8.5), la funzone d verosmglanza n questo caso s scrve: 1 L(Λ) ln e (y φ(x Λ)) 2 /2σ 2 2πσ ( N (y φ(x Λ)) 2 ) 2σ 2 + cost. Il metodo d massma verosmglanza rchede d massmzzare L che, n questo caso, s ottene mnmzzando la sommatora tra parentes. Quest ultma è propro la somma degl scart quadrat dvs per la varanza, la cu mnmzzazone è esattamente la condzone rchesta dal metodo de mnm quadrat, a parte l nnfluente fattore 2. Concludamo qund che quando le varabl aleatore sono dstrbute n modo normale, l metodo de mnm quadrat e quello d massma verosmglanza sono equvalent, ovvero portano alla stessa stma de parametr ncognt.