Regressione lineare: definizione delle incertezze dei coefficienti (calibrazione e regressione generica)

Transcript

1 Regressone lneare: defnzone delle ncertezze de coeffcent (calbrazone e regressone generca) Argoment: regressone lneare affetta da ncertezza; ncertezza del coeffcente angolare della retta d regressone; estmatore dell errore casuale de dat; metodo per l ntroduzone dell errore sugl ngress. Regressone con ncertezza Abbamo gà avuto modo d vedere all nzo del corso l concetto d regressone polnomale (mnmzzazone della somma degl scart quadratc) come metodo per trovare la relazone che ntercorre tra due varabl, a partre da delle rspettve msurazon. S è evdenzato come l legame lneare fra ngresso ed uscta sa spesso usato n ambto spermentale per determnare la calbrazone. La procedura pù «pratca» è quella d esegure una regressone totale La dsponbltà de ccl c permette d elaborare dat per rcavare altre nformazon (es. ndvduazone degl effett d steres, rpetbltà d funzonamento, ) Sapendo che dat spermental sono affett da ncertezza c dobbamo preoccupare d come questa s possa propagare a coeffcent d regressone e d quale lvello d ncertezza possono determnare nella loro stma

2 Incertezze su coeffcent d regressone La teora della regressone non consdera che le msure sano affette da ncertezza; semplcemente s voglono dentfcare parametr d un modello approssmante (d legge mposta) che mnmzzano gl scostament quadratc tra l modello stesso e dat dsponbl. Possble un altra nterpretazone utle a fn delle attvtà spermental: non mponendo l passaggo per punt s ammette mplctamente che l nformazone possa essere "sbaglata, tanto che non abba sgnfcato l vncolo d passaggo per punt. Per valutare l effetto che l ncertezza de dat produce su coeffcent della regressone, coè stmare la varabltà de coeffcent a seguto dell uso d dat dvers da quell dsponbl ma altrettanto probabl, applchamo l usuale tecnca d propagazone. el procedmento s assume che le msure x non sano affette da ncertezza; In alcun cas cò è del tutto naturale, es. n calbrazone quando l rfermento deve essere pù precso dello strumento n calbrazone (/), qund d ncertezza trascurable. Le procedure per tener conto d ncertezze confrontabl per le msure x ed sono controverse. Vedremo comunque uno schema per la valutazone prelmnare d quest effett. 7 Incertezza del coeffcente angolare Svluppo dell ncertezza sul coeffcente lneare: Possamo svluppare l denomnatore come: x x A x x x x x x x x A A La legge d propagazone dell ncertezza d ogn msura sul coeffcente A s scrve come: l denomnatore non dpende dalle msure qund la sensbltà alla sngola ncertezza dventa: ell potes d ncertezza costante sul campo d msura, ottenamo: A num( A) num( A) A 8

3 Incertezza del coeffcente angolare Il contrbuto dell ncertezza su cascuna msura è: x x x ( A) x num x x num( A) x x x x x x ( ) Incertezza del coeffcente angolare Qund, poché: possamo svluppare l ncertezza sul coeffcente lneare: num( A) num( A) x ( x ) ( ) ( + ) x x x x x x x + x x x x + x x x x 3

4 Incertezza del coeffcente angolare Pochè: Fnalmente ottenamo: num( A) A x Coè: num( A) A A vo dmostrare l espressone dell ncertezza per l termne costante. Il problema dvene ora ottenere una stma plausble del valore d. e x A x x x x x x num( A) Regressone e errore casuale In generale l modello lneare è: ε ( ) f x ε a a x ε ε ˆ ( ) Dove è l errore, devazone del sngolo punto d msura dal modello regressvo: esso rappresenta la varabltà totale de dat non spegata dal modello regressvo che produrrebbe la stma a fronte della msura ell attvtà spermentale l errore è dovuto a due element: La dscrepanza determnstca tra l comportamento del sstema ed l modello d regressone adottato: ε Mod ( x ) le ncertezze spermental, d carattere casuale, dovute a condzon non controllate che determnano una dspersone ne dat: ε ( µ, ) Qund detto anche errore d adattamento Ms ˆ + ε ( x ) + ε Mod Ms _ ˆ ε ( x Mod ) ε ( µ, ) Ms 3 4

5 Regressone e errore casuale L errore d modello: E legato alla scelta dell ordne della regressone che può non nterpretare perfettamente fenomen fsc che avvengono nello strumento Vene verfcato con le tecnche d msura della qualtà della regressone. Se presente va ad aumentare la varanza dell errore casuale: la combnazone porta ad una banda d aleatoretà, dentro la quale non è possble dstnguere due effett. L errore d msura dpende da fenomen, dvers da quell d sensbltà prncpale, che s svluppano nello strumento producendo effett casual; quest s evdenzano n termn d dspersone, non rpetble ma caratterzzable n senso probablstco. La dmensone complessva della banda d aleatoretà determna le caratterstche d qualtà dello strumento. Come possamo stmare l errore? 4 Estmator ncertezza: varanza totale Possamo stmare lo scostamento complessvo tra dat ed l modello utlzzando l concetto dello scarto quadratco medo e applcandolo a tutt punt dsponbl: S a a x ( ˆ ) ( ( )) ota: l utlzzo del termne - a denomnatore dpende dal reale numero d grad d lbertà presente nell equazone. La spegazone d questo fatto esula dagl scop del corso. Retta d Regressone Possamo qund usare come la radce della varanza S che sntetzza tutte le dscrepanze tra modello e dat Questo predttore dell errore è brdo: tene conto sa dell ncapactà del modello lneare nel rappresentare l comportamento del sstema (d tpo determnstco), sa l errore d msura vero e propro (d tpo casuale). Se l contenuto determnstco non è pccolo non possamo aspettarc un comportamento perfettamente descrvble con l modello gaussano. ˆ x 5 5

6 Estmator ncertezza : varanza della parte casuale Possamo effettuare una stma de sol effett casual, rmuovendo l errore d adattamento (essendo dovuto ad una carenza del modello è determnstco). E necessaro esegure osservazon rpetute (osservazon rpetute: le determnazon multple d, n corrspondenza d dentc valor d x ) e calcolare la varanza de punt d una stazone rspetto a loro valor med. Se l valore dell ngresso è dentco allora le rsposte dfferscono solo per effetto della varabltà casuale. Retta d Medando le varanze tutto l campo s ha: Regressone M S (, ) M (nella relazone non compare la retta d regressone), La dfferenza tra le due formulazon fornsce un ndcazone dell enttà dell errore d modello. Mancando una parte dell errore, pur sempre presente nello strumento, questo ndcatore non può essere usato per defnre se non avendo verfcato che l errore d adattamento sa trascurable x 6 Metod d regressone Alla luce d quanto vsto, se per effettuare la calbrazone d uno strumento s possono esegure pù ccl d carco, quale delle tre possbl modaltà operatve per l calcolo de coeffcent della regressone è mglore, tenendo conto anche della necesstà d una stma delle ncertezze? A. Regressone totale: s utlzzano nseme tutt valor dsponbl. B. Regresson ndpendent su sngol ccl d carco e valutazone de valor med e delle devazon standard de coeffcent per ogn cclo. C. Regressone su valor med per ogn punto d ngresso.. Altre domande che non c samo ancora post sono: come sono nfluenzat coeffcent dalla poszone, x, e dal numero,, d msurazon svolte? cosa aggunge la molteplctà d x? a partà d numero d msure è meglo avere pù stazon o rpetzon? Possamo provare a fare qualche consderazone e dare una rsposta. 7 6

7 Un commento sulla regressone Osservazon: S può dmostrare che usare due o pù volte la stessa ascssa equvale ad utlzzare un solo punto con msura par al valore medo de sngol dat. L aggunta d punt n una sngola stazone d msura ha come prmo effetto l mgloramento, n presenza d mprecson d msura, della valutazone d quel valor medo ma non modfca coeffcent Le rpetzon servono pù a stablre la rpetbltà delle msure che non a mglorare la stma de coeffcent della regressone A partà d nformazon le tre procedure fornscono gl stess rsultat. ella soluzone B l calcolo della dspersone de coeffcent med fornsce solo una ndcazone dell ncertezza poché s basa su un numero assa lmtato d dat stocastc (numero d rpetzon); utle solo per capre l enttà del problema. La soluzone C prevede la stma della dspersone sulle sngole stazon prma dell effettuazone della regressone, fornsce qund l ndcazone d precsone o rpetbltà dello strumento La soluzone A accomuna n un solo ndce gl error d dspersone e d adattamento 8 Un commento sulla regressone Procedura raccomandata per una calbrazone comprensva della stma d tutt parametr d qualtà (prncpale): S eseguono dvers ccl d carco e scarco S effettua una regressone totale su tutt punt; S determnano le varanze del modello con le entrambe le modaltà dscusse ( S e S ) ; S confrontano le due varanze per verfcare l assenza d un errore d modello sgnfcatvo S determnano termn sotto radce dell equazone d propagazone delle ncertezze; S determnano le ncertezze de coeffcent utlzzando la varanza totale (non avrebbe senso fngere che l errore d modello non essta; se anche d carattere determnstco d fatto amplfca l errore casuale) Qualora s oper con rpetzone, gl ngress devono essere msurat ad ogn cclo e trattat come punt ndpendent (d fatto rentrando nell opzone A). 9 7

8 Un commento sulla regressone Procedura raccomandata per la calbrazone d verfca: Vene eseguto un solo cclo d carco S effettua sempre una regressone totale su tutt punt; s determnano le varanze del modello con la prma modaltà ( ) ; S eseguono msure rpetute solo n alcun punt e s calcola S S S verfca che le varanze sano compatbl con quelle della calbrazone vsta al lucdo precedente (prncpale) S determnano termn sotto radce dell equazone d propagazone delle ncertezze; S determnano le ncertezze de coeffcent utlzzando la varanza totale Metod d regressone Un approcco formalmente pù corretto, valdo però solo sotto le potes dstrbuzone d errore gaussana, costante su tutto l campo d msura, n presenza d suffcent msure rpetute, è: rcondurre le msure multple al loro valore medo e calcolare la rspettva ncertezza; effettuare una regressone su valor med (ndpendent); valutare l effetto dell ncertezza casuale vera e propra sulla qualtà de coeffcent della regressone. 4 4 Msura [mv] Cclo. Cclo. Cclo.3 Cclo.4 Cclo.5 Msura [mv] Forza [] Forza [] 8

9 Incertezza e ntercetta el caso s d legam dealmente lnear (coeffcente costante nullo) se s utlzza un campo non smmetrco (da valore nullo ad un massmo) la fasca d ncertezza prodotta dalla combnazone de contrbut de due coeffcent s ampla verso l fondoscala e la stma dell uscta fornta dalla retta d regressone può collocars n qualsas punto all nterno d una banda la cu ampezza è mnma allo zero e massma all estremo superore La stma dell errore che s commette al fondoscala per effetto dell ncertezza sul coeffcente angolare è n questo caso eccessvamente pessmstca. Incertezza e ntercetta Utlzzando un rfermento auslaro, defnto con una traslazone dell orgne nel barcentro de dat, s otterrebbe una stuazone pù blancata: L ncertezza del coeffcente angolare rmane costante e dmnusce quella del termne costante. Poché l accuratezza alle estremtà del campo dpende dalla dstanza dall orgne avremo una proezone nferore dell ncertezza del termne angolare S ha che la banda d errore della msura stmata tramte la retta d regressone è mnore nella zona centrale del campo d msura e s allarga verso gl estrem. Assumendo un fasca d dmensone unforme avremo, rspetto al caso nzale, ncertezza pù alte nella parte nferore del fondoscala e mnor n quella elevata

10 Incertezza del modello lneare I coeffcent d propagazone dpendono anche dal numero d stazon x B x x A x x I x I B I I ( x ) x E opportuno che punt sano dstrbut sull ntero campo d msura (ragonevole una dstrbuzone unforme) La legge può essere utle per decdere l numero d stazon I x I coeffcent esbscono tutt una tendenza a decrescere con l aumento d A Incertezza del modello lneare I coeffcent d propagazone dell ncertezza su coeffcent della regressone ha l seguente andamento n funzone del numero d stazon (equdstant) Termne costante Rf centrato Rf estremo Termne lneare Rf centrato Rf estremo Comment: Il coeffcente costante s rduce graze alla centratura del rfermento Il coeffcente angolare non s modfca utlzzando un rfermento centrato I coeffcent s rducono all aumentare del numero d stazon (l coeffcente angolare s rduce d crca l 3% passando da 5 a punt) Qund con la scelta del numero d stazon è possble: Intervenre sull ncertezza della pendenza del legame lneare Intervenre sull ampezza della fasca d ncertezza del modello lneare 6

11 Incertezza dell ngresso ella teora alla base della regressone s assume che le msure, sa n ngresso che n uscta, non sano affette da ncertezza. Avendo a che fare con msure, come tal caratterzzate da una dspersone e qund da un ncertezza, dovremo preoccuparc d come queste d propagano a coeffcent della regressone. In alcun cas è naturale assumere che le ncertezze sulle varabl d ngresso sano pccole. Es. ella calbrazone d uno strumento l rfermento deve essere molto pù precso avendo qund ncertezze almeno volte pù pccole d quelle sulle. E questo è l caso tpco al quale faccamo rfermento. Le procedure per tener conto d ncertezze comparabl sa n x che n sono complesse e controverse. Vedremo comunque uno schema per la valutazone prelmnare d quest effett. 3 Incertezza dell ngresso L errore dovuto ad una ncertezza n x può essere trasformato n un errore dovuto ad una ncertezza equvalente n, moltplcandolo per l coeffcente angolare della regressone lneare. x ( errore n x) d ( equv.) x A x dx S può qund determnare una ncertezza equvalente ( equv) A e combnare le ncertezze de due cas separat ottenendo un ncertezza equvalente per le msure n attraverso la RSS: ( A ) ( equv.) + x x 3

12 Esempo Determnazone spermentale della rgdezza assale d un asta medante prova d trazone e msura d forza e spostamento. Legge d regressone: F S Precsone delle msure: forza.5% FS () spostamento.5% FS (5mm) Le ncertezze sulle msure d forza e spostamento sono: F.5* 5 S.5*5.75 mm Con quest valor s può valutare l ncertezza equvalente sulle sole msure d forza e qund l ncertezza sulla rgdezza ( ) ( equv.) + F F S Regr FC 33 Tornando alle domande Altre domande che c eravamo post : come sono nfluenzat coeffcent dalla poszone, x, e dal numero,, d msurazon svolte? cosa aggunge la molteplctà d x? a partà d numero d msure è meglo avere pù stazon o rpetzon? Rsposte che abbamo trovato: Abbamo stablto l sgnfcato de parametr numero d ccl e numero d stazon n relazone alla qualtà de coeffcent d regressone, n partcolare che entramb sono mportant ma a scop dvers Abbamo stablto l effetto della rpetzone de punt d msura Abbamo stablto che è opportuno esegure le msure d ngresso anche quando rpetute In assenza d rpetzon s deve assumere che la stma delle dsperson effettuata sulle stazon sa adeguata ella calbrazone d messa a punto è possble rfars alla dspersone d un sngolo punto d msura (o n caso estremo a dat nomnal dello strumento) 34

13 Domande? 35 Approfondment 36 3

14 Revsone d alcun concett Abbamo defnto la regressone come tecnca d mnmzzazone degl scart quadratc el caso d dat ncert, tpco della spermentazone, abbamo dato una nterpretazone d tpo ntutvo all mpego d questa tecnca. Cerchamo d dare una spegazone concettualmente pù robusta tenendo conto che dat sono ntrnsecamente ncert e che possono essere descrtt n termn probablstc da una tpologa d dstrbuzone, un valor medo e una devazone standard. Abbamo potzzato che gl error d msura possano essere descrtt da una dstrbuzone gaussana d valore medo nullo e d assegnata varanza (o devazone standard); per la msura scrveremo la denstà d probabltà come: ( ) p( ) exp π Avendo collocato l valore medo della dstrbuzone nella msura stessa. 37 Avendo assunto per la msura della grandezza una dstrbuzone Gaussana d devazone, allora la probabltà d ottenere una msura nell ntorno del valore è: P( d + d) p( ) d ( ) ( ) exp d exp π Dove c esprmamo n termn d «proporzonaltà» per motv che dverranno subto char. Avendo un elenco d msure, :, la probabltà d osservare tutte le msure acquste è data dal prodotto delle rspettve probabltà, detta anche probabltà congunta: P P( ) p( ) d 4

15 e problem probablstc è possble nvocare l cosddetto Prncpo d Massma Verosmglanza; el caso d dat spermental esso stablsce che: Data una sere d msure, Data la probabltà degl event defnta con una dstrbuzone d probabltà d forma nota Dato un modello ˆ( x, a ) del fenomeno, funzone d parametr ncognt a, : Defnta la Funzone d Massma Verosmglanza come funzone del modello adottato ˆ( x, a ), e qund de parametr a, l «mglor modello», coè la mglor stma possble d tal coeffcent (o stma d Massma Verosmglanza), è quella che massmzza la probabltà dell evento; ess s ottengono qund mponendo che: L, a el problema delle msure, adottando un modello della varable d msura : ˆ( x, a ) ( ˆ ) La funzone d massma verosmglanza dventa: La massmzzazone della probabltà comporta la mnmzzazone l esponente, e n ultma anals della sommatora. ( ˆ) ( ˆ) S rconosce che, ndpendentemente dal modello, questo processo porta alla mnmzzazone degl scostament n senso quadratco tra modello l modello ŷ _e dat Per modell d ordne, ŷ a, ed, ŷ a + ax, s otterranno qund gl stess rsultat precedentemente ottenut con la regressone, avendo assunto l potes d una dstrbuzone gaussana de dat. Il punto d partenza è ora, però, penamente compatble con le caratterstche probablstche del problema. P e 5

16 Dspersone della meda d una sere Adesso che abbamo defnto la meda come operatore d stma, possamo rvedere anche l concetto d dspersone del valore medo x x Trattamo lo stmatore come una generca funzone cu applcare la RSS, assumendo sngol termn x w della sommatora come varabl ndpendent x w x Per poterlo fare abbamo: Assunto motv d dspersone casual e ndpendent, o non correlat. Assunto una dstrbuzone unforme della dspersone: w wms x x x se Poché: allora: x e: x x x x se Ottenamo qualcosa d ben noto: w w w w x Ms Ms Ms Domande? 46 6