Captolo 3 Covaranza, correlazone, bestft lnear e non lnear ) Covaranza e correlazone Ad un problema s assoca spesso pù d una varable quanttatva (es.: d una persona possamo determnare peso e altezza, oppure QI e reddto; d un segnale spettroscopco s può operare una deconvoluzone n termn d poszone de pcch e loro ampezza, etc.). Consderamo l caso d due varabl, e ndchamo con (, ) valor relatv al caso -esmo d un nseme d N dat. Per cascuno de set ( ) e ( ) possamo defnre meda e varanza come vsto nel captolo <> <> Possamo ora defnre una quanttà, chamata covaranza, come N ( < > )( < > ) N N < >< > < >< N > + < >< >< > < () >< > Se non c è nessuna relazone tra le due varabl s dce che e sono ndpendent e la loro covaranza è nulla. Esempo: una persona pù alta della meda, non è detto che abba un QI elevato. Vceversa, una persona pù alta della meda peserà probablmente pù della meda. La covaranza, n questo caso, è un numero postvo perché nella maggor parte de cas ( < > ) e ( < > ) saranno ambedue postv (per persone alte e pesant) o ambedue negatv (per persone pccole e leggere).
Se e sono varabl non ndpendent che ha senso sommare o sottrarre, la varanza d ± non è pù data semplcemente da +. Infatt N N ± N N ( ± ( < > ± < > )) (( < > ) ± ( < > )) ( < > ) + ( < > ) ± ( < > )( < > )) ( + ± ) Le nterrelazon tra due varable possono essere descrtte da una quanttà legata alla covaranza e detta coeffcente d correlazone ρ N ρ (3) che ha la propretà d avere valore assoluto sempre. Se ρ le varabl s dcono correlate postvamente n modo perfetto. Se ρ le varabl s dcono correlate negatvamente n modo perfetto. Se e sono ndpendent, allora valor attes d covaranza e correlazone sono null. N.B. Se la correlazone ha valore atteso nullo, le varabl s dcono scorrelate, ma non è detto che sano ndpendent. Infatt un sottogruppo potrebbe avere covaranza negatva ed essere compensato esattamente da un altro sottogruppo a covaranza postva. ()
, ndpendent, scorrelate ρ 0 Covaranza e correlazone possono essere defnte sa su un nseme d coppe d dat (,) sa per una dstrbuzone contnua f(,). Così come la varanza msura l ampezza delle fluttuazon attorno al valore medo, la correlazone msura l collegamento tra fluttuazon d e fluttuazon d.
) Best-ft d dat spermental L andamento de dat spermental o un modello teorco possono suggerre che le varabl e sano legate da una relazone nota del tpo f(, A, B, N) dove gl A, B,, N sono parametr n generale non not. Il problema, n questo caso, consste nel determnare l nseme de valor de parametr per cu la curva f() pass l pù vcno possble a punt (, ). La curva così ottenuta prende l nome d best-ft o curva d regressone de mnm quadrat. Effettuare una regressone d su sgnfca prendere n consderazone le dfferenze tra ordnate d punto e curva ( ) δ f (4) e mnmzzare la somma delle devazon al quadrato (applcazone del prncpo de mnm quadrat) S (,B,..., N) ( f ( )) A (5) n Vceversa, se è defnble la funzone nversa f (), s può effettuare la regressone d su mnmzzando la somma de quadrat delle devazon δ delle ascsse S (,B,..., N) f ( ) ( ) A (6) n
. La regressone lneare Il caso pù mportante nella pratca è quello n cu la relazone attesa tra le varabl e è d tpo lneare A + B (7) e s mnmzzano le devazon delle ordnate. In questo caso s parla d best-ft (o regressone) lneare. N.B. Alcun calcolator tascabl usano la notazone A, B; altr ndcano A come ntercept (ntercetta con l asse ) e B come slope (pendenza della retta). La soluzone del problema d regressone lneare d su è esprmble n termn d mede, varanze e covaranza calcolate sul set d dat (, ). Per ottenere A e B s mpone che sa nulla la meda delle devazon δ ( ( A + B) ) >< > A B < > 0 < δ >< (8) < > A + B < > (9) e che sa nulla la dervata parzale un mnmo n (A, B) S ( A,B) B, come deve essere se S ha n n n B ( A B ) ( A B ) ( A B ) 0 < > A < > + B < > (0)
Mettendo a sstema la (9) e la (0) s ottene < ( < > B < > ) < > + B < > > < > < >< > B () < > < > A < > B < > () N.B. I calcolator tascabl utlzzano relazon d questo tpo per l calcolo d A e B... Interpretazone degl scostament tra le ordnate spermental e quelle della retta d best-ft (nota per pù espert) Indchamo con un astersco valor assunt dalle ordnate della retta d best-ft n corrspondenza a valor della varable ndpendente * A + B (3) e costruamo la varanza d *, quanttà a meda nulla che msura come le ordnate de punt s scostano dalle corrspondent ordnate della retta d best-ft N N * N ( A B ) ( ( < > B < > ) B ) (( < > ) B( < > )) N N ( < > ) + B ( < > ) B( < > )( < > ) (4)
da cu, utlzzando le defnzon d varanza, covaranza e la equazone () s ottene ( ) 4 B B * ρ + + (5) La quanttà ( ) * ρ è nterpretable come frazone della varanza d che è assocata alle devazon dalla retta d best-ft. Invece ρ ha l sgnfcato d parte della varanza d dovuta alle varazon d. Il quadrato del coeffcente d correlazone spega la parte della varanza d che è dovuta alle varazon della varable ndpendente. N.B. L anals d correlazone non ha senso con meno d tre punt spermental. Per N varanza e covaranza sono nulle. Per N l coeffcente d correlazone vale sempre ±.
. La regressone non-lneare Supponamo d avere una qualsas relazone teorca tra due quanttà e e n parametr fsc k,, k n f(, k,,k n ) In aggunta, supponamo d avere m coppe d punt (, ) determnat spermentalmente. Partendo dalla relazone teorca e da punt spermental, l set d parametr fsc può essere determnato sotto la condzone che sa mnma la somma de quadrat degl scart tra le ordnate teorche e quelle spermental (prncpo de mnm quadrat) S m ( ), theor,ep (6) L equazone () può essere scrtta come S m ( f ( k k ) ),,..., n (7) Dove la grandezza S rappresenta una persuperfce nello spazo n- dmensonale de parametr k. Il mnmo della funzone S vene ottenuto ponendo ugual a zero le sue dervate parzal rspetto a parametr k n S k S k... S k n 0 (8) N.B. La funzone f prende l nome d funzone oggetto
S ottene così un sstema d n equazon dfferenzal non-lnear accoppate, del tpo S k m ( f (, k,..., k ) ) (, k,..., k ) f n n 0 k (9) la cu soluzone fornsce l set d parametr k,, k n che offrono l mglor accordo possble tra dat spermental e modello teorco best-ft non lneare mult-parametrco Problem (ser):. Come s fa a rsolvere l set d equazon dfferenzal alle dervate parzal?. Esste un solo mnmo della funzone S?
.3 Metod d ottmzzazone (cenn) Defnzon: ) Vettore de parametr k (k,, k n ) n numero d grad d lbertà del sstema (degrees of freedom) ) Confgurazone d partenza Set de valor nzalmente assegnat alle component del vettore k k (0) (k (0),, k n (0) ) 3) Vncol a k b (ottmzzazone vncolata)
.3. Ottmzzator determnstc (Hgher-Order Determnstc Optmzaton methods, HODOM) I metod HODOM costruscono una sequenza d soluzon k (p) medante l equazone rcorsva k (p+) k (p) + a (p) s (p) (0) a partre da una scelta nzale k (0). Qu p ndca l numero d ordne della terazone corrente, a (p) ndca lo step (a), e s (p) la slope (b). (a) Il valore dello step determna la precsone del processo d ottmzzazone, nel senso che step pù pccol corrspondono a una pù fne esplorazone della persuperfce dello spazo delle confgurazon (funzone S). Ovvamente, ad uno step pù pccolo corrspondono temp d calcolo pù lungh. (b) La scelta del tpo d slope caratterzza var metod propost n letteratura. Ad esempo, nel caso n cu la slope concda con la drezone lungo cu la funzone decresce pù rapdamente s (p) grad f(k (p) ) () s ha l metodo cosddetto d steepest-descent. Altre scelte comun della dpendenza funzonale della slope s basano su un calcolo alle dfferenze fnte delle dervate della funzone errore S e dànno orgne a metod d Newton, quas-newton, gradente conugato, etc. N.B. rsolvere una equazone dfferenzale tramte una stma alle dfferenze fnte sgnfca sostture al dfferenzale l ncremento e, d conseguenza, sostture l ntegrale con una sommatora su un numero fnto d termn.
.3. Ottmzzator statstc (Zeroth-Order Stochastc Optmzaton Methods, ZOSOM) Quest metod sono basat su una tecnca conoscuta come smulated annealng ( tempera smulata) e, pur avendo un comune fondamento matematco, possono assumere nom dvers: algortm genetc, stratege evolutve, Montecarlo, etc. In generale, quest metod sono caratterzzat dall avere defnto alla p- esma terazone un set d µ vettor padr, ( p) ( p k k ),..., µ, da cu vengono generat λ vettor fgl, ( p) ( p),..., λ sulla base d una certa funzone denstà d probabltà ρ. Ad esempo, la probabltà d avere un certo fglo vcno al punto k può essere scelta proporzonale alla funzone multdmensonale Gaussana k m ρ ( k, m, d) ep () d dove m è una meda operata su vettor padr k e d sono le component d un vettore varanza aggustato ad ogn terazone. ) S ha una stratega d tpo (µ+λ) se alla terazone p+ nuov padr saranno costtut da µ vettor che fornscono pù pccol valor della funzone errore S, nell ambto d un set comprendente sa padr sa fgl dell terazone p-esma. ) S ha una stratega d tpo (µ,λ) se mglor µ vettor sono scelt nell nseme de fgl (ovvamente, n questo caso dovremo avere λ > µ). N.B. Il metodo d Montecarlo è un esempo d stratega (+).
Regole d modfca delle varanze, d Se vettor padr sono vcn al mnmo della funzone S e l'ntervallo d rcerca è molto maggore della dstanza dal mnmo stesso, soltanto una pccola frazone de fgl sarà mglore de padr e, d conseguenza, s dovrà rdurre l valore d d ; Se, al contraro, fgl sono spesso mglor de padr, occorrerà aumentare la varanza per esplorare regon suffcentemente lontane dalla meda m. I parametr della stratega evolutva su cu è necessaro operare per massmzzare l'effcenza dell'ottmzzatore sono, tpcamente,. la lunghezza della stora evolutva,. la modfca percentuale della varanza, 3. l tasso crtco d success che determna un aumento dell'ntervallo d rcerca.
Vantagg degl ottmzzator d tpo ZOSOM rspetto agl HODOM. sono pù effcent nel raggungere un mnmo globale o, perlomeno, un mnmo locale molto stable;. la precsone della soluzone è superore, non essendo nfluenzata dal calcolo numerco delle dervate (dfferenze fnte); 3. l metodo può essere applcato anche se la dervata della funzone f non esste; 4. non s hanno soluzon oscllatore o percors a zg-zag (a causa della natura statstca della generazone de vettor); 5. l trattamento delle condzon al contorno (vncol) è soltamente molto pù semplce rspetto agl HODOM: basta elmnare dall'evoluzone vettor con component al d fuor del domno prevsto; 6. pochè la tecnca d rcerca casuale, per sua natura, esplora smultaneamente tutte le dmenson dello spazo de parametr, l tempo d calcolo è sostanzalmente ndpendente dal numero de parametr stess.