eruga 13 gennao 2006 low-rank smoothng splnes su domn con forma nusuale: approssmazon nonparametrche per estuar e ret d fum M. Govanna Ranall Dpartmento d Economa, Fnanza e Statstca, Unverstà degl Stud d eruga In collaborazone con Jay Bredt e Haonan Wang, Colorado State Unversty Un rngrazamento partcolare ad Hal Walker, EA ed Ern eterson, CSU 1/28?
Un po d geografa! new hampshre colorado maryland 2/28?
roblema # 1 Estuaro del New Hampshre 97 st n cu la concentrazone d mercuro ne sedment è stata rlevata negl ann 2000/1 (dat NHNCA) e nel 2003 (dat NHDES) New Hampshre Estuary and Sample Locatons New Hampshre Klometers 0 1 2 3 4 5 Sample Stes Mercury (Hg) Concentraton ug/g 0.010000-0.100000 0.100001-0.200000 0.200001-0.300000 0.300001-0.500000 0.500001-0.766387 Estuary boundary 3/28?
roblema # 1 (segue) Relazone tra concentrazone d mercuro e dmensone del sedmento observed log(hg/siltclay) (2.445) - (1.520) (1.519) - (1.336) (1.335) - (1.218) (1.217) - (1.063) (1.062) - (0.851) (0.850) - (0.759) (0.758) - (0.512) (0.511) - (0.234) (0.233) - +0.019 +0.020 - +2.438 Estuary Boundary Klometers 00.51 2 3 4 4/28?
roblema # 2 Rete d fum del Maryland 955 st dove varabl d natura chmca, fsca e bologca sono state rlevate negl ann 1995 1997 5/28?
Esgenze e roblem ESIGENZE Mappare quanttà d nteresse (nqunant, chmca delle acque) facendo predzon anche per st non osservat ossbltà d nserre covarate dverse dalle coordnate spazal 6/28?
Esgenze e roblem ESIGENZE Mappare quanttà d nteresse (nqunant, chmca delle acque) facendo predzon anche per st non osservat ossbltà d nserre covarate dverse dalle coordnate spazal Tecnche nonparametrche bvarate come le thn plate splnes ed l krgng fornscono mappe che usano strutture d covaranza che dpendono dalla dstanza Eucldea fra st 6/28?
Esgenze e roblem ESIGENZE Mappare quanttà d nteresse (nqunant, chmca delle acque) facendo predzon anche per st non osservat ossbltà d nserre covarate dverse dalle coordnate spazal Tecnche nonparametrche bvarate come le thn plate splnes ed l krgng fornscono mappe che usano strutture d covaranza che dpendono dalla dstanza Eucldea fra st ROBLEMI I domn hanno forma rregolare La dstanza Eucldea potrebbe non essere l modo mglore per msurare la smlartà fra st Impegare dstanze non-eucldee nel krgng non garantsce matrc d covaranza defnte postve (Rathbun, 1998; Gardner et al., 2003) 6/28?
Low-rank thn plate splnes LTS I dat degl esemp consderat hanno forma (x, y ), per = 1,..., N, con x coordnate geografche e y valor della varable d nteresse. Le tecnche nonparametrche bvarate potzzano che y = f(x ) + ε, (1) con f( ) funzone bvarata non specfcata a valor real e gl error sono tal che E(ε) = 0 e V (ε) = σ 2 εi. 7/28?
Low-rank thn plate splnes LTS I dat degl esemp consderat hanno forma (x, y ), per = 1,..., N, con x coordnate geografche e y valor della varable d nteresse. Le tecnche nonparametrche bvarate potzzano che y = f(x ) + ε, (1) con f( ) funzone bvarata non specfcata a valor real e gl error sono tal che E(ε) = 0 e V (ε) = σ 2 εi. Ruppert et al. (2003) nvocano l uso della rappresentazone attraverso modell ad effett mst e a basso rango d questo problema per 1. accelerare e facltare l ft de modell attraverso l software svluppato per modell mst 2. nserre altre covarate nella parte fssa (parametrca varabl quanttatve contnue o fattor) o nella parte casuale (nonparametrca modell addtv o altr effett casual) 7/28?
LTS: l modello La rappresentazone con modell mst del modello (1) è data da y = Xβ + Zu + ε, (2) 8/28?
LTS: l modello La rappresentazone con modell mst del modello (1) è data da dove y = (y 1,..., y N ) T e X = [1 x ] 1N y = Xβ + Zu + ε, (2) Z contene T N funzon base radal (radal bass) per l approssmazone della struttura non lneare d f( ) u t.c. E(u) = 0, V (u) = σ 2 ui sono effett casual ndpendent da ε Questo tpo d modello può essere fttato mpegando ROC MIXED n SAS o la funzone lme() n R ed Splus 8/28?
La matrce Z Z = [ ] [ ] 1/2 C( x, κ t E ) C( κ 1N t, κ t E ), (3) 1t,t 1tT T 9/28?
La matrce Z Z = [ ] [ ] 1/2 C( x, κ t E ) C( κ 1N t, κ t E ), (3) 1t,t 1tT T dove κ 1,..., κ T è un sottnseme d st dett nod (knots, v. prossmo lucdo) E denota la dstanza Eucldea la funzone C è data da C(r) = r 2 log r 9/28?
La matrce Z Z = [ ] [ ] 1/2 C( x, κ t E ) C( κ 1N t, κ t E ), (3) 1t,t 1tT T dove κ 1,..., κ T è un sottnseme d st dett nod (knots, v. prossmo lucdo) E denota la dstanza Eucldea la funzone C è data da C(r) = r 2 log r SE T = N nod osservazon e ottenamo l caso a rango peno (Thn plate splnes) 9/28?
La matrce Z Z = [ ] [ ] 1/2 C( x, κ t E ) C( κ 1N t, κ t E ), (3) 1t,t 1tT T dove κ 1,..., κ T è un sottnseme d st dett nod (knots, v. prossmo lucdo) E denota la dstanza Eucldea la funzone C è data da C(r) = r 2 log r SE T = N nod osservazon e ottenamo l caso a rango peno (Thn plate splnes) SE T = N & C(r) è una qualche funzone d correlazone tpo Matérn, esponenzale, gaussana Krgng a rango peno 9/28?
Nod 2 problem: quant & dove QUANTI a occho: 1 ogn 3-4 osservazon, ma ma pù d 100. DOVE grgla rettangolare, grgla regolare solo sul domno, space fllng desgn (FUNFITS n Splus e FIELDS n R computano quest algortm) rectangular lattce regular grd on the doman space fllng desgn 55000 60000 65000 70000 75000 80000 360000 370000 380000 55000 60000 65000 70000 75000 80000 obs knots 360000 370000 380000 55000 60000 65000 70000 75000 80000 360000 370000 380000 10/28?
redzon Una volta che le stme de coeffcent β e le predzon delle varabl u sono ottenute attraverso massma verosmglanza ML o massma verosmglanza rstretta REML, valor predett per st osservat sono dat da ŷ = X ˆβ + Zû 11/28?
redzon Una volta che le stme de coeffcent β e le predzon delle varabl u sono ottenute attraverso massma verosmglanza ML o massma verosmglanza rstretta REML, valor predett per st osservat sono dat da ŷ = X ˆβ + Zû I comand Splus per fare tutto questo sono semplcemente ft<-lme(y -1+X, random=pdident( -1+Z)) beta<-ft$coef$fxed u<-ft$coef$random pred<-x%*%beta+z%*%u 11/28?
redzon Una volta che le stme de coeffcent β e le predzon delle varabl u sono ottenute attraverso massma verosmglanza ML o massma verosmglanza rstretta REML, valor predett per st osservat sono dat da ŷ = X ˆβ + Zû I comand Splus per fare tutto questo sono semplcemente ft<-lme(y -1+X, random=pdident( -1+Z)) beta<-ft$coef$fxed u<-ft$coef$random pred<-x%*%beta+z%*%u redzon n st dvers da quell osservat possono essere fatte aggungendo altre rghe alle matrc X and Z. 11/28?
Mappa del mercuro ottenuta con LTS LTS log(hg/siltclay) (1.410) - (1.182) (1.181) - (1.149) (1.148) - (1.098) (1.097) - (0.965) (0.964) - (0.805) (0.804) - (0.720) (0.719) - (0.638) (0.637) - (0.516) (0.515) - (0.358) (0.357) - +0.168 Estuary Boundary Klometers 00.51 2 3 4 I dat osservat 3 12/28?
Abbamo davvero bsogno d una metrca dversa?? smulazone Monte Carlo: funzone vera 13/28?
Rsultat: errore medo d predzone 14/28?
GLTS: LTS Geodetche Cambare la msura d dstanza Eucldea nella matrce Z n (3) con la DISTANZA GEODETICA = IL ERCORSO IÙ BREVE CHE UN ESCE NUOTEREBBE 15/28?
GLTS: LTS Geodetche Cambare la msura d dstanza Eucldea nella matrce Z n (3) con la DISTANZA GEODETICA = IL ERCORSO IÙ BREVE CHE UN ESCE NUOTEREBBE Z g = [ ] [ ] 1/2 C( x, κ t G ) C( κ 1N t, κ t G ), 1t,t 1tT T 15/28?
GLTS: LTS Geodetche Cambare la msura d dstanza Eucldea nella matrce Z n (3) con la DISTANZA GEODETICA = IL ERCORSO IÙ BREVE CHE UN ESCE NUOTEREBBE Z g = [ ] [ ] 1/2 C( x, κ t G ) C( κ 1N t, κ t G ), 1t,t 1tT T La dstanza geodetca è stmata attraverso l algortmo d Floyd: 1 s determna una grgla ftta d punt nel domno; 2 s costrusce un grafo n cu vertc sono quest punt; 3 cascun vertce è collegato agl nn st pù vcn; 4 s determna l percorso pù breve fra due st e s stma la dstanza geodetca come la lunghezza d questo percorso. 15/28?
L algortmo d Floyd per la parte Nord dell estuaro 8.2 x 104 8.2 x 104 8 8 7.8 7.8 7.6 7.6 7.4 7.4 7.2 7.2 7 7 6.8 3.6 3.65 3.7 3.75 x 10 5 6.8 3.6 3.65 3.7 3.75 x 10 5 16/28?
La ma rcetta pass per fttare GLTS 1. Selezone de nod attraverso uno space fllng desgn. 17/28?
La ma rcetta pass per fttare GLTS 1. Selezone de nod attraverso uno space fllng desgn. 2. Stma della dstanza geodetca fra una grgla densa d punt del domno con l alg d Floyd: partre con nn = 3 e aumentare nn fnché tutt vertc sano conness. 17/28?
La ma rcetta pass per fttare GLTS 1. Selezone de nod attraverso uno space fllng desgn. 2. Stma della dstanza geodetca fra una grgla densa d punt del domno con l alg d Floyd: partre con nn = 3 e aumentare nn fnché tutt vertc sano conness. 3. Calcolo delle matrc X e Z per tutt st per qual s voglono predzon. 17/28?
La ma rcetta pass per fttare GLTS 1. Selezone de nod attraverso uno space fllng desgn. 2. Stma della dstanza geodetca fra una grgla densa d punt del domno con l alg d Floyd: partre con nn = 3 e aumentare nn fnché tutt vertc sano conness. 3. Calcolo delle matrc X e Z per tutt st per qual s voglono predzon. 4. Calcolo delle matrc X and the Z g per st osservat come sottonseme d rghe d X e Z. 17/28?
La ma rcetta pass per fttare GLTS 1. Selezone de nod attraverso uno space fllng desgn. 2. Stma della dstanza geodetca fra una grgla densa d punt del domno con l alg d Floyd: partre con nn = 3 e aumentare nn fnché tutt vertc sano conness. 3. Calcolo delle matrc X e Z per tutt st per qual s voglono predzon. 4. Calcolo delle matrc X and the Z g per st osservat come sottonseme d rghe d X e Z. 5. Ft d modell mst. roblem: nsermento d altre covarate nfluenza la dmensone d X ; test d sgnfcatvtà delle covarate sono condotte nel modo classco; test d sgnfcatvtà delle component casual (.e. componente spazale), se fatt usando la teora asntotca de modell mst possono essere molto conservatv. 17/28?
Mappa del mercuro ottenuta con GLTS GLTS log(hg/siltclay) (1.410) - (1.182) (1.181) - (1.149) (1.148) - (1.098) (1.097) - (0.965) (0.964) - (0.805) (0.804) - (0.720) (0.719) - (0.638) (0.637) - (0.516) (0.515) - (0.358) (0.357) - +0.168 Estuary Boundary Klometers 00.51 2 3 4 18/28?
GLTS vs LTS GLTS log(hg/siltclay) LTS log(hg/siltclay) (1.410) - (1.182) (1.181) - (1.149) (1.148) - (1.098) (1.097) - (0.965) (0.964) - (0.805) (0.804) - (0.720) (0.719) - (0.638) (0.637) - (0.516) (0.515) - (0.358) (0.357) - +0.168 Estuary Boundary Klometers 00.51 2 3 4 Klometers 00.51 2 3 4 19/28?
Come volano corv o come nuotano pesc?? 20/28?
Come volano corv o come nuotano pesc?? S ftt un modello con ambedue gl effett e po s test la sgnfcatvtà y = Xβ + Zu + Z g u g + ε dove Cov ε u u g = σ 2 εi 0 0 0 σ 2 ui 0 0 0 σ 2 gi La stma delle component d varanza può ancora essere ottenuta va REML; l test della loro sgnfcatvtà è condotto attraverso un bootstrap nonparametrco (Opsomer et al., 2005). 20/28?
Test bootstrap Modello test per logrelk p-value β 0 + Zu + Z g u g (modello completo) 109.82 β 0 + Zu σg 2 = 0 (non come nuotano pesc) 114.17 < 0.001 β 0 + Z g u g σu 2 = 0 (non come volano corv) 109.82 0.962 β 0 σg 2 = σu 2 = 0 (nessuna struttura spazale) 113.23 < 0.001 La struttura spazale suggerta da dat è quella come nuotano pesc 21/28?
Applcazone alla rete d fum del Maryland ANC e la capacta che l acqua ha d tamponare l acdo pccolo e male! Observed ANC (319.70) - 100.20 100.21-177.81 177.82-246.70 246.71-303.92 303.93-382.80 382.81-466.20 466.21-589.90 589.91-805.40 805.41-1252.25 1252.26-5715.83 Streams 0 12.5 25 22/28 50 75 Klometers 100 2 3 L2 3M 33 22?
roblem nuov rspetto all estuaro 1. Dmensone ntrnseca d una rete d fum è dversa da 2 occorre mpegare una dversa matrce Z n. 23/28?
roblem nuov rspetto all estuaro 1. Dmensone ntrnseca d una rete d fum è dversa da 2 occorre mpegare una dversa matrce Z n. 2. Dstanze drologche non possono essere calcolate effcentemente con l algortmo d Floyd strument GIS (Geographc Informaton System). 23/28?
roblem nuov rspetto all estuaro 1. Dmensone ntrnseca d una rete d fum è dversa da 2 occorre mpegare una dversa matrce Z n. 2. Dstanze drologche non possono essere calcolate effcentemente con l algortmo d Floyd strument GIS (Geographc Informaton System). 3. GIS è necessaro anche per ottenere altre covarate e dstanze lungo fum per st dvers da quell osservat. 23/28?
roblem nuov rspetto all estuaro 1. Dmensone ntrnseca d una rete d fum è dversa da 2 occorre mpegare una dversa matrce Z n. 2. Dstanze drologche non possono essere calcolate effcentemente con l algortmo d Floyd strument GIS (Geographc Informaton System). 3. GIS è necessaro anche per ottenere altre covarate e dstanze lungo fum per st dvers da quell osservat. 4. Fnora abbamo modellato ANC, nserto sa msure d smlartà basate sulla dstanza Eucldea che sulla dstanza Idrologca Asmmetrca (come scorre l acqua) e testato quale delle due è pù suggerta da dat attraverso test bootstrap nonparametrc. 23/28?
Msure d dstanza *sgnfcatve* per la chmca dell acqua lungo una rete d fum 24/28?
-splnes per una rete d fum - un accenno 1. S defnsce una penalzed splne ad una dmensone (Rupper, Wand & Carroll, 2003) lungo la rete d fum. 25/28?
-splnes per una rete d fum - un accenno 1. S defnsce una penalzed splne ad una dmensone (Rupper, Wand & Carroll, 2003) lungo la rete d fum. 2. NOTA: se s usano funzon bas d tpo lnear troncate, allora la matrce Z n concde con la matrce d dstanze drologche asmmetrche fra st ed un nseme d nod. 25/28?
-splnes per una rete d fum - un accenno 1. S defnsce una penalzed splne ad una dmensone (Rupper, Wand & Carroll, 2003) lungo la rete d fum. 2. NOTA: se s usano funzon bas d tpo lnear troncate, allora la matrce Z n concde con la matrce d dstanze drologche asmmetrche fra st ed un nseme d nod. 3. I nod sono stat scelt come tutt que st con almeno 4 st a monte (verso la sorgente, upstream). 25/28?
Modell per ANC e test bootstrap Covarate sgnfcatve nserte nella parte fssa del modello (nella matrce X): % pascolo, % argn boscos, % bassa denstà urbana nel bacno superore al sto e anno d rlevazone 26/28?
Modell per ANC e test bootstrap Covarate sgnfcatve nserte nella parte fssa del modello (nella matrce X): % pascolo, % argn boscos, % bassa denstà urbana nel bacno superore al sto e anno d rlevazone Modello test per p-value Xβ + Zu + Z n u n (modello completo) Xβ + Zu σ 2 n = 0 (no struttura dro. asmm.) 0.958 Xβ + Z n u n σ 2 u = 0 (no struttura Eucldea) < 0.001 Xβ σ 2 n = σ 2 u = 0 (no struttura spazale) < 0.001 La struttura d smlartà suggerta da dat n questo caso è basata sulla dstanza Eucldea 26/28?
Rassumendo... 1. È possble trattare domn con forme non regolar. 2. Il contesto delle splnes penalzzate (sa b- che un-varate) permette d nserre faclmente covarate nel modello. 3. Questo contesto permette anche l mpego d tecnche bootstrap per test. 4. Altre applcazon: msure d dstanza funzonal, domn con *buch* 27/28?
Rassumendo... 1. È possble trattare domn con forme non regolar. 2. Il contesto delle splnes penalzzate (sa b- che un-varate) permette d nserre faclmente covarate nel modello. 3. Questo contesto permette anche l mpego d tecnche bootstrap per test. 4. Altre applcazon: msure d dstanza funzonal, domn con *buch* Cosa stamo facendo... Applcazone Lavoro con GIS per ottenere covarate e msure d dstanza Metodologa Formalzzare la p-splne per la rete d fum e defnre un modello per dstanze drologche smmetrche. 27/28?
Bblografa essenzale... e Graze! Cranceanu, C. and Ruppert, D. (2004), Lkelhood rato tests n lnear mxed models wth one varance component, J.R.S.S. B, 66, 165 185. Gardner, B., Sullvan,.J. and Lembo, A.J.Jr (2003), redctng stream temperatures: geostatstcal model comparson usng alternatve dstance metrcs, Can. J. Fsh. Aquat. Sc., 60, 344 351. Opsomer, J.D., Claeskens, G., Ranall, M.G., Kauermann, G., Bredt, F.J. (2005). Nonparametrc Small Area Estmaton Usng enalzed Splne Regresson. http://ssrn.com/abstract=875321. Rathbun, S.L. (1998), Spatal modellng n rregularly shaped regons: krgng estuares, Envronmetrcs, 9, 109 129. Ruppert, D., Wand, M.. and Carroll, R. (2003), Semparametrc Regresson. Cambrdge Unversty ress, Cambrdge, New York. Wang H., Ranall M.G. (2005) Low-rank smoothng splnes for complex domans, Manuscrpt. The work reported here was developed under the STAR Research Assstance Agreement CR-829095 awarded by the U.S. Envronmental rotecton Agency (EA) to Colorado State Unversty. Ths presentaton has not been formally revewed by EA. The vews expressed here are solely those of the presenter and STARMA. EA does not endorse any products or commercal servces mentoned n ths presentaton. 28/28?