Rilievi multispettrali da UAV per la modellizzazione di edifici e del territorio: esperienze condotte al Politecnico di Milano

Transcript

1 DICA - Sez. Geodesia e Geomatica Rilievi multispettrali da UAV per la modellizzazione di edifici e del territorio: esperienze condotte al Politecnico di Milano R. Gini*, D. Passoni**, D. Pagliari*, L. Pinto***, G. Sona*** *Dottoranda; **Assegnista di ricerca; ***Docente

2 SOMMARIO 2 Motivazioni e prime esperienze: il progetto FoGLIE Primi test (di volo e di modellizzazione 3D) La scelta del velivolo La scelta delle camere Analisi della qualità geometrica della Tetracam ADClite Test sui sw per il trattamento dell immagini da UAV (Fotogrammetria vs Computer Vision) Alcune realizzazioni significative

3 MOTIVAZIONI E PRIME ESPERIENZE: IL PROGETTO FoGLIE 3 FoGLIE: Fruition of Goods Landscape in Interactive Environment Progetto finanziato da Regione Lombardia ( ) Differenti partner: 5 realtà imprenditoriali lombarde + Politecnico di Milano (DIIAR) Attività di ricerca e di sviluppo sperimentale di un prototipo SVILUPPARE una nuova guida multimediale anche con contenuti stereoscopici utente attivo INTEGRARE fruibilità e monitoraggio dei beni PARCO ADDA NORD

4 PRIME ESPERIENZE CON DRONI (2011) 4 Elicotteri Helicam Contenuti e video scenici (anche in stereoscopia) Quadrielica Md-200 Immagini aeree ad alta risoluzione: RGB & NIR generazione di DSM individuazione specie arboree alloctone

5 ESPERIENZE DI MODELLIZZAZIONI 3D 5 Modellizzazione 3D da nuvole di punti fotogrammetriche Villa Castelbarco a Vaprio d Adda (MI) (2012)

6 ESPERIENZE DI MODELLIZZAZIONI 3D 6 Modellizzazione 3D da nuvole di punti fotogrammetriche (con rilievi a terra) Vellutificio Velvis (Visconti di Modrone) a Vaprio d Adda (MI) (2012)

7 ESPERIENZE DI MODELLIZZAZIONI 3D 7 Diga Poiret a Paderno d Adda (MI) (2012) Modellizzazione 3D da nuvole di punti fotogrammetriche (acquisite da aereo, da UAV e da terra)

8 PRIMO TEST RILIEVO MULTISPETTRALE (2011) 8 MD4-200 Pentax Optio A40: RGB Parco Adda Nord: Medolago (BG) Estensione: 120x100 m 2 Variazione di quota: 15 m Differenti tipi di copertura del suolo Scopo geometrico (DSM) Triangolazione aerea con set RGB Confronto con telemetria non usabile per orientamento diretto Immagini idonee per scopi di modellizzazione 3D Creazione DSM: 0,10x0,10 m 2, da editare

9 PRIMO TEST RILIEVO MULTISPETTRALE (2011) 9 MD4-200 Sigma DP1: NIR scopo radiometrico (classificazione) Ortofoto RGB & NIR: 0,05x0,05 m 2 coregistrazione Terreno Robinia Erba Ombra Olmo Carpino Cemento Ailanto 10 variabili: 4 originali + 6 derivate Classificazione speditiva unsupervised (ISOCLASS) Classificazione supervised (con training samples)

10 SCELTA DEL VELIVOLO PoliMI 10 MULTIROTORE VS ALA FISSA MULTIROTORE. ALA FISSA + Budget + Sistema aperto (camera, navigazione, ecc.) + Payload + Governo della fotocamera + Prese ravvicinate - Autonomia di volo - Addestramento al pilotaggio + Autonomia di volo + Quota di volo + Copertura fotogrammetrica + Gestione del volo - Payload - Sistema chiuso (commerciale) - Governo della fotocamera - Budget

11 VELIVOLO PoliMI WALL-P 11 Esacottero MikroKopter personalizzato Esacottero MikroKopter (RestArt) Dimensioni: 70 cm + eliche 12 Peso al decollo: 1.2 kg + payload Alimentazione: 2 batterie al litio 4000 mah Velocità: fino a 5 m/sec Payload: fino a 500 g Sistema di navigazione: NAV Flight Control. GPS (MKGPS) LEA 4H Ublox Firmware: in costante aggiornamento

12 LA SCELTA DELLA FOTOCAMERA 12 Camere amatoriali con peso e dimensioni ridotte ottimali per UAV Possibili limitazioni: Sensori più piccoli di una reflex (rapporto S/N sfavorevole) Ottiche di qualità inferiore e meno stabili Non sempre possono montare focali fisse Obiettivi talvolta retrattili Focale e distanza principale hanno valori non stabili poiché all invio del scatto si ha spesso un riallineamento (seppur minimo) delle lenti Distorsioni sulle immagini non trascurabili 17 a Conferenza ASITA: 5-7 novembre 2013 Riva del Garda (TN)

13 CAMERE PoliMI 13 Nikon 1 J1 Peso: 310 g Sensore: CMOS (3872x2592 pixel) Mirrorless Dimensione pixel: 3.5 m Focale obiettivo: 10.5 mm Immagini: RGB Tetracam ADCLite Peso: 200 g Sensore: CMOS (2048x1536 pixel) Dimensione pixel: 2,9 m Focale: 8.5 mm Immagini: 8 o 10 bit CIR (NIR+R+G) approssimativamente equivalenti alle bande TM2, TM3, TM4

14 14 QUALCHE CONSIDERAZIONE SULLA QUALITA DELLA ADClite pannello Siemens per analisi della risoluzione geometrica reale diverse aperture del diaframma a diverse distanze: 30 m e 50 m 30 m statico I risultati migliori si ottengono con otturatore parzialmente chiuso f/d = 4 1, m dinamico 1,

15 QUALCHE CONSIDERAZIONE SULLA QUALITA DELLA ADClite 15 Risoluzione geometrica effettiva: Tetracam ADCLite Caso statico: risoluzione reale ~ 80 lp/mm per immagini CIR con f/d = 4 risoluzione reale ~ 100 lp/mm per canale verde con f/d = 8 Caso dinamico: risultati confermati a meno di effetti di trascinamento Effetti di disallineamento cromatico (tra I canali R, G e NIR) Rolling shutter

16 IL PROBLEMA DEL ROLLING SHUTTER (RS) 16 È un metodo per acquisire immagini (solitamente accoppiato con sensori CMOS) basato sull esposizione non simultanea del sensore Caratteristiche di un otturatore rolling shutter: Presenza di una slitta che si muove lungo il sensore Esposizione di ogni parte del sensore per lo stesso tempo Esposizione non simultanea delle diverse zone del sensore a causa del movimento della slitta Si notano gli effetti del rolling shutter quando c è un movimento relativo non trascurabile tra camera e oggetto

17 MODELLO FOTOGRAMMETRICO DI FRASER ,,, Coefficienti Distorsione di affine: di scala taglio distorsione in in x y tangenziale radiale

18 SIMULAZIONI 18 Camera: TetraCam ADC Lite Camera CIR CMOS 3,2 Megapixel Focale 8,5 mm Parametri simulazione: Quota di volo: 35 m c: m V UAV : 2 m/s Tempo scorrimento della finestra: 85,3 s Tempo di esposizione: 688 s 3 strisciate (tot 30 fotogrammi) Ricoprimento longitudinale 75% Ricoprimento trasversale 50% GSD: m Precisione di stima: 4 m

19 SIMULAZIONI: RS lungo la direzione di volo 19 / dove: : spostamento delle coord. immagini a causa del rolling shutter : velocità di volo del drone : indice che rappresentala la riga i-esima del sensore : tempo impiegato dalla finestra per muoversi da una riga alla successiva : tempo di esposizione c: focale della camera h: quota di volo V UAV ξ 0, 0,4 ξ

20 RISULTATI DELLE SIMULAZIONI 20 Possiamo modellizzare l effetto del rolling shutter (RS) lungo la direzione di volo con il parametro b 1 del modello di Fraser Simulazione precisione di stima [ m] RS 4.1 RS + self-calib. (b1) 4.0 RS + OE fisso 8.8 RS + self-calib. (b1) + OE fisso 4.6 Esiste una forte correlazione tra i parametri di calibrazione e l orientamento esterno Nel caso di solo RS l errore viene assorbito spostando in quota le camere (in media 0.38 m) Con OE bloccato gli effetti sono assorbiti dal parametro b 1

21 UN CASO REALE: MEDOLAGO Fotocamera: Tetracam ADC Lite 2 strisciate per un totale di 17 immagini (solo canale Green) h di volo strisciata 1: 50 m h di volo strisciata 2: 60 m Estrazione automatica dei punti di legame con il sw EyeDEA (UniPr) 21 Matrice di correlazione precisione Blocco Medolago di stima [ m] No self-calibr Self-calib (+K 1,K 2,P 1,P 2 ) 33.7 Self-calib (+b 1,b 2 ) 12.6 c K1 K2 K3 P1 P2 b1 b2 c 100 K K K P P b b

22 TEST SUI SW FOTOGRAMMETRICI 22 SW fotogrammetrici VS SW di Computer Vision LPS sw commerciale by Erdas EyeDEA+Dense Matcher home made (Università di Parma) PhotoModeler scanner sw comm. by EOS 1) Calibrazione della camera 2) Identificazione dei GCPs 3) Ricerca dei TPs 4) Orientamento esterno 5) Realizzazione di DSM & Ortofoto Agisoft Photoscan Agisoft LLC Pix4UAV Desktop Pix4D 1) Orientamento relativo delle immagini (S&M) con selfcalibration in un arbitrario SdR (grazie alla telemetria) 2) Estrazione automatica dei TPs 3) Rototraslazione del blocco nel SdR dei GCPs 4) Realizzazione di DSM & Ortofoto DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como

23 RILIEVO DEL POLIGONO DI CISANO BERGAMASCO(BG) 23 SwingletCAM SenseFly Proprietà: Studio di Ingegneria Terradat di Paolo Dosso Canon Ixus 220HS Quota di volo = 130 m GSD = 4.5 cm 5 strisciate 49 immagini (RGB) 15 GCP presegnalizzati DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como

24 24 RILIEVO DEL POLIGONO DI CISANO BERGAMASCO(BG) Software TPs generator # TPs # obs. points LPS* EyeDEA** Photo Modeler Pix4UAV # GCPs DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como 0 Theoretical Accuracy (RMS of std.dev.) of TPs Empirical accuracy (RMSE) of CPs Est Nord h Est Nord h [mm] [mm] [mm] [mm] [mm] [mm] [mm] # rays per point Agisoft PhotoScan

25 25 RILIEVO DEL POLIGONO DI CISANO BERGAMASCO(BG) Compensazione con Calge con OE fisso Analisi dei residui sui CPs LPS EyeDEA /PM Photo Modeler Pix4UAV Agisoft Photoscan E [mm] N [mm] h [mm] DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como

26 26 RILIEVO DEL POLIGONO DI CISANO BERGAMASCO(BG) COMPLETEZZA DEI DSM QUALITA DEI DSM Pix4UAV Agisoft Photoscan DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como

27 QUALCHE REALIZZAZIONE 27

28 Modelli 3D della Cascina Linterno (MI) (2013) Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control, GPS (MKGPS) LEA 4H Ublox. Raggio di operatività : 200m payload: Nikon J1 Rilievo della cascina Linterno per una valutazione qualitativa e quantitativa dello stato di conservazione dei tetti Ortofoto e modello 3D Immagine campione Cascina Linterno Milano (MI) Inquadramento cartografico

29 Modelli 3D del Campus «Arata» (PC) (2013) Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control, GPS (MKGPS) LEA 4H Ublox. Raggio di operatività : 200m payload: Nikon J1 Rilievo degli edifici del campus di architettura di Piacenza (ex macello), nell ambito del laboratorio del Corso di Rappresentazione Modello 3D Immagine campione Campus architettura (PC) Inquadramento cartografico

30 Indagine visiva di ponti e viadotti (2014) Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control, GPS (MKGPS) LEA 4H Ublox. Raggio di operatività : 200m payload: Nikon J1 Modello 3D e DSM superfici Rilievo di un ponte/viadotto in località «Santa Giulia» come test per l applicazione di UAV alla verifica di ponti e viadotti Immagine campione Santa Giulia Milano (MI) Inquadramento cartografico

31 Calcolo di volumi di cava (Gossolengo PC) (2013) Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control, GPS (MKGPS) LEA 4H Ublox. Raggio di operatività : 200m payload: Nikon J1 Rilievo per la misura di volumi di cava di Gossolengo.. Modello 3D Immagine campione Gossolengo (PC) Inquadramento cartografico

32 Rilievo RGB + NIR multitemporale vivaio «Peverelli» (2013) Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control, GPS (MKGPS) LEA 4H Ublox. Raggio di operatività : 200m payload: Nikon J1, ADClite Tetracam Ortofoto NIR Rilievo multispettrale-multitemporale al fine di valutare algoritmi automatici di riconoscimento di specie arboree da immagini RGB+NIR Immagini campione vivaio «Peverelli» Fino Mornasco (CO) Inquadramento cartografico

33 Rilievo RGB + NIR multitemporale aree boscate Parco Adda Nord ( ) Sensefly swinglet CAM. Raggio di operatività : 1000m payload: Canon IXUS 220HS Ortofoto NIR Rilievo multispettrale multitemporale su 10 aree al fine di valutare la presenza di specie arboree alloctone all interno del parco Adda Nord da immagini RGB+NIR Inquadramento cartografico Immagini campione Parco Adda Nord

34 Calcolo volume di coltre nevosa 2014 Sensefly swinglet CAM. Raggio di operatività : 1000m payload: Canon IXUS 220HS Modello 3D Rilievo realizzato per la valutazione dei volumi della coltre nevosa presso il nevaio Malghera in valgrosina per valutazioni idrologiche. Inquadramento cartografico Immagini campione Malghera SO)

35 Test per applicazioni di fotogrammetria diretta da UAV (2013) Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control, GPS (MKGPS) LEA 4H Ublox. Raggio di operatività : 200m payload: Nikon J1 Grafici di confronto Voli con GPS Ublox L1 con possibilità di registrare i dati per elaborazione differenziale; confronti con telemetria drone e test di fotogrammetria diretta. Immagine configurazione UAV Parcheggio cimitero di Lambrate Milano (MI) Inquadramento cartografico

36 Grazie per l attenzione 36