CONFRONTO DI ALGORITMI SFM IN ARCHEOLOGIA - IL CASO DELLE TERME DI TRAIANO IN ROMA

Transcript

1 CONFRONTO DI ALGORITMI SFM IN ARCHEOLOGIA - IL CASO DELLE TERME DI TRAIANO IN ROMA Simone Gianolio (Univ. La Sapienza ) simone.gianolio@uniroma1.it LOW-COST 3D: Sensori, algoritmi e applicazioni 8-9 marzo Trento 2012

2 Algoritmi SfM in archeologia Il progredire delle tecniche e delle tecnologie rendono sempre più evidente l assenza di un solido background informatico nelle discipline umanistiche, in particolare quella archeologica che massimo giovamento trarrebbe dall utilizzo del 3D per la registrazione di dati ad elevata complessità interpretativa. Questo si scontra con il progressivo regredire dei finanziamenti a disposizione per la ricerca archeologica, senza chiudere gli occhi di fronte alla loro mala amministrazione. Negli ultimi anni pertanto è cresciuto l utilizzo di algoritmi di Structure from Motion come soluzioni dall impatto economico nullo e dal risultato garantito in termini temporali più che accettabili, cosa che può consentire la registrazione tridimensionale di un gran numero di informazioni.

3 Algoritmi SfM in archeologia Tuttavia come risaputo gli algoritmi di SfM sono ben lungi dal restituire quella precisione e quella accuratezza propri di sistemi di rilevamento strumentale indiretto (fotogrammetria, laser scanner, stazione totale, etc.) o manuale diretto. Viene così chiaramente a scontrarsi l esigenza da parte dell archeologo di lavorare sempre su dati dalla massima precisione possibile con l inevitabile approssimazione di soluzioni computer vision, per quanto in grado di offrire una sempre più veloce analisi del dato sottomesso con lo sviluppo di soluzioni cloud o gpu-computing in caso di assenza di rete.

4 Algoritmi SfM e documentazione archeologica Gli algoritmi SfM rischiano pertanto di essere visti come soluzioni push-button in grado di restituire a costi irrisori e senza la necessità di un corretto background scientifico il rilievo tridimensionale di un manufatto. Questo può essere vero nell occasionalità, nei progetti che non richiedono affidabilità del dato, ma non può essere vero nell ambito della documentazione archeologica intesa come processo scientifico di acquisizione di dati grezzi da elaborare per giungere ad una ricostruzione verosimile della storia antica. Ancora oggi siamo insomma fermi a quello slogan ideato da George Eastman per lanciare la prima fotocamera Kodak nel novembre del 1889 You press the button, we do the rest.

5 Le Terme di Traiano in Roma Il principale ambito di analisi di questa comparativa sono state le Terme di Traiano in Roma, edificio costruito dall omonimo imperatore ispanico su progetto di Apollodoro di Damasco occludendo la Domus Aurea tra il 104 ed il 109 d.c. L area, per oltre 1500 anni destinata prevalentemente ad orti, boschetti e casalini di nobili e confraternite romane, è stata nel 1935/1936 sistemata a parco pubblico su progetto di A. Muñoz, con la creazione di un giardino, di un viale panoramico e procedendo alla rimozione di alcune strutture che insistevano sull area. I resti delle Terme di Traiano, già menomati nella loro omogeneità dal progetto del parco, si trovano inglobati all interno di cancellate, circondate ed in alcuni casi sovrastate dalla vegetazione; alcuni punti di vista sono attualmente chiusi per le ben note vicende relative alla Domus Aurea.

6 Le Terme di Traiano in Roma I resti oggetto del test costituiscono un corpo di grosse dimensioni disposto su una vasta area nell angolo nordoccidentale del complesso che, oltre alle strutture visibili nella foto accanto, comprendono la c.d. Aula biabsidata ed una grossa esedra riconosciuta come ninfeo.

7 Struttura di Test 01 Nessun algoritmo è riuscito a mettere insieme l intero set di fotografie, a causa della presenza di impedimenti naturali e dell impossibilità di costruire una adeguata rete di punti comuni nel passaggio sotto l arco. La dimensione delle strutture e lo spazio presente tra le stesse e la rete protettiva sono risultate sufficienti a consentire un match completo del set riguardante il lato meridionale dell intero corpo architettonico.

8 Le Terme di Traiano in Roma La c.d. Esedra L è uno dei corpi meglio conservati delle Terme: come in precedenza, una cancellata a maglie strette ostruisce la ripresa fotografica, possibile soltanto attraverso delle aperture nella rete che tuttavia rendono molto difficile includere l intero corpo anche all interno della focale da 17mm utilizzata.

9 Struttura di Test 02 Sebbene l angolatura di presa non sia stata completa a causa della chiusura di un settore del parco, tutti gli algoritmi hanno restituito una buona elaborazione del set di fotografie. I risultati finali sono stati comunque altalenanti, nella generazione della texture e nella definizione del modello, in particolare nella parte inferiore del terreno dove sono conservate anche dei resti di volta crollati di potenziale interesse.

10 L Arco di Costantino in Roma L Arco di Costantino è risultato un caso di grande interesse per via dell elevato dettaglio (in bassorilievo o a tutto tondo) presente sul monumento, a cui si aggiunge una cancellata che penalizza fortemente le riprese fotografiche per gli SfM.

11 L Arco di Costantino in Roma L Arco di Costantino, dedicato all imperatore dal Senato, è il frutto di una serie di riutilizzi di elementi provenienti da altri monumenti: bassorilievi, statue a tutto tondo, colonne, particolari decorativi architettonici molto fini. La vicinanza delle strutture metalliche ha reso impossibile completare l intera struttura: pur utilizzando un 17mm solo VisualSfM è riuscito a computare i match creando modelli differenti, ma non 1 unico modello.

12 Criteri di analisi L operazione svolta sugli algoritmi SfM presi in esame è volta alla creazione di una tabella di usabilità che tenga conto delle seguenti caratteristiche, partendo dal background tecnologico a disposizione di un archeologo: Interfaccia user-friendly dell applicazione e semplicità d installazione-configurazione Licenza d uso del software/servizio web Tipologia di output del rilievo (mesh, point cloud, formato del file generato) Capacità di risoluzione dei dataset a disposizione Qualità del risultato finale generato Coerenza della geometria generata con i resti in situ

13 Point cloud & mesh Dal punto di vista della documentazione archeologica, prescindendo dall aspetto di scientificità che con algoritmi SfM non può essere ancora ottenuto, è comunque necessario rispondere a determinati parametri che qualificano positivamente o negativamente un progetto: Open data, open format dei dati grezzi Documenti disponibili in multipiattaforma Corrispondenza con il dato archeologico

14 I software analizzati Sono stati presi in esame una serie di software che fanno riferimento a tecnologie di SfM differenti: Autodesk 123DCatch beta (già Project Photofly) Microsoft Photosynth Hypr3D Arc3D Visual Structure from Motion Structure from Motion Toolkit V3D Structure from Motion Bundler SfM 0.4 OSM Bundler Etc.

15 Piattaforma di test Windows 7 SP1 64bit Intel i7 3,4Ghz + nvidia Quadro GB di RAM + 1GB GDDR5 Canon 5D Mark II (sensore FF 21MP) + Canon EF 1740mm f/4l + Canon EF 24-70mm f/2.8l: scatto in RAW e sviluppo con Digital Photo Professional Samsung Galaxy W i8150 (sensore 5MP): elaborazione immagini con Adobe Photoshop Autodesk 3DS Max; Meshlab Immagini totali prese: >500 in 3 distinti dataset

16 Caratteristiche software Software Piattaforma Licenza Interfaccia Facilità d uso Feature aggiuntive 123DCatch Web-based: client for Windows Autodesk has a perpetual royaltyfree license on model if you use a web-service User-friendly 5 Strumenti della famiglia 123D per modellazione libera e prototipazione Photosynth Web-based: client for Windows Free use, share & embed; CC, public domain, for photo up to 20GB Simple & minimal 5 Microsoft Image Composite Editor Hypr3D Web-based Free use, share & embed up 1GB. Hypr3D has a perpetual royaltyfree license on model Simple & Minimal 5 Mesh from video file

17 Caratteristiche software Software Piattaforma Licenza Interfaccia Facilità Feature d uso aggiuntive VisualSfM Windows-MacLinux Personal, non-profit or research use with references User-friendly GUI but advanced 4 Arc3D Web-based: client for Windows-MacLinux & others Non-commercial only; public use with references Simple & minimal 5 GPU-computing for matching; dense reconstruction; automatching point clouds

18 Formati di esportazione 123DCatch Hypr3D VisualSfM PhotoSynth* Arc3D DWG DAE+jpg PLY PLY V3D FBX PLY sparse+dense OBJ OBJ RZI STL VRML OBJ HiRe+LowRe X3D IPM LAS Low+Mid+HiRe *= via SynthExport 1.1.0

19 ST1: 123DCatch vs Hypr3D Per il corpo del settore nord-orientale delle terme, delle dimensioni di ca. 40x15 metri, sono stati effettuati diversi momenti di presa per un totale superiore alle 200 immagini. Quelle realmente utilizzate ammontano a ca. 80 per la presenza di impedimenti naturali che hanno ostacolato il match dell intero set. Il comportamento generale dei due algoritmi può definirsi soddisfacente: i punti deboli rilevati sono stati il ponteggio di sostegno alla volta non riconosciuto da 123DCatch al contrario di Hypr3D, il quale ha però mostrato un comportamento non idoneo nel trattamento del terreno erboso risultato troppo frastagliato. In termini di definizione, Hypr3D vertici maggiormente concentrali sulla geometria architettonica, 123DCatch vertici maggiormente concentrali sulla geometria accessoria.

20 ST1: 123DCatch vs Hypr3D Il diverso comportamento nella definizione del terreno ha portato i due algoritmi ad una diversa definizione dell area occidentale del modello 3D: risulta in ogni caso da preferirsi l approssimazione operata da 123DCatch rispetto a quella di Hypr3D.

21 ST1: PhotoSynth vs ARC3D Microsoft PhotoSynth ha costruito una nuvola di punti troppo sparsa per essere utilizzata ai fini della definizione di una mesh coerente con le strutture rilevate. ARC3D ha gentilmente restituito un messaggio di errore nel quale segnalava l impossibilità di processare il set di immagini.

22 ST1: VisualSfM VSfM ha restituito una buona nuvola di punti, ben processando il ponteggio di sostegno della volta, meno altri particolari pure ben visibili nelle foto ed andando in crisi con i punti più scuri dell immagine come la vernice nera del portoncino.

23 ST2: 123DCatch vs Hypr3D Nel caso dell esedra L il comportamento dei 2 software può definirsi sovrapponibile al 95% ca.: Hypr3D ha generato un modello ad alto dettaglio di oltre vertici dai quali sono state ricavate ca facce, al contrario Autodesk si è limitato a computare poco più di vertici per un totale di facce ca. La più alta risoluzione ha consentito al primo di definire meglio i particolari posti nella parte inferiore del modello, come frammenti di volta crollati e aperture dei praefurnia. Il trattamento cromatico della texture è risultato più fedele nel software Autodesk piuttosto che nell algoritmo di Viztu che ha introdotto una eccessiva dominante blu nell immagine. Nella creazione del file.jpg Autodesk rispetta maggiormente gli standard della mappatura UVW costruendo un file compatibile con il modificatore Unwrap UVW di 3DS Max che lo riconosce, apre e gestisce correttamente; questo facilita eventuali operazioni di postproduzione sulla texture che dovessero essere necessari. Al contrario, Hypr3D tende a mosaicizzare in maniera eccessiva la texture che pur essendo correttamente riconosciuta dall Unwrap UVW di Max non è assolutamente gestibile in fase di postproduzione, poiché i riquadri contenenti informazioni sul colore delle facce ne assumono anche le dimensioni, risultando non più grandi di poche decine di pixel.

24 ST2: 123DCatch vs Hypr3D Hypr3D High Detail mesh Sovrapposizione mesh Autodesk mesh

25 ST2: 123DCatch vs Hypr3D Hypr3D texture Autodesk texture

26 ST2: PhotoSynth vs ARC3D Sia l algoritmo di Microsoft che quello di ARC3D si sono rivelati insufficienti a definire il modello: PhotoSynth a causa di una nuvola di punti troppo sparsa, il secondo per manifesta incapacità di processare il modello.

27 ST2: VisualSfM

28 AoC: 123DCatch vs Hypr3D Il servizio della Autodesk e quello di Viztu forniscono la mesh più interessante del dataset sottoposto: la differenza può arrivare al >30% (dato non statistico) di differenza sul modello, che può tuttavia definirsi accettabile in entrambi i casi. Hypr3D restituisce una elaborazione in alta risoluzione che conta tuttavia 2/3 in meno dei poligoni rispetto al modello Autodesk.

29 AoC: 123DCatch vs Hypr3D Nel test dell Arco di Costantino la palma della migliore mesh va al programma Autodesk (viola), più preciso nei dettagli e nelle sfumature. Solo il programma Autodesk è riuscito per altro ma in parte a non decapitare gli 8 guerrieri Daci presenti nella parte superiore dell Arco.

30 AoC: VSfM vs 123DCatch VisualSfM al contrario degli altri algoritmi è in grado di generare una dense point cloud attraverso l uso di CMVS/PMVS, possibilità in assoluto da preferirsi per la documentazione archeologica. Rispetto al programma Autodesk è stato in grado di computare fino a >11 volte il numero di vertici utilizzati.

31 AoC: Photosynth vs Arc3D Nella generazione di modelli 3D nessuno dei due servizi si è dimostrato adeguato alle esigenze archeologiche. Arc3D ha fallito nella computazione del match mentre Photosynth si limita a riconoscere una blanda quantità di punti utile soltanto a generare ambienti 3D da prese fotografiche; al fine di ottenere risultati soddisfacenti sotto il piano visuale l algoritmo Microsoft necessita di una puntuale pianificazione del programma di prese fotografiche per non spezzettare troppo la navigazione interattiva all interno dell ambiente virtuale. È disponibile la funzione panorama per utenti ios 4.2 e ss.

32 Conclusioni Dal punto di vista della formazione archeologica standard e dei risultati ottenibili dall utilizzo di algoritmi SfM per la registrazione tridimensionale veloce di manufatti antichi, è possibile concludere che: VisualSfM ed Autodesk 123DCatch sono attualmente i software migliori per generare point cloud e mesh controllate; VSfM è tuttavia da preferirsi qualora si disponesse di ottimali risorse hardware per il calcolo, poiché più completo Microsoft Photosynth genera modelli con una risoluzione eccessivamente bassa nella nuvola di punti, cosa che costringe l elaboratore ad una approssimazione non controllata della mesh risultante Arc3D non è stato capace di processare i set inviati Bundler, V3D, OSM non hanno chiuso la task segnalata, andando in crash; alcuni bugs sono ampiamente segnalati agli sviluppatori ma non risolti; Bundler in particolare per essere utilizzato in ambiente Win necessita la compilazione di CYGWin: sarebbe preferibile quindi utilizzarlo in ambiente Linux, con il corollario di dover chiedere all archeologo di imparare un nuovo sistema operativo e/o la programmazione da shell. Inevitabile scegliere dunque VSfM Hypr3D è un algoritmo molto promettente, ma allo stato attuale i progetti possono soltanto essere pubblici e questa non è una condizione idonea nella fase iniziale di un progetto di studio archeologico. È comunque prevista una futura implementazione dell opzione make private. La possibilità inoltre di generare modelli da video costituisce un valore aggiunto

33 Algoritmi SfM per l archeologia VisualSfM per la sua capacità di generare point cloud dense (=dato grezzo) offline e con risorse temporali e computazionali adeguate, unitamente ad una serie di strumenti in grado di automatizzare realmente l intero flusso di lavoro, risulta il toolkit più efficace per la generazione di documentazione speditiva 3D. Riguardo gli standard della documentazione archeologica, come detto inizialmente non è possibile valutarne l affidabilità, inoltre va in difficoltà quando deve analizzare aree troppo scure o il terreno, nei set sempre non computato a differenza degli altri algoritmi. 123DCatch ha dimostrato una perfetta integrazione con la suite di modellazione sia gratuita (famiglia 123D) che commerciale (Entertainment Creation) di Autodesk, divenendo un buon tool per la generazione di modelli 3D destinati alla creazione di ambienti tridimensionali virtuali. Presenta 3 livelli di definizione della mesh, sebbene l appossimazione della risoluzione non andrebbe lasciata al software. Per contro, non con tutti i set di test ha avuto un comportamento soddisfacente. Hypr3D ha avuto un comportamento altalenante: non buona gestione della texture ai fini di un modello importabile in ambienti virtuali, maggiore definizione della mesh geometrica con qualche errore di troppo che nel caso della ST01 ha inficiato gravemente la qualità finale a fini archeologici pur presentando una migliore elaborazione generale del set fotografico.

34 Algoritmi SfM per l archeologia VisualSfM si è inoltre ben comportato nelle successive analisi di diverse prese ottenute in tempi diversi di uno stesso set; al contrario, 123DCatch, pur contemplando la possibilità di analisi successive dello stesso modello ed un tool per la definizione manuale di punti comuni, ha mostrato una carenza strutturale dovuta all incapacità di mantenere inalterata la mesh già computata, che veniva progressivamente deteriorata. Gli algoritmi SfM danno in definitiva il meglio di sé in situazioni ideali su dimensioni relativamente contenute del manufatto e con una decente presenza di dettagli per l individuazione di punti comuni. Hanno tutti invece dimostrato una discreta indipendenza dal fattore hardware legato al sensore fotografico che fa sentire il suo peso soltanto nella qualità delle texture generate. In definitiva, se ne consiglia l utilizzo in archeologia sotto due precise indicazioni: non trarre dai loro risultati elementi di documentazione archeologica nel senso classico dell espressione, limitarsi ad utilizzare per un intero progetto lo stesso algoritmo, accettandone i limiti ma minimizzando e per questo standardizzando l errore su tutti i dati.

35 Thank you for your attention! For further information: