Wrapper Trasporti. Paolo Sala mat , Mauro Speroni mat Abstract

Transcript

1 Wrapper Trasporti Paolo Sala mat , Mauro Speroni mat Abstract Il software consiste in sei wrapper che estraggono dati sugli orari di treni, autobus, metropolitane e tram dell area milanese. In particolare opera sui siti di: Trenitalia ( LeNord ( e ATM ( I dati una volta estratti tramite un applicazione Java vengono memorizzati in file xml. Keywords: XML, Wrapping, Transport, Java, Timetables Released: May 11, 2007 Num. Pages: 9 Internal No.:

2 Context-ADDICT is a project on Context-Aware Data Design, Integration, Customization and Tailoring developed at Politecnico di Milano, Dipartimento di Elettronica e Informazione. An electronic copy of this document is available for download at:

3 Wrapper Trasporti Paolo Sala mat , Mauro Speroni mat May 11, Introduzione Nel presente documento verrà specificata la struttura dell applicazione Java realizzata: più precisamente verrà descritta la sequenza delle operazioni che il wrapper esegue e verranno specificate i link da utilizzare per ricercare le informazioni, il funzionamento dei metodi dell applicazione Java, la struttura dati in output, e la modalità di utilizzo della stessa. 2 Struttura del Wrapper In generale, la struttura è la stessa per tutti i wrapper che si differenziano solo nella parte di analisi della pagina HTML da cui estrarre le stazioni e gli orari. Ogni wrapper è costituito da 6 classi: Wrapper, che costituisce l entry point dell applicazione: essa richiama l analizzatore e la generazione dell XML. PageRetriever, che si occupa di servire le richieste dell Analizzatore restituendo le pagine HTML; PageAnalyzer, che estrae inizialmente le linee, poi da queste le stazioni e gli orari e memorizza tutti i dati in una struttura dati vettoriale che utilizza le classi Train e Stop; Le classi Train e Stop sono a loro volta strutture dati che attraverso setter e getter possono memorizzare e richiamare i dati relativi ad un mezzo e ad una fermata; GenerateXML che memorizza la struttura dati vettoriale in un file XML definito da linea di comando. Il funzionamento dell applicazione è descritto in figura 1. 1

4 Figure 1: Schema di funzionamento generale del wrapper. 3 Implementazione 3.1 Wrapper FS In questa sezione si analizzerà il wrapper dedicato alle Ferrovie dello Stato. Per questo wrapper si deve specificare una stazione di riferimento. Il wrapper estrae tutti i dati relativi ai treni in partenza e in arrivo presso la stazione specificata nell arco di circa 2 ore Link address=" Questo link che si trova nella classe wrapper è l indirizzo di partenza da cui si estraggono tutti i treni presso la stazione specificata con i relativi ritardi. La variabile page indica la stazione che è stata inserita da riga di comando. address=" &numerotreno="+number[1]+"&tiporicerca=stazione"; Questo link che si trova nel metodo findstops della classe PageAnalyzer permette, per ogni treno di passaggio, di estrarre tutte le stazioni servite con i relativi orari di fermata. La variabile number[1] è il numero del treno da ricercare Struttura XML In questa sezione viene presentato il DTD del file XML di output. <!ELEMENT delay ( #PCDATA ) > 2

5 <!ELEMENT departuretime ( #PCDATA ) > <!ATTLIST stop time NMTOKEN #REQUIRED > <!ELEMENT train ( destination, origin, departuretime, delay, stops ) > <!ELEMENT trains ( train+ ) > <!ATTLIST trains at CDATA #REQUIRED > Modalità di chiamata da riga di comando java -Dhttp.proxyHost= Dhttp.proxyPort=8080 -jar fs.jar <nome file di output senza estensione> <nome stazione> Esempio: java -Dhttp.proxyHost= Dhttp.proxyPort=8080 -jar fs.jar trenifs Milano Lambrate 3.2 Wrapper LeNord In questa sezione si analizzerà il wrapper dedicato a LeNord (Azienda del gruppo Ferrovie Nord Milano). Per questo wrapper non si deve specificare una stazione: viene usata come stazione di riferimento Milano Bovisa dalla quale passano tutti i treni sulla rete LeNord. Il wrapper estrae tutti i dati relativi ai treni in partenza e in arrivo presso Milano Bovisa nell arco di una giornata (le linee considerate sono Milano-Varese, Milano-Como, Milano-Novara, Milano-Canzo/Asso, Milano-Saronno, Milano Bovisa - Milano Porta Vittoria (Passante ferroviario) e Milano - Malpensa) Link adds.addelement(" par="+milanocadorna+" &staz arr="+milanobovisa+"&ora par="+orap+"&min par="+min+" &gio par=05&mes par=04&ann par=2007"); adds.addelement(" par="+milanobovisa+" &staz arr="+milanocadorna+"&ora par="+orap+"&min par="+min+" &gio par=05&mes par=04&ann par=2007"); adds.addelement(" par="+milanocadorna+" &staz arr="+malpensa+"&ora par="+orap+"&min par="+min+" &gio par=05&mes par=04&ann par=2007"); adds.addelement(" par="+malpensa+" &staz arr="+milanocadorna+"&ora par="+orap+"&min par="+min+" &gio par=17&mes par=04&ann par=2007"); adds.addelement(" par="+milanobovisa+" &staz arr="+milanopvittoria+"&ora par="+orap+"&min par="+min+" &gio par=17&mes par=04&ann par=2007"); adds.addelement(" par="+milanopvittoria+" &staz arr="+milanobovisa+"&ora par="+orap+"&min par="+min+" &gio par=17&mes par=04&ann par=2007"); Questi sei link che si trovano nella classe Wrapper sono gli indirizzi di partenza da cui si estraggono tutti i treni che passano nell arco di una giornata su tutte le linee. I primi due link riguardano i treni tra Milano 3

6 e Como, Varese, Novara e Saronno; il terzo e il quarto link riguardano i collegamenti Milano-Malpensa; gli ultimi due link riguardano il passante ferroviario. String px=pr.retrieve(" +link[1]+"=2007-mi1&ip=1&ia=3&tp=124600&ta=125300"); Questo link che si trova nel metodo storedata della classe PageAnalyzer permette per ogni treno di passaggio di estrarre tutte le stazioni servite con i relativi orari di fermata. La variabile link[1] è il numero del treno da ricercare Struttura XML In questa sezione viene presentato il DTD del file XML di output: <!ELEMENT delay ( #PCDATA ) > <!ELEMENT departuretime ( #PCDATA ) > <!ATTLIST stop time NMTOKEN #REQUIRED > <!ELEMENT train ( destination, origin, departuretime, delay, stops ) > <!ELEMENT trains ( train+ ) > <!ATTLIST trains at CDATA #REQUIRED > In questo caso il campo delay è sempre settato a 0, poichè non ci sono informazioni in tempo reale sul ritardo di un treno Modalità di chiamata da riga di comando java -Dhttp.proxyHost= Dhttp.proxyPort=8080 -jar lenord.jar <nome file di output senza estensione> Esempio: java -Dhttp.proxyHost= Dhttp.proxyPort=8080 -jar lenord.jar lenord 3.3 Wrapper Metropolitane ATM In questa sezione si analizzerà il wrapper dedicato alle Metropolitane ATM. Il wrapper estrae tutti i dati relativi ai treni in partenza e in arrivo sulle tre linee nell arco di una giornata Link address=" ATM/Orari/metro1.aspx?linea=1&verso=0&cb1=0&cb2=1&lang=ita"; Questo link che si trova nella classe wrapper è l indirizzo di partenza da cui si estraggono i codici delle linee di metropolitana. address = " ATM/Orari/metro1.aspx?linea="+code+"&lang=ita"; Questo link che si trova nel metodo findstops della classe PageAnalyzer permette per ogni linea di estrarre il nome di tutte le fermate. String page2 = metro2.retrieve(" ATM/Orari/metro2.aspx? linea="+code+"&verso="+dir+"&fermata="+stopcodes.elementat(c)+"&cb1=&cb2=&lang=ita&fiera="); Questo link che si trova nel metodo findstops della classe PageAnalyzer permette per ogni stazione di estrarre tutti gli orari di fermata. 4

7 3.3.2 Struttura XML In questa sezione viene presentato il DTD del file XML di output <!ELEMENT departuretime ( #PCDATA ) > <!ATTLIST stop name NMTOKEN #REQUIRED > <!ELEMENT time ( #PCDATA ) > <!ELEMENT times ( time+ ) > <!ELEMENT train ( destination, origin, type, stops ) > <!ELEMENT trains ( train+ ) > Modalità di chiamata da riga di comando java -Dhttp.proxyHost= Dhttp.proxyPort=8080 -jar metro.jar <nome file di output senza estensione> Esempio: java -Dhttp.proxyHost= Dhttp.proxyPort=8080 -jar metro.jar metro 3.4 Wrapper Filobus ATM In questa sezione si analizzerà il wrapper dedicato ai Filobus Urbani ATM. Il wrapper estrae tutti i dati relativi agli orari di fermata dei filobus su tutte le linee nell arco di una giornata Link address=" ATM/Orari/superficie1.aspx?linea=90&&cb1=3&cb2=0&lang=ita"; Questo link che si trova nella classe wrapper è l indirizzo di partenza da cui si estraggono i codici delle linee dei filobus. address = " ATM/Orari/superficie1.aspx? linea="+code+"&verso="+dir+"&cb1=3&cb2=0&lang=ita"; Questo link che si trova nel metodo findstops della classe PageAnalyzer permette per ogni linea di estrarre il nome di tutte le fermate. String page2 = metro2.retrieve(" ATM/Orari/superficie2.aspx? linea="+code+"&verso="+dir+"&tipo giorno=&fermata="+stopcodes.elementat(c)+"&cb1=3&cb2=0&lang=ita"); Questo link che si trova nel metodo findstops della classe PageAnalyzer permette per ogni fermata di estrarre tutti gli orari di fermata Struttura XML In questa sezione viene presentato il DTD del file XML di output <!ELEMENT departuretime ( #PCDATA ) > 5

8 <!ATTLIST stop name NMTOKEN #REQUIRED > <!ELEMENT time ( #PCDATA ) > <!ELEMENT times ( time+ ) > <!ELEMENT train ( destination, origin, type, stops ) > <!ELEMENT trains ( train+ ) > Modalità di chiamata da riga di comando java -Dhttp.proxyHost= Dhttp.proxyPort=8080 -jar filobus.jar <nome file di output senza estensione> Esempio: java -Dhttp.proxyHost= Dhttp.proxyPort=8080 -jar filobus.jar filobus 3.5 Wrapper Tram ATM In questa sezione si analizzerà il wrapper dedicato ai Tram Urbani ATM. Il wrapper estrae tutti i dati relativi agli orari di fermata dei Tram su tutte le linee nell arco di una giornata Link address=" ATM/Orari/superficie1.aspx?linea=1&&cb1=1&cb2=0&lang=ita"; Questo link che si trova nella classe wrapper è l indirizzo di partenza da cui si estraggono i codici delle linee dei Tram. address = " ATM/Orari/superficie1.aspx? linea="+code+"&verso="+dir+"&cb1=1&cb2=0&lang=ita"; Questo link che si trova nel metodo findstops della classe PageAnalyzer permette per ogni linea di estrarre il nome di tutte le fermate. String page2 = metro2.retrieve(" ATM/Orari/superficie2.aspx? linea="+code+"&verso="+dir+"&tipo giorno=&fermata="+stopcodes.elementat(c)+"&cb1=1&cb2=0&lang=ita"); Questo link che si trova nel metodo findstops della classe PageAnalyzer permette per ogni fermata di estrarre tutti gli orari di fermata Struttura XML In questa sezione viene presentato il DTD del file XML di output <!ELEMENT departuretime ( #PCDATA ) > <!ATTLIST stop name NMTOKEN #REQUIRED > <!ELEMENT time ( #PCDATA ) > <!ELEMENT times ( time+ ) > <!ELEMENT train ( destination, origin, type, stops ) > 6

9 <!ELEMENT trains ( train+ ) > Modalità di chiamata da riga di comando java -Dhttp.proxyHost= Dhttp.proxyPort=8080 -jar tram.jar <nome file di output senza estensione> Esempio: java -Dhttp.proxyHost= Dhttp.proxyPort=8080 -jar tram.jar tram 3.6 Wrapper Bus ATM In questa sezione si analizzerà il wrapper dedicato ai Bus Urbani ATM. Il wrapper estrae tutti i dati relativi agli orari di fermata dei Bus su tutte le linee nell arco di una giornata Link address=" ATM/Orari/superficie1.aspx?linea=18&&cb1=4&cb2=0&lang=ita"; Questo link che si trova nella classe wrapper è l indirizzo di partenza da cui si estraggono i codici delle linee dei Bus. address = " ATM/Orari/superficie1.aspx? linea="+code+"&verso="+dir+"&cb1=4&cb2=0&lang=ita"; Questo link che si trova nel metodo findstops della classe PageAnalyzer permette per ogni linea di estrarre il nome di tutte le fermate. String page2 = metro2.retrieve(" ATM/Orari/superficie2.aspx? linea="+code+"&verso="+dir+"&tipo giorno=&fermata="+stopcodes.elementat(c)+"&cb1=4&cb2=0&lang=ita"); Questo link che si trova nel metodo findstops della classe PageAnalyzer permette per ogni fermata di estrarre tutti gli orari di fermata Struttura XML In questa sezione viene presentato il DTD del file XML di output <!ELEMENT departuretime ( #PCDATA ) > <!ATTLIST stop name NMTOKEN #REQUIRED > <!ELEMENT time ( #PCDATA ) > <!ELEMENT times ( time+ ) > <!ELEMENT train ( destination, origin, type, stops ) > <!ELEMENT trains ( train+ ) > Modalità di chiamata da riga di comando java -Dhttp.proxyHost= Dhttp.proxyPort=8080 -jar bus.jar <nome file di output senza estensione> 7

10 Esempio: java -Dhttp.proxyHost= Dhttp.proxyPort=8080 -jar bus.jar bus 4 Risultati Sperimentali In questa sezione vengono presentati alcuni esempi di output ottenuti con l uso dei wrapper sopra descritti. Il primo di figura 2 si riferisce al wrapper dei tram, il secondo al wrapper delle metropolitane; il terzo è un esempio di output del wrapper FS (il wrapper LeNord dà lo stesso risultato); l ultimo è l output del wrapper dei filobus Figure 2: Esempi schematici di file XML di output 8

11 5 Conclusioni e Sviluppi Futuri Nella relazione si è visto come sono stati realizzati i wrapper per l estrazione dei dati relativi agli orari e alle fermate delle linee ATM, LeNord e FS. Una possibile continuazione del lavoro svolto puó essere lo sviluppo di classi che permettano anche la scrittura dei dati in database relazionali e la possibilità di integrare tra loro i mezzi urbani definendo un oppurtuno percorso. In quest ultimo caso dovrebbe essere aggiunto ai wrapper dei mezzi urbani un metodo che per ogni fermata di una linea estragga le corrrispondenze con altre linee. 9