Harvest Web Data. Martino Pizzol. 28 agosto Fondazione ahref. Harvest Web Data. Martino Pizzol. Indice. I dati sul web.

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "Harvest Web Data. Martino Pizzol. 28 agosto 2010. Fondazione ahref. Harvest Web Data. Martino Pizzol. Indice. I dati sul web."

Elvira Deluca
8 anni fa
Visualizzazioni

1 Fondazione ahref 28 agosto 2010

2 1 Idatisulweb

3 Cosa e come Scopo Utilizzare dei dati trovati nella rete Come Bisogna trovarli Controllare le licenze Recuperarli per poterli usare

4 Formato Dati Cos è? Il formato dati è la convenzione che viene utilizzata per leggere, scrivere e interpretare i contenuti di un file (da Wikipedia) Esistono due grandi famiglie di formati Formati aperti (RTF, PDF, ODT, ODT...) Formati proprietari (DOC, DOCX, XLS, PPT...)

scrivere e interpretare i contenuti di un file (da Wikipedia)

5 HTML Cos è? L HTML (HyperText Markup Language) è il linguaggio utilizzato per creare le pagine web. Permette di creare documenti con una struttura semplice, testo, immagini, oggetti interattivi e collegamenti ipertestuali ad altre pagine. <html> <head> <title>pagina di pippo </title> </head> <body> In questa pagina di <b>pippo</b> </body> </html>

Permette di creare documenti con una struttura semplice, testo, immagini, oggetti

6 XML Cos è? XML (Extensible Markup Language) è un meta-linguaggio di markup, progettato per lo scambio e la interusabilità di documenti strutturati su Internet. <libri> <libro> <titolo>guida galattica per autostoppisti</titolo> <autore>douglas Adams</autore> </libro> </libri>

7 JSON Cos è? JSON (JavaScript Object Notation) è un formato adatto per lo scambio dati tra applicazioni. Il suo grande punto di forza è la semplicità. { } "titolo": "Guida galattica per autostoppisti", "autore": "Douglas Adams", "ristampe": [ {"anno": "1990"}, {"anno": "1994"}, ]

8 CSV Cos è? CSV (Comma-Separated Values) è un formato dati basato su file di testo per lo scambio di una tabella dati Titolo,Autore,Prima edizione Guida galattica per autostoppisti,douglas Adam,1979 Ristorante al termine dell Universo,Douglas Adam,1980

9 Metodi tradizionali Problema Ho un sito ricco di che mi interessano, come posso fare per recuperarle?

10 Metodi tradizionali Problema Ho un sito ricco di che mi interessano, come posso fare per recuperarle? Posso raccogliere le in ogni pagina scrivere un programma che lo fa al posto mio

11 Web Scraper Web Scraper È un software che in maniera automatizzata recupera. Newstrust Ho trovato un sito molto interessante, Newstrust ho visto che gli utenti possono creare delle recensioni per gli articoli e sono interessato ad analizzare l andamento dei voti, come posso fare?

utenti possono creare delle recensioni per gli articoli e sono interessato

12 Web Scraper Creiamo un web scraper Controllo di poter raccogliere i dati che mi interessano senza infrangere nessun termine d utilizzo Studio la struttura del sito Analizzo la pagina che mi interessa (xpath) Scrivo uno scraper

13 Web Scraper Perchè non ci vanno bene i scraper è molto complesso crearne uno hanno bisogno di manutenzione i siti evolvono sempre alcuni siti con interfacce ricche non si possono analizzare in questo modo (es: Flash)

manutenzione i siti evolvono sempre alcuni siti con

14 Le Cosa sono?

15 Le Cosa sono?

16 Le Cosa sono? Una (Application Programming Interface) è un insieme di codice e specifiche che i software utilizzano per comunicare tra loro.

17 Web Le Web sono lo strumento offerto dai siti per di permettere l accesso diretto alle a terzi. Sono lo strumento utilizzato da ogni sito per condividere le in modo che altri possano utilizzarle

18 Web

19 Web

20 Web Esempi d utilizzo Pubblico delle foto su Flickr e voglio importarle nel mio account Facebook Posso integrare nel mio sito una mappa personalizzata presente su Google Maps Nel sito di un giornale posso visualizzare tutti i video di un canale Youtube Su un sito qualsiasi posso fare il login utilizzando quello di Google

su Google Maps Nel sito di un giornale posso visualizzare tutti i video di un

21 101 Come possiamo utilizzare un? Dobbiamo controllare che effettivamente le che ci servono siano accessibili tramite Non sempre questo servizio è gratuito Solitamente bisogna registrarsi per ottenere una chiave d utilizzo Possiamo finalmente ottenere le desiderate

22 Flickr Flickr è un sito molto famoso per la condivisione di fotografie. Tutti i contenuti sono accessibili tramite un molto ricca. Qualsiasi operazione che si può compiere sul sito la possiamo fare in un applicazione di terze parti grazie alle. In questo caso la chiave per l utilizzo è diversa nel caso di utilizzi commerciali

23 Flickr Iniziamo a creare l 2 Creiamo la chiave d utilizzo http: // 3 Leggiamo la documentazione 4 Analizziamo come si cercano le fotografie photos.search.html

24 Flickr flickr.photos.search Return a list of photos matching some criteria. Only photos visible to the calling user will be returned. To return private or semi-private photos, the caller must be authenticated with read permissions, and have permission to view the photos. Unauthenticated calls will only return public photos.

25 Flick Richiesta Richiesta Nella richiesta specifichiamo i parametri della funzione

26 Risposta

27 Risposta Risposta XML <photos page="2" pages="89" perpage="10" total="881"> <photo id="2636" secret="a123456" server="2" title="test_04" ispublic="1" isfriend="0" isfamily="0" />... </photos>

28 Flickr - Esempi Tippermap Geolocalizzazione del proprio streamhttp://

29 Flickr - Esempi Flickrstr - The weekly flickr Top 20 Do fun stuff with your photos Visualizzazione alternativa a flickr Explore di flickr

30 Youtube Youtube è un sito molto famoso per la condivisione di video. Le sue api permettono di integrare il player in siti esterni ricercare video caricare video getting_started.html

31 Youtube - Esempi Visual travel guide Ricerca alternativa su youtube Ricerca in 3d http: //

32 Twitter Twitter è un network di informazione dove vengono prodotti circa 200 milioni di tweet al giorno. Tramite le possiamo: integrare twitter nel nostro sito (es: tweet button) ricercare tweet nella piattaforma in real-time sull utente (stato, avatar, etc etc)

33 Twitter - Esempi

34 Worldbank La World Bank è un istituzione creata per lottare contro la povertà ed organizzare aiuti ai paesi in difficoltà. Tramite le sono messi a disposizioni tre diversi dataset 1 Indicatori temporali 2 Progetti della Word Bank 3 Dati finanziari

35 Worldbank - Esempi Explore project api Kenya Open Visualizzazioni Google publicdata/overview?ds=d5bncppjof8f9_ Visualizzazioni dei dati della world bank su una mappa

36 Freebase Freebase è un enorme database con 22 milioni di entità rilasciato con licenza Creative Commons. I dati possono essere scaricati interamente, oppure si possono utilizzare tramite l.

37 NYTimes Il New York Times è un quotidiano pubblicato negli Stati Uniti. Il suo sito ha circa 31 milioni di visitatori unici, in Italia ogni mese vengono visualizzate 3,8 milioni di pagine. (da Wikipedia) Le sue permettono di accedere a tantissime : Articoli Best Sellers Dati del congresso (i voti..) Most Popular (metadati per i blog e articoli più visitati..)...

38 NYTimes - Esempi Test NY http: //prototype.nytimes.com/gst/apitool/index.html Esempi di utilizzo dei dati del congresso congress_api/congress_api_examples Visualizzatore dei tweet che includono articoli del NY

39 The Guardian Open Platform La Open Platform è un insieme di servizi che permettono la collaborazione di terzi con il Guardian. In particolare abbiamo a disposizione quattro grandi dataset Content (per i contenuti del guardian) Store (dataset curati dai giornalisti) Politics ( relative ai candidati, voti..)

40 The Guardian Open Platform - Esempi Test Enjoy England

41 Ma come posso fare? Sviluppare del software che utilizzi le Utilizzare servizi online per l analisi dei dati

42 Yahoo PIPES Yahoo PIPES È un sito web che ci permette di aggregare e manipolare i dati provenienti da vari servizi web. Esempi The Bigger Picture YouTunes Find job

43 Yahoo PIPES Demo Vediamo ora come poter utilizzare Yahoo PIPES per aggregare delle notizie

44 Yahoo PIPES

45 Conclusioni Il web è una fonte immensa di dati Spesso i vari siti ci permettono il loro utilizzo Le sono il nostro alleato fondamentale Le moderne applicazioni utilizzano spesso altri servizi (mashup)

46 Proviamo ora ad utilizzare Yahoo PIPES Flavon on Flickr Vogliamo ottenere da Flickr una lista di immagini scattate vicino a Flavon Hint Provare ad utilizzare il widget di Flickr

49 Domande Domande?

Documenti analoghi

HO UN ACCOUNT CON GOOGLE. COSA POSSO FARE?

HO UN ACCOUNT CON GOOGLE. COSA POSSO FARE? (account=area privata di un sito web in cui sono a disposizione un insieme di funzionalità e di personalizzazioni) Google ti regala una casella di posta elettronica