WWW: world wide web. protocollo HTTP. Tre standard. Web identifiers. Francesco Dalla Libera. a documenti tra loro collegati (ipertesto - ipermedia)

Transcript

1 WWW: world wide web protocollo HTTP Francesco Dalla Libera! Sistema distribuito che consente l!accesso l a documenti tra loro collegati (ipertesto - ipermedia) " 1989 inizio del progetto, Tim Berners-Lee al CERN # I proposed that a global hypertext space be created in which any network-accessible information could be refered to by a single "Universal Document Identifier". " 1991 primo prototipo " 1993 prima interfaccia grafica (Mosaic) " 1994 accordo tra CERN e MIT per costituire W3C # Sistema Client / Server 1 2 Tre standard Web identifiers! indirizzamento e naming " URI - URL! rappresentazione e formato " HTML! accesso e dialogo " HTTP denominare la persistenza e la disponibilità! URI (Uniform Resource Identifier) " RFC3986, "Uniform Resource Identifier (URI): Generic Syntax, Internet Standard, January 2005 " serve as both names and locators! IRI (Internationalized Resource Identifier) " URI limited set of ASCII characters, " IRI whole range of Unicode characters, not just ASCI! URL (Uniform Resource Locator) " subset of URIs that, in addition to identifying a resource, provide a means of locating the resource by describing its primary access mechanism! URN (Uniform Resource Names) " persistent, location-independent, resource identifiers 3 4

2 URL URL: Uniform Resource Locator! Sistema di naming per le entità indirizzabili (risorse) nel web " documenti e programmi! scheme:["//"] [user [":"password] "@"] host [":"port] ["/"url-path] " scheme: : protocollo o metodo di accesso usato per accedere alla risorsa richiesta (può essere http, https, ftp, mailto, file, news, telnet, gopher) " host: : nome DNS o indirizzo IP (il browser richiede la risoluzione del nome DNS) " port: : numero di porta (opzionale) del processo server a cui è diretta la richiesta (se method è http il default è 80) " url-path: : percorso gerarchico + nome di un file (se method è http il default del filename può essere index.html) + eventualmente? query (passaggio parametri) 5! Più comunemente protocol://host/path/filename! Esempi: " " " file://lucidi/web.zip " news:it.lavoro.offerte " mailto:franz@unive.it! come si vuole accedere alla risorsa " metodo di accesso (http, https, ftp, news, mailto, file, )! dove è fisicamente localizzata " nome o indirizzo IP del server (porta opzionale)! come è identificata " pathname relativo nel file system locale 6 HTML: HyperText Markup Language XML usi principali! Linguaggio per la formattazione del testo " specializzazione di SGML standard ISO 8879! Markup Language " i comandi (tag) per la formattazione sono inseriti in modo esplicito nel testo # differenza con un wordprocessor WYSIWYG! XML " nuovo standard per la presentazione e la formattazione di dati! linguaggio per annotare testi " markup! linguaggio per esternalizzare strutture dati in formato sequenziale " query a DB che restituiscono oggetti XML " descrizione di strutture dati 7 8

3 Lato client Lato Server! BROWSER " recupera la pagina richiesta " interpreta il testo e i comandi di formattazione contenuti " visualizza la pagina! pagina = testo + grafica + immagini + video + suono +! Il BROWSER per poter gestire tutti i tipi di dato è affiancato da: " programmi esterni ( (helper application) " moduli di estensione ( (plug-in)! Processo in attesa sulla porta 80 di una richiesta di connessione! Stabilita la connessione e ricevuta la richiesta dal client, il server invia la risposta! Rilascia la connessione! protocollo stateless " non vengono mantenuti dati su precedenti richieste del client! HTTP: definisce le richieste e le risposte lecite 9 10 Funzionamento del sistema - 1 Funzionamento del sistema - 2! Il browser B determina l!urll " metodo://server/nome_file.html! B chiede al DNS l!ip l relativo al server! DNS risponde (IP * )! B stabilisce una connessione TCP con ( IP *, 80 )! B invia il messaggio GET nome_file.html! Il server S invia come risposta un messaggio di stato e il file richiesto! B visualizza il testo! La connessione TCP è rilasciata 11 se nel testo compaiono i riferimenti ad altri oggetti (immagini, suoni, video):! B recupera e visualizza tutte gli oggetti contenuti nel testo " per ogni oggetto # B apre una nuova connessione # richiede e ottiene il trasferimento da parte di S # B visualizza l!oggettol # la connessione viene rilasciata! Possibile pipelining nelle richieste degli oggetti contenuti in una pagina " B effettua le richieste di connessione una dopo l!altra l senza aspettare la chiusura della connessione precedente " i browser possono aprire connessioni multiple... 12

4 HTTP, base HTTP Richiesta del cliente! Protocollo ASCII " i messaggi scambiati sono sequenze di caratteri! messaggio " richiesta del cliente " risposta del server (informazione di controllo)! Header del cliente: Full-Request = Request-Line *( General-Header Request-Header Entity-Header ) CRLF [ Entity-Body ] Request-Line = Method SP Request-URI SP HTTP-Version CRLF! per ogni singola interazione Cliente / Server " apertura connessione TCP " request-client: URL " reply-server: messaggio di stato + dati di cui alla URL " chiusura connessione TCP 13 ( SP sta per spazio, CRLF corrisponde ai caratteri carriage-return newline) 14 HTTP Richiesta del cliente, cont.! General header: # data di creazione # Altre informazioni che dipendono dall!implementazione, tipicamente no cache! Request header: # autorizzazione # from # if-modified-since # referer # user-agent Request header: autorizzazione! il server richiede l!autorizzazione l ( (challenge)) relativamente a una certa area (realm)) del proprio database! il cliente risponde con una stringa userid:passwd codificata in base64 (per evitare problemi con caratteri non alfanumerici)! non è un meccanismo sicuro su una rete condivisa! Entity header: (vedi risposta del server) # allow # content-encoding # content-length # content-type # expires # modified 15 16

5 Interazione User-server: autenticazione Autenticazione: controlla accessi ai documenti del server! stateless: ad ogni richiesta client fornisce autorizzazione " authorization: header line in request " se non c!è autorizzazione server rifiuta e manda WWW authenticate: header line in response Browser caches nome & password per evitare che l utente debba fornire nome e password ripetutamente. client usual http request msg 401: authorization req. WWW authenticate: usual http request msg + Authorization:line usual http response msg usual http request msg + Authorization:line usual http response msg server tempo 17 Request header, cont.! From: " o identificatore della persona responsabile della richiesta # un browser non dovrebbe mandare questa informazione all!insaputa del cliente # uno spider dovrebbe sempre averla! if-modified-since " Contiene una data " implica che il metodo richiesto verrà eseguito solo se la risorsa è stata modificata dopo la data indicata! referer: " L!URI della risorsa dalla quale è stato ottenuto l!uri l richiesto # può servire ad un server per tracciare tutti i riferimenti alle proprie pagine! user-agent " L!identificatore del prodotto (tipo di browser, produttore) usato per generare la richiesta 18 HTTP Risposta del server! Risposta del server: Full-Response = Status-Line *( General-Header Response-Header Entity-Header ) CRLF [ Entity-Body ] Status-Line = HTTP-Version SP Status-Code SP Reason-Phrase CRLF! Lo status-code informa il cliente di qualunque peculiarità riguardo alla richiesta " codice numerico! Metainformazioni " natura di quanto segue, lunghezza, data/ora! Informazioni richieste (vedi oggetto riferito dall!url) messaggi di status Nella prima linea del messaggio di risposta Esempi: 200 OK " Richiesta ha successo, oggetto richiesto segue 301 Moved Permanently " l!oggetto si è spostato permanentemente: : il nuovo indirizzo segue in questo messaggio (Location:..) 400 Bad Request " richiesta incomprensibile 404 Not Found " non ho trovato la richiesta 505 HTTP Version Not Supported 19 20

6 Entity header Client request: esempio! Allow: " i metodi supportati dal server per questa risorsa! Content type: " codifica MIME del tipo di file (ad esempio text/html)! Content encoding: " l!opzionale codifica della risorsa (ad esempio zip)! Content length: " lunghezza in byte della risorsa! Expires: " data oltre la quale la risorsa va considerata obsoleta (caching)! Last-modified: " data di ultima modifica della risorsa GET /www/doc2.html HTTP/1.0 Accept: www/source Accept: text/html Accept: image/gif gif... User-agent: Mozilla/1.1N (Windows;I; 16 bit) * a blank line * 21 Server response: esempio HTTP/ OK Date: Wednesday, 02-Feb-97 23:04:12 GMT Server: NCSA/1.1 MIME-version: 1.0 Last-modified: Monday, 15-Nov-96 22:13:16 GMT Content-type: text/html Content-length: 2345 *a blank line* <HTML> document </HTML> un esempio completo Request: GET / HTTP/1.0 Response: HTTP/ OK Date: Wed, 23 Oct :18:47 GMT Server: Apache/ (Unix) PHP/4.2.3 X-Powered-By: PHP/4.2.3 Set-Cookie: PHPSESSID=8fd7c6a69c84da e18a3067b85; path=/ Expires: Thu, 19 Nov :52:00 GMT Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0 Pragma: no-cache Connection: close Content-Type: text/html [Contenuto della pagina HTML..] 24

7 campi di intestazione HTTP HTTP Metodi! Con metodi si intende comandi (object orientation)! GET richiede la risorsa " la risorsa è spesso il contenuto di un file ma non lo deve necessariamente essere: il server potrebbe semplicemente ritornare i dati generati dalla risorsa! HEAD " richiede di ricevere tutte le informazioni ma non il contenuto # spider, ottimizzazioni! POST " invio esplicito di dati al server # come informazione aggiunta alla risorsa (NON come nuova risorsa!) un esempio di POST POST /modify/modify.php HTTP/1.1 Host: openskills.info User-Agent: Mozilla/5.0 (X11; U; Linux i686; en-us; rv:0.9.9) Gecko/ Accept: text/xml,application/xml,application/xhtml+xml,text/html; q=0.9,text/plain; q=0.8,video/x-mng,image/png,image/jpeg,image/gif;q=0.2,text/css,*/*;q=0.1 Accept-Language: en-us, en;q=0.50 Accept-Encoding: gzip, deflate, compress;q=0.9 Accept-Charset: ISO , utf-8;q=0.66, *;q=0.66 Keep-Alive: 300 Connection: keep-alive Cookie: PHPSESSID=fdcb56ecb694a7564dc814b422dd2a7d Referer: ta Content-Type: application/x-www-form-urlencoded Content-Length: 2431 IDbox=357&box_title=I+metodi+HTTP&[ &[attributi=valori] HTTP/ OK Date: Wed, 23 Oct :38:51 GMT Server: Apache/ (Unix) PHP/4.2.3 X-Powered-By: PHP/4.2.3 Expires: Thu, 19 Nov :52:00 GMT Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0 Pragma: no-cache Keep-Alive: timeout=25, max=85 Connection: Keep-Alive Transfer-Encoding: chunked Content-Type: text/html Problemi e performance! Efficienza nell!uso delle risorse " setup / rilascio connessione # non c!èc controllo di congestione in queste fasi # perdita dello stato di slow-start! Assenza di sessione! Carenza di meccanismi per dati riservati! gestione cache molto primitiva FDL [HTML della pagina di risposta] 27 28

8 Ritardi per l!utente messaggi di Netscape Conseguenze di HTTP 1.0 e della popolarità di Internet! query al DNS " Looking up host! setup connessione " Contacting Host contacted! carico del server " Waiting for reply! trasferimento dati " Read file Transferring data! Le pagine sono diventate molto più complesse " Per migliorare la velocità di trasferimento i clienti fanno spesso connessioni multiple! Ad ogni chiusura di una connessione il protocollo TCP perde le informazioni sulla congestione (slow-start, ecc.) " slow start progettato per herding elephants, not mice " stima: metà dei pacchetti HTTP 1.0 sono TCP open/close " Basse prestazioni per gli utenti! I server hanno moltissime connessioni nello stato di close-wait Gestione della sessione! HTTP è un protocollo connectionless e stateless " a livello di connessione usa una connessione per ogni richiesta al server " a livello di interazione cliente-server non mantiene alcuno stato tra una richiesta e l!altral " Il server non conosce la storia delle richieste/risposte precedenti! Sessione " sequenza di richieste/risposta come parte di un dialogo " La gestione della sessione è un requisito indispensabile per l!uso del web come infrastruttura di applicazioni # Autenticazione dell!utente # Acquisti # Segnalibro " La gestione della sessione richiede che le informazioni di stato siano condivise tra client (browser) e server Come mantenere lo stato di una sessione 1. HTML link con URL parametrizzata 2. HTML form contenente campi hidden 3. Cookies 1. il server può inviare al cliente un identificativo di sessione ( (cookie)) in un header del tipo Set-cookie 4. clienti e server possono mantenere la connessione aperta e mandare pacchetti in pipeline ( (vedi protocollo HTTP 1.1) 31 32

9 Cookies! Lista di coppie nome/attributo che il server manda al browser " la memorizzazione sul client è autorizzata dall!utente! Il browser può rimandare queste coppie al server: " per customizzare il comportamento del server # token per riconoscere una sessione " per ricordare al server i diritti acquisiti dal cliente (cioè per evitare una nuova autenticazione)! Estensione di HTTP " Proposta da Netscape e poi standardizzata (RFC 2965) " Headers Cookie, Set-Cookie Interazione User-server: cookies! server S manda cookie al client A in risposta p.e.: Set-cookie: ! A fornisce cookie in richieste successive cookie: ! S usa cookie per " autenticazione " per ricordare preferenze user " gestione sessione A: client S: server usual http request msg usual http response + Set-cookie: # usual http request msg cookie: # usual http response msg usual http request msg cookie: # usual http response msg definiz. cookie azione specifica cookie azione specifica cookie cookie vs session-id! While both session IDs and cookies can provide a way to sustain stateful sessions, their intended purpose is different, and, consequently, the privacy requirements for them are different! A user initiates session IDs to allow servers to track progress through them, or to distinguish multiple users on a shared machine! Cookies are server-initiated,, so the cookie mechanism described here gives users control over something that would otherwise take place without the users' awareness! Furthermore, cookies convey rich, server- selected information, whereas session IDs comprise user-selected, simple information (From: RFC HTTP State Management Mechanism) 35 Interazione User-server: conditional GET! Goal: non mandare oggetto se il client lo ha nella sua cache! client: specifica data della sua copia in cache If-modified-since: <date>! server: la risposta non contiene oggetto se la copia in cache è aggiornata: HTTP/ Not Modified client http request msg If-modified-since: <date> http response HTTP/ Not Modified http request msg If-modified-since: <date> http response HTTP/ OK <data> server oggetto non modificato oggetto modificato 36

10 Web Caches (proxy server) Goal: rispondere senza utilizzare il server originario! user sets browser: richieste al web cache! client manda tutte le sue richieste a web cache " se l!oggetto è presso il web cache, web cache risponde " altrimenti web cache chiede l!oggetto l al server originario e poi risponde al client client client http request http response http request http response Proxy server http request http response http request http response origin server origin server Perchè Web Caching? Assumi: cache è vicina al client (p.e., stessa rete)! minor tempo di risposta: : cache più vicina al client! minor traffico verso servers distanti " spesso i link di uscita di instituzioni/local ISP sono bottleneck institutional network public Internet 1.5 Mbps access link 10 Mbps LAN origin servers institutional cache Schema di performance Performance in generale HTTP usa una sola connessione TCP per l intera l transazione, ottenendo così una prestazione migliore di quella di FTP, anche per il primo file richiesto. HTTP non prevede l uso l di un control-channel. Slow start... 1 RTT channel OPEN 0.5 RTT send request 0.5 RTT file starts to arrive Ftrans time to transmit the file RTT + Ftrans = time to get a file in HTTP Recupero di una (piccola) pagina HTML con una (piccola) immagine gif RTT obbligatori: 1. Client: open connection 2. Client: request page.html 3. Client: open connection 4. Client: request image.gif 39 40

11 GET file.html (file di testo senza immagini) traccia di tcpdump legenda tracciato tcpdump a) open connection (three-way handshake) : pc.3428 > www: S : (0) win 8192 <mss 1460> (DF) : www > pc.3428: S : (0) ack win <mss 1460> (DF) : pc.3428 > www:. ack 1 win 8736 (DF) b) pc send request GET file.html : pc.3428 > www: P 1:324(323) ack 1 win 8736 (DF) : www > pc.3428:. ack 324 win (DF) c) www send file.html : www > pc.3428: P 1:1190(1189) ack 324 win (DF) d) close connection : www > pc.3428: F 1190:1190(0) ack 324 win (DF) : pc.3428 > www:. ack 1191 win 7547 (DF) : pc.3428 > www: F 324:324(0) ack 1191 win 7547 (DF) : www > pc.3428:. ack 325 win (DF) The general format of each line is as follows. :# src > dest: flags data-seqno ack window urgent <options> o :# is a timestamp identifier o "src" is the source: host.port o "dest" is the destination: host.port o "flags" are:"s"=syn,"p"=push,"f"=fin,"r"=rst, and "."= no flag o "data-seqno" is the range of sequence numbers: start:end(length) - "length" is the TCP LENGTH value - "start" is the TCP SEQUENCE NUMBER - "end" is start+length (computed by tcpdump) o "ack" is the TCP ACKNOWLEDGMENT NUMBER, given only if the TCP ACK flag is set o "window" is the TCP WINDOW value o "options" are TCP header options, i.e. - "mss" is maximum segment size HTTP 1.1 Nuovi metodi New request methods Persistent connections Chunked encoding Byte range operations Content negotiation Digest Authentication Caching! PUT " semplicemente il comando di creare sul server l!informazione fornita dal cliente # diverso da POST che è subordinato a una risorsa presente sul server! DELETE " comando di cancellare una risorsa sul server QUESTI comandi devono essere protetti da un meccanismo di autenticazione 43 44

12 Nuovi metodi, cont. Persistent connections! OPTIONS " chiede al server quali metodi accetta e quali risorse può aver disponibili! TRACE " il server fa un eco di una richiesta di TRACE; permette di fare il debugging di una connessione! Riaprire ogni volta una connessione non è efficiente! In 1.1 per default una connessione rimane aperta fino a quando esplicitamente richiesto dal cliente o dal server " Connection:close! Un cliente può fare richieste multiple anche prima che arrivino le risposte ( (pipelining) Chunked encoding Byte range operations! Più richieste per connessione implicano che le dimensioni della risposta siano esplicite! Ma in alcuni casi (es. html dinamico) è difficile sapere a priori la lunghezza della risposta! Permette di richiedere solo parte della risorsa (a partire da un certo byte in avanti)! Evita di dover richiedere interamente un lungo file che non è stato trasferito completamente! Migliora notevolmente le prestazioni 47 48

13 Content negotiation Digest Authentication! Permette di richiedere o ottenere automaticamente dal server la risorsa nel formato più conveniente " ad esempio Postscript o PDF o testo! Un!estensione del meccanismo base di autenticazione " il cliente calcola un digest (con l!algoritmo l MD5) della password e di alcuni altri valori # il digest non può essere usato per calcolare la password " il server fa lo stesso calcolo e vede se i due digest corrispondono Caching! Sia il server che il cliente hanno un controllo accurato di quale informazione può essere tenuta nelle cache " cachable " not cachable " how old it can be " don't serve anything past its age " don't transform 51