PROTOCOLLI MULTIMEDIALI

Transcript

1 PROTOCOLLI MULTIMEDIALI

2 PROTOCOLLI MULTIMEDIALI Le informazioni audio e video richiedono per la trasmissione una notevole quantità di banda, che cresce con l'aumentare della qualità richiesta. Con le normali modalità di funzionamento delle reti ed in particolare di Internet, questo si può tradurre in un tempo molto lungo necessario a scaricare un file audio e/o video sul disco del proprio computer, prima di poterne iniziare l'ascolto e/o la visione. Anche lo spazio disco richiesto può non essere trascurabile: un clip audiovisivo digitale di 10 minuti di qualità discreta occuperebbe decine di megabyte.

3 PROTOCOLLI MULTIMEDIALI D altra parte possibilità applicative della multimedialità come: Telefonia IP videoconferenza servizi broadcast live (es.: Internet radio) video on demand e le sempre maggiori capacità delle reti spingono ad una sempre più diffusa applicazione di queste tecniche

4 PROTOCOLLI MULTIMEDIALI La soluzione a tale problema va affrontata operando su tre aspetti fondamentali: UTILIZZO OTTIMALE DELLE RISORSE DI RETE TECNICHE DI STREAMING COMPRESSIONE E CODIFICA DEI DATI

5 PROTOCOLLI MULTIMEDIALI Prima di poter essere trasmesso, un componente multimediale come un brano musicale o un filmato deve essere codificato e possibilmente compresso con un algoritmo di compressione detto CODEC (codifica decodifica) Il compito del codec consiste nel trasformare, in fase di acquisizione, le informazioni ricevute in un file il più possibile piccolo e compatto, e, in fase di riproduzione, nell'interpretare il codice del file per poterlo visualizzare. Perché la trasmissione funzioni in modo ottimale è richiesta anche un'infrastruttura di rete che consenta di ottimizzare i parametri che influenzano la qualità di servizio per i servizi multimediali (servizi isocroni)

6 STREAMING Le tecniche di "streaming" permettono di ridurre il tempo necessario a scaricare e riprodurre un file audio e/o video sul proprio computer ad un piccolo ritardo iniziale dovuto alla necessità di creare un buffer (serve ad evitare discontinuità nella riproduzione a causa del jitter, vedi nel seguito) Inoltre non viene richiesto in pratica spazio disponibile sul disco locale: il file richiesto non viene infatti scaricato completamente sul disco e poi visualizzato, ma processato in RAM e riprodotto in tempo reale La modalità streaming consente inoltre la fruizione di contenuti audiovisivi in tempo reale, quali un canale radiofonico o televisivo, o una videoconferenza. In questo caso infatti non esiste un vero e proprio file ma piuttosto un flusso continuo (uno stream appunto) di bit che vengono prodotti codificando in tempo reale la sorgente analogica (eventi live).

7 STREAMING Lo streaming viene realizzato con un'architettura di tipo client server realizzata mediante opportuni software Il client può essere un'applicazione a sé stante (es.: RealPlayer, Windows Media Player))oppure un plug in presente o installabile nei browser I server possono essere vari, commerciali e non (es.: Darwin, Real Server, VideoLAN, Mpeg4IP, FFMpeg etc.) I formati attualmente più diffusi sono: Real Audio/Real Video Quick Time (Apple) ASF (Windows Media Player)

8 AUDIO Il segnale audio o suono può essere definito come una rapida variazione della pressione rilevabile dall'orecchio Le onde sonore si propagano in mezzi come l'aria, l'acqua, i solidi ma non nel vuoto (a differenza delle radiazioni e.m.) Le onde sonore possono essere descritte da una frequenza, un'ampiezza ed una fase. Nella trattazione dell'encoding la fase ha poca importanza

9 AUDIO L'orecchio umano percepisce normalmente le frequenze che vanno da circa 20 Hz a circa Hz. Ai valori di frequenza più bassi corrispondono i suoni gravi, a quelli più alti i suoni acuti. Oltre i limiti di frequenza citati, troviamo i suoni non udibili dall'orecchio, cioè gli infrasuoni (<20Hz) e gli ultrasuoni (>20KHz)

10 AUDIO Un parametro fondamentale è che influenza la qualità del segnale è la banda passante dei segnali prodotti. I due casi estremi che si possono prendere in considerazione sono: il segnale telefonico, dove si usa la banda da Hz privilegiando la facilità di trasmissione a scapito della qualità sonora il segnale del CD, dove viceversa si è scelto di coprire l'intera banda udibile per avere la massima qualità I segnali radio AM (qualità più bassa) e FM (più alta) si trovano nel mezzo.

11 AUDIO Il potere risolutivo dell'orecchio si definisce come / e non ha un valore costante sullo spettro delle frequenze. La capacità di distinguere frequenze vicine tra loro o ampiezze vicine tra loro ha un andamento di tipo logaritmico sia riguardo alle frequenze che all ampiezza, ed in particolare: peggiora verso frequenze alte una variazione a bassi livelli è più significativa della stessa variazione ad alti livelli

12 AUDIO Codificatore e Decodificatore : Trasformano il segnale in una rappresentazione che costituisce un modello più o meno accurato della sorgente. Il modello utilizzato è di tipo psico acustico, cioè si basa su un'approssimazione del meccanismo complessivo di percezione del sistema cervello/orecchio umano e non solo sulla risposta fisica dell'orecchio allo stimolo In questo modo è possibile determinare l entità della ridondanza eliminabile dal segnale e quindi l'ammontare del data rate necessario al processo di codifica.

13 AUDIO Anche se esistono canali e reti ad elevato bit rate a costi contenuti, la codifica a basso bit rate dei segnali audio ha mantenuto la sua importanza. Quello che si chiede ad un codificatore a basso bitrate è mantenere una qualità elevata del segnale ricostruito robustezza alle variazioni nel contenuto spettrale e nelle ampiezze bassa complessità basso consumo di energia

14 AUDIO PRINCIPALI TECNICHE DI CODIFICA AUDIO ADPCM (16 bit) codifica percettiva codifica nel dominio della frequenza window switching allocazione dinamica dei bit.

15 AUDIO CODIFICA PERCETTIVA Se vogliamo la stessa qualità a bit rate più bassi si possono sfruttare le nozioni sulla percezione acustica sopra citate, che fanno riferimento alla psicoacustica. L obiettivo è quello di ricostruire solo il segnale udibile dall'orecchio umano. Si rimuovono le componenti ridondanti, derivanti dalla correlazione tra i campioni. Si rimuovono le parti che l'orecchio non può distinguere correttamente, sia in termini di ampiezza che di frequenza.

16 FORMATI AUDIO BASSA COMPRESSIONE Microsoft Wave (wav) Basic audio (au) Macintosh audio (aiff) Midi (mid) ALTA COMPRESSIONE Real Audio (rpm, ram) MPEG AUDIO (mp3)

17 MPEG Dal sito MPEG (pronuncia M peg), acronimo di Moving Picture Experts Group, è il nome dato ad una famiglia di standard internazionali usati nella codifica di informazioni audiovideo in formato digitale compresso. La famiglia di standard MPEG include MPEG 1, MPEG 2 and MPEG 4, ufficialmente noti come ISO/IEC 11172, ISO/IEC e ISO/IEC MPEG era originariamente il nome dato al gruppo di esperti che svilupparono tali standards. Fondato nel 1988, il gruppo MPEG (formalmente ISO/IEC JTC1/SC29/WG11) fa parte del JTC1 Joint ISO/IEC Technical Committee on Information Technology. Il coordinatore del gruppo MPEG è Leonardo Chiariglione detto padre di MPEG.

18 MPEG AUDIO MPEG 1 Definito nel frequenze di campionamento audio (32, 44.1 e 48 khz) uno o due canali con quattro modi di funzionamento: mono, dual mono, stereo e joint stereo Strutturato in 3 livelli (layers), a seconda delle caratteristiche del modello di quantizzazione e codifica dei campioni audio. Layer I : bit rate 192kb/s Layer II : bit rate 128kb/s, (usato per DAB, CD ROM, CD I, Video CD) Layer III (=mp3): bit rate meno di 128kb/s, (usato per audio su ISDN). Bit rate differenti per essere in grado di fornire audio con qualità soggettiva paragonabile a quella del CD (PCM, 16 bit, 44.1 khz, stereo 1.41Mb/s + overhead = 4.32 Mb/s)

19 MPEG AUDIO MPEG 1 AUDIO I layer 1, 2, 3 sono definiti come livelli proprio perché il codificatore/decodificatore di livello superiore incorpora quello di strato inferiore e si aggiunge con le sue funzionalità MPEG 2 AUDIO Definito nel aggiunge alle 3 frequenze di campionamento usate da MPEG 1 tre ulteriori frequenze (16, e 24kHz) ed è in grado di utilizzare fino a 5 canali hi fi, più un canale a bassa frequenza (adatto per applicazioni quali Home Theater) e fino a 7 canali di commento

20 IMMAGINI Un'immagine grafica viene solitamente interpretata come un insieme di punti (pixel) in modalità RGB Ad ognuno di essi viene associato un colore che viene espresso mediante tre componenti fondamentali: Rosso, Verde e Blu. Il colore del punto viene descritto dando tre valori (con una profondità variabile a seconda del numero di bit 8, 16, 24, disponibili) per le tre componenti (es.: bianco= 255R+255G+255B, rosso 255R+0G+0G, viola 255R+0G+255B etc.:) Questo schema soffre del problema della correlazione (i tre colori non sono in realtà indipendenti) Una maggiore efficienza si ottiene con le componenti YUV (luminanza+crominanze)

21 IMMAGINI Le componenti YUV presentano una minor correlazione e sono quindi più adatte alla compressione In ogni caso esse sono legate alle RGB da specifiche relazioni a seconda del modello scelto ad es. per il PAL si ha: Y=0.3R+0.59G+0.11B U=0.493(B Y) V=0.877(R Y) Y è la componente più significativa

22 IMMAGINI In una qualsiasi immagine video la maggioranza degli elementi è di tipo ricorrente Ad es.: in una figura statica con parti a tinta unita esistono ripetizioni di pixel uguali (ridondanza spaziale) quindi si può realizzare una compressione di questo tipo (supponiamo che ci sia una riga di 20 pixel consecutivi tutti blu e B indichi il blu): BBBBBBBBBBBBBBBBBBBB -> 20B Si parla in questo caso di compressione intra frame

23 IMMAGINI Viceversa, in un filmato le parti che si muovono tra due frame successivi sono di solito poche (pensiamo ad esempio ad una persona in movimento su uno sfondo costante) e si ha una ridondanza temporale. In questo caso la compressione che possiamo realizzare è quella di descrivere il frame successivo come variazione rispetto al precedente, riducendo sensibilmente il numero di informazioni necessario a ricostruire l'immagine. Si parla in questo caso di compressione inter frame

24 IMMAGINI CODIFICA A SOTTOBANDE, mira a ridurre la ridondanza spaziale sfruttando la non uniforme distribuzione delle immagini nel dominio della frequenza. è possibile distribuire gli errori di quantizzazione in maniera diversa tra le varie sottobande, in modo che questi siano poco visibili. DCT (Discrete Cosine Transform) sia per immagini statiche JPEG che in quelle dinamiche, cioè in MPEG. è rigorosamente locale: ogni blocco può essere trasformato e successivamente quantizzato in maniera indipendente dai blocchi vicini.. eventuali errori di quantizzazione vengono confinati all'interno dei singoli blocchetti nel caso di codifica DCT

25 IMMAGINI ALTRE TECNICHE DI COMPRESSIONE CODIFICA ENTROPICA: compressione della rappresentazione dei coefficienti che sono stati calcolati successivamente al processo di quantizzazione RLE (Run Length Encoding): simbolo di riferimento + contatore DPCM: simbolo di riferimento + distanza

26 IMMAGINI Formati RASTER (o BITMAP) bmp xbm COMPRESSE gif png jpg tiff, pic...

27 PNG, GIF PNG (Portable Network Graphics) sviluppato nel 1995 da W3C e Compuserve elementi di grafica vettoriale non animate non trasparenti GIF supportano la trasparenza supportano l animazione interlacciamento

28 JPEG Il gruppo JPEG (Joint Photographic Experts Group) ha come scopo la definizione dello standard per la compressione delle immagini. Ha definito di una serie di tecniche per la compressione delle immagini senza indicare esplicitamente gli algoritmi di compressione, lasciando quindi una certa libertà implementativa ai produttori di applicazioni.

29 MPEG VIDEO L'algoritmo di compressione MPEG VIDEO utilizza due tecniche: compensazione di moto (dominio del tempo) compressione basata sulla DCT (dominio dello spazio) L immagine viene suddivisa in tre frames: luminanza Y crominanza U e V. Rate a 24, 25 o 30 Hz

30 MPEG VIDEO COMPENSAZIONE DEL MOVIMENTO Si considera localmente l'immagine corrente come una traslazione di un'immagine che la precedeva nel tempo. Si trasmettono i vettori di movimento relativi i singoli blocchi, piuttosto che trasmettere i blocchetti stessi. Oltre che al vettore di movimento si trasmette un "errore di predizione". Il metodo più utilizzato per il calcolo della stima dei vettori di movimento ha il nome di block matching. La compensazione del movimento è un classico esempio di compressione di tipo inter, dove cioè si sfrutta la correlazione temporale con il fotogramma precedente. Si prevede comunque l'inserimento di un quadro di tipo intra ogni 10 o 15 quadri (circa due volte al secondo).

31 MPEG 1 video/standards/mpeg 1.htm Protocollo diviso in 5 parti Ha lo scopo di mantenere il flusso complessivo di dati al di sotto dei 1.5 Mbits/s La quantità di bit proveniente dal video è circa: Luminanza: 320 pixel/linea x 240 linee x 30 field x 8 bit = 18 Mbits/s Componente U di Crominanza: 320 pixel/linea x 120 linee x 30 field x 8 bit = 9 Mbits/s Componente V di Crominanza: 320 pixel/linea x 120 linee x 30 field x 8 bit = 9 Mbits/s La compressione video raggiunta è circa 30:1

32 MPEG 1 Schema della parte 1 combinazione di stream audio e video con sincronismo temporale in un unico flusso di dati audio/video

33 MPEG 1 Schema della parte 2 compressione dei dati video (PAL/SECAM/NTSC) a bitrate intorno a 1.5 Mbit/s

34 MPEG 1 Schema della parte 3 compressione dei dati audio mono e stereo

35 Unicast e Multicast UNICAST: Maggiormente utilizzata Connessione punto punto client/server La quantità di banda consumata scala col numero delle connessioni al server MULTICAST: Una sola copia dei dati viene inviata ad un gruppo di client abbonati Connectionless La banda consumata non scala col numero di client Tutti i dispositivi di rete devono essere multicastcompliant

36 PROTOCOLLI DI RETE TCP UDP RTP RTSP MMS HTTP

37 PROTOCOLLI DI RETE

38 TCP Affidabile orientato alla connessione Garantisce una trasmissione senza errori e con la giusta sequenza Adatto per trasmissioni di dati Il controllo della connessione causa ritardi ed introduce inefficienza nella velocità di trasmissione e nel rapporto dati trasmessi / dati utilizzabili

39 UDP Poco affidabile senza connessione Non garantisce contro errori e sequenza errata Adatto per trasmissioni veloci su supporti affidabili Preferibile quando il mantenimento di un throughput elevato ha la precedenza sulla possibile perdita di qualche informazione

40 Real Time Protocol (RTP) Sviluppato da IETF per gestire streaming audiovideo usando IP Multicast Derivazione del protocollo UDP con aggiunta del time stamp e del numero di sequenza nell'header del pacchetto Adatto per trasmissioni connectionless (non viene fatto il controllo della connessione) ma la cui sequenza temporale viene conservata

41 RTP RTCP IETF ha diviso il protocollo in due parti che sono allo stesso livello della pila ISO OSI, su due piani verticali distinti: RTP gestisce solo la trasmissione dei dati realtime RTCP (Real Time Control Protocol) fornisce il controllo sulla qualità del servizio ed informazioni sui partecipanti alla sessione multicast RFC 1889, 1890, 2032

42 RTSP Si trova sopra il livello di RTP e RTCP Funziona in modo analogo a HTTP Usa una struttura di tipo Comando (o risposta) Header Payload È bidirezionale (serve al client per controllare il flusso, come se si trattasse di un videoregistratore) Non controlla il tipo di encoding (questo lo fa SDP, Session Description Protocol)

43 RTSP

44 MMS e HTTP MMS Sviluppato da Microsoft (Microsoft Media Server) Non può fornire bitrate costante HTTP Basato su TCP Lento ma affidabile Fornisce bitrate costante È trasparente a quasi tutti i firewall

45 Quality Of Service Come è facile immaginare, nonostante gli algoritmi di compressione utilizzati ed il ricorso al multicast (che in presenza di n clients riduce il traffico di un fattore 1/n rispetto all'unicast), il trasporto di traffico multimediale ha un impatto pesante sulla rete a causa della mole di dati trasportati. Assumono quindi una grande importanza parametri come: Banda passante Delay (Ritardo) Jitter = Delay/t (Variazione del ritardo nel tempo)

46 Quality Of Service Le applicazioni piu critiche da questo punto di vista sono ovviamente quelle interattive di trasmissione della voce o voce e video (Voice over IP, Videoconferenza) che sono condizionate da tutti i parametri: banda, delay e jitter. Trasmissioni come le radio via Web o la televisione via web (unidirezionali) normalmente non soffrono troppo del delay (ma soffrono del jitter, che viene affrontato con meccanismi di buffering) Il tuning della rete per controllare delay e jitter si può operare con meccanismi di QoS (es.: Diffserv, IP Premium).

47 Funzionamento di uno streaming server

48 Funzionamento di uno streaming server

49 Streaming servers e clients commerciali Esistono sul mercato vari streaming servers e players, sia commerciali che liberi: tra quelli commerciali abbiamo: Apple Quick Time Player Gratuito Disponibile per MacOS e Windows Apple QuickTime Broadcaster (Encoder) Gratuito Disponibile solo per MacOS Codifica in formato QuickTime (.mov) e Mpeg4 (.mp4) Apple Quick Time Streaming Server e Darwin (free) Quick Time Streaming Server Solo per MacOSX Darwin Streaming Server (MacOSX, Win, Solaris e Linux) Stream dei formati Quick Time e Mpeg4

50 Streaming servers e clients commerciali Microsoft Windows Media Player Disponibile in forma gratuita per (Windows e Mac) Microsoft Windows Media Encoder Gratuito ma disponibile solo per Windows Codifica in formato Windows Media Video o Active Stream Format (.asf) Microsoft Windows Media Server È incluso nelle versioni Server di Windows Effettua lo streaming dei formati Windows Media Encoder Può adattare la banda dello stream alla disponibilità di banda verso il client (multi bandwidth video stream)

51 Streaming servers e clients commerciali Real Networks Real Player Disponibile gratuitamente per Windows, Linux e MacOs Real Networks Helix Producer (Real Producer) Disponibile per Windows, Linux e MacOs costo ~200$ Codifica in formato Real Media (.rm) Real Networks (Helix Server) Disponibile per Windows e Linux ma costoso (il prezzo delle licenze è legato alla banda massima utilizzabile) Effettua streaming dei formati RealMedia, Quick Time, mp4 e asf. Permette ai singoli player di negoziare lo stream a seconda della banda disponibile (SureStream).

52 Installazione di uno streaming server Tra i vari strumenti disponibili, ci concentriamo su un server Open Source in fase di sviluppo, ffmpeg È composto di due parti: Un encoder, ffmpeg, che ha il compito di trasformare una sorgente (videocamera, file in vari formati, etc.) in un particolare file detto feed Un server, ffserver, che a partire dal feed crea una o più stream in vari formati (asf, ram, mpg etc.) e li mette a disposizione su un socket TCP (porta 8090) È compilabile su varie piattaforme, inclusa Windows

53 Installazione di uno streaming server Scaricate i sorgenti compressi da e metteteli in /home/utente N.B. Prendete il file ffmpeg tar.gz perché nelle versioni successive sono state introdotte modifiche al modulo ffmpeg che rendono il server non funzionante se non con una videocamera Decomprimete e compilate il programma: tar zxf ffmpeg tar.gz cd ffmpeg /configure make make install (per questo bisogna essere root) cp doc/ffserver.conf /etc/ A questo punto, bisogna editare il file appena copiato, per inserire i parametri dei feed e delle stream da usare. Ci sono molti esempi ben commentati, e potete leggere anche la documentazione (/home/utente/ffmpeg 0.4.6/doc/ffmpeg doc.html, e altri)

54 Installazione di uno streaming server In particolare, dovete definire almeno un feed, ed almeno una stream (ci sono gli esempi pronti) Una volta finito e salvato il file, lanciate il server: ffserver & (così lo mandate in background) Poi lanciate l'encoder: a seconda del tipo di input le opzioni possono essere diverse, per prendere il feed da un file in formato mpg, supponendo che il feed sia stato chiamato per es.: /tmp/feed1.ffm, dobbiamo scrivere Ffmpeg -i nomedelfile.mpg A questo punto, con un browser o un client video sulla stessa macchina (o su un'altra compresa in quelle abilitate vedere le ACL nel file di configurazione) potete vedere il filmato (es.: in RealVideo):