Tecniche di Comunicazione Multimediale

Transcript

1 Tecniche di Comunicazione Multimediale

2 Compressione Audio e Video Outline Compressione Audio PCM,DPCM,ADPCM,MPEG-4 Audio Coder,DOlby Audio Coders Compressione Video Principi di compressione H.261,H.263,MPEG

3 Compressione Audio Per poter comprendere le tecniche di compressione audio è necessario analizzare le tecniche di digitalizzazione dei segnali stessi. Tale processo è noto con il nome di: Pulse Code Modulation PCM

4 Pulse Code Modulation PCM Bandlimiting rimuove alte frequenze S&H campiona e mantieni valore Quntizer converte ogni campione in valore binario Codeword risultato della quantizzazione

5 Pulse Code Modulation PCM Compressor- Expander Non si usa una quantizzazione lineare, ma intervalli minori vengono utilizzati per ampiezze minori e maggiori per quelle elevate. Eseguito mediante quello che viene definito companding

6 Pulse Code Modulation PCM (3) Prima del campionamento eseguito dall ADC il segnale viene compresso dal compressore che esegue una compressione in ampiezza

7 Differential Pulse Code Modulation Deriva dallo standard PCM e utilizza le seguenti caratteristiche: L intervallo delle differenze in ampiezza tra due campioni successivi del segnale audio è minore dell ampiezza attuale del segnale Possiamo codificare la differenza in ampiezza tra un campione ed il successivo: minore range da quantizzare ->minore numero di bit da associare ad ogni campione

8 Differential Pulse Code Modulation- Cod Tipicamente per segnali vocali il guadagno che si ottiene risulta essere di un solo bit portando quindi la banda utilizzata da 64kbps a 56kbps.

9 Differential Pulse Code Modulation -Dec Errori di quantizzazione e di registrazione vengono propagati in modo adittivo sul segnale di uscita ->Gli errori si accumulano.

10 Predictive DPCM Predizione del segnale precedente mediante combinazione lineare dei segnali antecedenti

11 Predictive DPCM C1=0.5 C2=C3=0.25 R1->1 bit R2,R3->2 bit DPCM=PCM-(R1+R2+R3)

12 Adaptive Differential PCM Ulteriore risparmio di banda o maggior qualità del segnale può essere ottenuta variando il numero di bit utilizzati per codificare la differenza in base all ampiezza del segnale Adaptive Differential PCM Si basa sulla stessa idea del DPCM tranne che: Si usano 8 predictor Si variano i bit per codificare ogni variazione ITU-T G.721

13 Subband coding Adaptive Differential PCM Estensione della banda da 3.4KHz a 7KHz Utile per videoconferenza ITU-T G.722

14 Adaptive Differential PCM

15 Adaptive Predicting Coding APC Ulteriore banda può essere risparmiata variando i coefficienti di predizione in modo adattivo. Adaptive Predicting Coding L insieme dei coefficienti ottimale varia continuamente in quanto funzione delle caratteristiche dell audio digitalizzato Frequenze che compongono il segnale attualmente digitalizzato

16 Linear Predictive Coding La sorgente analizza la forma d onda per determinare le caratteristiche in essa contenute. Queste vengono codificate e spedite al destinatario che le usa, assieme ad un sintetizzatore, per rigenerare l audio originale. Come individuare le caratteristiche percettive?

17 Linear Predictive Coding Pitch: legato alla frequenza del segnale -> orecchio molto sensibile alle frequenze 2-5KHz Periodo: durata del segnale Potenza: quantità di energia nel segnale Inoltre l origine del segnale è importante: Segnali Voiced:generati attraverso le corde vocali (m,v,l) Segnali Unvoiced:generati con le corde vocali aperte (f,s)

18 Linear Predictive Coding

19 Linear Predictive Coding

20 Codifica Percettiva I codificatori percettivi sono stati sviluppati per comprimere fonti audio generiche. Essi utilizzano dei modelli che vengono definiti MODELLI PSICOACUSTICI utilizzano le limitazioni dell orecchio umano per fornire la compressione. Solo ciò che l orecchio umano percepisce viene codificato e trasmesso.

21 Sensività Orecchio Umano Maschera in Frequenza: un segnale forte riduce il livello di sensività dell orecchio relativamente ai segnali vicini in frequenza Maschera temporale: quando l orecchio ascolta un suono forte prima di poter percepire un suono debole intercorre un periodo di tempo finito.

22 Maschera in Frequenza La maggior ampiezza del segnale B causa una distorsione della sensibilità che impedisce di percepire A Variabile con la frequenza Frequenze maggiori -> maggiori ampiezze delle curve

23 Maschera Temporale Da quando è terminata la trasmissione del segnale a quando l orecchio può recuperare la sua sensibilità intercorre del tempo. Segnali che hanno ampiezza inferiore del decadimento non vengono percepiti.

24 Codifica Audio MPEG Il Motion Picture Expert Group (MPEG) venne istituito dall ISO per formulare un insieme di standard per le applicazioni multimediali che coinvolgono video ed audio. La parte di codifica audio di questi standard sono conosciuti come MPEG audio coder

25 Codifica Audio MPEG

26 Decodifica Audio MPEG ISO Recommendation : Layer 1 Cassetta audio HI-FI 192kbps Layer 2 Audio digitale vicino a qualità CD 192kbps Layer 3 (MP3) CD-Audio 64kbps

27 Bit Allocation Accuratezza di quantizzazione può variare quindi il numero di bit associati ad ogni sottobanda è diverso e quindi spedito assieme ai campioni. Modello psico-acustico solo nel codificatore Spreco di banda per inviare informazioni sul bit allocation Forward adaptive bit allocation

28 Dolby Audio Coders -1 Stesso numero di bit utilizzati per ogni sottobanda: Determinati dalla caratteristiche dell orecchio umano Non serve includere info nel frame Sviluppato per trasmettere programmi FM su canali satellitari e fornire audio ai programmi televisivi

29 Dolby Audio Coders 2 Allocazione dinamica dei bit per ogni sottobanda. Per ridurre gli overhead si introduce il modello psicoacustico anche nel decodificatore. Necessita di una copia dei campioni delle sottobande: I coefficienti delle frequenze codificate vengono aggiunti ai campioni. Backward adaptative bit allocation mode Utilizzato dai PC per produrre HI-FI quality audio Difficile cambiare modello psicoacustico

30 Dolby Audio Coders 3 Per ridurre gli errori di quantizzazione al modello psicoacustico di tipo backward è associato un modello psicoacustico di tipo forward che mediante l allocazione dinamica codifica le differenze tra PMb e PMf. Utilizzato nell audio MPEG per l utilizzo nell HDTV

31 Compressione Video

32 Principi di Compressione Video Primo approccio: sequenza di JPEG-> MJPEG Rapporto compressione 1:10/1:20 Ridondanza spaziale ->Ridondanza Temporale : tra frame consecutivi solo piccole porzioni sono coinvolte dal movimento Spedire informazioni di tali movimenti -> Risparmio di banda Motion Estimation Motion Compensation

33 Tipi di Frame I-Frames: Intracoded frames, YCbCr, JPEG-> bassa compresisone. Uso limitato P-Frames: predictive frames, motion estimation/compensation, propagazione errore B-Frames: bidirectional frames ->interpolation frames N=dimensione del group of pictures GOP M= prediction span

34 Tipi di Frame P frames possono essere utilizzati efficientemente solo se il movimento è minimo. Videotelefonia ->OK Movies->NO OK Oltre al P-Frame si utilizza il B-Frame il cui contenuto sono stimati utilizzando sia frame passati che futuri B-Frame coinvolgono I,P frame precedente, frame corrente, I,P frame successivi No propagazione errore

35 Decodifica Frames Per decodificare un I-frame non servono ulteriori informazioni. Per decodificare un P-frame serve l I-Frame precedente Per decodificare un B frame serve I/P frame precedente e quello successivo IBBPBBPBBI IPBBPBBIBB

36 Tipi di Frame Non rappresenta un nuovo tipo di frame ma la codifica di due P e B frame come se fossero un frame unico. D- Frame : Frame ad alto livello di compressione Ignorati da P e B frames Utili per streaming

37 Stima del Movimento- Struttura

38 Stima del Movimento - Procedura Area di ricerca non definita ma solo come il risultato della ricerca deve essere codificato.

39 Compensazione del Movimento Terminata la ricerca del macroblocco con il miglior match due parametri sono considerati: Motion Vector Differenza di posizione tra i due blocchi Prediction Error differenze tra il macroblocco del target frame e dei pixel appartenti al blocco che ha ritornato un match (Matrice delle differenze)

40 Compensazione del Movimento Determinare le differenze intercorse tra due frame consecutivi e codificarle

41 Procedura di codifica B-Frame

42 Schema di Codifica La codifica degli I-frame è la stessa della codifica JPEG La codifica dei P-Frames dipende dal modulo di stima del movimento che dipende dal contenuto del macroblocco corrente e di quello che ha dato il match: Sono uguali->solo l indirizzo è codificato Simili-> motion vector, matrice delle differenze No match ->codifica del blocco mediante JPEG

43 Schema di Codifica

44 Schema di Codifica

45 Formato Bitstream Per ogni macroblocco è necessario decidere il tipo di codifica da utilizzare. Ruolo svolto dal FORMATTER. Type: I,P,B Address: Indirizzo Macroblocco QV: soglia di quantizzazione utilizzata dalla DCT BP: quale macroblocco è presente Dimensione dell output dell encoder varia in base al tipo di video in input I 20:1 P 30:1 B50:1

46 H.261 Ideato dalla ITU-T per la e videoconferenza su ISDN Formati di digitalizzazione QCIF e CIF sono utilizzati per la videotelefonia e la videoconferenza rispettivamente. CIF: Y=352x288 Cb=Cr=176x144 QCIF: Y=176x144 Cb=Cr=88x72 Solo I e P frames

47 H.261 Macroblock format Frame format

48 Group of Objects

49 Schema di codifica H.261 Bit rate variabile Bit rate costante

50 H.263 Ideato dalla ITU-T per la e videoconferenza, videotelefonia, videosorveglianza su WI-FI e PSTN Formati di digitalizzazione QCIF e S-QCIF sono utilizzati per la videotelefonia e la videoconferenza rispettivamente. QCIF: Y=176x144 Cb=Cr=88x72 S-QCIF: Y=128x96 Cb=Cr=64x68 Si utilizzano I,P e B frame e P-B frames sono codificati come unica entità per ridurre overhead

51 Recupero dall errore PSTN,WI-FI->perdita di pacchetti Si può determinare il GOB contente MB contenenti errori, non è possibile individuare i singoli MB. Errori avvenuti in un GOB si propagano nei sucessivi Tre metodi vengono utilizzati: Error Tracking, independent segment decoding e reference picture selection

52 Error Tracking Comunicazione a due vie viene utilizzata per informare il codificatore di un avvenuto errore: Motion vector fuori range Codewords non valide Coefficienti DCT non validi Troppi coefficiente in un macroblocco

53 Independent Segment Decoding Cerca di prevenire la propagazione gli errori che intervengono all interno del GOB Codifica indipendente dei GOB Limitazione del metodo di motion estimation/compensation Solo il GOB corrotto rimane affetto dall errore

54 Independent Segment Decoding Il metodo viene utilizzato in concomitanza con il tracking error. Forti limitazioni dell efficienza del metodo di motion detection per quanto riguarda il movimento verticale dato che è limitato all interno del GOB

55 Reference Picture Selection Schema molto simile al tracking error Azioni vengono prese in conseguenza dei messaggi di acknolegment degli errori Si blocca la propagazione dell errore ai GOB successivi Due Modalità: NAK-Mode ACK-Mode

56 Vengono segnalati GOB errati NACK-MODE Il GOB errato viene ricodificato mediante l ultimo I-frame che sicuramente il decoder ha disponibile

57 ACK-MODE Tutti i frame ricevuti correttamente generano un Acknowledge verso il decoder. Solo i frame acknowledged vengono utilizzati per codificare

58 Codifica MPEG Il Motion Pictures Expert Group (MPEG) venne creato dall ISO per formulare un insieme di formati standard per le applicazioni multimediali che facessero uso di audio e video. Vennero definiti tre standard ognuno destinato ad un uso applicativo specifico. Mpeg-1 Mpeg-2 Mpeg-4

59 Codifica MPEG MPEG-1 : risoluzione video SIF (352x288). Utilizzato per la memorizzazione su CD-ROM di audio e video di qualità VHS. Bitrate <1.5MBps MPEG-2: quattro livelli di risoluzione Bassa -> SIF con Bitrate <4Mbps Principale -> 4:2:0 (720x576) audio di qualità CD, Bitrate <15Mbps Alta >4:2:0 (1440x1152) utilizzato per HDTV, Bitrate <60Mbps Alta ->4:2:0 (1920x1152) utilizzato per HDTV WS, Bitrate <80Mbps MPEG-4 :Inizialmente studiato per gli stessi utilizzi del h.263 (4.8-64kbps) MPEG-7: Sviluppato per descrivere la struttura e le caratteristiche di contenuto delle informazioni multimediali e quindi utilizzato a scopi di annotazione semantica

60 Video MPEG-1 Tecnica di compressione video simile a H.261 Suddivisione in macroblocchi 16x16 -> la risoluzione orizzontale portata da 360 a 352 pixel (16x22=352) Dato il sottocampionamento delle componenti cromatiche le risoluzioni spaziali sono: NTSC Y= 352x240 Cb=Cr=176x120 PAL Y=352x288 Cb=Cr=176x144

61 Video MPEG-1 Si possono utilizzare schemi che considerano le seguenti combinazioni: I-Frame I- e P-Frame I-,P- e B-Frame I D-Frame non sono supportati->i-frame vengono utilizzati per effettuare la ricerca all interno del flusso. Il tempo di latenza->massima separazione I-frame (Group of Pictures)

62 Video MPEG-1 L algoritmo di compressione è basato su H.261: Macroblocchi 16x16 Y Macroblocchi 8x8 CbCr Time-Stamps: consentono al decodificatore di sincronizzare il flusso in caso di perdita od errori nei macroblocchi. Slice Numero di macroblocchi tra due time-stamps (tipicamente una linea) Area di ricerca: dato l uso dei B-Frames tale area viene allargata. Rapporto di Compressione: I-Frame 10:1 P-Frame 20:1 B-Frame 50:1

63 Video MPEG-1 Struttura gerarchica del bitstream

64 Formato bitstream: Video MPEG-1 Slice-> simile al GOB del H.261

65 Video MPEG-2 Ai quattro livelli supportati si aggiungono cinque profili associabili ad ogni livello: Semplice Principale Risoluzione Spaziale Accuratezza di quantizzazione Alta Data la compatibilità con MPEG-1 è sufficiente trattare il Main Profile at Main Level

66 Sviluppato per il broadcast della televisione digitale. Schema di codifica simile a MPEG-1 con la differenza dell utilizzo di una scansione interlacciata piuttosto che progressiva

67 Filed Mode

68 Frame Mode

69 MPEG-4 Lo standard incorpora caratteristiche che consentono molto più che semplicemente accedere alla sequenza video (start, stop, pausa, ecc ). Consentono di accedere e manipolare individualmente gli elementi componenti ogni singola scena. Cartone animato può essere manipolato dall utente. Utilizzabile in canali a basso bitrate (concorrente h.263)

70 MPEG-4 La principale differenza tra MPEG-4 e gli standard presentati precedentemente è che: MPEG-4 ha funzionalità basate su contenuto Prima della compressione ogni scena viene definita nella forma: Background (sfondo) Foreground (insieme di Audio-Visual Objects AVOs)

71 MPEG-4 AVOs Ogni AVO è definito mediante uno o più oggetti video e/o oggetti audio. Video Object Video Object Audio Object

72 MPEG-4 Ogni oggetto possiede un descrittore che ne consente la sua manipolazione La composizione delle scena mediante AVO viene descritta mediante un descrittore di scena

73 MPEG-4-Architettura

74 MPEG-4 VOP Encoder

75 MPEG-4 4 Decoder

76 MPEG-4 recupero da errori MPEG-4 possiede delle tecniche per il recupero da errori di trasmissione: Pacchetti di lunghezza fissa invece dei GOBs Schema di codifica a lunghezza variabile (VLC)

77 MPEG-4 Codifica

78 MPEG-4 4 RVLC