Valutazione della qualità percepita di un flusso multimediale in reti eterogenee

Transcript

1 Facoltà di Ingegneria Corso di Studi in Ingegneria Informatica tesi di laurea specialistica Valutazione della qualità percepita di un flusso multimediale in reti eterogenee Anno Accademico relatore Ch.mo prof. Domenico Cotroneo correlatore Ing. Generoso Paolillo candidato Giovanni Ricco matr. 885/75 I

2 [Dedica] II

3 Indice Introduzione... 5 Capitolo Valutazione della qualità video Stato dell arte sui metodi per la valutazione della qualità video Metriche soggettive Metriche oggettive Obiettivi del presente lavoro di tesi Capitolo Approccio sperimentale proposto Approccio sperimentale alla valutazione della qualità video Ipotesi di lavoro Modello di qualità video Pianificazione degli esperimenti Finalità della metrica proposta Metriche oggettive: Related work Capitolo Un caso di studio Caratterizzazione Sequenze video di test (SRC) Hypothetical Reference Circuits (HRC) Modello di regressione Capitolo Analisi sperimentale dell indice di qualità video Procedura sperimentale di estrazione dell indice di qualità video Procedura di misurazione Testbed Receiver Meter Nistnet Metrica FR Procedura di allineamento dei Video Sequence Analisi del problema Metrica utilizzata: PSNR Soluzione Proposta Validazione dell algoritmo Indice sperimentale

4 Capitolo Validazione della metrica per la valutazione della qualità Metriche per la valutazione delle performance Accuratezza della predizione Monotonicità della predizione Consistenza della predizione Metriche per la caratterizzazione delle sequenze video Spatial Perceptual Information Temporal Perceptual Information Risultati Selezione dei video sorgente Valutazione delle performance della metrica Conclusioni Appendice A Delay Meter Indice delle Figure Bibliografia

5 Introduzione L avanzamento tecnologico delle reti di comunicazione e dei sistemi di elaborazione informatici avvenuto negli ultimi anni ha reso possibile lo sviluppo di applicazioni multimediali distribuite in grado di supportare informazioni di natura estremamente eterogenea. Con l andar del tempo è cresciuta la domanda di applicazioni real-time, come VoIP e videoconferenza, che potessero sfruttare la popolarità e il basso costo della rete IP. La nuova frontiera in questo settore è rappresentata dallo sviluppo di applicazioni critiche, come quelle di tele-medicina, video-sorveglianza e tele-controllo, basate su IP, che richiedono non solo la garanzia di un trasporto in tempo reale delle informazioni (testo, audio e/o video), ma anche garanzie di natura diversa, in termini di affidabilità e qualità del servizio. A queste si aggiungono applicazioni come la IP-TV il cui target è prevalentemente quello commerciale ma non per questo di minore importanza: sempre più spesso le compagnie di telecomunicazione vendono servizi internet ai propri utenti con la promessa di parametri di servizio superiori a quelli forniti da altri provider. Da qui l esigenza di metriche oggettive per la valutazione della qualità video al fine di: - misurare le performance di questi sistemi; - avere specifiche dei requisiti richiesti per garantire performance elevate; - confrontare i servizi offerti; - ottimizzare l utilizzo delle risorse di rete limitate, come la banda trasmissiva. Con l avvento del digital video sono nate delle limitazioni in relazione alle tecniche e metodologie 5

6 che erano tradizionalmente utilizzate per la misura delle performance del video analogico. Infatti parametri quali guadagno differenziale, distorsione a breve termine di forma d'onda, etc. sono stati utilizzati per molti anni e, anche se ancora validi, non sono più sufficienti per la valutazione della qualità di un video digitale che risulta di più difficile valutazione. Le applicazioni multimediali in ambiente distribuito sono soggette ai forti limiti dovuti alla caratteristica principale di best-effort relativa al protocollo IP su cui si basa Internet. Tali applicazioni sono altamente sensibili al ritardo end-to-end e alle variazioni del ritardo che provocano effetti indesiderati sulla qualità del servizio. Un sistema di trasmissione video può lavorare bene in video-conferenza ma potrebbe essere inadeguato per la televisione di intrattenimento (high quality); inoltre, sulla qualità del sistema di trasmissione digitale incidono tanti parametri legati alla rete di comunicazione quali bit-rate, error rate, dropped packet rate, jitter che sono variabili nel tempo e possono provocare fluttuazioni nella qualità prodotta. I sistemi digitali, inoltre, hanno introdotto nuovi artefatti legati alla qualità video quali tiling, error blocks, smearing, jerkiness, edge business, object retention. Questo lavoro di tesi è incentrato sulla valutazione oggettiva della qualità video percepita in applicazioni video distribuite e si inserisce in un progetto più ampio di un architettura adattiva per la trasmissione di video in multicast su LAN o Internet. In particolare esso mira all identificazione di una metrica no reference basata sull analisi dei parametri della rete. Nei capitoli seguenti, dopo la presentazione delle varie metodologie di valutazione della qualità video, viene riportato l approccio sperimentale proposto e la procedura di estrazione della metrica NR nonché la descrizione del testbed utilizzato e la fase di validazione dell indice di qualità. 6

7 Capitolo 1 Valutazione della qualità video I video digitali distribuiti attraverso le reti di comunicazione sono soggetti a diversi tipi di distorsione durante l acquisizione, la compressione, l elaborazione, la trasmissione, la decodifica e la riproduzione. Tali passaggi provocano una degradazione della qualità del video a vantaggio di una maggiore efficienza ed efficacia del servizio multimediale. Ad esempio, la compressione è utilizzata per ridurre la banda necessaria per trasmettere i dati del video ma provoca perdite dovute al campionamento ed alla quantizzazione; il sistema di trasmissione può provocare perdite di pacchetti dati per cause dovute a rumore oppure alle code all interno dei router delle reti a commutazione di pacchetto. Per un sistema multimediale avere una stima della degradazione della qualità video in modo tale da mantenere, controllare e possibilmente migliorare tale qualità risulta quindi molto importante. A tal proposito è essenziale utilizzare una metrica per la valutazione della qualità video. 1.1 Stato dell arte sui metodi per la valutazione della qualità video In base alle ricerche effettuate nel campo della valutazione della qualità video percepita dagli enduser è possibile effettuare una serie di classificazioni prendendo in considerazione diversi parametri. Basandosi sulla presenza o meno di un giudizio umano sono individuabili le seguenti metriche: Oggettive : mirano a stimare matematicamente l impairment introdotto nel video; (1 p. 7

8 ) Soggettive: sono basate sul giudizio umano di osservatori specializzati. Un altra classificazione (2) è fatta in base all esistenza del video originale e distingue tre approcci: full reference (FR): basato sul confronto di immagini quando la sorgente (reference) è completamente disponibile per la valutazione; fornisce risultati molto accurati ma non è sempre applicabile; indipendente dal contenuto delle scene e dalla tecnologia utilizzata; reduced reference (RR): si basa sulle caratteristiche (parametri) estratte dal flusso video sorgente e destinazione; quindi si hanno a disposizione soltanto alcuni parametri sulla sorgente per effettuare il confronto con la sequenza ricevuta; no reference (NR): è utile per le applicazioni in-service (sequenza non disponibile all atto della valutazione) poiché non prevede la conoscenza della sorgente Metriche soggettive Le metriche soggettive sono basate sull utilizzo di un giudizio umano da parte di osservatori specializzati nella valutazione della qualità video. Tali metriche sono state utilizzate per molti anni e continuano ad essere utilizzate anche oggi. Raccomandazioni internazionali come la ITU-R BT (3), hanno definito un insieme di test e metodologie per assistere le varie fasi della valutazione soggettiva dalla preparazione dei viewers alla formalizzazione dei risultati ottenuti. I metodi di test sono : SSCQE (Single Stimulus Continuos Quality Scale) DSIS (Double Stimulus Impairment Scale) DSCQS (Double Stimulus Continuos Quality Scale) Nel SSCQE una serie di videoclip è presentata per una volta allo spettatore. Tali videoclip possono contenere o meno impairment e le persone valutano la qualità istantanea del videoclip tramite uno slider messo a loro disposizione con una scala continua che va da 0 (qualità pessima) a 1 (qualità ottima). La SSCQE produce, quindi, la valutazione della qualità ad intervalli regolari di tempo e può così catturare la variazione di qualità percepita nel tempo. Le valutazioni sono assolute nel senso che allo spettatore non sono mostrati esplicitamente i video clip di riferimento. Questo corrisponde all effettiva situazione di una visione a casa, dove il video di riferimento non è 8

9 disponibile all utente. Nel Double Stimulus, lo spettatore valuta la qualità o il cambiamento della stessa tra due flussi video, quello impaired e quello di riferimento. Nel DSIS, in particolare, sono mostrate coppie di videoclip in sequenza che rappresentano il video di riferimento e quello impaired, entrambi sono molto brevi (circa 8 secondi). Lo spettatore valuta l ammontare dell impairment che fa riferimento alla singola coppia mostrata, in un breve intervallo di tempo. La scala di valutazione è discreta ed è su 5 livelli che vanno da 5 Imperceptible 4 Perceptible, but not annoying 3 Slightly annoying 2 Annoying 1 Very annoying La figura seguente mostra la sequenza per la presentazione dei video originale ed impaired nel DSIS. In particolare si può notare che viene proiettato prima il video di riferimento e poi quello impaired. Figura 1: Sequenza per la presentazione del video originale ed impaired nel DSIS Quindi con il metodo DSIS lo spettatore fa una valutazione della degradazione del video rispetto al video di riferimento. Il compito di valutare un video impaired avendo a disposizione quello di riferimento risulta un compito più facile rispetto a quello di valutare il video in modo assoluto come accadeva nell SSCQE. Il metodo DSCQS è invece preferito quando non c è molta differenza di qualità tra due videoclip, esso è stato ampiamente applicato per valutare sequenze della TV di alta qualità. Il modo in cui le sequenze sono presentate è simile al DSIS. 9

10 Figura 2: Sequenza per la presentazione del video originale ed impaired nel DSCQS Come si può vedere dalla figura il campione è mandato in esecuzione in due identiche coppie; l ordine della prima coppia è pseudo-random ed è preservato nella seconda coppia. Come si nota dalla figura, alla fine delle due coppie di video, le persone hanno tempo per votare la qualità di entrambi i videoclip usando una scala graduata. Essi sono chiamati a completare la votazione prima della fine di un periodo di grigio (10 sec) tra una coppia di sequenze e la successiva. Ai fini della valutazione il DSCQS presenta due identiche scale graduate le quali sono divise in 5 intervalli che presentano i seguenti 5 giudizi dall alto al basso: Excellent, Good, Fair, Poor and Bad. (Si noti che i giudizi sono scritti nella lingua di origine dello spettatore che esegue il test). Le scale, relative alla sequenza sorgente ed elaborata, sono posizionate in coppia per facilitare la valutazione. Lo spettatore registra la valutazione della qualità totale del videoclip di riferimento e di quello impaired con l uso di penna e carta o con un dispositivo elettronico come uno slider. Il punteggio è rimarcato su una scala verticale che fornisce un sistema di valutazione continuo per evitare errori di quantizzazione. Tipicamente dopo il test il punteggio è convertito da una misura di lunghezza ad uno score normalizzato nel range da 0 a 100. Successivamente, viene calcolata la differenza tra il videoclip di riferimento e quello impaired. Infine c è la raccolta di tutti i dati prodotti da tutti gli spettatori e per tutte le sequenze, per trarre valutazioni di tipo statistico sulla qualità dei video presentati. Le raccomandazioni internazionali ITU-R BT includono specificazioni per come eseguire molti differenti tipi di test soggettivi. In aggiunta al fatto che ci sono modi differenti di visualizzazione delle sequenze video, i test di tipo soggettivo hanno anche differenti scale di valutazione, differenti parole associate con queste scale, e molte altre variabili test che cambiano da un laboratorio ad un altro (ad esempio spettatori competenti, differenti culture, differenti ambienti 10

11 di test) Metriche oggettive Come si può intuire i metodi soggettivi sono complessi e richiedono costi elevati, in termini economici e di tempo, per arrivare a risultati soddisfacenti. Allora per risolvere i problemi esposti si è ritenuto necessario sviluppare metriche oggettive che automatizzino la procedura e riducano i costi legati a quelle soggettive. Le metriche oggettive hanno lo scopo di determinare la qualità di un video in assenza dell intervento (visione) da parte dell uomo; tali metriche possono essere utilizzate in modalità out of service (quando la sequenza è disponibile pienamente all atto della valutazione e non ci sono vincoli di tempo stringenti) oppure in-service (quando la sequenza è in streaming, cioè sta scorrendo e ci sono limiti di tempo stringenti). (3) Queste metriche sono state inizialmente applicate alle immagini ed in secondo momento alle sequenze video, semplicemente applicando la metrica ad ogni frame della sequenza. Il modello oggettivo può essere sintetizzato come in figura. In essa si può osservare che i video, originale ed impaired, sono confrontati attraverso un algoritmo il quale ritorna una stima della distorsione subita. Figura 3: Schema sintetico di una metrica oggettiva per la valutazione della qualità video percepita Bisogna dire che il sistema di valutazione oggettiva per essere consistente deve trovare riscontro, cioè deve essere correlato, con i risultati soggettivi in modo tale da effettuare un mapping dei risultati oggettivi su quelli soggettivi. In letteratura le metriche oggettive sono suddivise in base allo strumento utilizzato per la valutazione della qualità basato su: Formule matematiche: SNR, PSNR, RMSE; 11

12 Modelli complessi del sistema visivo umano: PQR, DVQ, KDD, VQM, PVQM, PDM, MPQM, MPQM(Q). RMSE: ( Root Mean Square Error ) Tale parametro calcola la differenza tra due immagini. Può essere applicato ad un video digitale facendo una media dei risultati per ogni frame. f è la frame originale ed f è quella elaborata. N,M sono le dimensioni dell immagine. SNR: ( Signal to NoiseRatio) è il rapporto segnale rumore. PSNR: ( Peak Signal to NoiseRatio) Il PSNR è un parametro per misurare la qualità della codifica, infatti, dipende dalla differenza tra l immagine codificata e quella originale, misurata con l RMSE. Si tratta di una misura di qualità statica e viene calcolata mediante le seguente formula: Le metriche oggettive basate su formule matematiche hanno la caratteristiche di essere facilmente utilizzabili ma, poiché non trovano sempre riscontro con le valutazioni soggettive, possono produrre risultati inconsistenti con sequenze di immagini con differente complessità spaziale e temporale. Bisogna dire, però, che il PSNR è stato rivalutato nel confronto con le altre metriche oggettive in base ai risultati ottenuti dal VQEG (Video Quality Expert Group). Per i motivi appena esposti è stata necessaria l introduzione di metriche oggettive basate sul sistema visivo umano (HVS). Nel seguito verranno descritte le principali metriche. 12

13 Metrica PQR: La metrica PQR (4) rientra tra le metriche Picture Comparison quindi per effettuare la valutazione c è bisogno dell intera disponibilità della sorgente. E basata sull algoritmo (proprietario) JNDmetrix prodotto dalla Sarnoff Corporation per il calcolo delle mappe PQR e l estrazione di parametri per il confronto. La figura aiuta a capire la struttura utilizzata: L algoritmo JDNmetrix utilizza il modello HVS Sarnoff/Tektronix; per descriverlo utilizziamo il Figura 4: Algoritmo JNDmetrix (Sarnoff Corporation) per il calcolo delle mappe PQR e l estrazione di parametri per il confronto seguente diagramma di flusso: Figura 5: Modello HVS Sarnoff/Tektronix Il metodo PQR richiede una procedura di normalizzazione sul video processato prima di effettuare il confronto tra le sequenze. 13

14 Figura 6: Procedura di normalizzazione nel metodo PQR La normalizzazione serve ad eliminare i cambiamenti tempo invarianti tra i 2 video prima della valutazione col sistema HVS. I parametri aggiustati dal processo di normalizzazione sono: - spostamenti orizzontali e verticali dell immagine se rilevanti; - cambiamenti di guadagno di colore e luminescenza; - cambiamenti della componente continua (DC) della luminosità e del colore; Questi cambiamenti devono essere rimossi per fornire un accurato confronto ma bisogna anche dire che soltanto i cambiamenti tempo invarianti statici sono rimossi. E possibile definire una relazione generale tra i valori PQR e le scale di valutazione soggettiva come mostrato in figura. Figura 7: Corrisponza valori scala PQR- DSCQS Come si può osservare esistono delle relazioni tra le scale soggettive e quella oggettiva. Un DSCQS uguale a 0 indica che i danni non sono visibili e corrisponde al valore 5 nella scala degli impairment e al range 3-5 in quella oggettiva. Un valore a 100 di DSCQ rappresenta, invece, la presenza di grandi difetti (il max) e corrisponde al 14

15 valore 1 nella scala dei danni e al range in quella oggettiva. Metrica DVQ: DVQ (Digital Video Quality) (5 p ) è una metrica per la valutazione della qualità video digitale che è stata sviluppata per incorporare modelli matematici del processo di visualizzazione umano senza oneri computazionali eccessivi. DVQ incorpora aspetti primari del processo di visualizzazione delle immagini, incluso l adattamento al cambiamento di brightness nei canali di luminanza e crominanza, filtraggio spaziale e temporale. Molti proponenti usano complesse e dispendiose (in termini computazionali) operazioni di filtraggio spaziale che implementano filtri multipli passabanda spaziali, tipici della visione umana. Ecco un diagramma a blocchi che ne descrive il funzionamento: Figura 8: Diagramma a blocchi relativo alla metrica DVQ Nel DVQ, il filtraggio spaziale è accelerato dall uso della trasformata discreta del coseno (DCT). Questo ultimo rappresenta un vantaggio notevole, sia perché sono disponibili efficienti metodi hardware e software per la computazione della DCT ed anche perché essa potrebbe essere già disponibile per l esecuzione di algoritmi di compressione video. Metrica VQM La metrica VQM (Video Quality Metric) è una metrica sviluppata dalla NTIA/ITS che fa parte del dipartimento del commercio degli U.S. Gli algoritmi di misurazione della qualità oggettiva implementati con VQM, forniscono approssimazioni vicine ai valori forniti dalle metriche soggettive. 15

16 Nella figura seguente è mostrata una visione d insieme dell intero procedimento per l elaborazione di VQM. Figura 9: Diagramma a blocchi relativo al funzionamento delle metrica VQM Come si può notare entrambi i video originale ed impaired (in figura detto Processed) sono soggetti ad una serie di passaggi attraverso diversi blocchi funzionali che permettono il campionamento, la calibrazione, l estrazione delle caratteristiche di qualità percepita, il calcolo dei parametri di qualità, ed infine il calcolo del punteggio VQM. Tale metrica rileva i cambiamenti di qualità dovuti alle distorsioni di ogni componente del sistema di trasmissione video digitale (ad esempio encoder, errori del canale digitale, decoder). L analisi per la determinazione delle probabili cause di degradazione della qualità è condotta utilizzando dei modelli per l RCA (Root Cause Analysis). (6) L RCA elenca delle percentuali per i diversi possibili impairment: jerky motion, blurring, ed error blocks (rispettivamente movimento a scatti, offuscamento e distorsione a blocchi). Il 100% indica che tutti gli spettatori percepiscono tale impairment come causa principale della totale distorsione, il 50% indica che gli spettatori percepiscono tale impairment come causa secondaria della totale distorsione e 0% indica che l impairment relativo non è percepito. VQM effettua il campionamento del video analogico in accordo alle raccomandazioni ITU-R BT.601 (7). Il campionamento Rec.601 è comunemente conosciuto come un 4:2:2 poiché le componenti di cromninanza CB e CR sono campionate ad una frequenza pari alla metà di quella Y di luminanza. Il video campionato viene memorizzato secondo un formato YUV dove Y denota la 16

17 componente di luminanza ed U e V rispettivamente le componenti CB e CR di crominanza. La calibrazione, preliminare all estrazione delle caratteristiche di qualità del video, consiste in 4 passi: 1. Registrazione spaziale, stima e correzione 2. Stima della regione valida 3. Stima del contrast e brightness (gain e level offset) e correzione 4. Registrazione temporale, stima e correzione La registrazione spaziale è usata per determinare gli spostamenti spaziali in verticale ed orizzontale del video processed rispetto a quello originale. La stima della regione valida viene eseguita per limitare l estrazione delle caratteristiche ai pixels che contengono l informazione della frame. Inoltre si determina la PVR (Processed Valid Region) cioè la regione non interessata da spostamenti spaziali e verticali. La PVR è quindi sempre contenuta nella OVR (Original Valid Region) che ci da la dimensione dell intera frame originale prima dell elaborazione. Alcuni sistemi video impongono un guadagno gain diverso da 1 ed un level offset diverso da 0. Per cui c è bisogno di una correzione per poter paragonare i due filmati. Il gain della luminanza è quello che sul televisore è anche detto contrast ed il level offset della luminanza è anche detto brightness. Si noti che il software VQM stima gain ed offset level per tutte e tre le componenti del segnale video utilizzato (luminanzay, Crominanze U e V) ma effettua la correzione del gain e level offset della sola componente Y. La registrazione temporale è usata per stimare e correggere shift temporali (cioè video delay) della sequenza video processed rispetto alla sequenza video originale. Specificamente, il software VQM determina l intervallo all interno del video processed che meglio si allinea temporalmente al corrispondente intervallo del video originale. Una volta fatta la calibrazione si passa all estrazione delle caratteristiche di qualità e cioè la quantità di informazione associata con, o estratta da, una sottoregione spatial-temporal (S-T). Le caratteristiche dello stream che sono prodotte, sono una funzione dello spazio e del tempo. Dalla comparazione delle caratteristiche estratte dal video processed calibrato con le caratteristiche 17

18 estratte dal video originale calibrato, possono essere elaborati un insieme di parametri di qualità che sono indicativi dei cambiamenti percepibili nella qualità video. Un insieme di parametri di qualità caratterizzano i cambiamenti percepibili nello spazio, nel tempo e nei colori del video stream. Normalmente un filtro percettivo è applicato al video stream per aumentare alcune proprietà della qualità video percepita, come l edge information. Dopo questo filtraggio percettivo, le caratteristiche sono estratte dalle sotto regioni (S-T) usando una funzione matematica (ad esempio la deviazione standard). Infine una soglia di percezione è applicata alle caratteristiche estratte. Le regioni S-T sono posizionate per dividere il video streams dentro regioni S-T confinanti. Poiché il video processed è stato calibrato, per ogni regione S-T processed esiste una regione originale S-T che corrisponde all identica spaziale e temporale posizione all interno del video stream. Le caratteristiche sono estratte da ogni S-T region. Ogni S-T region descrive un blocco di pixels. Le dimensioni dell S-T region sono descritte da: il numero di pixels orizzontali; il numero di linee della frame verticali; il numero di video frames appartenenti alla regione. Da queste sottoregioni vengono estratte le caratteristiche di qualità e vengono calcolati i parametri di qualità che infine portano allo score di VQM. Nella figura in basso abbiamo una regione S-T fatta da 8 pixels orizzontali 8 linee verticali 6 video frames. Dunque, per un flusso video a 30 fps, questa regione è pari ad 1/5 di un secondo e contiene 384 pixels. Alcuni studi hanno mostrato che scegliere una regione S-T così fatta, porta ad una più stretta correlazione con l indice di qualità soggettiva. La correlazione decresce lentamente man mano che ci allontaniamo da queste dimensioni della regione S-T. (8) 18

19 Figura 10: Regione S-T costituita da 8 pixels orizzontali 8 linee verticali 6 video frames Metrica MPQM La metrica MPQM (9 p ) è basata sulla conoscenza del sistema visivo umano. I passi utilizzati da tale metrica per arrivare ad un giudizio della qualità di un video impaired con un corrispondente originale sono i seguenti: innanzitutto, c è bisogno di una prima fase di segmentazione della sequenza originale. La sequenza originale e quella processata sono decomposte nelle componenti percettive da un banco di filtri. La sensitività di contrasto e la maschera sono portate in ognuno dei canali, come in figura. Questo è fatto calcolando pixel per pixel le soglie e considerando che la sequenza originale sarà una maschera alla distorsione. La Figura 11: Diagramma a blocchi relativo alla metrica MPQM strategia della maschera consisterà, poi, nel dividere il segnale di errore filtrato dalla soglia di rilevazione. Questo risultato esprimerà la just noticeable differences, cioè le differenze appena notevoli che rappresentano parametri per la valutazione. Infine i dati sono caricati sui canali al fine di misurare la distorsione tra le due sequenze in ingresso. 19

20 Bisogna dire, però, che gli osservatori umani non osservano nello stesso modo le diverse regioni di una figura; questo comportamento è dovuto all attenzione e alla distanza. Per prendere in conto tutto questo è stata sviluppata una metrica globale calcolata sui blocchi della sequenza. In questo modo ogni blocco è considerato tridimensionalmente e le dimensioni considerate sono le seguenti: dimensione temporale: per tenere in conto la persistenza dell immagine sulla retina; dimensione spaziale per considerare caratteristiche relative all attenzione. Nella metrica MPQM (moving pictures quality metric) la misura della distorsione è effettuata per ogni blocco su ogni canale dal pooling. 1.2 Obiettivi del presente lavoro di tesi Questo lavoro di tesi è incentrato sulla valutazione oggettiva della qualità video percepita in applicazioni video distribuite e si inserisce in un progetto più ampio di un architettura adattativa per la trasmissione di video in multicast su LAN o Internet. In particolare esso mira all identificazione di una metrica no reference basata sull analisi dei parametri della rete. Nello specifico, lo scopo di tale lavoro è quello di proporre un approccio empirico generale che consente di definire un indicatore in-service della qualità video percepita. Fissate le caratteristiche della specifica applicazione che si intende monitorare, l indicatore permette di catturare la relazione esistente tra parametri di rete e qualità video percepita. Dunque, una volta che l indicatore viene calibrato con una apposita procedura di tuning, esso può essere utilizzato per la stima della qualità percepita istante per istante. La metrica proposta può essere considerata una metrica oggettiva No-Reference perché la stima della qualità video è effettuata solo sulla base di misure relative all end-system e senza il video sorgente. In particolare, a differenza di altre metriche NR che utilizzano complesse elaborazioni sulla sequenza video decodificata, la metrica presentata utilizza esclusivamente misure relative alla trasmissione del flusso video codificato. Tale caratteristica la rende leggera a sufficienza da poterla applicare alla stima della qualità in applicazioni real time. Malgrado la sua semplicità, la metrica fornisce risultati confrontabili a quelli restituiti da ben più complesse metriche oggettive di tipo RR 20

21 o FR. Una metrica con tali caratteristiche può essere un valido supporto per provider di servizi internet che sempre più spesso propongono ai propri clienti servizi multimediali a pagamento: video on demand concerti live eventi sportivi IPTV Allo stesso tempo, sia il fornitore che il fruitore si pongono una lecita domanda: Con quale qualità sto usufruendo di un tale servizio a pagamento? La qualità che sto sperimentando è quella specificata nel contratto di acquisto? In che modo posso valutare che il mio cliente sta sperimentando una cattiva qualità del servizio e quindi è necessario operare azioni correttive? Avere a disposizione un sistema che consente di monitorare la qualità del servizio senza installare apparati aggiuntivi presso il cliente; ad un costo computazionale contenuto misurando le condizioni della rete relativa alla trasmissione, presenta quindi innumerevoli vantaggi. Di fatto, poiché il problema non è banale, si è soliti adottare un approccio di tipo over provisioning. In altre parole si allocano più risorse di quelle strettamente necessarie sostenendo elevati costi. Inoltre questa soluzione non è sempre possibile. È sufficiente pensare ad internet che è una rete di tipo best-effort e che quindi non offre nessuna garanzia di QoS. 21

22 Capitolo 2 Approccio sperimentale proposto Nel seguente capitolo verrà illustrato l approccio sperimentale utilizzato e in particolare le assunzioni, la strategia utilizzata per condurre gli esperimenti e il modello di qualità adottato. Segue la presentazione di alcune metriche NR di interesse e un confronto critico con la metrica proposta. 2.1 Approccio sperimentale alla valutazione della qualità video L obiettivo dell approccio proposto è quello di caratterizzare l impatto dei parametri di rete quali packet loss ratio, delay, jitter, sulla qualità del flusso video decodificato per i sistemi che utilizzano la compressione video su rete IP per la trasmissione di contenuti multimediali. A tal proposito, l approccio descritto nel presente lavoro consente di estrarre una metrica empirica oggettiva per la valutazione della qualità video che consente di quantificare, attraverso il monitoring delle sole condizioni di rete, la degradazione della qualità video percepita senza informazioni sulla sequenza video di riferimento. Dopo una fase di calibrazione della metrica dettata dalle caratteristiche della specifica applicazione target, essa può essere utilizzata per la valutazione della qualità percepita istante per istante. L estrazione della metrica richiede una fase preliminare di raccolta delle osservazioni condotte sul sistema video sotto analisi in modo da caratterizzarne il comportamento in funzione delle condizioni di rete. La procedura di estrazione della metrica adotta la metrica VQM di NTIA, già 22

23 illustrata nel capitolo precedente, come valore di qualità video di riferimento. La scelta di utilizzare un metodo oggettivo in luogo di uno soggettivo come metrica di riferimento è motivata dalla complessità derivante dall utilizzo di metriche soggettive e dall eccellente accuratezza fornita dalla metrica dell NTIA. L utilizzo di metriche soggettive richiede notevoli investimenti: Laboratori distinti in cui effettuate i test per la valutazione della qualità; Attrezzature video di alta qualità: monitor professionali; mixer; video player; Persone per la valutazione della qualità. La metrica VQM di NTIA è stata progettata per sistemi video che spaziano in un ampio range di qualità e bitrate e ha mostrato di essere caratterizzata da una elevata correlazione con le metriche soggettive nel test di validazione PHASE II condotto dal VQEG relativo alla validazione di modelli oggettivi per la stima della qualità video percepita. (10) Inoltre, la metrica dell NTIA è stata adottata come standard nazionale (ANSI T ) e introdotto in due ITU Recommendations (ITU-T J.144R e ITU-R BT.1683) Ipotesi di lavoro La qualità video di una sequenze trasmessa su un canale di comunicazione è legata essenzialmente a due tipologie di fattori: fattori dipendenti dalle condizioni del canale; fattori specifici dell applicazione (11). Dunque la relazione tra la qualità della trasmissione end-to-end e la qualità della sequenza video percepita in fase di riproduzione può essere legata sia ai fattori legati al canale trasmissivo che alla specifica applicazione: Tipo di CODEC; Bitrate di codifica; Frame rate; Formato video; Pacchettizazione; Sicuramente il ruolo principale è giocato dal CODEC e in particolare, dalle tecniche di error 23

24 concealment adottate per sequenze video compresse trasmesse su reti in presenza di errori. Gli errori di trasmissione possono avere effetti che possono variare dal trascurabile all intollerabile. Dunque, a seconda della strategia adottata dal CODEC per far fronte alla presenza dell errore o di una perdita, è possibile sperimentare una qualità video distinta che quindi non può prescindere dal codec utilizzato. A titolo di esempio è sufficiente pensare alle tecniche di error concealment utilizzate da MPEG2 e H.264. Nel primo caso, la perdita di un pacchetto relativo ad una frame, non consente di costruire la frame corretta per la visualizzazione e il codec procede con lo scartare l intera frame. Nel secondo caso, la frame non viene scartata e la porzione danneggiata viene ricostruita a partire dalle frame precedenti e le informazioni sulla compensazione del movimento della frame corrente. Dunque, mentre in H.264 la perdita di un pacchetto può avere effetti impercettibili all occhio umano, in MPEG2 tale evento può essere non trascurabile dal punto di vista della distorsione. Ciò è ancor più vero per bassi frame rate, in cui la perdita di una intera frame può favorire fenomeni di jerkiness. Come già mostrato in alcuni lavori (11), anche lo schema di pacchettizzazione ha un notevole impatto sulla capacità del codec di gestire errori e perdite e quindi, indirettamente, sulla qualità video. Esso è legato al modo in cui le slice di una frame vengono inserite all interno di un pacchetto. In particolare sono due i parametri su cui si può agire: numero di pacchetti per ogni frame (solitamente indicato con L) e numero di slice all interno di un pacchetto (solitamente indicato con s). La scelta di s e L può influenzare pesantemente la capacità di reagire a perdite di pacchetti e quindi la capacità del codec di ricostruire correttamente il flusso video. Per discriminare la capacità dei due codec menzionati di far fronte a perdite di pacchetti, analizzando in particolar modo l impatto della pacchettizzazione, è opportuno distinguere il caso in cui ci siano perdite isolate e in cui ci siano burst di errori. Nel primo caso H.264 reagisce meglio rispetto ad MPEG2 e, inoltre, risulta essere indipendente dal numero L scelto. Le prestazioni di MPEG2 invece decrescono all aumentare di L, vista la tecnica utilizzata per il recupero dell errore che prevede di scartare l intera frame. Nel caso di errori burst, si verifica l opposto in quanto è meglio avere pacchetti persi in sequenza visto che perdere uno o più pacchetti di una stessa frame sortisce gli stessi risultati. H.264 in questo caso presenta una perdita di capacità di ricostruzione perché ha pochi elementi da cui partire per la ristrutturazione della frame. Strettamente connessi 24

25 alla pacchettizzazione sono inoltre anche il bitrate di codifica e il formato video. L utilizzo infatti di un formato CIF (352x288) in luogo di un formato QCIF (176x144) richiede un numero maggiore di slice all interno di una frame e quindi porta necessariamente a schemi di pacchettizzazione distinti. Dunque, al fine di stimare in maniera dinamica la degradazione della qualità percepita dall utente finale esclusivamente a partire dai parametri di rete, è necessario sfruttare la conoscenza a priori dell influenza che hanno i fattori descritti sulla qualità video. A tal proposito l approccio proposto richiede di condurre una serie di esperimenti off-line per catturare gli effetti di tali fattori per uno specifico set di caratteristiche Modello di qualità video Il modello adottato per la rappresentazione della qualità video percepita come funzione dei soli parametri di rete è un modello generale del secondo ordine: In esso, le tre variabili indipendenti x 1, x 2, x 3 rappresentano il delay, il jitter e il packet loss ratio; la variabile dipendente y, invece, la qualità video stimata dalla metrica VQM dell NTIA. rappresenta invece l errore di approssimazione del modello. Il modello specificato costituisce un modello di regressione lineare perché risulta lineare nei suoi coefficienti. È possibile porre tale equazione nella forma standard del modello di regressione lineare multivariata ponendo: 2 x 4 =x 1 2 x 5 =x 2 2 x 6 =x 3 x 7 =x 1 x 2 x 8 =x 2 x 3 x 9 =x 1 x 3 β 4 = β 11 β 5= β 22 β 6= β 33 β 7= β 12 β 8= β 23 β 9= β 13 25

26 La stima dei coefficienti di regressione βi (i=1,2,,9) può essere effettuata utilizzando il metodo dei minimi quadrati sulle osservazioni: (y i, x 1i, x 2i, x 3i ), i=0,1,,n-1 Dove n è il numero totale di osservazioni. Tipicamente, per la determinazione dei coefficienti del modello di regressione, si ci affida a strumenti software che forniscono tali valori in maniera rapida Pianificazione degli esperimenti L obiettivo degli esperimenti è quello di esplorare le relazioni tra parametri di rete e degradazione della qualità video percepita dall utente finale. I fattori o variabili sperimentali prese in considerazione negli esperimenti sono i tre parametri di rete packet loss ratio, delay e jitter che per loro natura sono fattori di tipo quantitativo nel senso che ognuno di essi può assumere infiniti valori. La variabile dipendente, invece, viene calcolata tramite la metrica VQM dell NTIA ed espressa in termini di Differential Mean Opinion Score (DMOS). La scala DMOS è costituita da tutti i valori nell intervallo [1,5] dove i due estremi indicano rispettivamente qualità pessima e ottima (12). Dunque ogni osservazione può essere caratterizzata con una quadrupla di valori composta dai tre fattori relativi ai parametri di rete e il corrispondente valore di risposta relativo alla qualità video. Poiché non è possibile testare le infinite combinazioni dei parametri di rete, è necessario restringere le possibilità ad un sottoinsieme significativo di esperimenti. Gli esperimenti devono essere pianificati in modo tale che la varianza sistematica sia massimizzata; la varianza dell errore sia minimizzata; le sorgenti esterne di varianza siano controllate. Poiché la varianza sistematica è legata alla variabilità della risposta del sistema e, considerando che tale risposta assume i valori continui tra 1 e 5, i valori di ogni fattore controllabile devono essere scelti in modo tale che la qualità video assuma i valori tra 1 e 5. Purtroppo non è possibile definire a priori il set di valori per i parametri di rete tali per cui la qualità video spazia nel range suddetto. I limiti inferiore e superiore per i parametri di rete, dipendono, infatti, da fattori non controllabili legati alla specifico 26

27 sistema (codec, pacchettizzazione, frame rate ); dunque possono essere ricavati solo sperimentalmente. Il controllo delle sorgenti esterne della varianza può essere ottenuto fissando tutti i fattori dipendenti dall applicazione e specializzando i risultati del modello di regressione al solo sistema sotto analisi. In particolare, per controllare la varianza legata al contenuto del video, vengono selezionate un set di sequenze video le cui caratteristiche temporali e spaziali sono rappresentative di particolari contenuti video. A tal proposito, ad esempio, possono essere scelte sequenze che presentano un livello elevato di dettaglio ma in cui il movimento delle scene è limitato e viceversa; un livello basso di dettaglio ma con molto movimento o comunque una qualsiasi combinazione di essi. Per la caratterizzazione dei contenuti delle sequenze video si può far riferimento a due indicatori: Spatial Perceptual Information (SI) e Temporal Perceptual Information (TI) Finalità della metrica proposta L approccio sperimentale proposto mira a definire una metrica oggettiva che sia in grado di valutare la qualità video percepita a partire dalle misurazioni effettuate sui parametri di rete. Uno dei punti di forza di tale metrica è che appartiene alla categoria delle metriche No Reference in cui non è necessario avere a disposizione il video sorgente come ad esempio richiesto da una metrica Full Reference. Sicuramente il livello di accuratezza nella stima della qualità raggiunto da una metrica FR è superiore a quello a cui può aspirare una metrica NR ma, quest ultima, ha dalla sua il vantaggio di poter essere utilizzata in-service e cioè mentre il sistema è in esercizio e non off-line come richiesto dalle metriche NR. Dunque la metrica proposta consente la valutazione puntuale della qualità del video trasmesso ad intervalli regolari. Tale possibilità è estremamente valida dal momento che una delle problematiche spesso affrontate è quella di implementare strategie che consentono di preservare la qualità di una trasmissione video. Tali strategie richiedono il monitoring costante della qualità della trasmissione al fine di attivare meccanismi correttivi quali ad esempio variare il livello di compressione del codec; adattare il rate di trasmissione della sorgente; cambiare il tasso di codifica; agire sulle dimensioni della finestra video; sul frame rate Ciò è ancor più vero se tali applicazioni richiedono il monitoring real-time della trasmissione e 1 Per informazioni più dettagliate sugli indicatori SI e TI si rimanda al capitolo 5 27

28 quindi implicano requisiti stringenti sulla disponibilità delle misure di qualità. Il calcolo dell indice di qualità, infatti, è caratterizzato da un basso costo computazionale. Talvolta non si ha esigenza di stimare in maniera puntuale la qualità video relativa ad uno streaming video ma si è interessati soltanto a risultati sintetici sulla qualità globale di una intera trasmissione. In questo caso si può ricorrere a stime medie dei parametri di rete relativi ad un intera trasmissione e fornire un risultato che, anche se non tiene conto di tutte le possibili fluttuazioni nella qualità, mediamente rispecchia la qualità video percepita. 2.2 Metriche oggettive: Related work Tra le metriche oggettive sicuramente le metriche di tipo No Reference costituiscono ancora un terreno poco esplorato. Nel corso degli anni sono stati fatti notevoli passi avanti ma i livelli di accuratezza raggiungibili ancora non sono paragonabili a quelle delle metriche FR. In alcuni casi poi prevedono elaborazioni pesanti che spesso tutt altro rispecchiano che la qualità della valutazione. L esigenza di una metrica No Reference resta comunque molto forte; soprattutto in quegli scenari in cui non si ha a disposizione il video sorgente al momento della valutazione ed è richiesto l on-line monitoring del flusso video. In letteratura sono presenti diversi lavori che affrontano questo problema, ognuno con i suoi pro e suoi contro. In questo paragrafo verranno presentati alcuni lavori e per essi verrà fornito un confronto critico con la metrica proposta in questo lavoro di tesi. No Reference and Reduced Reference Video Quality Metrics for End to End QoS Monitoring (13) In questo paper viene proposta una metrica oggettiva per la valutazione della qualità video. Tale metrica può essere utilizzata sia nel contesto della valutazione della qualità video Reduced Reference che in quello No Reference. Negli scenari di utilizzo come metrica Reduced Reference le performance del modello risultano essere chiaramente superiori a quelli del caso No Reference. Uno dei punti di forza di tale metrica risiede nella complessità computazionale. Tale aspetto la accomuna con la nostra metrica. Un altro aspetto in comune, è il fatto che può essere utilizzata in- 28

29 service per il monitoring real-time delle trasmissioni video. Tale metrica utilizza per il calcolo del valore di qualità video, una rete neurale convoluzionale. Come di consuetudine in sistemi che utilizzano reti neurali, è necessaria una fase di training della rete prima della normale messa in esercizio. Dunque, se anche le metodologie sono diverse, questa e la nostra metrica sono accomunate da questo concetto del training e cioè della raccolta di una serie di informazioni che consentono al sistema di valutazione della qualità di apprendere ed essere in grado di predire la qualità anche in quei casi non considerati in fase di addestramento. Dunque da un lato abbiamo una rete neurale che con la sua capacità di apprendere è in grado di predire il valore di nuovi campioni; dall altra un modello derivato da un analisi di regressione che per concezione è fatta per minimizzare gli errori. Le variabili su cui è costruita la rete sono quattro; tre delle quali legate strettamente al contenuto del video. Tutte comunque sono scelte tra quelle considerate dal Video Quality Expert Group (VQEG) in FR-TV I. A Novel Objective No-Reference Metric for Digital Video Quality Assessment (14) In questo paper l obiettivo è la definizione di una metrica oggettiva di tipo No Reference per le sequenze che riportano scene naturali. La valutazione è basata su due tipologie di informazioni: la prima legata al contenuto temporale del video; la seconda al suo contenuto spaziale. L idea alla base di questo lavoro è quella di relazionarsi al sistema visivo umano. Tale metrica in particolare lega la qualità video del flusso trasmesso alle distorsioni spaziali delle immagini che lo compongono. Le distorsioni vengono calcolate a partire da piccole porzioni delle immagini e il loro effetto sulla qualità viene pesato con l informazione sul contenuto temporale del video. Dunque un movimento maggiore ha un incidenza maggiore sulle distorsioni spaziali dell immagine. Sicuramente uno dei punti dolenti di questo approccio è il costo computazionale. Esso risulta estremamente elevato il che può portare a delle limitazioni per quelle applicazioni in cui i requisiti di realtime sono fondamentali a differenza della nostra metrica. Uno degli aspetti a favore è che risulta indipendente dal codec. La nostra metrica, invece, dipende da tutti quei fattori esterni alle condizioni di rete e pertanto richiede che siano fissati a priori. Tuttavia, una volta fissati tali parametri ed eseguita correttamente la procedura di tuning del sistema, i benefici derivanti da una 29

30 metrica leggera, in-service, realtime, No Reference sono scontati. Real-time monitoring of video quality in IP networks (11) In questo lavoro, l obiettivo è la valutazione della qualità video trasmessi su rete IP. In particolare lo sviluppo di una metodologia che è sia accurata sia notevolmente semplice da essere utilizzata per servizi su larga scala. In maniera simile alla nostra metrica, questo lavoro prevede di stimare la qualità del video a partire dai parametri di rete, con la differenza però che l unico parametro considerato sono le perdite di pacchetti. A tal proposito viene definito un modello perditadistorsione il cui obiettivo è associare le perdite alla distorsione subita dalla sequenza video. Tale modello, però come è stato illustrato ampiamente in questo lavoro di tesi, non può prescindere dai fattori specifici dell applicazione come pacchettizzazione, bitrate, tecniche di recupero errori, etc. e quindi è richiesta la presenza esplicita di essi nel modello. Tale modello, sebbene offra un certo livello di accuratezza, soffre di un problema molto importante legato alla sua utilizzabilità. Molti parametri del modello infatti non si prestano alla stima real-time per cui non esso non applicabile ai sistemi di monitoring real-time, in-service. Per superare questo problema, nello stesso lavoro è proposta una metrica relativa che consente di bypassare la questione associata alla stima dei parametri suddetti. Tale metrica misura la qualità video rispetto ad un path di riferimento le cui caratteristiche sono note. Objective Quality Monitoring Issues in Digital Broadcasting Networks (15) Questo lavoro fissa il focus sulle scene vere e proprie del video. Parte dal presupposto che secondo la percezione umana, un utente valuta la qualità in base ad alcuni particolari della scena. Casi come frame grigie, frame ripetute, artificialità degli elementi della scena, contribuiscono alla percezione di una sequenza video distorta. Questo lavoro, per la valutazione della qualità video, opera sui singoli blocchettini delle immagini che compongono la sequenza video. In particolare, dalle discontinuità tra i livelli di luminosità ai Figura 12: Immagine degradata con effetto a blocchi 30

31 bordi di un blocchettino rispetto a quelli strettamente adiacenti, viene estratto il valore di qualità video 31

32 Capitolo 3 Un caso di studio L avanzamento tecnologico delle reti di comunicazione e dei sistemi di elaborazione informatici avvenuto negli ultimi anni ha reso possibile lo sviluppo di applicazioni multimediali distribuite in grado di supportare informazioni di natura estremamente eterogenea. Con l andar del tempo è cresciuta la domanda di applicazioni real-time, come VoIP e videoconferenza, che potessero sfruttare la popolarità e il basso costo della rete IP. A queste si aggiungono applicazioni come la IP- TV, streaming live di eventi sportivi e musicali il cui target è prevalentemente quello commerciale ma non per questo di minore importanza. 3.1 Caratterizzazione Di seguito vengono descritti in dettaglio tutti gli elementi che caratterizzano il caso di studio: - Source Reference Circuit (SRC) - Hypothetical Reference Circuit (HRC) Sequenze video di test (SRC) I test sperimentali condotti in questo lavoro di tesi hanno confermato la dipendenza della qualità video percepita dal contenuto informativo della sequenza video. A tal proposito, per la conduzione dei test del caso di studio, sono state selezionate quattro sequenze significative dal punto di vista del contenuto informativo. Come indicato nel paragrafo X.X, un modo per definire la tipologia di un video dal punto di vista del contenuto è possibile utilizzare gli indicatori: 32