Dipartimento di Matematica e Informatica Metriche di qualità RELATORE: Gabriele Consoli anno accademico 2013/14
METODI PER VALUTARE LA QUALITA' E' possibile effettuare una prima classificazione, di questi metodi, basandosi sulla presenza o meno di un giudizio umano: Oggettive: mirano a stimare matematicamente un indice; Soggettive: basate sul giudizio umano di osservatori specializzati. Un ulteriore classificazione è fatta in base all'esistenza o meno della immagine originale, vi sono tre approcci: Full reference: basato sul confronto di immagini quando la sorgente è completamente disponibile; Reduce reference: quando si hanno a disposizione soltanto alcuni parametri sulla sorgente per effettuare il confronto; No reference: non prevede la conoscenza della sorgente;
indice che può variare da -1 a 1. METRICHE OGGETTIVE MSE: (Mean Square Error) tale parametro serve a stimare l'errore medio quadratico tra due immagini; più tale indice è basso minore è la differenza tra le immagini. PSNR: (Peak Signal to NoiseRatio) parametro per misurare la qualità di un immagine compressa rispetto all'originale, dipende dalla differenza tra l immagine codificata e quella originale. Può variare da 20 a 40 ed usato per confrontare due metodi di compressione. Maggiore è il suo valore maggiore sarà la somiglianza con l'originale. SSIM: (Structural SIMilarity) è un indice restituito da una funzione che misura la similarità tra due immagini. Poiché l'occhio umano è in grado di estrarre informazioni strutturali, la perdita di informazioni strutturarli può essere usata per approssimare la distorsione di un immagine. Tale
SSIM I I metodi tradizionali come PSNR o MSE hanno dimostrato di essere in contrasto con la percezione dell'occhio umano. Questi approcci stimano gli errori percepiti, mentre l'ssim considera la degradazione dell'immagine percepita come cambiamento nelle informazioni strutturali. Il concetto di informazione strutturali nasce dall'idea che i pixel hanno una forte inter-dipendenze soprattutto quando sono spazialmente vicini. Queste dipendenze portano con se importanti informazioni sulla struttura degli oggetti nella scena visiva.
SSIM II µx: media di x; µy: media di y; σx: varianza di x; σy: varianza di y; σxy: covarianza di x e y; c1: (K1*L)^2 e c2: (K2*L)^2; L: gamma dinamica dei valori dei pixel; K1=0.01, K2=0.03
SOGGETTIVE VS. OGGETTIVE I metodi soggettivi sono complessi e richiedono costi elevati, in termini economici e di tempo, per arrivare a risultati soddisfacenti. Per risolvere tali problemi si è ritenuto necessario sviluppare metriche oggettive che automatizzino la procedura e riducano i costi. Le metriche oggettive hanno lo scopo di determinare la qualità dell'immagini tramite l'uso di funzioni matematiche che calcolano una stima della distorsione e quindi un indice.
METRICHE SOGGETTIVE I metodi di test sono : VQEG (Video Quality Experts Group) SSCQE (Single Stimulus Continuos Quality Scale) DSCQS (Double Stimulus Continuos Quality Scale) MOS (Mean Opinion Score) IMA
VQEG (Video Quality Expert Group) VQEG nasce dalla necessità di riunire esperti di valutazione soggettiva della qualità video e la misurazione della qualità oggettiva. Gli esperti di VQEG son impegnati nel campo della valutazione della qualità video e nella ricerca di metodi di valutazione soggettiva e oggettiva. Negli ultimi anni la ricerca si è concentrata nella validazione di nuove metriche oggettive di qualità per fini di normalizzazione.
OBIETTIVI VQEG I VQEG fornisce un forum, liste di posta elettronica e incontri di esperti per la valutazione della qualità video per scambiarsi informazioni e lavorare insieme su obiettivi comuni. VQEG mira a fornire un forum dove gli sviluppatori e gli utenti del settore possono incontrarsi per pianificare ed eseguire test di validazione di metriche oggettive di qualità percettiva. VQEG ha sviluppato un approccio sistematico ai test di validazione che include la raccolta di diverse banche dati soggettivi.
OBIETTIVI VQGE II Un elemento importante dell'approccio VQEG è la formulazione di piani di test che definiscono le procedure per eseguire la convalida del modello oggettivo. Questi piani di test descrivono il formato e la gamma di contenuto di origine, la portata e la natura delle degradazioni, i metodi di prova soggettive da utilizzare per raccogliere i dati soggettivi, il tipo di modelli oggettivi di qualità che può essere presentata ai fini della convalida del modello, le modalità di presentazione dei modelli oggettivi di qualità, e, infine, le tecniche statistiche e metriche di valutazione del modello da utilizzare. I piani di test sono approvati dal consenso tra tutti i partecipanti VQEG.
SSCQE (Single Stimulus Continuos Quality Scale) L'immagine viene presentata agli osservatori in intervalli di tempo successivi, di volta in volta esse presenta dei rumori diversi. Ad ogni osservazione, l'esperto esprime un voto sulla qualità dell'immagine. La SSCQE produce la valutazione della qualità ad intervalli regolari di tempo e può così catturare la variazione di qualità percepita nel tempo. Le valutazioni sono assolute nel senso che allo spettatore non sono mostrati esplicitamente le immagini di riferimento.
DSCQS (Double Stimulus Continuos Quality Scale) Si presentano due immagini all'osservatore, sequenza di origine e sequenza elaborata. La sequenza di origine è perfetta, mentre una sequenza elaborata può o non può essere alterata. Le sequenza di test presentate sono randomizzati per evitare il raggruppamento delle stesse condizioni o sequenze. Dopo la seconda presentazione delle sequenze, i partecipanti valutano la qualità delle immagini di entrambe le sequenze utilizzando una scala di valutazione (DSCQS). Il campione è mandato in esecuzione in coppie, alla fine delle due coppie di video, i giudici hanno tempo 10 secondi, tra una coppia di sequenza e la successiva, per votare la qualità del video usando una scala discreta. Dopo il test il punteggio è normalizzato nel range da 0 a 100.
SCALA DI VALUTAZIONE La DSCQS si compone di due scale grafiche identiche che sono suddivisi in cinque intervalli uguali con i seguenti aggettivi dall'alto verso il basso : Excellent 100-80, 79-60 Good, Fair 59-40, 39-20 Poor and Bad 19-0. Le scale sono posizionati in coppia per facilitare la valutazione di ogni sequenza. Lo spettatore registra la sua valutazione della qualità complessiva dell'immagine con l'uso di carta e penna.
TEST PER LA QUALTIA' VIDEO I In questo test viene chiesto di valutare la qualità materiale video. L'opinione deve basarsi sul contenuto della scena o la qualità della sequenza. Gli aspetti da pendere in considerazione della qualità video e la forma si devono basarsi sulla propria impressione totale della qualità video. Il test consiste di una serie di prove di giudizio. Durante ogni prova, due versioni di una singola sequenza video che possono o non possono differire in termini di qualità dell'immagine, verrà mostrato nel seguente modo :
TEST PER LA QUALTIA' VIDEO II Nel giudicare la qualità complessiva, è richiesto di utilizzare scale di giudizio. Vi sono due scale per ciascuna prova, una per la presentazione " A" e uno per la " B " presentazione. Le scale di giudizio sono linee verticali continue che sono divisi in cinque segmenti. Viene richiesto di inserire una sola linea orizzontale al punto della scala che meglio corrisponde al vostro giudizio della qualità complessiva della presentazione. Deve essere utilizzato un minimo di 15-18 spettatori non esperti.
RISULTATI DEL TEST Al fine di preservare i dati vengono acquisiti, verrà creato un file con il seguente. Questi saranno inoltre etichettati. I file devono essere in formato ASCII e / o in formato Excel. Lo scopo di questo file è quello di contenere tutte le informazioni relative a singoli soggetti che partecipano la valutazione. La struttura del file sarebbe il seguente : Subject Number Tape Number Month Day Year Age Gender 1001 01 02 12 98 25 2 1002 01 02 12 98 32 1
CONCLUSIONI DELLE RICERCHE Con il completamento di questo primo sforzo condotto da VQEG, diverse conclusioni spiccano: nessun sistema di misurazione oggettiva nel test è in grado di sostituire la sperimentazione personale ; nessun modello oggettivo supera gli altri in tutti i casi ; il set di dati di questo test è un valore unico e può essere utilizzato per migliorare i metodi futuri di misurazione della qualità video oggettiva.
PROGETTI VQEG 3DTV AVHD (audiovisivo HD) HDR (High Dynamic Gamma Video) MOAVI (Controllo di audiovisivi di qualità da indicatori chiave) QART (Quality Assessment for Recognition Tasks) RICE (Real-Time Interactive Communications Evaluation)
3DTV Il progetto 3DTV indaga su come valutare qualità video soggettiva del 3DTV. Il gruppo di lavoro 3DTV ha stabilito tre elementi di lavoro, che procedono in parallelo: Definire metodologie adeguate per la valutazione soggettiva della qualità di video 3D; Studiare l'influenza della visione dell'ambiente, test di set-up e le attrezzature visualizzazione su qualità soggettiva Metriche oggettive di qualità video.
HDR L'occhio umano può percepire circa 5 ordini di grandezza luminanza alla volta, ma le tecnologie attuali permettono di acquisire e visualizzare un massimo di 3 ordini di grandezza. Lo scopo di HDR: acquisire e visualizzare questi 5 ordini di grandezza con alta fedeltà. Lo scopo del progetto VQEG HDR è sviluppare metodi per valutare la qualità del video HDR. Tecnologie HDR mirano a colmare il divario tra tecnologie di acquisizione e visualizzazione e le capacità del sistema visivo umano. Ciò fornirà una esperienza visiva più realistica rispetto alle attuali immagini Low Dynamic Range (LDR).
MOAVI E' un gruppo che collabora per lo sviluppo di modelli di No- Reference di qualità del servizio per il monitoraggio audio-video. L'obiettivo è quello di sviluppare una serie di indicatori chiave. Le attività MOAVI sono divise in 4 fasi: Mantenere un elenco di potenziali applicazioni del mondo reale per il monitoraggio della qualità audio-visiva. Identificare i principali indicatori audio e video; Progettare gli indicatori; La valutazione delle prestazioni degli indicatori.
RICE Il progetto è diretto verso lo sviluppo di nuove metodologie per la valutazione soggettiva e la misurazione oggettiva dei servizi di comunicazione interattivi. Attualmente, test volti a misurare il contenuto di videoconferenza si applicano metodologie passivi che sono progettati e adatti per scenari TV-type, ma non sono rappresentativi di esperienze di conferenze interattive.
influenzare la qualità dei segnali multimediali. MOS (Mean Opinion Score) Fornisce una indicazione numerica della qualità percepita del segnale ricevuto a seguito di una trasmissione ed eventualmente compresso. Il test MOS viene condotto da un certo numero di esperti, ognuno di loro da un voto da 1 a 5. Successivamente viene calcolata la media aritmetica di tutti i voti ottenuti. Il test MOS manuale/umano sono molto soggettivi e in molti cosi poco produttivi, al giorno d'oggi vi sono strumenti software che effettuano test MOS in modo automatico. Il vantaggio di usare questo software sta nel fatto che essi sono in grado di tenere in considerazione tutta una serie di fattori che potrebbero
IMATEST www.imatest.com
SFR (Spatial Frenquency Response) La nitidezza è il fattore di qualità più importate, determina la qualità di dettagli di un immagine. La funzionalità di Imatest che permette di analizzare questo fattore è SFR, ovvero la misura di risposta spaziale conosciuta come funzione di trasferimento di modulazione MTF (Modulation Trasfer Function). Quindi MTF è il contrasto da una data frequenza spaziale rispetto alle basse frequenze. SFR non è l'unico modo per misurare l'mtf vi sono anche dei metodi alternativi come ad esempio Rescharts.
MTF (Modulation Trasfer Function) I L MTF è uno strumento utile per la valutazione delle performance ottiche dei componenti di una macchina fotografica come anche del sistema visivo. Supponiamo di avere un reticolo formato da linee chiare e linee scure. E possibile misurare la luminanza massima delle linee chiare Emax e quella minima dalle linee scure Emin. La modulazione di intensità M si ottiene misurando l intensità di luce riflessa dalla zona più luminosa Emax e dalla zona meno luminosa Emin. Da questi valori si ricava la Modulazione (o contrasto) come M =(E max E min)/(e max + E min)
MTF (Modulation Trasfer Function) II Quando si ha un reticolo che ha una certa frequenza ν e una certa modulazione Mo e tale reticolo viene osservato attraverso una lente (o un sistema ottico più complicato) avremo una modulazione anche per l immagine risultante Mi. La funzione di trasferimento della modulazione MTF può allora essere definita come MTF(ν) = Mi/Mo. I risultati hanno dimostrato che i migliori indici di nitidezza delle immagini sono le frequenze spaziali dove MTF è il 50% delle basse frequenza (MTF 50) oppure il 50% del valore di picco (MTF50P).
SLANTED EDGE SFR Slanted edge SFR: supporto qualsiasi immagine che contenga bordi inclinati. Calcola e visualizza il margine medio, SFR o MTF, aberrazione cromatica laterale, il fattore di qualità e il rumore vicino ai bordi.
SFRplus Analizza in modo automatico il fattore SFR (MTF), aberrazione cromatica laterale, distorsione, risposta tonale, e la risposta del colore opzionale. A differenza di altri moduli come Rescharts e SFRplus setup, SFRplus auto rileva automaticamente le regioni (ROI).
LOG FREQUENCY (SIMPLE) Misura il contrasto dell'immagini di grafici sinusoidali che aumentano di frequenza spaziale su una scala logaritmica (log frequenza aumenta con x). Per un modello di immagine sinusoidale (non un modello di bar), il contrasto è equivalente a SFR. Questo metodo è più diretto rispetto SFR inclinato-edge, ma meno accurata poiché è degradata da rumori e campionamenti in fase di variazione. Misura anche il pattern moiré, che è una funzione di nitidezza lente, filtro anti-aliasing e l'algoritmo di demosaicing. Frequenze spaziali vengono rilevati automaticamente.
LOG F - CONTRAST Misura il contrasto dell'immagine di grafici che variano in frequenza spaziale su un asse (Log frequency aumenta con x) e in contrasto, dall'altro (contrasto è proporzionale a (y / h) 2 per altezza dell'immagine h). Quando il modello di immagine è sinusoidale (piuttosto che un pattern bar) il contrasto è equivalente a SFR o MTF. Misura SFR per una serie di livelli di contrasto. Utile per misurare la perdita di contrasto causata da software di riduzione del rumore.
STAR CHART MTF è misurato per una gamma di angoli (a 8, 12, o 24 segmenti) utilizzando un modello sinusoidale modulata lungo il raggio di un cerchio. Questo metodo è più diretto rispetto al metodo edgeinclinato, ma potrebbe essere meno precisa. Il calcolo può essere reso più robusto contro il rumore di Log Frequency poiché è eseguito su cerchi di frequenze spaziali note.
WEDGE (cunei) Misura la MTF e l'insorgenza di aliasing di modelli bar, chiamati "cunei". Wedge può analizzare cunei verticali e orizzontali. Imatest Wedge è l'unico software in grado di calcolare MTF da modelli con cunei, ma vi è una limitazione significativa con il calcolo: i risultati alla frequenza di Nyquist sono molto sensibili al posizionamento dei pixel.
FREQUENZA SPAZIALE Come la frequenza di un generico segnale (sonoro, onde radio ecc.), la frequenza spaziale viene misura in numero di oscillazioni (cicli) per distanza. Vi sono numerose unità di misura per la frequenza spaziale Cycles/pixel: indica come i singoli pixel sono utilizzati; Cycles/distance (cycles/mm or cycles/inch): spaziatura del pixel; LW/PH (Line Widths/Picture Height): misura il dettaglio totale che una fotocamera può riprodurre; LP/PH (Line Pairs/Picture Height): usato per testare l'obiettivo della fotocamera;
RISULTATI SFRplus Grafico di un edge linearizzato, cioè proporzionale all'energia luminosa. Il risultato importante del grafico in alto è il edge rise distance (10-90%). Nel grafico in basso il risultato chiave è MTF50. La frequenza di Nyquist indica la possibilità che si verifichi aliasing.
INTERPRETAZIONE MTF MTF50 (LW / PH) / Altezza di stampa in pollici 150 110 80 Eccellente- estremamente nitide a qualsiasi distanza di visione Molto buono- aspetto eccellente, anche se non sarà perfetto sotto una lente di ingrandimento. Buono - stampe di grandi dimensioni sembrano OK se visti da distanze normali, ma se esaminato da vicino si notano imperfezioni.
SQF (Fattore di Qualità soggettiva) Una più raffinata stima della nitidezza percepita deve includere dettagli sulla dimensione del display. In generale, 90-100 è considerato eccellente, 80-90 è molto buono, 70-80 è buono, e il 60-70 è giusto. Questi numeri sono il risultato di osservatori "normali" che hanno visionato le stampe a distanze normali (es., 30-34 cm (12-13 pollici) per 10 cm (4 pollici stampe) alta). Un picco SQF sopra circa 105 può indicare sovracontrasto (forti alone nei bordi), che può degradare la qualità dell'immagine. Misurazioni SQF sono più valide quando sovracontrasto viene rimosso, che si realizza con affilatura standard.
BIBLIOGRAFIA http://www.imatest.com/docs/ http://www.its.bldrdoc.gov/vqeg/vqeg-home.aspx http://www.cns.nyu.edu/lcv/ssim/ http://www.dmi.unict.it/~fstanco/multimedia/fs%20lez%201% 20- %20Metriche%20di%20Qualit%C3%A0%20per%20le%20im magini%20digitali.pdf