Metriche di Qualità per le Immagini Digitali. Multimedia

Transcript

1 Metriche di Qualità per le Immagini Digitali

2 Che cosa è una metrica di qualità? Una metrica di qualità è un metodo che permette di dare una valutazione qualitativa di un immagine. E quindi fortemente legata al modello di percezione del sistema visivo umano. La valutazione oggettiva della qualità suscita grande interesse fra i produttori di display per applicazioni mobili e fisse in quanto le misure soggettive richiedono elevate risorse umane, tempi lunghi e forniscono scarsa ripetibilità; tuttavia le metriche oggettive adottate spesso non forniscono un giudizio concorde con i dati soggettivi e con le reali preferenze delle persone.

3 La qualità percepità può essere misurata?

4 Qualità Assoluta La qualità assoluta in quanto tale è un dato oggettivo, completamente descritto dall immagine e caratterizzabile mediante un insieme di attributi dell immagine, alcuni semplici, altri composti da sotto attributi, alcuni misurabili, altri non misurabili. Fra questi ricordiamo: il contenuto informativo dell immagine, comprendente i soggetti raffigurati e il contesto: naturalmente non risulta matematicamente misurabile; la luminosità, forse l unico attributo semplice e misurabile; il colore, con i suoi sotto-attributi, quali la saturazione, la naturalezza, l omogeneità, lo scolorimento;

5 Qualità Assoluta. il contrasto, rappresentativo sia del rapporto chiaro/scuro che delle rappresentazioni di contorni e dettagli; la nitidezza ( sharpness ), costituita dallo sfocamento ( blur ), dalle rappresentazioni dei dettagli ( detail rendering ) e dei contorni ( contour rendering ); la naturalezza dei contenuti, quali la rettilinearità delle linee rette ( line straightness ), la curvilinearità delle linee circolari ( circle rendering ), l uniformità delle forme; le distorsioni spaziali (e/o temporali), come il rumore, gli errori di pixel e di contorni ( silhouettes ).

6 .e Qualità Percepita La qualità percepita, è invece un parametro soggettivo, dipendente oltre che dalle caratteristiche dell immagine, cioè dai suoi attributi descrittivi, anche da altri fattori, quali ad esempio: L elaborazione effettuata sull immagine, che potrebbe avere in qualche modo migliorato/alterato l immagine secondo il gusto dell osservatore umano: le tecniche di compressione /decompressione responsabili di artefatti tipici che degradano la qualità dell immagine ( blocking e ringing ); i filtraggi per la riduzione del rumore indotto dal canale di trasmissione e gli algoritmi di enhancement, miglioramento, della qualità ( peaking ); le conversioni di formato, per ottenere rappresentazioni migliori o far dialogare standard diversi (NTSC PAL).

7 .e Qualità Percepita Le caratteristiche tecnologiche del display impiegato per la rappresentazione e del sistema video di uscita, con i vincoli imposti, quali per esempio: il tipo di schermo, LCD o CRT; le dimensioni dello schermo; le dimensioni dei pixel; la risoluzione spaziale; la frequenza di refresh; la memoria dedicata della scheda grafica; la velocità del bus. La fisiologia e la cognizione della percezione visiva umana, comprendente i meccanismi percettivi del sistema visivo, quali:la percezione della luminosità; la percezione del contrasto e i fenomeni di mascheramento del contrasto; la percezione di contorni e orientamenti; la percezione del colore; la percezione stereo della profondità; la percezione spazio temporale della visione.

8 Dove sta il problema? Potremmo pensare di confrontare tra loro i pixel corrispondenti di due immagini, potendo così stabilire se le due immagini sono diverse ma non possiamo dire nulla da un punto di vista quantitativo sulla reale distanza percettiva esistente.

9 Classificazione delle Metriche Nello studio delle metriche di qualità è possibile distinguere le metriche in: Soggettive Applicare una metrica soggettiva vuol dire effettuare una valutazione dell immagine che tenga conto della percezione soggettiva del sistema visivo umano (HVS - Human Visual System). Oggettive Applicare una metrica oggettiva vuol dire mettere in atto una computazione che, attraverso l ausilio di formule matematiche, elabora in maniera automatica la valutazione di un immagine, senza alcuna interazione col sistema visivo umano.

10 Classificazione delle metriche Le metriche di qualità possono essere poi classificate in base alla presenza di una maggiore o minore disponibilità del segnale di riferimento, con il quale confrontare l immagine distorta. FR (Full Reference) è una metrica di qualità nella quale si ha la completa disponibilità dell immagine di riferimento e quindi può essere effettuato un confronto completo tra l immagine distorta, della quale si vuole conoscere la qualità, e l immagine di riferimento. Full Reference

11 Classificazione delle metriche NR (No-Reference) è una metrica di qualità nella quale non si ha alcuna informazione sull immagine di riferimento. In molte applicazioni video le immagini di riferimento o le sequenze video, spesso non sono accessibili, quindi è desiderabile, per poter gestire tali situazioni, utilizzare metriche che possano valutare la qualità di un immagine o di un video senza un riferimento. No Reference

12 Classificazione delle metriche RR (Reduced Reference) è una metrica di qualità nella quale l immagine di riferimento non è per intero disponibile. In questo caso si estraggono, dall immagine originale, solo alcune informazioni parziali che vengono in qualche modo elaborate per fornire una valutazione della qualità, dell immagine distorta, presa in esame. Reduced Reference Spatial details; Amount of motion; EXIF metadata;

13 Metriche oggettive più comuni Le metriche oggettive più usate sono: MSE - (Mean Square Error) PSNR - (Peak Signal-to Noise Ratio) E * a,b CIELAB SSIM

14 PSNR (Peak Signal to Noise Ratio) È una tecnica di Full reference. Per calcolarlo è necessario avere sia l immagine da valutare che una sua versione ottimale. Il PSNR non è il migliore parametro per valutare la qualità di un algoritmo di interpolazione, ma è il più diffuso.

15 Schema per il calcolo del PSNR in caso di zooming

16 PSNR: forumule

17 MSE e PSNR MSE e PSNR sono molto usati perché semplici da calcolare, però non sempre danno un risultato fedele a quello dato dal sistema visivo umano. Infatti: La sensibilità del sistema HVS agli errori può essere diversa per diversi tipi di errori, e può variare anche in base al contesto visuale. Tale differenza non può essere colta adeguatamente dall MSE. Due immagini distorte possono avere tipi molto diversi di errori pur avendo lo stesso MSE. Entrambe le metriche sono fortemente influenzati ancheda impercettibili movimenti spaziali (traslazioni,rotazioni, flipping di righe e/colonne)

18 PSNR vs MSE 1000 MSE MSE R 45 PSNR MSE G MSE B MSE db

19 MSE e PSNR per immagini RGB Solitamente si usa una delle seguenti soluzioni la semplice media dei valori MSE (o PSNR) sui 3 canali Una combinazione lineare che pesa maggiormente la componente verde

20 Rappresentazione del colore Nel caso monocromatico, l unico attributo necessario a caratterizzare in ogni punto l immagine è l intensità, che si traduce nel valore di grigio del corrispondente pixel. Nel caso della radiazione cromatica, per ogni punto dell immagine occorre tener conto dei tre valori dei primari che ne determinano il colore. A tal fine la classica rappresentazione delle immagini a colori prevede l impiego di tre matrici di intensità, una di rosso, una di verde, una di blu. In altre parole, nel caso della radiazione cromatica, l intensità da sola non è sufficiente a caratterizzare l immagine, in quanto occorre anche esprimere quantitativamente la presenza delle appropriate lunghezze d onda, la cosiddetta crominanza (o cromaticità)

21 Rappresentazione del colore Due sono gli elementi della crominanza: la tinta (hue in inglese) e la saturazione. La tinta è un attributo associato con la lunghezza d onda dominante in una miscela di onde luminose. Rappresenta pertanto quello che viene normalmente denominato il colore dominante di un oggetto. La saturazione è un attributo che si riferisce alla purezza del colore, ovvero alla quantità di luce bianca mescolata con una tinta. I colori puri dello spettro hanno una saturazione del 100%, mentre colori come il rosa, che è una miscela di rosso e bianco, o il lavanda, che è una miscela di blu e bianco, sono meno saturi, con il grado di saturazione inversamente proporzionale alla quantità di bianco. La luce bianca ha invece saturazione nulla. Un altro modo in cui può essere specificato un colore è in termini delle quantità di R, G e B necessarie a formarlo, i cosiddetti valori di tristimolo X, Y e Z.

22 Spazio CIE xyz Un colore può essere specificato mediante dei coefficienti tricromatici. I valori di tristimolo necessari a rappresentare il colore corrispondente ad una certa lunghezza d onda possono essere determinati da curve, tabelle e diagrammi determinati sulla base di una estesa sperimentazione, condotta in particolare negli anni 60. Uno di essi è il diagramma CIE di cromaticità, che mostra la composizione di un colore in funzione di x e y, mentre il corrispondente valore di z è calcolato direttamente dalla z = 1 - (x + y). Il diagramma di cromaticità CIE 1931, è solo una "fetta" di uno spazio più completo, lo spazio dei colori CIE 1931 al quale si assegnano le coordinate XYZ. La sua proiezione su un piano è un diagramma di cromaticità xy. Le relazioni per passare dalle coordinate tridimensionali XYZ alle coordinate xy sono: x = X/(X+Y+Z), y = Y/(X+Y+Z).

23 Modelli del Colore Scopo di un modello del colore (o spazio dei colori o sistema dei colori) è di consentirne la specificazione dei colori con modalità standardizzate, che fanno normalmente riferimento ad un sistema di coordinate 3-D (dato che tre sono comunque le caratteristiche che definiscono un colore), o meglio ad un suo sotto-spazio, nel quale ogni colore è rappresentato da un punto. I modelli del colore più utilizzati in image processing sono orientati o all hardware di acquisizione (RGB) e restituzione (RGB, CMY) delle immagini o alla loro trasmissione (YUV, YIQ), compressione (YCbCr), elaborazione (od analisi) mediante trattamento del colore (RGB, HSI, HSV, LUV,...). Alla poca chiarezza derivante dalla abbondanza di modelli dello stesso tipo, si aggiunge l uso ambiguo delle lettere nei nomi dei modelli (I o V significano cose diverse in modelli diversi), e soprattutto il fatto che in letteratura esistono differenti versioni delle equazioni di conversione dall uno all altro dei modelli indicati.

24 CIE L*a*b* Il principale difetto del sistema CIE (e di tutti i modelli del colore da esso derivati mediante trasformazioni lineari o non lineari di coordinate) è che esso non è dotato di uniformità percettiva. In altre parole, dati due colori C1 e C2, consideriamone le distanze C, rispettivamente, dal colore C3 = C1 + C e dal colore C4 = C2 + C. Supponendo che le due distanze siano quantitativamente uguali, sarebbe desiderabile che i due colori C3 e C4 fossero percepiti come ugualmente distanti da C1 e C2. Dato che il sistema non è percettivamente uniforme, in generale le due distanze, benchè uguali, saranno percepite come differenti. Dopo molti anni di elaborazione, la CIE ha standardizzato nel 1976 due spazi di colore percettivamente uniformi, chiamati rispettivamente CIE L*u*v*e CIE L*a*b* (u e v non hanno alcuna relazione con le componenti video U e V)

25 E * a,b CIELAB La metrica E * a,b CIELAB lavora sullo spazio colore CIELAB. Differentemente da altri spazi colore, lo spazio colore CIELAB, è percettivamente uniforme. I parametri che lo determinano sono: L*, a*, b*. L* rappresenta la luminanza mentre a* e b* rappresentano la crominanza. L*, a* e b* sono le trasformazioni dei tre valori di tristimolo X, Y e Z dello spazio colore CIE XYZ.

26 Formule Attraverso le seguenti formule, si può passare dallo spazio colore CIE XYZ allo spazio colore CIELAB, e viceversa Dove X/X n, Y/Y n, e Z/Z n, sono maggiori di 0.01 e X n, Y n e Z n definiscono il punto bianco. Lo spazio colore CIELAB in confronto al CIE XYZ rispetta maggiormente la risposta non lineare dell occhio umano alle radiazioni elettromagnetiche. La metrica CIELAB si ottiene dalla seguente formula: * 3 1 = Y n Y L = * n Y n Y X X a = * n Z n Z Y Y b ( ) ( ) ( ) * * * * b a L E ab + + =.

27 Osservatori Standard e CMF Laboratorio PH3DRA - PHysics for Dating Diagnostic and Dosimetry Research and Applications By Anna Maria Gueli

28 CIE 1931 e 1964 By Anna Maria Gueli

29 Coordinate L*a*b* By Anna Maria Gueli

30 Coordinate L*a*b* Laboratorio PH3DRA - PHysics for Dating Diagnostic and Dosimetry Research and Applications By Anna Maria Gueli

31 L*a*b* color space Laboratorio PH3DRA - PHysics for Dating Diagnostic and Dosimetry Research and Applications By Anna Maria Gueli

32 Color differences By Anna Maria Gueli

33 Color differences Laboratorio PH3DRA - PHysics for Dating Diagnostic and Dosimetry Research and Applications By Anna Maria Gueli

34 SSIM (Structural SIMilarity) La Structural SIMilarity (SSIM) misura la similarità tra due immagini (Full-Reference). Si basa sul fatto che il sistema visivo umano è in grado di estrarre informazioni strutturali dal campo visivo. Pertanto, una misurazione della perdita di informazione strutturale può fornire una buona approssimazione alla distorsione della immagine percepita. Sono quindi considerate le informazioni strutturali in un immagine come quegli attributi che riflettono la struttura degli oggetti sulla scena, indipendenti da luminanza e contrasto medio.

35 SSIM (Structural SIMilarity) E stato introdotto un indice universale di qualità dell immagine che separa il confronto della luminanza, contrasto e struttura. Questo approccio è stato generalizzato e migliorato, fino a quando è stato possibile estrarre un indice che ha evidenziato alcuni vantaggi rispetto alle metriche tradizionali. Z. Wang, A. C. Bovik, H. R. Sheikh and E. P. Simoncelli, Image quality assessment: From error visibility to structural similarity, IEEE Transactions on Image Processing, vol. 13, no. 4, pp , Apr Z. Wang and A. C. Bovik, Mean squared error: love it or leave it? - A new look at signal fidelity measures, IEEE Signal Processing Magazine, vol. 26, no. 1, pp , Jan Si veda:

36 SSIM (Structural SIMilarity) Si considerino x e y due segnali non negativi corrispondenti rispettivamente all immagine campione e a quella distorta. Dati µ x (media di x), µ y (media di y), σ 2 x (varianza di x), σ 2 y (varianza di y), σ xy (covarianza di x e y) si definisce SSIM (x,y): Le due costanti C 1 e C 2 servono per i casi limite (divisione per zero) e sono definite come C 1 =(K 1 L) 2 e C 2 =(K 2 L) 2, dove L=255 per immagini a 8 bit, e K 1 K 2 <<1 sono due costanti molto piccole).

37 SSIM (Structural SIMilarity) Luminanza Contrasto Struttura

38

39 SSIM (Structural SIMilarity)

40 Compressione JPEG Originale Low Quality High Quality

41 Metriche soggettive più comuni Le metriche soggettive più usate sono: VQED SSCQE DSCQS MOS IMA

42 VQEG Il VQEG (Video Quality Expert Group dal 1997 cerca di sviluppare, convalidare e standardizzare nuove metriche soggettive di qualità dell immagine. I criteri di valutazione di una metrica tengono conto di: Prediction Accuracy (accuratezza della previsione): la capacità di predire una valutazione soggettiva della qualità con basso errore. Prediction Monotonicity: l esattezza con la quale le previsioni concordano con le valutazioni soggettive della qualità. VQEG fornisce un ampio video database, a disposizione del pubblico, con valutazioni affidabili di tipo soggettivo.

43 VQEG - SSCQE (Single Stimulus Continuous Quality) SSCQE: l immagine da valutare viene mostrata ai soggetti che la devono valutare in intervalli di tempo successivi; essa di volta in volta, presenta diversi rumori. I soggetti, ad ogni osservazione, esprimono le loro impressioni sulla qualità dell immagine, utilizzando una scala articolata su cinque livelli di qualità.

44 VQEG - DSCQS (Double Stimulus Continuos Quality Scale). DSCQS: l immagine di riferimento e l immagine distorta vengono presentate in sequenza l una dopo l altra ed il soggetto le valuta entrambe usando la stessa scala utilizzata nel metodo SSCQE.

45 MOS Mean Opinion Score Tra le metriche soggettive, negli ultimi anni, la metrica MOS è stata considerata la più affidabile, essa consiste nella valutazione media di giudizi espressi da diversi osservatori umani, relativi alla qualità di un immagine. Questa metrica però presenta i alcuni svantaggi: - è molto lenta, costosa e non può essere condotta in tempo reale; - non può essere utilizzata per quelle applicazioni che necessitano di metriche automatiche.

46 IMA test: Vengono elencati una serie di fattori che impattano la qualità delle immagini acquisite da specifiche camere digitali