Elaborazione delle immagini digitali

Elaborazione delle immagini digitali Corsi di Informatica Grafica Prof. Manuel Roveri Dipartimento di Elettronica e Informazione roveri@elet.polimi.it

Acquisizione ed elaborazione di immagini nell uomo Occhio e Cervello Ottimo sistema visuale e processing La conoscenza di come le immagini sono formate nell occhio ci aiuta a capire come processare le immagini digitali Partiremo dall occhio umano per arrivare alle immagini digitali

Struttura dell occhio umano Il cristallino concentra la luce dagli oggetti sulla retina La retina è coperta da recettori della luce chiamati coni (6-7 milioni) e bastoncelli (75-150 million) Coni sono concentrati intorno alla fovea e sono molto sensibili ai colori Bastoncelli sono più distribuiti e sono sensibili ai bassi livelli di illuminazione

Formazione dell immagine nell occhio Muscoli dell occhio possono essere usati per cambiare la forma del cristallino permettendoci di mettere a fuoco oggetti vicini o lontani Un immagine è messa a fuoco sulla renita: coni e bastoncelli sono eccitati dalla luce L immagine acquisita viene poi trasferita al cervello

Luminosità: adattamento e discriminazione L occhio umano riesce a distingure approssimativamente 10 10 differenti livelli di intensità luminosa ma non tutti nello stesso momento Viene percepito un sottointervallo intorno alla luminosità della scena, spostando la finestra di sensibilità quando la luminosità cambia (adattamento alla luminosità).

Luminosità: adattamento e discriminazione (2) 256 toni di grigio 24 toni di grigio L occhio umano distingue solo poche gradazioni di intensità rispetto all intensità ambientale (10 25) Ma pochi toni di grigio sono sufficienti solo localmente e non per tutta la scena Nell esempio: la mancanza di toni di grigio intermedi è evidente nelle zone a lenta variazione di luminosità (come le nuvole e il cielo) 6

Intensità reale e percepita L intensità percepita non è una funzione solo dell intensità luminosa: il bordo tra due regioni appare più scuro nella regione scura e più chiaro nella regione chiara. Bande di Mach: regioni ad intensità uniforme Ernst Mach (1865)

Fenomeno del contrasto simultaneo I riquadri interni alla figura hanno la stessa intensità, ma il riquadro sullo sfondo scuro viene percepito più chiaro di quello sullo sfondo chiaro L intensità percepita non è solo una funzione della luminosità

Illusioni Ottiche

La luce e lo spettro elettromagnetico La luce è quella parte di spettro elettromagnetico che raccoglie le lunghezze d onda percepite dall occhio umano Lo spettro elettromagnetico è diviso a seconda delle lunghezze d onda delle differenti onde

La luce riflessa I colori che percepiamo sono determinati dalla natura della luce riflessa dall oggetto che osserviamo Per esempio, se luce bianca colpisce un oggetto colorato di verde, la maggior parte delle lunghezze d onda sono assorbite tranne la luce verde che è riflessa dall oggetto Green Light Colours Absorbed

E per le immagini digitali? Dobbiamo riprendere i concetti di Campionamento Quantizzazione e Risoluzione

Campionamento, quantizzazione e risoluzione Una camera digitale può acquisire solo un numero limitato di campioni a livelli discreti di luminosità La quantizzazione converte il segnale analogico continuo in una sua versione digitale La risoluzione determina il numero e la dimensione dei pixel

Acquisire le immagini L energia in arrivo colpisce il sensore (progettato per acquisire quel tipo di energia) e genera un segnale elettrico (voltaggio) Insiemi di sensori per acquisire immagini Sensore di immagini Array di sensori

Non solo array di sensori Strisce ed anelli di sensori

Acquisire un immagine digitale Il mondo è continuo una immagine digitale è semplicemente un approssimazione di questo mondo!

Quali immagini? 17

Immagini Raggi Gamma (1) Gli usi principali della immagini basate su raggi gamma sono: medicina nucleare osservazioni astronomiche In medicina nucleare, un isotopo radioattivo viene iniettato al paziente. Questo isotopo emette raggi gamma mentre decade Queste immagini sono prodotte dalle emissioni acquisite da rilevatori di raggi gamma 18

Immagini Raggi Gamma (I1) Una stella nella costellazione del Cigno è esplosa circa 15.000 anni fa generando una nuvola di gas ad alte temperature 19

Immagini Raggi X I raggi X sono tra le più antiche fonti di radiazioni elettromagnetiche utilizzate per le immagini L uso più noto dei raggi X è la diagnostica medica, ma sono ampiamente utilizzati anche nel settore industriale e in altri settori TAC 20

Immagini nell ultra-violetto Le applicazioni di immagini basate su raggi ultravioletti sono molteplici: la litografia, l'ispezione industriale, microscopi, i laser, imaging biologico, e osservazioni astronomiche. Intensità di emissione di autofluorescenza da una sottile sezione di felce (Cyrtomium falcatum) Polvere e gas generati dal ghiaccio vaporizzato di una cometa in transito vicino alla terra

Immagini nella banda del visibile e dell infrarosso La banda visiva dello spettro elettromagnetico è la più usata in termini di acquisizione di immagini La banda dell'infrarosso è spesso usata in combinazione con la banda del visibile Applicazioni: microscopio ottico, astronomia, telerilevamento, industria, forze dell'ordine. 22

Politecnico Visibile: Microscopio ottico Microprocessore Polmone Quarzite 23

Visibile: Foto di viaggi 24

Politecnico Immagini da infrarosso Immagini Uragano Ivan e Frances (Florida) 25

Immagini Radar Monitoraggio Dissesti Idrogeologici 26

Immagini da onde radio Le onde radio vengono usate in medicina, per esempio, per la risonanza magnetica (magnetic resonance imaging, MRI). 27

Immagini da ultrasuoni Gli ultrasuoni vengono impiegati in medicina per l ecografia. 28

Cosa significa elaborare le immagini? L elaborazione delle immagini serve per: facilitarne l interpretazione; estrarne informazioni. Tipicamente si riconoscono tre categorie di elaborazione, caratterizzate dal livello di astrazione: basso livello (miglioramento di immagine); medio livello (estrazione di caratteristiche); alto livello (riconoscimento di oggetti). Esempio: Riconoscimento delle targhe 29

Breve storia dell image processing Inizio Anni 20: Una delle prime applicazioni delle immagini digitali è stata nell industria della carta stampata Il servizio di trasmissioni via cavo Bartlane Le immagini venivano trasferite tramite cavo sottomarino tra Londra e New York Le immagini venivano codificate per il trasferimento via cavo e ricostruite dal ricevente su una stampante telegrafica Una delle prime immagini digitali

Storia dell image processing (cont.) Metà/fine degli anni 20: miglioramento del sistema Bartlane che ha permesso la trasmissione di immagini in qualità più alta Nuovi processi di riproduzione basati su tecniche fotografiche Aumento del numero di toni di grigio Immagine digitale Immagine a 15 toni di grigio

Storia dell image processing (cont.) Anni 60: il miglioramento delle tecnologie e dei computer e la corsa allo spazio hanno portato alla nascita del digital image processing 1964: Computer usati per migliorare la qualità delle immagini acquisite dalla sonda Ranger 7 Queste tecniche sono state poi usate in altre missioni spaziali come le missioni Apollo Una foto della luna presa dalla sonda Ranger 7 prima di atterrare

Storia dell image processing (cont.) Anni 70: elaborazione di immagini digitali inizia ad essere utilizzata in applicazioni mediche 1979: Sir Godfrey N. Hounsfield ed il Prof. Allan M. Cormack vincono il premio Nobel per l invenzione della tecnologia alla base della TAC Immagine acquisita durante una TAC

Storia dell image processing (cont.) Anni 80 - Oggi: L'uso di tecniche di elaborazione delle immagini digitali è esploso e queste tecniche sono ora utilizzate per molte attività in molti settori: Miglioramento delle immagini e riduzione del rumore Effetti Artistici Medicina Controllo industriale Sicurezza e tracciamento Human-computer interfaces

Esempio: miglioramento dell immagine e riduzione del rumore

Esempio: il telescopio Hubble Lanciato nel 1990 per acquisire immagini di oggetti molto distanti Sfortunatamente, uno specchio non funzionava in modo corretto rendendo le immagini inutilizzabili Tecniche di Image Processing per fissare il problema

Esempio: Effetti Artistici Effetti artistici vengono utilizzati per rendere le immagini più interessanti, per aggiungere effetti speciali e per creare immagini composite

Esempio: Medicina Prendere immagini della risonanza magnetica e trovare contorni delle immagini Immagine originale Riconoscimento dei contorni

Esempio: Sistemi Informativi Geografici (GIS) Elaborazione delle immagini per manipolare le immagini acquisite da satellite Classificazione dei terreni Meteorologia

Esempio: controllo industriale 40

Esempio: PCB Inspection Analisi di circuiti Printed Circuit Board (PCB) Utilizzata per determinare che tutti i componenti siano presenti e che tutti i punti di saldatura siano corretti Vengono utilizzate sia immagini digitali che convenzionali

Politecnico Esempio: sicurezza e tracciamento 42

Esempio: sicurezza e tracciamento (2) 43

Esempio: Human-Computer Interface Rendere l interfaccia computer-uomo più naturale Riconoscimento di volti Riconoscimento di gesti Questi compiti sono particolarmente complessi

La catena dell elaborazione dell immagine (Brian Mac Namee) Image Restoration Morphological Processing Image Enhancement Segmentation Image Acquisition Object Recognition Problem Domain Colour Image Processing Image Compression Representation & Description

La catena dell elaborazione dell immagine: Image Acquisition Image Restoration Morphological Processing Image Enhancement Segmentation Image Acquisition Object Recognition Problem Domain Colour Image Processing Image Compression Representation & Description

La catena dell elaborazione dell immagine: Image Enhancement Image Restoration Morphological Processing Image Enhancement Segmentation Image Acquisition Object Recognition Problem Domain Colour Image Processing Image Compression Representation & Description

La catena dell elaborazione dell immagine: Image Restoration Image Restoration Morphological Processing Image Enhancement Segmentation Image Acquisition Object Recognition Problem Domain Colour Image Processing Image Compression Representation & Description

La catena dell elaborazione dell immagine: Morphological Processing Image Restoration Morphological Processing Image Enhancement Segmentation Image Acquisition Object Recognition Problem Domain Colour Image Processing Image Compression Representation & Description

La catena dell elaborazione dell immagine: Segmentation Image Restoration Morphological Processing Image Enhancement Segmentation Image Acquisition Object Recognition Problem Domain Colour Image Processing Image Compression Representation & Description

La catena dell elaborazione dell immagine: Object Recognition Image Restoration Morphological Processing Image Enhancement Segmentation Image Acquisition Object Recognition Problem Domain Colour Image Processing Image Compression Representation & Description

La catena dell elaborazione dell immagine: Representation & Description Image Restoration Morphological Processing Image Enhancement Segmentation Image Acquisition Object Recognition Problem Domain Colour Image Processing Image Compression Representation & Description

La catena dell elaborazione dell immagine: Image Compression Image Restoration Morphological Processing Image Enhancement Segmentation Image Acquisition Object Recognition Problem Domain Colour Image Processing Image Compression Representation & Description

La catena dell elaborazione dell immagine: Colour Image Processing Image Restoration Morphological Processing Image Enhancement Segmentation Image Acquisition Object Recognition Problem Domain Colour Image Processing Image Compression Representation & Description

Elaborazione delle immagini digitali Istogramma Negativo Sogliatura Trasformazioni (equalizzazione)

Lavorare con i livelli di grigio Fino ad ora abbiamo lavorato con i livelli di grigio nell intervallo [0, 255] Dove 0 è nero e 255 è bianco Per molte operazioni di elaborazione dell immagine è più semplice avere livelli di grigio nell intervallo [0.0, 1.0] livello normalizzato = livello grigio / 255

Istogramma dell immagine L istogramma dell immagine mostra la distribuzionoe dei livelli di grigio nell immagine Molto usato nell elaborazione della immagini, specialmente nella fase di segmentazione Frequencies Grey Levels

Esempio di istogramma (1)

Analisi degli istogrammi L'immagine ad alto contrasto è quella che ha l istogramma più regolare (uniformemente spaziato)

Elaborare le immagini a livello di pixel Il più semplice tipo di elaborazione è quella che si riferisce alla trasformazione di un singolo pixel Sia T una funzione di trasformazione di livelli di grigio L elaborazione di un singolo pixel avviene quindi nel seguente modo s = T ( r ) dove s è il livello di grigio processato come output della funzione mentre r si riferisce al livello di grigio nell immagine originale

Immagini in negativo Usate per migliorare dettagli bianchi o grigi in regioni scure delle immagini Il dettaglio del tessuto è molto più chiaro nell immagine negativa Immagine Originale Immagine Negativa s = 1.0 - r

Trasformare un immagine in negativo Original Image x Enhanced Image x y Image f (x, y) y Image f (x, y) s = intensity max - r

Thresholding (sogliatura) Queste trasformazioni sono particolarmente utili per la fase di segmentazione dell immagine nella quale si vuole isolare un oggetto di interesse dallo sfondo (background) s = 1.0 r > threshold 0.0 r <= threshold

Thresholding (sogliatura): la trasformaizone Original Image x Enhanced Image x y Image f (x, y) y Image f (x, y) s = 1.0 r > threshold 0.0 r <= threshold

Trasformare i livelli di intensità dei pixel

Power-Law transformations Le trasformazioni con legge di potenza hanno la seguente forma s = c * r γ Mappare tonalità r nella tonalità s attraverso una trasformazione con legge di potenza Variando γ si ottiene l intera famiglia di curve

Trasformazioni con legge di potenza: pixel per pixel Original Image x Enhanced Image x y Image f (x, y) y Image f (x, y) s = r γ Generalmente si fissa c a 1 Livelli di grigio devono essere nell intervallo [0.0, 1.0]

Trasformazioni con legge di potenza: immagine originale

Trasformazioni con legge di potenza: immagine trasformata (1) Transformed Intensities 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 γ = 0.6 0 0.2 0.4 0.6 0.8 1 Old Intensities

Trasformazioni con legge di potenza: immagine trasformata (2) γ = 0.4 Transformed Intensities 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.2 0.4 0.6 0.8 1 Original Intensities

Trasformazioni con legge di potenza: immagine trasformata (3) Transformed Intensities 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 γ = 0.3 0 0.2 0.4 0.6 0.8 1 Original Intensities

Effetto del γ nelle trasformazioni di potenza Queste immagini mostrano una risonanza magnetica di una colonna vertebrale Differenti curve evidenziano dettagli differenti s = r 0.4 s = r 0.6

E per scurire un immagine? Che valore di γ dobbiamo usare?

Trasformazioni con legge di potenza: immagine trasformata con γ >1 γ = 5.0 Transformed Intensities 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.2 0.4 0.6 0.8 1 Original Intensities

Effetto del γ nelle trasformazioni di potenza Questa volta le trasformazioni sono usate per scurire l immagine Differenti curve evidenziano dettagli differenti s = r 4.0 s = r 3.0

Aumentare il contrasto Possiamo migliorare il contrasto delle immagini? Si, distribuendo le frequenze dell immagine possiamo migliorare il contrasto: Equalizzazione dell istogramma dell immagine

Equalizzazione dell istogramma Formula per l equalizzazione dell istogramma: r k : intensità di input s k : intensità di output k: ampiezza delle intensità (0.0 1.0) n j : frequenza della j-ma intensità n: somma di tutte le frequenze s = T k = = k j= 1 k j= 1 ( r k ) p ( r r j n j n )

Funzione di trasformazione dell equalizzazione

Equalizzazione: esempio 1 1

Equalizzazione: esempio 2 2

Equalizzazione: esempi 3 e 4 3 4

Funzioni di trasformazione per gli esempi di equalizzazioni 1, 2, 3 e 4

Per approfondimenti Rafael C. Gonzalez and Richard E. Woods. Digital Image Processing. Pearson Education Capitoli 1, 2 e 3 92