Corso di Principi e Modelli della Percezione. Prof. Giuseppe Boccignone. Dipartimento di Informatica Università di Milano

Transcript

1 Dall occhio al JPEG Corso di Principi e Modelli della Percezione Prof. Giuseppe Boccignone Dipartimento di Informatica Università di Milano boccignone@di.unimi.it

2 Il prossimo passo: caratterizzazione del sensore //la retina Abbiamo visto che: sorgente S sensore normale elemento* di*superficie **Scena **Radianza*L* della*scena O6ica* (Lenti,*ecc) ** Irradianza*E* dell immagine Mapping* Lineare! E = k L ** Irradianza*E* dell immagine *Segnale** neurale Mapping* Non@Lineare! Primi stadi della visione: //l occhio nel sistema visivo occhio chiasma ottico nervo ottico collicolo superiore nucleo genicolato laterale corteccia striata

3 Primi stadi della visione: //La retina Primi stadi della visione: //La retina: coni e bastoncelli

4 Primi stadi della visione //La retina: coni e bastoncelli Fotorecettori: Cellule nella retina che trasducono l enegia della luce in energia neurale La luce è trasdotta da due tipi di fotorecettori: i coni e i bastoncelli Bastoncelli: Fotorecettori specializzati per la visione notturna (scotopica) Coni: Fotorecettori specializzati per la visione diurna (fotopica), la visione dei dettagli fini e la percezione del colore Primi stadi della visione //La retina: coni e bastoncelli Fotopigmenti : retinale + opsina (glicoproteina integrale di membrana) Bastoncelli: rodopsina (picco 495 nm, 109 molecole) Coni: 3 fotopigmenti con picchi di assorbimento a 420, 530, 560 nm

5 Primi stadi della visione //La retina: coni, bastoncelli, fototrasduzione Al buio, con i canali di Na + aperti, il potenziale di riposo è circa -40 mv. Con i canali chiusi iperpolarizza verso 70 mv (il potenziale di riposo di K + ). Primi stadi della visione //La retina: densità di coni e bastoncelli,

6 Primi stadi della visione //Fotorecettori in sintesi Bastoncelli Acromatici Sensibilità elevata Alta convergenza Bassa acuità Periferici (15 ) Coni Tri-cromatici Sensibilità bassa Bassa convergenza Alta acuità Centrali 100 milioni 6 milioni Risposta lenta Risposta rapida Non-selettivi alla direzione della luce Selettivi alla direzione della luce (Styles-Crawford) Osservatore fotometrico Come viene percepita da un osservatore umano una radiazione e.m.? La valutazione visiva di uno stimolo radiometrico è oggetto della fotometria. L occhio non ha la stessa sensibilità a tutte le lunghezze d onda, e la sensibilità dipende anche dall intensità della radiazione:

7 Osservatore fotometrico Si possono distinguere tre tipi di visione: visione scotopica quando i soli bastoncelli sono attivi; visione mesopica quando sono attivi sia bastoncelli che coni; visione fotopica quando sono attivi solo i coni. ** Irradianza*E* dell immagine *Segnale** neurale Mapping*Non@Lineare! Osservatore fotometrico //curva di risposta spettrale dell occhio In condizioni di alta intensità si ha il regime fotopico: la luce è percepita principalmente dai coni al centro della retina La sensibilità relativa V(λ) è data dalla curva della figura e ha il massimo a 555 nm; V(λ) curva di risposta spettrale dell'occhio umano funzione di efficienza luminosa fotopica spettrale relativa

8 Osservatore fotometrico //curva di risposta spettrale dell occhio in condizioni di bassa intensità si ha il regime scotopico: la luce è percepita principalmente dai bastoncelli al bordo della retina la sensibilità relativa è data dalla curva V (λ) della figura e ha il massimo a 507 nm V (λ) V(λ) Osservatore fotometrico //Dalla radiometria alla fotometria Ad ogni grandezza radiometrica corrisponde una grandezza fotometrica che è la rispettiva grandezza radiometrica valutata secondo la risposta del sistema visivo umano. Radiometria V(λ) Fotometria Energia radiante Flusso radiante Intensità radiante Irradiamento Radianza La funzione di efficienza luminosa fotopica spettrale relativa Energia luminosa (lumen/sec) Flusso luminoso (lumen) Intensità luminosa Illuminamento (lux = lumen m 2 ) Luminanza (candele m 2

9 Osservatore fotometrico //Dalla radiometria alla fotometria Radiometria V(λ) Fotometria Flusso radiante Φv Φ Flusso luminoso (lumen) Intensità radiante Intensità luminosa (cd) Irradiamento Illuminamento (lux = lumen m 2 ) Radianza Luminanza (candele m 2 Un modello semplice del primissimo stadio Fotorece6ori ** Irradianza*E* all immagine log log Ev **Strati*interni* della*retina *Segnale** neurale log Ev Mapping* Non@Lineare! Controparte neurofisiologica correlata alla legge di Fechner: S = k log R La sensazione psicologica S dell intensità di uno stimolo fisico R aumenta più lentamente dell aumentare di R

10 Primi stadi della visione //La retina: strati interni di elaborazione Primi stadi della visione //La retina: strati interni e il problema della codifica Il percorso verticale: verticalmente le connessioni riguardano i fotorecettori, le cellule bipolari e le cellule gangliari Regioni della retina interagiscono fra loro per mezzo di connessioni laterali di tipo inibitorio (inibizione laterale). Tale processo è svolto dalle cellule orizzontali e dalle cellule amacrine

11 Primi stadi della visione //La retina: strati interni di elaborazione Primi stadi della visione //La retina: cellule bipolari e campo ricettivo Campo recettivo: Regione dello spazio in cui uno stimolo attiva un neurone collocazione sulla retina dimensione pattern di luce che provoca la risposta più elevata centro del campo ricettivo periferia del campo ricettivo orizzontale bipolare

12 Primi stadi della visione //La retina: cellule gangliari (ON / OFF) Primi stadi della visione //La retina: cellule gangliari (ON / OFF) Risposte di una depolarizzazione di cellule gangliari a centro-on i cui campi recettivi (A-E) siano distribuiti attraverso un bordo di separazione buio-luce. Le cellule che rispondono maggiormente sono quelle i cui campi recettivi si trovano a cavallo del bordo buio-luce

13 Primi stadi della visione //La retina: cellule bipolari on / off Quando arriva uno stimolo luminoso la membrana del segmento esterno del fotorecettore si iperpolarizza (potenziale di recettore) neurotrasmettitore= glutammato Diminuzione rilascio di glutammato Ogni bipolare ON (OFF) è connessa a una gangliare ON (OFF) Presenza di luce: depolarizza (eccita) bipolari ON iperpolarizza (inibisce) bipolari OFF bipolare ON (eccita) gangliare ON bipolare OFF (inibisce) gangliare OFF Primi stadi della visione //La retina: inibizione laterale Il recettore OFF ipepolarizza la cellula orizzontale che depolarizza il recettore ON

14 Primi stadi della visione //La retina: cellule gangliari (ON / OFF) Il problema della visione spaziale //campionamento Il sistema visivo campiona il reticolo in maniera discreta coni In questo caso, il campo recettivo è più piccolo delle strisce ed è possibile ricostruire il reticolo orizzontale bipolare

15 Il problema della visione spaziale //campionamento Il sistema visivo campiona il reticolo in maniera discreta In questo caso, il campo recettivo è più grande delle strisce e non è possibile ricostruire il reticolo Bianco e nero cadono su un singolo recettore: il risultato è grigio Acuità visiva

16 Acuità visiva Acuità visiva (potere separatore): minima distanza a cui due oggetti sono separabili. Dipende da: (a) minima distanza fra i fotorecettori; (b) diffrazione Tecnicamente: il più piccolo angolo visivo sotteso da un ciclo del reticolo che è possibile percepire (risolvere) 1 ciclo angolo visivo Distanza visiva al limite della risoluzione reticolo Acuità visiva //reticoli Con una buona vista, risolvibili quando un ciclo sottende un angolo di { ciclo = ripetizione di una striscia bianca + nera (2mm)

17 Acuità visiva //misura oculistica Herman Snellen inventò il metodo per misurare l acuità visiva nel 1862 distanza critica del paziente distanza critica del paziente normale Tratto A 6 metri (20 piedi) si varia la dimensione delle lettere Vista normale 20/20 (Italia: 10/10) Altezza della lettera Acuità visiva //misura oculistica Lettera da 10/10: sottende un angolo di 5 = 5/60 = nell occhio Tratto della lettera: sottende un angolo di 1 (0.017 )

18 { Reticoli Frequenza Spaziale: Il numero di cicli di un reticolo per unità di angolo visivo (usualmente misurato in gradi) Intensità luminosa x 1 ciclo Reticoli sinusoidali Vista come superficie 3D I (x,y) Intensità luminosa { 1 ciclo x Vista come proiezione I (x)

19 Reticoli sinusoidali //fase Intensità luminosa Fase: posizione relativa del onda sinusoidale x 1 ciclo Reticolo sinusoidale //frequenza e contrasto Frequenza Spaziale: Il numero di cicli di un reticolo per unità di angolo visivo (usualmente misurato in gradi) angolo visivo fra 2 strisce bianche: 0.25 a 120 cm sf = 2 cicli/grado sf = 1 / 0.25 = 4 cicli/grado sf = 8 cicli/grado

20 Reticolo sinusoidale //frequenza e contrasto Problema: E vero che più larghe sono le strisce (minore sf) e più facile è distinguerle? angolo visivo fra 2 strisce bianche: 0.25 a 120 cm sf = 2 cicli/grado sf = 1 / 0.25 = 4 cicli/grado sf = 8 cicli/grado Reticolo sinusoidale //frequenza e contrasto Contrasto: Alto contrasto Basso contrasto Luminanza L max a L 0 Luminanza λ SF=1/λ a L 0 Spazio L min Spazio

21 Reticolo sinusoidale //frequenza e contrasto Contrasto: Soglia di contrasto: quantità minima di contrasto necessaria alla rilevazione di un immagine Reticolo sinusoidale //frequenza e contrasto

22 Reticolo sinusoidale //frequenza e contrasto Reticolo sinusoidale //frequenza e contrasto: FSC Funzione di sensibilità al contrasto (FSC): 1 / soglia di contrasto Alta CSF = bassa soglia contrasto = poco contrasto necessario per risolvere l immagine Bassa CSF = elevata soglia contrasto = molto contrasto necessario per risolvere l immagine

23 Reticolo sinusoidale //frequenza e contrasto: FSC Funzione di sensibilità al contrasto (FSC): 1 / soglia di contrasto Alta CSF = bassa soglia contrasto = poco contrasto necessario per risolvere l immagine Bassa CSF = elevata soglia contrasto = molto contrasto necessario per risolvere l immagine Interludio: risposta di un sistema lineare a reticoli sinusoidali Cosa succede quando diamo in ingresso a S un pattern sinusoidale? input Sistema Ottico output

24 Interludio: risposta di un sistema lineare a reticoli sinusoidali Consideriamo il caso unidimensionale output input Interludio: risposta di un sistema lineare a reticoli sinusoidali Intuitivamente: input output PSF Risultato: output scalato (ampiezza diversa) e traslato in fase stessa frequenza

25 Interludio: risposta di un sistema lineare a reticoli sinusoidali Intuitivamente: input ogni impulso crea una risposta impulsiva scalata e traslata output Risultato: output scalato (ampiezza diversa) e traslato in fase stessa frequenza la somma delle risposte impulsive è la risposta finale del sistema Interludio: risposta di un sistema lineare a reticoli sinusoidali usiamo la rappresentazione generale input output

26 Interludio: risposta di un sistema lineare a reticoli sinusoidali Generalizzando a 2D Interludio: risposta di un sistema lineare a reticoli sinusoidali MTF funzione di trasferimento = Trasformata di Fourier della PSF

27 Interludio: risposta di un sistema lineare a reticoli sinusoidali e trasformata di Fourier Trasformata di Fourier: data f(x,y) calcola i coefficienti (spettro) che pesano le varie componenti sinusoidali che sommate ricostruiscono l immagine f(x,y) ANALISI Trasformata inversa di Fourier: ricostruisce l immagine f(x,y) sommando le varie componenti sinusoidali pesate dai coefficienti F(u,v) SINTESI Interludio: risposta di un sistema lineare a reticoli sinusoidali e trasformata di Fourier TRASFORMATA DI FOURIER DI UN IMMAGINE

28 Interludio: risposta di un sistema lineare a reticoli sinusoidali e trasformata di Fourier Interludio: risposta di un sistema lineare a reticoli sinusoidali e trasformata di Fourier

29 Interludio: risposta di un sistema lineare a reticoli sinusoidali e trasformata di Fourier Principio di Indeterminazione Interludio: risposta di un sistema lineare a reticoli sinusoidali e trasformata di Fourier Suono Immagini Componenti (armoniche 1D) Componenti (armoniche 2D)

30 Interludio: risposta di un sistema lineare a reticoli sinusoidali e trasformata di Fourier Posso visualizzare le componenti (armoniche 2D) sfruttando la proprietà colloco degli impulsi nel dominio delle frequenze antitrasformo nel dominio dello spazio Interludio: risposta di un sistema lineare a reticoli sinusoidali e trasformata di Fourier Posso visualizzare le componenti (armoniche 2D) sfruttando la proprietà colloco degli impulsi nel dominio delle frequenze antitrasformo nel dominio dello spazio

31 Interludio: risposta di un sistema lineare a reticoli sinusoidali e trasformata di Fourier Ricostruisco l immagine per componenti Interludio: risposta di un sistema lineare a reticoli sinusoidali e trasformata di Fourier Ricostruisco l immagine per componenti

32 Interludio: risposta di un sistema lineare a reticoli sinusoidali e trasformata di Fourier Ricostruisco l immagine per componenti Interludio: risposta di un sistema lineare //trasformate e sistemi input output nello spazio nelle frequenze

33 Interludio: risposta di un sistema lineare //trasformate e sistemi input output dominio dello spazio input output dominio delle frequenze Interludio: risposta di un sistema lineare //trasformate e sistemi nello spazio input output dominio dello spazio Anatomia di una convoluzione discreta (filtraggio) Kernel (PSF) * Convoluzione Immagine input Immagine output

34 Interludio: risposta di un sistema lineare //trasformate e sistemi nello spazio output Interludio: risposta di un sistema lineare //trasformate e sistemi in frequenza input output input output

35 Interludio: risposta di un sistema lineare //trasformate e sistemi in frequenza output input Interludio: risposta di un sistema lineare //trasformate e sistemi in frequenza input output input output

36 Interludio: risposta di un sistema lineare //trasformate e sistemi in frequenza output dominio dello spazio input dominio delle frequenze Interludio: risposta di un sistema lineare //trasformate e sistemi in frequenza

37 Come funziona JPEG baseline (Joint Photographic Experts Group) CODIFICA DECODIFICA Come funziona JPEG baseline (Joint Photographic Experts Group) CODIFICA Trasformazione da RGB a Y Cb Cr Estrazione di un blocco di 8x8 pixel per Y, Cb e Cr Calcolo della trasformata discreta coseno (DCT) del blocco Quantizzazione dei coefficienti della DCT Compressione dei coefficienti quantizzati

38 Come funziona JPEG baseline //trasformata coseno CODIFICA Come funziona JPEG baseline //trasformata coseno Funzioni di base FFT Funzioni di base DCT

39 Come funziona JPEG baseline //trasformata coseno CODIFICA Come funziona JPEG baseline

40 Come funziona JPEG baseline Come funziona JPEG baseline

41 Come funziona JPEG baseline Come funziona JPEG baseline