Università degli Studi di Trieste

Transcript

1 Università degli Studi di Trieste DIPARTIMENTO DI INGEGNERIA E ARCHITETTURA Corso di Laurea in Ingegneria Elettronica STUDIO DI FATTIBILITÀ E IMPLEMENTAZIONE DI ALGORITMI ATTI A MIGLIORARE LA PERCEZIONE DEL DETTAGLIO IN IMMAGINI DIGITALI Laureando: Diego Moimas Relatore: Prof. Stefano Marsi Trieste, 7 dicembre 2012

2 Premessa Analisi di alcuni dei limiti nella percezione del dettaglio nelle immagini Presentazione di una possibile soluzione Implementazione della soluzione Problematiche riscontrate

3 La percezione del dettaglio Problemi dovuti alla dinamica limitata del sistema visivo umano Problemi dovuti alla presenza di dettagli circostanti all area di interesse

4 Ipotesi di miglioramento Miglioramento localizzato (con eye-tracking) immagine migliorata solo nella zona osserva immagine di sfondo meno incisiva altrove Filtraggio in grado di compensare aree sotto e sovraesposte enfatizzare i dettagli

5 Scelta della piattaforma Sviluppo su FPGA Efficienza (performance/consumi) maggiore rispetto ad un sistema con CPU general purpose (es: applicazioni mobile) Flessibilità nello sviluppo

6 Strumenti disponibili Piattaforma hardware Altera Cyclone III Video Development Kit DVI I/O 1080p60 memoria DDR2, SSRAM, esp. HSMC Quartus II con Q-Sys per SOPC Altera Video Image and Processing Suite Filtro Retinex già sviluppato in precedenza

7 Il sistema di elaborazione

8 Il sistema di elaborazione Interfacciamento con il transceiver DVI Filtraggio tramite Retinex per ottenere l immagine migliorata e quella di sfondo Fusione con Alpha Blending Mixer e con maschera circolare controllata dall esterno Microprocessore per controllo filtraggio e interfacciamento con l utente

9 Il sistema di elaborazione

10 L'ingresso video e il filtraggio Conversione del segnale DVI in Avalon-ST Conversione spazio color RGB in YCbCr Elaborazione col filtro Retinex

11 Il filtro Retinex - teoria Modellizzazione dell immagine percepita come prodotto dell illuminazione e della riflettività degli oggetti

12 Il filtro Retinex - teoria Stima dell illuminazione e quindi della riflettività Elaborazione di questi segnali e successiva ricostruzione dell immagine

13 Il filtro Retinex - implementazione Stima dell illuminazione con filtro mediano ricorsivo separabile Elaborazione di illuminazione e riflettività del tipo correzione gamma a LUT Input analyzer per adattamento a μp Rimappatura delle crominanze

14 Il filtro Retinex - implementazione

15 Il filtro Retinex - integrazione Realizzazione di un componente Q-Sys con interfacce Avalon-MM e Avalon-ST

16 Fusione dei flussi Output del Retinex (riconvertito in RGB) Processing completo (immagine migliorata) Stima della luminosità corretta (sfondo) Mixing con Alpha Blending lettura dati Alpha da frame buffer con maschera scritta dal microprocessore

17 Uscita video Double-buffering del flusso finale e conversione in DVI per l uscita

18 Il controllo a μp Processore NIOS II RISC 32-bit customizzabile con FPU Gestione della catena video Adattamento continuo dei parametri del filtro Retinex Generazione e controllo maschera Alpha Interfacciamento PS/2 per mouse e tastiera tramite scheda custom

19 Il controllo a μp

20 La mascheratura Generazione solo all avvio o al cambio parametri (non durante il movimento) Fotogramma intero a 8 bit in framebuffer su memoria esterna per il canale Alpha Riposizionamento tramite variazione offset di lettura del framebuffer

21 La mascheratura Cerchio pieno (massima opacità immagine migliorata) centrato nel punto osservato Decadimento opacità con profilo gaussiano Parametri impostabili da tastiera

22 Dati di compilazione Utilizzo FPGA: Logic Elements: circa 70% RAM blocks M9K: circa 60% Routing: circa 23%

23 Prestazioni ottenute Frequenza adattamento (aggiornamento LUT) circa 0.2s / 20s (senza/con rimappatura crominanze) Consumo core FPGA: ~ 1.68W

24 Problematiche emerse Necessità di aggiungere numerosi buffer FIFO sulla catena video Necessità di funzionamento asincrono del microprocessore e conseguente utilizzo dei clock crossing adapters Necessità di utilizzare la SSRAM esterna come memoria per il microprocessore Limiti nella larghezza del bus per la SSRAM

25 Considerazioni Sistema al limite della stabilità come frequenze operative (difficoltà in compilazione a rispettare i vincoli temporali) Utilizzo di risorse elevato per privilegiare le performance Circolo vizioso dovuto alla forte interconnessione di tutti i componenti

26 Sviluppi futuri Sensore di luminosità ambiente Mascheratura non rientrante Set di immagini e video per test con gruppi di persone

27 Grazie per l attenzione.