Dispense del corso di Sistemi di Elaborazione. Acquisizione di immagini

Transcript

1 Dispense del corso di Sistemi di Elaborazione Acquisizione di immagini

2 Acquisizione dell immagine Le immagini derivano dalla digitalizzazione di segnali provenienti da diversi sensori: fotocamera telecamera scanner La sorgente è sempre un sensore digitale L immagine è acquisita da sensori digitali in grado di misurare e catturare la quantità di fotoni che li raggiunge (la luce). La superficie del sensore è formata da minuscoli fotositi disposti secondo una griglia regolare (campionatura spaziale intrinseca). Questi fotositi sono i micro-sensori che effettuano la conversione da fotoni in elettroni. Il convertitore Analogico Digitale (ADC) produce l informazione numerica. Inizialmente creati come memorie non volatili in seguito utilizzati come fotorecettori Si dividono in due principali tecnologie costruttive: CCD e CMOS 2

3 CCD (charge coupled device ) Sensore allo stato solido inventato nel 1969 ai laboratori Bell da Smith e Willard Amplificazione, ADC e elaborazione esterna al sensore Immagini ad alta qualità (fill factor anche 100%), basso rumore (cariche azzerate ad ogni lettura) Quattro tipi principali: lineare, interline, full frame, frame transfer matrici monodimensionali (telecamere lineari) matrici bidimensionali (telecamere matriciali) Processo di produzione particolare Costoso!! Le cariche nella prima riga vengono trasferite verticalmente al read out register che le manda all amplificatore e quindi all ADC. Lettura riga per riga. Shift register Lettura di una riga intera Clock verticali seriali (no windowing) Alto consumo elettrico Linea di fotorecettori Clock paralleli Read out register AMPL 3

4 Analogia tra fotoni e pioggia Per capire il funzionamento di un CCD possiamo ricorrere a questa semplice analogia tra i fotoni e le gocce di pioggia: Alcuni secchi (pixel) sono distribuiti in un campo (piano focale del telescopio) e sono appoggiati su una serie di nastri trasportatori (colonne del CCD). I secchi raccolgono la pioggia (fotoni) che cade sul campo. I nastri trasportatori inizialmente sono fermi. La pioggia cade e riempie i secchi (esposizione). Finita la pioggia (chiusura dell otturatore) i nastri trasportatori si muovono e fanno sì che l acqua sia raccolta in un contenitore graduato (amplificatore) collocato in uno degli angoli del campo (angolo del CCD). Nelle prossime diapositive il funzionamento dei nastri trasportatori viene schematizzato con una animazione: 4

5 PIOGGIA (FOTONI) NASTRI TRASPORTATORI VERTICALI (COLONNE DEI CCD) SECCHI (PIXEL) I secchi raccolgono la pioggia (durante la posa i pixel raccolgono i fotoni) NASTRO TRASPORTATORE ORIZZONTALE (REGISTRO SERIALE) CONTENITORE GRADUATO (AMPLIFICATORE IN USCITA) 5

6 Al termine i secchi contengono una certa quantità di acqua (al termine della posa i pixel contengono una certa quantità di carica) 6

7 I nastri trasportatori entrano in funzione e spostano i secchi. La prima fila di secchi sui nastri verticali viene spostata sul nastro orizzontale. 7

8 I nastri verticali si fermano. Il nastro orizzontale travasa il contenuto del primo secchio nel contenitore graduato. 8

9 Il contenuto di pioggia del primo secchio viene misurato. Il contenitore viene svuotato ed è pronto a ricevere la pioggia contenuta nel secondo secchio. La procedura è ripetuta per tutti i secchi della fila. ` 9

10 10

11 11

12 12

13 13

14 Una nuova fila di secchi viene spostata sul nastro orizzontale e la procedura di misura è ripetura per tutte le file di secchi. 14

15 15

16 16

17 17

18 18

19 19

20 20

21 21

22 22

23 23

24 24

25 25

26 La lettura del CCD è completa quando il contenuto tutti i secchi è stato misurato. 26

27 CCD 27

28 CMOS (Complementary Metal Oxide Semiconductor) Inventato prima del CCD ma poco utilizzato fino a qualche anno fa Stessa tecnologia produttiva dei moderni processori per computer (tipo Pentium IV) maggiore integrabilità (sensori micro, smart camera) e abbassamento costi Amplificazione, ADC e elaborazione all interno di ogni pixel Maggiore flessibilità di acquisizione (windowing, selezione di area) Sensibile al rumore dovuto alla non uniformità del silicio (ampli con diverse caratteristiche) sono utilizzati circuiti di compesazione basati sulle caratteristiche del singolo chip Fill factor < 100% (spazio per i circuiti) Utilizzo di microlenti (più che nei CCD) luce area sensibile aree non sensibili Basso consumo elettrico (1/100 del CCD) dispositivi portatili (smartphone,pda,..) Ultimamente CMOS ad alta qualità usati in ambito professionale 28

29 CCD: Il chip contiene solo i sensori e la conversione elettrone tensione Voltaggio di polarizzazione maggiore e clock esterno Se l applicazione cambia, basta modificare l elettronica esterna senza ridisegnare il sensore Schemi logici CMOS: La maggior parte dell elettronica è dentro al chip Singolo livello di clock e voltaggio di polarizzazione (bias) Se cambia l applicazione è necessario riprogettare il sensore 29

30 Dal bianco e nero al colore La cella fotosensibile converte l intensità di luce, ma non è sensibile alla lunghezza d onda, un colore per pixel Acquisizione monocromatica Soluzione Color Filter Array (CFA): Pattern di Bayer (Bryce Bayer, Kodak) RGBG - Cella 2x2, 2 pixel verdi, 1 blu, 1 rosso Occhio umano più sensibile al verde Il filtro diminuisce la sensibilità alla luce, diventa 1/3 del monocromatico Varianti: CMY-Y, CMY+G, RGB+E (Sony) più sensibili Ricostruzione full color con interpolazione Problemi di color aliasing nei punti a forte contrasto 30

31 Trasformare il pattern di Bayer in un immagine RGB full color Interpolazione per convoluzione: Nearest neighbor, bilineare, cubica [Sak98],[Ram02]. Bilineare: Demosaicatura (a) e (b): R = (R1+R2)/2 B = (B1+B2)/2 (c) e (d): G = (G1+G2+G3+G4)/4 B = (B1+B2+B3+B4)/4 R = (R1+R2+R3+R4)/4 [Sak98] Sakamoto et al., Software Pixel Interpolation for digital still cameras suitable for a 32-bit MCU, IEEE Tran. Consumer Electronics, 1998 [Ram02] Ramanath et al., Demosaicking methods for Bayer color array, Journal of Electronic Imaging,

32 L interpolazione dà un approssimazione dei colori mancanti L immagine ha una risoluzione cromatica inferiore Artefatti di aliasing corretti con filtro di blur diminuzione di nitidezza Fovon X3[lyo02] Nuova tecnologia introdotta da Foveon nel 2002 Acquisizione full color, sensore a 3 strati, ogni pixel cattura contemporaneamente i 3 colori Sfrutta l abilità del silicio ad assorbire differenti lunghezze d onda di luce a differnti profondità Filtro colore al silicio ha meno variabilità nella risposta al colore rispetto al filtro colore plastico Più costoso delle tecnologie basate su pattern [lyo02] Lyon et al., Eyeing the Camera: Into the Next Century, IT&T/SID Tenth Color Imaging Conference,

33 Foveon X3 Incremento di nitidezza in luminosità e crominanza Risoluzione reale No artefatti (aliasing) Esempio Pattern Foveon 33

34 Il prisma dicroico Un prisma dicroico è in grado di separare la luce in due raggi di diverse lunghezze d onda (colore). Di solito vengono realizzati combinando prismi di vetro e pellicole ottiche che riflettono o trasmettono selettivamente la luce a seconda della lunghezza d onda. Quindi alcune superfici del prisma agiscono come filtri dicroici e vengono utilizzati come separatori di raggi luminosi in numerosi strumenti ottici. Una applicazione tipica è quella di dividere in tre componenti la luce all interno di alcune telecamere (le cosiddette 3 CCD). Un prisma tricroico si ottiene combinando opportunamente due filtri dicroici per separare l immagine nelle componenti rossa, verde e blu, successivamente,misurate da tre diversi CCD. 34

35 Un layout tipico è visibile nello schema. Un raggio luminoso entra nel primo prisma (A) e la componente blu viene riflessa da un rivestimento filtrante passa-alto (F1) che riflette la luce blu, ma trasmette le lunghezze d onda superiori. Il raggio blu subisce una riflessione interna totale (grazie alla geometria del prisma) ed esce lateralmente. Il resto del raggio entra in un secondo prisma (B) e viene diviso da un secondo rivestimento filtrante (F2) che riflette la luce rossa ma trasmette lunghezze d onda inferiori. Il piccolo spazio d aria tra i due prismi consente la riflessione interna totale. Il prisma dicroico 35

36 Schema di telecamera 3 CCD 36

37 Dispositivi di acquisizione SCANNER una sorgente di luce interna scandisce una linea del foglio: parte della luce e assorbita dall inchiostro e parte viene riflessa ed acquisita da un sensore CCD lineare 37

38 Immagini di Profondità Scanner 3D per l acquisizione di immagini di profondità depth o range image puntuali, a matrice 38

39 Telecamere analogiche Generano un segnale che fornisce informazioni analogiche sull immagine campionata riga per riga Inizialmente usavano tubi da ripresa, sostituiti poi da sensori a stato solido CCD (senza la circuiteria di conversione digitale!) Necessitano della fase di campionamento e quantizzazione (frame-grabber) Usano formati standard Telecamere digitali Generano segnale digitale e si interfacciano al calcolatore mediante opportuni driver Non necessitano di ulteriori passaggi (AD/DA) per il trasferimento su PC preservando la qualità originale Sono molto flessibili per quanto riguarda frequenza e la risoluzione di acquisizione Usano formati proprietari (standardizzazione) Usano i sensori digitali CCD o CMOS 39

40 Standard Televisivi IMMAGINI PROVENIENTI DA TELECAMERE RISPETTANO SPESSO GLI STANDARD VIDEO NTSC (USA, Giappone) National Televison Standard Committe SECAM (Francia, Russia, Europa Est) Sequential Crominance Signal and Memory PAL (Europa, Italia, D, UK..) Phase Alternating Line (NTSC Never twice same color, SECAM Something Essential Contradictory to the American Method, PAL Peace at last) telecamere standard sono interallacciate: prima le linee dispari 1,3,5.. Poi le pari 2,4,6 Interallacciamento riduce il flicker. Attenzione per le immagini in movimento. Il numero di righe N e in corrispondenza 1 a 1 con lo standard;il n. di colonne M dipende dal campionamento nel frame grabber (M=384,512,768) 40

41 Standard Video NTSC SECAM PAL Immagini/sec 30 (29.97) Campi per secondo msec per immagine msec per campo Linee per 525 RS-170 immagine Standard USA video monocromatico Aspect ratio 4: CCIR Standard Europeo video monocromatico 4:3 4:3 μsec per linea

42 Standard Video NTSC il colore viene trasmesso come SEGNALE COMPOSITO u(t)= Y(t)+ I(t)cos(2πft+φ)+Q(t)sin(2πft+φ) dove φ=33, f e la frequenza di trasmissione a colori e 3.58 Mhz (ossia 455fl/2 dove fl e la freq di linea khz) Y componente di luminanza (I,Q) componenti di crominanza SECAM ogni linea e composta dalla luminanza Y(t) e da un segnale di crominanza (alternato ad ogni linea) U =(B-Y)/2.03 o V=(R-Y)/1.14 essendo I=V cos (33)-U sin(33), Q =V sin (33)+U cos(33) con frequenze di 4.25 e 4.41 Mhz e poi con una sottoportante per Y PAL segnale composito u(t)= Y(t)+ U(t)cos(2πft)+(-1) m V(t)sin(2πft) dove m e il n. della linea; U,V hanno la stessa freq di 1.3Mhz con la portante a 4.43Mhz Segnale composito: e il segnale di luminanza e crominanza + segnali di sincronismo Questa suddivisione è stata introdotta (al posto dell utilizzo delle 3 componenti cromatiche RGB) per la compatibilità verso le vecchie televisioni in bianco e nero. 42

43 Acquisizione segnale video Considerando lo standard europeo CCIR monocromatico picture frame freq. 25 Hz raster field freq. 50 Hz frame : 625 linee 625 x 25= linee/sec line freq Hz T=64 microsec. Acquisizione non continua (come l audio) campionatura temporale e spaziale Il campione singolo è la linea, campionata a Hz Introduzione di segnali di sincronismo orizzontali (di linea) e verticali (di campo) Livello di tensione di riferimento BIANCO Linea 0 Linea 2 livello di tensione di riferimento NERO livello di tensione di blanking livello di tensione di sincronismo Sincr. di linea 5+6.5μs 64μs Segnale video da campionare 43

44 Interlacciamento Introdotto nel 1934 per aumentare la fuidità di visione preservando la definizione (in linee) la teconologia di allora non permetteva di aumentare la velocità di acquisizione Framerate invariato introduzione di effetto blur motion Ogni frame è separato in 2 campi Le righe pari del campo al tempo t, quindi Le righe dispari del campo al tempo t+δt In ricezione i 2 campi vengono uniti per formare il frame Problemi di deinterlacciamento per immagini in movimento I segnali di sincronismo discriminano tra tipo di righe ed allineano il frame in modo che non vi siano spostamenti orizzontali o verticali dell immagine 44

45 Esempio di frame interlacciato Veicolo fermo Veicoli in movimento 45

46 Progressive Scan Sistema di acquisizione full resolution, il frame è acquisito interamente con un unica scansione Elevata risoluzione verticale delle immagini Eliminazione degli artefatti dell interlacciamento Usato nelle telecamere che scattano foto Tecnologia possibile solo negli ultimi decenni Film Camera Acquisizione su pellicola a 24 fps progressive scan Conversione in standard PAL/NTSC Telecine film NTSC: 24 frames diventano 48 fields e 4 frames diventano 5 frames Ma NTSC è 29.97fps!! Sincronizzazione DROP_FRAME time code 46