Misure attraverso sistemi di visione. Ing. Emanuele Zappa

Transcript

1 Misure attraverso sistemi di visione Ing. Emanuele Zappa

2 Formazione dell immagine e visione 2 Il processo di formazione dell immagine può essere inteso come il processo opposto alla visione: Formazione dell immagine Visione Oggetti Immagini Immagini Oggetti

3 Immagini digitali 3 Per noi una immagine sarà un array bidimensionale di luminosità (immagini a scala di grigi): I = f ( x, y, t) formalmente possiamo dire che, fissato un certo istante t, una immagine è una mappa I, definita su una regione compatta bidimensionale Ω, dove ogni elemento prende il valore nell ambito dei numeri reali positivi: I : Ω R 2 + R ; ( x, y) I ( x, y)

4 Rappresentazione immagini digitali (1/3) 4 L immagine può essere rappresentata: 1. in forma grafica, come una superficie [x, y, I(x,y)]. Ω è pari alla dimensione dell immagine (dimx, dimy), mentre I varia da 0 a 255.

5 Rappresentazione immagini digitali (2/3) 5 2. come array di numeri, di dimensione Ω, con elementi aventi valori pari ad I (valori compresi tra 0 e 255)

6 Rappresentazione immagini digitali (3/3) 6 3. come immagine

7 7 Pre-processing delle immagini Operazioni di analisi necessarie per: 1. Evidenziare i dettagli di interesse nell immagine 2. Ridurre l effetto del rumore 3. Eliminare distorsioni dell immagine dovute ad esempio ad aberrazioni ottiche oppure a prospettiva

8 L elaborazione delle immagini 8 L elaborazione delle immagini ha lo scopo di estrarre, dall enorme mole di informazioni a disposizione, quella significativa. Ad esempio: presenza di un oggetto orientazione di un marchio misura di una certa caratteristica

9 Operatori sul singolo pixel 9 In modo formale possiamo definire questi operatori come un certo h tale per cui: g ( x, y) = h[ f ( x, y)] L operatore più semplice che possiamo immaginare è quello che ci permette di invertire una immagine: g ( x, y ) = 255 f ( x, y ) in quanto sostituisce il bianco al nero e viceversa:

10 10 In modo formale la definizione di questi operatori è: ), ( ), ( ), ( y x f y x h y x g = Dove il simbolo * rappresenta una convoluzione fra una matrice h 3x3 o 5x5 il cui pixel centrale coincide con quello di cui si intende calcolare la luminosità. Operatori sull intorno del pixel Volendo ad esempio estrarre dall immagine punti con intensità diversa dallo sfondo uniforme la maschera sarà: = h

11 11 Volendo al contrario eliminare contrasti troppo elevati presenti nell immagine, una possibile maschera è: 9 / = h Operatori sull intorno del pixel Volendo ricercare gli edge si può utilizzare il famoso filtro di Sobel: 2 / = h

12 Operatori sull intera immagine 12 Si parla in questo caso di trasformata, di cui sicuramente la più famosa è quella di Fourier. Senza entrare nei dettagli, questa trasformata considera l immagine come una funzione a due gradi di libertà che esprime la luminosità di ogni punto e la sviluppa in serie. Ci limitiamo a riportare un esempio in cui la trasformata di Fourier viene utilizzata per rimuovere un disturbo il cui risultato sono una serie di linee orizzontali

13 Prospettiva, aberrazioni e conversione in millimetri 13 L esecuzione di misure su immagini necessita della massima attenzione verso le possibili distorsioni delle stesse che possono essere introdotte a più livelli della catena di misura. Rimane comunque la necessità di inserire una operazione di taratura in modo da: 1) potere esprimere le misure effettuate in pixel in coordinate reali mondo. 2) Compensare eventuali aberrazioni ottiche.

14 Compensazione prospettiva e aberrazioni 14 Immagine originale Immagine corretta Informazioni di caibrazione

15 15 Misurare con le immagini

16 La visione per le misure 16 La coordinate dei singoli punti sono ricavate con metodi ottici e quindi senza contatto nel senso meccanico del termine. Come esempi: Misura di un punto singolo; Misura dei punti contenuti in un piano; Misura dei punti su una superficie.

17 Misura di un punto (spostamento lungo una direzione) 17 Diodo laser Laser a triangolazione Fotorilevatore Rifrazione in tutte le direzioni Campo di misura 17

18 Misura di profili 3D 18 Profilometro: Un laser proietta un piano di luce che viene osservato da una telecamera matriciale disposta con l asse ottico incidente rispetto a tale piano.

19 Misura di superfici 19 Scanner a frange: Proietto frange bianche enere (es. linee parallele o cerchi concentici). Analizzando la deformazione delle ombre proiettate sull oggetto si risale alla sua geometria.

20 Le misure monodimensionali 20 Le misure monodimensionali prevedono la ricerca all interno dell immagine di uno o più dettagli le cui coordinate esprimono la posizione degli oggetti di interesse. Es. Edge: Es. Blob:

21 Le misure monodimensionali 21

22 Le misure bidimensionali: Algoritmi di ricerca Blob Detection 2. Patern Matching a livelli di grigio 3. Pattern Matching geometrico

23 Algoritmi di ricerca 23 Originale Blob Detection Binarizzata Baricentri blob

24 Algoritmi di ricerca 24 Pattern Matching a livelli di grigio Ricerca di diversi modelli in una immagine

25 Algoritmi di ricerca Pattern matching geometrico: cerco oggetti con lo STESSO CONTORNO dei modelli. Modelli 25 Funziona anche con parziale occlusione

26 Le misure tridimensionali 26 Le misure tridimensionali prevedono la ricerca all interno delle immagini riprese da almeno due telecamere disposte stereoscopicamente di uno o più target le cui coordinate esprimono la posizione degli oggetti di interesse. Il target è spesso rappresentato da una sfera in quanto rappresenta l unica figura geometrica invariante rispetto all orientazione intesa come rotazione attorno ad un qualsiasi asse passante per il suo baricentro. La determinazione del baricentro avviene separatamente nelle due immagini stereoscopiche e quindi, per triangolazione, viene ricavata la sua coordinata tridimensionale.

27 Stereoscopia: idea base 27 Stereoscopia: Osservo la scena da diversi punti di vista e calcolo le coordinate 3D dei punti attraverso triangolazione.

28 Stereoscopia: Elementi hardware 28 Telecamere stereoscopiche Filtri IR Illuminatori IR Marker catarifrangenti

29 Stereoscopia - Applicazione 29 Rilievo della geometria 3D di barre per generatori

30 Stereoscopia: Applicazione medica 30 Solitamente, per sicurezza, invece delle due telecamere se ne utilizzano tre in modo da poter di eseguire per ogni punto tre triangolazioni e quindi di verificarne la correttezza. Applicazione della visione stereoscopica in un neuronavigatore.

31 31 Sistemi di acquisizione delle immagini

32 Sistemi per l acquisizione di immagini 32 Gli strumenti per l acquisizione di immagini che approfondiremo operano nel visibile e sono: Videocamere: acquisiscono immagini bidimensionali (area scan camera) o lineari (digital scan camera) in sequenza;

33 Telecamere analogiche 33 Le telecamere analogiche rappresentano la soluzione più economica e diffusa. La soluzione analogica è stata imposta dall utilizzo dei sensori vidicon e quindi si è mantenuta per compatibilità con il passato.

34 Telecamera analogica 34 Vantaggi: collegamento con un unico cavo (RG 59); determinismo nei tempi di trasferimento. Svantaggi banda passante limitata; scarsa immunità ai disturbi; estremo sensibilità alla corretta temporizzazione dei segnali.

35 Telecamere digitali 35 La sezione di acquisizione è fondamentalmente simile a quella delle telecamere analogiche ma integra un convertitore ADC. Questa soluzione permette di ottenere immagini di qualità superiore (soprattutto dal punto di vista geometrico) e di utilizzare un cablaggio più semplice ed economico.

36 Interfacciamento delle telecamere 36 Le telecamere vengono interfacciate verso un elaboratore (spesso un personal computer) con le seguenti modalità: a) direttamente (USB, Firewire, Gigabit ethernet) b) tramite hardware dedicato (frame grabber, analogici o digitali, con o senza capacità di elaborazione)

37 USB (universal serial bus) 37 Lo standard USB è stato sviluppato da un consorzio (Intel; Microsoft, IBM ) originariamente per ridurre il numero di connessioni fisiche (cavi) delle periferiche per PC. Vantaggi: Svantaggi collegamento a caldo delle periferiche; alimentazione diretta non esiste per ora uno standard per le telecamere USB per cui ogni dispositivo deve avere i suoi driver

38 USB (universal serial bus) 38 USB 1.1 primo standard introdotto nel 1995 con un data rate di 12 Mb/s, nascono le web-cam. USB 2 evoluzione dello standard precedente, la velocità viene elevata a 300 Mbps; è possibile avere immagini in tempo reale anche da due telecamere ad alta risoluzione.

39 IEEE-1394 (Firewire) 39 Lo standard Firewire è stato sviluppato da Apple come bus per l interfacciamento di periferiche a personal computer. La sua fortuna è dovuta al fatto che è diventato lo standard per il trasferimento di filmati dalle videocamere amatoriali aderenti allo standard DV. Vantaggi: Svantaggi plag and play reale opzione di alimentazione diretta il tempo di trasferimento dell immagine dalla telecamera all elaboratore non è deterministico.

40 IEEE IEEE 1394a primo standard con un data rate di 400 Mbps, sufficiente a trasferire i filmati in formato digitale. IEEE 1394b data rate incrementato a 800 Mbps. Per quanto detto è importante che le telecamere Firewire abbiano un buffer a bordo per evitare la perdita di immagini a causa del traffico sul bus.

41 Camera link 41 Attualmente è lo standard per la realizzazione di applicazioni affidabili ad elevata velocità (225 Mb/s). Sfrutta la tecnologia Channel Link sviluppata da National Semiconductor per serializzare dei dati paralleli in modo da poterli trasmetterli con un numero limitato di cavi. Il collegamento è punto a punto e quindi garantisce il determinismo nei tempi di trasmissione tra telecamera ed elaboratore.

42 TCP-IP Camera 42 L acronimo si riferisce alle telecamere che si collegano all elaboratore tramite una rete ethernet, meglio se Gigabit in modo da avere una banda di 80 Mb/s.

43 TCP-IP Camera 43 Vantaggi l utilizzo della stessa tecnologia delle reti permette di realizzare topologie anche molto complesse e di coprire anche notevoli distanze; lo standard TCP-IP permette di sostituire in modo trasparente le telecamere di diversi fornitori e con diverse caratteristiche; Svantaggi standard emergente; il tempo di acquisizione di una immagine non è deterministico in quanto dipende dalla banda disponibile e dal traffico di rete.

44 Il sistema di elaborazione 44 L utilizzo di un personal computer abbinato ad un scheda di acquisizione stupida rappresenta la soluzione oggi più diffusa in quanto: l hardware, essendo standard, ha un basso costo; l hardware ha raggiunto prestazioni sufficienti per quasi tutte le applicazioni; l interfaccia standard di Windows ne semplifica l utilizzo: gli svantaggi sono i problemi relativi all utilizzo di un software nato per applicazioni non industriali.

45 Sensori per l acquisizione di immagini 45 I sensori per l acquisizione di immagini attualmente sul mercato sono: CCD (charge coupled device); CMOS (complementary metal oxide semiconductor). I sensori possono essere classificati: in base alle caratteristiche delle immagini fornite: monocromatiche; a colori. in base alla geometria del sensore: lineari; matriciali.

46 CCD - generalità 46 I CCD sono stati introdotti nel 1970 da Boyle e Smith e hanno soppiantato completamente la tecnologia a tubo precedentemente utilizzata. I punti di forza dei CCD rispetto ai tubi sono: elevata qualità dell immagine ripresa; stabilità della geometria dell immagine nel tempo; ottimo rapporto segnale / disturbo; basso costo; possibilità di ottenere risoluzioni elevate.

47 CCD struttura geometrica 47 Il CCD è tipicamente formato da un certo numero (da qualche centinaio di migliaia a qualche milione) di elementi sensibili alla luce (pixels) disposti in righe e colonne come gli elementi di una matrice. In modo semplificato ognuno di essi può essere pensato come una minuscola cella solare che, trasformando la luce incidente in cariche elettriche, permette di misurarne l intensità

48 CCD risposta spettrale 48 La sensibilità spettrale del CCD è più estesa di quella dell occhio umano per cui per ottenere delle immagini simili a quelle proposte dal sistema di percezione visiva si devono utilizzare dei filtri che eliminano alcune lunghezze d onda elettromagnetiche. In alcune applicazioni questa ampia sensibilità spettrale viene sfruttata, si pensi ad esempio alla sensibilità nell infrarosso che permette alle telecamere di sorveglianza di filmare in totale assenza di luce visibile.

49 CMOS - generalità 49 I CMOS sono stati introdotti successivamente e, inizialmente promettevano di sostituire rapidamente e completamente i CCD in virtù della maggiore semplicità costruttiva. Foveon 4k x 4k sensor 0.18µ process 70M transistors

50 CMOS - generalità 50 La verifica con il mercato ha dimostrato che, più che sostituirsi ai CCD, hanno inventato dei nuovi mercati sfruttando alcune loro caratteristiche peculiari. Ad esempio: il loro costo modesto ha reso possibile la diffusione delle fotocamere nei cellulari e nei giocattoli, la possibilità di avere acquisizioni ad alta velocità ha permesso lo sviluppo di telecamere per lo studio degli eventi veloci quali i crash test delle auto.

51 CMOS vantaggi rispetto ai CCD 51 accesso casuale ai pixel; maggiore dinamica; costo decisamente inferiore; livello di integrazione decisamente superiore; consumi decisamente inferiori; possibilità di integrare funzionalità accessorie nel chip (solo per alti volumi) e di utilizzare fonderie di silicio standard (le stesse di microprocessori e memorie); caratteristiche anti-blooming e anti-smearing dovute alla connversione cariche/tensione direttamente nel pixel.

52 CMOS svantaggi rispetto ai CCD 52 rapporto segnale/disturbo; peggiore sensibilità (ogni pixel necessita di un certo numero di transistor localizzati nelle sue vicinanze che peggiorano il rapporto area sensibile/area totale);

53 CMOS approfondimento accesso casuale 53 I sensori CMOS permettono di indirizzare il singolo pixel in quanto tutte le funzionalità di conversione sono integrate attorno ai singoli fotodiodi. Questo permette di definire delle ROI (region of interest) dinamiche che, al diminuire delle loro dimensioni, permettono di incrementare significativamente il numero di immagini al secondo (frame rate) a valori non compatibili con la tecnologia CCD. Ex: risoluzione 640 x 480 -> 100 fps risoluzione 640 x 240 -> 200 fps risoluzione 320 x 240 -> 400 fps (valori indicatvi!)

54 CMOS approfondimento dinamica 54 La tecnologia CMOS permette di implementare una funzione di trasferimento logaritmica tra l intensità della luce incidente e la tensione in uscita. Questo permette al dispositivo di catturare correttamente delle scene che si caratterizzano per importanti differenze di luminosità nella stessa immagine (tale possibilità è importante nelle applicazioni di sorveglianza ed automotive).

55 CMOS news: LinLog technology 55 La tecnologia LinLog permette di convertire le cariche acquisite con una caratteristica lineare (alle basse luminosità) e logaritmica (alle alte luminosità). Il punto di transizione tra le due caratteristiche può essere liberamente programmato ( Caratteristica lineare/logaritmica della risposta di un sensore LinLog Immagine LINLOG di lampada a 100W e ventilatore rotante a ~ 600rpm. Tempo di esposizione 100ms, diaframma N=1.4, focale 16mm. La figura mastra l immagine non trattata

56 Sensori matriciali a colori 56 Premesso che ottengo ogni immagine a colori a partire da tre immagini acquisite nel rosso, nel verde e nel blu, i sensori matriciali per acquisire immagini a colori sono: 1) sensore matriciale con filtro a mosaico (filtro di Bayer); 2) prismi e tre sensori monocromatici filtrati; 3) più immagini singolarmente filtrate; 4) sensori matriciali RGB.

57 Sensori matriciali con filtro a mosaico (1 chip) 57 L acquisizione di immagini a colori con un singolo sensore si basa su un filtro colore a mosaico che copre l area sensibile del sensore (detto di Bayer). Il filtro fa in modo che i singoli pixel ricevono solo i fotoni di un colore primario. Siccome l occhio umano è più sensibile alla luce verde, la maggior parte dei filtri contiene il 50% di filtri verdi, il 25% di filtri rossi ed il 25% di filtri blu in modo da ottenere una immagine più contrastata.

58 Sensori matriciali con filtro a mosaico (1 chip) 58 Le componenti cromatiche dei singoli pixel vengono ricostruite utilizzando le informazioni contenute negli otto pixel adiacenti come mostrato nella figura. Questa soluzione spiega il motivo per cui, a parità di numero di pixel del sensore, le immagini a colori scontano una risoluzione inferiore rispetto a quella della immagini a livelli di grigio.

59 Sensori matriciali con filtro a mosaico: interpolazione 59 La ricostruzione dei valori cromatici dei pixel mancanti non è esente da problematiche:

60 Sensori matriciali con filtro a mosaico: interpolazione 60 L algoritmo di interpolazione utilizzato ha una importanza fondamentale sulla qualità delle immagini acquisite. Come mostra la figura infatti, la qualità di due immagini acquisite con lo stesso sensore ma interpolate con due algoritmi diversi può essere drasticamente diversa.

61 Sensori matriciali a colori (3 chip) 61 L acquisizione di immagini a colori con tre sensori prevede che la luce proveniente dalla scena sia separata in tre raggi ciascuno dei quali viene diretto verso un singolo CCD dotato di un filtro corrispondente ad un colore primario (rosso, verde e blu). Il sistema permette di mantenere la piena risoluzione ma devo usare tre sensori ed allinearli in modo molto accurato.

62 Singole immagini acquisite in sequenza con filtri colorati Con una telecamera in bianco e nero (nessun filtro di Bayer) vengono acquisite in rapida sequenza 3 immagini, una con filtro rosso, una con filtro verde, una con filtro blu. La soluzione può essere utilizzata solo per immagini statiche. Ha un interesse storico e scientifico. Permette di mantenere la risoluzione del sensore B/N e di utilizzare più bande di colore. 62

63 CMOS colori news: Foveon technology 63 La tecnologia introdotta da Foveon permette di realizzare sensori CMOS colore che, sfruttando la proprietà della radiazione rossa, verde e blu di penetrare il silicio a diversa profondità, acquisiscono le tre componenti cromatiche per ogni singolo pixel (

64 Confronto sensori a mosaico con Foveon 64 Sez. Misure Politecnico di Milano Misure con sistemi di visione