Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria Sede di Reggio Emilia

Transcript

1 Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria Sede di Reggio Emilia Corso di Laurea Specialistica in Ingegneria Meccatronica Corso di Laurea Specialistica in Ingegneria Gestionale Corso di VISIONE ARTIFICIALE ED ELABORAZIONE DEI DATI MULTIMEDIALI Capitolo 1: Introduzione alla Visione Artificiale Andrea Prati

2 Come contattarmi: Informazioni sul corso Docente: Andrea Prati Telefono: 0522/ (Reggio Emilia) 059/ (Modena) Ufficio: Stanza RE , primo piano pad. Morselli Durata del corso: circa 30 ore Orari di lezione: Ricevimento: lunedì 9-13 (lab. Informatica B - Tamburini) su appuntamento via Modalità d esame: desame: tesina-approfondimento o progetto in Matlab + orale CAPITOLO 1 Introduzione alla Visione Artificiale 2

3 Materiale didattico: Dispense a cura del docente TESTO DI RIFERIMENTO: Informazioni sul corso R.C. Gonzalez, R.E. Woods: "Digital Image Processing", 2nd Ed., Prentice Hall International Editions, ALTRI TESTI CONSIGLIATI: R.C. Gonzalez, R.E. Woods, S.L. Eddins: "Digital Image Processing Using MATLAB", Prentice Hall, 2004 C.M. Bishop: Pattern Recognition and Machine Learning, Springer-Verlag, 2006 E.R. Davies: "Machine Vision: Theory, Algorithms, Practicalities, Morgan Kaufmann Publishers, 2005 R. Hartley, A. Zisserman: Multiple View Geometry in Computer Vision, Cambridge University Press, 2003 MATLAB Image Processing Toolbox manuale M. Sonka, V. Hlavac, R. Boyle "Image Processing analysis and machine vision, i PWS pubs, 2nd ed., 1999 R. M. Haralick, L.G. Shapiro: "Computer and Robot Vision", Vol I e II, Addison-Wesley Pub. Co., Mass., USA, 1992 NEW EDITION D.A. Forsyth, J. Ponce: Computer Vision: A Modern Approach, Prentice Hall, 2003 Yao Wang, Jörn Ostermann, Ya-Qin Zhang, "Video Processing and Communications", Prentice Hall, 2005 Sito web su per: - news, appelli d esame, informazioni varie, - dispense in PDF protette da password, testi tesine CAPITOLO 1 Introduzione alla Visione Artificiale 3

4 Cenni storici 1920: primo sistema di codifica immagini a 5 livelli di grigio per trasmissioni transatlantiche (Bartlane) 1960: primo computer sufficientemente potente per fare image processing 1964: elaborazione immagini lunari (JPL, Pasadena, USA) Anni 70: diffusione visione in ambito medico e astronomico (SAR) CAPITOLO 1 Introduzione alla Visione Artificiale 4

5 Tassonomia degli approcci alla visione Esistono due tipi di classificazione: image processing (IP)/computer vision (CV)/image analysis (IA): IP: disciplina in cui sia input che output sono immagini CV: disciplina in cui si riproduce la visione umana IA: via di mezzo tra IP e CV, input=immagine, output: classe o caratteristica visione di basso/medio/alto livello: basso (miglioramento immagine, aumento contrasto, ): input=immagini, output=immagini medio (segmentazione, riconoscimento di forme, ): input=immagini, i i i output=attributi t tt ti alto (analisi di immagini, comprensione di scene, ): input=immagini immagini, output=concetti CAPITOLO 1 Introduzione alla Visione Artificiale 5

6 Applicazioni della visione artificiale Medical imaging Elaborazioni immagini SAR Ispezione industriale Video sorveglianza Guida automatica ti di robot OCR (Optical Character Recognition) Applicazioni multimediali Analisi e restauro di immagini artistiche Classificabili anche sulla base del tipo di immagini CAPITOLO 1 Introduzione alla Visione Artificiale 6

7 Applicazioni della visione artificiale CAPITOLO 1 Introduzione alla Visione Artificiale 7

8 Applicazioni della visione artificiale Medical imaging Elaborazioni immagini SAR Ispezione industriale Video sorveglianza CAPITOLO 1 Introduzione alla Visione Artificiale 8

9 Principali passi della visione artificiale 1. Acquisizione immagini/video (cap. 1) 2. Miglioramento immagine i (cap. 2) 3. Analisi del colore (cap. 3) 4. Compressione immagini e video (cap. 9) 5. Morfologia (cap. 4) 6. Segmentazione di immagini (cap. 5) 7. Rappresentazione e descrizione di regioni (cap. 6) 8. Riconoscimento di forme ed oggetti (cap. 7) 9. Visualizzazione (computer graphics e display) (non trattato) CAPITOLO 1 Introduzione alla Visione Artificiale 9

10 Componenti di un sistema di visione artificiale Computer/elaboratore Display/dispositivo iti di visualizzazione i Dispositivo di memorizzazione di massa Hardware specializzato (DSP, FPGA, multimedia processors) Software di image processing Sensori di acquisizione i i (telecamere) Stampanti CAPITOLO 1 Introduzione alla Visione Artificiale 10

11 Visione Umana L occhio è racchiuso da tre membrane: cornea/sclera: membrane spesse più esterne, trasparente (cornea) o opaca (sclera) coroide: subito sotto la sclera è piena di capillari che nutrono il bulbo oculare retina: contiene i ricettori della luce Iride e pupilla regolano la quantità di luce che colpisce la retina CAPITOLO 1 Introduzione alla Visione Artificiale 11

12 Visione binoculare Campo visivo monoculare: 160 gradi (orizz.) X 175 gradi (vert.) Campo visivo binoculare: 200 gradi (orizz.) X 135 grazi (vert.) La visione binoculare permette la stima della distanza (terza dimensione) CAPITOLO 1 Introduzione alla Visione Artificiale 12

13 Coni e bastoncelli La superficie della retina è costituita da ricettori di luce: coni (cones): 6-7 milioni, nella fovea (centro della retina); molto sensibili al colore; utilizzati per percepire i dettagli (1 cone=1 nervo); visione fotopica bastoncelli (rods): milioni, distributi sulla retina; un nervo per gruppi di bastoncelli; danno visione generale, senza dettagli; non usate per percezione colore, usati per visione con scarsa illuminazione; visione scototipica NB: Oggetti ben colorati di giorni diventano desaturati di notte perché percepiti solo dai bastoncelli. CAPITOLO 1 Introduzione alla Visione Artificiale 13

14 Densità coni e bastoncelli La distribuzione dei ricettori sulla retina è radialmente simmetrica rispetto alla fovea. Esiste un blind spot in corrispondenza del nervo ottico. CAPITOLO 1 Introduzione alla Visione Artificiale 14

15 Sensitività dei ricettori Ci sono tre tipi di coni: uno sensibile alla luce rossa (S), uno alla luce verde (M) e uno alla luce blu (L), con proporzioni 65%, 33%, 2%. Ogni tipo di cono ha un risposta diversa alle varie lunghezze d onda ed è eccitabile solo se presente un valore minimo di luminosità. CAPITOLO 1 Introduzione alla Visione Artificiale 15

16 Formazione immagine coni e bastoncelli COR ROIDE LUCE La superficie della retina è costituita da ricettori di luce: Il cervello raddrizza l immagine distanza focale ( mm) CAPITOLO 1 Introduzione alla Visione Artificiale 16

17 Visione umana: percezione La percezione avviene quando i ricettori vengono eccitati e trasformano l energia radiante in impulsi elettrici decodificati dal cervello. Il processo completo è per gran parte ancora incompreso. CAPITOLO 1 Introduzione alla Visione Artificiale 17

18 Fenomeno del contrasto simultaneo La luminosità percepita non dipende solo dall intensità luminosa emessa CAPITOLO 1 Introduzione alla Visione Artificiale 18

19 Fenomeno del contrasto simultaneo Altro esempio: quale parte della barra è più scura CAPITOLO 1 Introduzione alla Visione Artificiale 19

20 Effetti ottici CAPITOLO 1 Introduzione alla Visione Artificiale 20

21 Effetti ottici CAPITOLO 1 Introduzione alla Visione Artificiale 21

22 Effetti ottici CAPITOLO 1 Introduzione alla Visione Artificiale 22

23 Entità coinvolte nel processo di formazione dell immagine illuminante a 2900 K (bulbo) illuminante a 6500 K (sole) CAPITOLO 1 Introduzione alla Visione Artificiale 23

24 Formazione dell immagine Un immagine generata da un processo fisico ha valori proporzionali all energia irradiata dalla sorgente fisica di illuminazione La funzione f(x,y) è costituita da due componenti: la luminosità i(x,y): quantità della sorgente luminosa incidente la scena la reflettanza r(x,y): quantitià della sorgente luminosa riflessa dagli oggetti f(x,y) = i(x,y) r(x,y) La luminosità dipende dalla sorgente luminosa stessa, mentre la reflettanza dagli oggetti presenti nella scena. Tipici valori: luminosità: ità lumen/m 2 (sole), lm/m 2 (nuvoloso), 0.1 lm/m 2 (luna piena a notte senza nubi), 1000 lm/m 2 (ufficio) reflettanza: (velluto nero), 0.9 (metallo argentato), 0.93 (neve) CAPITOLO 1 Introduzione alla Visione Artificiale 24

25 Dispositivi di acquisizione L energia irradiata è trasformata in un segnale elettrico da un materiale foto-sensibile. Esistono principalmente tre tipologie di sensori di acquisizione: singolo sensore: es. fotodiodo, combinato con moto meccanico per ottenere immagine 2D sensore lineare: es. scanner (riga di più sensori singoli), moto per ottenere immagine 2D, montati in anello per TAC, MRI e PET sensore a matrice: es. fotocamere e telecamere digitali (matrice di sensori CCD charge-coupled device), risposta proporzionale all integrale dell energia energia ricevuta, importanza del tempo di esposizione CAPITOLO 1 Introduzione alla Visione Artificiale 25

26 Campionatura e quantizzazione Qualunque sia il sensore, il suo output è un segnale continuo in tensione. Per creare un immagine digitale, il segnale deve essere campionato sia in senso spaziale che come valore. Sono quindi necessari due processi: campionatura: discretizza lo spazio in coordinate x e y quantizzazione: discretizza il valore in un certo numero di livelli di grigio/vaori campionatura quantizzazione CAPITOLO 1 Introduzione alla Visione Artificiale 26

27 Cos è un immagine digitale Un immagine digitale può essere vista come una funzione bidimensionale f(x,y), dove f rappresenta l intensità o livello di grigio dell immagine in quel punto: 0 rappresenta il nero, 255 il bianco f=95 f=204 f=12 Un immagine i è quindi una matrice di elementi chiamati i pixels (picture elements). CAPITOLO 1 Introduzione alla Visione Artificiale 27

28 Funzioni di base di MATLAB IPT Durante questo corso useremo il toolbox Image Processing (IPT) di Matlab per poter provare le varie tecniche di visione artificiale. MATLAB IPT verrà anche usato nel laboratorio e per i progetti. Supporremo che i fondamenti di MATLAB siano noti. IPT permette di caricare immagini da file con la funzione imread( filename )che permette di leggere.jpg,.tif,.gif,.bmp,.png Es.: f=imread( peppers.bmp ); Carica in f l immagine come matrice di valori interi tra 0 e 255. Altri comandi: imshow(f) imshow(f,g) imshow(f,[20 120]) pixval visualizza l immagine attiva un cursore muovibile con il mouse per ottenere il valore di un pixel imwrite(f, filename ) imwrite(f, filename.jpg, quality,q) K=imfinfo( filename ) mette in K un struttura con le informazioni sull immagine. Ad es. K.width, K.height, K.bitdepth, K.filesize, CAPITOLO 1 Introduzione alla Visione Artificiale 28

29 Risoluzione spaziale e risoluzione radiometrica Il numero di campioni MxN dell immagine definiscono la risoluzione spaziale che dipende dall applicazione e dal dispositivo di acquisizione. 16x16 64x64 32x32 128x x256 Il numero di livelli di grigio k con cui si quantizza il segnale definiscono la risoluzione radiometrica. ( ) CAPITOLO 1 Introduzione alla Visione Artificiale 29

30 Metodi di interpolazione Nel caso di immagini digitali, l operazione di zoom (campionamento) consiste in due passi: creazione di una nuova locazione di pixel e l assegnamento di un livello di grigio alla locazione. Es: immagine 500x500 trasformata in 750x750. Siccome ad una locazione nell imm. destinazione corrisponde meno di un pixel si deve scegliere che livello di grigio assegnargli: interpolazione nearest neighbour : valore del più vicino interpolazione bilineare: 4 px vicini con interpolazione bilineare interpolazione bicubica CAPITOLO 1 Introduzione alla Visione Artificiale 30

31 imresize Cambia la risoluzione utilizzando uno specifico metodo di interpolazione Y=imresize(X,n) se n>1 ingrandisce, se 0<n<1 riduce Y=imresize(X,[ ]) trasforma l immagine a 100x150 (se rapporto diverso, distorce). Y=imresize(X,n,method) dove method può essere nearest (default), bilinear o bicubic Quando si esegue una riduzione e si sceglie un metodo bilineare o bicubico, imresize applica anche un filtro passa basso prima dell interpolazione per ridurre l aliasing. CAPITOLO 1 Introduzione alla Visione Artificiale 64x64 nearest 64x64 bicubic 31

32 Relazioni tra pixel Esistono delle relazioni di base tra pixel in un immagine: intorno di un pixel: 4-intorno di p N 4 (p) con coordinate (x,y) sono i pixel di coordinate (x+1,y), (x,y+1), (x,y-1), (x-1,y); 8-intorno N 8 (p) con anche i 4 diagonali adiacenza: un pixel q è 4-adiacente a p se q N 4 (p), è 8-adiacente se q N 8 (p) connettività: due pixel si dicono connessi, se sono adiacenti e se soddisfano un criterio di similarità del livello di grigio regioni: si definisce regione R un sottoinsieme di pixel dell immagine tra loro connessi contorni: il contorno di una regione è l insieme di pixel della regione R che hanno uno o più pixel adiacenti che non appartengono a R CAPITOLO 1 Introduzione alla Visione Artificiale 32

33 Distanza tra pixel Nelle immagini digitali si usano principalmente 3 distanze tra pixel: distanza city-block (o Manhattan o L 1 ): D 4 (p,q)= x-s + y-t distanza chessboard: D 8 (p,q)=max( x-s, y-t ) distanza Euclidea: D ) e (p,q)=[(x-s) 2 +(y-t) 2 ] 1/2 CAPITOLO 1 Introduzione alla Visione Artificiale 33

34 Cos è un video digitale Un video digitale è una sequenza temporale di immagini (frame). Nella sua versione non compressa, viene chiamato raw video e lo si può vedere come una funzione f(x,y,t). Oltre alla risoluzione spaziale e radiometrica, nei video entra in gioco anche la risoluzione temporale,, cioè il numero di frame inseriti nel video nell unità di tempo. Questo viene chiamato frame rate. Gli standard analogici più diffusi con il PAL/SECAM (in Europa) a 25 fps (frame per second) e l NTSC lntsc (USA e Giappone) a 30 fps. Di solito i video, per la gran quantità di dati, sono compressi. Vedremo più avanti nel corso i metodi di compressione utilizzati e le loro caratteristiche. MATLAB non permette una gestione agevole dei video!! CAPITOLO 1 Introduzione alla Visione Artificiale 34