Michele Nappi, Ph.D Dipartimento di Matematica e Informatica Università degli Studi di Salerno mnappi@unisa.it

Transcript

1 Indicizzazione di Immagini (1) Michele Nappi, Ph.D Dipartimento di Matematica e Informatica Università degli Studi di Salerno mnappi@unisa.it

2 Agenda Introduzione al Problema CBIR (Content Based Image Retrieval) Le caratteristiche (features) Basso Livello (low level) Colore Forma Tessitura Frattali Livello Intermedio (middle level) Alto Livello (High level) Misure di Valutazione delle Prestazioni 10/06/2008 M. Nappi 2

3 Quanta Informazione? Ogni anno nel mondo sono prodotti circa 1.5 miliardi GB (1.5EB) di informazioni sotto forma di carta, film, supporti ottici, magnetici, etc. Ciò è equivalente a 250MB per persona 10/06/2008 M. Nappi 3

4 Informazione Digitale Gran parte dell informazione prodotta è in formato digitale ( 93%) Oltre 80 miliardi di fotografie sono scattate ogni anno >400 petabytes > 80 milioni di volte lo spazio necessario per memorizzare le informazioni testuali 10/06/2008 M. Nappi 4

5 Indicizzazione Tradizionale (Manual Annotation)? Quanto è differente l indicizzazione di immagini da quella testuale? Un immagine richiede migliaia di parole Tramonto? Mare? Estate? 10/06/2008 M. Nappi 5 Costa Hawaiana?

6 Image indexing and retrieval Grande quantità di lavoro (proibitiva!) nell indicizzazione basata su annotazione Difficoltà nel catturare il complesso contenuto visuale dell immagine usando poche parole chiave Gli oggetti visuali possono dipendere da molte circostanze Punto di osservazione, illuminazione, etc. Un immagine può avere significati diversi per persone diverse Un immagine può essere interpretata a più livelli di dettaglio 10/06/2008 M. Nappi 6

7 Image indexing and retrieval(cont.) Esempio: Recupero e indicizzazione di immagini con Google Indicizzazione basata su annotazione manuale Query: Sole 10/06/2008 M. Nappi 7

8 Image indexing and retrieval (cont.) L effetto dell età nei sistemi biometrici Indovinate quale persona sulla destra corrisponde a sinistra? Le immagini a sinistra si riferiscono al periodo universitario Le immagini a destra sono scattate 20 anni dopo Se la soluzione è complicata per gli umani come possiamo sperare che un sistema basato su annotazione manuale sia in grado di funzionare? 10/06/2008 M. Nappi 8

9 Image indexing and retrieval (cont.) Indipendente dal Contenuto (contentindependent) L indice non è direttamente dipendente dalle informazioni visuali (contenuto) dell immagine, ma in qualche modo collegato (Esempio: autore, data, luogo, etc.) Dipendente dal Contenuto (contentdependent) L indice è dipende dalle informazioni visuali (contenuto) dell immagine Caratteristiche di livello basso e intermedio conosciute anche come content-dependent metadata (colore, tessitura, forma etc.) Caratteristiche di alto livello conosciute come semantic features (eventi, emozioni, etc.) 10/06/2008 M. Nappi 9

10 CBIR: Content Based Image Retrieval Che cos è un CBIR? Sistema per il recupero di immagini utilizzando il concetto di similarità basata sul contenuto visuale Indici content dependent Indici ibridi content dependent + content independent 10/06/2008 M. Nappi 10

11 Dove si Applica la Tecnologia CBIR? Sicurezza e Prevenzione del Crimine Sistemi Biometrici: Fingerprint, Riconoscimento di Volti, etc. Giornalismo e Pubblicità Diagnostica per Immagini GIS Beni Culturali Ricerche sul Web 10/06/2008 M. Nappi 11

12 CBIR: Le Parole Chiave Query Paradigmi Similarità Caratteristiche (Features) Descrittori Misura delle Prestazioni False Alarms/False Dismissals Efficacia ed Efficienza 10/06/2008 M. Nappi 12

13 Che cos è una Query? Una descrizione simbolica di ciò l utente vuole Esempio: un uomo e una donna sulla spiaggia L intera immagine Una porzione dell immagine. 10/06/2008 M. Nappi 13

14 Paradigmi di Interrogazione QbE Query by Example QbS L utente fornisce come query un immagine (esempio) Query by Sketch L utente disegna la query (sketch) 10/06/2008 M. Nappi 14

15 Similarità tra Immagini La similarità dipende dall utente Le Features Cosa rappresenta la similitudine tra due immagini? Auto dello stesso modello o dello stesso colore? Similarità Locale o Globale 10/06/2008 M. Nappi 15

16 Similarità tra Immagini (cont.) 10/06/2008 M. Nappi 16

17 Che cos è una Caratteristica (feature)? Un attributo dell immagine Colore, Tessitura, Forma, Relazioni Spaziali.. La rappresentazione avviene mediante descrittori 10/06/2008 M. Nappi 17

18 Che cos è una Caratteristica (feature)?(cont.) Feature Examples Color of an image Fractal Pitch of a speech segment Rhythm of an audio segment Camera motion in a video Style of a video Title of a movie Actors in a movie 10/06/2008 M. Nappi 18

19 Che cos è un Descrittore? Rappresentazione delle caratteristiche Definisce la sintassi e la semantica della rappresentazione delle caratteristiche Supporta la comparazione tra caratteristiche Più descrittori possono rappresentare una singola caratteristica Feature: Colore (Forma) Descrittore: Istogramma (Contorno) 10/06/2008 M. Nappi 19

20 Features e Descrittori Ll Visual Descriptors Color Texture Shape Motion 1. Histogram Scalable Color Color Structure GOF/GOP 2. Dominant Color 3. Color Layout Texture Browsing Homogeneous texture Edge Histogram Face recognition Contour Shape Region Shape 2D/3D shape 3D shape Camera motion Motion Trajectory Parametric motion Fractals: Self Similarity Motion Activity 10/06/2008 M. Nappi 20

21 Prestazioni di un CBIR False Alarms Immagini non significative nell insieme risposta False Dismissals Immagini significative non presenti nell insieme risposta 10/06/2008 M. Nappi 21

22 Prestazioni di un CBIR (cont.) Efficacia Numero di false alarms e false dismissals Efficienza Tempo medio di risposta Costruzione dell Indice Misura di similarità Complessità nella formulazione della Query Interazione Uomo/Macchina Estrazione delle Caratteristiche 10/06/2008 M. Nappi 22

23 Prestazioni di un CBIR (cont.) Recall The capability of system to retrieve all relevant images Precision The capability of system to retrieve only relevant images 10/06/2008 M. Nappi 23

24 Prestazioni di un CBIR (cont.) Recall vs Precision Precision 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 0,12 0,34 0,55 0,65 0,86 Recall Effectiveness 10/06/2008 M. Nappi 24

25 Measures for CBIR: Normalized Recall TOT is the number of images in the collection (IDB size). Relevant images, for each query, are ranked 1, 2,, REL, where REL is the number of relevant images. Ideal Rank (IR) IR = REL r= 1 r REL Average Rank (AR) AR = REL r= 1 Rankr REL 10/06/2008 M. Nappi 25

26 Measures for CBIR: Normalized Recall Effectiveness = (AR IR) [0; (TOT-REL)] 0(AR = IR) Perfect Retrieval (TOT REL) Worst Case Normalized Recall (NR) [0;1] NR = 1 ( AR IR) ( ) TOT REL 10/06/2008 M. Nappi 26

27 CBIR: Le Attività Query Estrazione delle Caratteristiche Costruzione dell indice Misura della Similarità tra Indici Insieme Risposta 10/06/2008 M. Nappi 27

28 CBIR: Le Attività (cont.) Query Image Retrieved Images User Image Database Image Feature Extraction Image Index building Distance Measure Images Feature Space 10/06/2008 M. Nappi 28

29 Architecture of CBIR Query by text/ Visual example Browsing Result Viewer / Visualisation Feature Extraction (automatic IP/IR) Annotation (manual) Search Engine Indexing 10/06/2008 M. Nappi 29

30 Le Caratteristiche dell Immagine Caratteristiche Astratte (high level) Semantiche Eventi, emozioni.. Caratteristiche Logiche (middle level) Relative all Oggetto Relazioni Spaziali, Oggetto di un certo tipo. Caratteristiche Primitive (low level) Relative alla percezione Colori, tessiture,.. 10/06/2008 M. Nappi 30

31 Caratteristiche Primitive Colore, Tessitura, Forma, Frattali. Le caratteristiche primitive non richiedono una base di conoscenza Campi di Applicazione Face Recognition Web Searching 10/06/2008 M. Nappi 31

32 Caratteristiche Primitive: Color-Based Retrieval 10/06/2008 M. Nappi 32

33 Caratteristiche Primitive: Color-Based Retrieval (cont.) Ogni immagine inserita nel DB è rappresentata in funzione della distribuzione dei colori Istogramma di Colore Durante la ricerca, l utente può sia specificare i colori e la loro percentuale (QbS) sia usare un immagine come query (QbE) Solo le immagini i cui istogrammi di colore sono simili alla query saranno inseriti nell insieme risposta. 10/06/2008 M. Nappi 33

34 Caratteristiche Primitive: Color-Based Retrieval (cont.) QbS: Trova tutte le immagini che hanno il 20% di viola e il 40% di verde QbE: Trova tutte le immagini con percentuale di colore uguale alla query (Es: 60% di verde) 10/06/2008 M. Nappi 34

35 Caratteristiche Primitive: Color-Based Retrieval (cont.) L istogramma di un immaginei è definito come segue: Per ogni colore C i, H ci (I) rappresenta il numero di pixel di colore C i nell immagine I. Quantizzazione dei Colori QBIC (IBM) supporta l indicizzazione basata sul colore 10/06/2008 M. Nappi 35

36 Caratteristiche Primitive: Color-Based Retrieval (cont.) Metrica Euclidea Spazio n-dimensionale dei colori Image 1: (C 11, C 12, C 13, C 1n ) Image 2: (C 21, C 22, C 23, C 2n ) Poco Efficiente DFT + Metrica Euclidea Istogramma = Time Series Cut off delle frequenze (conserviamo solo i primi k coefficienti) k<<n 10/06/2008 M. Nappi 36

37 10/06/2008 M. Nappi 37 Caratteristiche Primitive: Color-Based Retrieval (cont.) Th.del Parseval: Sia X la Discrete Fourier Transform di una sequenza x. Allora No False Dismissals = = = n i n u x i X u rispettivamente e Fourier di sono le trasformate di, dove,, = y x Y X Y X D y x D n k,, Y X D Y X D n k

38 Caratteristiche Primitive: Color-Based Retrieval (cont.) Query Incluse nell insieme risposta [Distanza dalla query P] Non incluse nell insieme risposta (n-dim) o false alarms (k-dim) QUERY Tollerance or similarity=p QUERY Tollerance or similarity=p Space/Time domain: n-dimensional space Frequencies Domain: k-dimensional space (k<<n) 10/06/2008 M. Nappi 38

39 Caratteristiche Primitive: Color-Based Retrieval (cont.) 10/06/2008 M. Nappi 39

40 Caratteristiche Primitive: Color-Based Retrieval (cont.) Bassa Interazione Match Rapido (efficiente) Rapida Costruzione dell Indice (efficiente) Ma Non sempre discriminante (low effectiveness) Necessita di essere combinato con altre caratteristiche 10/06/2008 M. Nappi 40