Studio di tecniche per la rivelazione di traiettorie di veicoli in movimento in sequenze video

Transcript

1 Dipartimento di Elettronica e Telecomunicazioni Università di Firenze Laboratorio Comunicazioni & Immagini Studio di tecniche per la rivelazione di traiettorie di veicoli in movimento in sequenze video Relatori: Prof. Vito Cappellini Ing. Roberto Caldelli Tesi di Laurea di: Giacomo Serini Corso di Laurea in Ingegneria delle Telecomunicazioni

2 Sommario Panoramica sull Object Tracking: classificazione algoritmi Algoritmi Model Based Algoritmi Features Based Algoritmi Contour Based Algoritmi Region Based Implementazione Algoritmo basato sul Block Matching Il Block Matching Algorithm Object Tracking basato sul BMA Risultati sperimentali 2

3 Object Tracking: applicazioni Videosorveglianza Analisi del traffico 3

4 Analisi del traffico Pixel processing level: Appartenenza di un pixel allo sfondo o ad un oggetto in movimento. Frame processing level: Analisi delle regioni in movimento. Tracking: Inseguimento, riconoscimento e classificazione degli oggetti. Estrazione parametri rilevanti (velocità). 4

5 Algoritmi di Tracking Algoritmi Features Based: si focalizza l attenzione solo su alcuni particolari (Es: centroide). Primi frame sequenza Individuazione sfondo Segmentazione Bounding box e centroidi OBJECT TRACKING ( CTDM N M N 2 1 CTD 1) ( CTD 2 CTD 2) 2 M e N appartenenti a due frame consecutivi 5

6 Algoritmi di Tracking Frame originale ( I ) Algoritmi Model Based: richiedono un dettagliato modello geometrico. Distanza Estrazione Stima MIN bordi I bordi somiglianza modello T OBJECT TRACKING S ( T, I ) 1 N t T d I ( t ) 2 Stima della somiglianza Numero di punti del Template Distanza tra il punto t in T e il bordo più vicino di I 6

7 Algoritmi di Tracking Algoritmi Contour Based: si costruisce una rappresentazione del contorno aggiornandolo di frame in frame. I(t) Estrazione contorno Stima del moto I(t+1) Estrazione contorno Confronto contorni OBJECT TRACKING 7

8 Algoritmi Region Based Ad ogni oggetto viene associata una regione corrispondente Si esegue una stima del moto su sottoparti dell immagine (blocchi) e si Block Matching Algorithm raggruppano quelle con spostamenti simili. (B.M.A.).) Gli oggetti così determinati sono infine riconosciuti nella sequenza. 8

9 Il Block Matching Parametri fondamentali Dimensione dei blocchi Massimo spostamento FINESTRA DI RICERCA Criterio di scelta Determina la somiglianza tra due blocchi M.A.D. (Mean Absolute Difference) M.S.E. (Mean Square Error) Entrambe le funzioni devono essere minimizzate Comprende tutti i pixel relativi alle posizioni che il blocco può assumere 9

10 Il Block Matching Esaustive : Tecniche di B.M.A. Si cerca il miglior confronto ovunque (Fullsearch). Multi step: Si ricercano i blocchi solo in alcune posizioni (Three Step Search). 10

11 Il Block Matching FRAME t-1t FRAME t 11

12 Object Tracking con B.M.A. Frame 1 Schema a blocchi Frame 2 Block Matching Regolarizzazione vettori moto Labelling Elimina zione etichette rumorose Resizing Resized Map 1-2 Frame 3 Block Matching Elimina Regolarizzazione vettori moto Labelling zione Resizing etichette rumorose Resized Map 2-3 temp. Traslazione di (-V) Resized Map 2-3 temp. traslata di (-V) Conteggio sovrapposizioni 12

13 Object Tracking con B.M.A. Estrazione dei Vettori di Moto Per estrarre i vettori di moto si usa l algoritmo Fullsearch. Il criterio di scelta utilizzato è una variante del M.A.D. N N SAD Y ( i, j) Z ( i, j) i 1 j 1 Sum of Absolute Difference Dimensione blocco Valori dei pixel in Y e Z 13

14 Object Tracking con B.M.A. Regolarizzazione Vettori di Moto Errori di stima del moto Applicazione filtro a soglia e mediano Regolarizzazione vettori di moto 14

15 Object Tracking con B.M.A. Due criteri utilizzati: Etichettatura oggetti Vicinanza spaziale Somiglianza vettori di moto u v L2 ( x u x v ) 2 ( y u y v ) 2 Th L I due vettori di moto La soglia scelta 15

16 Object Tracking con B.M.A. Eliminazione etichette rumorose Eliminazione etichette rumorose Etichette rumorose Descrizione scena reale 16

17 Object Tracking con B.M.A. Il Sovrapposizioni passo di Tracking > Th S? Resized Map 1-2 Resized Map 2-3 temporanea Resized Map V 17

18 Risultati sperimentali Parametri fondamentali Bloch Matching: Dimensione dei blocchi Massimo spostamento Soglia filtro vettori di moto N = 16 P = 7 Labelling: Soglia confronto somiglianza vettori di moto Soglia eliminazione etichette rumorose. Tracking: Soglia sovrapposizioni Th L = 3 Th S = N x N 18

19 Risultati sperimentali Risultati con configurazione standard Sequenza Taxi: Sequenza originale Perdita del veicolo bianco a causa di movimenti di rotazione Sequenza elaborata 19

20 Risultati sperimentali Risultati con configurazione standard Sequenza Highway: Sequenza originale Buoni risultati. Sovrasegmentazione dovuta a N grande Sequenza elaborata 20

21 Conclusioni Panoramica sull Object Tracking: Classificazione algoritmi. Implementazione Algoritmo basato sul Block Matching: Descrizione dettagliata dell algoritmo. Buone prestazioni. Difficoltà rilevazione movimenti rotatori. Fortemente dipendente da stima del moto. Necessità di immagini a buona risoluzione. Sviluppi futuri: Migliore regolarizzazione vettori di moto. Assunzioni a priori per gli spostamenti dei veicoli. 21