L6 Visual Tracking. Corso di Visione Artificiale Ing. Matteo Panciroli ANNO ACCADEMICO DIPARTIMENTO DI INGEGNERIA DELL INFORMAZIONE

Transcript

1 DIPARTIMENTO DI INGEGNERIA DELL INFORMAZIONE L6 Visual Tracking Corso di Visione Artificiale Ing. ANNO ACCADEMICO

2 Assegnamento Progettare e sviluppare un applicazione che permetta l inseguimento di oggetti rigidi e colorati (opzionale) la memorizzazione del percorso per statistiche offline Nome applicazione: Matricola_Cognome Il problema è diviso in 3 LIVELLI Tool utilizzabili per analisi off-line: gnuplot(open source), matlab 2

3 Visual Tracking 3

4 Assegnamento Input Video di oggetti colorati (Rosse, Verdi, Blu e Giallo) su sfondo BIANCO i filmati possono essere convertiti in sequenze di immagini e viceversa ffmpeg -i foo.avi -r 1 -s WxH -f image2 foo-%06d.ppm ffmpeg -f image2 -i foo-%06d.jpeg -r 12 -s WxH foo.avi I filmati si trovano nella cartella in cui si dovrà caricare l assegnamento 4

5 Assegnamento -Level 1 TASK: inseguire un solo oggetto nella scena. associazione possibile predizione associazione con anche senza predizione (filtri predittori) 5

6 Visual Tracking Concetto base DETECT Then TRACK T0 T1 T2 VIDEO Frame 0 Frame 1 Frame 2 6

7 Visual Tracking - design T0 T1 T2 DETECT VIDEO 7

8 Visual Tracking - design T0 T1 T2 VIDEO DETECT 8

9 Visual Tracking - design T0 T1 T2 VIDEO DETECT TRACK Hystory? 9

10 Visual Tracking T0 T1 T2 VIDEO DETECT TRACK

11 Visual Tracking T0 T1 T2 VIDEO DETECT TRACK

12 Visual Tracking - OD Identificazione selezione degli oggetti di interesse considerare le features dell oggetto in esame: area centro di massa colore 12

13 Visual Tracking - OD Hints Il Background è Bianco! (RGB: 255,255,255) estrarre una componente significa valutarne la dominanza rispetto agli altri RED GREEN BLUE BIANCO 13

14 Visual Tracking - OD Associazione mediante 1 diverse tecniche a 1 b 2 2 a b T0 T1 a b a b T0 T1 a b 14

15 Algoritmo ungherese L algoritmo Questi ungherese, modifica progressivamente una matrice C dei costi tramite somme e sottrazioni di costanti sulle righe e sulle colonne. aggiornamenti della matrice dei costi vengono fatti in modo tale da garantire sempre costi non negativi e cercando contemporaneamente di aumentare gli elementi nulli (e conseguentemente gli accoppiamenti di costo nullo) sino a raggiungere la soluzione ottima, consistente appunto in n accoppiamenti di costo nullo. 15

16 Algoritmo ungherese 1. Analizzare la matrice C per trovare il valore minimo di ciascuna riga e sottrarre tale valore ad ogni elemento della riga: in questo modo si aggiorna la matrice C il cui generico elemento vale ora: cij =cij mincij i=1,...,n. j 2. Analizzare la matrice C per trovare il valore minimo di ciascuna colonna e sottrarre tale valore ad ogni elemento della colonna: in questo modo si aggiorna nuovamente la matrice C il cui generico elemento vale ora cij =cij mincij j=1,...,n. 16

17 Algoritmo ungherese 3. Sia dato il grafo bipartito B = (N1, N2, A), in cui N1 e N2 corrispondono rispettivamente alle righe ed alle colonne della matrice C e A sia formato dall insieme di coppie (i,j) tali che cij = 0. Verificare, con l algoritmo per la ricerca del massimo matching, se esiste un matching completo, ossia se ci sono n accoppiamenti di costo nullo, uno per ogni riga e per ogni colonna, sulla matrice C. Se è così, STOP. 4. Applicare alla matrice C la procedura U (updating) per aggiornarla e tornare al passo 3. 17

18 Algoritmo ungherese - U 1. Considerare la matrice C reinizializzata, ossia con tutte le righe e le colonne non barrate. 2. Etichettare tutte le righe che non sono state accoppiate dall algoritmo per la ricerca del massimo matching. 3. Etichettare le colonne che hanno degli 0 in corrispondenza delle righe etichettate. 4. Etichettare le righe che sono state accoppiate, dall algoritmo per la ricerca del massimo matching, con le colonne etichettate. 5. Ripetere i passi 2 e 3 finché non ci sono più righe o colonne da etichettare. 6. Barrare ogni riga non etichettata ed ogni colonna etichettata. 7. Trovare il minimo tra gli elementi non barrati della matrice ed indicarlo con 8. Sottrarre il valore agli elementi non barrati ed aggiungere a quelli barrati sia per riga che per colonna. 9. La matrice così ottenuta è la nuova matrice C. 10. Si noti che alla fine del passo 5, se tutto è stato eseguito correttamente, ogni zero deve essere barrato e la somma del numero di righe e di colonne barrate deve essere pari al numero degli accoppiamenti ottenuti dall algoritmo per la ricerca del massimo matching. 18

19 Algoritmo ungherese - Esempio Si risolva il problema di assegnamento caratterizzato dalla seguente matrice dei costi A B C D Applichiamo i passi dell algoritmo ungherese 19

20 Algoritmo ungherese - Esempio A B C D A B C D

21 Algoritmo ungherese - Esempio 3. Ricerca del massimo matching A 1 B 2 A B C 3 C D D 4 21

22 Algoritmo ungherese - Esempio 4. Visto che il matching non è completo, ossia la soluzione non è ottima, applichiamo la procedura U per aggiornare la matrice * * * A B C D

23 Algoritmo ungherese - Esempio 5. La matrice aggiornata è la seguente A B C D

24 Algoritmo ungherese - Esempio 6. Ricerca del massimo matching A 1 B 2 A C 3 B C D 4 D La soluzione è ottima (matching completo) ed è data dagli accoppiamenti A-1,B-3, C-4, D-2, mentre il valore della funzione obiettivo è 11 24

25 Assegnamento - Vincoli Consideriamo una memoria del passato di pochi frame (N.B.: dipendenza con FPS) Con/Senza predizione (usualmente con) si eredita l ID dall oggetto passato più vicino T0 T1 T2 VIDEO T-1 T-2 T-1 25

26 Assegnamento -Level 2 multi objects: inseguimento di più oggetti anche diversi gestione delle associazioni è necessario considerare come descrittore il percorso? P1 P1, P2? P2 26

27 Assegnamento - Level 3 ghosts: gestire le occlusioni parziali o totali mediante una lista di ghost ovvero oggetti temporaneamente scomparsi P1 P2 SBAGLIATO P1 P1 GIUSTO P1 - Ghost 27

28 Visual Tracking - ghost T0 T1 T2 DETECT VIDEO 28

29 Visual Tracking - ghost T0 T1 T2 VIDEO DETECT 29

30 Visual Tracking - ghost T0 T1 T2 VIDEO DETECT TRACK ghost 1 - ghost 30

31 Visual Tracking - ghost si memorizzano i ghosts (oggetti scomparsi) per un futuro matching 1 - ghost 31

32 Visual Tracking - ghost si memorizzano i ghost (oggetti scomparsi) per un futuro matching A 1 B A B C D 4 32

33 Assegnamento Output Immagine input RGB (immagine di output) 3 immagini binarizzate dei 3 canali R,G e B sovrapporre all output l OD con informazioni di id, age (OPZIONALE) files di log: per ogni pallina generare un file con lo storico del suo passaggio attraverso lo schermo 33