Dealing with Videos. Oliver Giudice

Transcript

1 Dealing with Videos Oliver Giudice ictlab s.r.l. - Spinoff dell Università di Catania Image Processing LAB (IPLAB) - Dipartimento di Matematica e Informatica Catania - Maggio, 2018

2 Motion Blur

3 Super Resolution

4 Super Resolution Tecnica per ottenere, a partire da più immagini in bassa risoluzione rappresentanti la stessa scena, un'immagine a risoluzione maggiore. Risultati potenzialmente notevoli. Ci sono molti algoritmi in letteratura, ma fanno spesso troppe assunzioni, non sempre verificate nei casi reali, che nella pratica impediscono di ottenere i risultati desiderati.

5 Idea di base Nel processo di acquisizione l'immagine reale è stata sottoposta a sottocampionamento e sfocatura. Si utilizzano le informazioni provenienti da diversi fotogrammi per ricostruire le informazioni perse nel processo di acquisizione. Prima parte: processo di registrazione (con accuratezza superiore al pixel) Seconda parte: ricostruzione dei dati mancanti (ad esempio con interpolazione).

6 Zooming vs Super resolution Interpolazione di informazione NUOVA. Incremento di risoluzione volta a recuperare Informazione REALE Information NEW REAL

7 Esempi Immagine ad alta risoluzione creata da una sequenza di frame da una scena reale (multi-frame acquisition with CCD sensor) (original size: 640x480 => upsampled : 1280x960). LR Image Bicubic HR Image

8 Super Resolution

9 Frame Averaging

10 Trasformazioni Proiettive Oliver Giudice ictlab s.r.l. - Spinoff dell Università di Catania Image Processing LAB (IPLAB) - Dipartimento di Matematica e Informatica Catania - Maggio, 2018

11 Trasformazioni di base Esiste una serie di trasformazioni di base che possono essere utilizzate per mappare punti da uno spazio ad un altro. Ognuna di tali trasformazioni presenta delle caratteristiche peculiari ben distinguibili quando applicata ai punti di un oggetto rigido.

12 Coordinate omogenee

13 Coordinate omogenee (2)

14 Forma matriciale delle trasformazioni di base

15 Matrici di trasformazione

16 Trasformazione prospettica In generale, quando una camera cattura una scena 3D, ha luogo una trasformazione prospettica dai punti 3D della scena ai punti 2D dell immagine.

17 Trasformazione proiettiva Quando possiamo assumere che i punti 3D si trovano approssimativamente sullo stesso piano 2D, la trasformazione prospettica è approssimata da una trasformazione proiettiva tra punti 2D appartenenti a piani diversi.

18 Trasformazione proiettiva (2) La trasformazione proiettiva è completamente determinata considerando il mapping tra un quadrilatero arbitrario nel piano dell oggetto e un quadrilatero nel piano dell immagine.

19 Matrice di proiezione

20 Determinare la matrice di proiezione

21 Esempio: trasformazione della targa

22 Correzione prospettica Tecniche più avanzate permettono di recuperare anche altri tipi di trasformazioni, come ad esempio l'effetto della prospettiva. set di 6 immagini senza registrazione con registrazione

23 Correzione prospettica

24 Correzione prospettica

25 Misure su Immagini Oliver Giudice ictlab s.r.l. - Spinoff dell Università di Catania Image Processing LAB (IPLAB) - Dipartimento di Matematica e Informatica Catania - Maggio, 2018

26

27

28

29 1m

30 1 (m) : 7 (px) = x : 10 (px) 1m

31 1 (m) : 7 (px) = x : 10 (px) x = (10 (px) * 1 (m)) / 7 (px) 1m

32 1 (m) : 7 (px) = x : 10 (px) x = (10 * 1 (m)) / 7 1m

33 1 (m) : 7 (px) = x : 10 (px) x = (10 * 1 (m)) / 7 x = 10 (m) / 7 = 1,42 (m) 1m

34 1,42 m 1 (m) : 7 (px) = x : 10 (px) x = (10 * 1 (m)) / 7 x = 10 (m) / 7 = 1,42 (m) 1m

35

36

37

38

39 1m

40 1m

41 1m

42 ,43 1,57 1,71 1,86 2,00 2,14 2,29 8 1,25 1,38 1,50 1,63 1,75 1,88 2,00 9 1,11 1,22 1,33 1,44 1,56 1,67 1, ,00 1,10 1,20 1,30 1,40 1,50 1, ,91 1,00 1,09 1,18 1,27 1,36 1,45

43 Max = 2,29 m Min = 0,91 m Medio = 1,48 m ,43 1,57 1,71 1,86 2,00 2,14 2,29 8 1,25 1,38 1,50 1,63 1,75 1,88 2,00 9 1,11 1,22 1,33 1,44 1,56 1,67 1, ,00 1,10 1,20 1,30 1,40 1,50 1, ,91 1,00 1,09 1,18 1,27 1,36 1,45

44 Max = 2,29 m Min = 0,91 m Medio = 1,48 m Risultato La lunghezza è 1,48 m +/- 0, ,43 1,57 1,71 1,86 2,00 2,14 2,29 8 1,25 1,38 1,50 1,63 1,75 1,88 2,00 9 1,11 1,22 1,33 1,44 1,56 1,67 1, ,00 1,10 1,20 1,30 1,40 1,50 1, ,91 1,00 1,09 1,18 1,27 1,36 1,45

45 Max = 2,29 m Min = 0,91 m Medio = 1,48 m Risultato La lunghezza è 1,48 m +/- 0,81 La lunghezza è 1,42 m +/- 0,5 La lunghezza è 1,42 m +/- 0, ,43 1,57 1,71 1,86 2,00 2,14 2,29 8 1,25 1,38 1,50 1,63 1,75 1,88 2,00 9 1,11 1,22 1,33 1,44 1,56 1,67 1, ,00 1,10 1,20 1,30 1,40 1,50 1, ,91 1,00 1,09 1,18 1,27 1,36 1,45

46 Misure 2D Oliver Giudice ictlab s.r.l. - Spinoff dell Università di Catania Image Processing LAB (IPLAB) - Dipartimento di Matematica e Informatica Catania - Maggio, 2018

47

48

49

50

51 1m 1m

52

53

54

55

56

57

58