La Visione Artificiale

Transcript

1 Accademia Nazione di Scienze, Lettere e Arti di Modena La Visione Artificiale Ovvero: le macchine possono Vedere? 5 maggio 2010 Prof. Ing. Rita Cucchiara Dipartimento di Ingegneria g dell Informazione Università degli studi di Modena e Reggio Emilia

2 Agenda Introduzione alla Visione Artificiale La Visione e la geometria : Visione Robotica La Visione e il movimento: Video Sorveglianza La Visione e il colore: Medical Imaging La Visione e l apprendimento: Artistic Digital Library 2

3 La Visione Artificiale La Visione Artificiale (Computer Vision) e una disciplina informatica che studia come emulare al calcolatore comportamenti percettivi e visivi simili a quelli biologici. Sistema di visione artificiale Studia modelli, algoritmi i e tecniche e realizza sistemi, i per elaborare in modo automatico singole o multiple immagini 2D e riconoscere oggetti ed eventi nel mondo 3D.

4 Che Dati? La Visione come disciplina scientifica si occupa dll della teoria di modellazione dll di sistemi artificiali per estrarre informazioni e conoscenza da immagini, quali: singole foto o immagini artificiali, frame di sequenze video viste sincronizzate da telecamere multiple e distribuite dati visuali acquisiti da range scanner 3D e altri sensori dati multi-dimensionali da scanner e strumenti medici La Visione come disciplina tecnologica si occupa della costruzione di sistemi di visione basati sul calcolatore (machine vision, robot vision, visual-based multimedia systems) 4

5 Che Dati? Immagini industriali Machine vision Visione Robotica Immagini e video live per il broadcasting (Sport, news ) Immagini e video per la Sorveglianza e sicurezza e Biometria Immagini scientifiche, fisiche, biologiche astrofisiche, mediche WEB: Da flickrcom Query Accademia Modena upload nell ultimo minuto contenuti provvisti di tag tigre 2,7 milione di contenuti provvisti di tag questo mese Yahoo 1/5/2010

6 Visione Artificiale: la storia 1) Studi sull intelligenza artificiale 2) Studi sull elaborazione del segnale (immagine) 3) Studi di pattern recognition 4) Studi di psicologia della percezione 5) Studi sull architettura dei calcolatori 6

7 Studi sull architettura dei calcolatori Ad es. Convoluzione g(, i j) fh f( im, jn) h( m, n) dmdn Filtro 5 x 5 c.a. 100 oper. Requisiti Computazionali: Formato PAL SIF 352x pixel Convoluzione 5 x fps 760MOPS ENIAC Kops x 3 (RGB) byte g(, i j) fh f( im, jn) h( m, n) 30.4 MOPs milioni di operazioni VAX MoPS m n BLUGENE T(Fl)OPS PC x G(Fl)OPS

8 Studi sull architettura dei Calcolatori Shot detection GP - Barein 2004 I video sono spesso codificati in forma compressa. Se non codificati hanno dimensioni notevoli. N Frame Durata 1h 23m 20s Risoluzione spaziale 352 x Ora analisi in real-time di video. Profondità colore Dimensione (compresso MPEG) 24 bit 1,96 Gb Dimensione i decompresso 35,4 Gb Decodifica MPEG 2 di un frame Frame rate (della decodifica) Tempo per l analisi di una transizione Tempo totale per shot detection 27.1 ms 37 fps 1.76 s 1h 16m 16s

9 Studi sull elaborazione del Segnale L immagine come un segnale bidimensionale nello spazio x-y Si applicano i modelli e tecniche di elaborazione del segnale Es Fourier, J. B. Joseph (1822) 9 Image Processing

10 Studi sulla Pattern recognition Pattern Recognition: scienza che si occupa delle metodologie per estrarre informazioni da dati, interpretandone o riconoscendone la struttura ( J. Bezdek). Scienza di base nell informatica: 1968 Primo journal Pattern Recognition 1970 Fondamenti : Picture Processing by Computer (A. Rosenfeld) 1970 ICPR 1977 CVPR (IEEE) 1978 International Association for Pattern Recognition (IAPR) (in italia il GIRPR nel 1983) 1979 IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) 10

11 Studi di psicologia della percezione* Pitagora: teoria Emissionistica: L occhio emette un fascio di raggi ( tentacoli (tentacoli visuali ) che, viaggiando nello spazio vanno a urtare gli oggetti. L urto tra il raggio visivo e l oggetto suscita la sensazione della visione. Epicuro: teoriaintromissionista Gli oggetti inviano continuamente nello spazio ad essi circostante le immagini di se stessi. Queste immagini (eidola-simulacra ) entrano nell occhio attraverso la pupilla, cosi rivelandosi. Platone teoria dei due fluidi : É l'incontro del fuoco visuale che è dentro di noi, emesso dagli occhi, con il fuoco esterno della luce diurna a determinare la visione. Keplero sviluppa la moderna teoria delle immagini retiniche. Studio dell ottica fisica David C. Lindberg Theories of Vision Chicago University Press 1976

12 Studi di Psicologia Percettiva 1800 nascita della psicologia percettiva. Empirismo e nativismo: Il problema dei fattori innati e acquisiti nella costituzione dell'oggetto percettivo; la teoria della percezione del colore: per l empirismo(helmholtz Gregory) deriva dall'esistenza nella retina di tre tipi di coni che ricevono segnali poi elaborati; per il nativismo ( HeringKanizsa) esistono principi organizzatori della percezione precedenti l esperienza,.. 80 la teoria della Gestalt* *Gaetano KANIZSA: La grammatica del vedere. Bologna: Il Mulino (1980).

13 Studi di Psicologia Percettiva 1970 la Teoria della Gestalt TEORIA DELLA GESTALT proximity similarity y z x t continuity closeness prägnanz (structural coherence) Introduzione

14 Studi di Psicologia Percettiva Salvador Dali 1976 Gala Contemplating the Mediterranean Sea 1973 L H (B ll L b) 1973 Leon Harmon (Bell Labs) The Recognition of Faces

15 Storia della Visione David Marr l approccio computazionale 1982 Vision: A Computational Investigation into the Human Representation and Processing of Visual Information La Visione computazionale: con tre tre livelli di elaborazione: livello computazionale descrive il fine del sistema e le strategie che può impiegare per conseguirlo: specifica cosa il sistema deve fare. livello algoritmico determina le regole di input ed output del sistema ai differenti ordini rappresentazionali. livello di implementazione determina quale hardware, sostanzialmente quale livello neuronale, è in grado di supportare un tale sistema.

16 I livelli della visione (computazionale) Data images Image acquisition A priori knowledge models Image processing Image analysis Image undestanding Computational vision Vision 16

17 La Visione Umana e Artificiale Vis sione uma ana Visione Retinica Pre -elaborazione del segnale Elaborazione di Compressione Selezione della regione di interesse Focalizzazione della attenzione immagini Vis sione Artificiale Visione Corticale Fotorecettori Estrazione delle primitive visuali (colore, forma, Tessitura, movimento..) Analisi di immagini Visione Associazione a modelli di conoscenza Riconoscimento R agionamento visuale Localizzazione pianificazione Classificazione apprendimento Nervo ottico corteccia cervello Comprensione delle immagini Sistema di elaborazione

18 Un esempio Cosa vediamo? Che oggetti ci sono? Ci sono oggetti? Quanti oggetti? Come sono gli oggetti? Quanti tipi di oggetti? Cosa sono gli oggetti? Modelli 18

19 Un Esempio: Image processing 1. Processi di visione di basso livello Immagine sorgente filtro gaussiano estrazione di contorni Selezione di contorni labeling segmentazione

20 Esempio: Image analysis 2. Processi di image analysis: Labeling; feature extraction Estrazione di primitive visuali: - Misura di circolarita (Haralick circularity) c= / - Misura di area ( 8-connection) A 1 f ( i, j) R 120 CIRCOLARITY nuts washers bullets AREA

21 Esempio: Pattern recognition 3. Processi di visione di alto livello: clustering, ossia classificazione non supervisionata 120 CIRCOLARITY nuts washers bullets AREA Clustering - K-means,. -SVM -Neural networks -- -Bayesian networks

22 La Visione Artificiale Perception psycology Neurofisiologia del sistema visivo Neuro- physiology Optical physics Geometry, Algebra Elaborazione Computer Science delle Immagini Signal Processing Robotics Machine Vision Human computer interaction Computer Visione Vision Elaborazione Image processing delle Immagini Pattern Recognition Artificial intelligence Machine Learning Multimedia Computer Graphics

23 23 La Visione e la Geometria Visione Robotica

24 La Visione robotica La Visione come un processo supervisionato Noti i modelli a priori Ambiente strutturato e controllato Processi decisionali cablati Facilmente impiegabile in ambiente industriale Navigazione autonoma Controllo di processo Controllo robotico Dati Visuali Ispezione Visiva Visione Modello Ambiente artificiale Obiettivo 24

25 Imagelab: Esperimenti di Guida Autonoma Progetto PRIITT ItalVision- ImageLab DII 2006 Impiego di telecamere stereo su robot mobili per Riconoscimento di ostacoli in real-time Identificazione della posizione e misura delle distanze Correzione della traiettoria in real-time Su piattaforma PC Ambiente semi-strutturato

26 Imagelab: rilevamento ostacoli Calcolo della profondità basate sulla triangolazione stereo Immagine Singola Mappa di disparità (stereo) Omografia

27 Imagelab: Guida Autonoma Riconoscimento di pattern artificiali Pattern Artificiale Pattern orizzontali Video: Confronto di guida autonoma 27 Pattern Verticali

28 28 La Visione e il Movimento: Video Sorveglianza

29 La Visione e il movimento Aspetti visuali: Colore, forma, Tessitura Nel video: Il movimento Calcolo dei movimenti dei punti (optical flow) Rilevazione degli oggetti in movimento Calcolo e predizione dello stato di moto (tracking) 29

30 Imagelab:la videosorveglianza Progetti: LAICA (Laboratorio di Ambient Intelligence per una Città Amica) Regione Emilia- Romagna, Italy with Univ. Parma Bologna, Comune Reggio Emilia Automatic real-time detection of infiltrated objects for security of airportsrts and train stations (Australian Research Council with University of technlogy, Sidney) FREE-SURF: Free Surveillance in a Privacy Respectful way Italian MUR PRIN Project BE-SAFE Bheavior learning foir Surveillance application with feature extraction NATO Science for Peace program (Israel Hebrew Univ) Smoke detection (Bridge 129) THIS European project JLS (transportation hub intelligent system) Surveillance Library TECNOPOLO-SOFTECH Surveillance at working place (PRIITT Bridge 129) 30

31 Geometrical Computer Vision 4. Calibrazione della telecamera Dall immagine Da specifiche tecniche della telecamera Da informazioni note a priori Object #8 Type:nuts Diameter: 22.3 mm Position: (47,38) mm Video

32 La Visione: Movimento e Geometria Modena Soft biometry Estrazione, riconoscimento automatico di persone (Sakbot ImageLab) Prof. Rita Cucchiara Università di Modena e Reggio Emilia

33 Correzione prospettica altezza persona in cm: 177,43

34 Analisi automatica a posteriori Con PTZ Anche Volti (Video) Prof. Rita Cucchiara Università di Modena e Reggio Emilia

35 People Surveillance Video Video 35 R. Cucchiara, C. Grana, M. Piccardi, A. Prati,"Detecting Moving Objects, Ghosts and Shadows in Video Streams in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, n. 10, pp , 2003

36 Imagelab: Laica et al. Project Laboratorio di Ambient Intelligence per una Città Amica Piano Telematico ER Video: Public park in Reggio Emilia, Modena Campus Abandoned Paks

37 Il movimento per l analisi del comportamento Video acquisition preprocessing Motion segmentation Action Interaction Bheaviors.. Motion analysis People dt detectionti 1) studio delle traiettorie delle persone nello spazio 2) studio del movimento delle persone (postura) 3) studio e riconoscimento delle azioni 4) riconoscimento i delle interazioni i i tra persone Analisi del comportamento 37

38 Studi sulla postura Supervised learning 38 R. Cucchiara, C. Grana, A. Prati, R. Vezzani,"Probabilistic Posture Classification for Human Behaviour Analysis" in IEEE Transactions on Systems, Man, and Cybernetics, Part A: Systems and Humans, vol. 35, n. 1, pp , 2005

39 Hidden Markov Models for action analysis Pipelined HMMM for action analysis* Probabilistic parameters of a hidden Markov model (example) x states y possible observations a state transition probabilities b output probabilities Video pipelined HMM 39 *R. Vezzani, M. Piccardi, R. Cucchiara,"An efficient Bayesian framework for on-line action recognition" in Proceedings of the IEEE International Conference on Image Processing, Cairo, Egypt, November 7-11, 2009

40 Traiettorie e movimento 40 S. Calderara, C. Alaimo, A. Prati, R. Cucchiara,"A Real-Time System for Abnormal Path Detection" in Proceedings of 3rd IEE International Conference on Imaging for Crime Detection and Prevention (ICDP 2009), London, UK, 2009

41 La Visione e l apprendimento Se l ambiente e complesso Se il modello non definibile a priori: Impiego di feature percettive Machine Learning (apprendimento automatico da esempi) 41

42 Esempio: riconoscimento di persone con LogitBoost Classifier on Riemanniani Manifolds Casc 1 Casc 2 Casc N Image Sub Region R Extract Pixel wise Feature 1 Mean, var Covariance Et Extract tpixel wise i Feature 2 Mean, var R Covariance Descriptor Extract Pixel wise Feature M Mean, var C R (MxM matrix, sym pos def)

43 Riconoscimento di persone in aree aperte Sicurezza nei cantieri Imagelab 2009 Dove sono gli operai? Imagelab 2009 Bridge 129 Tecnopolo di Modena Emilia Romagna Prof. Rita Cucchiara Università di Modena e Reggio Emilia

44 Riconoscimento di operai Telecamera ad alta definizione Selezione Regione di Interesse Rilevamento del moto Rilevamento delle prospettive Rilevamento operai Controllo di sicurezza (elmetto) Rilevamento volti e teste Prof. Rita Cucchiara Università di Modena e Reggio Emilia

45 Covariance Matrix on Riemannian Manifold Casc 1 Casc 2 Casc N Linear Logistic Regressor on Riemannian Manifolds Euclidean Space needed 45

46 Machine Laarning & Pattern Recognition Positivi Negativi Apprendimento parametri Apprendimento Estrazione di descrittori visuali Prof. Rita Cucchiara Università di Modena e Reggio Emilia

47 Sicurezza nei cantieri Prof. Rita Cucchiara Università di Modena e Reggio Emilia

48 48 La Visione e il colore: Medical Imaging

49 Il Colore: l analisi di immagini mediche Analisi di immagini mediche in supporto alla diagnosi Visione semi-supervisionata Strumenti di ausilio Per la diagnosi precoce del melanoma 49 C. Grana, G. Pellacani, R. Cucchiara, S. Seidenari,"A New Algorithm for Border Description of Polarized Light Surface Microscopic Images of Pigmented Skin Lesions in IEEE Transactions on Medical Imaging, vol. 22, n. 8, pp , Aug., 2003

50 Percezione di colore e forma: clustering La scuola della Gestalt: Grouping is key to visual perception ( The whole is greater than the sum of its parts ) Impiego di tecniche di clustering ( classificazione non supervisionata) basate sul colore e vicinanza spaziale 50

51 Clustering con Mean shift 51

52 Imagelab: l analisi di immagini mediche Median Cut K-Means Fuzzy C-Means Mean Shift 52

53 53 La Visione e l apprendimento Artistic Digital Library

54 Apprendimento automatico per la ricerca di similarità Progetto Rerum Novarum (24 settembre 2010) Franco Cosimo Panini Biblioteca universitaria Estense 54

55 Rerum Novarum Immagini digitali: Pre-elaborazione Segmentazione e labeling Classificazione testo-immagini Riconoscimento vignette Ricerca di similarità visuale 55

56 Immagini digitali: Pre-elaborazione Segmentazione e labeling Classificazione testo-immagini Riconoscimento vignette Ricerca di similarità visuale 56

57 Immagini digitali: Pre-elaborazione Segmentazione e labeling Classificazione testo-immagini Riconoscimento vignette Ricerca di similarità visuale 57

58 Immagini digitali: Pre-elaborazione Segmentazione e labeling Classificazione testo-immagini Riconoscimento vignette Ricerca di similarità visuale 58

59 Immagini digitali: Pre-elaborazione Segmentazione e labeling Classificazione testo-immagini Riconoscimento vignette Ricerca di similarità visuale 59

60 Immagini digitali: Pre-elaborazione Segmentazione e labeling Classificazione testo-immagini Riconoscimento vignette Ricerca di similarità visuale Rerum Novarum: eseprienze virtuali nella Bibbia di Borso d Este Modena, Biblioteca estense universitaria 24 Settembre 2010 ACM Int. Conf. on Multimedia Firenze Ottobre2010 Demo 60

61 LA Visione artificiale nel (prossimo) futuro: Gesture e posture recognition 3D vision ( face, body..) Affective Computing: visione ed emozioni Video Mining Augmented Reality.. 61

62 Grazie a Imagelab Prof. Rita Cucchiara Dipartimento t di Ingegneria dell Informazione Università degli Studi di Modena e Reggio Emilia Tel Rita.cucchiara@unimore.it i i Imagelab Andrea Prati e DISMI Costantino Grana Roberto Vezzani Simone Calderara Giovanni Gualdi Paolo Piccinini Daniele Borghesani Paolo Santinelli Davide Baltieri Sara Chiossi Anhan Rashid VISION-E srl