Applicazioni di Visione Artificiale su smart camera

Transcript

1 Fabrizio Dini Applicazioni di Visione Artificiale su smart camera

2 Magenta srl Società di Ingegneria Informatica di Firenze fondata nel Oggi l'azienda è principalmente un fornitore di tecnologie IT per altre organizzazioni, pubbliche e private. L'azienda mantiene inoltre stretti legami con il mondo accademico, e in particolare con i dipartimenti UNIFI/MICC e DSI. Principali aree di attività: Applicazioni web in tecnologia Java Enterprise. Applicazioni per la gestione, l'elaborazione e l'analisi di immagini e video. Applicazioni per dispositivi mobili su piattaforma Android.

3 Visione Artificiale "The science of computers and machines that see" (cit. Wikipedia)

4 Applicazioni di Video Analisi Video sorveglianza Object detection (scale invariant) Face detection, stima della posa Adaptive enconding

5 Un po di storia : Inizia la diffusione della CCTV nei luogi pubblici (USA) 1942: Primo esperimento di CCTV (Siemens) 1970: Vengono lanciati Betamax e VHS 1960: Digital Image Processing 1990: Vengono lanciati i primi DVR (Digital Video Recorder) 1999: Prima telecamera IP decentralizzata (Mobotix) 1982: Standardizzazione protocolli TCP/IP 1986: International Conference on Computer Vision (ICCV) 1975: Prima fotocomera digitale (con CCD) 1982+: Prime telecamere digitali (Sony) 1968: Journal Pattern Recognition 1970: International Conference on Pattern Recognition (ICPR) 1977: International Conference on Pattern Recognition (ICPR) 1979: IEEE Transaction on Pattern Analysis and Machine Intelligence (PAMI) 1996: Prima telecamera IP centralizzata (Axis) 2005: Prima telecamera con Video Content Analysis (Intellio)

6 Analisi video Approccio classico: trasmettere il video, poi elaborarlo Pro: sensori video più semplici e meno costosi; maggiore capacità di calcolo disponibile; possibilità di elaborazione off-line Contro: maggiore banda trasmissiva richiesta; problemi di privacy legati alla necessità di trasmettere/memorizzare il video Pedestrians: 34 Vehicles: 3 Abandoned objects:

7 Analisi video Approccio "distribuito": elaborare il video a bordo, trasmettere dati analitici Pro: minima occupazione della banda trasmissiva disponibile; ridotti problemi di privacy per la possibile assenza di trasmissione e/o memorizzazione di immagini Contro: sensore video più costoso; generalmente ridotta potenza di calcolo disponibile; necessità di elaborare il video in tempo reale Pedestrians Vehicles Abandoned objects Pedestrians: 34 Vehicles: 3 Abandoned objects: Vehicles Pedestrians......

8 Smart camera platforms

9 La piattaforma ACAP Smart camera programmabile Axis: cpu ARM Artpec3 400Mhz running Linux MB ram, 128MB memoria flash interna Piattaforma di sviluppo "open": libreria open source (GNU LGPL) per l'image processing di basso livello (RAPP: libreria open source (GNU LGPL) per i calcoli in virgola fissa (FixMath: librerie binarie per l'interfaccia con gli altri device della telecamera (web server, event server, digital I/O,...) cross-compilatore CRISV32 (C/C++)

10 Smart camera image VCA output Output sub-system Digital I/O Sensor VCA Alarm sub-sys Web server raw video

11 Smart camera IP programmabile image raw video application output Output sub-system Digital I/O Sensor User application Alarm sub-sys Encoder Video server encoded video HTTP, RTSP, RTP...

12 Criticità nello sviluppo su piattaforma video embedded 1. Assenza di librerie di alto livello per l'image processing: a. re-implementazione di algoritmi noti b. gestione a basso livello dei pixel buffer 2. Feedback visuale praticamente assente, debug non immediato (debug remoto, concorrenza ) 3. Limitata potenza di calcolo: il carico computazionale impatta anche sugli fps ottenibili - troppo carico, meno fps e questo è un problema per i metodi che hanno "memoria"

13 1 - Libreria di image processing: RAPP La libreria RAPP (RAster Processing Primitives) fornisce un discreto numero di funzionalità di image processing di basso livello: o o o o o operazioni pixelwise statistiche elementari filtri di convoluzione e morfologici thresholding copy e set condizionali o... La gestione della memoria è affidata completamente all'utente: la libreria non alloca memoria, MAI.

14 1 - Libreria di image processing: RAPP I pixel buffer devono essere allineati: o il buffer inizia a una locazione di memoria multipla di ALIGNMENT (4, 8 o 16 byte, dipende dall'architettura) o o o la dimensione del buffer è multipla di ALIGNMENT ogni riga dell'immagine è memorizzata all'interno del buffer in locazioni di memoria contigue a partire da un indirizzo allineato se la larghezza dell'immagine non è multipla di ALIGNMENT, si aggiungono byte di allineamento

15 1 - Libreria di image processing: RAPP BASE ADDRESS ALIGNMENT ALIGNMENT BYTES WIDTH HEIGHT STRIDE <BASE ADDRESS, STRIDE, WIDTH, HEIGHT>

16 1 - Libreria di image processing: RAPP Il pixel buffer è completamente specificato quando sono noti: o indirizzo di base o stride o larghezza dell'immagine ( <= stride ) o altezza dell'immagine Una sottoimmagine può essere facilmente selezionata ricalcolando indirizzo di base, larghezza e altezza, e lasciando inalterato lo stride.

17 1 - Libreria di image processing: RAPP 0x x12CA <0x12CA0, 640, 320, 240> <0x00000, 640, 640, 480>

18 RAPP FixMath VideoSource Params NetHTTP Events Licensekey Logs Utils 2 Feedback visuale, debug APPLICATION MAGENTA WRAPPER LIBRARY

19 RAPP FixMath Capture Params Net_HTTP Events Licensekey RAPP FixMath VideoSource Params NetHTTP Events Licensekey Logs Utils 2 Feedback visuale, debug APPLICATION MAGENTA WRAPPER LIBRARY ARTPEC3

20 RAPP FixMath Capture Params Net_HTTP Events Licensekey OpenCV SDL RAPP FixMath VideoSource Params NetHTTP Events Licensekey Logs Utils 2 Feedback visuale, debug APPLICATION MAGENTA WRAPPER LIBRARY X86

21 Frames Processed Per Second 3 - Limitata potenza di calcolo Paradosso: se catturo meno frame, riesco ad aumentare il frame rate di lavoro! Frames Captured Per Second

22 Piattaforma di sviluppo per ACAP Ambiente di sviluppo basato su: Eclipse (Galileo,..., Indigo, Juno) + CDT Script ANT, Makefile e bash per l'invocazione del compilatore GCC o CRISV32 e per l'installazione dei binari a bordo camera Librerie personalizzate in doppia versione: x86 e Artpec3

23 Vehicle Counter Applicazione per il monitoraggio del traffico: Raccoglie statistiche sul numero e sulla velocità dei veicoli in transito sulle corsie inquadrate Sviluppata nell'ambito del progetto europeo ORUSSI: Optimal Road surveillance based on Scalable video (Bando ERA-SME th call)

24 Vehicle Counter: funzionamento

25 Vehicle Counter: architettura PROBES CONFIGURATION ALARM EVENTS STOP EVENT FS Vehicle Counter Event server SET CONFIGURATION VEHICLES STATS SPEED STATS ALARMS HTTP server GET CONFIGURATION LIST DATA LIST ALARMS HTTP REQUEST

26 Vehicle Counter: risultati