Laboratorio di Elaborazione e Trasmissione Video

Transcript

1 + Laboratorio di Elaborazione e Trasmissione Video Prof. Christian Micheloni Dott. Marco Vernier Dipartimento di Matematica e Informatica Università degli studi di Udine

2 Cosa abbiamo visto Nella 1 lezione: Il sistema operativo Android L ambiente di sviluppo per Android (Eclipse + ADT) Come si importa un progetto su Eclipse Come si compila e si esegue un progetto Oggi vedremo Continuiamo con semplici esercizi di programmazione Android Introduzione alle librerie OpenCV OpenCV e Android Come si installano le OpenCV su Android Strumenti necessari per importare le librerie Alcuni esempi sull utilizzo delle OpenCV

3 Esercizi 1. Modifichiamo il testo della stringa (inserire un altro testo) 2. Modifichiamo il colore della stringa 3. Cambiamo la dimensione della stringa 4. Inseriamo una immagine 5. Inseriamo un bottone Creiamo il bottone all interno del layout Si noti che il bottone verrà identificato univocamente da un id descritto a sua volta da una costante all interno del file R.java L operazione di cast è necessaria in quanto tale metodo ritorna il componente ottenuto attraverso un riferimento di tipo «View» che ne rappresenta una generalizzazione Un bottone deve essere collegato alla vista a cui appartiene Aggiungiamo un ascoltatore al bottone per gestire il tipo di evento desiderato Registreremo una implementazione anonima dell interfaccia View.OnClickListener() come ascoltatore dell evento definendo poi l evento onclick(),

4 Esercizi 1/2 6. Ora proviamo a modificare il testo mediante la pressione del pulsante 7. Ora inseriamo una nuova Activity Creiamo un file SecondActivity.java e lo inseriamo all interno del nostro package di riferimento (New class nome classe) Estendiamo la classe alla sovraclasse Activity in modo tale da ereditare i metodi di callback Importiamo i vari package necessari Creiamo un nuovo file di layout (es. secondlayout.xml) e al suo interno inseriamo una label con una scritta a piacere (il nome del file xml tutto in piccolo!!!) Ora tornando sulla classe secondscreen settiamo il riferimento al file di layout appena creato A questo punto dalla classe MainActivity creiamo l Intent che ci permette di avviare la seconda schermata Intent intent = new Intent(this, secondscreen.class); startactivity(intent); da associare all evento onclick() del pulsante Proviamo ad eseguire il programma

5 Ciclo di vita Activity

6 Non dimenticare Di modificare il file AndroidManifest.xml Infatti dobbiamo dichiarare la nuova Activity appena creata

7 Esercizi 2/2 8. Ora proviamo ad abilitare la videocamera del nostro dispositivo attraverso un bottone che inseriremo nella seconda schermata Suggerimento: utilizziamo le «action» Si parla di nuovo di Intent esplicite quando si intende far comunicare attività della stessa applicazione, già note in fase di sviluppo L avvio della camera avviene tramite la chiamata alla action «android.media.action.image_capture»

8 Cosa sono le OpenCV Le OpenCV (Open Source Computer Vision Library) sono delle librerie orientate alla Computer Vision sviluppate da Intel e attualmente sotto licenza open-source con licenza BSD (Berkeley Software Distribution) Includono circa 2500 algoritmi Scopo principale estrarre dalle immagini dati significativi e trattabili in modo automatico per diversi scopi

9 Utilizzo delle OpenCV Diversi utilizzi: Applicazioni nella robotica Videosorveglianza Sistemi di monitoraggio e sicurezza Archiviazione automatica di informazioni visive Doversi scopi: Object Identification Object Recognition Face Recognition Gesture Recognition Motion Tracking Image Processing Mobile Robotics Stitching di immagini Etc.

10 Implementazione di diversi algoritmi Algoritmo di Canny Filtri di Sobel e Laplace Blob analisi identificazione aree omogenee Lukas e Kanade. Molti altri algoritmi Vedi pdf:

11 OpenCV vs Matlab Rispetto a Matlab: OpenCV sono state realizzate appositamente per la computer Vision Velocità: con OpenCV si riescono a processare circa 30 fps in real time Con Matlab circa 4/5 fps Efficienza: le librerie OpenCV sono sicuramente molto più efficienti rispetto a Matlab in termini di risparmio di risorse. Miglior utilizzo della memoria Linguaggio compilato vs linguaggio interpretato Le OpenCV sono scaricabili gratuitamente da:

12 Con che linguaggio sono scritte Le OpenCV sono scritte nativamente in C++ E possibile sviluppare però con diversi linguaggi di programmazione che supportano le OpenCV Java, C, Python, ecc. Sono librerie supportate dai più comuni sistemi operativi Windows, Mac OS, Linux, Android ecc.

13 La struttura delle OpenCV Le OpenCV hanno una struttura modulare ovvero il pacchetto software include sia librerie condivise che statiche Sono disponibili i seguenti moduli: core include le strutture di base come vettori, strutture di algebra lineare, matrici, ecc. (es. array Mat) imgproc un modulo di image processing che include filtri lineari e non, trasformazioni geometriche (resize, affine and perspective warping), conversione dei colori, metodi per disegnare sull immagine ecc. video un modulo di video analisi che include motion estimations, background subtraction, e algoritmi di object tracking. calib3d single and stereo camera calibration, object pose estimation ecc. features2d feature detector, descriptor, descriptor matchers. objdetect detection degli oggetti (classi predefinite per faces, eyes, people, cars ecc. Ecc. Vedi

14 Installazione: opencv.org

15 Tutorials installazione vari S.O.

16 Tutorials utilizzo vari moduli

17 Installazione in ambiente Win Scaricare le librerie da: Estrarre i file nella destinazione preferita Settare la variabile d ambiente Es: <OpenCV_DIR>\build\bin;<OpenCV_DIR>\build\x64\vc10\bin; Installare il compilatore Cmake tool che permette di creare file di progetto per diversi ambienti (file sln) Installare Visual Studio Maggiori info: stall.html#windows-installation

18 OpenCV per Android Sono disponibili delle librerie appositamente studiate per utilizzate su sistemi operativi Android Dopo aver importato le librerie all interno dell ambiente Eclipse, è possibile utilizzare i vari strumenti che OpenCV mette a disposizione

19 Installazione ambiente Android Prima di iniziare bisogna installare i seguenti componenti: JDK Android SDK Android NDK Eclipse IDE CDT (c, c++ dev. Tooling) plugin for Eclipse

20 Android NDK Native Development Kit Che cos è: un toolset che che permette di implementare parti di una Android Application utilizzando codice nativo come per esempio C o C++ Vantaggi: permette di bypassare tutti i controlli e le mediazioni della virtual machine di Android sfruttando quindi più a fondo la potenza della CPU E possibile scaricare Android NDK dal sito di Android Developers

21 CDT C, C++ Development Tooling E un plugin per Eclipse che permette di compilare codice C o C++ e che comprende diversi utili strumenti: Supporto per la creazione di progetti in C, C++ Standard make build per la compilazione Documentazione Visual Debugging tools Ecc.

22 Come installare CDT e NDK Questi tools si installano velocemente dalla sezione «Install New Software» di Eclipse Help Install New Software Dobbiamo inserire i link ai repositori dove scaricare i plugins CDT NDK Maggiori info:

23 Installazione ambiente Android Scaricare l ultima versione delle librerie «OpenCV per Android» disponibili dal sito sourceforge android-sdk.zip/download Scompattare i file e importare l intera cartella all interno di Eclipse File Import Existing Projects Into Workspace

24 Installazione ambiente Android Selezionare la cartella radice «root» e importare tutti i progetti

25 Installazione ambiente Android

26 OpenCV on Eclipse Esplorando la cartella OpenCv 2.x.x si può vedere come la cartella /src source contenga tutti i file java che descrivono i vari componenti di Android Importante è necessario che questa cartella sia condivisa come «Library» _with_ocv_on_android.html#dev-with-ocv-on-android Per inserire codice in C o C++ cartella «jni» Java Native interface Ha lo scopo di permettere ad applicazioni Java di interfacciarsi con funzioni scritte in altri linguaggi di programmazione Nella cartella NDK Samples ci sono alcuni esempi (HelloJni)

27 Samples and Tutorials La cartella OpenCV 2.4.x.x che abbiamo importato nel nostro ambiente Eclipse contiene diversi esempi e tutorial su come iniziare Alcuni interessanti tutorials sono presenti anche sul sito della Stanford University Progetti e tutorials scaricabili Guide utili per installare Eclipse + Android

28 I Esempio Estrazione di feature come lines, edges and circles utilizzando gli algoritmi di Canny e di Hough

29 I Esempio - Video 1

30 II Esempio Estrazione di feature keypoints utilizzando SURF local detector, STAR detector, FAST blob detector etc.

31 II Esempio Video 2

32 Riconoscimento Books Spined

33 Esempio Interfaccia CvCameraViewListener permette di ereditare tutti i metodi per la gestione della telecamera Collego la camera alla View Utilizzo dei vari algoritmi di Image Processing

34 Risorse utili Tutorials sulle OpenCV Tutotorial OpenCV per Android SDK Archivio sorceforge OpenCV All classes OpenCV ml Tutorials Stanford University I pdf all interno della cartella «doc» di OpenCV 2.4.x contengono tutta la documentazione

35 Grazie per l attenzione