Flickr image classification

Transcript

1 Flickr image classification Relazione progetto Social Media Management Università degli studi di Catania Dipartimento di Matematica e Informatica CANCEMI DAMIANO - W

2 Introduzione Questo progetto mira, tramite tecniche di machine learning, alla creazione di un modello per la classificazione di immagini, prelevate tramite Flickr API. Sono stati effettuati diversi tipi di classificazioni, su un dataset contenenti immagini appartenenti alla categoria bird (volatili) e mammal (mammiferi). Lo scopo è quello di allenare un modello che classifichi immagini come animale volatile o non volatile. Vengono comparati i diversi classificatori con i relativi valori di accuracy_score che ne misurano l efficenza. In particolare sono stati implementati e comparati i seguenti classificatori: 1-nn, 3- nn, 5-nn, logistic regression (one-vs-rest), logistic regression (multinomial), gaussian naive bayes e multinomial naive bayes. Per comodità le feature calcolate sono salvati su file per mediante cpickle. Flickr API Con oltre 5 miliardi di foto la community di Flickr produce un incredibile varietà di dati. Flickr mette a disposizione gratuitamente a tutti i membri e sviluppatori delle API che rappresentano la modalità di accesso a quei dati anche al di fuori della propria piattaforma. In questa sezione verrà in particolare descritta la sezione flickr.photos.search che permette appunto di ricercare ed ottenere foto (secondo alcuni criteri di ricerca) dal social network in questione. Ecco alcuni parametri principali da poter utilizzare: api_key L api_key della nostra applicazione. obbligatorio tags tag_mode Una lista di tags separati da virgola. Verranno restituite le foto che contengono uno o più tags della lista. Se si vogliono escludere le immagini che non contengono un determinato tag, è possibile farlo aggiungendo come prefisso di un tag il carattere -. Si può scegliere any per filtrare le immagini contenenti almeno uno dei tags specificati (OR), oppure all (AND). CANCEMI DAMIANO - W

3 text sort has_geo geo_context per_page page Saranno ritornate le immagini che contengono il valore specificato nel titolo, nella descrizione o nei tags. Si può escludere un singolo termine aggiungendo come prefisso il carattere -. Permette di stabilire l ordine dei risultati. I valori possibili sono: date-posted-asc, date-posted-desc, datetaken-asc, date-taken-desc, interestingness-desc, interestingness-asc, e relevance. Di default viene utilizzato il valore date-postesd-desc Verranno restituite solamente le foto che sono state geotaggate, ovvero contenenti latitudine e longitudine. Possibili valori: 0 o 1. Valore numerico che ci permette di filtrare le foto scattate in ambienti interni o esterni: 0: non definito 1: ambienti interni 2: ambienti esterni Numero di foto ritornate per pagina. Se l argomento non è specificato, di default è 100. Il massimo valore permesso è 500. La pagina di risultati da ritornare. Se l argomento non è specificato di default è 1. Per utilizzare le API di Flickr, c è bisogno innanzitutto di creare una propria applicazione per poter ottenere una chiave. La chiave API è il componente fondamentale della nostra applicazione web, senza di essa non potremmo usare le API. In questo progetto è stata utilizzata la libreria flickrapi di Python che facilita appunto il collegamento con le API. Per prima cosa dobbiamo quindi autenticarci, fornendo all applicazione l api_key e l api_secret create: 1. flickr = flickrapi.flickrapi(api_key, api_secret) CANCEMI DAMIANO - W

4 Possiamo ora effettuare la chiamata per ricercare le immagini tramite la seguente chiamata esempio: 1. flickr.photos_search( 2. page=1, 3. sort= relevance", 4. per_page=500, 5. text= birds", 6. tags= animal" 7. ) L oggetto restituito sarà un JSON o un XML contenente tutte le informazioni utili per la costruzione dell URL di origine della foto. A seguire un esempio di ritorno della chiamata: 1. { 2. "photos": { 3. "page": 1, 4. "pages": 39343, 5. "perpage": 10, 6. "total": "393427", 7. "photo": [ 8. { 9. "id": " ", 10. "owner": " @N05", 11. "secret": "6c266faf10", 12. "server": "3855", 13. "farm": 4, 14. "title": "chipmunk", 15. "ispublic": 1, 16. "isfriend": 0, 17. "isfamily": }, ] 21. }, 22. "stat": "ok" 23. } L URL finale da cui sarà possibile ottenere una singola immagine avrà la forma: 1. CANCEMI DAMIANO - W

5 Creazione del dataset Il file flickrapi.py si occupa della creazione dei dataset. Scelti gli hashtag da ricercare (bird, mammal) si sono scaricate 2 pagine dei risultati delle API di Flickr. Per ogni hashtag ricercato sono state collezionate complessivamente 976 immagini, per un totale di immagini. Per evitare eccessivo rumore, è stato necessario impostare i seguenti parametri alle richieste API: tags= animal text= bird mammal sort= relevance È stata creata un interfaccia web in PHP che permette di visualizzare, per ogni hashtag, le immagini estratte da Flickr. CANCEMI DAMIANO - W

6 Analisi Dopo aver caricato il dataset, questo viene partizionato in training_set (70%) per l allenamento del modello e test_set (30%) per la validazione dei risultati. > ---- SUMMARY ---- Numero totale di immagini nel dataset: 1952 Dimensione training set: 1366 Dimensione test set: 586 Viene creato un modello di tipo Bag of Visual Words (BOVW) dal nostro training set. Il modello BOVW sarà un dizionario di "parole visuali" utili a descrivere le immagini. La strategia adottata consiste nell'apprendere il vocabolario dai dati in maniera non supervisionata. Per prima cosa si estraggono delle feature locali (tramite daisy) da tutte le immagini del training set per poterne estrarre i descrittori; > ---- EXTRACTING FEATURES ---- Image 6/1366 [0.11/ sec] Image 10/1366 [0.09/ sec] Image 16/1366 [0.09/ sec] Image 19/1366 [0.09/ sec] Image 22/1366 [0.09/ sec] Image 23/1366 [0.11/ sec] Image 26/1366 [0.13/ sec] In secondo luogo si mettono insieme tutte le feature estratte dal training set e si utilizza Kmeans per ottenere un numero predeterminato di "parole visuali". Fatto ciò possiamo normalizzare i dati. Original data vs Normalized data CANCEMI DAMIANO - W

7 Sono stati effettuati differenti test in base al numero di cluster di KMeans (parole visuali) e al parametro step di daisy. I risultati mostrano, per ogni classificatore la relativa matrice di confusione, l accuracy score, il mean squared error e il coefficiente di Spearman. Impostando il valore di step=10 e il numero di cluster di KMeans=500 vengono estratti descrittori di 200 dimensioni. classifier accuracy score confusion matrix 1-NN [[213 80] [ ]] 3-NN [[215 78] [ ]] 5-NN [[212 81] [ ]] Logistic Regressor (one-vs-rest) [[222 71] [ ]] Logistic Regressor (multinomial) [[220 73] [ ]] Gaussian Naive Bayes [[ ] [ ]] Multinomial Naive Bayes [[ ] [ ]] Logistic regression plot 2D e 3D (step=10, KMeans=500) CANCEMI DAMIANO - W

8 Impostando il valore di step=4 e stesso numero di cluster vengono estratti descrittori di 200 dimensioni. classifier accuracy score confusion matrix 1-NN [[195 98] [ ]] 3-NN [[200 93] [ ]] 5-NN [[213 80] [ ]] Logistic Regressor (one-vs-rest) [[222 71] [ ]] Logistic Regressor (multinomial) [[220 73] [ ]] Gaussian Naive Bayes [[ ] [ ]] Multinomial Naive Bayes [[ ] [ ]] Logistic regression plot 2D e 3D (step=4, KMeans=500) CANCEMI DAMIANO - W

9 Impostando il valore di step=2 e stesso numero di cluster vengono estratti , descrittori di 200 dimensioni. classifier accuracy score confusion matrix 1-NN [[208 85] [ ]] 3-NN [[218 75] [ ]] 5-NN [[211 82] [ ]] Logistic Regressor (one-vs-rest) [[223 70] [ ]] Logistic Regressor (multinomial) [[221 72] [ ]] Gaussian Naive Bayes [[ ] [ ]] Multinomial Naive Bayes [[ ] [ ]] Logistic regression plot 2D e 3D (step=4, KMeans=500) I migliori punteggi di accuracy score si ottengono per il classificatore 5-nn con step=4 e per il classificatore Multinomial Naive Bayes con step=2. CANCEMI DAMIANO - W