Intelligenza artificiale

Transcript

1 Intelligenza artificiale (01BITOV) Ship or iceberg, can you decide from space? Prof. Elio Piccolo Andrea Grippi, Elisa Wan

2 Indice Ship or iceberg, can you decide from space?... 0 Contesto... 2 Obiettivo... 3 Input... 3 Analisi dei dati di input... 3 Strategia... 4 Strumenti utilizzati... 4 Python Tensorflow... 4 Keras... 4 CNN (Convolutional Neural Network)... 4 Funzioni di attivazione... 6 Relu... 6 Sigmoide... 6 Modello base... 6 Matrice di numeri reali... 6 Immagini in formato jpg... 6 Immagini ritagliate... 7 Immagini con parti annerite... 7 Con quale tipo di input si ottengono i risultati migliori?... 8 Image Generator... 9 Modello completo Immagini RGB Modello finale Risultato Bibliografia

3 Contesto Gli iceberg alla deriva nei mari del nord rappresentano un pericolo per la navigazione. Attualmente, molte istituzioni usano tecniche di ricognizione aerea e supporto dalla terra ferma per monitorare la situazione e valutare i rischi derivati dalla presenza di iceberg. Tuttavia, in aree remote e in condizioni meteo particolarmente avverse, queste tecniche non sono possibili e bisogna ricorrere all uso di satelliti. A 600 chilometri sopra la superficie della Terra, si trova la costellazione di satelliti Sentinel-1, utilizzati per monitorare la terra Figura 1: Sentinel-1 può trasmettere e ricevere lungo il piano orizontale e verticale e gli oceani. Orbitano 14 volte al giorno, e catturano immagini della superficie terrestre ad una determinata ora e in un determinato posto. Il radar C-Band lavora ad una frequenza tale da permettergli di vedere attraverso l oscurità, la pioggia, le nuvole e la nebbia. Quando un radar rileva un oggetto, non riesce a distinguere un iceberg da una nave o altri oggetti solidi. Le immagini utilizzate in questa analisi sono ottenute tramite due canali, HH (trasmissione/ricezione orizzontale) e HV(trasmissione orizzontale e ricezione verticale). Nonostante alcuni oggetti possano essere facilmente riconoscibili a occhio nudo, il riconoscimento in un immagine con centinaia di oggetti può impiegare anche molto tempo. Alcuni esempi semplici: Figura 2: Immagini di navi Figura 3: Immagini di Iceberg 2

4 Altre immagini sono più difficili da classificare: Figura 4: Immagini di navi Figura 5: Immagini di iceberg Obiettivo Costruire un modello di rete neurale per la classificazione degli oggetti in navi o iceberg. Input Il dataset è diviso in training set con 1604 entries e test set con 8424 entries. Ogni entry è costituito dalle seguenti informazioni: Id identificativo dell immagine band_1, band_2 vettori di immagine. Ogni immagine ha 75x75 pixel. Ogni pixel è rappresentato da un valore reale in db. Le immagini denominate band_1 corrispondono al canale HH (trasmissione e ricezione orizzontali) mentre le immagini denominate band_2 corrispondono all altro canale di trasmissione e ricezione HV (trasmissione orizzontale e ricezione verticale). inc_angle l angolo di incidenza. I valori mancanti sono contrassegnati con na. is_iceberg la classificazione Analisi dei dati di input Ogni immagine presenta un oggetto molto chiaro in centro e il mare scuro intorno. Solo una piccola parte dell immagine è interessante. Ogni oggetto è rappresentato da due immagini. Le immagini non sono date in un formato standard, ma sono rappresentate da una matrice di numeri reali. 3

5 Strategia Reti neurali con stati convoluzionali con semplice pre-processamento delle immagini. Strumenti utilizzati Python 2.7 Linguaggio di programmazione scelto per la sua versatilità e la sua diffusione in questo campo di studi. Dispone di librerie quali Tensorflow e Keras che abbiamo utilizzato per svolgere il progetto Tensorflow Tensorflow è una libreria di software open source per il calcolo numerico tramite l utilizzo di grafici per rappresentare il flusso di dati. I nodi nel grafico rappresentano operazioni matematiche, mentre gli archi rappresentano i vettori di dati multidimensionali (tensori) comunicati. Keras Keras è una API di alto livello per lo sviluppo di reti neurali scritta in Python e può essere utilizzata con Tensorflow, CNTK o Theano. Con Keras, i modelli si possono creare in due modi differenti: API sequenziale: per la creazione livello per livello di modelli molto semplici. API funzionale: per la creazione di modelli più complessi. Nella nostra analisi, abbiamo dovuto utilizzare l API funzionale per poter creare un modello con più di un input. CNN (Convolutional Neural Network) Figura 6: Rete neurale convoluzionale Le reti neurali convoluzionali sono un tipo di rete neurale feed-forward che è stato ispirato al funzionamento dei neuroni della corteccia visiva degli animali, i cui neuroni individuali sono disposti in maniera tale da rispondere alle regioni di sovrapposizione che tassellano il campo 4

6 visivo. Sono spesso utilizzate nel riconoscimento di immagini, per cui sono particolarmente adatte e non richiedono pre-elaborazione delle immagini. In letteratura si possono trovare differenti architetture di reti convoluzionali, la famiglia LeNet utilizza i seguenti strati: Convolutional layer Non-linearity layer Pooling layer Fully connected layer Lo strato convoluzionale ha il compito di estrarre caratteristiche dalle immagini. Più strati convoluzionali usiamo, più complicati saranno le caratteristiche che la nostra rete riuscirà ad imparare. L estrazione di queste caratteristiche avviene tramite l operazione di convoluzione, che consiste nell applicare il prodotto matriciale della matrice (filtro) su tutta l estensione dell immagine. Figura 7: Immagine Figura 8: Filtro di convoluzione Figura 9: Operazione di convoluzione Lo strato di pooling serve a ridurre la dimensione dell immagine. In particolare, il Max Pooling, prende il massimo valore da una finestra n n. Questa operazione è utile nella prevenzione dall overfitting e rende la rete resistente a piccole variazioni di input. Infine, lo strato completamente connesso è un Multi Layer Perceptron che combinando le caratteristiche estratte degli strati convoluzionali precedenti classifica l immagine originale nelle varie classi. 5

7 Funzioni di attivazione Figura 10: Funzione di attivazione sigmoide a sinistra e relu a destra Relu Tutti gli input negativi, sottoposti a questa funzione di attivazione, diventano immediatamente degli zeri. Tuttavia, è la funzione di attivazione tipicamente utilizzata nelle reti convoluzionali. Sigmoide L output della funzione sigmoidea è limitata tra 0 e 1, per questo motivo, è utilizzata in modelli che devono predire la probabilità di un output. Nel nostro caso, la probabilità che ci sia un iceberg. Modello base Utilizziamo una semplice rete neurale che chiamiamo modello base per determinare sotto quale forma è meglio presentare i dati di input alla rete convoluzionale. Matrice di numeri reali La prima possibilità è di sottoporre alla rete neurale i dati grezzi ottenuti dai satelliti senza alcuna manipolazione. Il vantaggio è che non si perdono informazioni ma utilizziamo tutto quello di cui disponiamo. Immagini in formato jpg Trasformare la matrice grezza in un immagine vera e propria in formato jpg. In questo modo perdiamo delle informazioni per colpa della trasformazione dei numeri reali in numeri interi compresi tra 0 e 255. Figura 11: Modello base 6

8 Immagini ritagliate Cerchiamo di eliminare le informazioni inutili per facilitare il lavoro della rete neurale ritagliando l area interessante. L oggetto da analizzare è sempre caratterizzato un colore molto chiaro, ritagliamo, quindi i pixel con un valore sopra di una soglia euristica. Figure 12: Immagine originale a sinistra e corrispondente immagine ritagliata a destra. Le immagini con sfondo molto chiaro non vengono ritagliate perché la soglia stabilita non è abbastanza discriminante. Immagini con parti annerite Figure 13: Immagine originale con sfondo molto chiaro a sinistra e corrispondente immagine ritagliata a destra. Un altro modo semplice per eliminare informazioni non utili è quello di annullare tutti i pixel con valori sotto una certa soglia euristica decisa a priori. I risultati migliori sono stati ottenuti con una soglia pari a 150. In seguito, le immagini ottenute, come si può vedere anche in questo caso, l area interessante è difficile da evidenziare se lo sfondo è troppo chiaro. Figure 14: Immagine originale a sinistra e corrispondente immagine manipolata a destra. Figure 11: Immagine originale con sfondo chiaro a sinistra e corriposndente immagine manipolata a destra. 7

9 Con quale tipo di input si ottengono i risultati migliori? Confrontiamo i risultati ottenuti sottoponendo al modello base i quattro tipi di immagini. Figura 16: Grafico dei valori di accuratezza ottenuti con i vari input. In blu sono i valori ottenuti con il training set, in arangione i valori ottenuto con il validation set. Input Type Set Loss Accuracy Matrice grezza (matrix) Training set Matrice grezza (matrix) Validation set Immagine (image) Training set Immagine (image) Validation set Immagine annerita (black) Training set Immagine annerita (black) Validation set Immagine ritagliata (crop) Training set Immagine ritagliate (crop) Validation set Il grafico riporta i valori di accuratezza calcolato sul training set e sul validation set nei quattro casi. Dai risultati ottenuti, si nota che le operazioni di pre-processamento effettuate non sono utili. La rete convoluzionale è in grado di effettuare tutte le trasformazioni necessarie. Proseguiamo, l analisi senza fare pre-processamento di immagini manualmente. 8

10 Image Generator Il nostro training set di 1604 elementi può essere ampliato artificialmente applicando delle trasformazioni (zoom, rotazione, traslazione,...) alle immagini originarie per generare nuove immagini. Figura 17: Immagini create dal processo di data augmentation Anche in questo caso abbiamo provato ad applicare il processo di ampliamento dei dati di training ai vari formati di input considerati in precedenza, e anche in questo caso i risultati ottenuti ci indirizzano verso l uso della matrice di valori reali. Figura 18: valori di accuratezza calcolati sul training set e sul validation set sul quale si è applicato il processo di data augmentation. 9

11 Modello completo Modello in grado di accettare tre diversi input: Band_1 Band_2 Inc_angle Due immagini band_1 e band_2 passano attraverso una serie di strati convoluzionali, il risultato di queste convoluzioni viene unito a inc_angle e un MultiLayer Perceptron si occupa della classificazione in nave o iceberg. #band_1 images visible1 = Input(shape=(75,75,1)) #Immagini conv11 = Conv2D(32, kernel_size=3, activation='relu')(visible1) pool11 = MaxPooling2D(pool_size=(2, 2))(conv11) conv12 = Conv2D(64, kernel_size=3, activation='relu')(pool11) pool12 = MaxPooling2D(pool_size=(2, 2))(conv12) conv13 = Conv2D(64, kernel_size=3, activation='relu')(pool12) pool13 = MaxPooling2D(pool_size=(2, 2))(conv13) flat1 = Flatten()(pool13) #band_2 images visible2 = Input(shape=(75,75,1)) #Immagini conv21 = Conv2D(32, kernel_size=3, activation='relu')(visible2) pool21 = MaxPooling2D(pool_size=(2, 2))(conv21) conv22 = Conv2D(64, kernel_size=3, activation='relu')(pool21) pool22 = MaxPooling2D(pool_size=(2, 2))(conv22) conv23 = Conv2D(64, kernel_size=3, activation='relu')(pool22) pool23 = MaxPooling2D(pool_size=(2, 2))(conv23) flat2 = Flatten()(pool23) #inc_angles visible3 = Input(shape=(1,)) #Vettore con gli angoli flat3 = Dense(32, input_shape=(1,))(visible3) #merge merge = concatenate([flat1, flat2, flat3]) hidden1 = Dense(32, activation='relu')(merge) hidden2 = Dropout(0.5)(hidden1) hidden3 = Dense(32, activation='relu')(hidden2) output = Dense(1, activation='sigmoid')(hidden3) model = Model(inputs=[visible1, visible2, visible3], outputs=output) model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['accuracy']) history=model.fit([band_1_train,band_2_train,angoli_train],[train_classes], validation_data=([band_1_val, band_2_val, angoli_val], [val_classes]), epochs=15, verbose=2) 10

12 Figura 19: Modello di rete convoluzionale con tre input: band_1, band_2 e inc_angle 11

13 In seguito, sono mostrati gli andamenti dell accuratezza e della perdita nella fase di apprendimento. Figura 4: Andamento di accuratezza e perdita del training set e del validation set durante la fase di apprendimento di 40 epoche Immagini RGB Le immagini, in codifica RGB, non sono altro che delle matrici a tre dimensioni: Larghezza Altezza 3, risultato della sovrapposizione di di tre matrici, una per il rosso, una per il verde e una per il blu. Sfruttiamo questa codifica per creare delle immagini nel seguente modo: R = matrice band_1 G = matrice band_2 B = matrice band_1 + band_2 che porta con sé informazioni sulla differenza tra le due immagini Figure 21: Immagine data dalla sovrapposizione di "band_1", "band_2" e "band_1+band_2" 12

14 Modello finale Il modello finale scelto accetta in input le immagini RGB e l angolo di incidenza. In questo modo riduciamo la complessità del modello, aumentando al contempo il numero di input. Dati gli andamenti delle curve di accuratezza e di perdita, mostrati in seguito, si è scelto di fermare il processo di apprendimento a 30 epoche con il quale abbiamo ottenuto i seguenti risultati: Training set: o Accuratezza = o Perdita = Validation set: o Accuratezza = o Perdita = Figure 22: Andamento dell'accuratezza e della perdita del training set e del validation set su 60 epoche. Risultato Calcolando le previsioni su un test set di cui non conosciamo la classificazione, è stato calcolata una perdita di , mentre il primo classificato della competizione ha ottenuto una perdita di

15 #create model input1 = Input(shape=(75,75,3)) #Immagini conv11 = Conv2D(64, kernel_size=3, activation='relu')(input1) pool11 = MaxPooling2D(pool_size=(2, 2))(conv11) drop11 = Dropout(0.2)(pool11) conv12 = Conv2D(128, kernel_size=3, activation='relu')(drop11) pool12 = MaxPooling2D(pool_size=(2, 2))(conv12) drop12 = Dropout(0.2)(pool12) conv13 = Conv2D(128, kernel_size=3, activation='relu')(drop12) pool13 = MaxPooling2D(pool_size=(2, 2))(conv13) drop13 = Dropout(0.2)(pool13) conv14 = Conv2D(64, kernel_size=3, activation='relu')(pool13) pool14 = MaxPooling2D(pool_size=(2, 2))(conv14) drop14 = Dropout(0.2)(pool14) flat1 = Flatten()(drop14) input2 = Input(shape=(1,)) #Vettore con gli angoli merge = concatenate([flat1, input2]) dense1 = Dense(512, activation='relu')(merge) drop1 = Dropout(0.2)(dense1) dense2 = Dense(512, activation='relu')(drop1) drop2 = Dropout(0.2)(dense2) dense3 = Dense(256, activation='relu')(dense2) drop3 = Dropout(0.2)(dense3) output = Dense(1, activation='sigmoid')(drop3) model = Model(inputs=[input1, input2], outputs=output) model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['accuracy']) Figure 23: Modello della rete neurale finale 14

16 Bibliografia Descrizione competizione: Descrizione background: QUASI-SCATTERING MATRIX REGISTRATION IN REPEAT PASS MODE:[L. Zakharova and A. Zakharov] Combining polarimetric channels for better ship detection results [Tonje Nanette Arnesen Hannevik]: Getting started with the Keras Sequential model Overfitting Convolutional neural networks