Università degli Studi di Bergamo Intelligenza Artificiale (Codice: 38066) 12 Giugno 2019

Transcript

1 DIPARTIMENTO DI INGEGNERIA GESTIONALE, DELL INFORMAZIONE E DELLA PRODUZIONE Università degli Studi di Bergamo Intelligenza Artificiale (Codice: 38066) 12 Giugno 2019 Nome: Cognome: Matricola: Riga: Colonna: Tempo: 2 ore 15 minuti Prof. Francesco Trovò Punteggio Massimo: 34 ˆ L esame è composto da 10 esercizi (uno per pagina). La prima pagina deve essere compilata con il vostro nome, cognome e matricola. Le pagine seguenti devono essere usate solo negli appositi riquadri presenti su ogni pagina. Le soluzioni presenti al di fuori di tali spazi o non adeguatamente motivate non verranno considerati per il punteggio finale. ˆ Durante l esame non è ammesso l utilizzo di device elettronici di alcun tipo. Inoltre, non è possibile consultare alcun materiale scritto, quali appunti, schemi, note o libri. Infine, non è ammessa la comunicazione con le altre persone presenti nell aula dell esame, la cui unica eccezione è il docente. ˆ La prima violazione ad una delle note sopracitate verrà registrata sull esame e verrà tenuta in considerazione per il calcolo del punteggio finale dell esame. La seconda violazione ad una delle note sopracitate comporterà l immediata espulsione dall aula dello o degli studenti coinvolti e l annullamento dell esame. ˆ Potete compilare l esame alternativamente con una penna (blu o nera) o con una matita. È vostra responsabilità che le soluzioni prodotte siano leggibili. Il professore non verrà ritenuto responsabile in caso di cancellazione accidentale parziale o totale dell esame. ˆ Potete ritirarvi in ogni momento senza alcun tipo di penalità. Potrete lasciare l aula non prima della metà della durata dell esame. La copia dell esame, vuota o compilata, dovrà essere riconsegnata al docente prima di uscire dall aula. ˆ Tre dei punti dell esame verranno assegnati in base alla velocità di risoluzione dell esame. Se lo studente dovesse finire almeno 45 minuti in anticipo rispetto alla fine del tempo dato per l esame, egli/ella otterrà 3 punti. Analogamente ne otterrà 2 con un anticipo di 30 minuti e 1 punto con un anticipo di 15 minuti (i punti non sono cumulabili). Es. 1 Es. 2 Es. 3 Es. 4 Es. 5 Es. 6 Es. 7 Es. 8 Es. 9 Es. 10 Tempo Tot. / 5 / 5 / 5 / 2 / 2 / 2 / 2 / 2 / 3 / 3 / 3 / 34

2 Ingegneria Informatica Ingegneria Informatica Intelligenza Artificiale Pagina 2 di 12 Esercizio 1 (5 punti) Descrivere i problemi di predizione e controllo nell ambito del Reinforcement Learning (RL). Descrivere un algoritmo di RL che risolva problemi di predizione e uno che risolva quelli di controllo.

3 Ingegneria Informatica Ingegneria Informatica Intelligenza Artificiale Pagina 3 di 12 Esercizio 2 (5 punti) Descrivere la tecnica della regressione lineare. In particolare, spiegare quali metodi di ottimizzazione possono essere utilizzati e quali metodi di regolarizzazione possono essere applicati. Infine, spiegare le limitazioni di tale tecnica nella risoluzione di problemi di classificazione.

4 Ingegneria Informatica Ingegneria Informatica Intelligenza Artificiale Pagina 4 di 12 Esercizio 3 (5 punti) Descrivere gli obbiettivi dell unsupervised learning. Descrivere la tecnica chiamata PCA e dire per quali degli obbiettivi precedentemente descritti può essere utile la sua applicazione.

5 Ingegneria Informatica Ingegneria Informatica Intelligenza Artificiale Pagina 5 di 12 Esercizio 4 (2 punti) Categorizzare i seguenti problemi di ML, fornire una tecnica per risolvere ognuno di essi e delle feature che possono essere utili alla loro risoluzione: 1. Identificare i differenti tipi d utente che sono più importanti per la vendita di materiale hardware online; 2. Determinare la qualità di una birra date le sue caratteristiche. 1. Non avendo un idea precisa dell output di tale processo, ci troviamo di fronte ad un problema di unvsupervised learning, e, in particolare, di clustering. Un algoritmo adatto a tali problemi è K-means. Come feature, oltre al profilo di acquisto degli utenti, sarebbe opportuno utilizzare dati demografici e relativi alla geolocalizzazione dell utente. 2. Tale problema è un problema di supervised learning con la qualità come target. Se per qualità intendiamo la bontà abbiamo un problema di regressione, altrimenti se consideriamo invece delle classi (blanche, porter, ale) è di classificazione. Nel primo caso possiamo utilizzare regressione lineare, nel secondo logistic regression. In entrambi i casi possiamo usare come feature le provenienze delle birre e le loro caratteristiche fisiche, oltre ad indici specifici dell ambito, e.g., IBU.

6 Ingegneria Informatica Ingegneria Informatica Intelligenza Artificiale Pagina 6 di 12 Esercizio 5 (2 punti) Dire se le seguenti affermazioni relative alle Support Vector Machins (SVM) sono vere o false. Motivare le risposte date. 1. Se incrementiamo il parametro C (i.e., il moltiplicatore dei vincoli) in una soft SVM ci aspettiamo che i margini diventino più larghi; 2. La complessità dell addestramento di una SVM con kernel dipende fortemente dalla dimensione delle base delle feature utilizzate; 3. I parametri ottimi di una SVM possono essere trovati grazie a tecniche di programmazione lineare; 4. La superficie di separazione predetta da una SVM con kernel lineare è un iperpiano. 1. FALSO stiamo penalizzando maggiormente i dati misclassificati e quelli all interno dei margini, quindi la soluzione avrà margini più stretti 2. FALSO essendo un metodo kernel, esso avrà una complessità che dipende dal numero di campioni considerati 3. FALSO Il problema di ottimizzazione (primale e duale) è quadratico e deve essere risolto con tecniche differenti 4. VERO con kernel lineare stiamo valutando una SVM che discrimina nello spazio originale delle feature

7 Ingegneria Informatica Ingegneria Informatica Intelligenza Artificiale Pagina 7 di 12 Esercizio 6 (2 punti) Dire se le seguenti affermazioni sono corrette. Motivare le risposte. 1. L algoritmo di apprendimento del perceptron converge sempre ad una soluzione; 2. L algoritmo di apprendimento del K-means converge sempre ad una soluzione; 3. Esiste una sola soluzione ottima dell apprendimento dei pesi di una Neural Network; 4. Applicare il metodo di early stopping all apprendimento della Logistic Regression aiuta a evitare fenomeni di overfitting. 1. FALSO converge nel caso di classi separabili linearmente 2. VERO tuttavia il punto di convergenza potrebbe essere subottimo 3. FALSO la struttura di una NN non dà assicurazioni di convessità della funzione di loss, quindi potremmo avere più di un punto nello spazio dei parametri che restituiscono il valore ottimo della loss 4. VERO anche in questo caso potremmo utilizzare tale tecnica per decidere quando interrompere il processo di ottimizzazione del gradient descend.

8 Ingegneria Informatica Ingegneria Informatica Intelligenza Artificiale Pagina 8 di 12 Esercizio 7 (2 punti) Dire se le seguenti affermazioni sono corrette. Motivare le risposte. 1. Per ridurre la varianza senza aumentare il bias posso solo aumentare il numero di campioni presenti nel dataset; 2. L errore sul validation set è una buona stima dell errore che farò su dati mai visti; 3. L errore sul training set è una buona stima dell errore che farò su dati mai visti; 4. Le tecniche di regolarizzazione applicano direttamente delle penalizzazioni sulla funzione di loss per evitare fenomeni di overfitting. 1. FALSO posso usare anche tecniche di bagging 2. FALSO è un valore comunque biased dal processo di apprendimento 3. FALSO è un valore comunque biased dal dataset utilizzato 4. VERO aggiungono dei termini alla funzione di loss per penalizzare soluzioni con valori dei parametri troppo grandi in valore assoluto, che aiutano a evitare che il processo di apprendimento venga determinato solamente dal dataset usato per il training

9 Ingegneria Informatica Ingegneria Informatica Intelligenza Artificiale Pagina 9 di 12 Esercizio 8 (2 punti) Scegliere se applicare metodi parametrici o non parametrici a problemi con le seguenti caratteristiche: 1. Dataset di grandi dimensioni; 2. Dataset linearmente separabili in spazi di feature di grandi dimensioni; 3. Applicazione di metodi su di un sistema embdedded; 4. Conoscenza di informazioni a priori sul problema analizzato. Motivare la propria scelta. 1. PARAMETRICO: (per un numero di sample elevato) riusciamo a condensare tutta l informazione in pochi parametri 2. NON-PARAMTRICO kernel con cui siamo in grado di gestire spazi di grandi dimensioni senza utilizzarli esplicitamente 3. PARAMETRICO se il training viene effettuato su un altro dispositivo, NON- PARAMETRICO se non vogliamo utilizzare troppa computazione per il training (algoritmi online) 4. PARAMETRICI in quanto è pi`facile intgrare delle informazioni a priori sul problema, e.g., prior distributions in Naive Bayes

10 Ingegneria Informatica Ingegneria Informatica Intelligenza Artificiale Pagina 10 di 12 Esercizio 9 (3 punti) Si consideri come paramtro iniziale di una problema di regressiona w (0) = [1 2 1] e una funzione di loss: J(w) = 1 N (w x n t n ) 3 + γ w 2 3N 2. n=1 con γ fissato. Si derivi l update del vettore dei parametri tramite l algoritmo gradient descent per il dato x 1 = [3 1 1], t 1 = 2 con learning rate α = 0.1 e regolarizzazione γ = 0.5. Per un singolo dato: Il gradiente diventa: J(w) w J(w) = 1 3 (w x 1 t 1 ) 3 + γ w 2 2. J(w) w = (w x 1 t 1 ) 2 x 1 + 2γw 2 3 = [1 2 1] 1 2 w=w (0) = = L aggiornamento è: w (1) w (1) w (1) α J(w) w = 1 17 w=w (0)

11 Ingegneria Informatica Ingegneria Informatica Intelligenza Artificiale Pagina 11 di 12 Esercizio 10 (3 punti) Derivare le formule dell agoritmo di Backpropagation per l aggiornamento dei pesi per la loss E = n {t n ln y n + (1 t n ) ln(1 y n )} (t n sono i target veri e y n sono quelli predetti) sulla seguente rete: dove gli hidden states hanno una funzione di attivazione sigmoidale, ovvero z i = 1 1+exp( j w ijx j w i0). Che tipo di problema stiamo risolvendo con un rete con questa architettura? Il problema risolto è quello di classificazione in quanto l ultimo layer riporta l output nel range [0, 1], il che permette di interpretarlo come una probabilità di appartenenza alla classe positiva. Ultimo layer: E n = t n y n 1 t n 1 y n = t n y n y n (1 y n ) a n y n = σ (a n ) = σ(a n )(1 σ(a n )) = y n (1 y n ) E n y n = E n a n a n y n = t n y n = δ k Hidden layer: = σ(w ijz i ) = z i σ (w ij z i ) = z i σ(w ij z i )(1 σ(w ij z i )) w ij w ij E n E n a j = k = k = ( i w kiσ(a i )) = w kj σ (a j ) a j a j δ k a j

12 Ingegneria Informatica Ingegneria Informatica Intelligenza Artificiale Pagina 12 di 12 Nome dello studente: Fine dell esame