Università degli Studi di Roma Tor Vergata

Transcript

1 Funzioni kernel Note dal corso di Machine Learning Corso di Laurea Specialistica in Informatica a.a Prof. Giorgio Gambosi Università degli Studi di Roma Tor Vergata

2 2 Queste note derivano da una selezione e rielaborazione dalle seguenti fonti: - C.M. Bishop Pattern recognition and machine learning, Springer - J. Friedman, T. Hastie, R. Tibshirani The elements of statistical learning, Springer - C.M. Bishop Neural networks for pattern recognition, Oxford University Press - M.E. Tipping Bayesian Inference: An Introduction to Principles and Practice in Machine Learning, in Advanced lectures in machine learning, LNAI 3176, Springer - Note dal corso CS229 Machine learning, Stanford University, Prof. A. Ng, Note dal corso CS340 Machine learning, University of British Columbia, Prof. K.P. Murphy, 2007

3 1 Funzioni kernel 1.1 Definizioni La complessità dell apprendimento dipende dal modo in cui i dati, così come la funzione da apprendere, sono rappresentati. In questo senso, l utilizzo di funzioni base φ può essere interpretato come un cambiamento nella rappresentazione dei dati nel training set x = x 1, x 2,..., x d ) φx) = φ 1 x), φ 2 x),..., φ m x)) questo cambiamento proietta lo spazio degli input X su uno spazio delle features F = {φx) x X}. Se ad esempio consideriamo il problema di apprendere la funzione gravitazionale fm 1, m 2, r) = G m 1m 2 r 2 mediante regressione lineare, possiamo osservare che proiettare lo spazio 3- dimensionale m 1, m 2, r) degli input in uno spazio 3-dimensionale x, y, z) delle features nel modo seguente x = ln m 1 y = ln m 2 z = ln r ci consente di considerare come funzione da apprendere la funzione lineare ln fm 1, m 2, r) = ln G + ln m 1 + ln m 2 2 ln r = c + x + y 2z In generale, una scelta adeguata della trasformazione da input a feature, e quindi delle funzioni base φ, può consentire di ottenere proiezioni del training set con proprietà utili: ad esempio, in Figura 1 la trasformazione permette di ottenere un insieme di punti, proiezioni degli elementi del training set, per i quali le due classi rispetto a cui sono etichettati risultano linearmente separabili. Figura 1. Esempio di proiezione separabile del training set.

4 = 1 α T ΦΦ T ΦΦ T α + 1 y T y α T ΦΦ T y + λ α T ΦΦ T α 4 1 Funzioni kernel Allo stesso modo, come si è già visto, l utilizzo di proiezioni adeguate può consentire di limitare la dimensionalità del problema, considerando soltanto un numero limitato di features che sostanzialmente rappresentano l intera informazione sugli elementi del training set utile ai fini dell apprendimento. Come abbiamo visto sopra, nel caso della ricerca di un iperpiano di separazione tra due insieme con massimo margine il problema può essere visto come un problema di massimizzazione quadratica con vincoli lineari, in cui i punti del training set non compaiono direttamente, ma soltanto per mezzo dei valori dei relativi prodotti scalari Lλ) = λ i 1 λ i λ j y i y j κx i, x j ) 2 j=1 Nel caso in cui la ricerca dell iperpiano venga effettuata nello spazio derivato dall applicazione delle funzioni base φ avremo allora che la funzione da massimizzare diviene L λ) = λ i 1 λ i λ j y i y j κ x i, x j ) 2 j=1 con κ x i, x j ) = φx i ) T φx j ), e quindi in cui non compaiono direttamente i punti proiettati, ma soltanto i relativi prodotti scalari. Molti modelli lineari di regressione e classificazione possono essere formulati in una rappresentazione duale, all interno della quale compare una funzione kernel. Considerando ad esempio il caso della regressione lineare, in particolare in presenza di di regolarizzazione, abbiamo che i parametri del modello sono calcolati mediante minimizzazione della funzione di costo C X,y β) = 1 β T ) 2 λ φx i ) y i βt β = 1 2 Φβ y)t Φβ y) + λ 2 βt β ponendo a zero il gradiente di C X,y rispetto a β, abbiamo β C X,y = β T ) φx i ) y i φxi ) λβ = 0 e quindi β = 1 λ β T ) φx i ) y i φxi ) dal che deriva che β può essere espresso come combinazione lineare dei valori φx i ) β = α i φx i ) = Φ T α con α i = 1 λ β T ) φx i ) y i e α = α 1,..., α n ) Possiamo allora esprimere la funzione di costo in termini dei coefficienti α, sostituendo Φ T α a β Cα) = 1 2 ΦΦT α y) T ΦΦ T α y) + λ 2 ΦT α) T Φ T α = 1 2 αt ΦΦ T y T )ΦΦ T α y) + λ 2 αt ΦΦ T α = 1 2 α T ΦΦ T ΦΦ T α + y T y α T ΦΦ T y y T ΦΦ T α ) + λ 2 αt ΦΦ T α

5 1.1: Definizioni 5 La matrice n n simmetrica K = ΦΦ T è detta matrice di Gram, ed ha come elementi i prodotti scalari k ij = φx i ) T φx j ) = φx i ) φx j ) = φ l x i )φ l x j ) = κx i, x j ) l=1 dove κx i, x j ) è la funzione di kernel corrispondente alla proiezione determinata dalle funzioni base φ. La funzione di costo può essere espressa utilizzando la matrice di Gram Cα) = 1 2 αt KKα yt y α T Ky + λ 2 αt Kα il cui gradiente rispetto ad α risulta α C = KKα Ky + λkα = KKα y + λα) = KK + Iλ)α y) che quindi si annulla per α = K + Iλ) 1 y Quindi, la previsione relativa ad un nuovo input potrà essere espressa come dove e yx) = β T φx) = α T Φφx) = y T K + Iλ) 1 Φφx) = y T Hkx) kx) = φx 1 ) φx),..., φx n ) φx)) T = κx 1, x),..., κx n, x)) T H = K + Iλ) 1 Quindi, nella previsione per ogni nuovo input entrano in gioco i soli prodotti scalari o equivalentemente, i valori della funzione kernel). Scritto altrimenti, con yx) = α i φx)φx i ) = α i = h ji y j j=1 α i κx, x i ) È importante osservare, a questo punto, che la conoscenza delle funzioni base φ, che determinano la proiezione dallo spazio d-dimensionale degli input allo spazio m-dimensionale delle features, è certamente sufficiente per calcolare yx), ma non necessaria. In fatti, a tal fine è sufficiente anche conoscere la funzione kernel κ) che, si noti, può essere derivata dalla conoscenza di φ in quanto κx 1, x 2 ) = φx 1 ) φx 2 ), ma che è meno informativa di questa, in quanto da κ) non è possibile derivare φ. È quindi possibile operare direttamente in termini di kernel, evitando l introduzione esplicita del vettore delle funzioni base φ, il che ci consente di fare riferimento in modo efficiente a spazi di features di dimensione m molto elevata, o addirittura infinita. Al fine di utilizzare funzioni kernel, è quindi necessario essere in grado di definire funzioni di questo tipo: una prima possibilità in questo senso è quella di partire da un insieme di funzioni di base φ, e da queste derivare la funzione

6 6 1 Funzioni kernel Un approccio alternativo è quello di definire direttamente la funzione κ). In tal caso è però necessario verificare che tale funzione sia effettivamente una funzione kernel, vale a dire che esista una trasformazione dello spazio degli input φ sotto forma di insieme di funzioni base) tale che κx 1, x 2 ) = φx 1 ) φx 2 ). Ad esempio, se κx 1, x 2 ) = x 1 x 2 ) 2 allora, assumendo che x 1, x 2 IR 2, abbiamo che κx 1, x 2 ) = x 11 x 21 + x 12 x 22 ) 2 = x 2 11x x 2 12x x 11 x 12 x 21 x 22 = x 2 11, x 2 12, x 11 x 12, x 11 x 12 ) x 2 21, x 2 22, x 21 x 22, x 21 x 22 ) = φx 1 ) φx 2 ) ponendo φx) = x 2 1, x2 2, x 1x 2, x 1 x 2 ) T. In generale, è facile verificare che se x 1, x 2 IR d allora κx 1, x 2 ) = φx 1 ) φx 2 ), con φx) = x 2 1,..., x 2 d, x 1x 2,..., x 1 x d, x 2 x 1,..., x d x d 1 ) T per cui lo spazio d-dimensionale degli input viene proiettato in uno spazio delle features di dimensione m = d 2. Si osservi come calcolare κx 1, x 2 ) direttamente richieda tempo Od), mentre derivare tale valore come φx 1 ) φx 2 ) richieda Od 2 ) operazioni. Possiamo anche considerare il kernel correlato dove κx 1, x 2 ) = x 1 x 2 + c) 2 = x 1i x 1j x 2i x 2j + j=1 = φx 1 ) φx 2 ) 2cx 1i ) 2cx 2i ) + c 2 φx) = x 2 1,..., x 2 d, x 1x 2,..., x 1 x d, x 2 x 1,..., x d x d 1, 2cx 1,..., 2cx d, c) T Più in generale, la funzione kernel κx 1, x 2 ) = x 1 x 2 + c) t corrisponde ad una proiezione dello spazio degli input di dimensione d) in uno spazio delle features di dimensione t m = d i = dt+1 1 d 1 i=0 corrispondente a tutti i monomi x i1 x i2... x il con 0 l t. Comunque, pur in presenza di Od t ) features, il calcolo della funzione kernel richiede ancora tempo Od). Intuitivamente, κx 1,x2 ) = φ T x 1 )φx 2 ) tende ad assumere valori più grandi se φx 1 ) e φx 2 ) sono vicini tra loro, mentre tenderà ad assumere valori più piccoli se tali vettori sono lontani tra loro ad esempio se sono ortogonali o addirittura orientati in verso opposto). Quindi, possiamo con qualche approssimazione interpretare κx 1, x 2 ) come una misura della similitudine tra φx 1 ) e φx 2 ) e tra x 1 e x 2 ). Supponiamo che, a partire da questa intuizione, sia stata individuata, come possibile misura della similitudine tra x 1 e x 2 una particolare funzione fx 1, x 2 ), come ad esempio ) x 1 x 2 2 fx 1, x 2 ) = exp

7 1.1: Definizioni 7 dove σ è un parametro) che ha valori prossimi a 1 se x 1 e x 2 sono vicini e prossimi a 0 se sono lontani. Possiamo allora usare la funzione f) come funzione kernel? In altri termini, esiste un insieme di funzioni di base φ tale che fx 1, x 2 ) = φ T x 1 )φx 2 ), per ogni coppia x 1, x 2? Nel caso specifico, ciò è vero, e il kernel è detto gaussiano). Una caratterizzazione precisa delle funzioni kernel è data dal seguente teorema di Mercer. Teorema 1 Sia κ : IR n IR n IR n. Allora κ è una funzione di kernel se e solo se per ogni insieme di vettori {x 1, x 2,..., x n } la corrispondente matrice di Gram K è simmetrica e definita positiva. La necessità della condizione non è difficile da mostrare. Infatti, se κ è una funzione kernel allora, per definizione, l elemento di indici i, j della corrispondete matrice di Gram K è k ij = κx i, x j ) = φ T x i )φx j ) = φ T x j )φx i ) = κx j, x i ) = k ji e quindi K è simmetrica. Inoltre, per ogni z IR n z T Kz = = = = = j=1 j=1 z i k ij z j z i φ T x i )φx j )z j φ k x i )φ k x j ) z i j=1 k=1 z i φ k x i )φ k x j )z j k=1 j=1 2 z i φ k x i )) 0 k=1 dal che concludiamo che K è definita positiva. In alternativa a definire una funzione fx 1, x 2 ) e provare poi a mostrare che si tratta di una funzione kernel, è possibile costruire direttamente la funzione utilizzando una serie di operazioni il cui risultato è garantito essere un kernel. Qui sotto è elencato un insieme di operazioni tali che, se κ 1 x 1, x 2 ) e κ 2 x 1, x 2 ) sono funzioni kernel in IR n IR n allora la funzione κx 1, x 2 ) è una funzione kernel Inoltre, per ogni costante c > 0 κx 1, x 2 ) = exp κ 1 x 1, x 2 )) κx 1, x 2 ) = κ 1 x 1, x 2 ) + κ 2 x 1, x 2 ) κx 1, x 2 ) = κ 1 x 1, x 2 )κ 2 x 1, x 2 ) κx 1, x 2 ) = cκ 1 x 1, x 2 ) per ogni matrice simmetrica definita positiva A κx 1, x 2 ) = x T 1 Ax 2 per ogni coppia di funzioni f, g : IR n IR ) z j

8 8 1 Funzioni kernel per ogni polinomio a coefficienti non negativi p : IR q IR κx 1, x 2 ) = pκ 1 x 1, x 2 )) per ogni vettore φ di m funzioni da φ i : IR n IR e per ogni κ 3 x 1, x 2 ) funzione kernel in IR m κx 1, x 2 ) = κ 3 φx 1 ), φx 2 )) per ogni intero positivo l < n, detti x l) IR l il vettore comprendente i primi l elementi di x IR n e x l) IR n l il vettore comprendente gli n l elementi finali di x IR n l, e dette κ a x l) 1, xl) 2 ) e κ bx l) 1, xl) 2 ) due funzioni kernel su IR l IR l e IR n l IR n l, rispettivamente κx 1, x 2 ) = κ a x l) 1, xl) 2 ) + κ bx l) 1, xl) 2 ) κx 1, x 2 ) = κ a x l) 1, xl) 2 )κ bx l) 1, xl) 2 ) Utilizzando le operazioni precedenti, possiamo ad esempio mostrare che κx 1, x 2 ) = x 1 x 2 + c) d è una funzione kernel, in base alle considerazioni seguenti 1. x 1 x 2 = x T 1 x 2 è una funzione kernel corrispondente alle funzioni base φ = φ 1,..., φ n ) con φ i x) = x 2. c è una funzione kernel corrispondente alle funzioni base φ = φ 1,..., φ n ) con φ i x) = c/ n 3. x 1 x 2 + c è allora una funzione kernel 4. x 1 x 2 + c) d considerando il polinomio pz) = z d Allo stesso modo, possiamo mostrare che κx 1, x 2 ) = exp x 1 x 2 2 2σ 2 è effettivamente una funzione kernel osservando che ) e quindi che e, infine, che x 1 x 2 2 = x T 1 x 1 + x T x 2 2x T 1 x 2 κx 1, x 2 ) = exp xt 1 x ) 1 2σ 2 exp xt 1 x ) ) 1 x T 2σ 2 exp 1 x 2 σ 2 1. x T x 2 è una funzione kernel, come osservato sopra 2. 1 x T x 2σ 2 2 è allora una funzione kernel, considerando c = 1/ 2σ 2 3. exp xt x 2 è allora una funzione kernel 2σ 2 ) ) 4. exp xt 1 x 1 exp 2σ 2 è una funzione kernel, conside- ) xt 2 x 2 2σ 2 rando fx 1 ) = exp ) x T 1 x 2 σ 2 ) xt 1 x 1 exp 2σ 2 ) xt 1 x 1 e gx 2σ 2 2 ) = exp Tra le funzioni kernel più utilizzate per la classificazione mediante SVM

9 1.1: Definizioni 9 1. Il kernel polinomiale κx 1, x 2 ) = x 1 x 2 + 1) d in cui la superficie di separazione è una superficie polinomiale, di grado d 2. Il kernel sigmoidale κx 1, x 2 ) = tanh c 1 x 1 x 2 + c 2 ) 3. Il kernel gaussiano κx 1, x 2 ) = exp x 1 x 2 2 2σ 2 ) con σ IR Il kernel gaussiano è un esempio di utilizzo di funzioni di base radiali RBF ), vale a dire di un insieme di funzioni φ 1,..., φ m tali che ogni φ i dipende soltanto dalla distanza da un punto centrale µ i, vale a dire φ i x) = h x µ i ).