Algoritmi di Classificazione e Reti Neurali

Transcript

1 Algoritmi di Classificazione e Reti Neurali Lezione introduttiva (3 ore) A cura di L. Palagi 02/10/2013 1

2 Struttura del corso Il materiale del corso (6 cfu) Collaborano al corso Dr. Ing Silvia Canale (Unservised Learning) Ing. Umberto Dellepiane (Uso del software Weka) Calendario delle lezioni dettagliato sul sito 02/10/2013 2

3 Contenuti del corso Introduzione alla teoria dell apprendimento statistico ( imparare dai dati ) Apprendimento supervisionato Reti Neurali Support Vector Machines Apprendimento non supervisionato Clustering Uso di software standard FOCUS: modelli di ottimizzazione, analisi di algoritmi, problemi aperti 02/10/2013 3

4 Cosa significa «apprendimento automatico» (Machine Learning) Arthur Samuel ( ) programming of a digital computer to behave in a way which, if done by human beings or animals, would be described as involving the process of learning in Some Studies In Machine Learning Using the Game of Checkers,1959 Tom Mitchell (1997) Machine Learning is the study of computer algorithms that improve automatically through experience in Machine Learning, Tom Mitchell, McGraw Hill, /10/2013 6

5 Cervello umano versus apprendimento automatico miliardi neuroni trilione sinapsi 3. Processori Distribuiti 4. Processo Non lineare 5. Processo Parallelo 1.??

6 Più precisamente (T. Mitchell) we say that a machine learns with respect to a particular task T, performance metric P, and type of experience E, if the system reliably improves its performance P at task T, following experience E. 02/10/2013 8

7 Un esempio di tutti i giorni SPAM detection Supponiamo che il vostro programma di controlli quali mail sono classificate come spam o non spam e debba imparare come migliorare il filtro AntiSpam T (task) classificare le mail come spam o non spam P (Performance misure) il numero (o %) di mail che sono classificate correttamente E (Experience) la vostra classificazione spam o non spam 02/10/2013 9

8 Imparare da esempi Si tratta di trovare la descrizione analitica di una dipendenza sconosciuta tra la «misura» di alcuni oggetti e le proprietà di tali oggetti. Le misure, sono dette variabili di input e si suppone che siano disponibili per tutti gli oggetti di interesse. Le proprietà degli oggetti sono dette variabili di output e sono normalmente conosciute eventualmente solo per un sottoinsieme degli oggetti che rappresentano gli esempi Stimare il tipo di dipendenza tra input-output serve per poter determinare il valore delle variabili di output su tutti i dati di interesse (non solo gli esempi) 02/10/

9 Un esempio di tutti i giorni SPAM detection Le misure, sono ad esempio mittente oggetto testo. Le proprietà spam o non spam (1 o 0) Un problema di questo tipo in cui le proprietà (cioè output) può assumere valori in un insieme di finito (discreto) si dice di classificazione 02/10/

10 Diagnostica medica (esempio tratto da lezioni di T. Mitchell) Vogliamo stabilire se una gravidanza terminerà con un cesareo o con parto naturale Parto cesareo Parto naturale età 02/10/

11 Diagnostica medica (esempio tratto da lezioni di T. Mitchell) Vogliamo stabilire se una gravidanza terminerà con un cesareo o con parto naturale peso età Parto cesareo Parto naturale 02/10/

12 Diagnostica medica (esempio tratto da lezioni di T. Mitchell) 02/10/

13 Esempio: riconoscimento di caratteri manoscritti Le misure (variabili di input) sono le immagini di un carattere (disponibili per tutti gli esempi) 02/10/

14 Riconoscimento di caratteri manoscritti Ogni elemento di ingresso corrisponde a un immagine pxp (28x28, 256x256) pixel e quindi e` rappresentabile da un vettore a p 2 (=784, 65536) valori reali che rappresentano i livelli di grigio (0=bianco, 1=nero) rappresentabili ad es. con 8-bit Le proprietà (variabili di uscita) mi indicano il tipo di carattere ovvero uno degli elementi dell insieme {0,1,2.,9} Gli esempi (E) sono i caratteri scritti da alcune persone. Lo scopo (T) è riconoscere caratteri scritti da terzi La difficoltà è l alta variabilità delle forme e l alto numero di diversi elementi (2 28 x28 x8,2 256 x256 x8 ) 02/10/

15 Classificazione La classificazione individua l appartenenza di un elemento ad una classe. Con la classificazione l output predetto (la classe) è categorico ossia può assumere solo un numero finito di possibili valori come {Sì, No}, {Alto, Medio, Basso}, ecc. Per esempio un modello di classificazione consiste nel predire se un potenziale cliente X con determinate caratteristiche risponderà in modo positivo a negativo ad un offerta di mercato. 02/10/

16 Approssimazione/regressione Esistono modelli di apprendimento dai dati il cui output NON è l appartenenza ad una classe ma un valore numerico. In questo caso si parla di approssimazione/regressione. Prezzo superficie 02/10/

17 Approssimazione/regressione I dati di ingresso sono coppie di valori reali di (x,t) e si suppone che esista una funzione t=f(x) incognita I valori dei dati di input possono essere alterati da un (basso) valore di rumore. Si parla di approssimazione in assenza di rumore. Le variabili in uscita possono assumere un numero illimitato di valori. Spesso queste variabili in uscita sono indicate come continue anche se talvolta non lo sono nel senso matematico del termine (ad esempio l età di una persona) Si vuole determinare la funzione che meglio approssima questi dati Ad esempio un modello di regressione consiste nel predire il profitto Y in euro che uno specifico cliente X porterà nel corso di un determinato periodo di tempo. 02/10/

18 Approssimazione o Classificazione Tipicamente classificazione e regressione vengono usate per lo sviluppo di modelli matematici per il supporto decisionale* regressione (statistica) *Ricerca Operativa classificazione (statistica) o pattern recognition (ingegneria) riconoscimento di configurazioni Reti neurali SVM clustering intelligenza artificiale (utilizzo logica simbolica) (computer science = (ingegneria) informatica) 02/10/

19 Apprendimento e statistica Inferenza Statistica data una collezione di dati empirici originati secondo una qualche legge di dipendenza funzionale, inferire (dedurre) tale legge Si distinguono due approcci principale inferenza parametrica, che vuole individuare semplici metodi di inferenza per classi particolari di problemi reali inferenza generale, che vuole individuare un metodo induttivo per qualunque problema di inferenza statistica 02/10/

20 Inferenza parametrica Inizio Gli anni golden age modelli basati su principi primi: si suppone di conoscere la legge fisica che regola le proprietà stocastiche dei dati e che tale funzione sia definita da un numero finito (basso) di parametri di tipo noto. stimare i parametri (quelli non misurabili in modo diretto) utilizzando i dati e verificare la veridicità del modello individuato è l essenza di un problema di inferenza statistica I modelli parametrici utilizzati sono tipicamente lineari nei parametri; tali parametri sono determinati con il metodo della massima verosimiglianza (maximum likelihood method) 02/10/

21 La decadenza del modello di IP I modelli di inferenza parametrica sono semplici e ben si adattavano alle risorse di calcolo disponibili prima del Si basano su tre risultati principali teorema di Weierstass per cui ogni funzione continua può essere approssimata su un intervallo finito ad un qualunque grado di accuratezza da un polinomio (ovvero una funzione lineare nei parametri) Il teorema del valore centrale per cui la somma di un gran numero di variabili random è approssimata dalla legge di distribuzione normale il metodo della massima verosimiglianza è un buon strumento per la stima dei parametri La decadenza Curse of dimensionality (R. Bellman) se la funzione non è abbastanza contin. derivabile per ottenere il grado di accuratezza desiderato sono necessari un numero esponenziale di termini del polinomio (ovvero di variabili) molti problemi reali non possono essere descritti con le leggi classiche di distribuzione il metodo della massima verosimiglianza non è un buon metodo anche in casi semplici 02/10/

22 Oltre il classico paradigma modelli di inferenza generale: non si hanno informazioni a priori sui principi primi che regolano la legge statistica sottostante la distribuzione dei dati o della funzione che si vuole approssimare si cerca un metodo (induttivo) in grado di inferire una funzione approssimante dati gli esempi. uso dei dati per derivare il modello stesso modelli non predefiniti e non lineari nei parametri data analysis/data mining 02/10/

23 Storicamente Nel 1958 Rosenblatt (un fisiologo) propone una macchina di apprendimento (ovvero un programma di calcolo) chiamato Perceptron per risolvere un semplice problema di calssificazione. Il Perceptron rifletteva alcuni modelli neurofisiologici di apprendimento. Il perceptron può generalizzare (ovvero impara) : Reti neurali Successivamente sono state proposte molte altre macchine per apprendimento (programmi di calcolo) che non hanno analogia con il neurone biologico. Esiste un principio di inferenza induttiva comune a queste macchine? (1992-oggi) ritorno alla teoria di inferenza statistica: principio generale di induzione 02/10/

24 Data Mining (DM) (fonte: Wikipedia) Il data mining ha per oggetto l'estrazione di un sapere o di una conoscenza (implicita) a partire da grandi quantità di dati (attraverso metodi automatici o semi-automatici) e l'utilizzazione industriale o operativa di questo sapere. Il termine data mining (letteralmente: estrazione di dati) è diventato popolare nei tardi anni '90 come versione abbreviata per estrazione di informazione utile da insiemi di dati di dimensione cospicua. Oggi il termine data mining ha una duplice valenza Estrazione, con tecniche analitiche, di informazione implicita, nascosta, da dati già strutturati, per renderla disponibile e direttamente utilizzabile; Esplorazione ed analisi, eseguita in modo automatico o semiautomatico, su grandi quantità di dati allo scopo di scoprire pattern (schemi/regole/configurazioni) caratterizzanti i dati e non evidenti. 02/10/

25 Sviluppo del Data Mining Crescita notevole degli strumenti e delle tecniche per generare e raccogliere dati (introduzione codici a barre, transazioni economiche tramite carta di credito, dati da satellite o da sensori remoti, servizi on line..) Sviluppo delle tecnologie per l immagazzinamento dei dati, tecniche di gestione di database e data warehouse, supporti più capaci più economici (dischi, CD) hanno consentito l archiviazione di grosse quantità di dati Simili volumi di dati superano di molto la capacità di analisi dei metodi manuali tradizionali, come le query ad hoc. Tali metodi possono creare report informativi sui dati ma non riescono ad analizzare il contenuto dei report per focalizzarsi sulla conoscenza utile. 02/10/

26 Report McKinsey Global Institute Big Data Big data: The next frontier for innovation, competition, and productivity May 2011 The amount of data in our world has been exploding, and analyzing large data sets so-called big data will become a key basis of competition, underpinning new waves of productivity growth, innovation, and consumer surplus, according to research by MGI and McKinsey's Business Technology Office.MGI studied big data in five domains healthcare in the United States, the public sector in Europe, retail in the United States, and manufacturing and personal-location data globally. Big data can generate value in each. Leading companies are using data collection and analysis to conduct controlled experiments to make better management decisions; others are using data for basic low-frequency forecasting to high-frequency nowcasting to adjust their business levers just in time. Third, big data allows ever-narrower segmentation of customers and therefore much more precisely tailored products or services. Fourth, sophisticated analytics can substantially improve decision-making. 02/10/

27 Ambiti applicativi Marketing segmentazione della clientela: Individuzione raggruppamenti omogenei in termini di comportamento d acquisto e di caratteristiche socio-demografiche identificazione dei target per promozioni di nuovi prodotti Fraud detection (identificazione di frodi) Individuazione di comportamenti frudolenti Analisi delle associazioni di prodoti individuazione dei prodotti acquistati congiuntamente Analisi di testi Diagnostica medica 02/10/

28 Altri esempi (esempio tratto da lezioni di T. Mitchell) Previsione dei comportamenti di acquisto Individuazione clienti a rischio di abbandono Ottimizzazione di processo 02/10/

29 Credit risk detection (esempio tratto da lezioni di T. Mitchell) Individuazione di rischio per la concessione di credito 02/10/

30 Data Mining Data Mining è solo una parte del processo di estrazione della conoscenza Il termine knowledge discovery in databases, o KDD, indica l'intero processo di ricerca di nuova conoscenza dai dati, cioè l insieme di tecniche e strumenti per assistere in modo intelligente e automatico gli utenti decisionali nell'estrazione di elementi di conoscenza dai dati. Il processo di KDD prevede Formulazione del problema Generazione dei dati Cleaning dei dati e preprocessing Data mining Interpretazione del modello (analisi dei pattern) Il termine di data mining (DM) si riferisce ad una fase fondamentale del processo KDD tanto che spesso è difficile distinguere il processo KDD dal DM che possono essere usati come sinonimi 02/10/

31 Norme di buon uso Non tutto è prevedibile o si può imparare: TEORIA DEL CAOS CAOS DETERMINISTICO in un sistema in evoluzione una minima perturbazione delle condizioni iniziali modifica la dinamica successiva su una curva che si allontana in modo radicale dalla curva che ha inizio nel punto non perturbato

32 Helen è una giovane donna che lavora ed è fidanzata con Gerry Viene licenziata e si dirige in tutta fretta verso la metropolitana La sua vita si divide in due dimensioni parallele: sliding doors * Helen riesce a prendere il metrò e rincasando prima trova il fidanzato a letto con la sua ex, così si rifà una vita con l'affascinante James che aveva conosciuto sul quel metrò Helen perde il metrò e chiama un taxi, subisce un tentativo di scippo, per cui arriva a casa più tardi trovando il fidanzato solo. Trova un lavoro come cameriera, conduce una vita di sacrifici in cui Gerry la tradisce nuovamente Una variazione infinitesima comporta una differenza radicale nella vita di Helen 02/10/2013 * esempio dovuto a Marco Sciandrone 34

33 Alcuni fenomeni sono intrinsecamente caotici : la modellistica matematica negli ultimi tempi si è occupata di fenomeni non fisici (biologici, sociali, economici) che sono caratterizzati dall imprevedibilità, dalla scelta soggettiva Il modello matematico genera il caos: un sistema può essere deterministico, tuttavia la determinazione numerica delle condizioni iniziali di un sistema può essere soggetta a una inevitabile approssimazione, che può essere fonte delle conclusioni più disparate

34 Il modello matematico genera il caos nell analisi di alcuni fenomeni, lo sviluppo di modelli matematici più raffinati e/o l aumento della precisione degli strumenti può far divenire prevedibili fenomeni che oggi non lo sono; in altri fenomeni, pur deterministici, nessun raffinamento degli strumenti potrà permettere una previsione del futuro

35 Formulazione del problema di apprendimento Distribuzione degli esempi (Sampling distribution) fattori non osservabili che influenzano output Generatore dati con densità di probabilità sconosciuta e fissata Sistema Produce un output con densità di probabilità condizionale sconosciuta e fissata Il sistema di apprendimento NON ha controllo sul processo di generazione dei dati Outliers presenza di dati spuri non consistenti con la maggior parte delle osservazioni (dovuti a errori di misura grossolani, errori di codifica/memorizzazione, casi abnormali). 02/10/

36 Apprendimento automatico Distinguiamo due fasi in un sistema di apprendimento automatico fase di apprendimento si basa sulla disponibilità di un insieme di dati di esempio (training set) fase di utilizzo/predizione capacità di dare la risposta corretta su esempi nuovi (generalizzazione). 02/10/

37 Apprendimento automatico Distinguiamo due tipi di paradigmi di apprendimento supervisionato esiste un insegnante (si conosce la risposta giusta sugli esempi) Il training set è definito da coppie input - output non supervisionato = nessun insegnante non sono noti a priori i valori di output. Si vuole determinare il numero di classi di similitudine e la corrispondente classe di appartenenza. (Clustering) 02/10/

38 Apprendimento automatico Possimao anche distinguere apprendimento on-line Il training set è acquisito in modo incrementale durante il processo di apprendimento batch (fuori linea) Il training set è disponibile prima dell inizio processo di apprendimento 02/10/

39 ESEMPIO DI CLASSIFICAZIONE SUPERVISIONATA (riconoscimento di caratteri) Dati un insieme di N elementi manoscritti rappresentati dalla matrice di pixel, ovvero dai vettori e la Categoria di appartenenza {0,1,2,3,4,5,6,7,8,9} Dati di esempio o training set 02/10/

40 ESEMPIO DI CLASSIFICAZIONE NON SUPERVISIONATA (riconoscimento di caratteri) Dati: un insieme di N elementi manoscritti rappresentati dalla matrice di pixel, ovvero dai vettori training set 02/10/

41 ESEMPIO DI APPROSSIMAZIONE Input: vettore a valore reali a N componenti rappresentate correnti elettriche che circolano in un dispositivo magnetico Output: valore del campo magnetico in un determinato punto interno al dispositivo Obiettivo: determinare una funzione analitica che approssimi il legame funzionale tra il campo magnetico e il valore delle correnti 02/10/

42 Apprendimento supervisionato I dati sono coppie input-output generati in modo indipendente e identicamente distribuiti (i.i.d) secondo una funzione di probabilita (sconosciuta) Il problema di apprendimento supervisionato: dato il valore di un vettore ottenere una buona predizione del vero output Una macchina per apprendimento osserva i dati di training e costruisce una funzione in grado di fornire una predizione dell output per un qualunque valore di input Learning Machine 02/10/

43 Macchina per apprendimento Più formalmente una macchina per apprendimento realizza una classe di funzioni, che dipende dalla struttura della macchina scelta, in cui α rappresenta un vettore di parametri che individua una particolare funzione nella classe. La macchina è deterministica 02/10/

44 Macchina per apprendimento La scelta ideale della funzione di approssimazione dovrebbe riflettere la conoscenza a priori sul sistema, ma in problemi di ML questa conoscenza è difficile o impossibile. Metodi adattativi del ML utilizzano una classe molto ampia e flessibile di funzioni di approssimazione Modelli non lineari nei parametri 02/10/

45 Dal neurone biologico al neurone artificiale Soglia (Bias) α 0 Input x 1 x 2 w 1 w 2 Funzione somma Funzione di attivazione ) g( Output y x l w l pesi Dendrite corpo Assone

46 Esempi di funzioni di attivazione b b a a Funzione gradino Funzione a rampa

47 Il neurone formale Il neurone formale (perceptron) è una semplice macchina per apprendimento che realizza la classe di funzioni Gli ingressi sono moltiplicati per dei pesi, rappresentativi dell entità delle connessioni sinaptiche, e la loro sommma algebrica viene confrontata con una soglia. L uscita è 1 se la somma pesata è > della soglia, -1 (o 0, funzione di Heaviside) altrimenti 02/10/

48 Processo di apprendimento Fissata una macchina per apprendimento ovvero una classe di funzioni Il processo di apprendimento consiste nello scegliere un particolare valore dei parametri α* che seleziona una funzione f α* nella classe scelta. L obiettivo è creare un modello del processo che sia in grado di dare risposte corrette e coerenti anche (e soprattutto) su dati mai analizzati (generalizzazione) e non di interpolare (= riconoscere con certezza ) i dati di training (FUNZIONE PREDITTIVA) 02/10/

49 Misura di qualità Per scegliere tra tutte le possibili funzioni del parametro α è necessario definire un criterio di qualità da ottimizzare. Si definisce la Loss function una funzione che misura la discrepanza tra il valore previsto f α (x) e il valore effettivo y. Per definizione la perdita è non negativa, quindi valori positivi alti significano cattiva approssimazione. Assegnati i parametri α, il valore della loss function (intesa come funzione delle sole x, y) quantifica l ERRORE risultante dalla realizzazione della coppia (x, y) 02/10/

50 Esempi di funzioni di perdita (Loss functions) classificazione con 02/10/

51 Esempi di funzioni di perdita (Loss functions) regressione 02/10/

52 Minimizzazione del rischio Il criterio di qualità per scegliere i parametri α è il valore atteso dell errore dovuto alla scelta di una particolare funzione di perdita Il valore atteso della perdita dipende dalla distribuzione P ed è dato dall integrale La funzione è il rischio effettivo che vorremmo minimizzare al variare di α (cioè al variare di ) 02/10/

53 Apprendimento determinare la funzione che minimizza il rischio effettivo nella classe di funzioni supportate dalla macchina per l apprendimento, utilizzando un numero finito di dati di training è inerentemente mal posto La difficoltà è scegliere la giusta complessità per descrivere i dati a disposizione Principi induttivi minimizzazione del rischio empirico structural risk minimization early stopping rules 02/10/

54 Il rischio empirico Il rischio effettivo non si può calcolare (né quindi minimizzare) perché la funzione di distribuzione di probabilità è sconosciuta ma sono note solo l osservazioni corrispondenti a variabili random i.i.d Cerchiamo una funzione che approssimi il rischio effettivo e richieda solo l uso dei dati disponibili 02/10/

55 Il rischio empirico Scelta una classe di funzioni e definita una funzione di perdita (loss) si definisce rischio empirico Il rischio empirico dipende SOLO dai dati e dalla funzione La distribuzione di probabilità non interviene nella definizione del rischio empirico che fissati è un valore preciso (errore di training). 02/10/

56 Il rischio empirico: regressione parametrica Consideriamo dati generati artificialmente dalla funzione corrotta da rumore Usiamo come approssimatori I polinomi di grado fissato M 02/10/

57 Ancora l esempio Regressione parametrica Scelto un modello (ad esempio un polinomio di grado M) Si può valutare l errore quadratico; detti i valori noti si ha: L errore sui dati di training può idealmente diventare nullo, ma che succede su dati nuovi (dati di test)? 02/10/

58 Regressione parametrica Aumento il grado del polinomio M da 3 a 9 Quale dei due è meglio? Si può valutare l errore quadratico; detti i valori noti si ha: L errore sui dati di training può idealmente diventare nullo, ma che succede su dati nuovi (dati di test)? 02/10/

59 Andamento errore Graficando l andamento dell errore sui dati di training e di test Ridurre errore di training può significare errori significativi sui dati di test: fenomeno di Over-fitting 02/10/

60 Regressione parametrica Aumento il numero di dati di training Polinomio di grado M=9: andamento migliore 02/10/

61 Regressione parametrica Aumento il numero di dati di training Polinomio di grado M=9: l andamento riesce quasi a seguire la funzione sottostante La maggiore complessità della macchina (grado del polinomio) in relazione al miglior uso predittivo dipendono dal numero di dati disponibili 02/10/

62 Consistenza del rischio empirico In generale Interesse: trovare una relazione tra le soluzioni dei problemi di ottimizzazione imponderabile calcolabile La speranza è che l errore sui dati di traning possa fornire delle indicazioni sulla probabilità di errore su una nuova istanza 02/10/

63 Minimizzazione del rischio empirico Quando l è finito la minimizzazione del rischio empirico può non garantire una minimizzazione del rischio effettivo La scelta della funzione in una classe che minimizza il rischio empirico non è unica Entrambe le funzioni hanno Rischio empirico nullo Il rischio effettivo su nuove istanze è diverso 02/10/

64 Complessità della classe Un altro aspetto correlato alla minimizzazione del rischio empirico è la complessità della classe di funzioni Una funzione molto complessa può descrivere molto bene i dati di training, ma può non generalizzare bene su nuovi dati più complessa più semplice 02/10/

65 Over and under fitting Dati di training: 2 classi più semplice più complessa Aggiungo nuovi dati underfitting classe f α troppo semplice overfitting classe f α troppo complessa 02/10/

66 Oltre il principio della (ERM) È possibile dimostrare che con probabilità (1-η) con η in (0,1) risulta è un parametro che che descrive una nuova proprietà generale della classe di funzioni scelta che si chiama capacità/complessità 02/10/

67 Teoria di Vapnik Chervonenkis (VC) VC hanno sviluppato la teoria per determinare il valore di ε che compare nella disuguaglianza ovvero per determinare un bound sull errore di generalizzazione della classe di funzioni. Questo bound è stato utilizzato per sviluppare un nuovo principio induttivo basato sul trade-off tra la complessità della classe di funzioni scelta e il valore del rischio empirico che si può ottenere utilizzando tale classe 02/10/

68 Complessità della classe di funzioni Questa analisi ha portato alla definizione di un nuovo funzionale da minimizzare diverso dal rischio empirico. In particolare si introduce di un termine per il controllo della complessità Termine di penalizzazione di complessità Teoria di Vapnik Chervonenkis (VC) VC dimension h VC confidence 02/10/

69 VC dimension La dimensione di Vapnik Chervonenkis (VC dimension) h>0 è una misura della capacità di classificazione espressa dalla macchina rappresentata dall'insieme di funzioni La VC dimension h misura il massimo numero di punti x i (di training) che possono essere classificati per qualunque assegnazione di etichette ±1 (shattered= frammentati ) usando una funzione nella classe Insieme frammentabile questi 3 punti in R 2 possono essere separati con un iperpiano orientato 02/10/

70 VC dimension Se la VC dimension di una classe è h significa che esiste almeno un insieme di h punti che possono essere frammentati, ma in generale non è vero che un qualsiasi insieme di h punti può essere classificato da Insieme di 3 punti in R 2 non frammentabile Nessun insieme di 4 punti in R 2 può essere frammentato da una funzione affine La dimensione di VC della classe in R 2 è h=3 02/10/

71 Un bound superiore per il rischio VC dimension è il parametro mancante VC Confidence termine di penalità sulla complessità Il nuovo funzionale da minimizzare è Si minimizza rispetto alla classe e non solo ai parametri 02/10/

72 Il principio di minimizzazione L implicazione pratica dell esistenza del bound è che la macchina per l apprendimento dovrebbe essere costruita in modo tale minimizzare il valore empirico il termine di VC confidence Mononicamente crescente in h Complessità h In pratica l andamento delle due funzioni è opposto, quindi lo scopo è cercare il miglior trade-off tra la minimizzazione del rischio effettivo, e la minimizzazione dell VC confidence 02/10/

73 Minimizzazione del rischio strutturale Osserviamo che la VC confidence dipende solo dalla classe di funzioni scelta, mentre il rischio empirico (e quindi il rischio effettivo) dipende dalla particolare funzione scelta durante la procedura di training Procedura euristica per la minimizzazione La dimensione di VC è un valore intero. Si definiscono classi di funzioni annidate con VC dimension NON decrescente N.B. bisogna essere in grado di calcolare h per ogni classe 02/10/

74 Principio di Minimizzazione del rischio strutturale per ogni classe con dimensione di VC si determina la soluzione ottima del problema Si calcola il valore dell upper bound Si sceglie la classe di funzioni per cui è minimo il valore dell upper bound 02/10/

75 Calcolo del termine di confidenza Per calcolare il termine di confidenza è necessario conoscere il valore di h per una classe di funzioni. N.B. il numero di parametri non è un indicazione utile, infatti h non è proporzionale al # di parametri Non è vero che macchine di apprendimento con molti parametri hanno una dimensione di VC alta, e anche viceversa che macchine di apprendimento con pochi parametri hanno una dimensione di VC bassa 02/10/

76 Calcolo della VC dimension In questo caso otteniamo lo stesso valore del bound per entrambe le funzioni della classe sembra migliore massimizza la distanza Tra i due c è un migliore? della retta dai punti dei due E qual è? insiemi 02/10/

77 Separatori lineari con margine Semplici classificatori lineari sono poco utili come classe di funzioni (troppo flessibili) Idea: restringere la scelta nell ambito della classe dei classificatori lineari può migliorare la dimensione di VC Classificatore lineare con gap di tolleranza ( margine) 02/10/

78 Mimimizzazione strutturale del rischio per classificatori lineari con gap di tolleranza Minimizzazione strutturale del rischio Minimizzare il bound sul rischio minimizzando rischio empirico massimizzando il margine (e quindi minimizzando la VC confidence) per ogni funzione f j nella classe calcola un bound su h j minimizza il rischio empirico R j emp calcola il valore del bound scegli la classe che minimizza il bound 02/10/

79 METODI Minimizzazione rischio strutturale Support Vector Machines si fissa il rischio empirico si minimizza la VC confidence Reti Neurali fissata l architettura della macchina e quindi la complessità (e la VC confidence) minimizzazione rischio empirico 02/10/

80 Fonti bibliografiche e siti di interesse Pattern Recognition and Machine Learning C. Bishop, Springer (2006). Learning from Data: Concepts, theory, and Methods - V. Cherkassky, F. Mulier, John Wiley and Sons, Inc. (1998). Statistical Learning Theory V. Vapnik, John Wiley and Sons, Inc., 1998 Machine Learning, T. Mitchell, Morgan Kaufmann, Machine learning Group at Yahoo! Research Silicon Valley Cineca Consorzio Interuniversitario La Gestione delle Informazioni e della Conoscenza 02/10/