Reti Neurali. Veronica Piccialli. Corso di MOBD - Roma 12 Novembre Università degli Studi di Roma Tor Vergata 1 / 77

Transcript

1 Reti Neurali Veronica Piccialli Corso di MOBD - Roma 12 Novembre 2015 Università degli Studi di Roma Tor Vergata 1 / 77

2 Contesto Contesto Idea Il neurone Rete neurale da un punto di vista fisico A cosa serve Big 2 / 77

3 Idea Contesto Idea Il neurone Rete neurale da un punto di vista fisico A cosa serve L idea è quella di produrre una macchina o un modello che simuli il comportamento del cervello umano. Big 3 / 77

4 Idea Contesto Idea Il neurone Rete neurale da un punto di vista fisico A cosa serve Big L idea è quella di produrre una macchina o un modello che simuli il comportamento del cervello umano. Il cervello umano è un calcolatore complesso, non lineare e altamente parallelo: ha la capacità di organizzare le sue unità elementari (neuroni) in modo da effettuare alcuni tipi di calcolo molto più rapidamente di qualunque computer moderno. 3 / 77

5 Idea Contesto Idea Il neurone Rete neurale da un punto di vista fisico A cosa serve Big L idea è quella di produrre una macchina o un modello che simuli il comportamento del cervello umano. Il cervello umano è un calcolatore complesso, non lineare e altamente parallelo: ha la capacità di organizzare le sue unità elementari (neuroni) in modo da effettuare alcuni tipi di calcolo molto più rapidamente di qualunque computer moderno. La vista umana impiega a riconoscere un viso familiare in mezzo a visi sconosciuti pochi microsecondi. Un calcolatore impiega giorni per problemi di riconoscimento di immagini molto più semplici 3 / 77

6 Idea Contesto Idea Il neurone Rete neurale da un punto di vista fisico A cosa serve Big L idea è quella di produrre una macchina o un modello che simuli il comportamento del cervello umano. Il cervello umano è un calcolatore complesso, non lineare e altamente parallelo: ha la capacità di organizzare le sue unità elementari (neuroni) in modo da effettuare alcuni tipi di calcolo molto più rapidamente di qualunque computer moderno. La vista umana impiega a riconoscere un viso familiare in mezzo a visi sconosciuti pochi microsecondi. Un calcolatore impiega giorni per problemi di riconoscimento di immagini molto più semplici Un pipistrello che ha un cervello della dimensione di una prugna ha un radar migliore del radar più avanzato costruito da ingegneri 3 / 77

7 Il neurone Contesto Idea Il neurone Rete neurale da un punto di vista fisico A cosa serve Big 4 / 77

8 Rete neurale da un punto di vista fisico Contesto Idea Il neurone Rete neurale da un punto di vista fisico A cosa serve Rete neurale: processore distribuito ispirato al funzionamento del sistema nervoso negli organismi evoluti, costituito dalla interconnessione di unità computazionali elementari (neuroni) con due caratteristiche fondamentali: Big 5 / 77

9 Rete neurale da un punto di vista fisico Contesto Idea Il neurone Rete neurale da un punto di vista fisico A cosa serve Big Rete neurale: processore distribuito ispirato al funzionamento del sistema nervoso negli organismi evoluti, costituito dalla interconnessione di unità computazionali elementari (neuroni) con due caratteristiche fondamentali: la conoscenza è acquisita dall ambiente attraverso un processo di apprendimento o di addestramento. 5 / 77

10 Rete neurale da un punto di vista fisico Contesto Idea Il neurone Rete neurale da un punto di vista fisico A cosa serve Big Rete neurale: processore distribuito ispirato al funzionamento del sistema nervoso negli organismi evoluti, costituito dalla interconnessione di unità computazionali elementari (neuroni) con due caratteristiche fondamentali: la conoscenza è acquisita dall ambiente attraverso un processo di apprendimento o di addestramento. la conoscenza è immagazzinata nei parametri della rete e, in particolare, nei pesi associati alle connessioni 5 / 77

11 Rete neurale da un punto di vista fisico Contesto Idea Il neurone Rete neurale da un punto di vista fisico A cosa serve Big Rete neurale: processore distribuito ispirato al funzionamento del sistema nervoso negli organismi evoluti, costituito dalla interconnessione di unità computazionali elementari (neuroni) con due caratteristiche fondamentali: la conoscenza è acquisita dall ambiente attraverso un processo di apprendimento o di addestramento. la conoscenza è immagazzinata nei parametri della rete e, in particolare, nei pesi associati alle connessioni Una rete neurale consente di approssimare in un dato contesto applicativo la corrispondenza esistente (o postulata) tra un ingresso e un uscita di natura opportuna. 5 / 77

12 A cosa serve Contesto Idea Il neurone Rete neurale da un punto di vista fisico A cosa serve Mining (Wikipedia) Big 6 / 77

13 A cosa serve Contesto Idea Il neurone Rete neurale da un punto di vista fisico A cosa serve Big Mining (Wikipedia) Ha per oggetto l estrazione di un sapere o di una conoscenza a partire da grandi quantità di dati (attraverso metodi automatici o semi-automatici) e l utilizzazione industriale o operativa di questo sapere. Il termine data mining (letteralmente: estrazione di dati) è diventato popolare nei tardi anni 90 come versione abbreviata per estrazione di informazione utile da insiemi di dati di dimensione cospicua. 6 / 77

14 Definizione Big Definizione Caratteristiche Interesse Big DM oggi Big (Wikipedia) Si parla di Big quando si ha un dataset talmente grande da richiedere strumenti non convenzionali per estrapolare, gestire e processare informazioni entro un tempo ragionevole. Non esiste una dimensione di riferimento, ma questa cambia sempre, poichè le macchine sono sempre più veloci e i dataset sono sempre più grandi. Secondo uno studio del 2001, l analista Doug Laney aveva definito il modello di crescita come tridimensionale (modello delle 3V ): con il passare del tempo aumentano volume (dei dati), velocità e varietà (dei dati). In molti casi questo modello è ancora valido, nonostante nel 2012 il modello sia stato esteso ad una quarta variabile, la veridicità. 7 / 77

15 Caratteristiche Big Definizione Caratteristiche Interesse Big DM oggi 1. volume: rappresenta la dimensione effettiva del dataset; 2. velocità : si riferisce alla velocità di generazione dei dati; si tende all effettuare analisi dei dati in tempo reale o quasi; 3. varietà : riferita alle varie tipologie di dati, provenienti da fonti diverse (strutturate e non); 8 / 77

16 Caratteristiche Big Definizione Caratteristiche Interesse Big DM oggi 1. volume: rappresenta la dimensione effettiva del dataset; 2. velocità : si riferisce alla velocità di generazione dei dati; si tende all effettuare analisi dei dati in tempo reale o quasi; 3. varietà : riferita alle varie tipologie di dati, provenienti da fonti diverse (strutturate e non); 4. variabilità : questa caratteristica può essere un problema; si riferisce alla possibilit? di inconsistenza dei dati; 5. complessità : maggiore è la dimensione del dataset, maggiore è la complessità dei dati da gestire; il compito più difficile è collegare le informazioni, ed ottenerne di interessanti. 8 / 77

17 Caratteristiche Big Definizione Caratteristiche Interesse Big DM oggi 1. volume: rappresenta la dimensione effettiva del dataset; 2. velocità : si riferisce alla velocità di generazione dei dati; si tende all effettuare analisi dei dati in tempo reale o quasi; 3. varietà : riferita alle varie tipologie di dati, provenienti da fonti diverse (strutturate e non); 4. variabilità : questa caratteristica può essere un problema; si riferisce alla possibilit? di inconsistenza dei dati; 5. complessità : maggiore è la dimensione del dataset, maggiore è la complessità dei dati da gestire; il compito più difficile è collegare le informazioni, ed ottenerne di interessanti. 6. Alcune organizzazioni utilizzano una quarta V per indicare la veridicità dei dati, ossia la qualità dei dati intesa come il valore informativo che si riesce ad estrarre 8 / 77

18 Interesse Big Big Definizione Caratteristiche Interesse Big DM oggi L interesse è motivato da diversi fattori storici/sociali: 9 / 77

19 Interesse Big Big Definizione Caratteristiche Interesse Big DM oggi L interesse è motivato da diversi fattori storici/sociali: 1. Crescita notevole degli strumenti e delle tecniche per generare e raccogliere dati (introduzione codici a barre, transazioni economiche tramite carta di credito, dati da satellite o da sensori remoti, servizi on line..) 9 / 77

20 Interesse Big Big Definizione Caratteristiche Interesse Big DM oggi L interesse è motivato da diversi fattori storici/sociali: 1. Crescita notevole degli strumenti e delle tecniche per generare e raccogliere dati (introduzione codici a barre, transazioni economiche tramite carta di credito, dati da satellite o da sensori remoti, servizi on line..) 2. Sviluppo delle tecnologie per l immagazzinamento dei dati, tecniche di gestione di database e data warehouse, supporti più capaci più economici (dischi, CD) hanno consentito l archiviazione di grosse quantità di dati 9 / 77

21 Interesse Big Big Definizione Caratteristiche Interesse Big DM oggi L interesse è motivato da diversi fattori storici/sociali: 1. Crescita notevole degli strumenti e delle tecniche per generare e raccogliere dati (introduzione codici a barre, transazioni economiche tramite carta di credito, dati da satellite o da sensori remoti, servizi on line..) 2. Sviluppo delle tecnologie per l immagazzinamento dei dati, tecniche di gestione di database e data warehouse, supporti più capaci più economici (dischi, CD) hanno consentito l archiviazione di grosse quantità di dati Questi volumi di dati superano di molto la capacità di analisi dei metodi manuali tradizionali, come le query ad hoc. Tali metodi possono creare report informativi sui dati ma non riescono ad analizzare il contenuto dei report per focalizzarsi sulla conoscenza utile. 9 / 77

22 DM oggi Big Definizione Caratteristiche Interesse Big DM oggi Oggi il termine data mining ha una duplice valenza: 10 / 77

23 DM oggi Big Definizione Caratteristiche Interesse Big DM oggi Oggi il termine data mining ha una duplice valenza: 1. Estrazione, con tecniche analitiche, di informazione implicita, nascosta, da dati già strutturati, per renderla disponibile e direttamente utilizzabile; 10 / 77

24 DM oggi Big Definizione Caratteristiche Interesse Big DM oggi Oggi il termine data mining ha una duplice valenza: 1. Estrazione, con tecniche analitiche, di informazione implicita, nascosta, da dati già strutturati, per renderla disponibile e direttamente utilizzabile; 2. Esplorazione ed analisi, eseguita in modo automatico o semiautomatico, su grandi quantità di dati allo scopo di scoprire pattern (schemi/regole/configurazioni) caratterizzanti i dati e non evidenti. 10 / 77

25 DM oggi Big Definizione Caratteristiche Interesse Big DM oggi Oggi il termine data mining ha una duplice valenza: 1. Estrazione, con tecniche analitiche, di informazione implicita, nascosta, da dati già strutturati, per renderla disponibile e direttamente utilizzabile; 2. Esplorazione ed analisi, eseguita in modo automatico o semiautomatico, su grandi quantità di dati allo scopo di scoprire pattern (schemi/regole/configurazioni) caratterizzanti i dati e non evidenti. In entrambi i casi i concetti di informazione e di significato sono legati strettamente al dominio applicativo in cui si esegue data mining, cioè un dato può essere interessante o trascurabile a seconda del tipo di applicazione in cui si vuole operare. Questo tipo di attività è cruciale in molti ambiti della ricerca scientifica, ma anche in altri settori (ad es. ricerche di mercato). 10 / 77

26 DM oggi Big Definizione Caratteristiche Interesse Big DM oggi Oggi il termine data mining ha una duplice valenza: 1. Estrazione, con tecniche analitiche, di informazione implicita, nascosta, da dati già strutturati, per renderla disponibile e direttamente utilizzabile; 2. Esplorazione ed analisi, eseguita in modo automatico o semiautomatico, su grandi quantità di dati allo scopo di scoprire pattern (schemi/regole/configurazioni) caratterizzanti i dati e non evidenti. In entrambi i casi i concetti di informazione e di significato sono legati strettamente al dominio applicativo in cui si esegue data mining, cioè un dato può essere interessante o trascurabile a seconda del tipo di applicazione in cui si vuole operare. Questo tipo di attività è cruciale in molti ambiti della ricerca scientifica, ma anche in altri settori (ad es. ricerche di mercato). Motivazione: esigenza di analizzare e comprendere fenomeni complessi descritti in modo esplicito solo parzialmente e informalmente da insiemi di dati. 10 / 77

27 Classi di Problemi Big Classificazione: Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM 11 / 77

28 Classi di Problemi Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM Classificazione: supervisionata 11 / 77

29 Classi di Problemi Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM Classificazione: supervisionata non supervisionata 11 / 77

30 Classi di Problemi Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM Classificazione: supervisionata non supervisionata Regressione 11 / 77

31 Classificazione e Regressione Big La classificazione individua l appartenenza ad una classe. Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM 12 / 77

32 Classificazione e Regressione Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM La classificazione individua l appartenenza ad una classe. Ad es. un modello potrebbe predire che il potenziale cliente?x risponderà ad un offerta. Con la classificazione l output predetto (la classe) è categorico ossia può assumere solo pochi possibili valori come Si, No, Alto, Medio, Basso / 77

33 Classificazione e Regressione Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM La classificazione individua l appartenenza ad una classe. Ad es. un modello potrebbe predire che il potenziale cliente?x risponderà ad un offerta. Con la classificazione l output predetto (la classe) è categorico ossia può assumere solo pochi possibili valori come Si, No, Alto, Medio, Basso... La regressione predice un valore numerico specifico. Ad es. un modello potrebbe predire che il cliente X ci porterà un profitto di Y lire nel corso di un determinato periodo di tempo. Le variabili in uscita possono assumere un numero illimitato (o comunque una grande quantità ) di valori. Spesso queste variabili in uscita sono indicate come continue anche se talvolta non lo sono nel senso matematico del termine (ad esempio l età di una persona) 12 / 77

34 Classificazione supervisionata Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM Pattern: oggetto descritto da un insieme finito di attributi numerici (caratteristiche/features) 13 / 77

35 Classificazione supervisionata Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM Pattern: oggetto descritto da un insieme finito di attributi numerici (caratteristiche/features) Classificazione supervisionata: sono noti a priori dei pattern rappresentativi di diverse classi, si vuole determinare un modello matematico che, dato un generico pattern appartenente allo spazio delle caratteristiche, definisca la corrispondente classe di appartenenza 13 / 77

36 Classificazione supervisionata Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM Pattern: oggetto descritto da un insieme finito di attributi numerici (caratteristiche/features) Classificazione supervisionata: sono noti a priori dei pattern rappresentativi di diverse classi, si vuole determinare un modello matematico che, dato un generico pattern appartenente allo spazio delle caratteristiche, definisca la corrispondente classe di appartenenza 13 / 77

37 Esempio 1 Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM ESEMPIO DI CLASSIFICAZIONE SUPERVISIONATA Pattern: cifra manoscritta rappresentata da una matrice di pixel 10 Classi: 0,1,2,3,4,5,6,7,8,9 14 / 77

38 Esempio 1 Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM ESEMPIO DI CLASSIFICAZIONE SUPERVISIONATA Pattern: cifra manoscritta rappresentata da una matrice di pixel 10 Classi: 0,1,2,3,4,5,6,7,8,9 14 / 77

39 Esempio 2 Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM Pattern: elettrocardiogramma di un paziente 2 Classi: normale, ischemico 15 / 77

40 Esempio 2 Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM Pattern: elettrocardiogramma di un paziente 2 Classi: normale, ischemico Dati a disposizione per un dato paziente: 15 / 77

41 Esempio 2 Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM Pattern: elettrocardiogramma di un paziente 2 Classi: normale, ischemico Dati a disposizione per un dato paziente: 1. Tracciato digitale dell ECG durante una fase normale 15 / 77

42 Esempio 2 Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM Pattern: elettrocardiogramma di un paziente 2 Classi: normale, ischemico Dati a disposizione per un dato paziente: 1. Tracciato digitale dell ECG durante una fase normale 2. Tracciato digitale dell ECG durante una fase ischemica 15 / 77

43 Classificazione non supervisionata Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM Pattern: oggetto descritto da un insieme finito di attributi numerici (caratteristiche/features) 16 / 77

44 Classificazione non supervisionata Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM Pattern: oggetto descritto da un insieme finito di attributi numerici (caratteristiche/features) Classificazione non supervisionata: non sono noti a priori pattern rappresentativi delle classi; si vuole determinare il numero di classi di similitudine e un modello matematico che, dato un generico pattern appartenente allo spazio delle caratteristiche, definisca la corrispondente classe di appartenenza 16 / 77

45 Classificazione non supervisionata Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM Pattern: oggetto descritto da un insieme finito di attributi numerici (caratteristiche/features) Classificazione non supervisionata: non sono noti a priori pattern rappresentativi delle classi; si vuole determinare il numero di classi di similitudine e un modello matematico che, dato un generico pattern appartenente allo spazio delle caratteristiche, definisca la corrispondente classe di appartenenza 16 / 77

46 Esempio 1 Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM ESEMPIO DI CLASSIFICAZIONE NON SUPERVISIONATA Pattern: cifra manoscritta Dati disponibili: matrici di pixel di immagini Obiettivo: raggruppare le immagini in K gruppi i cui elementi presentino caratteristiche simili 17 / 77

47 Esempio 1 Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM ESEMPIO DI CLASSIFICAZIONE NON SUPERVISIONATA Pattern: cifra manoscritta Dati disponibili: matrici di pixel di immagini Obiettivo: raggruppare le immagini in K gruppi i cui elementi presentino caratteristiche simili 17 / 77

48 Esempio 2 Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM Pattern: paziente afflitto da una determinata patologia e descritto da M fattori clinici (caratteristiche) Dati disponibili: insieme di N pazienti Obiettivo: raggruppare i pazienti in K gruppi i cui elementi presentino caratteristiche simili 18 / 77

49 Regressione Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM Pattern: oggetto descritto da un insieme finito di attributi numerici (caratteristiche/features) 19 / 77

50 Regressione Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM Pattern: oggetto descritto da un insieme finito di attributi numerici (caratteristiche/features) Approssimazione o Regressione: sono note a priori delle coppie pattern/target rappresentative di una funzione incognita a valori reali; si vuole determinare una funzione analitica che approssimi la funzione incognita 19 / 77

51 Regressione Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM Pattern: oggetto descritto da un insieme finito di attributi numerici (caratteristiche/features) Approssimazione o Regressione: sono note a priori delle coppie pattern/target rappresentative di una funzione incognita a valori reali; si vuole determinare una funzione analitica che approssimi la funzione incognita 19 / 77

52 Esempio Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM ESEMPIO DI REGRESSIONE Pattern: vettore di N correnti che circolano in un dispositivo Dati disponibili: valore del campo magnetico in un determinato punto interno al dispositivo Obiettivo: determinare una funzione analitica che approssimi il legame funzionale tra il campo magnetico e il valore delle correnti 20 / 77

53 Metodi per DM Big In questo corso vedremo: Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM 21 / 77

54 Metodi per DM Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM In questo corso vedremo: 1. Clustering (classificazione non supervisionata) 21 / 77

55 Metodi per DM Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM In questo corso vedremo: 1. Clustering (classificazione non supervisionata) 2. Reti Neurali (regressione e classificazione supervisionata) 21 / 77

56 Metodi per DM Big Classi di Problemi Classificazione e Regressione Classificazione supervisionata Esempio 1 Esempio 2 Classificazione non supervisionata Esempio 1 Esempio 2 Regressione Esempio Metodi per DM In questo corso vedremo: 1. Clustering (classificazione non supervisionata) 2. Reti Neurali (regressione e classificazione supervisionata) 3. Support Vector Machines (regressione e classificazione supervisionata) 21 / 77

57 Rete neurale da un punto di vista fisico Big Rete neurale: processore distribuito ispirato al funzionamento del sistema nervoso negli organismi evoluti, costituito dalla interconnessione di unità computazionali elementari (neuroni) con due caratteristiche fondamentali: Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione 22 / 77

58 Rete neurale da un punto di vista fisico Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione Rete neurale: processore distribuito ispirato al funzionamento del sistema nervoso negli organismi evoluti, costituito dalla interconnessione di unità computazionali elementari (neuroni) con due caratteristiche fondamentali: la conoscenza è acquisita dall ambiente attraverso un processo di apprendimento o di addestramento. 22 / 77

59 Rete neurale da un punto di vista fisico Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione Rete neurale: processore distribuito ispirato al funzionamento del sistema nervoso negli organismi evoluti, costituito dalla interconnessione di unità computazionali elementari (neuroni) con due caratteristiche fondamentali: la conoscenza è acquisita dall ambiente attraverso un processo di apprendimento o di addestramento. la conoscenza è immagazzinata nei parametri della rete e, in particolare, nei pesi associati alle connessioni 22 / 77

60 Rete neurale da un punto di vista fisico Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione Rete neurale: processore distribuito ispirato al funzionamento del sistema nervoso negli organismi evoluti, costituito dalla interconnessione di unità computazionali elementari (neuroni) con due caratteristiche fondamentali: la conoscenza è acquisita dall ambiente attraverso un processo di apprendimento o di addestramento. la conoscenza è immagazzinata nei parametri della rete e, in particolare, nei pesi associati alle connessioni Una rete neurale consente di approssimare in un dato contesto applicativo la corrispondenza esistente (o postulata) tra un ingresso e un uscita di natura opportuna. 22 / 77

61 Neuroni Big Sono nodi di una rete orientata provvisti di capacità di elaborazione. Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione 23 / 77

62 Neuroni Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione Sono nodi di una rete orientata provvisti di capacità di elaborazione. Ricevono in ingresso una combinazione di segnali provenienti dall esterno o da altri nodi e ne effettuano una trasformazione tramite una funzione non lineare detta funzione di attivazione. 23 / 77

63 Neuroni Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione Sono nodi di una rete orientata provvisti di capacità di elaborazione. Ricevono in ingresso una combinazione di segnali provenienti dall esterno o da altri nodi e ne effettuano una trasformazione tramite una funzione non lineare detta funzione di attivazione. L uscita viene inviata agli altri nodi o all uscita della rete tramite connessioni orientate e pesate. 23 / 77

64 Rete neurale da un punto di vista matematico Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione una funzione G : X Y nota attraverso un insieme di coppie {(x p,g(x p )) : x p X, p = 1,...,P} una rete neurale è un particolare modello di approssimazione dig: F(,w) : X Y dipendente (in generale in modo non lineare) da un vettore di parametriw 24 / 77

65 Rete neurale da un punto di vista matematico Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione una funzione G : X Y nota attraverso un insieme di coppie {(x p,g(x p )) : x p X, p = 1,...,P} una rete neurale è un particolare modello di approssimazione dig: F(,w) : X Y dipendente (in generale in modo non lineare) da un vettore di parametriw Da un punto di vista statistico, una rete neurale è un particolare modello di classificazione o di regressione (non lineare), caratterizzato da: 24 / 77

66 Rete neurale da un punto di vista matematico Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione una funzione G : X Y nota attraverso un insieme di coppie {(x p,g(x p )) : x p X, p = 1,...,P} una rete neurale è un particolare modello di approssimazione dig: F(,w) : X Y dipendente (in generale in modo non lineare) da un vettore di parametriw Da un punto di vista statistico, una rete neurale è un particolare modello di classificazione o di regressione (non lineare), caratterizzato da: (i) scelta delle funzioni approssimanti (dipendenza non lineare dai parametri) 24 / 77

67 Rete neurale da un punto di vista matematico Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione una funzione G : X Y nota attraverso un insieme di coppie {(x p,g(x p )) : x p X, p = 1,...,P} una rete neurale è un particolare modello di approssimazione dig: F(,w) : X Y dipendente (in generale in modo non lineare) da un vettore di parametriw Da un punto di vista statistico, una rete neurale è un particolare modello di classificazione o di regressione (non lineare), caratterizzato da: (i) scelta delle funzioni approssimanti (dipendenza non lineare dai parametri) (i) i dati (training set) sono discreti cioè la funzione si suppone nota solo su un insieme discreto di punti. 24 / 77

68 Caratteristiche della rete Big Il legame ingresso-uscita realizzato dalla rete dipende da: Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione 25 / 77

69 Caratteristiche della rete Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione Il legame ingresso-uscita realizzato dalla rete dipende da: tipo di unità elementari (struttura interna più o meno complessa, funzioni di attivazione diverse) 25 / 77

70 Caratteristiche della rete Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione Il legame ingresso-uscita realizzato dalla rete dipende da: tipo di unità elementari (struttura interna più o meno complessa, funzioni di attivazione diverse) architettura della rete, ossia numero di nodi, struttura e orientamento delle connessioni 25 / 77

71 Caratteristiche della rete Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione Il legame ingresso-uscita realizzato dalla rete dipende da: tipo di unità elementari (struttura interna più o meno complessa, funzioni di attivazione diverse) architettura della rete, ossia numero di nodi, struttura e orientamento delle connessioni valori dei parametri interni associati a unità elementari e connessioni determinati tramite tecniche di apprendimento 25 / 77

72 Architetture Big Reti feedforward: reti acicliche strutturate in diversi strati Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione 26 / 77

73 Architetture Big Reti feedforward: reti acicliche strutturate in diversi strati 1. Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione 26 / 77

74 Architetture Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione Reti feedforward: reti acicliche strutturate in diversi strati Multilayer (MLP) 26 / 77

75 Architetture Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione Reti feedforward: reti acicliche strutturate in diversi strati Multilayer (MLP) 3. Reti di funzioni di base radiali (RBF) 26 / 77

76 Architetture Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione Reti feedforward: reti acicliche strutturate in diversi strati Multilayer (MLP) 3. Reti di funzioni di base radiali (RBF) Reti ricorsive: sono presenti cicli di controreazione; possono essere viste come sistemi dinamici 26 / 77

77 Esempi reti feedforward Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione 27 / 77

78 Addestramento Big L addestramento (apprendimento) è il processo mediante il quale vengono determinati i parametri liberi di una rete neurale. Due paradigmi fondamentali: Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione 28 / 77

79 Addestramento Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione L addestramento (apprendimento) è il processo mediante il quale vengono determinati i parametri liberi di una rete neurale. Due paradigmi fondamentali: 1. addestramento supervisionato: i parametri della rete vengono determinati, sulla base di un insieme di addestramento (training set) di esempi, consistenti in coppie pattern/target, minimizzando una funzione d errore 28 / 77

80 Addestramento Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione L addestramento (apprendimento) è il processo mediante il quale vengono determinati i parametri liberi di una rete neurale. Due paradigmi fondamentali: 1. addestramento supervisionato: i parametri della rete vengono determinati, sulla base di un insieme di addestramento (training set) di esempi, consistenti in coppie pattern/target, minimizzando una funzione d errore 2. addestramento non supervisionato: la rete è dotata di capacità di auto-organizzazione 28 / 77

81 Overfitting e underfitting Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione 29 / 77

82 Capacità di generalizzazione Big La capacità di generalizzazione di una rete addestrata è la capacità di fornire una risposta corretta a nuovi ingressi (non presentati nella fase di addestramento) Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione 30 / 77

83 Capacità di generalizzazione Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione La capacità di generalizzazione di una rete addestrata è la capacità di fornire una risposta corretta a nuovi ingressi (non presentati nella fase di addestramento) Lo scopo ultimo dell addestramento è quello di costruire un modello del processo che genera i dati e non di interpolare i dati di training 30 / 77

84 Capacità di generalizzazione Big Rete neurale da un punto di vista fisico Neuroni Rete neurale da un punto di vista matematico Caratteristiche della rete Architetture Esempi reti feedforward Addestramento Overfitting e underfitting Capacità di generalizzazione La capacità di generalizzazione di una rete addestrata è la capacità di fornire una risposta corretta a nuovi ingressi (non presentati nella fase di addestramento) Lo scopo ultimo dell addestramento è quello di costruire un modello del processo che genera i dati e non di interpolare i dati di training La teoria dell apprendimento studia l apprendimento e la caratterizzazione delle capacità di generalizzazione delle reti neurali. Il problema è definire in modo ottimo la complessità della rete e il procedimento di identificazione dei parametri w a partire dai dati in modo da ottenere la miglior capacità di generalizzazione possibile. 30 / 77

85 Neurone formale Big Neurone formale Limiti del perceptron La crisi delle reti neurali Backpropagation RN e ottimizzazione ma soprattutto... e ancora.. 31 / 77

86 Big Una rete costituita da un singolo strato di neuroni formali è stata denominata PERCEPTRON (Rosenblatt, 1962) Neurone formale Limiti del perceptron La crisi delle reti neurali Backpropagation RN e ottimizzazione ma soprattutto... e ancora.. 32 / 77

87 Big Neurone formale Limiti del perceptron La crisi delle reti neurali Backpropagation RN e ottimizzazione ma soprattutto... e ancora.. Una rete costituita da un singolo strato di neuroni formali è stata denominata PERCEPTRON (Rosenblatt, 1962) Il esegue una trasformazione non lineare degli ingressixefornisce un uscita scalare (nella versione di Mc Cullock e Pitts 43) y(x) = sgn(w T x θ) 32 / 77

88 Big Neurone formale Limiti del perceptron La crisi delle reti neurali Backpropagation RN e ottimizzazione ma soprattutto... e ancora.. Una rete costituita da un singolo strato di neuroni formali è stata denominata PERCEPTRON (Rosenblatt, 1962) Il esegue una trasformazione non lineare degli ingressixefornisce un uscita scalare (nella versione di Mc Cullock e Pitts 43) y(x) = sgn(w T x θ) Scegliendo i pesi in modo appropriato è in grado di realizzare le funzioni and, or, not. 32 / 77

89 Big Neurone formale Limiti del perceptron La crisi delle reti neurali Backpropagation RN e ottimizzazione ma soprattutto... e ancora.. Una rete costituita da un singolo strato di neuroni formali è stata denominata PERCEPTRON (Rosenblatt, 1962) Il esegue una trasformazione non lineare degli ingressixefornisce un uscita scalare (nella versione di Mc Cullock e Pitts 43) y(x) = sgn(w T x θ) Scegliendo i pesi in modo appropriato è in grado di realizzare le funzioni and, or, not. Nel 62 Rosenblatt lo reinterpreta come classificatore lineare: la funzione discriminante è la funzione linearew T x θ 32 / 77

90 Big Neurone formale Limiti del perceptron La crisi delle reti neurali Backpropagation RN e ottimizzazione ma soprattutto... e ancora.. Una rete costituita da un singolo strato di neuroni formali è stata denominata PERCEPTRON (Rosenblatt, 1962) Il esegue una trasformazione non lineare degli ingressixefornisce un uscita scalare (nella versione di Mc Cullock e Pitts 43) y(x) = sgn(w T x θ) Scegliendo i pesi in modo appropriato è in grado di realizzare le funzioni and, or, not. Nel 62 Rosenblatt lo reinterpreta come classificatore lineare: la funzione discriminante è la funzione linearew T x θ è stato proposto un algoritmo per il calcolo dei parametri (pesi e soglie) che fornisce una soluzione in un numero finito di iterazioni nell ipotesi in cui i pattern di ingresso siano linearmente separabili 32 / 77

91 Limiti del perceptron Big Neurone formale Limiti del perceptron La crisi delle reti neurali Backpropagation RN e ottimizzazione ma soprattutto... e ancora.. 33 / 77

92 La crisi delle reti neurali Big Le limitazioni del sono state messe in luce da Minsky e Papert (1969) Neurone formale Limiti del perceptron La crisi delle reti neurali Backpropagation RN e ottimizzazione ma soprattutto... e ancora.. 34 / 77

93 La crisi delle reti neurali Big Le limitazioni del sono state messe in luce da Minsky e Papert (1969) L effetto del libro di Minsky e Papert è stato quello di far decadere l interesse inziale verso le reti neurali Neurone formale Limiti del perceptron La crisi delle reti neurali Backpropagation RN e ottimizzazione ma soprattutto... e ancora.. 34 / 77

94 La crisi delle reti neurali Big Neurone formale Limiti del perceptron La crisi delle reti neurali Backpropagation RN e ottimizzazione ma soprattutto... e ancora.. Le limitazioni del sono state messe in luce da Minsky e Papert (1969) L effetto del libro di Minsky e Papert è stato quello di far decadere l interesse inziale verso le reti neurali Era noto che le limitazioni del potevano essere superate, in linea di principio, collegando fra loro in modo opportuno dei neuroni formali o effettuando delle trasformazioni non lineari degli ingressi 34 / 77

95 La crisi delle reti neurali Big Neurone formale Limiti del perceptron La crisi delle reti neurali Backpropagation RN e ottimizzazione ma soprattutto... e ancora.. Le limitazioni del sono state messe in luce da Minsky e Papert (1969) L effetto del libro di Minsky e Papert è stato quello di far decadere l interesse inziale verso le reti neurali Era noto che le limitazioni del potevano essere superate, in linea di principio, collegando fra loro in modo opportuno dei neuroni formali o effettuando delle trasformazioni non lineari degli ingressi Non erano tuttavia disponibili algoritmi di addestramento per il calcolo dei parametri 34 / 77

96 Backpropagation Big Neurone formale Limiti del perceptron La crisi delle reti neurali Backpropagation RN e ottimizzazione ma soprattutto... e ancora.. Una rinascita dell interesse verso le reti neurali è stata in gran parte determinata dal lavoro di Rumelhart, Hinton e Williams (1986), che hanno proposto un algoritmo di addestramento per reti di neuroni formali, noto come metodo della backpropagation, essenzialmente basato sul metodo di ottimizzazione del gradiente 35 / 77

97 Backpropagation Big Neurone formale Limiti del perceptron La crisi delle reti neurali Backpropagation RN e ottimizzazione ma soprattutto... e ancora.. Una rinascita dell interesse verso le reti neurali è stata in gran parte determinata dal lavoro di Rumelhart, Hinton e Williams (1986), che hanno proposto un algoritmo di addestramento per reti di neuroni formali, noto come metodo della backpropagation, essenzialmente basato sul metodo di ottimizzazione del gradiente Gli sviluppi futuri hanno portato allo sviluppo di un area di ricerca interdisciplinare, in cui sono stati integrati contributi di vari settori 35 / 77

98 RN e ottimizzazione Big Neurone formale Limiti del perceptron La crisi delle reti neurali Backpropagation RN e ottimizzazione ma soprattutto... e ancora.. 36 / 77

99 ma soprattutto... Big Neurone formale Limiti del perceptron La crisi delle reti neurali Backpropagation RN e ottimizzazione ma soprattutto... e ancora.. 37 / 77

100 e ancora.. Big Articolo su Harvard Business Review Neurone formale Limiti del perceptron La crisi delle reti neurali Backpropagation RN e ottimizzazione ma soprattutto... e ancora.. 38 / 77

101 Big Il esegue una trasformazione non lineare degli ingressixefornisce un uscita scalare (nella versione di Mc Cullock e Pitts 43) y(x) = sgn(w T x θ) Addestramento I Addestramento II Limiti del perceptron 39 / 77

102 Big Addestramento I Addestramento II Limiti del perceptron Il esegue una trasformazione non lineare degli ingressixefornisce un uscita scalare (nella versione di Mc Cullock e Pitts 43) y(x) = sgn(w T x θ) Scegliendo i pesi in modo appropriato è in grado di realizzare le funzioni and, or, not. 39 / 77

103 Big Addestramento I Addestramento II Limiti del perceptron Il esegue una trasformazione non lineare degli ingressixefornisce un uscita scalare (nella versione di Mc Cullock e Pitts 43) y(x) = sgn(w T x θ) Scegliendo i pesi in modo appropriato è in grado di realizzare le funzioni and, or, not. Nel 62 Rosenblatt lo reinterpreta come classificatore lineare: la funzione discriminante è la funzione linearew T x θ 39 / 77

104 Addestramento I Big Addestramento I Addestramento II Limiti del perceptron Sia dato un training set diviso in due insiemi T = {(x p,y p ) : x R n, y p { 1,1}, p = 1,...,P}, A = {x p : y p = 1} B = {x p : y p = 1} 40 / 77

105 Addestramento I Big Addestramento I Addestramento II Limiti del perceptron Sia dato un training set diviso in due insiemi T = {(x p,y p ) : x R n, y p { 1,1}, p = 1,...,P}, A = {x p : y p = 1} B = {x p : y p = 1} Addestrare il perceptron vuol dire individuare i pesiwe la sogliaθtali che: w T x p θ > 0 x p A w T x p θ < 0 x p B 40 / 77

106 Addestramento I Big Addestramento I Addestramento II Limiti del perceptron Sia dato un training set diviso in due insiemi T = {(x p,y p ) : x R n, y p { 1,1}, p = 1,...,P}, A = {x p : y p = 1} B = {x p : y p = 1} Addestrare il perceptron vuol dire individuare i pesiwe la sogliaθtali che: Si introduce un ingresso fittiziox p 0 w = (θ w), il sistema diventa w T x p θ > 0 x p A w T x p θ < 0 x p B = 1,p = 1,...,P e si ridefinisce w T x p > 0 x p A w T x p < 0 x p B 40 / 77

107 Addestramento II Big (x p,y p ) T,p = 1,...,P Iniz w(0) = 0,k = 0,nclass = 0 nclass < P Dati While For p = 1,...,P, Addestramento I Addestramento II Limiti del perceptron If sgn(w T x p ) = y p then nclass = nclass+1 else w(k +1) = w(k)+y p x p k = k +1 End if End for If nclass < P,nclass = 0 End do 41 / 77

108 Limiti del perceptron Big Se i due insiemiaeb sono linearmente separabili, l algoritmo converge. Addestramento I Addestramento II Limiti del perceptron 42 / 77

109 Limiti del perceptron Big Addestramento I Addestramento II Limiti del perceptron Se i due insiemiaeb sono linearmente separabili, l algoritmo converge. Si potrebbe addestrare risolvendo il sistema di disequazioni con metodi ai punti interni. Oppure sostituendo la funzionesgn con una qualunque funzioneρmonotona crescente tale che: lim ρ(t) = 1, lim ρ(t) = 1 t t e minimizzare poi la funzione di errore quadratico sul training: E(w) = 1 2 P (y p ρ(w T x p )) 2 p=1 42 / 77

110 Limiti del perceptron Big Addestramento I Addestramento II Limiti del perceptron Se i due insiemiaeb sono linearmente separabili, l algoritmo converge. Si potrebbe addestrare risolvendo il sistema di disequazioni con metodi ai punti interni. Oppure sostituendo la funzionesgn con una qualunque funzioneρmonotona crescente tale che: lim ρ(t) = 1, lim ρ(t) = 1 t t e minimizzare poi la funzione di errore quadratico sul training: E(w) = 1 2 P (y p ρ(w T x p )) 2 p=1 Non è in grado di rappresentare funzioni anche semplici come lo XOR (OR esclusivo o somma modulo 2, restituisce 1 se e solo se uno solo dei due operandi 1, mentre restituisce 0 in tutti gli altri casi). 42 / 77

111 Limiti del perceptron Big Addestramento I Addestramento II Limiti del perceptron Se i due insiemiaeb sono linearmente separabili, l algoritmo converge. Si potrebbe addestrare risolvendo il sistema di disequazioni con metodi ai punti interni. Oppure sostituendo la funzionesgn con una qualunque funzioneρmonotona crescente tale che: lim ρ(t) = 1, lim ρ(t) = 1 t t e minimizzare poi la funzione di errore quadratico sul training: E(w) = 1 2 P (y p ρ(w T x p )) 2 p=1 Non è in grado di rappresentare funzioni anche semplici come lo XOR (OR esclusivo o somma modulo 2, restituisce 1 se e solo se uno solo dei due operandi 1, mentre restituisce 0 in tutti gli altri casi). Si può solo garantire errore nullo sul training set, non ci sono garanzie sulla capacità di generalizzazione. 42 / 77