MACHINE LEARNING e DATA MINING Introduzione. a.a.2015/16 Jessica Rosati jessica.rosati@poliba.it

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "MACHINE LEARNING e DATA MINING Introduzione. a.a.2015/16 Jessica Rosati jessica.rosati@poliba.it"

Romolo Poli
8 anni fa
Visualizzazioni

1 MACHINE LEARNING e DATA MINING Introduzione a.a.2015/16 Jessica Rosati jessica.rosati@poliba.it

2 Apprendimento Automatico(i) Branca dell AI che si occupa di realizzare dispositivi artificiali capaci di emulare le modalità di ragionamento che sono tipiche dell uomo. Per far ciò, tali dispositivi devono essere in grado di apprendere, ovvero di estrarre una conoscenza generale, attraverso forme di ragionamento induttivo, su di un determinato problema esaminando una serie di esempi ad esso relativo.

Per far ciò, tali dispositivi devono essere in grado di apprendere, ovvero di estrarre una

3 Apprendimento Automatico(ii) Herbert Simon Learning is any process by which a system improves performance from experience. Tom Mitchell Machine Learning addresses the question of how to build computer programs that improve their performance at some task through experience. Well posed learning problem: A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.

4 Ragionamento Induttivo(i) L apprendere dagli esempi è un caso particolare di Apprendimento Induttivo. Dato un insieme di esempi, il modulo di apprendimento induce un modello generale capace di descrivere gli esempi visti. L AI classica si basa su forme di ragionamento deduttivo, dove partendo da assiomi generali si arriva a conclusioni specifiche. L apprendimento automatico invece si basa su ragionamento induttivo nel quale partendo da esempi specifici si ottengono descrizioni generali.

L AI classica si basa su forme di ragionamento deduttivo, dove partendo da assiomi generali si arriva a conclusioni

5 Machine Learning Machine learning studies computer algorithms for learning to do stuff: learning to complete a task, or to make accurate predictions, or to behave intelligently. Enfasi su metodi automatici :apprendere senza ulteriore intervento da parte dell uomo

accurate predictions, or to behave intelligently.

6 Esempi d utilizzo del ML Data mining/knowledge Discovery in Databases: scoprire regolarità e patterns in dati multidimensionali e complessi Cartelle cliniche conoscenza medica Dati di vendita strategie di marketing Denuncie dei redditi politiche di verifica fiscale. Applicazioni software difficili da programmare perchè: Non esistono esperti umani (es. Analisi DNA) Gli umani sanno eseguire un compito, ma non sanno come (es. comprensione di immagini, speech recognition, handwriting recognition)

redditi politiche di verifica fiscale. Applicazioni software difficili da programmare perchè: Non esistono esperti umani (es.

7 Handwrite Recognition Impossibile formalizzare il problema: disponibili solo esempi Possibile presenza di rumore e dati ambigui

8 Esempi d utilizzo del ML Self customizing programs: Ogni utente ha esigenze specifiche (es. filtraggio di notizie dal web) Amazon, Netflix, GoogleNews Recommender Systems

9 Classificazione dei problemi di Apprendimento Supervisionato Non Supervisionato

10 Apprendimento Supervisionato(i) Data una serie di esempi (training set), dove ogni singolo esempio (istanza del training set) è caratterizzato da un vettore di features (x) ed un output (y), le tecniche supervisionate (algoritmi di classificazione/regressione) si occupano di costruire un modello h(x) capace di approssimare l output y (y=f(x)). Questo modello h(x), appreso durante una fase di addestramento, è un approssimazione della funzione non nota f(x) (funzione target) che si vuol apprendere. Da un punto di vista probabilistico si vuol determinare la probabilità condizionata p(y x). output numerico regressione output qualitativo (classe) classificazione/pattern recognition

(y=f(x)). Questo modello h(x), appreso durante una fase di addestramento, è un approssimazione della funzione non nota f(x) (funzione target) che si vuol apprendere.

11 Apprendimento Supervisionato(ii) Training Set x 11 x 12 x 13 x 14.. x 1N y 1 x 21 x 22 x 23 x 24.. x 2N y 2.. x M1 x M2 x M3 x M4.. x MN y M esempio i : (x i,y i = f(x i )) x h(x) input y output Data una collezione di esempi (x i, y i = f(xi)), l induzione si occupa di restituire una funzione h che approssima f. La funzione h prende il nome di ipotesi.

. x MN y M esempio i : (x i,y i = f(x i )) x h(x) input y output Data una collezione di

12 Apprendimento Supervisionato(iii) Training Set Algoritmo di Apprendimento x vettore di features Ipotesi h output y

13 Apprendimento Non Supervisionato A differenza dell apprendimento supervisionato non si hanno informazioni sulle classi di appartenenza degli esempi o in generale sull output corrispondente ad un certo input. I dati a disposizione riguardano solamente l insieme delle features che descrive ogni esempio. L obiettivo è ottenere un modello che sia capace di scoprire proprietà interessanti. Ad esempio gruppi (cluster) di esempi che hanno caratteristiche simili (clustering). O anche una riduzione della dimensionalità delle features (dimensionality reduction).

I dati a disposizione riguardano solamente l insieme delle features che descrive ogni esempio.

14 Apprendimento Supervisionato vs Non Supervisionato Supervisionato Height Weight Class Classificazione Male Male Weight Male Female Female Female Height Non Supervisionato Height Weight Weight Cluster1 Cluster2 0 0,5 1 1,5 2 2,5 Height Clustering

55 45 Female 50 1.65 51 Female 40 0 1 2 3 Height Non Supervisionato Height Weight 1.

15 Perché Apprendere è difficile? Dato un numero finito di esempi (dimensione finita del training set) vogliamo apprendere un ipotesi che ha un dominio potenzialmente infinito (l insieme di addestramento è solo un campione della popolazione), ne segue che c è un numero infinito di ipotesi possibili. Quale è la migliore?

apprendere un ipotesi che ha un dominio potenzialmente infinito (l insieme di

16 Problemi dell Induzione Non è assolutamente facile stabilire se una particolare h sia una buona approssimazione di f. Una ipotesi h si può ritenere buona se è capace di generalizzare bene, ossia se è in grado di predire correttamente esempi che non ha ancora incontrato (durante l addestramento).

Una ipotesi h si può ritenere buona se è capace di generalizzare bene,

17 Problemi dell Induzione: quale ipotesi scegliere?

18 Problemi dell Induzione: quale ipotesi scegliere? Scegliamo come spazio delle ipotesi H (insieme di tutte le ipotesi considerate) l insieme dei polinomi di grado massimo k. Come facciamo a scegliere tra più ipotesi, tutte consistenti? Rasoio di Occam: si deve preferire l ipotesi più semplice consistente con i dati. Non possiamo definire esattamente la semplicità di una ipotesi, ma è ragionevole affermare che, un polinomio di grado 1 sia più semplice di un polinomio di grado 8.

k. Come facciamo a scegliere tra più ipotesi, tutte consistenti?

19 Modelli Discriminativi e Generativi Discriminativi Effettuano direttamente una stima della probabilità condizionata p(y x) dal training set. Questi modelli sono detti discriminativi, perchè, a partire dal training set si deriva una caratterizzazione dell output in funzione delle features. Questa caratterizzazione permette di discriminare, dato un elemento, il più probabile tra i possibili valori dell output (la classe più verosimile ad esempio). Es. Logistic Regression, SVMs, Neural Networks

Questi modelli sono detti discriminativi, perchè, a partire dal training set si deriva una caratterizzazione dell output in

20 Modelli Discriminativi e Generativi Generativi Effettuano una stima della probabilità congiunta p(x,y) dal training set. Questo approccio è detto generativo, perché viene derivata una caratterizzazione delle features in funzione dell output, in modo tale da generare, dato un possibile output, un input che con buona probabilità potrà essere associato a quell output. Per ogni possibile output viene generato un modello (distribuzione di probabilità) degli input associati a quell output. Le predizioni p(y x) vengono calcolate applicando la regola di Bayes. Es. Naive Bayes, Bayesian Networks, Mixtures of Gaussians

un possibile output, un input che con buona probabilità potrà essere associato a quell output.

Documenti analoghi

Sistemi Informativi Aziendali. Sistemi Informativi Aziendali

Sistemi Informativi Aziendali. Sistemi Informativi Aziendali DIPARTIMENTO DI INGEGNERIA INFORMATICA AUTOMATICA E GESTIONALE ANTONIO RUBERTI Cenni al Data Mining 1 Data Mining nasce prima del Data Warehouse collezione di tecniche derivanti da Intelligenza Artificiale,