TEORIE E TECNICHE DEL RICONOSCIMENTO

Transcript

1 TEORIE E TECNICHE DEL RICONOSCIMENTO INTRODUZIONE A SCIKIT-LEARN CLASSIFICAZIONE REGRESSIONE ALTRE LIBRERIE PER L APPRENDIMENTO AUTOMATICO IN PYTHON Come abbiamo visto, la libreria NLTK permeie di apprendere diversi Lpi di classificatori a parlre da tesl Ma in Python esistono diverse librerie piu generali e piu potenl specificamente per l apprendimento Tra queste la piu usata e la libreria SciKit- Learn 1

2 SCIKIT- LEARN Una libreria open- source di funzioni per l apprendimento automalco Basata su numpy, scipy, e matplotlib Fornisce funzioni per Classificazione Regressione Clustering Riduzione di dimensionalita Sito web: hip://scikit- learn.org/stable/ SCIKIT- LEARN PER APPRENDIMENTO AUTOMATICO Codice per I capitoli del libro: hips://github.com/luispedro/buildingmachinelearningsystemswithpython 2

3 APPRENDIMENTO AUTOMATICO CON SCIKIT- LEARN 1. Leggere i dal (e ripulirli se necessario) 2. Analizzarli, per esempio tramite visualizzazione 3. IdenLficare il miglior algoritmo di apprendimento 4. Analizzare le prestazioni PACCHETTI COMPRESI CON SCIKIT- LEARN NumPy Operazioni su array SciPy ConLene implementazioni di pralcamente tu` gli algoritmi numerici Matplotlib StrumenL per visualizzare I dal 3

4 NUMPY >>> import numpy as np >>> a = np.array([0,1,2,3,4,5]) >>> a array([0, 1, 2, 3, 4, 5]) >>> a.ndim 1 >>> a.shape (6,) SCIPY SciPy package constants fftpack integrate interpolate io linalg maxentropy ndimage odr optimize signal sparse spatial Functionality Physical and mathematical constants Conversion methods Discrete Fourier transform algorithms Integration routines Interpolation (linear, cubic, and so on) Data input and output Linear algebra routines using the optimized BLAS and LAPACK libraries Functions for fitting maximum entropy models n-dimensional image package Orthogonal distance regression Optimization (finding minima and roots) Signal processing Sparse matrices Spatial data structures and algorithms 4

5 MATPLOTLIB Il paccheio di visualizzazione in Python piu noto USO DI QUESTE LIBRERIE: CLASSIFICAZIONE CON IL DATASET IRIS Un classico dataset per apprendimento automalco Dataset molto piccolo (150 esempi) DaL su istanze di fiore (iris) Per ogni fiore il dataset conlene La specie (Iris Setosa, Iris Virginica, Iris Versicolor) QuaIro airibul: Sepal length / width, Petal length / width Il problema di classificazione: Date certe caraierislche di un Iris, e possibile prevederne la specie? 5

6 Come caricare i dal from matplotlib import pyplot as plt import numpy as np # Load the data with load_iris from sklearn from sklearn.datasets import load_iris data = load_iris() features = data.data feature_names = data.feature_names target = data.target target_names = data.target_names Il dataset >>> data {'target_names': array(['setosa', 'versicolor', 'virginica'], dtype=' S10'), 'data': array([[ 5.1, 3.5, 1.4, 0.2], [ 4.9, 3., 1.4, 0.2], [ 4.7, 3.2, 1.3, 0.2], [ 4.6, 3.1, 1.5, 0.2], [ 5., 3.6, 1.4, 0.2], [ 5.4, 3.9, 1.7, 0.4], [ 4.6, 3.4, 1.4, 0.3], [ 5., 3.4, 1.5, 0.2], [ 4.4, 2.9, 1.4, 0.2], [ 4.9, 3.1, 1.5, 0.1], [ 5.4, 3.7, 1.5, 0.2], [ 4.8, 3.4, 1.6, 0.2], [ 4.8, 3., 1.4, 0.1],... 6

7 Features >>> features array([[ 5.1, 3.5, 1.4, 0.2], [ 4.9, 3., 1.4, 0.2], [ 4.7, 3.2, 1.3, 0.2], [ 4.6, 3.1, 1.5, 0.2], [ 5., 3.6, 1.4, 0.2], [ 5.4, 3.9, 1.7, 0.4], [ 4.6, 3.4, 1.4, 0.3], [ 5., 3.4, 1.5, 0.2], [ 4.4, 2.9, 1.4, 0.2], [ 4.9, 3.1, 1.5, 0.1], [ 5.4, 3.7, 1.5, 0.2], [ 4.8, 3.4, 1.6, 0.2], [ 4.8, 3., 1.4, 0.1], [ 4.3, 3., 1.1, 0.1], [ 5.8, 4., 1.2, 0.2], Classe degli ogge` >>> target array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2]) 7

8 ScaIerplot per ogni coppia di features Codice per produrre quesl scaierplots Vedi figure1.py 8

9 Subplots PermeIe di meiere diversi diagrammi in un unica figura allineandoli in modi diversi hip://matplotlib.org/examples/ pylab_examples/subplots_demo.html Visualizzazione per studiare il dataset Sulla base del diagramma possiamo concludere per esempio che l aiributo petal length discrimina Iris Setosa dagli altri esempi di Iris Possiamo scoprire automalcamente qual e il punto di separazione 9

10 Il cutoff labels = target_names[target] plength = features[:, 2] is_setosa = (labels == 'setosa') max_setosa =plength[is_setosa].max() min_non_setosa = plength[~is_setosa].min() print('maximum of setosa: {0}.'.format(max_setosa)) print('minimum of others: {0}.'.format(min_non_setosa)) Output: 1.9, 3.0 Il classificatore if features[:,2] < 2: print 'Iris Setosa' else: print 'Iris Virginica or Iris Versicolour' 10

11 Come separare Virginica e Versicolor? REGRESSIONE CON SKLEARN In questo secondo esempio di apprendimento con scikit learn, vedremo un esempio di REGRESSIONE invece che di CLASSIFICAZIONE 11

12 DUE TIPI DI APPRENDIMENTO SUPERVISIONATO CLASSIFICAZIONE: Spam, non- spam Spam? 1(Y) ClassificaLon Discrete valued output (0 or 1) 0(N) Length of message (words) Length of message (words) 12

13 REGRESSIONE: PREDIRRE IL COSTO DELLE CASE 400 Prezzo ( ) in 1000 s Dimensione in m 2 Supervised Learning right answers given Regression: Predict conlnuous valued output (price) ESEMPIO DI APPRENDIMENTO: REGRESSIONE La REGRESSIONE LINEARE e un algoritmo di apprendimento che dovrebbe essere familiare almeno a quelli di voi che hanno seguito analisi PermeIe di imparare la funzione che meglio approssima il rapporto tra input ed output in esempi come quello del costo delle case in cui l output e NUMERICO 13

14 UN ESEMPIO DI REGRESSIONE CON SKLEARN Obie`vo: sviluppare una funzione che predice la quanlta di accessi ad un sito web I DATI 14

15 LEGGERE I DATI In [1]: import scipy as sp In [2]: data = sp.genfromtxt("web_traffic.tsv", delimiter="\t ) In [3]: data Out[3]: array([[ e+00, e+03], [ e+00, nan], [ e+00, e+03],..., [ e+02, e+03], [ e+02, e+03], [ e+02, e+03]]) In [4]: print(data.shape) (743, 2) In [6]: x = data[:,0] In [7]: y = data[:,1] PULIRE I DATI In [33]: sp.sum(sp.isnan(y)) Out[33]: 8 In [34]: x = x[~sp.isnan(y)] In [35]: y = y[~sp.isnan(y)] 15

16 VISUALIZZARE I DATI VISUALIZZARE I DATI: CODICE In [1]: import matplotlib.pyplot as plt In [8]: plt.scatter(x, y) In [9]: plt.title("web traffic over the last month") In [10]: plt.xlabel("time") In [11]: plt.ylabel("hits/hour") In [12]: plt.xticks(...: [w * 7 * 24 for w in range(10)], ['week %i' % w for w in range(10)]) plt.autoscale(tight=true) plt.grid(true, linestyle='-', color='0.75') plt.savefig("1400_01_01.png") 16

17 APPRENDERE UNA FUNZIONE Nell apprendimento supervisionato (sia regressione che classificazione) si cerca di trovare la funzione che fornisca la migliore rappresentazione dei dal Si definisce migliore rappresentazione dei dal come rappresentazione che minimizza l ERRORE ERRORE NEL CASO DELLA REGRESSIONE def error (f, x, y): return sp,sum((f(x)-y)**2) 17

18 IMPARARE LA FUNZIONE CHE RAPPRESENTA MEGLIO I DATI fp1, res1, rank1, sv1, rcond1 = sp.polyfit(x, y, 1, full=true) In [37]: print("model parameters of fp1: %s" % fp1) Model parameters of fp1: [ ] f(x) = *x In [39]: print("error of the model of fp1:", res1) Error of the model of fp1: [ e+08] f1 = sp.poly1d(fp1) VISUALIZZARE IL RISULTATO fx = sp.linspace(0,x[-1], 1000) # generate X-values for plotting plt.plot(fx, f1(fx), linewidth=4) plt.legend(["d=%i" % f1.order], loc="upper left") Dopodiche e chiaro che c e un problema con l idea che la funzione sia una linea reia La funzione approssima bene I dal le prime quairo se`mane 18

19 UN APPROSSIMAZIONE MIGLIORE >>> f2p = sp.polyfit(x, y, 2) >>> print(f2p) array([ e-02, e+00, >>> f2 = sp.poly1d(f2p) >>> print(error(f2, x, y)) e+03]) he f(x) following = chart shows the * model x**2 we trained before *(straight x line of one d ANCORA MEGLIO? Error d=1: 317,389, Error d=2: 179,983, Error d=3: 139,350, Error d=10: 121,942, Error d=100: 109,318,

20 OVERFITTING Aumentando il grado del polinomio oieniamo delle funzioni che oiengono risultal migliori `memorizzando i dal di addestramento, ma non generalizzano a sufficienza TRAIN E TEST Come nei casi di classificazione visl in precedenza, per trovare la soluzione migliore vogliamo dividere i dal in train e test e valutare solo su test 20

21 RISULTATI SU TEST Error d=1: 7,917, Error d=2: 6,993, Error d=3: 7,137, Error d=10: 8,805, Error d=100: 10,877, Se valulamo l accuratezza su test vediamo che il modello con d=2 o`ene l errore piu basso LEZIONE DI BASE Sviluppando algoritmi di apprendimento automalco e importante non limitarsi a provare tu` I metodi possibili e tu` I parametri possibili, ma cercare di capire cosa sta succedendo (per esempio visualizzando i dal) e scegliere sulla base dell analisi 21

22 QUESTA LEZIONE Echert & Coelho, capitoli 1 e 2 LETTURE 22

23 More datasets UCI Machine Learning Dataset Repository The University of California at Irvine (UCI) maintains an online repository of machine learning datasets (at the time of writing, they are listing 233 datasets). Both the Iris and Seeds dataset used in this chapter were taken from there. The repository is available online: 23