Tecniche di riconoscimento statistico

Transcript

1 On AIR s.r.l. Tecniche di riconoscimento statistico Applicazioni alla lettura automatica di testi (OCR) Parte 9 Alberi di decisione Ennio Ottaviani On AIR srl ennio.ottaviani@onairweb.com A.A Ennio Ottaviani- 2017

2 Introduzione L albero di decisione rappresenta il modo più semplice di definire una partizione di un insieme di dati X in classi La suddivisione viene ottenuta attraverso passi successivi in cui l insieme X viene suddiviso in sottoinsiemi sempre più omogenei rispetto alla etichetta di classe La suddivisione produce una gerarchia in cui a partire dal nodo iniziale (radice) i vari sottoinsiemi interni si chiamano nodi e quelli finali (a contenuto omogeneo) foglie I rami che collegano i nodi (padre-figlio) realizzano un criterio numerico o logico basato su una particolare feature del vettore X

3 Introduzione

4 Introduzione In fase di classificazione, è sufficiente percorrere l albero con il vettore di features a classe ignota, verificando in quale nodo portano le operazioni di split Il processo termina su un nodo foglia, dove la classe è definita univocamente La valutazione del risultato avviene come quella di ogni altro classificatore, in base al conteggio degli errori Dal punto di vista delle superfici di separazione, genera poligonali con i lati paralleli agli assi nello spazio delle features

5 Introduzione L albero decisionale è un modo semplice per rappresentare il processo logico che porta alla attribuzione di una classe ad un vettore di features E molto semplice da capire ed efficiente da implementare, una volta costruito in modo ottimale Consente di motivare il perchè di un particolare risultato (white box) Gestisce bene dati numerici e dati simbolici Problemi complessi portano però ad alberi troppo grandi per risultare comprensibili e sono ad elevato rischio di overfitting

6 Criteri di suddivisione Occorre definire un criterio per decidere come suddividere un nodo (split) in 2 o più nodi in modo da avvicinarsi al risultato finale Avendo come obiettivo foglie omogenee, una buona idea è definire una misura di omogeneità (o purezza) dei dati contenuti in un nodo Data una misura di omogeneità H, si definisce il guadagno informativo G come la differenza tra i valori di H prima e dopo lo split Il valore di H dopo lo split (con due nodi figli) è la media pesata dei valori di H con pesi pari alla % di dati contenuti nei sottoinsiemi Lo split migliore tra tutti quelli possibili è quello che ottimizza G

7 Criteri di suddivisione Se in un nodo t ciascuna classe j ha una frequenza p(j,t), si possono definire diverse misure di omogeneità combinando le frequenze Indice di entropia Indice di Gini Questi indici hanno in comune il fatto di valere 0 su nodi puri e di avere il valore massimo su nodi con le classi equamente distribuite Altri indici sono proponibili, mantenendo il principio di avere i valori estremi per nodi puri e per nodi con distribuzione uniforme

8 Esempio

9 Esempio

10 Pruning L albero ottimale sul training set potrebbe non esserlo sul test set, a causa della sua eccessiva complessità Sono necessarie tecniche di potatura (pruning) per assicurare capacità di generalizzazione Il criterio più semplice prevede di non splittare nodi con pochi elementi, attribuendo a questi la classe maggioritaria. Si evitano quindi split a basso impatto sull errore complessivo Altri criteri sono basati su concetti simili a quelli della selezione delle features per problemi di classificazione

11 Metodo CART Il metodo CART (Classification And Regression Tree) codifica una procedura standard per generare alberi di decisione Usa una procedura esaustiva di ricerca dello split binario ottimale in base al massimo guadagno informativo misurato dalla variazione dell indice di Gini Usa un criterio di pruning basato sul compromesso tra errore di classificazione e numero di foglie La sua standardizzazione lo rende un metodo molto efficace in ambito industriale

12 Metodo CART Esistono diverse varianti possibili alla metodologia CART, sia a livello di splitting sia di pruning (es. C4.5, CHAID, SLIQ,...) Queste portano ad alberi diversi per lo stesso problema, indicando una forte dipendenza del risultato dalla strategia impiegata Analoga elevata dipendenza si ha per la scelta del primo split, che di solito condiziona il resto dell albero (problema comune ai metodi greedy) Le perplessità teoriche sulla efficacia degli alberi decisionali non ne limitano però l applicazione a problemi abbastanza semplici

13 Bagging La variabilità dei risultati ottenibili con un singolo albero porta a definire criteri di combinazione di alberi multipli Bagging: il training set viene ricampionato estraendo ogni volta un sottoinsieme diverso dei dati originali (Bootstrap AGgregation) estraendo N campioni a caso (anche ripetuti). Ognuno produce un albero e la classe finale da assegnare ai dati ignoti è quella maggioritaria tra quelle prodotte dai singoli alberi Il bagging permette di stimare le prestazioni senza usare un test set, grazie all uso dei vettori out-of-bag (OOB). Sono quelli non usati da ogni albero (che usa in media 2/3 dei dati originali).

14 Random forests Random forest: come nel bagging si generano alberi multipli ma a partire sempre dallo stesso training set, scegliendo però lo split ottimale in un sottoinsieme casuale degli split possibili. In questo modo ogni albero risulta diverso e si evitano polarizzazioni Date m features, il numero p tra cui scegliere ogni singolo split può essere qualunque, ma la scelta suggerita è p = radice(k) Le prestazioni del metodo, valutate sui dai OOB, migliorano al crescere del numero di alberi, e tendono ad un valore asintotico, pari all errore finale che ci si deve attendere su dati nuovi

15 Random forests

16 Random forests

17 Misura di importanza Le random forest forniscono un semplice meccanismo per stabilire una graduatoria di importanza delle features utilizzate E sufficiente ad esempio valutare in ogni split il miglioramento in termini di purezza dei nodi, e pesare le features in base a tale valore

18 Vantaggi delle RF Una naturale forma di cooperazione per ridurre l errore Facile valutazione di importanza per ogni feature Possibilità di associare alla classificazione un indice di confidenza Stima robusta dell errore senza cross-validation Possibilità di combinare dati numerici e dati categorici Gestione di dati mancanti mediante stime di prossimità Al massimo 3 parametri da definire (a valori interi) Processo di apprendimento semplice e controllabile Nessun rischio di overfitting dei dati di training Approccio valido anche per problemi multi-classe e di regressione