Alberi di decisione: c4.5

Transcript

1 Alberi di decisione: c4.5 c4.5 [Qui93b,Qui96] Evoluzione di ID3, altro sistema del medesimo autore, J.R. Quinlan Ispirato ad uno dei primi sistemi di questo genere, CLS (Concept Learning Systems) di E.B. Hunt Continuo studio ed aggiornamento (release 8): rimane uno dei punti di riferimento nella propria classe di algoritmi. Algoritmo scritto in C per Unix: disponibile da Tutorial su c4.5: courses/831/notes/ml/dtrees/c4.5/tutorial.html 1 Algoritmo di determinazione dell albero T: insieme degli esempi; {C 1,C 2,,C k }: insieme delle classi; Considera l insieme T: T contiene uno o più esempi, tutti appartenenti alla medesima classe => singola foglia con etichetta la classe T non contiene nessun esempio (insieme vuoto)=> singola foglia con etichetta la classe piu frequente nell insieme padre T contiene casi che appartengono a più classi => partizionamento di T in piu sottoinsiemi secondo un test su un attributo=> nodo associato al test, con un sottoalbero per ogni possibile risultato del test stesso. Richiama l algoritmo su ogni ramo/sottoinsieme 2 1

2 Condizione di terminazione c4.5 non si ferma solo quando trova insiemi uniformi o vuoti, si ferma anche se Nessun test e tale che almeno due sottoinsiemi contengano un numero minimo di casi Il numero minimo di casi e un opzione di c4.5, di default vale 2 3 Esempio Istanze: sabati mattina Concetti: sabato adatto a giocare a tennis e sabato non adatto a giocare a tennis Attributi: outlook, con valori {sunny,overcast,rain} temperature, con valori numerici humidity, con valori numerici windy, con valori {true, false} 4 2

3 Training set No Outlook Temp ( F) Humid (%) Windy Class D1 sunny T P D2 sunny T N D3 sunny F N D4 sunny F N D5 sunny F P D6 overcast T P D7 overcast F P D8 overcast T P D9 overcast F P D10 rain T N D11 rain T N D12 rain F P D13 rain F P D14 rain F P 5 Albero di decisione Outlook sunny rain overcast Humidity 75 Windy true false true false P N P N P 6 3

4 Albero di decisione Outlook=sunny humidity 75: P humidity > 75: N Outlook=overcast: P Outlook=rain windy=true: N windy=false: P 7 c4.5 command lines c4.5 e c4.5rules -f [filename] specifica il nome del file da usare c4.5 f golf c4.5rules f golf -u specifica di testare le regole prodotte sul test-set c4.5 f golf u c4.5rules f golf u -v [1-3] livello di verbosità dell output (default=1) c4.5 f golf v2 -p (soltanto c4.5) calcola una soglia probabilistica per gli attributi continui consult 8 4

5 c4.5 files Input files Filename.names Filename.data Filename.test Output files Filename.out Filename.r.out Filename.t.out Filename.tree Filename.rules Filename.unpruned 9 Input files: : golf.names e golf.data Classi Attributi Training set 10 5

6 c4.5 f golf Data set Decision tree Risultato della valutazione 11 c4.5rules f golf Regole Risultato dell applicazione delle regole Confusion matrix 12 6

7 labor-neg.names labor-neg.data 13 c4.5 f labor-neg -u 14 7

8 c4.5rules f labor-neg -u 15 Pruning di un albero decisionale c4.5 utilizza la tecnica chiamata error-based pruning Ogni sottoalbero è sostituito da una foglia se la percentuale stimata di errore risulta minore Vengono usati gli stessi casi del training set Calcolo basato sull upper bound della probabilità di errore e su calcoli basati sulla teoria degli insiemi di confidenza derivata dalla Statistica. 16 8

9 Esempio di pruning Decision Tree: physician fee freeze = n: adoption of the budget resolution = y: democrat (151.0) adoption of the budget resolution = u: democrat (1.0) adoption of the budget resolution = n: education spending = n: democrat (6.0) education spending = y: democrat (9.0) education spending = u: republican (1.0) physician fee freeze = y: synfuels corporation cutback = n: republican (97.0/3.0) synfuels corporation cutback = u: republican (4.0) synfuels corporation cutback = y: duty free exports = y: democrat (2.0) duty free exports = u: republican (1.0) duty free exports = n: education spending = n: democrat (5.0/2.0) education spending = y: republican (13.0/2.0) education spending = u: democrat (1.0) physician fee freeze = u: water project cost sharing = n: democrat (0.0) water project cost sharing = y: democrat (4.0) water project cost sharing = u: mx missile = n: republican (0.0) mx missile = y: democrat (3.0/1.0) mx missile = u: republican (2.0) Simplified Decision Tree: physician fee freeze = n: democrat (168.0/2.6) physician fee freeze = y: republican (123.0/13.9) physician fee freeze = u: mx missile = n: democrat (3.0/1.1) mx missile = y: democrat (4.0/2.2) mx missile = u: republican (2.0/1.0) Original SubTree U 25% (0,6)=0.206 U 25% (0,9)=0.143 U 25% (0,1)=0.750 Predicted Error 6* * *0.750 = Foglia democrat: U 25% (1,16)=0.157 Predicted Error = 16*0.157 = Aste combinatorie : attributi Rif.: K. Leyton-Brown et al. Learning the empirical hardness of optimization problems: the case of combinatorial auctions 18 9

10 Aste combinatorie : input files names data 19 Aste combinatorie : output 20 10

11 Aste combinatorie: decision trees 21 11