Esercizi d esamed Spazio delle versioni Si consideri il problema EnjoySport visto a lezione descritto dagli attributi Sky Air Temp Humid Wind Water Forecast Si definisca uno spazio delle ipotesi costituito da tutte le disgiunzioni di 2 ipotesi nello spazio visto a lezione. Ad esempio, una ipotesi potrebbe essere: <?,cold,high,?,?,?> <sunny,?,high,?,?,same>
Spazio delle versioni Dati gli esempi: Sky Air Temp Humid Wind Water Forecast Enjoy Sport Sunny Warm Normal Strong Warm Same Yes Sunny Warm High Strong Warm Same Yes Rainy Cold High Strong Warm Change No Sunny Warm High Strong Cool Change Yes Si mostri l evoluzione degli insiemi S e G che si ottiene eseguendo l algoritmo Candidate-Elimination G={<?,?,?,?,?,?> <?,?,?,?,?,?>} S={ } G=G S={s=<s,w,n,s,w,s> } G2=G Generalizzazioni di s: <s,w,?,s,w,s>, <s,w,n,s,w,s> <s,w,h,s,w,s> S2={<s,w,?,s,w,s> } 2
G3={<s,?,?,?,?,?> <s,?,?,?,?,?>, <?,w,?,?,?,?> <?,w,?,?,?,?>, <?,?,?,?,?,s> <?,?,?,?,?,s>} S3=S2={s2=<s,w,?,s,w,s> } G4={<s,?,?,?,?,?> <s,?,?,?,?,?>, <?,w,?,?,?,?> <?,w,?,?,?,?>} Generalizzazioni di s2 {<s,w,?,s,?,?>, <s,w,?,s,w,s> <s,w,h,s,c,c>} S4= {<s,w,?,s,w,s> <s,w,h,s,c,c>} Spazio delle versioni Si consideri ancora il problema EnjoySport Sky Air Temp Humid Wind Water Forecast Si consideri ancora uno spazio delle ipotesi costituito da tutte le disgiunzioni di 2 ipotesi nello spazio visto a lezione. 3
Spazio delle versioni Dati gli esempi: Sky Air Temp Humid Wind Water Forecast Enjoy Sport Sunny Warm Normal Strong Warm Same Yes Sunny Warm Medium Strong Warm Same Yes Rainy Cold High Strong Warm Change No Sunny Warm High Strong Cool Change Yes Unica differenza: Humid ha tre valori Si mostri l evoluzione degli insiemi S e G che si ottiene eseguendo l algoritmo Candidate-Elimination G={<?,?,?,?,?,?> <?,?,?,?,?,?>} S={ } G=G S={s=<s,w,n,s,w,s> } G2=G Generalizzazioni di s: <s,w,?,s,w,s>, <s,w,n,s,w,s> <s,w,m,s,w,s> S2={<s,w,n,s,w,s> <s,w,m,s,w,s>} 4
G3={<s,?,?,?,?,?> <s,?,?,?,?,?>, <?,w,?,?,?,?> <?,w,?,?,?,?>, <?,?,?,?,?,s> <?,?,?,?,?,s>} S3=S2={s2=<s,w,n,s,w,s> <s,w,m,s,w,s>} G4={<s,?,?,?,?,?> <s,?,?,?,?,?>, <?,w,?,?,?,?> <?,w,?,?,?,?>} Generalizzazioni di s2 {<s,w,?,s,?,?> <s,w,m,s,w,s>, <s,w,n,s,w,s> <s,w,?,s,?,?>} S4= {<s,w,?,s,?,?> } Spazio delle versioni Si consideri il problema EnjoySport descritto dagli attributi Sky Air Temp Humid Wind Water Forecast. Si dia la sequenza di esempi di lunghezza minima che produce lo spazio delle versioni descritto da G={?,?,normal,?,?,?} S={<?,warm,normal,strong,?,same>} 5
. Una possibile sequenza è <sunny, warm, normal, strong, cool, same>, + <rainy, warm, normal, strong, warm, same>, + <sunny, warm, high, strong, warm, same>, - Domande 2. Quante ipotesi rimangono nello spazio delle versioni descritto sopra? 3. Si supponga che l apprenditore possa fare delle domane al maestro presentandogli una nuova istanza e chiedendo la sua classificazione come esempio positivo o negativo. Quante domande sono necessarie all apprenditore per apprendere esattamente il concetto obiettivo (assumento che utilizzi la strategia di domande ottimale)? Fornire una di tali sequenze di query. 6
Risposte 2. 8 <?,?,n,?,?,?> <?,?,n,?,?,s> <?,?,n,s,?,?> <?,w,n,?,?,?> <?,?,n,s,?,s> <?,w,n,?,?,s> <?,w,n,s,?,?> <?,w,n,s,?,s> Risposte 3. 3. Ad esempio:. <sunny,cold,normal,strong,cool,same> 2. <sunny,warm,normal,light,cool,same> 3. <sunny,warm,normal,strong,cool,change> 7
Risposte. <sunny,cold,normal,strong,cool,same> 2. <sunny,warm,normal,light,cool,same> 3. <sunny,warm,normal,strong,cool,change> <?,?,n,?,?,?> <?,?,n,?,?,s> <?,?,n,s,?,?> <?,w,n,?,?,?> <?,?,n,s,?,s> <?,w,n,?,?,s> <?,w,n,s,?,?> <?,w,n,s,?,s> Alberi decisionali Il maestro Yoda e' preoccupato dal numero di apprendisti Jedi che hanno deciso di darsi al Lato Oscuro, quindi ha deciso di apprendere un albero di decisione su alcuni dati storici per identificare i casi problematici in futuro. La tabella T descrive 2 iniziati specificando se sono passati al Lato Oscuro sulla base dell'eta' in cui il loro apprendistato Jedi e' cominciato, se hanno completato il loro apprendistato, la loro disposizione generale e la loro specie. 8
Tabella T Eta' di inizio Apprendistato Disposizione Specie Lato Oscuro dell'apprendistato completato 5 Felice Umana 9 Felice Gungan 6 Felice Wookie 6 Triste Mon Calamari 7 Triste Umana 8 Arrabbiata Umana 5 Arrabbiata Ewok 9 Felice Ewok 8 Triste Umana 8 Triste Umana 6 Arrabbiata Wookie 7 Arrabbiata Mon Calamari Domande. Qual'e' l'entropia della tabella T rispetto all attributo Lato Oscuro? k freq( C, S) freq( C j, S info( S) = j = log 2 S S j ) 2. Dire ad occhio (senza calcolare la funzione euristica) quale attributo verrebbe scelto come radice dell'albero dall'algoritmo di apprendimento di alberi di decisione? 3. Qual'e' il guadagno di informazione dell'attributo scelto nella risposta precedente? 9
Risposte. info(t)=-5/2log 2 (5/2)-7/2log 2 (5/2)=.98 2. Apprendistato completato 3. gain(app)=info(t)-(5/2*(-/5log 2 (/5)- 5/5log 2 (5/5))+7/2(-5/7log 2 (5/7)-2/7log 2 (2/7)))=.476 Domanda 4. Disegnare l'albero decisionale che sarebbe appreso da questi dati (senza potature) (suggerimento: l'albero ha al massimo 3 divisioni. Si costruisca l'albero guardando solo la composizione degli insiemi, senza calcolare il guadagno di informazione)
Apprendistato compl. No Lato Oscuro Età di inzio app. 7 > 7 Felice Disposizione Triste Lato Oscuro Arrabbiata No Lato Oscuro No Lato Oscuro Lato Oscuro Domanda 5. Si consideri la possibilità che i dati di ingresso siano rumorosi e non completamente accurati, al punto che l albero di decisione appreso può non descrivere accuratamente la funzione che si vuole imparare. Se si dovesse valutare i tre iniziati rappresentati dai dati indicati sotto, per quali saresti più confidente riguardo la tua predizione e perchè Nome Eta' di inizio Apprendistato Disposizione Specie dell'apprendistato completato Ardath 5 Arrabbiato Umana Barbar 8 Arrabbiato Umana Caldar 8 Felice Moon Calamari
Barbar. Motivazione: la regola che è appresa è che ti rivolgi al Lato Oscuro se non hai completato l apprendistato ed eri troppo vecchio oppure eri arrabbiato. Barbar era sia troppo vecchio che arrabbiato quindi soddisfa entrambe le condizioni dell OR, quindi anche se una di esse è sbagliata, esso viene comunque classificato come Lato Oscuro Domanda 6. Si assuma di voler apprendere un albero di decisione per predire Z da A, B e C usando i dati a sinistra (senza potatura e senza arresto nel caso di minimo di due insiemi con più di 2 elementi). Quale sarà l errore sul training set dell albero appreso? Z A B C 2
Ci sono 4 coppie di record che hanno valori duplicati per le variabili di ingresso, ma solo due di queste coppie hanno valori contraddittori per la variabile di output. Uno dei record di queste due coppie sarà sicuramente misclassificato. Quindi gli errori sono 2. Domanda 7. Si consideri un albero di decisione generato da un insieme di dati arbitrario. Se l uscita è discreta e può assumere solo k diversi possibili valori, qual è il massimo errore (espresso come una frazione) dell albero sul training set che ogni insieme di dati possa avere? 3
Si consideri un insieme di record con uguali ingressi ma con uscite distribuite uniformemente tra i k possibili valori. L albero classifichera tutti questi punti in una sola classe che sarà sbagliata per quelli nelle altre k- classi. Dato che le uscite sono distribuite uniformemente, l errore frazionario dell albero sul training set sarà (k-)/k. Se le uscite non fossero distribuite uniformenente tra i record ma ci fosse una classe dominante, questa sarebbe scelta come etichetta della foglia, quindi l errore frazionario sarabbe più basso (perchè la classe di maggioranza avrebbe più di /k dei punti). Classificazione Naive Bayes Data la tabella T relativi agli apprendisti di Yoda, si determini la classe più probabile di Barbar Nome Eta' di inizio Apprendistato Disposizione Specie dell'apprendistato completato Barbar 8 Arrabbiato Umana 4
P(lato oscuro=sì)=5/2=.46 P(lato oscuro=no)=7/2=.583 P(età=8 lato oscuro=sì)=2/5=.4 P(età=8 lato oscuro=no)=/7=.43 P(compl=no lato oscuro=sì)=5/5= P(compl=no lato oscuro=no)=2/7=.286 P(disp=arr lato oscuro=sì)=2/5=.4 P(disp=arr lato oscuro=no)=2/7.286 P(specie=human lato oscuro=sì)=2/5=.4 P(specie= human lato oscuro=no)=3/7=.429 Lato oscuro=sì:.46*.4**.4*.4=.6656 Lato oscuro=no:.583*.43*.286*.286*.429=.2925 Quindi la classe più probabile è lato oscuro=sì con probabilita.6656/(.6656+.2925)=.69478 Apprendimento basato sulle istanze - - + + + + - - + - +. Si indichi la classificazione del punto con -NN, 3-NN e 5-NN 5
- - + + + + - - + - +. -NN=+, 3-NN=-, 5-NN=+ 6