Classificatori Bayesiani

Transcript

1 lassfator Bayesa rof. Matteo Golfarell lma Mater Studorum - Uverstà d Bologa lassfator Bayesa Rappresetao u approo probablsto per rsolvere problem d lassfazoe I molte applazo la relazoe tra valor degl attrbut e quello della lasse o è determsto Rumore de dat reseza d arattersthe del feomeo o modellate dagl attrbut Dffoltà el quatfare ert aspett del feomeo er esempo, predre se ua persoa è a rsho ardao dpede fortemete dalla sua deta e dalla sua attvtà fsa ma, persoe he hao u almetazoe saa e s alleao regolarmete possoo avere omuque problem d uore Esstoo altr fattor qual l erdateretà, l abuso d alool E dffle dre quato ua deta sa saa e se l alleameto sa adeguato Tutto ò trodue ertezza sull esto della prevsoe I lassfator Bayesa modellao relazo probablsthe tra gl attrbut e l attrbuto d lassfazoe

2 Rham d statsta robabltà odzoata: probabltà he s verfh l eveto sapedo he s è verfato l eveto a Teorema d Bayes: Teorema della probabltà assoluta b da uo degl valor assumbl da B,,, b B b B b B a a, Teorema d Bayes u esempo S suppoga he U dottore sa he la megte ausa dolezmeto del ollo el 50% de as La probabltà a pror he u pazete abba la megte è /50,000 La probabltà a pror he u qualsas pazete soffra d dolezmeto al ollo è par a /0 Se u pazede deua dolezameto al ollo, qual è la probabltà he abba la megte? / 5, / / I M M I I M S suppoga he ella treale gl studet fumator sao l 5% metre ella magstrale l 3%. Se /5 del umero totale d studet è srtto alla magstrale quale è la probabltà he uo studete he fum sa srtto alla magstrale?

3 0 lassfator Bayesa Sa dato l vettore,,, he desrve l set d attrbut e sa la varable d lasse Se è legato modo o determsto a valor assut da possamo trattare le due varabl ome varabl asual e atturare le loro relazo probablsthe utlzzado Durate la fase d trag s mparao legam probablst per og ombazoe d valor assut da e oosedo queste probabltà u test reord a può essere lassfato trovado la label d lasse he massmzza la probabltà a posteror a lassfator Bayesa Td Refud Martal Status Taxable Iome Yes Sgle 5K No No Marred 00K No 3 No Sgle 70K No 4 Yes Marred 0K No Evade 5 No Dvored 95K Yes 6 No Marred 60K No 7 Yes Dvored 0K No 8 No Sgle 85K Yes 9 No Marred 75K No 0 No Sgle 90K Yes XRefudYes,Martal StatusMarred, Taxable Iome60K Rsolvere l problema d lassfazoe sgfa alolare EvadeNoX e EvadeYesX Se EvadeNoX > EvadeYesX No Se EvadeYesX > EvadeNoX Yes

4 lassfator Bayesa alolare per og possble valore d e rhede u trag set molto grade ahe per u umero rdotto d attrbut Il teorema d Bayes è utle questo aso pohé permette d esprmere la probabltà a posteror term d e K K K Vsto he è ostate questa formula l problema d massmzzare la probabltà a posteror equvale a seglere l valore d he massmzza,,, ome stmare,,,? Naïve Bayes Ret Bayesae Bayesa Belef Network Naïve Bayes ssumoo l dpedeza tra gl attrbut quado la lasse è ota dpedeza odzoale: Date tre varabl aleatore X, Y e Z, X s de dpedete da Y dato Z se XY,ZXZ I altre parole, se s oose l valore assuto da Z, oosere l valore d Y o flueza l valore assuto da X Graze all dpedeza stoasta possamo srvere: X, Y, Z X, Y Z Z X, Y, Z Y, Z Y, Z Z X Y, Z Y Z X Z Y Z

5 0 Naïve Bayes L assuzoe d dpedeza tra gl attrbut quado è ota la lasse permette d rsrvere:,,, Ivee d dover alolare la probabltà odzoata per og ombazoe d valor d è suffete alolare k per og k e. Il uovo puto è lassfato ome * se: * arg max k k ak Naïve Bayes: u esempo Td Refud Martal Status Taxable Iome Yes Sgle 5K No No Marred 00K No 3 No Sgle 70K No 4 Yes Marred 0K No Evade 5 No Dvored 95K Yes 6 No Marred 60K No 7 Yes Dvored 0K No 8 No Sgle 85K Yes 9 No Marred 75K No 0 No Sgle 90K Yes lasse: N / N Es. No 7/0, Yes 3/0 er attrbut dsret: a N / N dove N è l umero d staze he assumoo l valore a e he appartegoo alla lasse Esemp: StatusMarredEvadeNo 4/7 RefudYesEvadeYes0

6 0 Stma delle probabltà per attrbut otu Nel aso l attrbuto sa otuo o è possble stmare la probabltà per og suo valore Dsretzzare l attrbuto tervall reado u attrbuto ordale se s usao tropp tervall l lmtato umero d evet del trag set per tervallo rede affdable la prevsoe se s usao poh tervall uo d ess può aggregare valor assoabl a lass dverse e determare qudu deso boudary sbaglato ssoare all attrbuto ua fuzoe d destà e stmare parametr della fuzoe dal trag set: Tpamete s assume he la probabltà odzoata d u attrbuto a valor otu rspetto all attrbuto lasse segua ua dstrbuzoe ormale Quado la destà d probabltà è ota, può essere usata per stmare Naïve Bayes: u esempo Td Refud Martal Status Taxable Iome Yes Sgle 5K No No Marred 00K No 3 No Sgle 70K No 4 Yes Marred 0K No Evade 5 No Dvored 95K Yes 6 No Marred 60K No 7 Yes Dvored 0K No 8 No Sgle 85K Yes 9 No Marred 75K No 0 No Sgle 90K Yes Dstrbuzoe ormale: a µ σ a e πσ Ua dstrbuzoe per og attrbuto e per og valore della lasse er Iome, lassno: Se lassno Meda µ 0 Varaza σ 975 Iome 0 Evade No e π

7 Naïve Bayes: u esempo Dato l test reord: XRefudNo,Marrtal StatusMarred,Iome0K RefoudYesNo 3/7 RefoudNoNo 4/7 RefoudYesYes 0 RefoudNoYes Martal StatusSgleNo /7 Martal StatusDvoredNo /7 Martal StatusMarredNo 4/7 Martal StatusSgleYes /3 Martal StatusDvoredYes /3 Martal StatusMarredYes 0 For taxable ome: If lass No sample mea 0 sample varae975 If lass Yes sample mea 90 sample varae5 XlassNo RefudNolassNo Marred lassno Iome0K lassno 4/7 4/ XlassYes RefudNo lassyes Marred lassyes Iome0K lassyes Qud XNoNo > XYesYes /0 > 0 3/0 NoX > YesX > lass No orrettor L esempo preedete mostra u problema he s rsotra o quest lassfator Se ua delle probltà odzoate è 0 l tera espressoe assumerà valore 0 er evare questo problema s possoo adottare de orrettv he evtao l azzerameto N Orgale : a N N + Laplae : a N + N + mp m - estmate : a N + m : umero delle label d lasse p: probabltà a pror a m: parametro equvalet sample sze he determa l mportaza della probabltà a por rspetto alla probabltà osservata N /N

8 ropretà Il vataggo prpale del ragoameto probablsto rspetto a quello logo sta ella possbltà d gugere a desrzo razoal ahe quado o v è abbastaza formazoe d tpo determsto sul fuzoameto del sstema. Robust a put d rumore solato Il rumore è aellato dall operazoe d meda durate l alolo d I lassfator gestsoo dat maat o osderado l eveto durate alol Soo robust rspetto ad attrbut rrlevat Se è u attrbuto rrlevate è uformemete dstrbuto rspetto a valor d e qud l suo otrbuto è rrlevate uguale per tutt valor * arg max k k ak ttrbut orrelat possoo rdurre l effaa dato he per ess o vale l assuzoe d dpedeza odzoale ovee utlzzare tehe pù sofstate qual le Bayesa Belef Networks BBN ropretà Forsoo rsultat ottm se: E rspettata la odzoe d dpedeza odzoale Soo ote le dstrbuzo d probabltà d XY TTENZIONE Quelle vere o quelle ferte dal trag set U esempo: s suppoga d dover dstguere lassfare allgator e oodrll base alla loro lughezza Lughezza meda oodrllo 5 ped Lughezza meda allgatore ped ssumedo he la dstrbuzoe delle lughezze segua ua dstrbuzoe gaussaa o σ possamo srvere X oodrllo X llgatore X 5 exp π X exp π

9 lassfator Bayesa: propretà Il deso boudary sarà poszoato x*3.5. Questo puto determa l mmo error rate otteble da qualsas lassfatore llgatore oodrllo L error rate del lassfatore errore bayesao è dato dall area al d sotto la urva d probabltà a posteror er oodrll da 0 a x* er gl allgator da x* a x* Errorebayesao oodrllo X dx + llgatore X dx 0 x* Eserzo S osder l seguete data set ID B lass alolare la probabltà odzoata +, B+ + -, B- - alolare l valore dell attrbuto d lasse per l reord,b, utlzzado l approo Naïve Bayes