Apprendimento Automatico e IR: introduzione al Machine Learning

Transcript

1 Apprendmento Automatco e IR: ntroduzone al Machne Learnng MGRI a.a. 2007/8 A. Moschtt, R. Basl Dpartmento d Informatca Sstem e produzone Unverstà d Roma Tor Vergata mal: {moschtt,basl}@nfo.unroma2.t 1

2 Sommaro Apprendmento automatco ML: motvazon Defnzone d ML Supervsed vs. unsupervsed learnng Algortm d Apprendmento Automatco Alber d Decsone Nave Bayes Addestramento e Stma de parametr n NB 2

3 erché apprendere automatcamente delle funzon Le nterazon tra gl oggett del mondo s possono esprmere con funzon Dal moto d panet nterazon gravtazonal Alla relazone tra nput/output negl algortm Apprendere tal funzon automatcamente 3

4 erché apprendere automatcamente delle funzon Le nterazon tra gl oggett del mondo s possono esprmere con funzon Dal moto d panet nterazon gravtazonal Alla relazone tra nput/output negl algortm Apprendere tal funzon automatcamente rsolverebbe molt problem rogetto Complesstà Accuracy 4

5 Avete gà vsto esemp d learnng d funzon 5

6 Regressone Lneare 6

7 olnom d grado 2 7

8 olnom d grado 3 8

9 Dstrbuzon d probabltà 9

10 Motvazon Un programma è una funzone d rscrttura La strnga d nput è rscrtta n quella d output Scrvere un programma per una dtta che: data una gerarcha d lvell organgramma dato un mpegato e le sue caratterstche determn l suo lvello nella gerarcha. Supponamo che le caratterstche sano mglaa, quant f devo scrvere nel mo programma? sempo: Se è stato assunto prma del 2000, è laureato, ha avuto esperenze all estero allora ha un lvello x. 10

11 Motvazon cont er scrvere tale programma: Dobbamo studare la gerarcha spesso non documentata esplctamente Dobbamo tenere conto d tutte le combnazon: Caratterstche/lvello gerarchco Soluzone: Apprendere tale funzone automatcamente da esemp. S accede al DB e s estraggono per ogn mpegato le caratterstche ed l suo lvello. 11

12 Apprendmento Automatco Langley, 2000: l Apprendmento Automatco s occupa de meccansm attraverso qual un agente ntellgente mglora nel tempo le sue prestazon nell effettuare un compto C. La prova del successo dell apprendmento è qund nella capactà d msurare l ncremento delle prestazon sulla base delle esperenze che l agente è n grado d raccoglere durante l suo cclo d vta. La natura dell apprendmento è qund tutta nella caratterzzazone delle nozon qu prmtve d compto, prestazone ed esperenza. 12

13 sperenza ed Apprendmento L'esperenza, per esempo, nel goco degl scacch può essere nterpretata n dvers mod: dat sulle vttore e sconftte pregresse per valutare la bontà o la nadeguatezza d stratege e mosse esegute rspetto all'avversaro. valutazone fornta sulle mosse da un docente esterno oracolo, guda. Adeguatezza de comportament dervata dalla autoosservazone, coè dalla capactà d analzzare partte dell'agente contro se stesso secondo un modello esplcto del processo partta e della sua evoluzone comportamento, vantagg,. 13

14 sperenza ed Apprendmento 2 ossamo qund parlare ne tre cas d: apprendmento per esperenza, o nduttvo, partte esegute e valutate n base al loro successo fnale, apprendmento supervsonato coè partte, stratege e mosse gudcate n base all'oracolo apprendmento basato sulla conoscenza relatva al task, che guda la formazone d modell del processo e modell d comportamento adeguato. 14

15 Apprendmento senza supervsone In assenza dell oracolo e d conoscenza sul task estono ancora molt mod d mglorare le propre prestazon, ad es. Mglorando l propro modello del mondo acquszone d conoscenza Mglorando le propre prestazon computazonal ottmzzazone 15

16 Apprendmento senza supervsone sempo: una collezone Mp3 può essere organzzata n gener clusterng: tale organzzazone è naturalmente gerarchca Il mgloramento avvene qund rspetto agl algortm d rcerca: la organzzazone gerarchca consente d esamnare solo membr dell nseme n alcune class gener. 16

17 L apprendmento automatco Apprendere la funzone da esemp: a valor real, regresson a valor nter fnt, classfcaton Supponamo d volere apprendere una funzone ntera: 2 class, gatto e cane fx {gatto,cane} Dato un nseme d esemp per le due class S estraggono le features altezza, baff, tpo d dentatura, numero d zampe. S applca l algortmo d learnng per generare f 17

18 Algortm d Apprendmento Funzon logche booleane, ad es., alber d decsone. Funzone d robabltà, ad es., classfcatore Bayesano. Funzon d separazone n spaz vettoral Non lnear: KNN, ret neural mult-strato, Lnear, percettron, Support Vector Machnes, 18

19 Alber d decsone tra le class Gatt/Can alto + d 50 cm? No Ha l pelo corto? S Output: Cane No No Ha baff? S. Output: Cane Output: Gatto 19

20 Selezone delle features con l ntropa L entropa d una dstrbuzone d class C è la seguente: Msura quanto una dstrbuzone è unforme stato dell entropa per nsem S 1 S n partzonat con gl attrbut d una feature: 20

21 Defnzone d robabltà 1 Sa Ω uno spazo e sa β una famgla d sottonsem d Ω β rappresenta la famgla degl event S defnsce allora la probabltà nel seguente modo: : β [ 0,1] 21

22 Defnzone d robabltà 2 è una funzone che assoca ad ogn evento un numero detto probabltà d nel seguente modo: Ω n... 1 se j 0, j 22

23 23 artzon fnte ed quprobabl S consder una partzone d Ω n n event equprobabl con probabltà 1/n. Dato un evento generco, la sua probabltà è data da : { } ossbl Cas Favorevol Cas : n n n n tot

24 robabltà condzonata A B la probabltà d A dato B B è l nformazone che conoscamo. S ha: A B A B B A A B B 24

25 25 Indpendenza A e B sono ndpendent ff: Se A e B sono ndpendent: A B A B A B B B A B A A B A B A

26 26 Teorema d Bayes Dmostrazone H H H H H H H H Def. prob. Cond. Def. prob. Cond. H H H

27 27 Categorzzatore Bayesano Dato un nseme d categore {c 1, c 2, c n } Sa una descrzone d un esempo da classfcare. La categora d s calcola determnando per ogn c c c c n n c c c n c c 1

28 Categorzzatore Bayesano cont Dobbamo calcolare: Le probabltà a posteror: c e le condzonate: c c s stmano da dat d tranng D. se c sono n esemp n D d tpo c,allora c n / D Supponamo che un esempo è rappresentato da m features: e e L 1 2 Troppe rappresentazon esponenzale n m; dat d tranng non dsponbl per stmare c 28 e m

29 29 Categorzzatore Naïve Bayes Assumamo che le features sano ndpendent data la categora c. Qund dobbamo stmare solo e j c per ogn feature e categora m j j m c e c e e e c L

30 sempo d classfcatore Naïve Bayes C {allergy, cold, well} e 1 sneeze; e 2 cough; e 3 fever {sneeze, cough, fever} rob Well Cold Allergy c sneeze c cough c fever c

31 sempo d classfcatore Naïve Bayes cont. robablty Well Cold Allergy c sneeze c cough c fever c {sneeze, cough, fever} well /0.0089/ cold /0.01/ allergy /0.019/ La categora pù probable è allergy nfatt: well 0.23, cold 0.26, allergy

32 Stma delle probabltà Frequenze stmate da dat d apprendmento. Se D contene n esemp nella categora c, e n j d n contengono la feature e j, allora: nj e j c n roblem: un corpus troppo pccolo. Una feature rara, e k, c :e k c 0. 32

33 Smoothng Le probabltà debbono essere aggustate perché l campone è nsuffcente n modo da rflettere meglo la natura del problema. Laplace smoothng ogn feature ha almeno una probabltà a pror, p, s assume che sa stata osservata n un esempo vrtuale d tagla m. e j c n j n + + mp m 33

34 Naïve Bayes per la classfcazone d document Modello a bag of words Generato per document n una categora Camponamento da un vocabolaro V {w 1, w 2, w m } con probabltà w j c. Lo smoothng d Laplace S assume una dstrbuzone unforme su tutte le parole p 1/ V and m V quvalente a osservare ogn parola n una categora esattamente una volta. 34

35 Tranng verson 1 V è l vocabolaro d tutte le parole de document d tranng D er ogn categora c C Sa D l sotto-nseme de document d D n c c D / D n è l numero totale d parole n D per ogn w j V, n j è l numero d occorrenze d w j n c w j c n j + 1 / n + V 35

36 Tranng verson 2 V è l vocabolaro d tutte le parole de document d tranng D er ogn categora c C Sa D l sotto-nseme de document d D n c c D / D n è l numero totale d coppe <w,d>, d D e w V. er ogn parola w j V, n j è l numero d document d c che contengono w j coè l numero delle coppe <w j,d> tale che d D w j c n j + 1 / n + V 36

37 Testng o Classfcazone Dato un documento d test X Sa n l numero d parole che occorrono n X Resttusc la categora: argmax c C c n j 1 a dove a j è la parola che occorre nella j- esma poszone n X j c 37

38 Sommaro Apprendere Automatcamente sgnfca svluppare un algortmo o una rsorsa per mlgorare le propre prestazon sstono dvers paradgm d ML orentat alla soluzone d problem e d domn dvers Nell apprendmento nduttvo l agente derva un algortmo n genere d classfcazone da un pool d esemp etchettat Supervsed vs. unsupervsed learnng Nell apprendmento basato su conoscenza l algortmo apprende una nuova formulazone algortmca usando un modello del task e del domno 38

39 Sommaro 2 Un tpo d apprendmento d base è quello probablstco dove apprendere sgnfca Descrvere l problema medante un modello generatvo che mette n relazone le varabl n nput e.g. sntom e quelle n output e.g. dagnos Determnare corretto parametr del problema.e. le dstrbuzon analtche o la stma delle probabltà dscrete Un esempo: clasfcazone NB caso dscreto Nella stma de parametr n NB un ruolo centrale è svolto dalle tecnche d smoothng: a partà d modello nfatt stmator errat producono rsultat nsoddsfacent 39