MODELLI PER GESTIONE E LA RICERCA DELL'INFORMAZIONE

Transcript

1 MODLLI R GSTION LA RICRCA DLL'INFORMAZION Algortm d Apprendmento avanzato per l Informaton Retreval Alessandro Moschtt Dpartmento d Informatca Sstem e produzone Unverstà d Roma Tor Vergata mal: moschtt@nfo.unroma2.t

2 erché apprendere automatcamente delle funzon Le nterazon tra gl oggett del mondo s possono esprmere con funzon Dal moto d panet nterazon gravtazonal Alle relazone tra nput/output de calcolator Apprendere tal funzon automatcamente

3 erché apprendere automatcamente delle funzon Le nterazon tra gl oggett del mondo s possono esprmere con funzon Dal moto d panet nterazon gravtazonal Alle relazone tra nput/output de calcolator Apprendere tal funzon automatcamente rsolverebbe tutt problem almeno quell ngegnerstc

4 Avete gà vsto esemp d learnng d funzon

5 Regressone Lneare

6 Grado 2

7 Grado 3

8 Motvazon per Ing. Inf. Un programma è una funzone d rscrttura La strnga d nput è rscrtta n quella d output Scrvere un programma per una dtta che: data una gerarcha d lvell organgramma dato un mpegato e le sue caratterstche determn l suo lvello nella gerarcha. Supponamo che le caratterstche sono mglaa, quant f devo scrvere nel mo programma? sempo: Se è stato assunto prma del 2000, è laureato, ha avuto esperenze all estero allora ha un lvello x.

9 Motvazon cont er scrvere tale programma: Dobbamo studare la gerarcha spesso non documentata esplctamente Dobbamo tenere conto d tutte le combnazon: Caratterstche/lvello gerarchco Soluzone: Apprendere tale funzone automatcamente da esemp. S accede al DB e s estraggono per ogn mpegato le caratterstche ed l suo lvello.

10 L apprendmento automatco Apprendere la funzone da esemp: a valor real, regresson a valor nter fnt, classfcaton Supponamo d volere apprendere una funzone ntera: 2 class fx {gatto,cane} Dato un nseme d esemp per le due class S estraggono le features altezza, baff, tpo d dentatura, numero d zampe. S applca l algortmo d learnng

11 Algortm d Apprendmento Funzon logche booleane, alber d decsone. Funzone d robabltà, classfcatore Bayesano. Funzon d separazon n spaz vettoral Non lnear: KNN, ret neural mult-strato, Lnear, SVM, ret neural con un solo neurone,

12 Alber d decsone tra le class Gatt/Can alto + d 50 cm? No Ha l pelo corto? S Output: Cane No No Ha baff? S. Output: Cane Output: Gatto

13 Selezone delle features con l ntropa L entropa d una dstrbuzone d class C è la seguente: Msura quanto una dstrbuzone è unforme stuazone entropca er nsem S 1 S n partzonat con gl attrbut d una feature:

14 Defnzone d robabltà 1 Sa Ω uno spazo e sa β una famgla d sottonsem d Ω β rappresenta la famgla degl event S defnsce allora la probabltà nel seguente modo: : β [ 0,1]

15 Defnzone d robabltà 2 è una funzone che assoca ad ogn evento un numero detto probabltà d nel seguente modo: Ω n... 1 se j 0, j

16 artzon fnte ed quprobabl artzon fnte ed quprobabl S consder una partzone d n event equprobabl con probabltà 1/n. Dato un evento, la sua probabltà è data da : { } ossbl Cas Favorevol Cas : n n n n tot

17 robabltà condzonata A B la probabltà d A dato B B è l nformazone che conoscamo. S ha: A B A B B A A B B

18 Indpendenza Indpendenza A e B sono ndpendent ff: Se A e B sono ndpendent: A B A B A B B B A B A A B A B A

19 Teorema d Bayes Teorema d Bayes Dmostrazone H H H H H H H H Def. prob. Cond. Def. prob. Cond. H H H

20 Categorzzatore Bayesano Categorzzatore Bayesano Dato un nseme d categore {c 1, c 2, c n } Sa una descrzone d un esempo da classfcare. La categora d s calcola determnando per ogn c c c c n n c c c n c c 1

21 Categorzzatore Bayesano cont Dobbamo calcolare: Le probabltà a posteror: c e le condzonate: c c s stmano da dat d tranng D. se c sono n esemp n D d tpo c,allora c n / D Supponamo che un esempo è rappresentato da m features: e e L 1 2 e m Troppe rappresentazon esponenzale n m; dat d tranng non dsponbl per stmare c

22 Categorzzatore Naïve Bayes Categorzzatore Naïve Bayes Assumamo che le features sono ndpendent data la categora c. Qund dobbamo stmare solo e j c per ogn feature e categora m j j m c e c e e e c L

23 sempo d classfcatore Naïve Bayes C {allergy, cold, well} e 1 sneeze; e 2 cough; e 3 fever {sneeze, cough, fever} rob Well Cold Allergy c sneezec coughc feverc

24 sempo d classfcatore Naïve Bayes cont. robablty Well Cold Allergy c sneeze c {sneeze, cough, fever} cough c fever c well /0.0089/ cold /0.01/ allergy /0.019/ La categora pù probable è allergy well 0.23, cold 0.26, allergy 0.50

25 Stma delle probabltà Frequenze stmate da dat d apprendmento. Se D contene n esemp nella categora c, e n j d n contengono la feature e j, allora: e c j roblem: un corpus troppo pccolo. Una feature rara, e k, c :e k c 0. n n j

26 Smoothng Le probabltà sono aggustate. Laplace smoothng ogn feature ha una probabltà a pror, p, s assume che sa stata osservata n un esempo vrtuale d tagla m. nj + mp e j c n + m

27 Naïve Bayes per la classfcazone d document Modello a bag of words Generato per document n una categora Camponamento da un vocabolaro V {w 1, w 2, w m } con probabltà w j c. Lo smoothng d Laplace S assume una dstrbuzone unforme su tutte le parole p 1/V and m V quvalente a osservare ogn parola n una categora esattamente una volta.

28 Tranng verson 1 V è l vocabolaro d tutte le parole de document d tranng D er ogn categora c C Sa D l sotto-nseme de document d D n c c D / D n è l numero totale d parole n D per ogn w j V, n j è l numero d occorrenze d w j n c w j c n j + 1 / n + V

29 Tranng verson 2 V è l vocabolaro d tutte le parole de document d tranng D er ogn categora c C Sa D l sotto-nseme de document d D n c c D / D n è l numero totale d coppe <w,d>, d D e w V. er ogn parola w j V, n j è l numero d document d c che contengono w j coè l numero delle coppe <w j,d> tale che d D w j c n j + 1 / n + V

30 Testng Dato un documento d test X Sa n l numero d parole che occorrono n X Resttusc la categora: argmax c C c n j 1 a dove a j è la parola che occorre nella j- esma poszone n X j c