Tecniche di Apprendimento Automatico in Applicazioni Bio-Genetiche

Transcript

1 Tecniche di Apprendiment Autmatic in Applicazini Bi-Genetiche Marc Btta Dipartiment di Infrmatica Università di Trin Smmari Caratterizzazine dei prblemi di apprendiment riscntrabili in applicazini Bi-Genetiche e Bi- Mediche. Panramica sulle tecniche di apprendiment dispnibili. Apprcci integrat basat su strategie multiple. Alcuni esempi.

2 Tre Aspetti Fndamentali... Rappresentazine cme presentiam i dati a dispsizine agli algritmi di apprendiment Definizine del prblema di apprendiment quale task dbbiam rislvere Apprcci da utilizzare quale algritm è più adatt al nstr prblema Rappresentazine il prblema principale Rappresentazine attribut-valre D Temp Pres Vgliam un prgramma che ricnsca i casi preccupanti Rappresentazine cn istanze multiple D d Temp Pres Casi in cui esiste almen un recrd preccupante Rappresentazine Strutturata D d Temp Pres Casi in cui esistn recrd cn temperatura simile e pressine mlt diversa

3 Task di Data Mining Classificazine Dipendenze funzinali / Regressine Clustering / Segmentazine Riassunt / Caratterizzazine Scperta di Assciazini / Causalità Individuazine di Anmalie Analisi di Serie Temprali Classificazine e Regressine Classificazine predire il valre di un attribut categric Regressine predire il valre di un attribut numeric D Temp Pres C N? N? P? N? P? N? P? N? N? N? N? D Temp Pres Fr ? ? ? ? ? ? ? ? ? ? ?

4 Classificazine Debit N prestit Prestit Prblemi tipici affrntati Individuazine di frdi Cncessine di crediti Reddit Dipendenze funzinali / Regressine Individuazine di legami funzinali tra variabili che ccrrn in una base di dati Dat un insieme E = {e 1,..., e n }, di elementi descrivibili mediante i valri degli attributi A = { 1,..., k }, il task di regressine assegna ad gni element e i dell insieme E un valre di una variabile cntinua f DM -> Inferisce una funzine di regressine direttamente da un sttinsieme dei dati ( esempi di apprendiment ) e i f = f( 1,..., k ) y = Debit y i y ( i ) i i = Reddit n [y i ] fp r ( i )]2 i =1 y

5 Clustering Distanza Densità Frma ( Gestalt ) Segmentazine La segmentazine cnsiste nell analizzare attuali ptenziali gruppi di clienti ( segmenti ) per scprirne caratteristiche e cmprtamenti che pssan essere sfruttati nel mercat. La segmentazine prta una rganizzazine a vedere, al limite, gnun dei sui clienti cme un segment unitari ( segment f ne ), al fine di stabilire cn ess una relazine altamente persnalizzata. Due prblemi basilari del marketing Capire le cause dell abbandn dei clienti ( custmer attritin ) Individuare nuve fette di mercat ( target marketing e crss selling )

6 Riassunt / Caratterizzazine C 1 C 2 Perché sn stati raggruppati? Che csa hann in cmune? C 3 D 1 D 2 D 3 Riassunt / Caratterizzazine Descrizine cmpatta di un insieme di dati y Anni di Studi Frequent flyers Media Deviazine standard Skate-barders Persne di mezza età e istruzine universitaria Ragazzi cn bass livell di istruzine Età

7 Scperta di Assciazini Scperta di assciazini tra fatti, prprietà valri di variabili ( Link analysis ) Il 72% degli acquirenti di insalata verde, acquista anche un cndiment 1/7/99 Pane Pesche Uva Spaghetti... 2/7/99 Ris Pane Carne Pesche... Prblema tipic Market Basket Analysis... {Pane, Pesche} scntrin scntrin Individuazine di Eccezini Individuazine di valri devianti dai nrmali (Eccezini, Casi particlari, Errri) n N I.Q. Test scre n << N Età

8 Individuazine di Anmalie Individuazine di valri devianti dai nrmali Anni di Studi Anni di Studi Età Età Occrre definire che csa vul dire nrmale Analisi di Serie Temprali Individuazine di cnfrmazini episdi interessanti Analisi di tendenze Scperta di peridicità fenmeni staginali Vlume di vendite di Giacche a vent 20 Peridicità Episdi Trend Gen Feb Mar Apr Mag Giu Lug Ag Set Ott Nv Dic Gen Feb Mar Apr Mag Giu Lug Ag Set Ott Nv Dic Mesi Temp

9 Discipline Rilevanti per il Data Mining Statistica Ricnsciment di Frme Intelligenza Artificiale Apprendiment Autmatic Reti Bayesiane Agenti Intelligenti Basi di Dati Query and Reprting Data Warehusing OLAP Visualizzazine Grafica Ambienti multi-mediali Scienze Cgnitive Relazini tra Discipline y Machine Learning Task cndivisi a Statistica b Gal cndivisi = Prgett di esperimenti y = Apprendiment di piani a = Stima dell errre b = Classificazine

10 Apprendiment Supervisinat Base Dati (Learning Set) D Temp Pres C N N P N P N P N N N N Algritm di Apprendiment Prgramma capace Cnscenza di calclare il valre dell attribut Utilizzatre incgnit Cnscenza sul Dmini Ciò che viene appres è la cnscenza. Apprendiment cme Hypthesizing and Testing Base Dati (Learning Set) D Temp Pres C N N P N P N P N N N N Algritm di Apprendiment Cnscenza Utilizzatre Perfrmance Cnscenza sul Dmini La pssibilità di gestire rappresentazini a istanze multiple strutturate, dipende in gran parte dall Utilizzatre

11 Analisi Statistica Analisi Discriminante Funzine discriminante Reddit Debit y Lineare Prestit y - a - b < 0 Nn Lineare Classe A y - a 2 -b > 0 N prestit Prestit Classe A Classe B Analisi Statistica Clustering Algritm k-means Il numer K di cluster desiderat deve essere frnit dall utente Funzine distanza Funzine bbiettiv da ttimizzare Massimizza la distanza inter-cluster e minimizza la distanza intra-cluster

12 Ricnsciment di Frme Classificazine Apprcci Statistic Funzine di discriminazine prbabilistica Classificatre Bayesian Classificatre di Massima Versimiglianza A Pr{A r } = Pr{B r } Pr{A r }P(A) = Pr{B r }P(B) B Pr{A r } = Pr{B r } = Pr{ r A} P(A) Pr{ r A} P(A) Pr{ r B} P(B) Pr{ r B} P(B) Pr{ r A} P(A) Pr{ r B} P(B) Ricnsciment di Frme Classificazine Apprcci Basat su Casi Case-Based Debit k-nearest Neighburs N prestit Prestit Reddit

13 Instance Based Learning T=37 0, P=155 T=38 0, P=165 T=36 0, P=145 - T=36 0, P=165 - T=39 0, P=175 T=38 0, P=125 - P Quand si cmmette un errre si aggiunge un nuv cas se ne mdifica un esistente? - T L idea Base Ogni istanza ha un camp di influenza Una nuva istanza da valutare subisce l effett dei campi cui è sttpsta e assume un etichetta di cnseguenza

14 k-nn per classificazine Si selezinan i K più vicini e si assegna la classe di maggiranza K = 1 => classe = K = 3 => classe = - Se scpr che la classe assegnata è sbagliata memrizz il nuv cas classificat crrettamente da un maestr Supprt Vectr Machine _ Dat un insieme di punti ciascun appartenente a una di due classi, una SVM trva l iperpian che _ lascia la maggir parte dei punti di una stessa classe nell stess semipian _ e massimizza la distanza dei punti delle due classi dall iperpian

15 SVM Idea di base Supprt Vectr Machine _ I punti che stann vicin all iperpian sn detti Supprt Vectrs

16 Reti Neurali Una rete neurale è una struttura cmpsita, frmata da elementi cmputazinali semplici, cnnessi secnd una tplgia a strati => Apprssimatri universali di funzini Unità di ingress Unità Nascste Unità di Uscita Reti Neurali Funzini Elementari 1 2 w 1 w 2 = Σi ( i w i ) Σ σ y 3 w 3 Uscita σ Ingress

17 Reti Neurali Addestrament Algritm di Backprpagatin Minimizza l errre quadratic ttale Se la rete è a più strati, l errre viene prpagat indietr 1 k Rete (W) y n E = 1 2 n k=1 (t k y k ) 2 w j = η E w j η = Velcità di apprendiment Intelligenza Artificiale Apprendiment Autmatic Simblic Alberi di Decisine Regle di Prduzine Reti Bayesiane Gerarchie Cncettuali

18 Alberi di Decisine Date due classi P ed N Dati p ed n esempi di apprendiment Dat un insieme di Attributi A Generare una partizine dell spazi dei pssibili esempi, usand un criteri euristic di qualità (p,n) A S a 1 ai ar S1 (p, n ) (p, n ) Si i i... (p, n ) r r Sr Alberi di Decisine Esempi Attributes Clr = {Red, Blue, Green, White} Shaded = {Yes, N} Shape = {Square, Triangle, Circle, Oval} Size = {Small, Large} (POS) g h a b c d e f i (NEG) n p s t m q r

19 Alberi di Decisine Apprendiment Clr {a-i} { m-t} Blue Red Green White { b,g} { m,t} { d,e,f,h} { n,q} Shape { c } { p,r,s } { a,i } Triangle Square Oval Circle {e} {f} { q} Size {d,h} { n} {f} { q} Small Shaded Large Yes N {f} { q} Alberi di Decisine Esempi (Classificazine) Clr {a-i} { m-t} {a-i} Blue Red Green White { b,g} { m,t} { d,e,f,h} { n,q} Shape { c } { p,r,s } { a,i } Triangle Square Oval Circle {e} {f} { q} {f} Size { q} Small Shaded Large {d,h} { n} Nuvi Esempi e 1 (-) Yes N e 2? {f} { q}

20 Regle di Prduzine Regle di decisine espresse in frma lgica Calcl Prpsizinale Calcl dei Predicati (frma = quadrat triangl) (dimensine = piccl) POS (frma = triangl) (tratteggiat = SI) NEG Classificazine POS NEG POS, NEG? e e e e Reti Bayesiane Rete Bayesiana = Mdell grafic di relazini prbabilistiche tra un insieme di variabili Metd per rappresentare l incertezza nel raginament Pr{frde} = Pr{età < 30} = 0.25 Pr{30 < età < 50} = 0.40 Pr{maschi} = 0.50 Frde Età Sess Frdi nell us di Carte di Credit Benzina Giielli Pr{acq. benzina frde} = 0.2 Pr{acq. benzina frde} = 0.01 Pr{acq. giielli frde, età =*, sess=*} = 0.05 Pr{acq. giielli frde, età < 30, maschi} = Pr{acq. giielli frde, 30 < età < 50, maschi} = Pr{acq. giielli frde, età > 50, maschi} = Pr{acq. giielli frde, età < 30, femmina} = Pr{acq. giielli frde, 30 < età < 50, femmina} = Pr{acq. giielli frde, età > 50, femmina} = 0.001

21 DM cn le Reti Bayesiane Cdifica della cnscenza dell espert mediante una Rete Bayesiana Us della base di dati per aggirnare questa rete, eventualmente creandne di nuve Le prbabilità si pssn apprendere dai dati mediante statistica Bayesiana Us delle reti ttenute simile a quell delle reti neurali Metd rbust rispett ad errri nella cnscenza iniziale Cnscenza interpretabile Utile per sfruttare cnscenza a priri Gerarchie Cncettuali Clustering Cncettuale Rt StudentFaculty = 51 (2%) SAT-Verbal = % Financial Aid = 45 % Admittance = 25 % Enrlled = 55 Scial = 3.5 ut f 5 N. Student < 5,000 Lcatin = Urban Epenses > 10,000 $ Academics = 5 ut f 5 Cntrl = Private Brwn Male;Female = 7525 MIT % Financial Aid = 55 N. f Applicants = 4,000-7,000 Quality f Life = 3 ut f 5 % Financial Aid = 45 (2%) % Admittance = 25 Scial = 3.5 ut f 5 Quality f life = 3.5 ut f 5 Academic Emphasis = Histry Academic Emphasis = Arts Male;Female = 6535 StudentFaculty = 71 SAT-Math = 675 Epenses > 10,000 $ Academics = 5 ut f 5 % Enrlled = 55 Cntrl = Private Harvard, Clumbia

22 Algritmi Genetici Gli Algritmi Genetici sn un metd generale di ricerca stcastica Essi si ispiran ai cncetti dell Evluzine Darwiniana Pssn essere usati nell ambit di apprcci sia simblici che neurali Ingredienti Pplazine di sluzini (Crmsmi) Funzine di Fitness Operatri genetici ( Crssver e Mutazine) Cicl di Base Si selezinan dalla pplazine, in numer prprzinale alla lr fitness, gli individui che devn riprdursi Gli individui selezinati si accppian e generan due figli, mediante l applicazine dell peratre di crssver Ai figli si applica l peratre di mutazine La pplazine viene rinnvata Algritmi Genetici Idea di base La pplazine di ptenziali sluzini al prblema miglira nelle generazini successive Prblema Prblem slver Prestazini Pplazine di sluzini ptenziali

23 Algritmi Genetici Selezine Selezine Algritmi Genetici Riprduzine Riprduzine

24 Algritmi Genetici Valutazine Valutazine Algritmi Genetici Operatri Genetici Crssver Mutatin

25 Regle di Assciazine SiaI uninsiemedi items Sia D un insieme di recrd, gnun cntenente un sttinsieme di I Regla di assciazine r X => Y X e Y sn sttnsiemi disgiunti di I Supprt di un sttinsieme Z di I supp(z) = D(Z) / D Cnfidenza di una regla cnf(r) = supp(x r Y)/supp(X) Regle di Assciazine Algritm Apriri Algritm Apriri Fase 1 => Ricerca di tutti gli insiemi frequenti Cstruzine incrementale a partire dalla cardinalità 1 Generazine dei candidati di cardinalità k a partire dagli insiemi frequenti di cardinalità (k-1) Eliminazine dei candidati spuri Fase 2 => Ricerca di tutte le regle pssibili per gni insieme frequente Ottimizzazine del metd di calcl del supprt Ricerca di regle ttimizzate rispett la supprt rispett alla cnfidenza => Regini rettilineari

26 Scperta di Assciazini / Causalità La scperta di assciazini tra variabili è sl il prim pass di analisi. Occrre cercare una spiegazine Causalità tra A e B Una variazine della variabile A causa una variazine della variabile B A = Aument di dipendenti a temp B = Aument delle spese per stipendi Rispsta cmune Una variazine delle variabili A e B è causata dalla variazine di una terza variabile C A = Temprale B = Abbassament della clnnina di mercuri del barmetr C = Arriv di un nda di bassa pressine Mascherament Una variazine della variabile B è causata sia da una variazine di A che da una variazine di una terza variabile C A = Spese per prmuvere un prdtt B = Ricav dalle vendite C = Numer di respnsabili delle vendite che segun i clienti Classificatri Cmpsiti...a c g t t t a c g a t a t c c c g a t g g c t a t a... Classificatre 1 Classificatre 2 Classificatre 3 Classificatre 4 Un insieme di classificatri imprecisi può essere cmbinat per frmare un classificatre mlt più accurat Cmbinatre Rispsta Bsting, Bagging,...

27 Un prblema bilgic affrntat in Machine Learning Apprendiment Splice-Junctins in sequenze DNA di primati _ Dati presi da Genbank 64.1 (ftp site genbank.bi.net) (risalgn al 1992) 3190 sequenze nel dataset 3 categrie _ ei (767) e ie (768) includn gni "split-gene" per i primati in Genbank 64.1 _ n (1655) nn-splice presi da sequenze che nn includn un splicing site Un prblema bilgic affrntat in Machine Learning Apprendiment Splice-Junctins in sequenze DNA di primati _ Prblema di apprendiment data una psizine nel centr di una finestra di 60 basi di DNA decidere se _ a) giunzine "intrn -> en" (ie) _ b) giunzine "en -> intrn" (ei) _ c) neither (n)

28 Un prblema bilgic affrntat in Machine Learning Apprendiment Splice-Junctins in sequenze DNA di primati _ Rappresentazine prpsizinale cn 62 attributi _ 1 la classe {n ei ie} della sequenza _ 2 il nme della sequenza _ 3-62 I rimanenti 60 attributi sn le basi della sequenza, in psizini dalla -30 alla psizine 30 rispett all splice site. ATRINS-DONOR-905, A,G,A,C,C,C,G,C,C,G,G,G,A,G,G,C,G,G,A,G,G,A,C,C,T,G,C,A,G,G,G,T,G,A,G,C,C,C,C,A,C,C,G,C, C,C,C,T,C,C,G,T,G,C,C,C,C,C,G,C, EI Distribuzine dei valri Basi Neither EI IE A % % % G % % % T % % % C % % % D 0.001% % N 0.010% 0.010% -- S % R %

29 Predire in una Sequenza... d i d i1 d i2 d i3 d i4 d i5 d i6 d i7 d i8 d i9 d i10? Quali elementi sn crrelati e descrivn un event cmpless?... 1 d i d i1 d i2 d i3 d i4 2 d i1 d i2 d i3 d i4 d i5 3 d i2 d i3 d i4 d i5 d i6 4 d i3 d i4 d i5 d i6 d i7 5 d i4 d i5 d i6 d i7 d i8 6 d i5 d i6 d i7 d i8 d i9 7 d i6 d i7 d i8 d i9 d i10... Cme sarà il prssim element? Quand In Esistn altri casi cmunque cnsce si pu` la trasfrmare algritmi dimensine in apprendiment della un prblema finestra, di si classificazine capaci pu` di trasfrmare trattare cn direttamente istanze in un prblema multiple. sequenze. di classificazine cn rappresentazine attribut-valre. Esempi... Prmter gene...a c a t c c t t a t c g t g a a c c c t a a t a c a c c g t a g t c a t a t t t a c c c a c g a c a t c c t t a t c g t g a a 110 t c g t g a a c c c t a a t a c a c c t c g t g a a c c c t a a t a c a c c c a c c g t a g t c a t a t t t a c c c Un ulterire pass in avanti cnsiste nel cnsiderare gni pssibile istanza di prmter cme una sequenza, invece che un semplice vettre di attributi.

30 Apprendiment Splice-Junctins cn Rappresentazine Attribut-Valre k-nn Neither E/I I/E Lin. Dis. ID3 MLP KBANN REGAL G-NET Su dataset di 3600 esempi Su altri dataset presi dalla Gene-Bank.!?! Un Prblema di Apprendiment...a a c t t t a c c c c a t a a t a a c c g t c t c c c a c g... Scegliere / Cstruire i prtpti... È una frma di Instance-Based learning c * a c * * t a t t a * * * a c * c g * c a c * * t a a t a a a * * c g c g * * c g a c * * t a t a a * * c g * * c g c g * c * * t a t a * * * c c g * * c g Utilizzat cn success un Algritm Genetic

31 Predizine di interazini dalla sequenza primaria cn SVM...S K I I N F E D L T Indice Amminacidic Standardizzazine input in SVM (Bck e Gugh, 2001) Database di interazini prteiche _ BIND classifica interazini tra prteine ed altre prteine, acidi nucleici, mlecle semplici ftni _ MINT raccglie essenzialmente interazini tra prteine, anche se rimane apert a tutti i tipi di interazine _ DIP è il più ricc database di interazini tra prteine (ltre al 28/6/2002) ed è in cntinua e rapida espansine

32 Rbustezza di SVM % predizini crrette esempi psitivi esempi negativi Numer di esempi LEARNING Neural Netwrk fr secndary structure A C D E F G H I K L M N P Q R S T V W Y. D (L) R (E) Q (E) G (E) F (E) V (E) P (E) A (H) A (H) Y (H) V (E) K (E) K (E) H E L

33 Sftware Dispnibile _ Apprendiment simblic Weka Suite _ http// Neural Netwrks _ http// e.html Algritmi genetici _ G-net http//hermes.mfn.unipmn.it/~attili/projects/gnet/gnet.html Cnclusini Il Machine Learning cme punt di incntr e di integrazine di apprcci diversi nati in sen a discipline diverse. L apprendiment da dati strutturati e da sequenze è una prblematica emergente che risulta essere cruciale per applicazini avanzate nel settre bi-medic. Due fattri fndamentali per applicazini di success disprre di una equipe che abbia sia cmpetenze infrmatiche che cnscenze relative al dmini dell applicazine. sapere integrare metdlgie diverse in prgrammi diversi.