Apprendimento Non Supervisionato. Unsupervised Learning

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "Apprendimento Non Supervisionato. Unsupervised Learning"

Aniello Michele Bonelli
6 anni fa
Visualizzazioni

1 Appendmento Non Supevsonato Unsupevsed Leanng

2 Supevsone nell Appendmento (aano, otondo, lasse= ) (gallo, lungo, lasse= ) (gallo, otondo, lasse= ) oloe foma (gallo, lungo, lasse= ) (aano, otondo) (gallo, otondo) (gallo, otondo) (gallo, lungo) algotmo d appendmento supevsonato oloe algotmo d appendmento non supevsonato.... foma

3 Clusteng Suddvde esemp non ethettat n sottonsem dsgunt (luste), tal he: Gl esemp n uno stesso guppo sono molto sml Gl esemp n gupp dves sono molto dffeent Sope nuove ategoe n modo non supevsonato (a po non vengono fonte ethette pe le ategoe)

4 Clusteng: un esempo

5 Tp d Clusteng Clusteng geaho (heahal lusteng) Fomano luste teatvamente utlzzando luste peedentemente osttut Clusteng pattvo (pattonal lusteng) Cea una sola patzone degl esemp n luste mnmzzando una eta funzone d osto

6 Clusteng Geaho Costuse una tassonoma geaha ad albeo a pate da un nseme d esemp non ethettat anmale vetebato pese ettle anfbo mammf. nvetebato veme nsetto ostaeo L applazone osva d un algotmo d lusteng può podue un lusteng geaho Dstnguamo due tp d lusteng geaho: Agglomeatvo (bottom-up) Dvsvo (top-down)

7 Clusteng Pattvo I metod d lusteng pattvo ottengono una sngola patzone de dat, nvee d una stuttua d lusteng (es. albeo d lusteng) Rhedono d spefae l numeo d luste k desdeat Il numeo d luste k può essee detemnato automatamente geneando espltamente lusteng pe dves valo d k e seglendo l mglo sultato seondo la funzone d valutazone del lusteng

8 Clusteng Geaho Agglomeatvo Assume l esstenza d una funzone d smlatà pe detemnae la smlatà d due stanze Algotmo: Pat on un luste pe ogn stanza Fnhé non è un solo luste: Detemna due luste e j pù sml Sosttus e j on un sngolo luste j La stoa d fusone osttuse un albeo bnao o geaha d lusteng (dendogamma)

9 Methe pe detemnae la dstanza Nota: se la dstanza è nomalzzata ta 0 e 1, la smlatà sm(, y) è data da 1-d(, y) Dstanza euldea (noma L 2 ): Noma L 1 : Cosne Smlaty (tasfomata n una dstanza sottaendo da 1): ) ( ), ( m y y L = = = = m y y L 1 1 ), ( = = = = m m m y y y y

10 Msuae la Smlatà ta Cluste Nel lusteng geaho agglomeatvo, utlzzamo una funzone d smlatà he detemna la smlatà ta due stanze: sm(, y) Come alolae la smlatà d due luste e j sapendo ome alolae la smlatà ta due stanze ne due luste? Sngle Lnk: Smlatà de due memb pù sml Complete Lnk: Smlatà de due memb meno sml Goup Aveage: Smlatà meda ta memb

11 Sngle Lnk Agglomeatve Clusteng Utlzzamo la smlatà massma ta oppe d stanze: sm(, j ) = ma, y j sm(, y) A ausa d un effetto onatenamento, può esttue luste lungh e fn Adeguato n et domn, ome l agguppamento d sole

12 Esempo d Sngle Lnk

13 Complete Lnk Agglomeatve Clusteng Basato sulla mnma smlatà ta oppe d stanze: sm(, j ) = mn, y j sm(, y) Cea luste pù sfe, nomalmente pefebl

14 Esempo d Complete Lnk

15 Calolae la Smlatà ta Cluste Dopo ave fuso luste e j, la smlatà del lusteng ottenuto spetto a un alto luste abtao k può essee alolata ome segue: Sngle Lnk: sm (( j ), k ) = ma( sm(, k ), sm( j, k )) Complete Lnk: sm (( j ), k ) = mn( sm(, k ), sm( j, k ))

16 Goup Aveage Agglomeatve Clusteng Pe detemnae la smlatà ta e j usa la smlatà meda su tutte le oppe nell unone d e j. Compomesso ta sngle e omplete lnk. Se s voglono luste pù sfe e nett, s deve detemnae la smlatà meda ta oppe odnate d stanze ne due luste (nvee he ta oppe d stanze nell unone) = ) ( : ) ( ), ( 1) ( 1 ), ( j j y y j j j y sm sm

17 Clusteng Pattvo S deve fone l numeo desdeato d luste k S selgono k stanze a aso, una pe luste, hamate sem (seeds) S fomano k luste nzal sulla base de sem Itea, alloando tutte le stanze su dves luste pe mgloae l lusteng omplessvo C s fema quando l lusteng onvege o dopo un numeo pefssato d teazon

18 k-means Assume stanze a valo eal I luste sono basat su entod o meda de punt n un luste : µ() = 1 Le stanze vengono assegnate a luste sulla base della dstanza spetto a entod de luste attual

19 Algotmo k-means k-means(dstanza d, nseme delle stanze X) Selezona k stanze a aso {s 1, s 2,, s k } X ome sem. Fnhé lusteng non onvege o s aggunge teo d stop: Pe ogn stanza X: Assegna al luste j tale he d(, s j ) è mnmale Aggona sem al entode d ogn luste, ovveo pe ogn luste j : s j = µ( j )

20 k-means: Esempo (k=2) Segl sem Rassegna luste Calola entod Rassegna luste Calola entod Rassegna luste Convegenza!

21 Obettvo d k-means L obettvo d k-means è d mnmzzae la somma del quadato della dstanza d asun punto n X spetto al entode del luste u è assegnato: k = 1 d (, µ ) 2 Così ome pe gl algotm genet, tovae l mnmo globale è un poblema NP-had E gaantto he l algotmo k-means onvega a un mnmo loale

22 Selta de Sem I sultat possono vaae notevolmente sulla base della selezone de sem Alun sem possono potae a un basso tasso d onvegenza o a onvegee su lusteng subottmal S possono selezonae buon sem usando eusthe o ome sultato d un alto metodo

23 Tet Clusteng I metod d lusteng possono essee applat a doument d testo n modo semple Tpamente, s appesenta un doumento medante vetto TF*IDF (tem fequeny*nvese doument fequeny) nomalzzat e s utlzza la smlatà del oseno Applazon: Duante la fase d eupeo de doument d un sstema d Infomaton Reteval (IR), s possono fone doument nello stesso luste d quello nzalmente eupeato pe aumentae la eall del sstema I sultat d un sstema d IR possono essee pesentat pe gupp Poduzone automatzzata d tassonome geahhe d doument pe sop d nagazone (stle Yahoo & DMOZ).

24 Had vs. Soft Clusteng Tpamente l lusteng assume he ogn stanza sa assegnata a un solo luste Questo non pemette d espmee l netezza guado l appatenenza d un stanza a pù luste Il soft lusteng fonse una dstbuzone d pobabltà pe ogn stanza spetto all appatenenza a asun luste Le pobabltà d appatenenza d ogn stanza su tutt luste devono sommae a 1

25 Fuzzy Clusteng Appoo d soft lusteng S defnse un gado d appatenenza u () dell stanza all -esmo luste, tale he: = 1 u ( ) = 1 dove k è l numeo d luste In fuzzy k-means, l entode d un luste è alolato ome la meda d tutt punt, asuno pesato spetto al suo gado d appatenenza a m è l esponente d fuzzyness (es. m=2) k m u ( ) X µ ( ) =, m > 1 m u ( ) X

26 Fuzzy k-means Defnamo l gado d appatenenza d a : u ( ) L algotmo è smle a k-means: = k j= 1 d(, d(, Fuzzy k-means(dstanza d, nseme delle stanze X) Inzalzza oeffent u () pe ogn {1,, k} e X (asualmente o sulla base d un applazone d k-means) Fnhé non s aggunge teo d stop: Calola entod pe ogn luste Aggona oeffent u () d d essee nel luste 1 j ) ) 2 m1

27 Poblem nell Appendmento Non Supevsonato Come valutae l lusteng? Valutazone ntena: Sepaazone netta de luste (ad es., l obettvo d k-means) Cospondenza on un modello pobablsto de dat Valutazone estena Confonta luste on ethette d lasse note su dat d benhmak Clusteng sovapponbl Metod sem-supevsonat S utlzzano poh esemp annotat a mano e moltssm esemp non annotat

Documenti analoghi

Apprendimento Automatico: Apprendimento Non Supervisionato

Apprendimento Automatico: Apprendimento Non Supervisionato Apprendmento Automatco: Apprendmento Non Supervsonato 1 Supervsone nell Apprendmento (aranco, rotondo, classe= ) (gallo, lungo, classe= ) (gallo, rotondo, classe= ) colore forma (gallo, lungo, classe=