Data mining Introduzione

Transcript

1 M B G ata mining Intrduzine ATA MINING: INTROUZIONE - 1 Knwledge discvery Prcess di estrazine dai dati di pattern validi precedentemente ignti ptenzialmente utili cmprensibili [Fayyad, Piatesky-Shapir, Smyth 1996] ATA MINING: INTROUZIONE - 2 Pag. 1

2 Esempi Prestiti Stipendi Persne che hann ricevut un prestit dalla banca: : persne che hann mancat la restituzine di rate : persne che hann rispettat le scadenze ATA MINING: INTROUZIONE - 3 Knwledge discvery ati: insieme di infrmazini cntenute in una base di dati data warehuse Pattern: espressine in un linguaggi pprtun che descrive in md succint le infrmazini estratte dai dati reglarità infrmazine di alt livell ATA MINING: INTROUZIONE - 4 Pag. 2

3 Esempi Prestiti k Stipendi If stipendi < k$ then mancati pagamenti ATA MINING: INTROUZIONE - 5 Caratteristiche dei pattern Validità: i pattern scperti devn essere validi su nuvi dati cn un cert grad di certezza Esempi: spstament a destra del valre di k prta riduzine del grad di certezza Nvità: misurata rispett a variazini dei dati della cnscenza estratta ATA MINING: INTROUZIONE - 6 Pag. 3

4 Caratteristiche dei pattern Utilità Esempi: aument di prfitt attes dalla banca assciat alla regla estratta Cmprensibilità: misure di tip sintattic (numer di bit del pattern) semantic ATA MINING: INTROUZIONE - 7 Prcess di estrazine Richiede l esecuzine di un insieme di passi preparazine dei dati, ricerca dei pattern, valutazine dell infrmazine estratta, raffinamenti perazini nn vvie ATA MINING: INTROUZIONE - 8 Pag. 4

5 Prcess di estrazine ati Svilupp della cnscenza del dmini applicativ ATA MINING: INTROUZIONE - 9 Prcess di estrazine ati Pass di selezine dei dati: fcalizzazine su un sttinsieme significativ dei dati ATA MINING: INTROUZIONE - 10 Pag. 5

6 Prcess di estrazine ati ati selezinati Pass di preelabrazine dei dati: rimzine di rumre eccezini gestine dati mancanti pulizia dei dati ATA MINING: INTROUZIONE - 11 Prcess di estrazine ati ati selezinati ati preprcessati Pass di trasfrmazine dei dati: riduzine del numer di variabili da cnsiderare ATA MINING: INTROUZIONE - 12 Pag. 6

7 Prcess di estrazine ati ati selezinati ati preprcessati ati trasfrmati Pass di data mining: selezine del tip di estrazine selezine dell algritm ATA MINING: INTROUZIONE - 13 Prcess di estrazine ati ati selezinati ati preprcessati ati trasfrmati Pattern Pass di interpretazine e valutazine ATA MINING: INTROUZIONE - 14 Pag. 7

8 Prcess di estrazine ati ati selezinati ati preprcessati ati trasfrmati Pattern Cnscenza ATA MINING: INTROUZIONE - 15 M B G ata mining Preparazine dei dati ATA MINING: INTROUZIONE - 16 Pag. 8

9 Passi principali Pulizia dei dati dati incmpleti dati rumrsi ricnsciment di utliers ed eccezini gestine delle incnsistenze Integrazine dei dati Trasfrmazine dei dati nrmalizzazine aggregazine Riduzine dei dati rappresentazine ridtta in vlume, che genera risultati analitici simili discretizzazine campinament ATA MINING: INTROUZIONE - 17 ati incmpleti Mancanza del dat dvuta a cause diverse,tipicamente legate al prcess di data entry malfunzinament di strumenti nn inserit perché nn imprtante Sluzini ignrare la tupla cn infrmazine mancante usare un valre speciale (NULL, N/A) usare cme valre il valr medi dell attribut usare cme valre il valr medi dell attribut all intern della stessa classe ATA MINING: INTROUZIONE - 18 Pag. 9

10 ati rumrsi Errri casuali varianza significativa di una misura malfunzinament di strumenti/trasmissine in rete limitazini tecnlgiche prblemi di data entry Sluzini clustering regressine per ricnscere ed eliminare gli utliers discretizzazine ATA MINING: INTROUZIONE - 19 Clustering Tratt da Han, Kamber, ata mining; Cncepts and Techniques, Mrgan Kaufmann 2006 ATA MINING: INTROUZIONE - 20 Pag. 10

11 Regressine y Y1 Y1 y = + 1 X1 Tratt da Han, Kamber, ata mining; Cncepts and Techniques, Mrgan Kaufmann 2006 ATA MINING: INTROUZIONE - 21 Nrmalizzazine dei dati È un tipditrasfrmazinedeidati i valri di un attibut sn riprtati in un intervall prefissat tipicamente(-1,+1) (0,+1) Tecniche min-ma v min v maa min A ' = ( new_ maa new_ mina) + z-scre v meana v' = stand _ dev A A new_ min scalament decimale v v'= jinter minim tale che ma( ν )< 1 j 10 A ATA MINING: INTROUZIONE - 22 Pag. 11

12 Riduzine dei dati Generazine di una rappresentazine ridtta in vlume, che genera risultati analitici simili campinament riduzine della cardinalità dell insieme feature selectin riduzine del numer di attributi discretizzazine riduzine della cardinalità del dmini di un attribut ATA MINING: INTROUZIONE - 23 Campinament Selezine di un sttinsieme (campine) dei dati di partenza rappresentativ riduce la cmplessita` degli algritmi di data mining nn sempre riduce effettivamente il numer di I/O di pagine Mdalita` campinament casuale senza sstituzine cn sstituzine campinament stratificat per gni sttclasse di interesse, il campine cntiene una frazine prprzinale alla pplazine della sttclasse nella base dati di partenza apprpriat per dati cn distribuzine nn unifrme ATA MINING: INTROUZIONE - 24 Pag. 12

13 Campinament ati di partenza Campinament stratificat Tratt da Han, Kamber, ata mining; Cncepts and Techniques, Mrgan Kaufmann 2006 ATA MINING: INTROUZIONE - 25 Feature selectin Selezine di un sttinsieme degli attributi che fann parte dell schema di partenza selezine di un insieme minim di attributi tale da cnservare la distribuzine dei dati di partenza utile specialmente per gli algritmi di clustering Causa anche una riduzine del numer di pattern estratti maggire interpretabilita` del risultat Tecniche euristiche esplrazine esaustiva impssibile a causa del vast numer di scelte pssibili si aggiunge/tglie un attribut alla vlta e si sserva l effett ATA MINING: INTROUZIONE - 26 Pag. 13

14 iscretizzazine ATA MINING: INTROUZIONE - 27 ivisine del dmini di un attribut cntinu in un insieme di intervalli riduce la cardinalità del dmini di un attribut Tecniche N intervalli cn la stessa ampiezza W=(v ma v min )/N semplice sensibile agli utliers e ai dati sparsi incrementale N intervalli cn (apprssimativamente) la stessa cardinalità si adatta megli a dati sparsi e utliers nn incrementale clustering si adatta bene a dati sparsi e utlier iscretizzazine Prezz Ampiezza (W =10) Cardinalità (N=2) Clustering 7 [0,10] [7,20] [7,7] 20 [11,20] [22,50] [20,22] 22 [21,30] [51,53] [50,53] 50 [31,40] 51 [41,50] 53 [51,60] ATA MINING: INTROUZIONE - 28 Pag. 14