Introduzione al Data Mining

Transcript

1 , Riccard Trlne settembre Intrduzine Negli ultimi anni, le rganizzazini hann effettuat investimenti significativi per miglirare la lr capacità di raccgliere dati ad esempi, relativi ai prpri prcessi, al cmprtament dei clienti, a prestazini delle campagne di marketing, le rganizzazini pssn accedere facilmente anche ad altri dati esterni ad esempi, tendenze di mercat, ntizie nel prpri settre aziendale, msse della cncrrenza, Questa vasta dispnibilità di dati ha aumentat l interesse in metdi per estrarre dai dati infrmazini utili e cnscenza quest è il reame della data science le applicazini più significative di questa disciplina riguardan il supprt alle decisini aziendali ad esempi, per prgettare nuve campagne di marketing 2

2 Dati, infrmazini e cnscenza 3 Data science e data mining Data science la data science è un insieme di principi fndamentali che guida l estrazine di cnscenza da dati Data mining il data mining è l estrazine di cnscenza da dati, tramite tecnlgie che incrpran i principi della data science Spess questi due termini vengn usati in md intercambiabile data science ha un significat più generale, e fa riferiment ad un insieme di principi data mining ha un significat più specific, e fa riferiment ad un insieme di tecniche e metdi 4

3 Esempi: l uragan Frances Dal NYT, 2004 Hurricane Frances was n its way, barreling acrss the Caribbean, threatening a direct hit n Flrida s Atlantic cast. Residents made fr higher grund, but far away, in Bentnville, Ark., eecutives at Wal-Mart Stres decided that the situatin ffered a great pprtunity fr ne f their newest data-driven weapns predictive technlgy. A week ahead f the strm s landfall, Linda M. Dillman, Wal-Mart s chief infrmatin fficer, pressed her staff t cme up with frecasts based n what had happened when Hurricane Charley struck several weeks earlier. Backed by the trillins f bytes wrth f shpper histry that is stred in Wal-Mart s data warehuse, she felt that the cmpany culd start predicting what s ging t happen, instead f waiting fr it t happen, as she put it. (Hays, 2004) In quest cas può essere utile fare previsini perché ci sn dei prdtti che, vviamente, si venderann di più, cme le bttiglie d acqua ma quant venderann di più? ci sn altri prdtti che, in md men vvi, venderann di più? ad esempi, trte alle fragle ci sn prdtti che, pur essendsi esauriti in cncmitanza cn l uragan Charley, nn venderann altrettant? ad esempi, è il cas di un specific film di success 5 Esempi: abbandn dei clienti Suppniam di essere analisti della MegaTelC una grande azienda di telecmunicazini un dei prblemi principali di questa azienda è l abbandn di clienti (custmer churn) del servizi di telefnia cellulare il 20% degli abbnati abbandna il servizi all scadere dell abbnament inltre, acquisire nuvi clienti è difficile per quest, l azienda vule ffrire una prmzine mirata di tratteniment ad alcuni clienti a cui sta per scadere l abbnament, per cercare di ridurre gli abbandni ma a quali specifici clienti va fferta questa prmzine? in quest cas è utile fare previsini circa i clienti che (i) senza fferta, prbabilmente abbandnerann, ma (ii) cn l fferta, prbabilmente rimarrann clienti 6

4 Data science e decisini guidate dai dati La data science riguarda principi, prcessi e tecniche per cmprendere fenmeni tramite l analisi (autmatizzata) di dati l biettiv fndamentale della data science è miglirare il decisin making, cnsentend alle rganizzazini di prendere decisini guidate dai dati vver, decisini basate su esperienze effettive e dati strici e nn semplicemente guidate dall intuizine di slit, queste decisini vengn basate sull estrazine di cnscenza dai dati stt frma di mdelli pattern l esperienza ha infatti dimstrat che è pssibile estrarre cnscenza utile dai dati per rislvere prblemi di business cncreti e, inltre, che quest può essere fatt in md sistematic sulla base di un prcess di data mining, cn fasi raginevlmente ben definite 7 Esempi: prestiti Si cnsideri, per una certa banca, il prblema della cncessine di prestiti la banca vule cncedere prestiti sl se si aspetta che il cliente pagherà tutte le rate nei tempi previsti Quest prblema può essere rislt mediante l estrazine di pattern da dati strici la banca pssiede dati strici sui prestiti che ha già ergat nel passat e sa in quali casi le rate sn state pagate reglarmente men per pattern si intende, ad esempi, una regla che descrive in md succint delle infrmazini estratte dai dati strici per prevedere se un ptenziale cliente pagherà le rate di un prestit reglarmente men 8

5 Esempi: prestiti Dati strici sui prestiti Prestit (imprt) Stipendi Persne che hann ricevut un prestit dalla banca: : persne che hann mancat la restituzine di rate : persne che hann rispettat le scadenze 9 Esempi: prestiti Un pssibile pattern estratt da questi dati strici Prestit (imprt) k Stipendi IF stipendi < k THEN mancat pagament 10

6 Esempi: prestiti Applicazine del pattern estratt ad altri ptenziali clienti Prestit (imprt) A C B k Stipendi IF stipendi < k THEN mancat pagament 11 Dati e pattern Dati insieme di infrmazini, tipicamente nn strutturate, estratte da una base di dati da un data warehuse Pattern espressine, in un linguaggi pprtun, che descrive in md succint le infrmazini estratte dai dati reglarità infrmazine di alt livell 12

7 Caratteristiche dei pattern Validità (ad esempi, accuratezza) una misura del grad di validità del pattern ad esempi, nel 90% dei casi si nti che, rispett all identificazine dei mancati pagamenti, aumentand il valre k aumentan i falsi psitivi, e diminuendl aumentan i falsi negativi Nvità misurata rispett a variazini dei dati della cnscenza estratta Utilità esempi: aument di prfitt attes dalla banca assciat alla regla estratta Cmprensibilità misure di tip sintattic e/ semantic 13 Prblemi fndamentali di data mining I prblemi decisinali di business sn cmplessi ciascun di essi è unic, e va rislt diversamente da altri prblemi tuttavia, in generale è pssibile rislvere un prblema decisinale cmpless decmpnendl in sttprblemi cmpiti (task), rislvend questi prblemi parziali separatamente, e ricmpnend le sluzini parziali in una sluzine cmplessiva del prblema iniziale inltre, mlti task sn cmuni, e le lr tecniche rislutive pssn essere usate in prblemi diversi ad es., calclare da dati strici la prbabilità di abbandn di un cliente il data mining è basat su un insieme di tecniche e algritmi rislutivi per cmpiti decisinali cmuni una capacità critica della data science è la capacità di decmprre un prblema in parti, in md tale che ciascuna parte pssa essere messa in crrispndenza cn un cmpit di data mining nt 14

8 Prblemi fndamentali di data mining Nel crs degli anni sn stati sviluppati un gran numer di algritmi di data mining tuttavia, essi fann riferiment sl a una manciata di cmpiti fndamentali l scp generale è quell di cstruire autmaticamente, a partire da dati strici, un mdell da usare, ad esempi, per fare previsini su dati crrenti e futuri ne descriviam brevemente alcuni 15 Prblemi fndamentali di data mining Classificazine ha l scp di predire, per gni individu di una pplazine, a quale classe appartiene tra un cert numer di classi predefinite ad esempi, nel cas della MegaTelC, cliente prpens ad abbandnare e cliente prpens a rimanere può essere di interesse determinare anche la prbabilità di appartenenza di un individu a una classe Regressine predire, per un individu, il valre numer di una sua variabile ad esempi, stimare la quantità che sarà venduta di un prdtt 16

9 Prblemi fndamentali di data mining Similarity matching identificare individui simili tra lr (cn riferiment ad un scp specific) ad esempi, per cnsigliare prdtti se ti piace quest prdtt, allra ptrebbe piacerti anche quest altr Clustering per raggruppare gli individui di una pplazine sulla base della lr similarità (nn guidati da un scp specific) ad esempi, cme attività preliminare ad un cmpit di classificazine in quali classi di suddividn, effettivamente, i miei clienti? 17 Prblemi fndamentali di data mining C-ccrrenze (assciazini) trvare relazini cmuni tra entità sulla base di transazini che le riguardan ad esempi, analisi di mercat degli acquisti quali prdtti vengn cmunemente acquistati insieme? Prfiling (descrizine del cmprtament) caratterizza il cmprtament tipic di un individu di una pplazine ad esempi, quel è l utilizz tipic del servizi di telefnia mbile per un cliente appartenente a un cert segment? 18

10 Prblemi fndamentali di data mining Link predictin prevede relazini tra individui, di slit suggerend che ci debba essere un cllegament quand invece manca ad esempi, per suggerire amicizie su un scial netwrk Causal mdeling aiuta a cmprendere relazini di causa-effett tra eventi azini ad esempi, si cnsideri un cliente a cui è stata rivlta una prmzine mirata per un prdtt ha pi acquistat quel prdtt ma l acquist è stat effettivamente influenzat dalla prmzine, quel cliente avrebbe acquistat quel prdtt cmunque? (si pensi anche all effett placeb in medicina) 19 Metdi supervisinati e nn supervisinati In generale, un cmpit di data mining ha l scp di cstruire un mdell a partire da dati strici un cmpit ( metd) si dice supervisinat quand i dati di addestrament cmprendn un insieme di esempi insieme a dati sulla caratteristica indirizzata dal mdell nel cas degli abbandni, i dati strici sui clienti cmprendn il fatt se il cliente ha abbandnat men un cmpit si dice invece nn supervisinat quand i dati di addestrament nn cmprendn dati sulla caratteristica indirizzata dal mdell quest succede, ad esempi, nei prblemi di clustering e di assciazini 20

11 Data mining e us dei risultati del data mining 21 Il prcess di data mining 22

12 Classificazine La classificazine è un cmpit supervisinat di data mining ha l scp di predire, per gni individu di una pplazine, a quale classe appartiene tra un cert numer di classi predefinite Dati del prblema un insieme di ggetti (training set), ciascun dei quali è caratterizzat da un insieme di attributi un degli attributi è l attribut biettiv (target) della classificazine il su valre appartiene ad un insieme predefinit di valri (classi) Prblema trvare un mdell, basat sugli attributi del training set, per prevedere la classe di appartenenza di altri ggetti di cui si cnscn i diversi attributi (ma nn l attribut target) 23 Applicazini Classificazine tendenze di mercat Identificazine del rischi in mutui/assicurazini Identificazine autmatica di immagini Efficacia trattamenti medici 24

13 Classificazine Un esempi di training set quest è sl un esempi: di slit i dati di addestrament sn mlti di più, ed anche gli attributi sn mlti di più! 25 Alberi di classificazine Il mdell usat per la classificazine può essere di tipi diversi un cas cmune è quell degli alberi di classificazine vver, una regla di classificazine che può essere rappresentata mediante una struttura decisinale cn la frma ad alber 26

14 Un altr alber di classificazine 27 e una sua interpretazine grafica 28

15 Un classificatre lineare Un classificatre lineare è un mdell di classificazine basat su una disequazine lineare sugli attributi dell entità 29 esistn anche classificatri nn lineari e di natura ancra diversa Esercizi Un prblema di classificazine 30

16 Cstruzine degli alberi di classificazine Ogni alber di classificazine è basat su una successine di cndizini ciascuna delle quali riguarda un singl attribut dell entità è bene basare la prima cndizine sul singl attribut più infrmativ vver quell che, intuitivamente, frnisce più infrmazini (degli altri) sull attribut target questa cndizine cnsente di partizinare il training set in insiemi disgiunti su ciascun dei quali va applicat, ricrsivamente, quest stess raginament fin a trvare un alber di classificazine sddisfacente 31 Esercizi Qual è il singl attribut più infrmativ? la frma della testa? la frma del crp? il clre del crp? 32

17 Esercizi Il prim partizinament può riguardare la frma del crp 33 Esercizi Un successiv partizinament relativ al crp rettanglare 34

18 Esercizi Un successiv partizinament relativ al crp vale 35 Esercizi Alber di classificazine cmplessiv 36

19 Assciazini Le c-ccrrenze ( assciazini) sn un prblema di data mining nn supervisinat l scp è scprire relazini tra ggetti entità che cmpain nell ambit di transazini ad esempi, l analisi di market-basket quali prdtti vengn cmunemente acquistati insieme? Dati del prblema un insieme I di ggetti ad esempi, prdtti venduti da un supermercat un insieme D di transazini ciascuna transazine T è un insieme di ggetti, T I ad esempi, prdtti acquistati nella stessa transazine di cassa al supermercat 37 Assciazine Una regla di assciazine ha la frma X Y cn X,Y I si legge: X implica Y in quest cas vul dire: chi cmpra X cmpra anche Y X e Y pssn essere sia singli ggetti che gruppi di ggetti 38

20 Prprietà delle assciazini Una regla di assciazine ha la frma X Y cn X,Y I Prprietà di una regla di assciazine X Y supprt S misura la rilevanza statistica della regla S = # transazini che cntengn X Y # transazini in D cnfidenza C misura la significatività della regla C = # transazini che cntengn X Y # transazini che cntengn X 39 Prprietà delle assciazini In termini di prbabilità, le prprietà della regla di assciazine X Y pssn essere anche espresse cme segue supprt S prbabilità che una transazine cntiene sia X che Y S = prb(x Y) cnfidenza C prbabilità che una transazine cntiene Y, cndizinata al fatt che la transazine cntiene X C = prb(y X) 40

21 Esempi Latte Uva Supprt il 2% delle transazini cntiene entrambi gli elementi Cnfidenza il 30% delle transazini che cntengn latte cntiene anche uva 41 Assciazini Prblema determinare tutte le regle di assciazine cn supprt e cnfidenza superiri ad una sglia data 42

22 Esempi TRANSACTION ID OGGETTI ACQUISTATI A,B,C A,C A,D B,E,F Assumiam: supprt minim 50% cnfidenza minima 50% 43 Esempi TRANSACTION ID OGGETTI ACQUISTATI A,B,C A,C A,D B,E,F Regle ttenute: A C supprt 50% cnfidenza 66.6 C A supprt 50% cnfidenza 100% 44

23 Applicazini Analisi market basket * Uva csa si deve prmuvere per aumentare le vendite di uva? Latte * quali altri prdtti devn essere venduti da un supermercat che vende latte? in generale, gli insiemi X e Y pssn cmprendere anche più di un ggett L biettiv di quest prblema è trvare regle di assciazini che nn sn vvie per sfruttarle in md cmpetitiv un esempi classic: Pannlini *? 45 Decmpsizine prblema Trvare tutti gli insiemi di item che hann un supprt minim (frequent itemsets) Generazine delle regle a partire dai frequent itemsets Algritm fndamentale: APRIORI [Agrawal, Srikant 1994] 46

24 Esempi Pass 1: estrazine frequent itemsets TRANSACTION ID supprt minim 50% OGGETTI ACQUISTATI A,B,C A,C A,D B,E,F FREQUENT ITEMSET {A} {B} {C} {A,C} SUPPORTO 75% 50% 50% 50% 47 Esempi Pass 2: estrazine regle cnfidenza minima 50% Cnfidenza regla A C Supprt {A,C} / Supprt {A} = 66.6% regle estratte A C supprt 50%, cnf. 66.6% C A supprt 50%, cnf. 100% 48

25 Interesse regle estratte Nn sempre tutte le regle cn supprt e cnfidenza superiri ad una certa sglia, anche alta, sn interessanti Ad esempi, in una scula cn 5000 studenti 3000 studenti (60%) gican a pallacanestr 3750 studenti (75%) mangian cereali a clazine 2000 studenti (40%) gican a pallacanestr e mangian cereali a clazine si cnsideri la regla di assciazine gica a pallacanestr mangia cereali supprt = 2000/5000 = 40% cnfidenza = 2000/3000 = 66% la regla è furviante perché il 75% degli studenti mangia cereali! 49 Interesse regle estratte In effetti, per determinare l interesse di una regla di assciazine X Y può essere utile far riferiment anche ad altre prprietà/misure lift = prb(x Y) prb(x) prb(y) affinché una regla sia effettivamente interessante, il lift deve essere maggire di 1 nell esempi è sl 0.88 leverage = prb(y X) prb(x) prb(y) il leverage serve invece a misurare l indipendenza tra gli ggetti che cmpain nella regla in quest cas è il 21% 50

26 Pattern sequenziali Una variante dei prblemi di assciazini dati un insieme di transazini nn annime ad esempi, di ciascuna si cnsce il cliente biettiv trvare gruppi di ggetti che cmpain in transazini successive di un stess cliente Esempi chi cmpra test di gravidanza pi cmpra (cn una qualche prbabilità) pannlini ma ci sn altri acquisti che cnsentn di predire, in md tempestiv e cn più precisine, una gravidanza? 51 Pattern sequenziali Applicazini misura della sddisfazine del cliente prmzini mirate medicina (sintmi - malattia) 52

27 Clustering Il clustering è un altr prblema nn supervisinat di data mining l scp è identificare delle classi per raggruppare gli individui di una pplazine sulla base della lr similarità Dati un insieme di ggetti Prblema trvare una suddivisine degli ggetti in gruppi in md che: gli ggetti in un grupp sian mlt simili tra di lr ggetti in gruppi diversi sian mlt diversi i gruppi pssn essere anche svrappsti rganizzati gerarchicamente 53 Applicazini Identificazine di pplazini mgenee di clienti in basi di dati di marketing Valutazine dei risultati di esperimenti clinici Mnitraggi dell attività di aziende cncrrenti 54

28 Esempi: dati incidenti età 55 Esempi: clusterizzazine incidenti età 56

29 Esempi Clustering di whisky sczzesi per superare la classificazine basata sulla regine di prvenienza e trvarne una basata sul gust ad esempi, un piccl negzi vule cmunque vendere almen un prdtt per ciascun dei gusti attributi usati per il clustering: clr, nse, bdy, palate, finish 57 Apprcci Prcess si determinan i rappresentanti di gni cluster si cercan gli elementi simili si aggirnan i rappresentanti Gli algritmi si differenzian principalmente nella scelta dei rappresentanti 58

30 Analisi di sequenze temprali Un altra classe di prblemi significativi di data mining riguarda l analisi di sequenze temprali in quest casi, l biettiv può essere trvare sequenze temprali simili ad una sequenza data trvare cppie di sequenze simili quest può essere fatt misurand la crrelazine tra sequenze può essere utile anche misurare la crrelazine di una sequenza cn se stessa (ma pprtunamente traslata nel temp) 59 Applicazini Identificazine delle scietà cn cmprtament simile di crescita Determinazine di prdtti cn prfil simile di vendita Identificazine di azini cn andament simile Individuazine przini nde sismiche nn simili per determinare irreglarità gelgiche 60

31 Tecniche Due tipi di interrgazine match cmplet: la sequenza cercata e le sequenze della base di dati hann la stessa lunghezza match parziale: la sequenza cercata può essere sttsequenza di quelle recuperate dalla base di dati Pssibilità di traslazini, variazini di scala 61 Esempi prezz AZIONE A temp prezz prezz AZIONE B temp temp 62

32 Il prcess di data mining Il data mining è un prcess per rislvere prblemi decisinali in md (raginevlmente) cnsistente, ripetibile e ggettiv 63 Il prcess di data mining Business understanding i prblemi di business sn cmplessi, e la lr cmprensine è il punt di partenza per la lr sluzine Data understanding è imprtante anche capire quali sn i dati a dispsizine quali tra i tanti dati a dispsizine sn utili per rislvere il prblema in esame di slit, la cmprensine del prblema e quella dei dati sn attività svlte in md intrecciat, iterativ in generale, è iterativ l inter prcess di data mining Data preparatin è cmune dver pre-elabrare i dati selezinati (ad esempi, tramite cnversini e perazini di pulizia e di nrmalizzazine dei dati), per pterli effettivamente utilizzare, ppure per ttenere risultati migliri 64

33 Il prcess di data mining Mdeling è l attività di estrazine di un pattern di un mdell dai dati, che cattura reglarità dei dati che pssn essere utilizzate a fini decisinali Evaluatin i risultati del data mining vann pi valutati, ad esempi in termini di validità e affidabilità per determinare se il mdell trvat rislve effettivamente il prblema di business iniziale Deplyment se il mdell trvat è sddisfacente, viene effettivamente mess in us per rislvere il prblema di business di interesse per realizzare un pprtun ritrn di investiment 65