Data Mining. Data Mining. Introduzione al Data Mining. Introduzione al Data Mining. Introduzione al Data Mining. Introduzione al Data Mining

Transcript

1 Introduzione al Data Mining Data Mining Il Data Mining è la risosta tecnologica all esigenza di saer analizzare e ricavare conoscenze utili, dalle enormi quantità di dati grezzi che si raccolgono ormai in tutti i contesti oerativi della nostra società. Introduzione al Data Mining Esemi: Solo il database del settore consegne della UPS ha una dimensione di 17 Tera-Byte. Questi dati vanno analizzati sia er caire come migliorare il servizio ai clienti, sia er migliorare l efficienza interna dell azienda I servizi segreti militari raccolgono una infinità di immagini via satellite, che devono saer classificare er riconoscere se è stato fotografato un semlice trattore o un carro armato! Le aziende farmaceutiche, er rogettare un nuovo farmaco, utile e sicuro er l uomo, devono analizzare e selezionare milioni di comosti chimici (candidati a divenire farmaco) Introduzione al Data Mining La risosta all esigenza di analisi di queste enormi quantità di dati raccolti è raresentata dal Data Mining. Il data mining è il rocesso di analisi, svolto in modo semiautomatico, di una grande quantità di dati grezzi al fine di scorire il modello ( attern ) che li governa, o una regola significativa, da cui ricavare conoscenze utili alicabili al nostro contesto oerativo (come ad esemio revisioni e classificazioni). Introduzione al Data Mining Nota: si usa distinguere il concetto di modello (attern) da quello di regola, erché er modello si intende uno strumento che oltre a fornire l outut richiesto descriva anche con quale logica il sistema reale raggiunge quel outut. Mentre er regola si intende un rocedimento che ad un dato inut ermetta di associare il corrisondente outut senza necessariamente conoscere il funzionamento intrinseco del sistema reale (questo è il caso delle reti neurali, una tecnica che vedremo di data mining). Data Mining Estrazione di dati Processo di eslorazione e analisi di dati (automatico e semiautomatico) di un amia mole di dati, al fine di scorire modelli (PATTERN) e regole 6 1

2 Data Mining: motivazioni Trovare informazioni nascoste, ersone avrebbero bisogno di mesi er scorirle, maggior arte dei dati non sono analizzati Tecniche tradizionali non sono alicabili su dati grezzi (non elaborati) Data Mining: definizioni Estrazione di conoscenza non nota (attern ricorrenti) da grandi basi di dati n Pattern mining n Knowledge discovery in data base (KDD) n Knowledge discovery of hidden attern n Knowledge extraction n Pattern analysis n Information haversting (raccolta) n Business intelligence 7 8 Data Mining: definizioni The non trivial rocess of identifying valid, novel, otentially useful and ultimately understandable attern of data Shairo, Esemio: restiti in banca la banca vuole concedere restiti solo se si asetta che il cliente agherà le rate Questo roblema uò essere risolto mediante l estrazione di attern da dati storici la banca ossiede dati storici sui restiti che ha già erogato nel assato e sa in quali casi le rate sono state agate regolarmente o meno er attern si intende, ad esemio, una regola che descrive in modo succinto delle informazioni estratte dai dati storici er revedere se un otenziale cliente agherà le rate di un restito regolarmente o meno 10 Dati storici Creazione del attern/modello

3 Alicazione del attern/modello Data Mining Obiettivi: n Descrittivo: descrivere in modo non evidente (classificare, individuare grui in un insieme di dati la cui struttura non è visibile) n Eslicativo: Siegare (insight), trovare modelli eslicativi (i fattori legati ad un fenomeno, correlazioni) n Predittivo: fare revisioni sul futuro, sul valore di variabili Data Mining vr Dw vr DB DB/OLTP DW/OLAP DATA MINING Estrazione di dati Riassunti, aggregazioni, trend (descrizione su caratteristiche statiche) Knowledge discovery of hidden attern (rodurre nuova conoscenza) Informazione Analisi Insight & rediction Chi ha comrato i fondi? Quale è la media degli incassi dei fondi venduti er regione in un anno? Chi comrerà un fondo nei rossimi 6 mesi e erche? à roduzione di nuova conoscenza dai dati Data Mining vr Dw vr DB DB/OLTP DW/OLAP DATA MINING OLTP, query definite esresse con il linguaggio standard SQL Outut è un sottoinsieme dei dati Su dati relazionali (db) Query non definite, no standard Outut è un sottoinsieme dei dati Su dati relazionali e multidimensionali (dw) Query non definite, no standard Outut non è un sottoinsieme dei dati, ma uò essere un modello Su dati relazionali (db) dati multidimensionali (dw) Dati multimediali, saziali (satial and temoral db) Grafi (www) Testi 17 DATA MINING su TESTI Il testo diventa un vettore di termini contenente le occorrenze della arole (numero di volte in cui il termine è resente nel doc) Vettore: insieme di elementi dello stesso tio, cui si accede er osizione s[0] à accedi al rimo elemento del vettore TEXT MINIG: uso di tecniche di NLP (Natural Language Processing) 18 3

4 Data Mining vr Statistica Task di data mining Statistica Non automatica, oeratore fa i calcoli Verification-driven: guidato dalla verifica di un iotesi Moli di dati minore Data minig semi-automatico, macchina fa i calcoli Discovery-driven, non ci sono iotesi da verificare, scorire nuove iotesi Moli di dati molto grandi Analisi rimaria Analisi secondaria Task di data mining Classificare Stimare Fare revisioni Raggruare Trovare regole di associazione Le Tecniche di Data Mining Le tecniche di data mining servono er trasformare i dati grezzi in informazioni utili. Quindi servono er risolvere Problemi di eslorazione dati (Data Mining Non Suervisionato): roblemi in cui non saiamo cosa dover ricercare nei dati e allora lasciamo che siano i dati stessi a indicarci un risultato, a suggerirci la loro struttura (o attern). 21 Problemi di classificazione e di regressione (Data Mining Suervisionato). In tutti questi roblemi saiamo bene quello che stiamo cercando: in entrambi i casi l obiettivo è revedere il valore che assumerà una certa variabile detta target (che sarà di tio categorico nei roblemi di classificazione, di tio numerico nei roblemi di regressione). Task di data minig suervisionati Alberi decisionali Reti neurali Non suervisionati Cluster analysis Association rules Task suervisionati Previsione del comortamento di alcune variabili target in funzione delle variabili di inut (es revisione di chi sarà insolvente) Usare i dati disonibili er creare un modello che descriva il comortamento di una variabile target in termini dei dati disonibili

5 Task suervisionati Obiettivi n Classificazione n Stima n Previsione Tecniche di data mining n Alberi decisionali n Reti neurali Classificazione Assegnazione di un nuovo oggetto ad una classe redefinita doo averne esaminato le caratteristiche Valori discreti e booleani (si, no) Es: assegnazione di un nuovo cliente ad un segmento secifico (gold, silver) Attribuire una arola chiave ad una notizia (nera, rosa, etc) Classificazione Procedimento: Fase di training su una orzione di dati costituita da esemi già classificati (training set) Fase di creazione del modello di classificazione alicabile a nuovi dati da classificare Strumenti: alberi di decisione, reti neurali Stima (regressione) Tratta valori continui Individuare il valore di una variabile continua (ad esemio, il reddito, il saldo, la quantità venduta di un rodotto) Si usa la stima er fare classificazioni Strumenti: alberi di decisione, reti neurali Previsione Task NON suervisionati la classificazione e la stima ossono essere usate er fare redizioni sul futuro Es revedere le dismissioni dal servizio Prevedere chi attiverà ADSL tra gli abbonati Dati storici à modello à alicato a nuovi dati à revisione di un comortamento futuro Strumenti: alberi di decisione, reti neurali 29 Non c è alcuna variabile target da revedere (es individuare i grui di consumatori con i gusti analoghi) Obiettivi: n raggruare n Scorire associazioni tra variabili Tecniche di data mining: n Cluster n Regole di associazione 30 5

6 Clustering Raggruamento er affinita, segmentazione di un gruo eterogeneo in sottogrui (cluster) iù omogenei er certe caratteristiche Non fa ricorso a classi redefinite, classificazione a osteriori (vr classificazione a riori) Non usa esemi da cui arendere Sta al ricercatore attribuire significato ai grui Prelude altre tecniche di data mining Strumento: cluster analysis Regole di associazione 33 Stabilire quali oggetti ossono abbinarsi n Ex quali rodotti si trovano insieme nel carrello della sesa (market basket analysis) n Usato er ianificare la distribuzione dei rodotti sugli scaffali in modo che gli articoli che di solito vengono acquistati insieme si trovino vicino (o lontano.. Cross-selling) Sequenze di acquisto che occorrono nel temo (analisi degli outlier: oggetto non conforme alle caratteristiche degli altri dati: utili er 34 le frodi) Data mining: contesto alicativo Strumento di ricerca: da usare nella fase di ricerca e sviluo, ad es. industria farmaceutica, quali molecole sono candidate a diventare farmaci Miglioramento dei rocessi: risarmio di risorse, controllo di rocessi, diagnosi di guasti Marketing e CRM: arte del CRM analitico, analisi del comortamento d acquisto, er segmentare clienti, focalizzare le offerte su clienti migliori 35 Data mining: contesto tecnico Machine learning (AI): obt far arendere le macchine da esemi statistica: uso di tecniche statistiche (come regressione), metodi di camionamento, metodologia serimentale Dw: infrastruttura ICT di suorto alle decisioni HW: elaboratori otenti in grado di elaborare grandi quantità di dati (fino a qualche anno fa non sarebbe stato ossibile) 36 6

7 Data mining: contesto sociale Raccolta dati su ersone Problematiche n rivacy n Diffusione dei dati n Protezione da uso imrorio Data mining: contesto aziendale Vale la ena raccogliere un informazione se il ritorno dell investimento è sueriore al costo dell investimento fatto er acquisire l informazione Una conoscenza viene considerata utile se la conoscenza che ne deriva vale iù de soldi sesi er scorirla Data mining: alicazioni marketing finanza web e-commerce Biotecnologie, farmaceutica, scienze mediche telecomunicazioni Processo di data minig 1. Data cleaning 2. Data integration 3. Data warehousing 4. Data mining 5. Patter descrition (modelli eslicativi e redittivi) 6. Pattern evaluation 7. Knowledge Processo di data minig Fase 1: comrensione del dominio, ulitura dei dati, rerocessing creazione del datawarehouse adatto (60% dello sforzo comlessivo) fase 2:individuare tecniche dm utili Fase 3: indivduazione dei attern, costruzione del modello di realtà: inut à modello à outut Eta, sesso à modello à il cliente restuirà il restito Fase 4: Validazione del modello: Fase 5: visualizzazione er resentazione

8 Valutazione del modello Valutazione dei attern estratti Possono essere moltissimi Necessario un data minig sul data minig Modello valido se n Comrensibile n Corretto n Affidabile (se testato su nuovi dati, è valido con un certo livello di certezza) 43 Casi d uso Banca deve decidere se autorizza un emissione n Ha tanti dati storici n Ciascuna richiesta è classificata in i) autorizzata, ii) richiedi info, iii)non autorizzata, iv) non autorizzata e informata autorità er truffa A) si costruisce un modello dei dati storici (training set) ( quali valori degli attributi hanno causato l attribuzione a una classe? ) B) si usa il modello er classificare e rendere decisioni in relazione a nuove richieste ( dove inserire una nuova richiesta? ) 44 8