Business Intelligence

Transcript

1 Business Intelligence Data Mining Introduzione al Data Mining Il Data Mining è la risosta tecnologica all esigenza di saer analizzare e ricavare conoscenze utili, dalle enormi quantità di dati grezzi che si raccolgono ormai in tutti i contesti oerativi della nostra società.

2 Introduzione al Data Mining Esemi: Solo il database del settore consegne della UPS ha una dimensione di 17 Tera-Byte. Questi dati vanno analizzati sia er caire come migliorare il servizio ai clienti, sia er migliorare l efficienza interna dell azienda I servizi segreti militari raccolgono una infinità di immagini via satellite, che devono saer classificare er riconoscere se è stato fotografato un semlice trattore o un carro armato! Le aziende farmaceutiche, er rogettare un nuovo farmaco, utile e sicuro er l uomo, devono analizzare e selezionare milioni di comosti chimici (candidati a divenire farmaco) Introduzione al Data Mining La risosta all esigenza di analisi di queste enormi quantità di dati raccolti è raresentata dal Data Mining. Il data mining è il rocesso di analisi, svolto in modo semiautomatico, di una grande quantità di dati grezzi al fine di scorire il modello ( attern ) che li governa, o una regola significativa, da cui ricavare conoscenze utili alicabili al nostro contesto oerativo (come ad esemio revisioni e classificazioni).

3 Introduzione al Data Mining Nota: si usa distinguere il concetto di modello da quello di regola, erché er modello si intende uno strumento che oltre a fornire l outut richiesto descriva anche con quale logica il sistema reale raggiunge quel outut. Mentre er regola si intende un rocedimento che ad un dato inut ermetta di associare il corrisondente outut senza necessariamente conoscere il funzionamento intrinseco del sistema reale (questo è il caso delle reti neurali, una tecnica che vedremo di data mining). Data Mining Estrazione di dati Processo di eslorazione e analisi di dati (automatico e semiautomatico) di un amia mole di dati, al fine di scorire modelli (PATTERN) e regole 6

4 Data Mining: motivazioni Trovare informazioni nascoste, ersone avrebbero bisogno di mesi er scorirle, maggior arte dei dati non sono analizzati Tecniche tradizionali non sono alicabili su dati grezzi (non elaborati) 7 Data Mining: definizioni Estrazione di conoscenza non nota (attern ricorrenti) da grandi basi di dati n Pattern mining n Knowledge discovery in data base (KDD) n Knowledge discovery of hidden attern n Knowledge extraction n Pattern analysis n Information haversting (raccolta) n Business intelligence 8

5 Data Mining: definizioni The non trivial rocess of identifying valid, novel, otentially useful and ultimately understandable attern of data Shairo, Data Mining Obiettivi: n Descrittivo: descrivere in modo non evidente (classificare, individuare grui in un insieme di dati la cui struttura non è visibile) n Eslicativo: Siegare (insight), trovare modelli eslicativi (i fattori legati ad un fenomeno, correlazioni) n Predittivo: fare revisioni sul futuro, sul valore di variabili à roduzione di nuova conoscenza dai dati 10

6 Data Mining vr Dw vr DB DB/OLTP DW/OLAP DATA MINING Estrazione di dati Riassunti, aggregazioni, trend (descrizione su caratteristiche statiche) Knowledge discovery of hidden attern (rodurre nuova conoscenza) Informazione Analisi Insight & rediction Chi ha comrato i fondi? Quale è la media degli incassi dei fondi venduti er regione in un anno? Chi comrerà un fondo nei rossimi 6 mesi e erche? 11 Data Mining vr Dw vr DB DB/OLTP DW/OLAP DATA MINING OLTP, query definite esresse con il linguaggio standard SQL Outut è un sottoinsieme dei dati Su dati relazionali (db) Query non definite, no standard Outut è un sottoinsieme dei dati Su dati relazionali e multidimensionali (dw) Query non definite, no standard Outut non è un sottoinsieme dei dati, ma uò essere un modello Su dati relazionali (db) dati multidimensionali (dw) Dati multimediali, saziali (satial and temoral db) Grafi (www) Testi 12

7 DATA MINING su TESTI Il testo diventa un vettore di termini contenente le occorrenze della arole (numero di volte in cui il termine è resente nel doc) Vettore: insieme di elementi dello stesso tio, cui si accede er osizione s[0] à accedi al rimo elemento del vettore TEXT MINIG: uso di tecniche di NLP (Natural Language Processing) 13 Data Mining vr Statistica Statistica Non automatica, oeratore fa i calcoli Data minig semi-automatico, macchina fa i calcoli Verification-driven: guidato dalla verifica di un iotesi Discovery-driven, non ci sono iotesi da verificare, scorire nuove iotesi Moli di dati minore Moli di dati molto grandi Analisi rimaria Analisi secondaria 14

8 Le Tecniche di Data Mining Le tecniche di data mining servono er trasformare i dati grezzi in informazioni utili. Quindi servono er risolvere Problemi di eslorazione dati (Data Mining Non Suervisionato): roblemi in cui non saiamo cosa dover ricercare nei dati e allora lasciamo che siano i dati stessi a indicarci un risultato, a suggerirci la loro struttura (o attern). Problemi di classificazione e di regressione (Data Mining Suervisionato). In tutti questi roblemi saiamo bene quello che stiamo cercando: in entrambi i casi l obiettivo è revedere il valore che assumerà una certa variabile detta target (che sarà di tio categorico nei roblemi di classificazione, di tio numerico nei roblemi di regressione). Data mining: obiettivi Classificare Stimare Fare revisioni Raggruare Trovare regole di associazione 16

9 Task di data minig suervisionati Alberi decisionali Reti neurali Non suervisionati Cluster analysis Association rules 17 Task suervisionati Previsione del comortamento di alcune variabili target in funzione delle variabili di inut (es revisione di chi sarà insolvente) Usare i dati disonibili er creare un modello che descriva il comortamento di una variabile target in termini dei dati disonibili 18

10 Task suervisionati Obiettivi n Classificazione n Stima n Previsione Tecniche di data mining n Alberi decisionali n Reti neurali 19 Classificazione Assegnazione di un nuovo oggetto ad una classe redefinita doo averne esaminato le caratteristiche Valori discreti e booleani (si, no) Es: assegnazione di un nuovo cliente ad un segmento secifico (gold, silver) Attribuire una arola chiave ad una notizia (nera, rosa, etc) 20

11 Classificazione Procedimento: Fase di training su una orzione di dati costituita da esemi già classificati (training set) Fase di creazione del modello di classificazione alicabile a nuovi dati da classificare Strumenti: alberi di decisione, reti neurali 21 Stima Tratta valori continui Individuare il valore di una variabile continua non nota (ad esemio, il reddito, il saldo) Si usa la stima er fare classificazioni Strumenti: alberi di decisione, reti neurali 22

12 Previsione la classificazione e la stima ossono essere usate er fare redizioni sul futuro Es revedere le dismissioni dal servizio Prevedere chi attiverà ADSL tra gli abbonati Dati storici à modello à alicato a nuovi dati à revisione di un comortamento futuro Strumenti: alberi di decisione, reti neurali 23 Task NON suervisionati Non c è alcuna variabile target da revedere (es individuare i grui di consumatori con i gusti analoghi) Obiettivi: n n raggruare Scorire associazioni tra variabili Tecniche di data mining: n Cluster n Regole di associazione 24

13 Clustering Raggruamento er affinita, segmentazione di un gruo eterogeneo in sottogrui (cluster) iù omogenei er certe caratteristiche Non fa ricorso a classi redefinite, classificazione a osteriori (vr classificazione a riori) Non usa esemi da cui arendere Sta al ricercatore attribuire significato ai grui Prelude altre tecniche di data mining Strumento: cluster 25 Regole di associazione Stabilire quali oggetti ossono abbinarsi n Ex quali rodotti si trovano insieme nel carrello della sesa (market basket analysis) n Usato er ianificare la distribuzione dei rodotti sugli scaffali in modo che gli articoli che di solito vengono acquistati insieme si trovino vicino (o lontano.. Cross-selling) Sequenze di acquisto che occorrono nel temo (analisi degli outlier: oggetto non conforme alle caratteristiche degli altri dati: utili er 26 le frodi)

14 Data mining: contesto alicativo Strumento di ricerca: da usare nella fase di ricerca e sviluo, ad es. industria farmaceutica, quali molecole sono candidate a diventare farmaci Miglioramento dei rocessi: risarmio di risorse, controllo di rocessi, diagnosi di guasti Marketing e CRM: arte del CRM analitico, analisi del comortamento d acquisto, er segmentare clienti, focalizzare le offerte su clienti migliori 27 Data mining: contesto tecnico Machine learning (AI): obt far arendere le macchine da esemi statistica: uso di tecniche statistiche (come regressione), metodi di camionamento, metodologia serimentale DSS: infrastruttura ICT di suorto alle decisioni HW: elaboratori otenti in grado di elaborare grandi quantità di dati (fino a qualche anno fa non sarebbe stato ossibile) 28

15 Data mining: contesto sociale Raccolta dati su ersone Problematiche n rivacy n Diffusione dei dati n Protezione da uso imrorio 29 Data mining: contesto aziendale Vale la ena raccogliere un informazione se il ritorno dell investimento è sueriore al costo dell investimento fatto er acquisire l informazione Una conoscenza viene considerata utile se la conoscenza che ne deriva vale iù de soldi sesi er scorirla 30

16 Data mining: alicazioni marketing finanza web e-commerce Biotecnologie, farmaceutica, scienze mediche telecomunicazioni 31 Processo di data minig Iterativo 1. Data cleaning 2. Data integration 3. Data warehouse 4. Data mining 5. Patter descrition (modelli eslicativi e redittivi) 6. Pattern evaluation 7. knowlede 32

17 Processo di data minig Fase 1: comrensione del dominio, ulitura dei dati, rerocessing creazione del datawarehouse adatto (60% dello sforzo comlessivo) fase 2:individuare tecniche dm utili Fase 3: indivduazione dei attern, costruzione del modello di realtà: inut à modello à outut Eta, sesso à modello à il cliente restuirà il restito Fase 4: Validazione del modello: Fase 5: deloyment 33 Valutazione del modello Valutazione dei attern estratti Possono essere moltissimi Necessario un data minig sul data minig Modello valido se n Comrensibile n Corretto n Affidabile (se testato su nuovi dati, è valido con un certo livello di certezza) 34

18 Casi d uso Banca deve decidere se autorizza un emissione n Ha tanti dati storici n Ciascuna richiesta è classificata in i) autorizzata, ii) richiedi info, iii)non autorizzata, iv) non autorizzata e informata autorità er truffa A) si costruisce un modello dei dati storici (training set) ( quali valori degli attributi hanno causato l attribuzione a una classe? ) B) si usa il modello er classificare e rendere decisioni in relazione a nuove richieste ( dove inserire una nuova richiesta? ) 35 Piramide dei DSS 36

19 Le Tecniche di Data Mining Le rinciali tecniche di data mining che vedremo sono: Ø Cluster Analysis Ø Alberi Decisionali