DATA MINING. Data mining. Obiettivo: estrarre informazione nascosta nei dati in modo da consentire decisioni strategiche

Transcript

1 DATA MINING datamining Data mining Obiettivo: estrarre informazione nascosta nei dati in modo da consentire decisioni strategiche Una materia interdisciplinare: - statistica, algoritmica, reti neurali datamining 2

2 Applicazioni del data mining - Analisi di mercato: prodotti acquisiti insieme o in sequenza - Analisi di comportamento: individuare usi illeciti di credit card - Previsione: prevedere il costo delle cure mediche - Controllo: errori di produzione datamining 3 ESEMPI DI APPLICAZIONI DEL DATA MINING VENDITA AL DETTAGLIO E PER CORRISPONDENZA - QUALI OFFERTE SPECIALI FARE - COME DISPORRE LE MERCI SUGLI SCAFFALI MARKETING - PREVISIONI DI VENDITA - PERCORSI DI ACQUISTO DEI PRODOTTI BANCHE - CONTROLLO DEI PRESTITI - USO (ED ABUSO) DELLE CARTE DI CREDITO TELECOMUNICAZIONI - AGEVOLAZIONI TARIFFARIE datamining 4 2

3 ESEMPI DI APPLICAZIONI DEL DATA MINING ASTRONOMIA E ASTROFISICA - CLASSIFICAZIONE DI STELLE E GALASSIE RICERCA CHIMICO FARMACEUTICA - SCOPERTA DI NUOVI COMPOSTI - RELAZIONI TRA COMPOSTI BIOLOGIA MOLECOLARE - PATTERN NEI DATI GENETICI E NELLE STRUTTURE MOLECOLARI TELERILEVAMENTO E METEOROLOGIA - ANALISI DEI DATI SATELLITARI STATISTICA ECONOMICA E DEMOGRAFICA - ANALISI DEI CENSIMENTI datamining 5 Applicazione : analisi delle vendite Trans Data Oggetto Quantità Prezzo /7/99 2/7/99 2/8/99 2/8/99 2/8/99 2/8/99 2/9/99 2/9/99 pantaloni-sci scarponi maglietta giacca stivali giacca maglietta giacca datamining 6 3

4 TIPI DI INFORMAZIONI OTTENUTE ASSOCIAZIONI - INSIEME DI REGOLE CHE SPECIFICA L OCCORRENZA CONGIUNTA DI DUE (O PIU ) ELEMENTI SEQUENZE - POSSIBILITA DI STABILIRE CONCATENAZIONI TEMPORALI DI EVENTI CLASSIFICAZIONI - RAGGRUPPAMENTI DI ELEMENTI IN CLASSI SECONDO UN MODELLO PREDEFINITO RAGGRUPPAMENTI (CLUSTER) - RAGGRUPPAMENTI DI ELEMENTI IN CLASSI NON DEFINITE A PRIORI TENDENZE (TREND) - SCOPERTA DI ANDAMENTI TEMPORALI CARATTERISTICI CON VALENZA PREVISIONALE datamining 7 Scoperta di regole di associazione Si cercano regolarità nei dati: quando si acquistano scarponi, si acquistano sci Strutturate come: - corpo: premessa della regola. - testa: conseguenza della regola. datamining 8 4

5 Supporto: Caratteristiche delle regole di associazione probabilità che siano presenti in una transazione entrambi gli elementi di una regola Confidenza: probabilità che sia presente in una transazione la conseguenza (corpo) di una regola, essendo presente la premessa (testa) Formulazione del problema: estrarre tutte le regole con supporto e confidenza superiori a valori prefissati datamining 9 Esempi di regole di associazione Premessa Conseguenza Supporto Confidenza pantaloni-sci scarponi magliette magliette stivali stivali giacche giacche {magliette,stivali} {magliette,giacche} {stivali, giacche} scarponi pantaloni-sci stivali giacche magliette giacche magliette stivali giacche stivali magliette datamining 0 5

6 Cosa sono le associazioni regole di implicazione if A then B per determinare i gruppi di affinità tra oggetti Esempio: analisi degli acquisti if {cibo per l infanzia} then {sigarette leggere} if {birra and venerdì sera} then {pannolini per bambini} datamining Regole di associazione Una regola di associazione if A then B deve essere estratta se: è statisticamente frequente all interno della base dati (percentuale dei clienti significativa) il legame tra gli oggetti è statisticamente significativo (elevata confidenza di trovare B avendo trovato A) datamining 2 6

7 Regole di associazione Applicazioni: studio delle abitudini di acquisto studio della variabilità delle vendite in assenza di un certo prodotto promozione di prodotti, pubblicità mirata organizzazione della merce sugli scaffali aumento della soddisfazione del cliente analisi finanziaria datamining 3 IL CESTINO DELLA SPESA I = { i, i k } B = { b, b n } INSIEME DI k ELEMENTI (ITEM) INSIEME DI n SOTTOINSIEMI BASKET) DI I b i? I dove I B - PRODOTTI IN UN SUPERMERCATO - PAROLE IN UN DIZIONARIO - ACQUISTI DI UN SINGOLO CLIENTE - SINGOLO DOCUMENTO IN UN CORPUS datamining 4 7

8 IL CESTINO DELLA SPESA esiste una REGOLA DI ASSOCIAZIONE i? i 2 se - i E i 2 COMPAIONO INSIEME IN ALMENO s% DEGLI n BASKET (SUPPORTO) - DI TUTTI I BASKET CHE CONTENGONO i ALMENO c% CONTENGONO ANCHE i 2 (CONFIDENZA) datamining 5 ALTRI ESEMPI DI REGOLE REGOLE CHE HANNO DIET COKE NELLE CONSEGUENZA - AIUTANO A DEFINIRE LE STRATEGIE PER AUMENTARE LE VENDITE DI UN PRODOTTO REGOLE CHE HANNO GRISSINI NELLA PREMESSA - AIUTANO A CAPIRE L IMPATTO DELLA CESSAZIONE DELLA VENDITA DI UN PRODOTTO REGOLE CHE HANNO WURSTEL NELLA PREMESSA E SENAPE NELLA CONSEGUENZA - EVIDENZIANO GLI ABBINAMENTI DI PRODOTTI PRESENTI NELLA PREMESSA CHE INDUCONO LA VENDITA DELL OGGETTO NELLA CONSEGUENZA datamining 6 8

9 ALTRI ESEMPI DI REGOLE SE DOBBIAMO ALLOCARE I PRODOTTI NEGLI SCAFFALI, -TROVANDO LE MIGLIORI K REGOLE CHE HANNO GRISSINI NELLA CONSEGUENZA IN TERMINI DEL FATTORE DI CONFIDENZA E IN TERMINI DEL FATTORE DI SUPPORTO - POSSO GESTIRE UNA PIU EFFICACE ALLOCAZIONE DEI GRISSINI NEGLI SCAFFALI datamining 7 DATA MINING IN AMBIENTE RELAZIONALE ESTENSIONE DI SQL CON OPERATORI DI DATA MINING INTEGRATI NEL LINGUAGGIO INTEGRARE UN SERVER SQL CON UN MOTORE DI DATA MINING - MINE RULE PER LE REGOLE DI ASSOCIAZIONE - MINE CLASSIFICATION PER I PROBLEMI DI CLASSIFICAZIONE - MINE INTERVAL PER LA DISCRETIZZAZIONE DI ATTRIBUTI CONTINUI datamining 8 9

10 Regole di associazione in SQL MINE RULE OGGETTI-VENDUTI-ASSIEME AS SELECT DISTINCT OGGETTO AS BODY, OGGETTO AS HEAD, SUPPORT, CONFIDENCE FROM VENDITE GROUP BY TRANS EXTRACTING RULES WITH SUPPORT: 0. CONFIDENCE: 0.2 datamining 9 MINE RULE: ESEMPIO MINE RULE AssociazioneSemplice AS SELECT DISTINCT item... AS BODY, item... AS HEAD,SUPPORT, CONFIDENCE FROM Purchase GROUP BY transaction EXTRACTING RULES WITH SUPPORT: 0., CONFIDENCE: 0.2 CLIENTE OGGETTO TR PREZZO QUANT. Rossi pantal. da ski Rossi scarponi mont Bianchi camicia sport Bianchi scarpe marron Bianchi giacca Rossi giacca Bianchi camicia sport Bianchi giacca datamining 20 0

11 MINE RULE: ESEMPIO CORPO TESTA SUPPORTO CONFIDENZA pantaloni da ski scarponi montagna 0,25 scarponi montagna pantaloni da ski 0,25 camicia sport scarpe marron 0,25 0,50 camicia sport giacca 0,50 scarpe marron camicia sport 0,25 scarpe marron giacca 0,25 giacca camicia sport 0,50 0,66 giacca scarpe marron 0,25 0,33 camicia sport, scarpe marron giacca 0,25 camicia sport, giacca scarpe marron 0,25 0,5 scarpe marron, giacca camicia sport 0,25 datamining 2 Altri esempi Oggetti venduti nella stessa promozione Oggetti venduti assieme d'estate ma non d'inverno Oggetti venduti assieme in quanto disposti in modo particolare Oggetti acquisiti in sequenza dallo stesso cliente datamining 22

12 CLASSIFICAZIONE Classificazione: Catalogazione di un fenomeno particolare in una classe predefinita - Fenomeno presentato sotto forma di fatti elementari (tuple) - Costruzione del classificatore a partire da un set di dati di prova (training set) - Classificatori rappresentati come alberi di decisione datamining 23 PROBLEMA DI CLASSIFICAZIONE CIASCUN ELEMENTO (tupla) DI UN INSIEME DI DATI E ASSOCIATO, IN BASE A ESPERIENZE O OSSERVAZIONI PREGRESSE, AD UNA CARATTERISTICA DISTINTIVA CHIAMATA CLASSE FASE : APPRENDIMENTO (TRAINING) - COSTRUZIONE DI UN MODELLO SULL INSIEME NOTO (TRAINING SET) IN MODO CHE OGNI CLASSE SIA UNA PARTIZIONE DELL INSIEME FASE 2: APPLICAZIONE - IL MODELLO INDIVIDUATO VIENE UTILIZZATO PER CLASSIFICARE NUOVI DATI datamining 24 2

13 PROBLEMA DI CLASSIFICAZIONE: ESEMPIO FASE : APPRENDIMENTO (TRAINING) MINE CLASSIFICATION CarInsuranceRules AS SELECT DISTINCT RULES ID, *, CLASS FROM CarInsurance CLASSIFY BY Risk FASE 2: APPLICAZIONE MINE CLASSIFICATION TEST ClassifiedApplicants AS SELECT DISTINCT *, CLASS FROM Applicants USING CLASSIFICATION FROM CarInsuranceRules AS RULES datamining 25 PROBLEMA DI CLASSIFICAZIONE: ESEMPIO CarInsuranceRules AGE CAR TYPE RISK 7 sports high 43 family low 68 family low 32 truck low 23 family high 8 family high 20 family high 45 sports high 50 truck low 64 truck high 46 family low 40 family low CarInsurance. IF Age? 23 THEN Risk IS High; 2. IF CarType = sports THEN Risk IS High; 3. IF CarType IN {family, truck} AND Age > 23 THEN Risk IS Low; 4. DEFAULT Risk IS Low AGE CAR TYPE 22 family 60 family 35 sports Applicants MINE MINE CLASSIFICATION CLASSIFICATION TEST TEST AGE CAR TYPE CLASS 22 family high 60 family low 35 sports high ClassifiedApplicants datamining 26 3

14 Discretizzazione Discretizzazione :Rappresentazione di un dominio continuo tramite opportuni valori discreti vantaggi: Rappresentazione compatta dei valori Determinazione di valori critici Facilitazione della analisi dei dati successiva datamining 27 PROBLEMA DI DISCRETIZZAZIONE DISCRETIZZAZIONE SEMPLICE - INTERVALLI DI UGUALE AMPIEZZA IL DOMINIO NUMERICO VIENE SUDDIVISO IN UN ASSEGNATO NUMERO DI INTERVALLI DI UGUALE AMPIEZZA - INTERVALLI DI UGUALE FREQUENZA GLI INTERVALLI SONO PIU STRETTI DOVE I VALORI SONO DENSI E PIU AMPI DOVE I VALORI SONO SPARSI MINE INTERVAL IntervalliDiUgualeAmpiezza AS SELECT DISTINCT ID, LOWER, UPPER GENERATING AssicurazioneAutoDiscreta FROM AssicurazioneAuto DISCRETIZE Età BY WIDTH USING 3 INTERVALS datamining 28 4

15 PROBLEMA DI CLASSIFICAZIONE: ESEMPIO IntervalliDiUgualeAmpiezza AGE CAR TYPE RISK 7 sports high 43 family low 68 family low 32 truck low 23 family high 8 family high 20 family high 45 sports high 50 truck low 64 truck high 46 family low 40 family low AssicurazioneAuto ID LOWER UPPER AGE CAR TYPE RISK sports high truck low 2 family low truck low family low AssicurazioneAutoDiscreta datamining 29 Sintesi dei vari aspetti presenti nella analisi dei dati ambiente: data warehouse modello: multidimensionale estensioni di SQL data cube mine rule tecnologie di base: distribuzione parallelismo replicazione tecnologie specifiche: browser (e visualizzatori) data mining - associazione - discretizzazione - classificazione datamining 30 5