Indice. Prefazione PARTE I METODOLOGIA 17

Transcript

1 Prefazione XI Capitolo 1 Introduzione Cos è il data mining? Data mining e informatica Data mining e statistica Il processo del data mining Software per il data mining Organizzazione del testo Parte metodologica Casi aziendali Riferimenti per il data mining 15 PARTE I METODOLOGIA 17 Capitolo 2 Organizzazione dei dati Dal data warehouse al data mart Il data warehouse Il data webhouse Data mart Classificazione dei dati Costruzione della matrice dei dati Binarizzazione della matrice dei dati Distribuzioni di frequenza Distribuzioni univariate 27

2 VI Tabelle a doppia entrata Trasformazione dei dati Altre strutture organizzative dei dati Approfondimenti 34 Capitolo 3 Analisi esplorativa dei dati Analisi esplorativa univariata Indici di posizione Indici di variabilità Indici di eterogeneità Indici di concentrazione Indici di asimmetria Indici di curtosi Analisi esplorativa bivariata Analisi multivariata di dati quantitativi Analisi multivariata di dati qualitativi Indipendenza e associazione Indici di connessione Indici di dipendenza Indici modellistici Riduzione della dimensionalità Interpretazione delle componenti principali Applicazione del metodo delle componenti principali Approfondimenti 77 Capitolo 4 Metodi computazionali per il data mining Misure di distanza Distanza euclidea Indici di similarità Multidimensional scaling Analisi di raggruppamento Metodi gerarchici di classificazione Valutazione della classificazione con metodi gerarchici Metodi non gerarchici di classificazione Regressione lineare Regressione lineare semplice Proprietà dei residui della retta di regressione Bontà dell adattamento Regressione lineare multipla Regressione logistica Interpretazione della regressione logistica Analisi discriminante Analisi di segmentazione Criteri divisivi 121

3 VII Criteri di arresto Reti neurali Architettura di una rete neurale Il percettrone multistrato Reti di Kohonen Modelli nearest neighbour Modelli locali Regole associative Retrieval by content Approfondimenti 150 Capitolo 5 Modelli statistici per il data mining Misure di incertezza e inferenza Probabilità Modelli statistici Inferenza statistica Modelli non parametrici Il modello lineare normale Principali risultati inferenziali Applicazione Modelli lineari generalizzati La famiglia esponenziale Definizione di modello lineare generalizzato Il modello di regressione logistica Applicazione Modelli log lineari Costruzione di un modello log lineare Interpretazione del modello log lineare Modelli grafici log lineari Confronti tra modelli log lineari Applicazione Modelli grafici Modelli grafici simmetrici Modelli ricorsivi grafici Confronto fra modelli grafici e reti neurali Approfondimenti 220 Capitolo 6 Valutazione dei metodi di data mining Criteri basati su test statistici Distanza fra modelli statistici Discrepanza di un modello statistico Discrepanza di Kullback-Leibler Criteri basati su funzioni punteggio Criteri bayesiani 232

4 VIII 6.4 Criteri computazionali Criteri basati su funzioni di perdita Approfondimenti 242 PARTE II APPLICAZIONI 245 Capitolo 7 Market basket analysis Obiettivi dell analisi Descrizione dei dati Analisi esplorativa Costruzione del modello Modelli log lineari Regole associative Confronto tra modelli Riassunto dell analisi svolta 266 Capitolo 8 Analisi clickstream Obiettivi dell analisi Descrizione dei dati Analisi esplorativa Costruzione del modello Regole sequenziali Link analysis Sistemi esperti probabilistici Catene di Markov Confronto tra modelli Riassunto dell analisi svolta 293 Capitolo 9 Analisi dei comportamenti di visita a un sito web Obiettivo dell analisi Descrizione dei dati Analisi esplorativa Costruzione del modello Cluster analysis Le reti di Kohonen Confronto dei modelli Riassunto dell analisi svolta 312 Capitolo 10 Customer relationship management Obiettivo dell analisi 315

5 IX 10.2 Costruzione della matrice dei dati Variabile risposta Costruzione del modello Modelli di regressione logistica Modello di rete neurale Alberi decisionali Modelli nearest neighbour Confronto tra modelli Riassunto dell analisi svolta 332 Captiolo 11 Valutazione e classificazione del merito creditizio Obiettivi dell analisi Descrizione e classificazione dei dati Analisi esplorativa Costruzione dei modelli Modello di regressione logistica Alberi di classificazione Percettrone multistrato Confronto dei modelli Riassunto dell analisi svolta 364 Capitolo 12 Previsione degli ascolti televisivi Obiettivi di analisi Descrizione dei dati Analisi esplorativa Costruzione del modello Confronto fra modelli Riassunto dell analisi svolta 393 Bibliografia 395 analitico 399

6

7 Prefazione Questo testo è la seconda edizione (già pubblicata in lingua inglese) di Data mining. Metodi statistici per le applicazioni aziendali, pubblicato nel settembre Rispetto alla prima edizione, l attuale versione si caratterizza per un taglio maggiormente informatico, nella prima parte del testo, e un più sistematico e omogeneo trattamento dei casi di studio, nella seconda parte. Oltre, naturalmente, all inserimento degli argomenti, di ricerca e applicativi, emersi negli ultimi anni. Il testo si compone di due parti principali. La prima, di carattere prevalentemente metodologico, descrive in modo sistematico l attività di data mining, intesa come processo di analisi di basi di dati orientato a produrre dei risultati utili per le decisioni. Dopo un capitolo introduttivo, si illustrano alcuni aspetti preliminari relativi all organizzazione dei dati. Segue un capitolo che espone, sebbene in modo sintetico, gli aspetti salienti relativi alla fase preliminare di esplorazione dei dati. I due capitoli centrali descrivono le principali metodologie impiegate nel data mining. Dapprima quelle di tipo computazionale, che non richiedono necessariamente l assunzione di modelli statistico-probabilistici: analisi di raggruppamento e segmentazione, reti neurali, analisi delle associazioni. Quindi quelle più statistiche, nel senso della necessaria modellazione probabilistica, che permette di ottenere dei risultati di tipo inferenziale: modelli di regressione lineare e logistica, modelli log lineari, modelli grafici. L ultimo capitolo metodologico riguarda il tema della valutazione dei metodi di data mining. Tale tema è di particolare importanza, in un ottica orientata alla usabilità dei risultati, tipica del data mining. La seconda parte del testo contiene una serie di casi, che illustrano sul campo i metodi statistici per le applicazioni di data mining. Sono stati scelti sei casi reali, rappresentativi delle applicazioni più frequenti in ambito economico-aziendale. I casi scelti riguardano: la ricerca delle associazioni negli scontrini di acquisto, la previsione dei percorsi di visita a un sito di e-commerce, la segmentazione comportamentale, la stima del rischio di credito, il marketing relazionale (churn e retention) e, infine, la previsione dell audience televisiva. I casi sono stati realizzati utilizzando il software applicativo SAS che costituisce, pertanto, il principale riferimento del testo.

8 XII Prefazione Il testo contiene, nonostante il recentissimo sviluppo della tematica trattata, un ampia bibliografia di riferimento. Ogni capitolo è corredato da un appendice nella quale si rimandano gli interessati a letture di approfondimento specifiche. Per le caratteristiche descritte, si ritiene che questo libro di testo sia indicato soprattutto a due tipologie di lettori. Da un lato studenti universitari che abbiano preferibilmente seguito almeno un corso di analisi statistica dei dati e/o di gestione di basi di dati, e vogliano applicare quanto appreso a problematiche di attualità in ambito aziendale. Da questo punto di vista, il materiale contenuto nel testo corrisponde all incirca al contenuto di un corso annuale, da tenersi al terzo anno di un corso di laurea (tipicamente di carattere informatico o statistico) oppure al primo anno di un corso di laurea specialistico (tipicamente di carattere economico-aziendale o ingegneristico-gestionale). Dall altro lato, il testo è adatto a professionisti e specialisti aziendali (particolarmente nelle aree Information Technology, Marketing e Risk Management) che abbiano maturato esperienza in problemi applicativi per i quali l attività di data mining risulti strategica. Per quest ultima tipologia di lettori può essere appropriato, in relazione allo scarso tempo disponibile, un ordine di lettura inverso: dalla parte applicativa a quella metodologica. Da ultimo, l Autore sarà grato a tutti coloro i quali volessero segnalare eventuali imprecisioni, omissioni e sviste, ovvero siti e riferimenti bibliografici di interesse, all indirizzo di posta elettronica: giudici@unipv.it. Ringraziamenti Desidero ringraziare innanzitutto le dott.sse Paola Cerchiello, Luciana Dalla Valle e Silvia Figini, per l attenta e scrupolosa traduzione dell edizione italiana. Voglio ringraziare anche gli studenti dell Università di Pavia, perché è il contatto quotidiano con loro che mi ha aiutato a realizzare e migliorare questo lavoro. In particolare, ringrazio i laureandi che hanno contribuito direttamente al progetto, mediante lavori di tesi riguardanti applicazioni reali di data mining, che hanno fornito la base di partenza del materiale contenuto nei casi applicativi. Ringrazio inoltre tutti i collaboratori, interni ed esterni, del laboratorio di data mining dell Università di Pavia, da me coordinato, perché è attraverso il continuo ascolto e confronto dei problemi reali e delle relative soluzioni applicative che ho acquisito una considerevole esperienza nel settore. Desidero infine ringraziare la casa editrice McGraw-Hill per avermi proposto la realizzazione di questo testo. In particolare, ringrazio Chiara Tartara e Alessandra Porcelli, per il prezioso e costante supporto e collaborazione nella redazione e revisione dell opera. Da ultimo, il ringraziamento più importante va a mia moglie Angela e a mio figlio Tommaso, che sono i miei principali riferimenti che hanno pazientemente incoraggiato lo sviluppo e la realizzazione di questo progetto. Pavia, 18 marzo 2005 Paolo Giudici