5. La Market Basket Analysis

Transcript

1 5. La Market Basket Analysis Riccardo Massari Metodi statistici per il Marketing Luiss, Roma R. Massari (Docente: P. D'Urso) 5. MBA / 51

2 Cosa impareremo sulla Market Basket Analysis 1 La Market Basket Analysis Introduzione e denizioni Frequenza degli itemset Le regole associative 2 Data mining delle regole associative 3 Tabelle di contingenza e Market Basket Analysis Il lift 4 MBA e R 5 Esercizi R. Massari (Docente: P. D'Urso) 5. MBA / 51

3 Sommario 1 La Market Basket Analysis Introduzione e denizioni Frequenza degli itemset Le regole associative 2 Data mining delle regole associative 3 Tabelle di contingenza e Market Basket Analysis Il lift 4 MBA e R 5 Esercizi R. Massari (Docente: P. D'Urso) 5. MBA / 51

4 Market Basket Analysis Nel Data Mining, le regole associative (Association Rules) sono un metodo per individuare regolarità e ricorrenze in grandi database. Le regole associative trovano largo uso nell'analisi delle transazioni commerciali. In questo caso si parla di Market Basket Analysis. R. Massari (Docente: P. D'Urso) 5. MBA / 51

5 Ad esempio, ogni volta che un cliente eettua un acquisto (transazione) vengono raccolte informazioni, come la lista dei prodotti (item) presenti nel carrello della spesa (market basket). Questi dati vengono raccolti in un database di transazioni. Con le tecniche del Data Mining è possibile studiare le relazioni tra i prodotti presenti in queste transazioni. Queste relazioni sono dette regole associative. R. Massari (Docente: P. D'Urso) 5. MBA / 51

6 Un po' di terminologia e notazioni Indichiamo con: item un prodotto o un servizio; I l'insieme di tutti gli item (ad esempio, tutti i prodotti disponibili in un supermercato); t j la generica transazione, che contiene alcuni degli item in I (l'elenco dei prodotti acquistati da un cliente); D il database che contiene tutte le transazioni osservate in un certo ambito spazio-temporale (tutte le transazioni avvenute in un supermercato in un giorno). R. Massari (Docente: P. D'Urso) 5. MBA / 51

7 Un esempio di database di transazioni Consideriamo un semplice esempio con 8 transazioni: TID Items (prodotti acquistati) 1 Pane, Latte, Burro 2 Pane, Latte, Carne, Olio 3 Latte, Carne, Frutta 4 Carne, Olio, Frutta 5 Pane, Burro, Olio, Frutta 6 Latte, Frutta 7 Pane, Burro, Olio, Carne, Frutta 8 Latte, Olio, Carne Ciascuna riga della tabella è riferita ad una transazione del database. L'insieme di tutti gli item è I =(Pane, Latte, Burro, Carne, Olio, Frutta). R. Massari (Docente: P. D'Urso) 5. MBA / 51

8 Itemset e transazioni Un itemset X è un generico insieme di item, X I. Una transazione contiene l'itemset X se X è un sottoinsieme della transazione, ossia: t j X Nel nostro esempio, possibili itemset sono (Pane, Olio) o (Carne, Frutta). La seconda transazione dell'esempio, (Pane, Latte, Carne, Olio), contiene l'itemset (Pane, Olio) ma non l'itemset (Carne, Frutta). R. Massari (Docente: P. D'Urso) 5. MBA / 51

9 Obiettivi della Market Basket Analysis Gli obiettivi della Market Basket Analysis possono essere così riassunti: 1 vericare con quale frequenza alcuni itemset sono presenti nelle transazioni osservate; 2 vericare con quale frequenza alcuni itemset sono presenti nelle transazioni osservate congiuntamente ad altri itemset. Per il primo punto, si calcola la frequenza di un itemset. Per il secondo punto si utilizzano le regole associative. R. Massari (Docente: P. D'Urso) 5. MBA / 51

10 Frequenza La frequenza (support count) dell'itemset X, è il numero di transazioni di un database che contengono l'itemset X, e viene indicata con σ(x ) Consideriamo l'itemset (Pane, Olio) e il database di transazioni di esempio. La sua frequenza è σ(pane, Olio)=3, dal momento che compare nelle transazioni 2, 5 e 7. TID Items (prodotti acquistati) 1 Pane, Latte, Burro 2 Pane, Latte, Carne, Olio 3 Latte, Carne, Frutta 4 Carne, Olio, Frutta 5 Pane, Burro, Olio, Frutta 6 Latte, Frutta 7 Pane, Burro, Olio, Carne, Frutta 8 Latte, Olio, Carne R. Massari (Docente: P. D'Urso) 5. MBA / 51

11 Frequenza relativa La frequenza relativa, o supporto, di un itemset è: s(x ) = σ(x ) m dove m è il numero di transazioni osservate. La frequenza relativa è la frazione di transazioni che contengono un itemset. La frequenza relativa dell'itemset (Pane, Olio) è s(pane, Olio)=3/8=0.38. R. Massari (Docente: P. D'Urso) 5. MBA / 51

12 Itemset frequenti Un itemset si dice frequente (frequent itemset) se la sua frequenza relativa è maggiore o uguale ad un certo valore soglia (minsup) pressato. Nell'esempio, supponiamo che sia stato ssato minsup = 0.5. L'itemset (Pane, Olio) non è frequente. Esiste qualche itemset frequente? Vericare per esercizio (suggerimento: ricordare che un itemset può anche essere composto da un solo item). R. Massari (Docente: P. D'Urso) 5. MBA / 51

13 Regola associativa Siano dati due itemset, X e Y, tali che: 1 sia X che Y siano sottoinsiemi dell'insieme I (insieme di tutti gli item presenti nel database delle transazioni); 2 X e Y non hanno elementi in comune. Una regola associativa tra i due itemset è denita come una implicazione, dalla forma X Y che si legge se si verica X, allora si verica Y. L'itemset X è detto l'antecedente della regola (lhs, left hand side). L'itemset Y è detto il conseguente della regola (rhs, right hand side). R. Massari (Docente: P. D'Urso) 5. MBA / 51

14 Esempio Dato il nostro esempio, una possibile regola associativa è: (Pane, Olio) (Carne) Data questa regola, ci si può chiedere quanto spesso i clienti comprano la carne insieme al pane e all'olio. Inoltre, tra i clienti che comprano pane ed olio, quanti comprano anche la carne? R. Massari (Docente: P. D'Urso) 5. MBA / 51

15 Metriche delle regole associative Per valutare la forza di una regola associativa sono necessari degli indici che ne valutino le caratteristiche. Questi indici sono anche detti metriche. Le metriche più utilizzate per valutare una regola associativa X Y sono: 1 Supporto; 2 Condenza. R. Massari (Docente: P. D'Urso) 5. MBA / 51

16 Supporto di una regola associativa Il supporto di una regola associativa è la frazione di transazioni che contengono sia X che Y sul totale delle transazioni s(x Y ) = σ(x Y ) m Con riferimento all'esempio già visto, il supporto della regola (Pane, Olio) (Carne) è 2/8=0.25, dal momento che i tre prodotti sono presenti in due transazioni (2 e 7) su otto. TID Items (prodotti acquistati) 1 Pane, Latte, Burro 2 Pane, Latte, Carne, Olio 3 Latte, Carne, Frutta 4 Carne, Olio, Frutta 5 Pane, Burro, Olio, Frutta 6 Latte, Frutta 7 Pane, Burro, Olio, Carne, Frutta 8 Latte, Olio, Carne R. Massari (Docente: P. D'Urso) 5. MBA / 51

17 Osservazione Tutte le regole associative generate dallo stesso itemset hanno lo stesso supporto, pari alla frequenza relativa dell'itemset. L'itemset (Pane, Olio, Carne) ha frequenza relativa pari a 0.25, e genera le seguenti 6 regole, tutte con supporto pari a 0.25 (controllare per esercizio). Regola associativa Supporto (Pane, Olio) (Carne) s = 0.25 (Pane, Carne) (Olio) s = 0.25 (Carne, Olio) (Pane) s = 0.25 (Pane) (Carne, Olio) s = 0.25 (Carne) (Pane, Olio) s = 0.25 (Olio) (Pane, Carne) s = 0.25 R. Massari (Docente: P. D'Urso) 5. MBA / 51

18 Condenza di una regola associativa La condenza di una regola associativa misura quanto spesso gli item in Y compaiono nelle transazioni che contengono X c(x Y ) = σ(x Y ) σ(x ) La condenza della regola (Pane, Olio) (Carne) è 2/3=0.67, ossia la carne è presente in due delle tre transazioni in cui sono presenti pane e olio. TID Items (prodotti acquistati) 1 Pane, Latte, Burro 2 Pane, Latte, Carne, Olio 3 Latte, Carne, Frutta 4 Carne, Olio, Frutta 5 Pane, Burro, Olio, Frutta 6 Latte, Frutta 7 Pane, Burro, Olio, Carne, Frutta 8 Latte, Olio, Carne R. Massari (Docente: P. D'Urso) 5. MBA / 51

19 Simmetria delle metriche Il supporto è una metrica simmetrica: s(x Y ) = σ(x Y ) m La condenza non è simmetrica: c(x Y ) = σ(x Y ) σ(x ) = σ(y X ) m σ(y X ) σ(y ) = s(y X ) = c(y X ) Osservazione: c(x Y ) = c(y X ) se e solo se σ(x ) = σ(y ) R. Massari (Docente: P. D'Urso) 5. MBA / 51

20 Sommario 1 La Market Basket Analysis Introduzione e denizioni Frequenza degli itemset Le regole associative 2 Data mining delle regole associative 3 Tabelle di contingenza e Market Basket Analysis Il lift 4 MBA e R 5 Esercizi R. Massari (Docente: P. D'Urso) 5. MBA / 51

21 Data mining delle regole associative Indichiamo con minsup e minconf valori soglia predeniti per il supporto e la condenza, rispettivamente. Un primo approccio per il data mining delle regole associative è il seguente: Association rules mining problem - Brute Force approach Dato un database di transazioni, il problema del data mining delle regole associative consiste nell'individuare all'interno del database tutte le regole X Y tali che: s(x Y ) minsup c(x Y ) minconf R. Massari (Docente: P. D'Urso) 5. MBA / 51

22 Osservazione Questa procedura è molto impegnativa dal punto di vista computazionale. Come osservato precedentemente, tutte le regole associative generate dallo stesso itemset hanno lo stesso supporto. Se l'itemset che genera un dato insieme di regole non è frequente, possiamo evitare di considerare tutte le regole generate da questo itemset, perché sicuramente non soddisfano il requisito: s(x Y ) minsup Questo approccio riduce drasticamente il numero di regole da considerare. R. Massari (Docente: P. D'Urso) 5. MBA / 51

23 Esempio Tornando all'esempio precedente: Regola associativa Supporto Condenza (Pane, Olio) (Carne) s = 0.25 c=0.67 (Pane, Carne) (Olio) s = 0.25 c=0.67 (Carne, Olio) (Pane) s = 0.25 c=0.5 (Pane) (Carne, Olio) s = 0.25 c=0.5 (Carne) (Pane, Olio) s = 0.25 c=0.4 (Olio) (Pane, Carne) s = 0.25 c=0.4 Se minsup = 0.5 possiamo eliminare dall'analisi le 6 regole. R. Massari (Docente: P. D'Urso) 5. MBA / 51

24 Data mining delle regole associative: Two step approach Un approccio alternativo è il seguente: Two step approach 1 generare un elenco di tutti gli itemset frequenti; 2 generare le regole a partire dagli itemset frequenti e considerare solo quelle che hanno condenza maggiore o uguale a minconf (regole forti). R. Massari (Docente: P. D'Urso) 5. MBA / 51

25 Generazione degli itemset frequenti Considerare solo gli itemset frequenti sposta il problema computazionale dal dominio delle regole a quello degli itemset. Occorrerebbe calcolare la frequenza di ogni itemset. Potenzialmente, un insieme I di n item può generare no a M = 2 n 1 itemset frequenti, detti itemset candidati. R. Massari (Docente: P. D'Urso) 5. MBA / 51

26 Se l'insieme I è composto di 5 items, gli itemset da controllare sono 31, come nella gura sottostante. Fonte: Tan et al. (2006) Introduction to Data Mining. R. Massari (Docente: P. D'Urso) 5. MBA / 51

27 Apriori principle La complessità computazionale della generazione degli itemset frequenti può essere semplicata grazie al seguente principio. Teorema: Apriori principle Se un itemset è frequente, allora anche tutti i suoi sottoinsiemi sono frequenti. Da questo teorema deriva che se un itemset non è frequente, allora neanche gli insiemi che lo contengono (supeset) sono frequenti. R. Massari (Docente: P. D'Urso) 5. MBA / 51

28 Rappresentazione graca dell'apriori principle/1 Fonte: Tan et al. (2006) Se (c, d, e) è un itemset frequente, tutti gli itemset in esso contenuti sono anch'essi frequenti. R. Massari (Docente: P. D'Urso) 5. MBA / 51

29 Rappresentazione graca dell'apriori principle/2 Fonte: Tan et al. (2006) Se (a, b) non è frequente, tutti gli itemset che lo contengono sono non frequenti e possono essere eliminati (support-based pruning). R. Massari (Docente: P. D'Urso) 5. MBA / 51

30 Sommario 1 La Market Basket Analysis Introduzione e denizioni Frequenza degli itemset Le regole associative 2 Data mining delle regole associative 3 Tabelle di contingenza e Market Basket Analysis Il lift 4 MBA e R 5 Esercizi R. Massari (Docente: P. D'Urso) 5. MBA / 51

31 Database di transazioni in forma binaria Un database di transazioni può anche essere rappresentato in forma binaria, con una matrice di dati in cui le colonne sono gli item, le righe le transazioni. Si assegna un valore pari a 1 ad un item se è presente in una transazione, 0 altrimenti. In questo modo ciascun item è rappresentato da una variabile binaria. R. Massari (Docente: P. D'Urso) 5. MBA / 51

32 Nel nostro esempio: TID Pane Latte Burro Carne Olio Frutta R. Massari (Docente: P. D'Urso) 5. MBA / 51

33 Tabella di contingenza Il confronto tra due item X e Y (o tra due itemset, più in generale) può essere eettuato tramite una tabella di contingenza del tipo: Y X 0 1 TOT. 0 n 00 n 01 n 0. 1 n 10 n 11 n 1. TOT. n.0 n.1 n dove (in particolare): n 11 è il numero di transazioni in cui compare sia X che Y. n 1. è il numero complessivo di transazioni in cui compare X (frequenza, o support count, di X ). n.1 è il numero complessivo di transazioni in cui compare Y (frequenza, o support count, di Y ). n è il numero totale di transazioni. R. Massari (Docente: P. D'Urso) 5. MBA / 51

34 Esempio Siano X =Pane e Y =Latte. La tabella di contingenza che rappresenta le transazioni con riferimento a questi due item è la seguente: Latte Pane 0 1 TOT TOT Ad esempio, n 11 = 2 rappresenta il totale di transazioni in cui sono stati acquistati sia il pane che il latte. n 1. = 4 è il totale di transazioni in cui è stato acquistato il pane, mentre n.1 = 5 è il totale di quelle in cui è stato acquistato il latte. R. Massari (Docente: P. D'Urso) 5. MBA / 51

35 Supporto e condenza per tabelle di contingenza Le formule per il calcolo del supporto e della condenza della regola associativa X Y diventano: s(x Y ) = n 11 n c(x Y ) = n 11 n 1. c(y X ) = n 11 n.1 R. Massari (Docente: P. D'Urso) 5. MBA / 51

36 Esempio Latte Pane 0 1 TOT TOT Nel nostro esempio, considerando la regola associativa Pane Latte, abbiamo che: s = 2 = 0.25, ossia il 25% dei clienti acquistano sia pane che latte. 8 c = 2 = 0.5, per cui il 50% dei clienti che hanno acquistato il pane 4 hanno acquistato anche il latte. c(latte Pane) = 2 = R. Massari (Docente: P. D'Urso) 5. MBA / 51

37 Osservazione La condenza di una regola può portare a risultati fuorvianti. Consideriamo la seguente tabella di contingenza, dove vengono riportati i consumi di vino e bevande analcoliche su un campione di 1000 persone. Bevande Vino 0 1 TOT TOT Il supporto della regola Vino Bevande è = 175/1000 = La condenza è 175/250 = 0.7. Se ssiamo minsup = 0.15 e minconf = 0.5, la regola considerata è forte. R. Massari (Docente: P. D'Urso) 5. MBA / 51

38 Osserviamo che la percentuale di chi acquista bevande analcoliche, indipendentemente dal fatto che acquisti vino o meno, è pari a 800/1000, ossia 80%. Questa percentuale è più elevata di quella di chi acquista bevande analcoliche tra i consumatori di vino, 70% (condenza). Consumare vino riduce, anche se di poco, la probabilità di acquistare bevande analcoliche, contrariamente a quanto suggerito dalla regola forte Vino Bevande. Il problema è che la condenza non tiene conto della correlazione esistente tra i due itemset della regola di associazione. R. Massari (Docente: P. D'Urso) 5. MBA / 51

39 Lift della regola associativa Una misura che tiene conto della correlazione tra itemset è il lift. Il lift della regola di associazione X Y è dato da: l(x Y ) = n 11/n 1. n.1 /n = n 11 n 11 dove n = n 1. n.1 11 è la frequenza congiunta attesa in caso di n indipendenza tra le due variabili binarie. R. Massari (Docente: P. D'Urso) 5. MBA / 51

40 Interpretazione del lift Se l > 1 c'è una associazione positiva tra gli itemset X e Y. Se l = 1 l'itemset X è indipendente dall'itemset Y. Se l < 1 c'è una associazione negativa tra gli itemset X e Y. Nell'esempio, anzitutto osserviamo che n 11 = = 200 e quindi l = 175/200 = 0.875, il che mostra una relazione negativa tra il consumo di bevande analcoliche e quello del vino. R. Massari (Docente: P. D'Urso) 5. MBA / 51

41 Sommario 1 La Market Basket Analysis Introduzione e denizioni Frequenza degli itemset Le regole associative 2 Data mining delle regole associative 3 Tabelle di contingenza e Market Basket Analysis Il lift 4 MBA e R 5 Esercizi R. Massari (Docente: P. D'Urso) 5. MBA / 51

42 Market Basket Analysis con R Il pacchetto arules fornisce gli strumenti per l'analisi di database con la Market Basket Analysis (insieme al pacchetto arulesviz, per la visualizzazione dei risultati). Un tutorial molto interessante, si trova al seguente indirizzo: R. Massari (Docente: P. D'Urso) 5. MBA / 51

43 Sommario 1 La Market Basket Analysis Introduzione e denizioni Frequenza degli itemset Le regole associative 2 Data mining delle regole associative 3 Tabelle di contingenza e Market Basket Analysis Il lift 4 MBA e R 5 Esercizi R. Massari (Docente: P. D'Urso) 5. MBA / 51

44 Esercizio 1 Data la seguente tabella di contingenza: verdure surgelati 0 1 Tot Tot calcolare il supporto della regola verdure surgelati; 2 calcolarne la condenza; 3 calcolarne il lift. R. Massari (Docente: P. D'Urso) 5. MBA / 51

45 Soluzioni esercizio 1 1 Supporto Condenza Lift R. Massari (Docente: P. D'Urso) 5. MBA / 51

46 Esercizio 2 Data la seguente tabella di contingenza: birra pannolini 0 1 Tot Tot calcolare il supporto della regola pannolini birra; 2 calcolarne la condenza; 3 calcolarne il lift. R. Massari (Docente: P. D'Urso) 5. MBA / 51

47 Soluzioni esercizio 2 1 Supporto Condenza Lift R. Massari (Docente: P. D'Urso) 5. MBA / 51

48 Esercizio 3 Data la seguente tabella di contingenza: olio burro 0 1 Tot Tot calcolare il supporto della regola burro olio; 2 calcolarne la condenza; 3 calcolarne il lift. R. Massari (Docente: P. D'Urso) 5. MBA / 51

49 Soluzioni esercizio 3 1 Supporto Condenza Lift R. Massari (Docente: P. D'Urso) 5. MBA / 51

50 Esercizio 4 Data la seguente tabella di contingenza: carne pesce 0 1 Tot Tot calcolare il supporto della regola carne pesce; 2 calcolarne la condenza; 3 calcolarne il lift. R. Massari (Docente: P. D'Urso) 5. MBA / 51

51 Soluzioni esercizio 4 1 Supporto Condenza Lift R. Massari (Docente: P. D'Urso) 5. MBA / 51