Che cosa è la statistica oggi?

Transcript

1 Metodologie Statistiche a supporto delle decisioni aziendali: Revenue/Yield Management Prof. Massimo Aria Ricercatore in Statistica Sociale Una breve premessa: Che cosa è la statistica oggi? 1

2 Statistica Classica: l inferenza classica I DATI: Dataset collezionati manualmente Dimensione campionaria: da 1 a 100 osservazioni Dimensionalità analisi: da 1 a 10 variabili I dati sono collezionati su supporto cartaceo L analista conosce perfettamente la natura dei dati I dati sono puliti : l intervento umana è presente per ogni osservazione Statistica Classica: L ANALISI I calcoli sono fatti manualmente L analista decide durante l analisi La capacità umana di calcolo limita la dimensione dell analisi Modelli semplici di analisi per ridurre al minimo il costo computazionale Ricorso a distribuzioni normali, binomiali, ecc. Si prende quanto più è possibile dai preziosi e limitati dati collezionati Attento studio delle ipotesi assunte nell analisi Analisi individuale dei valori anomali 2

3 Statistica Classica: GLI OBIETTIVI: Analisi degli errori di misurazione Ricerca dello stimatore più efficiente Analisi dell errore di stima Verifica delle ipotesi: Rispetto ad un parametro della popolazione (media, varianza, ecc.) Rispetto alla uguaglianza tra due popolazioni Regressione: Ricerca della migliore funzione sintesi del legame tra due o più variabili Stima della probabilità di un evento Data Mining: ?? is a nontrivialextraction of implicit, previously unknown, and potentially usefulinformation from data (D.Hand, 2002) 3

4 I DATI: Data Mining: ?? Huge datasetcollezionati in maniera completamente automatica Scienze su larga scala : genetica, analisi spaziale, astronomia, marketing, economia, ecc. web: centinaia di milioni di pagine di testo clickstream data(yahoo!: gigabytes per ora) Molte sorgenti eterogenee di dati Elevata dimensionalità dell analisi Da 100 a 1000 attributi nei database più comuni Possibilità di analizzare le relazioni esistenti tra migliaia di variabili L ANALISI: Data Mining: ?? I dati sono memorizzati su supporto magnetico L analista può toccare con mano solo limitati campioni estratti dal dataset Le elaborazioni sono eseguite totalmente in automatico Computer potenti Algoritmi efficienti (e spesso semplificati) Interventi umani assenti o fortemente limitati Strutture dei dati Di tipo complesso 4

5 Data Mining: ?? Crescita computazionale e riduzione dei costi Capacità comput. Costo Comput le capacità computazionali dei moderni computer raddoppiano ogni 18 mesi Il processo di Scoperta della Conoscenza Knowledge Discovery in Databases (KDD) Fasi: Selezione e pre-trattamento dei dati Trasformazione Data Mining Interpretazione/Valutazione Data Miningè solo una fase del più ampio processo di scoperta della conoscenza!!!!! 5

6 the KDD process Data Mining: ?? CAMPI APPLICATIVI: Marketing Identificazione di frodi Credit scoring Analisi dati web (Web mining, Text mining) Telecomunicazioni Astronomia Sanità Genetica Ecc. 6

7 La problematica: Revenue- Yield Management Modalità di intervento Le metodologie statistiche possono intervenire a supporto delle fasi di: Identificazione del modello di formazione ed evoluzione dei prezzi Definizione delle politiche di differenziazione dei prezzi 7

8 Modalità di intervento Analisi di raggruppamento Modello di regressione Formazione ed evoluzione dei prezzi Assunto teorico delle politiche di pricing legate ad un evento: Il prezzo aumenta all avvicinarsi dell evento 8

9 Formazione ed evoluzione dei prezzi (2) Nella realtà i prezzi si presentano come una nube di punti la cui forma dipende dal tempo ma anche da altri fattori rilevanti: stagionalità, clientela, tipologia della prestazione, ecc. Questi fattori spiegano la deviazione dei prezzi reali rispetto alla forma teorica (la retta) Formazione ed evoluzione dei prezzi (3) In un ottica statistica il problema si concretizza nella: - Stima della retta teorica che spiega la relazione prezzo-tempo - Identificazione e misurazione dell effetto degli altri fattori rilevanti sulla relazione Modello di regressione multipla Stima della funzione lineare che spiega le variazioni in media di una variabile dipendente Y (prezzo) rispetto alle variazione di una serie di variabili esplicative o indipendenti X (i fattori rilevati del modello di pricing: tempo, ecc.) 9

10 Modello di regressione multipla Formulazione del modello y i = β 0 + β 1 x 1i β j x ji +...β k x ki + ε i per i = 1,, T l intercettarappresenta l effetto medio di tutte le variabili escluse dal modelloqualora tutti gli altri parametri fossero uguali a zero il coefficiente di regressione parziale relativo alla variabile Xj, misura il cambiamento in media di Y per una variazione unitaria di Xj mantenendo costanti i valori delle altre variabili. Rappresenta il prezzo minimo (medio) ad un tempo infinitamente lontano dall evento Rappresenta la variazione media del prezzo legata ad una variazione unitaria di uno dei fattori considerati. Prof. Massimo Aria -Seminario su Metodologie Statistiche a supporto delle decisioni aziendali: Revenue/Yield Management. Le ipotesi classiche del modello 1) Non sistematicità degli errori 2) Omoschedasticità degli errori 3) Incorrelazione degli errori 4) Le variabili X sono note 5) Linearità della relazione di causalità La stima del modello La stima dei parametri avviene attraverso l impiego del metodo dei minimi quadrati. Proposto da Gauss, perviene alla stima dei parametri individuando la retta che minimizza la distanza tra i valori osservati della Y e quelli stimati attraverso il modello 10

11 Diagnostica del modello - Identificazione delle variabili esplicative significative (test sui coefficienti di regressione) - Verifica della plausibilità delle ipotesi classiche (test diagnostici) - Analisi della bontà di adattamento del modello Esempio di un possibile output: Room Pricing Fattori considerati: - Tempo in giorni (T) - Prezzo medio competitive-set (Pm) - Stagionalità (Sa-Alta, Sm-media, Sb-bassa) - Tipologia di cliente (B business, L leasure) Il modello stimato (Stima) Prezzo = Prezzo minimo(intercetta) + 1,3*T + 0,8*Pm + 20*Sa + 12*Sm - 31*B La bontà del modello R 2 = 0,85 11

12 Esempio di un possibile output: Room Pricing(2) Interpretazione dei parametri: - T: il prezzo cresce in media di 1,30 per ogni giorno trascorso rispetto alla data dell evento - Pm: Il prezzo cresce in media di 0,80 per ogni euro di aumento del prezzo medio applicato del competitive-set - Stagionalità Sa: (rispetto a Sb incluso nell intercetta) il prezzo in alta stagione è in media maggiore di 20 rispetto ai periodi di bassa stagione - Stagionalità Sm: (rispetto a Sb incluso nell intercetta) il prezzo in media stagione è in media maggiore di 12 rispetto ai periodi di bassa stagione - Tipologia B business: (rispetto a Leasure incluso nell intercetta) il prezzo applicato ai clienti Business è in media minore di 31 rispetto a quello applicato ai clienti leasure Cambia il coefficiente Cambia l intercetta!! Differenziazione dei prezzi La differenziazione dei prezzi consente di cogliere le opportunità del mercato alla luce della disponibilità limitata delle risorse. -Presupposti: esistenza di un delta positivo tra il rendimento frutto della differenziazione e il rendimento risultante da una politica di prezzi omogenei esistenza di una segmentazione nella popolazione di clienti che sia identificata o identificabile con limitate risorse Ciò implica la necessità di identificare una segmentazione ottimale in termini di: a) gruppi (cluster) di clienti che abbiano una differente propensione di acquisto b) Prezzi da applicare ad ogni gruppo di clienti 12

13 Metodi statistici di classificazione In statistica, con il termine classificazione si intende l insieme delle attività che, facendo uso di un algoritmo di analisi dei dati, individuano una rappresentazione di alcune caratteristiche di una entità da classificare (il cliente) e le associano ad una etichetta classificatoria (il gruppo di appartenenza). Metodi di classificazione: Nell ambito dei metodi statistici di classificazione si è soliti distinguere tra classificazione non supervisionata e classificazione supervisionata. I primi, anche detti metodi di analisi dei gruppi (Cluster Analysis), ricercano negli oggetti una struttura appunto a gruppi che non esiste o almeno non è nota a priori. I secondi (metodi di segmentazione) mirano ad individuare quali attributi determinano l appartenenza di un oggetto all uno o all altro di G gruppi predefiniti. Cluster Analysis L Analisi dei Gruppi (Cluster Analysis, CA) consiste in un insieme di tecniche statistiche atte ad individuare gruppi di unità tra loro simili rispetto ad un insieme di caratteri presi in considerazione, e secondo uno specifico criterio. L'obiettivo che ci si pone è sostanzialmente quello di riunire unità tra loro eterogenee in più sottoinsiemi tendenzialmente omogenei e mutuamente esaustivi. Le unità statistiche vengono, in altri termini, suddivise in un certo numero di gruppi a seconda del loro livello di somiglianza valutata a partire dai valori che una serie di variabili prescelte assume in ciascuna unità. 13

14 Cluster Analysis L'applicazione della cluster analysissi articola in alcune fasi fondamentali che prescindono dallo specifico algoritmo scelto per l analisi: 1) La scelta delle variabili di classificazione 2) La scelta di una adeguata misura della dissomiglianza esistente fra le unità statistiche 3) La scelta dell algoritmo di raggruppamento I Criteri di raggruppamento Gerarchici Prevedono la individuazione di n partizioni ciascuna caratterizzata da un diverso numero k di gruppi (k = 1,...,n); le partizioni individuate costituiscono una struttura gerarchica di raggruppamento Non gerarchici Prevedono la individuazione di una sola partizione delle unità in k gruppi, dove k può essere fissato a- priori o derivare dal processo di raggruppamento stesso 14

15 Nell albero di classificazione, le unità, i gruppi di unità, i gruppi dei gruppi di unità rappresentano i nodi dell albero Cluster gerarchica Dendrogramma Scelta del livello di taglio x x x In corrispondenza di ciascun taglio si osserva una partizione con un determinato numero di k. Prof. Massimo Aria - Seminario su Metodologie Statistiche a supporto delle decisioni aziendali: Cluster non gerarchica: Metodo delle K-medie Perviene ad una partizione dell insieme di unità attraverso un procedimento iterativo che, a partire da una soluzione iniziale arbitraria, la migliora fino a pervenire a quella ottima, definita tale in base ad un determinato criterio. L algoritmo richiede generalmente poche iterazioni e consente il trattamento di grossi insiemi di dati. NB. Il numero delle classi deve essere fissato a priori La soluzione dipende dalle assegnazioni(nuclei) iniziali 15

16 Metodo delle k-medie 1. Definizione del numero delle classi e selezione delle unità rappresentative 2. Calcolo delle distanze tra i nuclei e le unità attribuite al punto più vicino 3. Definizione dei nuovi nuclei per ciascuna classe considerando le unità più vicine al centroide del gruppo 4. Calcolo delle distanze tra i nuovi nuclei e le unità statistiche allocate ai gruppi più vicini 5. Ripetizione dei passi 2:4 fino alla convergenza ad una soluzione stabile Esempio di segmentazione: clientela di un hotel Fattori considerati: - Frequenza dei soggiorni - Durata dei soggiorni - Categoria camera prescelta - Servizi aggiuntivi richiesti - Quantità di pasti consumati - Ecc. Obiettivo: 1) Ricercare tipologie di clienti simili rispetto ai fattori considerati 2) Descrivere la relazione tra segmenti individuati e prezzi applicati in passato 3) Identificare i prezzi da applicare ai vari segmenti 16

17 Esempio di segmentazione: un hotel (2) Fattori Cluster 1 Cluster 2 Cluster 3 Etichetta Business High Leasure Low leasure Frequenza soggiorni > 5 l anno 1 1 Durata 2-3 giorni 7 giorni 2-3 giorni Categoria Alta-media Alta Medio-bassa Servizi Connessione, Fax, Disponibilità sala riunioni, ecc. Trasferim., info turistiche, ecc. Nessuno Pasti Quotidiani Solo serali nessuno Ecc. Prezzi medi Stima del modello di evoluzione dei prezzi per ogni cluster Prof. Massimo Aria - Seminario su Metodologie Statistiche a supporto delle decisioni aziendali: Alcune considerazioni Le politiche aziendali, supportate dall evidenza empirica, non possono prescindere da alcune considerazioni su: Disponibilità dei dati di interesse (es. dati su prezzi,% occupazione, ecc. relativi al competitive set) Qualità dei dati oggetto dell analisi (es. valori mancanti, outliers, codifica eterogenea, ecc.) Tempestività dell analisi rispetto ai dati disponibili 17