The Business Game for Data Scientists

Transcript

1 The Business Game for Data Scientists Istruzioni Career Service UniPD & Bee-Viva 19 Aprile 2016 Dipartimento di Scienze Statistiche Università degli Studi di Padova

2 Sommario 1 2 Business Game 3 Evaluation 4 Real time feedback

3 Chi UniPD Career Service Bee Viva (spin-off UniPD) 10 Aziende Banco Popolare Contentwise Generali Gruppo Agsm Kpmg Pwc Salvagnini Sanmarco Informatica Unicredit Business Integrated Solutions Unox

4 Come funziona Mattina: Presentazione del Business problem L intera mattina per presentare il vostro miglior modello di predizione Valutazione del vostro operato da parte di bee-viva Pomeriggio: colloqui con le aziende per i migliori classificati

5 Sommario 1 2 Business Game 3 Evaluation 4 Real time feedback

6 Business Game I business games sono delle competizioni caratterizzate da un contesto simulato di natura aziendale dove i partecipanti si confrontano con problematiche manageriali. The Business Game for Data Scientist si distingue nell affrontare il business problem con un approccio data driven.

7 Business game for Data Scientists Lo scenario proposto in Business game for Data Scientists è quello di una compagnia che opera nel settore delle telecomunicazioni. La Direzione intende promuovere una campagna volta a incrementare l upsell, l acquisto di prodotti di maggior valore rispetto a quelli inizialmente acquistati dai suoi clienti. L estensione della garanzia, l acquisto di un prodotto di gamma superiore o la sostituzione del prodotto con uno dal margine più alto, sono tutti esempi positivi di upsell.

8 Business problem Nella fase di pianificazione della campagna promozionale viene chiesto al data scientist di identificare il target di clienti verso cui rivolgersi. Il business problem proposto è tipico di un sistema Customer Relationship Management (CRM). Una strategia per gestire e personalizzare il rapporto con il cliente è quella di produrre degli scores che ne caratterizzano il profilo. Sulla base di questi scores la compagnia può quindi decidere quali siano le iniziative più opportune da intraprendere.

9 Data Training set Profilo di clienti (osservazioni, righe del dataset) 367 variabili (features, colonne del dataset) Il significato di queste variabili è stato criptato, identificandole con un codice fittizio Var1,...,Var367 Sono presenti solo valori quantitativi dati mancanti ( 65%). Ogni cliente è classificato rispetto alla variabile target, che indica se questi ha acquistato o meno un prodotto di maggior valore (upsell redemption). Score set clienti le stesse 367 variabili del training set. non viene fornita la variabile target, questa è la soluzione che dovrete fornire.

10 Sommario 1 2 Business Game 3 Evaluation 4 Real time feedback

11 Evaluation Propensione all upsell per i clienti che costituiscono lo score set. Il criterio di valutazione delle soluzioni proposte è l AUC, un indicatore che può variare da 0 a 1 a seconda dell accuratezza degli scores prodotti rispetto all effettiva upsell.

12 Sommario 1 2 Business Game 3 Evaluation 4 Real time feedback

13 Real time feedback Ogni submission produce un AUC parziale, basato su un campione casuale predeterminato di clienti presenti nello score set Questi punteggi creano una classifica parziale consultabile online dai partecipanti Questo fornisce un feedback sulla qualità delle soluzioni prodotte, ma...

14 Real time feedback Ogni submission produce un AUC parziale, basato su un campione casuale predeterminato di clienti presenti nello score set Questi punteggi creano una classifica parziale consultabile online dai partecipanti Questo fornisce un feedback sulla qualità delle soluzioni prodotte, ma... attenti al demone dell overfitting!!

15 Data Scientist A data scientist is someone who is better at statistics than any software engineer, and better at software engineering than any statistician.