IS COMMUNITY BUSINESS AND TECHNOLOGY OUTLOOK RESEARCH PROGRAM

Transcript

1 in collaboration with Prof. Ravi Bapna of IS COMMUNITY BUSINESS AND TECHNOLOGY OUTLOOK RESEARCH PROGRAM THE DIGITALIZATION OF BUSINESS: Navigating and Innovating in the world of Big Data Analytics Milano, 27 novembre

2 Agenda Agenda Pag. 3 BTO Proceedings Pag. 5 BTO Executive summary Pag. 18 Introduzione del programma di ricerca BTO Pag. 28 tenuto da Ravi Bapna (Carlson School of Management, University of Minnesota) 2

3 BTO Proceedings BTO Proceedings Documenti: «BTO Proceedings» è un output creato e distrubuito per divulgare i risultati di ricerca, presentati durante gli incontri dell Executive Community. Il documento, prodotto dal team di ricerca BTO, è presentato in un formato che permette una consultazione dei contenuti facile e rapida. Scopo: BTO Proceedings offre un quadro generale dei contenuti discussi durante l Executive Community, evidenziandone gli aspetti più importanti ed i punti di partenza della ricerca. Abstract: Il tema della discussione di questa sessione è stato THE DIGITALIZATIN OF BUSINESS: Navigating and Innovating in the world of Big Data Analytics Nell'attuale contesto digitale e di business, le aziende devono prendere consapevolezza dell'importanza di tre aspetti: la diffusione dei social media come principale driver per l'innovazione di prodotti e servizi; l'evoluzione della consapevolezza dei clienti, sempre più informati ed esigenti; la crescente disponibilità di grandi volumi di informazioni di valore (dati strutturati, immagini, audio). I Big Data hanno complessità e dimensioni inedite che richiedono innovazioni nei modelli di gestione del patrimonio informativo e capacità di controllare e trasformare i flussi informativi esterni ed interni all'organizzazione. Gli IT Executive, dunque, devono introdurre strumenti di Big Data Governance per garantire la sicurezza e la fruibilità delle informazioni di importanza critica per il business. Durante l incontro è intervenuto anche Ravi Bapna, Board of Overseers Professor of Information and Decision Sciences Department alla Carlson School of Management, University of Minnesota Executive Summary: Riassunti in ppt riguardanti i temi trattati durante l executive Community. 3

4 Agenda Agenda Pag. 3 BTO Proceedings Pag. 5 BTO Executive summary Pag. 18 Introduzione del programma di ricerca BTO Pag. 28 tenuto da Ravi Bapna (Carlson School of Management, University of Minnesota) 4

5 BTO Executive Summary Le organizzazioni possono collocarsi a 3 livelli di capacità analitica nell uso di strumenti per i Big Data: Ambizioso, Esperto, Evoluto Tre livelli di capacità analitica Ambizioso Esperto Evoluto Razionale Giustificare le azioni Guidare le decisioni Prescrivere le azioni Funzioni coinvolte Programmazione finanziaria Operazioni e produzione Marketing e vendite Tutte le funzioni precedenti Definizione della strategia di business Assistenza ai clienti Sviluppo di prodotto Tutte le funzioni precedenti Risk management Pianificazione delle risorse Customer relationship management Obiettivi di business Differenziazione competitiva attraverso l innovazione Efficientamento dei costi Incremento dei ricavi Differenziazione competitiva attraverso l innovazione Incremento dei ricavi Efficientamento dei costi Differenziazione competitiva attraverso l innovazione Incremento dei ricavi Fidelizzazione dei clienti Principali sfide Barriere culturali Coinvolgimento degli executive Utilizzare i dati come leva competitiva Definire la governance dei dati Utilizzare i dati come leva competitiva Rendere i dati accessibili Data management Limitata capacità di acquisire, analizzare e utilizzare i dati Moderata capacità di acquisire, analizzare e utilizzare I dati Forte capacità di acquisire, analizzare e utilizzare I dati Strumenti di analisi attivi Uso limitato di strumenti di analisi Crescente utilizzo degli stumenti di analisi Il processo decisionale deriva da un approccio rigoroso 5

6 BTO Executive Summary L adozione di strumenti analitici per i Big Data deve essere orientata alla realizzazione di sistemi e processi che presentino un alto valore aggiunto nelle modalità di gestione del patrimonio informativo dell organizzazione Linee guida (implementazione) Allineare l uso degli strumenti analitici alla direzione strategica Dare priorità alle applicazioni e ai dati critici per il business Adottare sistemi che assicurino che i dati siano esatti, precisi e aggiornati Diffondere progressivamente gli strumenti in tutte le aree aziendali Informare il personale e stabilire policy d accesso definite 6

7 BTO Executive Summary Di fronte a cambiamenti sempre più rapidi e imprevedibili dei mercati e delle dinamiche concorrenziali, è vitale sviluppare una strategia che bilanci l ottimizzazione dei processi e la capacità di creare una profonda connessione col cliente sfruttando l informazione come leva competitiva Agilità di business L approccio Softscaling Eccellenza operativa Ottimizzare i processi di business Creazione di valore dall informazione Centralità del cliente Creare legami emozionali Uso empatico dell informazione IT abilitatore Gestire efficacemente i dati Ottimizzazione decisionale 7

8 BTO Executive Summary L attuale disponibilità di dati consente alle aziende di sfruttare le informazioni come leva di creazione di valore, sia per monitorare e ottimizzare le operations che per identificare bisogni specifici dei clienti Sfide e opportunità Sfide e Opportunità Ambito Individuare e mappare i processi aziendali di maggior rilevanza per la creazione di valore, identificando le opportunità di standardizzazione e automazione per massimizzare l efficacia e l efficienza delle operations. Eccellenza operativa Creare esperienze altamente personalizzate, differenziate ed avanzate per rilevare e rispondere alle mutevoli esigenze dei clienti, aumentandone il livello di soddisfazione, coinvolgimento e fidelizzazione. Centralità del cliente Gestire e analizzare la grande quantità di dati e informazioni sui prodotti, le performance e i clienti tramite soluzioni efficaci e scalabili per migliorare e accelerare il processo decisionale a supporto degli obiettivi di business. Ottimizzazione decisionale 8

9 BTO Executive Summary I Big Data sono una tendenza tecnologica destinata a diventare una risorsa sempre più rilevante alla luce degli enormi vantaggi in termini di supporto alle decisioni strategiche per il business. Contesto Il concetto di Big Data si riferisce all enorme mole di dati di vario formato e struttura che vengono rilasciati da una grande varietà di fonti e piattaforme, tra cui social media, dispositivi mobile e sensori, a una velocità e frequenza sempre maggiori. L evoluzione tecnologica, in particolare i nuovi sistemi di gestione dati e il miglioramento delle capacità di storage, ha reso possibile lo sviluppo di sistemi in grado di elaborare e analizzare dati in quantità prima impensabili portando a formidabili opportunità di valorizzazione del patrimonio informativo delle aziende. FOCUS STRATEGICO: Lavorare sui Big Data significa estrapolare informazioni di valore da significativi volumi di dati e contenuti, strutturati e non strutturati, soggetti a una continua espansione, per conseguire concreti vantaggi competitivi. 9

10 BTO Executive Summary Dallo studio dello stato dell arte della letteratura scientifica, emergono due principali prospettive di analisi del fenomeno Big Data: la dimensione tecnicoapplicativa e quella di «intelligenza funzionale» Dimensioni chiave dei Big Data 1 L adozione di piattaforme, architetture e applicazioni che consentano di scalare, elaborare Dimensione tecnico-applicativa e analizzare, a costi concorrenziali e in tempo reale, le grandi masse di dati fondamentalmente destrutturati e provenienti da più fonti. 2 Lo sviluppo di soluzioni di business analytics in grado di trasformare i dati in informazioni di Dimensione di «intelligenza business e di integrarle e condividerle in tutta funzionale» l organizzazione per supportare i processi decisionali a ogni livello e creare vantaggio competitivo. 10

11 BTO Executive Summary I Big Data si sviluppano su tre dimensioni fondamentali che ne determinano il valore strategico: il volume di informazioni, la velocità di flusso e la varietà dei contenuti. Le caratteristiche chiave dei Big Data Un elemento centrale del fenomeno Big Data è l enorme quantità di dati in costante crescita che le aziende si trovano a immagazzinare e trattare Volume Velocità I Big Data si caratterizzano per l alta velocità di flusso e la rapidità di obsolescenza dell informazione che rendono necessario minimizzare i tempi di gestione e analisi Varietà I Big Data includono dati strutturati, semi-strutturati e non strutturati provenienti da miriadi di fonti digitali (social network, siti, dispositivi mobile, sensori, etc.) 11

12 BTO Executive Summary Per sfruttare pienamente il potenziale dei Big Data per migliorare le performance di business, è necessario mettere in atto rilevanti azioni di cambiamento aziendale in cinque aree principali Le sfide per il management Area Leadership Gestione dei talenti Tecnologia Processi decisionali Cultura organizzativa Sfida manageriale I business leader devono stabilire obiettivi chiari ed articolare una visione coerente con le opportunità di mercato, coinvolgendo efficacemente i clienti, i dipendenti e gli altri stakeholder rilevanti. Al di là della gestione tecnologica, per liberare il valore dei big data sono necessari adeguati investimenti in risorse umane con un mix di nuove competenze analitiche e di business. Le aziende devono aumentare la propria capacità tecnologica, adottando nuove applicazioni analitiche e sistemi di data warehouse in grado di gestire il volume, la velocità e la varietà dei Big Data. Il miglioramento dei processi strategici e operativi dipende dalla capacità di garantire l accesso alle informazioni e un adeguato livello di autonomia decisionale a tutti i livelli dell azienda. Una delle principali barriere all uso efficace e diffuso dei Big Data è la riluttanza da parte di molti attori aziendali a realizzare un approccio decentralizzato, collaborativo e trasparente all informazione 12

13 BTO Executive Summary I social media sono una straordinaria fonte di dati per le aziende che devono definire una strategia chiara e misurabile per trasformarli in informazioni di valore per il business Social Media Management Sfide Opportunità Allineare la scelta e gestione delle piattaforme di social media e gli obiettivi di business. Offrire su base continua interazioni coinvolgenti per creare relazioni solide coi clienti. Elaborare e sfruttare i contenuti creati dai clienti. Efficientare la operations favorendo al contempo una riduzione dei costi e un aumento dei ricavi. Promuovere processi di co-innovazione e co-creazione di valore con i propri clienti. Individuare e raccogliere dati di valore, rapidamente e a costi contenuti. 13

14 BTO Executive Summary Il Minnesota Wild Hockey Club ha implementato un efficace programma di Social Media Management orientato al uso strategico degli strumenti social per perseguire I propri obiettivi di business Minnesota Wild Hockey Club Caso di studio Iniziative di successo Il Minnesota Wild Hockey Club ha sviluppato una strategia di social media fortemente allineata e coerente con la propria strategia di business, focalizzata su tre obiettivi chiave: aumentare le vendite degli abbonamenti, promuovere la vendita di biglietti tra i tifosi occasionali e incrementare gli introiti pubblicitari. Nel 2010, il club ha avviato il suo programma social, sfruttando principalmente Facebook e Twitter e la capacità di queste piattaforme di fornire dati in grado di tradurre le scelte degli utenti in informazioni demografiche di valore per realizzare iniziative di marketing e comunicazione in grado di massimizzare il coinvolgimento dei consumatori e quindi l interesse degli sponsor. PUNTO DI ATTENZIONE: Il Minnesota Wild Hockey Club è riuscito a costruire e trasformare un ampio e variegato volume di interazioni digitali in soddisfacenti risultati di mercato e di profitto. 14

15 BTO Executive Summary Baharti Airtel, grazie a un attento governo del cambiamento organizzativo a supporto della propria strategia Big Data ha mantenuto la leadership nel mercato delle telecomunicazioni in India. Caso di studio (1/2) Bahrti Airtel Il Contesto Bahrti Airtel opera nel mercato della telefonia mobile Indiano caratterizzato da una costante crescita. Per rimanere competitive, le aziende devono implementare strategie orientate a raggiungere e coinvolgere un vastissimo spettro di potenziali clienti con stile di vita, cultura e reddito molto diverso fra di loro Per tutte le fasce di consumatori, anche quella più matura (concentrata nelle grandi città e zone industrializzate), il locus della competizione si è spostato dal prezzo del servizio alla soddisfazione dei bisogni specifici dei clienti Il time to market è fondamentale per rispondere prontamente alle esigenze ed alle tendenze di consumo differenziate dei consumatori PUNTO DI ATTENZIONE: Il nostro obiettivo è di avere una visione unica della verità! Rupinder Goel, CIO della Bharti Airtel Limited. Un solo set di dati che comprenda finance, marketing, customer service, per conoscere i nostri clienti 15

16 BTO Executive Summary Baharti Airtel ha costruito un vantaggio competitivo basato sulla conoscenza dei bisogni del consumatore, implementando un sistema decisionale basato sule analisi dei Big Data a disposizione dell azienda Casi di studio (2/2) Il Contesto Baharti Airtel, per gestire l evoluzione del mercato ha messo in opera un infrastruttura IT comprendente sistemi di Data warehouse mirati alla raccolta e successiva analisi dei dati provenienti dalle varie attività aziendali. La produzione e l uso di report informativi è stata introdotta gradualmente in azienda, fino a soluzioni in-house mirate alla produzione di report ad hoc di valore strategico L introduzione dei nuovi processi di Data Management è stata supportata dai top executive tramite una chiara sponsorship e procedure condivise. Corsi ad-hoc ( i.e. SQL) per il personale non IT hanno avuto successo nel condividere non solo le metodologie ma anche la stretta connessione tra Marketing strategico/business e IT/Big Data analysis PUNTO DI ATTENZIONE: L uso dei Big Data va valorizzato e supportato tramite una strategia di business mirata e condivisa. L analisi e la produzione di reportistica va esternalizzata con cautela e non deve essere vincolata da standard formali che rischiano di ridurne l efficacia nel breve e lungo termine. 16

17 Agenda Agenda Pag. 3 BTO Proceedings Pag. 5 BTO Executive summary Pag. 18 Introduzione del programma di ricerca BTO Pag. 28 tenuto da Ravi Bapna (Carlson School of Management, University of Minnesota) 17

18 Introduzione Il calendario delle attività 2012 prevede la realizzazione di incontri plenari su temi di interesse trasversali individuati sulla base delle esigenze degli aderenti alla Community Il programma Digital Technology Trends: Outlook Emerging IT Issues 1 2 IT Governance and Organizational Design Making the Business Case for IT Investments 3 4 THE DIGITALIZATION OF BUSINESS: Navigating and Innovating in the world of Big Data Analytics 18

19 Introduzione l obiettivo è fornire un supporto abilitante ai soci, attraverso contenuti di valore strategico Digital 1 Technology Trends: Outlook Emerging IT Issues Digital Strategy Digital Business Value Strategic Support THE 3 DIGITALIZATION OF BUSINESS: Navigating and Innovating in the world of Big Data Analytics IT Governance 2 and Organizational Design I nostri eventi mirano a dare un supporto strategico ai nostri soci partecipanti, soprattutto nel campo della strategia digitale e del digital business value, attraverso contenuti di alto valore, docenti delle migliori università del mondo e il networking tra i partner 19

20 Introduzione In questa sessione saranno oggetto d analisi le sfide della gestione e analisi delle informazioni digitali e dei Big Data Executive Summary La diffusione di social media come principale driver per l innovazione di prodotti e servizi L evoluzione della consapevolezza dei clienti sempre più informati ed esigenti La crescente disponibilità immagini, audio, etc.) di grandi volumi di informazioni di valore (dati strutturati, I «Big Data» sono data set di dimensioni e complessità inedite che richiedono un innovazione dei modelli di gestione del patrimonio informativo una capacità di controllare e trasformare i flussi informativi esterni e interni all organizzazione (orientamento all informazione) Gli IT executive devono introdurre strumenti di Big Data governance dei per garantire la sicurezza e la fruibilità delle informazioni di importanza critica per il business 20

21 Introduzione I Big Data nascono dalla convergenza di 4 driver che cambiano la produzione e il consumo di dati in termini di velocità, varietà, volume, accessibilità... Contesto L 80% dei dati al mondo sono non strutturati. Da 1.3 miliardi di tag RFID nel 2005 a circa 30 miliardi di RFID oggi. 1 Social Networks Twitter processa 7 terabytes di dati ogni giorno. Facebook processa 10 terabytes di dati ogni giorno. 4 Internet of things BIG DATA Mobile Terabytes di dati Web. 9 Petabytes di dati non-web. 3 Cloud Computing 2 miliardi di utenti Internet dal 2011 (mondo). 4.6 miliardi celllulari (mondo). 21

22 Introduzione che richiedono una prospettiva appropriata per identificare e archiviare i dati strategici e trasformarli in informazioni utili per il business Vision Prospettiva tecnologica Prospettiva business BIG DATA SISTEMA INFORMATIVO AZIENDALE Manipolazione Processi di Business Ridotto Valore delle informazioni Elevato Gli executive spesso devono prendere decisioni basate su informazioni di cui non si fidano, o che non hanno. Elevato Volume di dati Ridotto Il 50% dei manager dice di non avere accesso alle informazioni di cui ha bisogno per svolgere il proprio lavoro. 22

23 e azioni per rispondere alle sfide dei cogliere valore dai Big Data 3 fattori ritenuti strategici per Introduzione Azioni 1 Archiviazione Fattori strategici Architettura dati Sfide Consolidare basi di dati aziendali (interno) e integrare nuove sorgenti informative (interno/esterno). Archiviare vari formati di dati: strutturati, semi-strutturati e non-strutturati (immagini, registrazioni, etc.). 2 Manipolazione Infrastruttura informativa Adottare strumenti di analisi adeguati al volume e alla varietà dei dati (real-time) Diffondere una cultura dell analisi dei dati a livello aziendale. Produrre report con rapidità, puntualità ed efficacia. 3 Convergenza delle fonti informative a livello aziendale + Convergenza degli investimenti a livello aziendale (non solo IT) Uso 23

24 Introduzione con applicazioni che nei diversi settori abilitano analisi su clienti e attività sempre più precise, dettagliate e rilevanti per il business. Applicazioni Sentiment Analysis Opinion Mining Social Media Analytics Recommender systems Banche/ Asssicurazioni Analisi del rischio Fraud detection Threat Analysis Credit scoring Marketing/ Servizi BIG DATA Applicazioni Utility/ Manifatture Fraud detection Controllo dell evasione Riduzione dei consumi delle utenze pubbliche Controllo della qualità Sensor Data Fusion Settore Pubblico 24

25 Agenda Agenda Pag. 3 BTO Proceedings Pag. 5 Executive summary Pag. 18 Introduzione del programma di ricerca BTO Pag. 28 tenuto da Ravi Bapna (Carlson School of Management, University of Minnesota) 25

26 Ravi Bapna Carlson School of Management, University of Minnesota Aree di ricerca Il valore economico dei sistemi informativi. Social media e big-data analytics. Il capitale umano nell IT services industry. Design dell organizzazione dell IT. Profilo Dr. Ravi Bapna è Board of Overseers Professor of Information and Decision Sciences Department alla Carlson School of Management, University of Minnesota. Bapna è fondatore e direttore accademico del centro ricerca interdisciplinare Social Media and Business Analytics Collaborative (SOBACO) dell Università del Minnesota. Il centro di ricerca studia gli attuali sviluppi globali legati alla diffusione di social media e all inedito volume di informazioni disponibili online come un grande «laboratorio globale», un mezzo per acquisire una più profonda comprensione causale di come i consumatori, le imprese e la società reagiscono e vengono ridefinite nelle loro strutture interne dalla «rivoluzione dei dati» attualmente in corso. Le ricerche del Dr. Ravi Bapna sono state pubblicate su prestigiose riviste (accademiche e generaliste) come Management Science, Statistical Science, Information Systems Research, Journal of Retailing, MIS Quarterly, Decision Sciences, Communications of the ACM, Financial Times, Wall Street Journal, The Economic Times e Business Today. Publicazioni Bapna, R., Gupta, A., Sundararajan, A., Rice, S., 2012, Trust, Reciprocity and the Strength of Friendship Ties: Experiments on an Online Social Network, National Bureau of Economic Research Summer Institute on the Economics of IT and Digitization, 2011, Cambridge, MA. Bapna, R., Langer, A., Mehra, A., Gopal, R., Gupta, A., "Examining Return on Human Capital Investments in the Context of Offshore IT Workers," 2012, forthcoming in Management Science. Bapna, R., Barua, A., Mani, D., Mehra, A., "Cooperation, Coordination and Governance in Multi-Sourcing: An Agenda for Analytical and Empirical Research," Information Systems Research (20 Anniversary Special Issue) 2010, 21, pp

27 Agenda Defining big-data Social media and bigdata Getting data ready for strategic decision making Fundamentals of predictive modeling 27

28 Lay of the land We live in a hyper-instrumented, hyper-connected world 5 billion cell phones Billion people on the social graph (Facebook, Twitter and other online social networks) Reservoir of economic and social influence Arab spring, SOPA/PIPA, viral and word-of-mouth driven spread of products and services Big-data is $100 billion industry growing at 10% a year twice as fast as the software business as a whole 28

29 On Business Intelligence Fact based decision making based on hard data is providing competitive advantage to firms ranging from Harrah s casino to Boston Red Sox to Capital One All firms can do descriptive statistics Few have the optimization, statistical and computational capabilities to be able to go beyond 29

30 Creating The Next Generation Enterprise To succeed tomorrow organizations have to live, breathe and understand the fundamental behaviors, tools and technologies that Gen Z uses to live their life today! 30

31 How big is data? By 2015 we are expected to generate 8 ZettaBytes of data 1,000,000,000,000,000,000,000 bytes 31

32 Sources of Big Data Consumers: connecting collaborating communicating Telenav Study, August

33 The Internet of Things 33

34 Over time, we believe big data may well become a new type of corporate asset that will cut across business units and function much as a powerful brand does, representing a key basis for competition McKinsey Quarterly 34

35 IBM s Definition 35

36 Big-Data will raise three organizational questions 36

37 1. What happens in a world of radical transparency, with data widely available? 37

38 2. If you could test all of your decisions, how would that change the way you compete? -- Controlled and natural experiments 38

39 Lets put our lab-coats on The online social graph is our laboratory Experiments can be instrumented through a combination of APIs and applications Two mantras: Causality Strong predictions 39

40 Case: Freemium online communities LinkedIn Spotify Last.fm Dropbox Skype Incredibly hard to get people to pay when a close substitute is free Do friends cause other friends to pay? Is social contagion at work? 40

41 Data Description Custom multi-threaded webcrawler collecting the data from Last.FM user pages. 60 threads. Data collections once in approx. 2 weeks A typical Last.FM user page looks just like 41 41

42 Detecting Peer Effects Causally Last.fm Free to Fee Problem 42

43 Experimental Design 1. Randomly select 2000 users from the network 2. Half of them get the gift from us (group M) and half of them get no gift from us (group NM) 3. Wait for a few weeks 4. Check if there is a significant difference in adoptions between friends of M and friends of NM. 43

44 Result Treatment was randomized no need for controls! Just compare outcomes in both groups. Treatment N Mean Std Dev Std Err t-test method Variances t Value Pr > t Pooled Equal Satterthwaite Unequal Conclusion: Adoption rate in the treated group is significantly higher (by 50%) 44

45 3. Can you create a new business models based on data? 45

46 46

47 Agenda Defining big-data Social media and bigdata Getting data ready for strategic decision making Fundamentals of predictive modeling 47

48 Getting the data ready is a process! How to build the foundation? Why are operational systems optimized for getting data in, but not great for getting insights out? What was the need for data warehousing at Bharti Airtel? Four key attributes of a data warehouse What is data mining? How is it different from classical statistics? What are some key applications? 48

49 Bharti Airtel $11.8 billion $8.78 billion in (FY ending March 31) Up from $ 6.75 billion in Up from $1.1 billion in 2004 $2.06 billion in net income Up from $1.67 billion in net income Up from $117 million in 2004 EBITDA % of revenue Property, plant and equipment 68% of assets Up from 50% of assets in Capex $400 million in network equipment $100 million in IT equipment Still growing 220 million subscribers 70 million mobile consumers (June 2008) 49

50 India Telecom Market Liberalized in 1991 One of the five largest markets in the world 6.5 million new subscribers month! Rural teledensity today is at 33.8% 2013 projected billion subscribers Low Average Revenue Per User (ARPU) - $5-$7 Highly competitive (big players TATA-DOCOMO, Reliance, Vodafone) ) 86% revenue prepaid What explains high margins? Major socio-economic impact! 50

51 Bharti Airtel s DW Motivation What motivated Airtel to consider data warehousing? Why is data warehousing needed when we have multiple operational systems such as ERP, CRM etc? 51

52 How would you use the information in the Call Data record? 52

53 Case: Netflix 1997 A thirty something gets hit by a $40 late fee by Blockbuster (a giant $3B physical DVD rental company) 1999 Netflix $5M revenue Customers post 1B online reviews 1999 Netflix is launched to deliver movies by mail Cinematch recommendation engine powers mantra adapt website to customer s taste 2006 Revenue $1B 2009 Netflix runs $1 million contest to improve recommendation engine by 10% 53

54 Anatomy of a Recommender System User ratings form the basis for future recommendations! revealed preference Task is to predict the rating for David for Life of Brian User Rating Matrix Which user is most similar to David? What was that individual s rating of Life of Brian? 54

55 Love and Big-Data! 46% of the singles population in the US initiate the search for a partner online Dating markets are fraught with frictions and inefficiencies Happenstance rules! Social norms dictate behavior In partnership with one of the largest online dating sites in the world We find that women are five times less likely to make the first move Big-data based recommendation engines mitigate social failures 55

56 Agenda Defining big-data Social media and bigdata Getting data ready for strategic decision making Fundamentals of predictive modeling 56

57 See in Action Lets try some data mining! 58

58 Example Predicting Buyers of Lawn Mowers from Non-Buyers A riding-mower manufacturer classifying families into a. those likely to purchase a riding mower b. those not likely to buy one Question Can we derive a method to help us identify future buyers? Experiment A pilot random sample of 12 owners and 12 is undertaken Predictor variables Income ($ 000s) Lot size (sq ft 000s) 59

59 (Lawn) Mowers data Observation Income ($000's) Lot Size (000's sq. ft.) Buyers = 1, Non-buyers =

60 Graphical View 61

61 Lets try to predict wine quality!! There are 178 (real) wines that are tasted by experts and rated A or B or C These same wines go the lab and get tested for (all kinds of) chemical composition Results in 13 variables describing the wines Figure below gives the distribution of expert categorization Which is the largest category? How do we price new wine that comes in to the store? 62

62 Choice of k? back to Mowers data Suppose our training data = 18 observations Validation data = 6 observations What would happen if we set K=1? K=18? Optimally trades off variability associated with a low value of k against the over-smoothing associated with a high value of k 63

63 Another Powerful Approach Classification and Regression Trees (CART) Very broadly applicable technique Easy to explain rules 2 key ideas 1. Recursive partitioning of the space of the independent variables 2. Second is of pruning using validation data 64

64 X 2 <= 19 How was this split selected? 65

65 Observation Income ($000's) Lot Size (000's sq. ft.) Owners = 1, Nonowners = Mid points of pairs of successive Lot size values are candidate split points

66 Recursive Partitioning X 2 <= 19 X 1 <

67 Final Pure Split 68

68 Classification Tree Decision Nodes Leaf nodes 69

69 Pruning Use validation data to prune (cut) the tree back Why? Pruning consists of successively decision node re-designating as a leaf node Trades off misclassification error in the validation data set the number of decision nodes in the pruned tree Captures the patterns but not the noise in the training data 70

70 How can you use Big-data Analytics? Internally? Externally? 71

71 Agenda Defining big-data Social media and bigdata Getting data ready for strategic decision making Fundamentals of predictive modeling 72

72 Consumer Engagement 1980 s 1990 s 2000 s 2010 s Courtesy Rob Cain, CIO Coca Cola 73

73 Key Challenge! From Bombay to Brainerd CMOs have told me I have 200, M fans on my Facebook page. What the does that mean? 74

74 What s the value of FB fan page activity? 75

75 What we measure is always key! 76

76 Engagement Ladder Shared Commented multiple times responded Commented Liked Seen by 77

77 In Summary Traditional bases of competitive advantage are eroding Big-data analytics can help make better decisions and extract maximum value from business processes Get your data in shape first! 78

78 Key is to Get to Fundamental Constructs of Human Behavior 79

79 It s not about the size of big-data! Trust and reciprocity Love Peer influence Glory Engagement Legitimacy 80