Appunti del Corso di Sistemi Informativi

Transcript

1 Università degli Studi Mediterranea di Reggio Calabria Facoltà di Giurisprudenza Corso di Laurea in Scienze Economiche Appunti del Corso di Sistemi Informativi Pasquale De Meo Anno Accademico

2

3 Indice 1 Il commercio elettronico Introduzione Il Business-to-business (B2B) Il Business-to-consumer (B2C) Il Consumer-to-consumer (C2C) Il Consumer-to-business (C2B) I fattori chiave per avere successo nell e-commerce Problematiche del commercio elettronico Il problema della sicurezza L estrazione di Regole Associative Introduzione al Mining di Regole Associative Market Basket Analysis Concetti di base Mining di regole associative booleane monodimensionali: l algoritmo Apriori Estrazione degli itemset frequenti Generazione di regole associative dagli itemset frequenti I Recommender System Introduzione Concetti generali I metodi Content Based Caratteristiche Generali I Limiti dei Sistemi Content Based I metodi Collaborative Filtering Caratteristiche Generali I Limiti del Collaborative Filtering Il credit scoring e la Classificazione Introduzione Background culturale La Classificazione Caratteristiche generali I Classificatori Bayesiani Teorema di Bayes Classificazione bayesiana naive Il Forex e la predizione Introduzione La Predizione Regressione lineare e multipla Regressione non lineare

4

5 1 Il commercio elettronico 1.1 Introduzione Il commercio elettronico (e-commerce in inglese) viene utilizzato per indicare l insieme delle transazioni per la commercializzazione di beni e servizi tra produttore (offerta) e consumatore (domanda), realizzate tramite Internet. Nell industria delle telecomunicazioni si può intendere l e-commerce anche come l insieme delle applicazioni dedicate alle transazioni commerciali. Secondo una terza definizione il commercio elettronico è la comunicazione e la gestione di attività commerciali attraverso modalità elettroniche, come l EDI (Electronic Data Interchange) e con sistemi automatizzati di raccolta dati. Secondo una ricerca italiana del 2008 l e-commerce in Italia ha un valore stimato di 4,868 miliardi di euro nel 2007, con una crescita del fatturato del 42,2%. Nel 2007 sono stati eseguiti circa 23 milioni di ordini on line in Italia. In base al fatto che la transazione coinvolga aziende piuttosto che singoli individui, si possono distinguere quattro forme di commercio elettronico: business to business, business to consumer, consumer to consumer e consumer to business. Il più grande volume d affari è prodotto dal business-to-business, il primo ad essere nato, ma anche il business-to-consumer sta prendendo piede. La creazione delle aste on line ha generato due nuovi termini: consumer-to-consumer e consumer-to-business. Nelle sezioni successive verranno analizzate le quattro forme di commercio elettronico in maniera più dettagliata. Inoltre verranno analizzati i fattori che determinano il successo di un sito di e-commerce. Infine verrà trattato il problema della sicurezza nell e-commerce. 1.2 Il Business-to-business (B2B) Il Business-to-business (B2B) riguarda transazioni commerciale tra aziende, quindi non interessa il consumatore finale di beni e servizi. Questo tipo di transazione di solito coinvolge un numero limitato di soggetti, ma gli importi sono mediamente elevati e generalmente sono gestiti off line. Come si è detto precedentemente, il giro d affari più importante nei marketplaces virtuali è soprattutto condotta nel settore del business-to-business. Secondo la AMR Research il 29% delle transazioni commerciali avverrà attraverso Internet entro il Questo perché come ebay ha reso possibile ai collezionisti di incontrarsi in rete e scambiarsi gli oggetti più svariati, allo stesso modo i marketplaces del B2B renderanno più facile e conveniente per le aziende riunirsi e fare affari tra di loro. Gli e-marketplaces sono per certi aspetti un evoluzione dell EDI, solo che ora non sono più necessari i costosi software o hardware che il sistema richiedeva. Inoltre le aziende possono operare in tempo reale e ciò significa che le informazioni a disposizione sono aggiornate costantemente. Queste transazioni commerciali sono molto più economiche rispetto a quelle mediate dall EDI. Le barriere all entrata sono molto più basse, consentendo facilmente ad un ampio numero di compratori di raggiungere una vasta comunità di venditori e di ottenere il prezzo più basso. La possibilità di risparmiare denaro è una delle attrattive dell e-commerce, ma la miglior efficienza nella catena di approvvigionamento è un altro importante fattore che spiega il boom dei B2B marketplaces, perché ciò significa maggior velocità nella vendita, rapido accesso a nuovi fornitori e acquirenti e una più veloce e facile entrata in nuovi mercati.

6 2 1 Il commercio elettronico Una forma particolare di e-commerce tra aziende è gestita da alcuni siti negli Stati Uniti, questi siti coordinano aste nel settore del B2B, ad esempio permettendo alle aziende di mettere all asta il surplus di prodotti. 1.3 Il Business-to-consumer (B2C) Il Business-to-consumer (B2C) è il modello più noto di commercio elettronico e riguarda l acquisto di beni e servizi da parte del consumatore finale. La sua espansione ha coinciso con la capillare diffusione di Internet negli uffici, nelle case e nelle scuole. Se da un lato questo nuovo media ha permesso ad aziende di tutto il mondo di entrare in contatto con consumatori altrimenti difficilmente raggiungibili, dall altro, per i consumatori stessi, si è aperta la possibilità di avere accesso ad una offerta eccezionalmente ampia di prodotti, stando comodamente seduti davanti al proprio computer. Uno dei casi di maggior successo è quello di Amazon, una vera e propria libreria virtuale che mette a disposizione oltre di titoli. Il cliente può trovare anche il libro più raro, beneficiando di sconti e della possibilità di farselo recapitare a casa anche in meno di 48 ore. Relativamente alle modalità di spedizione del prodotto, si può effettuate un ulteriore distinzione tra commercio elettronico diretto e indiretto. Nel primo caso il prodotto acquistato è un bene fisico, ad esempio una stampante, quindi viene consegnato attraverso un corriere. Nel secondo invece, il bene è in formato digitale, come un software o un CD musicale, quindi può essere trasmesso direttamente via Internet. 1.4 Il Consumer-to-consumer (C2C) Il Consumer-to-consumer (C2C) è una forma più recente di commercio elettronico e sta diventando sempre più popolare grazie all attivazione di numerosi siti che gestiscono aste on line. In questo caso il sito gestisce l ambiente in cui gli utenti interagiscono e gli importi delle transazioni sono piuttosto contenuti, dato che di solito si scambia un sono articolo per volta. Le modalità di regolazione della transazione sono stabilite dal venditore e dall acquirente. ebay è il sito che sta dominando il mercato in questo senso. Compratori e venditori si incontrano per prendere parte ad un asta che può riguardare qualsiasi tipo di prodotto. ebay è una delle poche società leader in Internet che oltre ad essersi affermata come brand, ottiene anche un profitto economico. Fondata nel 1995, ha raggiunto uno dei migliori risultati nel settore delle aste ondine. La sede californiana ha catturato circa l 85% del mercato americano e ha sette siti in lingue differenti. Assieme ad Amazon è considerato uno dei barometri di borsa dell e-commerce. La cosa eccezionale è che ebay genera un enorme profitto lasciando che i propri utenti facciano da soli gran parte del lavoro, quindi investendo un capitale molto limitato. Non deve tenere un inventario, spedire prodotti o trasferire pagamenti. Lascia che gli utenti discutano sul prezzo scrivendosi sul Web. Gran parte delle entrare deriva dalla percentuale sulle transazioni che percepisce di diritto. Se si è un venditore, si paga una tariffa d inserzione che varia tra 0,05 e 1,00 Euro a seconda del prezzo di partenza, e una commissione sul prezzo di vendita finale. Questa tariffa di solito è compresa tra l 1,5% e il 5% del prezzo di vendita finale, quindi più è alto il valore dell articolo, maggiore è il ricavo di ebay. 1.5 Il Consumer-to-business (C2B) Il Consumer-to-business (C2B) è un tipo di commercio elettronico nato solo recentemente e non ancora sviluppato come le tre forme viste precedentemente. In questa particolare forma, i consumatori stabiliscono il prezzo che sono disposti a pagare per un prodotto o servizio e allo stesso tempo le aziende possono accettare o rifiutare l offerta. Ad esempio potenziali clienti propongono il prezzo per un volo aereo e la compagnia di volo può stabilire se accettare di concludere la transazione. Si tratta del processo inverso rispetto al B2C, in cui sono le aziende a stabilire i prezzi dei propri prodotti e servizi ai clienti. L esempio più classico è quello del sito Priceline.com, che esordì invitando i suoi clienti a proporre il costo del biglietto aereo che intendevano pagare. Il meccanismo funziona in questo modo: il potenziale cliente deposita presso il sito di Priceline una richiesta sulla destinazione,

7 1.6 I fattori chiave per avere successo nell e-commerce 3 le date previste per il viaggio e quanto è disposto a spendere, inoltre deve garantire la richiesta con il numero della carta di credito; Priceline a questo punto agisce da intermediario e smista la richiesta alle linee aeree con cui è in contatto. Se una di loro è interessata a vendere quel viaggio, si conclude la transazione e Priceline ne ricava una percentuale. Il vantaggio non è solo per i consumatori che riescono a trovare prezzi vantaggiosi e assumono una posizione di potere nella transazione, ma anche per le compagnie aeree che hanno tutto l interesse a riempire i loro voli, dato che ogni posto vuoto comporta una perdita. Successivamente l offerta di Priceline si è ampliata, fornendo lo stesso tipo di servizio anche per stanze d albergo e la vendita di automobili. In questa forma di e-commerce il ruolo dell intermediario è tutt altro che scomparso grazie ad Internet, che viene spesso accusato di essere il cannibale dei servizi di intermediazione, semplicemente assume una forma nuova (a questo proposito è stato coniato il termine Infomediari ). 1.6 I fattori chiave per avere successo nell e-commerce Per realizzare un attività di commercio elettronico di successo sono necessari alcuni fattori chiave. Tra i principali ricordiamo: 1. Generazione di valore per il cliente. Il venditore può raggiungere questo obiettivo offrendo un prodotto o un assortimento in grado di attirare clienti potenziali a un prezzo competitivo come accade nel commercio tradizionale. 2. Offerta di servizi e prestazioni. L offerta di un esperienza di acquisto con un alto livello informativo e con un tono amichevole verso il cliente come se fossimo nel negozietto sotto casa può permettere di raggiungere questi traguardi. 3. Realizzare un sito Internet accattivante. Il corretto accostamento di colori, elementi grafici, animazione, fotografie, caratteri tipografici e un rapporto tra spazio della pagina e spazio occupato da testo e immagini può risultare determinante a tale riguardo. 4. Incentivare il cliente all acquisto e successiva fidelizzazione. La politica commerciale in tal senso può comprendere buoni sconto, offerte speciali e varie tipologie di sconto. Può essere utile il ricorso anche a siti affiliati con la realizzazione di scambio di link come pure la realizzazione di campagne pubblicitarie comuni ad altri siti. 5. Rapporto personalizzato con la clientela. Siti internet che siano il più possibile personalizzabili dal cliente o tramite interfacce apposite, suggerimenti di acquisto e offerte speciali ad personam possono essere degli efficaci sostituti di un contatto diretto commesso-cliente come avviene nei negozi tradizionali. 6.. Organizzazione di un senso di comunità tra i visitatori. Chat, Gruppi di discussione su Internet, in modo da ricevere i suggerimenti dei visitatori, programmi di fidelizzazione e integrazioni commerciali con altri siti possono contribuire a rafforzare questo sentimento tra gli utenti. 7. Offrire affidabilità e sicurezza. Server in parallelo, ridondanza hardware, tecnologia a prova di errore, crittografia dei dati e firewall possono migliorare notevolmente questo aspetto. 8. Il rapporto con la clientela va visto in un ottica a tutto campo, assicurandosi che tutti i dipendenti, i fornitori e i partner abbiano una visione unica e completa del cliente stesso. 9. Gestione di tutto il vissuto commerciale del cliente. I negozianti on-line sviluppano questo aspetto gestendo ogni contatto con il cliente come se fosse parte di un esperienza, che a sua volta si identifica con il marchio. 10. Snellimento dei processi di business, se possibile attraverso una re-engineering e il ricorso all information technology. 11. Progettare una filiera informatica, in cui ciascuno dei partecipanti si focalizza su un numero limitato di competenze sui prodotti o servizi offerti - ovvero l opposto di un attività generalista (i negozi on-line, a seconda di come sono stati programmati, possono sembrare generalisti o specializzati).

8 4 1 Il commercio elettronico 1.7 Problematiche del commercio elettronico Anche se un fornitore di beni e servizi di Commercio Elettronico seguisse in maniera rigorosa i sopracitati fattori chiave per realizzare una strategia di vendita on-line, possono tuttavia sorgere ugualmente delle difficoltà. Tra le principali citiamo: 1. Difetti di comprensione del comportamento della clientela, vale a dire come e perché acquistano un certo prodotto. Se i produttori e i venditori non sono in grado di cogliere le abitudini di acquisto dei consumatori, come pure le aspettative e le motivazioni, anche un prodotto blasonato o rinomato può non raggiungere i target di vendita prefissati. Il commercio elettronico potrebbe ovviare a tale potenziale inconveniente con ricerche di mercato più aggressive e mirate, simili a quelle intraprese dai canali di vendita tradizionali. 2. Mancanza di analisi dello scenario concorrenziale. È possibile disporre delle capacità tecniche per realizzare un attività di vendita di libri on-line, ma potrebbe essere che manchi la volontà per competere con Amazon.com. 3. Incapacità di prevedere le reazioni nell ambiente in cui opera l impresa. Cosa faranno i concorrenti? Introdurranno marchi in concorrenza con il nostro o addirittura potrebbero realizzare dei siti web analoghi al nostro e farci concorrenza. Amplieranno i servizi offerti? Cercheranno di sabotare il sito di un concorrente? Scoppierà la guerra dei prezzi? Come reagirà il governo? Per attenuare queste possibili conseguenze è consigliabile analizzare la concorrenza, i settori industriali e i mercati coinvolti, proprio come si farebbe nel caso di un attività tradizionale. 4. Sovrastima delle competenze aziendali. I dipendenti, il sistema hardware, i software adottati e i flussi di informazione tra questi soggetti, possono tutti insieme padroneggiare la strategia adottata? I negozianti on-line sono riusciti a formare adeguatamente i propri dipendenti e a sviluppare le competenze necessarie? Queste tematiche possono rendere necessarie una pianificazione delle risorse maggiormente dettagliata e una formazione dei dipendenti più estesa. 5. Mancanza di coordinazione. Se i controlli e la reportistica non bastano, è possibile cambiarli adottando una struttura organizzativa maggiormente flessibile, affidabile e lineare, anche se non è detto che questo cambiamento permetta di raggiungere un migliore coordinamento interno. 6. Incapacità nell assicurarsi l impegno dei vertici aziendali. Spesso la conseguenza principale si traduce nell impossibilità di raggiungere un determinato obiettivo societario a causa delle scarse risorse allocate a quest ultimo. Si consiglia di coinvolgere fin dall inizio i vertici aziendali nella nuova avventura del commercio elettronico. 7. Incapacità nell assicurarsi l impegno da parte dei dipendenti. Se i progettisti non traducono in modo chiaro la loro strategia ai sottoposti, oppure non riescono a delineare loro l intero quadro in cui si troveranno a operare, un possibile rimedio può essere quello di offrire un percorso di formazione dedicato, come pure di fissare uno schema di incentivi ai dipendenti. 8. Sottovalutazione dei tempi richiesti per il raggiungimento degli obiettivi aziendali. La realizzazione di un impresa di e-commerce può richiedere un considerevole dispendio di tempo e danaro, e l incapacità di comprendere la giusta sequenza dei processi imprenditoriali e la tempistica relativa a tali operazioni può portare a rilevanti aumenti dei costi, rispetto a quanto preventivato. È possibile ovviare a questi inconvenienti con dei tipici strumenti di gestione aziendale: benchmarks (indicatori dell attività dei concorrenti presi a riferimento), traguardi interni di performance, analisi della variazione degli indicatori aziendali, istituzione di penalizzazioni per il conseguimento di performance negativa o, viceversa, ricompense per il raggiungimento di obiettivi aziendali, e, infine, misure per riallineare l attività aziendale. 1.8 Il problema della sicurezza Una delle problematiche più sentite nel mondo dell e-commerce è indubbiamente la sicurezza nelle modalità di pagamento. Ad oggi, le modalità più diffuse sono il bonifico bancario, il contrassegno e il pagamento con la carta di credito, sicuramente più interessato da questo problema. Inizialmente, il trasferimento delle informazioni e dei dati personali tra venditore e cliente avveniva in chiaro. Questo costituiva un enorme problema per la sicurezza, in quanto i dati trasferiti erano suscettibili di essere intercettati e quindi

9 1.8 Il problema della sicurezza 5 utilizzati da terzi per operazioni al di fuori della pratica commerciale in atto. Oggi, questa pratica di trasferimento dei dati è stata abbandonata, a favore di pratiche più sicure che garantiscano una maggiore riservatezza delle informazioni personali e che quindi assicurino la bontà delle transazioni. In particolare, la maggior parte dei siti di e-commerce odierni utilizzano livelli di crittografia elevati quali, ad esempio il Transport Layer Security (SSL/TLS). L abbinamento di questo protocollo al normale HTTP permette di ottenere un nuovo protocollo: l HTTPS. Questi garantisce l invio delle informazioni personali sottoforma di pacchetti criptati. In questo modo, la trasmissione delle informazioni avviene in maniera sicura, prevenendo intrusioni, manomissioni e falsificazioni dei messaggi da parte di terzi. Il protocollo HTTPS garantisce quindi tanto la trasmissione confidenziale dei dati, quanto la loro integrità. La maggior parte dei browser contraddistingue con un lucchetto i siti protetti. Ad oggi è sicuramente il sistema più usato, in quanto può essere supportato dai principali browser (Internet Explorer 3.01 e seguenti, Netscape Navigatror 4.01 e seguenti) e non necessita di alcun software specifico o password. Le pagine protette da questo protocollo sono facilmente riconoscibili, in quanto la scritta https precede l indirizzo del sito protetto e le sue pagine vengono contrassegnate da un lucchetto, visualizzabile nella parte inferiore del proprio browser. Un secondo strumento è costrituito dal Secure Electronic Transaction (SET ). Questo protocollo nasce dalla collaborazione di Visa e MasterCard allo scopo di rendere più sicure le operazioni di pagamento online, garantendo una maggiore segretezza e autenticità dei dati. Per utilizzare questo protocollo è però necessario che il venditore disponga sul suo server di alcuni software e che il pc del compratore sia munito di un wallet e di un PIN, rilasciatogli dalla compagnia che ha emesso la sua carta di credito. La grande novità del protocollo SET consiste nel sistema di autenticazione del venditore e del compratore: i contraenti hanno, cioè, la possibilità di identificarsi con certezza prima che qualsiasi transazione abbia inizio. Questo avviene attraverso l utilizzo di certificati digitali, che vengono rilasciati alle due parti dal proprio istituto bancario. In questo modo, l acquirente può verificare l identità del venditore, acquisendo così una maggiore garanzia circa i beni o i servizi che riceverà e il venditore può verificare a sua volta l identità del compratore, acquisendo maggiori garanzie circa il pagamento. Affinché, quindi, il commercio elettronico possa svilupparsi è necessario che gli utenti (l acquirente da un lato, il venditore dall altro) possano svolgere le loro transazioni serenamente, senza temere intromissioni esterne. In questo senso, assume molta importanza la procedura di autenticazione dell utente. Generalmente, questa procedura avviene tramite la richiesta da parte del server di uno username al quale è associata una password. Tuttavia, è stato dimostrato che questo sistema non può essere considerato del tutto sicuro, in quanto i tempi di individuazione della password da parte di terzi vanno sempre più riducendosi. Per questo motivo, oggi, viene sempre più consigliato all utente il cambio periodico della propria password. Questo avviene soprattutto per i sistemi di home banking che prevedono che i propri utenti cambino obbligatoriamente la password con una cadenza fissa o che facciano uso di una password usa e getta (one-time password) che viene sostituita ogni volta che si accede a un servizio. Sebbene, la disciplina riguardante il commercio elettronico sia volta soprattutto alla tutela del consumatore, non bisogna dimenticare l equivalente diritto del venditore a operare sul mercato online in maniera serena. Una delle principali problematiche che interessa colui che decide di offrire un bene o un servizio online è sicuramente il non ripudio da parte dell acquirente. In questa direzione opera l utilizzo della firma digitale che fa sì che un contratto firmato digitalmente non possa essere disconosciuto da coloro che l hanno sottoscritto. Inizialmente il trasferimento dei dati tra il sito di e-commerce e il cliente avveniva in chiaro. Questo costituiva un possibile problema di sicurezza, soprattutto quando c era un pagamento con carta di credito. Con l avvento del Secure socket layer questo rischio è stato ridotto, ma sono poi comparsi altri problemi quale il Phishing e la comparsa di virus troiani che cercano di rubare informazioni utilizzabili per finalità losche. Con la diffusione dell e-commerce si sono diffuse truffe sempre più insidiose che colpiscono principalmente gli acquirenti. I principali casi sono: Vendita di prodotti da siti civetta: al ricevimento del pagamento non viene inviata la merce, o viene solamente simulata la spedizione. Problema presente anche su ebay con inserzioni truffa. Realizzazione di siti clonati con la finalità di rubare informazioni quali il codice della carta di credito. Aziende fallimentari che accumulano ordini, e introiti, senza la possibilità di evaderli. La normativa italiana prevede che tutti i siti di commercio elettronico riportino nella home page la partita IVA e la denominazione dell azienda. I siti più importanti di e-commerce hanno un certificato

10 6 1 Il commercio elettronico digitale che consente di verificare l autenticità del sito visitato. Il principale problema dal punto di vista delle aziende è la gestione degli ordini simulati, dove vengono indicate generalità false o non corrette per l invio dei prodotti. Per ridurre il problema molte aziende accettano solamente pagamenti anticipati.

11 2 L estrazione di Regole Associative 2.1 Introduzione al Mining di Regole Associative Il Mining di Regole Associative ha lo scopo di individuare associazioni, o relazioni di correlazione, interessanti in un grosso insieme di dati. A causa della quantità enorme di dati che continuamente vengono collezionati e memorizzati, molte industrie stanno cominciando ad interessarsi all estrazione di regole associative dalle loro basi di dati. La scoperta di regole associative interessanti da enormi quantità di dati può aiutare in molti processi decisionali, quali la progettazione dei cataloghi, le vendite incrociate, ecc. Un tipico esempio di mining di regole associative è la Market Basket Analysis. Questo processo analizza le abitudini di acquisto dei clienti trovando associazioni tra i diversi prodotti che essi mettono nel loro carrello. La scoperta di tali associazioni può aiutare i venditori a sviluppare strategie di marketing considerando quali prodotti vengono comprati frequentemente insieme dai clienti. Per esempio, un tipico problema di Market Basket Analysis potrebbe essere il seguente: se i clienti stanno comprando latte, con quale probabilità essi compreranno anche pane (e che tipo di pane) durante la stessa spesa nel supermercato? Tale informazione può portare ad un aumento delle vendite aiutando i venditori sia a definire politiche di marketing mirate che a posizionare in modo opportuno la propria merce negli scaffali. La Market Basket Analysis sarà proprio il caso d uso che ci guiderà nello studio delle Regole Associative. Nella prossima sezione esamineremo più dettagliatamente tale problematica. 2.2 Market Basket Analysis Si supponga di essere un manager di un negozio di prodotti elettronici e di voler conoscere meglio le abitudini di acquisto dei clienti. Più specificatamente, si vorrebbe sapere quali gruppi o insiemi di prodotti è probabile che i clienti comprino insieme durante una visita al negozio. Per rispondere a tale domanda, è possibile eseguire la Market Basket Analysis sui dati delle transazioni relative agli acquisti dei clienti nel negozio. Questi risultati possono essere utilizzati per pianificare le strategie di marketing o le strategie pubblicitarie, come pure per la progettazione dei cataloghi. Per esempio, la Market Basket Analysis può supportare i manager nella progettazione della disposizione dei prodotti nel negozio. Per quel che riguarda tale problematica esistono svariate strategie, molto spesso diametralmente opposte. Una prima strategia prevede che i prodotti frequentemente comprati insieme possano essere posizionati in stretta vicinanza, al fine di incoraggiare la vendita contemporanea degli stessi. Se i clienti che comprano computer tendono anche a comprare contemporaneamente software di gestione finanziaria, allora inserire il reparto hardware vicino al reparto software può aiutare ad incrementare le vendite di entrambi questi prodotti. Una strategia alternativa prevede di posizionare i prodotti acquistati frequentemente insieme ad estremi opposti del negozio per stimolare i clienti che comprano tali prodotti di comprare altri prodotti lungo la strada. Per esempio, dopo aver deciso l acquisto di un computer costoso, un cliente può

12 8 2 L estrazione di Regole Associative osservare sistemi di sicurezza in vendita mentre cerca il reparto software per comprare il software di gestione aziendale e può decidere di comprare anche un sistema di sicurezza per la casa. La Market Basket Analysis può anche aiutare i venditori a pianificare quali prodotti mettere in vendita a prezzi ridotti. Se i clienti tendono a comprare computer e stampanti insieme, allora avere uno sconto sui computer può incoraggiare la vendita sia dei computer che delle stampanti. Se il nostro universo di riferimento è costituito dall insieme di prodotti disponibili nel magazzino, allora ciascun prodotto può essere rappresentato mediante una variabile booleana che rappresenta la sua presenza o la sua assenza dal carrello della spesa. Ciascun basket può, quindi, essere rappresentato mediante un vettore booleano di valori assegnati alle variabili associate ai prodotti. I vettori booleani possono essere analizzati per individuare pattern sugli acquisti che indicano i prodotti che vengono frequentemente comprati insieme. Tali pattern possono essere rappresentati sotto forma di Regole Associative. Per esempio, l informazione che i clienti che comprano computer tendono anche a comprare contemporaneamente software di gestione finanziaria è rappresentata dalla seguente regola associativa: computer financial management software [supporto = 2%, confidenza = 60%] Il supporto e la confidenza di una regola sono due misure del suo interesse. Essi riflettono, rispettivamente, l utilità e la certezza delle regole scoperte. Un supporto del 2% per la regola associativa precedente indica che il 2% di tutte le transazioni sotto analisi registrano l acquisto di un computer e, contemporaneamente, di un software di gestione finanziaria. Una confidenza del 60% indica che il 60% dei clienti che hanno comprato un computer hanno comprato anche un software di gestione finanziaria. Tipicamente le regole associative sono considerate interessanti se soddisfano tanto una soglia di supporto minimo che una soglia di confidenza minima. Tali soglie possono essere determinate dagli utenti stessi oppure da esperti del dominio applicativo. 2.3 Concetti di base Sia I = {i 1, i 2,..., i m } un insieme di prodotti. Sia D un insieme di transazioni, dove ciascuna transazione T è un insieme di prodotti tali che T I. Ciascuna transazione ha associato un identificatore, denominato TID. Sia A un insieme di prodotti. Si dice che una transazione T contiene A se e solo se A T. Una regola associativa è un implicazione della forma A B, dove A I, B I e A B =. La regola A B vale nell insieme di transazioni D con supporto s, dove s è la percentuale di transazioni in D che contiene A B. La regola A B ha confidenza c nell insieme di transazioni D se c è la percentuale di transazioni in D che, contenendo A, contengono anche B. In altre parole: supporto(a B) = P rob(a B) confidenza(a B) = P rob(b A) Le regole che soddisfano sia una soglia minima di supporto (min sup) che una soglia minima di confidenza (min conf) sono dette forti. Un insieme di prodotti è denominato itemset. Un itemset che contiene k item è un k-itemset. Ad esempio, l insieme { computer, financial management software } è un 2-itemset. La frequenza di occorrenza di un itemset è il numero di transazioni che contengono l itemset. Tale numero è noto, anche, come frequenza, support count o, semplicemente, count dell itemset. Un itemset soddisfa il supporto minimo se la frequenza di occorrenza dell itemset è maggiore o uguale al prodotto di min sup per il numero totale di transazioni in D. Il numero di transazioni richieste all itemset per soddisfare il supporto minimo è denominato minimum support count. Se un itemset soddisfa il supporto minimo, allora è detto itemset frequente. L insieme di k-itemset frequenti è comunemente denotato con L k. Il mining di regole associative consiste nei seguenti passi:

13 2.4 Mining di regole associative booleane monodimensionali: l algoritmo Apriori 9 1. Ricerca di tutti gli itemset frequenti; per definizione, la frequenza di ciascuno di questi itemset sarà maggiore o uguale al minimum support count. 2. Generazione di regole associative forti a partire dagli itemset frequenti; per definizione, tali regole devono avere un supporto e una confidenza superiori ad opportune soglie. Qualora se ne ravvisi la necessità è possibile utilizzare ulteriori misure di interesse. Il secondo passo è il più facile dei due; pertanto, di fatto, la performance complessiva del processo di Mining di regole associative è determinata dal primo passo. 2.4 Mining di regole associative booleane monodimensionali: l algoritmo Apriori Apriori è un algoritmo molto famoso pensato per estrarre itemset frequenti per regole associative booleane. Esso è stato proposto nel 1994 da Agrawal e Srikant. Il nome dell algoritmo è basato sul fatto che esso, in ogni passo, utilizza la conoscenza acquisita durante i passi precedenti. Apriori adotta un approccio iterativo noto come level-wise search; tale approccio prevede che i k-itemset vengono utilizzati per esplorare i (k + 1)-itemset. Innanzitutto viene individuato l insieme di 1 itemset frequenti; ciò avviene scorrendo il database, contando quante volte appare ciascun prodotto e collezionando quei prodotti che soddisfano il supporto minimo. Questo insieme è denotato con L 1. L 1 viene utilizzato per trovare L 2, ovvero l insieme dei 2 itemset frequenti; questo, a sua volta, viene utilizato per trovare L 3, e così via, fino a quando non possono essere più trovati k itemset frequenti. La ricerca di ciascun L k richiede una scansione completa del database. Per migliorare l efficienza della generazione level-wise di itemset frequenti, viene utilizzata la seguente, importante, proprietà, denominata, proprietà Apriori: Tutti i sottoinsiemi non vuoti di un itemset frequente devono anche essere frequenti. Come vedremo, grazie a tale proprietà, è possibile ridurre facilmente e notevolmente lo spazio di ricerca. Questa proprietà è basata sulla seguente osservazione. Per definizione, se un itemset I non soddisfa la soglia di supporto minima, min sup, allora I non è frequente, cioè P (I) < min sup. Se un prodotto A viene aggiunto all itemset I, allora l itemset risultante (cioè, I A) non può essere più frequente di I. Pertanto, I A sicuramente non sarà frequente, ovvero P (I A) < min sup. Questa proprietà appartiene ad una categoria speciale di proprietà denominate proprietà antimonotone; esse, in genere, ci dicono che se un insieme non può superare un test, anche tutti i suoi sovrainsiemi falliranno anche sullo stesso test. Il termine anti-monotona deriva dal fatto che la proprietà è monotona nel far fallire un test Estrazione degli itemset frequenti Come viene utilizzata la proprietà Apriori nel contesto dell algoritmo? Per comprendere ciò, dobbiamo esaminare come viene utilizzato L k 1 per costruire L k. A tal fine viene adottato un processo a due passi, che consiste in azioni di join e di prune. Passo di join. Per costruire L k viene generato un insieme di k-itemset candidati, effettuando il join di L k 1 con se stesso; in questa attività i membri di L k 1 vengono posti in join se hanno (k 2) prodotti in comune; più formalmente, si avrà che: L k = {A B A, B L k 1, A B = k 2} L insieme di k-itemset candidati così ottenuto viene indicato con C k. Passo di prune. C k è un sovrainsieme di L k ; infatti, i suoi membri possono essere o non essere frequenti ma, sicuramente, tutti i k-itemset frequenti sono inclusi in C k. A questo punto è necessario esaminare il database per contare ciascun candidato in C k ; quelli il cui conteggio non è minore di una certa soglia sono, per definizione, frequenti e, pertanto, appartengono ad L k.

14 10 2 L estrazione di Regole Associative C k, tuttavia, può essere enorme e, pertanto, potrebbe richiedere dei calcoli pesanti. Al fine di ridurre la dimensione di C k viene opportunamente utilizzata la proprietà Apriori. Più specificatamente, ciascun (k-1)-itemset che non risulta essere frequente non può essere un sottoinsieme di un k-itemset frequente. Pertanto, se qualcuno dei (k-1)-sottoinsiemi di un k-itemset candidato non è in L k 1, allora il candidato non può essere frequente e può essere rimosso da C k. È opportuno evidenziare che questo testing dei sottoinsiemi può essere effettuato velocemente mantenendo un hash tree di tutti gli itemset frequenti. Esempio Esaminiamo un esempio concreto di Apriori, basandoci su un database D di transazioni relativo a prodotti di elettronica; tale database è illustrato nella Tabella 2.1. In esso vi sono nove transazioni; pertanto, D = 9. TID Lista degli ID degli item T100 I1, I2, I5 T200 I2, I4 T300 I2, I3 T400 I1, I2, I4 T500 I1, I3 T600 I2, I3 T700 I1, I3 T800 I1, I2, I3, I5 T900 I1, I2, I3 Tabella 2.1. Dati transazionali relativi alla realtà di interesse Durante la prima iterazione dell algoritmo ciascun prodotto è un membro dell insieme C 1 degli itemset candidati. L algoritmo, semplicemente, scansiona tutte le transazioni al fine di contare il numero di occorrenze di ciascun prodotto (Tabella 2.2). Itemset Support Count {I1} 6 {I2} 7 {I3} 6 {I4} 2 {I5} 2 Tabella 2.2. Insieme C 1 Si supponga che il minimum support count richiesto è 2 (ovvero, min sup = 2/9 = 0.22). A questo punto è possibile determinare gli 1-itemset frequenti, come quegli 1-itemset candidati che hanno un support count maggiore o uguale al minimum support count (Tabella 2.3). Itemset Support Count {I1} 6 {I2} 7 {I3} 6 {I4} 2 {I5} 2 Tabella 2.3. Insieme L 1

15 2.4 Mining di regole associative booleane monodimensionali: l algoritmo Apriori 11 Per individuare l insieme L 2 dei 2-itemset frequenti, l algoritmo effettua la join di L 1 con se stesso, secondo le regole precedentemente specificate, e genera un insieme candidato C 2 di 2-itemset. A questo punto, l algoritmo esamina le transazioni in D e calcola il support count di ciascun itemset in C 2 (Tabella 2.4). Itemset Support Count {I1, I2} 4 {I1, I3} 4 {I1, I4} 1 {I1, I5} 2 {I2, I3} 4 {I2, I4} 2 {I2, I5} 2 {I3, I4} 0 {I3, I5} 1 {I4, I5} 0 Tabella 2.4. Insieme C 2 Viene, quindi, determinato l insieme L 2 dei 2-itemset frequenti; esso comprende i 2-itemset candidati in C2 che hanno un support count maggiore o uguale a quello minimo (Tabella??). Itemset Support Count {I1, I2} 4 {I1, I3} 4 {I1, I5} 2 {I2, I3} 4 {I2, I4} 2 {I2, I5} 2 Tabella 2.5. Insieme L 2 Viene, quindi, generato l insieme C 3 dei 3-itemset candidati; tale generazione avviene effettuando la join di L 2 con se stesso secondo le regole precedentemente specificate; al termine di tale attività si avrà: C 3 = L 2 L 2 = {{I1, I2, I3}, {I1, I2, I4}, {I1, I2, I5}, {I1, I3, I5}, {I2, I3, I4}, {I2, I3, I5}, {I2, I4, I5}} Basandosi sulla proprietà Apriori secondo cui tutti i sottoinsiemi di un itemset frequente devono essere frequenti, è possibile determinare facilmente che gli ultimi cinque candidati non possono essere frequenti. Infatti: I sottoinsiemi di {I1, I2, I3} sono {I1, I2}, {I1, I3} e {I2, I3}; tutti questi sono sottoinsiemi di L 2 ; pertanto, {I 1, I 2, I 3 } viene lasciato in C 3. I sottoinsiemi di {I1, I2, I4} sono {I1, I2}, {I1, I4} e {I2, I4}; {I2, I4} non è un membro di L 2 e, pertanto, non è frequente; di conseguenza, {I 1, I 2, I 4 } viene rimosso da C 3. I sottoinsiemi di {I1, I2, I5} sono {I1, I2}, {I1, I5} e {I2, I5}; tutti questi sono sottoinsiemi di L 2 ; pertanto {I1, I2, I5} viene lasciato in C 3. I sottoinsiemi di {I1, I3, I5} sono {I1, I3}, {I1, I5} e {I3, I5}; {I3, I5} non è un membro di L 2 e, pertanto, non è frequente; di conseguenza, {I1, I3, I5} viene rimosso da C 3. I sottoinsiemi di {I2, I3, I4} sono {I2, I3}, {I2, I4} e {I3, I4}; {I3, I4} non è un membro di L 2 e, pertanto, non è frequente; di conseguenza, {I2, I3, I4} viene rimosso da C 3. I sottoinsiemi di {I2, I3, I5} sono {I2, I3}, {I2, I5} e {I3, I5}; {I3, I5} non è un membro di L 2 e, pertanto, non è frequente; di conseguenza, {I2, I3, I5} viene rimosso da C 3.

16 12 2 L estrazione di Regole Associative I sottoinsiemi di {I2, I4, I5} sono {I2, I4}, {I2, I5} e {I4, I5}; {I4, I5} non è un membro di L 2 e, pertanto, non è frequente; di conseguenza, {I2, I4, I5} viene rimosso da C 3. Pertanto possiamo rimuovere gli ultimi cinque insiemi da C3, risparmiandoci lo sforzo di ottenere inutilmente i loro conteggi durante la successiva scansione di D per determinare L 3. Si noti che, quando si esamina un dato k-itemset, è necessario verificare soltanto se i suoi (k-1) itemset sono frequenti, dal momento che l algoritmo Apriori utilizza la strategia level-wise search. A questo punto vengono esaminate le transazioni in D al fine di determinare L 3 ; quest ultimo è composto da quei 3-itemset candidati in C3 che hanno un support count maggiore di quello minimo (Tabella 2.6). Itemset {I1, I2, I3} 2 {I1, I2, I5} 2 Support Count Tabella 2.6. Insieme L 3 L algoritmo effettua la join di L 3 con se stesso, secondo le regole precedentemente specificate, per generare un insieme candidato C 4 di 4-itemset. Sebbene l operazione di join restituisce {{I1, I2, I3, I5}}, questo itemset viene eliminato dal momento che il sottoinsieme {I2, I3, I5} non è frequente. Pertanto C 4 = e l algoritmo termina, avendo individuato tutti i possibili itemset frequenti Generazione di regole associative dagli itemset frequenti Una volta individuati gli itemset frequenti dalle transazioni di un database D, è immediato generare regole associative forti da essi (si ricordi che, per regole associative forti, intendiamo regole che soddisfano sia il supporto minimo che la confidenza minima). Per calcolare la confidenza si utilizza la seguente formula, in cui la probabilità condizionale viene espressa in termini di support count associato agli itemset: confidenza(a B) = P rob(b A) = support count(a B) support count(a) dove support count(a B) è il numero di transazioni che contengono l unione degli itemset A e B, mentre support count(a) è il numero di transazioni che contengono l itemset A. Basandosi su tale equazione, le regole associative possono essere generate nel seguente modo: Per ciascun itemset frequente, l, vengono generati tutti i sottoinsiemi non vuoti di l; Per ciascun sottoinsieme non vuoto s di l, viene restituita la regola: se s (l s) support count(l) support count(s) min conf, dove min conf è la minima soglia di confidenza accettabile. Dal momento che le regole vengono generate da itemset frequenti, ciascuna di esse soddisfa automaticamente il supporto minimo. Gli itemset frequenti possono essere memorizzati in tabelle hash, insieme con i loro contatori, in modo tale che possano essere acceduti velocemente. Esempio Consideriamo i dati transazionali visti precedentemente. Si supponga che i dati contengono l itemset frequente l = {I1, I2, I5}. Quali sono le regole associative che possono essere generate da l? I sottoinsiemi non vuoti di l sono {I1, I2}, {I1, I5}, {I2, I5}, {I1}, {I2} e {I5}. Le regole associative risultanti, ciascuna con la corrispondente confidenza, sono le seguenti: I1 I2 I5 con confidenza = 2/4 = 50%

17 2.4 Mining di regole associative booleane monodimensionali: l algoritmo Apriori 13 I1 I5 I2 con confidenza = 2/2 = 100% I2 I5 I1 con confidenza = 2/2 = 100% I1 I2 I5 con confidenza = 2/6 = 33% I2 I1 I5 con confidenza = 2/7 = 29% I5 I1 I2 con confidenza = 2/2 = 100% Se la soglia di confidenza minima è pari al 70%, allora soltanto la seconda, la terza e l ultima delle regole precedenti vengono restituite, dal momento che soltanto esse risultano essere forti.

18

19 3 I Recommender System 3.1 Introduzione I recommender system costituiscono un importante area di ricerca sin dalla metà degli anni Novanta. I recommender system sono dei sistemi di supporto alle decisioni utilizzati (in misura sempre maggiore) dai moderni siti di e-commerce. In particolare, molti siti di e-commerce quali ad esempio Amazon, sono capaci di generare delle recommendations, cioè dei suggerimenti per guidare l utente nei suoi acquisti on line. Un esempio molto semplice di raccomandazione on line è il seguente: consideriamo un utente che, nel corso della sua interazione con un sito di e-commerce, abbia espresso, in forma esplicita oppure implicita, preferenze per i libri di un autore di libri gialli. Dopo aver acquisito tali preferenze, il recommender system assegnerà quell utente a un gruppo di altri utenti che hanno mostrato di gradire gli stessi oggetti (i e, successivamente, suggerirà, allo stesso utente, di acquistare quei libri che, in media, gli utenti del gruppo a cui è stato assegnato hanno poi effettivamente acquistato (ad esempio altri libri gialli ma di autori diversi). In futuro, è ragionevole assumere che i siti Web che offriranno servizi di questo tipo si moltiplicheranno sempre di più. Probabilmente nascerà un nuovo modello di business on line fondato su uno dei più antichi bisogni dell uomo, ovvero quello di ricevere consigli e suggerimenti. In questo capitolo verrà proposta un analisi dettagliata dei recommender system esistenti e verrà fornita una loro classificazione. 3.2 Concetti generali I recommender system sono emersi come area di ricerca indipendente a metà degli anni 90 quando i ricercatori si concentrarono su problemi di recommendation che, in maniera esplicita, tenevano conto delle valutazioni (rating) fornite dagli utenti. Nella sua formulazione più comune, il problema della raccomandazione è ricondotto al problema di stimare i rating per degli oggetti che non sono mai stati valutati dall utente. Intuitivamente, questa stima è generalmente basata sui rating che l utente attribuisce ad altri oggetti (item) oppure su altre informazioni. Una volta che è stato possibile stimare i rating per gli oggetti non ancora valutati, sarà possibile suggerire all utente l item (o gli item) dotati del più elevato rating stimato. In maniera più formale, il problema del recommendation può essere formulato come segue: Sia C l insieme di tutti gli utenti di un sito di e-commerce e sia S l insieme di tutti i possibili item che possono essere suggeriti (ad esempio libri o film). Lo spazio S degli item possibili può essere estremamente vasto e, nei casi pratici, può variare da centinaia di migliaia a milioni di oggetti. In modo analogo, lo spazio degli utenti può essere estrememente vasto e può comprendere in alcuni casi anche milioni di utenti. Sia u una funzione di utilità che misura l utilità di un item s per un utente c. In altre parole, sia u : C S R, dove R è un insieme totalmente ordinato (ad esempio R potrebbe essere l insieme dei numeri interi non negativi oppure l insieme dei numeri reali appartenenti a un certo intervallo). Dunque, per ciascun utente c C, il nostro obiettivo è scegliere gli item s S che massimizzano la funzione di utilità u.

20 16 3 I Recommender System In maniera più formale: c C s c = arg max u(c, s) (3.1) s S Nei recommender system, l utilità di un item è tipicamente rappresentata da un rating, ovvero un coefficiente numerico che specifica quanto un particolare oggetto è gradito a un certo utente: ad esempio un utente come Marco Rossi potrebbe dare 7 punti (su 10) al film Harry Potter per esprimere il suo gradimento del film. Ciascun elemento dello spazio C può essere definito mediante un profilo che include varie caratteristiche come l età, il sesso, il reddito annuale, lo stato civile e cosi via. Nel caso più semplice il profilo può contenere anche un solo elemento (ad esempio, nel caso di applicazioni Web il profilo di un utente potrebbe coincidere con il suo nickname). In modo analogo, ciascun elemento dello spazio S è definito da un insieme di caratteristiche. Ad esempio, nel contesto di un applicazione che suggerisce film ai propri utenti, ciascun film potrebbe essere identificato da un codice, un titolo, un genere, il regista, l anno di produzione, l attore protagonista e cosi via. Il problema centrale nei recommender system deriva dal fatto che la funzione di utilità non è definita sull intero spazio C S, ma solo su un sottoinsieme di questo spazio. Ciò significa che u deve essere estrapolato all intero spazio C S. Nei recommender system, l utilità è tipicamente rappresentata mediante dei rating ed è inizialmente definita solo sugli oggetti che sono stati in passato valutati dagli utenti. Ad esempio, nel contesto di un sistema di raccomandazione dei film, possiamo assumere che ciascun utente, inizialmente, attribuisca un punteggio solo ai film che ha visto. I rating degli utenti ai film possono essere convenientemente rappresentati mediante una matrice (detta user-item matrix); un esempio di user-item matrix è riportato nella Tabella 3.1. Utente-Film Harry Potter Memento Kill Bill Notorius Marco 4 Anna 2 3 Luisa 1 5 Carlo 4 Francesca Tabella 3.1. Un esempio di matrice user-item. In questa tabella, gli utenti attribuiscono un punteggio compreso tra 1 e 5 per i film che hanno visto mentre il simbolo indica che l utente non ha ancora visto il film. Pertanto, l obiettivo di un algoritmo di un recommender system è quello di stimare (o predire) i rating dei film che non sono stati valutati. L attività di estrapolare rating sconosciuti a partire da rating conosciuti avviene tipicamente in due fasi: Ipotizzare che la funzione di utilità abbia una certa forma (ad esempio la funzione di utilità potrebbe essere una funzione lineare). Stimare i parametri della funzione di utilità in modo da ottimizzare certi parametri (ad esempio minimizzare l errore quadratico medio). Dopo aver stimato i rating sconosciuti, il sistema associa a ciascun item un potenziale rating e estrae gli N oggetti che hanno rating più alto. Questi item verranno infine proposti agli utenti come oggetti potenzialmente rilevanti alle sue esigenze. Esistono numerose tecniche per stimare i rating di item che non sono stati valutati esplicitamente dagli utenti. Queste tecniche sono state mutuate dall Intelligenza Artificiale e dall approximation theory. I recommender systems sono generalmente classificati in rapporto al loro approccio per la stima dei rating e, nelle sezioni successive, presenteremo le classificazione proposta in letteratura. I recommender system sono generalmente classificati nelle seguenti categorie: Content Based. Gli oggetti saranno suggeriti in base alla loro similarità ad altri oggetti che l utente ha in passato mostrato di gradire.