Informatica per la comunicazione" - lezione 14 -

Transcript

1 Informatica per la comunicazione - lezione 14 -

2 Parte III: il computer come strumento per l interazione e la comunicazione Si è parlato di identità

3 Parte III: il computer come strumento per l interazione e la comunicazione aspetti fisici aspetti mentali aspetti anagrafici

4 Parte III: il computer come strumento per l interazione e la comunicazione L identità è definita anche dal comportamento

5 che cosa mi piace che cosa compro che cosa guardo che cosa ascolto che cosa indosso che cosa leggo che cosa dico

6 User profile (profilo utente): una raccolta di dati personali associati a uno specifico utente di un servizio L informazione contenuta in un profilo utente può essere usata per adattare il servizio fornito alle caratteristiche e alle preferenze dell utente. User profiling (profilazione utente): il processo di costruzione del profilo di un utente mediante estrazione di informazioni da una collezione di dati.

7 Database

8 Database: collezione strutturata di dati riguardanti un certo aspetto della realtà, un entità, o un organizzazione. Esempi di database: i voti degli esami degli studenti di UniBG dalla fondazione dell università ad oggi; i nomi degli abitanti della Svezia; la targhe delle auto immatricolate in Italia nel marzo Database Management System (DBMS): sistema informatico che gestisce un database. Database system: il sistema complessivo che include un database e il suo DBMS.

9 Data model, o modello dei dati Per costruire un database e il relativo DBMS bisogna innanzitutto fissare un data model, ossia la struttura con cui vengono organizzati i dati, la quale determina come tali dati verranno immagazzinati, letti, e comunicati. Il data model è importante per le applicazioni che usano e scambiano dati perché ne determina le modalità di comunicazione e la precisione. Di fatto, crea un contesto comune allo scambio di informazione, quindi la facilità d uso e la minimizzazione delle ambiguità sono fondamentali. Il data model più diffuso è il modello relazionale.

10 Edgar F. Codd ( )

11 Il modello relazionale Proposto nel 1969 da Edgar Codd, un informatico inglese che lavorava per IBM. Come dice il suo nome stesso, il modello si basa sul concetto di relazione: i dati vengono organizzati secondo delle relazioni che legano tra loro determinati attributi. Una relazione viene rappresentata sotto forma di tabella, le cui colonne corrispondono agli attributi legati da tale relazione. I dati nel database vengono organizzati secondo tali attributi, i cui valori riempiono le righe della tabella, chiamate tuple.

12 nome della tabella valore attributi/colonne testata tupla/riga corpo

13 Esempio

14 Il linguaggio SQL SQL (Structured Query Language, sequel ) è il linguaggio più diffuso per la creazione e gestione su computer di database SQL è composto da due sottolinguaggi: DDL (Data Definition Language) per specificare lo schema delle tabelle con cui organizzare il database; DML (Data Manipulation Language) per inserire, modificare, esaminare, cancellare i dati nelle tabelle.

15 Schema di una tabella Lo schema di una tabella Ad esempio: si specifica assegnando: il nome della tabella, CREATE TABLE Studente ( l elenco degli attributi matricola INTEGER(5), della tabella, ciascuno cognomevarchar(20), con il relativo dominio nome VARCHAR(20), (ovvero, il tipo dei dati data-iscr DATE, che possono essere facoltà CHAR(3), assegnati come valori dell attributo). ) Studente matricola INTEGER(5) cognome VARCHAR(20) nome VARCHAR(20) data-iscr DATE facoltà CHAR(3)

16 Studente Inserimento di una tupla Una volta definitone lo schema, si inseriscono tuple nella tabella con specifici dati corrispondenti agli attributi. Ad esempio: INSERT INTO Studente VALUES (23456, Bini, Laura, , ing ) matricola cognome nome data-iscr facoltà Aldi Annalisa eco Dotti Paolo ing Grossi Danilo let Studente matricola cognome nome data-iscr facoltà Aldi Annalisa eco Bini Laura ing Dotti Paolo ing Grossi Danilo let

17 Studente Cancellazione di una tupla È possibile cancellare le tuple che soddisfano una determinata condizione. Ad esempio: DELETE FROM Studente WHERE facoltà = eco matricola cognome nome data-iscr facoltà Aldi Annalisa eco Bini Laura ing Dotti Paolo ing Grossi Danilo let Studente matricola cognome nome data-iscr facoltà Bini Laura ing Dotti Paolo ing Grossi Danilo let

18 Studente Modifica di una tupla È possibile modificare il valore di un attributo di una tupla identificata tramite una determinata condizione Ad esempio: UPDATE Studente SET facoltà = let WHERE matricola = matricola cognome nome data-iscr facoltà Bini Laura ing Dotti Paolo ing Grossi Danilo let Studente matricola cognome nome data-iscr facoltà Bini Laura ing Dotti Paolo let Grossi Danilo let

19 Query / interrogazioni I dati contenuti nel database vengono recuperati tramite query, o interrogazioni. Le query si eseguono inserendo nel DBMS delle istruzioni scritte in SQL. Ogni query SQL è eseguita su un insieme di tabelle appartenenti al database, e restituisce come risposta una nuova tabella, costruita secondo precise regole.

20 Studente Selezione di attributi Da una tabella può essere estratta una sottotabella costituita da determinati attributi. Ad esempio: dammi matricola e facoltà di tutti gli studenti SELECT matricola, facoltà FROM Studente matricola cognome nome data-iscr facoltà Bini Laura ing Dotti Paolo let Grossi Danilo let matricola ing let let facoltà

21 Studente Selezione di tuple Da una tabella si possono estrarre le tuple con certi valori in corrispondenza di determinati attributi. Ad esempio: dammi tutti gli attributi degli studenti di ingegneria SELECT * FROM Studente WHERE facoltà = ing matricola cognome nome data-iscr facoltà Bini Laura ing Dotti Paolo let Grossi Danilo let matricola cognome nome data-iscr facoltà Bini Laura ing

22 Selezione di attributi e tuple Le due operazioni possono essere combinate. Ad esempio: dammi il nome e il cognome degli studenti di ingegneria SELECT nome, cognome FROM Studente WHERE facoltà = ing Studente matricola cognome nome data-iscr facoltà Bini Laura ing Dotti Paolo let Grossi Danilo let nome Laura cognome Bini

23 Come si fa a costruire una base di dati? Dipende.

24 Le persone che si iscrivono in università

25 forniscono dati che popolano il database dell università

26 Ma anche chi fa la spesa

27 fornisce informazioni con i suoi acquisti, anche se in maniera meno diretta

28 Una volta costruita la base di dati?

29 Profiling Costruzione di profili, intesi come pattern o correlazioni all interno di grandi quantità di dati usati per identificare individui o gruppi di persone. Pattern: uno schema ricorrente Correlazione: interdipendenza tra quantità variabili Tale costruzione può essere facilitata da strumenti informatici. Numerosi scopi: discriminazione di prezzo, servizi personalizzati, rilevamento di frodi, etc. Knowledge Discovery in Databases (KDD): il problema oggi non è più raccogliere i dati, bensì districarsi in una mole di dati e distinguere l informazione significativa e utile dal rumore. Rumore: oscillazioni casuali di una quantità.

30 Le 3 fasi della KDD 1. Preprocessing, o pre-processo dei dati Bisogna selezionare l insieme di dati obiettivo, selezionando un sottoinsieme della base di dati: deve essere grande abbastanza da contenere i pattern che cerchiamo, ma piccola abbastanza da permettere l analisi in tempi accettabili. L insieme obiettivo viene poi pulito (data cleansing/data cleaning) per eliminare dati corrotti o mancanti. Studente matricola cognome nome data-iscr facoltà Bini Laura Dotti Paolo let Gxxrossi Danilo let

31 Le 3 fasi della KDD 2. Data Mining Sotto questo termine generale in realtà ricadono numerosi tipi di knowledge discovery.

32 Anomaly detection / rilevamento di anomalie: ricerca di elementi inusuali nel data base; si potrebbe trattare di informazione interessante o di errori non puliti; è necessaria ulteriore indagine.

33

34 Association rule learning / apprendimento di regole d associazione: noto anche come market basket analysis, ricerca di correlazioni tra variabili diverse presenti nel database.

35

36 Clustering: ricerca di caratteristiche comuni tra diverse tuple del database, che permettono di riconoscere diversi gruppi di similarità.

37

38 Classification: applicazione di un criterio di discriminazione elaborato in precedenza su nuovi dati per classificarli.

39

40 Regression / regressione: ricerca di una funzione matematica che modelli l andamento dei dati analizzati con la maggiore precisione possibile, per poi fare estrapolazione e previsioni.

41 Quando cerchiamo di modellare i nostri dati con una retta, si parla di regressione lineare.

42 Questa è una regressione generica.

43 Summarization / riepilogo: accorpamento di dati per costruirne una rappresentazione più compatta per visualizzazioni più efficaci e reporting / rapportazione.

44

45 Facciamo un esempio di association rule learning / market basket analysis

46 scontrino acquisti 1 latte, vino 2 pane, burro 3 pane, burro, miele 4 pane, burro, latte 5 pane, vino Cerchiamo regole d associazione sotto forma di: SE c è x, ALLORA c è anche y nel carrello Cerchiamo regole d associazione sotto forma di: x -> y {se c è x, allora c è anche y nel carrello} Ce ne sono tante: pane -> burro latte -> pane miele -> pane e burro burro -> pane quali sono buone?

47 Criterio 1: supporto Si definisce supporto di una regola x -> y il rapporto tra il numero di righe che contengono x e y e il numero totale di righe della tabella analizzata. acquisti scontrino 1 latte, vino 2 pane, burro 3 pane, burro, miele 4 pane, burro, latte 5 pane, vino Sup(pane -> burro) = 60% Sup(latte -> pane) = 20% Sup(miele -> pane e burro) = 20% Sup(burro -> pane) = 60%* *regole con gli stessi oggetti hanno lo stesso supporto

48 Criterio 2: confidenza scontrino Si definisce confidenza di una regola x -> y il rapporto tra il numero di righe che contengono x e y e il numero di righe che contengono x. acquisti Conf(pane -> burro) = 75% Conf(latte -> pane) = 25% Conf(miele -> pane e burro) = 100% Conf(burro -> pane) = 100% La confidenza può essere interpretata come la probabilità di avere y in una riga, sapendo che c è x in quella riga. 1 latte, vino 2 pane, burro 3 pane, burro, miele 4 pane, burro, latte 5 pane, vino

49 Quali regole cercare, quindi?

50 Tutte quelle regole che hanno supporto superiore a un certo valore, e confidenza superiore a un certo valore.

51 Vendite nel 2007: 5782,6 milioni Se la spesa media è di 25 vuol dire più di 231mila scontrini Ci sono più di 10mila prodotti

52 E impraticabile far fare data mining a essere umani con questa mole di dati.

53 Le 3 fasi della KDD 3. Validazione dei risultati In realtà dobbiamo ricordarci che le analisi del data mining non si applicano sull intera base di dati disponibile ma su un sottoinsieme. La validazione dei risultati si ottiene controllando che i pattern trovati siano presenti anche nel resto della base dei dati. Questo è possibile perché per applicare un pattern già noto a una base di dati occorre molto meno tempo che trovare un pattern ancora sconosciuto.

54 Come sfruttare la conoscenza acquisita?

55 Picco di vendite di birra in coincidenza con eventi sportivi In vista della partita mettere bene in vista le birre, magari con offerte

56 Chi compra peluche compra spesso caramelle Mettere i due prodotti vicini per incrementare la probabilità di un acquisto congiunto

57 Riconoscere che esistono 3 tipi di clientela rispetto al consumo dei prodotti di macelleria Fornire servizi orientati ai 3 gruppi, iniziando da quello che garantisce i margini di guadagno più alti

58 Tramite la tessera di fidelizzazione capire a che gruppo appartiene un cliente Al suo prossimo acquisto fornirgli un buono sconto mirato per farlo tornare di domenica

59 Andamento delle vendite di patate Acquistare più patate dai fornitori

60 Risultati complessivi di fine anno Da portare in riunione per discutere sulle prossime strategie