Università degli Studi di Salerno Facoltà di Scienze Matematiche Fisiche e Naturali

Transcript

1 Università degli Studi di Salerno Facoltà di Scienze Matematiche Fisiche e Naturali Base Di Dati II Anno accademico 2011/2012 Progettazione di un Data mart per l'analisi dei servizi bibliotecari universitari Candidati Gianluca Carbone Matr Michele D Avino Matr Loris D Avanzo Matr

2 Indice 1. Il Dominio Applicativo Pianificazione del Data Warehouse Il Data Mart Analisi e Riconciliazione delle Fonti Dati Ricognizione Normalizzazione Integrazione Progettazione concettuale Fatto Corso Libro Fatto Esame Libro Progettazione logica Progettazione dell'alimentazione Trasformazione relativa allo schema "Corso Libro" Trasformazione relativa allo schema "Esame Libro" Design degli schemi con Pentaho Schema Workbench Livello di Analisi Analisi del cubo relativo al fatto "Corso Libro" Analisi del cubo relativo al fatto "Easme Libro"

3 1. Il Dominio Applicativo I database presi in esame sono due: il primo database si occupa della gestione delle biblioteche di un università, mentre il secondo contiene informazioni riguardanti la gestione degli studenti dell università. Per quanto riguarda il primo database, è possibile gestire tutte le operazioni che riguardano le biblioteche, dalla gestione del personale, alla gestione della disponibilità dei libri e la gestione del prestito degli stessi. Al momento di un nuovo prestito da parte dello studente, devono essere inserite tutte le informazioni riguardo lo studente e il libro preso in prestito aggiornando le relative quantità presenti in biblioteca. Dati principali sono anche la data di inizio e di fine del prestito. E possibile inserire un nuovo dipendente inserendo tutte le informazioni riguardanti ad esso. Per quanto riguarda il secondo database, vengono gestite tutte le informazioni che riguardano il percorso universitario di uno studente. All interno del database vengono elaborate tutte le informazioni riguardo gli studenti, gli esami superati, i corsi, e i docenti e i libri relativi ad un corso. Particolare importanza hanno le informazioni riguardo la frequenza degli studenti ai corsi; il professore assegnato al corso, la quantità di studenti che supera un determinato esame; le date di inizio e fine dei corsi. Ecco un elenco dei rispettivi ambiti applicativi: La gestione delle biblioteche Registrazione di una nuova biblioteca Registrazione di un nuovo libro Registrazione degli impiegati assunti da una biblioteca Registrazione degli studenti che effettuano un prestito Catalogo dei libri disponibili La gestione degli studenti Registrazione di un nuovo studente Registrazione del professore associato ad un corso Frequenza degli studenti ai corsi Registrazione di un libro utilizzato in un particolare corso Registrazione di un nuovo esame superato da un professore L'ambito applicativo dei due database studiati è, dunque, molto diverso; tuttavia vi sono delle importanti informazioni che li accomunano, che nello specifico riguardano gli studenti dell'università (che possono anche essere clienti della biblioteca) e i libri utilizzati per l'insegnamento nei corsi (tali libri potrebbero essere reperiti in biblioteca dagli studenti). 3

4 2. Pianificazione del Data Warehouse Nella Figura seguente è possibile osservare le fasi di progettazione del datawarehouse sviluppato, inoltre sono descritte anche le fasi di progettazione e gli strumenti software utilizzati. In seguito verranno descritte nel dettaglio le fasi del progetto. Figura 1: Schema del Data Warehouse 4

5 3. Il Data Mart 3.1 Analisi e Riconciliazione delle Fonti Dati Ricognizione Il sistema informativo in questione è gestito attraverso un approccio in cui vengono elaborati due distinti database relazionali: il primo, che chiameremo DB gestione_studenti, contenente i dati relativi agli studenti, ai docenti che insegnano un corso, alla frequenza ai corsi, al libro utilizzato nel corso e agli esami superati dagli studenti. Il secondo database, DB gestione_biblioteche, si occupa della registrazione dei dati degli studenti che effettuano un prestito, la registrazione dei dati dei dipendenti e l aggiornamento della disponibilità dei libri all interno delle biblioteche. La tabella 1 e la tabella 2 elencano le relazioni presenti nei due database. Nome relazione Descrizione Biblioteca Dati relativi ad una biblioteca dell ateneo Libro Dati relativi ai libri Dipendente Dati relativi ai dipendenti della biblioteca Studente Dati relativi allo studente che effettua il prestito Tabella 1 - Relazioni nel DB gestione_biblioteche Nome relazione Descrizione Studente Dati relativi agli studenti iscritti all università Esame Dati relativi agli studenti che superano un esame Docente Dati relativi ad un docente Corso Dati relativi ad un corso sostenuto da un docente Libro Dati relativi al libro utilizzato in un corso Tabella 2 - Relazioni nel DB gestione_studenti 5

6 3.1.2 Normalizzazione A partire dagli schemi logici delle relazioni, ricaviamo lo schema Entity/Relationship delle due basi di dati attraverso un processo di reverse engineering. Gli schemi ottenuti sono riportati in Figura 2 e in Figura 3. figura 2: Schema delle tabelle SQL e schema del diagramma ER del db gestione_studenti 6

7 Figura 3:Schema delle tabelle SQL e Schema ER del DB gestione_biblioteche 7

8 È stata individuata una porzione dello schema rappresentato in figura 3 non utile per il Data mart; in particolare tale porzione riguarda l'entità DIPENDENTE le cui informazioni risultano essere futili al fine della creazione del Data mart e per la successiva fase di analisi che riguarderà per lo più i dati relativi agli studenti, ai libri e agli esami sostenuti. Si è deciso invece di mantenere le informazioni riguardanti le biblioteche, i corsi e i docenti, ritenendole opportune all'interno del contesto applicativo Integrazione È ora possibile procedere alla fase di integrazione. Per integrare gli schemi è necessario scegliere la tecnica di integrazione, ma dal momento che sono solo due gli schemi da integrare, la scelta ricade sulla tecnica di integrazione binaria. Per quanto riguarda invece i possibili conflitti riscontrabili durante la fase di integrazione, si procede come descritto in seguito: La comparazione tra i due schemi evidenzia i seguenti conflitti : Nello schema 1 (Gestione Biblioteche) sono presenti tutti gli studenti che hanno effettuato il prestito di almeno un libro presso una biblioteca, mentre nello schema 2 (Gestione Studenti) sono archiviati tutti gli studenti dell ateneo, anche quelli a cui non associato nessun prestito. Da notare che nello schema 2 è possibile avere studenti che non sono contenuti nello schema 1. Nello schema 1 (Gestione Biblioteche) sono presenti tutti i libri presenti in almeno una biblioteca, mentre nello schema 2 (Gestione Studenti) sono archiviati tutti i libri utilizzati nei relativi corsi dell ateneo (uno al massimo per ogni corso). Nello schema 1 possono essere presenti libri che non sono contenuti nello schema 2 (e viceversa). La metodologia di integrazione utilizzata prevede l allineamento dei due schemi, ossia la soluzione dei conflitti in essi presenti. Nonostante la politica di integrazione preveda una risoluzione dei conflitti che minimizzi le restrizioni sulle informazioni, per migliorare l'analisi successiva del Data mart viene svolta una fase di integrazione che sintetizza le informazioni con quelle che effettivamente verranno elaborate. In particolare le decisioni prese vengono motivate di seguito: Gli studenti che hanno usufruito dei servizi delle biblioteche sono solo una parte di tutti quelli dell ateneo, ma l'associazione tra STUDENTE e PRESTITO rimane non opzionale perché la progettazione del Data mart prevede per l'appunto un'analisi sugli studenti che hanno preso in prestito almeno un libro relativo ad almeno un corso che frequentano o che hanno frequentato (per cui la relazione FREQUENTA diventa non opzionale). Lo stesso discorso vale per le altre associazioni interessate nella fase di 8

9 integrazione, in particolare quelle tra l'entità LIBRO e le entità UTILIZZA e CATALOGO: bisogna considerare i libri utilizzati nei corsi che sono presenti nella biblioteca. Inoltre gli attributi area_didattica e materia riguardanti l'entità LIBRO che sono presenti nel DB gestione_biblioteche, ma non nel db gestione_studenti; vengono mantenuti nel database globale riconciliato, il loro uso potrebbe riguardare operazioni di aggregazione. I due schemi allineati possono quindi essere fusi sovrapponendo i concetti comuni (le entità STUDENTE e LIBRO): Figura 4: Diagramma ER del database riconciliato 9

10 3.2.2 Fatto corso_libro La possibile interrogazione può essere: Quantità di studenti che hanno preso in prestito un determinato libro relativo ad un determinato corso. Gli studenti ed i libri che vengono presi in considerazione sono quelli memorizzati sia nel database gestione_biblioteche che nel database gestione_esami. Per la creazione dell'albero degli attributi è stato scelto di partire dalla relazione FREQUENTA, per cui vi è una fase iniziale di reificazione relativa appunto a tale relazione. La Figura 5 mostra la trasformazione relativa alla reificazione di FREQUENTA e il successivo albero degli attributi costruito per lo schema del fatto in questione. Il nodo radice dell albero degli attributi è (id_corso,matricola_studente) (chiave dell'entità FREQUENZA) ed è colorato in giallo. Figura 5: Reificazione di FREQUENTA e Albero degli attributi per il fatto corso_libro 10

11 Per quanto riguarda la fase di potatura, vi è un innesto del nodo id_corso (grana temporale) è vengono potati i nodi che risultano essere irrilevanti per la successiva fase di analisi. L'albero degli attributi potato viene mostrato in figura 6. Figura 6: Albero degli attributi potato per il fatto corso_libro Vengono scelte come dimensioni per lo schema del fatto corso_libro i figli della radice id_corso, quindi il nome del corso e ed il nome del libro, inoltre nello schema del fatto viene inserita manualmente anche la dimensione matricola (con i relativi attributi descrittivi) per rappresentare gli studenti. Essendo vuoto lo schema di fatto, la dimensione matricola non avrà l'arco multiplo entrante. Nella figura 7 viene riportato lo schema del fatto risultante: Figura 7: Schema del fatto corso_libro 11

12 3.2.1 Fatto esame_libro La possibile interrogazione può essere: Quantità di studenti che in una specifica data hanno superato un particolare esame avendo preso in prestito il libro del corso relativo. Anche in questo caso gli studenti ed i libri che vengono presi in considerazione sono quelli memorizzati sia nel database gestione_biblioteche che nel database gestione_esami. La Figura 5 mostra l albero degli attributi per lo schema del fatto in questione. Il nodo radice dell albero è id_esame (chiave dell'entità ESAME) ed è colorato in giallo. Figura 8: Albero degli attributi per il fatto esame_libro La fase di potatura è simile alla potatura precedente, anche qui avviene l'innesto riguardante il nodo id_corso che porta il nodo id_libro ad essere figlio di id_esame. L'albero degli attributi potato viene mostrato in figura 9. Figura 9: Albero degli attributi potato per il fatto esame_libro 12

13 Vengono scelte come dimensioni per lo schema del fatto esame_libro i figli della radice id_esame, quindi il nome del corso, il nome del libro, la matricola dello studente e la data (rappresentata tramite la gerarchia giorno, mese anno). Nella figura 10 viene riportato lo schema del fatto risultante: Figura 10: Schema del fatto esame_libro 13

14 3.3 Progettazione logica A livello logico si opta per l'utilizzo dello schema a stella per ciascuno degli schemi di fatto descritti in 3.2 Le figure sotto riportate rappresentano gli schemi a stella per i fatti individuati. Figura 11: Schema a stella per il fatto corso_libro Figura 12: Schema a stella per il fatto esame_libro 14

15 3.4 Progettazione dell'alimentazione Per quanto riguarda l alimentazione dei dati mart, bisogna considerare che non è presente un livello riconciliato,cioè il database riconciliato non è stato materializzato. Quindi il processo di alimentazione consiste nell estrarre i dati dai due database sorgenti e di alimentare gli schemi a stella. Per svolgere questa operazione sono state effettuate delle trasformazioni utilizzando il tool ETL Pentaho Kettle. La Figura 18,la Figura 19 e la Figura 20 mostrano le trasformazioni eseguite con Kettle Trasformazione relativa allo schema corso_libro" Figura 13: Trasformazione relativa al fatto corso_libro in spoon Di seguito si riportano alcuni dei codici SQL utilizzati per le query necessarie per questa trasformazione. Table input corso_libro : SELECT FROM WHERE studente.nome as 'nome_studente', studente.cognome as 'cognome_studente', studente.matricola, corso.nome as 'corso', libro.titolo as 'libro', libro.autore as 'autore_libro', frequenza.data_inizio as 'data_inizio_corso' studente,libro,frequenza,corso studente.cf = frequenza.cf_studente && frequenza.id_corso = corso.id_corso && corso.id_libro = libro.id_libro 15

16 Table input studente_libro : SELECT studente.nome as 'nome_studente', studente.cognome as 'cognome_studente', studente.matricola as 'matricola2', libro.titolo as 'titolo_libro2', libro.autore as 'autore_libro2', prestito.data_inizio as "data_prestito", frequenza.data_fine as 'data_fine_corso' FROM studente,libro,prestito WHERE prestito.id_libro = libro.id_libro && prestito.id_studente = studente.cf La funzione di join rows unisce le tables input seguendo le seguenti condizioni: libro = titolo_libro2 AND matricola = matricola2 AND data_inizio_corso <= data_prestito data_fine_corso > data_prestito AND Il motivo per il quale vengono utilizzate la terza e la quarta condizione è relativa al fatto che un libro per essere preso in considerazione nell'analisi deve essere preso in prestito da uno studente nel periodo in cui sta seguendo il corso che utilizza il libro in questione, altrimenti l'informazione potrebbe essere non relativa a quanto effettivamente si sta analizzando. 16

17 3.4.2 Trasformazione relativa allo schema esame_libro" Figura 14: Trasformazione relativa al fatto esame_libro in spoon Table input Studente_Esame : SELECT FROM WHERE studente.nome as 'nome_studente', studente.cognome as 'cognome_studente', studente.matricola, corso.nome as 'esame', esame.data, libro.titolo as 'libro2', libro.autore as 'autore_libro2' studente, libro, esame,corso studente.cf = esame.id_studente && corso.id_corso = esame.id_corso && corso.id_libro = libro.id_libro Table input Studente_Libro : SELECT studente.nome as 'nome_studente', studente.cognome as 'cognome_studente', studente.matricola as 'matricola2', libro.titolo as 'titolo_libro', libro.autore as 'autore_libro', prestito.data_inizio as 'data_prestito' FROM studente, libro, prestito WHERE prestito.id_libro = libro.id_libro && prestito.id_studente = studente.cf Anche in questo caso il join rows effettua un controllo temporale per verificare che il superamento dell'esame avvenga dopo che lo studente abbia preso in prestito il libro relativo al corso in questione. 17

18 3.5 Design degli schemi con Pentaho Schema Workbench Per creare gli schemi dei fatti corso_libro e esame_libro è stato usato il software "Pentaho Scheme Workbench". Per ogni singolo fatto sono stati creati lo schema e il cubo e sono state specificate le relative tabelle dei fatti precedentemente create con Kettle, sono state selezionate le dimensioni del cubo con la relativa gerarchia precedentemente create da Kittle, ed in seguito aggiunte le misure di interesse per il fatto; infine è stato necessario definire i vari livelli delle gerarchie. Le figure seguenti mostrano gli schemi creati in Pentaho Schema Workbench Figure 15 e 16: Creazione dei fatti corso_libro e esame_libro in Schema Workbench 18

19 3.6 Livello di analisi La fase successiva per realizzare un datawarehouse consiste nel pubblicare i cubi creati attraverso il software "Pentaho Schema Workbench" attraverso PentahoBI Server. Per ottenere informazioni utili e di comprensione immediata sono stati creati grafici utilizzando JPivot. Di seguito vengono riportate le informazioni ed i grafici ottenuti attraverso l'utilizzo di questi software Analisi del fatto corso_libro" Le figure 17, 18 e 19 mostrano gli studenti che hanno usufruito dei servizi bibliotecari e il numero di libri presi in prestito ed utilizzati in corsi che hanno frequentato. Figura 17: numero di libri presi in prestito 19

20 Figura 18: grafico relativo agli studenti e alla quantità di libri presi in prestito Figura 19: Pie chart relativo agli studenti e alla quantità di libri presi in prestito 20

21 Le figure 20 e 21 mostrano i corsi ed il numero di studenti che hanno preso in prestito i relativi libri. Figura 20: Grafico relativo ai corsi e alla quantità di libri presi in prestito Figura 21: Pie chart relativo ai corsi e alla quantità di libri presi in prestito 21

22 La figura 22 mostra i libri presi in prestito e per ciascun libro gli studenti che hanno ricevuto il prestito (vedi legenda). Figura 22: numero di libri prestati con studenti che hanno ricevuto il prestito 22

23 3.6.2 Analisi del fatto esame_libro" Le figure 23 e 24 mostrano gli studenti che hanno usufruito dei prestiti dei libri, ed il numero di esami che hanno superato avendo preso in prestito il relativo libro. Figura 23: numero esami superati avendo preso in prestito il libro Figura 24: Pie chart della quantità di esami superati per ogni studente 23

24 La figura 25 mostra gli esami superati da studenti che hanno usufruito dei prestiti dei libri della biblioteca, inoltre per ogni esame vengono visualizzati gli studenti che lo hanno superato. Figura 25: Esami superati e relativi studenti 24

25 Le figure 26 e 27 mostrano gli esami superati, con l'utilizzo dei libri della biblioteca, nel 2011 e nel Figura 26: Esami superati nel 2011 Figura 27: Esami superati nel

26 La figura 28 mostra i periodi (Anno.Mese) nei quali avvengono i superamenti degli esami (e la quantità di esami superati). Figura 28: Pie chart dei mesi in cui vengono superati gli esami La figura 29 mostra le stesse informazioni temporali della figura precedente, ma dettaglia anche l'esame che è stato superato e la quantità di studenti che lo hanno superato. Figura 29: Periodo di superamento degli esami e quantità di studenti che hanno superato l'esame 26