Università degli Studi Roma Tre Facoltà di Ingegneria Corso di Laurea in Ingegneria Informatica

Transcript

1 Università degli Studi Roma Tre Facoltà di Ingegneria Corso di Laurea in Ingegneria Informatica PROGETTO DI SISTEMI INFORMATICI Relatore: Orlandini Andrea Svolto da: Ventriglia Valentina Volpi Simone

2 Indice Introduzione 1 1 Last.fm e Audioscrobbling Last.fm Audioscrobbling web services Database Applicazione realizzata Descrizione Conclusioni 17 Bibliografia 18 i

3 Introduzione L attivita svolta durante il progetto di sistemi informatici si compone di due fasi. Inizialmente ci siamo concentrati sullo studio dei sistemi last.fm e Audioscrobbler; successivamente abbiamo implementato un applicazione che attraverso l utilizzo delle informazioni gestite dai sistemi precedenti, offre un ulteriore servizio agli utenti. Il progetto originale di Audioscrobbler si limitava ad annotare quali brani gli utenti iscritti riproducevano nei rispettivi computer, per poi creare classifiche e filtri collaborativi. Last.fm invece nacque dall idea di creare un sito che combinasse il concetto di stazione radio su internet e quello di network di utenti accumunati dalla passione per la musica. Dalla loro fusione è nato un sistema in grado di offrire un Internet radio di nuova generazione in cui il DJ è un avanzato algoritmo di data mining in grado di analizzare le nostre preferenze di ascolto e metterle in relazione con quelle di decine di migliaia di utenti. Conclusa la fase di analisi dei sistemi di Last.fm e Audioscrobbler, la nostra attività all interno del progetto di sistemi informatici, si è concentrata sulla progettazione e programmazione di uno script php mirato ad offrire agli utenti del sistema di Last.fm, un ulteriore servizio. 1

4 Introduzione Last.fm ha come servizio principale quello di far ascoltare ad ogni utente dei brani musicali. Un utente che accede al sistema inserisce il nome di un artista e il sistema presenta una playlist contenente brani di artisti simili a quello proposto; l utente in alternativa può inserire un genere musicale: in quest ultimo caso la playlist conterrà brani che sono associati a tale genere. L applicazione che abbiamo realizzato vuole proporre all utente degli artisti da ascoltare, sulla base delle tracce da lui precedentemente ascoltate e dei suoi generi musicali preferiti. 2

5 Capitolo 1 Last.fm e Audioscrobbling 1.1 Last.fm La caratteristica principale del sito è quella di costruire un dettagliato profilo per ogni utente, gruppo, artista, album o canzoni. Sulla base di questi dati vengono stilate delle statistiche: gli artisti e le tracce più ascoltate dell ultima settimana, degli ultimi sei mesi o dal momento della registrazione. Tali statistiche sono aggiornate settimanalmente. Dal momento del rilascio del sito nell agosto del 2005, Last.fm supporta i tag degli utenti, che creano una folksonomia della musica. Gli utenti possono ascoltare le stazioni radio delle tag e le canzoni a cui sono state attribuite un certo tipo di tag. La classificazione dei brani in base ai tag può essere per genere ( garage rock ), stato d animo ( chill ), caratteristiche dell artista ( baritono ) o secondo definizioni personalizzate ( singers Sarah would like ). Nell aggiornamento dello stesso anno sono state aggiunte nuove funzionalità: un radio in streaming personalizzabile, uno spazio wiki in ogni pagina dell artista per scriverne la biografia, la possibilità di creare gruppi di utenti che condividono le stesse passioni, gli stessi gusti 3

6 ecc. Oltre alle stazioni radio delle tag gli utenti possono ascoltare anche le stazioni radio degli artisti simili: inserendo il nome di un artista vengono proposti all utente brani di artisti che vengono considerati simili a quello selezionato sulla base delle scelte che gli altri utenti del sistema, che presentano preferenze simili all utente in questione, hanno precedentemente effettuato. Il sistema di data mining presente nel servizio di Last.fm e Audioscrobbling è infatti mirato a determinare artsti simili, utenti con gusti musicali simili (amici) e brani dello stesso genere musicale (tag) solo sulla base dalle scelte fatte dagli utenti del servizio. Pertanto etichette discografiche e artisti sono incoraggiati a promuovuere la loro musica su Last.fm, perchè verrà proposta agli utenti che hanno espresso preferenze simili, grazie al sistema di filtri e raccomandazioni che caratterizzano last.fm e in particolare Audioscrobbler. La funzione più conosciuta di Last.fm è la creazione di stazioni radio personalizzate, che possono essere basate sul profilo personale di ciascun utente, sulle preferenze musicali dei vicini musicali dello stesso o sulla lista dei brani per cui l utente ha espresso la propria preferenza. I gruppi creati intorno a interessi o provenienza geografica comune possono avere la propria stazione radio se hanno abbastanza membri, e le stazioni radio dei tag possono essere riprodotte se esiste un contenuto sufficiente di brani a cui è stato aggiunto lo stesso tag (o diversi tag, nel caso delle stazioni a tag multipli). Anche le pagine degli artisti presentano una selezione di stazioni radio: quella degli artisti simili e quella dei fan. Infine ogni utente puo aggiungere altri utenti alla sua 4

7 lista di amici e unirsi o creare ex-novo gruppi di affinità caratterizzati da diverse politiche e regole di inclusione. Utilizzando un apposito player scaricabile gratuitamente dal sito, l utente puo ascoltare stream musicali aggregati in base ad una parola chiave o ad un musicista simile. Può in alternativa affidarsi direttamente al sistema di raccomandazioni di last.fm e ascoltare una playlist tarata ad hoc sulla base dei propri ascolti precedenti. Last.fm ha una collezione di 120 milioni di canzoni e sono disponibili demo di 30 secondi per ogni brano: l obiettivo è quello di riprodurre quella musica mentre gli utenti ascoltano stazioni radio appropriate. Con l aggiornamento dell ottobre 2006, è stata aggiunta la sezione degli eventi, che segnala agli utenti le esibizioni e i concerti dei gruppi ai quali potrebbero essere interessati. Un ulteriore punto di forza del servizio è il modo assolutamente innovativo con cui i contenuti ipertestuali disponibili sul sito sono integrati con il player. Durante l esecuzione dei brani, il player offre la possibilità di accedere contestualmente, attraverso il browser web, alle pagine informative relative all album o all artista in questione. Mentre la discografia e i brani di ogni singolo album vengono rintracciati in modo automatico dal software di Last.fm, informazioni di carattere più descrittivo sull artista o la band possono essere inserite direttamente dagli utenti attaverso un processo di editing collaborativo analogo a quello di wikipedia. 5

8 1.2 Audioscrobbling Audioscrobbler è un protocollo sviluppato per consentire la comunicazione tra i player audio riprodotti sui computer remoti degli utenti e il server centrale di Last.fm: la musica ascoltata sul proprio client viene segnalata a un server. Gli utenti possono ascoltare le stazioni radio di Last.fm su internet oppure devono scaricare e installare un plugin per il proprio lettore musicale, il quale invierà automaticamente al server il nome dell artista e il titolo del brano dopo che la metà o i primi quattro minuti della canzone sono stati riprodotti. Quando le tracce durano meno di trenta secondi o non possiedono i metadata(id3 tag) corretti non possono essere mandati al server. La piattaforma tecnologica di Last.fm, compila l elenco delle preferenze attraverso il tracking dell esperienza radiofonica dell utente, ovvero sulla base di ciò che questi sceglie e rifiuta durante l ascolto. Pertanto la prima volta che accede a Last.fm, l utente può inserire nel proprio profilo i generi musicali che preferisce, oppure semplicemente cominciare ad ascoltare. Una volta effettuata la registrazione, il profilo dell utente verrà compilato dal software che invierà a last.fm il nome dei brani che ascolta sul tuo computer (con itunes, winump etc..). Questo è ciò che definiamo scrobbling. il software consentirà all utente inoltre di ascoltare la radio di last.fm direttamente sul desktop. Il sistema di Last.fm utilizza quindi i dati ricevuti dal client di un utente, attraverso il processo di Audioscrobbling per costruire un profilo dettagliato dell utente sulla base dei suoi artisti e canzoni preferiti; l utente può conoscere il suo profilo visitando la sua pagina web personalizzabile del sito di last.fm. 6

9 Last.fm ha alle spalle un database relazionale continuamente aggiornato con le informazioni su tutti i brani che circolano nel suo network. A ogni brano viene attribuito un genere e per ogni genere viene stilata una classifica dei brani più ascoltati. A partire delle informazioni che sono state riunite su un periodo abbastanza lungo (5 artisti), il servizio di Last.fm compila una lista degli utenti (vicini) che ascoltano gli artisti e le tracce simili: il sistema nota che cosa viene ascoltato da un utente e confronta tali dati con quelli degli altri utenti del sistema. Nel caso in cui ci fosse una alto grado di sovrapposizione tra i suoi brani e quelli di un altro utenti viene supposto che, avendo un gusto musicale simile, i due ascoltatori gradirebbero scambiarsi qualche suggerimento e che gli artisti ascoltati da questi utenti possono essere considerati simili. Pertanto in base a queste informazioni, Last.fm suggerisce gli artisti e le canzoni ai relativi utenti che possono così espandere il loro orizzonte musicale. Un esempio popolare di collaborative filtering può essere un sistema di suggerimento dei generi e pezzi musicali a partire da un insieme di conoscenza di base dei gusti e delle preferenze di un dato utente. Sulla base delle preferenze individuali e della loro comparazione con i brani ascoltati dagli altri utenti, il database estrae le hit dei brani più gettonati per ognuno dei generi musicali, che saranno poi proposte a ogni ascoltatore della radio(artisti simili). Il sistema di collaborative filtering utilizzato permette al server di comparare le frequenze di esecuzione dei vari brani da parte dei diversi utenti al fine di ottenere dei profili di affinità e definire relazioni di 7

10 vicinanza tra artisti, brani e generi. L assunzione fondamentale dietro il concetto di collaborative filtering è che ogni singolo utente che ha mostrato un certo insieme di preferenze continuerà a mostrarle in futuro. Se diversi utenti ascoltano l artista X, ma anche gli artisti Y e Z, questi due artisti verranno considerati simili all artista X. L elenco degli artisti simili viene calcolato mediante questa equazione, a cui vengono aggiunte altre costanti e funzioni per garantire una maggiore accuratezza. Ogni volta che l utente si collega all emittente, il sistema tiene traccia dei suoi gusti e inizia così a trasmettere i brani che, secondo le comparazioni effettuate con quelli di altri ascoltatori con gusti simili, saranno verosimilmente di suo gradimento. Audioscrobbler si basa quindi su meccanismi che consentono il recupero di informazioni predittive relativamente agli interessi di un insieme dato di utenti, a partire da una massa ampia e tuttavia indifferenziata di conoscenza. Da notare che, sebbene tale informazioni siano referenti a un singolo utente, esse derivano dalla conoscenza elaborata su tutto l arco dell insieme degli utenti del sistema. La relazione di vicinanza statistica si trasforma dunque in prossimità sociale e diviene occasione di scambio e di interazione diretta tra utenti affini. I servizi offerti da last.fm permetto inoltre di raffinare le preferenze degli utenti: la web radio in streaming permette agli utenti di segna- 8

11 lare con un clic se la canzone in onda fosse gradita o meno, in modo da adattare lo stream sempre di più alle preferenze dell ascoltatore. Inoltre artisti, brani e stazioni radio sono categorizzati in modo partecipativo e non gerarchico attraverso un sistema di keywords (tags). Il risultato è una radio intelligente il cui flusso sonoro viene continuamente riassemblato on-demand e diviene navigabile e interrogabile secondo le logiche di un database relazionale. Ciò che differenzia Last.fm dalle emittenti radiofoniche on line in cui sono presenti tool di offerta-articoli personalizzata è la capacità di stilare le preferenze in maniera automatica, sfruttando un intreccio di algoritmi propri dell intelligenza artificiale. 1.3 web services Il sistema di Audioscrobbler è una base di dati voluminosa che contiene informazioni riguardo le abitudini degli ascoltatori in termini di brani ascoltati, artisti, utenti, album, tags, gruppi e forum. Questi dati vengono utilizzati per realizzare meravigliose statistiche e per calcolare i rapporti di raccomandazione per gli utenti in base ai brani da loro ascolati. Tuttavia Audioscrobbler oltre a prendere i dati dagli utenti, memorizzarli e utilizzarli per stilare classifiche soprattutto al fine di offrire agli utenti i brani che più si addicono loro in base al loro profilo, offre la possibilità di accedere real-time a tali dati attraverso un web service. I dati sono raggruppati nella pagina: 9

12 nelle seguenti categorie User profile data Artist data Album data Trak data Tag data Group data Forum data Ogni categoria contiene le informazioni sottoforma di classifiche riportate in documenti xml, plain, xspf e rss. La categoria User profile data offre le classifiche riportate nella figura 1.1. Selezionando il documento relativo ad una voce della categoria, attraverso una pagina php viene visualizzato il file relativo ad un utente. Nel caso in cui precedentemente si avesse effettuato la registrazione è possibile accedere, selezionando una voce, ai propri dati; è possibile comunque accedere ai dati di ogni utente andando a sostituire dove compare il nome dell utente, nell indirizzo del documento che si vuole visualizzare, il nome di un utente. Per esempio per visualizzare il profilo di un utente in formato xml all indirizzo: basta sostituire alla voce RJ il nome dell utente. Per visualizzare le informazioni relative ad un artista basta accedere alla categoria Artist data. Anche in questo caso è possibile accedere 10

13 Figura 1.1: frammento della categoria User profile data alle classifiche di ogni artista andando ad inserire nell indirizzo della classifica che si vuole visualizzare, il nome dell artista desiderato. Sono disponibili diversi moduli che permettono di utilizzare il database di Audioscrobbler disponibile sul sito Tra i più interessanti ritroviamo web service audioscrobbler : è un modulo perl che mira ad essere una completa suite di azioni orientata 11

14 agli oggetti per il web service API. Sebbene il modulo è ancora in fase di development, la quantità di dati che possono essere estratti dal database é molto significativa. Il modulo nasconde completamente le operazioni di connessione con il database e le richiese che vengono effettuate per prelevare i dati; questo offre un servizio molto efficiente in termini di prestazionali. Un altro modulo interessante è ScrobblerJ il quale offre un interfaccia orientata agli oggetti implementata in javase per il web service API di Audioscrobbler. Questo enfatizza ancora una volta la portabilitá e la duttilitá del web service. Comunque come indicato anche nel sito di Audioscrobbler [8] quando si hanno richieste piú tecniche o specifiche occorre rivolgervi al forum o anche direttamente ai sviluppatori: é importante leggere attentamente modi e condizioni perché altrimenti si rischia di venire bannati per IP. 1.4 Database Audioscrobbler utilizza un Music Listening Dataset o più comunemente database. La sua prima versione risale al 6 Maggio 2005 e il database già conteneva il profilo di circa persone reali. Il database contiene la lista degli artisti che ciascun utente ascolta e un contatore che indica quante volte ciascun utente ha ascoltato ciascun artista. Il database è in continua crescita, basti pensare che dal 2005 al 2007 è avvenuto un incremento di circa utenti che sono registrati e Audioscrobbler ha ricevuto circa 2 milioni di canzoni da presentare al giorno ai propri utenti. La struttura utilizzata è molto semplice e flessibile: vengono utilizzi file di testo per immagazzinare e 12

15 analizzare i gusti e le preferenze sugli artisti da parte dei propri utenti. Il database è formato da file di testo del tipo, User_Artist_Data Artist_Data Artist_alias Analizzando singolarmente ciascun file, il file User_Artist_Data è formato da tre attributi: User_ID Artist_ID Play_Count questo file tiene traccia di quale utente ha ascoltato quel determinato artista e quante volte lo ha ascoltato e questo viene estrapolato attraverso gli identificatori numerici. Analizzando il file Artist_Data, esso contiene, Artist_ID Artist_Name Abbiamo notato che esiste un vincolo di integrità referenziale tra l attributo Artist_ID e il file User_Artist_Data che permette di risalire al nome dell artista. Per ultimo ma non per minor importanza, il file Artist_Alias, il quale contiene Bad_ID 13

16 Good_ID è il file in cui è possibile controllare e modificare l id dell artista nel caso che esso non sia corretto. 14

17 Capitolo 2 Applicazione realizzata 2.1 Descrizione L applicazione che abbiamo realizzato mira ad offrire agli utenti di Last.fm un ulteriore servizio: considerando i brani che un utente ha ascoltato di recente e in relazione ai generi musicali preferiti dallo stesso, la nostra applicazione vuole consigliare l ascolto di brani di altri artisti. Per realizzare la nostra mini-applicazione ci siamo serviti della tecnologia php: considerando che i dati trattati sono contenuti in semplici file di testo abbiamo ritenuto che tale tecnologia presenta la flessibilità e duttilità necessaria per realizzare il nostro lavoro. Per ricavare informazioni dai file xml del database abbiamo inoltre utilizzato la libreria DOM [11]. Nella prima fase della nostra applicazione viene interrogato il database di Audioscrobbler per richiedere le tracce recentemente ascoltate relative ad un utente. A partire da questi brani vengono ricavati gli artisti recentemente ascoltati. Successivamente per ognuno di questi artisti viene interrogato il data- 15

18 Capitolo 2. base per ottenerne gli artisti simili. Il primo primo problema che abbiamo dovuto risolvere ha riguardato l interazione con il database: le impostazione di default non gestiscono richieste frequenti (non è possibile accedere con frequenza minore di 30 secondi). Per queste ragioni e per non avere un costo computazionale troppo elevato, abbiamo scelto di considerare le ultime tre tracce ascoltate dall utente e di richiedere per ogni artista ascoltato dallo stesso recentemente, tre artisti simili. Di ogni artista simile è stato per noi importante anche sapere i generi musicali da lui trattati. Il database contiene per ogni artista i generi musicali da lui trattati e ad ogni genere è associato un indice di compatibilità dell artista con il genere stesso (da 0 a 100). Nel nostro lavoro abbiamo scelto di considerare tutti i genere che presentano l indice con valore maggiore di 20. Per fare in modo che gli artisti proposti all utente dalla nostra applicazione, siano il più conforme possibile ai suoi gusti, abbiamo interrogato il database per ottenere i suoi generi musicali (tag) preferiti. A questo punto la nostra applicazione fa un merge di tutte le informazioni ottenute: lo user-modeling propone gli artisti che offrono brani i cui generi sono conformi a quelli preferiti dall utente. L utente del nostro servizio può accedere alle pagine degli artisti consigliati. 16

19 Conclusioni Per realizzare questo progetto ci siamo inizialmente soffermati su un accurata analisi del servizio di Last.fm e di Audioscrobbling. L analisi è stata svolta sulle caratteristiche funzionali e strutturali del servizio proposto dal sistema analizzato. Il secondo step è stato quello in cui abbiamo realizzato un applicazione (script php) che ha sfruttato i dati e le API messe a disposizione dei servizi precedenti. L applicazione può essere utilizzata in qualsiasi servizio web è può essere estesa. In particolare in futuro si può pensare di presentare le proposte musicali relative ad un utente per via del servizio di posta elettronica. Un ulteriore estensione della nostra applicazione può basarsi sull analisi delle proposte musicali e eventualmente della loro visualizzazione sotto forma grafica. 17

20 Bibliografia [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] 18