Metodi e applicazioni per social networks. SOcial MEdia MiNIng

Transcript

1 Metodi e applicazioni per social networks SOcial MEdia MiNIng

2 Social Media Mining is the process of representing, analyzing, and extracting meaningful patterns from social media data

3 Docenti: Sabrina Gaito Matteo Zignani Ricevimento: Su appuntamento via mail Web: Orario: Lunedì Aula Beta - Via Comelico da confermare Mercoledì Aula Beta - Via Comelico Giovedì Aula Beta - Via Comelico Venerdì Aula Delta - Via Comelico 09:00-12:45 (Laboratorio) Generalità del corso

4 Teoria

5 Graph essential Rappresentazione di grafi Tipi di grafo Sottografi, diadi e triadi Cammini Grafi connessi e componenti Algoritmi su grafi Misure di popolarità e centralità Degree Betweenness, closeness, Random networks e scale free network Diadi: Link strength: weak e strong Link reciprocity Link transitivity and balance theory Triadi: Clustering coefficient Common neighbours Link prediction Small world network Sottografi: Clique and community detection Programma Teoria Applicazioni Information diffusion Influence e homophily Recommendation

6 Reza Zafarani, Mohammad Ali Abbasi, Huan Liu Social Media Mining: An Introduction A Textbook by Cambridge University Press [ Albert-László Barabási Network Science D. Easley, J. Kleinberg Networks, Crowds, and Markets: Reasoning About a Highly Connected World Materiale Didattico Wasserman, Stanley and Katherine Faust Social Network Analysis: Methods and Applications. Cambridge: Cambridge University Press. Newman, M.E.J. Networks: An Introduction. Oxford University Press

7 Scritto: Domande aperte Esercizi Orale: Presentazione dal progetto Domande sul progetto Modalità d esame

8 Laboratorio

9 Introduzione a Python Web scraping Sviluppo di un focused crawler (Scrapy) Social Media API Twitter API Tools per l analisi di reti sociali (NetworkX) Utilizzo delle metriche e indici visti nella parte di teoria Analisi delle proprietà dei nodi e dei link Analisi mesoscopica Estrazioni di sottografi particolari Community detection Graph Visualization (Gephi) Programma Laboratorio

10 Linguaggio di programmazione: Python Anaconda (distribuzione Python orientata al calcolo scientifico e data Python 3.6 (consigliato) Jupyter Notebook: web-app per l analisi dei dati in Python (sviluppo applicazioni, visualizzazione, editor, file explorer, etc...) Linguaggi, librerie ed altri tools Librerie: networkx, requests, twython, flask Visualizzazione: Gephi Hardware: Postazioni in laboratorio Utilizzo del laptop (vedi slide in Appendice)

11 Progetto: analisi di una rete originata da dati provenienti da un social media. Il progetto deve essere originale e viene proposto dallo studente. Sono disponibili alcuni progetti proposti dai docenti, solo nel caso in cui non si abbia alcuna idea. Una bozza del progetto viene discussa preventivamente con i docenti del corso in modo da verificarne la reale fattibilità e originalità. Il progetto viene svolto individualmente o in caso di progetto complesso a coppie (deve essere ben definito il contributo dei membri). Ogni progetto è costituito dalle fasi: Data collection Analisi Commento dei risultati ottenuti Progetto

12 Data collection (Raccolta Dati): Base: Utilizzo di un dataset già disponibile Intermedio: Utilizzo di API supportate da moduli Python adeguatamente documentati Avanzato: Analisi: Utilizzo di API scarsamente supportate da moduli Python Raccolta dati utilizzando web scraping e focused crawler Base: analisi delle proprietà fondamentali di una rete (cfr. articolo su analisi di Twitter o Facebook, escluso ANF ed avearge shortest path) Intermedio: analisi delle proprietà fondamentali di una rete, analisi assortatività per attributo, community detection (intermedio/avanzato) Avanzato: analisi precedenti + Implementazione di misure/algoritmi non presenti in Networkx Analisi delle relazioni tra ulteriore oggetti (commenti, elementi testuali, foto, video, informazioni geografiche, informazioni sugli account, etc.. ) e la struttura della rete Commenti sul'analisi effettuata: Base: statistiche descrittive e confronto con altre reti simili Intermedio: statistiche descrittive e analisi critica rispetto alle nozioni viste nelle lezioni di teoria Avanzato: intermedio + discussione originale su alcuni/tutti i risultati ottenuti. Dimensione del dataset (valutato in caso di data collection intermedia o avanzata): Numero di nodi, archi del grafo Numero di elementi/oggetti utilizzati nell'analisi intermedia/avanzata Utilizzo di framework per la manipolazione di Big Data (Apache Spark, Hadoop) Criteri di Valutazione

13 Esempi di progetti NBA e YouTube (Ba Cheick) Eurovision Song Contest su Twitter (Laura Mandelli) Mastodon (Dondi Federica)

14 Materiale Didattico Ad ogni lezione di laboratorio è associata un Jupyter Notebook con esempi ed esercizi Twitter API

15 Agenda (Tentativo) 02 Marzo: Introduzione a Python 9 Marzo: Web scraping 16 Marzo: Focused crawling + Scrapy 23 Marzo: Oauth e Twitter API 06 Aprile: Webapp, Social plugin e Flask 13 Aprile: Presentazione bozza del progetto 20 Aprile: Networkx e centralità 27 Aprile: Assortatività e link analysis 04 Maggio: Community detection 11 Maggio: Sviluppo progetto 18 Maggio: Sviluppo progetto Agenda e orario Orario: 9:00 12:45

16 Installazione Anaconda Desktop/Laptop Studente

17 Win: Installare Anaconda senza privilegi di amministrazione e solo per il vostro utente macos: Installare Anaconda solo per il vostro utente Linux: seguire le istruzioni (vedi link nella slide). Check Installazione: 1. Aprire una shell 2. Digitare conda list Se Anaconda è stato installato correttamente viene visualizzato l elenco dei package/moduli installati