La valutazione e gli indicatori. Michela Arnaboldi michela.arnaboldi@polimi.it

Transcript

1 La valutazione e gli indicatori Michela Arnaboldi michela.arnaboldi@polimi.it

2 Agenda Perché valutare Cosa valutare: il modello di riferimento Efficacia Efficienza Impatto Stato delle risorse Quando valutare (prima, durante, dopo) Come valutare Social media

3 Perché valutare Motivi differenti a seconda degli stakeholders Host organization Raggiungimento degli obiettivi Rispetto del budget Event sponsor Capacità dell evento di generare pubblicità e promozione Enti locali Impatto dell evento sul territorio Enti del turismo Capacità dell evento di attrarre turisti

4 Mappa degli stakeholders

5 Cosa valutare: il modello di riferimento Il Ciclo di controllo Obiettivi e azioni Oggetto del Controllo Misura Feed-back Analisi Applichiamo questa nozione agli eventi culturali

6 Cosa valutare: gli indicatori di prestazione Efficienza Efficacia Impatto Input Evento Output Contesto Outcome Effetti esogeni Risorse Altri attori Stato delle risorse

7 La relazione tra gli indicatori

8 Indicatori di efficienza (1) L efficienza esprime il rapporto tra le risorse utilizzate e la quantità di output realizzato Input Output L efficienza può essere misurata con due modalità differenti: In termini economici, ovvero attraverso il costo delle risorse (costo del lavoro, prezzo di acquisto dei materiali, ammortamento delle risorse strumentali) (efficienza economica); in termini fisici ; questo tipo di soluzione viene in generale utilizzata per misurare la produttività di uno specifico fattore produttivo (efficienza tecnica)

9 Indicatori di efficienza (2) Costo per l attività di promozione degli spettacoli durante una stagione teatrale Indicatore: costo ( ) per partecipante

10 Indicatori di efficienza (3) Benchmarking tra diverse istituzioni

11 Indicatori di efficacia L efficacia misura la capacità del gestore dell evento di realizzare un evento con caratteristiche coerenti rispetto alle aspettative dei visitatori L efficacia può essere misurata secondo due prospettive differenti Efficacia erogata Numero di visitatori Durata dell evento Efficacia percepita Indagini di soddisfazione verso gli utenti

12 Esempio: Edinburgh Hogmanay 2014

13 Esempio: mostra «I della Robbia»

14 Indicatori di impatto (1) Gli indicatori di impatto (outcome) misurano le conseguenze indotte dall evento sulla società Sono spesso i più rilevanti ma i più difficili da misurare I problemi principali degli indicatori di impatto possono sono: Dipendenza da politiche nazionali o sovranazionali Dipendenza da altri fattori esogeni all organizzazione Sfasamento temporale tra l azione e la possibilità di misurare l outcome dell azione

15 Indicatori di impatto (2) Tre macro-tipologie di impatti per la valutazione degli eventi culturali: Impatto economico (tradizionale e consolidato) Spesa dei visitatori Costi per organizzare l evento Impatto sociale (trend più recente) Reputazione Impatto sui media Impatto ambientale (trend più recente) Consumi di energia, gas, acqua

16 Esempio: mostra «I della Robbia», Arezzo Impatto economico Impatto sociale

17 Impatti ambientali (Festivals di Edimburgo, 2010)

18 Indicatori di stato delle risorse L analisi delle risorse ha l obiettivo di verificare la capacità di mantenere e migliorare il livello delle proprie risorse. Le risorse sono: Le risorse umane Le risorse finanziarie Le risorse intangibili Le risorse tangibili infrastrutturali

19 Stato delle risorse umane Edinburgh Festival (2010)

20 I cruscotti come reportistica di sintesi La Balanced Scorecard (Kaplan e Norton, 1992) prevede che a ciascuna unità organizzativa vengano associati quattro gruppi di indicatori, relativi rispettivamente a: l'andamento finanziario; i clienti; la prospettiva interna; la capacità innovativa

21 Fondazione Musica per Roma: BSC Fonte: Bozza, Colella, Coppa, Mazzei (2008), «Il budget con la BSC nell area produzione eventi», Controllo di gestione

22 Quando valutare In 3 momenti differenti: Prima dell evento Studio di fattibilità (convenienza) Risorse necessarie per l evento Durante l evento Andamento vendite Andamento costi Dopo l evento Output e outcome Coerenza tra obiettivi iniziali e risultati ottenuti

23 Come valutare Esistono diversi strumenti per raccogliere i dati necessari alla valutazione di un evento: Fonti secondarie (es. report da eventi precedenti), utili per lo studio di fattibilità iniziale Osservazione diretta (es. per determinare il numero di biglietti venduti/partecipanti, incidenti) Survey Media tradizionali (TV, giornali, etc) Social media

24

25 Survey: uno strumento «classico» Esistono diverse tipologie di survey, complementari tra loro per la raccolta dati

26 Il ruolo dei media nella valutazione degli eventi I media supportano la valutazione degli eventi prevalentemente in termini di impatto sulla comunità Percezione dell evento (positivo/negativo) Criticità/punti di forza dell evento Media tradizionali Valutazione ex-post Social media Valutazione in tempo reale

27 Media tradizionali: La Scala, evento Carmen (prima)

28 I social media per valutare gli eventi: quali informazioni Le informazioni che possono essere estratte dai social sono: Chi scrive (utente/visitatore dell evento) Nazionalità Lingua Da dove scrive (solo se funzione localizzazione attivata) Che cosa scrive Contenuti/topic rilevanti associati all evento Come ne scrive Percezione dell evento: positiva, negativa, neutra

29 Twitter: La Scala, evento Carmen (prima)

30 Facebook: La Scala, evento Carmen (prima)

31 Le possibili analisi a partire dai dati social (1) HeatMap: da dove si Twitta (il caso del Fuorisalone, Milano 2013 trovo gli eventi più attrattivi)

32 Le possibili analisi a partire dai dati social (2) Andamento dei tweet nell arco della giornata (Fuorisalone, Milano 2013 supporto alla gestione dei visitatori/traffico)

33 Le possibili analisi a partire dai dati social (3) Sentiment analysis (percezione evento) - Festival di Sanremo 2013, 1 puntata

34 Le possibili analisi a partire dai dati social (4) Visione d insieme sull evento Festival di Sanremo 2015, 1 puntata

35 Analisi nel tempo: il caso de La Scala Identificato l evento/organizzazione di interesse, è possibile raccogliere ed analizzare i dati social nel tempo: Identificazione dell orizzonte temporale di analisi Identificazione dei social media oggetto di analisi Identificazione dei criteri di cleaning dei dati Analisi dati raccolti nel tempo Andamento commenti nel tempo Profilazione utenti Analisi sentiment e content dei commenti

36 Andamento dei tweet dic 2013-dic Number of tweets per day - Teatro Alla Scala

37 Chi scrive LaScala 2404 lpasquarelli spotting_it 180 galadriel_ TwittoSpia 130 MaxBernardini 119 _MichellePa_ 112 OperaSpace 93

38 Cosa scrive: analisi per hashtag 1000 #mentions bolle barenboim damrau pereira muti warner gatti tcherniakov mattei lissner

39 Uso dell informazione «social» per la valutazione Con riferimento ai tweet relativi a La Scala: Identificazione eventi/personaggi che interessano maggiormente il pubblico supporto alla pianificazione Identificazione dell audience (social) «medio» supporto nella scelta del calendario Identificazione criticità (da analisi content e sentiment) revisione in corso d opera Altro?

40 Social media: pro & cons Informazione in tempo reale Informazioni non disponibile tramite altri canali (es. localizzazione dei tweet/post) Possibilità di coinvolgere i visitatori (usati oltre lo scopo valutativo) Possibilità di creare engagement prima e dopo l evento Range «vincolato» di users (età media) Linguaggio dei post (potrebbe essere diverso dall italiano) Attendibilità dei contenuti Privacy (non sempre dati scaricabili) Necessità di competenze in merito a big data analytics/social media