1.La valutazione della qualità delle previsioni meteorologiche

Transcript

1 Davide Maspero Università Bocconi Departimento di Finanza 1.La valutazione della qualità delle previsioni meteorologiche Martedì 26 gennaio Mercoledì 27 gennaio 2010

2 La verifica delle previsioni meteorologiche Ragioni per effettuare verifiche della qualità delle previsioni Ragioni scientifiche: migliorare i modelli previsionali, rilevare bias nei modelli o nell attività previsionale dei metereologi Ragioni economiche: in questo caso la valutazione è legata all utente esposto al rischio meteorologico Ragioni amministrative: incentivazione, assegnazione fondi, nuova strumentazione, paragone tra strutture diverse Problema comune ad altre discipline: Medicina: valutazione del potere diagnostico o discriminante di analisi Finanza: aspetto fondamentale sia nelle scelte macroeconomiche sia nelle scelte di investimento individuali

3 Problematiche generali nell attività di verifica Definizione degli eventi Come sono definiti gli eventi oggetto di previsione? Osservabilità degli eventi Dove sono posizionate le stazioni che rilevano gli eventi rispetto al territorio coperto dalla previsione? Cambiamenti nei dati disponibili per le verifiche Es: introduzione di nuove stazioni o di nuovi strumenti o di nuove metodologie di acquisizione ed elaborazione dei dati

4 La tipologia di previsione impatta sulle modalità di verifica Vasta gamma di tipologie previsionali Previsioni binarie o in categorie multiple Previsioni deterministiche o probabilistiche Previsioni qualitative e quantitative Sono state sviluppate numerose misure di verifica della qualità previsionale specifiche per le diverse tipologie previsionali E possibile ipotizzare uno schema generale di riferimento?

5 La distribuzione congiunta di probabilità delle previsioni e degli eventi Ogni attività di verifica della qualità previsionale è legata allo studio della distribuzione congiunta di probabilità delle previsioni e degli eventi p(f,x) E una distribuzione empirica ex-post della previsione e dell evento realizzato. Può essere interpretata come un approssimazione della vera distribuzione teorica che ci piacerebbe conoscere. Esempi di possibile distribuzione congiunta: A. Binaria: pioggia/non pioggia B. Discreta: probabilità di pioggia per quantili/pioggia C. Continua: temperatura massima prevista/realizzata

6 Una buona previsione La previsione perfetta negli esempi A e B è quella in cui le frequenze relative sono positive solo per le coppie p(1,1) e p(0,0). Nel caso C le osservazioni giacciono solo sulla diagonale del diagramma (f,x) Realisticamente ci accontentiamo di avere alte frequenze relative per le coppie (f,x) in cui f è vicino a x e basse frequenze per le coppie in cui f è lontano da x.

7 Una cattiva previsione La previsione perfettamente cattiva è quella in cui le frequenze relative sono positive solo per p(0,1) e p(1,0) Questa peraltro è una previsione facilmente ricalibrabile in una previsione perfetta E peggio avere una previsione in cui la colonna di frequenze relative p(f,1) è uguale a quella p(f,0). In questo caso la previsione è statisticamente indipendente dalla realizzazione dell evento e non ha alcun contenuto informativo

8 Fattorizzazioni della distribuzione congiunta Ogni distribuzione congiunta può essere scomposta nel prodotto di una distribuzione condizionata e di una distribuzione marginale Nel caso in esame, dato che abbiamo solo due variabili (la previsione e l evento) le scomposizioni possibili sono due: p(f,x) = p(x f)p(f) calibration-refinement p(f,x) = p(f x)p(x) likelihood-base rate Ciascuna delle due scomposizioni fornisce informazioni sulla qualità della previsione

9 La scomposizione calibration-refinement p(f,x) = p(x f)p(f) P(x f)= distribuzione degli eventi data la previsione P(f) = distribuzione marginale delle previsioni Nel caso binario esistono due distribuzioni condizionali e vorremmo alte frequenze relative per p(x=1 f=1) e p(x=0 f=0) Nel caso probabilistico discreto abbiamo tante distribuzioni condizionali quante sono le categorie e vorremmo che fosse p(x=1 f) = f Nel caso continuo la condizione di calibrazione è che E(x f) = f Se p(x f) = p(x) la previsione non contiene informazioni sull evento

10 La scomposizione likelihood-base rate p(f,x) = p(f x)p(x) P(f x)= distribuzione delle previsioni dato l evento (likelihood, verosimiglianza) P(x) = distribuzione marginale degli eventi (base rate, dato climatologico). Non dipende dalle previsioni Nel caso binario vorremmo alte frequenze relative per p(f=1 x=1) e p(f=0 x=0) Nel caso discreto abbiamo tante distribuzioni condizionali quanti sono gli eventi (2 nell esempio B). Vorremmo alte frequenze per valori di f elevati quando x = 1 e alte frequenze per valori di f bassi quando x = 0 Se p(f x) = p(f) l evento non contiene informazioni sulla previsione (dato l evento non sappiamo nulla di più su quale previsione lo abbia preceduto)

11 La scomposizione calibration-refinement

12 La scomposizione likelihood-base rate

13 Le scomposizioni e il teorema di Bayes Dato che deve essere: P(x f)p(f) = p(f x)p(x) Si può scrivere: P(x f)=p(f x)p(x)/p(f) Il significato di questa scomposizione è che il dato climatologico p(x) (distribuzione a priori) viene aggiornato tramite la verosimiglianza p(f x) standardizzata per p(f) per ottenere una probabilità a posteriori p(x f)

14 Esempio La probabilità che piova dato che la probabilità di pioggia prevista è 20% è pari al 15,13%. Questo dato può essere calcolato anche come la probabilità non condizionale di pioggia (24,93%) moltiplicata per la probabilità che la previsione sia 20% posto che piova (12,68%) e diviso per la probabilità non condizionale di una previsione pari al 20% (20,89%). In questo caso il rapporto tra la probabilità che la previsione sia 20% posto che piova e la probabilità non condizionale di una previsione pari al 20% (20,89%) è pari a 0,6069 Come paragone, la probabilità che piova dato che la probabilità prevista è 80% è pari al 74,47%. Ovviamente la probabilità non condizionale di pioggia è la stessa (24,93%), ma il rapporto citato sopra p(f x)/p(f) è molto maggiore e pari a 2,896 = (8,66%/2,90%)

15 Le problematiche nella percezione delle probabilità condizionali Esempio dei tre prigionieri (o delle tre porte, o dei tre bussolotti ) Noto come problema di Monty Hall Proviamo a usare il teorema di Bayes P(AC BI) = P(BI AC)*P(AC)/P(BI) P(AC GBI) =P(GBI AC)*P(AC)/P(GBI) Problema delle tre carte: RR,BR,BB P(RR R)=P(R RR)*P(RR)/P(R)

16 Esempi di applicazioni specifiche delle scomposizioni della distribuzione congiunta: il caso binario

17 Esempi di applicazioni specifiche delle scomposizioni della distribuzione congiunta: il caso binario E sorprendente quante misure di qualità della previsione possano essere costruite in uno schema così semplice: Percentuale di previsioni corrette (PC)=( )/2803 = 96,61% = p(f=x) 1-PC = MSE Hit rate (H) = 28/(28+23) = 54,90% = p(f=1 x=1) (sensitivity) False alarm rate (F) = 72/( ) = 2,616% = p(f=1 x=0). In medicina si usa (1- F) = 2680/( )= 97,384% (specificity). Errore di tipo 1 nella teoria delle ipotesi False alarm ratio (FAR) = 72/(28+72) = 72% = p(x=0 f=1) Heidke/Doolitle Skill Score (HSS) ha range [-1,1] (PC-E)/(1-E) = (96,61%-94,73%)/(1-94,73%) = 0,3567 E = [p(x=1)p(f=1)+p(x=0)p(f=0)] = 0,018*0,036+0,982*0,964= 0,9473 E = proporzione di previsioni corrette se previsioni e eventi fossero indipendenti Peirce Skill Score (PSS) = H-F = (28* *72)/[(28+23)*( )] = 52,28% Ha range [-1,1]

18 Esempi di applicazioni specifiche delle scomposizioni della distribuzione congiunta: il caso binario (segue) Critical Succes Index (CSI) = 28/( ) = 22,76% (Threat score) Ha range [0,1]. Utile quando la previsione di rifiuto corretto è molto facile Gilbert s skill score (GSS). E uguale al CSI corretto per il numero di previsioni corrette dell evento R che si sarebbero registrate per effetto del caso R = (28+72)(28+23)/2803 = 1,819 GSS = (28-1,819)/(28-1, ) = 21,60% GSS =HSS/(2-HSS) Yule s Q (Odds ratio skill score) = (28* *23)/(28* *23)=0,9594 Legato all odds ratio OR usato in medicina (28*2860)/(72*23)=48,35 Q = (OR-1)/(OR+1) Quasi tutte queste misure erano state scoperte e utilizzate già nell 800 a seguito del dibattito sugli studi di Finley

19 Esempi di applicazioni specifiche delle scomposizioni della distribuzione congiunta: previsioni probabilistiche In questo caso è comune utilizzare misure statistiche che legano p(x f) a f. 1,00 0,90 0,80 0,70 0,60 p(x f) 0,50 p(x f) 0,40 0,30 0,20 0,10 0,00 0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 1,00 f

20 Esempi di applicazioni specifiche delle scomposizioni della distribuzione congiunta: previsioni probabilistiche

21 Esempi di applicazioni specifiche delle scomposizioni della distribuzione congiunta: il caso continuo In questo caso le probabilità condizionali sono meno utilizzate e si ricorre prevalentemente a misure statistiche tradizionali e a rappresentazioni grafiche

22 La previsione di eventi estremi: il contributo del risk management finanziario Enorme sviluppo del risk management negli anni 90 e in particolare del risk management finanziario legato alla misura nota come VaR VaR = misura della perdita di un portafoglio che non verrà ecceduta su un dato orizzonte temporale solitamente giornaliero - con un dato livello di confidenza, tipicamente 95% o 99% Il VaR è un percentile basso della distribuzione di probabilità dei profitti e delle perdite di un portafoglio Analogo meteo: qual è quella precipitazione in mm che si stima non verrà ecceduta nelle prossime 24h se non in un 1% o 5% di casi Sviluppo di test statistici per misurare la qualità delle stime di VaR Precisione incondizionata (calibrazione) e condizionale (reattività)

23 Precisione incondizionata e condizionale Precisione incondizionata (N3+N4)/N = (1-LC) Precisione condizionale N3/(N1+N3) = = N4/(N2+N4) La probabilità di un eccezione dopo un eccezione deve essere uguale a quella di un eccezione dopo una non eccezione Eccezione: L < VAR

24 Reattività degli indicatori di rischio Actual P&L Stime VaR out-ofsample VaR, con time horizon di 1 mese e livello di confid. 95% per il JPM Gvt. Italy. Log-rendimenti giornalieri dall 1/1/1990 al 5/5/2000. Rolling window di 18 mesi. Standard Variance-Covariance model Bootstrapping (BAGV model)

25 Davide Maspero Università Bocconi Departimento di Finanza 2. Valutazione economica delle previsioni e gestione del rischio meteorologico Martedì 26 gennaio Mercoledì 27 gennaio 2010

26 Il legame tra qualità delle previsioni e valore economico Schema costo/danno (cost/loss): considera il costo di proteggersi da eventi avversi e il danno procurato in caso di non copertura e verificarsi dell evento (con C<L) Tornado No Tornado Protezione C C Non protezione L 0 Se immaginiamo di agire sulla base della previsione ci proteggeremo quando la previsione è tornado e non ci proteggeremo quando la previsione è non tornado. Se la previsione fosse perfetta il costo atteso sarebbe pari a C*p(x=1)=C*p(f=1)= sc dove s è la probabilità climatologica dell evento. La imperfezione della previsione aumenta il costo atteso a C*p(x=1,f=1)+C*p(x=0,f=1)+L*p(f=0,x=1) In assenza di previsioni il costo atteso è sl se non ci si copre mai e C se ci si copre sempre. Se C<sL conviene coprirsi, altrimenti no. Ipotizzando razionalità il costo atteso è min(c,sl)

27 Il legame tra qualità delle previsioni e valore economico Il vantaggio economico della previsione consiste nel ridurre il costo atteso E(f) sotto il livello di assenza di previsione E(nf). Il vantaggio viene rapportato al vantaggio massimo ottenibile E(pf), dato dalla perfetta previsione V= [E(nf)-E(f)]/[E(nf)-E(pf)] Confrontando previsioni diverse con diverse p(f,x) possiamo scegliere quella che minimizza il costo atteso La scelta dipenderà dal valore relativo di C e L. Alti rapporti C/L renderanno più onerosa la copertura e quindi molto penalizzanti alti valori di p(x=0,f=1). Al contrario bassi valori di C/L renderanno più onerosi alti valori di p(x=1,f=0)

28 Il legame con le previsioni probabilistiche Se la previsione binaria discende da una previsione probabilistica il previsore deve scegliere una soglia sopra la quale dichiara di prevedere l evento Soglie basse riducono p(x=1,f=0) ma aumentano p(x=0,f=1). Saranno quindi penalizzanti quando C/L è alto. Al contrario soglie alte di probabilità aumentano p(x=1,f=0) ma riducono p(x=0,f=1). Saranno penalizzanti quando C/L è basso Quindi se C/L è basso è meglio avere una soglia bassa; se C/L è alto è meglio avere una soglia alta. Pb: utenti diversi hanno diversi rapporti C/L, ma se il previsore è uno solo la previsione binaria sarà unica. Meglio sarebbe in questo caso avere a disposizione la previsione probabilistica Pb di soggettività della valutazione economica

29 La decisione basata sul valore atteso: un framework corretto? Una possibile scelta, ma non l unica Molto diffusa nella letteratura meteorologica In finanza non viene solitamente considerata, perché la si ritiene non coerente con le scelte comportamentali degli investitori Fin dagli anni 50 si è imposto un paradigma alternativo

30 Un paradigma alternativo: l utilità attesa Paradosso di San Pietroburgo Sviluppato ed esposto da Daniel Bernoulli agli inizi del 700 Mostra l insufficienza del rendimento atteso nel classificare gli eventi Gli individui effettuano le loro scelte in regime di incertezza basandosi sull utilità associata agli eventi Quando un evento è aleatorio viene valutato sulla base della utilità media che genera, vale a dire la somma delle utilità associate ai possibili eventi ponderate per le rispettive probabilità di accadimento.

31 Investimenti e stati del mondo Il problema delle decisioni in condizioni di incertezza nasce dalla circostanza che alcune scelte sono migliori in alcuni stati del mondo e altre sono migliori in altri stati.

32 Assiomi della teoria dell utilità Completezza : A>B, A=B oppure A<B Transitività: se A>B e B>C allora A>C Continuità: se A>B>C c è una p tale che pa+(1-p)c = B Indipendenza: se A>B allora pa + (1-p)C > pb + (1-p)C

33 Il paradosso di Allais

34 Il paradosso di Allais (segue)

35 Utilità attesa della ricchezza e utilità della ricchezza attesa In linea generale l utilità attesa della ricchezza sarà diversa dall utilità del valore atteso della ricchezza

36 Avversione al rischio E l ipotesi alla base dell intera teoria della finanza dagli anni 50 in poi

37 Una rappresentazione grafica

38 Neutralità al rischio

39 Preferenza per il rischio

40 Funzioni di utilità: utilità lineare e quadratica

41 Funzioni di utilità: utilità esponenziale negativa e logaritmica

42 La stima dei parametri di una funzione di utilità

43 La stima dei parametri di una funzione di utilità

44 Avversione al rischio e scelte di copertura Un individuo avverso al rischio potrà avere interesse a coprire il rischio meteorologico, perché questa scelta può aumentare la sua utilità attesa Anche in questo caso migliori previsioni porteranno a maggiore utilità, ma non è detto che il ranking delle previsioni sia lo stesso determinato dal criterio del valore atteso, anche a parità di cost/loss ratio

45 La gestione del rischio meteorologico: il contributo della finanza Due esigenze diverse Copertura di eventi molto dannosi o catastrofali (bassa probabilità, alto rischio) Esempi: grandine, alluvioni, nevicate intense, uragani Copertura di una variabilità ordinaria delle condizioni meteorologiche (alta probabilità, basso rischio) Esempi: stagione più calda o fredda della media, stagione più o meno piovosa della media, weekend più o meno soleggiati della media Interessa una grande varietà di utenti: produttori e distributori di energia, operatori del turismo, del settore alimentare, parchi tematici

46 La copertura di eventi ad alto rischio: l assicurazione e la teoria dell utilità Esempio con utilità logaritmica U =ln(w) Un agricoltore si aspetta di incassare 20 dalla vendita di mele ma sa che una grandinata (p=10%) potrebbe danneggiare il raccolto e ridurne il valore a 6. Il valore atteso del raccolto è 18,6. Il premio assicurativo equo dal punto di vista attuariale è 1,4. Quanto in più è disposto a pagare l agricoltore? Ln(20-1,4-x) = 0,9*ln(20)+0,10*ln(6) Ln(18,6-x) = 2,8753 = ln(17,73) L agricoltore è pronto a pagare un extra premio fino a 0,87 oltre a quello equo attuariale pur di evitare l aleatorietà

47 I weather derivatives: origini del mercato Il mercato dei derivati meteo nasce nel contesto della liberalizzazione del settore energetico degli Stati Uniti La variabilità nelle condizioni atmosferiche è stata sempre riconosciuta come uno dei fattori più rilevanti per il consumo di energia, tuttavia gli effetti delle imprevedibili condizioni meteorologiche stagionali erano stati in precedenza assorbiti e gestiti all'interno di un mercato regolamentato, in condizioni di monopolio Con la liberalizzazione, i vari partecipanti al processo di produzione, marketing e fornitura di energia alle famiglie e alle imprese statunitensi si sono ritrovati ad affrontare le condizioni meteorologiche come un rischio nuovo e significativo per la loro redditività

48 I weather derivatives: origini del mercato I primi contratti furono trattati come transazioni over-the- counter negoziate privatamente e furono strutturati per proteggersi dalle differenze di temperatura rispetto alle medie storiche in regioni specifiche per le stagioni invernali o estive Al di là delle ovvie applicazioni iniziali dei derivati sul tempo per la copertura dei rischi legati al consumo di energia, il mercato si è ampliato per affrontare una vasta gamma di rischi legati al tempo incontrati da numerosi altri settori industriali La stima dell US Department of Commerce indica che più di 1000 miliardi di USD di attività economica statunitense è esposta ai rischi del tempo, e le operazioni nel corso degli ultimi anni hanno fornito protezione dal tempo per le imprese in diversi settori come spettacolo, commercio al dettaglio, agricoltura e costruzioni

49 I settori sensibili alle condizioni meteo

50 I nuovi partecipanti Compagnie di assicurazione Investment banks Trader professionali di hedge funds o commodities Aziende del settore energetico

51 L offerta di prodotti Derivati OTC: swap, opzioni, contratti forward Derivati regolamentati: futures e opzioni su futures

52 I prodotti CME

53 Chi usa i Derivati Meteo CME Gli utilizzatori di prodotti meteo CME includono le società in business legati all energia nonché un numero crescente di imprese agricole, ristoranti, e società coinvolte nel turismo Molti traders di derivati meteo OTC scambiano anche prodotti meteo CME al fine di coprire le loro transazioni OTC Il mercato meteo CME non riguarda tanto gli eventi meteorologici estremi quanto le variazioni meteorologiche ordinarie che, anche se meno drammatiche, possono seriamente impattare la redditività di una società

54 Chi usa i Derivati-Meteo CME? Caso 1 Una stazione sciistica per rimanere in attività dipende da un clima freddo. Per proteggersi dalla possibilità di un inverno caldo, la stazione sciistica può vendere (andare corto) contratti CME HDD ad un livello da stabilire con l aiuto di una società di analisi di temperature Un inverno caldo risulterà in un basso indice HDD, e la stazione sciistica potrà ricomprare i suoi contratti ad un prezzo più basso, usando il profitto per compensare le perdite nella sua attività

55 Chi usa i derivati meteo CME? Caso 2 Un trader professionale specializzato in derivati meteo ha letto una ricerca che sostiene che un numero elevato di uragani nel sud e sud-est degli USA precede inverno più freddi della media nel nord-est USA Dopo avere osservato parecchi uragani colpire il sud e sud-est degli USA il trader decide di aprire una posizione lunga (acquisto) sul contratto future stagionale CME HDD di Chicago, sperando che l indice aumenti man mano che le temperature scendono oltre i livelli previsti, riuscendo poi a chiudere la propria posizione con un profitto

56 Indici utilizzati nei weather derivatives I contratti meteorologici per i mesi invernali negli USA e in Europa sono basati su un indice dei valori di HDD Heating Degree Days, i giorni in cui l energia è usata per il riscaldamento Analogamente i contratti estivi USA sono basati su un indice di Cooling Degree Days, giorni in cui l energia è usata per il condizionamento In Europa i contratti CMR estivi sono basati su un indice di Temperatura Media Cumulata (CAT) Sia gli indici HDD che i CDD sono calcolati sulla base delle deviazioni di temperatura media rispetto ai 65 Fahrenheit in USA e ai 18 Celsius in Europa e Giappone La temperatura media giornaliera è la la media tra temperatura massima e minima nella 24 ore dalla mezzanotte di un giorno a quella di un giorno successivo.

57 Perchè la scelta dei 18? Consumo di gas, media tra Milano e Palermo

58 I valori giornalieri degli indici HDD e CDD Il valore di un HDD indica di quanti gradi la temperatura media di un dato giorno è inferiore a 65 F Ad esempio una temperatura media di 40 F genera un valore HDD giornaliero di 25 Temperature sopra i 65 F generano HDD pari a 0 Il valore di un CDD indica di quanti gradi la temperatura media di un dato giorno è superiore a 65 F Ad esempio una temperatura media di 80 F genera un valore CDD giornaliero di 15 Temperature sotto i 65 F generano CDD pari a 0

59 La misurazione dei valori mensili degli indici I valori degli indici HDD e CDD mensili sono la somma dei valori HDD e CDD giornalieri registrati in un dato mese. Se ad esempio si fossero registrate 10 giornate HDD a Novembre 2009 a Chicago, il valore dell indice mensile HDD riferito a Chicago per Novembre 2009 sarebbe pari alla somma dei 10 valori giornalieri Se i valori HDD fossero 25,15, 20, 25,18, 22, 20,19, 21 e 23 il valore mensile dell indice sarebbe 208. Il valore di un contratto future CME si ottiene moltiplicando il valore HDD o CDD mensile per 20 USD. Nell esempio citato il contratto sarebbe regaolato a scadenza al valore di 4160 USD (20x208)

60 La protezione con opzioni OTC Esempio di utilizzo di opzioni: protezione contro un un inverno caldo Indice sottostante: Heating Degree Days Periodo di rilevamento: 1 Nov 31 Mar Opzione put con cap Strike = 4850 HDD Tick size = USD Cap = USD Costo = 150,000 USD

61 La protezione con opzioni OTC