Stima dei parametri. I parametri di una pdf sono costanti che caratterizzano la sua forma. r.v. parameter. Assumiamo di avere un campione di valori

Transcript

1 Stima dei parametri I parametri di una pdf sono costanti che caratterizzano la sua forma r.v. parameter Assumiamo di avere un campione di valori Vogliamo una funzione dei dati che permette di stimare i parametri:: si scrive con il cappello L estimatore è la funzione x 1,..., x n ; Una stima è il valore dell estimatore su un campione. 1

2 Proprietà degli estimatori Se si ripetono le misure, la stima avrà una sua pdf migliore grande varianza biased Vogliamo piccolo bias (errore sistematico) E piccola varianza (errore statistico): 2

3 Un estimatore per la media Parametero: Estimatore: ( media sul campione ) Vale: 3

4 La funzione di verosimiglianza (likelihood) Supponiamo che la pdf congiunta per i dati x sia una funzione che dipende dai parametri θ: Calcoliamo la funzione con i dati ottenuti e vediamola come una funzione dei parametri. Questa è la funzione di likelihood: (x costante) 4

5 La funzione likelihood per n osservazioni indipendenti Consideriamo n osservazioni independenti di x: x 1,..., x n, con x distribuita secondo f (x; θ). La pdf congiunta del campione è : E la funzione likelihood: (x i constanti) 5

6 Estimatore di maximum likelihood Se θ è vicino al valore vero, ci aspettiamo una probabilità elevata di ottenere i dati che osserviamo Definiamo l estimatore maximum likelihood (ML) il valore dei parametri per cui la likelihood è massima. 6

7 Esempio di ML: pdf esponenziale Data la pdf supponiamo di avere osservato i valori La likelihood è Prendiamo il logaritmo (funzione log-likelihood): 7

8 Esempio di ML: pdf esponenziale (2) Troviamo il massimo ponendo Test Monte Carlo: 50 valori generati con τ = 1: Si trova: Notare che non è necessario costruire un istogramma con i dati (quella mostrata è solo una rappresentazione grafica) 8

9 Varianza di un estimatore: metodo Monte Carlo È legata all errore statistico Possiamo simulare l esperimento molte volte con un Monte Carlo e guardare la varianza dell estimatore ML sui campioni Nel nostro esempio esponenziale: Si noti che la distribuzione è all incirca Gaussiana (quasi) sempre vero per la ML nel limite di grandi campioni. 9

10 Varianza con la disuguaglianza RCF Fissa un limite inferiore alla varianza di ogni estimatore (non solo ML): Spesso il bias b è piccolo e l uguaglianza è esatta o una buona approssimazione Si calcola prendendo la derivata 2a di ln L al massimo 10

11 Varianza dell estimatore: metodo grafico Espandiamo ln L (θ) intorno al massimo: Utilizzando RCF (assumendo l uguaglianza): cioè si ottiene variando θ da finchè ln L decresce di 1/2. 11

12 Esempio di varianza con il metodo grafico ML con esponenziale: ln L non è parabolico (campione piccolo: n = 50). 12

13 Esempio di ML con 2 parametri Consideriamo la distribuzione di un angolo di scattering x = cos θ, o se x min < x < x max, si deve sempre normalizzare in modo che Esempio: α = 0.5, β = 0.5, x min = 0.95, x max = 0.95, si generano n = 2000 eventi con un Monte Carlo. 13

14 Esempio di ML con 2 parametri (2) Si trova il massimo di ln L(α, β) con MINUIT N.B. Non c è bisogno di un istogramma per il fit data for fit, ma aiuta a stimare la bontà del fit ( ad occhio o con il χ 2 ). (Co)varianza (routine HESSE in MINUIT) 14

15 Fit a 2 parametri: studio MC Si ripete il ML fit per 500 esperimenti, tutti con n = 2000 eventi: Media delle stime ~ valori veri; (Co)varianza vicina alle stime precedenti; pdf marginali approssimativamente Gaussiane. 15

16 Il contorno ln L max 1/2 Per n grande, ln L assume una forma quadratica vicino al massimo: Il contorno è una ellisse 16

17 (Co)varianze dal contorno di ln L Piano α, β per il primo campione MCMC Linee tangenti al contorno corrispondono alle deviazioni standard L angolo dell ellisse φ è legato alla correlazione: La correlazione tra gli estimatori causa un aumento della loro deviazione standard (errore statistico). 17

18 ML estesa Se n non è fisso, ma piuttosto una variabile di Poisson, con media ν. Il risultato dell esperimento è allora: n, x 1,..., x n. La funzione likelihood (estesa) è: Se dalla teoria ν = ν(θ), allora la log-likelihood è dove C representa i termini che non dipendono da θ. 18

19 ML estesa (2) Esempio: numero aspettato di eventi ML estesa usa più informazione errori minori per Se ν non dipende da θ, la ML estesa dà: 19

20 Esempio di ML estesa Due tipi di eventi (segnale e fondo) ognuno con una pdf per x: f s (x) e f b (x). Poniamo frazione segnale = θ, numero totale di eventi aspettato = ν, totale osservato = n. 20

21 Esempio di ML estesa (2) Esempio Monte Carlo con esponenziale e Gaussiana: Massimizzando la likelihood per µ s and µ b : Gli errori riflettono sia le fluttuazioni del totale sia della proporzione di segnale/fondo 21

22 Esempio di ML estesa: una stima non-fisica Una fluttuazione dei dati nella regione del picco può portare a meno eventi di quanti aspettati con il solo fondo La stima per µ s in questo caso è negativa (non-fisica). 22

23 Esempio di ML estesa: una stima non-fisica L estimatore è unbiased e la stima deve comunque essere riportata perchè la media di un numero grande di stime converge al valore vero Se si ripete l esperimento MC molte volte si vede che stime non-fisiche sono possibili 23

24 Relazione tra ML e estimatori Bayesiani Nella statistica Bayesiana, sia θ che x sono variabili aleatorie: Metodo Bayesiano: Probabilità soggettiva per l ipotesi (θ); probabilità a priori prima dell esperimento π(θ); si usa il teorema di Bayes per correggere la probabilità con i dati: pdf a posteriori (pdf condizionale per θ dato x) 24

25 ML ed estimatori Bayesiani (2) Bayesiani puri: p(θ x) contiene tutte le nostre conoscenze su θ. Bayesiani pragmatici: p(θ x) può essere complicata, riassumiamo usando un estimatore la moda di p(θ x), (oppure la media) Che cosa usiamo per π(θ)? È soggettivo! π(θ) = constante representa l ignoranza a priori, e in quel caso Ma... se usiamo un parametro diverso, λ = 1/θ, e π θ (θ) è costante, allora π λ (λ) non lo è! Completa ignoranza a priori non è ben definita! 25

26 Metodo dei minimi quadrati Misuriamo N valori, y 1,..., y N, independenti con distribuzione Gaussiana tale che Siano noti i valori delle variabili x 1,..., x N e le varianze Vogliamo stimare θ, cioè fare un fit della curva ai punti La likelihood è 26

27 Metodo dei minimi quadrati (2) La log-likelihood diventa Massimizzare la likelihood è equivalente a minimizzare Il minimo è l estimatore least squares (LS) Spesso si minimizza il χ 2 in modo numerico (MINUIT). 27

28 Varianza dell estimatore LS Come per ML, nel caso di LS abbiamo e quindi ovvero con il metodo grafico coincide con prendere il valore per cui

29 Goodness-of-fit con LS Il valore del χ 2 al minimo è una misura dell accordo dati-ipotesi È una statistica di goodness-of-fit per verificare la forma funzionale ipotizzata λ(x; θ) N.B.: da non confondere con l errore statistico sul fit! Se l ipotesi è corretta la statistica t = χ 2 min segue la pdf del χ2 con n d = numero di punti - numero di parametri del fit 29

30 LS con istogrammi 30

31 LS con istogrammi (2) 31

32 LS con istogrammi normalizzazione 32

33 LS normalization example 33

34 Using LS to combine measurements 34

35 Combining correlated measurements with LS 35

36 Example: averaging two correlated measurements 36