Richiami di statistica e loro applicazione al trattamento di osservazioni topografiche e geodetiche

Transcript

1 Richiami di statistica e loro applicazione al trattamento di osservazioni topografiche e geodetiche Ludovico Biagi Politecnico di Milano, DIIAR ludovico.biagi@polimi.it (materiale didattico preparato in collaborazione con E. Benedetti, M. Branzanti, M. Crespi de La Sapienza Università di Roma)

2 Premesse definizione euristica di distribuzione, gli errori di misura formalizzazione della curva gaussiana La stima la propagazione di media e covarianza la stima ai minimi quadrati La verifica la verifica di ipotesi in generale i test sul modello e sulla singola osservazione Semplificando ancora esempi.

3 Prima premessa necessaria Misure ripetute della medesima grandezza, eseguite al limite della precisione possibile con il metodo e gli strumenti utilizzati, forniscono sempre risultati diversi per la presenza degli errori casuali; tali errori, non noti, non possono essere eliminati. Come si può stimare il valore vero di una grandezza se non si conoscono gli errori in ciascuna osservazione? Si associa alle misure una modellizzazione statistica e matematica: l osservazione (misura) è la somma di due componenti: il valore teorico/vero della grandezza y (osservabile) e l errore di misura incognito.

4 Seconda premessa necessaria Errori casuali, a media nulla, di entità variabile da misura a misura, dipendente dalle precisioni strumentale e di lettura. Concetti collegati: sia precisione sia accuratezza Errori sistematici o di modello o anche outlier, sistematismi strumentali oppure errata modellizzazione delle osservazioni o delle relazioni fra osservazioni e incognite Concetto collegato: accuratezza.

5 Esperimenti deterministici e stocastici Misura di b Tape Measure (m) Length Comparator (m) 3,15 3, ,15 3,15290 h 3,15 3, ,15 3, ,15 3,29421 b A = bh

6 Questo esempio molto semplice mostra che il livello di precisione a cui si misura b dipende dallo strumento adottato e dalla tecnica di misura. I due esperimenti sono definiti rispettivamente deterministico e stocastico. In genere, tutte le misure fornite da strumenti sufficientemente precisi sono rappresentate da esperimenti stocastici. In particolare lo sono le misure topografiche e geodetiche La descrizione di un esperimento stocastico richiede il concetto di media e di dispersione (µ e σ ).

7 Essi sono veramente utili ma, come vedremo, non robusti. Un indice statistico è detto robusto quando non è significativamente affetto dalla presenza di outlier. Media di b: mediana di b: m m Tape Measure Length Comparator (m) (m) 3,15 3,15289 Quindi, media e deviazione standard sono buoni stimatori solo dopo la rimozione di ogni possibile outlier. 3,15 3, , ,15 3, ,15 3,29421

8 Esempio di distribuzione degli esiti di 10 osservazioni La popolazione è troppo piccola per distinguere una chiara distribuzione.

9 Esempio di distribuzione per popolazione numerosa

10 Precisione e accuratezza (1/4)

11 Precisione e accuratezza (2/4) Popolazione accurata e precisa Popolazione abbastanza accurata ma non precisa

12 Precisione e accuratezza (3/4) Popolazione accurata e precisa Popolazione abbastanza accurata ma non precisa Popolazione non accurata ma precisa

13 Precisione e accuratezza (4/4) Popolazione accurata e precisa Popolazione abbastanza accurata ma non precisa Popolazione non accurata ma precisa Popolazione non accurata e non precisa

14 Dalla popolazione alla frequenza N : popolazione totale n y : popolazione che assume valori nell'intervallo [y δ, y + δ ] f y = n y N frequenza di realizzazione dell'intervallo [y δ, y + δ ] per δ 0 la frequenza così definita euristicamente tende al concetto matematico di distribuzione di probabilità

15 Dalla frequenza alla probabilità: la curva gaussiana Misure di precisione di una grandezza, con valore teorico µ e deviazione standard σ, si distribuiscono in accordo alla distribuzione di densità di probabilità Gaussiana f ( y,µ,σ ) = 1 2πσ 2 e ( y µ) 2 2σ 2

16 Gaussiana con σ = 1 Gaussiana con σ = 2

17 P( y y y ) è la probabilità di ottenere una misura che cada m M nell intervallo [y m, y M ]; y M P( y m y y M ) = f (η)dη y m

18 Caso R m Siano date m osservabili; possiamo estendere il modello e scrivere in modo compatto, utilizzando la notazione vettoriale: y 0 = µ y + ε con y1 O y 2O y O = ; µ... y = ym O y 1 y 2... y m ; ε ε1 ε 2 =... ε m

19 f (y O ) = 1 (2π ) m/2 (detc yy ) 1 2 (y O µ y )T C 1 yy (y O µ y ) e m/2 C yy è la matrice di covarianza delle osservazioni. C yy 2 σ1 σ12... σ 1m 2 σ21 σ2... σ2m = σm1 σm2... σm in diagonale le varianze delle singole osservazioni, fuori diagonale le covarianze fra coppie di osservazioni; la matrice è simmetrica e definita positiva, quindi invertibile.

20 Note In forma compatta si indica y = N[µ y,c yy ] Quando la media è nulla, le varianze unitarie, le correlazioni nulle y = N[0,I] = Z è detta normale standardizzata

21

22 Osservazioni e incognite Deve essere stimato un parametro incognito x che non può essere direttamente osservato ma dipende funzionalmente da un'osservabile y Dipendenza diretta: Dipendenza inversa: ( ) ( ) x = f y y = f x Come possono media e covarianza di x essere determinate da y?

23 Dipendenza diretta: teorema della media Una volta determinata la media di un'osservabile (ad esempio nel quadrato il lato), può essere determinata anche la media di una quantità da essa funzionalmente dipendente (l'area). La media può essere propagata in accordo al teorema della media. l (m) l1 l2 li ln A (m 2 ) A1 A2 Ai An 2 A=l

24 Ipotesi di validità per il teorema della media Regolarità del modello funzionale y osservabile, variabile casuale x dipende funzionalmente da y. Generalmente: x = f ( y) e f ( y) C tranne che per un numero limitato di punti. y deve essere ben centrata, ovvero con intervallo di probabilità piccolo (un definizione più formale di buon centramento è data dal teorema di Chebishev)

25 Propagazione della media: caso 1D 1- Modello lineare x = ay + b ( ) 2- Modello non lineare x = f y Lineare µ y µ x = aµ y + b Non lineare µ y µ x f (µ y )

26 Propagazione della media: caso n-d area: diagonale: A=b h d= b +h p= 2 h+b 2 2 perimetro: ( ) Mediante due esperimenti stocastici per b e h, sono calcolati µ b e µ h. y m-dimensionale x funzionalmente dipendente, n-dimensionale, m n.

27 y = b h, x = A d p, x = f(y), f(y) = bh ( b 2 + h 2 ) 2( b+ h) Nel caso multidimensionale, il teorema della media vale sotto le stesse ipotesi del caso monodimensionale. Lineare: x = Ay + b, µ x = Aµ y + b Non lineare: x = f(y), µ x f(µ y )

28 µ y = µ b µ h, µ = x µ a µ d µ p, µ x µ b µ h ( µ 2 2 b + µ ) h 2 ( µ b + µ ) h Solo la media del perimetro è esatta, perchè è l'unica funzione lineare dei lati. Lo stesso processo logico può essere applicato alle deviazioni standard. Supponiamo che siano state calcolate anche le deviazioni standard di b ( σ b ) e h ( σ h ). Si vuole calcolare la loro propagazione nelle stime delle quantità funzionalmente dipendenti.

29 Dipendenza diretta: legge di propagazione della covarianza

30 Consideriamo y variabile casuale m-dimensionale x variabile casuale n-dimensionale x = f(y) Hp: f(y) regulare, y ben centrata

31 La covarianza di y può essere scritta a partire dalla sua matrice di covarianza. C yy = σ 1 2 σ 21 σ 2 2 σ σ 1n... σ 2m σ m1 σ m2... σ m 2 C yy contiene la struttura di covarianza completa di y Elementi in diagonale contengono le varianze. Elementi fuori diagonale contengono le covarianze. La matrice è simmetrica: σ ij = σ ji

32 Esempio del rettangolo: misure y = b h C yy = σ b 2 σ bh σ hb σ h 2 Grandezze funzionali x = A d p C xx = σ A 2 σ Ad σ Ap σ da σ d 2 σ dp σ pa σ pd σ p 2

33 La legge di propagazione della covarianza è un corollario del teorema della media e può essere formalizzata mediante le seguenti formule Lineare: x = Ay + b, C xx = AC yy A T Non lineare: x = f(y), C xx = JC yy J T J è la matrice Jacobiana: contiene le derivate parziali di x rispetto a y.

34 y = y 1.. y i.. y m µ y = µ y1... µ yi... µ ym x = x 1.. x i.. x n J = x 1 x 1... x 1 y 1 y 2 y m x n x n... x n y 1 y 2 y m Le derivate sono calcolate nella media di y. µ y

35 Esempio del rettangolo µ = y µ b µ h J = A b d b p b A h d h p h µ y = µ h µ b µ b µ h µ 2 2 b + µ h µ 2 2 b + µ h 2 2