Il trattamento dei dati

Transcript

1 I.S.S. Ferraris-Pancaldo, Savona 22 marzo 2011 Il trattamento dei dati (Una introduzione) alla statistica dei dati di EEE Sandro Squarcia Dipartimento di Fisica e Sezione INFN di Genova Via Dodecaneso 33, Genova squarcia@ge.infn.it

2 Le scienze sperimentali

3 Errore dei sensi Spesso i nostri sensi si ingannano E possibile confondere un immagine tridimensionale con una bidimensionale? Perché Euclide? Per le geometrie dei due elementi di spicco del quadro René Magritte, Le passeggiate di Euclide, 1955

4 Osservazione sperimentale L eterno mistero del mondo è nella sua comprensibilità Albert Einstein Osservando il mondo ci accorgiamo della varietà dei sistemi che lo compongono e la loro stabilità nel tempo (passaggio dall oggetto al concetto) Questi oggetti possono essere osservati e misurati Dal 1600 col metodo scientifico: osservazioni via via sempre più precise

5 Concetto di misura I differenti fenomeni fisici vengono osservati e rappresentati da leggi e relazioni matematiche che contemplano delle quantità dette osservabili Un osservabile è oggetto di una misura Una misura è il risultato di procedure che permettono di identificare un carattere con un valore numerico o con un attributo Esistono caratteristiche che, nel tempo, restano costanti (ad es. sesso, luogo, data di nascita, ) e altre che invece variano (ad es. età, peso, altezza, stato civile, )

6 Ricerca scientifica La ricerca può essere deduttiva (data una legge teorica nota cerco verifica tramite più misure) ovvero induttiva (partendo dai dati sperimentali cerco di determinare una legge generale) La finalità può essere descrittiva: (osservazione di un campione estratto da una popolazione o di tutta la popolazione) analisi demoscopica ovvero comparativa (confronto tra campioni o situazioni diverse) confronto tra due teorie oppure longitudinale (esame di un campione nel tempo) follow-up di un evento clinico

7 Tipi di misura Alla base di ogni ricerca c è la misura La misura è di tipi differenti e può utilizzare Scala nominale o categorica (solo qualitativa) - solo confronti di tipo uguale/diverso Scala ordinale o per ranghi (semiqualitativa) - classifica gerarchica (maggiore/minore) Scala quantitativa intervallare (o di rapporto) - massima informazione - presuppone l esistenza di un unità di misura - può stabilire rapporti di uguaglianza - può definire la differenza tra due misure questa è la vera definizione di misura fisica!

8 Scala nominale Per misure qualitative di alcune osservabili occorre utilizzare scale nominali o categoriche L attribuzione ad una categoria deve sempre escludere l inserimento in un altra La situazione più semplice è la classificazione in due categorie mutuamente escludentesi (sesso) Ad ogni categoria può essere associato un numero di per identificare univocamente il tipo maschio (M) = 1, femmina (F) = 2 nessuna indicazione sulla importanza relativa o come misura della grandezza: non esiste l unità di misura!

9 Esempio Nella misura dello stato civile che osservabili si presentano? celibe/nubile, coniugato/a, separato/a, divorziato/a, vedovo/a Tutte queste osservabili sono dicotomiche dato che possono assumere solo due valori (binari) opposti tra loro

10 Scala ordinale Scala ordinale o per ranghi si usa per misure semiqualitative Ogni osservazione si identifica come valore di una categoria che segue un ordine gerarchico classificazione con criterio maggiore/minore (gradi nell esercito: sergente < capitano) Non esistendo un unità di misura, gli intervalli tra le diverse classificazioni non hanno nessun significato dal punto di vista matematico Scala Mercalli: non è vero che un terremoto di magnitudo 6 = 2 terremoti di magnitudo 3!

11 Scala Mercalli Proprio perché non esiste un unità di misura non è possibile effettuare somme e differenze né una valutazione qualitativa in termini energetici

12 Scala Richter Misura fisica: usa l unità di misura dell energia (il joule) Meglio della scala Mercalli (ma con che errore?)

13 Scala quantitativa Le scale quantitative sono (invece) il risultato di un procedimento di misura fisica Avendo definito opportune unità di misura è possibile valutare se due misure sono diverse, qual è la maggiore e l entità della loro differenza Si definiscono scale intervallari o di rapporto a seconda che esista o meno uno zero assoluto (il punto di origine del conteggio o della misura) Le misure di peso, lunghezza, velocità usano, ad esempio, scale di rapporto e anche la temperatura espressa nel S.I. in gradi kelvin (0 K = o C)

14 Misura fisica Per effettuare una misura occorre utilizzare uno strumento che ha una sua sensibilità Ad esempio la sensibilità di: - una riga da geometra è 1 mm, - un metro da sarto è 1 cm, - un misuratore di distanza (auto) è di 100 m Ogni misura fisica ha tre caratteristiche: 1)l unità di misura scelta (m, kg, s, K, A, cd, mol) 2)il valore della misura 3)l indeterminazione (errore) della misura Non ha nessun senso dare più cifre significative di quelle dell errore di misura

15 Misure fisiche ed errori Ogni risultato di una misura è affetto da errore che dipende dalla sensibilità dello strumento Δx utilizzato per misurarla v = x ± Δx ERRORE MASSIMO Se l indeterminazione è più grande della sensibilità occorre operare N misure differenti il valore v è dato dalla media delle misure m e l errore s x della misura è dato dalla deviazione standard v = m ± s x ERRORE STATISTICO

16 Descrivere i risultati

17 Metodologia Una qualsiasi ricerca statistica richiede di operare delle misure fisiche che sono il campione di una popolazione ossia dell insieme di tutti i possibili risultati e si suddivide in differenti fasi: Pianificazione della ricerca (scelta campione) Rilevazione e raccolta dei dati Controllo dei dati (incompletezze e sbagli ) Organizzazione dei dati Sintesi e rappresentazione dei dati Interpretazione e presentazione dei risultati

18 Esempio E possibile esprimere le seguenti informazioni di età: 25, 9, 7, 10, 5, 11, 27, 20, 17, 16, 19, 35 in una scala nominale? Maggiorenni: 5 (25, 27, 20, 19, 35) Minorenni: 7 (9, 7, 10, 5, 11, 17, 16) Età pari: 3 (10, 20, 16) Età dispari: 9 (25, 9, 7, 5, 11, 27, 17, 19, 35) Queste operazioni provocano però una perdita di informazione!

19 Raggruppamenti Sia data l altezza (in cm) di 51 persone presentazione dei dati in forma più leggibile Spoglio N TOT = = 51

20 Tabelle cm n % cm n % cm n % cm n % Certo ora è un po meglio! si possono dare le percentuali v % = n / N TOT = 100 % ma un disegno (plot), forse, sarebbe più chiaro

21 Istogramma Presentano i dati in forma più immediata (Grafico a barre) Poco chiaro! si può però apprezzare il range dei valori

22 Diagramma (Grafico a punti) Dati ancora confusi Occorre compattare i dati in classi (vedi spoglio) perdendo però dell informazione!

23 Istogrammi 3D Numero eventi < >180 Classi di altezza (cm) Cominciamo ad esserci (il 3D è un sovrappiù)! I dati sono presentati in modo chiaro anche se manca un elemento fondamentale: gli assi devono sempre essere indicati!

24 Areogrammi Molto utilizzati dai giornali Scientifico!? 29% 29% 14% 8% 8% <160 cm 8% 14% 8% 14% 14% cm cm 27% cm 27% cm >180 cm Diagramma a torta visualizzazione immediata e spettacolare

25 Indici statistici

26 Indici di tendenza centrale Tabelle di dati e rappresentazioni grafiche sono notevoli strumenti di divulgazione ma non sintesi dell informazione Scopo della statistica è quello di evidenziare determinate situazioni ricavandole da un collettivo di misure Operiamo quindi una scelta di un indice che possa meglio rappresentare in modo obiettivo una massa di informazioni Poiché una sintesi comporta una perdita d informazione occorre privilegiare l indice che minimizza questa perdita

27 Medie analitiche La media (aritmetica semplice) le considera tutte m = x i / N i = 1, N La medie pesata (o ponderata) utilizza la frequenza f i di ciascuna osservazione m = f i x i / f i i = 1, N ovvero la frequenza relativa w i = f i / N (peso) poiché f i = N m = w i x i i = 1, N

28 Moda La media non può essere utilizzata in presenza di misure con ordini di grandezza molto diversi Viene quindi utilizzata la moda ossia l indicazione del gruppo più numeroso (quello con frequenza maggiore) ovvero più alla moda Vi possono essere più valori di moda: Distribuzioni monomodali e plurimodali Altezze

29 Mediana La mediana indica il valore centrale delle osservazioni dividendole in due parti uguali molto utilizzata per distribuzioni disomogenee In questo caso il valore è unico e può essere un numero intero o un numero frazionario Alte zze mediana Il valore 169 cm divide i dati in due parti quasi uguali (24 inferiori e 23 superiori)

30 Indici di dispersione Due distribuzioni possono avere stessa media, moda e mediana ma essere del tutto differenti a causa della dispersione dei dati Il più elementare indice di dispersione è l intervallo di variazione, ossia il range Scarto di ogni misura rispetto alla media ε i = x i m ε i = 0 Devianza δ = (x i m) 2 0

31 Varianza La devianza non tiene conto del numero di dati Per inserire questa dipendenza: varianza s 2 = (x i m) 2 / N Ovvero la varianza corretta s 2 = (x i m) 2 / (N 1) ove ν = N 1 sono osservazioni indipendenti conoscendo N 1 variabili e la varianza possiamo univocamente determinare la N esima variabile che ha permesso di calcolare la varianza stessa

32 Deviazione standard La variabilità di una distribuzione può essere espressa da un indice di tendenza centrale e da un indice di dispersione (stesse unità di misura!) Deviazione standard (o scarto quadratico medio) s = s 2 = [ (x i m) 2 / (N 1) ] dispersione media di una serie di dati Errore standard o deviazione standard della media s m = s / N errore non sui singoli dati ma sulla loro media!

33 Esempio Il valore di una lunghezza x, misurata con uno strumento di sensibilità 0.1 cm, ha dato risultati 1.4, 1.7, 1.6, 1.7, 1.4 [cm] <x> = 1 + ( ) / 5 = 1.56 cm s 2 = [2 ( ) 2 + ( ) ( ) 2 ] / 4 = s = s 2 = cm = cm 2 La grandezza ha valore 1.56 cm, indeterminazione 0.15 cm ed errore statistico 0.15 / 4 = 0.07 cm Il valore della lunghezza è quindi espressa come x = (1.56 ± 0.07) cm

34 Risultati delle misure

35 Misure fisiche ed errori Ogni risultato di una misura è affetto da un errore che dipende dalla sensibilità dello strumento utilizzato per misurarla (3 volte!) Se l indeterminazione è minore della sensibilità il valore vero della misura è dato dalla misura stessa (x) e l indeterminazione (Δx) è data dalla sensibilità dello strumento v = x ± Δx ERRORE MASSIMO Non ha senso utilizzare strumenti troppo sensibili (lunghezza di una strada con uno strumento al cm!)

36 Sensibilità strumenti Se l indeterminazione è maggiore della sensibilità occorre operare N misure (almeno dieci!) poiché ogni misura è diversa dall altra Il valore vero v è dato dalla media delle misure e l errore s x è dato dalla deviazione standard v = <x> ± s x In questo caso si può stimare che la miglior predizione del valor vero sia data da v = <x> ± s m = <x> ± (s x / N) s m = (s x / N) ERRORE STANDARD

37 Cifre significative Non ha senso esprimere una misura con più cifre significative di quelle con cui è stato misurato Se l errore non viene riportato si assume che questo sia sull ultima cifra significativa Dire che una città ha abitanti è differente dal dire che ha (circa) abitanti Perché non dando l errore si suppone che N = (12324 ± 1) abitanti N = (12000 ± 1) abitanti Ben diverso se la città ha proprio circa abitanti con una indeterminazione di 100 abitanti N = (12000 ± 100) abitanti = (120 ± 1) 10 2 abitanti

38 Errori relativi Si dice errore relativo l indeterminazione della misura divisa per il valore della misura stessa Nel caso citato: ± 1 abitanti Errore relativo = Δx / x = ± 100 abitanti Errore relativo = Δx / x = 0.8 % Dare gli errori con una (massimo due) cifre! utilizzare le potenze di 10 per esprimere il valore N = (12000 ± 100) abitanti = (120 ± 1)10 2 abitanti

39 Errori statistici Ogni misura può essere affetta da differenti cause di errori probabilisticamente indipendenti tra loro Si può dimostrare che la distribuzione degli errori statistici è distribuita come una gaussiana Distribuzione di Gauss σ (deviazione standard) μ (valor medio) x G(x; μ, σ) = [1 / ( 2π)σ] exp [(x - μ) 2 / 2σ 2 ]

40 Distribuzione delle misure Tra μ σ x μ + σ vi sono il 68.3 % delle misure Tra μ 2σ x μ + 2σ si trovano il 95.5 % Tra μ 3σ x μ + 3σ vi sono il 99.7 % Al di fuori di 3σ vi sono il quindi il 0.3 % dei dati 0.15 % 68.3% 0.15 % 95.5 % 99.7 % I dati al di fuori di 3σ sono sbagliati?

41 Propagazione degli errori Prendiamo un rettangolo di larghezza x = (300 ± 6) m (2%) e lunghezza y = (100 ± 3) m (3%) x y D = = 200 m P = 2x + 2y = = 800 m A = x y= = m 2 = m 2 ok, ma gli errori?

42 Gli errori si sommano Somma e differenza Se gli errori sono massimi ΔD = Δx + Δy = = 9 m ΔP = 2 Δx + 2 Δy = = 18 m Se gli errori sono statistici ε D = ε x + ε y = = 9 m ε P = 2 ε x + 2 ε y = = 18 m D = (200 ± 9) m (4.5%) P = (800 ± 18) m = (80 ± 2) 10 m (6%)

43 Moltiplicazione e divisione Si devono utilizzare gli errori relativi Se gli errori sono massimi ΔA/A = Δx/x + Δy/y = = 0.05 ΔA = = 1500 m 2 A = (30.0 ± 1.5) 10 3 m 2 (5%) Se gli errori sono statistici (ε D /D) 2 = (ε x /x) 2 + (ε y /y) 2 = (0.02) 2 + (0.03) 2 = ε D = D = = 1081 A = (30 ± 1) 10 3 m 2 (3.5%)

44 Indeterminazione di una misura I valori di una misura non sono definiti ma variano in un intervallo di valori Δx (sensibilità strumentale) σ (indeterminazione) x (valore misurato) μ (valor medio) In molti casi però occorre sapere in anticipo basandosi su dati conosciuti o stimati il comportamento di un certo apparato

45 Caso di eventi rari La distribuzione di Gauss vale per campioni numerosi (>10!). Nel caso di eventi rari occorre utilizzare la distribuzione di Poisson P(k; λ) = (λ k e λ ) / k! k = 0, 1, 2. Distribuzione discreta con media μ = λ con varianza σ 2 = λ con deviazione standard σ = λ Il valore della distribuzione è dato da λ± λ

46 Distribuzione di Poisson 0,4 0,4 0,35 0,3 0,25 0,2 λ = 1 0,35 0,3 0,25 0,2 λ = 2 0,15 0,15 0,1 0, ,1 0, ,4 0,4 0,35 0,3 0,25 0,2 0,15 0,1 0, λ = All aumentare di λ la distribuzione di Poisson tende alla distribuzione di Gauss! 0,35 0,3 0,25 0,2 0,15 0,1 0, λ =

47 Conteggi Nel caso di conteggi si utilizza la distribuzione di Poisson λ± λ N ± N Se si hanno 100 conteggi il valore con l errore è: N ± N = 100 ± 10 Se il conteggio è solo 1: N ± N = 1 ± 1 (100%!) Che errore devo dare se vedo 49 macchine che passano durante un minuto per un casello autostradale? σ = 49 N = (49 ± 7) macchine

48 Interpretazione statistica

49 Perchéèimportante? Dati interpretati in modo scorretto o carente possono portare a conclusioni devianti o errate Proprio perché la statistica sembra facile tutti si sentono autorizzati a dare valutazioni Se tu mangi due polli ed io nessuno per la statistica ne mangiamo uno a testa (Trilussa) Ma anche i giornali (media) non scherzano Ricordate la polemica sulle emittenti di Radio Vaticana?

50 Dati male interpretati La Repubblica del 14/3/2001: Trovata una probabilità di leucemie infantili 6.06 volte superiore alla media entro 2 km dalla Stazione radio!! In effetti si parla di rischio ma inteso come probabilità di rischio

51 Come si può restare insensibili? Ma l opinione pubblica?

52 Problema statistico Probabilità = numero casi leucemie in Italia abitanti italiani Nel raggio di 2 km dalle antenne p = num. casi leucemia nel raggio di 2 km abitanti in un raggio di 2 km = 0.16 Un caso di leucemia! 1 diviso 0.16 = 6 Differenza tra probabilità e rischio Nel caso di eventi rari occorre utilizzare la stastistica di Poisson e non quella di Gauss!

53 Strano? In un dado a sei facce la probabilità che esca una faccia è 1/6 Lancio per una sola volta un dado: esce 3! Posso affermare che il 3 è 6 volte più probabile di tutte le altre facce???

54 Statistica inferenziale

55 Relazione tra dati Possono esistere in una ricerca connessioni tra dati differenti che possono legare caratteristiche: qualitative (professione figlio verso prof. padre) quantitative (peso verso altezza) Se ci interessiamo di dati quantitativi Correlazione: due variabili x, y interscambiabili tra loro (non esiste rapporto di antecedenza e conseguenza tra x ed y o viceversa) Regressione: ricerca della relazione funzionale tra variabile dipendente y ed una indipendente x

56 Altezza (cm) Correlazione Altezza verso peso (su un campione di 169 pazienti) Peso (kg) Non esiste una relazione funzionale univoca ma a un aumento del peso normalmente corrisponde un aumento dell altezza! Correlazione positiva o diretta

57 Correlazione negativa Tempo in minuti Voti di un test verso il tempo impiegato Voto in trentesimi Non esiste una relazione funzionale univoca ma vi è una tendenza a rispondere correttamente in meno tempo Correlazione negativa od indiretta

58 Correlazione nulla Voti di ginnastica Voti fisica verso voti ginnastica Voti di fisica In questo caso, quando la variabile x aumenta, la variabile y può sia aumentare che diminuire Assenza di correlazione

59 Relazione funzionale Peso (g) 2,00 1,50 1,00 0,50 0,00 Trazione di un filo di rame Lunghezza (cm) Esiste una funzione lineare y = ax + b le deviazioni dall andamento lineare sono dovuti da errori di misura Correlazione completa

60 Coefficiente di correlazione Il coefficiente di Pearson indica la correlazione R= (x i <x>)(y i <y>)/ (x i <x>) 2 (y i <y>) 2 R assume tutti i numeri reali tra -1 R 1 correlazione negativa completa ( 1), assenza di correlazione (0), correlazione positiva completa (+1) l indicatore generale della correlazione è R 2 per R 2 > 0.5 si ha buona correlazione funzionale N.B. correlazione non implica relazione causale (se x è la causa allora y ne è l effetto)

61 Validità della correlazione Pensione annua (in ) rispetto ad anni contributi R = 0, R buono e valido cresce costantemente all aumentare degli anni di contributi R = 0, R ingannevole cresce rapidamente, ha un massimo e poi tende a decrescere

62 Regressione Correlazione: x e y sono variabili interscambiabili In un problema di regressione le due variabili non svolgono più un ruolo simmetrico ricerca di una relazione funzionale y = f(x) La variabile x (predeterminata dal ricercatore) è quella calcolata con la precisione maggiore - variabile y con distribuzione normale errori statistici σ y x uguali e gaussiani - osservazioni sulle y i siano indipendenti dalle x i y = a x + b Retta di regressione

63 Minimi quadrati Peso (kg) Altezze (cm) Il valore che minimizza la distanza (quadratica) tra il valore y i sperimentale e il valore y i teorico y = x R 2 = R =

64 Estrapolazione y = x In base alla retta di regressione posso calcolare quanto dovrebbe pesare, in media, una persone di 150 cm 170 cm 190 cm 210 cm = kg = kg = kg = kg

65 Dati EEE HV A*B media A*B , , ,6 346,2 39 valori presi con 7 differenti HV 5 grandezze A*B a 8000 V con media 304, ma perché un valore 144 anomalo?

66 Dati reali Parte dei dati presi a Genova ORA HV R L ch*sc A*B Valor medio sui 5 dati: 304 ± 82 Su tutti i 39 valori A*B: 331 ± 36 valori entro 3σ sono tra 224 e 438 escludo 144 Valor medio sui restanti 4 dati: 334 ± 18

67 Conclusione Documentare tutte le prese dati riportando sempre le condizioni al contorno Scrivere le singole misure con il relativo errore e l unità di misura utilizzata Calcolare la propagazione degli errori con il corretto numero di cifre significative Effettuate i fit richiesti utilizzando i pacchetti statistici con intelligenza La verifica e l interpretazione dei dati è sempre la parte più avvincente di ogni ricerca!

68 Parlare oscuramente lo sa fare ognuno ma chiaro pochissimi (Galileo Galilei) Grazie per l attenzione!