Esclusione dei valori meno probabili Il criterio di Chauvenet

Transcript

1 Esclusione dei valori meno probabili Il criterio di Chauvenet Nel campo dell analisi sperimentale è frequente trovare, in una serie di misure, qualche dato che non concorda con gli altri. 1

2 Il criterio di Chauvenet dà la possibilità di formulare un giudizio di accettazione dei dati in base a considerazioni di tipo statistico. 2

3 In una serie di n dati sperimentali, se alcuni valori presentano uno scostamento dal valore medio che ha probabilità di verificarsi inferiore di 1/(2n), allora quei valori possono essere scartati. 3

4 CRITERIO DI CHAUVENET Scarto ridotto x,s s i = x i x s p = n determinare z: s i z s i > z F Si ( z) = n SCARTARE IL DATO 4

5 Interpretazione grafica: n n z z z I valori appartenenti a questo intervallo esterno possono essere eliminati infatti la probabilità associata ai due semiintervalli è pari a 1/2n 5

6 ANALISI DELLA NORMALITA DI UNA DISTRIBUZIONE Il grafico di probabilità normale Il test del chi-quadro 6

7 IL GRAFICO DI PROBABILITÀ NORMALE Si vuole verificare se la distribuzione dei dati sperimentali può essere rappresentata mediante la legge di Gauss o meno. 7

8 grafico di probabilità normale Cambio scala sulle ordinate (scala logaritmica) y y 3 Si ottiene una retta 8

9 Esempi x 1 x 2 s x1 = s x2 0.5 x 1 = x 3 s x1 s x x x 1 x 2 x 3 9

10 Distribuzione iper-normale

11 Distribuzione ipo-normale

12 Distribuzione asimmetrica

13 Distribuzione bimodale

14 IL TEST DEL χ 2 Permette di valutare quantitativamente, su base statistica, se una serie di dati appartiene ad un tipo di distribuzione (non necessariamente normale). 14

15 IL TEST DEL Χ 2 K χ 2 = j = 1 ( f ) o f j a j 2 K è il numero di classi in cui si sono suddivisi i dati f oj è la frequenza assoluta osservata per la classe j f aj è la frequenza assoluta aspettata in base alla distribuzione che si vuole provare f a j 15

16 PROCEDURA 1) Calcolare: K χ 2 = j = 1 ( ) j a j 2 f o f f a j 16

17 p 1 =1 α 2 p 2 = α 2 PROCEDURA 2) Definire il rischio d errore α e calcolare: 17

18 PROCEDURA 3) Calcolare il numero di gradi di libertà ν : ν = K 3 18

19 PROCEDURA 4) Dalle tabelle determinare: χ 2 ( p,ν) χ 2 ( p,ν)

20 5) Eseguire il test: PROCEDURA χ 2 ( p,ν) < χ 2 < χ 2 ( p,ν) 1 2 Se verificato, non vi sono ragioni statistiche, per rifiutare il modello di distribuzione sottoposto a test. 20

21 ESEMPIO si vuole verificare quale di due farmaci è più efficace. A questo scopo: - 23 pazienti vengono trattati con il farmaco A - 17 con il farmaco B. Dei 23 pazienti trattati con A, 13 risultano guariti, mentre dei 17 trattati con B ne risultano guariti 8. 21

22 La percentuale di guarigione per entrambe i due trattamenti è complessivamente 21/40 = 0,525 = 52,5% 22

23 E quindi se non ci fosse differenza tra i due farmaci si avrebbe la seguente tabella dei risultati attesi: 23

24 Quindi possiamo calcolare il χ 2 : χ 2 = (13-12) 2 /12 + (10-11) 2 /11 + (8-9) 2 /9 + (9-8) 2 /8 = 0,41 Dati ottenuti Dati che si otterrebbero se la densità di probabilità fosse uguale 24

25 Definiamo un grado di rischio = 10% = 0.1 p 1 = 0.95 p 2 = Calcoliamo il numero dei gradi di libertà ν = 4 3 =1 25

26 Dalla tabella determiniamo: χ 2 p 1,ν ( ) χ 2 p 2,ν ( ) 26

27 Verifichiamo che: χ 2 ( p,ν) < χ 2 < χ 2 ( p,ν) < 0.41 < 3.84 E quindi non c è motivo statistico per concludere che le due distribuzioni non siano la stessa ovvero non si può concludere che un farmaco sia più efficace dell altro 27

28 Esempio di verifica dell influenza della temperatura su di un processo di misurazione % CHI2GOF Chi-square goodness-of-fit test. % CHI2GOF performs a chi-square goodness-of-fit test. % The test is performed by grouping the data into bins, calculating % the observed and expected counts for those bins, and % computing the chi-square test statistic SUM((O-E).^2./E), where O is the % observed counts and E is the expected counts. This test statistic has an % approximate chi-square distribution when counts are sufficiently large. % % Bins in either tail with an expected count less than 5 are pooled with % neighboring bins until the count in each extreme bin is at least 5. % % H = CHI2GOF(X) performs a chi-square goodness-of-fit test that the data in % the vector X are a random sample from a normal distribution with mean and % variance estimated from X. The result is H=0 if the null hypothesis (that % X is a random sample from a normal distribution) cannot be rejected at the % 5% significance level, or H=1 if the null hypothesis can be rejected at % the 5% level. CHI2GOF compares the test statistic % to a chi-square distribution with NBINS-3 degrees of freedom, to take into % account that two parameters were estimated. 28

29 close all % Modello del processo di misurazione della lunghezza di un pezzo meccanico % in funzione dell'effetto di disturbo della temperatura T = 20; Lm = 50 + (T-20)*0.01 ; std = (T-20)*0.05 ; x20 = normrnd(lm, std, 1000, 1); figure, subplot(2,1,1), plot(x20) subplot(2,1,2), hist(x20, length(45 : 0.25 : 55)) 29

30 % Modello del processo di misurazione della lunghezza di un pezzo meccanico % in funzione dell'effetto di disturbo della temperatura T = 120; Lm = 50 + (T-20)*0.01 ; std = (T-20)*0.02 ; x120 = normrnd(lm, std, 1000, 1); figure, subplot(2,1,1), plot(x120) subplot(2,1,2), hist(x120, length(45 : 0.25 : 55)) 30

31 figure, subplot(2,1,1), plot([x20; x120]) subplot(2,1,2), hist([x20; x120], length(45 : 0.25 : 55)) [H,P,STATS] = chi2gof([x20; x120], 'ctrs', 45 : 0.25 : 55) Output MATLAB: H = 1 P = 0 STATS = chi2stat: 5015 df: 31 edges: [1x35 double] O: [1x34 double] E: [1x34 double] 31

32 Queste due sono le PDF che il test del χ 2 è andato a confrontare figure, plot(stats.o / 1000) hold on plot(stats.e / 1000,'r') legend('observed','expected') 32

33 33