Laboratorio di Probabilità e Statistica

Transcript

1 Laboratorio di Probabilità e Statistica lezione 8 Massimo Guerriero Ettore Benedetti

2 Consegna 1. Implementare delle funzioni che, accettando opportuni parametri in ingresso, risolvano le formule viste in questa lezione. Soluzioni: Verifica di ipotesi sulle proporzioni Z = p p 0 p0(1 p0) n N(0,1) Verifica di ipotesi per due proporzioni Z = p 1 p 2 p 1 p 1 n1 + 1 n2 dove p = n 1 p 1 +n 2 p 2 n 1 +n 2

3 Soluzione: Come possiamo notare leggendo il testo, p = 0.75 mentre p 0 = 0.80 e dobbiamo rigettare l ipotesi nulla se z < -z 0.95 ovvero se z < -qnorm(0.95) z < Rigettiamo H 0, gli studenti di Verona sono sproporzionatamente inferiori alla realtà nazionale Consegna 2. Da uno studio statistico è risultato che l 80% degli studenti delle scuole superiori italiane ha buoni risultati nelle materie scientifiche. Una scuola di 1500 studenti di Verona, ha provato a ripetere il test nazionale in privato e ha visto che solo il 75% degli studenti ha ottenuto buoni risultati. Verificare, al livello α = 0.05, se gli studenti di Verona possono ritenersi sproporzionatamente inferiori nelle materie scientifiche rispetto alla realtà nazionale.

4 P-Value z= z= Accettazione 0.75 > 0.80 (di molto inferiore a 0.05)

5 Consegna 3. Alcuni anni fa venne condotto uno studio epidemiologico per studiare gli effetti positivi dell uso di aspirina sulla prevenzione degli attacchi cardiaci. Di seguito si riportano i risultati: Verificare se la proporzione di persone colpite da infarto che hanno assunto Aspirina, è statisticamente inferiore rispetto alle persone colpite da infarto che hanno assunto un farmaco placebo senza principi attivi.

6 Soluzione: Come possiamo notare leggendo il testo e la tabella, p 1 = 239/11034 = mentre p 2 = 139/11037= Nell esercizio non viene specificato un alfa. Scegliamo quindi ad esempio α = Dobbiamo rigettare l ipotesi nulla se z < -z 0.99 ovvero se z < -qnorm(0.99) z < Accettiamo H0: la proporzione di persone colpite da infarto che hanno assunto Aspirina è statisticamente inferiore rispetto alle persone colpite da infarto che hanno assunto un farmaco placebo z= Accettazione > z= 5.2

7 Indice Lezione Prerequisiti dalla lezione scorsa Analisi di regressione: I grafici di dispersione e la covarianza La retta di regressione Previsioni Bontà di adattamento Effetto degli outlier sulla retta di regressione

8 Prerequisiti dalla lezione scorsa Intervallo di confidenza per le proporzioni Verifica d ipotesi sulle proporzioni Test a una o due code (dx e sx) Verifica di ipotesi per due proporzioni

9 I grafici di dispersione e la covarianza 1/5 Analisi di regressione Effettuare un analisi di regressione significa analizzare congiuntamente due fenomeni di tipo quantitativo. Supponiamo di avere due fenomeni X e Y di tipo quantitativo e di aver raccolto su n individui le coppie di valori (x i, y i ). Un grafico di dispersione consiste nella rappresentazione di queste coppie di punti nel piano euclideo, scegliendo arbitrariamente gli assi dove collocare le variabili. Es.

10 I grafici di dispersione e la covarianza 2/5 Il grafico di dispersione serve per verificare graficamente se le coppie di punti (fenomeni statistici) presentano qualche forma di regolarità, e in particolare, per vedere come i punti si disperdono attorno a un particolare punto chiamato baricentro di coordinate (x n, y n ). La covarianza è un indice che misura la dispersione dei punti dal proprio centro, offre una valutazione analitica del grafico. σ xy = Cov(X,Y) = 1 n i=1 n (x i x n )(y i y n ) In R: cov(x,y) viene utilizzata la formula con (n-1)

11 I grafici di dispersione e la covarianza 3/5 Al contrario della varianza, di cui è un estensione, la covarianza si occupa anche di misurare l eventuale direzione del legame, ovvero se i due fenomeni si muovono nella stessa direzione (segno +) o in direzioni opposte (segno -). Cov = 0 Cov > 0 Cov < 0

12 I grafici di dispersione e la covarianza 4/5 Il coefficiente di correlazione si ottiene in questo modo: ρ xy = σ xy σ x σ y ρ xy = 0, solo se X e Y sono incorrelate 1, solo se X e Y sono legate da una relazione lineare diretta -1, solo se X e Y sono legate da una relazione lineare inversa L indice ρ è quindi in grado di misurare se vi è una relazione lineare tra X e Y, ovvero se le coppie di valori (x i, y i ) sono più o meno allineate lungo una retta del tipo: y i = a + b x i In R ρ viene calcolato con il comando: cor(x,y)

13 I grafici di dispersione e la covarianza 5/5 Se il coefficiente di correlazione è uguale a 0, ciò non implica che non vi sia un altro tipo di relazione (non lineare). Es. ma calcolando il X 2 e normalizzandolo come visto nella lezione 3: infatti, in questo caso: y = x 2

14 Consegna 1. Scrivere una funzione che restituisca la covarianza e un altra per il coefficiente di correlazione 2. Verificare se esiste una relazione lineare tra ore passate in internet dal lunedì al venerdì (hinternet_lv) e soldi spesi mensilmente per la rete (spesa_mese). Utilizzare l opzione: use="na.or.complete" per eliminare i punti con i valori mancanti.

15 Indice Lezione Prerequisiti dalla lezione scorsa Analisi di regressione: I grafici di dispersione e la covarianza La retta di regressione Previsioni Bontà di adattamento Effetto degli outlier sulla retta di regressione

16 La retta di regressione 1/2 Siamo ora interessati a ricercare una relazione lineare (retta) che modelli l andamento del grafico di dispersione dei punti: Vogliamo quindi trovare la retta y i = a + b x i, di cui abbiamo parlato nelle slide precedenti, che risulta essere la più vicina alle coppie di punti (x i, y i ). Dalla teoria sappiamo che i coefficienti a e b di questa retta si ricavano dalle seguenti formule: b = σ xy σ x 2 a = y b x In R esiste la funzione: lm(y~x)

17 La retta di regressione 2/2 x<-c(11,8,28,17,9,4,28,5,12,23,6,24,18,21,6,22, 27,17,27,6,29,9,3,12,9,23,5,27,20,13) y<-c(28,21,63,42,28,2,80,19,33,60,14,58,54,67, 18,64,65,68,77,17,95,12,1,30,34,67,20,75,59,55) plot(x,y) cor(x,y) [1] model<-lm(y~x) Model Call: lm(formula = y ~ x) Coefficients: (Intercept) x abline(model,col="red",lwd=2) a b

18 Previsioni Se riteniamo attendibile il modello trovato, sappiamo calcolare quali valori assume Y in corrispondenza di ogni valore di X, cioè siamo in grado di fare previsioni o ricostruire i valori mancanti per Y. In R si utilizza il comando: predict(model, data.frame(x=valori)) Es. (riprendendo il codice della slide precedente)

19 residui residui Bontà di adattamento 1/3 Ora che abbiamo costruito il nostro modello è buona cosa farne una valutazione. Come strumento interpretativo utilizziamo i residui ovvero gli scarti: e i = y i y i * Situazioni in cui i residui si concentrano tutti in una zona, oppure si ripetono in modo sistematico, sono indicatori di una distorsione indotta da modello 0 0 Index Index

20 Bontà di adattamento 2/3 Questa analisi dei residui è sempre consigliabile in prima battuta, ma occorre quantificarla con un indice: L indice R 2 valuta gli scarti e si ottiene facilmente elevando al quadrato il coefficiente di correlazione: R 2 = ρ 2 Tanto più R 2 si avvicina a 1, tanto più il nostro modello si adatta bene ai dati.

21 Bontà di adattamento 3/3 Valutiamo il modello dei dati delle slide precedenti: Gli errori si distribuiscono abbastanza casualmente e R 2 è vicino a 1: Il modello spiega molto bene i dati!

22 Effetto degli outlier sulla retta di regressione Consideriamo il seguente esempio: x<-c(1,1,2,2) y<-c(4,3,3,2) plot(x,y, xlim=c(0,10),ylim=c(0,10)) cor(x,y) [1] model<-lm(y~x) abline(model,col="red",lwd=2) Introduciamo un singolo punto (8, 8): x<-c(1,1,2,2,8) y<-c(4,3,3,2,8) plot(x,y, xlim=c(0,10),ylim=c(0,10)) cor(x,y) [1] model<-lm(y~x) abline(model,col="red",lwd=2) E sempre meglio visualizzare prima i dati tramite il grafico di dispersione, per poter valutare l opportunità di effettuare successivamente un analisi di regressione

23 Consegna 1. Sulla base dell esercizio 2 dell ultima consegna, costruire la retta di regressione e il grafico degli scarti per valutare la bontà di adattamento 2. Verificare se esiste una relazione lineare tra ore passate in internet sul pc (h_pc) e ore passate in internet sul cellullare (h_cell). Costruire la retta di regressione, il grafico degli scarti e valutare di quando si migliora il modello provando ad escludere qualche outlier a scelta. 3. Ripetere tutto lo studio precedente confrontando le variabili h_cell con h_tab ed h_tab con h_pc. Provare a trarre dagli studi qualche conclusione.