Corso di formazione per Mathesis

Transcript

1 Statistica descrittiva II (Distribuzioni doppie e relazione tra variabili) 8 Marzo 2017 :: Secondo incontro

2 Formazione Docenti :: Programma Incontro preliminare Statistica e Probabilità a Scuola :: le attività del Dipartimento di Scienze Statistiche (Sapienza Università di Roma) Prima parte :: Statistica descrittiva Classificazione, organizzazione e rappresentazione dei dati Sintesi numeriche dei dati (tendenza centrale e dispersione) Distribuzioni doppie e relazione tra variabili qualitative (Tabelle di contingenza e Chi quadrato) Relazione tra variabili quantitative (Correlazione e Regressione)

3 Breve riassunto della lezione precedente Classificazione, organizzazione, rappresentazione e sintesi numeriche dei dati Cosa è la Statistica descrittiva Un po di terminologia (rilevazione, popolazione, unità, variabile) Classificazione delle variabili (qualitative, quantitative...) Organizzazione dei dati (distribuzioni per unità, di frequenza, in classi) Rappresentazioni grafiche (diagramma a barre, diagramma a torta, istogramma) Misure di tendenza centrale: moda, mediana e quantili, media Misure di dispersione: range, range interquartilico, varianza, deviazione standard e coefficiente di variazione Valutazione (grafica) della forma della distribuzione Strumenti informatici (es. Google Drive)

4 Relazione tra due variabili È interessante analizzare il legame di dipendenza esistente tra due (o più) variabili. In base alla natura delle variabili, possono esistere modi differenti per studiare la dipendenza... X e Y entrambe qualitative X e Y entrambe quantitative X e Y una qualitativa una quantitativa

5 Relazione tra due variabili È interessante analizzare il legame di dipendenza esistente tra due (o più) variabili. In base alla natura delle variabili, possono esistere modi differenti per studiare la dipendenza... X e Y entrambe qualitative X e Y entrambe quantitative X e Y una qualitativa una quantitativa

6 Distribuzioni doppie Dalla distribuzione doppia per unità alla distribuzione doppia di frequenza variabili unità X Y 1 x 1 y 1 2 x 2 y 2 i x i y i n x n y n Y X y1 yj yt Totale x1 n 11 n 1j n 1t n 1 xi n i1 n ij n it n i xs n s1 n sj n st n s Totale n 1 n j n t n

7 Tabella di contingenza Notazione Y X y1 yj yt Totale x1 n 11 n 1j n 1t n 1 xi n i1 n ij n it n i xs n s1 n sj n st n s Totale n 1 n j n t n n ij : frequenza congiunta della coppia di modalità (x i, y j ) n i = t j=1 n ij: frequenza marginale della riga i-ma n j = s n = s i=1 i=1 n ij: frequenza marginale della colonna j-ma t j=1 n ij = s i=1 n i = t j=1 n j: numerosità totale

8 Tabella di contingenza Esempio (1) X: scuola superiore Y: social network Y X FB Twitter Totale IT LC LS Totale Esiste un legame tra le due variabili?

9 Distribuzioni marginali X x1 n 1 x i n i xs n s Y y1 n 1 y j n j yt n t

10 Distribuzioni condizionate X (Y=y x 1 j ) n 1j x i n ij xs n sj per j = 1,, t Y (X=x y 1 i ) n i1 y j n ij yt n it per i = 1,, s

11 Distribuzioni condizionate relative X (Y=yj ) x1 n 1j /n j xi n ij /n j xs n sj /n j per j = 1,, t Y (X=xi ) y1 n i1 /n i yj n ij /n i yt n it /n i per i = 1,, s

12 Distribuzioni condizionate relative Esempio (1) X (Y=FB) IT 85/224 = 0.38 LC 69/224 = LS 70/224 = Y (X=IT) FB 85/113 = 0.75 Twitter 28/113 = X (Y=Twitter) IT 28/150 = 0.18 LC 79/150 = 0.53 LS 43/150 = Y (X=LC) FB 69/148 = 0.47 Twitter 79/148 = Y (X=LS) FB 70/113 = 0.62 Twitter 43/113 =

13 Diagramma a barre affiancate Una rappresentazione grafica utile per il confronto IT LS LC FB Twitter FB Twitter IT LC LS Social Network Scuola superiore

14 Diagramma a barre ripartite Una rappresentazione grafica utile per il confronto IT LS LC FB Twitter FB Twitter IT LC LS Social Network Scuola superiore

15 Distribuzioni condizionate relative Caso estremo: Indipendenza = Assenza di connessione X è indipendente da Y se tutte le distribuzioni condizionate di frequenze relative di X data Y sono uguali tra loro (e uguali alla distribuzione marginale relativa di X). In simboli: E simmetricamente: n ij = n i n j n i = 1,, s n ij = n j n i n j = 1,, t ovvero Y è indipendente da X se tutte le distribuzioni condizionate di frequenze relative di Y data X sono uguali tra loro (e uguali alla distribuzione marginale relativa di Y ).

16 Distribuzioni condizionate relative Caso estremo: Indipendenza = Assenza di connessione X e Y sono indipendenti se è verificata la seguente condizione: n ij = n i n j f ij = f i f j n Altrimenti, ci sarà una certa dipendenza o associazione o connessione...

17 Tabella di indipendenza Esempio (1) Y X FB Twitter Totale IT LC LS n 1 n 1 n = = n 2 n 1 n = = n 3 n 1 n = = n 1 n 2 n = = n 1 = 113 n 2 n 2 n = = n 2 = 148 n 3 n 3 n = = n 3 = 113 Totale n 1 = 224 n 2 = 150 n = 374

18 Misurare la connessione Indice Chi quadrato di Pearson Idea: quantificare la connessione introducendo una misura di distanza tra la situazione realmente osservata (le frequenze congiunte all interno della tabella di contingenza) e la situazione ideale di indipendenza ˆn ij = n i n j n χ 2 = s i=1 j=1 t (n ij ˆn ij ) 2 ˆn ij

19 Misurare la connessione con il Chi quadrato Esempio (1) Tabella osservata Y X FB Twitter Totale IT LC LS Totale Tabella di indipendenza Y X FB Twitter Totale IT LC LS Totale χ 2 = + ( )2 ( ) ( )2 ( ) ( ) = ( )

20 Misurare la connessione con il Chi quadrato Esempio (1): interpretazione Se ci fossimo trovati nel caso di indipendenza, avremmo ottenuto χ 2 = 0 Il valore ottenuto χ 2 = indica una certa associazione, ma è difficilmente interpretabile perché il Chi quadrato è un indice assoluto Per costruzione χ 2 è anche una quantità quadratica Infine, un grande difetto di questo indice è che dipende dalla numerosità del collettivo n conviene quindi introdurre un indice relativo, ovvero un indice che varia tra 0 e 1

21 Misurare la connessione Indice V di Cramer Per ottenere un indice relativo I rel occorre trasformare l indice assoluto I ass come segue: I rel = I ass Iass min I max I min Si dimostra che 0 χ 2 n min{s 1, t 1} ass Prendendo la radice quadrata si ottiene l indice V di Cramer: ass χ 2 V = n min{s 1, t 1}

22 Misurare la connessione con V di Cramer Esempio (1) V = 374 min{3 1, 2 1} = 0.24 Il valore ottenuto V = 0.24 indica una leggera associazione tra le due variabili perché è piuttosto vicino allo 0.

23 Il voto in Matematica dipende dal sesso? Esempio (2) Voto Sesso + Totale F M Totale voto < 6 + voto 6

24 Distribuzioni Marginali Esempio (2) della X (Sesso) della Y (Voto) Sesso Totale F n 1 = 23 M n 2 = 31 Totale n = 54 Voto + Totale Totale n 1 = 23 n 2 = 31 n = 54

25 Distribuzioni Condizionate relative Esempio (2) della X rispetto alla Y = y j Voto Sesso + F n 11 /n 1 = 0.43 n 12 /n 2 = 0.42 M n 21 /n 1 = 0.57 n 22 /n 2 = della Y rispetto alle X = xi Voto Sesso + Totale F n 11 /n 1 = 0.43 n 12 /n 1 = M n 21 /n 2 = 0.42 n 22 /n 2 =

26 Diagramma a barre affiancate Una rappresentazione grafica utile per il confronto F M F M Voto in Matematica Sesso

27 Diagramma a barre ripartite Una rappresentazione grafica utile per il confronto F M F M Voto in Matematica Sesso

28 Il voto in Matematica dipende dal sesso? Interpretazione delle distribuzioni condizionate Un voto 6 (+) è stato preso nel 42% dei casi da femmine e nel 58% dei casi da maschi. Girando il punto di vista, circa il 43% delle femmine ha preso un voto < 6 (-) mentre il restante 57 % un voto 6 (+). Per quanto riguarda i maschi, circa il 42% ha preso un voto < 6 (-) e il 58% un voto 6 (+). La percentuale dei maschi con la sufficienza in Matematica è maggiore della percentuale delle femmine.

29 Il Paradosso di Simpson Stratifichiamo per classe di appartenenza Classe C Voto Sesso + Totale F M Totale Classe D Voto Sesso + Totale F M Totale

30 Il Paradosso di Simpson Distribuzioni condizionate relative Classe C Voto (Sesso = F) Voto (Sesso = M) Classe D Voto (Sesso = F) Voto (Sesso = M)

31 Il Paradosso di Simpson Rappresentazione grafica Classe C Classe D F M F M Sesso Sesso

32 Il voto in Matematica dipende dal sesso? Come è cambiata l interpretazione La relazione tra sesso e voto in Matematica nelle due classi ha caratteristiche diverse. Nella prima classe sono più numerose le femmine. A differenza della situazione aggregata, la percentuale dei maschi con la sufficienza è minore della percentuale delle femmine in entrambi le classi. In particolare il 53% e il 67% delle femmine ha la sufficienza in Matematica in entrambe le classi contro il 50% e il 63% dei maschi.

33 Formazione Docenti :: Programma Incontro preliminare Statistica e Probabilità a Scuola :: le attività del Dipartimento di Scienze Statistiche (Sapienza Università di Roma) Prima parte :: Statistica descrittiva Classificazione, organizzazione e rappresentazione dei dati Sintesi numeriche dei dati (tendenza centrale e dispersione) Distribuzioni doppie e relazione tra variabili qualitative (Tabelle di contingenza e Chi quadrato) Relazione tra variabili quantitative (Correlazione e Regressione)

34 Relazione tra due variabili È interessante analizzare il legame di dipendenza esistente tra due (o più) variabili. In base alla natura delle variabili, possono esistere modi differenti per studiare la dipendenza... X e Y entrambe qualitative X e Y entrambe quantitative X e Y una qualitativa una quantitativa

35 Distribuzioni doppie variabili unità X Y 1 x 1 y 1 2 x 2 y 2 i x i y i n x n y n X quantitativa Y quantitativa

36 Distribuzioni doppie Esempio (1) X: QI madre Y: QI figlia QI madre QI figlia Esiste un legame tra le due variabili?

37 Diagramma a dispersione Quando i caratteri della distribuzione doppia sono quantitativi, possiamo rappresentare la distribuzione mediante un diagramma a dispersione Nel diagramma a dispersione, le coppie di modalità di 2 caratteri quantitativi (x i, y i ) vengono rappresentate come punti di un piano cartesiano i cui assi ortogonali corrispondono a 2 caratteri (X e Y ).

38 Diagramma a dispersione Esempio (1) QI figlie QI madri

39 Associazioni positive e negative Due variabili sono associate positivamente quando i valori sopra la media di una tendono ad associarsi con i valori sopra la media dell altra e allo stesso modo si comportano i valori sotto la media. Due variabili sono associate negativamente quando i valori sopra la media di una tendono ad associarsi con i valori sotto la media dell altra e viceversa.

40 Misurare l associazione lineare Tramite un diagramma a dispersione possiamo osservare la forma, la direzione e la forza della relazione fra due variabili quantitative. Le relazioni lineari, ovvero le relazioni la cui forma è rappresentabile tramite una linea retta, sono abbastanza comuni. È possibile affermare che una relazione lineare è forte se i punti si trovano vicini ad una linea retta. La relazione è invece debole se i punti si trovano molto lontani da una retta.

41 Attenzione :: ad occhio non è possibile giudicare quanto una relazione lineare sia forte. Due grafici a dispersione degli stessi dati. Il modello lineare nella distribuzione a destra appare più forte a causa dello spazio bianco circostante.

42 Attenzione :: ad occhio non è possibile giudicare quanto una relazione lineare sia forte. Due grafici a dispersione degli stessi dati. Il modello lineare nella distribuzione a destra appare più forte a causa dello spazio bianco circostante.

43 Misurare l associazione lineare È necessario utilizzare un indice numerico per supportare l informazione data da un grafico. La correlazione è la misura che utilizzeremo in questo caso. Il coefficiente di correlazione, che indichiamo con r, misura la direzione e la forza della relazione lineare fra due variabili quantitative.

44 Misurare l associazione lineare :: la covarianza Un indice simmetrico che misura la concordanza o la discordanza tra 2 caratteri quantitativi è la covarianza s XY definita come s XY = 1 n (y i y n n )(x i x n ) i=1 Se due caratteri sono statisticamente indipendenti, s XY = 0 (ma non è vero il viceversa ossia s XY = 0 non implica X e Y indipendenti) Infatti, la covarianza si può annullare quando due caratteri sono dipendenti ma non linearmente! Assume valori nel range s X s Y s XY s X s Y Difetto: s XY dipende dall unità di misura delle osservazioni! Quindi non possiamo usarla per i confronti

45 Misurare l associazione lineare :: coefficiente di correlazione lineare di Bravais-Pearson r XY = s XY s X s Y 1 r 1 r = 1 se tra X e Y sussiste un perfetto legame lineare e i 2 caratteri sono concordi r = 1 se tra X e Y sussiste un perfetto legame lineare e i 2 caratteri sono discordi r = 0 se X e Y sono indipendenti oppure se la loro relazione non è di tipo lineare I valori estremi r = 1 e r = 1 si ottengono soltanto in caso di una relazione lineare perfetta, quando i punti si trovano esattamente lungo una linea retta.

46 Misurare la correlazione lineare con r Esempio (1) x n = = y n = = i x i y i tot

47 Misurare la correlazione lineare con r Esempio (1) i x i y i (x i x n ) (y i y n ) tot

48 Misurare la correlazione lineare con r Esempio (1) i x i y i (x i x n ) 2 (y i y n ) 2 (x i x n )(y i x n ) tot

49 Diagramma a dispersione Esempio (1) QI figlie QI madri

50 Misurare la correlazione lineare con r Esempio (1) Cosa ci aspettiamo? s XY = s X = s Y = r = = Sembra esserci una forte relazione lineare tra il QI delle madri e il QI delle figlie. Il coefficiente di correlazione è vicino al suo valore massimo 1. Il QI delle figlie aumenta all aumentare del QI delle madri.

51 Misurare la correlazione lineare con r Esempio (1) Cosa ci aspettiamo? s XY = s X = s Y = r = = Sembra esserci una forte relazione lineare tra il QI delle madri e il QI delle figlie. Il coefficiente di correlazione è vicino al suo valore massimo 1. Il QI delle figlie aumenta all aumentare del QI delle madri.

52 Aspetti della correlazione Nel calcolare la correlazione non fa differenza quale variabile sia X o Y. La correlazione richiede che entrambe le variabili siano quantitative. Dato che r utilizza i valori standardizzati delle osservazioni, r non cambia quando si cambiano le unità di misura di X, di Y o di entrambe. Il coefficiente di correlazione r non ha unità di misura: è un numero puro.

53 Attenzione! Relazioni non-lineari Il coefficiente di correlazione r misura solamente la forza di una relazione lineare fra due variabili. Non descrive relazioni curvilinee fra le variabili, anche in caso di relazioni molto forti.

54 Attenzione! Outlier Così come la media e la deviazione standard, anche la correlazione non è una misura robusta: r è fortemente influenzato dalla presenza di pochi outlier. Bisogna utilizzare r con attenzione quando sono evidenti degli outlier nel diagramma a dispersione.

55 Attenzione! Correlazione spuria I dolcificanti causano un aumento di peso? Le persone che utilizzano dolcificanti al posto dello zucchero tendono ad essere piú grasse rispetto a quelle che usano lo zucchero. Esiste una spiegazione plausibile per questa associazione? È un esempio di correlazione spuria: non esiste un legame causale tra il peso e l uso di dolcificante, ma esiste una variabile nascosta influente sia sul peso che sull uso di dolcificante, che induce un alta correlazione tra di esse. È lecito, infatti, pensare che il consumo di dolcificante sia suggerito a persone sovrappeso o che seguono una dieta alimentare.

56 Attenzione! Correlazione spuria I dolcificanti causano un aumento di peso? Le persone che utilizzano dolcificanti al posto dello zucchero tendono ad essere piú grasse rispetto a quelle che usano lo zucchero. Esiste una spiegazione plausibile per questa associazione? È un esempio di correlazione spuria: non esiste un legame causale tra il peso e l uso di dolcificante, ma esiste una variabile nascosta influente sia sul peso che sull uso di dolcificante, che induce un alta correlazione tra di esse. È lecito, infatti, pensare che il consumo di dolcificante sia suggerito a persone sovrappeso o che seguono una dieta alimentare.

57 Attenzione! Correlazione spuria Un recente studio ha rilevato una forte correlazione positiva tra il livello di colesterolo dei giovani adulti e il tempo speso a guardare la televisione. Ti saresti aspettato questo risultato? Ritieni che guardare la tv causi un aumento del livello di colesterolo? Il risultato può essere giustificato alla luce del fatto che chi spende molto tempo a guardare la televisione tende a non fare molta attività fisica con un conseguente incremento della massa grassa corporea e del colesterolo. L affermazione non è esatta in quanto la correlazione non dimostra causalità.

58 Attenzione! Correlazione spuria Un recente studio ha rilevato una forte correlazione positiva tra il livello di colesterolo dei giovani adulti e il tempo speso a guardare la televisione. Ti saresti aspettato questo risultato? Ritieni che guardare la tv causi un aumento del livello di colesterolo? Il risultato può essere giustificato alla luce del fatto che chi spende molto tempo a guardare la televisione tende a non fare molta attività fisica con un conseguente incremento della massa grassa corporea e del colesterolo. L affermazione non è esatta in quanto la correlazione non dimostra causalità.

59 Relazione lineare Le relazioni lineari fra due variabili quantitative sono facilmente riconoscibili e piuttosto comuni. La correlazione misura la direzione e la forza di queste relazioni. Quando un diagramma a dispersione indica una relazione lineare, potremmo riassumerne l andamento generale tracciando una linea sul grafico.

60 Retta di regressione Una retta di regressione sintetizza la relazione fra due variabili, ma soltanto in ambiti specifici: ovvero se una delle due aiuta a spiegare o a prevedere l altra. La regressione descrive una relazione fra una variabile esplicativa e una variabile risposta. Una retta di regressione descrive come cambia una variabile risposta Y quando cambia la variabile esplicativa X. Spesso usiamo una retta di regressione per prevedere il valore di Y per un dato valore di X.

61 Diagramma a dispersione Esempio (1) QI figlie QI madri

62 Retta di regressione come strumento di previsione Esempio (1) QI figlie QI della figlia previsto per un QI della madre pari a 100 La retta di regressione descrive l andamento generale della relazione QI madri

63 Retta di regressione dei minimi quadrati Esistono infinite rette del piano che passano attraverso la nuvola dei punti. È necessario trovare la retta che meglio si adatti alla nostra nuvola di punti. La linea viene tracciata per prevedere Y in base a X, quindi gli errori di previsione sono errori sulla direzione verticale del grafico.

64 Retta di regressione dei minimi quadrati Esempio (1) QI figlie La risposta osservata per x=104 La risposta prevista per x=104 Una buona retta di regressione rende queste distanze minime QI madri

65 Retta di regressione dei minimi quadrati ŷ = b 0 + b 1 x La retta di regressione di Y su X trovata con il metodo dei minimi quadrati è la linea retta che rende minima la somma dei quadrati delle distanze verticali tra i punti osservati e la retta stessa: n n (y i ŷ i ) 2 = (y i b 0 b 1 x i ) 2 i=1 i=1

66 Retta di regressione dei minimi quadrati La retta di regressione dei minimi quadrati è la linea con coefficiente angolare ŷ = b 0 + b 1 x b 1 = s XY s 2 X e intercetta b 0 = y n b 1 x n

67 Retta di regressione dei minimi quadrati b 1 è molto importante per l interpretazione dei dati. Indica la variazione media che subisce Y quando X aumenta di una unità. b 0 è il valore di ŷ quando x = 0. Sebbene si abbia bisogno del valore dell intercetta per tracciare la linea, esso ha, in termini statistici, importanza soltanto quando la variabile x assume effettivamente valori vicini allo zero. La retta di regressione passa per il baricentro della distribuzione doppia, cioè il punto di coordinate (x n, y n ).

68 Retta di regressione dei minimi quadrati Esempio (1) b 1 = = b 0 = = ŷ = x Quando il QI della madre aumenta di una unità il QI della figlia subisce una variazione media pari a

69 Attenzione! La distinzione fra variabili esplicative e di risposta è fondamentale nella regressione. La regressione dei minimi quadrati prende in considerazione le distanze dei punti dalla retta solo nella direzione delle y. Invertendo le due variabili, si ottiene una retta di regressione dei minimi quadrati differente.

70 Retta di regressione come strumento di previsione Esempio (1) QI figlie y=106 (la risposta osservata per x=104) y^ = x (la risposta prevista per x=104) QI madri

71 Adattamento della retta di regressione ai dati È possibile scindere la variabilità totale dei valori osservati in Y in due parti: una misura gli spostamenti di Y lungo la retta di regressione, conseguenti a variazioni di X; l altra misura la variabilità dei punti rispetto alla retta.

72 Adattamento della retta di regressione ai dati QI figlie y y^ y y y^ y QI madri

73 Scomposizione della devianza di Y n n n D y = (y i y n ) 2 = (ŷ i y n ) 2 + (y i ŷ i ) 2 i=1 i=1 i=1 n (ŷ i y n ) 2 è la parte di devianza spiegata dalla retta di i=1 regressione n (y i ŷ i ) 2 è la devianza residua i=1 Il residuo è la differenza fra un valore osservato della variabile risposta e il valore previsto dalla retta di regressione: residuo = y i ŷ i

74 Misurare la bontà di adattamento Indice di determinazione oppure n (ŷ i y n ) 2 R 2 i=1 = n (y i y n ) 2 i=1 n (y i ŷ i ) 2 R 2 i=1 = 1 n (y i y n ) 2 i=1 R 2 = r 2 (quadrato del coefficiente di correlazione lineare)

75 Indice di determinazione Proprietà Assume valori nell intervallo [0, 1]. Assume il minimo, 0, se e solo se la retta di regressione è parallela all asse delle ascisse. Assume il massimo, 1, se e solo se i punti osservati giacciono su una retta.

76 Indice di determinazione Esempio (1) i x i y i ŷ i (ŷ i y n ) 2 (y i y n ) tot

77 Indice di determinazione Esempio (1) R 2 = = Circa il 74% della variabilità del QI delle figlie è spiegato tramite la relazione lineare dal QI delle madri. Il restante 26% è la variabilità non spiegata da tale relazione.

78 Outlier e osservazioni influenti nella regressione Un outlier è un osservazione che non segue il modello generale assunto dalla maggior parte delle osservazioni. I punti che, guardando un diagramma a dispersione, possiamo considerare outlier in direzione di Y, hanno residui elevati. Un osservazione è influente se, eliminandola, cambierebbe profondamente il risultato. I punti che, in un diagramma a dispersione, possiamo considerare outlier in direzione della X sono spesso punti influenti nella determinazione della retta di regressione dei minimi quadrati.

79 Outlier QI figlie Outlier QI madri

80 Osservazione Influente QI figlie Osservazione Influente QI madri