Trasformazione dei dati

Transcript

1 Trasformazione dei dati AnnaMaria Zanaboni ottobre 2017 È utile trasformare i dati per diverse ragioni: per poterli confrontare con altri, per poterli elaborare con tecniche che prevedono di lavorare su valori in un intervallo predefinito, o anche soltanto per renderli più facilmente leggibili. Consideriamo un insieme di valori X = {x 1, x 2,..., x n }, con la rispettiva tabella di frequenze relative (Tabella 1(a)) e la trasformazione g: x x = g(x) che trasforma i valori di X nei valori X = {x 1, x 2,..., x n}. In seguito considereremo solo trasformazioni iniettive (cioè a un valore trasformato in X corrisponde un solo valore in X). Per questo tipo di trasformazioni i valori delle frequenze nella tabella delle frequenze per X rimangono identici a quelli per X (Tabella 1(b)); cambiano invece, come vedremo, alcuni indici descrittivi e il diagramma a barre della distribuzione. Tabella 1: Tabelle di frequenza per X e X (a) (b) valori x 1 x 2... x n x 1 x 2... x n frequenze relative f 1 f 2... f n f 1 f 2... f n 1 Trasformazioni lineari Fissate due costanti reali a e b, una trasformazione lineare trasforma il valore originale x in un valore x secondo la regola: x x = a x + b In Figura 1 è mostrato graficamente un esempio di trasformazione lineare (in questo caso a = 0.5 e b = 2). Figura 1: la trasformazione lineare x x = 0.5 x + 2 1

2 Tabella 2: tabelle di frequenza (esempi 1.2 e 1.7) (a) (b) (c) valori frequenze relative Figura 2: diagrammi a barre (esempi 1.2 e 1.7) 1.1 Cambiamento di origine (traslazione) Se vogliamo traslare i dati di una quantità costante k > 0 applichiamo la trasformazione: Si osservi che: x = x k per traslarli verso sinistra e x = x + k per traslarli verso destra. Gli indici di posizione (media, mediana, quantili) sono traslati della stessa quantità k. Dimostriamo questa proprietà nel caso della media per una traslazione verso destra: x = 1 n i=1 x i = 1 n i=1 (x i + k) = ( 1 n n i=1 x ) i + 1 n n i=1 k = x + k. Gli indici di dispersione (range, distanza interquartile, varianza e deviazione standard) rimangono invece gli stessi dell insieme X. Dimostriamo questa proprietà nel caso della varianza (indicata con σ 2 ) per una traslazione verso destra: i=1 (x i x ) 2 = 1 n 1 i=1 ((x i + k) (x + k)) 2 = σx 2 = 1 n 1 1 n n 1 i=1 (x i x) 2 = σx 2. Esempio 1.1. Dati i valori X = {65, 71, 125} traslarli in modo che: (a) i valori trasformati partano da zero; (b) i valori trasformati abbiano media uguale a zero. Soluzione: (a) in questo caso dobbiamo operare una traslazione verso sinistra di una quantità k pari al minimo dei valori: k = 65, e l insieme dei valori traslati è: {0, 6, 60}; (b) in questo caso dobbiamo operare una traslazione verso sinistra di una quantità k pari alla media dei valori k = 87, e l insieme dei valori traslati è: {-22, -16, 38}. Esempio 1.2. Consideriamo ancora i valori X = {65, 71, 125} e le rispettive frequenze relative mostrate in Tabella 2(a): nell esperimento condotto il valore 65 è stato osservato il 35% delle volte, il valore 71 il 45% delle volte e così via. Consideriamo la traslazione effettuata nell esercizio precedente che ha prodotto i valori trasformati X = { 22, 16, 38}. (a) Quali sono le frequenze relative dei valori di X? 2

3 (b) Tracciare il diagramma a barre per X e per X. Soluzione : (a) Ogni volta che si è osservato il valore 125 lo si è trasformato nel valore 38 e, siccome la trasformazione lineare è iniettiva, la frequenza del valore 38 è la stessa del valore 125, e così via per tutti i valori di X. Quindi i valori X = { 22, 16, 38} hanno frequenza relativa mostrata in Tabella 2(b). (b) Segue dal punto precedente che nei due diagrammi le altezze delle barre sono uguali, ma in corrispondenza di valori differenti, come mostrato in Figura 2(b). 1.2 Cambiamento di scala (dilatazione o contrazione) Se vogliamo dilatare o contrarre i valori per fattore costante k > 0 applichiamo la trasformazione: x = x/k. Se k > 1 allora il range dei valori risulta diminuito (contrazione), se k < 1 il range risulta aumentato (dilatazione). Inoltre: se k è minore del minimo dei valori, allora tutti i valori dell insieme trasformato X saranno maggiori di 1, mentre se k è maggiore del massimo dei valori, allora tutti i valori dell insieme trasformato X saranno minori di 1. Si osservi che: la media, la mediana e i quantili vengono scalati della stessa quantità 1/k; il range e la distanza interquartile vengono scalati della stessa quantità 1/k: la varianza viene scalata di una quantità 1/k 2 ma la deviazione standard viene scalata di 1/k. Esercizio 1.1. Dimostrare le proprietà sopra elencate per la media, la varianza e la deviazione standard. Esempio 1.3. Dati i valori X = {0, 1, 2, 3} cambiare scala in modo che siano tutti compresi tra 0 e 1. Soluzione : in questo caso dobbiamo operare una contrazione dei valori, e, siccome il valore minimo è 0 e il massimo è 3, basta dividere ciascun valore per 3. Quindi k = 3, e l insieme dei valori scalati è X = {0, 1/3, 2/3, 1} Esempio 1.4. In riferimento all esercizio precedente, data la Tabella 3(a) delle frequenze relative per X: (a) scrivere la tabella delle frequenze relative per X ; (b) tracciare il diagramma a barre per X e per X ; (c) calcolare la media, la mediana, il range, la distanza interquartile e la deviazione standard di X e di X. Soluzione : (a) dato che la trasformazione lineare è iniettiva, le frequenze di X sono uguali alle frequenze di X, come mostrato in Tabella 3(b); (b) si veda la Figura 3; (c) per l insieme di valori X: x = ( )/4 = 1.5; mediana = (1 + 2)/2 = 1.5; range = 4 0 = 4; per poter calcolare la distanza interquartile calcoliamo prima il primo e il terzo quartile, q 1 e q 3 : siccome = 1 è un numero intero, allora q1 è la media tra i valori in 3

4 posizione 1 e 2, quindi q1 = (0 + 1)/2 = 0.5, e, analogamente, siccome = 3 allora q3 = (2 + 3)/2 = 2.5, segue che distanza interquartile = = 2; dev.st = 1/3 ((0 1.5) 2 + (1 1.5) 2 + (2 1.5) 2 + (3 1.5) 2 ) = 1.4. per l insieme di valori X : x = (0 + 1/3 + 2/3 + 1)/4 = 0.5; mediana = (1/3 + 2/3)/2 = 0.5; range = 1 0 = 1; la posizione dei quantili è ovviamente la stessa calcolata per X: q1 è la media tra i valori in posizione 1 e 2, cioè q1 = (0 + 1/3)/2 = 1/6, e q3(x) è la media tra i valori in posizione 3 e 4, cioè q3 = (2/3 + 1)/2 = 5/6, segue che distanza interquartile = 5/6 1/6 = 2/3; dev.st = 1/3 ((0 0.5) 2 + (1/3 0.5) 2 + (2/3 0.5) 2 + (1 0.5) 2 ) 0.4. Si osservi che, nel passaggio da X a X, tutti gli indici che abbiamo calcolati risultano scalati di un fattore 1/3. Tabella 3: tabelle di frequenza (esempio 1.4) (a) (b) valori /3 2/3 1 frequenze relative Figura 3: diagrammi a barre (esempio 1.4) 1.3 Cambiamento di origine e scala Se abbiamo un insieme di valori nell intervallo (a, b) e vogliamo trasformarli in modo che risultino nell intervallo (c, d), la trasformazione da applicare è: x = c + [(d c)/(b a)] (x a). Esercizio 1.2. Utilizzando la formula della retta passante per due punti dati, ricavate la trasformazione. Suggerimento: il valore a viene trasformato in c e b viene trasformato in d, dunque la retta della trasformazione deve passare per il punto (a, c) e il punto (b, d). Esempio 1.5. Consideriamo i seguenti casi particolari. Vogliamo trasportare i valori nell intervallo [0, 1]. La trasformazione è: x = (x a)/(b a). Osservare: se (a, b) = (0, b), la trasformazione consiste nel dividere i dati per il loro valore massimo b. Vogliamo trasportare i valori nell intervallo [ 1, 1]. La trasformazione è: x = 2 (x a)/(b a) 1. 4

5 Esempio 1.6. Abbiamo raccolto i dati relativi al tempo, espresso in secondi, trascorso dai visitatori sul sito di un dato negozio. Dati i valori {60, 75,108,120,132} cambiare scala per portarli nell intervallo [10, 60]. Soluzione: a = 60 (il minimo dei valori) b = 132 (il massimo dei valori), c = 10, d = 60. Applichiamo la trasformazione per ottenere: {10, , , , 60} 1.4 Standardizzazione Questa trasformazione è un caso particolare di cambiamento di origine e scala, e consiste nel sottrarre a ciascun valore la media dei valori x e dividerlo per la deviazione standard dei valori σ X. La trasformazione è: x = (x x) σ X. La trasformazione di standardizzazione trasforma l insieme dei valori in un altro insieme di valori la cui media è 0 e la cui varianza è 1, infatti: x = 1 n i=1 x i = 1 n i=1 (x i x)/σ X = 1 n σ X ( i=1 x i i=1 x) = 1 n σ X ( i=1 x i n x) = = 1 n σ X ( i=1 x i n 1 n i=1 x i) = 0. Indicata con σ X la deviazione standard di X otteniamo: σ X = 1 n 1 i=1 (x i x ) 2 = 1 n 1 i=1 ((x i x)/σ X 0) 2 = = 1 (n 1) (σ X ) 2 i=1 (x i x) 2 = 1 (σ X ) 2 (σ X ) 2 = 1. Esempio 1.7. Consideriamo ancora i valori dell insieme X = {65, 71, 125} distribuiti come mostrato in Tabella 2(a). (a) standardizzare i valori; (b) scrivere la tabella delle frequenze relative dei valori standardizzati e tracciarne il diagramma a barre. Soluzione : si vedano la Tabella 2(c) e la Figura 2(c) 2 Trasformazioni logaritmiche A volte i valori della variabile osservata sono molto grandi oppure molto distanziati. In questi casi può essere utile considerare non tanto il valore originale ma, pensando a tale valore come potenza di una data base, considerarne soltanto l esponente. Ciò corrisponde ad applicare una trasformazione lograritmica (in una data base a): x x = log a (x). Spesso la base utilizzata è il numero di Eulero e In Figura 4 è mostrato graficamente un esempio di trasformazione logaritmica (la base del logaritmo è il numero e). Figura 4: la trasformazione logaritmica x x = ln(x) 5

6 Se i valori sono molto distanziati tra loro e caratterizzati da una distribuzione di frequenza unimodale fortemente asimmetrica, la trasformazione logaritmica permette di ottenere una distribuzione di frequenza più simmetrica. Questo tipo di trasformazione ha molti altri vantaggi, dovuti al fatto che l operazione di prodotto (o quoziente) tra due valori viene trasformata nella somma (o differenza) dei rispettivi logaritmi. Esempio 2.1. Consideriamo i valori dell insieme X = {10, 100, 1000, 10000, } distribuiti come mostrato in Tabella 4(a). (a) controllare che è molto difficile riuscire a tracciare il digramma a barre, dal momento che i valori sono troppo distanziati tra di loro; (b) applicare ai valori una trasformazione logaritmica utilizzando il logaritmo in base 10; (c) scrivere la tabella delle frequenze relative dei valori trasformati e tracciarne il diagramma a barre. Soluzione : (a) basta guardare la Figura 5(a), nella quale non si riescono a distinguere i valori delle frequenze di 10 e 100; (b) i nuovi valori sono X = {1, 2, 3, 4, 5}; (c) la tabella delle frequenze è mostrata Tabella 4(b), il diagramma a barre è mostrato nella Figura 5(b). Tabella 4: tabelle di frequenze (esempio 2.1) (a) (b) valori frequenze relative Figura 5: diagrammi a barre (esempio 2.1) 6