Strumenti statistici per l analisi di dati genetici

Transcript

1 Strumenti statistici per l analisi di dati genetici Luca Tardella + Maria Brigida Ferraro 1 luca.tardella@uniroma1.it Lezione #1 Introduzione al software R al suo utilizzo per l implementazione di tecniche statistiche elementari 21 marzo 2014

2 Premessa Presentazione del corso Ricognizione degli strumenti statistici appresi finora Prova finale Introduzione al reperimento ed installazione del software R Come documentarsi sul suo utilizzo Lettura di dati, manipolazione e scrittura su file dei risultati. Due grandi categorie delle metodologie statistiche: descrittive ed inferenziali Descrizione ed inferenza in pratica con R La probabilità e la simulazione con R La scrittura di un semplice report statistico Alcuni piccoli casi di studio

3 Piano delle lezioni Lezione #1 del 21/03/ LT - Introduzione al software R; Descrittiva; Test Lezione #2 del 04/04/ LT - Regressione; ANOVA Lezione #3 del 11/04/ MBF - Cluster (algoritmi e modelli) [cluster, mclust] ; Lezione #4 del 16/05/ LT - Preprocessing e modelli per espressione differenziale [Trascrittomica, limma] Lezione #5 del 21/03/ LT - classificazione supervisionata; SVM

4 Dalla lettura dei dati alla comprensione del contenuto delle variabili La prima grande distinzione da operare è legata alla tipologia dei dati: Dati qualitativi o su scala nominale (factor) [talvolta ordinabile] Dati quantitativi: discreti o continui Completezza dei dati, valori fuori scala e anomalie

5 Riorganizzazione dei dati Dobbiamo attrezzarci per poter selezionare in maniera opportuna solo le righe e le colonne che ci interessano utilizzando opportuni criteri di selezione. Possiamo usare un interfaccia grafica come Rcmdr (R-commander) subset(x, subset=..., select =... ) order, arrange:{plyr} Potremmo aver bisogno di eliminare colonne e/o righe Potremmo aver bisogno di usare un criterio di ordinamento delle righe o delle colonne.

6 Per una lettura sintetica delle singole variabili... Possiamo usare: tabelle grafici valori riassuntivi che colgono alcuni aspetti caratteristici di una distribuzione (posizione privilegiata/centrale, dispersione o variabilità, asimmetria)

7 Tabelle per variabili discrete [con poche modalità] per variabili continue [con tante modalità, con infinite modalità] Suggerimento estetico: usare un pacchetto aggiuntivo denominato epicalc e le funzioni tab1 [1 sola variabile] e tabpct [2 variabili]

8 Valori riassuntivi Se dobbiamo comunicare pochi numeri per descrivere un intera distribuzione quali comunichiamo? con quale significato? misure di posizione, tendenza centrale mean(...) median(...) quantile(...) Per la moda è un po più complicato... dovremmo passare talvolta per i grafici... qualche volta molti indici di posizione... (Five-number summary vedi anche boxplot(...)) var(...) o meglio sd(...) Ricordiamo anche la differente robustezza di alcuni indicatori rispetto a dati anomali... N.B. Né il boxplot né l istogramma o la stima di densità sono in grado di visualizzare un importante informazione sulla distribuzione dei dati: quale?

9 Rappresentazioni grafiche per dati qualitativi: torte (pie, pie3d {plotrix}) o grafici a barre/nastri (barplot). per dati discreti con poche modalità quantitative per dati continui (istogramma hist) con possibilità di sovrapporre versione allisciata ottenuta con density [attenzione però che l area totale sotto la curva è 1 e dunque questo deve valere anche per l istogramma!! boxplot

10 A cosa servono le rappresentazioni sommarie/sintetiche Delle distribuzioni semplici (di 1 sola variabile) per fare confronti che servirono anche... per introdurre la nozione di dipendenza statistica

11 Distribuzioni multiple Iniziamo da due variabili (distribuzioni doppie) Per variabili qualitative table(x=x,y=y) tabpct(x=x,y=y) [{epicalc} mosaic plot] visualizza o le distribuzioni percentuali di riga (distribuzioni condizionate ad un valore della variabile X) o le distribuzioni percentuali di colonna (distribuzioni condizionate ad un valore della variabile Y) [può essere utilizzata anche per variabili quantitative discrete con numero piccolo di modalità oppure continue raggruppate in classi] scatterplot, nuvola di punti o grafico a dispersione dall orientamento della nuvola di punti si evince una qualche forma di dipendenza statistica (e.g. relazione lineare o non lineare) estensione della stima di densità in 2 dimensioni (grafico 3d): kde2d(...) {MASS}

12 Distribuzioni multiple Se tutte le variabili sono quantitative possiamo visualizzare un intero data.frame ma in realtà visualizziamo solo le distribuzioni doppie di tutte le possibili coppie di variabili

13 Indici sintetici di dipendenza tra due variabili ed altre possibili visualizzazioni... tra due variabili qualitative con numero finito di modalità: indice X 2 (chi-quadrato) misura in qualche modo la lontananza dalla situazione ideale di variabili indipendenti per le quali dovrebbe presentarsi una tabella doppia in cui le frequenze relative della distribuzione doppia corrispondono al prodotto delle frequenze relative delle distribuzioni marginali tra due variabili quantitative: indice di correlazione lineare (di Bravais-Pearson). Indice fondamentale nello studio della dipendenza tra variabili quantitative una variabile quantitative rispetto ad una qualitativa: boxplot appaiati, nozione di variazione delle distribuzioni condizionate, indici di dipendenza in media (ANOVA)

14 Indici sintetici di dipendenza tra due variabili

15 Distribuzioni multiple Se tutte le variabili sono quantitative possiamo visualizzare un intero data.frame ma in realtà visualizziamo solo le distribuzioni doppie di tutte le possibili coppie di variabili. In effetti un modo sintetico di rappresentare graficamente le reazioni di dipendenza tra le coppie simultaneamente consiste nel rappresentare la matrice di correlazione attraverso il cosiddetto corrplot {corrplot} Un altro modo sarà quello di visualizzare le relazioni di dipendenza attraverso delle reti di dipendenza o grafi

16 Coefficiente di correlazione e coefficiente di correlazione parziale Il primo r XY riguarda solo la distribuzione doppia delle due variabili X e Y coinvolte. È interessante e caratterizzante quando raggiunge i due valori estremi ±1 (perfetta relazione lineare). Il secondo r XY.Z tiene conto non solo delle due variabili X e Y ma anche della loro dipendenza con le altre variabili considerate indicate con Z = (Z 1,..., Z k ). Tipicamente le Z sono tutte le altre variabili quantitative considerate tranne la X e la Y. Tale indice che varia sempre tra -1 e 1 è interessante soprattutto quando assume valore 0 (indipendenza di X da Y condizionatamente alla conoscenza delle altre variabili Z) [Conoscete già la nozione di regressione lineare?]

17 Il coefficiente di correlazione lineare E una misura di concordanza che si calcola esclusivamente qando abbiamo a disposizione due caratteri entrambi di tipo quantitativo. In effetti non è altro che un caso particolare dell indice Ω (vedi successivi approfondimenti) ma è meglio noto con le seguenti formule: r XY = Cov[X, Y ] Var[X ]Var[Y ] = σ XY σ 2 X σ 2 Y = σ XY σ X σ Y dove Cov[X, Y ] (indicato, spesso, anche con il simbolo σ XY è la covarianza tra X e Y. Cov[X, Y ] = 1 n n (x i x)(y i ȳ) = 1 n i=1 n n [ n n ] ε xi ε yi = 1 (x i y i ) xȳ n i=1 i=1 Var[X ] = 1 n Var[Y ] = 1 n i=1 (x i x) 2 = 1 n n (y i ȳ) 2 = 1 n i=1 i=1 n i=1 ε 2 x i ε 2 y i

18 Il significato della covarianza Cov[X, Y ] = 1 n n (x i x)(y i ȳ) i=1 Si valuta con un indicatore medio il prodotto tra la differenza tra la modalità del carattere X e la media di X la differenza tra la modalità del carattere Y e la media di Y Il prodotto ha un significato analogo a quanto visto per il numeratore di Ω con la differenza che i confronti non vengono fatti tra coppie di unità ma tra la singola unità e un termine di riferimento (la media). Per capire è utile riferirsi alla nuvola dei punti nella quale vengono evidenziate le linee delle medie dei due caratteri e i quadranti che contribuiscono positivamente e negativamente nella valutazione della correlazione (concordanza)

19 B=peso A=statura > plot(a,b,xlim=c(160,180),ylim=c(60,80)) > abline(v=mean(a),col= red )

20 Ancora una formula di r per distribuzioni di frequenze doppie Solo per non confondersi nella pratica: un conto è partire dalla distribuzione unitaria un conto è usare una distribuzione di frequenze H H K h=1 k=1 x hy k n hk n xȳ h=1 (x h x) 2 n h K k=1 (y k ȳ) 2 n k (Si può utilizzare come al solito anche per il calcolo di r quando si ha a disposizione la tabella doppia dei dati raggruppati in classi) In effetti, di regola, disponiamo dei dati a livello individuale (distribuzione unitaria doppia)

21 Come interpretare r: primo passo Sul significato del numeratore abbiamo già detto. Il ruolo del denominatore è quello di standardizzare l indice di correlazione. ovvero r r +1 r = 0 = X e Y sono incorrelati linearmente r = 1 = X e Y massimamente correlati linearmente negativamente r = +1 = X e Y massimamente correlati linearmente positivamente Il segno di r è facilmente interpretabile alla luce del significato di concordanza e discordanza. Per qunto riguarda il valore numerico, avere valori di r su in intervallo di riferimento standard r [ 1, +1] aiuta a calibrare la valutazione di r (ovvero rispondere a domande del tipo: c è tanta correlazione lineare? ce ne è poca?)

22 Come interpretare r: prima avvertenza Attenzione la terminologia non è casuale! r è il coefficiente di correlazione lineare (!) Nel linguaggio scientifico il termione correlazione viene utilizzato in senso generico. Nella statistica il coefficiente r è una misura della correlazione ed ha un senso specifico da non confondere ad esempio con la nozione di dipendenza in distribuzione tra deu variabili. Perché si chiama di correlazione lineare? Il coefficiente di correlazione lineare r assume il valore estremo positivo, +1, se e soltanto se i punti della nuvola sono perfettamente allineati lungo una retta (ideale) inclinata positivamente Il coefficiente di correlazione lineare r assume il valore estremo negativo, -1, se e soltanto se i punti della nuvola sono perfettamente allineati lungo una retta (ideale) inclinata negativamente

23 Analogamente per ogni coppia (i, j) vi è proporzionalità nelle variazioni di modalità (differenze) dei due caratteri δ ij = (b Y i b Y j ) d ij = (a X i a X j ) Se β è il coefficiente di proporzionalità δ ij = βd ij (b Y i b Y j ) = β(a X i a X j ) è facile vedere che questo avviene quando i punti sono allineati lungo una stessa retta y = α + βx con coefficiente angolare β. In tali caso r assume valore estremi ovvero +1 quando β > 0 e 1 quando β < 0.

24 Come interpretare r: seconda avvertenza Sui legami tra l incorrelazione e indipendenza in distribuzione. Indipendenza in distribuzione = Incorrelazione Incorrelazione = / Indipendenza in distribuzione Per esemplificare con un caso clamoroso la seconda affermazione consideriamo la seguente distribuzione (unitaria) doppia: X Y In effetti la Y dipende perfettamente dalla X dal momento che vale la relazione Y = X 2 eppure il coefficiente di correlazione lineare r vale 0!

25 Incorrelazione e indipendenza in distribuzione Indipendenti in distribuzione e dunque necessariamente incorrelati Incorrelati ma non indipendenti in distribuzione yindip yincor xindip xincor Incor.Max.Diprelati ma non indipendenti in distribuzione (anzi!) yincor.max.dip xincor.max.dip

26 Il coefficiente di correlazione parziale Formula semplice nel caso di 3 variabili (ovvero una sola Z) r XY.Z = r XY (r XZ r YZ ) 1 r 2 XZ 1 r 2 YZ Misura il legame di dipendenza (lineare) delle due variabili di interesse X e Y al netto dell eventuale dipendenza lineare che è presente sia tra la X e la Z sia tra la Y e la Z Formula un po più complessa nel caso siano presenti più di 3 variabili ma coincide con la nozione ordinaria di correlazione lineare tra i residui e1 XZ,..., en XZ ottenutii dalle relazioni di regressione lineare stimate (minimi quadrati) tra la variabile X e le Z. i residui e1 YZ,..., en YZ ottenuti dalla regressione di Y rispetto a Z.

27 I coefficienti di correlazione nulli e la distribuzione normale (multipla) Quando in una distribuzione normale (o gaussiana) multivariata per n variabili (X 1,..., X n ) il coefficiente di correlazione lineare Cor[X, Y ] è nulla allora le due variabili (aleatorie) sono indipendenti tra loro Quando in una distribuzione normale (o gaussiana) multivariata per n variabili (X 1,..., X n ) il coefficiente di correlazione parziale Cor[X i, X j Z] è nullo allora le due variabili (aleatorie) sono indipendenti tra loro condizionatamente alla conoscenza del vettore Z composto da tutte le variabili (X 1,..., X n ) tranne la X i e la X j

28 Esempio simulato Un esempio simulato per capire meglio > Z=runif(30) > X=2*Z+rnorm(30,sd=0.5) > Y=-Z+rnorm(30,sd=0.5)