Introduzione alla statistica non parametrica. Introduzione alla statistica non parametrica

Transcript

1

2 Statistica parametrica e non parametrica Premessa Esempio Metodi non parametrici Mediana e rango Metodi parametrici e non parametrici (1) I metodi parametrici utilizzati per la soluzione di problemi di carattere univariato e multivariato hanno, come limitazione, la necessità di dover ricorrere all introduzione di ipotesi molto restrittive, spesso ingiustificate se non impossibili da giustificare, irrealistiche, non sempre chiare, difficilmente interpretabili, formulate ad hoc per poter fare inferenza. A questo si deve aggiungere che le assunzioni che rendono valida l applicazione di tali metodi (normalità, omoschedasticità, indipendenza e identica distribuzione della componente stocastica erratica) sono di norma raramente soddisfatte e, quand anche soddisfatte, i risultati sono spesso ottenuti tramite approssimazione.

3 Statistica parametrica e non parametrica Premessa Esempio Metodi non parametrici Mediana e rango Metodi parametrici e non parametrici (2) Sempre più spesso, per problemi multivariati complessi studiati in ambito biomedico, ingegneristico, psicologico, farmacologico, negli esperimenti clinici, nel controllo della qualità, quando non è noto il modello distributivo, non si può invocare la normalità, l inferenza riguarda variabili di tipo qualitativo, la numerosità del campione è inferiore al numero di variabili, ci sono dati mancanti non a caso, si passa da un approccio parametrico ad uno non parametrico, ovviando così, senza perdita sostanziale di efficienza, le limitazioni sopra accennate.

4 Statistica parametrica e non parametrica Test parametrici Premessa Esempio Metodi non parametrici Mediana e rango Presentano la caratteristica comune di avere per oggetto ipotesi parametriche, cioè ipotesi riguardanti ad esempio il valore del parametro di una o più popolazioni come, per esempio la media e la varianza. La determinazione della zona di rifiuto è basata sulla distribuzione che la statistica test segue sotto l ipotesi nulla, distribuzione che dipende da un modello distributivo della popolazione (in generale la normale); solo per ampiezze campionarie elevate è svincolata da tale modello distributivo. Nella pratica, la natura della distribuzione non è verificata, mentre sarebbe bene sottoporre sempre i dati ad un test di normalità, controllando il valore assunto da parametri come simmetria e curtosi o verificando l adattamento dell istogramma alla curva di distribuzione.

5 Statistica parametrica e non parametrica Premessa Esempio Metodi non parametrici Mediana e rango Passaggio alla statistica non parametrica Tra i dati che non si adattano alla distribuzione normale vi sono i punteggi (score) e le votazioni utilizzati da osservatori, come medici, psicologi, insegnanti, giudici di gara, ecc., per valutare fenomeni come l intelligenza, la capacità di memoria, il rendimento a scuola, la produttività nel lavoro, la prestazione atletica, ecc. In tutti questi casi la scala non è riferita a grandezze fisiche, bensì a diversi livelli qualitativi di espressione del fenomeno, trasformati numericamente solo in base a convenzione. Ad esempio, nei licei si attribuisce 6 per indicare la sufficienza, mentre all università si attribuisce 18.

6 Statistica parametrica e non parametrica Parametri d interesse Premessa Esempio Metodi non parametrici Mediana e rango In ambito non parametrico, indicatore rappresentativo di una distribuzione è la mediana che, diversamente dalla media, è uno stimatore robusto. Sfruttando l informazione che, per una qualsiasi v.c. continua, Pr(X Me) = Pr(X Me) = 1 2, diventa più agevole derivare la distribuzione delle statistiche test. In alternativa, si possono utilizzare le v.c. rango (rank), definite come l intero corrispondente al posto che la v.c. occupa quando si passa dal campione casuale (X 1, X 2,..., X n ) al campione casuale ordinato in senso crescente (X (1), X (2),..., X (n) ). La v.c. rango per un campione di dimensione n costituisce una permutazione casuale degli interi (1, 2,..., n).

7 Test non parametrici Regione critica Conclusioni Test sui segni (1) Sia Me la mediana della v.c. continua X e si costruisca un test per verificare H 0 : Me = Me 0 contro H 1 : Me Me 0. Se è vera H 0 circa metà delle osservazioni dovrebbe essere superiore (inferiore) a Me 0, per cui la regola di decisione dovrà essere costruita in modo che si rifiuti H 0 se nel campione tale requisito non è soddisfatto. Per un campione casuale (X 1, X 2,..., X n ), il numero delle osservazioni T n superiori a Me 0 è una v.c. binomiale tale che T n Bi(n, θ). Quindi verificare l ipotesi nulla H 0 : Me = Me 0, equivale a verificare H 0 : θ = 1 vs. H 1 : θ

8 Test non parametrici Regione critica Conclusioni Test sui segni (2) Sotto H 0, T n Bi(n, θ), per cui in media, il campione conterrà n 2 osservazioni al di sopra (di sotto) di Me 0. Pertanto, si può definire la seguente RC(α): T n n/2 c α/2 ove il valore critico c α/2 è determinato in modo che α = Pr( T n n/2 c α 2 = 1 Pr(n/2 c α/2 < T n < n/2 + c α/2 ) 2 [ 1 Φ ( )] 2cα/2 + 1 n utilizzando l approssimazione alla normale della v.c. binomiale con la correzione per la continuità.

9 Test non parametrici Regione critica Conclusioni Test sui segni (3) Essendo Φ(z α/2) = 1 α/2, si ha che c α/2 z α/2 n 1. 2 Se T n è la statistica test definita come il numero di unità superiori alla mediana Me 0, la regione critica RC(α) diventa: { T n n+1 T n n+1 2 z α/2 n z α/2 n 2 Tale procedura è detta test dei segni perchè per il calcolo della statistica test si è soliti contrassegnare con + ( ) i valori superiori (non superiori) a Me 0 e poi contare il numero di segni positivi presenti nella sequenza.

10 Test non parametrici Regione critica Conclusioni Test sui segni (4) Questo test può essere utilizzato nel caso di dati appaiati. Supponiamo di voler verificare l effetto di un azione nota (medicinale, messaggio pubblicitario, ecc.) sulla stessa unità statistica: X i è la variabile rilevata prima dell esperimento e Y i è il risultato dell esperimento sullo stesso individuo. Supponendo che le variabili oggetto dell esperimento siano continue, possiamo indicare con + l evento {X i > Y i }; l evento {X i < Y i }; θ = Pr(X i > Y i ). Se è vera H 0 : X i = Y i, ovvero non vi è alcun effetto, si avrà θ = 1/2. Il numero dei segni + è equivalente al numero di successi in una successione di n prove indipendenti con probabilità costante pari a θ; quindi, è una v.c. Bi(n, θ).

11 Calcolo dei ranghi (1) Test sui ranghi Esempi Ipotesi e regioni critiche Statistica test Un altro test sui segni Si consideri il seguente vettore di dati: Si ordinino le osservazioni in una graduatoria crescente e si sostituisca poi ad ogni valore il posto occupato nella graduatoria, cioè 1 al valore più piccolo, 2 al successivo, e così via. Questi nuovi numeri sono i ranghi. Il vettore contenente i ranghi associato al vettore di dati sopra considerato sarà:

12 Calcolo dei ranghi (2) Test sui ranghi Esempi Ipotesi e regioni critiche Statistica test Un altro test sui segni Consideriamo ora alcune varianti: a) sostituiamo il valore 123 con il valore 1230 e i ranghi non cambiano, infatti si ha b) sostituiamo il valore 123 con il valore 12.3 e alcuni ranghi cambiano di una posizione, infatti c) sostituiamo infine il valore 123 con il valore 0 e si ottiene

13 Calcolo dei ranghi (3) Test sui ranghi Esempi Ipotesi e regioni critiche Statistica test Un altro test sui segni Questi esempi dimostrano come i ranghi siano molto robusti anche in presenza di variazioni notevoli nei dati. Nel caso in cui tutti i dati vengano trasformati in modo lineare (additivo o moltiplicativo) o non lineare (esponenziale o logaritimico), i ranghi non cambiano in quanto i dati mantengono la stessa posizione. In generale, qualsiasi trasformazione, purchè monotona, non altera i ranghi. Come ultimo esempio si consideri il caso in cui i dati sopra considerati sono tutti elevati al quadrato. I ranghi non cambiano e in particolare si ha:

14 Calcolo dei ranghi (4) Test sui ranghi Esempi Ipotesi e regioni critiche Statistica test Un altro test sui segni Con riferimento all ultimo esempio, bisogna prestare attenzione quando ci sono dei numeri negativi. Infatti in tal caso i quadrati dei valori negativi si rifletterebbero sulla scala dei valori positivi sconvolgendo completamente l ordine originario. Infine, quando esistono valori uguali, a ciascuno di essi si attribuisce la media dei ranghi che spetterebbero agli stessi valori se questi fossero diversi. per esempio, per il vettore di dati il vettore contentente i ranghi ad esso associato sarà:

15 Test sui ranghi Esempi Ipotesi e regioni critiche Statistica test Un altro test sui segni Test dei ranghi con segno di Wilcoxon (1) Questo test può essere utilizzato per verificare se un campione casuale possiede una certa mediana o se le differenze appaiate hanno mediana pari a 0. E l equivalente non parametrico del test t di Student per campioni appaiati (dipendenti). Se si considera il campione casuale (X 1, Y 1 ), (X 2, Y 2 ),..., (X n, Y n ) delle osservazioni appaiate, indichiamo con D i = (Y i X i ) le corrispondenti differenze, mentre se si tratta di un solo campione indichiamo con D i = (X i Me 0 ) le differenze rispetto ad un valore prefissato Me 0 per la mediana. Si assuma che le v.c. D i siano continue, simmetriche, indipendenti e tutte con la stessa mediana. Supponiamo che D i, i = 1, 2,..., n siano le differenze in valore assoluto non nulle a cui si attribuiscono i ranghi da 1 (per min D i ad n (per max D i ). Nel caso di ranghi coincidenti si provvede a sostituirle con la loro media artitmetica.

16 Test sui ranghi Esempi Ipotesi e regioni critiche Statistica test Un altro test sui segni Test dei ranghi con segno di Wilcoxon (2) Le ipotesi da verificare sono: 1 H 0 : Me(D i ) = 0 vs. H 1 : Me(D i ) > 0, 2 H 0 : Me(D i ) = 0 vs. H 1 : Me(D i ) < 0, 3 H 0 : Me(D i ) = 0 vs. H 1 : Me(D i ) 0, e le corrispondenti RC sono: 1 T n c α, 2 T n c α, 3 c α/2 T n c α/2.

17 Test sui ranghi Esempi Ipotesi e regioni critiche Statistica test Un altro test sui segni Test dei ranghi con segno di Wilcoxon (3) In tutti i casi, la statistica test è data dalla somma dei ranghi r( D i ) corrispondenti alle differenze D i > 0, ovvero n T n = r( D i )I(D i > 0), i=1 dove I( ) è la funzione indicatrice. Si può dimostrare che sotto l ipotesi nulla n(n + 1) n(n + 1)(2n + 1) E(T n ) = V(T n ) = Se n è abbastanza grande (n > 15), si può ricorrere all approssimazione normale (modificata per la correzione di continuità) T n n(n + 1)/4 1/2 d N (0, 1). n(n + 1)(2n + 1)/24

18 Test sui ranghi Test sui segni di McNemar Esempi Ipotesi e regioni critiche Statistica test Un altro test sui segni Consideriamo ancora il caso di dati appaiati. Siano U = #(D i > 0) = i I(D i > 0) il numero di differenze positive, ν = #(D i 0) il numero di differenze non nulle. Allora, sotto H 0, la statistica U ha distribuzione binomiale con parametri ν e 1/2, ovvero U Bin(ν, 1/2). Sotto l ipotesi alternativa H 1, U ha ancora distribuzione binomiale, ma con parametri ν e θ > 1/2. Per esempio, con ν = 20 e U = 17, si ha che Pr(U 17 D) = i 17 ( 20 i che è significativo a livello α = ) 2 20 = ,

19 Dati appaiati Esempio Ipotesi e modello Altri modelli Un problema con dati appaiati nel caso univariato (1) Consideriamo il caso in cui si vuole verificare l efficacia del trattamento nella riduzione dell ansia in campione di 9 soggetti. Si presuma che i soggetti siano omogenei rispetto ad altre importanti condizioni, quali età e stato di salute, che in genere sono le variabili esplicative in questo tipo di esperimenti. Si assuma poi che la v.c. risposta Y misuri l ansia: in particolare rappresenta il punteggio ottenuto in un test psicologico somministrato ai 9 soggetti. Ciascuna unità viene osservata prima del trattamento, al tempo A (baseline observation), e dopo il trattamento, al tempo B. Ci si aspetta che il trattamento riduca l ansia.

20 Dati appaiati Esempio Ipotesi e modello Altri modelli Un problema con dati appaiati nel caso univariato(2) Le risposte bivariate sono dipendenti con rispetto alle unità, dato che le misurazioni vengono fatte in tempi diversi ma negli stessi soggetti, mentre le n coppie di osservazioni sono indipendenti, in quanto relative ad unità diverse. Se si assume che gli individui siano omogenei in relazione alle condizioni sperimentali, l insieme dei dati appaiati {(Y Ai, Y Bi ), i = 1,..., n} può essere visto come un campione casuale di n coppie i.i.d. di osservazioni estratte da una variabile bivariata (Y A, Y B ). Sia X i = Y Ai Y Bi, i = 1, 2,..., 9, la differenza pre-post trattamento osservata.

21 I dati Dati appaiati Esempio Ipotesi e modello Altri modelli I valori osservati sono riportati nella tabella sottostante: i Y A Y B X

22 Dati appaiati Formalizzazione del problema Esempio Ipotesi e modello Altri modelli Le ipotesi d interesse sono H 0 : Y A d = YB vs. H 1 : Y A d > YB. dove H 1 rappresenta l ipotesi di dominanza stocastica. Uno dei modelli utilizzati per descrivere la variabile risposta osservata, è il modello con effetti additivi fissi, in cui Y Ai = µ + Z Ai e Y Bi = µ δ + Z Bi, i = 1,..., n, dove µ è la costante di popolazione; δ è l effetto del trattamento, assunto sotto H 1 finito e strettamente positivo, Z Ai e Z Bi sono componenti d errore casuali identicamente distribuite, indipendenti tra le unità, ma non necessariamente indipendenti entro le unità.

23 Dati appaiati Esempio Ipotesi e modello Altri modelli Modelli alternativi Tra i modelli più utilizzati per descrivere la variabile risposta osservata sono da citare: i modelli con effetti additivi fissi e unità non omogenee in cui Y Ai = µ + η i + Z Ai e Y Bi = µ + η i δ + Z Bi, i modelli con effetti additivi che variano da individuo a individuo del tipo Y Ai = µ + η i + Z Ai e Y Bi = µ + η i δ i + Z Bi, i modelli con effetti stocastici generalizzati dove Y Ai = µ + η i + Z Ai e Y Bi = µ + η i + Z Bi Bi.

24 Confronto tra modelli Dati appaiati Esempio Ipotesi e modello Altri modelli Prendendo come modello di riferimento il modello con effetti additivi fissi, sotto H 0 la variabile differenza X = δ + Z A Z B è simmetrica rispetto allo 0, mentre sotto H 1 è simmetrica rispetto al parametro δ, indicatore dell effetto del trattamento. Quando si usa come variabile di riferimento la variabile differenza X il modello a effetti additivi fissi e il modello ad effetti additivi fissi e unita non omogenee coincidono, infatti si ha che X i = Y Ai Y Bi = δ + Z Ai Z Bi. Dunque se non vi è un reale effetto del trattamento ed eventuali variazioni osservate sono apportate solo da η i, si dice che X è covariate-free.

25 Soluzioni del problema Soluzione parametrica Soluzione non parametrica Il test t di Student (1) Una soluzione al problema dei dati appaiati può essere ottenuta in un contesto parametrico solo se si assume che le variabili siano normalmente distribuite e abbiano varianza ignota. Il modello con effetti additivi fissi può essere scritto come {Y Ai = µ + σ Z Ai, Y Bi = µ σ δ + Z Bi, i = 1,..., n} in cui µ è la costante di popolazione, δ è l effetto del trattamento, σ la deviazione standard, ignota, indipendente dalle unità e dal livello del trattamento e tale che 0 < σ < +, Z ij N (0, 1) con i = 1,..., n, j = A, B indipendenti tra le unità ma non necessariamente entro le unità.

26 Soluzioni del problema Soluzione parametrica Soluzione non parametrica Il test t di Student (2) La statistica test più usata è data da T = X n in cui ˆσ 2 = i (X i X) 2 /(n 1) e X = i X ij/n con le X i N (δ, σ 2 X ). Sotto H 0 la statistica T ha distribuzione t di Student centrale con (n 1) g.d.l, mentre sotto H 1 è distribuita come una t di Student non centrale con un parametro di non centralità positivo così che valori grandi diventano significativi. Il parametro ignoto σ X è solo un parametro di disturbo e T è una statistica invariante rispetto al valore assunto da questa quantità. Per i dati dell esempio precedente, il valore della statistica è T 0 = e il p-value è pari a p = (test a una coda). σ

27 Soluzioni del problema Soluzione parametrica Soluzione non parametrica Metodi non parametrici di permutazione Caratteristica dei test di permutazione è il condizionamento all insieme dei dati osservati che è un insieme di statistiche sufficienti qualunque sia il modello sottostante di riferimento. I test di permutazioni vengono chiamati distribution free, ossia le distribuzioni dei test prescindono completamente dalla legge che governa la variabile aleatoria su cui si vuol fare inferenza e non è necessario fare assunzioni stringenti sulla distribuzione dei termini d errore. I metodi non parametrici di permutazione non sono una panacea per tutti i problemi inferenziali di interesse. Se, sotto H 0, 1 non ci si condiziona ad un insieme di statistiche sufficienti, 2 assume l ipotesi di scambiabilità dei dati, le soluzioni ottenute sono tutt altro che esatte.

28 Metodi non parametrici di permutazione Un pò di teoria Monte Carlo condizionato Step algoritmo Definizione dello spazio di permutazione campionario (1) d Si osservi innanzitutto che l ipotesi H 0 : {Y A = YB } implica la scambiabilità delle variabili Y A e Y B entro ciascuna unità rispetto ai due tempi di rilevazione A e B. Il segno di ciascuna differenza X i, per i = 1,..., n, si può pensare sia attribuito con probabilità 1/2. Si consideri inoltre la statistica test T = i X i. La distribuzione condizionata F T (t X) di T, quando i punti osservati X = {X i, i = 1,..., n} sono fissati, si ottiene sotto l ipotesi che H 0 sia vera, cioè attribuendo casualmente e in tutti i modi possibili i segni + e a ciascuna differenza con uguale probabilità. Per fare questo, si può considerare la distribuzione di T = i X i, in cui le Xi sono ottenute attribuendo casualmente il segno + o alla differenza X i, i = 1,..., n, con probabilità 1/2.

29 Metodi non parametrici di permutazione Un pò di teoria Monte Carlo condizionato Step algoritmo Definizione dello spazio di permutazione campionario (2) La distribuzione di probabilità di X = {Xi, i = 1,..., n}, condizionatamente a X, è uniforme dentro lo spazio di permutazione X /X, ovvero tutti i punti sono equiprobabili. In particolare, per il nostro problema, lo spazio campionario di permutazione X /X contiene M = 2 ν punti, perchè la permutazione dei segni sulle n ν differenze nulle non produce effetto. Sia F (z X) = Pr{T z X} la funzione di ripartizione condizionata (c.d.f.) ottenuta via permutazione, indotta da T dato X. Indicato T o = T (X) il valore osservato di T, se il p-value λ = Pr{T T o X} è superiore al livello di soglia fissato α, H 0 viene accettata, secondo le usuali regole dei test per la verifica d ipotesi.

30 Metodi non parametrici di permutazione Un pò di teoria Monte Carlo condizionato Step algoritmo Tecniche di ricampionamento condizionato Vi sono due criteri per permutare i dati: si permutano in modo sistematico tutti i dati o si prende in considerazione solo un campione estratto casualmente dallo spazio di permutazione. In genere, lo spazio di permutazione X /X ha cardinalità così grande che non si possono esaminare tutti i suoi punti. Quindi, la scelta del secondo metodo comporta una riduzione dei calcoli, senza perdita di attendibilità del risultato o potenza del test. Il metodo di simulazione di Monte Carlo Condizionato (C.M.C.) consente di effettuare, tramite simulazione, un campionamento di punti dall orbita di permutazione condizionale all insieme dei dati ossservati. Il campionamento C.M.C. altro non è se non la replicazione dei campionamenti senza reinserimento.

31 Metodi non parametrici di permutazione Un pò di teoria Monte Carlo condizionato Step algoritmo Descrizione dell algoritmo Il metodo C.M.C. opera secondo l algoritmo sotto riportato: s.1) calcolo del valore osservato T o della statistica T : T o = T (X), sull insieme X osservato; s.2) per ciascuna delle n differenze in X, si consideri un attribuzione casuale dei segni in modo tale da ottenere X ; s.3) calcolo di T = T (X ); s.4) si ripetano B volte, in maniera indipendente, i passi descritti in s.2) e s.3).

32 Metodi non parametrici di permutazione Un pò di teoria Monte Carlo condizionato Step algoritmo Conclusione dell algoritmo Per concludere, i B insiemi X contenenti le permutazioni, sono un campionamento casuale da X /X. I corrispondenti B valori T simulano la distribuzione nulla di permutazione di T e consentono di stimare la c.d.f. di permutazione F (z X) e la funzione del livello di significatività L(z X) = Pr{T z X} tramite la e.d.f. F B (z) = #(T z)/b e la funzione L B (z) = #(T z)/b rispettivamente. All aumentare del numero B di iterazioni Monte Carlo, migliorano le stime delle funzioni F ( X) e L( X). Il p-value stimato a partire dal valore osservato T o è dato da λ = L B(T o ) = #(T T o )/B. Se λ α, si rifiuta H 0 secondo le usuali regole della verifica d ipotesi.