I TEST NON-PARAMETRICI PIU CITATI NELLE DISCIPLINE SCIENTIFICHE

Transcript

1 I TEST NON-PARAMETRICI PIU CITATI NELLE DISCIPLINE SCIENTIFICHE (Edizione 2008) Tel.0521/ Fax 0521/ Lamberto Soliani DIPARTIMENTO DI SCIENZE AMBIENTALI UNIVERSITA DEGLI STUDI DI PARMA Il libro può essere ordinato al costo di Euro 55 rivolgendosi al dottor Pietro Lia - UNI.NOVA di Pietro Lia Via Fleming, Parma - tel.: cell libreria@gruppopegaso.it Le dispense (830 pagine in 10 capitoli) riportano i test non- parametrici di uso più comune nelle discipline scientifiche. Comprendono tutti quelli che sono inseriti nella maggior parte dei programmi informatici. La diffusione dell informatica permette di raccogliere con facilità molti dati. Per analizzarli, i tecnici, i ricercatori e i responsabili di strutture impegnate nei problemi della ricerca e delle professioni scientifiche chiedono gli strumenti per una conoscenza operativa delle metodologie statistiche. Ma l università italiana raramente ha fornito le competenze richieste nei confronti internazionali. Per tutti coloro che ricorrono alla statistica applicata, hanno un importanza relativa le dimostrazioni matematiche, mentre è necessaria un illustrazione chiara e semplice dei concetti sui quali sono fondati i test. Quando si utilizzano i programmi informatici, si trovano numerose opzioni. Ma quasi mai i manuali riportano spiegazioni chiare per scegliere il test adeguato. Nella stesura di questo testo-manuale, le linee guida sono state la completezza e l operatività, da raggiungere sempre con un linguaggio e una simbologia semplici. Ideato e scritto per la formazione e l aggiornamento, questo manuale si è dimostrato utile sia per la formazione nelle lauree specialistiche e nei master delle Università sia per l aggiornamento nelle Aziende. Tuttavia per raggiungere una visione complessiva della disciplina, per la scelta ragionata dei metodi e l interpretazione corretta degli output dei programmi informatici, lo studio personale molto spesso non è sufficiente. E indispensabile seguire un corso impostato su queste finalità. La logica della statistica, anche per i test non parametrici, non è ovvia né banale. Lo stesso problema può essere affrontato con metodi differenti, che non sempre forniscono risultati uguali. Si tratta di capire i limiti e le potenzialità dei vari approcci. Un punto particolarmente difficile è il passaggio dall analisi statistica all interpretazione disciplinare e infine alla decisione. I

2 Lamberto Soliani Attualmente, professore ordinario di Fondamenti di analisi dei sistemi ecologici (gruppo BIO 7). Già prof. ordinario di Demografia Investigativa all Università di Bari e all Università La Sapienza di Roma. Docente di Statistica applicata e Biometria presso l Università di Parma nei corsi di laurea in Scienze Ambientali, Agraria, Scienze Biotecnologiche e Biologia Ecologica, Scienze Naturali, Chimica, sia nelle lauree triennali che in quelle specialistiche della Facoltà di Scienze Matematiche, Fisiche e Naturali. Responsabile della formazione in statistica applicata - in vari master (Scienze Forensi, Analisi chimiche per gli alimenti e l inquinamento, ecc. ), - in corsi di formazione - aggiornamento presso aziende ed associazioni professionali (quali APAT, CTN, ARPA regionali, Aziende Farmaceutiche Italiane, Aziende Alimentari nazionali e internazionali, Enti regionali di ricerca in Agricoltura). Per qualsiasi informazione è possibile contattare l'autore. : lamberto.soliani@unipr.it Tel.0521/ Fax 0521/ Per l acquisto del testo, rivolgersi a - UNI.NOVA di Pietro Lia Via Fleming, Parma - tel.: cell INDICE CAPITOLO I - ANALISI DELLE FREQUENZE E DEI RAPPORTI: CHI QUADRATO E LOG DEL RAPPORTO DI VEROSIMIGLIANZA O TEST G 1.1. Confronti tra distribuzioni osservate e distribuzioni attese Condizioni di validità del χ 2 e correzione di Yates Le tabelle di contingenza 2 x 2 (fourfold tables) Correzioni per la continuità in tabelle 2 x 2: Yates e Haber Confronti tra frequenze relative con la distribuzione normale e sua correzione per la continuità Confronto tra test χ 2 per tabelle 2 x 2 e test Z, senza e con le correzioni per la continuità Confronto di una proporzione osservata con una attesa: il test Z per grandi campioni e la distribuzione binomiale per piccoli campioni Tabelle di contingenza 2 x 2 in piccoli campioni: il metodo esatto di Fisher Le tabelle 2 x N con la formula generale e quella di Brandt-Snedecor. Le tabelle M x N Il log-likelihood ratio o metodo G Confronto tra una distribuzione osservata ed una attesa con la correzione di Williams Tabelle 2 x 2, con la correzione di Williams e quella di Mantel-Haenszel 68 II

3 Tabelle M x N con la correzione di Williams Il chi quadro con il metodo di Cochran e di Mantel-Haenszel Tabelle dei valori critici del chi quadrato 82 CAPITOLO II - RISCHI, PROPORZIONI E PERCENTUALI 2.1. Le misure del rischio, sensibilità, specificità, valore predittivo ed efficienza di un test Perchè la varianza di p è pq; varianza e errore standard di una frequenza relativa o assoluta, in una popolazione infinita e in una popolazione finita Intervallo di confidenza di una frequenza relativa o assoluta con la normale, in una popolazione infinita o finita Metodi grafici per l intervallo fiduciale e per la stima del numero di dati Intervallo di confidenza di una proporzione, mediante la distribuzione F Calcolo del campione minimo necessario, per la stima di una proporzione campionaria, con un errore massimo prefissato Il confronto tra una proporzione campionaria e una proporzione attesa con il test z; dimensione minima del campione, con la distribuzione normale La potenza di un test sulla proporzione per un campione, con la normale Test per una proporzione: la binomiale per campioni piccoli e intervallo di confidenza con F per campioni grandi La potenza di un test per una proporzione, con l uso della distribuzione binomiale Significatività e intervallo di confidenza della differenza tra due proporzioni, con la distribuzione normale Potenza a posteriori (1-β) e a priori (n) dei test sulla differenza tra due proporzioni; bilanciamento di due campioni 153 CAPITOLO III - METODI NON PARAMETRICI PER UN CAMPIONE 3.1. Le caratteristiche dei test non parametrici Il test delle successioni (runs test) per un campione, con due categorie; distribuzioni centripete e distribuzioni centrifughe Il test delle successioni (runs test) per un campione, con dati quantitativi: Runs Up and Down; Runs Above and Below the Median; eccezioni alla validità Il test delle successioni (runs test) con più gruppi categoriali o qualitativi Il test dei segni per un campione Intervallo di confidenza della mediana con il test dei segni Il test dei segni per ranghi di Wilcoxon Differenze nulle e ties nel test T di Wilcoxon Teoria del test T di Wilcoxon e della correzione per i ties 224 III

4 3.10. Intervalli di confidenza della locazione (mediana) con il T di Wilcoxon; medie di Walsh o quasimedians, stimatore di Hodges Lehmann o pseudomedian Test di casualizzazione (raw scores test, Pitman test, Fisher s randomization test) Test T di Wilcoxon per la simmetria Il metodo di Kolmogorov-Smirnov per un campione, con dati ordinali discreti e con dati continui 247 CAPITOLO IV - METODI NON PARAMETRICI PER DUE CAMPIONI DIPENDENTI 4.1. Test per 2 campioni dipendenti o per dati appaiati Il test di McNemar con la correzione di Edwards; la stima della potenza Estensione del test di McNemar o test di Bowker Intervallo di confidenza della differenza tra le proporzioni di due campioni dipendenti Il test dei segni, con stima della potenza a priori Il test T di Wilcoxon o test dei segni per ranghi, con stima della potenza Intervallo di confidenza di una differenza con il test dei segni e il T di Wilcoxon o metodo delle Walsh averages Test di casualizzazione per 2 campioni dipendenti o Fisher s randomization test 318 C A P I T O L O V - METODI NON PARAMETRICI PER DUE CAMPIONI INDIPENDENTI 5.1. I test per 2 campioni indipendenti Il test della mediana o test di Mood o di Brown-Mood, per due campioni indipendenti L intervallo di confidenza per la differenza tra due mediane, con il metodo esatto di Fisher Il test di Wilcoxon-Mann-Whitney o della somma dei ranghi Calcolo delle probabilità associate ai valori di T, potenza (1-β, n) e robustezza del test di Wilcoxon-Mann-Whitney Il test U di Mann-Whitney o dell'ordine robusto dei ranghi L intervallo di confidenza della differenza tra due mediane, con l indice U di Mann-Whitney Il test S di Kendall e suoi rapporti con il test T e il test U; potenza-efficienza dei tre test e confronti tra i metodi Il test di casualizzazione per due campioni indipendenti Il test non parametrico di Levene con la modifica di Brown-Forythe, per l omoschedastictà di due campioni indipendenti Test di Siegel-Tukey per l uguaglianza della variabilità; cenni sul test di Freund-Ansari-Bradley e sul test di Conover Il test dei ranghi equivalenti di Moses per le differenze nella dispersione o variabilità Confronto tra due distribuzioni campionarie: il metodo di Kolmogorov-Smirnov per 2 campioni indipendenti, con dati ordinali discreti o con gruppi e con dati continui 408 IV

5 5.14. Il test delle successioni per due campioni indipendenti o test di Wald-Wolfowitz 421 CAPITOLO VI - TEST NON PARAMETRICI PER PIU'CAMPIONI 6.1. I test non parametrici più diffusi, per k campioni Estensione del test della mediana o test di Brown-Mood per k campioni indipendenti Confronti multipli tra mediane con le frequenze, nel test di Brown-Mood Cenni sul test di Nemenyi e altri test per la mediana Analisi della varianza per ranghi ad un criterio di classificazione: il test di Kruskal-Wallis Metodi per i confronti multipli tra le medie dei ranghi: casualizzazione o permutation test, Bonferroni-Dunn, tipo-tukey di Nemenyi e tipo-scheffé Confronti multipli post-hoc per il test di Kruskal-Wallis, con il test U di Mann-Whitney Equivalenza del test di Kruskal-Wallis con il test U di Mann-Whitney, quando k = Rappresentazione grafica per confronti multipli tra mediane: il notched box-and-whiskers plot Test non parametrici di Levene e di Brown-Forsythe, per la differenza nella variabilità tra k campioni; la formula di Sprent Confronti tra più proporzioni e confronti multipli relativi Il test Q di Cochran Il test di Friedman o analisi della varianza per ranghi a 2 criteri di classificazione, con una e con k repliche I confronti multipli tra medie di ranghi nell analisi della varianza non parametrica, a due criteri di classificazione Il test di Quade L esempio di Koch: uso di metodi non parametrici, nell analisi statistica di un esperimento complesso con k fattori 558 CAPITOLO VII - TEST NON PARAMETRICI PER IL TREND CON DATI DISTINTI 7.1. La media mobile e la scelta del test per la tendenza Il test di Cox e Stuart (e sue varianti) per il trend della tendenza centrale e della variabilità Il test di Mann o di Mann-Kendall o test di Kendall per il trend, con una sola serie e con la versione modificata per la stagionalità Il test U di Mann-Whitney e il test T di Wilcoxon, per la differenza nella tendenza centrale di due cicli Coefficiente di regressione e intervallo di confidenza: metodo di Sen o Theil-Sen o Sen-Kendall per tempi distinti e raggruppati L intervallo di confidenza del coefficiente angolare β di Sen, con il metodo di Hodges-Lehmann Il test di Farrell o di Sen-Farrell o di Farell-Van Belle-Hughes V

6 per il trend con stagionalità, in campioni uniformi Il test di Pettitt per il punto di svolta (change point o turning point), con tempo ignoto e con tempo noto 642 CAPITOLO VIII - TEST NON PARAMETRICI PER IL TREND CON DATI RAGGRUPPATI 8.1. Il test di Jonckheere o di Jonckheere-Terpstra per alternative ordinate, in k campioni indipendenti Il test di Cuzick per il trend Il test di Mack-Wolfe o test dell ombrello (umbrella test) Il test di Page o delle alternative ordinate, in k campioni dipendenti 699 CAPITOLO IX - TEST NON PARAMETRICI PER CORRELAZIONE, CONCORDANZA, REGRESSIONE MONOTONICA E REGRESSIONE LINEARE 9.1. La correlazione non parametrica ρ (rho) di Spearman, con la distribuzione di Hotelling-Pabst Il coefficiente di correlazione τ (tau) di Kendall; il τ a e τ b di Kendall con i ties Confronto tra ρ e τ; potenza del test e numero di osservazioni necessarie per la significativita Altri metodi per la correlazione non parametrica: test di Pitman con le permutazioni Il quadrant test o test della mediana di Blomqvist Il test di Daniels per il trend Significatività della regressione e della correlazione lineare parametrica con i test ρ e τ I coefficienti di correlazione parziale: il τ 12,3 di Kendall e il ρ 12,3 di Spearman La retta di regressione non parametrica di Theil o di Theil-Kendall Confronto tra la retta parametrica e la retta di Theil Significatività di b con il τ di Kendall Il test di Hollander per il confronto tra due coefficienti angolari La regressione monotonica di Iman-Conover Trend lineare di Armitage per le proporzioni e le frequenze 801 CAPITOLO X - ALTRI METODI INFERENZIALI: IL RICAMPIONAMENTO Metodi di ricampionamento: Monte Carlo e principio plug-in Il Jackknife Il Bootstrap 818 VI