NOTA SULL'ANALISI DI DATI SPERIMENTALI IN AGRICOLTURA TRAMITE IL SAS (Statistical Analysis System)

Transcript

1 NOTA SULL'ANALISI DI DATI SPERIMENTALI IN AGRICOLTURA TRAMITE IL SAS (Statistical Analysis System) Seconda Edizione Marcello Donatelli e Paolo Annicchiarico ISTITUTO SPERIMENTALE AGRONOMICO ISTITUTO SPERIMENTALE COLTURE FORAGGERE MINISTERO DELLE POLITICHE AGRICOLE

2 la corretta citazione di questo volume è: Donatelli, M., e P. Annicchiarico, NOTA SULL'ANALISI DI DATI SPERIMENTALI IN AGRICOLTURA TRAMITE IL SAS (Statistical Analysis System) - 2 a ed. Pubblicazione Speciale degli Istituti Sperimentali Agronomico e per le Colture Foraggere. Modena, 272 pagg.

3 NOTA SULL'ANALISI DI DATI SPERIMENTALI IN AGRICOLTURA TRAMITE IL SAS (Statistical Analysis System) Seconda Edizione. M. Donatelli 1 e P. Annicchiarico 2 1 Ricercatore presso l'istituto Sperimentale Agronomico, Sezione di Modena, Viale Caduti in Guerra, MODENA. 2 Ricercatore presso l'istituto Sperimentale per le Colture Foraggere, Viale Piacenza, Lodi (MI).

4 INDICE PREFAZIONE PREFAZIONE ALLA SECONDA EDIZIONE 1 INTRODUZIONE *, ** ALCUNE NOTE SULL'USO DEL SAS SU PC CARATTERISTICHE GENERALI DELLA METODOLOGIA DI ANALISI IN SAS STRUTTURA DEI CASI D'ANALISI ESAMINATI TERMINOLOGIA E CONVENZIONI UTILIZZATE CONFRONTO FRA DUE O PIÙ DISTRIBUZIONI DI FREQUENZA ** OMOGENEITÀ DI DUE O PIÙ DISTRIBUZIONI DI FREQUENZA UGUAGLIANZA DI DUE O PIÙ PROPORZIONI OMOGENEITÀ DI DUE O PIÙ DISTRIBUZIONI DI FREQUENZA - ESPERIMENTO RIPETUTO NEL TEMPO O NELLO SPAZIO INDIPENDENZA STOCASTICA DI DUE CRITERI DI CLASSIFICAZIONE BONTÀ DELL'ADATTAMENTO DI UNA DISTRIBUZIONE DI FREQUENZE OSSERVATA AD UNA DETERMINATA DISTRIBUZIONE TEORICA CONFRONTO FRA DUE POPOLAZIONI ATTRAVERSO IL TEST T E TEST ANALOGHI ** CAMPIONI INDIPENDENTI ANALISI DELLA VARIANZA A UNO E DUE CRITERI DI CLASSIFICAZIONE ** DUE FATTORI INCROCIATI DUE FATTORI IN DIPENDENZA GERARCHICA BLOCCO RANDOMIZZATO BLOCCO RANDOMIZZATO CON SOTTOCAMPIONAMENTO ANALISI DELLA VARIANZA A TRE O PIÙ CRITERI DI CLASSIFICAZIONE TRE FATTORI INCROCIATI IN DISEGNO COMPLETAMENTE RANDOMIZZATO ** QUADRATO LATINO ** DISEGNI SPERIMENTALI DERIVATI DAL QUADRATO LATINO * SPLIT-PLOT * SPLIT-SPLIT-PLOT * STRIP-PLOT O SPLIT-BLOCK * RETICOLO PARZIALMENTE BILANCIATO ** BLOCCO RANDOMIZZATO RIPETUTO NEL TEMPO O NELLO SPAZIO ** BLOCCO RANDOMIZZATO CON OSSERVAZIONI RIPETUTE NEL TEMPO ** SPLIT-SPLIT-PLOT RIPETUTO NEL TEMPO: COLTURA INSERITA IN ROTAZIONI * TRE FATTORI IN PARZIALE DIPENDENZA GERARCHICA - ANALISI COL METODO DEI CONTRASTI ** CINQUE FATTORI IN PARZIALE DIPENDENZA GERARCHICA ** STIMA DEI VALORI ATTESI DELLA VARIANZA ** ANALISI DELLA REGRESSIONE LINEARE * REGRESSIONE LINEARE SEMPLICE DEVIAZIONE DALLA LINEARITÀ REGRESSIONE MULTIPLA; MULTICOLLINEARITÀ REGRESSIONE MULTIPLA; SCELTA DEL MIGLIOR MODELLO IDENTIFICAZIONE DI DATI ANOMALI MODELLI NON LINEARI * MODELLO SEGMENTATO E CURVA DI CRESCITA ESPONENZIALE CURVE DI ACCRESCIMENTO DI PIANTE ERBACEE MODELLI LINEARI DISCONTINUI...188

5 8 ANALISI DELLA COVARIANZA * MODELLO A REGRESSIONI PARALLELE MODELLO A REGRESSIONI LINEARI NON PARALLELE MODELLO A REGRESSIONI CURVILINEE CONFRONTO FRA DUE O PIÙ POPOLAZIONI ATTRAVERSO TEST NON PARAMETRICI** TEST DI KRUSKAL E WALLIS TEST DI FRIEDMAN ANALISI DIALLELICA ** ANALISI DIALLELICA SENZA PARENTALI E RECIPROCI ANALISI DELLA STABILITÀ ED AFFIDABILITÀ PRODUTTIVA ** ANALISI DELLA STABILITÀ AFFIDABILITÀ PRODUTTIVA APPENDICE I. PRINCIPALI PROCEDURE ED ISTRUZIONI PER LA GESTIONE DI FILES, L'ANALISI STATISTICA DI TIPO DESCRITTIVO E LA CORRELAZIONE SEMPLICE ** APPENDICE II. TAVOLE STATISTICHE PER L'ESECUZIONE DEL TEST DI HARTLEY BIBLIOGRAFIA * a cura di M. Donatelli ** a cura di P. Annicchiarico

6 Prefazione alla Seconda Edizione Della prima edizione della nota, apparsa nel 1990, furono stampate 500 copie che sono andate nel frattempo esaurite, distribuite a vari enti pubblici di ricerca nonché a singoli ricercatori che ne hanno fatto richiesta. Il desiderio di soddisfare la richiesta di nuove copie del lavoro avanzataci da parte di molti colleghi, e quello di considerare alcune problematiche di analisi dei dati non trattate in precedenza hanno motivato la redazione di una seconda edizione della Nota. Marcello Donatelli e Paolo Annicchiarico

7 Prefazione alla Prima Edizione Negli ultimi anni la disponibilità di personal computers ha radicalmente mutato le possibilità di archiviazione ed analisi dei dati nelle istituzioni coinvolte nella ricerca in agricoltura. Da una prima fase durante la quale, ottenuto l'elaboratore, molti ricercatori hanno sviluppato programmi di analisi statistica personalizzati, con grande dispendio di tempo ed energie intellettuali, è ormai acquisita la necessità di servirsi di software sviluppato da specialisti. Tra i vari packages spicca per elasticità e potenza il sistema SAS, disponibile negli U.S.A. ormai da quasi un ventennio e da quella data continuamente aggiornato dal SAS Institute in North Carolina, oltrech da una rete di collaboratori sparsi in diversi paesi. Questo package, diffuso in tutto il mondo e quindi anche in Italia, da qualche tempo disponibile nella versione per personal computers che possano lavorare con sistema operativo MS-DOS. Semplificando le cose e rimandando ai manuali SAS per ulteriori dettagli, la principale caratteristica che diversifica dal punto di vista operativo il software SAS dai programmi di cui si parlava in apertura, data dal fatto che, mentre questi ultimi sono appunto programmi, scritti per esempio in BASIC o FORTRAN, e hanno un menù che ne semplifica l'uso, il sistema SAS è un linguaggio di programmazione e non un programma. Ciò comporta la necessità di scrivere programmi in SAS, peraltro molto sintetici vista la potenza del linguaggio, per analizzare dati. Quest'ultimo è quindi il motivo di questa nota, destinata a chi, volendosi avvalere delle capacità del sistema SAS, può trovarsi smarrito di fronte all'imponenza dei manuali, nei quali l'uso di esempi di analisi statistica su problemi concreti di ricerca in agricoltura è assai scarso. Gran parte degli esempi provengono dai corsi semestrali, frequentati dagli autori, di Analysis of Variance and Covariance, Analysis of Regression and Correlation e Design Experiment seguiti durante il 1987 nel Dipartimento di Statistica della Kansas State University, U.S.A. e dai corsi di Théorie Statistique, Méthodes Statistiques Génerales, Plans Expérimentaux, e Calculs Statistiques sur Ordinateur seguiti durante il presso la Facult des Sciences Agronomiques in Gembloux, Belgio, durante i quali i docenti si sono appunto avvalsi del sistema SAS per esemplificare le procedure di analisi illustrate. Gli autori sono grati al Dr. Agostino Grignani, allora alla sede italiana del SAS Institute, per la consulenza a più riprese fornita durante la preparazione di questo lavoro. Sono altresì grati al Prof. Alessandro Camussi, Facoltà di Scienze M.F.N. dell'università di Milano, per la revisione di parte del manoscritto; ringraziano inoltre la Prof.sa Mirella Sari Gorla, della stessa Facoltà, per le osservazioni espresse anch'esse durante la fase di revisione del testo. Gli autori ringraziano infine la Direzione dell'ist. Sperimentale Agronomico per aver messo a disposizione quanto è stato necessario per arrivare alla versione finale di questo lavoro. Sia ben chiaro, queste note certo non esauriscono le possibilità dell'uso del SAS nel settore, nè tantomeno hanno la pretesa di essere un testo di statistica. Vogliono solo essere un aiuto per chi, in possesso delle necessarie cognizioni teoriche di statistica ed avvicinandosi ad un package di analisi estremamente potente, voglia così aumentare le sue capacità di gestione dei dati sperimentali.

8 1 Introduzione Nota sull Analisi...(2 a ed.) In questo capitolo saranno fatti richiami agli elementi ritenuti strettamente necessari per interpretare quanto esposto in questa Nota. Si dà infatti per acquisita un minimo di pratica dell'utente con il personal computer. Al tempo stesso, sebbene i comandi e le istruzioni di programma SAS utilizzati negli esempi saranno spesso commentati, ciò avverrà solo in relazione agli scopi del caso specifico. L'intento di questa Nota è infatti di esemplificare come possano essere eseguite alcune "analisi tipo" attraverso il SAS e non tentare più genericamente di istruire l'utente all'uso del SAS. Saranno inoltre fatti richiami di statistica, ma anche questi per rendere comprensibili programmi di analisi e files di output. Chi non ha ben chiaro il problema statistico dovrebbe fare riferimento ai testi citati in bibliografia per gli aspetti teorici del caso analizzato e per una trattazione in maggior dettaglio dello stesso. 1.1 Alcune note sull'uso del SAS su PC Essendo stato previamente installato, il SAS sarà in una directory chiamata appunto SAS. L'utente sarà invece opportuno che conservi files di programmi o di output in una directory o sotto-directory personale, cioè C:\mydir oppure in C:\mydir\mydirsub indicando con mydir e mydirsub i nomi rispettivamente di una directory e di una sotto-directory personale. I dati grezzi da analizzare possono essere contenuti in un file ASCII, precedentemente creato attraverso un foglio elettronico od un qualsiasi text editor, che viene custodito nella directory o sotto-directory dell'utente o su un floppy disk (A:) sotto il nome di seguito convenzionalmente indicato come nomefile.dat. Altrimenti tali dati, soprattutto se in numero non elevato, potranno essere digitati direttamente nel corso della stesura del programma SAS. I programmi SAS, che sono costituiti da una sequenza di righe di istruzioni, sono redatti in una apposita finestra del Display Manager del SAS. Tale finestra costituisce una sezione della schermata riportata in Fig. 1.1, riportata nella pagina successiva. Essa appare nella versione per WINDOWS del software indicando una apposita icona. Dopo aver fatto sì, con istruzioni in seguito richiamate, che lo spazio programma occupi tutto lo schermo, le righe di istruzione vengono digitate in ordine crescente a sinistra dei numeri in finestra a partire dalla riga Ciascuna istruzione va conclusa con un segno di punto e virgola. I programmi SAS possono poi essere lanciati premendo il tasto F8 quando il cursore si trova ancora nella finestra di programma od attraverso una apposita icona. I programmi possono essere memorizzati, sotto il nome convenzionale di nomefile.sas, dopo aver digitato sulla riga di COMMAND della stessa finestra un comando del tipo: COMMAND => FILE'C:\mydir\nomefile.SAS, memorizzato nella propria directory su hard disk COMMAND => FILE'A:nomefile.SAS, memorizzato su floppy disk (A:). Introduzione 1

9 Nota sull Analisi...(2 a ed.) Figura Display Manager di SAS dopo il caricamento del programma OUTPUT Command ==> LOG Command ==> NOTE: AUTOEXEC processing completed PROGRAM EDITOR Command ==> Il programma SAS memorizzato può essere richiamato nella finestra di programma del SAS in un momento successivo a piacere, con lo scopo di sottoporlo ad eventuali modifiche o lanciarlo come anzidetto, inviando dalla linea di COMMAND della finestra un comando del tipo: COMMAND => INC'C:\mydir\nomefile.SAS, se il programma è su disco fisso COMMAND => INC'A:nomefile.SAS, se il programma è su floppy disk.. Per quanto concerne le altre due finestre del Display Manager del SAS riprodotte in Fig. 1.1, durante l'esecuzione di un programma lanciato dal Display Manager si vedranno scorrere nello spazio designato come LOG le linee di istruzioni intercalate da note, da eventuali avvisi (warnings) su possibili errori nella logica del programma e da eventuali messaggi di errore veri e propri. Questi ultimi, che possono riguardare la logica oppure la sintassi del programma, bloccano l'esecuzione delle porzioni di programma ad essi relative. Nello spazio OUTPUT si vedrà invece scorrere l'output del programma secondo l'ordine previsto dalle istruzioni. Quanto è contenuto in questa finestra potrà in seguito essere memorizzato in un file il cui nome convenzionale è nomefile.lst digitando sulla linea di COMMAND della finestra stessa uno dei comandi: COMMAND => FILE'C:\mydir\nomefile.LST, memorizzato su hard disk COMMAND => FILE'A:nomefile.LST, memorizzato su floppy disk. Se desiderato, si potrà memorizzare in modo analogo anche quanto contenuto nello spazio LOG in un file indicato col nome convenzionale di nomefile.log dall'istruzione FILE inviata dalla riga di COMMAND di questa finestra. In sintesi, i tipi di files utilizzati potranno essere: Introduzione 2

10 Nota sull Analisi...(2 a ed.) - nomefile.dat, file ASCII di dati grezzi; - nomefile.sas, " " contenente linee di programma SAS; - nomefile.log, " " con commenti al programma eseguito; - nomefile.lst, " " contenente l'output del programma. Di seguito sono poi elencati alcuni comandi SAS che possono servire per un primo approccio all'uso del SAS attraverso il Display Manager. Principali funzioni: F1 = help F3 = uscita dopo F1 o F9 F4 = richiamo nella finestra di programma dell ultimo programma lanciato prima dell uscita definitiva dal SAS F5 = cursore nella finestra di PROGRAM F6 = cursore nella finestra di LOG F7 = cursore nella finestra di OUTPUT F8 = esecuzione del programma F9 = chiave di lettura delle funzioni Alcune di queste ed altre funzioni sono anche eseguibili tramite icone. Comandi (da inviare avendo il cursore sulla linea di COMMAND): FILE INC BYE X CLEAR TOP BOTTOM memorizzazione di files di programma, di log, di output richiamo nella finestra di programma di un file.sas memorizzato su hard disk o su floppy uscita definitiva dal SAS uscita temporanea dal SAS (al quale si ritorna col comando EXIT) cancella il contenuto della finestra porta il cursore alla fine della finestra in cui si trova porta il cursore all'inizio della finestra in cui si trova Comandi di editing in PROGRAM: Si inviano scrivendo i comandi in sovrapposizione ai numeri di programma. Introduzione 3

11 Nota sull Analisi...(2 a ed.) Dn In Mn,Cn CC,MM o DD cancella n righe a partire dalla riga (compresa) inserisce n righe dopo la riga trasferisce, copia n righe prima o dopo la riga nella quale si scrive rispettivamente B (= before) o A (= after) posti su due righe differenti, copiano, trasferiscono o cancellano blocchi di righe 1.2 Caratteristiche generali della metodologia di analisi in SAS Come anticipato nella prefazione, il SAS è un linguaggio di programmazione. Per analizzare i dati, bisogna quindi scrivere un programma composto da una sequenza di linee. Le linee di programma sono raggruppate in unità di programma chiamate STEPS. Gli STEPS possono essere di due tipi, vale a dire DATA o PROC. Lo step DATA serve per leggere dati da utilizzare in successivi STEPS, siano i dati esterni (memorizzati su files esterni, qui chiamati convenzionalmente nomefile.dat) o interni, in quanto digitati all'interno del DATA stesso. I files esterni sono letti attraverso l'istruzione INFILE. Quando viceversa i dati sono digitati all'interno di DATA, essi seguono l'istruzione CARDS. Il nome e la natura delle variabili sono definite dall'istruzione INPUT. Variabili derivate o trasformate possono essere create in DATA scrivendo la formula che le definisce. Nello step DATA vengono creati dei files in formato SAS, negli esempi di questa nota temporanei, che si rendono disponibili per gli STEPS successivi. In uno stesso programma, successivamente ad un DATA come quello già descritto, un ulteriore step DATA può essere utilizzato per operazioni di gestione dei files temporanei SAS precedentemente creati. Per esempio, la fusione (merge) di più files per riga o colonna può essere eseguita rispettivamente con le istruzioni SET o MERGE. Il secondo tipo di STEP è dato dalle PROC, o procedure. Le PROC più importanti in rapporto a questa nota sono quelle per effettuare l'analisi della varianza e della regressione. Le procedure utilizzate negli esempi saranno PROC ANOVA, per l'analisi della varianza con schemi bilanciati e senza dati mancanti e nel caso in cui non si richieda l'esecuzione di contrasti lineari, PROC GLM per l'analisi della varianza anche nei casi precedentemente esclusi e per l'analisi della covarianza, e infine PROC REG per l'analisi della regressione. Altre PROC per l analisi statistica con compiti più specifici saranno esaminate nel corso della Nota. Alcuni problemi statistici non sono risolvibili attraverso procedure SAS bensì attraverso la redazione di programmi ad hoc utilizzando il SAS come linguaggio di programmazione. Sono qui proposti dei programmi originali per la risoluzione dei problemi oggetto dei paragrafi 2.5, 10.1, 11.1, 11.2 e per l esecuzione del test di Bartlett. Le principali istruzioni delle procedure vengono commentate per esteso al loro primo apparire nella Nota. L esecuzione delle principali operazioni per la gestione di files di dati in formato SAS, la creazione da tali files di files ASCII, l ottenimento di tabelle, l esecuzione di analisi statistiche di tipo descrittivo ed il calcolo di correlazioni semplici sono schematizzati in Appendice I nonchè occasionalmente esemplificati in alcuni paragrafi. In particolare, si forniscono dettagli sulla PROC UNIVARIATE (parametri di statistica descrittiva di una Introduzione 4

12 Nota sull Analisi...(2 a ed.) popolazione) nel paragrafo 3.1, la PROC TABULATE (tabelle con parametri di statistica descrittiva di più popolazioni) in 4.1, la PROC PLOT (grafico di due variabili in un sistema di assi cartesiani) in 4.3 e la PROC CHART (istogrammi e rappresentazioni grafiche di vario tipo) in 2.4 e 5.1. Tutte le istruzioni e procedure esaminate sono contemplate nei moduli BASE e STAT del SAS. 1.3 Struttura dei casi d'analisi esaminati Per ognuno degli esempi riportati sarà descritto il problema dal punto di vista sperimentale. Saranno quindi descritte le variabili in gioco, gli obiettivi e infine il tipo di analisi utilizzata. Quando i dati saranno in un file esterno al programma (.DAT), il file stesso sarà riportato solo in parte in modo da poter interpretare più facilmente il programma SAS che poi li analizzerà, non essendo stato possibile riportare l'intero data-set, qualche volta molto ampio, in tutti gli esempi trattati. Successivamente saranno illustrate le parti più caratterizzanti lo specifico programma SAS, riportato integralmente nelle pagine successive. Tale programma potrà includere, ove ritenuto necessario, alcune procedure di statistica descrittiva, oltre alle procedure per l'analisi dei dati. A seguire sarà commentato il file di output relativo al programma SAS, con particolare riferimento agli elementi di specifico interesse in rapporto agli obiettivi dell'analisi. Chiuderanno l'esempio il listato del programma e il file di output. In alcuni casi saranno inclusi grafici e tabelle. Sebbene si sia cercato di rendere i singoli capitoli in buona misura indipendenti tra loro in modo da non richiedere come necessaria la lettura dei precedenti, l'intento è stato probabilmente raggiunto solo per quei lettori che hanno una certa familiarità con il linguaggio SAS. 1.4 Terminologia e convenzioni utilizzate Definiremo come criterio di classificazione qualunque fattore identificato nell'esperimento suscettibile di influenzare il comportamento degli individui in prova. Esso può coincidere con un fattore essenziale, fisso o casuale ("random") ed indicato spesso semplicemente con il termine di fattore, lo studio del cui effetto sugli individui in prova costituisce lo scopo dell'esperimento; oppure può coincidere con un fattore accessorio, casuale, introdotto nell'esperimento per meglio controllare la variabilità del materiale sperimentale e rappresentato per esempio dal fattore blocco. Ciascun criterio di classificazione è presente in due o più varianti o livelli. Le possibili combinazioni delle varianti dei fattori essenziali costituiscono negli esperimenti fattoriali i trattamenti; questi ultimi, negli esperimenti comprendenti uno solo di tali fattori, si identificano semplicemente con le varianti del fattore stesso. Le possibili combinazioni delle varianti dei criteri di classificazione costituiscono invece gli oggetti dell'esperimento. A ciascun oggetto è associata una popolazione statistica, dalla quale viene estratto un campione costituito da una o più unità sperimentali. Per esempio, in un esperimento agronomico in blocchi randomizzati il campione relativo a ciascun oggetto è costituito da una sola unità sperimentale, la parcella, mentre in un esperimento completamente Introduzione 5

13 Nota sull Analisi...(2 a ed.) randomizzato il campione per ogni oggetto comprende più unità sperimentali costituite dalle ripetizioni. In certi casi, l'unità sperimentale è a sua volta ulteriormente oggetto di campionamento al suo interno, dando luogo così a sottocampionamento. Le variabili categoriche, numeriche o qualitative, ma sempre discrete, identificano i criteri di classificazione. Tali variabili vengono indicate nell'istruzione CLASS di diverse procedure SAS, come vedremo di seguito. Definiamo variabili di risposta le variabili dipendenti attraverso le quali si studia il comportamento degli individui in prova. Possono essere per loro natura sia variabili numeriche continue, relative a misurazioni, sia variabili categoriche di tipo numerico (conteggi di individui; punteggi in funzione di classi di merito) o qualitativo (classificazione di individui in categorie definite). Nei listati dei programmi SAS saranno scritte in carattere maiuscolo le parole ed istruzioni non modificabili, mentre le parti modificabili a piacere dall utente saranno scritte in minuscolo (tipicamente, le variabili, i nomi dei files, le note esplicative ecc.). Ogni listato di programma inizierà con una serie di note che indicheranno a quale esempio il programma si riferisce e la provenienza dei dati. Le note, nei programmi SAS, sono identificabili dal fatto che la riga di programma inizia con un asterisco. Altre note potranno essere all'interno dei programmi per illustrare il successivo passo di programma. Introduzione 6