ADaMSoft: un software Open Source italiano. Marco Scarnò

Transcript

1 ADaMSoft: un software Open Source italiano Marco Scarnò Il software per la statistica ufficiale: dai sistemi proprietari a quelli open source Roma, 4 Marzo 2008

2 Il CASPUR: Consorzio interuniversitario per le Applicazioni di Supercalcolo per Università e Ricerca Centro di calcolo scientifico e di competenza nell ambito delle tecnologie innovative Il software per la statistica ufficiale: dai sistemi proprietari a quelli open source Roma, 4 Marzo

3 (Gruppo per l Analisi dei DAti e le Metodologie Statistiche) ADaMSoft (Software per l Analisi dei DAti e le Metodologie Statistiche) Il software per la statistica ufficiale: dai sistemi proprietari a quelli open source Roma, 4 Marzo

4 Le parole chiave dietro ADaMSoft Informazione: Dati e/o misure rilevabili oggettivamente che costituiscono la base del processo conoscitivo di un fenomeno reale. Nota: l informazione può anche essere il prodotto intermedio del processo stesso Software statistici: Strumenti che consentono lo svolgersi del processo conoscitivo Il software per la statistica ufficiale: dai sistemi proprietari a quelli open source Roma, 4 Marzo

5 Le problematiche da considerare. sull informazione e sulla sua elaborazione L elaborazione si basa su dati non sempre acquisiti nel rispetto di standard che ne garantiscono un uso corretto Non sempre viene posto il problema della qualità dell Informazione acquisita I risultati diffusi sono solo una parte, a volte non esplicativa, delle relazioni interne al fenomeno investigato Spesso l Informazione si presenta sotto forme non semplici (comportamenti rispetto al WWW, testi, forme di partecipazione a sistemi politico-decisionali, ecc.) Il software per la statistica ufficiale: dai sistemi proprietari a quelli open source Roma, 4 Marzo

6 I software statistici Nota generale: siano questi Proprietari od Open Source, consentono una libera elaborazione dell Informazione e la conduzione di un qualunque percorso di ricerca Ma. Se la conoscenza è un patrimonio collettivo, perché non avvantaggiare il processo tramite la quale essa si forma utilizzando strumenti anch essi collettivi? => questo è il reale vantaggio offerto dai sistemi Open Source Il software per la statistica ufficiale: dai sistemi proprietari a quelli open source Roma, 4 Marzo

7 Le problematiche relative ai software Open Source (generici) Tantissimi progetti (simili e contemporanei) progetti su Sourceforge.net; di essi non offrono alcun file; 11 sono al 100% di sviluppo; appaiono stabili; Scarsa documentazione e quasi inesistente il materiale didattico; Poco supporto agli utenti e quasi nullo quello agli eventuali sviluppatori esterni; Poco verificate le modifiche tra una versione e la successiva (e la coerenza dei cambiamenti effettuati); Spesso i codici dei software sono poco accessibili (comprensibili) anche da utenti esperti Il software per la statistica ufficiale: dai sistemi proprietari a quelli open source Roma, 4 Marzo

8 Le problematiche relative ai software Open Source (statistici) Incorporano specifiche modalità d interazione tra utente e procedure (usano linguaggi proprietari ); Spesso gestiscono e memorizzano i dati secondo standard proprietari ; Spesso risultano specifici solo per determinati ambiti di ricerca; Spesso nascono in ambiente accademico e non sono adeguati a gestire situazioni operative molto complesse (tanti dati, relazioni con data base, ecc.); Spesso seguono impostazioni di ricerca non recenti e non contengono tecniche innovative Il software per la statistica ufficiale: dai sistemi proprietari a quelli open source Roma, 4 Marzo

9 I software statistici nella società dell Informazione (ovvero: cosa ci si dovrebbe attendere da questi) Capacità di trattare grandi quantità di dati, provenienti anche da flussi informativi; Di utilizzare Informazione non propriamente statistica ; Di garantire la libertà al ricercatore di implementare qualsivoglia strategia di analisi, riducendo il tempo di programmazione e massimizzando l interpretazione dei risultati; Di consentire la personalizzazione del contenuto dell Informazione prima, durante e dopo lo stesso processo di analisi Il software per la statistica ufficiale: dai sistemi proprietari a quelli open source Roma, 4 Marzo

10 Da queste considerazioni deriva ADaMSoft (distribuito gratuitamente secondo la licenza GPL) Nasce tenendo conto dei risultati di una collaborazione internazionale di esperti, supervisionata dall UNESCO, volta alla definizione delle caratteristiche ottimali di un software per il trattamento, la gestione e l analisi dell Informazione; Il principale risultato della collaborazione documento dei Terms of Reference per il progetto OpenIDAMS Il software per la statistica ufficiale: dai sistemi proprietari a quelli open source Roma, 4 Marzo

11 OpenIDAMS TOR The project will allow a great number of specialists to join their global professional community and would assure the presence of many institutions on the global scene Basic and advanced, reasonably comprehensive general purpose, data management, data archiving and data exploration package(s) with user-friendly graphical interface(s); Set(s) of standard application modules Set(s) of recommended user interface primitives Taylor-made packages for specific applications User and developers documentation Fundamental implementation principles: the technological selected platform should guarantee the longevity of the software and assure that it will be usable on a broad range of machines and operating systems (portability), by a large user community. Il software per la statistica ufficiale: dai sistemi proprietari a quelli open source Roma, 4 Marzo

12 Ma ADaMSoft Ha seguito i principi fondamentali dei ToR, ma ha anche: Impiegato, adattandolo, quanto d innovativo esiste nei diversi software (o nelle librerie scientifico/matematiche) esistenti e distribuite secondo licenze Open Source (Free o GPL); Ampliato con specifiche funzionalità quelle che potevano essere considerate delle carenze nei prodotti esistenti Il software per la statistica ufficiale: dai sistemi proprietari a quelli open source Roma, 4 Marzo

13 Elementi derivanti da software e librerie esistenti (esempi) Il motore statistico di ADaMSoft sfrutta la libreria scientifica Open Source sviluppata da uno dei più grandi centri di ricerca europei, il CERN; L interfaccia grafica di ADaMSoft organizza le procedure in maniera simile a SPSS; Il linguaggio di esecuzione delle procedure è simile a quello del SAS System; La trasformazione dei dati avviene mediante un arricchimento e adattamento del linguaggio Java; I grafici sono manipolati in maniera analoga a quanto avviene con STATISTICA Il software per la statistica ufficiale: dai sistemi proprietari a quelli open source Roma, 4 Marzo

14 Elementi innovativi (esempi) ADaMSoft estende il concetto di Metadato (già presente nel software WinIDAMS realizzato dall UNESCO) consentendo personalizzazioni quasi infinite del contenuto dei dati stessi; ADaMSoft implementa un elaborazione sequenziale dei dati che garantisce l esecuzione di procedure su dati anche di grandi dimensioni; La trasformazione dei dati consente la creazione di tabelle virtuali, molto utili ai fini delle analisi intermedie e che non occupano spazio fisico nei calcolatori a disposizione; Il software per la statistica ufficiale: dai sistemi proprietari a quelli open source Roma, 4 Marzo

15 Le altre principali caratteristiche di ADaMSoft (legate alle considerazioni strategiche effettuate nel corso del suo sviluppo) L informazione non è solo quella statistica, ma può essere in qualunque documento generico (un testo, un rapporto, un immagine, un video, ecc.); una sezione del software è appositamente dedicata alla loro gestione; L analisi dei dati deve consentire la diffusione dei risultati, illustrando in maniera semplice e immediata le principali caratteristiche del fenomeno; il software consente la realizzazione di rapporti immediatamente distribuibili L utente non deve imparare un nuovo linguaggio atto a far funzionare il software stesso; in ADaMSoft tutte le analisi sono eseguibili dall interfaccia grafica Le informazioni da trattare possono derivare direttamente da siti web; L impiego del software è consentito anche tramite siti web. Il software per la statistica ufficiale: dai sistemi proprietari a quelli open source Roma, 4 Marzo

16 Le problematiche di ADaMSoft in relazione a quelle tipiche dei progetti Open Source La documentazione del software è estesa se riferita a quella necessaria al suo impiego; meno per quel che riguarda il coinvolgimento di eventuali sviluppatori esterni; Forum, indirizzi mail specifici, utenze SKYPE e MSN sono state create per dare supporto agli utenti; Molto è il materiale didattico realizzato e messo a disposizione; E tuttavia vero che: Il gruppo di sviluppatori è limitato; I codici del motore sono poco accessibili; A volte non sono stati condotti test esaustivi prima di rilasciare delle nuove versioni Il software per la statistica ufficiale: dai sistemi proprietari a quelli open source Roma, 4 Marzo

17 Cosa vorrebbe essere in più ADaMSoft? In realtà ADaMSoft vorrebbe essere uno strumento pratico inserito all interno di uno Spazio Virtuale atto a fornire, a tutta la comunità, la possibilità di poter condividere idee, metodi e tecniche nel campo dell Analisi di Dati e della Knowledge Discovery. Un tale approccio potrebbe, inoltre, incoraggiare la solidarietà e la collaborazione (nazionale e internazionale). Del resto la Statistica potrebbe essere intesa come la Disciplina che maggiormente si presta a essere trasversale rispetto a tutte quelle Scienze che si occupano di Conoscere i fenomeni reali. Il software per la statistica ufficiale: dai sistemi proprietari a quelli open source Roma, 4 Marzo