La richiesta di una piattaforma dropbox-like è motivata principalmente dalla necessità di: Disporre di un ambiente «sicuro» dove memorizzare i dati degli utenti (backup e/o conservazione a lungo termine) Collaborare tra utenti INFN Disporre di un accesso universale ai propri file (desktop, laptop, VM, device mobili, etc.) Da queste esigenze la ricerca di un infrastruttura in grado di fornire tale servizio. L attività è stata focalizzata prevalentemente su due prodotti: owncloud (http://owncloud.org) e AjaXplorer (http://ajaxplorer.info) 2/16 S. Longo WS cloud-wg 2013 CNAF
Environment: Web Application (Apache o altro web server) PHP5 ( 5,3 + php-gd + php-xml-parser) Altri moduli richiesti in funzione dei plug-in installati Backend Database: MySQL PostgreSQL SQLite MariaDB 3/16 S. Longo WS cloud-wg 2013 CNAF
Autenticazione: Locale LDAP(s) o Active Directory Storage Backends: Filesystem locale FTP (o FTPS) SFTP SMB WebDAV Amazon S3 Dropbox Google Drive Openstack Swift 4/16 S. Longo WS cloud-wg 2013 CNAF
E possibile consentire all utente il «mount» on demand di aree SMB o IMAP. Le funzionalità «core» possono essere estese mediante plug-in. Diversi plug-in disponibili out-of-the box (calendario, contatti, Multimedia/ODF/PDF/Picture viewers, etc.). Altri forniti as-is dalla comunità di utenti/sviluppatori (es.: SAML, dashboards, etc.) I contenuti possono essere indicizzati e versionati. 5/16 S. Longo WS cloud-wg 2013 CNAF
Environment: Web Application (Apache o altro web server) PHP5 ( 5,1 + php-gd + php-domxml + php-mcrypt) Sync clients ottimizzati per uso PHP PECL rsync Altri moduli richiesti in funzione dei plugin installati Backend Database: MySQL SQLite (MariaDB?) 6/16 S. Longo WS cloud-wg 2013 CNAF
Autenticazione: Locale LDAP(s) o Active Directory Basic HTTP FTP Storage Backends: Filesystem locale FTP SFTP SMB WebDAV Autenticazione (CMS o custom) AjaXplorer Remoto SMB Dropbox Amazon S3 HP Cloud MySQL e IMAP Remota 7/16 S. Longo WS cloud-wg 2013 CNAF
L applicazione è modulare, le funzionalità vengono fornite mediante plug-in (anche le funzioni «core»). Qualora non presenti, ulteriori funzionalità possono essere implementate estendendo i plug-in (es. Portale GRID). AjaXplorer permette di definire più «repository» per utenti o gruppi di utenti, con configurazione personalizzata. I contenuti possono essere indicizzati e versionati. AjaXplorer può essere «federato» 8/16 S. Longo WS cloud-wg 2013 CNAF
Entrambi i prodotti sono stati testati con il seguente setup: VM con 1 CPU e 2 GB di RAM Storage su un volume separato di 1TB Database MySQL locale Gestione utenza via AAI (LDAP e SAML per owncloud) Test effettuati: Gestione utenza Funzionalità applicazione (viewer/editor, indicizzazione, etc.) Client sincronizzazione 9/16 S. Longo WS cloud-wg 2013 CNAF
Gestione utenza: Utilizzo LDAP AAI: OK Utilizzo IdP AAI: via SAML, ha però richiesto una parziale riscrittura del codice del plugin Interfaccia di management: basata su lazy-loading. Inutilizzabile nel contesto INFN Ricerca utenti: non disponibile Impostazione parametri utenti: fattibile solo via DB Utilizzo LDAP AAI: OK Utilizzo IdP AAI: non disponibile out-of-the-box. Possibile via CAS Interfaccia di management: OK Ricerca utenti: indicizzazione solo dopo primo login Impostazione parametri utenti: da interfaccia web 10/16 S. Longo WS cloud-wg 2013 CNAF
Funzionalità applicazione: Compatibilità browser IE/Firefox /Chrome: OK Browsing gerarchico files: solo con plugin terze-parti (piuttosto pesante) Viewer/Editor Immagini/PDF: OK Viewer multimediale: OK Condivisione file: possibile con altri utenti di owncloud (copia o link). Nessuna gestione permessi Indicizzazione: lazy-loading. Inutilizzabile con molti files Compatibilità browser IE/Firefox/ Chrome: OK Browsing gerarchico files: nativo Viewer/Editor Immagini/PDF: OK Viewer multimediale: OK Condivisione file: diverse modalità disponibili. File mediante link pubblico (con scadenza e password). Le cartelle possono essere condivise come workspace o minisito (pubblico/privato). Controllo permessi posix-like. Indicizzazione: OK. 11/16 S. Longo WS cloud-wg 2013 CNAF
Sincronizzazione: Multipiattaforma (C + mirall) Disponibile pacchettizzato per: Windows, MacOS, Linux, ios e Android (a pagamento) Test sincronizzazione: Connessione «stateless»: grosso carico LDAP. Cache inefficiente Versione 1.2.x: memory leak! Con molti file può non terminare mai. Possibile corruzione DB! Versione 1.4.x: Memory leak rimosso, migliorate funzionalità. Continua a non terminare con il set di file usato per i test. 12/16 S. Longo WS cloud-wg 2013 CNAF Applicazione Java (basata su rsync) Disponibile pacchettizzato per: Windows, MacOS, ios e Android. Per Linux - non ufficialmente - alcuni repository possono fornire il pacchetto. E possibile compilare ed eseguire il codice Java. Come alternativa si può usare webdav. Piuttosto vecchia e mancante di alcune funzionalità Test sincronizzazione: Qualche errore di esecuzione in funzione della JRE installata. Nessun altro problema rilevante
Il reparto «Servizi Nazionali» del CNAF ha deciso di implementare un servizio di storage dropbox-like. In base ai test effettuati si è scelto di utilizzare AjaXplorer. Il servizio è attualmente in pre-produzione, disponibile per gli utenti del CNAF e per alcuni utenti di altre sezioni che stanno collaborando al progetto. L applicazione è disponibile all indirizzo: https://pandora.infn.it 13/16 S. Longo WS cloud-wg 2013 CNAF
Setup: Servizio implementato in alta affidabilità e alta disponibilità 2 VM (2 CPU e 4 GB di RAM l una) su cluster VMWare + un Load Balancer con «sticky sessions» (terza VM su Red-Hat cluster disponibile a breve) DBMS MySQL esterno alle VM in HA e replicato (prossima migrazione su DBMS clusterizzato) Storage: 15TB su OCFS2, backend DELL EqualLogic 6110 (prevista possibilità di espansione) Assegnati 5GB di default ad ogni utente Gestione utenza mediante LDAP AAI In fase di studio login mediante CAS (con IdP INFN) 14/16 S. Longo WS cloud-wg 2013 CNAF
pandora1.infn.it (Application Server) DBMS replica pandora.infn.it (Load Balancer) pandora2.infn.it (Application Server) MySQL DBMS pandora3.infn.it (Application Server) OCFS2 Storage (DELL EqualLogic) 15/16 S. Longo WS cloud-wg 2013 CNAF