Attività su EOS Prime esperienze d implementazione della soluzione storage prodotta al CERN presso la Sezione di Trieste

Transcript

1 Attività su EOS Prime esperienze d implementazione della soluzione storage prodotta al CERN presso la Sezione di Trieste Workshop della CCR maggio La Biodola 1/16

2 Introduzione Il progetto nasce nell aprile del 2010 dal Data and Storage Services group del CERN ed entra in produzione nel giugno dello stesso anno. Lo scopo è di fornire un accesso al disco veloce ed affidabile agli utenti LHC. La versione in produzione è denominata Beryl/Aquamarine v0.3.x, mentre la prossima sarà chiamata Citrine v0.4.x. Il core del progetto è XrootD, attualmente nella versione Il significato di EOS è misterioso: dea greca, Exploration Of Storage, Workshop della CCR maggio La Biodola 2/16

3 Struttura Un installazione tipica si compone di due nodi chiamati MGM in configurazione master/slave che gestiscono il namespace e i metadati (in memoria) e di una serie di nodi chiamati FST che immagazzinano i dati. Workshop della CCR maggio La Biodola 3/16

4 Features Autenticazione: unix, sss, krb5 e gsi Permission sytem: posix, system e user acl RAIN (Redundant Array of Indipendent Nodes): Repliche 1->16, RAID-DP, RAID6 e Archive Fuse client: eosfsd (End-User mount) e eosd (Shared mount) Balancing system: stesso scheduling group Group balancer: bilanciamento tra scheduling group Drain system (automatico/manuale) Quota per user, group e project (path) GeoTag e Geo Balancer Recycle Bin Workshop della CCR maggio La Biodola 4/16

5 Accesso Xrootd Fuse GridFTP SRM (BeStMan2 -> Berkeley Storage Manager) WebDAV Workshop della CCR maggio La Biodola 5/16

6 Diffusione Attualmente EOS è diffuso in vari laboratori ed enti internazionali oltre che al CERN, tra questi: Fermilab, Subatech (IN2P3), Università di Vienna, Aarnet, JRC, Russia Tier1 e la Sezione di Trieste. Workshop della CCR maggio La Biodola 6/16

7 Motivazioni Costi di sviluppo e mantenimento dell infrastruttura GPFS basata su Fibre Channel. Efficienza di accesso al dato Flessibilità di configurazione (raid-hw vs JBOD, repliche) Accesso compatibile con farm e cloud Autenticazione forte krb5 gsi Workshop della CCR maggio La Biodola 7/16

8 Hardware MGM Nodes: 2 x DELL PowerEgde R320 - Intel Xeon E V2 (six-cores) - 16GB 1 Gb/s Ethernet FST Nodes: 3 x Supermicro SuperStorage Server 5048R- E1CR36L - Intel Xeon E5-2609v3 (six-cores) - 32GB 36 dischi da 4/6 TB (4 x 9-disks RAID-6) RAID AOC-S3108L-H8iR con batteria Intel X520-DA2 10 Gb/s Ethernet EOSGW: DELL PowerEdge R320 - Intel Xeon E (sixcores) 16GB Qlogic QLE Gb/s Dual port Intel NetEffect NE Gb/s Ethernet Workshop della CCR maggio La Biodola 8/16

9 Installazione Pre-installazione: SO SLC 6.7 configurazione file systems accesso ssh password-less tra i nodi configurazione delle iptables. Primo tentativo: script utilizzato da Alice per il deployment non ha funzionato. Secondo tentativo: script prodotto da Comtrade con documentazione (!!) si è rivelato più efficace anche se con qualche bug (nome istanza e rilevazione dei file system) Terzo tentativo: lo script ha funzionato meglio anche se è stato necessario ridefinire manualmente i file system./eossetup.sh eosinfnts --fst fst01.ts.infn.it,fst02.ts.infn.it --numfs 4 - -slave mgm02.ts.infn.it --verbose validate Workshop della CCR maggio La Biodola 9/16

10 Situazione attuale Ad oggi sono in linea 392TB ripartiti tra Alice, CMS, Compass e Wizard. L autenticazione è Kerberos5 (AAI) per gli utenti locali, sss per eosgw e attiveremo a breve (speriamo) la GSI Non tutti utilizzano replica 2 Workshop della CCR maggio La Biodola 10/16

11 To do list Creazione del MGM alias e script per il failover GSI Installazione interfaccia SRM BeStMan2 Tuning Ulteriore nodo FST ( ) Workshop della CCR maggio La Biodola 11/16

12 Performance Non sono stati fatti approfonditi test prestazionali, questa è l unica testimonianza: «Ho lanciato per due volte 346 job su normal, riuscendo a saturarla in un momento in cui ero l unico utente di questa coda (su tutta la farm, 190 job di alice, 25 di cms e 60 di grid), in configurazione con lettura da GPFS e da EOS via XROOTD. Ciascun job ha analizzato un gruppo di 50 files, a gruppi totalmente disgiunti. Non ho osservato problemi con XROOTD, tutti i files sono stati letti correttamente. Complessivamente, sommando su tutti i job, trovo: real GPFS: 8355 minuti user GPFS: 2272 minuti sys GPFS: 29 minuti real EOS: 2660 minuti user EOS: 2407 minuti sys EOS: 41 minuti» Workshop della CCR maggio La Biodola 12/16

13 Supporto Il supporto del team DSS in particolare nelle persone di Luca Mascetti e Massimo Lamanna è stato fondamentale. Per agevolare le comunicazioni abbiamo creato una mailing list eos@ts.infn.it anche per mantenere un archivio delle informazioni. Grande collaborazione anche con Comtrade che ha accolto un nostro suggerimento ed ha introdotto il parametro --dirfs per agevolare il rilevamento dei file system. Workshop della CCR maggio La Biodola 13/16

14 Documentazione Purtroppo come spesso avviene nell impeto del progetto la documentazione viene sacrificata, ci sono molte presentazioni, un wiki e perfino una pagina web dedicata: ma le informazioni riportate non sono strutturate, colgono alcuni aspetti e mancano di visione generale. Forse l aumentare di utenti esterni contribuirà a stimolare la stesura di documenti più dettagliati. Workshop della CCR maggio La Biodola 14/16

15 EOS nell INFN Ritengo possa essere una valida soluzione per l immagazzinamento dei dati. Collaborazione più strutturata con il CERN, magari coordinata dal WG Storage. Possibile impiego di dischi di tipo archive Shingled Magnetic Recording? Workshop della CCR maggio La Biodola 15/16

16 Referenze Documentazione: Repository: Presentazioni: Workshop della CCR maggio La Biodola 16/16