INDACO INfrastruttura di calcolo per il trattamento di DAti COmplessi SCOPO : mettere a disposizione di ogni docente/ricercatore in Ateneo ( e dei suoi Assegnisti, Dottorandi, Laureandi ) una infrastruttura per il calcolo e l elaborazione dei dati, agile ma abbastanza potente da essere utile anche nei progetti nazionali ed internazionali complementarità e sinergia con eventuali risorse proprie, cloud commerciali, CINECA CARATTERISTICHE: Accesso, hw, costi, accounting, sw, supporto Quasi tutte le informazioni sul sito http://www.indaco.unimi.it/ ACCESSO : login da remoto via ssh o rdp con credenziali posta di Ateneo. Nella fase iniziale di uso gratuito richiesta solo semplice registrazione e sottoscrizione online dell'impegno ad attenersi alle regole di buon utilizzo dei sistemi informatici. Esplicita volontà di INDACO di minimizzare la burocrazia per accedere Ulteriori suggerimenti da utenti BENVENUTI piattaforme tecnologiche di ateneo 2
Hardware Storage Lo storage primario di Indaco èbasato sul sistema DDN GS7K Viene utilizzato il file system GPFS di IBM. Sono presenti 100 dischi da 8 TB per un totale di 800 TB raw. piattaforme tecnologiche di ateneo 3
Hardware Computing circa 600 cores server Supermicro con processori E5 2683V4 16 core, 32 threads 2.1 Ghz Nodi light 12 2 proc ognuno INTEL XEON E5 2683 V4 2.1 GHz 16 core fisici 32 threads 256 GB RAM Nr. 2 dischi 300 GB SAS 12 Gb/s 10000 rpm Nodi Fat 2 2 proc ognuno INTEL XEON E5 2683 V4 2.1 GHz 16 core fisici 32 threads 1 TB RAM Nr. 2 dischi 300 GB SAS 12 Gb/s 10000 rpm Nodi GPU 2 2 proc ognuno INTEL XEON E5 2683 V4 2.1 GHz 16 core fisici 32 threads 256GB RAM 2 NVIDIA Tesla K40Nr. 2 dischi 300 GB SAS 12 Gb/s 10000 rpm piattaforme tecnologiche di ateneo 4
Hardware Nodi Management 2 2 proc E5 2630 V4 2.2GHz 10 core fisici 20 threads 128GB RAM Nr. 2 dischi SATA 4TB 6Gb/s 7200 rpm Nodi Rendering per post processing e login 2 2 proc E5 2630 V4 2.2Ghz 10 core fisici 20 threads 128GB RAM Nvidia GRID K2 Nr. 2 dischi SATA 4TB 6Gb/s 7200 rpm piattaforme tecnologiche di ateneo 5
Costi Le tariffe di INDACO sono state elaborate perché per utenti abbonati, siano ricalcate su quelle della convenzione CINECA UNIMI, a parità di potenza di calcolo Usati costi di Galileo ora Marconi ha stessi costi, non abbiamo modificato Per gli utenti UNIMI non abbonati il costo è superiore di circa l 80%, e per gli esterni è circa 2.5 volte quello per gli abbonati. La comparazione con CINECA è stata fatta utilizzando 1 core di Marconi e risulta SPEC Operazioni su interi Marconi 4.08 INDACO 3.9 per core SPEC Operazioni su floating point Marconi 7.0 INDACO 7.25 per core piattaforme tecnologiche di ateneo 6
Costi tabellari (da tariffario) In pratica costi CPU INDACO per abbonati in centesimi di Euro per ora di 1 core, con uso di al più 8GB di RAM/core Standard (nodi light) 2.6 cent Nodi FAT 6.5 cent Nodi GPU 3.6 cent ( solo in bundle da 16 core almeno) Costi INDACO Storage per abbonati in centesimi di Euro per 1 GB per 1 mese 1.1 cent ( diventa 1.6 per non abbonati e 2.0 per esterni) piattaforme tecnologiche di ateneo 7
Costo Zero Nella fase iniziale però CPU e storage saranno gratuiti Promozione e verifica prestazioni per possibilità di successiva modifica tariffario INDACO in questa fase sarà aperta automaticamente ai soli interni UNIMI con le quote: Dipartimenti abbonati: 100 K ore e 10 TB gratuiti, con massimo 10 K ore e 1TB gratuiti per docente/ricercatore ( i non strutturati all atto della registrazione dovranno fornire anche il nome dello strutturato di riferimento (responsabile), le cui risorse useranno e che sarà avvertito ) Esplicita volontà di INDACO che anche i non strutturati possano accedere facilmente Dipartimenti non abbonati: 50 K ore e5tb gratuiti, con massimo 10 K ore e 1TB gratuiti per docente/ricercatore piattaforme tecnologiche di ateneo 8
ACCOUNTING Le risorse consumate verranno costantemente tenute in conto per ogni utente e ogni responsabile, che riceveranno comunicazioni via mail quando saranno state raggiunte frazioni significative delle risorse messe a disposizione ( 30, 60, 90, 99%???) Terminate le risorse allocate (in prima applicazione quelle gratuite), il responsabile che intenda continuare a usare INDACO, dovrà aggiornare la sua registrazione indicando i fondi ( ammontare e identificativo Fondo) che intende impegnare su INDACO. Il trasferimento materiale dei fondi deve potere avvenire sia a consuntivo ( mensilmente?) che anticipatamente ( abbiamo già offerte per pagamenti anticipati da vari utenti per un totale di quasi 50 K Euro), ma bisogna ancora capire con quali procedure amministrative sia meglio procedere Contiamo di capirlo presto con il fondamentale supporto dell ufficio centrale UNITECH che ringraziamo per quando fatto finora, assieme a DIVSI che ci ha offerto sede etc. Speriamo che tutti gli uffici centrali di Ateneo in futuro saranno altrettanto supportivi piattaforme tecnologiche di ateneo 9
SW e istruzioni disponibili Sul sito http://www.indaco.unimi.it/index.php/guide/ È disponibile una prima versione di guida utente, di cui vi mostro l indice 1. Accesso alla federazione di cluster 2. Sistemi di storage disponibili 3. Come copiare il proprio dataset 4. Moduli Load/Unload 5. Compilatori clang LLVM compiler GCC, the GNU Compiler Collection piattaforme tecnologiche di ateneo 10
SW e istruzioni disponibili 6. Utilizzo del sistema batch SLURM Esempio di script batch slurm per applicazione seriale Comandi principali Esempio di script batch slurm per applicazione parallela Esempio di script batch slurm per applicazione multi thread Esempio di script batch slurm per applicazione MPI Esempio di script batch slurm per high throuphout 6.1 Dipendenze logiche e pipeline 6.2 Come cambiare l account corrente per addebitare le ore di calcolo del job piattaforme tecnologiche di ateneo 11
SW e istruzioni disponibili 7. Tabella di conversione PBS Slurm 7.1 Tabella di conversione Condor Slurm 8. Accesso in modo interattivo ai cluster 9. Accesso in modalità grafica 10. Come utilizzare i container singularity 11. Come lanciare la prima virtual machine Linux 12. Come attivare un cluster di virtual machine Linux 13. Come lanciare la macchina virtuale Windows Aggiungere applicazioni alla vm piattaforme tecnologiche di ateneo 12
APPLICAZIONI e LIBRERIE 14. Applicazioni Falcon e Falcon_unzip Gauss Gromacs OpenFoam Matlab Relion SMRT (PacBio) Spark genomics mathematics and statistics molecolar dynamics computation and modelling calculus modellistica cryo Electron Microscopy genomics big data processing 15. Librerie Stata statistics Petsc scientific computation PETSc piattaforme tecnologiche di ateneo 13
Supporto Sarà ovviamente possibile aggiungere altri compilatori e altro sw Qualche fondo è stato riservato, l uso ovviamente andrà concordato con CS In questa fase iniziale il personale di INDACO è validissimo, ma non propriamente abbondante Per problematiche tecniche il contatto e mail è indaco tech@liste.unimi.it Per malfunzionamenti è disponibile un servizio ticket http://www.indaco.unimi.it/indaco/form request/ Per questioni più generali, proposte di accordi, etc. potete contattare il presidente del CS ( laura.perini@unimi.it) e in generale anche membri «vicini» del CS che riporteranno Contiamo di potere strutturare una rete di supporto più larga di cui facciano parte esperti di tutte le categorie, ma questo avverrà dopo una fase iniziale di rodaggio e avendo accertata qualche disponibilità di fondi a questo scopo piattaforme tecnologiche di ateneo 14
CLUSTER Satelliti e altro Il Dipartimento di Matematica e quello di Fisica mettono a disposizione degli utenti di INDACO una parte dei loro cluster di calcolo, ad un costo per core pari all 80% di quello dei nodi standard. L accesso a queste ulteriori risorse verrà aperto solo a conclusione del periodo di gratuità in modo da capire come integrare al meglio queste risorse con il cluster INDACO C è una possibilità di ottenere gratis da CINECA 36 nodi della macchina GALILEO che stanno dismettendo ( ma ha poco più di 2 anni) e che avrebbe una potenza di calcolo paragonabile al cluster INDACO Molto da capire ancora ma possibilità molto interessante piattaforme tecnologiche di ateneo 15
Clusters a Matematica e Fisica piattaforme tecnologiche di ateneo 16
Da Quando? INDACO inizierà ad essere disponibile prestissimo Dal 5 Febbraio 2018 tutti gli interessati potranno registrarsi ed accedere. Confidiamo che gli utenti accorreranno presto numerosi per approfittare della straordinaria opportunità offerta piattaforme tecnologiche di ateneo 17