Stato Calcolo, Reti, etc.

Transcript

1 Stato Calcolo, Reti, etc. IRA Febbraio 2011 M.Nanni F.Bedosti, F.Tinarelli, S.Tubertini, M.Tugnoli

2 Stato di Avanzamento:

3 Stato di Avanzamento:

4 Stato di Avanzamento:

5 PoP

6 Lepida e Garr X ENEA E_03 POP Siti utente IRSIG E_13 ENEA E_01 INGV E_08 di I livello Siti utente di II livello CNR E_04 EMILYLINK E_11 HOPKINS CMCC E_09 CNAF E_06 CINECA Casalecchio AFAM E_12 Transito: POP Acantho Tolmino SIF E_07

7 Stato di avanzamento di Lepida: La Rete Metropolitana di Bologna Ultimati i lavori sui 343 nodi Lepida - Attivo PoP basic Collegamenti non ancora consegnati ufficialmente Previsto PoP Garr-X in Area da Marzo Gbit/s

8 Riposizionamento PoP di Area

9 Firewall di Area e di Lan Semplificare la gestione della sicurezza scaricando lo switch di Area

10 PD PD MI2 MI2 MI1 MI1 TO TO PI PI FI FI NA NA GE GE CT CT PA PA RC RC CZ CZ CS CS AN1 AN1 TS TS MI4 MI4 CO CO BA BA SA SA PE PE CA CA AQ AQ Olbia Olbia PZ PZ MT MT TN1 TN1 G.652 G.654 FE FE BR BR LE LE UD1 UD1 PG PG PV PV BO2 BO2 BO1 BO1 Civitavec. Civitavec. Lamezia Lamezia RM1 RM1 CA1 CA1 AN AN SS1 SS1 AQ1 AQ1 FE1 FE1 MI3 MI3 MI5 MI5 Mazara Mazara RM2 RM2 FG1 FG1 ME1 ME1 TN TN UD UD Termoli Termoli CB CB Rete per la radioastronomia PD PD MI2 MI2 MI1 MI1 TO TO PI PI FI FI NA NA GE GE CT CT PA PA RC RC CZ CZ CS CS AN1 AN1 TS TS MI4 MI4 CO CO BA BA SA SA PE PE CA CA AQ AQ Olbia Olbia PZ PZ MT MT TN1 TN1 G.652 G.654 FE FE BR BR LE LE UD1 UD1 PG PG PV PV BO2 BO2 BO1 BO1 Civitavec. Civitavec. Lamezia Lamezia RM1 RM1 CA1 CA1 AN AN SS1 SS1 AQ1 AQ1 FE1 FE1 MI3 MI3 MI5 MI5 Mazara Mazara RM2 RM2 FG1 FG1 ME1 ME1 TN TN UD UD Termoli Termoli CB CB BO1 Oss. Medicina (BO) Oss. Noto (SR) Oss. S.Basilio (CA) IRA-INAF BO 3x10G 10G 10G 10G MI1 MI1 2x10G BO1 Oss. Medicina (BO) Oss. Noto (SR) Oss. S.Basilio (CA) IRA-INAF BO 3x10G 10G 10G 10G MI1 MI1 2x10G

11 Medicina e-vlbi Attivo collegamento diretto dark di 32 Km con il CNAF Velocita attuale : 1 Gbit/sec Abbiamo acquistato gli apparati per andare a 10 Gbit/s Da Mark-V a Router stazione attivi Da Router stazione a Cnaf in attesa di porta 10G disponibile Rs Rout. Med 1G MK5 10G PoP Garr 1G Lightpath JIVE Stiamo attendendo (estate 2011) - Attivazione porta su PoP Garr Cnaf - Attivazione LightPath 10G Milano-Amsterdam Garr-X a regime: collegamento su PoP AREA (fine 2012)

12 Collegamento dell Antenna di NOTO 135 Km di fibra ottica dal PoP GARR di Catania all antenna di Noto

13 Collegamento dell Antenna di NOTO In corso riparazione della rotaia Collegamento previsto al termine dei lavori (inizio 2012? ) Lambda 1 Gbit/s Noto-Bologna Costo 100 KEuro X 6 anni

14 SARDINIA RADIO TELESCOPE

15 Sardinia Radio Telescope Delibera Regionale Marzo ML Euro per completare collegamento rete Cybersar ( SRT, Osservatorio Cagliari) Predisposto dal Garr (Aprile 2010) due collegamenti a 2.5 Gbit/s Cagliari-Roma (scarsi rapporti su Jana) Richiesto collegamento Garr a bassa velocita con la stazione (6 Mbit/s). 2-3 mesi. Lavori di posa fibra regionale a pochi Km da SRT Necessario chiarire rapporto Cybersar-Garr Futuro riposizionamento linea bassa velocita a 2Km da SRT per analisi disturbi.

16 The EC has awarded the new NEXPReS project 3.5 million euros to advance data transfer, buffering, storage and distributed computing technologies. The improvements are expected to significantly enhance the "e-evn Programme", a SKA Pathfinder Technology Incrementare il numero di stazioni che partecipano all e-vlbi Incrementare la banda osservativa da 512 Mbps a 4 Gbps (dbbc) Buffering/storage alla stazione ed al correlatore Larga banda e storage on demand Correlazione distribuita (DiFX e implementazione formato VDIF)

17 Buffer/storage

18 Partecipazione INAF - IRA WP8: Provisioning High-Bandwidth. High- Capacity Network Bandwidth, capacity, and concurrency-aware allocation methods of storage elements (INAF, AALTO) Integration of storage element allocation methods with transparent multi-gbps access (JIVE, ASTRON, AALTO, INAF)

19 One of the goal: Buffering (caching) of hight speed data At various point of the transport chain For a no real time correlator and data reprocessing (multibeam) Size: at 1 Gbit/sec 450 Gbyte/h = 10 Tera/day x ant. ( 4 Gbit/sec x 2 days x 4 ant. = 320 Tera ) Speed: commercial disks and systems: Dell Raid5 Gpfs 0.3 Gbit/s Areca Raid5 Sata 1.5 Gbit/s Areca Raid5 Gpfs 0.5 Gbit/s Raid0 SAS 15K 2.2 Gbit/s

20 Ibrido Storage Correlatore Cluster su rete Infiniband

21 Correlatore DiFX Sviluppato alla Swinburne University da A.Deller, S.Tingay, C.West, W.Brisken (NRAO) and W.Wilson (ATNF) Basato su cluster MPI di sistemi Linux

22 Porting di DiFX all IRA Dalla tesi di dottorato di J.Morgan ( )

23 Storage : Alternative e scelte Nas con RAID interno o Jbod iscsi? File system fisico (Ext4, XFS, ) o di rete (GPFS, Lustre)? Storage e correlatore separato o ibrido? Uso del Grid per la multicorrelazione e la gestione geografica dati? IPv6 puo aiutare nella distribuzione dei dati?

24 Alma-ARC: Local Resources 1 Gbit/s

25 Alma-ARC: Local Resources Avevamo: 12 CPU x 96 core 14 Tera spazio disco Rete 10 Gbit/s 13^ Lama ( specializzata! ) 1 CPU ( 30% piu veloce) 4 core 16 Gby Memoria

26 Alma-ARC: Local Resources Nuovo NAS 40 TeraByte di spazio disco Rete GPFS 10 Gbit/s Costo 11 KEuro F2f users: 10 TBy per il periodo + 1 mese INAF Staff : 2.5 TBy unlimited

27 Alma-ARC Local Resources Hardware: 12 Blade computers with 8 x 2.1 GHz cores and 8 GB of RAM each 1 Blade computer with 4 x 2.8 GHz cores and 16 GB of RAM 54 TB of SATA storage on GPFS on a 10Gbit ethernet network. Software: CASA (Common Astronomy Software Applications) a set of C++ tools bundled in an ipython interface. + AIPS Classic (1977) Miriad, IDL+Healpix, gildas, parseltongue, sexstractor.. Ssh access with load balancing: ssh -Xt -l your_user arcserv.ira.inaf.it qsub -XI

28 Distributed Unified Computing of Knowledge (DUCK) Occasione per ridiscutere valutare le esigenze di calcolo degli Istituti nell AREA di Ricerca di Bologna (Grid / HPC / Cloud) Portato sul Grid 100 cores di calcolo di Area Realta eterogenee CNR/INAF vs organizzazione INFN/CERN Studio uso di parallelismo a grana grossa: Valutazione interventi sui task critici Parallelizzato Clean di CASA (64 bande frequenza) Uso del grid nella aggregazione di dataset distribuiti

29 What will be the tasks at INAF ARC computer cluster? Tasks that take advantage using many cores: Data reduction of many ( ) images at a time Run of the task on a data set with different parameters Tasks that require strong CPU and BIG memory Large images ( > 8000 x 8000) Mosaic Multidimensional images

30 Cosa ci aspettiamo di ottenere Non sappiamo cosa vorranno fare I ricercatori di questi potenti strumenti domani survey di immagini? Simulazioni? Correlazioni di centinaia di campi? Le risorse di calcolo e di rete non devono essere limitanti nella ideazione e sviluppo dei progetti. Ne possiamo dimensionare le risorse alle massime esigenze oggi (!) prevedibili. Possiamo contribuire a realizzare uno Strumento che, alla bisogna, ci possa fornire unita di calcolo

31 Calcolo IRA Spazio Disco pubblico ( GByte) (di cui in GPFS) Condiviso a tutte le macchine linux via NFS Visibili dai sistemi Windows (anche server2003) Disco home nel directory /homes ( max 3 GBy ) Visibile sotto la directory /iranet (aree pubbliche) In gran parte con backup giornaliero o settimanale Info specifiche sul sito web

32

33 Calcolo IRA Server di Calcolo Sono disponibili per calcolo sistemi come: Gaia (3GHz e dischi SCSI) Accesso da rete C1 (Dual Xeon 2GHz) calcolo C2 ( Dual Opteron 2Ghz) calcolo C3 ( Xeon 2 Ghz ) Memoria: 48 GByte WN01-04 (Dual Xeon 3GHz) in riposizionamento WN05-08 (Dual Opt. 2.5GHz) in riposizionamento

34 Mack 16 (15!!) Calcolo Cluster di Calcolo 15 Sistemi AMD 2.4 GHz Rete a 1 Gbit/s ( reali 400 Mbit/s) 1 Server disco 1000 Gbyte File System GPFS Compilatore F90 PGI (4-6X) Singola CPU molto veloce CLUSTER MPI Ultimamente non molto impegnati

35 Sostituzione di Serv2003 con WINSERV Da linux: rdesktop winserv.ira.inaf.it Windows Accesso Remoto Anche da rete pubblica

36 Accedere al Window manager di un server da altro sistema operativo (X11, NX)

37

38 Indirizzi di internet I nodi della rete sono identificati da numeri a 32 bit Circa 4 miliardi di indirizzi diversi Noi (IRA) stiamo usando: x ( fino a 254 macchine su rete pubblica) x ) (nodi GPFS rete chiusa) x (sistemi MACH rete nascosta) x ( sistemi DHCP rete nascosta) x ( sistemi ARC rete nascosta) x ( sistemi su rete nascosta) Nel 2012 non vi saranno piu indirizzi da assegnare!

39 Cosa vuol dire veramente? L organizzazione internazionale che assegnava gli indirizzi alle Telecom non ha piu nulla da assegnare Vi sono migliaia di reti nel portafoglio delle Telecom Ne abbiamo una dozzina libere in Area CNR Nuove Telecom non potranno avere reti Mercato nero degli indirizzi IPv4? Istituzioni scientifiche asiatiche e americane ci stanno chiedendo di rendere disponibili servizi sientifici anche nei protocolli IPv6 Il Garr ha dato indicazioni affinche almeno i computer dei servizi (Web, Mail, Database, calcolo,etc ) siano in IPv6 prima del 2012

40 Indirizzi 2001:760:2a14:fffe:204:23ff:fec1:6cb8 A ogni struttura: 48 bit Identificativo assegnato 16 bit reti assegnate 64 bit 4*10^19 ( ipv4*ipv4) nodi sulla singola rete Uno spazio enorme da sfruttare al meglio

41 Ipv6 all IRA Nella rete: 2001:760:2a14: sistemi con indirizzo fisso (web, mail, dns..) Nella rete: 2001:760:2a14:FFFE Linux autoconfigurati Vista/Windows 7 autoconfigurati Windows XP / Mac possono essere configurati Corso via videoconferenza su IPv6 Altri istituti CNR dell Area stanno sperimentando Strutture INAF?? Va sperimentato IPv6 nel e-vlbi

42 INAF nella federazione IDEM Accedere a servizi condivisi con una unica chiave di accesso Un servizio (Biblioteca, rete Wireless, Videoconferenza, Presenze, Cedolini del Cineca [??].. ) anziche assegnare a ogni utente una password riconosce le identita e le passwod assegnate dalle strutture che afferiscono alla confederazione. IRA e IASF hanno partecipato alla sperimentazione con la biblioteca di Area Seminario di Tinarelli del Maggio 2010

43 IdP per INAF Gestore delle Identita dei dipendenti INAF CSA Astro Dip crea/cancella dipendente mail / tel / ruolo LDAP IdP Dipendente Password Dipendenti TI e TD [1100] TTL = 2 anni Collaboratori (Borsisti, Assegnisti, ) [300] TTL = 1 anno Associati [300] TTL = 1 anno Personale in formazione [250] TTL = 3 mesi

44 Attivare l utenza e cambiare la password

45 IDEM IdP Username cognome.nome con regole simili a quelle del cedolino stipendiale Si potra avere alias nome.cognome@inaf.it Ci permettra di controllare meglio gli accessi e l utilizzo delle risorse (certificati grid ) Quando? Superati test tecnici di funzionamento In attesa di valutazione da parte del CDI Sara l ultima password di lavoro che dovro ricordare?

46 Calcolo: Informazioni e Burocrazia Difficile informare i nuovi arrivati L invenzione del modulo e vogliamo anche la foto!!

47

48 Calcolo: Informazioni e Burocrazia Difficile tenere informati delle novita