Aggiornamento Calcolo, Reti, etc.

Transcript

1 Aggiornamento Calcolo, Reti, etc. Febbraio 2010 M.Nanni F.Bedosti, F.Tinarelli, S.Tubertini, M.Tugnoli

2 Stato di avanzamento di Lepida: La Rete Metropolitana di Bologna 5 Agosto 2009 sventato un ritardo nella posa I posatori stavano per essere allontanati da un geometra del cantiere Universitario

3 Stato di avanzamento di Lepida: La Rete Metropolitana di Bologna A Settembre, con una fibra in casa, che attraversa a mezzo il cantiere.. si puo aprire il tavolo tecnico

4 Stato di avanzamento di Lepida: La Rete Metropolitana di Bologna 11 Novembre 2009: Firmata convenzione tra GARR e Lepida SpA Fin qui si era andati sulla fiducia!!. e a Giugno e cambiata la ragione sociale di Lepida ed il quadro dirigente..

5 Stato di avanzamento di Lepida: La Rete Metropolitana di Bologna Dicembre: seconda tratta su via Gobetti

6 Stato di avanzamento di Lepida: La Rete Metropolitana di Bologna 20 Dicembre Attivazione del collegamento con il PoP Garr Tempi previsti per ultimare i lavori sui 343 nodi 30/10/2010 Tempi previsti PoP Garr in Area Inizio 2011

7 Schema collegamenti Garr X ENEA E_03 POP Siti utente IRSIG E_13 ENEA E_01 di I livello Siti utente INGV E_08 di II livello EMILYLINK CNR E_04 E_11 Ufficio Scolastico Regionale IRRE E_11 CMCC E_09 CNAF E_06 Layer Comune BO AFAM E_12 CINECA Casalecchio SIF E_07 Transito: POP Acantho Tolmino (a carico RER)

8 Medicina e-vlbi Collegamento diretto dark di 32 Km con il CNAF Velocita attuale : 1 Gbit/sec Abbiamo acquistato gli apparati per andare a 10 Gbit/s Da Mark-V a Router Da Router a Cnaf Ma al CNAF.. Non hanno una porta libera a 10 G Attendere nuove dorsali Garr-X e/o collegamento diretto PoP AREA Lightpath 10 Gbit/s Bologna-Amsterdam 50 KE/Anno (ora 20K per 1G) LOFAR?

9 Medicina Area-Bologna Area CNR Bologna e-vlbi Medicina

10 Bologna - Medicina Antenna sulla rete locale dell IRA-Bo I dati possono essere registrati ed elaborati direttamente sui calcolatori a Bologna. I servizi IRA-Bo sono sulla rete locale di Medicina La stazione puo utilizzare i server di Bologna Come procedere a Medicina: Portare tutti I sistemi sulla rete e-vlbi Realizzare sistema di back-up con router linux+key Dismettere CDN a 2 Mbit ( -27KE/anno) differenza per lightpath Bologna Amsterdam da 1 a 10 Gbit/s

11

12

13 Rete per la radioastronomia TN1 TN1 UD1 UD1 MI4 MI4 CO CO TN TN MI2 MI2 MI1 MI1 UD UD PD PD TO TO PV PV MI3 MI5 MI5 MI3 FE FE BO1 BO1 GE GE PI PI FE1 FE1 BO2 BO2 FI FI AN AN RM2 RM2 Civitavec. Civitavec. G.652 TS TS PG PG AQ1 AQ1 AN1 AN1 MI1 MI1 PE PE AQ AQ RM1 RM1 2x10G Termoli Termoli FG1 FG1 CB CB SS1 SS1 Olbia Olbia NA NA CA CA SA SA PZ PZ CS CS CA1 CA1 MT MT IRA-INAF BO BO1 BA BA BR BR LE LE 3x10G 10G 10G 10G CZ CZ Lamezia Lamezia G.654 PA PA ME1 ME1 RC RC Mazara Mazara CT CT Oss. S.Basilio (CA) Oss. Medicina (BO) Oss. Noto (SR)

14 Completare la infrastruttura nazionale nel prossimo triennio Realizzare i collegamenti al Garr -- SRT (80 KE/anno) -- Noto (80 KE/anno) Implementare light-path

15 One of Nexpres goal: Buffering (caching) of hight speed data At various point of the transport chain For a no real time correlator and data reprocessing (multibeam) Size: at 1 Gbit/sec 450 Gbyte/h = 10 Tera/day x ant. ( 4 Gbit/sec x 2 days x 4 ant. = 320 Tera ) Speed: commercial disks and systems: Dell Raid5 Gpfs Areca Raid5 Gpfs 0.3 Gbit/s Areca Raid5 Sata 1.5 Gbit/s 0.5 Gbit/s Raid0 SAS 15K 2.2 Gbit/s

16 Collegamenti INAF Gennaio 2010 Sede Banda 2007 Mbit/s Banda attuale Mbit/s Collegamento Tipo dark Upgrade eseguito in data X Ott INAF - OA Arcetri P/P 2 INAF - OA Bologna Lan 3 INAF - IASF Bologna Lan X gen-10 4 INAF - IRA Bologna Lan X gen-10 5 INAF - OA Cagliari, Capoterra (CA) 2 2 P/P 6 INAF - OA Capodimonte (Napoli) P/P 7 INAF - OA Catania Lan 8 INAF - OA Brera, sede di Merate INAF - OA Brera, sede di Milano INAF - IASF Milano 11 INAF - IRA - Noto (SR) 12 Upgrade Previsto in data 2010 U Mag-2009 P/P U Giu P/P X Gen Lan 0,5 2 P/P INAF - OA Padova P/P X Ott INAF - OA Palermo P/P X Dic INAF - IASF Palermo Lan 15 INAF - OA Roma, Monte Porzio P/P U Lug INAF - IASF Roma (Tor Vergata) Lan 17 INAF - IFSI Roma (Tor Vergata) Lan 18 INAF - Presidenza, Roma 2 2 P/P 19 INAF - OA Teramo 2 8 P/P 20 INAF - OA Torino P/P 21 INAF - IFSI Torino Lan 22 INAF - OA Trieste P/P 23 INAF - IRA - Medicina (BO) P/P 24 INAF- SRT 25 INAF - NOTO Mar-2010 Ago-2009 X Feb-2009 X Set-2008 Gen ??

17 Grid (e HPC) in Inaf Milano Gennaio Esigenze di calcolo dell Inaf: Calcolo parallelo (Cineca). Cambiera la politica di assegnazione risorse. Ora disponibili n * 10^5 ore a prezzo politico Domani ore assegnate gratuitamente a 5-6 progetti selezionati da tutte le discipline. Consorzi (Cometa/SyberSar) : Problemi di gestione $$$ Progetto FP7 SAFE... Non e passato (2/2/2010) Ruolo dei centri/sistemi calcolo INAF?

18

19 Alma Regional Center Requirements Users should be able to load data on the storage from remote hosts as well as from a local external USB/E-SATA disk. Single object size is up to 1 TB. During processing, CASA requires about three times the object size of free disk space. At least 10 TB of disk space are needed per-user. Data has a limited lifetime. Depending of the degree of parallelization reached, an 8 cores computer should be enough for both interactive and non-interactive usage. Users should be able to use the program in a interactive/graphical manner as well as in a job scheduling way

20 The ARC cluster at IRA

21 The actual situation Hardware: 12 Blade computers with 8 x 2.1 GHz cores and 8 GB of RAM each 14 TB of SATA storage on GPFS, connected with a 10Gbit ethernet network. Software: CASA (Common Astronomy Software Applications) a set of C++ tools bundled in an ipython interface. Conceived for interactive use, although scripting is possible via the ipython interface. Parallelization of algorithms is undergoing. A PBS/Torque scheduler is used to balance the load. + AIPS Classic (1977)

22 WHERE THE GRID CAN HELP US Massive submission of parametrized noninteractive jobs Data transfer, storage and pruning UI unification and portability Aggregation of other resources geographically distributed across different locations (Arc)

23 Grid, Cloud Computing. Servono di nuovo risorse di calcolo centrali Strumenti per far dialogare Sistemi centrali e PC (terminali) Autenticazione (certificati / key / password) X-Terminal Code batch / parallelizzazione per uso ottimale delle risorse Una cultura sull uso delle risorse remote

24 Web Alma: Local Resources Abbiamo: 12 CPU x 96 core 14 Tera spazio disco Rete 10 Gbit/s Casa, AIPS Informazioni Ci occorre un feed-back: Comprensibilita informazioni, efficienza sistemi Usate Casa ed AIPS (190 AMark) anche sul nuovo cluster

25 Calcolo IRA Spazio Disco pubblico ( GByte) (di cui in GPFS) Condiviso a tutte le macchine linux via NFS Visibili dai sistemi Windows (anche server2003) Disco home nel directory /homes ( max 2 GBy ) Visibile sotto la directory /iranet (aree pubbliche) In gran parte con backup giornaliero o settimanale Info specifiche sul sito web

26

27 Calcolo IRA Server di Calcolo La velocita della CPU non e aumentata negli ultimi 4 anni, siamo fermi a un massimo di 3.5 GHz Sono disponibili per calcolo sistemi come: Gaia (3GHz e dischi SCSI) C1 (Dual Xeon 2GHz) Sistema in back_up C2 ( Dual Opteron 2Ghz) Sistema in back_up WN01-04 ( Dual Xeon 3GHz) Parte del mini cluster Grid WN05-08 (Dual Opt. 2.5GHz) Parte del mini cluster Grid Maggiori Info sul web

28 Calcolo Cluster di Calcolo Mini-Grid 4 Unit Xeon 3GHz 2 X 4 Unit AMD 2GHz 2 X 2 Core Totale 24 Core Rete a 1 Gbit/s Rete GPFS a 1 Gbit/s Server NAS2 dischi Raid 5 per un totale di 7 TeraByte Usato fino ad ora per test sul correlatore DiFX e sul Grid

29 Calcolo Cluster di Calcolo Mack Sistemi AMD 2.4 GHz Rete a 1 Gbit/s ( reali 400 Mbit/s) 1 Server disco 1000 Gbyte File System GPFS Compilatore F90 PGI (4-6X) Sistemi 15 e 16 degradati

30 Lavori in Corso Interventi Hard /Soft Sostituzione macchine (M1) Mail e (H1) /homes con un nuovo server HP Proliant DL180 G6 (Quad core 2Ghz, 4GBy, 0.6 TeraByte Dischi SAS 15K) Attuali server M1-H1 sistemi critici del 2005 Dischi molto piu veloci ( 4X ) Molto traffico tra le due macchine, entrambe critiche Occasione di aggiornamento SO e servizi Mirror e Back-Up a freddo su secondo sistema

31 Lavori in Corso Interventi Hard /Soft Aggiornamento Serv2003 Utilizzando hardware recuperato da H1-M1 Problemi non risolvibili sull HW attuale di Serv2003 Vi sono inconsistenze con nuovo sistema Samba+Ldap Riorganizzazione spazio lavoro (ammin) per conflitti sui nuovi Office

32 Lavori in Corso Cambiate le UIC da > 100 a > 1000 ) Cambiato il sistema autenticazione con LDAP Il sistema di autenticazione e quello che valida le password per entrare sui sistemi Linux ma anche Posta Elettronica / proprieta dei dischi di rete / accessi ai sistemi windows LDAP: E supportato da diversi sistemi operativi Un Ldap separato (ma coerente) per Alma Permette di assegnare scadenze alle password (stud) Permette di qualificare gli utenti Ha una struttura gerarchica e permette cascate

33 Lavori in Corso INAF Partecipa alla federazione IDEM Accedere a servizi condivisi con una unica chiave di accesso Un servizio (Biblioteca, rete Wireless, Videoconferenza, Presenze, Cedolini del Cineca [??].. ) anziche assegnare a ogni utente una password riconosce le identita e le passwod assegnate dalle strutture che afferiscono alla confederazione. Possibilita di prenotare stanze nelle Videoconf Garr IRA e IASF: stiamo sperimentando l uso del nostro Ldap come secondario della Biblioteca di Area

34 Indirizzi di internet I nodi della rete sono identificati da numeri a 32 bit Circa 4 miliardi di indirizzi diversi Noi (IRA) stiamo usando: x ( fino a 254 macchine su rete pubblica) x ) (nodi GPFS rete chiusa) x (sistemi MACH rete nascosta) x ( sistemi DHCP rete nascosta) x ( sistemi ARC rete nascosta) x ( sistemi su rete nascosta) Nel 2012 non vi saranno piu indirizzi da assegnare!

35 IPv6 il successore di IPv4 Da circa 15 anni si sta lavorando su una nuova versione di IP basato su un diverso tipo di indirizzamento Indirizzi da 128 bit: Numero illimitato di nodi ( 3*10^38) Facilita di autoconfigurazione Ogni nodo visibile sulla rete senza NAT Orientato alla mobilita Uso efficiente della rete Bla. Bla. Bla 2001:760:2a14:fffe:204:23ff:fec1:6cb8

36 Ipv6 all Area di Bologna

37 Indirizzi 2001:760:2a14:fffe:204:23ff:fec1:6cb8 A ogni struttura: 48 bit Identificativo assegnato 16 bit reti assegnate 64 bit 4*10^19 ( ipv4*ipv4) nodi sulla singola rete Cosa avevano in mente gli implementatori? Come usare nel modo piu intelligente questo spazio?

38 Presente

39 Ipv6 all IRA Nella rete: 2001:760:2a14: sistemi con indirizzo fisso (web, mail, dns..) Nella rete: 2001:760:2a14:FFFE Linux autoconfigurati Vista/Windows 7 autoconfigurati Windows XP / Mac possono essere configurati Inconsistenze incontrate fino ad ora: Incompatibilita con YP (Mach) Problemi di protezione su alcuni servizi (web, pine ) MA FUNZIONA!

40 Web-Cam un gioco...