Report sull attività di monitoraggio del Testbed di INFN Grid

Transcript

1 Catania, 21 Ottobre 2001 Report sull attività di monitoraggio del Testbed di INFN Grid Roberto Barbera 1. Attività passata e presente Un ingrediente importante del successo del testbed di DataGrid, e di INFN Grid in particolare, è la presenza di un efficace sistema di monitoraggio delle risorse (CPU, dischi, nastri, rete). Nell attesa di un tool di monitoring che provenisse dai WP di DataGrid, il testbed INFN si è dotato in questi mesi di un sistema di monitoraggio basato sul ben noto tool MRTG ( che permette, tramite una comoda interfaccia web, di mostrare l evoluzione storica di una qualsiasi risorsa del testbed, quali il carico di lavoro di una CPU, l occupazione di un disco, il numero di processi o di utenti di una data macchina, la disponibilità della rete e così via. MRTG, inizialmente nato come sistema di monitoraggio di router ed apparati di rete, coniuga infatti la possibilità di riportare, in funzione del tempo, sia le MIB di una apparecchiatura, tramite il protocollo SNMP, sia il valore di un qualunque parametro che si vuole controllare e che possa essere estratto da un programma o da uno script. La possibilità, poi, di stabilire delle soglie di allarme per qualsiasi parametro sotto controllo, al cui superamento possono farsi corrispondere delle azioni di problem notify/solving automatiche (invio di di avviso, avvio di procedure di protezione, archiviazione di problem history, etc.), rende pure facile la gestione di testbed molto complessi e distribuiti su area geografica anche da parte di un numero relativamente piccolo di persone. All uopo è stato quindi prodotto un set di file di configurazione di MRTG e di script di controllo che possono essere trovati all URL: ftp://alipc1.ct.infn.it/pub/grid/mrtg/ e che sono relativi a tutti i parametri più importanti che si vogliono controllare: carico CPU, spazio disco occupato/disponibile, numero di utenti/processi, memoria

2 occupata/disponibile, latenza di rete (RTT) ai capi di una connessione punto-punto, traffico di rete in entrata ed in uscita attraverso la scheda di rete di un nodo, uno switch o un router. I file di configurazione e gli script per la lettura dei parametri sono pure corredati da del semplice codice HTML, utile esempio per la creazione della home page del sistemi di controllo in un dato sito. È stata pure scritta una documentazione su come configurare un nodo per poter essere letto da MRTG e su come installare e adattare sia i files di configurazione che gli script che le pagine web di esempio. Tale documentazione è reperibile all URL: ftp://alipc1.ct.infn.it/pub/grid/mrtg/mrtghelp.txt Al momento attuale le varie sedi coinvolte nel testbed di INFN Grid sono state invitate a prendere visione degli script e ad installarli sulle loro farm. Un esempio di implementazione del tool, su scala addirittura sovranazionale, è già disponibile nell ambito del testbed dell esperimento ALICE che si e dotato di un sistema centralizzato di monitoraggio delle proprie risorse gestito da Donato De Girolamo di Bari (donato.degirolamo@ba.infn.it) e disponibile su web all URL (o anche ). Dalla home page, riportata nella Figura 1, è possibile accedere a tutti i servizi di

3 Figura 1 Pagina di monitoraggio centralizzata dell esperimento ALICE. controllo del testbed. Oltre ad un quadro riassuntivo dello stato delle risorse, visibile in Figura 2, è anche disponibile una mappa geografica cliccabile del testbed dell esperimento, riportata in Figura 3, dalla quale è possibile accedere allo stato di tutte le risorse ( cliccando sul nome dei siti), nonché allo stato della rete ( cliccando sui link gialli di connessione). Come esempio di visualizzazione, la Figura 4 mostra l evoluzione temporale della latenza di rete (RTT) tra due siti del Testbed. Il sistema di monitoraggio delle risorse del testbed proposto finora, sebbene

4 Figura 2 Quadro riassuntivo delle risorse del testbed di ALICE. molto potente e versatile, come dimostrato dall implementazione fatta in ALICE, richiede, da parte dell amministratore locale del sito, l installazione di MRTG, l adattamento dei file di configurazione e degli script di lettura dei parametri, nonché l installazione, con conseguente gestione, del web server sul quale MRTG pubblica le pagine con l evoluzione temporale dei parametri che si vogliono monitorare. È

5 . Figura 3 Mappa geografica cliccabile dell Esperimento ALICE comune esperienza che simili overhead sulle già onerose attività dei nostri Centri di Calcolo possono essere grossi ostacoli alla diffusione di un tool di monitoraggio su vasta scala, soprattutto se tale diffusione deve essere veloce e capillare così come richiesto dai tempi e dai modi del Progetto. Nella ricerca di una possibile soluzione, si è dimostrato estremamente fruttuoso lo scambio di opinioni ed esperienze con Paolo Lo Re (paolo.lore@na.infn.it), Giuseppe Sava (giuseppe.sava@ct.infn.it) e Gennaro Tortone (gennaro.tortone@na.infn.it), che si stanno attualmente occupando di realizzare un sistema di network monitoring sia nell ambito di INFN Grid che del Net Group INFN. La loro idea è quella di utilizzare allo scopo Net Saint Network Monitor ( un nuovo progetto software open source con licenza GPL sviluppato per Linux ma che funziona egregiamente su tutti i sistemi operativi di tipo Unix-like attualmente disponibili. Net Saint incorpora le stesse funzionalità di MRTG e le estende includendo, tra le altre, la gestione di diversi tipi di protocolli oltre SNMP (POP3, HTTP, NNTP, PING, etc.), il monitoraggio automatico delle risorse

6 Figura 3 Evoluzione temporale della latenza di rete tra due siti del testbed dell Esperimento ALICE. dei singoli nodi ed un sistema di controllo parallelizzato. Come MRTG, Net Saint dispone di una interfaccia web (in questo caso addirittura tutto è configurabile dall interno del browser con la possibilità di stabilire anche una gerarchia di privilegi di accesso) ed è costituito da un kernel e da un elevato numero di plug-in, uno per ogni servizio che si intende monitorare.

7 Al di là di quelli esposti finora, però, il vantaggio più sensibile di Net Saint, per ciò che concerne le attività di nostro interesse nell ambito di INFN Grid, è il fatto che il monitoraggio è centralizzato e gli amministratori di sistema locali non devono fare altro che comunicare la lista delle risorse (macchine, switch, router, etc.) che fanno parte del testbed e che devono essere monitorate. Allo scopo di provare quanto promesso nella documentazione del tool, in collaborazione con Giuseppe Sava, abbiamo provato a vedere quanto fosse facile/difficile inserire le macchine del testbed di ALICE di cui alla sezione precedente, in una base di dati di Net Saint e far partire un sistema di monitoraggio di alcuni semplici servizi. Per il primo passo il tempo impiegato non è stato superiore ad una giornata e risultati del secondo step sono visibili nelle Figure 4-7 Le Figure 4 e 5 mostrano due possibili viste del testbed da monitorare. Figura 4 Vista d insieme del testbed di ALICE così com è stato implementato in Net Saint. Per ogni sito, è possibile avere la lista dei nodi sotto controllo e, per ogni nodo, il numero e lo stato (indicato dal anche dal codice dei colori) dei servizi che si stanno monitorando. Lo stato di un servizio è stato fatto dipendere da delle soglie messe espressamente sui parametri da controllare.

8 Le figure 6 e 7, invece, mostrano un esempio di stato riassuntivo dei servizi controllati per un nodo e per una apparecchiatura di rete (un router in questo caso), rispettivamente. 2. Attività futura Sin qui lo stato delle attività di monitoring del testbed di INFN Grid a tutt oggi. Le prossime settimane ci vedranno impegnati adesso nel raffinamento dei servizi da controllare e nell implementazione del sistema di monitoring per il testbed di INFN Grid. Figura 5 Altra vista d insieme del testbed di ALICE così com è stato implementato in Net Saint.

9 Figura 6 Vista dello stato dei servizi di un nodo. Figura 7 Vista dello stato dei servizi di un apparecchiatura di rete.