Il Sistema di Monitor e di Controllo della Farm On-line

Transcript

1 Il Sistema di Monitor e di Controllo della Farm On-line, Bologna Incontro con i Referee di LHCb Bologna,

2 Flusso dei dati in L1&HLT Front-end Electronics FE 1 FE FE FE FE FE FE FE 2 FE FE FE FE 2 1 TRM Switch Switch Switch Switch Switch Storage System Gb Ethernet Level-1 Traffic HLT Traffic Mixed Traffic SFC Switch CPU CPU SFC Switch Readout Network CPU CPU 2 1 SFC Switch L1 CPU D CPU 94 Links 7.1 GB/s 94 SFCs L1 Trigger ~1800 CPUs SFC Switch CPU B ΦΚ CPU s L1-Decision SFC Switch HLT CPU Yes CPU CPU CPU CPU CPU CPU Il Sistema di Monitor e di Controllo della Farm On-line Sorter CPU Farm L0 Yes TFC L1 System Yes

3 Studi sul Throughput e sul Datagram Loss nelle connessioni Gigabit Ethernet rate [Mb/s] Mb/s 560 Mb/s 1000 Mb/s 498 B 1472 B 2952 B 4432 B 5912 B 7392 B 8872 B tuned kernel configuration standard kernel configuration kernel total rate UDP payload rate total rate UDP payload rate datagram size [B] Il Sistema di Monitor e di Controllo della Farm On-line. 3

4 Il Software Si tratta di 4 pacchetti software diversi per il monitor e il controllo dei processi sulla farm on-line: logger task manager process controller monitor Release: Novembre Gennaio prevista per febbraio-marzo 2005 Il Sistema di Monitor e di Controllo della Farm On-line. 4

5 1- Il Logger È uno strumento che consente di raccogliere centralmente i messaggi (debug/info/warning/error/fatal) prodotti dalle applicazioni che sono in esecuzione sulla farm. Utlizza, come trasporto, TCP, mediante il middleware DIM (Distributed Information Management System, mantenuto da C. Gaspar, CERN, EP). Utilizza come buffer locale una POSIX FIFO (alias named pipe). Il Sistema di Monitor e di Controllo della Farm On-line. 5

6 1- Il Logger (II) È in grado di raccogliere messaggi inviati su stderr/stdout dal software di sistema (p.es. il dynamic linker, vedi screen shot). È a prova di congestione della rete. In una rete quasi-congestionata, potrebbero bloccarsi tutte le applicazioni che tentano di inviare messaggi via TCP. Il logger può utilizzare una estensione Linux delle FIFO POSIX.1 (open RW non-blocking della FIFO) che consente: di effettuare scritture non-blocking sulla FIFO. nel caso in cui la FIFO si riempie completamente perché la rete è troppo affollata, il drop automatico (svuotamento totale con perdita dei messaggi) della FIFO. Il Sistema di Monitor e di Controllo della Farm On-line. 6

7 1- Il Logger (III) È composto di 3 parti: Un server leggero che deve essere in esecuzione su tutti i nodi della farm. Un client tty-oriented che può essere eseguito su uno o più PC simultaneamente e che può ricevere messaggi da tutti i server. Un client PVSS (con le stesse funzioni del client tty-oriented) integrato al client PVSS del task manager. Il Sistema di Monitor e di Controllo della Farm On-line. 7

8 2 - Il Task Manager È uno strumento che consente di avviare, listare e fermare i processi su tutti i nodi della farm. Utilizza, come trasporto, TCP, mediante il middleware DIM del quale abbiamo proposto e ottenuto alcune modifiche. Per tenere traccia dei processi imposta a ogni processo da esso avviato una variabile di environment (da noi denominata UTGID, User Assigned Unique Thread Group Identifier). In questo modo il marchio imposto ai processi sopravvive anche a un eventuale morte del task manager. Può avviare o fermare con un solo comando lo stesso processo su tutti i nodi il cui hostname corrisponde a un POSIX.2 wildcard pattern (*,?, classi di caratteri [027], intervalli [3-7], ecc.). Può ripulire l environment e aggiungere un numero arbitrario di variabili di environment al processo avviato. Può reindirizzare sul logger lo stderr/stdout del processo avviato. Il Sistema di Monitor e di Controllo della Farm On-line. 8

9 2 - Il Task Manager (II) Può avviare processi come demoni (process leader, umask ripulita, standard file descriptor reindirizzati su /dev/null o sulla FIFO del logger, ecc.). Può impostare il tipo di scheduler (time sharing, fifo o round robin) del processo avviato. Può impostare la priorità statica (real-time) ai processi avviati con gli scheduler fifo e round-robin. Può impostare il nice level per il calcolo della priorità dinamica ai processi avviati con lo scheduler time sharing. Può impostare lo username con cui vengono eseguiti i processi avviati. Viene immediatamente informato (mediante uno handler del segnale asincrono di SIGCHLD) della morte di un processo, del suo exit code o in alternativa del segnale cheneha causato la morte. Il Sistema di Monitor e di Controllo della Farm On-line. 9

10 2 - Il Task Manager (III) È composto di 3 parti: Un server leggero che deve essere in esecuzione su tutti i nodi della farm. 4 client tty-oriented (tmstart, tmkill, tmstop, tmls) che possono avviare e fermare processi su qualunque nodo della farm. Un client PVSS con funzioni analoghe a quelle dei 4 client tty-oriented). Il Sistema di Monitor e di Controllo della Farm On-line. 10

11 2 - Il Task Manager (IV) Il Sistema di Monitor e di Controllo della Farm On-line. 11

12 2 - Il Task Manager (V) Il Sistema di Monitor e di Controllo della Farm On-line. 12

13 3 - Il Process Controller È un programma che viene eseguito sul control PC e che controlla i processi in esecuzione in tutti i nodi della farm, riavviandoli immediatamente in caso di morte. Leggedaun file XML (in futuro dal Configuration DataBase) la lista dei processi che debbono essere eseguiti su ogni singolo nodo della farm, e il loro modo di esecuzione (argomenti, environment, user, tipo di scheduler, priorità, parametri di respawn, ecc.). Opera contattando i task manager sui singoli nodi. La morte prematura di un processo triggera il suo stesso riavvio entro qualche decimo di secondo (mediante un meccanismo basato sul segnale asincrono di SIGCHLD). È inoltre implementato il respawn control: Se un processo viene riavviato più di N volte in t secondi il respawn viene disabilitato per T secondi. Il Sistema di Monitor e di Controllo della Farm On-line. 13

14 4 - Il Monitor È uno strumento che consente di raccogliere centralmente i dati sul funzionamento dei nodi della farm. È composto di 2 parti: 9 Server leggeri che debbono essere in esecuzione su tutti i nodi della farm e che raccolgono le informazioni dal kernel mediante il procfs e il sysfs. 9 client PVSS. Il Sistema di Monitor e di Controllo della Farm On-line. 14

15 4 - Il Monitor (II) I 9 server: Info sulla cpu (clock, cache, bogomips, ecc.). Statistiche CPU (user, system, idle, iowait,irq, softirq) Statistiche degli interrupts hardware. Statistiche utilizzo e gestione memoria (used, swapped, active, dirty, overbooking, etc.) Statistiche interfaccia di rete (byte/s, frame/s, errori, etc.). Coalescenza degli interrupt dell interfaccia di rete. Statistiche stack TCP/IP (datagrammi/s, frammentazioni e riassemblaggi dei datagrammi, etc.). Statistiche processi. Temperature e ventilatori. Il Sistema di Monitor e di Controllo della Farm On-line. 15

16 4 - Il Monitor (CPU info) Il Sistema di Monitor e di Controllo della Farm On-line. 16

17 4 - Il Monitor (CPU stat) Il Sistema di Monitor e di Controllo della Farm On-line. 17

18 4 - Il Monitor (Interrupts) Il Sistema di Monitor e di Controllo della Farm On-line. 18

19 4 - Il Monitor (Memoria) Usata più di recente Non ancora copiata su disco overbooking Il Sistema di Monitor e di Controllo della Farm On-line. 19

20 4 - Il Monitor (Memoria) Il Sistema di Monitor e di Controllo della Farm On-line. 20

21 4 - Il Monitor (Interfaccia di Rete) bit/s frame/s byte/frame Se 0, problema nel cavo o connettore lasco Il Sistema di Monitor e di Controllo della Farm On-line. 21

22 4 - Il Monitor (Interfaccia di Rete) Il Sistema di Monitor e di Controllo della Farm On-line. 22

23 4 - Il Monitor (Coalescenza) Il Sistema di Monitor e di Controllo della Farm On-line. 23

24 4 - Il Monitor (stack TCP/IP) Il Sistema di Monitor e di Controllo della Farm On-line. 24

25 4 - Il Monitor (processi) UTGID assente (non avviato dal Task Manager) Il Sistema di Monitor e di Controllo della Farm On-line. 25 processo a 3 thread: stesso TGID, stesso UTGID, differente TID

26 4 - Il Monitor (temperature) Il Sistema di Monitor e di Controllo della Farm On-line. 26

27 Real-time Trigger Challenge Coordinatore: U. Marconi giugno Il Sistema di Monitor e di Controllo della Farm On-line. 27