BaBar: stato ed utilizzo delle farms

Transcript

1 BaBar: stato ed utilizzo delle farms presentato da Fulvio Galeazzi a nome del gruppo di Computing BaBar Italia BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 1

2 Sommario Il gruppo Italiano di Computing di BaBar Computing in BaBar nel 2004 Attivita' 2004 e sviluppi futuri Farm di Prompt Reconstruction Farm Analisi Farm(s) MonteCarlo Attivita' GRID Conclusioni BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 2

3 Il gruppo Italiano di Computing di BaBar Il TierA italiano di BaBar e' suddiviso in tre nuclei: Farm Prompt Reconstruction: Padova Sezioni: Padova (+ servizio da varie Sezioni) Farm Analisi: Bologna (CNAF) Sezioni: CNAF, Padova, (Roma1) Farm MonteCarlo: Roma Sezioni: Roma1, Trieste GRID: Ferrara, Napoli, Padova,... BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 3

4 Il gruppo Italiano di Computing di BaBar Computing in BaBar nel 2004 Attivita' 2004 e sviluppi futuri Farm di Prompt Reconstruction Farm Analisi Farm(s) MonteCarlo Attivita' GRID Conclusioni BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 4

5 Computing in BaBar nel La principale novita' del periodo appena concluso (Run4, da Settembre/03 a Luglio/04) e' costituita dalla transizione al nuovo modello di calcolo (CM2): Abbandono di Objy per EventStore e passaggio a ROOT Evoluzione del software per la produzione MC (SP) e la ricostruzione beam data (PR) per Run4 Migrazione dell' Event Store per MC e dati Run1 Run3 Sviluppo del nuovo Bookkeeping Primo round di Skimming (produzione su tutta la statistica di sottocampioni di eventi a partire dai dati riprocessati, con possibilita' di aggiunta di user data: es. BFourBody, BToDlnu, InclEta,...) Lo skimming e' previsto ripetersi fino a 4 volte l' anno BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 5

6 Computing in BaBar nel La transizione a CM2 e' stata un successo! Dati ricostruiti sempre prontamente disponibili: Es. dataset BlackDiamond (99.5 fb 1): Ultimo run: 13/07 Processato il: 15/07 Data Quality: 18/07 Disponibile: 18/07 Introdotto controllo di qualita' settimanale prima di rendere disponibili i dati Skimming partito in ritardo ma ha recuperato velocemente BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 6

7 Computing in BaBar: sviluppi Aggiornamenti software: Upgrade di macchine Linux da RH72 a ScientificLinux3 (clone di RedHat Enterprise) Compilatore gcc 3.X, ma permette test compilatore Intel,... Migrazione a Objy8.0, ROOT V4.0, MySQL 4.X,... Allo studio alternative per abbandono di Objy, almeno al di fuori di SLAC: Attualmente, utilizzo Objy limitato a database Condition/Configuration (e Ambient, per quantita' relative a IR 2) SLAC e' un caso speciale, essendo l' unico sito in cui si aggiornano le condizioni BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 7

8 Il gruppo Italiano di Computing di BaBar Computing in BaBar nel 2004 Attivita' 2004 e sviluppi futuri Farm di Prompt Reconstruction Farm Analisi Farm(s) MonteCarlo Attivita' GRID Conclusioni BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 8

9 Farm di PR Dal 1 Settembre 2003, tutta l' attivita' di Event Reconstruction dei nuovi dati e' stata svolta a Padova A SLAC solo 1 (o 2) piccole farms per PromptCalibration Con CM2, la complessita' del sistema e' aumentata (per la produzione, non per gli utenti!): Aggiunti operazioni e controlli un tempo demandati a Objy, ad esempio aggiunta farm di PostProcessing per m erging collezioni prodotte da singoli nodi Attivita' svolta oltre al processing: Da Febbraio a Maggio, anche reprocessing primi dati di Run4 Previsto, per convergere su release e condizioni Da Maggio a Luglio, skimming (in produzione da fine Giugno) Ritardo necessario per ad attare il codice per Padova BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 9

10 Farm di PR: inventario Sblocco di Maggio 2004: Disponibilita' a oggi: Completato acquisto server e switch Da acquisire terminal server e rack 20 clienti biproc. PIII 1.0GHz per farm test 130 clienti biproc. PIII 1.26GHz 53 clienti biproc. Xeon2.4GHz 8 server PR (di cui uno per farm di test) ~20 server (Objy, Export, tape server, servizio) 25 TB disk buffer (import, PR, skimming, merging, export) Finanziato: 230 ksi2000 (~100 macchine client) 4 macchine server 12 TB disk buffer BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 10

11 Farm di PR: bilancio Bilancio attivita' PR: Ricostruiti tutti i ~100 fb 1 di Run4: Dati disponibili agli utenti sempre entro pochi giorni Totale: >170 fb 1 includendo reprocessing Pochi problemi legati a management condizioni Objy, il sistema ha ora parecchi controlli automatici Da migliorare la parte di import XTC (dati raw) IR2 nel 2004: L = , 680 pb 1/giorno IR2 estate 2005: L = GB/giorno Da migliorare la parte di PostProcessing Run4 Velocizzare m erging (cioe', riconfigurare parallelizzando maggiormente il lavoro) Ottimizzare tempo morto tra due run: guadagno ~5% BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 11

12 Farm di PR: bilancio Run4 Import dati r aw : utilizzo della rete in ingresso a Padova BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 12

13 Farm di PR: bilancio Reproc. Luminosita' processata giornalmente: in verde e' evidenziato quanto e' stato in seguito soggetto a reprocessing: Fino a 1.4 fb 1/giorno Di norma > 1.1 fb 1 /giorno Bilancio attivita' Skimming: Tanti problemi per setup bookkeeping e programma skimming C' e' ancora lavoro da fare per rendere operazioni automatiche Grazie ad Antonio Ceseracciu e Guglielmo De Nardo! A SLAC e' in corso lo sviluppo dei tool Complessivamente ~4 fb 1 s kimmed and merged BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 13

14 Farm di PR: bilancio Tutte le macchine sono state utilizzate al 100% dall' inizio di Run4 Il ritardo nella consegna delle macchine da gara 2003 non ha permesso di produrre in modo parassita la quantita' di MonteCarlo aspettata Sembra che una situazione analoga si stia configurando anche per le macchine della gara Gara per l' upgrade chiusa ad Aprile, ma i contratti non sono stati ancora firmati Non e' piu' realistica la partecipazione al re skimming in partenza ad Ottobre BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 14

15 Farm di PR: situazione manpower Da inizio anno hanno lasciato o sono in scadenza: Padova: Alvise Dorigo (import XTC, MySQL, Objy, Perl, ecc.) SLAC: Martino Piemontese (sviluppo sistema PR) e SLAC: Antonio Ceseracciu (sviluppo sistema PR), contratto in scadenza a fine anno New entry: Padova: 1 Borsista INFN da inizio Ottobre (2 anni) Mantenere la possibilita' di contratti temporanei di media durata e' essenziale per le operazioni del sito BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 15

16 Farm di PR: programmi 2005 IR2, inizio Run5 il 15 Ottobre: Attesi ~15 fb 1/mese a Febbraio e ~20 fb 1/mese entro l' estate Fino a febbraio 2005 (cioe' prima dell'inizio del reprocessing): Risorse disponibili: 250 ksi2000 Processing nuovi dati: impegnera' ~60% risorse Risorse rimanenti destinate allo skimming dei dati Run5 Da febbraio 2005: inizia il reprocessing Run1 Run5, da completare entro fine 2005 per conferenze invernali 2006 Necessaria capacita' ulteriore per almeno 30 fb 1/mese Risorse disponibili: ~500 ksi2000 (con macchine gara 2004) Processing e Reprocessing: fino a ~75% risorse Skimming: risorse rimanenti molto probabilmente insufficienti Skimming in altri siti: SLAC? CNAF? BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 16

17 Il gruppo Italiano di Computing di BaBar Computing in BaBar nel 2004 Attivita' 2004 e sviluppi futuri Farm di Prompt Reconstruction Farm Analisi Farm(s) MonteCarlo Attivita' GRID Conclusioni BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 17

18 Farm Analisi Alcune date: : : Completata installazione macchine : apertura della farm agli utenti italiani Inizialmente utilizzata essenzialmente per ToyMC : primi job di analisi : apertura a tutti i membri della Collaborazione Creati ~50 account: di questi, 10 at tivi, ma in aumento! Dal 1 luglio 16 Sett. Code batch BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 18

19 Farm Analisi: attivita' Enorme mole di lavoro fatta in pochi mesi: Installazione e configurazione macchine da ex farm CASPUR Installazione e configurazione macchine da gara 2003 Familiarizzato con setup farm BaBar Piu' in generale, dimostrata sempre grande disponibilita' verso ogni nostra richiesta A tutto il personale del CNAF: GRAZIE! La farm di BaBar oggi: BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 19

20 Farm di Analisi: inventario Disponibilita' a oggi: 30 clienti biproc. PIII 1GHz o 1.26GHz 23 clienti biproc. Xeon 3 server biproc. Xeon + server disco SUN 25 TB disco per dati 5 TB disco per /home, scratch,... Finanziato: 225 ksi2000 (~100 biproc. Xeon) + ulteriori 150 ksi2000 nel server dati (via Xrootd) = 62 TB disco + ulteriori 30 TB nel 2005 BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 20

21 Farm Analisi: attivita' L' import dei dati ha richiesto un certo lavoro di sviluppo Abbiamo importato anche 1.2 TB/giorno Non ancora del tutto automatico, lo sara' per Run5 Dati disponibili: tutti i beam data relativi ai dataset Run1 Run4 definiti per conferenze estive CNAF e' l' unico sito oltre SLAC ad avere una copia degli AllEvents Micro per beam data Alcuni datamover in manutenzione, e soprattutto ritardo nella disponibilita' di 32 TB disco IBM non consentono import MC BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 21

22 Farm Analisi: bilancio Nel complesso l' esperienza con la farm del CNAF e' per il momento abbastanza buona: Qualche aspetto della configurazione va migliorato in vista di maggiore ridondanza, fault tolerance, automatizzazione operazioni, monitoring delle macchine, segnalazione problemi CNAF sta andando verso servizio assistenza sistemistica 24/24 7/7, contattabile attraverso sistema di ticketing : BaBar ha bisogno di 1 FTE, che di fatto attualmente coincide con 1 persona Fondamentale, soprattutto in questa fase iniziale, reagire prontamente e con efficacia ai problemi: non si puo' pretendere troppo dalla pazienza degli utenti! Necessario accelerare la diffusione delle conoscenze relative alla farm di BaBar tra i sistemisti del CNAF BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 22

23 Farm Analisi: problemi Problemi: Qualche caso di ritardo nella creazione degli account Situazione migliorata recentemente Hardware i n produzione inferiore a quanto promesso come disponibile a Luglio 2004 all' IFC Rispetto a risorse esistenti oggi, pari a 90 ksi2000 e 30 TB disco mancano ancora: 225 ksi2000: Ad oggi le macchine non sono disponibili ed inoltre il CNAF non e' pronto a fornire macchine (con ScientificLinux) con il proprio sistema di installazione 32 TB disco: Necessario per iniziare import dati MC Limita gravemente possibilita' di uso della farm BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 23

24 Il gruppo Italiano di Computing di BaBar Computing in BaBar nel 2004 Attivita' 2004 e sviluppi futuri Farm di Prompt Reconstruction Farm Analisi Farm(s) MonteCarlo Attivita' GRID Conclusioni BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 24

25 Farm MonteCarlo Sito ufficiale: farm di Roma presso SICR Macchine pre 2003: Dedicata a produzione SP5 (Run1 Run3): recentemente, unico sito oltre SLAC dedicato a produzione segnale Macchine da gara 2003: Dedicata a produzione SP6 (Run4) Avvio graduale a partire da Maggio 2004 Recentemente risolti alcuni problemi di interazione Objy/NFS: l' efficienza del sito e' adesso >95% Da Luglio, prodotti almeno eventi/mese SP6 agli sgoccioli, in totale gia' prodotti eventi (SP6goal= eventi) BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 25

26 Farm di MC: inventario Installato: 15 biproc. clienti PIII 1.26GHz 25 biproc. clienti Xeon 2.4GHz 3 server 3 TB disco Finanziato: 110 ksi2000 per CPU client (~40 client biproc. Xeon) 3 TB disco BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 26

27 Farm MonteCarlo Da meta' Giugno 2003 a fine Gennaio 2004, anche produzione parassita (SP5) su farm Padova (infnta) Subordinata alle esigenze prioritarie del processing Mediamente, una farm dedicata a produzione MC Prodotti complessivamente Eventi Infn BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 27

28 Farm MonteCarlo: bilancio Produzione complessiva INFN: SP5: complessivamente eventi / eventi (~10%)...ma farm di Roma dedicata a produzione di segnale! Molti modi per molti periodi, operazioni piu' complesse Produzione parassita a PD consistente (1/3 totale INFN) Tra Roma e Padova, prodotti 48+11= eventi nel 2004 SP6: dal 30/05 a 10/ eventi (totale salira' a eventi) SP6INFN SP5INFN 2004 ~ 10% SP6goal Inferiore alla milestone (18%) Condizionata da ritardo consegna e da problemi di installazione macchine gara 2003 On track per soddisfare la milestone: Da Luglio, produzione proiettata su base annuale ~ eventi BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 28

29 Farm MonteCarlo: sviluppi futuri Pronti a partire con la produzione SP7 appena possibile Nessuna m igrazione o modifica nella configurazione Aumento delle risorse disponibili nel 2005 Produzione parassita in altri siti del TierA, piu' probabilmente CNAF BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 29

30 Il gruppo Italiano di Computing di BaBar Computing in BaBar nel 2004 Attivita' 2004 e sviluppi futuri Farm di Prompt Reconstruction Farm Analisi Farm(s) MonteCarlo Attivita' GRID Conclusioni BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 30

31 Attivita' legate a GRID Progetto basato su LCG 2.0 Molte sezioni coinvolte, anche non legate a BaBar Condition Database Objy a Ferrara, Napoli, Padova BackgroundTriggers a Ferrara, distribuiti via xrootd Job sottomessi da RB a Ferrara (vede sia risorse italiane che straniere di interesse per BaBar) BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 31

32 Attivita' legate a GRID Attivita' completate o in corso Sviluppato sistema di distribuzione del software di esperimento indipendente da release del middleware GRID Integrazione con ProdTools (pacchetto di BaBar per produzione MC) Validazione della produzione SP6! Sviluppi futuri: breve medio termine Completare integrazione in ProdTools per SP6 Iniziare produzione v era con SP7 Test scalabilita' Sviluppi futuri: lungo termine Mantenere SP grid a livello di produzione Esaminare problemi legati all' analisi su GRID BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 32

33 Il gruppo Italiano di Computing di BaBar Computing in BaBar nel 2004 Attivita' 2004 e sviluppi futuri Farm di Prompt Reconstruction Farm Analisi Farm(s) MonteCarlo Attivita' GRID Conclusioni BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 33

34 Conclusioni Sviluppo e messa in produzione del CM2: un successo! Per quanto riguarda il contributo italiano, in particolare: Molto lavoro svolto su vari fronti (installazioni, sviluppo, o perations ) Professionalita' del Computing italiano riconosciuta a livello della Collaborazione Farm Processing: Milestone pienamente raggiunta (e anche qualcosa in piu'...) Farm Analisi: Risorse previste sono frazione importante del computing BaBar Ancora lavoro da fare perche' CNAF sia una s commessa vinta Manpower e' elemento potenzialmente critico Farm MonteCarlo: Ottima gestione delle risorse BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 34

35 Conclusioni: inventario risorse BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 35