INFN-BOLOGNA-T3 L. Rinaldi I siti Tier-3 nel modello di calcolo di Atlas Configurazione del sito INFN-BOLOGNA-T3 Attività di Analisi e Produzione Attività di Ricerca Tecnologica Richieste e supporto Light explosion in datacenter By P. Ricci
I siti Tier-3 nel modello di calcolo di Atlas Tier-0 Tier-1 Cloud Tier-1 Tier-1 Cloud Tier-2 Tier-2 Tier-2D Tier-2 Tier-3 Tier-3 Tier-3 Cloud T0 T1 Dati primari (RAW, ESD, AOD) T0 T2 Calibration stream Trasferimenti tra le cloud Tier1 Tier1: Dati riprocessati (ESD, AOD, desd per l analisi) Tier 1/2 Tier2/3: Output analisi utente su storage area locale Trasferimenti nella cloud Tier1 Tier2: distribuzione nei Tier2 dei dati per l analisi e cancellazione dal Tier1 Tier1 Tier2/3: simulazioni Monte Carlo Tier1/2 Tier2/3: Output analisi utente su storage area locale 18/11/2011 INFN-BOLOGNA-T3 L. Rinaldi 2
I siti Tier-3 nel modello di calcolo di Atlas ( CERN ) Tier-0 Archivio dei RAW data ricevuti dal detector e distribuzione ai Tier1 Prompt Reconstruction delle calibration e express streams e dei physics streams Distribuzione output ricostruzione (ESD, AOD,TAG) ai Tier-1 Tier-1 Accesso a lungo termine e archivio su tape di un subset di RAW data Copia dei RAW data di un altro Tier-1 Reprocessing della ricostruzione dei propri RAW data con parametri di calibrazioni e allineamenti finali e distribuzione AOD ai Tier-2 Archivio su disco di tutti gli AOD e TAG data e di una frazione di ESD data Archivio dati simulati prodotti nei Tier-2 Simulazione Monte Carlo Analisi di gruppo Tier-2 Simulazione Monte Carlo Archivio di una frazione di AOD e TAG data Archivio dati utenti Analisi utente e di gruppo e sviluppo di codice Calibrazione e allineamento per sub-detectors di interesse locale Tier-3 Analisi locale e sviluppo di codice Archivio dati utenti (produzione e simulazione) 18/11/2011 INFN-BOLOGNA-T3 L. Rinaldi 3
Configurazione del sito INFN-BOLOGNA-T3 Sito co-locato al Tier1 del CNAF Stessa infrastruttura (elettricità, cooling, ) Stessa rete (connessione esterna 20Gb) Sito utilizzato da Atlas, CMS e LHCb condivisione di Computing Element, Storage Element, servizi grid Storage partizionato per esperimento, Worker Nodes condivisi Storage: 150 TB su sistema StoRM/GPFS File System Farm: 39 Worker Nodes 8-core di ultima generazione con batch system LSF 18/11/2011 INFN-BOLOGNA-T3 L. Rinaldi 4
Attività di produzione e analisi (GRID) Atlas SiteStatusBoard Status delle code di analisi dei T3 italiani Code testate con software HammerCloud (invio costante di jobs di tipo analisi) La coda viene esclusa automaticamente se ci sono 3 fallimenti consecutivi in un ora Monitor costante. In caso di problemi, vengono inviate alert-email 18/11/2011 INFN-BOLOGNA-T3 L. Rinaldi 5
5-Jun 12-Jun 19-Jun 26-Jun 3-Jul 10-Jul 17-Jul 24-Jul 31-Jul 7-Aug 14-Aug 21-Aug 28-Aug 4-Sep 11-Sep 18-Sep 2-Sep 2-Oct 9-Oct 16-Oct 23-Oct 3-Oct 06-nov 13-nov 5-Jun 12-Jun 19-Jun 26-Jun 3-Jul 10-Jul 17-Jul 24-Jul 31-Jul 7-Aug 14-Aug 21-Aug 28-Aug 4-Sep 11-Sep 18-Sep 2-Sep 2-Oct 9-Oct 16-Oct 23-Oct 3-Oct 06-nov 13-nov WCT (K sec) Attività di produzione e analisi (GRID) 140000 120000 100000 80000 60000 40000 20000 0 produzione (sim MC) analisi (prun) test (HC) 100% Mancano jobs local (bsub)!! 80% 60% 40% 20% 0% Da Ottobre: modifica share 30-70 tra produzione e analisi 18/11/2011 INFN-BOLOGNA-T3 L. Rinaldi 6
Attività di produzione e analisi (GRID) 39% 0% 20% 1% INFN-GENOVA ZA-WITS-CORE Share di utilizzo delle risorse (tempo di running dei jobs) fra i tier-3 della cloud italiana 40% INFN-BOLOGNA-T3 INFN-ROMA3 ZA-UJ T3-BO è il più performante in Italia (media giugno-novembre) Share di tutti i siti della cloud italiana 17% 6% 11% 0% 48% ZA-UJ INFN-T1 INFN-GENOVA ZA-WITS-CORE INFN-BOLOGNA-T3 INFN-ROMA3 BO-T3 detiene il 3% (T1+T2s = 93%) 11% 3% 3% 0% 1% INFN-MILANO-ATLASC INFN-NAPOLI-ATLAS INFN-FRASCATI INFN-ROMA1 18/11/2011 INFN-BOLOGNA-T3 L. Rinaldi 7
Traffico dati e utilizzo del disco TRAFFICO IN ENTRATA TRAFFICO IN USCITA Occupazione spazio disco Site Used(GB) Free(GB) Total(GB) % HOTDISK (DBReleases) 433 2865 3298 13 LOCALGROUPDISK (permanent storage) 3855 12637 16492 23 PRODDISK (output jobs production) 133 10862 10995 1 SCRATCHDISK (output jobs analysis) 1334 9661 10995 12 18/11/2011 INFN-BOLOGNA-T3 L. Rinaldi 8
Attività di analisi (LOCAL) Numero di jobs in locale (Include jobs CMS) Job eff. CPT/WCT e utilizzo delle risorse locali (WCT) 18/11/2011 INFN-BOLOGNA-T3 L. Rinaldi 9
Attività di Ricerca Tecnologica Abstract per conferenza CHEP2012: Exploiting the WNoDeS framework to support local communities at the CNAF Computing Center WNoDeS: piattaforma per instanziazione di macchine virtuali, sviluppato al CNAF Ottimizzazione e test con diverse modalità di accesso ai dati da VM Sviluppo e test di applicazioni su WNoDeS Virtual Interactive Pool (VIP) interface (CMS) Test di PROOF-on-Demand su piattaforme WNoDeS (creazione dinamica di farm virtuali per applicazioni di calcolo parallelo ottimizzate per l analisi dati) 18/11/2011 INFN-BOLOGNA-T3 L. Rinaldi 10
Attività di Ricerca Tecnologica Macchine reali Macchine virtuali Test HammerCloud (standard analisi su MC) su due code con nodi reali e virtuali, Accesso ai dati senza copia sul nodo locale, file system montato sul nodo Macchine virtuali mediamente 10% meno performanti, in programma test per ridurre il gap Calo delle performance delle VM compensato da maggiore flessibilità nell uso delle risorse (es. T1 + T3 maggior numero di VM a disposizione degli utenti) 18/11/2011 INFN-BOLOGNA-T3 L. Rinaldi 11
Richieste e Supporto Per richieste (installazioni) e segnalazioni di problemi sulle macchine Contattare grid-prod@bo.infn.it Per problemi specifici atlas/grid/panda/dq2 Usare le liste atlas-bo-t3@lists.infn.it (locale) atl-usercalc@lists.infn.it (atlas-it) Lavori in corso: o Priorità nelle code: riservate 4 slot per jobs interattivi (bsub) abilitazione del ruolo atlas/it (automatico quando si inizializza il proxy) incrementare priorità dei job italiani e limitazione sui jobs altri utenti o Monitoring (mancano le statistiche di utilizzo grid vs local e per singoli exp) o Migrazione progressiva ad ambiente virtuale (da concordare con CNAF e altri esperimenti) Grazie a tutti gli utenti per le continue interazioni, fondamentale per configurare il sito in base alle esigenze degli utenti 18/11/2011 INFN-BOLOGNA-T3 L. Rinaldi 12
18/11/2011 INFN-BOLOGNA-T3 L. Rinaldi 13
Back Up 18/11/2011 INFN-BOLOGNA-T3 L. Rinaldi 14