UNIVERSITA DEGLI STUDI DI ROMA LA SAPIENZA

Transcript

1 UNIVERSITA DEGLI STUDI DI ROMA LA SAPIENZA FACOLTA DI SCIENZE MATEMATICHE, FISICHE E NATURALI TESI DI LAUREA IN FISICA Studio e realizzazione di comunicazioni informative mediante reti ad autoinstradamento di pacchetto nell ambito del trigger di 2 livello dell esperimento ATLAS. Relatore interno: Prof. Lucia Zanello Relatore esterno: Dr. Speranza Falciano Laureando: Alfredo Babusci Matr Anno Accademico

2 TESINE Calcolatori quantistici. Relatore: Prof. G. Diambrini-Palazzi Crescita di cristalli superconduttori. Relatore: Prof. A. Scacco

3 Ringraziamenti: Desidero ringraziare il Dr. Franco Marzano ed il Dr. Matteo Mascagni per la professionalità e la disponibilità mostrate durante tutto lo svolgimento del mio lavoro di tesi. Ringrazio inoltre K. H. Sulanke dell Università di Zeuthen (Desy - Germania), B. Martin del CERN (Ginevra) e J. Legrand (Desy - Germania) per i componenti hardware forniti, ed il Dr. A. Nisati per la preziosa consulenza privata. Ringrazio infine con affetto la persona che in questi anni di studio ha avuto molta pazienza e fiducia in me.

4 Alla mia Famiglia.

5 INDICE Introduzione. 1 1 Il Large Hadron Collider (LHC) e l esperimento ATLAS Il Large Hadron Collider (LHC) Atlas Inner Detector Calorimetri Spettrometro dei muoni Il sistema di trigger Generalità Architettura del sistema di trigger Il trigger di 2 livello Dimensionamento del sistema di trigger di 2 livello Il protocollo IEEE 1355 e la sua realizzazione hardware Il protocollo IEEE 1355 DS-DE Descrizione generale Performance del protocollo IEEE 1355 DS-DE Comunicazioni unidirezionali Comunicazioni bidirezionali Lo switch STC Il wormhole routing Interval labelling Universal routing Grouped adaptive routing Il contention model. 59

6 2.2.6 Latenza teorica dello switch STC L interfaccia STC Topologia delle reti locali e globale di ATLAS Generalità Le reti locali e globale di ATLAS Descrizione dello hardware e del software sviluppato Lo hardware Le schede VME con lo switch STC Le schede IMS B Le schede PCI-DSLink Zeuthen Le schede PCI-DSLink INFN I personal computer Il Software Software di configurazione e monitoring Software di comunicazione Misura dei tempi e calcolo delle velocità Risultati Sperimentali Misura della velocità delle schede di interfaccia Misure in assenza di controlli software Misure con controlli software attivi Misura della latenza delle istruzioni di I/O Misure con molti processi attivi su PC Misure inerenti la latenza dello switch STC Misura della latenza del C Misura dei tempi di instradamento dei pacchetti Misure inerenti il contest switch Contesa con quattro schede PCI-DSLink Contesa con due schede PCI-DSLink Distribuzione statistica delle misure temporali Considerazioni conclusive sul contest switch Test di affidabilità del protocollo IEEE

7 Conclusioni. 135 APPENDICE A: Sistema operativo e compilatori. 137 APPENDICE B: Caratteristiche del PCI Local Bus. 143 APPENDICE C: Listato dei programmi sorgente. 151 APPENDICE D: Esempio di programmazione di un registro dello switch STC BIBLIOGRAFIA. 197

8 INTRODUZIONE. Il lavoro descritto in questa tesi riguarda lo studio e la misura delle caratteristiche di un insieme di dispositivi hardware che possono costituire gli elementi base di un event builder per il sistema di trigger dell esperimento ATLAS a LHC (Large Hadron Collider, Cern, Ginevra). LHC è il nuovo collider per protoni in corso di realizzazione al Cern, in grado di raggiungere un energia nel centro di massa di 14 TeV. Lo scopo primario di questa macchina è la verifica sperimentale dell esistenza del bosone di Higgs; questa è prevista dal Modello Standard (con una massa inferiore o dell ordine del TeV) ed è connessa al meccanismo della rottura spontanea di simmetria. Dopo la scoperta dei bosoni W e Z 0 (e più recentemente del top), e dopo la verifica di numerose previsioni del M.S. effettuate al Lep, la scoperta del bosone di Higgs costituirebbe l ultimo tassello mancante alla completa verifica del Modello. Altre possibilità offerte da LHC sono: lo studio della violazione di CP nel decadimento del beauty (a tutt oggi le sole informazioni su questo soggetto sono state ottenute dal sistema K 0 K 0 ) e la possibilità di scoprire i partner supersimmetrici delle particelle oggi note. Una tale scoperta porterebbe anzi ad andare oltre il Modello Standard. ATLAS è uno dei principali esperimenti approvati per la fisica ad LHC. L apparato, suddiviso in un Inner Detector, un sistema calorimetrico ed un rivelatore di muoni, è in grado di rivelare elettroni, fotoni, muoni, jet e di eseguire misure di energia trasversa mancante. Gli eventi interessanti prodotti nelle collisioni protone-protone vengono selezionati per mezzo di un sistema di trigger che ricostruisce le tracce e analizza i depositi di energia nei calorimetri per prendere una decisione sull evento. Tale selezione ha lo scopo di ridurre il rate di collisioni anelastiche ( 10 8 eventi/s ad alta

9 luminosità) a quello che è ragionevolmente possibile memorizzare su supporto permanente per l analisi successiva ( Hz). Il trigger è suddiviso in tre livelli gerarchici, ad ognuno dei quali corrisponde una certa quantità di dati da elaborare, una complessità degli algoritmi di ricostruzione da applicare agli stessi, ed una latenza massima entro la quale i risultati debbono essere resi disponibili in uscita al livello successivo. La realizzazione di questo complesso sistema di selezione in-linea richiede l uso di elevato parallelismo: non solo i dati provenienti dai diversi rivelatori fluiscono simultaneamente dall elettronica di front-end alle memorie, ma anche i dati dello stesso rivelatore sono suddivisi in sottoblocchi che vengono trasmessi in parallelo. A fronte di ciò, per gli algoritmi di selezione del secondo e terzo livello è necessario che i processori che li eseguono dispongano di dati contenuti in diverse memorie. Poichè le latenze fissate non permettono l uso di procedure software per la raccolta dei dati dai diversi buffer, è indispensabile che tale processo sia realizzato con sistemi hardware molto veloci, dotati di controllo automatico dell instradamento dei frammenti di evento verso le rispettive destinazioni. Dispositivi in grado di compiere questa funzione vengono denominati event builder (termine che evidenzia l aspetto di raccolta dei blocchi di dati) o anche switch (termine che sottolinea la funzione di comunicazione tra sorgenti (le memorie) e destinazioni (i processori) ). E possibile utilizzare per questo scopo switch commerciali progettati, ad esempio, per sistemi di comunicazione telefonica; non è tuttavia certo che questi rappresentino la soluzione ottimale in termini di costo, prestazioni e flessibilità. Una alternativa consiste nel realizzare gli switch utilizzando elementi di base commerciali ma mantenendo il controllo dell architettura di interconnessione. Il presente lavoro di tesi, in linea con il secondo approccio, riguarda lo studio delle switching network del trigger di ATLAS, la realizzazione del software di comunicazione tra nodi basato sul protocollo IEEE 1355 (DSLink) e misure di parametri caratteristici del protocollo e della rete. Nel primo capitolo viene riportata una descrizione generale dell esperimento, ma soprattutto viene fornita una stima delle dimensioni delle switching network di ATLAS.

10 Il protocollo di comunicazione utilizzato per le reti locali e globale, i componenti elettronici atti a realizzarlo, e la topologia interconnettiva ipotizzata, vengono analizzati invece nei capitoli 2 e 3. Una particolare attenzione è riservata alla tecnica di gestione delle informazioni da trasferire (pacchettizzazione) ed agli algoritmi che permettono l instradamento dei dati attraverso gli switch. L importanza di questi ultimi deriva del fatto che in sistemi complessi quali ATLAS, in cui il traffico dei dati è intenso, per ottenere una bassa latenza è necessario ottimizzare le comunicazioni tra i dispositivi. Per quanto riguarda la parte prettamente sperimentale del lavoro (capitoli 4 e 5), è stata realizzata in laboratorio una rete costituita da tre switch elettronici commerciali, e gestita mediante dei personal computer provvisti di alcune schede di interfaccia tra il bus di I/O PCI ed il protocollo di comunicazione IEEE Il controllo della switching network avviene grazie allo sviluppo di un software di configurazione e monitoring, mentre la gestione del trasferimento dati viene affidata a dei programmi che permettono di trasmettere e ricevere dei messaggi attraverso essa. Mediante questo software di comunicazione è stato possibile eseguire delle misure di alcuni dei parametri fondamentali del protocollo utilizzato e della rete di switch. Ciò al fine di comprendere entro quali limiti lo IEEE 1355 ed i componenti elettronici che lo realizzano possono essere un valido supporto per la gestione del traffico presente nel sistema di trigger, e per fornire indicazioni riguardanti gli obiettivi da raggiungere nel prossimo futuro.

11 Capitolo 1 Il Large Hadron Collider (LHC) e l esperimento ATLAS. Nel seguente capitolo si vuole fornire una descrizione sommaria del nuovo acceleratore di particelle Large Hadron Collider (LHC) e del suo apparato di rivelazione ATLAS. Quest ultimo ha il compito di rivelare le particelle prodotte nelle collisioni dei fasci di LHC e di ricostruire gli eventi interessanti avendone calcolato i parametri fondamentali quali posizione, impulso ed energia. 1.1 Il Large Hadron Collider (LHC). Attualmente è in funzione al CERN (Ginevra) l acceleratore di particelle LEP, il quale terminerà la sua attività probabilmente nell anno 2000/2001. Nella sua cavità verrà costruito LHC, il nuovo collider protone-protone in grado di fornire ai fasci una energia di 7 TeV ciascuno. LHC sarà costituito da due anelli con raggio medio di 4,2 Km (circa 26 Km di circonferenza) nei quali verranno accelerate le particelle nelle due direzioni opposte. La sua luminosità 1 inizialmente sarà di cm -2 s -1 (bassa luminosità) mentre a regime, dopo un anno di funzionamento, arriverà a cm -2 s -1. Le particelle saranno raggruppate in pacchetti cilindrici lunghi ~7.5 cm, contenenti ognuno ~10 11 di esse, mentre 3600 saranno i pacchetti circolanti contemporaneamente negli anelli. Considerando che la frequenza di tali pacchetti sarà di 11 KHz, si avrà una collisione ogni 25 ns (quest ultimo dato verrà utilizzato in seguito nella descrizione del trigger). Per raggiungere l energia finale del centro di massa di 14 TeV, i pacchetti verranno prima accelerati dal ProtoSincrotrone (PS) e 2 N? f? k b 1 La luminosità di un acceleratore di particelle vale: L = 4? π? σ? σ N b : numero di protoni per pacchetto; f: frequenza dei pacchetti; k: numero di pacchetti circolanti simultaneamente; σ x : semidispersione lungo l asse x; σ y : semidispersione lungo l asse y; x y con

12 dal SuperProtoSincrotrone (SPS), quindi immessi nell anello di LHC ed ulteriormente accelerati dalle cavità a radiofrequenza dello stesso. La fisica che si vuole studiare alle energie di LHC ha delle sezioni d urto di produzione molto basse (dell ordine di pochi nbarn). Dal momento che la produzione di particelle nell unità di tempo è proporzionale alla sezione d urto di quel processo moltiplicata per la luminosità della macchina (dn/dt = σl), avere una luminosità elevata in LHC è fondamentale. In tal senso un ordine di grandezza di differenza nella luminosità può significare un numero di particelle prodotte molto inferiore. 1.2 ATLAS. ATLAS è uno dei due apparati sperimentali approvati per la fisica all acceleratore LHC; attualmente è in fase di progetto e coinvolge 144 istituti di ricerca in tutto il mondo. Dal momento che molti dei processi fisici che saranno investigati da ATLAS sono ancora poco conosciuti, il rivelatore deve avere un enorme potenziale investigativo. Per questo motivo è dotato di una serie di tecniche di rivelazione di natura diversa in grado di riconoscere elettroni, fotoni, muoni, jet e di effettuare misure di energia trasversa mancante ( E T miss ). La figura 1.1 mostra il rivelatore nel suo insieme:

13 Figura 1.1: Vista tridimensionale di ATLAS. ATLAS ha una forma cilindrica, coassiale con l anello di LHC, di lunghezza e raggio complessivi pari rispettivamente a ~40 m e ~11 m. Le coordinate che vengono utilizzate nelle specifiche sono quelle sferiche (φ, θ, z) con z coincidente con l asse del fascio, φ angolo azimutale e θ angolo polare, anche se si preferisce sostituire θ con la pseudorapidità η definita nel seguente modo: η θ = ln tg 2. Osservando il rivelatore lungo una sezione longitudinale, le zone al suo interno vengono identificate da un angolo θ (misurato a partire dall asse z) al quale corrisponde un determinato valore di η; il range nel quale vengono rivelate le

14 particelle vale η <3.2. Αl di fuori di questo intervallo si è nel cono identificato da angoli piccoli rispetto ai fasci (<5 ), dove non si riescono ad ottenere dei risultati soddisfacenti per il troppo fondo. Per deflettere le particelle cariche all interno dei rivelatori, ATLAS è dotato di un sistema magnetico composto da un solenoide superconduttore, il quale genera un campo assiale (lungo la direzione del fascio) pari a 2 Tesla, e da un sistema magnetico toroidale con anima in aria. Per evitare di modificare i parametri delle particelle prodotte negli urti, prima che queste arrivino nel calorimetro elettromagnetico, si devono minimizzare i percorsi che le stesse compiono all interno della materia; per questo motivo il solenoide viene posto proprio all interno del calorimetro e.m. ed il suo raggio è limitato a 1.22 m. La sua lunghezza è invece di 5.3 m. Il magnete toroidale, situato esternamente rispetto al solenoide, è composto da un barrel di lunghezza di 26 m, diametro interno di 9.5 m ed esterno pari a 19.5 m, e due end-cap lunghi 5.6 m e con diametro interno di 1.26 m. Come detto ATLAS è in grado di effettuare misure di diversa natura su particelle differenti; perciò è composto da 3 rivelatori principali, ognuno con particolari caratteristiche. Inoltre ognuno di essi utilizza diverse tecniche di rivelazione in quanto il flusso di particelle varia da una zona all altra. Seguirà ora una descrizione sommaria di questi tre apparati denominati inner detector, calorimetro e spettrometro dei muoni Inner Detector. La parte più vicina alla regione del vertice di interazione è costituita da un rivelatore di tracce interno (Inner Detector), posto in un solenoide il quale genera un campo magnetico assiale di 2 Tesla. Il rivelatore interno ha una copertura in pseudorapidità compresa nel range η <2.5, ed ha una elevata risoluzione di impulso (~22% per un momento trasverso p t pari a 500 GeV nel range η <1.5). La identificazione e ricostruzione delle tracce viene effettuata utilizzando due diversi rivelatori: il Semi-Conductor Tracking (SCT) [3] ed il Transition Radiation Tracker (TRT) [3]. Nella figura 1.2 si riporta una sezione dello inner detector:

15 Figura 1.2 : Sezione longitudinale dello inner detector. La regione centrale, denominata barrel, è strutturata in cilindri concentrici ed è delimitata da due pareti identiche poste ai suoi lati, ortogonalmente alla direzione del fascio. Nella zona del barrel più vicina al fascio vi sono gli SCT 2, dei rivelatori a semiconduttore progettati con granularità sottile al fine di aumentarne la risoluzione. Questi sono in grado di effettuare una misura di precisione dell impulso associato alle tracce. I sei piani SCT vengono integrati dal TRT (posto anch esso su un cilindro coassiale alla direzione del fascio), il quale è un rivelatore a gas a deriva (drift detector) che consente una buona identificazione delle traiettorie che le particelle compiono. In particolare il tracciatore è in grado di identificare gli elettroni, senza utilizzare le informazioni del calorimetro e.m. sulla loro energia. Come si può notare dalla figura 1.2, anche nelle due zone terminali sono presenti sia gli SCT posti, questa volta, su dischi ortogonali all asse z, sia il TRT, costituito da più camere di misura. Nella identificazione della traiettoria di una particella, i rivelatori SCT forniscono 6 punti con precisione elevata ed il TRT un minimo di 36 punti con una precisione minore. I dati del TRT consentono di discriminare le tracce relative alle 2 I rivelatori al silicio sono di 2 tipi: a pixel ed a striscie. I primi vengono posti nella zona più interna ed hanno una risoluzione maggiore rispetto ai secondi, ma il loro numero deve essere limitato per la elevata dissipazione in potenza ed il loro costo.

16 traiettorie vere e proprie da quelle generate da punti scorrelati tra loro, non appartenenti ad un unica particella. Una volta che la traiettoria della particella è stata identificata dal tracciatore, si utilizzano i dati degli SCT per ricavare il valore del suo impulso trasverso. La presenza del TRT è necessaria in quanto nelle zone del rivelatore vicine al vertice di interazione vi è una enorme produzione di particelle (fondo elevato), e risulta molto difficile, in alcuni casi impossibile, discriminare le traiettorie di interesse utilizzando soltanto i 6 punti delle strisce SCT. Nella figura 1.3 si può osservare come la risoluzione del momento trasverso nel rivelatore interno diminuisca rapidamente al crescere della pseudorapidità. Figura 1.3: Andamento della risoluzione del momento trasverso nello inner detector in funzione della pseudorapidità, per muoni con momento trasverso pari a 500 GeV. Questo andamento è giustificato dalla geometria del rivelatore e dalla forma del campo magnetico presente al suo interno. Infatti l ingente perdita in risoluzione che si ha per η> , corrisponde al passaggio delle tracce dalla zona del barrel a quella delle terminazioni laterali, nelle quali vi è una riduzione della lunghezza

17 radiale delle tracce stesse [3], ed il campo magnetico è meno intenso di 2 Tesla. Aumentando la lunghezza del barrel si potrebbe ottenere per il momento trasverso una buona risoluzione anche per valori di η maggiori di 1.8, ma aumenterebbero inevitabilmente anche le dimensioni dell apparato (già notevoli), nonchè il suo costo Calorimetri. Il sistema calorimetrico di ATLAS è situato esternamente rispetto allo inner detector ed ha delle dimensioni molto maggiori di esso. E composto principalmente da un calorimetro elettromagnetico ed un calorimetro adronico, ed il suo scopo è quello di fornire delle misure energetiche su fotoni, elettroni e getti adronici che lo attraversano, nonchè delle E T miss. Nella figura 1.4 viene riportato il suo schema generale: Figura 1.4: Sezione longitudinale del sistema calorimetrico. La zona centrale del calorimetro elettromagnetico viene denominata barrel e contiene, come detto, il solenoide superconduttore, mentre quella del calorimetro adronico è suddivisa in un barrel più due extended barrel. Le terminazioni laterali

18 vengono denominate end-cap per entrambi i calorimetri, e sono racchiuse in un unico criostato. La copertura totale è compresa nel range η <3.2. Nella maggior parte del suo volume, la risoluzione in energia del calorimetro e.m. può essere vista come la somma di tre contributi: due termini pari a σ( E) = 10% + 01%. E E, più un termine costante compreso tra 300 MeV e 500 MeV (rumore). Il materiale sensibile del calorimetro e.m. è costituito da Argon Liquido (LAr) per la sua caratteristica intrinseca di resistenza alle radiazioni. Per quanto riguarda il calorimetro adronico, la sua parte centrale è formata da piastre assorbenti di ferro poste ortogonalmente al fascio e intervallate da piatti di materiale scintillante in grado di rivelare gli adroni. Le uniche misure della risoluzione in energia per il calorimetro adronico sono state effettuate con dei prototipi isolati, ovvero non includenti il calorimetro e.m., ed hanno fornito, per i pioni carichi (π + e π - ) il valore σ( E) 50% = + 3%. L end-cap del rivelatore E E adronico, il quale viene sottoposto a maggiori radiazioni rispetto al barrel, è invece formato da piastre assorbenti di rame, intervallate da LAr. In questo caso la risoluzione in energia scende a σ( E) 100% = + 10%, ma risulta comunque adeguata E E ai risultati che si vogliono ottenere. In generale le risoluzioni dipendono dalle segmentazioni spaziali delle varie parti del calorimetro; queste ultime vengono misurate in η x φ e, maggiore è la segmentazione, maggiore è la risoluzione ottenibile ma superiori sono anche i costi e la dissipazione in potenza del sistema. Nei calorimetri appena descritti le segmentazioni variano in funzione della distanza dal vertice. Il calorimetro e.m. ha una segmentazione pari a η φ x 0.1 nella parte più vicina al fascio, e η φ nelle zone rimanenti, mentre per quello adronico si passa dal valore η φ dei barrel ed extended barrel a η φ degli end-cap. Nella tabella 1.1 vengono riportati i valori della segmentazione e della risoluzione in energia per le varie regioni dei calorimetri:

19 Calorimetro Regione Segmentazione ( η x φ) Risoluzione σ(e)/e E.M. Barrel % 01% E E.M. End-cap % 01% E Adronico Barrel Adronico End-cap % 3% E + 100% 10% E + Tabella 1.1: Segmentazioni spaziali e risoluzioni energetiche dei calorimetri e.m. ed adronico.

20 1.2.3 Spettrometro dei muoni. Lo spettrometro dei muoni è stato progettato per effettuare delle misure di precisione delle traiettorie e dell impulso trasverso 1 dei µ + e µ, in maniera indipendente dal rivelatore interno e dai calorimetri. E uno dei punti di forza di ATLAS in quanto ha una buona risoluzione spaziale intrinseca (60 µm) su un range del momento trasverso che va da 5 GeV a più di 1 TeV. Le sezioni trasversali e longitudinali dello spettrometro vengono riportate rispettivamente nelle figure 1.5a e 1.5b: Figura 1.5a: Sezione trasversale dello spettrometro dei muoni. 1 Data l enorme produzione di particelle lungo la direzione dell asse del fascio, non possono essere effettuate delle misure del momento lungo tale direzione.

21 Figura 1.5b :Sezione longitudinale dello spettrometro dei muoni. Il sistema magnetico toroidale descritto precedentemente effettua una copertura in pseudorapidità compresa nel range η <3, ed è suddiviso in tre zone: la regione del barrel ( η <1.1), la regione di transizione (1.1< η <1.4) e la regione dell end-cap (1.4< η <3). Ognuno dei tre magneti toroidali (un barrel e due end-cap) è provvisto di 8 bobine le quali creano un campo magnetico in aria 2, all interno dello spettrometro. Dal momento che il numero di bobine che costituiscono il sistema magnetico è finito, il campo magnetico risultante non è perfettamente toroidale. La figura 1.6 mostra le linee di flusso del campo magnetico all interno della regione di transizione: 2 Non è stato scelto un materiale ferromagnetico per limitare lo scattering multiplo dei muoni nel ferro.

22 Figura 1.6: Andamento delle linee di flusso del campo magnetico nella regione di transizione. La componente assiale del campo magnetico, che aumenta in prossimità delle bobine, causa la non uniformità del campo magnetico risultante e di conseguenza una diminuzione della risoluzione del momento trasverso. Il rivelatore dei muoni è suddiviso in camere, grazie alle quali vengono individuate delle tracce per ricostruire la traiettoria ed il momento trasverso dei µ. Nel loro complesso le camere debbono assicurare la copertura nell intervallo η <3; e 0<φ<2π, e devono permettere l identificazione delle cosiddette Regioni di Interesse 3 (RoI) utilizzate dal sistema di trigger. Le camere presenti nella barrel region sono poste in tre stazioni cilindriche, coassiali con l asse del fascio. Nell end-cap invece la loro disposizione è verticale, formano una sezione ottagonale, e sono parzialmente sovrapposte (figura 1.5.b) per assicurare una buona copertura in tutto il range di η. Vi sono quattro differenti tipi di camere, due per effettuare le misure vere e proprie e altre due utilizzate dal sistema di trigger dei muoni: le Monitored Drift Tube (MDT), le Cathode Strip Chambers (CSC), le Resistive Plate Chambers (RPC) e le Thin Gap Chambers (TGC). 3 In generale una RoI è una regione di un rivelatore, limitata in η e φ, alla quale corrispondono dei depositi significativi di energia trasversa (per il calorimetro e.m.) oppure la presenza di tracce (per lo spettrometro dei muoni).

23 Le camere MDT vengono utilizzate in un ampio intervallo di η (fino ad η <2.5) e sono costituite da 2 piani multistrato, ognuno contenente 3 o 4 tubi a deriva in alluminio, con un diametro di 30 mm. Sotto particolari condizioni si riesce ad ottenere con esse una risoluzione spaziale di circa 80 µm ed un tempo massimo di deriva di 500 ns 4. Le camere CSC sono assemblate in modo analogo alle precedenti, vengono utilizzate per grandi valori di η ( η >2.5) in quanto resistono maggiormente alle radiazioni, e permettono di ottenere buone risoluzioni spaziali (50 µm). Per quanto concerne invece il sistema di trigger, le camere RPC, utilizzate nella regione del barrel, sono costituite da rivelatori gassosi organizzati in piatti paralleli, con i quali si ottengono delle risoluzioni temporali pari a ~2 ns. Infine, mediante le TGCs, si riescono ad ottenere delle risoluzioni temporali di ~5 ns, ma migliori risposte alle alte frequenze. Le maggiori difficoltà che si incontrano nella identificazione degli eventi interessanti all interno dei rivelatori, sono dovute alla enorme produzione di particelle secondarie : muoni di decadimento, elettroni ed adroni di punch-through, neutroni e fotoni, si aggiungono alle particelle da rivelare. Queste particelle secondarie possono avere bassa energia (elettroni e/o fotoni) nel qual caso eccitano singoli elementi del rivelatore e forniscono, nel complesso, dei punti random isolati, oppure possono avere una energia superiore a 10 MeV (particelle neutre e cariche) ed eccitare più rivelatori, fornendo dei punti correlati. Per questo motivo le particelle di fondo generate all interno dei calorimetri influenzano, oltre alla risoluzione delle misure, anche il trigger dei muoni. Il flusso di particelle all interno dello spettrometro è funzione sia del loro momento trasverso, sia della pseudorapidità. La produzione di muoni per p t <20 GeV è dominata dai decadimenti dei quark charm (c) e beauty (b), per p t >20 GeV dal decadimento del bosone Z mentre per p t >100 GeV dal decadimento del quark top (t). Nella regione del barrel, i flussi di muoni, elettroni e adroni valgono rispettivamente 1, 6 e 3 Hz/cm 2 ; nella regione di transizione domina invece il flusso generato dagli elettroni di decadimento (5 Hz/cm 2 ) rispetto a quello dei muoni e degli adroni, che hanno lo stesso valore (3 Hz/cm 2 ). 4 Il Tempo di Deriva è il tempo che intercorre tra l attraversamento del tubo a deriva da parte della particella, e l arrivo delle cariche prodotte dalla ionizzazione del gas sul conduttore centrale del tubo.

24 Le frequenze dei conteggi stimate per i neutroni (n), i fotoni (γ) e le particelle cariche prodotte dal passaggio delle stesse all interno dei calorimetri e degli altri elementi di ATLAS, vengono riassunte nella tabella 1.2: Regione Particelle neutre (n) Fotoni (γ) Particelle cariche (Hz/cm 2 ) (Hz/cm 2 ) (Hz/cm 2 ) Barrel EI (inner end-cap) 1.4< η < < η < EM (med. End-cap) 1.4< η < < η < EM (outer end-cap) 1.4< η < < η < Tabella 1.2: Stima dei conteggi per la produzione di particelle all interno delle camere di precisione (MDT) La stima è stata effettuata considerando i conteggi delle camere di precisione (MDT) per le regioni del barrel e dello end-cap 5, e assumendo per la luminosità il valore massimo di cm -2 s Con la notazione EI, EM ed EO vengono indicate rispettivamente le zone interne, centrali, ed esterne della regione dello end-cap delle stazioni dei muoni.

25 1.3 Il sistema di trigger Generalità. Il sistema di trigger dell esperimento ATLAS seleziona in tempo reale gli eventi prodotti dalle collisioni protone-protone nel rivelatore interno, nei calorimetri e nello spettrometro dei µ. Il trigger deve gestire una enorme quantità di dati provenienti dall elettronica di front-end del rivelatore. Considerando infatti che, alla luminosità di cm -2 s -1, il volume dei dati per ogni bunch crossing è dell ordine di 1 Mbyte, e che in LHC vi è una collisione ogni 25 ns, il flusso totale dei dati è pari a ~ 40 Tbyte/s! Nella figura 1.7 viene riportato lo schema generale del sistema di trigger e acquisizione dati dell esperimento.

26 Figura 1.7: Schema del sistema di trigger dell esperimento ATLAS. Data la grande quantità di informazioni da elaborare, il trigger viene suddiviso in tre livelli gerarchici, all interno dei quali si cerca un compromesso tra la frequenza degli eventi da gestire e la complessità degli algoritmi che devono essere applicati ai dati stessi. Nel caso peggiore le decisioni sugli eventi debbono essere prese in pochi µs, ciò per non perdere i dati relativi al campionamento successivo. Inoltre la struttura che si cerca di utilizzare per il sistema di trigger è fortemente parallela, sia per evitare colli di bottiglia nei dispositivi di ricezione, sia per la natura stessa delle tecniche di rivelazione di ATLAS. Il primo livello è localizzabile immediatamente dopo l elettronica di front-end e deve essere quindi in grado di accettare dati alla frequenza di 40 MHz (frequenza di

27 collisione di LHC) ovvero ogni 25 ns. Questo livello ha come input tutte le informazioni provenienti dai calorimetri e dallo spettrometro dei µ, mentre non considera i dati forniti dal rivelatore interno (quest ultimo è troppo lento). Il primo livello deve fornire, in maniera non ambigua, informazioni sull evento selezionato e deve ridurre la frequenza dei dati in uscita a 100 KHz. La sua latenza è pari a ~2 µs: durante questo intervallo di tempo i segnali provenienti dai rivelatori vengono memorizzati in memorie pipeline. Grazie a questa prima selezione, vengono individuate le Regioni di Interesse (RoI), le quali hanno delle soglie programmabili e nelle quali sono contenute le informazioni da trasmettere al 2 livello. Anche se di complessità non elevata, gli algoritmi presenti nel livello uno sono estremamente selettivi e permettono una forte riduzione del flusso dei dati. Inoltre, dato il brevissimo tempo a disposizione per prendere una decisione (~2 µs), gli algoritmi del 1 livello sono implementati in modo hardware: in sostanza effettuano dei confronti tra le grandezze rivelate e le soglie programmate. Il secondo livello, che nel paragrafo 1.4 verrà descritto nel dettaglio, analizza soltanto i dati provenienti dalle RoI (con frequenza pari a 100 KHz) utilizzando però anche le informazioni provenienti dal rivelatore interno, relativamente alle RoI o di tutto il rivelatore, a seconda della luminosità alla quale si lavora. La sua latenza massima è pari a 10 ms, e la frequenza dei dati passa da 100 KHz ad 1 KHz. Questo livello, grazie ad una maggiore latenza, può applicare algoritmi più complessi rispetto a quelli del livello precedente, decidendo così se un evento è da rigettare, oppure deve essere passato al trigger di livello tre. Inoltre, i dati a disposizione sono quelli con la precisione e la granularità finali, ossia gli stessi dell analisi offline. Una volta accettato, l evento viene passato all ultimo livello, il quale elabora tutti i dati dell evento (non solo quelli delle RoI) e memorizza, con una frequenza massima di 100 eventi/s (la dimensione del singolo evento è di 1 Mbyte), le informazioni finali per le analisi offline. Quest ultimo sottosistema, anche se presenta una complessità maggiore dei precedenti, permette di avere delle latenze di qualche secondo. In sostanza il primo livello accetta e registra in delle memorie pipeline tutti i dati provenienti dai calorimetri e dallo spettrometro dei muoni, fornisce al secondo livello le informazioni delle RoI ed alle memorie DAQ tutti i dati digitalizzati; il secondo livello elabora le RoI e decide se l evento deve essere accettato o rigettato: in

28 caso di risposta affermativa l evento viene inviato al trigger di livello 3 (Event Filter), mentre in caso di risposta negativa i dati presenti nelle memorie del DAQ vengono sovrascritti Architettura del sistema di trigger. In questo paragrafo si vuole fornire una descrizione più dettagliata delle varie parti che compongono il sistema di trigger. Nella figura 1.8 viene riportato lo schema a blocchi dell architettura nel suo complesso. Figura 1.8: Architettura del sistema di trigger. Dall elettronica di front-end provengono dei link 1 dedicati denominati FEL (Front End Link) i quali, grazie a dei multiplexer ed ai Read Out Link (ROL), vengono connessi a ~2000 R/O Cards (Read Out Cards) o ROB (Read Out Buffer) 1 Questi link possono avere specifiche diverse per i vari rivelatori dai quali provengono anche se per la maggior parte si prevede di utilizzare link ottici da 1 Gbit/s.

29 inserite nei crate (~200) denominati DAQ Crates; questi ultimi, allo stato attuale delle cose, possono in linea di principio essere identificati come crate VME. La frequenza degli eventi all ingresso del trigger delle R/O Cards è, come detto in precedenza, di 100 KHz ed il volume dei dati di un singolo evento al loro ingresso è di ~1.3 Mbyte. Considerando le incertezze ancora presenti su quest ultimo valore, una stima adeguata della banda passante aggregata in ingresso alle R/O Cards risulta essere di ~150 Gbyte/s (~1.5 Mbyte 100 KHz). La capacità di acquisizione del singolo ROB è dell ordine di 1 Gbit/s e quindi la stima iniziale di 2000 R/O Cards risulta essere ridondante (150 Gbyte/s 1 Gbit/s = 1200). Ogni R/O Card è provvista di una memoria a molte porte [13], necessaria per memorizzare i dati durante la latenza di secondo livello, una CPU (Central Processing unit) per il preprocessamento e la formattazione dei dati, e delle interfacce di uscita per i livelli 2 e 3. Le memorie, che ricevono i dati dal primo livello e li spediscono al secondo ed eventualmente al terzo, debbono essere provviste di almeno due porte veloci (1 Gbit/s): una in ingresso ed una in uscita. Una ulteriore porta di I/O a bassa velocità (per esempio VME) è prevista per il monitoring della scheda. Ogni DAQ crate contiene invece, oltre alle R/O Cards, un DAQ Supervisor per la gestione del crate ed il monitoring del suo stato, ed una trigger interface (TRG) la quale colloquia con lo RoI builder del primo livello e col Supervisor del secondo; le coordinate del RoI builder vengono convertite in indirizzi che puntano ai buffer delle R/O Cards nei quali sono memorizzati i dati. In questo modo le informazioni relative ad una determinata RoI possono essere identificate e quindi trasferite (sotto la richiesta del Supervisor) al livello 2 per l esecuzione degli algoritmi, al livello 3 se l evento viene accettato, oppure ignorate se l evento è da rigettare. I dati che arrivano al 3 livello sono quindi tutti relativi ad eventi accettati dal 2 livello. Il dimensionamento delle memorie presenti nelle R/O Cards e la latenza del secondo livello, dipendono l una dall altra: al crescere della latenza un maggior numero di eventi deve attendere la decisione del Supervisor, e quindi sono necessarie delle memorie più capienti per contenerli. Tutti i DAQ crates vengono connessi tra loro tramite una rete locale (al momento una LAN - Local Area Network) e gestiti da un sottosistema di controllo in grado di identificare ed isolare eventuali malfunzionamenti, senza interrompere le

30 comunicazioni sugli altri DAQ crates 2. La rete di controllo, oltre ad interconnettere tra loro i vari crate, è a sua volta collegata con il Detector Control System (DCS) il quale supervisiona tutte le componenti del rivelatore e le infrastrutture di ATLAS. 1.4 Il trigger di 2 livello. Il trigger di 2 livello ha lo scopo di ridurre la frequenza degli eventi di un fattore 100, ossia da 100 KHz ad 1 KHz. Tale riduzione è possibile grazie all uso di algoritmi software più sofisticati rispetto a quelli utilizzati al 1 livello e soprattutto correlando tra loro le informazioni dei vari sottorivelatori. In questo punto sono disponibili agli algoritmi i dati con la precisione e granularità finali, che consentono di ricostruire meglio gli oggetti fisici (e ±, µ ±, h, jets, ecc ) indicati dal trigger di 1 livello, e di fare inoltre delle ipotesi su alcuni canali di decadimento. La riduzione della frequenza degli eventi si ottiene grazie alla definizione più netta della soglia di trigger, alla richiesta di criteri di correlazione (ad esempio criteri di isolamento applicati ai muoni, basati sulle informazioni dei calorimetri) ed a tagli in massa invariante per canali quali Z 0 µ + µ,e + e, ecc E altresì necessario progettare il sistema implementando un forte parallelismo ed introducendo il concetto di RoI, che permette di ridurre la quantità di informazioni sulle quali si deve applicare l algoritmo di almeno un ordine di grandezza. In questo modo la realizzazione di un sistema che funzioni alle frequenze previste è possibile con tecnologie moderne. La latenza del 2 livello è variabile e compresa nel range 1 10 ms. Lo schema generale di questo sottosistema, viene riportato nella figura Affinchè il tutto sia fault tolerant è necessario che il sottosistema di controllo ed il sistema di gestione del flusso dei dati siano tra loro indipendenti.

31 Figura 1.9: Schema del trigger di 2 livello. I LVL2 Buffers sono le R/O Cards e contengono i dati provenienti dall elettronica di front-end. Come già detto, il numero di questi buffer è stimato essere ~2000, per una rate totale di 150 Gbyte/s. Nel secondo livello, una prima elaborazione viene effettuata dai processori locali (processori general-purpose) i quali ricevono parte dei dati memorizzati nei buffer (quelli relativi alle RoI) sotto il controllo del LVL2 Supervisor. Questi processori sono organizzati in farm e dedicati ad uno specifico sotto-rivelatore. Una prima switching network (Local Switching Network) si rende in questo punto necessaria per la connessione globale tra i ROB ed i processori locali. Con questo tipo di interconnessione (a differenza delle Multiplexing Network) sono possibili dei collegamenti multipli tra più elementi; il

32 flusso di dati provenienti da più buffer e destinati ad un processore locale non impedisce che nella rete vi siano, nello stesso istante, altre vie di comunicazione tra gli host. Un altra rete (Global Switching Network) viene interposta tra i processori locali ed i processori globali (anch essi processori general-purpose); questi ultimi sono in numero minore rispetto ai primi ed elaborano i dati relativi a tutte le RoI che appartengono ad un evento. Le unità di calcolo appena descritte (processori locali e globali) possono essere realizzate con dei processori veri e propri oppure con delle matrici a logica programmabile (Field Programmable Gate Array - FPGA 3 ); queste ultime sono ugualmente veloci e meno costose dei processori; per contro sono però più complesse, ovvero la loro programmazione è (attualmente) più difficoltosa rispetto a quella delle CPU. Al momento non è stata presa nessuna decisione sulle unità di elaborazione in quanto le potenze di calcolo crescono notevolmente con gli anni, e non avrebbe senso decidere ora il processore finale dell esperimento. Comunque una stima ragionevole per la potenza richiesta ai processori locali nel complesso risulta essere di ~ MIPS (Mega Instructions Per Second) equivalenti: per soddisfare queste cifre, all aumentare della potenza delle singole CPU, sarà sufficiente un numero sempre minore di esse. Il blocco denominato RoI Builder combina tra loro le informazioni sintetiche sull evento, provenienti dai calorimetri e dallo spettrometro ed elaborate dal trigger di 1 livello, e le fornisce, sotto forma di RoI, al LVL2 Supervisor per l identificazione dell evento. Il LVL2 Supervisor controlla invece l intero flusso di dati del 2 livello, selezionando dai ROB i dati da passare al trigger, eventualmente aggiungendo loro delle informazioni per l instradamento attraverso la rete, assegnando, ove necessario, i processori delle farm locali e globali alle singole RoI e all evento stesso, ed infine interagendo con il Supervisor del 3 livello. 3 Una FPGA è una logica programmabile (PLA, PLD ecc ) con una serie di funzionalità aggiuntive. In particolare ha una capienza maggiore delle PLD, è molto più flessibile e molto spesso è un dispositivo SRAM (Static RAM) ovvero ha bisogno di essere riconfigurata ogni volta che viene alimentata. La sua programmazione avviene mediante un apposito linguaggio nel quale sono presenti delle librerie contenenti i componenti elettronici da riprodurre al suo interno. Le sue caratteristiche fondamentali sono la velocità con la quale fornisce i risultati in uscita e la capacità, espressa in gateequivalente. Mediante le FPGA è possibile riprodurre innumerevoli componenti tra cui memorie, logiche di controllo, interfacce (tipo PCI-DSLink) e CPU. Una logica programmabile è invece un dispositivo elettronico costituito da una matrice di porte logiche fondamentali (AND e OR), in grado di realizzare delle funzioni booleane delle variabili presenti al suo ingresso.

33 Come si può intuire dalla figura 1.9 e dai paragrafi precedenti, l elaborazione dell evento al livello due viene suddivisa in diversi passi fondamentali, ad ognuno dei quali corrisponde una diminuzione dell ammontare dei dati. Il primo passo, effettuato dai processori locali, converte le informazioni provenienti dai vari subdetector (raw data) in quantità fisiche; il secondo passo, effettuato ancora dai processori locali, associa queste quantità fisiche (energia, impulso, ecc ) relative ad una singola RoI, ad oggetti ben definiti (e, µ, h, jet, ecc ). L ultimo passo infine (processori globali), per ciascuna RoI, correla i vari subdetector ed elabora tutti gli oggetti delle RoI di uno stesso evento per la decisione finale. Data la necessità di combinare tra loro informazioni provenienti da subdetector differenti, l uso delle switching network come reti di collegamento tra le vari parti, rende più duttile il sistema, in quanto in linea di principio (se la rete viene configurata in tal senso) ogni sorgente può inviare dati ad una qualsiasi delle destinazioni. I particolari delle switching network verranno discussi nei capitoli successivi. I dati memorizzati nei ROB sono suddivisi in base al tipo di rivelatore dal quale provengono: le informazioni relative allo spettrometro occuperanno un certo numero di memorie, così quelle dei calorimetri e del rivelatore interno. Questa suddivisione rimane tale nei processori locali, e così la rete locale può essere suddivisa in tre sottoreti indipendenti. Un processore globale invece, combinando informazioni provenienti da più rivelatori differenti, deve poter ricevere dati da più processori locali. Di conseguenza la rete globale deve essere unificata, ovvero deve connettere ogni processore locale ad ognuno dei processori globali. Data l enorme quantità di componenti presenti nel trigger di 2 livello (processori, memorie, switch ) e la loro complessità, caratteristiche fondamentali del sistema sono la tolleranza ai guasti e la riconfigurabilità, in modo tale che un errore su un singolo componente non comporti il blocco totale dell algoritmo e quindi della presa dati. Ancora una volta l uso delle switching network soddisfa tali richieste; in particolare vedremo come le reti basate sullo switch elettronico SGS Thomson C104 siano in buon accordo con le specifiche appena descritte.

34 1.4.1 Dimensionamento del sistema di trigger di 2 livello. Dimensionare in modo preciso tutte le componenti del sistema di trigger non è al momento un compito agevole, in quanto non sono ancora state effettuate tutte le simulazioni necessarie sia della fisica, sia dei fondi previsti nella caverna e quindi dell apparato sperimentale. Da ciò si dovrebbero ricavare le frequenze ed i volumi dei dati in gioco. Anche i dettagli sulla elettronica di lettura dei rivelatori sono importanti al fine di dimensionare il sistema, ma tale elettronica è ancora in via di definizione. Al momento è solo possibile effettuare una stima di massima del numero dei componenti che costituiscono le reti locali e globale, e calcolare delle dimensioni che sono un estremo superiore per quelle dell esperimento finale. Eventuali espansioni future vengono considerate contemplando reti scalabili. E necessario considerare tutti i rivelatori, non solo lo spettrometro dei muoni, sia perchè gli switch hanno un utilizzo generale, sia per dimensionare correttamente la rete globale. Come detto gli switch locali appartengono al rivelatore dal quale provengono i dati al loro ingresso. I calorimetri (e.m. + adronico) distribuiscono le informazioni a ~800 ROB contenuti in ~50 DAQ, il TRT a ~512 ROB (in 32 crate), mentre lo spettrometro a muoni ~256 ROB (in ~16 crate).

35 Figura 1.10: Dimensioni delle reti locali e globale. Questi dati vengono poi distribuiti dai tre switch locali rispettivamente a 256 (calorimetri), 256 (TRT) e 128 (spettrometro) processori locali, i quali, dopo aver applicato gli algoritmi di ricostruzione, li instradano verso i 128 processori globali mediante il global switch. Ogni evento è costituito in media da ~3 RoIs, ognuna delle quali ha delle dimensioni che dipendono dal rivelatore dal quale provengono. Per i processori locali esistono delle stime, sia per quanto riguarda queste dimensioni, sia per i tempi di esecuzione degli algoritmi del 2 livello. Nella tabella 1.3 vengono riportate le due serie di valori, ricavate considerando dei processori locali aventi una potenza di calcolo di 500 MIPS equivalenti 4. 4 In realtà la simulazione per il calcolo delle latenze degli algoritmi dei processori locali è stata effettuata considerando dei processori da 100 MIPS equivalenti. I valori della tabella relativi a processori locali da 500 MIPS equivalenti sono stati ottenuti estrapolando i risultati di tale simulazione.

36 Rivelatore Tempi di esecuzione degli algoritmi Dimensioni evento Spettrometro dei µ < MIPS ~1 Kbyte per RoI Calorimetri < MIPS ~2.5 Kbyte per e/γ ~16 Kbyte per i jet TRT (Inner Detector) ~ MIPS ~0.3 L=10 34 cm -2 s -1 SCT (Inner Detector) <1 500 MIPS ~1 L=10 34 cm -2 s -1 Tabella 1.3: Stima dei tempi di esecuzione degli algoritmi dei processori locali e dimensioni degli eventi. Per la stima della latenza introdotta dai processori globali non è stata effettuata invece nessuna simulazione. Quindi non si conoscono ancora i tempi caratteristici dell ultima parte degli algoritmi di ricostruzione, ma si suppone che essi siano sensibilmente inferiori a quelli esposti nella tabella 1.3. Ricapitolando si hanno dunque tre switch locali ed uno globale, con le dimensioni riportate nella figura 1.10 e rispondenti alle seguenti caratteristiche: relativamente ad una stessa rete, tutte le sorgenti devono poter dialogare con tutte le destinazioni in modo bidirezionale; non sono previste connessioni orizzontali del tipo ROB-ROB, processore locale - processore locale, processore globale - processore globale (almeno non tramite gli switch); le reti devono avere una latenza dipendente soltanto dalla lunghezza del pacchetto che le attraversa e non dal nodo di ingresso; le reti devono essere scalabili, per eventuali espansioni e/o modifiche; il loro throughput deve essere dell ordine di 1 Gbit/s per link. Nella distribuzione dei dati attraverso la rete di switch, è possibile implementare due differenti architetture: pull e push. Nella prima, i dati vengono inviati al destinatario sotto sua esplicita richiesta: la sorgente (ROB o processore locale) attende un segnale prima inviare le informazioni al processore locale o globale richiedente, che a sua volta effettua la richiesta soltanto quando necessita dei dati.

37 Nella seconda i dati vengono instradati nello switch, anche se il processore che deve riceverli non è ancora pronto a processarli perchè occupato con un altra RoI o evento: in questo caso le informazioni vengono memorizzate nella memoria locale del destinatario. Grazie alla bidirezionalità dei link, entrambe le architetture possono funzionare correttamente con la tecnica delle switching network: tutti gli host (sorgenti o destinazioni) hanno un loro indirizzo e possono così identificarsi univocamente, sia per richiedere dati che per inviarli. Nell architettura pull, essendo il processore di destinazione a richiedere i dati, si ha un maggiore sfruttamento delle risorse di rete, le quali vengono impegnate soltanto quando l algoritmo lo richiede e non ogniqualvolta nelle sorgenti vi è un pacchetto pronto per essere spedito. Per contro però il processore locale deve spendere del tempo per effettuare la richiesta. A favore della push vi è invece una maggiore semplicità di gestione del sistema in quanto le informazioni relative ad un evento vengono raccolte direttamente dalle sorgenti, a costo però di un maggior sfruttamento della switching network. Dopo aver mostrato quali sono le specifiche generali delle reti locali e globale del sistema di trigger, nei capitoli successivi verranno descritte nel dettaglio le caratteristiche dello switch STC104 della SGS Thomson, e verrà analizzata la topologia di interconnessione delle switching network dell esperimento ATLAS.

38 Capitolo 2 Il protocollo IEEE 1355 e la sua realizzazione hardware. I componenti hardware utilizzati, nonchè il software sviluppato per realizzare uno switching network con le caratteristiche richieste dal trigger di 2 livello di ATLAS, rispondono alle specifiche del protocollo di comunicazione IEEE 1355 [12]. Il presente capitolo vuole fornire una esauriente descrizione di questo protocollo e dei vari componenti elettronici mediante i quali esso viene realizzato. Vengono altresì studiate la prestazioni teoriche del protocollo di comunicazione ed alcune importanti tecniche di instradamento dei pacchetti attraverso gli switch STC104. Lo IEEE 1355 nasce come protocollo di interconnessione seriale tra dispositivi elettronici. Esso riguarda innumerevoli campi di applicazione nei quali è richiesta una connettività globale a bassa latenza, basso costo, di semplice implementazione, scalabile. Applicazioni tipiche sono la realizzazione di LAN, calcolo parallelo, server multimediali, networking e sistemi di acquisizione dati, quali appunto quello di ATLAS. La possibilità di applicazione dello IEEE 1355 in campo audio, video, e la compatibilità (ad alto livello) che esso ha nei confronti di altri protocolli (TCP/IP, ATM, ecc.), nascono fondamentalmente dalla libertà di poter scegliere la lunghezza dei pacchetti da trasmettere anche se, come vedremo, per raggiungere le migliori prestazioni è necessario imporre alcuni limiti sulle dimensioni degli stessi. Un altra caratteristica fondamentale dello IEEE 1355, che permette comunicazioni asincrone, è la implementazione di memorie FIFO (First In First Out) tra i vari host interconnessi. In questo modo le differenti velocità dei dispositivi non limitano le comunicazioni tra essi. La realizzazione hardware dello IEEE 1355 viene effettuata da una serie di chip che saranno descritti nel seguito del capitolo e che rispondono al protocollo IEEE 1355 DS-DE (denominato anche DSLink). Come vedremo quest ultimo completa lo IEEE 1355, mediante l aggiunta di una serie di specifiche per il controllo del flusso di dati e per la gestione delle informazioni da trasferire.

39 2.1 Il Protocollo IEEE 1355 DS-DE Descrizione generale. Lo IEEE 1355 DS-DE (DSLink) è un protocollo che integra lo IEEE 1355 con alcune specifiche più dettagliate sui segnali utilizzati nelle comunicazioni. Viene utilizzato per collegamenti punto-punto e permette di effettuare trasmissioni bidirezionali asincrone, con controllo di flusso a vari livelli gerarchici. Il canale DSLink è costituito da 8 linee sulle quali viaggiano i segnali (differenziali) di Data e di Strobe, 4 per ogni direzione; è attualmente in grado di raggiunge velocità di trasmissione di 100 Mbit/s. Il protocollo DSLink prevede 5 livelli gerarchici: 1 elettrico; 2 a livello di bit; 3 a livello di token; 4 a livello di pacchetto; 5 a livello di messaggio. In generale la suddivisione in livelli è tipica di tutti i protocolli di comunicazione. Nello IEEE 1355 DS-DE i primi tre livelli vengono realizzati in modo automatico dai dispositivi hardware che vedremo nel seguito del capitolo (STC101 ed STC104). La pacchettizzazione ed il messaging non vengono invece eseguiti automaticamente, ma possono essere realizzati dall utente mediante alcuni strumenti forniti dallo stesso hardware. Sostanzialmente i tre livelli inferiori permettono di realizzare sia un controllo sul flusso dei dati (rivelazione di errori sulla parità), sia uno handshake tra i dispositivi connessi, il tutto senza alcun intervento esterno. La capacità di gestire pacchetti e messaggi permette invece di aggiungere ai dati delle informazioni addizionali, dette di routing, quali l indirizzo della destinazione ed un segnale indicante la loro terminazione. Mediante queste ultime è così possibile trasferire le informazioni tra più di due host, e attraversare delle switching network comunque complesse (come ad esempio quelle presenti nel trigger di 2 livello di ATLAS). Analizziamo nel dettaglio i 5 livelli del protocollo.

40 Protocollo a livello elettrico. I segnali presenti all interno dei dispositivi DSLink sono TTL compatibili. Quando devono essere propagati per distanze lunghe (alcuni metri), per eliminare le fluttuazioni del potenziale di massa, questi segnali vengono trasformati in livelli differenziali, generati tramite dei buffer della famiglia AT&T 41 [2]. Dal momento che i segnali DSLink sono, come vedremo, due per ogni direzione di percorrenza, ed ognuno di essi è differenziale, sono necessarie otto linee per il loro trasporto. I cavi DSLink a disposizione sono del tipo 2791 della Madison Cable Corporation, hanno una resistenza caratteristica di 100 Ω, e sono costituiti da 8 fili di rame, oltre ad uno per la massa ed uno riservato. Il collegamento di questi cavi alle schede elettroniche avviene tramite dei connettori, una coppia per ogni canale DSLink, i quali sono robusti e di piccole dimensioni (se comparati con componenti analoghi). I cavi ed i connettori sono completamente schermati. I cavi utilizzati per il prototipo allestito in laboratorio sono di due differenti lunghezze: ~20 cm e ~200 cm. Protocollo a livello di bit. Il controllo di flusso a livello di bit prevede che il segnale contenente l'informazione (Data) viaggi, su linee separate, con un segnale di Strobe, il quale ha la caratteristica di variare il suo stato ogniqualvolta il Data non varia (figura 2.1). Figura 2.1: Segnali data e strobe. Questi due segnali nel complesso trasportano un clock che può essere propagato tra i dispositivi DSLink connessi, rendendo la comunicazione asincrona. La sua ricostruzione viene fatta applicando ai segnali D e S l operazione logica XOR (OR-Esclusivo).

41 Protocollo a livello di token. A livello superiore il protocollo è organizzato in "token", delle stringhe di bit costituite da segnali di dato o di controllo. Questi vengono gestiti, in modo invisibile ai livelli superiori, dai singoli link, i quali sono provvisti di una apposita elettronica. I token possono essere di due tipi: data token e control token. I primi sono costituiti da 10 bit di cui 8 di dato, uno di parità dispari (P) ed uno di controllo del token stesso (C). I control token hanno invece 4 bit: i primi due indicano la codifica dell informazione trasportata (secondo la legenda indicata nella tabella 2.1), mentre gli altri due sono gli stessi del caso precedente (C e P). In entrambi i token la funzione del bit C è quella di indicarne il tipo: se C=0 allora il token in esame è del tipo data, altrimenti (C=1) è un control token. I data token hanno quindi il bit C perennemente impostato al livello logico 0, mentre i control token al livello 1. Si noti che questa è l unica caratteristica che li contraddistingue, oltre al diverso numero di bit in essi contenuti. Dal momento che la lunghezza dei due tipi di token è differente, il bit di parità viene impostato considerando lo stesso bit P, il bit di controllo C del token in esame e tutti i bit costituenti il corpo del token precedente, i quali sono 8 per i data token e 2 per i control token. In questo modo si riescono ad identificare errori singoli su tutti bit della stringa, incluso quello di controllo (figura 2.2). Infatti, se si effettuasse il controllo della parità sui data token ed i control token singolarmente, in presenza di un errore sul bit C verrebbe sfasata l acquisizione di tutti i bit successivi, con conseguenze catastrofiche per il dato trasportato. La parità P assicura che il numero di 1 presenti nei bit considerati sia sempre dispari.

42 Figura 2.2: Protocollo a livello di Token. Funzione del Token Codice valore dei bit del token di controllo (P + C + xx) Flow Control Token FCT P100 End Of Packet EOP P101 End Of Message EOM P110 ESCape token ESC P111 NULL token NUL ESC + P100 1 Tabella 2.1: Codifica dei token di controllo. Il controllo di flusso a livello di token viene implementato dal protocollo DSLink per effettuare un handshake tra la sorgente ed il buffer di destinazione: quando quest'ultimo ha spazio a sufficienza per almeno 8 data token, invia un FCT alla sorgente la quale spedisce i dati, ed attende un altro FCT. In questo modo non avvengono perdite di informazione per "overrunning" ed inoltre, avendo i buffer in esame una capacità maggiore di 8 token, la banda passante dei link non viene limitata. I token di controllo non devono necessariamente essere inviati dopo ogni data token 1 Il NULL token è costituito da due comandi successivi.

43 ma soltanto in caso di necessità. Ad esempio, se un dato è costituito da 32 bit e viene organizzato in un unico pacchetto avente un byte di testa, per trasmetterlo si devono inviare 5 data token successivi (uno per la testa e quattro per il dato), seguiti da un control token del tipo EOP. Protocollo a livello di pacchetto e di messaggio. A livello più elevato il protocollo DSLink prevede la pacchettizzazione dei dati ed il messaging degli stessi. Ciò consiste nel raggruppare le informazioni da spedire in pacchetti di lunghezza variabile (espressa in byte) aggiungendo ad essi una "testa" ed una "coda", con il duplice scopo di rendere possibile l'instradamento attraverso gli switch STC104 e, come vedremo, di consentire delle comunicazioni più complesse. La testa, che è costituita da uno o più data token, può avere una lunghezza variabile e definisce la destinazione del pacchetto. La coda indica invece la sua terminazione. Quest'ultima, costituita da un unico control token, può essere un segnale del tipo EOP (End Of Packet) oppure EOM (End Of Message) ed indica se il pacchetto in esame è l'ultimo di un messaggio oppure no. Inoltre, un pacchetto costituito da una testa ed un "end of packet" (senza byte di dato) costituisce un acknowledge packet. La fig. 2.3 riassume quanto appena espresso: Figura 2.3: Protocollo DSLink a livello di pacchetto. La pacchettizzazione offre innumerevoli vantaggi, soprattutto laddove vi siano diversi dispositivi connessi tra loro attraverso una rete di switch elettronici, come nel caso del trigger di 2 livello di ATLAS. I vari host possono essere dei processori o delle memorie, ognuno con un suo indirizzo (unico) all'interno del sistema, mentre i

44 dati, organizzati in pacchetti, con la loro testa ed il loro terminatore possono viaggiare tra i dispositivi in maniera asincrona, bidirezionale ed indipendente gli uni dagli altri. Vediamo ora come il protocollo DSLink viene ulteriormente arricchito da strumenti per il controllo dei messaggi. Come visto, questi ultimi sono semplicemente dei pacchetti con un terminatore del tipo EOM, ma con essi si indica in genere la totalità dei dati che si devono spedire. In questo modo, aggiungendo un terminatore di uno dei due tipi, è possibile specificare se il token che lo precede è l ultimo di un pacchetto oppure di un intero messaggio, ovvero se le informazioni riguardanti il dato sono state parzialmente o totalmente inviate al destinatario. Così il dispositivo ricevente è in grado di separare tra loro i vari messaggi (nel caso di ATLAS ciò equivale ad esempio alla separazione di dati relativi ad eventi differenti). Il Virtual Channel Protocol (VCP). Alle volte, anche utilizzando tutti e 5 i livelli del protocollo DSLink, non si ottengono delle comunicazioni ottimizzate. Ciò avviene soprattutto quando non si considerano delle semplici connessioni punto-punto, ma molti dispositivi che si scambiano dei pacchetti di dimensioni elevate. In questo caso, peraltro molto comune, per raggiungere delle prestazioni soddisfacenti si devono utilizzare degli algoritmi più sofisticati per il trattamento delle informazioni. Supponiamo, ad esempio, di voler connettere tra loro 4 processori in modo che essi possano dialogare a coppie. Una tecnica per fare ciò potrebbe essere quella di connetterli fisicamente tra loro attraverso 4 canali DSLink indipendenti, come in figura 2.4. Figura 2.4: Quattro processori connessi mediante quattro canali DSLink.

45 Una tecnica più intelligente è quella che si ottiene implementando il Virtual Channel Protocol (VCP). La caratteristica fondamentale della gestione del canale virtuale è quella di prevedere la condivisione di un unico canale fisico da parte di più link logici, i quali vengono appunto detti canali virtuali. Questo canale fisico connette tra loro due multiplexer ai quali sono collegati i 4 processori, che a loro volta sono identificati da un "indirizzo". I dati provenienti da uno dei due processori P1 e P2 possono essere inviati ad uno qualsiasi degli altri due formando semplicemente uno o più pacchetti aventi come testa l'indirizzo del processore di destinazione. Considerando che non tutti i link saranno occupati contemporaneamente e per tutto il tempo di lavoro del sistema, così facendo si ha un notevole risparmio di componenti hardware, ed una migliore gestione delle risorse. In ATLAS, se volessimo connettere le tre farm di processori locali con i processori globali utilizzando la tecnica della figura 2.4, avremmo bisogno di decine di migliaia di canali, uno per ogni coppia di host! Figura 2.5: Quattro processori connessi mediante un canale DSLink. Come vedremo nei capitoli successivi, oltre all implementazione dei canali virtuali, la sostituzione dei multiplexer con uno switch STC104 permette l interconnessione globale tra tutti i dispositivi, ovvero una situazione nella quale ogni host può dialogare indifferentemente con tutti gli altri. Un altra peculiare caratteristica del VCP è la suddivisione dei messaggi in pacchetti di lunghezza massima pari a 32 byte. Messaggi di lunghezza inferiore vengono spediti immediatamente mentre quelli con lunghezze maggiori vengono spezzati in più pacchetti (figura 2.6).

46 Figura 2.6: Suddivisione dei messaggi in pacchetti aventi lunghezza massima pari a 32 byte. Ciò al fine di evitare che i messaggi più lunghi monopolizzino il link fisico costringendo gli altri ad attese indeterminate. La latenza della rete è così indipendente dalla lunghezza dei pacchetti che viaggiano sugli altri canali virtuali, e dipende soltanto dal traffico globale della rete e dai ritardi dei dispositivi hardware. In questo modo inoltre i messaggi spediti dai vari host sono realmente concorrenti 2. Un segnale di acknowledge deve essere inviato al mittente prima della trasmissione del pacchetto successivo; ciò non richiede comunque l'invio di un indirizzo di ritorno in quanto un link virtuale è bidirezionale e quindi costituito da una coppia di canali virtuali: il segnale di acknowledge viene spedito sul canale di ritorno dello stesso virtual link. Inoltre, per riconoscere errori di disconnessione e di parità (capitolo 4), il protocollo DSLink prevede una trasmissione continua di segnali: quando non vi è nessuna informazione da trasferire, vengono spediti sul link dei NUL token. 2 Senza la suddivisione in pacchetti, può avvenire ad esempio che un messaggio di pochi byte di lunghezza, prima di poter occupare il canale, debba attendere che un messaggio di lunghezza molto superiore sia stato completamente trasferito. In questo modo il tempo di instradamento del pacchetto corto viene a dipendere dalle dimensioni del pacchetto lungo che lo precede.

47 I chip SGS Thomson STC101 ed STC104, utilizzati nello sviluppo di questo lavoro e descritti nel seguito, implementano in modo automatico il protocollo DSLink fino al 3 livello incluso. Per quanto riguarda i controlli di flusso a livello di pacchetto e di messaggio, questi dispositivi forniscono ottimi strumenti per la loro utilizzazione, mentre contemplano solo in parte la gestione del canale virtuale. Nel caso in cui si voglia implementare il VCP, si devono effettuare delle aggiunte software oppure hardware, in particolare sulle schede che includono lo STC101 (interfaccia parallelo - DSLink). Nel caso di una gestione software, si deve tener conto di uno overhead che potrebbe non essere tollerabile in un sistema di connessione complesso quale quello presente in ATLAS. Riservare ad un processore ulteriore, oppure a delle logiche programmabili, il compito di gestire il canale virtuale è, nella maggior parte dei casi, l unico modo per non influire negativamente sulle velocità di comunicazione. Anche se nel corso di questo lavoro non si sfrutteranno tutte le possibilità offerte dal VCP, nel capitolo 5 verranno analizzate in modo più approfondito queste problematiche discutendo alcuni risultati sperimentali Performance del protocollo IEEE 1355 DS-DE. Il DSLink ha una velocità massima 100 Mbit/s ma, come descritto nei paragrafi precedenti, per ogni pacchetto il protocollo richiede l'invio di una testa, di una coda e di bit aggiuntivi per il controllo di flusso. I dati veri e propri vengono quindi integrati da ulteriori bit che non trasportano informazione, anche se sono fondamentali ai fini delle comunicazioni. Si vuole ora calcolare lo overhead del protocollo, ovvero in quale misura questi dati aggiuntivi limitano la banda passante, nel caso di trasmissioni unidirezionali e bidirezionali con il VCP. La figura 2.7 mostra come avviene il flusso dei pacchetti tra un sender ed un receiver.

48 Figura 2.7: Flusso unidirezionale dei pacchetti tra due host. Per comprendere i paragrafi che seguono dobbiamo ricordare che il canale DSLink è costituito da 4 linee separate, due di input e due di output. Quando un pacchetto viene spedito lungo le linee di output, su quelle di input si riceve un segnale di acknowledge, mentre ogni 8 token ricevuti in ingresso, vi è in uscita un control token (FCT) per il controllo del flusso di dati. Quindi, nel computo totale di tutti i bit trasmessi, si devono distinguere le linee di ingresso e quelle di uscita, tenendo in considerazione, oltre al protocollo, la sequenza di handshake nei casi unidirezionale e bidirezionale. Nelle comunicazioni unidirezionali si sfruttano le linee nei due versi di percorrenza ma non contemporaneamente (connessione half duplex). In quelle bidirezionali i link trasportano i dati in entrambe le direzioni (connessione full duplex). In quest ultimo caso lungo ogni direzione del singolo link viaggiano i dati relativi alle comunicazioni in un verso, ed i segnali di controllo relativi alle trasmissioni nella direzione opposta. La trattazione che segue è stata sviluppata per i canali di output ma la stessa cosa avviene per quelli di input.

49 Comunicazioni unidirezionali. Se vogliamo inviare un messaggio di m byte suddiviso in pacchetti lunghi 32 byte (VCP) abbiamo bisogno di un numero di pacchetti pari a: np m = min.int 32 in cui la funzione min.int dà il più piccolo intero maggiore o uguale alla frazione espressa in parentesi. Ricordo che i data token sono formati da 10 bit (8 data bit + 1 bit di parità + 1 bit di controllo) mentre il terminatore ha 4 bit (1 bit di parità + 1 bit di controllo + 2 bit di codice). Considerando che per ogni pacchetto deve essere inviata una testa ed una coda si ha che il numero di bit che costituiscono il messaggio di output è: b = 10? m + (10? s + 4)? n np dove s è pari al numero di byte costituenti la testa dei pacchetti. Il protocollo DSLink prevede che per ogni pacchetto spedito debba essere restituito al mittente un segnale di acknowledge costituito da una testa di s byte più un byte di coda. Il numero di data token in ingresso per il segnale di acknowledge è quindi pari a: n = ( s + 1)? dt np Nel VCP, per ogni 8 token sul link di ingresso vi è un token di controllo di flusso sul link di uscita; questi ultimi sono così in totale: n ft n = min.int 8 dt Ricordando che ogni token di controllo è costituito da 4 bit, il numero totale di bit trasmessi sul canale di output è pari a: B = 4? b n + nft

50 Considerando infine che il numero di bit che costituiscono il messaggio è pari a 8 m, la velocità di trasmissione dei dati è pari a: 8? m Vd =? 100Mbit / s B Vd = 10? m + 8? m ( 10? s + 4)? n p + 4n ft? 100Mbit / s Se ad esempio consideriamo due messaggi, il primo di lunghezza pari a 32 byte (m = 32), il secondo di 1 Kbyte (m = 1024), inviati entrambi mediante pacchetti da 32 byte ciascuno e con 2 byte di testa (s = 2), le velocità di comunicazione teoriche sono: 32 byte: V d 9.20 Mbyte/s byte: V d 9.29 Mbyte/s Comunicazioni bidirezionali. Nel caso di comunicazioni bidirezionali, le velocità di comunicazione dei dati sul singolo canale diminuiscono in quanto ora sui link di uscita viaggiano, oltre ai byte considerati precedentemente, dei token di controllo per i pacchetti in ingresso. Ancora una volta sia m la lunghezza del messaggio in byte (in questo caso si debbono considerare due messaggi, lunghi ognuno m byte, che viaggiano nelle due direzioni), s la lunghezza della testa dei pacchetti in byte, ed n p il numero di pacchetti da 32 byte (per n p vale la stessa formula del caso precedente). Il numero di bit trasmessi in uscita per il messaggio è: [ 10? m + ( 10? s + 4)? np] + ( 10? s + ) np bn = 4

51 dove il termine tra parentesi quadrata ha lo stesso significato del caso precedente, mentre il secondo termine rappresenta il numero di bit del segnale di acknowledge relativo al messaggio in ingresso (bit trasportati sempre dalle linee di uscita). Per quanto riguarda il controllo di flusso, il numero di data token che viaggiano sul link di ingresso è dato dai data token costituenti il messaggio in ingresso, e dai control token relativi al messaggio in uscita: n = [ m + ( s + 1)? n ] + ( s + 1)? n dt p p Come nel caso precedente per ogni 8 token in ingresso viene trasmesso un control token sul link di uscita: n ft n dt = min.int 8 Il numero totale dei bit costituenti il messaggio sul link di uscita è pari a: B = 4? b n + nft e la velocità di comunicazione vale: 8? m V d =? 100Mbit / s B 8? m Vd =? 100Mbit / s 10? m + (20? s + 8)? n + 4? n p ft Se anche questa volta calcoliamo le velocità di comunicazione teoriche nei due casi particolari (m = 32, m = 1024 byte) otteniamo: 32 byte: V d 8.25 Mbyte/s byte: V d 8.27 Mbyte/s.

52 Come previsto questi valori sono inferiori rispetto a quelli ricavati nel caso precedente. Per quanto riguarda il link di ingresso i calcoli sono analoghi. Se suddividiamo il messaggio in pacchetti di dimensioni maggiori di 32 byte, la banda passante aumenta in quanto diminuiscono i token di controllo che vengono spediti. Viceversa se diminuiamo la lunghezza dei pacchetti, le velocità di trasmissione diminuiscono. Inoltre se inviamo un singolo pacchetto otteniamo la massima velocità raggiungibile con il protocollo DSLink, in quanto sono minime le informazioni addizionali da aggiungere ai dati. Al proposito, vediamo quanto valgono le due bande passanti (unidirezionale e bidirezionale) nel caso in cui il messaggio da inviare non venga suddiviso, ma venga spedito con un singolo pacchetto di lunghezza qualsiasi (senza VCP). In entrambi i casi si ha n p = 1 ed effettuando questa sostituzione nelle formule precedenti si ottiene: unidirezionale bidirezionale 8? m =? 100Mbit s ; 10? m + 10? s + 8 Vd / V 8? m =? 100Mbit s ; 10? m + 20? s ? n d / ft La massima velocità raggiungibile con il DSLink a 100 Mbit/s si ricava facendo il limite di V d per m. In questa situazione si ottiene che: n ft m + 2?( s + 1) 8 ovvero diviene trascurabile l eventuale token aggiuntivo da inviare nel caso in cui quest ultima frazione fornisca un valore non intero. Sostituendo si ottiene: unidirezionale V d(m ) = 10 Mbyte/s; bidirezionale V d(m ) = 9.52 Mbyte/s.

53 Queste rappresentano le velocità di comunicazione limite, nei casi monodirezionale e bidirezionale, del protocollo IEEE Riassumendo i valori limite ottenuti nella tabella 2.2, si può notare come lo overhead introdotto dal protocollo DSLink sia sufficientemente limitato: Velocità assoluta Caso unidirezionale Caso bidirezionale Velocità dei link (Mbyte/s) Efficienza (%) ~ 76 Tabella 2.2: Overhead introdotto dal protocollo DSLink. L efficienza è definita come il rapporto tra il valore in esame ed il valore massimo (12.5) moltiplicato per 100. Nel caso peggiore si perde poco più del 20% della banda passante originale.

54 2.2 Lo switch STC104. Lo STC104 è uno switch elettronico asincrono in tecnologia VLSI (Very Large Scale Integration) costituito da 32 DSLink (Data Link 0-31) in grado di interconnettere tra loro 32 dispositivi in modo indipendente. Il notevole numero di porte (rispetto a componenti analoghi) di cui è provvisto è dovuto fondamentalmente al fatto che la macrocella SGS Thomson per il protocollo IEEE 1355 DS-DE occupa un area di silicio di soli 0.2 mm 2. Nelle figura 2.8 viene riportato il suo diagramma a blocchi: Figura 2.8: Schema a blocchi del C104.

55 Il C104 è l elemento base delle switching network locali e globali che si vogliono realizzare per i prototipi di trigger di 2 livello di ATLAS. Come si può notare ogni link ha la sua elettronica di processamento dei pacchetti ed i collegamenti interni sono assicurati da un crossbar switch 32x32. Ciò rende i link indipendenti tra loro e 32 dispositivi (host) possono essere connessi tramite un unico STC104, raggiungendo una larghezza di banda totale di 300 Mbyte/s [29]. La programmazione di questo dispositivo avviene a livello firmware tramite due link separati denominati Clink0 (ingresso) e Clink1 (uscita) i quali utilizzano lo stesso protocollo dei link di dato. Il Clink0 permette l'accesso ad una serie di registri interni mediante i quali è possibile configurare delle reti di C104 in termini di parametri di comunicazione quali velocità di trasmissione e lunghezza della testa dei pacchetti: tramite questi parametri si implementa il protocollo DSLink a livello di pacchetto. Il Clink1 propaga il segnale precedente al dispositivo successivo. Avendo i link lo stesso protocollo, si possono realizzare delle connessioni tra data link e control link; in genere però è consigliabile separare fisicamente le reti di dato e di controllo, per evitare che problemi nella prima si ripercuotano negativamente sul controllo dei dispositivi, rendendo impossibile qualsiasi operazione di diagnosi. L accesso ai registri del C104 avviene mediante l invio di token, secondo un protocollo di handshake; i vari comandi sono codificati in questi pacchetti i quali, in generale, contengono il codice del comando, l indirizzo del link di destinazione, il dato (nel caso di operazioni di scrittura) ed un terminatore (figura 2.9).

56 Figura 2.9: Pacchetti di comando inviabili al C104. La presenza dell indirizzo di destinazione rende possibile il raggiungimento, da parte dei comandi, di uno qualsiasi dei link della rete. Il primo comando che il controller invia ad uno dei link (o anche a tutti insieme) è uno start token, contenente tra le altre cose il suo indirizzo di ritorno (figura 2.9). Il C104 esegue il comando e risponde al sender con un pacchetto che dipende sia dal comando che ha ricevuto, sia dal suo stato attuale. Dal momento che queste operazioni vengono svolte dai programmi sviluppati nel corso del lavoro di tesi, la loro descrizione viene fatta nel capitolo 4, quello dedicato al software. Inoltre, essendo i pacchetti di risposta del C104 codificati in modo analogo, non vengono riportati in questa sede, ma sono comunque disponibili sullo Engineering Data del C104 [29]. Si vuole ora entrare nel merito della programmazione a basso livello del dispositivo, descrivendo alcune delle funzioni svolte dai suoi registri più significativi. I Link0-31Command sono 32 registri di sola scrittura, aventi ciascuno 4 bit programmabili singolarmente. I primi due bit di ognuno di essi permettono di

57 effettuare il reset (ResetLink) e lo start (StartLink) del link corrispondente, due operazioni che, come vedremo nel capitolo 4, sono indispensabili per la trasmissione dati. Il terzo (ResetOutput), se posto ad 1, effettua il reset dei due segnali Data e Strobe, mentre il quarto (WrongParity) permette di forzare una parità scorretta. Altri registri di lettura e scrittura molto importanti sono i Link0-31Mode. I primi 3 bit di questi ultimi permettono di impostare la velocità di trasmissione, mentre il quarto, se posto ad 1, in caso di errore scarica il pacchetto in transito sul link corrispondente (ciò fa sì che il link non rimanga bloccato). I 32 registri di lettura e scrittura PacketMode0-31 hanno 5 bit accessibili. Tra le impostazioni che questi permettono di effettuare si ricorda la possibilità di variare la lunghezza della testa dei pacchetti attesi in ingresso (da 1 a 2 byte) e la capacità di cancellare il primo byte del pacchetto in uscita (Header Deletion). La cancellazione della testa è molto importante quando, all interno delle reti, si vogliono raggiungere delle destinazioni intermedie (come nel caso dell algoritmo universal routing, descritto nel paragrafo 2.2.3) oppure quando si debbono suddividere reti molto complesse in più stadi (multistage network capitolo 3). Inoltre, se un modo di arrivo ha più destinazioni (ad esempio diversi processi in esecuzione su un singolo processore) la prima testa del pacchetto viene utilizzata per raggiungere il nodo, la seconda per far giungere i dati alla destinazione all interno del nodo. Infine, nel caso della gestione del canale virtuale, la seconda testa viene utilizzata per selezionare il link virtuale nel dispositivo di destinazione (figura 2.10). Figura 2.10: Esempio del funzionamento dello header deletion.

58 Per ottenere delle informazioni sullo stato dei 32 link si possono interrogare i registri Link0-31Status (di sola lettura). Per ogni link, i 6 bit accessibili indicano rispettivamente se: è avvenuto un errore; il link è partito correttamente; il reset output è stato completato; è avvenuto un errore di parità; è avvenuto un errore di disconnessione; è stato ricevuto un token (dopo l ultimo reset link). In caso di errore, il registro ErrorCode contiene il numero del link sul quale esso è avvenuto ed un codice di identificazione dello stesso, con il significato riportato nella tabella 2.3: Codice di errore Tipo di errore #C0 Errore nel comando di controllo (comando sconosciuto). #C1 Errore nel protocollo di controllo (acknowledge non richiesto). #C2 Errore di parità o disconnessione sul control link 1. #80 Errore di parità o disconnessione. #04 Testa ricevuta non valida (non è all interno dell intervallo impostato). #05 Pacchetto troppo corto (è arrivato il terminatore prima della testa). #06 Pacchetto nullo (nessun pacchetto presente dopo la header deletion). Tabella 2.3: Codici di errore. Mediante il bit LocalizeError del registro LinkMode0-31 si può fare in modo che se avviene un errore su un pacchetto in transito, questo venga scaricato o troncato. Ciò risulta essere molto utile in fase di comunicazione in quanto, invece di interrompere la stessa, si può scaricare il pacchetto e chiedere alla sorgente la sua ritrasmissione. Gli ultimi tre gruppi di registri descritti sono indispensabili quando si vogliono effettuare delle ispezioni di reti di C104, non solo per le operazioni di debugging ma anche per capire se un link è connesso fisicamente tramite un canale DSLink.

59 Per la descrizione completa di tutti i registri degli STC104 si rimanda il lettore alla bibliografia [29]. Gli STC104 possono essere collegati tra loro per formare delle reti più complesse secondo varie topologie interconnettive. Essendo asincroni, e grazie alle tecniche che nel corso del capitolo verranno descritte, non vi sono limiti alla interconnettibilità di questi dispositivi, anche se è necessario rispettare alcune regole per evitare malfunzionamenti in fase di comunicazione. Oltre alle problematiche dovute ad errori di setting, si possono avere dei blocchi per errori di tipo logico. Uno di questi è il deadlock (stallo) uno stato nel quale non si hanno progressi in quanto due nodi si scambiano perennemente lo stesso pacchetto. Il deadlock è una proprietà (negativa) che discende dalla topologia delle reti e dall algoritmo di routing utilizzato. Nello sviluppo della tesi sono stati connessi tra loro fino a tre STC104 (tutti quelli a disposizione) secondo la topologia indirect multistage network (capitolo 3). Come vedremo nel capitolo 5, per effettuare alcune misure è stato variato il numero di link di interconnessione tra gli switch, la lunghezza dei pacchetti che li attraversano, nonchè il numero di dispositivi attraversati Il wormhole routing. Nel paragrafo seguente ed in quello successivo vengono descritti l importante algoritmo di routing dei pacchetti del protocollo IEEE 1355 e la sua realizzazione a livello hardware. Come già detto, la testa dei pacchetti viene utilizzata per instradarli all'interno dello switch, mentre la coda permette loro di avere una lunghezza qualsiasi, in quanto è proprio essa che indica che il pacchetto è terminato. La coda ha comunque un'altra funzione molto importante: essa consente infatti di realizzare il wormhole routing. Quando un pacchetto viene inviato nello switch, al suo interno si crea un percorso fisico che scompare quando è transitata la sua coda. La fig esemplifica questo comportamento:

60 Figura 2.11: Wormhole routing all interno di un STC104. In questo modo i link dello switch non vengono impegnati per tutto il tempo di transito dei pacchetti, e dati successivi possono essere inviati attraverso lo stesso percorso prima ancora che il dato precedente sia giunto a destinazione. Così vengono ridotti i tempi di latenza della rete, soprattutto nel caso in cui quest'ultima sia formata da diversi STC104 connessi in serie. Ogni link dello STC104 ha dei buffer in grado di memorizzare un certo numero di token in ingresso (> 20); ciò, integrato dal wormhole routing, rende disponibili i link per ulteriori comunicazioni prima ancora che il pacchetto sia transitato completamente. Con questa premessa può avvenire che un messaggio molto lungo arrivi dopo un messaggio più corto, anche se quest ultimo è stato spedito successivamente; così l attesa che i messaggi subiscono prima di essere instradati non dipende dalla lunghezza degli altri dati presenti. La caratteristica fondamentale del wormhole routing è quella di limitare la latenza dei pacchetti Interval labelling. Vedremo ora nel dettaglio come il routing dei pacchetti viene realizzato a livello hardware, ovvero come le loro teste vengono interpretate ed instradate all interno del C104.

61 Ogni link dello switch possiede 36 registri a 32 bit denominati Interval1-36, programmabili indipendentemente gli uni dagli altri. I primi 16 bit di questi registri sono detti Separator mentre i 5 bit dal 18 al 22 vengono denominati SelectLink. Nei campi Separator vengono memorizzati dei valori contigui crescenti (con intersezione nulla), mentre i SelectLink contengono i numeri dei link associati ai corrispondenti intervalli; lo Interval0 non è programmabile e contiene il valore 0. Quando un pacchetto arriva su un link, viene effettuato un confronto tra la sua testa ed i valori memorizzati nei Separator; a partire dal Separator1, il primo di questi registri che contiene un valore maggiore della testa in esame indica, tramite il registro SelectLink ad esso associato, la strada che il pacchetto deve seguire, ovvero il link di destinazione. La fig mostra la tecnica utilizzata per l instradamento all interno degli STC104. Figura 2.12: Registri mediante i quali viene effettuato il routing dei pacchetti. E' evidente la necessità di avere degli intervalli crescenti e senza intersezioni per evitare che vi siano dei pacchetti con delle destinazioni multiple o ambigue. Si noti inoltre che il pacchetto può essere inviato sullo stesso link di ingresso formando

62 così un collegamento con se stesso (i link sono bidirezionali). Questa tecnica, nella quale ad ogni link di uscita è assegnato un intervallo mediante delle etichette, è denominata interval labelling. La programmazione indipendente dei singoli link permette, tra le altre cose, di creare delle reti asimmetriche nelle quali ad alcune destinazioni sono associati molti ingressi, mentre ad altre uno o nessuno 3. La presenza di 36 registri per ogni link fa in modo che gli instradamenti su un nodo non dipendano dalla presenza o meno di pacchetti sugli altri link. Nei registri Interval1-36 sono inoltre presenti 2 bit denominati Discard ed Invalid mediante i quali si può riconoscere se la testa di un pacchetto non è nell intervallo, ed eventualmente scaricarla insieme al pacchetto stesso Universal routing. Nella interconnessione di reti con carico pesante (heavy load) nelle quali molti host attivi sono collegati tramite più STC104, vi possono essere dei link troppo trafficati che costringono i pacchetti a delle attese elevate. Per switching network affette dalla presenza di tali punti, detti hot spot, la maggior parte delle volte non è possibile effettuare una stima della latenza, in quanto questa non dipende soltanto dal traffico globale della rete, bensì dal traffico sul punto caldo. Sotto queste condizioni le prestazioni delle reti possono diminuire drasticamente. Lo universal routing è un algoritmo che può essere utilizzato al fine di eliminare il problema degli hot spot; è anche detto routing a due fasi in quanto consiste nello spedire il pacchetto ad una destinazione intermedia (scelta in maniera pseudo-casuale tra gruppi di link predefiniti) dalla quale poi i dati vengono instradati verso il link finale. Con questo routing statistico, le percentuali di occupazione dei diversi percorsi tendono ad equivalersi. Inoltre, la probabilità che il tempo di attraversamento della rete superi una soglia stabilita, può essere minimizzata a piacere, aumentando ad esempio il numero di destinazioni intermedie. Al notevole incremento della banda passante totale, fortunatamente non corrisponde un aumento drastico della latenza attraverso la rete: nel caso peggiore (topologia binary n-cube) se n è il numero di nodi, la latenza cresce, con buona probabilità, come log(n) [15]. Per contro, a parità di nodi, aumenta 3 Non è comunque questo il caso delle reti di ATLAS.

63 notevolmente il numero di switch necessari per realizzare la rete; per la binary n-cube si arriva addirittura al doppio. Scegliere delle destinazioni in modo pseudo-casuale con la tecnologia descritta è possibile grazie ai registri PacketMode0-31, RandomBase0-31 e RandomRange0-31 dello STC104. Nel primo è presente un bit, denominato Randomize che, se posto ad 1, aggiunge una testa al pacchetto che lo attraversa, in base alle modalità impostate negli altri 2 registri. In particolare la generazione pseudo-casuale delle teste avviene nel range RandomBase (RandomBase + RandomRange 1). Infine, se nella implementazione dell algoritmo universal routing si realizzano due reti distinte, una per le destinazioni pseudo-random, l altra per quelle finali, si ottengono switching network esenti da deadlock Grouped adaptive routing. Il grouped adaptive routing è una ulteriore implementazione del protocollo IEEE 1355 realizzabile tramite lo STC104. Consiste nel formare dei gruppi di link di uscita consecutivi tali che, fornendo alla testa di un pacchetto l'indirizzo del primo link del gruppo, si ottiene il suo instradamento sul primo canale libero del gruppo stesso. Supponiamo di voler connettere tra loro due STC104 come in fig. 2.13: Figura 2.13: Esempio di 4 link appartenenti ad un gruppo. Per accedere al gruppo si deve fornire ai pacchetti la testa 10.

64 Invece di specificare i singoli percorsi tra i due dispositivi, si configura un gruppo formato dai link 10, 11, 12 e 13 (figura 2.13) e, ai vari pacchetti che debbono passare da uno switch all'altro, si fornisce l'indirizzo del link 10. Considerando che non tutti i canali DSLink saranno sempre occupati contemporaneamente, con questa implementazione si possono ridurre i collegamenti tra i due STC104 (in funzione del traffico) con un maggior sfruttamento dei link fisici stessi, conseguente diminuzione della latenza ed aumento della banda passante. Dal momento che i pacchetti non sono costretti a passare su link prestabiliti, se opportunamente programmato e sotto alcune condizioni, il raggruppamento dei link è un efficace rimedio agli hot spot. L impostazione di tale funzione avviene tramite il bit ContinueGroup del registro PacketMode che ogni link possiede. Se questo bit viene posto a 0, il link corrispondente è il primo di un gruppo, altrimenti è uno qualsiasi del gruppo. Se sono posti tutti a 0 il grouping è disabilitato. Una volta effettuate tutte le impostazioni, per utilizzare questo algoritmo di instradamento si deve agire sull unico bit del registro ConfigComplete. Uno dei difetti del grouped adaptive routing è che esso non è fault tolerant al 100%: se c è un errore su uno dei link compresi nel gruppo, tutto il gruppo diviene inutilizzabile. Quanto detto verrà ripreso ed approfondito nella parte del lavoro dedicata alle misure (capitolo 5) Il Contention model. Dopo aver descritto le principali funzionalità dello switch elettronico, si vuole affrontare un aspetto ricorrente nella trasmissione dei dati attraverso gli STC104: il contest switch. Quando due o più pacchetti seguono una strada che li costringe a passare sullo stesso link fisico, c è una contesa del link in quanto soltanto uno alla volta lo può attraversare. Ciò avviene sia nel caso in cui questi pacchetti abbiano la stessa destinazione all interno di un singolo switch, sia nella analoga situazione nella quale debbano usufruire dello stesso collegamento tra due diversi STC104 (figura 2.14):

65 Figura 2.14: Esempio di contesa di un link tra 2 pacchetti. In questo caso la latenza non è più data soltanto dal tempo di routing dei dati nello switch, ma dipende anche dal numero di pacchetti che si contendono il link. Inoltre, se i messaggi da instradare non vengono suddivisi in pacchetti da 32 byte massimo (ovvero se non si implementa il VCP) la latenza dipenderà sensibilmente anche dalla lunghezza degli altri messaggi in trasmissione. Non è quindi più possibile predire quanto i pacchetti debbano attendere prima di poter transitare su un link, anche se il dispositivo assicura che verranno tutti instradati verso la propria destinazione. Nel capitolo 5 verranno effettuate alcune misure al proposito, e si dimostrerà inoltre come il VCP sia un deterrente ai problemi causati dal contest switch Latenza teorica dello switch STC104. Ricordando i risultati ottenuti nel paragrafo 2.1.2, riguardanti le prestazioni del protocollo DSLink, calcoliamo ora il time slot (S), definito come il tempo necessario per instradare un pacchetto attraverso lo STC104, in assenza di contesa. Come vedremo S dipende dai parametri dello switch, dalla lunghezza del pacchetto in esame e dal numero di byte che costituiscono la testa del pacchetto. Il routing del primo byte della testa richiede un tempo maggiore rispetto ai bit che seguono in quanto deve essere interpretato dai registri Interval e Select. Se chiamiamo h questo tempo e b n la latenza dei singoli bit successivi, si ha che il time slot S per un pacchetto costituito da k byte di dato ed s byte di testa vale:

66 [ 10? k + 10?( s 1) + ] b n S = h + 4? Se impostiamo le velocità dei link al loro valore massimo (100 Mbit/s): i valori teorici dei parametri h e b n valgono [15]: per s = 1: h 500 ns; b n 10 ns per s = 2: h 670 ns; b n 10 ns così il valore del time slot è dato da: per s = 1: per s = 2: S 500ns + [10 k + 4] 10ns S 670ns + [10 k + 14] 10ns Come si evince dalle espressioni precedenti, il peso che il tempo di instradamento della testa ha rispetto all intero pacchetto, decresce all aumentare del numero di byte da spedire. Ad esempio se consideriamo dei pacchetti lunghi 4096 byte con 2 byte di testa, h vale sempre ~670 ns mentre S 410 µs: in questo caso la testa, per essere instradata, impiega un tempo notevolmente minore rispetto a quanto non faccia il pacchetto. Ma se consideriamo pacchetti da 32 byte si ottiene che S 4 µs: in presenza del VCP il routing della testa introduce una latenza non trascurabile rispetto a quella introdotta dai dati (~17 %), e le comunicazioni perdono parte della loro efficienza. L andamento del routing delay in funzione della lunghezza dei pacchetti, riportato nel grafico della figura 2.15, è stato calcolato considerando teste di 2 byte.

67 Time slot (ns) 4.5E E E E E E E E E E+00 Andamento del tempo di routing attraverso lo STC Dimensioni pacchetto (byte) Figura 2.15: Andamento del time slot per uno switch STC104 in funzione della lunghezza dei pacchetti. In assenza di contest switch, il tempo di routing di un pacchetto all interno del C104 è pari al time slot, e nel caso in cui esso attraversi un numero maggiore di dispositivi, per ricavare la latenza è sufficiente moltiplicare questo numero per S. Se invece consideriamo un link conteso, l instradamento dei pacchetti richiederà, in media, un tempo maggiore. Supponiamo ad esempio che due pacchetti della stessa lunghezza si presentino contemporaneamente su un singolo link. In questa situazione il primo dei due che vince la contesa riesce ad attraversare il C104 entro un singolo time slot S, mentre il secondo sarà instradato in un tempo pari a 2 S. Chiaramente all aumentare dei pacchetti che sono in competizione tra loro si allungano i tempi medi di routing attraverso lo switch. Ciò causa quindi una diminuzione della banda passante totale di una rete e, come vedremo nel capitolo successivo, la contesa non deve essere trascurata soprattutto quando si progettano delle switching network a più stadi. Nel 5 capitolo verrà effettuato un confronto tra i valori teorici della figura 2.15 ed alcuni risultati sperimentali.

68 2.3 L interfaccia STC101. Per inviare e ricevere pacchetti nella rete di STC104, vengono utilizzati dei personal computer (paragrafo 4.1.5) provvisti di un bus di I/O parallelo sincrono denominato PCI (appendice B). Come visto lo IEEE 1355 è invece un protocollo seriale asincrono: l interfaccia tra il formato parallelo dei dati ed il protocollo DSLink è costituita dallo STC101. Il suo diagramma a blocchi è mostrato nella figura 2.16: Figura 2.16: Diagramma a blocchi del C101.

69 Questo dispositivo VLSI, che gestisce in modo hardware il controllo di flusso fino al 3 livello (token) e converte i dati dal formato parallelo a seriale DSLink e viceversa, ha le seguenti caratteristiche fondamentali: può operare in modo seriale bidirezionale con una banda passante totale di 19 Mbyte/s; il bus parallelo è accessibile sia a 16 che a 32 bit; è in grado di raggruppare i dati in pacchetti di diverse lunghezze e di aggiungere e rimuovere la testa agli stessi: fornisce cioè gli strumenti per la gestione dei pacchetti e dei messaggi (4 e 5 livello del protocollo DSLink); in accordo con il protocollo IEEE 1355 contiene delle memorie FIFO (First In First Out) al suo interno (64 byte in ingresso e 64 byte in uscita); ha una interfaccia parallela opzionale denominata Token Interface con la quale si possono gestire in multiplexing le porte di ingresso e di uscita, con conseguente aumento delle prestazioni. La porta denominata Tx data fornisce i dati da spedire alla FIFO di trasmissione, mentre la porta Tx framing invia le informazioni di contorno (header e terminator). Operazioni analoghe svolgono le porte Rx data ed Rx framing. Le informazioni per il routing ed i dati vengono combinate e separate dai blocchi trapezoidali della figura La porta configuration/status permette di leggere e scrivere i registri di configurazione. Il parallel interface adaptor effettua invece il multiplexing delle porte logiche (quelle interne al dispositivo) nelle porte fisiche. Come per lo STC104, la programmazione dello STC101 avviene tramite dei registri interni i quali possono essere di sola lettura, sola scrittura o di lettura/scrittura. Molti dei registri sono simili a quelli presenti nel C104, pertanto non vengono descritti in questo paragrafo, rimandando il lettore alla bibliografia per ulteriori specifiche [28]. Come detto, questo dispositivo è in grado di lavorare in trasparent mode (con la pacchettizzazione disabilitata) ed in packetized mode (con la pacchettizzazione attiva). Queste differenti modalità vengono selezionate mediante il 5º bit del registro DeviceConfig (lettura/scrittura): quando questo viene posto ad 1 la

70 pacchettizzazione è abilitata, e nei primi 3 bit dello stesso registro si deve impostare la lunghezza della testa dei pacchetti in ricezione, da 1 a 4 byte. Tramite il registro TxSendPacket (lettura/scrittura) vengono poi impostate le lunghezze dei pacchetti, l eventuale aggiunta di una testa ed una coda agli stessi, ed il tipo di terminatore. Nel registro TxPacketHeader (lettura/scrittura) viene scritto il valore della testa dei pacchetti in trasmissione, e nel registro TxHeaderLength (lettura/scrittura) la lunghezza della stessa. Un ruolo molto importante lo hanno i registri di gestione delle interruzioni. Queste ultime, se opportunamente abilitate, possono fornire delle indicazioni sui pacchetti che si stanno ricevendo o trasmettendo. Il registro RxInterruptStatus (sola lettura) ha i primi 8 bit riservati ai seguenti controlli sui pacchetti in ricezione: esatta lunghezza della testa, validità della testa, tipo di terminatore ricevuto, riconoscimento di pacchetti vuoti, contatore della lunghezza del pacchetto in overflow, stato della FIFO di ricezione ed errore sul link. Il registro TxInterruptStatus (sola lettura) contiene invece soltanto informazioni sulla coda di trasmissione (1º bit). Mediante questo bit si possono effettuare dei controlli molto utili: se ad esempio la quantità di dati da spedire presenti nella coda di trasmissione supera la soglia programmata all interno del registro TxLevel, TxInterruptStatus viene automaticamente asserito dall elettronica del dispositivo. Ciò può indicare che il destinatario non sta leggendo i dati oppure lo sta facendo troppo lentamente (rispetto al trasmettitore). Una volta che tutte le impostazioni sulle modalità di trasmissione o ricezione sono state eseguite, si scrivono o leggono i dati sui registri di trasmissione (TxData) o ricezione (RxData) ai quali si può accedere ad 8, 16, 24 e 32 bit. Nel caso in cui si stiano effettuando delle trasmissioni, lo STC101 provvede quindi a convertire i dati dal formato parallelo a seriale DSLink (blocco DSLink della figura 2.16) a formare i vari pacchetti, ad inviare le informazioni di contorno ed i dati precedentemente memorizzati nella TxFIFO. Nel caso della ricezione il C101 effettua invece le operazioni opposte (conversione serie-parallelo, interpretazione delle informazioni di contorno, lettura dei dati). Contemporaneamente vengono aggiornati i registri interni del dispositivo interessati dalle comunicazioni in corso.

71 I dati scritti sul registro TxData sono inviati nella coda di trasmissione mentre i dati in ingresso arrivano sulla coda di ricezione e successivamente nel registro RxData. Le due memorie FIFO di byte si rendono necessarie in quanto la comunicazione è di tipo asincrono. In modalità trasparente, senza l interfaccia token, i dati non vengono raggruppati in pacchetti ma vengono spediti immediatamente, senza informazioni addizionali (testa e terminatore). Una cosa analoga avviene in fase di ricezione. In questo modo non viene aggiunto un indirizzo di destinazione ai dati, che possono così viaggiare soltanto tra due punti fissi (connessione point-to-point). Quindi, se si vogliono effettuare delle comunicazioni tra diversi host (interfacciati tramite gli STC101) attraverso gli switch elettronici STC104, l unica possibilità è quella di attivare la pacchettizzazione. Il trasparent mode è stato utilizzato nel corso del lavoro soltanto per effettuare i primi test dello hardware. Come detto, l interfaccia parallela, oltre alle modalità di funzionamento a 16 e 32 bit, può funzionare con l interfaccia token abilitata. In questa configurazione, i registri di lettura e scrittura RxData e TxData non sono accessibili direttamente, ed i dati vengono letti e scritti mediante le due porte TxToken ed RxToken. Altri registri (esterni al C101) vengono utilizzati al posto dei precedenti, ed i loro indirizzi dipendono dal modo con il quale le schede che li contengono vengono configurate (questo aspetto verrà chiarito in seguito). In questa modalità vi è inoltre la possibilità di aggiungere delle FIFO opzionali: la loro enorme utilità varrà evidenziata nel capitolo 4. Per particolari applicazioni è possibile lavorare in trasparent mode con la token interface attiva, facendo costruire i pacchetti ad un hardware addizionale posto tra il bus parallelo e l interfaccia, senza utilizzare quello presente nel C101, se non per la parte di interfaccia denominata DSLink nella figura 2.16 Lo STC101 è una interfaccia fondamentale nelle comunicazioni secondo il protocollo IEEE 1355 DS-DE, e pertanto la sua implementazione deve essere prevista in ognuno dei processori locali e globali di ATLAS. A queste unità di elaborazione non sono quindi richieste soltanto delle grosse capacità di calcolo, ma anche una efficace gestione delle operazioni di I/O. A tal proposito il compito degli STC101 potrebbe essere demandato a delle FPGA. Se le velocità di queste ultime raggiungeranno, come si prevede, dei valori confrontabili con quelli ottenuti con l uso

72 di hardware dedicato, la loro duttilità potrebbe giocare un ruolo importante nella realizzazione del 2 livello di trigger dell esperimento, in quanto permetterebbe di implementare il protocollo DSLink dal livello hardware fino al livello di messaggio, e di gestire on-chip i canali virtuali (VCP). Tutto ciò assume un interesse ancora maggiore se si considera il fatto che anche i processori di trigger di ATLAS potrebbero essere realizzati mediante delle FPGA.

73 Capitolo 3 Topologia delle reti locali e globale di ATLAS. 3.1 Generalità. Dopo aver descritto le specifiche delle reti locali e globale di ATLAS, nonchè le caratteristiche dei componenti utilizzati per realizzarle, si vuole ora mostrare la topologia con la quale gli switch STC104 vengono interconnessi tra loro: la indirect multistage network, detta anche clos network. La sua caratteristica fondamentale è quella di permettere una connessione globale tra tutti i suoi nodi, mantenendo costante il numero di C104 da attraversare per andare tra due host qualsiasi. La denominazione multistadio deriva invece dal fatto che tra ingresso ed uscita si debbono attraversare almeno due diversi stadi di switch (STC104). Due semplici esempi di clos network sono riportati nella figura 3.1: Figura 3.1: Clos network costituite da tre (a) e cinque (b) switch STC104. Il numero di nodi di ingresso/uscita che le reti della figura hanno dipende dal numero di link utilizzati per connettere tra loro gli switch, ed inoltre, all aumentare

74 delle connessioni link-link, aumenta la banda passante del singolo terminale di I/O [15]. Se confrontata con la binary n-cube o la two dimensional grid [15], la clos è una connessione a basso costo, ovvero ha un buon rapporto banda passante / numero di switch. Inoltre questa topologia ha una struttura molto semplice e lineare, è facilmente espandibile, ed al suo interno non presenta dei percorsi privilegiati, a differenza, ad esempio, delle connessioni ad albero. Per banda passante totale di una rete si intende il numero di byte che possono essere trasferiti dai suoi ingressi alle sue uscite nell unità di tempo. In generale questo valore può essere incrementato aumentando il numero di connessioni tra gli switch che compongono la rete, a costo però di un aumento del numero dei dispositivi stessi e, in genere, della latenza della rete. Ciò è evidente in quanto, essendo i link per ogni switch in numero limitato, per aumentare le connessioni del tipo link-link, si devono sottrarre alcuni dei canali disponibili per gli ingressi e le uscite. Se questi ultimi non sono più sufficienti, necessariamente devono essere aggiunti nuovi C104. Come vedremo nel corso del capitolo, aumentare il numero di switch può comportare alle volte un aumento degli stadi della rete. Un esempio di una clos network più complessa delle precedenti, costituita da 64 nodi viene riportato nella figura 3.2: Figura 3.2: Clos network con 64 nodi.