Università degli Studi di Napoli Federico II. Facoltà di Scienze MM.FF.NN.

Transcript

1 Università degli Studi di Napoli Federico II Facoltà di Scienze MM.FF.NN. Corso di Laurea in Informatica Tesi Sperimentale di Laurea Triennale Integrazione di un sistema di storage Fibre Channel della EMC nel Data Center SCoPE Relatore Candidato Prof. G. Russo Giovanni Belfiore Dr. S. Pardi matr. 566/ Anno accademico 7/

2 Indice generale PREMESSA...3. Introduzione.... Il progetto SCoPE e le Grid.... Obiettivi...7. Il problema dello storage nei Data Center...9. I tipi di storage utilizzati...9. Il Fibre Channel....3 Il Fibre Channel e l iscsi La tecnologia Fibre Channel applicata a ScoPE Il quadro generale L unità CX3- e la sua architettura Le funzionalità...3. Piano dei test.... Quadro generale.... Programmazione piano di test....3 Le prove di IOZone...3. Ambiente di test Prove e risultati Lettura dei risultati Writer Report ReWriter Report Reader Report ReReader Report Random Read Report Random Write Report Backward Read Report Record Re-Write Stride Read Report Fwrite Report Re-Fwrite Report Fread Report...6 Belfiore Giovanni 566/ Pagina di 5

3 5. Re-Fread Report Test in contemporanea su diverse lun Test vs Test multiutente () Test vs Locale Conclusioni Le prestazioni complessive della SAN CX L'esperienza acquisita Bibliografia.... Appendici... Appendice : Specifiche dettagliate del Fibre Channel... Appendice : T. test multiutente () su lun...93 Appendice 3: T.3 test su lun e lun9... Appendice : T. test su lun, lun9 e lun...7 Appendice 5: T.5 Test in locale sul server Appendice 6: Sistemi Raid di SCoPE... Belfiore Giovanni 566/ Pagina di 5

4 PREMESSA La presente tesi documenta l'attività di tirocinio dello scrivente, effettuata presso l'università Federico II nell'ambito del progetto SCoPE. Ho iniziato le attività di tirocinio quando il Data Center SCoPE ormai appena stato completato a Monte S. Angelo, ma non era ancora stato utilizzato se non per le prove di collaudo. Ciò mi ha consentito di operare in condizioni ottimali, potendo effettuare configurazioni dei sistemi ed in generale operare toccare con mano le complesse apparecchiature del nuovo Data Center. Nel Data Center sono presenti apparecchiature di rete di ultima generazione: reti ad gigabit/sec, a gigabit/sec e reti a bassa latenza Infiniband; server blade (3) e server pizza-box (5); sottosistemi a dischi di tutti i tipi, tra cui sistemi NAS (Network Attached Storage) e sistemi SAN (Storage Area Network). Grazie alla rete veloce e dedicata, al Data Center SCoPE è connessa una Control Room, posto nella palazzina di Biologia, dove sono installati numerosi client per la gestione del Data Center, ed un completo sistema di monitoraggio e gestione remota. Nel periodo del tirocinio ho sistematicamente operato sia nel Data Center che nella Control Room, ed ho potuto mettere direttamente mano sulle attrezzature sopra descritte, provvedendo alla loro configurazione, alla installazione del software di test, al tuning dei sistemi e dei collegamenti di rete. L'attività si è concentrata sulle misure delle prestazioni di un nuovo sistema di storage, funzionante con il protocollo Fibre Channel, di circa Terabyte, disponibile agli utenti di SCoPE. Ho avuto modo quindi di fare notevole pratica su queste apparecchiature, acquisendo conoscenze ma anche esperienze, e contribuendo a caratterizzare il Data Center e le sue apparecchiature, ai fini del loro utilizzo per le elaborazioni scientifiche multidisciplinari alle quali è destinato. Belfiore Giovanni 566/ Pagina 3 di 5

5 . Introduzione. Il progetto SCoPE e le Grid La presente tesi si inserisce nell ambito del progetto SCoPE [] dell Università Federico II; l acronimo sta per Sistema Cooperativo Distribuito ad alte Prestazioni per Elaborazioni Scientifiche Multidisciplinari, ed è un progetto finanziato sui fondi PON -6 [] il cui obiettivo finale è la realizzazione di un Data Center con un sistema di calcolo ad alte prestazioni, orientato ad applicazioni scientifiche multidisciplinari, che operi anche secondo il paradigma GRID [3], dedicato alla modellistica computazionale ed alla gestione di grandi banche dati per ricerche nelle aree applicative di interesse del progetto. Il progetto in sé è in via di conclusione, ed il Data Center è stato realizzato, come si vede dalla foto seguente. Il DataCenter si inserisce nel sistema di Grid computing nazionale ed internazionale, posizionandosi tra i centri più completi in Italia, grazie agli oltre 3 server ed agli oltre Terabyte di spazio disco. Nel campo delle architetture di calcolo, il Grid Computing rappresenta oggi la frontiera delle attività di ricerca. Basta vedere il gran numero di progetti di ricerca dedicati al Grid, e lo sforzo che le grandi ditte di sistemi di calcolo, di reti e di software dedicano alle infrastrutture Grid. Questo termine, oggi così attuale, è, se si considerano i progetti di ricerca e l evoluzione delle tecnologie informatiche nel loro complesso, solo l ultimo Belfiore Giovanni 566/ Pagina di 5

6 momento di un lungo processo di interoperabilità tra sistemi eterogenei. Il termine Grid, infatti, rappresenta la formulazione ottimale dell idea della condivisione delle risorse di calcolo, sviluppatasi faticosamente negli ultimi tre decenni a seguito della rapida evoluzione delle tecnologie informatiche. Il Grid necessita che si superi il problema dell eterogeneità, sia a livello hardware che a livello software, al fine di fornire un immagine integrata del sistema di calcolo. Questo problema dell eterogeneità, tuttavia, si presenta in nuove forme ogni qualvolta, trovata una soluzione accettabile per dominare il livello di eterogeneità precedentemente affrontato, si voglia superare la concezione precedente per aprire a nuove idee e possibilità. Secondo la definizione del progetto Globus [], uno dei primi, più importanti e, dal punto di vista dei finanziamenti ottenuti, più fortunati progetti relativi al Grid Computing, Le Grid sono ambienti persistenti che rendono possibile realizzare applicazioni software che integrino risorse di strumentazione, di visualizzazione, di calcolo e di informazione che provengono da domini amministrativi diversi e sono geograficamente distribuite La definizione di Grid si basa, quindi, sul concetto di condivisione di risorse di diverse tipologie e si presta, quindi, a categorizzare diverse tipologie di Grid: le Grid computazionali, le Grid di dati, le Grid di applicazioni e servizi, le Grid di strumentazione e, infine, le Grid di sensori. Questa tesi si occupa solo del problema dello storage, problema particolarmente sentito sia nelle Grid computazionali, sia nelle Grid di dati. Una Grid computazionale è l aggregazione di risorse di calcolo provenienti da siti differenti. Tale aggregazione è finalizzata a fornire a un insieme di utenti potenza di calcolo on-demand, in modo disaccoppiato dalla provenienza, cioè dai nodi che la stanno fisicamente fornendo. Si consideri, ad esempio, il caso di una società multinazionale con sedi sparse in tutto il mondo. Ognuna di queste sedi possiede, oggi, un parco di architetture di calcolo dimensionato o secondo un worst-case, dimensionato cioè per soddisfare non le necessità medie ma i picchi di richiesta, oppure dimensionato per soddisfare le necessità medie e, quindi, non in grado di gestire le situazioni di picco. Una struttura Grid in grado di sopperire alle richieste di picco con potenza computazionale proveniente dalle altre sedi della società permetterebbe di dimensionare Belfiore Giovanni 566/ Pagina 5 di 5

7 in modo più consono alle reali necessità quotidiane il parco macchine realizzando così un notevole risparmio. Allo stesso tempo, lo stesso meccanismo di raccolta della potenza di calcolo sull intero insieme delle risorse di calcolo della società permette di realizzare un supercalcolatore disponibile dinamicamente nel momento del bisogno. Le Grid di dati possono essere considerate una delle forme evolutive del Web. Infatti, come il Web, nascono per contenere grandi moli di dati distribuite in domini differenti per gestione e posizione geografica. A differenza del Web, dove, pur data la ricchezza delle informazioni presenti, mancano sia meccanismi espliciti di standardizzazione dei significati associati a queste informazioni, sia strumenti di elaborazione concorrente delle informazioni ottenute, le Grid di dati coniugano la ricchezza delle sorgenti con gli strumenti adatti a far sì che le informazioni presenti possano essere facilmente correlate e vengano, quindi, a dotarsi di un alto valore aggiunto rispetto al vero contenuto. Si consideri, a titolo di esempio, il caso delle basi di dati contenenti i casi clinici dei singoli ospedali nel mondo. Ognuno di queste basi di dati possiede, già presa singolarmente, un fortissimo valore in quanto permette di analizzare quali siano state nel passato le decisioni dei clinici. Tale valore però, aumenta in modo non lineare se, aggregando le basi di dati in una Grid di dati, si rende possibile analizzare, confrontare e correlare le decisioni prese da clinici di scuole diverse in presenza di patologie uguali o, quantomeno, comparabili. In questo quadro generale si inserisce il progetto SCoPE. Per quanto riguarda le applicazioni, il progetto SCoPE anche dopo la sua imminente conclusione formale - intende sviluppare simulazioni computazionali, creare software innovativo ed originale relativo alle applicazioni in tali settori e realizzare una piattaforma di supercalcolo che integri in una modalità di accesso unica le differenti risorse (librerie, unità di calcolo, banche dati, etc.) già disponibili o in via di acquisizione, al fine di fornire un significativo avanzamento della conoscenza nei vari settori. Le funzionalità della piattaforma saranno inoltre predisposte per essere integrate in sistemi nazionali e internazionali operanti in rete, pertanto è stata individuata un area specifica middleware [5] preposta all integrazione delle suddette risorse, nonché specifiche applicazioni nelle aree delle: Scienze del Microcosmo e del Macrocosmo Scienze della Vita Belfiore Giovanni 566/ Pagina 6 di 5

8 Scienze dei Materiali e dell Ambiente. La strategia classica di sviluppo del software per applicazioni scientifiche, tende a realizzare obiettivi come: riuso modularità portabilità robustezza estendibilità efficienza basandosi sull'uso delle librerie software viste in termini di "building block". Attualmente, alla luce dell'evoluzione nell'ambito delle esigenze applicative e delle architetture hardware e software, è necessario ripensare alle strategie di sviluppo di software. La sfida tecnologica è proprio quella di articolare i codici applicativi in modo che tengano conto sia dei requisiti propri dell applicazione, sia di quelli della piattaforma di calcolo. In tal senso, al fine di consentire una precisa e significativa articolazione dei codici applicativi, è fondamentale lo sviluppo di scientific computing environments (SCE) la cui struttura gerarchica a livelli e modulare riflette la necessità di una significativa cooperazione ed integrazione bidirezionale delle varie competenze multidisciplinari e dal livello dell applicazione al livello del software di sistema, consentendo quindi la progettazione del codice secondo le esigenze specifiche.. Obiettivi In sintesi, gli obiettivi generali del progetto consistono nel realizzare un ambiente di simulazione computazionale di applicazioni scientifiche multidisciplinari, attraverso la progettazione e integrazione di algoritmi innovativi in ambienti di calcolo avanzato: fornire alla comunità, attraverso un intensa fase sperimentale, nuovi input per l avanzamento della conoscenza attraverso lo sviluppo di ambienti specifici di Problem Solving Environment (PSE) [6] facilmente accessibili da parte della comunità scientifica per essere integrati nelle applicazioni di interesse del progetto per realizzare Scientific Computing Environment (SCE) [7]. Il software sarà sviluppato secondo una metodologia per cui moduli paralleli per ambienti a memoria distribuita e/o a memoria condivisa realizzati con strumenti standard e di provata affidabilità, verranno completamente integrati come componenti Belfiore Giovanni 566/ Pagina 7 di 5

9 dell'ambiente complessivo garantendone il massimo grado di riusabilità e di interoperabilità. Nella figura sottostante è rappresentato, mediante uno schema esemplificativo, il sistema che si intende creare con in cima le applicazioni scientifiche sopra citate. In quest ambito generale, si inserisce il lavoro della presente tesi. In particolare, il lavoro è stato concentrato su un aspetto del Grid computing, e dei Data Center in generale, che è quello dello storage. Belfiore Giovanni 566/ Pagina di 5

10 . Il problema dello storage nei Data Center. I tipi di storage utilizzati Come è noto, la classica architettura vede i server con il proprio spazio disco direttamente connesso, il cosiddetto DAS [], cioè Directly Attached Storage, una architettura in cui i server sono dotati di propri controller, più o meno intelligenti, che si collegano ai dischi con vari tipi di bus, come gli standard ATA, SATA, SCSI. La figura seguente illustra una tipica configurazione DAS, con dischi SCSI. Dal punto di vista software, l accesso avviene come illustrato qui di lato, passando dall applicazione al sistema operativo e poi al controller ed infine al disco vero e proprio. Per garantire robustezza, affidabilità, velocità di accesso, questi controller spesso implementano delle struttura RAID [9], un acronimo per Redundant Array of Indipendent Disks, che sono anche molto efficaci. Quando però il numero dei server cresce, riesce difficile gestire questi dischi. Ad esempio, già con server, se ognuno ha dischi, abbiamo dischi che possono avere caratteristiche diverse, controller diversi, file system diversi. Se poi un server deve accedere non solo ai dati che sono sui dischi direttamente a lui stesso connessi, ma anche ai dati Belfiore Giovanni 566/ Pagina 9 di 5

11 che sono sui dischi connessi direttamente a qualcun altro dei server, è necessario utilizzare protocolli come NFS (Network File System)[] che consentono sì l accesso, ma appesantiscono notevolmente la rete e le macchine stesse. Nell esempio appena citato, ognuno dei dieci server dovrebbe girare il software NFS come server oltre che come client, con una matrice di traffico che coinvolge tutte le macchine e pesantemente la rete. Lo schema seguente rappresenta una tipica configurazione di server che si collegano ad un NAS tramite una rete LAN []. Per ovviare a queste difficoltà, sono nati nel tempo i cosiddetti sistemi di dischi NAS [], ovvero Network Attached Storage: si tratta di sistemi integrati che includono su firmware un piccolo sistema operativo, quindi hanno una propria CPU ed una propria memoria, un proprio controller RAID [9], e collegano direttamente da a dischi. In questo modo, ogni server del nostro esempio deve solo gestire il traffico di rete verso questa macchina dedicata, ed ovviamente è opportuno che la connessione in rete del NAS sia la più veloce possibile, tipicamente una connessione a Gbit/sec, dovendo il NAS servire più server contemporaneamente. Dal punto di vista software, l accesso ai dati segue lo schema qui rappresentato: Belfiore Giovanni 566/ Pagina di 5

12 Una configurazione del genere, se da un lato semplifica notevolmente il lavoro sui singoli server, dall altro ha il limite della non estesa scalabilità: i server possono passare da a a, ma oltre questo numero, normalmente, il NAS perde in efficienza in quanto non riesce a servire tutte le richieste nei tempi necessari. Numerosi accorgimenti sono presenti in sistemi NAS disponibili sul mercato. Ad esempio, le connessioni di rete del NAS stesso sono state incrementate, ed oggi molti NAS hanno almeno due interfacce ad Gbit/sec, mentre stanno per uscire NAS con interfacce a Gbit/sec. Ciò non risolve completamente il problema, in quanto l eccessivo traffico di rete richiede l utilizzo di switch di rete detti full wire speed, e spesso di switch dedicati. Uno switch full wire speed garantisce che su ogni porta il traffico possa andare, in continuo, al massimo della velocità: una porta ad Gbit/sec vuol dire semplicemente che, quando viene inoltrato un pacchetto di dati, cioè un frame, i bit nel pacchetto si susseguono ad nanosecondo l'uno dall altro, ma nulla è imposto sulla frequenza di inoltro dei pacchetti stessi, per cui uno switch con porte ad Gbit/sec potrebbe, se sovraccaricato, essere molto lento nell inoltrare i pacchetti, e quindi rendere inefficiente il NAS. In uno switch full wire speed i pacchetti sono inoltrati, su ogni porta, di continuo, uno dopo l altro, a pochi nanosecondi uno dall altro. Questo Belfiore Giovanni 566/ Pagina di 5

13 rende più efficiente l accesso al NAS, ma a spese di un incremento notevole del costo della rete. Se poi si utilizzano switch separati per l accesso al NAS e per il collegamento dei server tra di loro, il costo aumenta ancora di più. In ogni caso, oltre - server il NAS non è più efficiente: quindi i NAS vanno bene su DataCenter piccoli, ma come detto il DataCenter SCoPE ha già ora 3 server, e ne è previsto l incremento a 5. Un alternativa ai NAS è quella delle cosiddette SAN [], le Storage Area Network, cioè una rete di dispositivi condivisi. Più precisamente, il dizionario tecnico pubblicato dalla Storage Networking Industry Association (SNIA) definisce una rete SAN nei seguenti termini: «Una rete il cui scopo principale è il trasferimento di dati tra sistemi di computer ed elementi di storage e tra elementi di storage. Una rete SAN consiste in un infrastruttura di comunicazione, che fornisce connessioni fisiche e in un livello di gestione, che organizza connessioni, elementi di storage e sistemi di computer in modo da garantire un trasferimento di dati sicuro e robusto.». Una tipica SAN è qui di seguito illustrata. Belfiore Giovanni 566/ Pagina di 5

14 In una rete SAN le periferiche di storage sono connesse ai server attraverso una topologia costituita essenzialmente da dei canali (solitamente in fibra ottica) e da appositi apparati di comunicazione, cosa che in teoria consente la coesistenza di sistemi e dispositivi di storage di natura eterogenea, sebbene nella pratica gli aspetti di interoperabilità costringano ancora a creare reti SAN omogenee. Questo permette di evitare un sovraccarico della rete dato che tutto il traffico è gestito da questi dispositivi. Si badi bene che la rete di cui si parla nelle SAN non è quasi mai una rete del tipo Ethernet, ma una rete dedicata, ad esempio una rete fibre Channel. Dal punto di vista del software, l accesso ai dati della SAN avviene secondo lo schema qui a lato. Qui di seguito è invece illustrato l accesso hardware alla SAN. Belfiore Giovanni 566/ Pagina 3 di 5

15 L impiego di Fibre Channel [] o di qualsiasi altra tecnologia di networking proposta per le reti SAN consente di: raggiungere distanza di connettività superiori e prestazioni migliori rispetto a quanto non sia possibile dall attuale tecnologia SCSI facilitare il compito di centralizzare la gestione dello storage che traineranno l adozione di strategie di gestione remota e di protezione dei dati consolidamento dello storage e del clustering dei sistemi condividere i dati tra piattaforme diverse.. Il Fibre Channel Il Fibre Channel [] (o anche Fiber Channel) è una tecnologia per reti dati, usata principalmente per implementazioni in Storage Area Network. Fibre Channel è standardizzata nel T del Comitato Internazionale per gli Standard dell'information Technology (INCITS), un comitato degli standard accreditato dall'american National Standards Institute (ANSI). Il Fibre Channel è stata la prima architettura di rete a permettere l accesso ai dati via rete a livello di blocco (block-level I/O), invece che a livello di messaggi, di record, o di file. Lo standard definisce infatti una architettura a più livelli, per il trasporto dei dati dello storage a livello di blocco su di una infrastruttura di rete. I protocolli relativi al Fibre Channel sono numerati da FC- a FC-, corrispondenti ai primi quattro livelli del modello standard ISO/ OSI per le reti: fisico (FC-), data link (FC-, FC-), network (FC-3), e trasporto (FC-). Per il confronto, la pila ISO/OSI è qui a lato rappresentata. Belfiore Giovanni 566/ Pagina di 5

16 Il livello FC- definisce le specifiche per il tipo di mezzo fisico, per le distanze e per le caratteristiche dei segnali elettrici ed ottici. Il livello FC- definisce il meccanismo per codificare e decodificare (encoding/decoding) i dati per la trasmissione sul mezzo prescelto, e definisce la struttura dei comandi per accedere al mezzo stesso. Il livello FC- definisce come i blocchi di dati sono segmentati in frame, e come i frame sono gestiti in funzione della classe di servizi, nonché il meccanismo per il controllo di flusso (flow control) e quello per assicurare l integrità dei dati del frame. Il livello FC-3 definisce le modalità per la crittografia (data encryption) e per la compressione dei dati. Il livello FC- si occupa del mappaggio dei protocolli SCSI-3 e di altri protocolli/servizi dei livelli superiori in comandi Fibre Channel. Nel loro insieme, i protocolli FC forniscono un meccanismo per trasportare blocchi di dati sulla rete ad alta velocità, alcuni gigabit al secondo. Rispetto all obbiettivo di far sì che le SAN possano sostituire i DAS senza cambiamenti nel sistema operativo dei server, la tecnologia Fibre Channel ha consentito questo, ma la sua utilizzazione estesa si trova di fronte al problema di richiedere una infrastruttura di rete nuova e dedicata. Questo vuol dire tempo e denaro, e difatti i sistemi Fibre Channel, e le SAN basate su di esso, sono molto costose. Come se non bastasse, il protocollo Fibre Channel introduce tutta una serie di nuovi concetti, una nuova terminologia, nuovi strumenti di gestione, e questo vuol dire che i system administrator devono imparare nuovi strumenti, spesso complessi e spesso proprietari, cioè non Open Source [3]. Per quanto riguarda l hardware, I server devono essere dotati di una scheda detta HBA [] (che è comunque una scheda di rete, una NIC [5] come si suol dire) che costituisce l interfaccia tra il bus interno, ad esempio il PCI [] (in alto nella Belfiore Giovanni 566/ Pagina 5 di 5

17 figura a destra) e la rete esterna, ad esempio uno switch Fibre Channel. Chiaramente la scheda HBA ha bisogno di un apposite driver, che viene fornito con la scheda stessa. Nel loro insieme, HBA e driver forniscono il mapping tra i comandi di accesso allo storage, ad esempio comandi SCSI [7] o NFS [], ai pacchetti del protocollo di rete Fibre Channel []. Sempre con riferimento alla figura, la maggior parte dei fornitori utilizzano quattro entità fisiche: ) il transceiver ottico (la classica implementazione Fibre Channel è su fibra ottica); ) il dispositivo detto SERDES (serializer/deserializer) che tratta la conversione tra dati paralleli e seriali, le funzioni di gestione del clock e del data recovery, nonché la codifica e decodifica b/b (FC-); 3) la logica di gestione, i protocolli di segnalazione e i servizi di link (FC-e FC-); ) le funzioni di datapath e l interfaccia verso il bus (FC-). Le funzioni di gestione delle eccezioni e le funzioni di controllo dei livelli FC-/3/ sono poi gestite dal device driver. Per quanto riguarda i dischi Fibre Channel, questi possono avere una singola o doppia interfaccia Fibre Channel Arbitrated Loop (FC-AL), come in figura a lato. L interfaccia doppia è utile per fornire la ridondanza, o anche per consentire un accesso simultaneo sulle due interfacce, cioè per aumentare la banda. L interfaccia FC-AL utilizza una topologia a loop interconnection che consente a 6 nodi di comunicare tra di loro senza bisogno di uno switch. Quindi, con il protocollo FC-AL un gran numero di dischi può essere interconnesso per garantire una grande capacità totale della SAN, ma tutti i dischi sul loop condividono la banda passante del loop stesso, ed inoltre si ha un single point of failure nella topologia stessa del loop fisico (vedi figura qui sotto). Belfiore Giovanni 566/ Pagina di 5

18 Per evitarlo, i dischi sono spesso connessi ad una unità centrale detta Port Bypass Controller (PBC) in una topologia a stella invece che a bus. Questa unità implementa logicamente il loop previsto dal protocollo FC-AL, concatenando le porte tra di loro; così, se un disco si rompe, il PBC realizza logicamente il bypass dello stesso, mantenendo il loop e garantendo la continuità del servizio. Qui sotto sono rappresentate le due topologie, a bus (sopra) e a stella tramite PCB (sotto). Il protocollo Fibre Channel fornisce il meccanismo per trasportare comandi SCSI, ma fa di più. In primo luogo, I dischi hanno un data rate maggiore dello SCSI; in secondo luogo, i cavi FC-AL possono essere molto più lungi dei cavi SCSI; in terzo luogo, FCAL può connettere fino a 6 dischi, mentre il massimo con i dischi SCSI era 5; in quarto luogo, FC-AL prevede la ridondanza dei canali e dei cavi. Nel complesso, un sistema di dischi FC-AL è da 5 a volte più performante di un analogo sistema di dischi SCSI, anche se i dischi stessi, a parte l interfaccia, sono praticamente identici. La figura che segue fornisce uno schema logico del flusso dati in un sistema di storage: l elaborazione dei dati stessi avviene in quattro fasi distinte, cioè channel controller, cache controller, disk controller, e disk drives. Tra questi, un sistema di interconnessione Belfiore Giovanni 566/ Pagina 7 di 5

19 specifico per ogni fase si occupa del flusso dati. Il sistema che connette alla fine i dischi è a sua volta distinto i due parti: quella intra-group e quella inter-group. Quello appena presentato è uno schema generale, non specifico per il Fibre Channel. Nello specifico, invece, vale ad esempio la figura successiva, più modulare, in cui il channel controller, il cache controller e il disk controller sono tutti combinati in una sola unità. Il channel-cache interconnect ed il cache-disk interconnect sono forniti dal bus PCI, e le funzionalità sono garantite da un insieme di logica hardware e di funzioni software che richiedono ovviamente una apposita CPU. Questa determina le prestazioni del sistema in modo fondamentale. All altro estremo, i dischi sono organizzati in appositi disk enclosure; entro ciascun disk enclosure, i dischi sono connessi con dual fibre channel arbitrated loops, implementati con una topologia fisica a stella, e logica a bus, come sopra descritto. Belfiore Giovanni 566/ Pagina di 5

20 Un esempio ulteriore è quello della figura che segue, ad alte prestazioni ma abbastanza monolitico: connessioni a maglia completa (full mesh) in varie fasi garantiscono alta efficienza e ridondanza, anche grazie alla estesa memoria cache, che riduce sensibilmente l accesso fisico ai dischi (ammesso che il cosiddetto hit ratio si possa mantenere alto). Questo esempio usa una combinazione di switch FC (tra i disck enclosure) e di Port Bypass controllers (dentro i disk enclosures) Le prestazioni finali che si possono ottenere con il Fibre Channel sono riportate nella tabella che segue, per le varie tipologie di Fibre Channel esistenti. Tipologie di Fibre Channel NOME Line-Rate (Gbps) Throughput ( MBps) GFC.65 GFC.5 GFC.5 GFC.5 GFC Seriale.575 Belfiore Giovanni 566/ Pagina 9 di 5

21 GFC.5 GFC Parallelo.75.3 Il Fibre Channel e l iscsi Un protocollo alternativo al Fibre Channel [] è il protocollo iscsi []. Semplificando all estremo, l accesso ai dati su dischi avviene a blocchi, block I/O, sia per l ISCSI che per il Fibre Channel, da parte di un host che funge da Initiator del protocollo, accedendo attraverso l infrastruttura ad un Target e quindi alle sue LUN (unità logiche). Schematicamente, le due figure rappresentano la situazione per il Fibre Channel e per l iscsi, rispettivamente. Come si vede, in questa semplificazione la differenza è nell infrastruttura: il Fibre Channel richiede una infrastruttura dedicata e specializzata, mentre l ISCSI richiede una semplice rete LAN. I due sistemi, FC ed iscsi, spesso coesistono in un Data Center, perché soddisfano ad esigenze diverse: il Fibre Channel, o meglio una SAN basata su Fibre Channel garantisce alte prestazioni, alta affidabilità, alta capacità, ridondanza, ma ad un costo in Belfiore Giovanni 566/ Pagina di 5

22 genere alto e spesso con software proprietario, mentre un sistema di storage basato si iscsi consente di avere costi più bassi, capacità relativamente grandi ma comunque limitate rispetto al Fibre Channel, ed architetture di rete standard Ethernet. Anche nel caso di SCoPE i due sistemi coesistono, nel senso che è presente un sistema di storage Fibre Channel, il CX3- della EMC, da circa Terabyte, ed un sistema di storage iscsi, l EqualLogic PS5E della DELL, da Terabyte (in realtà due da ). La domanda posta da molti amministratori di sistema riguarda quale protocollo sia più adatto a supportare un'infrastruttura di storage di tipo general purpose. La prima cosa che preoccupa molte persone per quanto riguarda iscsi è che opera tipicamente a solo Gbit/sec, mentre Fibre Channel opera a o Gbit/sec. Inoltre, le reti Fibre Channel sono prevedibili per quanto riguarda il consumo di larghezza di banda e l'accesso alla rete. La tipica rete Ethernet implementata per iscsi non è altrettanto prevedibile a causa della possibilità di conflitti che è propria di una rete Ethernet (e del protocollo CSMA/CD). Ci sono meno possibilità di inviare dati su una rete occupata, ma il modo in cui queste reti vengono solitamente implementate - con connessione dedicata - non lo rende un vero problema. Le usuali implementazioni di iscsi nei Data Center implicano l'utilizzo di connessioni dedicate. Il secondo argomento a proposito del confronto tra iscsi e Fibre Channel è che su FC i protocolli vengono gestiti per una gran parte su hardware specializzato, mentre la maggior parte di coloro che utilizzano iscsi tende ad utilizzare l'iniziatore software iscsi. Questa elaborazione consuma cicli CPU sul server per elaborare il protocollo, e quei cicli potrebbero essere importanti per altre attività sul server. Tuttavia, ci sono HBA iscsi che scaricano l'elaborazione del protocollo iscsi dalle CPU del server in modo analogo agli HBA Fibre Channel. Di solito vengono utilizzati questi per una delle seguenti due ragioni: Il boot su iscsi solitamente richiede un HBA iscsi. (I protocolli di rete devono essere residenti in modo che il server possa parlare allo storage per ottenere l'immagine di boot del server.) L'HBA iscsi è gestito sul server proprio come qualsiasi altro disk controller. I cicli CPU del server consumati dall'elaborazione del protocollo iscsi servono per qualcos'altro. Un HBA iscsi non fornisce necessariamente migliori prestazioni di rete, ma restituisce cicli della CPU, quindi consente di Belfiore Giovanni 566/ Pagina di 5

23 gestire più applicazioni. Con i server più recenti e veloci, dotati di CPU da 6 bit multi-core e bus back-end, di solito si ha abbastanza potenza CPU per fare entrambi i lavori, quindi questa ragione diventa sempre più rara. Si tenga presente che è necessario un HBA iscsi, e non una scheda TOE (TCP/IP Offload Engine), che scarica solo l'elaborazione TCP/IP e lascia comunque l'elaborazione iscsi a carico dell'host. Tuttavia, alcuni esprimono preoccupazioni sull'utilizzo di iscsi perché non fornisce le prestazioni grezze del Fibre Channel. Per le applicazioni I/O a blocchi piccoli, però, il fattore critico è IOPS con bassa latenza, e non la larghezza di banda. I testi mostrano come la larghezza di banda non sia importante con l'i/o transazionale, poiché una sola macchina non è in grado di generare abbastanza carico da sommergere un pipe da GbitE, e quel pipe è dedicato tra il server e lo storage. È possibile che, se ci sono molti server che condividono una singola connessione da GbitE/sec allo storage (un'idea non molto buona), la connessione possa saturarsi, quindi ciò potrebbe diventare un collo di bottiglia. Tuttavia, anche in questo caso è possibile aggiungere più connessioni GbitE per aumentare la larghezza di banda verso il dispositivo di storage. Belfiore Giovanni 566/ Pagina di 5

24 3. La tecnologia Fibre Channel applicata a ScoPE 3. Il quadro generale L'argomento che questa tesi vuole approfondire è quella riguardante l'unità di storage Fibre Channel installata nel Data Center di SCoPE tramite il dispositivo CX3- mostrato nella figura che segue: Anche se la tesi non tratterà lo schema di storage in tutta la sua complessità, è bene darne uno schema illustrativo per capire al meglio la sezione in cui verrà applicato il protocollo Fibre Channel e il relativo dispositivo di storage: Belfiore Giovanni 566/ Pagina 3 di 5

25 La parte che si andrà ad analizzare quindi sarà quella evidenziata dal riquadro giallo. La capacità di questa sezione dello storage è pari a circa 3 TByte suddivisi in: 95 HDD da 3GByte / K con accesso Fibre Channel 6 HDD da TByte / 7,K con accesso SATA Ciò ha reso fondamentale uno studio accurato su come suddividere queste grandezze in modo da fornire agli utenti il massimo delle prestazioni in termini di efficienza ma soprattutto per quanto riguarda l'affidabilità. La migliore soluzione al nostro problema è stato introdurre sistemi RAID. Tra i vari schemi si è scelto di usare il livello 5 proprio per l'ottimo compromesso che offre tra affidabilità e efficienza. I dischi sono stati suddivisi cosi come segue: Belfiore Giovanni 566/ Pagina di 5

26 Gruppi RAID-5 costituiti da 9 HDD x 3GByte/K (FC) Capacità gruppo:.6,97 GByte Capacità totale:.69,67 GByte Gruppo RAID-5 costituito da 5 HDD x 3GByte/K (FC) Capacità gruppo:.73, GByte Capacità totale:.73, GByte Gruppi RAID-5 costituiti da 5 HDD x TB/7.K (SATA) Capacità gruppo: 3.66,6 GByte Capacità totale: 73.37,93 GByte Gruppo RAID-6 costituito da 6 HDD x TB/7.K (SATA) Capacità gruppo: 3.66,6 GByte Capacità totale: 3.66,6 GByte Di seguito viene dato uno schema che illustra le divisioni fisiche dei dischi tra i vari raggruppamenti RAID. Ogni riga della tabella illustra un rack contenente dischi e dallo schema stesso si può osservare che alcuni raggruppamenti RAID contengono dischi appartenenti a più rack: É stato di grande importanza definire livelli di astrazione che permettano all'utente di usufruire di dati senza effettivamente sapere su quale disco si sta lavorando per rendere il sistema il più scalabile (aggiunta di dischi) e affidabile (sostituzione in caso di guasti) possibile. Ciò ha dato luce ad una struttura a cipolla che vede come nucleo della struttura i dischi veri e propri. Raggruppamenti di dischi danno vita ai RAID che sono autonomi tra di loro. Raggruppamenti di RAID, invece, generano LUN (Logical Unit Belfiore Giovanni 566/ Pagina 5 di 5

27 Number). La comunicazione con questi meta-device è coordinata dalla tecnologia Fibre Channel. Si noti che nel nostro caso specifico si può confondere senza problema alcuno il RAID con la LUN in quanto abbiamo impostato che una LUN sia esattamente costituita da un unico RAID. Belfiore Giovanni 566/ Pagina 6 di 5

28 3. L unità CX3- e la sua architettura Il sistema EMC CLARiiON CX3- è il sistema più idoneo all'elaborazione transazionale tra quelli di storage in rete EMC CLARiiON serie CX3 UltraScale. Offre lo storage in rete a prestazioni e capacità elevate in grado di soddisfare i carichi di lavoro OLTP complessi e le esigenze degli ambienti di calcolo con accesso a grandi quantità di dati. Il CX3- garantisce scalabilità semplice fino a 73 TB di capacità di storage, utilizzando la larghezza di banda completa da Gbit/s dell'architettura CLARiiON CX3 UltraScale. In questo modo è possibile ottenere il miglior rapporto prezzo/prestazioni e la massima disponibilità (99,999%) necessari a soddisfare qualsiasi requisito aziendale. Le funzionalità software guidate semplificano le attività di gestione giornaliere, mentre le funzionalità avanzate proteggono i dati aziendali. Belfiore Giovanni 566/ Pagina 7 di 5

29 Il sistema EMC CLARiiON CX3- offre: Caratteristiche Architettura UltraScale Connettività Fibre Channel e iscsi Storage su più livelli Vantaggi Prestazioni ottimizzate, scalabilità e resilienza superiore grazie a una tecnologia all'avanguardia e alla larghezza di banda di Gbit/ sec. porte host Fibre Channel da Gbit/s e porte host iscsi da Gbit/s, oppure una configurazione solo Fibre Channel con porte host da Gbit/s. Combinazione di unità a prestazioni elevate, costi convenienti e alta capacità per soddisfare qualsiasi esigenza aziendale e di budget. Tecnologia Maggiori prestazioni e utilizzo della capacità con l'espansione on- MetaLUN line delle LUN. Tecnologia Virtual LUN Assistenza triennale avanzata Aggiornamenti di tipo "data-in-place" Gestione semplice delle implementazioni di storage su più livelli con migrazione dei dati senza interruzione delle attività nell'ambito dello stesso array. Autoassistenza online illimitata, supporto remoto proattivo, upgrade del software, call center attivo ore su, 7 giorni su 7, e supporto on site 9 ore al giorno, 5 giorni alla settimana. Protezione dell'investimento con le funzioni uniche di upgrade "data-in-place" al sistema CX3-. Livelli RAID RAID : striping dei dati su 3- unità RAID : coppie di mirroring di unità RAID /: mirroring dei dati e successivo striping su - unità RAID 3: accesso ai dati indipendente su 5 o 9 unità (con disco di parità dedicato) RAID 5: accesso dati indipendente su 3- unità (con parità di striping) Possibilità di utilizzare qualsiasi combinazione di livelli RAID su un unico Belfiore Giovanni 566/ Pagina di 5

30 sistema CX3- Profondità di striping RAID configurabile su,, 6, o 56 settori per disco MetaLUN: virtualizzazione dello storage tramite espansione LUN online basata sullo striping o attraverso la concatenazione Hot spare configurabili Ricostruzione del tuning di priorità: adeguamento I/O minimo riservato al server durante la ricostruzione Connettività front-end (host) Due processori storage per ciascun sistema CX3- Ciascun processore di storage è dotato di porte ottiche Fibre Channel da Gbit/s porte in rame Ethernet da Gbit/s porte ottiche Fibre Channel da Gbit/s Lunghezza massima del cavo Fibra ottica a onde corte: m ( Gbit) CAT5E e CAT6 in rame 3 m ( Gbit), 5 m ( Gbit) m ( Gbit) Accodamento dei tag di comando (fino a 56 tag) Connettività back-end (disco) Ciascun processore di storage CX3- FC è dotato di quattro loop arbitrati Fibre Channel C da Gbit. Possibilità di distribuire più gruppi RAID sui loop ridondanti per ottimizzare la larghezza di banda dei dischi. Il sistema CX3- supporta massimo unità disco. Memoria di sistema Due processori storage per ciascun sistema CX3- GByte di memoria per ciascun processore Dimensioni (approssimative) Chassis del processore per montaggio su rack, alimentatori di stand-by (rack standard NEMA da 9 ) Altezza Larghezza Profondità Peso Belfiore Giovanni 566/ Pagina 9 di 5

31 ,36 cm, unità EIA,6 cm, cm,9 kg max. Chassis point-to-point di espansione dischi FC da Gbit per montaggio su rack, doppi alimentatori Altezza, Larghezza, Profondità, Peso: 3,33 cm, 3 unità EIA 5 cm 35,56 cm Configurazione max. 3,9 kg Alimentazione Tensione CA - VCA ±%, monofase Frequenza 7-63 Hz Fattore di potenza,96 (min) Consumo 3 VA ( W) max. Dissipazione di calore (massima) 9 Btu/ora Protezione Montaggio su rack: 6,3 amp, con fusibile Circuiti CA Ridondanti, circuiti CA esterni Tipo di ingresso: Ingresso doppio Montaggio su rack: IE-C Configurazione dell alimentazione: Due domini di alimentazione (base ed esteso), ciascuno ridondante Numero di ingressi di alimentazione Due (per configurazione base ridondante) o quattro (per configurazione estesa ridondante) Tipi di presa NEMA L6-3P, IEC39-3 P6 Capacità di alimentazione in entrata. VA a V CA, 5.76 VA a V CA (ciascun dominio) Protezione CA Interruttori da 3A interni a ciascuna derivazione di alimentazione Ambiente operativo Temperatura: - C Gradiente di temperatura: C/ora Belfiore Giovanni 566/ Pagina 3 di 5

32 Umidità relativa: da % a % (senza condensa) Altitudine.3, C max. 3. C max. Emissioni elettromagnetiche e immunità FCCClasse A EN55 Classe A Marchio CE VCCI Classe A (per Giappone) ICES-3 Classe A (per Canada) AS/NZS 35 Classe A (per Australia/Nuova Zelanda) Immunità EN55, ITEBSMI Classe A (per Taiwan) Standard di qualità e sicurezza UL 695; CSAC.-695, FN 695 NEBS Level 3 ETSI EN 3 36 Prodotto a norma ISO 9 La configurazione minima di un CX3- consiste in un singolo Storage Processor enclosure, da unità (U), più un standby power supply (SPS), anch esso da unità (U), e da almeno disk-array enclosure (DAE) a Gbit/s UltraPoint, da 3 unità (3U), per un totale di 5 unità da rack. È possibile avere un totale di DAE e SPS. Queste Belfiore Giovanni 566/ Pagina 3 di 5

33 configurazioni sono mostrate nella figura che segue. La figura che segue mostra lo Storage Processor del CX3-, dall esterno. Dei LED mostrano l attività della rete LAN, dell alimentazione dello Storage Processor, delle fasi del boot, dell alimentazione, e le condizioni eventuali di errore. Dei LED indicano anche la velocità delle porte in uso: verde per Gbit/s e blu per Gbit/s. Ciascun Storage Processor del CX3- ha porte Front End (FE) a -Gbit/s Fibre Channel. Queste porte, tutte del tipo SFP (small-form-factor pluggable), usano transceiver ottici e sono auto-negozianti per quanto riguarda la velocità. Usando il software Navisphere Manager o mediante linea di comando (CLI), l utente può impostare la configurazione. Queste porte possono essere connesse a -, -, o -Gbit/s Belfiore Giovanni 566/ Pagina di 5

34 mediante transceiver ad uno switch FC, o possono essere connesse direttamente a -, -, o -Gbit/s HBA su un server. Ciascun Storage Processor del CX3- ha anche porte Back End (DE) che costituiscono delle porte ridondanti. Il sistema di alimentazione del CX3- è mostrato nella figura che segue. Esso consiste in quattro alimentatori distinti, con relativo sistema di raffreddamento. Ogni alimentatore garantisce 6 watt. Belfiore Giovanni 566/ Pagina 33 di 5

35 3.3 Le funzionalità L unità CX3- è caratterizzata da funzioni intelligenti di gestione dello storage, che consentono operazioni in ambiente SAN. Alcune di queste funzioni sono qui illustrate. La gestione della cache È innanzitutto interessante vedere il meccanismo di funzionamento della cache del CX3-: avendo due SP, Storage Processor, ognuno ha due cache memory, la prima è quella propria, la seconda è il mirror della cache dell altro, come illustrato in figura. Questo meccanismo assicura la continuità di funziona mento anche se uno dei due SP si rompe. L unità CX3 è inoltre in grado di funzionare anche con il protocollo iscsi, anche se questa funzionalità non è ancora implementata nella installazione fatta per SCoPE, che per l iscsi ha scelto una diversa unità, la DELL EqualLogic PS5e. Lo schema di funzionamento è illustrato di seguito: come si vede, Fibre Channel ed iscsi coesistono, consentendo l accesso anche agli stessi dischi da parte di vari server. Belfiore Giovanni 566/ Pagina 3 di 5

36 L area riservata Tutti i dischi del sistema CX3- hanno un area riservata per le informazioni di configurazione. Inoltre, i primi 5 dischi nel primo enclosure del primo loop di back-end hanno delle aree riservate che sono utilizzate per le immagini del software e per il dump della write cache (la cosiddetta vault area). Per garantire lo spazio per queste funzioni, lo spazio utente inizia dopo 33 GByte nei primi 5 dischi, e dopo 3 Mbyte negli altri dischi, come mostrato in figura. Navisphere Management Suite Il software che viene fornito con l unità CX3- è chiamato NaviSphere Manager. Questo software gira sul sistema stesso, non sull host, e può essere utilizzato dovunque sulla rete, se questa ha accesso al sistema. Con il Navisphere Manager è infatti possibile sia gestire sistemi sulla stessa sottorete di appartenenza del client utilizzato, sia gestire Belfiore Giovanni 566/ Pagina 35 di 5

37 sistemi multipli su domini separati. È anche supportata la funzionalità di remote management. Navisphere QoS Manager (NQM) Applicazione che permette, oltre al monitoraggio della qualità del servizio, anche di impostarne un determinato livello prestazionale di una singola applicazione missioncritical pianificandone le regole (definite dall utente). Ad esempio, è possibile impostare una regola che di giorno favorisca le applicazioni di posta elettronica mentre di notte favorisca i processo di backup. VisualSRM Applicazione SRM (Storage Resource Management) in grado di individuare, recuperare e gestire lo storage a livello di file. VisualSRM include una gamma completa di report che forniscono riepiloghi, dettagli a livello di file e resoconti di chargeback per file system, server di posta e server di database. SAN Copy Applicazione che consente una veloce copia dei dati diversi tipi di sistemi di storage. Strettamente integrayo con Snap View nel senso che nel momento che viene eseguita una copia con Snap View è possibile spostarla in un'altro array con SAN copy. RecoverPoint Applicazione che protegge completamente l'intero sistema di storage da problemi come virus, server guasti, errori software ed altro. Si avvale di protezioni continue per i dati locali (CDP) e repliche in remoto (CRR). RepliStor Applicazione che fornisce funzionalità di replica asincrona locale e remota basata su file per ambienti Microsoft Windows su rete IP. Belfiore Giovanni 566/ Pagina 36 di 5

38 Replication Manager Applicazione che provvede in maniera semplice a qualsiasi tipo di replica dal livello più basso (array) a quello più alto (applicazione). Collabora con i software SnapView, SAN Copy e altre soluzioni software di replica EMC. Può essere utile in diverse situazioni come la configurazione o operazioni di ripristino, rendendole più agevoli grazie alla presenza di copie. MetaLUN Con Navisphere Manager, i sistemi CX3 possono utilizzare le funzioni di espansione delle LUN, le unità logiche, creando delle metalun. Una metalun è la combinazione di più LUN unite in una configurazione di striping o di concatenation. Virtual LUN technology La tecnologia virtual LUN (LUN migration) è gestibile sia da Navisphere Manager, sia da CLI (Command Line Interface); questa funzione permette agli amministratori di sistema di migrare i dati da una LUN sorgente o da una metalun verso un altra LUN o un altra metalun, mantenendo comunque on-line i dati di partenza durante il processo. Questa funzione è molto utile nei seguenti casi:. Quando si cambia il tipo di dischi o di FC: Migrazione da -Gbit/s Fibre Channel a -Gbit/s Fibre Channel Migrazione da -Gbit/s Fibre Channel a -Gbit/s Fibre Channel Migrazione da SATA-II a Fibre Channel Migrazione da Fibre Channel a SATA-II. Quando si cambiano le caratteristiche: Migrazione a dischi meno utilizzati Cambiamento del tipo di RAID Belfiore Giovanni 566/ Pagina 37 di 5

39 Access Logix L Access Logix è una funzionalità di Navisphere che consente il mascheramento delle LUN tra gli storage processors e la scheda HBA Fibre Channel dell host. Access Logix va abilitato dall interfaccia di Navisphere, e consente la connettività di host eterogenei verso il CX3; essa inoltre fornisce all utente un modo di definire gli storage groups, che controllano quali host hanno accesso a quali LUN. SnapView snapshots SnapView è una funzionalità che consente all utente di creare una istantanea (snapshot) si una LUN sorgente su un server, che può essere vista da un altro server secondario. Il secondo server vede i dati così come erano al momento dello snapshot, e se il primo server modifica i dati, il secondo non li vede. Se necessario, ad esempio se i dati iniziali si perdono o sono corrotti, il contenuto dello snapshot può essere ripristinato sul primo server. Questa funzione è molto utile se si devono provare delle modifiche al software di accesso ai dati: se vi sono errori, la situazione iniziali si ripristina immediatamente con una operazione detta di roll back. Un clone SnapView è invece una copia complete della LUN sorgente, eguali in dimensioni alla LUN iniziale. Una volta creata, questa copia può essere separata dalla LUN sorgente e montata, ad esempio, su un altro host, per operazioni di backup. Questa funzionalità è utile se i dati sono acceduti e modificati spesso: poiché le operazioni di backup possono durare molte ore, non si avrebbe mai un backup fatto ad un certo momento, ma un backup con dati aggiornati ad un certo momento e dati modificati dopo delle ore. Belfiore Giovanni 566/ Pagina 3 di 5

40 MirrorView/A and /S Applicazione che aumenta la disponibilità dei dati tramite mirroring remoto di array. Non ha conseguenze sul funzionamento delle applicazioni e server in quanto lavora solo sugli array. Si suddivide nelle utility: MirrorView/Synchronous (MirrorView/S) esegue la replica continua dei dati, in modo da garantire la massima disponibilità. MirrorView/Asynchronous (MirrorView/A) esegue la replica indifferentemente se l'applicazione sta eseguendo o no operazioni di I/O garantendo capacità di ripristino su lunghe distanze. PowerPath PowerPath è un software che gira sull host per offrire un intelligente gestione dei percorsi di I/O. Usando PowerPath, gli amministratori di sistema possono migliorare le prestazioni nel caso di I/O molto pesante, effettuando un bilanciamento dei percorsi sull infrastruttura di rete Fibre Channel. PowerPath può configurare percorsi multipli anche in automatico e dinamicamente. PowerPath si occupa poi del re-indirizzamento nel caso un percorso si rendo non disponibile per un guasto. Chiaramente tutto questo presuppone che vi siano connessioni ridondate disponibili sul sistema. Belfiore Giovanni 566/ Pagina 39 di 5

41 . Piano dei test. Quadro generale Le misure delle prestazioni di un sistema informatico si fanno con i cosiddetti benchmark: dei software appositi, che misurano determinati parametri del sistema, in varie condizioni di lavoro. Nello specifico, i benchmark che ci interessano sono quelli che per le operazioni di Input/Output (I/O) sullo storage. Questo tipo di benchmark consiste in programmi che eseguono delle operazioni di scrittura e lettura nelle varie condizioni, cambiando la dimensione del file, la lunghezza del record, il tipo di accesso e così via. Nell'effettuare tali benchmark di I/O, bisogna fare molta attenzione ad alcuni parametri, che influiscono molto sui valori ottenuti, valori che tipicamente si misurano in KByte/sec per le varie operazioni. Questo perché le operazioni vengono eseguite da un programma che gira sotto un determinato sistema operativo su un determinato sistema, e le condizioni al contorno sono da studiare con attenzione. Infatti, va considerato che alle prestazioni complessive contribuiscono vari fattori, tra cui i principali sono: dimensione della cache della CPU dimensione della cache di I/O del sistema operativo dimensione della cache del controller di accesso dimensione della cache del disco. Facciamo qualche esempio: oggi la cache L della CPU, una memoria molto veloce presente direttamente sul chip, è di almeno Mbyte, e spesso di Mbyte: se facciamo operazioni di scrittura e poi di lettura su un file di Mbyte, su un sistema dedicato e quindi non con altri utenti, è facile che le operazioni di lettura prendano i dati direttamente dalla cache L, quindi i tempi che ne verranno fuori saranno decisamente ridotti, in termini di prestazioni, rispetto a file più grandi della dimensione della cache L. Lo stesso concetto va applicato a tutte le altre cache citate sopra. Nel caso nostro, il benchmark di I/O più diffuso è IOZone per il quale valgono le Belfiore Giovanni 566/ Pagina di 5

42 seguenti regole: Per un buon studio degli effetti provocati dalla presenza del buffer cache il file deve essere inferiori alle dimensioni del buffer cache e quest'ultimo deve essere almeno di MB. È inoltre necessario che le dimensioni del file siano inferiori di 3 volte rispetto quelle dalla cache interne ed esterne del processore. Per un buon studio degli effetti provocati dalla presenza del disco il file deve essere almeno 3 volte superiore alle dimensioni del buffer cache. Altri requisiti:. il benchmark non deve essere modificato. il sistema deve essere stabile. Belfiore Giovanni 566/ Pagina di 5

43 . Programmazione piano di test Per testare il grado di efficienza del sistema di storage di ScoPe sono stati programmati i seguenti test: Test Descrizione È stato eseguito il test sulla LUN lun con file che variano da GT. Test su Byte a 6GByte e con record size che varia da 5KByte a Mbyte. lun Alla fine dell'esecuzione del benchmark è stato riportato tutto in forma tabellare e grafica. T. Test multiutente () su lun T3. Test su lun e lun9 Sono stati eseguiti due test in contemporanea sulla LUN lun con file che variano da GByte a 6GByte e con record size che varia da 5KB a MB. Alla fine dell'esecuzione del benchmark è stato riportato tutto in forma tabellare e grafica. Sono stati eseguiti due test in contemporanea sulle LUN lun e lun9 con file che variano da GByte a 6GByte e con record size che varia da 5KB a MB. Alla fine dell'esecuzione del benchmark è stato riportato tutto in forma tabellare e grafica. T. Test su Sono stati eseguiti tre test in contemporanea sulle LUN lun, lu- lun, n9 e lun con file che variano da GByte a 6GByte e con re- lun9 e cord size che varia da 5KB a MB. Alla fine dell'esecuzione del lun T5. Test in locale sul server 95 benchmark è stato riportato tutto in forma tabellare e grafica. É stato eseguito un test in locale sul server 95 con file che variano da GByte a 6GByte e con record size che varia da 5KB a MB. Alla fine dell'esecuzione del benchmark è stato riportato tutto in forma tabellare e grafica. Per lanciare in esecuzione i test sopra citati si è usata la seguente linea di comando: iozone -Rab [file excel] -y 5 -n g -g 6g Si noti che, data la grande quantità di dati, per creare un termine di paragone si è preferito leggere i dati dal punto di vista di massimi, minimi e medi dell'intero test durante i confronti. Belfiore Giovanni 566/ Pagina di 5

44 .3 Le prove di IOZone Di seguito vengono suddivisi i test (le prove eseguite da IOZone), usualmente previsti per quanto riguarda l'i/o sullo storage, in due categorie: scrittura e lettura sequenziale e random effettuati in maniera asincrona..3. Le prove di scrittura e lettura sequenziale Write: Questo test misura le prestazioni nella scrittura di un nuovo file. Ciò vuol dire non solo la scrittura dei dati, ma anche delle informazioni sulla posizione del file, sulla sua dimensione e sugli altri parametri del file system, cioè anche i cosiddetti metadati. L operazione di write è chiaramente più lenta, nel complesso, della successive, che è di re-write dello stesso file. Re-write: Questo test misura le prestazioni nella scrittura di un file che già esiste. Questo vuol dire che i metadati non vengono riscritti, o che solo pochi di essi lo sono. Chiaramente l operazione è più veloce della precedente. Read: Questo test misura le prestazioni nella lettura di un file che già esiste. Re-Read: Questo test misura le prestazioni nella lettura di un file che già esiste e che è stato già letto di recente. Poichè il SO bufferizza in una cache i dati letti, le prestazioni di questo test sono generalmente migliori del precedente. Backwards Read: Questo test misura le prestazioni nella lettura di un file non dall inizio alla fine, ma dalla fine all inizio. Il test serve in quanto esistono delle applicazioni che veramente leggono il file al contrario: un esempio è il NASTRAN, e si tratta di file di molti GByte. Fwrite: Questo test misura le prestazioni di scrittura di un file con la funzione di libreria fwrite(), che usa un buffer nello spazio di indirizzamento del programma utente. Sono scritti anche i metadati. Per Frewrite non si considerano i metadati. Belfiore Giovanni 566/ Pagina 3 di 5

45 Fread: Questo test misura le prestazioni di lettura di un file con la funzione di libreria fread(), che usa un buffer nello spazio di indirizzamento del programma utente. Per Freread si ha la possibilità di avere i dati nella cache del SO..3. Le prove di scrittura e lettura random Random Read: Questo test misura le prestazioni nella lettura di un file non dall inizio alla fine, ma in punti random del file stesso. Le prestazioni dipendono da molti fattori, come la dimensione della cache, il numero di dischi, i relativi tempi di latenza etc. Random Write: Questo test misura le prestazioni nella scrittura di un file non dall inizio alla fine, ma in punti random del file stesso. Le prestazioni dipendono, come per il test precedente, da numerosi fattori, come la dimensione della cache, il numero dei dischi, i relativi tempi di latenza etc. Random Mix: Questo test misura le prestazioni nella lettura e nella scrittura di un file non dall inizio alla fine, ma in punti random del file stesso. Le prestazioni dipendono da numerosi fattori, come la dimensione della cache, il numero dei dischi, i relativi tempi di latenza etc. Il test va eseguito con più processi che eseguono simultaneamente lo stesso test, alternativamente, cioè un test scrive, il successivo legge e così via. Si tratta quindi di un test di stress dello storage. Strided Read: Questo test misura le prestazioni di lettura di un file in modo cosiddetto strided, cioè una prima lettura, ad esempio di KByte, poi un salto, ad esempio di KByte, poi di nuovo ciclicamente una lettura ed un salto. In genere, i sistemi operativi non ottimizzano affatto questa funzione. Record Rewrite: Questo test misura le prestazioni nella scrittura di una porzione (un record) del file in un suo punto intermedio, e poi nella riscrittura della stessa porzione. Se il record è piccolo ed entra nella cache della CPU, le prestazioni sono alte; se il record non entra nella cache della CPU, ma nella TLB (Translation Lookaside Buffer) cioè un buffer (o, nelle implementazioni più sofisticate, una cache) nella CPU che contiene porzioni della page table, una struttura dati che traduce gli indirizzi di memoria Belfiore Giovanni 566/ Pagina di 5

46 virtuali in indirizzi reali, le prestazioni sono ancora buone. Se infine il record non entra né nella cache della CPU, né nella TLB, ma entra nella cache del sistema operativo, le prestazioni sono ancora accettabili, altrimenti queste degradano. Belfiore Giovanni 566/ Pagina 5 di 5

47 . Ambiente di test Come detto precedentemente l'area del sistema di storage del Data Center ScoPE che si andrà ad analizzare da vicino è la seguente: Questo schema comprende: server Dell 95 Per ogni server connessione da Gbit/s con protocollo Fibre Channel switch MDS CX3- collegato al MDS tramite connessioni Fibre Channel da Gbit/s Passiamo ora a descrivere lo schema di comunicazione tra un server 95 e il CX3-. I server 95 (Storage Server) hanno il compito di farsi carico di letture e scritture nei dischi per gli utenti che ne fanno richiesta in modo da rendere queste operazioni il più astratte possibile. Questi server sono dotati di schede HBA (Host Bus Adapter) le quali hanno porte FC. Tramite queste porte è possibile definire due collegamenti ad uno switch MDS composto da moduli distinti, i quali a loro volta comunicano con due Stored Processor che saranno i veri responsabili della lettura e scrittura sulle LUN. Si noti che ogni switch possiede due porte che permettono a ogni server di stabilire path di cui: Belfiore Giovanni 566/ Pagina 6 di 5

48 path : sono gli effettivi path a Gbit/s che il server usa per comunicare con i due stored processor: HBA[]->SWH:6 HBA[]->SWH:6 path : sono path di ridondanza a Gbit/s che permettono, in caso di guasto di un modulo dello switch, di arrivare allo Storage Processor che questo gestiva : HBA[]->SWH:6 HBA[]->SWH:69 Nell'intera architettura sono compresi anche server dediti al calcolo e alla gestione delle interfacce (Elaboration Server) i quali hanno bisogno in continuazione di dati. Sia per motivi di efficienza che per motivi di scalabilità del sistema si vuole far in modo che questi server non possano accedere direttamente ai dischi o ad ogni altra loro astrazione si introduce il concetto di FSD (File System Distribuiti): Un FSD è un particolare file system che permette la memorizzazioni di file e risorse in dispositivi di archiviazione distribuiti in una rete informatica. A differenza di un comune file system locale, i dati non vengono letti o archiviati su di un dispositivo locale, ma, attraverso un meccanismo clientserver, su dispositivi remoti, collegati in maniera trasparente alla propria gerarchia di file. Un FSD deve poter gestire i file in maniera trasparente e concorrente e, di solito, è dotato di sistemi di autenticazione e, a volte, di criptazione. I principali FSD in commercio sono LUSTRE, GPFS e PUS. Belfiore Giovanni 566/ Pagina 7 di 5

49 La creazione degli FSD è compito dei server 95 che si intrappongono tra gli storage server e gli elaboration server. Questi server permettono il montaggio e l'uso, come un qualsiasi device, degli FSD da parte degli elaboration server e nel momento in cui viene fatta una richiesta storage da sull'unità di parte di quest'ultimi, i 95 non fanno altro che tradurre la richiesta nel path specifico e passarla agli storage server che provvederanno all'esecuzione della richiesta tramite il modello sopra citato. I Gruppi di raid (elencati al capitolo 3) saranno suddivisi nei 5 FSD seguenti: uninahome: FS per le User Interface da montare sotto /home - LUN SATA Raid-6 3.6TB uninafc: FS veloce per dati da montare sotto /uninafc - LUN FC.TB uninafc: Per il management del sw scientifico e di libreria, da montare su tutti WN sotto /opt/exp_soft/ - LUN FC TB uninasata: Per i dati da montare sotto /flatfile/se su tutti i wn - LUN SATA 36.6TB astro: FS per astrofisici da Montare sotto /astro su tutti i wn - LUN SATA 36.6TB Generando così il seguente schema: Belfiore Giovanni 566/ Pagina di 5

50 Per testare il nostro sistema di storage, tramite l'applicazione IOZone, è stato preso in esame il server se3.scope.unina.it il quale possiede 3 LUN (, 9 e ) distinte con sistemi RAID-5 che raggiungono capacità di 3,5 TB circa. In particolare come lun Belfiore Giovanni 566/ Pagina 9 di 5

51 di riferimento si è considerata lun, mentre le altre due sono servite per testare l'efficienza dello storage in situazioni di stress avanzato. Queste lun, per quanto riguarda il server se3, sono suddivise tra gli storage processor come si può notare dall'immagine e dal report sulle lun di NaviSphere. Belfiore Giovanni 566/ Pagina 5 di 5

52 5. Prove e risultati 5. Lettura dei risultati I risultati che si andranno a trattare di seguito sono essenzialmente di tipi: Risultati Empirici: avuti dall'esecuzione di IOZone per vari casi di test. Questo test da vita ad una tabella (e al risultante grafico) da interpretarsi come segue: Si noti che il colore dato ad ogni grandezza di record dipende dalla linea che rappresenta il record ne grafico. Risultati di Confronto: avuti dal confronto dei vari casi di test. In questo caso viene creata una tabella (e il risultante grafico) da interpretarsi come segue: Si noti che le coppie rappresentano:(grandezza record, grandezza file) Belfiore Giovanni 566/ Pagina 5 di 5

53 5. Writer Report Writer Writer Report Per record con grandezze da MB a MB le prestazioni dello storage, per quanto riguarda il test di write, evidenziano un decadimento delle velocità da 5MByte/s a MByte/s per file da GByte per poi assumere un andamento più dolce fino al raggiungimento dei MB/s valore in cui convergono tutti i test. Mentre, per quanto riguarda il record da MB, si può notare un degrado meno ripido che va dai 5MB/s fino al raggiungimento dei MB/s. Le prestazioni reali del disco non sono da ricercarsi nella prima parte del test in quanto sono falsati dall'architettura del server e dalle caratteristiche del sistema operativo, infatti durante il processo di scrittura di file Belfiore Giovanni 566/ Pagina 5 di 5

54 abbastanza piccoli si fa largo uso dello scheduling delle operazioni su disco mantenendole in un buffer in memoria centrale. La notevole grandezza (GByte) della memoria centrale permette l'intero svolgimento di queste operazioni senza mai accedere realmente ai dischi. Quindi possiamo stimare in modo corretto le velocità delle operazioni di I/O del sistema di storage solo con file che eccedono la capacità della memoria RAM e che quindi superano gli GByte, stima che porta ad una velocità di MB/s indifferentemente dalla grandezza del record. Belfiore Giovanni 566/ Pagina 53 di 5

55 5.3 ReWriter Report Re-writer ReWriter Report Il test di ReWrite mette in evidenza una convergenza della velocità verso i MB/s dopo grandezze di file da GByte indifferentemente dalla grandezza del record. Non può essere evidenziata la stessa caratteristica nella prima parte del grafico, nella quale la grandezza del record incide molto sull'inclinazione del decadimento delle velocità. Anche in questo caso la parte più significativa del test è quella per cui la grandezza dei file eccedono la grandezza della memoria RAM. Belfiore Giovanni 566/ Pagina 5 di 5

56 5. Reader Report Reader Reader Report Il test di Read mette in evidenza una convergenza della velocità verso i 5MB/s dopo grandezze di file da GByte indifferentemente dalla grandezza del record. Non può essere evidenziata la stessa caratteristica nella prima parte del grafico nella quale si hanno due casi: i record da.5, e MB toccano soglie di velocità massima che raggiungono 5MB/s circa mentre i record di grandezza, e MB toccano velocità di circa 5MB/s. Quest'ultimo fenomeno è dovuto, ancora una volta, all'effetto della cache del processore che ottimizza al massimo le performance quando sono presenti grandezze di file piccole. Belfiore Giovanni 566/ Pagina 55 di 5

57 5.5 ReReader Report Re-reader ReReader Report Vale quanto detto per il test di Read Belfiore Giovanni 566/ Pagina 56 di 5

58 5.6 Random Read Report Random Read Random Read Report Il test di random read evidenzia una convergenza intorno ai 5MB/s indifferentemente dal record a partire da file di GByte mentre precedentemente a questo valore si ha una ripida calata di velocità fortemente legata alla grandezza del record. Belfiore Giovanni 566/ Pagina 57 di 5

59 5.7 Random Write Report Random Write Random Write Report Il test di Random Write evidenzia come record migliori quelli da e MB anche se la differenza con i test dei restanti record non è molto sostanziale. Quindi, da un punto di vista asintotico, si potrebbe dire che che la velocità è indifferente dalla grandezza del record. Belfiore Giovanni 566/ Pagina 5 di 5

60 5. Backward Read Report Backward Read Backward Read Report Vale quanto detto per il test di Read Belfiore Giovanni 566/ Pagina 59 di 5

61 5.9 Record Re-Write Record Rewrite Record Rewrite Report Il test di Record ReWrite evidenzia due parti ben distinte indifferentemente dalla grandezza del file: il test fatto per record di.5, e MB hanno velocità costanti che variano intorno ai 5MB/s mentre i test fatti per i record, e MB/s variano intorno ai MB/s. Ciò è dovuto dall'azione della cache e della TLB (un altro buffer), infatti le prime tre grandezze di record sono abbastanza piccole da poter entrare completamente nella cache o nella TLB e quindi migliorano le velocità mentre negli altri tre casi le velocità degradano in quanto eccedono la capacità della cache e della TLB. Belfiore Giovanni 566/ Pagina 6 di 5

62 5. Stride Read Report Stride Read Stride Read Report Vale quanto detto per il test di Read. Belfiore Giovanni 566/ Pagina 6 di 5

63 5. Fwrite Report Fwrite FWrite Report Il test Fwrite evidenzia un degrado abbastanza veloce delle velocità da circa 35MB/s fino a MB/s per le grandezze di record da, e MB mentre gli altri tre hanno un degrado meno ripido. Nonostante ciò si osservi la convergenza verso i MB/s indifferentemente dalla grandezza del record. Belfiore Giovanni 566/ Pagina 6 di 5

64 5. Re-Fwrite Report Re-fwrite ReFWrite Report 5 5 Speed (KB/s) Si osservi che a differenza del test di Fwrite, il test di Re-FWrite arriva a una convergenza di velocità già da file di GByte indifferentemente dal record mentre precedentemente c'è un degrado abbastanza dolce. Quindi si può affermare che asintoticamente la velocità di trasferimento non dipende dalla grandezza del record. Belfiore Giovanni 566/ Pagina 63 di 5

65 5.3 Fread Report Fread FRead Report Vale quanto detto per il test di Read Belfiore Giovanni 566/ Pagina 6 di 5

66 5. Re-Fread Report Re-fread ReFRead Report Vale quanto detto per il test di Read Belfiore Giovanni 566/ Pagina 65 di 5

67 5.5 Test in contemporanea su diverse lun Questo test ha voluto stressare il sistema di storage eseguendo test in contemporanea prima su LUN diverse collegate alla stesso server (T3) e inseguito su 3 LUN collegate allo stesso server (T) per poi confrontarlo con il test singolo (T). Ricordando lo schema dato nel capitolo sulla distribuzione di queste LUN agli storage processor possiamo, osservando i grafici (medi, massimi e minimi), notare i seguenti casi: Confronto test T3: LUN e LUN9 sono connessi a due storage processor diversi (vedere il la configurazione del server se3 al paragrafo.), quindi lanciando il test T3, che vede entrambe le lun coinvolte, vengono adoperati entrambi i path (vedere schema di comunicazione al paragrafo.) che collegano il server ai due storage processor e quindi alle LUN vere e proprie raggiungendo così gli Gbit/s, Gbit/s per ogni processo. Ciò comporta che sia il test T che il test T3 hanno raggiunto gli stessi livelli prestazionali in quanto in entrambi i test i dati vengono trasferiti verso la lun sempre a Gbit/s indifferentemente dal fatto che ci siano due processi concorrenti. Confronto test T: Il Degrado riscontratosi in questo test dipende fortemente dal sottosistema di storage, è in particolar modo dal fatto che sia lun che lun sono gestite dallo stesso storage processor (B). Ciò comporta un decadimento delle prestazioni notevole in quanto lo storage processor è costretto a dividersi tra le operazioni di entrambe le LUN. Se si fossero visionati i risultati della LUN9 non si sarebbe riscontrata alcuna differenza con il caso precedente in quanto è l'unica LUN connessa allo SPA e quindi le sue prestazioni sarebbero state di Gbit/s. Si potrebbe continuare nello studio di questo fenomeno ma, per la configurazione del sistema che prevede solo 3 LUN per ogni server, non è possibile. Di seguito vengono riportati i grafici e le tabelle (in cui sono presenti le situazioni che hanno portato a quei valori) relativi al comportamento del sistema di storage a livelli massimi, minimi e medi a confronto con il test T. Per i risultati dei due test si rimanda all'appendice 3 e. Belfiore Giovanni 566/ Pagina 66 di 5

68 Valori Medi Test in contemporanea su diverse LUN (valori medi) Writer ReWriter Reader ReReader Random Read Prove IOZone Random Write Backw ard Read Record Rew rite Stride Read Fw rite Re-fw rite Fread Re-fread 6 LUN Belfiore Giovanni 566/ LUN 3 LUN Pagina 67 di 5

69 Valori Massimi Test in contemporanea su diverse LUN (valori massimi) Writer ReWriter Reader ReReader Random Read Prove IOZone Random Write Backw ard Read Record Rew rite Stride Read Fw rite Re-fw rite Fread Re-fread LUN LUN 3 LUN Massimi LUN Massimi LUN Massimi 3 LUN Write (.5, ) (, ) (, ) ReWrite (, ) (, ) (, ) Read (.5, ) (, ) (, 6) ReRead (.5, ) (, ) (, ) Random Read (.5, ) (.5, ) (, ) Random Write (, ) (, ) (, ) Backword Read (.5, ) (.5, ) (, ) Record ReWrite (, ) (, ) (, 6) Stride Read (.5, ) (.5, ) (, ) FWrite (, ) (, ) (, ) ReFWrite (.5, ) (, ) (, ) FRead (.5, ) (.5, ) (, ) ReFRead (, ) (.5, ) (, ) Belfiore Giovanni 566/ Pagina 6 di 5

70 Valori Minimi Test in contemporanea su diverse LUN (valori minimi) Writer ReWriter Reader ReReader Random Read Prove IOZone Random Write Backw ard Read Record Rew rite Stride Read Fw rite Re-fw rite Fread Re-fread 6 LUN LUN 3 LUN Minimi LUN Minimi LUN Minimi 3 LUN Write (, ) (.5, ) (, 6) ReWrite (, ) (, 6) (.5, ) Read (, ) -, (, ) ReRead (, ) (, ) (, ) Random Read (.5, 6) (.5, 6) (.5, 6) Random Write (.5, 6) (.5, 6) (.5, 6) Backword Read (.5, 6) (.5, ) (.5, 6) Record ReWrite (, 6) (, ) (, 6) Stride Read (.5, ) (.5, 6) (.5, ) (.5, 6) (.5, ) (.5, 6) FWrite (, ) (, 6) (, 6) ReFWrite (.5, ) (, ) (, ) (, 6) (, ) FRead (, ) (, ) (,) ReFRead (, ) (, 6) (, ) (, ) Belfiore Giovanni 566/ Pagina 69 di 5

71 5. Test vs Test multiutente () I confronti riguardano i valori avuti per il test T e per il test T. Questo confronto ha avuto lo stesso risultato del test T, infatti eseguendo job entrambi sulla stessa LUN è implicito che questi verranno gestiti dallo stesso storage processor a cui la lun è collegata e quindi dovranno condividere la banda di trasmissione disponibile di Gbit/s portando al degrado che si riscontra dai grafici. Di seguito vengono riportati i grafici e le tabelle (in cui sono presenti le situazioni che hanno portato a quei valori) relativi al comportamento del sistema di storage a livelli massimi, minimi e medi a confronto con i risultati di T. Per i risultati del test si rimanda all'appendice. Valori Medi Test vs Test Multiutente() (valori medi) Writer ReWriter Reader ReReader Random Read Prove IOZone Random Write Backw ard Read Record Rew rite Stride Read Fw rite Re-fw rite Fread Re-fread 6 (user ) Belfiore Giovanni 566/ (user ) Pagina 7 di 5

72 Valori Massimi Test vs Test Multiutente() (valori massimi) Writer ReWriter Reader ReReader Random Read Prove IOZone Random Write Backw ard Read Record Rew rite Stride Read Fw rite Re-fw rite Fread Re-fread (user ) (user ) Massimi Massimi Multiutente () Write (.5, ) (, ) ReWrite (, ) (.5, ) Read (.5, ) (.5, ) ReRead (.5, ) (, ) Random Read (.5, ) (.5, ) Random Write (, ) (, ) Backword Read (.5, ) (.5, ) Record ReWrite (, ) (.5, ) Stride Read (.5, ) (.5, ) FWrite (, ) (.5, ) ReFWrite (.5, ) (, ) FRead (.5, ) (, ) ReFRead (, ) (, ) Belfiore Giovanni 566/ Pagina 7 di 5

73 Valori Minimi Test vs Test Multiutente() (valori minimi) Writer ReWriter Reader ReReader Random Read Prove IOZone Random Write Backw ard Read Record Rew rite Stride Read Fw rite Re-fw rite Fread Re-fread 6 (user ) (user ) Minimi Minimi Multiutente () Write (, ) (.5, 6) ReWrite (, ) (, ) Read (, ) (, 6) (, 6) ReRead (, ) (, ) Random Read (.5, 6) (.5, ) Random Write (.5, 6) (.5, 6) Backword Read (.5, 6) (.5, ) Record ReWrite (, 6) (, ) Stride Read (.5, ) (.5, 6) (.5, ) FWrite (, ) (, ) ReFWrite (.5, ) (, ) (, ) FRead (, ) (, ) ReFRead (, ) (.5, ) Belfiore Giovanni 566/ Pagina 7 di 5

74 5.7 Test vs Locale 95 Questo confronto ha la finalità di dimostrare che il sistema di storage ha alte prestazioni paragonabili a dischi in locale. Ciò comporterà per l'utente che ne farà uso un notevole livello d'astrazione in quanto, nonostante la complessa architettura del sistema di storage che sarà del tutto invisibile, si avranno le stesse prestazioni della macchina locale. Di seguito vengono riportati i grafici e le tabelle (in cui sono presenti le situazioni che hanno portato a quei valori) relativi al comportamento del sistema di storage a livelli massimi, minimi e medi a confronto con il test T. Per i risultati dei due test si rimanda all'appendice 3 e. Valori Medi Test vs Locale 95 (valori medi) Writer ReWriter Reader ReReader Prove IOZone Random Read Random Write Backw ard Read Record Rew rite Stride Read Fw rite Re-fw rite Fread Re-fread 6 Belfiore Giovanni 566/ Locale 95 Pagina 73 di 5

75 Valori Massimi Test vs Locale 95 (valori massimi) Writer ReWriter Reader ReReader Prove IOZone Random Read Random Write Backw ard Read Record Rew rite Stride Read Fw rite Re-fw rite Fread Re-fread Locale 95 Massimi Massimi server 95 Write (.5, ) (.5, ) ReWrite (, ) (, ) Read (.5, ) (, ) ReRead (.5, ) (, ) Random Read (.5, ) (, ) Random Write (, ) (, ) Backword Read (.5, ) (, ) Record ReWrite (, ) (.5, ) Stride Read (.5, ) (, ) FWrite (, ) (, ) ReFWrite (.5, ) (, ) FRead (.5, ) (.5, ) ReFRead (, ) (.5, ) Belfiore Giovanni 566/ Pagina 7 di 5

76 Valori Minimi Test vs Locale 95 (valori minimi) Writer ReWriter Reader ReReader Random Read Prove IOZone Random Write Backw ard Read Record Rew rite Stride Read Fw rite Re-fw rite Fread Re-fread 6 Locale 95 Minimi Minimi server 95 Write (, ) (, 6) ReWrite (, ) (, ) (, ) (, ) Read (, ) (, ) ReRead (, ) (, ) Random Read (.5, 6) (.5, 6) Random Write (.5, 6) (.5, 6) Backword Read (.5, 6) (.5, 6) Record ReWrite (, 6) (.5, ) Stride Read (.5, ) (.5, 6) (.5, 6) FWrite (, ) (, 6) (, 6) ReFWrite (.5, ) (, ) (, ) FRead (, ) (, ) ReFRead (, ) (.5, 6)(, 6)(, 6)(, 6)(, 6) Belfiore Giovanni 566/ Pagina 75 di 5

77 6. Conclusioni 6. Le prestazioni complessive della SAN CX3- I settori in cui si introduce l'utilizzo di sistemi come il DataCenter ScoPE lavorano con quantità di dati nel ordine di centinaia di TByte. Questi dati inoltre sono generati per farsi che l'intera comunità scientifica possa trarne benefici analizzandoli o, semplicemente, utilizzandoli. Basti pensare al progetto di astrofisica VIRGO che produce TByte di dati al giorno da condividere con l'intera comunità scientifica. Quindi in questi casi è fondamentale l'utilizzo di sistemi di storage che permettano un elevato grado di scalabilità per la gran quantità di dati prodotti. È anche vero che lavorare con dimensioni di dati nell'ordine dei Tera implica livelli prestazionali molto alti quindi è doveroso un equilibrio tra scalabilità e prestazione del sistema. L'utilizzo di sistemi locali o di reti DAS e NAS implicherebbero livelli prestazionali e di scalabilità non adeguati. Ciò motiva la scelta di gestire l'area di storage con una SAN realizzata con il sistema CX3- della EMC con interfaccia Fibre Channel da Gbit/s. Per quanto riguarda la scalabilità, il CX3-, permette un espansione della capacità fino a 5 TByte. Il livello prestazionale dipende molto dall'architettura del CX3-. Questo possiede interfacce Fibre Channel da Gbit/s per un totale di Gbit/s (all'incirca,gbyte/s) i quali sono rallentati fino a Gbit/s dalla duplice interfaccia da Gbit/s di ogni Storage Server (Dell 95) con cui si connettono allo switch MDS. Quindi il limite superiore (teorico) dettato dall'architettura del CX3- dipende fortemente dal tipo di job in esecuzione e da come adopera i canali server-switch. Si possono identificare due limiti: Belfiore Giovanni 566/ Pagina 76 di 5

78 Gbit/s (all'incirca 95MByte/s) se usiamo una connessione concorrente che vede impegnati entrambi i canali che collegano il server allo switch. Infatti se i nostri job richiedono trasferimento di dati da LUN distinte collegate ai storage processor distinti la velocità che si raggiunge è di Gbit/s l'uno per un totale di Gbit/s. Si ricordi il test T3 (paragrafo 5.5) in cui il test viene lanciato sulla LUN collegata a SPB e, in contemporanea, sul LUN9 collegata a SPA. Gbit/s (all'incirca MByte/s) se usiamo una connessione singola. Il test T fatto sulla LUN prevede l'utilizzo di un unico canale e quindi si prevede come tetto massimo Gbit/s. Di seguito diamo una tabella riassuntiva (con il rispettivo grafico) che mostra il comportamento, i termini di valori medi, massimi e minimi espressi in Gbit/s, del sistema di storage per quanto riguarda il test T: Valori minimi Valori medi Valori massimi,6,7,,,,,3,3,,9,7,,3,5,3,, 3,9, 3,,5,,,3,, 3,7 3,9 9,,, 3,,,,,9 3,5 9,, WR ReWR RD ReRD Random RD Reandom WR Backward RD Record ReWR Stride Read Fwrite Re-fwrite Fread Re-fread Belfiore Giovanni 566/ Pagina 77 di 5

79 Prestazioni CX3-, Speed (Gbit/s) 5,, 5, Valori minimi Valori medi Re-f read Fread Re-fw rite Fw rite Stride Read Record ReWR Backw ard RD Reandom WR Random RD ReRD RD ReWR WR, Valori massimi Si può notare che i valori massimi (avuti nella molteplicità dei casi con record da 5KByte e file da GByte) raggiungono e, in alcuni casi, superano valori come Gbit/s che eccedono il limite massimo impostato dalla struttura hardware di Gbit/s. Questi valori, dovuti all'azione della cache e di vari buffer durante le operazioni di write e read, sono da considerarsi falsi per quanto riguarda le prestazioni del sistema CX3- ma sono comunque valori veritieri, e da considerare, per quanto riguarda le prestazioni dell'intero sistema di storage. Diamo ora uno ulteriore schema in cui viene illustrato la percentuale di utilizzo del canale nel caso medio. Occupazione Canale 363% % 35% 3% 5% % 5% % 5% %% 96% 3% 33% 3%5% 99% 96% 3% 33% % Belfiore Giovanni 566/ Re-fread Fread Re-fw rite Fw rite Stride Read Record ReWR Backw ard RD Reandom WR Random RD ReRD RD ReWR WR % Pagina 7 di 5

80 Anche in questo grafico c'è un valore dovuto all'azione della cache e di vari buffer in cui la percentuale di utilizzo raggiunge 36%. Negli altri test si possono invece distinguere due casi: Test di lettura: Si sono avuti risultati più che soddisfacenti in quanto la percentuale di utilizzo raggiunge e molto spesso supera il % indifferentemente dal tipo di lettura (sequenziale o random) Test di scrittura: Per quanto riguarda i test di scrittura i risultati sono meno soddisfacenti ma in ogni modo buoni in quanto si raggiungono percentuali di utilizzo pari al 35%. Solo nel test di scrittura casuale (Random WR) la percentuale scende fino a 5%, ma le prestazioni per questo test dipendono soprattutto dal numero di dischi e dai relativi tempi di latenza quindi basterebbe usare dischi con latenze minori per avere un miglioramento. Quindi il sistema reagisce molto bene a grandi quantità di dati, soprattutto per quanto riguarda operazioni di read, senza perdere in prestazione. Inoltre si ricordi che le prestazioni avute dal sistema di storage CX3- sono pari alle prestazioni dei dischi locali del 95 Dell (T5). Quindi in conclusione si può affermare con certezza che l'introduzione di tale sistema con interfacciamento Fibre Channel ha reso, agli occhi dell'utente, i dischi remoti del tutto identici ai dischi locali sia dal punto di vista prestazionale che dal punto di vista funzionale, per cui i settori della ricerca scientifica avranno a disposizione un sistema che ha le stesse prestazioni di una macchina locale ma la possibilità di aumentare la capacità di storage grazie alla notevole scalabilità. 6. L'esperienza acquisita Il lavoro svolto mi ha consentito di acquisire notevole esperienza sui sistemi di storage ed in particolare sulle Storage Area Network, che sono i moderni ed efficienti sistemi di immagazzinamento dati usati nei Data Center sia pubblici che privati. Come risultato, ho contribuito notevolmente ad individuare le prestazioni reali della SAN utilizzata, la EMC CX3-, con accesso via Fibre Channel da parte di server dedicati, dotati delle schede HBA opportune. Analoga esperienza è stata acquisita sull'area dei sistemi GRID, ed in particolare per quello che riguarda le componenti infrastrutturali del software, cioè i servizi che consentono l'accesso alla rete ed ai dati. Belfiore Giovanni 566/ Pagina 79 di 5

81 7. Bibliografia [] SCOPE: URL: [] PON -6: URL: [3] GRID: Ian Foster e Carl Kesselman (ed.), The Grid: Blueprint for a New Computing Infrastructure, 3, ISBN URL: [] GLOBUS: I. Foster: Globus Toolkit Version : Software for Service-Oriented Systems, IFIP International Conference on Network and Parallel Computing, SpringerVerlag LNCS 3779, pp -3, 5 URL: [5] MIDDLEWARE: R. Baldoni, corso Sistemi Operativi II, lezioni all Università La Sapienza. URL: [6] PSE: Stratis Gallopoulos, Elias Houstis and John Rice: "Computer as Thinker/Doer: Problem-Solving Environments for Computational Science" IEEE Computational Science and Engineering, Summer, 99. URL: [7] SCE: Longsong Lin; Decker, K.M.; Jognson, M.J.; Domain, C.; Souffez, Y.: "ISCN: towards a distributed scientific computing environment", in High Performance Computing on the Information Superhighway, 997. HPC Asia apos;97volume, Issue, Apr- May 997. URL: [] NAS, DAS, SAN: Duran Alabi, Choosing the Right Storage Technology for Your Organization, maggio URL: [9] RAID: Redundant Array of Independent Disks. Davtd A Patterson, Garth Gibson, and Randy H Katz, 9 ACM -979~6-3//6/9 URL: Belfiore Giovanni 566/ Pagina di 5

82 URL: [] NFS: Network File System URL: [] LAN: Local Area Network. Garattini Andrea, Randazzo Leone, Righi Davide, Guida alle reti LAN, ISBN --57-, Mondadori Informatica, Maggio. URL: [] Fibre Channel: URL: [3] Open Source: URL: [] HBA: Host Bus Adapter URL: [5] NIC: Network Interface Card URL: [] PCI: Peripheral Component Interconnect URL: [7] SCSI: Small Computer System Interface URL: [] iscsi: Satran, J., Meth, K. et al. RFC 37: Internet Small Computer Systems Interface (iscsi). IETF (Aprile ). URL: Rockwood, Ben. A Quick Guide to iscsi on Linux. (Agosto ). URL: Belfiore Giovanni 566/ Pagina di 5

83 . Appendici Appendice : Specifiche dettagliate del Fibre Channel Topologie FC Il collegamento è composto da due fibre unidirezionali che trasmettono in opposte direzioni. La fibra deve essere connessa alla porta nel nodo (N_Port) e alla porta del Fabric (F_Port). FC definisce tre topologie definite: point-to-point Arbitrated Loop Fabric Tipologia Point-to-point La topologia point-to-point è la più semplice delle tre. Essa consiste di due soli dispositivi FC connessi insieme direttamente. La fibra di trasmissione è connessa alla fibra di ricezione dell altro dispositivo e viceversa. Non c è condivisione del mezzo, pertanto ciascun dispositivo può usufruire della totale banda del collegamento. E richiesta una semplice inizializzazione dei due dispositivi prima che inizi la comunicazione. Tipologia Arbitrated Loop Nonostante sia la più complessa è diventata la dominante topologia FC. È un modo vantaggioso di connettere sino a 7 porte in una singola rete senza il bisogno di utilizzare un Fabric switch utile per SAN piccole o che richiedono meno banda. A differenza delle altre due topologie il mezzo è condiviso tra i dispositivi, limitando quindi l accesso. È quindi indispensabile che tutti siano Belfiore Giovanni 566/ Pagina di 5

84 dispositivi di loop in questo modo quando un dispositivo deve trasmettere dati, prima di tutto, deve ottenere il controllo del loop. Per far questo deve trasmettere un segnale ARB[ x ] (Arbitrate Primitive Signal) in cui x rappresenta l indirizzo fisico del dispositivo detto AL_PA (Arbitrated Loop Physical Address). Una volta ricevuto il suo stesso ARB[ x ] esso ha ottenuto il controllo del loop e può comunicare con gli altri dispositivi trasmettendo un OPN (Open Primitive Signal) al dispositivo destinatario. Una volta ottenuto il loop si instaura essenzialmente una comunicazione point-to-point tra i dispositivi. Nel frattempo tutti gli altri dispositivi devono attendere il loop per effettuare comunicazioni. Se più di un dispositivo richiede il controllo allo stesso istante vengono confrontati i valori x del segnale ARB[ x ]. Quando un dispositivo arbitro riceve un altro ARB[ x ], l ARB[ x ] con il più basso valore di x viene trasmesso mentre l ARB[ x ] numericamente più alto viene bloccato. In questo modo il dispositivo con il più basso valore di x otterrà il controllo del loop per primo. Una volta che il device cede il controllo del loop l altro device avrà una possibilità di ottenere il controllo. Non esistendo un limite di tempo per quanto un dispositivo possa mantenere il controllo del loop si è introdotto un algoritmo di equità d accesso che proibisce ad un dispositivo di avere nuovamente il controllo del loop sino a quando tutti gli altri dispositivi non hanno avuto almeno una possibilità di avere il controllo. Da notare che questa soluzione non è completamente scalabile dato il fatto che tutti i dispositivi devono essere attivi quando il loop viene inizializzato. Inoltre un guasto di un dispositivo causa l interruzione del loop. Tipologia Fabric I collegamenti provvedono ad una connessione bidirezionale tra un nodo (N_Port) e il Fabric (F_Port). Consente le più alte prestazioni delle tre topologie e la più efficiente condivisione della banda disponibile. Aggiungendo nuovi nodi al Fabric non si riduce la banda del canale point-to-point. Ogni switch tipicamente contiene,,, o 6 porte. Belfiore Giovanni 566/ Pagina 3 di 5

85 Modello FC Per comprendere meglio i protocolli di comunicazione è spesso conveniente suddividerli in livelli in modo analogo al modello ISO/OSI. FC definisce cinque livelli: FC-: definisce le basi del collegamento fisico (fibra, connettori, parametri ottici/elettrici) per diverse velocità di trasmissione. FC offre una velocità di trasmissione base di 33Mbaud (la velocità comune è di 66 Mbaud). E importante notare che queste velocità dichiarate includono l overhead necessario nello stabilire e mantenere la comunicazione. A causa di tale overhead l attuale throughput è abbastanza più basso ( Mbit/s per 33 Mbaud). FC-: definisce il protocollo di trasmissione, le regole di codifica e decodifica, i caratteri speciali e il controllo degli errori. Le informazioni trasmesse sono codificate a bit alla volta in un carattere di trasmissione a bit (schema B/ B). I due bit supplementari sono utilizzati per la rilevazione e la correzione degli errori. FC-: ha lo scopo di offrire un meccanismo di trasporto dei dati per mezzo dei livelli superiori. Risolve i problemi riguardanti i segnali di base e le funzioni di framing. Questo livello provvede inoltre alle funzioni essenziali di gestione del flusso, della connessione, del buffer di memoria e degli errori. Per il controllo Belfiore Giovanni 566/ Pagina di 5

86 del flusso utilizza uno schema sliding window simile a quello TCP/IP. La rilevazione degli errori è implementato usando CRC a bit. FC-3: definisce i seguenti servizi: Striping: usato per moltiplicare la larghezza di banda utilizzando più N_Port in parallelo per trasmettere una singola unità d informazione attraverso molteplici collegamenti. Hunt groups: fornisce la capacità a più di una porta di rispondere allo stesso indirizzo. Questo migliora l efficienza diminuendo la possibilità di raggiungere una porta occupata. Multicast: permette di trasmettere una singola unità d informazione a molteplici porte di destinazione. Questo significa poter inviare a tutte le N_Ports su un Fabric (broadcast) o ad un sottoinsieme di N_Ports. FC-: definisce le interfacce verso le applicazioni che possono essere utilizzate sopra FC che, siccome permette sia il trasporto di informazioni di rete o di canale, permette ad entrambi i protocolli di essere trasportati in maniera concorrente sopra la stessa interfaccia fisica. Sono specificati attualmente i seguenti protocolli: SCSI AAL5 IPI FC-LE HIPPI SBCCS IP IEEE. Tipi di porte Node Port (N_Port): qualsiasi nodo che è sorg/dest di information-unit (IU); Loop Port (L_Port): La porta base in un FC arbitrated loop ( FC_AL); Node Loop Port (NL_Port): Una N_Port connessa ad un FC_AL ; Fabric Port (F_Port) : Una porta di uno switched fabric (FC switch) ; Fabric Loop Port (FL_Port) : Una F_Port collegata ad un FC_AL ; Exspansion Port (E_Port): Una F_Port collegata ad un altra F_Port Belfiore Giovanni 566/ Pagina 5 di 5

87 Controllo del flusso Il controllo del flusso affronta il problema che si verifica quando un dispositivo riceve dei frames più velocemente di quanto effettivamente riesca ad elaborarli. Se ciò accade il dispositivo è costretto a perdere alcuni frames. FC ha una soluzione al controllo del flusso, l idea è abbastanza semplice: Un dispositivo può trasmettere frames ad un altro solo quando l altro dispositivo è pronto ad accettarli Prima di poter inviare dati agli altri dispositivi, ognuno deve autenticarsi a tutti gli altri e in questa fase si definisce il concetto di credito che si riferisce al numero di frames che un dispositivo è in grado di ricevere alla volta. Questo valore viene scambiato con altri device durante il login. Dopo che sufficienti frames sono stati trasmessi e il credito viene esaurito, non possono essere trasmessi frames fino a quando il dispositivo di destinazione non indica che ha elaborato i frames ed è pronto ad accettarne di nuovi. In questo modo nessun dispositivo dovrebbe mai avere un eccedenza di frames. FC utilizza due tipi di controllo del flusso: Buffer-to-buffer: Questo tipo di controllo del flusso si occupa del collegamento tra una N_Port e una F_Port oppure tra due N_Ports. Entrambe le porte del collegamento si scambiano valori relativi a quanti frames alla volta sono in grado di ricevere dall altra porta. Questo valore diventa il BB_Credit dell altra porta e rimane costante fino a quando le porte sono connesse. Ogni porta tiene inoltre traccia del BB_Credit_CNT che: è inizializzato a ad ogni frames trasmesso viene incrementato di ad ogni segnale R_RDY avuto dall altra porta viene decrementato di La trasmissione di un R_RDY indica che la porta ha elaborato un frame, ha liberato il buffer di ricezione ed è pronto per altri frames. Se BB_Credit_CNT raggiunge BB_Credit (buffer ricevente pieno) significa che la porta non può trasmettere fino a quando non riceve un R_RDY. End-to-end: Questo tipo di controllo non è specifico solo per link singoli ma per le N_Port sorgente e destinataria. L idea è molto simile al Buffer-to-buffer. Belfiore Giovanni 566/ Pagina 6 di 5

88 Quando due N_Ports effettuano il login dichiarano quanti buffer di ricezione sono disponibili per l altra porta. Questo valore diventa EE_Credit. In questo caso gli stati di EE_Credit_CNT sono: inizializzato a dopo il login incrementato di per ciascun frame trasmesso all altra porta decrementato in seguito alla ricezione di un ACK da quella porta Gli ACK possono indicare che la porta ha ricevuto ed elaborato frame, N frames, oppure un intera sequenza di frames (ack cumulativi). Classi di servizio FC definisce diverse strategie di comunicazione chiamate Classi di servizio che dipendono molto dal tipo di dati che devono essere trasmessi. La maggiore differenza tra le classi è il tipo di controllo del flusso utilizzato. ESEMPIO: Se due N_Ports devono comunicare oppure se una N_Port esegue il login in un fabric allora deve esserci almeno una classe comune di servizio da loro supportata, poiché le sequenze e gli scambi devono aver luogo utilizzando una singola classe di servizio (questo tipo di informazione è scambiata durante la fase di login). Per assicurare una trasmissione efficiente per diversi tipi di traffico, FC definisce alcune classi di servizio. Gli utenti scelgono le classi di servizio in base alle caratteristiche delle loro applicazioni, alla lunghezza del pacchetto, la durata della trasmissione e allocano i servizi tramite la procedura di login con il Fabric. Le tre classi di servizio più comuni sono: Classe : viene stabilita una connessione dedicata tra due N_Ports. Una volta stabilita, le due porte devono comunicare usando la completa banda della connessione escludendo qualsiasi altro traffico di rete. Ciò garantisce che i frames arrivino nell ordine in cui vengono trasmessi. Inoltre la velocità del mezzo deve essere la stessa per tutti i collegamenti che rendono la connessione dedicata. Essendo un canale dedicato non è necessario un buffer-to-buffer. Belfiore Giovanni 566/ Pagina 7 di 5

89 Classe : è un servizio senza connessione che permette la condivisione della banda. Il Fabric non garantisce l ordine. Questo servizio può essere usato quando il tempo di setup della connessione è superiore alla latenza di un breve messaggio. Sia per la classe che per la classe viene inviato un ACK per confermare la ricezione del frame. Nel caso di congestione viene inviato alla sorgente un Busy-Frame che indica al mittente di riprovare la trasmissione. Classe 3: è paragonabile alla classe eccetto per il fatto che la ricezione di un frame non è confermata (no ACK). Questo servizio è molto utile per il broadcast, quindi casi in cui la tempestività è molto importante ma ricevere le Belfiore Giovanni 566/ Pagina di 5

90 informazioni in tempo ha meno valore. Indirizzamento A differenza delle tecnologie LAN che utilizza sei byte per indicare il MAC- address (Media Access Control), FC utilizza tre byte come identificativo d indirizzo, assegnato dinamicamente durante il login. Le N_ports trasmettono un frame con il loro stesso Source_ID (S_ID) alla destinazione(d_id). Prima del Fabric-Login, la N_Port non ha definito il suo S_ID che quindi vale. Da notare che In una topologia point-to-point il Fabric-Login fallirà sicuramente e quindi le due porte sceglieranno due univoci indirizzi. Mentre i dispositivi ArbitratedLoop usano tre byte e un AL_PA (Arbritated Loop Physical Address) valore di un byte assegnato dinamicamente ogni volta che il loop è inizializzato. Gli indirizzi nell intervallo [FFFFF,FFFFFE] sono riservati a dispositivi come Fabric, Multicast Server ed altri mentre FFFFFF è riservato al broadcast. Login FC definisce due tipi di procedura di login, Fabric-Login e N_Port-Login. Con l eccezione delle NL_ports private tutti le altre porte dei nodi devono tentare di autenticarsi con il Fabric-Login. Questo solitamente viene fatto dopo che il collegamento o il loop sia stato correttamente inizializzato. Ciascun nodo (N_Port) invia Belfiore Giovanni 566/ Pagina 9 di 5

91 un frame Fabric-Login (FLOGI) all indirizzo conosciuto del Fabric FFFFFE. La risposta sarà un frame Accept (ACC) dal Fabric alle N_ports. Avendo così la seguente procedura: Determinazione della presenza o l assenza del Fabric Se un Fabric è presente esso fornisce uno specifico set di caratteristiche operative (es. quale classe di servizio è supportata), potrebbe opzionalmente assegnare o confermare l identificativo delle N_Ports e inizializza il credito buffer-to-buffer Se un Fabric non è presente, un frame ACC indica che la N_port è collegata ad una topologia point-to-point; In maniera simile a Fabric-Login, una N_Port può inviare un frame PLOGI alla porta di destinazione. La risposta normale è un frame ACC. La procedura N_Ports-Login: Quali servizi sono supportati Inizializza il credito end-to-end In una topologia point-to-point, viene inizializzato il credito buffer-to-buffer Sia per quanto riguarda Fabric-Login sia per la procedura N_port-Login una volta che un dispositivo è autenticato esso può rimanere connesso a tempo indefinito anche se non ha dati da trasmettere. Ordered Set Gli ordered set sono parole di byte contenenti dati e caratteri speciali con un determinato significato. Gli ordered set provvedono alla disponibilità di ottenere bit e word di sincronizzazione. Un Ordered Set comincia sempre con un carattere speciale K.5. I delimitatori dei frame SOF (Start Of Frame), EOF (End Of Frame), R_RDY e idle sono ordered set che sincronizzano le trasmissioni. Belfiore Giovanni 566/ Pagina 9 di 5

92 Frame È l unità di misura di una connessione FC e contiene informazioni come: l informazione che deve essere trasmessa (PayLoad) l indirizzo della porta sorgente l'indirizzo della porta destinataria l informazione di controllo della connessione. I Frames si possono distinguere come Frames Dati e Frame Controllo di connessione. La principale funzione del Fabric è quella di ricevere frame dalla porta sorgente e instradarli verso la porta di destinazione. Sarà responsabilità del livello FC- dividere i dati da trasmettere in frame e riassemblarli a destinazione. Sequence Una sequenza FC è una serie di uno o più frame trasmessi in una sola direzione da una porta all altra. I Frames della stessa sequenza hanno lo stesso valore nel campo SEQ_ID nell header mentre il campo SEQ_CNT identifica il numero del frames nella determinata sequenza. Per ogni frame trasmesso in una sequenza, SEQ_CNT è incrementato di. Si noti che non possono esistere frame senza una sequenza Exchange Un exchange FC è una serie di uno o più sequenze non concorrenti tra due porte. Tutte le sequenze devono essere parte di un exchange. Il generatore di un exchange assegna il campo OX_ID. Il ricevente assegna il campo RX_ID. Belfiore Giovanni 566/ Pagina 9 di 5

93 FC e SAN Collegare i dispositivi di storage direttamente al server può appesantirlo qualora più client sulla rete vogliano accedervi contemporaneamente. Questo significa che anche la LAN, al quale i server sono collegati, dovrà sopportare un grande carico dovuto al traffico sulla rete. Implementazione di una SAN usando FC permette di risolvere i problemi di cui sopra. Il traffico è portato ad un altra rete che attenua il traffico sulla LAN. FC ed ETHERNET FC nasce come alternativa ad Ethernet ma ha trovato la sua vera applicazione per quanto riguarda il collegamento dei dispositivi di storage ai server. Le schede di rete usate dai dispositivi FC sono definite HBA (Hub Bus Adapter). FC ed Ethernet si differenziano principalmente per l affidabilità del protocollo. Ethernet non offre nessuna garanzia della consegna dei pacchetti. FC viceversa è sempre affidabile e fra ogni coppia di nodi funziona un protocollo per il controllo del flusso che evita la perdita dei pacchetti e rallenta automaticamente le sorgenti in caso di congestione. Organizzazione degli standards Il principale documento su cui si basano tutti gli altri è FC-PH. Esso definisce i livelli FC-, FC- e FC-. Oltre a questo sono stati sviluppati altri due documenti: FC-PH- e FC-PH-3. Questi due documenti aggiungono diverse funzionalità e caratteristiche all originale FC-PH. Un altro documento chiave è FC-AL che descrive i vantaggi di un dispositivo Arbitrated Loop. La topologia Arbitrated Loop fu un ripensamento al disegno iniziale del FC e per questo motivo non è presente nel FC-PH. Belfiore Giovanni 566/ Pagina 9 di 5

94 Appendice : T. test multiutente () su lun. Writer Report Writer Writer Report ReWriter Report Re-writer ReWriter Report 6 6 Belfiore Giovanni 566/ Pagina 93 di 5

95 3. Reader Report Reader Reader Report ReReader Report Re-reader ReReader Report Belfiore Giovanni 566/ Pagina 9 di 5

96 5. Random Read Report Random Read Random Read Report Random Write Report Random Write Random Write Report Belfiore Giovanni 566/ Pagina 95 di 5

97 7. Backward Read Report Backward Read Backward Read Report 3 6. Record ReWrite Report Record Rewrite Record ReWrite Report 3 6 Belfiore Giovanni 566/ Pagina 96 di 5

98 9. Stride Read Report Stride Read Stride Read Report 3 6. FWrite Report Fwrite FWrite Report Belfiore Giovanni 566/ Pagina 97 di 5

99 . ReFWrite Report Re-fwrite ReFWrite Report 6 6. FRead Report Fread FRead Report 3 6 Belfiore Giovanni 566/ Pagina 9 di 5

100 3. ReFRead Report Re-fread ReFRead Report 3 6 Belfiore Giovanni 566/ Pagina 99 di 5

101 Appendice 3: T.3 test su lun e lun9. Writer Report Writer Writer Report ReWriter Report Re-writer ReWriter Report 6 6 Belfiore Giovanni 566/ Pagina di 5

102 3. Reader Report Reader Reader Report ReReader Report Re-reader ReReader Report Belfiore Giovanni 566/ 6 Pagina di 5

103 5. Random Read Report Random Read Random Read Report Random Write Report Random Write Random Write Report 6 6 Belfiore Giovanni 566/ Pagina di 5

104 7. Backward Read Report Backward Read Backward Read Report Record ReWrite Report Record Rewrite Record ReWrite Report 3 6 Belfiore Giovanni 566/ Pagina 3 di 5

105 9. Stride Read Report Stride Read Stride Read Report FWrite Report Fwrite FWrite 3 6 Belfiore Giovanni 566/ Pagina di 5

106 . ReFWrite Report Re-fwrite ReFWrite Report 6 6. FRead Report Fread FRead Report Belfiore Giovanni 566/ Pagina 5 di 5

107 3. ReFRead Report Re-fread ReFRead Belfiore Giovanni 566/ Pagina 6 di 5

108 Appendice : T. test su lun, lun9 e lun. Writer Report Writer Writer Report ReWriter Report Re-writer ReWriter Report Belfiore Giovanni 566/ Pagina 7 di 5

109 3. Reader Report Reader Reader Report ReReader Report Re-reader ReReader Report Belfiore Giovanni 566/ Pagina di 5

110 5. Random Read Report Random Read Random Read Report Random Write Report Random Write Random Write Report 5 3 Belfiore Giovanni 566/ 6 Pagina 9 di 5

111 7. Backward Read Report Backward Read Backward Read Report Record ReWrite Report Record Rewrite Record ReWrite Report 3 6 Belfiore Giovanni 566/ Pagina di 5

112 9. Stride Read Report Stride Read Stride Read Report FWrite Report Fwrite FWrite Report 3 6 Belfiore Giovanni 566/ Pagina di 5

113 . ReFWrite Report Re-fwrite ReFWrite Report 3 6. FRead Report Fread FRead Report Belfiore Giovanni 566/ Pagina di 5

114 3. ReFRead Report Re-fread ReFRead Report Belfiore Giovanni 566/ Pagina 3 di 5

115 Appendice 5: T.5 Test in locale sul server 95. Writer Report Writer Writer Report ReWriter Report Re-writer ReWriter Report 3 6 Belfiore Giovanni 566/ Pagina di 5

116 3. Reader Report Reader Reader Report 3 6. ReReader Report Re-reader ReReader Report 3 6 Belfiore Giovanni 566/ Pagina 5 di 5

117 5. Random Read Report Random Read Random Read Report Random Write Report Random Write Random Write Report 3 6 Belfiore Giovanni 566/ Pagina di 5

118 7. Backward Read Report Backward Read Backward Read Report 3 6. Record ReWrite Report Record Rewrite Record ReWrite Report 3 6 Belfiore Giovanni 566/ Pagina 7 di 5

119 9. Stride Read Report Stride Read Stride Read Report 3 6. FWrite Report Fwrite FWrite Report 3 6 Belfiore Giovanni 566/ Pagina di 5

120 . ReFWrite Report Re-fwrite ReFWrite Report FRead Report Fread FRead Report 3 6 Belfiore Giovanni 566/ Pagina 9 di 5

121 3. ReFRead Report Re-fread ReFRead Report 3 6 Belfiore Giovanni 566/ Pagina di 5

122 Appendice 6: Sistemi Raid di SCoPE Un Redundant Array of Independent Disks ("insieme ridondante di dischi indipendenti", RAID) e un sistema informatico che usa un insieme di dischi rigidi per condividere o replicare le informazioni. I benefici del RAID sono di aumentare l'integrita dei dati, la tolleranza ai guasti e/o le prestazioni, rispetto all'uso di un disco singolo. Nella sua implementazione originaria il fattore chiave era l'abilita di combinare parecchi dischi a basso costo e obsoleti in modo da rendere il sistema complessivamente migliore di un disco di ultima generazione per capacita, affidabilita e/o velocita. Nel suo livello piu semplice, il sistema RAID permette di combinare un insieme di dischi in una sola unita logica. In questo modo il sistema operativo, invece di vedere differenti dischi, ne vede solamente uno. Il RAID e tipicamente usato nei server, e di solito e implementato con dischi di identica capacita. Le specifiche originali suggerivano un diverso numero di "livelli di RAID" o combinazioni di dischi. Ogni combinazione aveva dei vantaggi e degli svantaggi e differiscono sostanzialmente nell'implementazione dei livelli RAID ideati inizialmente. Idea alla base dei RAID: Data Striping I dati vengono partizionati in segmenti di uguale lunghezza chiamati striping e scritti su dischi differenti. Le partizioni vengono solitamente distribuite fra i dischi usando un algoritmo round robin. Quando la dimensione dei dati richiesti e superiore ad un'unita di striping, tali dati vengono distribuiti su piu dischi e possono essere letti in parallelo aumentando le prestazioni. RAID impiegati nel progetto RAID 5: Un sistema RAID 5 usa una divisione dei dati a livello di blocco con i dati di parità distribuiti tra tutti i dischi appartenenti al RAID. Questa e una delle implementazioni piu popolari, sia in hardware che in software. Ogni volta che un blocco di dati (chiamato delle volte chunk) deve essere scritto nel sistema di dischi, un blocco di parita viene generato all'interno della stripe (insieme di blocchi). Se un altro blocco, o qualche porzione dello stesso blocco, e scritta nella stessa stripe, il blocco di parità Belfiore Giovanni 566/ Pagina di 5

123 viene ricalcolato e riscritto. Il disco usato per memorizzare le parita viene modificato tra una stripe e la successiva; in questo modo si riescono a distribuire i blocchi di parità. Ha senso la lettura del blocco di parità solo se la lettura di un settore da un errore CRC. In questo caso, il settore nella stessa posizione relativa nei blocchi di dati rimanenti della stripe, insieme al blocco di parità, vengono usati per ricostruire il blocco mancante. In questo modo l'errore di CRC viene nascosto al computer chiamante. Nella stessa maniera, se un disco dovesse danneggiarsi all'interno del sistema, i blocchi di parita dei dischi rimanenti sono combinati matematicamente "al volo" con i blocchi dati rimasti per ricostruire i dati del disco guasto. Questa procedura viene chiamata di solito Interim Data Recovery Mode. Le letture e scritture verso il sistema di dischi avvengono tranquillamente come prima, sebbene con qualche calo di prestazioni. In un sistema RAID 5 che ha un solo blocco di parità per stripe, la rottura di un secondo disco comporta la perdita di tutti i dati presenti nel sistema. Supponiamo di avere un sistema di N dischi dove il MTF e il tempo in cui si garantisce il funzionamento di un disco mentre MTR è il tempo per la riparazione di un disco. La probabilita di perdere i dati per il sistemi RAID 5, considerando che la parita è suddivisa su tutti i dischi, dipende dalla rottura di due dischi qualunque, quindi: MTBF= Belfiore Giovanni 566/ N MTR N MTF MTF Pagina di 5

124 Il numero massimo di dischi e teoricamente illimitato, ma una pratica comune e di mantenere il numero massimo di dischi a o meno per le implementazioni che hanno solo un blocco di parita per stripe. Le ragioni per questo limite sono che la probabilita che due dischi del sistema si rompano in successione cresce con il crescere del numero di dischi. RAID 6: Un sistema RAID 6 usa una divisione a livello di blocchi con i dati di parità distribuiti due volte tra tutti i dischi. Nel RAID 6, il blocco di parità viene generato e distribuito tra due stripe di parita, su due dischi separati, usando differenti stripe di parita nelle due "direzioni". Il RAID 6 e piu ridondante del RAID 5, ma è molto inefficiente quando viene usato in un numero limitato di dischi. Belfiore Giovanni 566/ Pagina 3 di 5