TEORIA DEI PROTOCOLLI DI RETE. Tecniche e strumenti per l analisi delle prestazioni dei protocolli di rete

Transcript

1 TEORIA DEI PROTOCOLLI DI RETE Tecniche e strumenti per l analisi delle prestazioni dei protocolli di rete Ing. Luigi Patrono Facoltà di Ingegneria Università degli Studi di Lecce Tel luigi.patrono@unile.it 1/73 Obiettivi Dare una conoscenza di base delle tecniche e degli strumenti per la modellazione e l analisi delle prestazioni di sistemi complessi. Una particolare enfasi è data all approccio basato sulla simulazione ad eventi-discreti per valutare le prestazioni di protocolli in scenari di rete che adottano tecnologie Wireless di ultima generazione. 2/73

2 Bibliografia di riferimento J. Banks, J. S. Carson II, B. L. Nelson, D. M. Nicol, Discrete-Event System Simulation, Third edition, Prentice Hall (Cap. 11) Altro materiale di riferimento: Network Simulator vers. 2 (ns2), Program and Manuals 3/73 Roadmap Introduzione alle Tecniche di Modellazione e Simulazione Concetti nelle Simulazioni ad Eventi-Discreti Ambiente di Simulazione Ns2 Verifica e Validazione di Modelli di Simulazione Analisi dell Output 4/73

3 Introduzione La Simulazione è il processo di progettazione di un modello di un sistema reale e di esecuzione di campagne di sperimentazione con esso al fine sia di capire il comportamento di un sistema e sia di valutare varie strategie per l operatività del sistema stesso. R.E. Shannon 5/73 Che cos è un sistema? Un sistema è definito come un gruppo di oggetti che interagiscono tra loro per il raggiungimento di un fissato e ben preciso obiettivo. La definizione di un sistema è fortemente influenzata dagli obiettivi fissati nell analisi e nello studio di ogni sistema. Un sistema è spesso influenzato da cambiamenti che si verificano all esterno dello stesso. Risulta fondamentale definire il confine tra sistema ed ambiente esterno. 6/73

4 Componenti di un Sistema Un entità è un oggetto di interesse nel sistema. Un attributo è una proprietà di un entità. Una data entità può avere molti attributi. Un attività rappresenta un periodo di tempo di lunghezza specificata. Lo stato di un sistema è definito come quella collezione di variabili (entità, attributi, attività, ecc.) necessarie per descrivere il sistema in ogni istante relativamente ai prefissati obiettivi dello studio. Un evento è definito come un istantaneo evento che potrebbe cambiare lo stato del sistema. L avanzamento del sistema è studiato seguendo i cambiamenti nello stato del sistema. Un sistema con uno stato variabile è detto dinamico. 7/73 Che cos è un Modello? Un modello è definito come una rappresentazione astratta del sistema reale finalizzata agli obiettivi dello studio. Il modello dovrebbe essere sufficientemente dettagliato per permettere di ottenere valide conclusioni sul comportamento del sistema reale. I modelli possono essere: o Fisici: modelli in scala, prototipi, ecc. o Matematici: modelli analitici, modelli di simulazione, ecc. La Modellazione è un arte che consente di pensare e ragionare su sistemi. 8/73

5 Come studiare un Sistema? SISTEMA Esperimenti con il sistema reale Esperimenti con un modello del sistema Modello fisico Modello matematico Soluzione analitica Simulazione 9/73 Che cos è un simulatore? Un Simulatore è uno strumento che riproduce il comportamento di un sistema reale, definendo i componenti del sistema, le loro relazioni ed i processi di input che controllano il sistema simulato. L output del simulatore sono un insieme di misure che sintetizzano le performance del sistema reale. Le misure rilevate sono solo delle stime di quelle che dovrebbero caratterizzare il sistema reale. 10/73

6 Quando non simuliamo? Sistema semplicissimo o trattabile analiticamente Maggiore facilità ad eseguire direttamente sperimentazioni Il costo della simulazione eccede i possibili vantaggi ottenibili dallo studio Carenza di risorse e tempo per eseguire efficacemente la simulazione Mancanza di adeguata abilità ad eseguire efficientemente verifica e validazione di un modello di simulazione Sistema reale troppo complesso per essere astratto con un modello 11/73 Alcuni settori di applicazione Progettazione ed analisi di sistemi di telecomunicazione, produttivi, ecc.. Valutazione di dispositivi militari. Dimensionamento e valutazione di mezzi di trasporto. Progettazione ed organizzazione per i servizi (ospedali, banche, ecc.). Analisi di sistemi economici e finanziari. 12/73

7 Classificazione dei Modelli Deterministico Un modello che non contiene alcun elemento probabilistico (variabile casuale). Assegnati i valori degli input, l output è univocamente determinato (e.g. reazione chimica). Stocastico Un modello in cui i valori degli input o le probabilità di accadimento degli eventi non sono univocamente determinati, ma variabili secondo distribuzioni statistiche (variabili stocastiche) (e.g. sistema sportello bancario). 13/73 Classificazione dei Modelli Discreto Un modello caratterizzato da cambiamenti di stato solo in un insieme discreto di istanti di tempo. Un esempio è il numero di clienti in una banca, cambia solo quando un cliente arriva o è servito. Continuo Un modello caratterizzato da una variazione dello stato del sistema che avviene con continuità rispetto alla variabile tempo. Un esempio è la variazione della temperatura in un corpo durante il processo di riscaldamento o di raffredamento. 14/73

8 Classificazione dei Modelli Un modello di simulazione è: Dinamico - Statico: se rappresenta o meno la variazione del sistema nel tempo. Deterministico Stocastico: se i parametri sono assegnati deterministicamente o con distribuzioni statistiche. Continuo Discreto: se i valori delle variabili di stato variano in modo continuo o discreto rispetto alla variabile tempo. La scelta del modello di simulazione è funzione delle caratteristiche del sistema reale e degli obiettivi dello studio. 15/73 Step di uno studio di simulazione 1. Formulazione del problema Rappresenta la fase più difficile e richiede una singolare abilità dell analista nell analizzare e formalizzare il sistema reale in esame. 2. Definizione degli obiettivi e pianificazione Gli obiettivi rappresentano le domande alle quali si desidera dare una risposta attraverso la simulazione. Pianificazione dello studio in termini di persone, costo e tempo. 16/73

9 Step di uno studio di simulazione 3. Definizione del Modello Concettuale Un modello concettuale rappresenta un astrazione del sistema reale con un livello di dettaglio che dipende dagli obiettivi dello studio. 4. Collezione dati di input Tale fase impegna una larga porzione del tempo totale richiesto per eseguire una simulazione e dovrebbe iniziare il prima possibile. 5. Scelta dello strumento di simulazione Il modello concettuale è trasformato nel modello software utilizzando un linguaggio di programmazione general purpose oppure uno speciale package di simulazione orientato al problema. 17/73 Step di uno studio di simulazione 6. Verifica Controllo della correttezza formale del modello software costruito con lo strumento di simulazione (debugging). 7. Validazione Controllo che il modello di simulazione sia, dal punto di vista concettuale, coerente con il sistema che si vuole analizzare. Tale fase consente di calibrare il modello. 8. Pianificazione Campagne di Simulazione Scelta del tipo di simulazione (Terminante o Steady- State ) Definizione condizioni iniziali, lunghezza dei run, numero di repliche di ciascun run, ecc. 18/73

10 Step di uno studio di simulazione 9. Esecuzione ed Analisi dell Output Esecuzione dei run Applicazione delle tecniche di analisi dell Output: stima puntuale, intervallo di confidenza, ecc. 10.Documentazione e Reporting Documentazione sul modello di simulazione e sulle ipotesi di lavoro adottate per lo studio. Documentazione sui risultati ottenuti dalle campagne di simulazione. 19/73 Tre Aree della Computer Simulation Progettazione Modello Esecuzione Modello Esecuzione Analisi 20/73

11 Simulazioni ad Eventi Discreti: Terminologia Un modello di simulazione ad eventi discreti astrae un sistema reale il cui stato potrebbe cambiare solo in un insieme discreto di istanti di tempo. Si assume che tra due consecutive transazioni di stato non accade nulla di importante ai fini dello studio. Il sistema è composto da un insieme di oggetti chiamati entità che possiedono determinate proprietà dette attributi. Lo stato del sistema è una collezione di attributi o variabili di stato che descrivono il sistema in un determinato istante di tempo. 21/73 Un evento è un occorrenza istantanea che potrebbe alterare lo stato del sistema. Una lista di eventi contiene gli eventi futuri, ordinati secondo il tempo di occorrenza. Tale lista è anche conosciuta come Future Event List (FEL). Un evento segna l inizio di un attività la cui durata ha una precisa lunghezza (benchè possa essere specificata da una distribuzione statistica). Il clock è una variabile rappresentante il tempo simulato. Il periodo di tempo per il quale perdura un run di simulazione è riferito come durata della simulazione. Simulazioni ad Eventi Discreti: Terminologia 22/73

12 Simulazioni ad Eventi Discreti: Terminologia Un processo è una sequenza di eventi che potrebbero racchiudere diverse attività. Processo arrivo evento inizio_serv evento Attività fine_serv evento t Relazione tra Eventi, Attività e Processi 23/73 Avanzamento del tempo Simulato Approccio Sincrono: basato su incrementi temporali ( t) del clock del simulatore. Il principale svantaggio di tale approccio risiede nel determinare t. Approccio Asincrono: il clock del simulatore è avanzato dall istante dell evento corrente a quello dell evento successivo tenendo in conto quanto riportato nella lista degli eventi (FEL). Il principale vantaggio è quello che il simulatore salta i periodi di inattività (assenza di eventi). 24/73

13 Avanzamento del tempo Simulato Il simulatore è caratterizzato da una particolare routine, detta executive, che è in grado di gestire il clock e la lista degli eventi. Essa esegue un fetching del prossimo evento schedulato, avanza il tempo simulato e trasferisce il controllo all opportuna ruotine operativa. Generalmente la executive routine lavora seguendo un approccio event scheduling. 25/73 Network Simulator v2 (NS2) 26/73

14 Obiettivi di NS-2 Supportare la ricerca in ambito di networking Progettazione di protocolli, Confronto tra protocolli, etc Fornire un ambiente dove vari soggetti della comunità di ricerca posssono collaborare tra di loro Distribuzione libera, open source Permette di confrontare facilmente protocolli simili Aumenta l'affidabilità dei risultati Più persone possono controllare i modelli proposti in più situazioni I modelli possono essere sviluppati da esperti Più livelli di dettaglio in un solo simulatore 27/73 Componenti di NS Ns, il simulatore Nam, network animator Nam editor: GUI interfaccia per generare gli script di ns Visualizza l'output di ns 28/73

15 NS-2, il simulatore Simulatore ad eventi discreti (asincrono) Modello di elaborazione semplice Simulatore object-oriented (scritto in C++ ed OTcl) Specializzato nella validazione di protocolli di rete Wired, wireless, satellite TCP, UDP, multicast, unicast Web, telnet, ftp Ad hoc routing, sensor networks 29/73 NS-2: Visione semplificata 30/73

16 Event Driven Simulation Modella ogni cosa come eventi Il simulatore ha una lista di eventi Estrae dalla coda il prossimo evento, lo esegue, passa al successivo solo quando ha eseguito quello attuale Ogni evento accade in un istante di tempo virtuale (simulato), ma può richiedere una quantità arbitraria di tempo (reale) di esecuzione Ns utilizza un modello semplice di elaborazione: controllo a thread singolo 31/73 Architettura di NS 32/73

17 Struttura Gerarchica di NS2 TclObject NsObject Connector Classifier Queue Delay Agent Trace AddrClassifier McastClasifier DropTail RED TCP Enq Deq Drop Reno SACK 33/73 Linguaggi C++ ed Otcl (1/2) Separazione tra flusso di elaborazione e comandi di controllo C++ per l'elaborazioni dei dati: Processamento per paccheto, nucleo di ns Veloce da eseguire, dettagliato, controllo completo OTcl per il controllo: Configurazione degli scenari di simulazione Manipolazione di oggetti C++ esistenti Veloce da scrivere e cambiare 34/73

18 Linguaggi C++ ed Otcl (2/2) Dimensioni del Programma, Complessità 35/73 Collegamento tra C++ ed Otcl C++ Otcl C++/OTcl split objects OTcl (variante a oggetti del Tcl) ed il C++ condividono la gerarchia delle classi TclCL è la libreria che collega i due linguaggi e permette di condividere facilmente funzioni, variabili, etc 36/73

19 Tecniche di Verifica e Validazione La Validità di un modello dovrebbe essere giudicata tenendo in conto la sua adeguatezza al particolare scopo dello studio. Un modello è valido ed affidabile se riporta ciò che è atteso da esso. Questo significa che la validità, come un concetto astratto separato dallo scopo, non ha un utile significato. Ciò che potrebbe essere un eccellente modello per uno scopo potrebbe essere non significativo od errato per un altro scopo. J. W. Forrester, /73 Verifica e Validazione La Verifica è il processo di controllo di un modello e dei relativi programmi per assicurarsi che essi eseguano come desiderato. La verifica di un modello software si esegue attraverso la fase di debugging del programma. Doing the thing right La Validazione è il processo per determinare se il modello, inteso come astrazione, è una rappresentazione significativa ed accurata del sistema reale. Doing the right thing 38/73

20 Verifica e Validazione Modellazione Verifica Validazione (calibrazione) Sistema reale Modello concettuale Programma di simulazione Risultati disponibili credibili Programmazione Run di simulazioni 39/73 Verifica La scrittura di codice ben strutturato consente di semplificare la lettura e l individuazione di errori. Un sufficiente numero di simulazioni di prova, variando i parametri di input, permette di aumentare i casi di verifica del modello software di simulazione. L esecuzione di simulazioni di casi noti, dei quali si possiedono già dei risultati, permette un confronto del modello software sulla base di dati reali. La funzione trace nelle simulazioni ad eventi discreti permette il controllo della lista degli eventi che si succedono nell esecuzione della simulazione. 40/73

21 Validazione Realizzare un modello che abbia validità per quelle persone che possiedono conoscenze relative al sistema in studio: o Raccolta di tutte le informazioni possibili per ottenere una visione complessiva del sistema. o Confronto dei risultati del modello proposto con quelli ottenuti con altri modelli. o E necessaria, specie nei sistemi complessi, una notevole esperienza ed intuizione. Eseguire un test quantitativo, attraverso l analisi di sensitività, sulle ipotesi fatte che consenta di determinare se gli output della simulazione subiscono un cambiamento significativo al variare dei valori dei dati in input. 41/73 Validazione Determinare quanto siano significativi i risultati in output alla simulazione: o Nel caso in cui esista un applicazione reale di un sistema simile a quello simulato, occorre confrontare i dati di output della simulazione con quelli rilevati dal sistema esistente. o E possibile utilizzare test statistici per la validazione. o In assenza di un sistema reale di confronto, i risultati devono essere validati da un esperto. o La validazione di un modello deve tenere in conto sia i dati storici che il comportamento futuro (usando la predizione) del sistema. 42/73

22 Analisi dell Output Obiettivi: Concetti e metodologie di base per l analisi dell output di un modello di simulazione al fine di ottenere dei risultati significativi ed utili per l interpretazione e lo studio del sistema reale. Argomenti: Introduzione Stima Puntuale e Stima dell Intervallo Classificazione degli studi di simulazione: Terminanti Steady-State Metodi per l analisi dell Output 43/73 Introduzione L Analisi dell Output per un modello di simulazione rappresenta l insieme di attività che consentono di esaminare i dati generati da una simulazione. In particolare, il suo principale obiettivo è quello di predire le performance di un sistema o di confrontare le performance di due o più sistemi alternativi. La necessità di un analisi statistica dei risultati di una simulazione risiede proprio nella natura variabile e stocastica del modello di simulazione. I risultati di una simulazione rappresentano delle stime del parametro in esame. La precisione di uno stimatore, misurata con la varianza, è fortemente correlata al modo con cui l analisi dell output è stata condotta. Alcuni degli argomenti toccati dall analisi dell output sono: Stima puntuale, Stima dell intervallo (ovvero misura dell errore nella stima puntuale), condizioni iniziali, tipo di simulazione (terminante o steady-state), ecc.. 44/73

23 Introduzione Se le performance di un sistema sono valutate per mezzo del parametro θ, il risultato di una singola simulazione rappresenterà solo una singola osservazione di θ. La precisione dello stimatore può essere misurata attraverso la varianza. L obiettivo dell analisi statistica è di stimare questa varianza, o di determinare il numero di osservazioni necessarie per ottenere una desiderata precisione. Sia l output di una simulazione identificato con una variabile casuale discreta X, costituita da n osservazioni: {X 1, X 2,, X n } 45/73 Stima Puntuale Una stima del valore del parametro θ sconosciuto è detto Stima Puntuale di quel parametro. Dato l output {X 1, X 2,, X n } di una simulazione, definiamo stimatore puntuale di θ la seguente quantità: dove rappresenta la media campione basata sulle n osservazioni. Lo stimatore puntuale θˆ è detto corretto o non distorto (unbiased) per il parametro θ se: θˆ 1 θˆ = n i= 1 La distorsione (bias) di uno stimatore è definita come: B n E( ˆ θ ) = θ X i ( ˆ θ ) = E( ˆ θ ) θ 46/73

24 Stima dell Intervallo Spesso non è possibile avere uno stimatore corretto, ovvero con distorsione nulla, e pertanto si cerca di ottenerne uno caratterizzato da una piccola bias relativamente alla grandezza di θ. Benché lo stimatore puntuale sia importante, la sua accuratezza è altrettanto importante. L accuratezza è quantificata dalla stima dell intervallo o intervallo di confidenza per il parametro θ. 47/73 Stima dell Intervallo 48/73

25 Stima dell Intervallo Deviazione Standard dello stimatore 49/73 Stima dell Intervallo 50/73

26 Stima dell Intervallo 51/73 Stima dell Intervallo 52/73

27 Stima dell Intervallo In conclusione, l intervallo di confidenza per il parametro θ con un livello di confidenza pari a 100(1-α)% è dato dalla seguente disequazione: ˆ θ ( ˆ θ ) θ ˆ θ t ˆ σ ( ˆ θ ) t ˆ σ + α / 2, f α / 2, f dove t α/2,f è definito come la P(t t α/2,f ) = α/2 53/73 Classificazione degli studi di Simulazione 54/73

28 Simulazione Terminante Per definizione in un sistema a termine le condizioni iniziali sono fissate e il sistema ritorna sempre alle condizioni iniziali, per esempio sistema vuoto e fermo. Le condizioni iniziali e la lunghezza del run di simulazione e di conseguenza fissato. L obiettivo della simulazione e quello di definire il comportamento del sistema in un fissato intervallo di tempo simulato. 55/73 Simulazione Steady-state L obiettivo della simulazione e definire il comportamento in condizioni di regime. Per definizione in un sistema non a termine le condizioni iniziali non sono fissate. Nella simulazione con modelli stocastici e presente una fase iniziale, fase di transitorio, in cui i valori assunti dai responsi differiscono sostanzialmente dai valori assunti in condizioni di funzionamento a regime, fase di regime. 56/73

29 Simulazione Steady-state I più comuni metodi per ridurre l influenza della fase di transitorio sono: o o o Swamping : lunghi run di simulazione in modo tale che gli effetti del transitorio iniziale siano trascurabili sulla fase di regime. Preloading : scegliere condizioni iniziali simili alle condizioni di funzionamento a regime. Deletion : eliminare dall analisi dei dati i risultati raccolti durante la fase di transitorio. 57/73 Simulazione Steady-state Svantaggi dei metodi: o Swamping : elevati run di simulazione comportano elevati tempi di calcolo e non assicurano l eliminazione degli effetti della fase di transitorio. o Preloading : difficoltà nella determinazione delle condizioni di funzionamento a regime. Nel confronto tra due alternative A e B, che hanno differenti situazioni di funzionamento a regime, quale delle due situazioni utilizzo per definire le condizioni di partenza? o Deletion : non può essere definito un metodo standard per definire il punto in cui troncare la serie dei dati raccolti. 58/73

30 Metodi di Analisi dell Output Generalmente per simulazioni terminanti il metodo di analisi più adottato è quello delle REPLICHE INDIPENDENTI. Al contrario, per simulazioni steady-state il metodo di analisi più adottato è quello dei BATCH-MEANS. 59/73 Analisi dell Output per Sim. Terminanti 60/73

31 Analisi dell Output per Sim. Terminanti 61/73 Analisi dell Output per Sim. Terminanti 62/73

32 Analisi dell Output per Sim. Terminanti 63/73 Analisi dell Output per Sim. Terminanti 64/73

33 Analisi dell Output per Sim. Terminanti 65/73 Analisi dell Output per Sim. Steady-State 66/73

34 Analisi dell Output per Sim. Steady-State Nelle simulazioni steady-state i due principali problemi da affrontare sono: l individuazione del periodo di warm-up e la determinazione della lunghezza della simulazione. Il periodo di warm-up è costituito da un insieme di osservazioni che non risultano significative rispetto alla misura che si desidera effettuare, in quanto sono legate alle particolari condizioni iniziali (ad es. metodo di Welch). I due principali metodi di analisi dell output in presenza di simulazioni steady-state sono: o o Replication method Batch Means method 67/73 Analisi dell Output per Sim. Steady-State 68/73

35 Analisi dell Output per Sim. Steady-State 69/73 Analisi dell Output per Sim. Steady-State Batch Means Method 70/73

36 Analisi dell Output per Sim. Steady-State Batch Means Method 71/73 Analisi dell Output per Sim. Steady-State Dettagli sul Batch-Means Method 1. Determinare il periodo di warm-up (T 0 ). 2. Eseguire un sufficientemente lungo ed unico run di simulazione. 3. Determinare la dimensione ottima del batch, ovvero la minima dimensione che consente di garantire l indipendenza statistica fra gli stimatori (valor medio delle osservazioni) associati ai singoli batch. o Suddividere il lungo run in singoli batch. Il numero dei batch deve essere compreso tra 100 e 400. Si inizia con pochi ma grandi batch per poi passare a numerosi e più piccoli batch. o Ad ogni partizionamento del lungo run si procede al calcolo del coefficiente di autocorrelazione dei valori medi (lag-1, ovvero separati da un solo passo) associati ai singoli batch. o L operazione di partizionamento si arresta non appena il valore calcolato del coefficiente di autocorrelazione risulta inferiore ad una soglia, pari circa a 0.1, tale da poterlo approssimare, senza grossi problemi, al valor nullo. 72/73

37 Analisi dell Output per Sim. Steady-State Dettagli sul Batch Means Method 4. Dopo aver determinato la dimensione del batch (D ott,batch ), con coefficiente di autocorrelazione minore di 0.1, che garantisce l indipendenza tra i batch, si riorganizzano gli intervalli. 5. Un numero conveniente di batch per un intera simulazione potrebbe essere 30. Si è verificato che un numero di batch superiore a 30 non comporta un rilevante vantaggio. 6. Infine, si determina l evento di fine simulazione (T E =D ott,batch *30) e quindi la lunghezza totale della simulazione T TOT = T 0 + T E. 73/73