Figura 8.1 : Modello per la suddivisione in categorie di QoS delle applicazioni multimediali

Transcript

1 La G1010 stabilisce le prestazioni che una rete deve garantire in base al servizio trasportato. Tali prestazioni sono riassunte nella figura che segue e vengono definite le 8 categorie di QoS in cui possono essere raggruppate tutte le applicazioni multimediali presenti oggi in rete: Figura 8.1 : Modello per la suddivisione in categorie di QoS delle applicazioni multimediali E importante notare che questo modello è indipendente dalla tecnologia usata per il trasporto dell informazione, offre un modello semplice per stabilire la capacità di un canale di trasportare un determinato servizio, impone dei limiti massimi, upper bounds, sui servizi oltre i quali la QoS è insoddisfacente. G 1000-Sistemi di trasmissione e media, sistemi digitali e reti- Qualità del servizio delle comunicazioni: definizioni e framework Questa Raccomandazione descrive framework e definizioni riguardanti la qualità del servizio delle comunicazioni in rete. La G1000 nasce per stabilire un approccio uniforme alla qualità del servizio all interno dell organismo ITU ed eliminare le eventuali ambiguità dovute a definizioni inconsistenti. E 800-Reti telefoniche e ISDN: Qualità del Servizio, gestione della rete e ingegneria del traffico- Termini e definizioni relativi alla QoS- Presazioni e affidabilità della rete 243

2 In questa raccomandazione vengono standardizzati tutti i termini e le definizioni inerenti la qualità del servizio e le prestazioni d rete. Y1541: Network performance objectives for IP-based services L ETSI ha prodotto la normativa ETSI ETR 003 ed.2 (1994), Network Aspects (NA), General Aspects of Quality of Service and Network Performance (NP) QoS del contenuto e QoS percepita dall utente L analisi della QoS del contenuto prevede un insieme di misure e verifiche per lo studio della qualità percepita dall utente finale. Le misure si basano sulla User Experience e riguardano la qualità video e la qualità audio. User Experience: Con questa espressione si vuole indicare un modo nuovo di concepire la progettazione di sistemi ICT che pone l utente finale in una posizione centrale e dominante nello sviluppo dei nuovi servizi. Valutare la User Experience significa comprendere e capire le necessità e le aspettative del fruitore del servizio tenendo conto dei contesti d impiego del servizio stesso. Lo studio della User Experience da la possibilità di indicare nuovi possibili servizi che soddisfano il cliente, lo studio approfondito fornisce inoltre la possibilità di stilare tabelle di gradimento di un servizio strettamente correlate ai parametri oggettivi del servizio stesso. Qualità video: La qualità video si definisce buona quando la visione è scorrevole, le immagini definite e prive di sfocature, inoltre, non devono essere presenti disturbi quali effetto mosaico e contorni sfocati. Qualità audio: L analisi della qualità audio ricalca essenzialmente quella video, l ascolto non deve avere interruzioni e non deve essere presente rumore sovrapposto al suono. Circa la qualità audio e possibile distinguere quattro livelli di qualità: 244

3 CD Musicassetta Telefono Appena comprensibile Raccomandazioni sulla qualità del contenuto Come per la qualità di rete anche per la qualità del contenuto gli enti di standardizzazione hanno prodotto delle normative: ITU-T ha pubblicato 4 raccomandazioni: 1. P.800 Methods for subjective determination of transmission quality; 2. P.910 Subjective video quality assessment methods for multimedia application; 3. P.911 Subjective audiovisual quality assessment methods for multimedia application; 4. P.920 Interactive test methods for audiovisual communication. ITU-R ha pubblicato 2 raccomandazioni: 1. BT.802 Test pictures and sequences for subjective assessment of digital codecs conveying signals produced according to Reccomendation ITU-R BT.601; 2. BT.500 Methodology for the subjective assessment of the quality of televion pictures. ETSI ed ANSI hanno prodotto rispettivamente: ETSI TR User Group User s Qualità of Service Criteria for Internet access in Europe ANSI T1.TR.PP Performance Parametre for IP-based Application: Dicembre del 2003 Le Raccomandazoni ITU-R sono state redatte esclusivamente per servizi di radiocomunicazione mentre quelle ITU-T riguardano i sistemi di 245

4 telecomunicazioni in senso lato. Le ITU-R possono essere applicate in sistemi standardizzati dall ITU-T. Nel caso delle prove soggettive riportate in questo lavoro la raccomandazione di riferimento è la di pertinenza ITU-R mentre il sistema sotto test appartiene al campo di competenze ITU-T. Questa inconsistenza di domini nasce dal fatto che lo studio delle immagini televisive, oggetto della prova, è storicamente di competenza della ITU-R in quanto servizio che nasce e si sviluppa su portanti radio, dunque è ovvio che tutte le normative circa la qualità delle immagini televisive nascano in ambito ITU-R. Per contro negli ultimi anni lo stesso servizio televisivo comincia ad essere diffuso anche su rete fissa divenendo così pertinenza dell ITU-T in materia di regolamentazioni. Questo il motivo per cui si ha una sovrapposizione di domini di competenze; in pratica al fine di evitare formulazioni diverse riguardo lo stesso argomento si usano specifiche ITU-R anche per sistemi appartenenti al campo ITU-T. Di seguito vengono descritte le quattro normative ITU-T esistenti che riguardano la qualità video, audio e audiovisiva. 1. P 800 Metodi non interattivi per la determinazione soggettiva della qualità di trasmissione telefonica. Questa Raccomandazione descrive i metodi per la valutazione soggettiva dei sistemi di trasmissione di telefonia; i metodi indicati sono applicabili per qualsiasi fattore interno o esterno al sistema che possa degradare la trasmissione. I test previsti da questa Raccomandazione riguardano la conversazione è l ascolto in presenza di una varia casistica dei disturbi. 2. P 910 Metodi non interattivi per la valutazione della qualità video per applicazioni multimediali. 246

5 In questa Raccomandazione vengono descritti i metodi per la valutazione soggettiva non interattiva della qualità video per applicazioni multimediali come video conferenza, e telemedicina. La preparazione del test finale eseguito dai valutatori passa attraverso varie fasi: Scelta delle sequenze e delle scene Le sequenze di test devono essere definite in base agli obbiettivi del test e, per il controllo delle caratteristiche del segnale sorgente, devono essere registrate su una memoria digitale. La selezione delle scene è una fase molto importante del test in quanto a seconda delle loro caratteristiche si determina la possibile compressione video da utilizzare e quindi la degradazione dovuta alla trasmissione su canali digitali a bit rate fisso. La scelta delle scene deve essere vincolata al tipo di servizio video che il canale di trasmissione può offrire. Metodi di test e progettazione dell esperimento La misura della qualità percepita delle immagini richiede l uso di metodi di scaling. Affinché le misure siano significative deve esistere una relazione tra le caratteristiche fisiche dello stimolo, in questo caso una sequenza video presentata ai soggetti durante il test, l entità e la natura della sensazione indotte dallo stimolo. Metodo ACR (Absolute Category Rating) Il metodo ACR viene anche detto a Singolo Stimolo, infatti le sequenze di test sono presentate una alla volta e per ogni sequenza i soggetti vengono invitati a valutare la qualità di ciò che vedono. Il tempo durante il quale i soggetti votano deve essere al massimo pari a 10 secondi e dipende dal tipo di meccanismo usato per la votazione. Per valutare le sequenze video viene utilizzata una scala per quantificare il livelli di qualità, un esempio di tipo di scala che può essere utilizzata è il seguente 5 Eccellente 4 Buono 247

6 3 Discreto 2 Mediocre 1 Cattivo Metodo DCR (Degradation Category Rating) Nel metodo DCR le sequenze dei test sono proposte a coppie: il primo stimolo presentato in ogni coppia è sempre la sorgente di riferimento, mentre il secondo rappresenta la stessa sorgente degradata dal sistema sotto test. Questo metodo viene chiamato Double Stymulus Impairment Scale Method. Come per il metodo precedente il tempo per le votazioni non deve superare i 10 secondi mentre il tempo della presentazione, ovvero la durata dello stimolo, può variare in base alla durata del test. Il valutatore è chiamato a giudicare la differenza di qualità dei due stimoli presentati a coppia e la scala raccomandata di valutazioni è la seguente: 5 Impercettibile 4 Percettibile ma non fastidioso 3 Leggermente fastidioso 2 Fastidioso 1 Molto Fastidioso Affinché il test dia valutazioni significative il numero necessario di repliche da presentare ai soggetti è ottenuto ripetendo le stesse coppie di sequenze in tempi diversi durante il test. Metodo PC (Pair Comparison) Le sequenze vengono presentate a coppie, per ogni coppia viene presentata la stessa sorgente passante attraverso due sistemi diversi sotto test diversi. Se i sistemi sotto test sono tre, ad esempio A, B e C, vengono realizzate tutte le possibili combinazioni di sequenze: n(n-1), e tutte le coppie ottenute devono essere rappresentate nei due ordini possibili, ad esempio AB e BA. Al soggetto viene chiesto di votare quale elemento per ogni coppia visionata ha preferito. Il tempo di votazione è al massimo di 10 secondi e il tempo di presentazione può variare in base al materiale usato per i test. 248

7 Nella scelta dei metodi da utilizzare per i test è fondamentale considerare la differenza tra i metodi che usano i riferimenti espliciti, come il DCR, ed i metodi che non usano alcun riferimento esplicito, come ACR e PC. Questa seconda classe di metodi, infatti, non garantisce la trasparenza e la fedeltà delle valutazioni. Il metodo DCR dovrebbe essere usato quando si vuole verificare la fedeltà del sistema di trasmissione riguardo al segnale sorgente e inoltre è spesso utilizzato per la valutazione dei sistemi di alta qualità anche multimediali. Il metodo ACR rispetto al DCR è più semplice e rapido, la presentazione degli stimoli è simile a quella dell uso comune dei sistemi ed è un metodo adatto alle prove di qualificazione. Il metodo PC è più selettivo dei primi due, è infatti utilizzato quando la qualità delle sequenze sotto test è molto simile. Quando devono essere valutate molte coppie nella stessa prova, la procedura basata sul metodo del PC tende ad essere lunga, in questo caso vengono utilizzati prima i metodi ACR e DCR con un numero limitati di osservatori, poi viene utilizzato il metodo PC per le sequenze che hanno ricevuto una valutazione quasi uguale. 3. P 911 Metodi non interattivi per la valutazione soggettiva della qualità audiovisiva per applicazioni multimediali Questa Raccomandazione descrive i metodi non interattivi per la valutazone soggettiva della qualità audiovisiva di applicazioni multimediali come la videoconferenza, telemedicina etc. Le scene da utilizzare nei test devono essere scelte in modo che le componenti video e audio siano adatte al canale di trasmissione che si vuole testare. L insieme di tutte le scene scelte per il test deve includere tutti i tipi di segnale audio di interesse per l utente e diversi livelli di criticità del segnale video. La durata delle sequenze deve essere di circa 10 secondi e non minore di 8. All inizio e alla fine di ogni scena ci deve essere un periodo di silenzio non più lungo di 500 ms in modo da rendere la sequenza più naturale possibile. La qualità delle scene deve essere la più alta possibile, per questo motivo il segnale video dovrebbe essere registrato un formato ITU-R BT 601 4:2:2, mentre per il segnale 249

8 audio è raccomandata una frequenza audio di campionamento di 48 KHz e una codifica di 16 bit per campione. I segnali audio e video ottenuti dopo la registrazione devono essere sincronizzati al momento del test. Per la valutazione della qualità audiovisiva sono previsti gli stessi metodi indicati nella Raccomandazione P 910, ovvero i metodi ACR, DCR e PC con l aggiunta di un altro metodo, l SSCQE (Single Stimulus Continuous Quality Evaluation), utilizzato per tener conto delle variazioni della qualità durante la trasmissione. Per questo metodo sono previste sequenze di durata lunga, da 3 a 30 minuti, e la valutazione di qualità avviene in modo continuo lungo tutta la durata del test. La valutazione continua è realizzata fornendo agli osservatori un cursore che muovono mentre guardano e/o ascoltano le sequenze sotto test. Un esempio dei cursori (sliders) è riportato in Figura 8.2. I risultati delle prove sono presentati sotto forma di curve che indicano la percentuale di tempo in cui gli osservatori hanno dato una valutazione superiore ad un certa soglia in una scala da 0 a 100. Il vantaggio di questo metodo è che tiene conto delle variazioni della qualità nel tempo e dunque permette una valutazione globale della qualità del servizio. Il numero dei soggetti per la valutazione della qualità audiovisiva, così come per quella video, varia da 6 a 40. In generale il numero degli osservatori dipende dalla grandezza della popolazione; di norma vengono scelte 15 persone non esperte. Figura 8.2: Slider utilizzato per le prove soggettive. 250

9 Figura 8.3: Condizioni di ascolto e visione usate per le valutazioni della qualità audiovisiva Figura 8.4: Condizioni di ascolto e visione usate per le valutazioni della qualità audiovisiva 4. P 920 Metodi interattivi per la valutazione soggettiva della qualità audiovisiva per applicazioni multimediali. I metodi interattivi audiovisivi della prova descritti in questa Raccomandazione ITU-T sono utilizzati per la valutazione delle prestazioni dei terminali e dei mezzi di comunicazione che possano permettere una comunicazione audiovisiva interattiva; le valutazioni hanno lo scopo di quantificare l impatto della codifica, del ritardo di trasmissione e delle perdite nelle comunicazioni interattive audio- 251

10 video punto-punto o multi-punto. Tutti i metodi di valutazione interattiva si basano sui giudizi che i soggetti danno durante una conversazione. L'efficacia di queste prove dipende dalla capacità di riprodurre in laboratorio le condizioni ambientali il più possibile vicine alle situazioni reali. 8.3 TEST BED SPERIMENTALE (CON BACK_UP) PER LA VALUTAZIONE SOGGETTIVA DELLA QUALITA DEL SERVIZIO. Il test-bed utilizzato per le prove soggettive è lo stesso di quello utilizzato per le misure oggettive a meno di necessarie modifiche descritte nel seguito. Il test-bed è mostrato nella figura che segue: CLIENT-VLC LAN SERVER CHARIOT Laboratorio valutazione della QoS multimediale Ufficio IV ISCOM Laboratorio reti ottiche trasmissive -ISCOM- ANELLO OTTICO ROMA-POMEZIA Fibra ottica smf ,25 GBE Linea di servizio Linea di backup Fibra ottica MMF Convertitore Opto-elettrico MULTIMEDIA SERVER (VLC LAN) Fe PXC GENERATORE ANALIZZATORE DI TRAFFICO PXC 1,25 GBE 1,25 GBE Fe Convertitore Elettro-ottico Laboratorio reti ottiche dinamiche Ufficio III ISCOM Figura 8.5: Test-bed sperimentale per le prove soggettive. Per lo svolgimento di queste prove è stato necessario l impiego di un software che trasmettesse e ricevesse streaming audio-video. Tra i vari disponibili è stato scelto 252

11 il programma VLC Lan 34. VLC è stato installato su un PC del laboratorio di reti ottiche dinamiche del piano 1S 35 in modo che funzionasse da server ed il PC è stato connesso direttamente al primo router; VLC è poi stato installato in un PC del laboratorio per la qualità del servizio multimediale, sito al sesto piano, in modo che funzionasse da client. I due laboratorio sono connessi in fibra ottica multimodale tramite convertitori opto-elettronici. Per consentire il funzionamento del test-bed sono state apportate delle modifiche alla configurazione dei router Juniper M10. Il traffico proveniente dal server VLC Lan non può venire etichettato nel campo DSCP, quindi per ovviare a questo problema nella configurazione del router 1 è stata introdotta una firewall. Il sistema di gestione JUNOS offre diversi parametri secondo i quali filtrare il traffico entrante da una interfaccia: indirizzo di sorgente, di destinazione, il protocollo di trasporto utilizzato etc. nel caso del test-bed il parametro con il quale è stato filtrato il traffico è l indirizzo di sorgente. Tutto il traffico proveniente da un determinato indirizzo viene classificato come appartenente ad una specifica classe di servizio. La firewall è stata configurata in modo tale che il traffico proveniente dall indirizzo /32 venisse etichettato expedited forwarding, il traffico proveniente dall indirizzo /32 venisse etichettato assured forwarding e tutti gli altri disponibili venissero etichettati best effort. 34 Lettore multimediale Open Source e multipiattaforma per diversi formati audio e video; è anche server di streaming con possibilità di transcoding( UDP unicast e multicast, http etc.) ed è realizzato per reti a banda larga. Il sito di riferimento da cui è possibile scaricarlo è S: primo sotterraneo 253

12 family inet { filter MF { term a { from { source-address { /32; } } then forwarding-class expedited-forwarding; } term b { from { source-address { /32; } } then forwarding-class assured-forwarding; } term c { then forwarding-class best-effort; } } } Figura 8.6:Configurazione della firewall sul router 1 I pacchetti provenienti dall indirizzo indicato nel firewall vengono classificati in una CoS (Class of Service) e dunque memorizzati nella coda corrispondente, ma il campo DSCP non viene riscritto dunque la firewall anche se classifica è inutile ai fini del corretto funzionamento del test-bed ai fini della QoS poiché i router sono configurati in modo da leggere il campo DSCP. Si è quindi introdotto, nella configurazione del router 1, un altro campo: il rewrite rule. Mediante questa dichiarazione è possibile riscrivere nel campo DSCP dei pacchetti in uscita da una interfaccia un qualsiasi valore. Il router 1 poiché etichetta il campo DSCP perde il suo ruolo di Core Router circa l approccio DiffServ e diviene un Edge Router. Il router 2 mantiene la stessa configurazione delle prove oggettive. 254

13 8.4 SVOLGIMENTO DELLE PROVE SOGGETTIVE Le valutazioni soggettive della qualità del servizio sono di fondamentale importanza, la buona riuscita del sistema sotto test è basata sul giudizio del cliente. L insieme delle misure, oggettive e soggettive, può offrire un valido supporto per stabilire se il sistema sotto test può garantire o meno la QoS richiesta per un particolare servizio e se allo stesso tempo può soddisfare le aspettative del cliente. Le misure oggettive del tempo di ripristino, svolte in questo lavoro, hanno riguardato la maggior parte dei servizi presenti oggi in rete, ma per le prove soggettive ci si limita a porre sotto test i servizi di tipo real-time per i quali è fondamentale lo studio della qualità percepita dall utente. Il servizi real-time sui quali è stata studiata la qualità sono: IP-TV, ovvero la trasmissione di immagini televisive e DVD su rete fissa. Per la valutazione soggettiva di un sistema che supporti questi servizi l ITU-T non ha ancora redatto nessuna Raccomandazione e, poiché il grosso dei test tratta di immagini televisive, come riferimento è stata presa la normativa ITU-R , relativa alla qualità della televisione radio trasmessa, e adattata al sistema sotto test Scelta delle immagini televisive Il primo passo per svolgere le valutazioni soggettive consiste nella scelta accurata delle immagini che verranno proposte ai valutatori. Affinché i risultati siano significativi, come raccomandato dalla normativa , il materiale audio-video deve essere di alta qualità (ITU-R BT 601 4:2:2) e contenere scene critiche 36 per il sistema sotto test. Circa la qualità del segnale trasmesso dal server si è ritenuto opportuno utilizzare immagini compresse in formato MPEG-2 codificate a 8 Mbit/s. Il materiale audio-video consiste in due sequenze sportive e in un video musicale. Lo sport è stato privilegiato poiché le immagini sono molto 36 Per scene critiche si intende una serie di immagini scelte in modo da portare il sistema ai limiti del corretto funzionamento percepibile dall utente; ad esempio scene molto movimentate, veloci cambi di scene, contrasti forti possono stressare il sistema e generare dei fastidiosi effetti mosaico o addirittura rendere la visione inaccettabile. 255

14 dinamiche e dunque caratterizzate da contenuti informativi variabili con picchi molto elevati, i video clip sono stati considerati perché oltre ad impegnare il sistema dal punto di vista delle immagini lo testano anche sotto il profilo audio. Di seguito si riporta un elenco delle sequenze scelte: Gara di automobilismo Partita di tennis Musica (video musicale) Le immagini relative al Tennis hanno una criticità medio-bassa in quanto è presente una grossa porzione di campo che fa da sfondo ai movimenti degli atleti che da luogo ad un bit rate medio non elevatissimo quindi meno sensibile ai disturbi della rete. C è da osservare, però, che il movimento degli atleti nel colpire la pallina è rapidissimo, quindi durante il gioco il throughput subisce dei picchi violenti e non prevedibili. Il tennis offre le immagini ideali per vedere la reazione del sistema a burst di traffico elevati. La gara di automobilismo è stata scelta perché in questo caso l immagine centrale cambia con una velocità minore dello sfondo, che invece varia molto rapidamente con lo spostarsi delle automobili. Questo contesto stressa molto il sistema in quanto i quadri sono in continuo mutamento e quindi la sequenza in questione è da considerarsi ad alta criticità. In ultima analisi sono state selezionate scene tratte da un video musicale che oltre a presentare immagini molto variabili, da considerare ad alta criticità, fornisce delle indicazioni relative all effettiva percezione della qualità audio. Di seguito si riportano dei fotogrammi estratti dalle varie sequenze scelte. 256

15 Figura 8.7: fotogramma tratto dalla sequenza di automobilismo. Figura 8.8: fotogramma tratto dalla sequenza tennis. Figura 8.9: fotogramma tratto dalla sequenza musica 257

16 8.4.2 Registrazione delle sequenze Per avere il controllo assoluto del segnale sorgente la Raccomandazione consiglia la registrazione delle sequenze su memorie digitali. La prima fase ha previsto la registrazione direttamente dal segnale satellitare delle sequenze di musica, automobilismo e tennis in formato MPEG-2. I tre file audiovideo MPEG ottenuti sono stati uniti in un unico file della durata di 1.5 minuti, somma delle tre sequenze tratte da satellite ognuna della durata di 30 secondi. Una volta preparato il materiale di test è stato configurato il generatore di traffico per la saturazione della rete. Il traffico sotto test di queste prove, 8 Mbit/s per ogni classe di servizio, è minore di quello utilizzato nelle misure oggettive e dunque si è reso necessario aumentare il traffico di saturazione per stressare la rete; in particolare è stato aumentato il traffico EF ed AF generato dall Anritsu MD1230A in modo che il traffico complessivo presente nella rete potesse essere lo stesso delle prove oggettive. Fissate le condizioni di saturazione della rete il file MPEG è stato trasmesso, su protocollo RTP, tramite il programma VLC LAN dal laboratorio delle reti ottiche dinamiche del piano 1S al laboratorio per la valutazione della qualità del servizio multimediale del sesto piano attraverso il link ottico Roma-Pomezia. Nel laboratorio della QoS la parte video dello streaming viene registrata frame per frame in formato yuv8 non compresso, YUV 4:4:4, su hard disk ad alta capacità, mentre la parte audio viene acquisita in formato wave su un secondo PC. Il segnale video viene inizialmente codificato in formato RGB; tramite un semplice algoritmo si passa dalle componenti Red Green Blue alle componenti Y-luminanza e U,V-crominanza, attraverso le quali è possibile effettuare la compressione video. Il formato YUV 4:4:4 non introduce perdite di informazione rispetto al formato RGB in quanto per ogni pixel vengono considerate le componenti Y-U-V, passando invece ad altri formati come ad esempio YUV 4:2:2 vengono perse informazioni sulla crominanza alla quale l occhio umano risulta essere poco sensibile. 258

17 Le operazioni di registrazione nel laboratorio della QoS multimediale vengono svolte una volta per ogni classe di servizio ad eccezione della classe Assured Forwarding per la quale vengono svolte due registrazioni corrispondenti a due diversi valori del traffico di saturazione. Inoltre le registrazioni sono state effettuate una volta mantenendo il link sotto test sempre attivo e una volta simulando sei guasti consecutivi (due per ogni sequenza) opportunamente distanziati nel tempo. I file audio e video ottenuti sono rappresentativi del comportamento della rete riguardo ogni classe di servizio con e senza fuori servizio; dai file vengono poi separate di nuovo le singole sequenze da 30 secondi per la preparazione delle prove soggettive. Poiché ogni sequenza è stata registrata frame per frame in formato abekas 37, per renderle tutte visibili all utente in formato avi 38, sono state necessarie delle conversioni intermedie operate da riga di comando. Di seguito vengono riportati i passaggi necessari per la creazione dei file avi: 6. Si crea un file unico yuv per ogni sequenza concatenando i frame 7. I file ottenuti in formato yuv 4:4:4 vengono convertiti in formato 4:2:2 8. Dal formato 4:2:2 si passa al 4:2:0 utilizzato per le codifiche MPEG-1, MPEG-2, MPEG-4 ed AVI. 9. Dal formato 4:2:0 si crea un file avi per ogni sequenza. 10. Tramite il software multimediale ULEAD si sincronizzano i file video avi con i rispettivi file audio wave e si memorizza tutto in un unico file avi. Dopo queste operazioni, per ogni classe di servizio, si hanno a disposizione 3 sequenze da 30 secondi senza interruzioni e 3 sequenze da 30 secondi con sei guasti simulati, per un totale di 9 minuti di prove valutabili. Prima di procedere alle prove soggettive è stata operata una nuova selezione delle sequenze da sottoporre ai valutatori, infatti tutte le sequenze che attraversano la rete etichettate Best Effort dalla firewall risultano indecifrabili ed è dunque di poco interesse procedere ad una valutazione. La scelta operata è stata quella di eliminare tutte le 37 Formato yuv8. 38 Formato non compresso. 259

18 sequenze della classe di servizio BE ottenendo come conseguente vantaggio quello di tenere i valutatori impegnati per un tempo minore. Figura 8.10: Laboratorio di registrazione sequenze Scelta del metodo di valutazione e preparazione della camera afonica I metodi descritti nella Raccomandazione BT adatti a questo tipo di prove sono: SDSCE ( Double Stimulus for Continuos Evaluation) SSCQE ( Single Stimulus for Continuos Quality Evaluation) Nel metodo SDSCE agli osservatori vengono presentati due stimoli contemporaneamente, uno di riferimento ad alta qualità ed un altro degradato dal sistema sotto test, ad esempio per compressione del filmato, e viene valutata la differenza di qualità fra i due stimoli. Nel metodo SSCQE agli osservatori viene proposto un solo stimolo alla volta cioè sequenze di qualità variabile che sono chiamati a valutare senza aver alcun riferimento. Nel caso di queste prove il compito degli osservatori è stato quello di valutare la presenza o meno di disturbi, blocco immagini e pacchettizzazione non la qualità assoluta delle immagini; per questi test è stato ritenuto più idoneo il metodo SSCQE. 260

19 Per questo metodo è prevista la partecipazione di almeno 15 valutatori, non esperti di queste attività, di età compresa tra i 18 ed i 35 anni. Effettuata la scelta del metodo si è proceduto all allestimento della camera silente. Figura 8.11: Camera afonica Per le valutazioni SSCQE il laboratorio per la valutazione della QoS multimediale ha a disposizione il sistema software/hardware IQ++. La parte hardware è composta da un dispositivo a cui vengono collegati, tramite cavo di rete, i potenziometri, sliders, dotati di una scala a 5 livelli; il segnale proveniente dai potenziometri viene campionato ogni 0,5 secondi ed alla posizione del cursore viene associato un valore tra 0 e 255 rispettivamente cattiva qualità e qualità eccellente. Durante i primi 5 secondi di ogni sequenza il software IQ++ non registra alcun voto, poiché si suppone che questo lasso di tempo costituisca una fase di training per i valutatori. Seguendo la normativa BT sono state disposte quattro postazioni all interno della camera silente in modo che la loro distanza fosse pari a 4 volte l altezza dello schermo e l angolo di visuale maggiore di 30 rispetto al centro dello schermo stesso. 261

20 8.5 LA SESSIONE DEI TEST Preparazione delle sequenze Affinché venga rispettata la Raccomandazione è stato preparato uno script in formato.txt in cui le sequenze sono ordinate in modo casuale. Nello svolgimento delle prove sono stati impiegati due PC diversi, uno per la gestione del sistema e l altro per la gestione del proiettore nella camera afonica. Il software IQ++ memorizza le votazioni secondo un ordine fisso delle sequenze presentate e dunque lo stesso ordine deve essere rispettato durante la proiezione affinché i risultati siano validi. Gli osservatori prima dall inizio delle prove hanno compilato una liberatoria per la tutela della privacy e si sono sottoposti ad un esame visivo di idoneità. Figura 8.12: Scheda sottoposta ai valutatori 262

21 Prima del test la Raccomandazione BT consiglia un addestramento preliminare dei valutatori. In questa fase un esperto del laboratorio per la valutazione della QoS multimediale spiega agli osservatori seduti nella camera silente cosa vedranno durante il test, cosa saranno chiamati a valutare ed in che modo dovranno usare il cursore messo loro a disposizione per le valutazioni. Figura 8.13: Fase di training dei valutatori Fase di elaborazione dei dati Per ognuna delle due sessioni e per ogni valutatore il software IQ++ ha creato un file contenente i voti relativi al test. Il sistema, come descritto nel paragrafo precedente, registra la posizione del cursore ogni 0,5 secondi creando un vettore dei voti molto esteso; per questo motivo, per l elaborazione dei risultati, è stato impiegato il software MATLAB. Le 6 sequenze via cavo da valutare vengono mescolate in ordine casuale in modo che non si ripetano di seguito le stesse sequenze seppure appartenenti a classi di servizio diverse. Per procedere allo studio dei parametri di rete in corrispondenza degli andamenti dei voti dei valutatori si è utilizzato una sniffer 39 di rete, in 39 Sniffer: dispositivo hardware o programma software in grado di catturare ed immagazzinare tutto il traffico indirizzato alla propria scheda di rete. Questa procedura detta sniffing può essere adoperata anche in modo promiscuo sulla LAN, in questo modo si memorizza tutto il traffico 263