University of Cagliari. Emotional aspects in the QoE. Simone Porcu. DIEE - Department of Electrical and Electronic Engineering

Transcript

1 DIEE - Department of Electrical and Electronic Engineering Emotional aspects in the QoE 1

2 QoE nel multimedia QoE? Cosa è? Perché tenerne conto? In che modo la possiamo valutare? Contesto: VoIP, Video streaming, realtime gaming Creazione di modelli usando test soggettivi PROBLEMI??? 2

3 Funziona in Real-Time? NO C è bisogno di modelli che permettano un controllo real-time per la previsione della Qualità percepita. Machine Learning e Deep Learning Che parametri utilizzare per riconoscere la QoE? 3

4 I nostri esperimenti Nel nostro campo di applicazione stiamo cercando delle features che ci permettano di predire la QoE in maniera automatica La nostra idea è stata quella di cercare di predirla in base alle espressioni facciali delle persone mentre usano applicazioni multimediali (VoIP, sessione video streaming) 4

5 I tester sono sottoposti a diversi stimoli video, audio e luminosi I nostri esperimenti Video: blurring, packet-loss, perdita di definizione, stalling, buffering, Audio: forti rumori da fonti esterne Luci: cambiamento dei parametri delle luci durante la sperimentazione 5

6 Machine Learning Il machine learning è un metodo di analisi dati che automatizza la costruzione di modelli analitici. È una branca dell'intelligenza Artificiale e si basa sull'idea che i sistemi possono imparare dai dati, identificare modelli autonomamente e prendere decisioni con un intervento umano ridotto al minimo. Cosa serve per creare dei buoni sistemi di machine learning? Capacità di preparazione dei dati. Algoritmi - base e avanzati. Scalabilità. Ensemble modeling. 6

7 Preparazione features o variabili Analisi statistica delle features rispetto ai target in modo da capire quali sono i fattori di rilievo Riduzione della dimensionalità Manipolazione delle features in modo da crearne altre di rilievo 7

8 Preparazione features o variabili 8

9 Preparazione features o variabili 9

10 Preparazione features o variabili Probabilità Probabilità della distribuzione Correlazione Analisi della varianza (Anova, Manova, Nanova, ) 10

11 Come distinguete le orme tra loro? Preparazione features o variabili: Anova 11

12 ML DL & LR Diversi metodi, diversi approcci, diversi problemi. Classificazione, regressione son diverse Categorie vs variabili continue 12

13 Tema N.1 Modello ML per predizione QoE per applicazioni VoIP Utilizzo di un emulatore di rete per simulare distorsioni della rete (es. perdita pacchetti, ritardi, throughput) durante videochiamata tra 2 utenti Registrazione delle facce degli utenti mentre effettuano la videochiamata I 2 utenti devono reciprocamente farsi delle domande e capire le risposte; poi valutare la QoE della chiamata Parametri di rete (QoS) e feature facciali usate per modello ML Dummynet, Iperf 13

14 Tema N.2 Analisi statistica di feature facciali/corpo Dataset da test soggettivo nel quale utenti sono disturbati da un rumore fastidioso mentre guardano video Analisi statistica accurata delle feature facciali/corpo negli istanti prima e dopo l'inizio del rumore fastidioso Variazione significativa delle feature potrebbe aiutare a capire quando utente è infastidito da qualcosa (acquisito dall'ambiente tramite sensori) Ulteriori test soggettivi 14

15 DIEE - Department of Electrical and Electronic Engineering Fine 15