Teoria dell informazione

Transcript

1 Teoria dell informazione Giuseppe Ruggeri Università Mediterranea di Reggio Calabria Italy

2 Outline Cos è l informazione? E possibile misurare l informazione? Limiti matematici nella rappresentazione dell informazione. Limiti matematici nella trasmissione dell informazione. Rappresentazione dei segnali Multimediali: Voce Audio Video

3 Modello di comunicazione Sorgente Canale Dest.

4 La teoria Matematica della Comunicazione La Teoria Matematica dell Informazione è stata formulata da C. E. Shannon (98) consente di: Misurare l informazione emessa da una sorgente; Definire la quantità massima di informazione che un canale può trasportare; Definire il metodo migliore per codificare (rappresentare) l informazione nel modo più comprensibile dal canale.

5 Sorgenti di Informazione Ciascuna sorgente ha un proprio alfabeto S S{Testa Croce} Una sorgente emette informazione ogni qual volta emette uno tra gli N possibili simboli del suo alfabeto S{35} o anche Si ottiene informazione S{abcd.. quando 3..+-} si apprende in totale 5 del possibili caratteri verificarsi di un tra N possibile eventi (emissione di uno tra N simboli) S{Fonemi i suoni basici che costituiscono il parlato} Sorgente Dest.

6 Quantità di Informazione Un evento porta con sé tanta più informazione quanto più improbabile è il suo verificarsi. S{Testa Croce} { } c T s S{35} { } 5 3 s 5 3 s L informazione associata ad un simbolo dipende dalla probabilità con cui viene emesso. ( ) i p i F I ( )?? F

7 Quantità di Informazione ( ) I F p F( )?? i i p i I i I i p c p / c * + I i F + F

8 Quantità di Informazione I i I i log ( ) I F p F( )?? i i x log x * * log + x log Vogliamo inoltre che l informazione associata con l evento elementare sia unitaria I t / c log x x I i x log p i bits

9 Quantità di Informazione Quant è l informazione emessa mediamente da una sorgente? H( s) i log i i S{Testa Croce} { } { ( )} s T c T T H ( ) ( s) T log + T log T T L informazione emessa mediamente da una sorgente e massima quando i simboli sono equiprobabili

10 La rappresentazione dell Informazione E Ciascuna possibile sorgente inviare i ha simboli un proprio emessi alfabeto dalla sorgente S su un canale? S{Testa Croce} In generale NO: sorgenti e canali hanno alfabeti diversi Bit di ingresso a X a ( t ) S{35} T b T b T b Uscita del generatore d impulsi S{abcd.. 3 T 3 T b..+-} in totale 5 b possibili caratteri 5 t Sorgente Canale Nasce l esigenza S{Fonemi di rappresentare i suoni basici che i costituiscono Simboli il emessi dalla Sorgente parlato} nell alfabeto compreso dal Canale: TRANSCODIFICA

11 Codifica di sorgente Bit di ingresso a X a ( t ) S{35} s { 3 5 } Obiettivo cercare di assegnare a ciascun simbolo di sorgente una sequenza di simboli di canale (parole di codice) in modo che a simboli emessi più frequentemente corrispondano sequenze più brevi T b T b 3 T b T b 5 T b Uscita del generatore d impulsi t carattere Trasformazione A (a) Codice invertibile I Codice II Codice III Regola del prefisso: a Un /codice risulta univocamente istantaneamente decodificabile ase non / esiste nessuna parola di codice che coincida interamente con a 3 l'inizio di /8parole di codice di lunghezza maggiore. a /8 univocamente decodificabili istantaneamente decodificabili l'inversione può essere effettuata in tempo reale senza dover attendere gli altri caratteri della sequenza.

12 Codifica di Huffman(95) asso Si ordinino gli L k simboli b j secondo.3 valori non crescenti delle loro probabilità e si indichi con {d (n) } la sequenza così..7.3 riordinata di D simboli.3 asso Si raggruppino gli ultimi due simboli d (D) e d (D-) in un simbolo equivalente con probabilità [d (D) ]+[d (D-) ] asso 3 osto DD- si ripetano i passi e finché non rimanga un unico simbolo.

13 Teorema fondamentale della codifica di sorgente C. Shannon(98) «Data una sorgete S di entropia H(S) N simboli emessi dalla sorgete possono essere compressi in più di NH(s) simboli con una probabilità di perdita di informazione piccola a piacere al tendere di N all'infinito; al contrario se sono compresse in meno di NH(s) simboli è virtualmente certo che una parte dell'informazione andrà persa.» Sorgente { S S S S K S } N 3 N L lungh ( S ) i Deve essere: H N i Lunghezza media parole di codice ( s) < L H ( s) + ε er raggiungere i requisiti di molte applicazioni moderne (M3 DTV SatTV ) è necessario perdere una parte dell'informazione.

14 I canali commettono errori! Testa p e Testa C s p e Canale Croce p e p e Croce p Il ricevitore rimane con il dubbio se il simbolo emesso dal canale sia effettivamente quello trasmesso dalla sorgente: si perde informazione. er ogni canale è possibile definire una capacità C: la quantità massima di informazione che può trasferire per ciclo di segnalazione.

15 Ridurre gli errori TestaTesta Testa Testa TestaTesta Testa p e TestaTesta Croce CroceTesta Testa Canale TestaCroce Testa Croce CroceCroceCroce CroceCroce Testa CroceTesta Croce TestaCroce Croce CroceCroce Croce E possibile ridurre a piacere gli errori purchè l inofmazione inviata sul canale non superi la sua Capacità