L INFORMAZIONE E LE CODIFICHE

Transcript

1 L INFORMAZIONE E LE CODIFICE

2 UN PO DI STORIA - La Teoria dell iformazioe è ata ella secoda metà del 900, sebbee il termie iformazioe sia atico (dal latio mettere i forma) - I omi più importati soo Nyquist, artley, Wieer ma soprattutto Shao co u suo lavoro del 1948 i cui sistematizzò la teoria. - L ambito della teoria dell iformazioe è, iformalmete, lo studio di come poter trasferire el tempo e ello spazio u messaggio da parte di ua sorgete fio ad u destiatario. Più formalmete la teoria dell iformazioe studia i problemi legati alla riproduzioe i u puto dello spazio ad u dato istate, i modo quato più esatto possibile, di u messaggio selezioato i u altro puto dello spazio, i u altro mometo (passato o presete). No soo quidi pertieti problemi come: sigificato del messaggio (sematica), iterpretazioe ed efficacia. - Shao ha quatificato l iformazioe di u messaggio itroducedo ua gradezza, detta Etropia (dal greco εν τροπε, caos itero ) i aalogia formale e cocettuale co la omoima fuzioe di stato utilizzata i Termodiamica (puto di vista macroscopico dei sistemi) e Meccaica Statistica (puto di vista microscopico dei sistemi). I questi cotesto vale quato segue: 1) dal puto microscopico qualuque sistema evolve verso uo stato di massima probabilità (o massimo disordie) 2) dal puto di vista macroscopico l etropia di u sistema evolve sempre verso u valore massimo - Vedremo el seguito i cosa cosiste questa equivaleza trovata da Shao

3 ELEMENTI ESSENZIALI DI UN SISTEMA DI COMUNICAZIONE sorgete TRASM caale RICEV. destiazioe - SORGENTE: Etità logica o fisica che trasmette il messaggio - TRASMETTITORE: Dispositivo che trasforma i messaggi i segali adatti ad essere trasmessi - CANALE: Mezzo fisico utilizzato per la trasmissioe - RICEVITORE: Dispositivo che esegue le stesse operazioi del trasmettitore ma i ordie iverso - DESTINAZIONE: Etità alla quale è destiato il messaggio

4 COME MISURARE L INFORMAZIONE - Dato che o esiste ua defiizioe operativa di iformazioe occorre rifarsi a ragioameti euristici cioè basati su cosiderazioi ituitive - Shao partì dalla cosiderazioe che i u esperimeto, l etropia è la misura delle possibilità (esiti o combiazioi) offerte: el lacio di ua moeta gli esiti possibili soo solo due (testa o croce), metre el lacio di u dado soo sei. Quidi l etropia di u dado è maggiore dell etropia di ua moeta - Suppoiamo ora di avere due messaggi A e B: la sorgete trasmette A se el lacio di ua moeta esce TESTA metre B se el lacio di u dado esce - Suppoiamo che il destiatario sia a coosceza di questa associazioe: si aspetta quidi di ricevere il messaggio A perché più probabile del messaggio B (1/2 cotro 1/6). Se riceve il messaggio B quidi resterà sorpreso. - Se associamo la quatità di iformazioe alla sorpresa che il ricevere il messaggio provoca el destiatario, possiamo cocludere che l iformazioe di B è maggiore di quella di A, proprio come l etropia del dado (e quidi di B) è maggiore della moeta (e quidi di A). - Cocludiamo quidi che: 1) U eveto è tato più sorpredete quato più è improbabile 2) La quatità di iformazioe di u eveto è legata alla sorpresa che esso geera 3) La quatità di iformazioe è tato maggiore quato più u eveto è improbabile

5 UNA MISURA DELL INFORMAZIONE - Suppoiamo di avere u sacchetto co N pallie: 8 rosse, 7 verdi, 5 gialle ed ua era - Suppoiamo di utilizzare la seguete tabella di associazioe COLORE LETTERA PROBABILITA - Suppoiamo di estrarre ua pallia rossa: o e saremo stupiti perché esse soo di più. Lo stesso vale ache per le verdi (ua i meo). Se ivece esce la era la ostra sorpresa sarà maggiore. - Ad ogi estrazioe, l icertezza sui simboli successivi che si potrebbero ricevere dimiuisce sempre di più. Se esce la pallia era si ha la massima elimiazioe di icertezza, essedo ora oi sicuri che potremmo ricevere solo A, C o I. - Quidi, possiamo cocludere ache che la quatità di iformazioe e la quatità di icertezza rimossa coicidoo A C I Q

6 L INFORMAZIONE E LA SUA MISURA - Dalle regolarità osservate potremmo dire che, se Q idica la quatità di iformazioe coteuta el messaggio m che ha probabilità P di essere emesso, avremo: - Q(m) è tale che: - P(m) è tale che: - Duque: - f è quidi tale che: Q(m) = f(1/p(m)) Q(m 1, m 2 ) = Q(m 1 ) + Q(m 2 ) [m 1 e m 2 soo messaggi geerici] P(m 1, m 2 ) = P(m 1 )P(m 2 ) [dal calcolo delle prob.co m 1 m 2 idipedeti] Q(m 1, m 2 ) = Q(m 1 ) + Q(m 2 ) = P(m 1, m 2 ) = P(m 1 ) P(m 2 ) f(1/p(m 1 )) + f (1/P(m 2 )) = f (1/P(m 1 )*1/P(m 2 )) f log

7 INFORMAZIONE UNITARIA - Come base per il logaritmo si sceglie quella che corrispode alla quatità di iformazioe uitaria - Defiiamo iformazioe uitaria quella associata ad ua sorgete co u alfabeto di due soli simboli equiprobabili (es. ua moeta) I questo caso: da cui l equazioe - I defiitiva - Q si misura i bit (biary digit) Q(m) 1; P(m) = 0.5 log x (1/0.5) = 1 x = 2 Q(m) = log 2 (1/P(m)) = - log 2 (P(m)) o Q = - log 2 (P) - I geerale, si avrà el caso di u alfabeto co simboli, oguo dotato di probabilità P k : Q = k = 1 log 2 P k 1 Pk = k Q = log2

8 QUANTITA DI INFORMAZIONE MEDIA - Se i simboli o soo equiprobabili si itroduce il valor medio della quatità di iformazioe valutato su tutti i simboli dell alfabeto della sorgete. - Se l alfabeto ha simboli, si può dimostrare che (cfr. distr. prob.): i= 1 2 ( ) P log P = i - è detta ENTROPIA della sorgete e si misura i bit/simbolo (essedo ifatti ua iformazioe media su N simboli) i - Se si ha P i = 1/ i =log 2 =Q/ - Si dimostra che i questo caso l etropia è massima - Ifatti se N = 2, P 1 + P 2 = 1, poedo P 1 = x si ha P 2 = 1 - x ( ) ( ) ( x) = x log x (1 x)log 1 x 2 2 MAX = log 2 x

9 CODIFICE DI SORGENTE - Servoo per ottimizzare la trasmissioe dati - Esistoo codici a lughezza variabile e fissa: Lughezza variabile Alfabeto: {[ Lughezza fissa: Simbolo Codice Simbolo Codice { {{ [ {[ {[ [{ [{ [[ - Se u alfabeto ha k lettere, il umero di simboli da trasmettere, la lughezza miima di u messaggio deve essere L mi log k k = 2 L mi MAX - Nel caso precedete = 4, k = 2 e L mi = 2

10 CODIFICE DI SORGENTE ED ENTROPIA - Il cocetto di Etropia può essere utile per defiire alcui parametri di ua sorgete di messaggi biari, quali la lughezza media L, l efficieza η e la ridodaza γ di codice. I particolare si ha: L = Pm i i i= 1 m i è il umero di lettere co cui è codifica l i-esimo simbolo η = γ = 1 η L - Nel caso i cui i simboli siao equiprobabili, e se si utilizza ua codifica a lughezza fissa si ha: 1 L = Pm = Lmi = L i i i= 1 i= 1 - Se si utilizza u alfabeto biario (0 e 1) avremo mi - Avremo quidi L = L = log = mi 2 η = γ = 1 MAX MAX MAX