E una teoria matematica che tratta l aspetto simbolico dell informazione

Transcript

1 Che cos è la teoria dell informazione? E una teoria matematica che tratta l asetto simbolico dell informazione La teoria dell informazione ha origine nel 948 con la ubblicazione da arte di C. E. Shannon di A Mathematical theory of Communication Inizia un aroccio quantitativo alla nozione di informazione Viene introdotto un modello di un sistema di comunicazione in cui comare una sorgente di informazione ed una di rumore

2 Che cos è la teoria della codifica? E nata con la teoria dell informazione. E una teoria matematica che tratta il rocesso di raresentazione dell informazione in un dato formato (codifica) ed il rocesso inverso di recuero dell informazione nel suo formato originario (decodifica). La teoria della codifica fa uso della teoria dei numeri e dell algebra astratta. 2

3 Modello generale di un sistema di comunicazione/memorizzazione 3

4 Sistema di comunicazione digitale L obiettivo di ogni sistema di comunicazione è: La riroduzione di un messaggio emesso da una sorgente nel luogo dove l utente dell informazione è ubicato La distanza tra sorgente e utente uò essere: - COSIDEREVOLE (come nel caso delle trasmissioni intercontinentali) - MOLTO PICCOLA (come nella memorizzazione e recuero di dati usando l unità disco di un comuter) Informazione Sorgente S Messaggio astratto Segnale fisico D Destinazione 4

5 Sistema di comunicazione digitale Il canale di comunicazione ermette il trasorto dell informazione attraverso l utilizzo di tre risorse: - Potenza - Banda - Temo I disositivi di comunicazione ermettono di inviare l informazione attraverso il canale sfruttando le seguenti risorse: - Potenza di funzionamento (assorbita er calcoli, amlificazione, memorizzazione, ) - Memoria - Comlessità - Peso Le risorse del canale e dei disositivi devono essere utilizzate nel modo iù efficiente ossibile. Esistono vari comromessi tra risorse. 5

6 Rete di telecomunicazioni nodo (disositivo) collegamento 6

7 Pila Protocollare L'Oen Systems Interconnection (o modello OSI) è uno standard er reti di calcolatori roosto nel 978 dall'international Organization for Standardization (ISO). Codifica di sorgente e codifica crittografica Codifica di canale e modulazione 7

8 Sorgenti discrete stazionarie 8

9 Sorgenti e messaggi informativi Come misurare la quantità d informazione emessa da una sorgente? L uscita di una sorgente (il messaggio) consiste in una sequenza di simboli scelti in un insieme finito (l alfabeto di sorgente) Un meccanismo robabilistico regola l emissione di simboli consecutivi nel messaggio 9

10 Sorgenti e messaggi informativi Messaggi diversi in genere trasortano quantità diverse di informazione Si deve definire er la sorgente una quantità d informazione media (ETROPIA) l unità di misura dell informazione è il bit, che corrisonde all informazione associata all emissione di uno tra i due simboli equirobabili l entroia della sorgente raresenta il minimo numero medio di simboli binari (digit) che è necessario er raresentare ogni simbolo del messaggio 0

11 Sorgenti e messaggi informativi L uscita della sorgente uò dunque essere sostituita da una stringa di simboli binari che trasortano la stessa quantità di informazione ed hanno un numero medio di digit er simbolo della sorgente originaria vicino quanto desiderato all entroia della sorgente Il canale di comunicazione è il mezzo fisico usato er connettere la sorgente d informazione con il suo utente

12 Sorgenti e messaggi informativi I canali discreti senza memoria sono secificati da una legge robabilistica che lega i simboli dell alfabeto di ingresso al canale ai simboli dell alfabeto d uscita al canale stesso Un unto imortante è la conoscenza del massimo flusso di informazione media che uò attraversare il canale in modo affidabile: si arriva così alla definizione di caacità di canale ed al roblema di calcolarla 2

13 Sorgenti e messaggi informativi Il teorema della codifica di canale collega i concetti di entroia di una sorgente e caacità di un canale, stabilendo cosa significhi trasmissione affidabile e indicando come ottenerla 3

14 Variabili aleatorie e rocessi stocastici L ingresso e l uscita di uno qualsiasi dei blocchi di un sistema di comunicazione digitale uò essere modellizzato tramite una variabile aleatoria o, iù in generale, un rocesso stocastico. Se il sistema è senza memoria è sufficiente utilizzare come modello una variabile aleatoria. Si consideri un eserimento stocastico in cui ω raresenta il risultato di una determinata osservazione; ω viene anche detto camione. L insieme costituito da tutti i camioni ω è detto sazio dei camioni. Una variabile aleatoria (ω) è un numero reale che viene assegnato ad ogni risultato ω di un eserimento stocastico. Analogamente una variabile aleatoria (ω) è una funzione misurabile che maa lo sazio dei camioni nell insieme dei numeri reali.

15 Sorgenti discrete senza memoria Alfabeto: insieme formato da simboli: { } A = x i i= Messaggio: è una sequenza finita o semi-infinita di simboli dell alfabeto. SORGETE DISCRETA STOCASTICA: Una sorgente discreta senza memoria è modellizzabile come una variabile aleatoria discreta a valori in A. Una sorgente discreta è un disositivo che emette messaggi attraverso la selezione di simboli dell alfabeto A, secondo una assegnata massa di robabilità: { } i i= = P ( x i i ) 5

16 Misura dell autoinformazione Definiamo il contenuto informativo (autoinformazione) legato all evento elementare =x i come: I ( x ) i = loga i a = base del logaritmo, determina l unità di misura di Se a=e (base del logaritmo naturale), si misura in nat I Se a=2 allora si misura in bit (binary unit) In tal caso si ha: ( ) x i e la corretta identificazione di uno tra due simboli equirobabili orta una quantità d informazione unitaria. el seguito si assume imlicitamente a=2. I ( ) I x i ( x ) = I( x ) = 2 2 log 2 = I ( ) x i 6

17 Prorietà dell autoinformazione I ( x i ) L autoinformazione è una funzione continua di P(=x i ). (P) I( x ) 0, e I( x ) = 0 se = j j j 0 (P2) 7

18 Prorietà dell autoinformazione L autoinformazione I ( x i ) associata al simbolo i-esimo dell alfabeto di sorgente è legata alla incertezza riguardo la sua emissione (maggiore incertezza => maggiore informazione): I ( x ) > I( x ) se < j i j i (P3) L autoinformazione associata all emissione di due simboli indiendenti è la somma delle due autoinformazioni: Se P ( x, x ) = P( x ) P( x ) allora I( x, x ) = I( x ) + I( x i j i j i j i j ) (P4) 8

19 Misura dell informazione: ETROPIA dell alfabeto di sorgente ( ) Partendo dalla definizione di e calcolandone il valore atteso, si uò caratterizzare la variabile aleatoria che modellizza la sorgente tramite la quantità: I x i H ( ) = E I( x ) x { } = ( ) = x I x i i i i= i= i log i H() è chiamata ETROPIA di sorgente e, er come è definita, indica il contenuto informativo medio di. H() si misura in bit/simbolo Utilizzeremo all occorrenza la notazione: H ( ) = H (, 2,..., ) 9

20 Prorietà dell informazione media (entroia) Continuità: l informazione media H ( ) associata alla variabile aleatoria è una funzione continua della massa di robabilità k della variabile aleatoria. (P) on negatività: H( ) 0 (P2) 20

21 Prorietà dell informazione media (entroia) Esandibilità: H + (, 2,..., ) = H (, 2,...,,0) (P3) Massimalità: H (, 2,..., ) H,,..., (P4) 2

22 Monotonicità: (P5) Prorietà dell informazione media (entroia) Prorietà dell informazione media (entroia) < +,...,,,...,, H H 22 Concavità: è una funzione concava. (P6) ),...,, ( 2 H

23 Prorietà dell informazione media (entroia) el seguito verrà utilizzata la convenzione: 0 log 0 = a 0 Che è una conseguenza del fatto che: lim x log x = 0 x + a 0 23

24 Esemio. Entroia er il caso = 2, con robabilità generiche: = = q = e 2 si calcola cosi : 2 H ( + ( ) = log )log = H 2 ( ) 24

25 Esemio.2 Entroia di un alfabeto di sorgente comosto da = 4 simboli aventi le robabilità: si calcola cosi : = /2, 2 = /4, 3 = 4 = /8 H ( ) = log log log 2 8 = Entroia nel caso di alfabeto di sorgente con simboli equirobabili, er generico bit/simbolo si calcola cosi : H ( ) = i= log 2 = log 2 25

26 Esemio.3 Sia la variabile aleatoria associata al lancio di un dado non truccato. Calcolare l entroia di. Soluzione: La variabile aleatoria ha distribuzione di robabilità uniforme con: i =, i 6 =,2,...,6 6 H( ) = i log = log2 6 = log2 i = i i= 6 6 = ln6 ln 2 = 2.58 bit / simbolo ricordando la formula del cambio di base er i logaritmi: log log a x = log b b x a 26

27 Limiti dell'entroia Le rorietà (P2) e (P4) ossono essere riscritte definendo i limiti er l entroia: 0 H() log In articolare si ha H() = 0 se esiste k tale che k =. Inoltre si ha H() = log, se è una variabile aleatoria discreta uniformemente distribuita, cioè k =/. Infatti: ricordando che : k = = e k = k =, e utilizzando la differenza : H ( ) log = k = k log k k = k log k = log = k k 27

28 Limiti dell'entroia - cont. ln y y, er y > 0, Utilizziamo: che diventa uguaglianza er y=0 Uguaglianza se: = k ovvero: = (simboli equirobabili) k 28

29 Interretazione del termine Bit bit (binary unit): unità di misura dell'informazione. Può avere qualsiasi valore reale non negativo. el assato era indicato come "binit". bit (binary digit): indica una variabile discreta (binaria) che uò avere due soli valori ossibili comunemente indicati con "0" e "". Può avere soltanto valori interi che stanno ad indicare quante variabili binarie vengono utilizzate. el assato era indicato come "bigit". Dall'esemio. si vede come una sorgente binaria (che emette dei binary digit) ha un contenuto medio di informazione H() ari ad bit/simbolo (binary unit) se e solo se i due simboli "0" ed "" sono equirobabili. Allo stesso modo, il contenuto di informazione I(x ) del singolo evento x =0 è ari ad bit se e solo se P(x )=/2.

30 Libri di Testo Ernestina Cianca, Mauro De Sanctis, Marina Ruggieri, Information and Coding: Theory Overview, Design, Alications and Exercices, ARACE editrice, Italy, ISB , May R. G. Gallager, Information Theory and Reliable Communication, John Wiley & Sons, ew York, 968. Andrew J. Viterbi, Jim K. Omura, Princiles of Digital Communication and Coding, McGraw-Hill, 979. T. M. Cover, J. A. Thomas, Elements of Information Theory, John Wiley & Sons, ew York, 99. Steven Roman, Coding and Information Theory, Sringer, ew York, 992.

31 Riferimenti Harry yquist, Certain Factors Affecting Telegrah Seed, The Bell System Technical Journal, Aril 924. Harry yquist, Certain Toics in Telegrah Transmission Theory, A.I.E.E. Transactions, vol. 47, Aril 928. R. V. L. Hartley, Transmission of Information, The Bell System Technical Journal, vol. 3, , July 928. Claude E. Shannon, A Mathematical Theory of Communication, The Bell System Technical Journal, vol. 27, and , July - October 948. Claude E. Shannon, Communication Theory of Secrecy Systems, The Bell System Technical Journal, vol. 28, , October 949. R. W. Hamming, Error Detecting and Error Correcting Codes, The Bell System Technical Journal, vol. 29, 950.