Corso: Strumenti di Teoria dell Informazione per l Informatica, Parte A (STII(A))

Transcript

1 STIIA Corso: Strumenti di Teoria dell Informazione per l Informatica, Parte A STIIA Classe: Matricole Pari Docente: Prof. Luisa Gargano Testo principale: T. Cover, J. Thomas, Elements of Information Theory, Wiley p. /29

2 Prove di esame Prova scritta comprendente domande di teoria ed esercizi Prova orale di norma facoltativa p. 2/29

3 Teoria dell Informazione The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point. Claude Shannon p. 3/29

4 Uno scenario esemplificativo Sonda Cassini: invia immagini dallo spazio Trasmissione: Segnale naviga molti minuti per arrivare, soggetto a rumore distorsione per raggi cosmici, attivitá solare,... 0 p p p p 0 Domanda: Come mai possimo vedere in modo chiaro le immagini trasmesse dalle sonde? p. 4/29

5 Uno scenario esemplificativo Compact Disk: Tantissimi dati memorizzati su piccolo CD Riproduzione: Ottima anche se CD graffiato Domanda: Come mai tanti dati memorizzati e nessuna distorsione anche se CD é graffiato? p. 5/29

6 Idea di base Non si trattano i dati da trasmettere, memorizzare,... direttamente, ma dopo averli trasformati eliminando la ridondanza efficienza aggiungendo ridondanza utile protezione dal rumore C. Shannon, 948 p. /29

7 Cosa si intende per Informazione? Il contenuto di informazione non ha nulla a che vedere col contenuto del messaggio, ma col numero di 0 e, necessari per trasmetterlo/memorizzarlo. La natura del messaggio numeri, musica, immagini é irrilevante. Curiositá. Nell articolo originale di Shannon 948 compare per la prima volta il termine bit binary unit. p. 7/29

8 In questo corso Come misurare l informazione Quanti bit servono per memorizzare dati? Mostreremo come possiamo comprimere l informazione di una sorgente al suo valore minimo teorico Es. Questo File x = 20, 8 KB File compresso gzip, 8 x/3 KB; stessa informazione e mostreremo un tradeoff tra la compressione dati e la distorsione Cosa fare se l informazione é alterata da errori? Mostreremo il Teorema di codifica canale: é possible ottenere una comunicazione quasi perfetta dell informazione su canali rumorosi. p. 8/29

9 Implicazioni La portata della scoperta di Shannon è enorme: essa ha rivoluzionato non solo le comunicazioni, ma anche tutti i processi di elaborazione dei dati. Il topo elettromeccanico di Shannon Theseus è stato uno dei primi tentativi di "insegnare" ad una macchina ad imparare In later years, his ideas spread beyond the fields of communications engineering and computer science, taking root in cryptography, the mathematics of probability and even investment theory. In biology, it has become second nature to think of DNA replication and hormonal signaling in terms of information New York Times Obituary, 200. p. 9/29

10 Applicazioni Le idee di Shannon hanno trasformato il mondo Comunicazione 948: Compressione dati, trasmissione su canali rumorosi Fisica 948: Relazioni tra entropia e termodinamica Matematica: Calcolo delle probabilitá e Statistica Informatica: Sistemi di elaborazione, Complessitá Economia: Gambling e Investimenti in Borsa p. 0/29

11 Applicazioni e la trasformazione continua. Comunicazione Oggi: Reti di calcolatori, reti wireless, sistemi P2P, Network Coding Fisica Oggi: trasmissione ed elaborazione degli stati quantici Bioinformatica: studio del DNA... p. 0/29

12 Prerequisiti Calcolo delle Probabilitá p. /29

13 Variabili casuali v.c. X v.c. con alfabeto X distribuita secondo P X P : per ogni x X ; px = Pr{X = x}, Nota: px 0 x X e x X px = p. 2/29

14 Variabili casuali v.c. X v.c. con alfabeto X distribuita secondo P X P : per ogni x X ; px = Pr{X = x}, Nota: px 0 x X e x X px = Es.: X = {, 2, 4} P = p = /2, p2 = /4, p4 = /4 2 4 X = p. 2/29

15 Variabili casuali v.c. X v.c. con alfabeto X distribuita secondo P X P : per ogni x X ; px = Pr{X = x}, Nota: px 0 x X e x X px = Es.Testo in inglese: X = {a,b,...,z, spazio }, P = pa = 0.058, pb = 0.03,...,p spazio = 0.93 a b... z spazio X = p. 2/29

16 Valore Atteso Valore medio di X v.c. con alfabeto X R e X P : E[X] = x X x px Es.: X = E[X] = /2 + 2/4 + 4/4 = 2 Es. Dado: X = E[X] = = 7 2 p. 3/29

17 Funzione di v.c. X f funzione reale, fx: v.c. su {fx x X }, E[fX] = x X pxfx Es.: X 2 = X = E[X] = , E[X 2 ] = 9 Y = log 2 PX E[Y ] = E [ ] log 2 PX = log = log p. 4/29

18 Consideriamo due V.c. X,Y. Distribuzione congiunta su X, Y : px,y = Pr{X = x,y = y}, x X,y Y X,Y indipendenti: px,y = pxpy, X X,y Y Probabilitá marginali: px = y px,y, py = x Prx,y. Probabilitá condizionali: py/x = pxy/px p. 5/29

19 Disuguaglianze utili: riepilogo Disuguaglianza di Markov Media Probabilitá: v.c. X 0, Pr{X k E[X]} k Chernoff Bound: X,...,X n v.c. iid indipendenti ed identicamente distribuite con valor medio µ { n i= Pr X } i µ n ǫ e ǫ2 n/2 Legge debole dei grandi numeri: X,...,X n,... v.c. iid con valor medio µ { n i= lim n Pr X } i µ n ǫ = 0 p. /29

20 Entropia Cruciale: determinare la quantitá di randomness di una d.p. X=v.c. discreta su X e d.p. px = Pr{X = x}, x X. Es. Lancio moneta M, moneta truccata MT, dado D t c t c... M =,MT = 3,D = Vogliamo una misura HX della randomness/incertezza sull esito di X o informazione che otteniamo in media conoscendo il valore assunto da X Deve risultare HMT < HM < HD p. 7/29

21 Contenuto di Informazione Informazione associata a valore x avente probabilitá px é M = MT = t 2 t 4 ix = log 2 px c, it = ic = 2 c, it = 2, ic = log = 2 log Eventi poco probabili danno maggiore informazione p. 8/29

22 Entropia Entropia di X: Informazione media degli elementi di X HX = x X pxix = x X px log 2 px M = t 2 c 2,MT = t 4 c 3 4,D = HM = 2 2 log 2 = 2 2 = HMT = 4 log log 3 4 = log log 3 < HD = log = + log 3 HMT < HM < HD p. 9/29

23 Significato operativo Entropia: Numero di bit per rappresentare l informazione Esempio Una persona assiste ad una corsa di cavalli a cui partecipano 8 cavalli tutti ugualmente favoriti. Quanti bit servono per indicare il vincitore? Calcoliamo l entropia di X : X = H X = 8 8 lg 8 = lg 8 = p. 20/29

24 Corsa di cavalli con diverse prob. vittoria X = Codifica deve tener conto delle diverse probabilità. : 0 2 : 0 3 : 0 4 : 0 5 : 0 0 : 0 7 : 0 8 : p. 2/29

25 Qualè il numero atteso di bit utilizzati per codificare il nome del vincitore? # bits parola codice probabilitá di vittoria = = = 8 = 2 HX = 2 lg 2+ 4 lg 4+ 8 lg 8+ lg +4 4 lg 4 = 2 p. 22/29

26 Esempio 2 Supponiamo di voler indovinare un valore x tra,...2 m, con domande del tipo é x i? Ricerca binaria: m domande per ogni valore {, 2, 3, 4} x 2? {, 2} x? {3, 4} x 3? {} {2} {3} {4} p. 23/29

27 Supponiamo di voler indovinare il valore della v.c X =. /2 /4 /8 /8 Quante domande dobbiamo porre in media? p. 24/29

28 Costruiamo un albero di decisione /2 /4 /8 /8 x? {} /2 /4 /4 x 2? {2} 3 4 /2 /2 x 3? {3} {4} p. 25/29

29 nx = numero di domande nel caso in cui X = x. In media il numero di domande è : x X Se X = nxpx = = 7 4 = H X HX = 4 4 log 4 = log 4 = 2 In generale il minimo numero medio di domande del tipo x D X? è compreso tra HX e HX + p. 2/29