Teoria dell Informazione

Transcript

1 Fondamenti di Informatica per la Sicurezza a.a. 2008/09 Teoria dell Informazione Stefano Ferrari UNIVERSITÀ DEGLI STUDI DI MILANO DIPARTIMENTO DI TECNOLOGIE DELL INFORMAZIONE Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 1/21 Informazione Il termine informazione è usato in molti contesti e con molte accezioni. Portano informazione: una certa distribuzione di gocce di inchiostro su un foglio; una certa sequenza di lettere dell alfabeto; una certa sequenza di parole della lingua italiana. Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 2/21 Stefano Ferrari Fondamenti di Informatica per la Sicurezza a.a. 2008/09 1

2 Informazione Si individuano diversi livelli di informazione: sintattico: l informazione sintattica è legata alle configurazioni del supporto fisico; semantico: l informazione semantica è legata al significato attribuibile alle diverse configurazioni del supporto fisico; pragmatico: l informazione pragmatica è legata al valore attribuibile alle diverse configurazioni del supporto fisico. Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 3/21 Teoria dell informazione La branca dell informatica nota come teoria dell informazione studia l informazione di tipo sintattico. Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 4/21 Stefano Ferrari Fondamenti di Informatica per la Sicurezza a.a. 2008/09 2

3 Misura dell informazione(1) Qual è la natura dell informazione? Come si può misurare l informazione? Per rispondere a queste domande proviamo ad analizzare alcuni casi. Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 5/21 Misura dell informazione(2) Poniamo il caso di dover comunicare se un determinato evento è accaduto oppure no. Consideriamo le seguenti modalità per comunicare l evento: 1. organizziamo un falò da qualche decina di metri cubi di legna; 2. accendiamo un cerino. Quale modalità trasferisce più informazione? Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 6/21 Stefano Ferrari Fondamenti di Informatica per la Sicurezza a.a. 2008/09 3

4 Misura dell informazione(3) Larispostaèchiara:siachivedeilcerino,siachivede il falò hanno la stessa informazione. Quindi, si può trarre una prima conclusione: la quantità di informazione dipende dall evento, non dal mezzo di comunicazione! Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 7/21 Misura dell informazione(4) Consideriamo ora le seguenti domande: a)quantisonoisettenani? b)qualelatodellamonetachehoappenalanciatoè uscito? Quale risposta fornisce più informazione? Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 8/21 Stefano Ferrari Fondamenti di Informatica per la Sicurezza a.a. 2008/09 4

5 Misura dell informazione(5) La risposta alla domanda a) è conosciuta. Larispostaalladomandab),magarinonè interessante, ma toglie un dubbio. Possiamo trarre una seconda conclusione: l informazione è legata all incertezza. Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 9/21 Misura dell informazione Ipotizziamo un messaggio che contenga un simbolo x sceltodauninsieme X = {x i 1 i n}di nsimboli (detto alfabeto). Attraverso una funzione I( ), vorremmo misurare l informazione contenuta nel messaggio, I(x). Quali proprietà deve avere la funzione I( )? Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 10/21 Stefano Ferrari Fondamenti di Informatica per la Sicurezza a.a. 2008/09 5

6 Proprietà dell informazione(1) L informazione portata da una sequenza di simboli deve essere la somma dell informazione portata dai singoli simboli che compongono la sequenza stessa: I(x i x j ) = I(x i ) + I(x j ) Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 11/21 Proprietà dell informazione(2) Seilsimbolo x i èmenofrequente(omenoprobabile) delsimbolo x j,l informazioneportatada x i deve esseremaggioredell informazioneportatada x j : p(x i ) p(x j ) I(x i ) I(x j ) Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 12/21 Stefano Ferrari Fondamenti di Informatica per la Sicurezza a.a. 2008/09 6

7 Proprietà dell informazione(3) Se due simboli sono equiprobabili, l informazione da essi portata deve essere la stessa: p(x i ) = p(x j ) I(x i ) = I(x j ) Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 13/21 Proprietà dell informazione(4) Seècertocheundatosimboloappariràsulmessaggio, allora l informazione portata dal messaggio è nulla: p(x i ) = 1 I(x i ) = 0 Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 14/21 Stefano Ferrari Fondamenti di Informatica per la Sicurezza a.a. 2008/09 7

8 Proprietà dell informazione(5) Meno probabile è un simbolo, maggiore è l informazione da esso portata: p(x i ) 0 I(x i ) Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 15/21 Funzione informazione Una funzione che gode delle precedenti proprietà è: I(x) = log 2 p(x), p(x) > 0 Questa funzione ha il vantaggio di valere 1 se l insieme di simboli che il messaggio può contenere è costituito da soli due simboli equiprobabili. Intalcaso,ognimessaggioporta1bit! Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 16/21 Stefano Ferrari Fondamenti di Informatica per la Sicurezza a.a. 2008/09 8

9 Bit e informazione(1) Aquestopuntocisonoduesignificatiperilterminebit: unità di misura della capacità(o dell ingombro) di una rappresentazione binaria; unità di misura dell informazione. Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 17/21 Bit e informazione(2) Per codificare 256 simboli equiprobabili, si usano 8 cifre binarie. Ogni cifra binaria porta 1 bit di informazione. Se i simboli non fossero equiprobabili, alcune cifre potrebberoportare(inmedia)piùdi1bit,ealtre menodi1bit. Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 18/21 Stefano Ferrari Fondamenti di Informatica per la Sicurezza a.a. 2008/09 9

10 Indovinare un numero(1) Esempio Regole del gioco Indovina il numero : 1.unapersonapensaunnumerotra1e128; 2.perscopriretalenumeroglisipossonofaredelle domande; 3.atalidomande,lapersonapuòrisponderesolo Sì o No. Qual è il numero minimo di domande necessarie per indovinare il numero nascosto? Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 19/21 Indovinare un numero(2) Risposta: 7. Traccia: laconoscenzadelnumeroporta7bitdi informazione; con ogni domanda possiamo ottenere 1 bit di informazione. Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 20/21 Stefano Ferrari Fondamenti di Informatica per la Sicurezza a.a. 2008/09 10

11 Approfondimento Sciuto ed altri,"introduzione ai sistemi Informatici", McGraw Hill, 2005, terza edizione: gli argomenti trattati nel corso relativi alla codifica dell informazione, ma in ordine inverso(capitolo 2, pagg ); cenni di teoria della trasmissione(capitolo 4, pagg ). Stefano Ferrari Università degli Studi di Milano Fondamenti di Informatica per la Sicurezza Teoria dell Informazione a.a. 2008/09- p. 21/21 Stefano Ferrari Fondamenti di Informatica per la Sicurezza a.a. 2008/09 11