Inforatica e Counicazione Digitale Fondaenti di Inforatica rof.ssa E. Gentile a.a. 20-202 Cosa è l inforazione L inforazione è qualcosa che si possiede e si può dare ad un altro senza perderne il possesso. rof.ssa E. Gentile Fondaenti di Inforatica 2 Inforazione L Inforazione non attesa non può essere ricevuta Essa richiede una incertezza da parte di colui che la riceve Non deve essere Abigua. rof.ssa E. Gentile Fondaenti di Inforatica 3
A cosa serve er risolvere una incertezza er prendere decisioni er risolvere problei rof.ssa E. Gentile Fondaenti di Inforatica 4 Condizioni necessarie Sorgente e Ricevente hanno un codice in coune L incertezza del Ricevente è tra un nuero ben definito di possibilità rof.ssa E. Gentile Fondaenti di Inforatica 5 Messaggio Il Sorgente [S] produce un Messaggio [M] Il Messaggio odifica lo stato del Ricevente [R] S M R rof.ssa E. Gentile Fondaenti di Inforatica 6 2
Definizione di Inforazione Livello seantico: il significato Livello sintattico: la fora o struttura Livello pragatico: reazione del ricevente rof.ssa E. Gentile Fondaenti di Inforatica 7 Struttura dell inforazione La struttura delle inforazioni influisce sui tepi di accesso alle inforazioni stesse La struttura delle inforazioni nasconde l inforazione rispetto ad accessi diversi da quelli per cui la struttura è stata creata rof.ssa E. Gentile Fondaenti di Inforatica 8 Codice Nuero o sigla alfanuerica sostituente, allo scopo di facilitare il trattaento delle inforazioni, la descrizione di cose, persone e situazioni. (Voc. Zanichelli) In senso inforatico è una regola per far corrispondere dei noi (i dati) a degli oggetti (le inforazioni) rof.ssa E. Gentile Fondaenti di Inforatica 9 3
Definizione di Shannon L inforazione è tutto ciò che può consentire di ridurre il nostro grado di incertezza su un evento che si può verificare rof.ssa E. Gentile Fondaenti di Inforatica 0 rocesso counicativo È coposto da cinque parti: Un ittente: che produce un essaggio da counicare ad un altra entità Un trasettitore: che codifica il essaggio in odo che possa viaggiare su un canale di counicazione Un canale di counicazione Un ricevitore: che riceve ciò che viaggia sul canale e lo decodifica per riconoscere il essaggio Un destinatario: al quale giunge un essaggio rof.ssa E. Gentile Fondaenti di Inforatica Ipotesi di Shannon La trasissione dei siboli lungo il canale costituisce un fenoeno discreto Ovvero, l invio di ciascun sibolo richiede una certa quantità di tepo, finita e non nulla Esiste una sorgente di ruore Agisce sul canale odificando il contenuto sintattico dell inforazione, la sua fora rof.ssa E. Gentile Fondaenti di Inforatica 2 4
rocesso counicativo di Shannon S T R D N S = Sorgente; T = Trasettitore; R = Ricevitore; D = Destinatario; N = Sorgente di Ruore rof.ssa E. Gentile Fondaenti di Inforatica 3 roblei da affrontare Coe isurare la quantità di inforazione che viaggia lungo il canale Coe garantire trasissioni sicure Coe garantire trasissioni affidabili rof.ssa E. Gentile Fondaenti di Inforatica 4 Definizione di Entropia L entropia è la isura del disordine di un sistea iù ordinato o strutturato è un sistea inore è l entropia e viceversa rof.ssa E. Gentile Fondaenti di Inforatica 5 5
Inforazione Il BIT è la quantità di Inforazione che risolve un incertezza Binaria 0 X = {x,, x n } insiee di caratteri che può essere trasesso (x i ) la probabilità che x i sia trasesso ( x ) I i = log2 ( x ) i rof.ssa E. Gentile Fondaenti di Inforatica 6 Concetto di Incertezza iù grande è la nostra incertezza su ciò che dovrà contenere un essaggio, e aggiore sarà l inforazione che ricevereo quando il essaggio sarà arrivato rof.ssa E. Gentile Fondaenti di Inforatica 7 Misura dell inforazione È dunque logico fondare la isura dell inforazione associata ad un essaggio sulla probabilità che il essaggio stesso si verifichi rof.ssa E. Gentile Fondaenti di Inforatica 8 6
Sistea discreto Supponiao che il sorgente eette siboli discreti, ciascuno dei quali si suppone abbia la stessa durata degli altri Uno dei odi più seplici di specificare l inforazione contenuta in un sibolo discreto consiste nel prendere il logarito, cabiato di segno, della probabilità che tale sibolo venga eesso. rof.ssa E. Gentile Fondaenti di Inforatica 9 Misura dell inforazione H = log H indica la isura dell inforazione è la probabilità del sibolo Il logarito è in una base che deterina l unità di isura dell inforazione H = log2 bit rof.ssa E. Gentile Fondaenti di Inforatica 20 Inforazione edia di più siboli Si consideri una sorgente avente i tre siboli A, B e C, che vengono eessi con probabilità (A), (B) e (C) L inforazione associata ad A è: H A = log2 a per A che viene eesso per circa (a)-esii di tepo ( ) ( ) bit rof.ssa E. Gentile Fondaenti di Inforatica 2 7
Entropia della sorgente er una sorgente x, con siboli, se l i-esio sibolo ha una probabilità (i) H ( x) = ( i) log ( i) i= H prende il noe di entropia della sorgente bit/secondo rof.ssa E. Gentile Fondaenti di Inforatica 22 roprietà uno Se tutte le (i), una sola esclusa, sono nulle, allora H(x)=0 non essendovi incertezza sul risultato, non v è neppure inforazione rof.ssa E. Gentile Fondaenti di Inforatica 23 roprietà due Se tutte le (i) sono uguali i = allora H(x) è assia: H = ( ) ( x) log = log = rof.ssa E. Gentile Fondaenti di Inforatica 24 8
roprietà tre Siano in gioco due siboli, x e y, con possibilità per x e n per y Se (i,j) è la probabilità congiunta dell eissione dell i-esio sibolo di x e dell j-esio sibolo di y, allora l entropia della sorgente doppia è definita da: H n ( x, y) = ( i, j) log ( i, j) i= j= rof.ssa E. Gentile Fondaenti di Inforatica 25 Indipendenza dei siboli La relazione precedente include le sorgenti discrete in cui i siboli non sono indipendenti Esiste una effettiva interdipendenza fra i siboli la cui influenza può essere introdotta nell entropia rof.ssa E. Gentile Fondaenti di Inforatica 26 Interdipendenza Siano x e y due gruppi di siboli coe nella proprietà 3 er ogni valore i che x può assuere esiste una probabilità condizionale (i j) che y valga j rof.ssa E. Gentile Fondaenti di Inforatica 27 9
Entropia Condizionale L entropia condizionale di y sotto la condizione che lo preceda x è: H n ( y x) = ( i, j) log ( j i) i= j= rof.ssa E. Gentile Fondaenti di Inforatica 28 robabilità congiunte Le probabilità congiunte sono legate a quelle condizionali dalla relazione: ( i, j) = ( i) ( j i) Sostituendo questa relazione in quella definita nella proprietà 3 si ha: H n ( x, y) = ( i) ( j i) log ( i) ( j i) i= j= rof.ssa E. Gentile Fondaenti di Inforatica 29 ossia H n ( x, y) = ( i) ( j i) log ( i) ( i, j) log ( j i) Se i è costante: j= e quindi: i= j= i= j= ( i) ( j i) log ( i) = ( i) log ( i) H ( x, y) = n ( i) log ( i) ( i, j) log ( j i) i= i= j= n rof.ssa E. Gentile Fondaenti di Inforatica 30 0
Entropia Congiunta Il prio terine non è altro che H(x), entre il secondo terine è H(y x) ( x, y) = H ( x) + H ( y x) H Se i siboli sono indipendenti allora: ( x, y) = H ( x) H ( y) H + rof.ssa E. Gentile Fondaenti di Inforatica 3 Entropia Congiunta Se due sorgenti producono una successione di siboli che non hanno relazioni o legai fra loro, allora l entropia congiunta di una coppia di siboli qualsiasi è data dalla soa delle entropie relative ai due siboli rof.ssa E. Gentile Fondaenti di Inforatica 32 Esepio Si consideri il lancio di una oneta Sia all uscita testa che croce è associata una inforazione pari a: log = bit 2 L inforazione edia o entropia è: H = log log = bit sibolo 2 2 2 2 rof.ssa E. Gentile Fondaenti di Inforatica 33
Esepio 2 Consideriao una sorgente con 6 siboli A, B, C, D, E, F le cui probabilità sono: ( A) = 2 ( B) = 4 ( C) = 8 ( D) = 6 ( E) = 32 ( F ) = 32 rof.ssa E. Gentile Fondaenti di Inforatica 34 L inforazione edia 2 H = log 2 log 6 + 4 + 6 log 4 log 32 + 8 + 32 log 8 + log 32 32 = 5 bit 6 sibolo rof.ssa E. Gentile Fondaenti di Inforatica 35 Entropia in bit al secondo L entropia espressa in bit per sibolo è indicata con H L entropia isura in bit/secondo è indicata con H Se s è il tasso di invio dei siboli (nuero di bit trasessi in un secondo) allora: H =sh rof.ssa E. Gentile Fondaenti di Inforatica 36 2
Esepio 3 (i) (j i) (i,j)=(i)(j i) i (i) i i A B C i i A B C A 9/27 A 0 4/5 /5 A 0 4/5 /5 B 6/27 B /2 /2 0 B 8/27 8/27 0 C 2/27 C /2 2/5 /0 C /27 4/35 /35 rof.ssa E. Gentile Fondaenti di Inforatica 37 Ridondanza È evide te che la pres nza di una interd pendenza fra i siboli dii uisce l entropia della sorge te rispetto ad una che ab ia siboli tutti indip ndenti. Una successione di siboli che dipendono gli uni dagli altri si dice ridondante Misuriao la ridondanza di una successione di siboli calcolando di quanto è stata ridotta l entropia La ridondanza è quindi definita coe: H E = H ( y x) ( x) rof.ssa E. Gentile Fondaenti di Inforatica 38 Canale discreto La capacità di trasettere inforazioni in un canale discreto si può isurare ediante il nuero di bit per unità di tepo che possono venire trasessi La capacità è quindi: C = li T log N T ( T ) rof.ssa E. Gentile Fondaenti di Inforatica 39 3
Teorea Siano H (bit/sibolo) e C (bit/secondo), rispettivaente, l entropia di una sorgente e la capacità di un canale senza ruore; È possibile codificare i siboli eessi dalla sorgente in odo di trasettere in edia: (C/H)-ε siboli al secondo ove ε è un nuero positivo arbitrario (<C/H). Non è possibile trasettere con velocità superiore a C/H siboli al secondo. rof.ssa E. Gentile Fondaenti di Inforatica 40 Esepio oniao a 20 persone la doanda: Sei destro o ancino? La risposta sarà D=Destro o M=Mancino e sono equiprobabili e indipendenti: Supponiao che la risposta sia trasessa nell ordine giusto in cui è data: DDDMDDMDMDDDMD Non ci basta sapere quanti sono D e quanti M rof.ssa E. Gentile Fondaenti di Inforatica 4 Efficienza di codificazione Se diciao efficienza di codificazione il rapporto fra entropia del essaggio originale e la capacità di canale richiesta, risulta che nell esepio: 0,2864 η c = 00% = 84,6% 0,35 rof.ssa E. Gentile Fondaenti di Inforatica 42 4
Canali discreti con ruore Consideriao ora il caso in cui la trasissione non è perfetta a causa della presenza di ruore nel canale. Supponiao che il disturbo su un sibolo sia indipendente dai siboli precedenti e successivi. rof.ssa E. Gentile Fondaenti di Inforatica 43 Entropie H(x) = entropia della sorgente o d ingresso del canale H(y) = entropia del ricevente o d uscita del canale H(y/x) = entropia dell uscita, nota l entrata H(x/y) = entropia dell entrata, nota l uscita H(x,y) = entropia congiunta dell ingresso e dell uscita Relazioni H(x,y) = H(x) + H(y/x) H(x,y) = H(y) + H(x/y) rof.ssa E. Gentile Fondaenti di Inforatica 44 Sistea ideale di counicazioni Osservatore + Sorgente Trasettitore Ricevitore + Dispositivo di correzione r(t) rof.ssa E. Gentile Fondaenti di Inforatica 45 5
Canale binario sietrico -p 0 0 p H(x) H(y) p -p Sorgente Ricevente rof.ssa E. Gentile Fondaenti di Inforatica 46 L inforazione ( ) ( ) ( ) ( ) ( ) ( ) nessunerrore = 0 = è + è0 0 0 Ossia: ( 0) = ( p) + ( p) = p 2 2 La probabilità che l osservatore invii un è: = 2 2 ( errore) = ( ) = p + p p L entropia del segnale è: ( p) log( p) p log p rof.ssa E. Gentile Fondaenti di Inforatica 47 Tasso di trasissione del canale τ = ( x) H ( x y) bit sec H H(x/y) viene detto equivocazione e rappresenta l inforazione perduta per la presenza di ruore nel canale rof.ssa E. Gentile Fondaenti di Inforatica 48 6
Capacità di un canale discreto senza ruore { H ( x) H ( x y) } bit sec C = ax rof.ssa E. Gentile Fondaenti di Inforatica 49 7