Fondaenti di Inforatica Prof. V.L. Plantaura Inforatica e Counicazione Digitale a.a. 2006-2007 Cosa è l inforazione L inforazione è qualcosa che si possiede e si può dare ad un altro senza perderne il possesso. L Inforazione non attesa non può essere ricevuta Essa richiede una incertezza da parte di colui che la riceve Non deve essere Abigua Fondaenti di Inforatica 2 A cosa serve Per risolvere una incertezza Per prendere decisioni Per risolvere problei Fondaenti di Inforatica 3
Fondaenti di Inforatica 4 Condizioni necessarie Sorgente e Ricevente hanno un codice in coune L incertezza del Ricevente è tra un nuero ben definito di possibilità Messaggio Il Sorgente [S] produce un Messaggio [M] Il Messaggio odifica lo stato del Ricevente [R] S M R Fondaenti di Inforatica 5 Definizione di Inforazione Livello seantico: il significato Livello sintattico: la fora o struttura Livello pragatico: reazione del ricevente Fondaenti di Inforatica 6
Fondaenti di Inforatica 7 Struttura dell inforazione La struttura delle inforazioni influisce sui tepi di accesso alle inforazioni stesse La struttura delle inforazioni nasconde l inforazione rispetto ad accessi diversi da quelli per cui la struttura è stata creata Codice Nuero o sigla alfanuerica sostituente, allo scopo di facilitare il trattaento delle inforazioni, la descrizione di cose, persone e situazioni. (Voc. Zanichelli) In senso inforatico è una regola per far corrispondere dei noi (i dati) a degli oggetti (le inforazioni) Fondaenti di Inforatica 8 Definizione di Shannon L inforazione è tutto ciò che può consentire di ridurre il nostro grado di incertezza su un evento che si può verificare Fondaenti di Inforatica 9
Fondaenti di Inforatica 0 Processo counicativo È coposto da cinque parti: Un ittente: che produce un essaggio da counicare ad un altra entità Un trasettitore: che codifica il essaggio in odo che possa viaggiare su un canale di counicazione Un canale di counicazione Un ricevitore: che riceve ciò che viaggia sul canale e lo decodifica per riconoscere il essaggio Un destinatario: al quale giunge un essaggio Ipotesi di Shannon La trasissione dei siboli lungo il canale costituisce un fenoeno discreto Ovvero, l invio di ciascun sibolo richiede una certa quantità di tepo, finita e non nulla Esiste una sorgente di ruore Agisce sul canale odificando il contenuto sintattico dell inforazione, la sua fora Fondaenti di Inforatica Processo counicativo di Shannon S T R D N S = Sorgente; T = Trasettitore; R = Ricevitore; D = Destinatario; N = Sorgente di Ruore Fondaenti di Inforatica 2
Fondaenti di Inforatica 3 Problei da affrontare Coe isurare la quantità di inforazione che viaggia lungo il canale? Coe garantire trasissioni sicure? Coe garantire trasissioni affidabili? Definizione di Entropia L entropia è la isura del disordine di un sistea Più ordinato o strutturato è un sistea inore è l entropia e viceversa Fondaenti di Inforatica 4 Concetto di Incertezza Più grande è la nostra incertezza su ciò che dovrà contenere un essaggio, e aggiore sarà l inforazione che ricevereo quando il essaggio sarà arrivato Fondaenti di Inforatica 5
Fondaenti di Inforatica 6 Misura dell inforazione È dunque logico fondare la isura dell inforazione associata ad un essaggio sulla probabilità che il essaggio stesso si verifichi Misura dell inforazione Supponiao che la sorgente eetta siboli discreti ciascuno dei quali si suppone abbia la stessa durata degli altri H = log P H indica la isura dell inforazione P è la probabilità del sibolo Il logarito è in una base che deterina l unità di isura dell inforazione H = log2 P bit Fondaenti di Inforatica 7 Inforazione edia di più siboli Si consideri una sorgente avente i tre siboli A, B e C, che vengono eessi con probabilità P(A), P(B) e P(C) L inforazione associata ad A è: ( ) bit log 2 P A per A che viene eesso per circa P(A)-esii di tepo Fondaenti di Inforatica 8
Fondaenti di Inforatica 9 Inforazione edia L inforazione per B e C è: log 2 P( B) bit log 2 P( C) bit L inforazione edia H è: ( A) P( B)log P( B) P( C)log P( C) bit sibolo H = P A)log P / ( 2 2 2 Fondaenti di Inforatica Prof.ssa Enrica Gentile Inforatica e Counicazione Digitale a.a. 2006-2007 Entropia della sorgente Per una sorgente x, con siboli, se l i-esio sibolo ha una probabilità P(i) H ( x) = P() i log P() i i= H prende il noe di entropia della sorgente bit/sibolo Fondaenti di Inforatica 2
Fondaenti di Inforatica 22 Proprietà Se tutte le P(i), una sola esclusa, sono nulle, allora H(x)=0 non essendovi incertezza sul risultato, non v è neppure inforazione Proprietà 2 Se tutte le P(i) sono uguali P() i = allora H(x) è assia: H = ( x) log = log = Fondaenti di Inforatica 23 Proprietà 3 Entropia congiunta Siano in gioco due siboli, x e y, con possibilità per x e n per y Se P(i,j) è la probabilità congiunta dell eissione dell i-esio sibolo di x e dell j-esio sibolo di y, allora l entropia della sorgente doppia è definita da: H n ( x, y) = P( i, j) log P( i, j) i= j= Fondaenti di Inforatica 24
Fondaenti di Inforatica 25 Indipendenza dei siboli La relazione precedente include le sorgenti discrete in cui i siboli non sono indipendenti Esiste una effettiva interdipendenza fra i siboli, la cui influenza può essere introdotta nell entropia Probabilità condizionale Siano x e y due gruppi di siboli coe nella proprietà 3 Per ogni valore i che x può assuere esiste una probabilità condizionale P(j i) che y valga j Fondaenti di Inforatica 26 Entropia Condizionale L entropia condizionale di y sotto la condizione che lo preceda x è: H n ( y x) = P( i, j) log P( j i) i= j= Fondaenti di Inforatica 27
Fondaenti di Inforatica 28 Probabilità congiunte e condizionali Le probabilità congiunte sono legate a quelle condizionali dalla relazione: ( i, j) = P( i) P( j i) P Sostituendo questa relazione in quella definita nella proprietà 3 si ha: H n ( x, y) = P( i) P( j i) log P( i) P( j i) i= j= ossia H n ( x, y) = P() i P( j i) log P() i P( i, j) log P( j i) Se i è costante: n j= P e quindi: i= j= i= j= () i P( j i) log P() i = P() i log P() i H ( x, y) = P n () i log P() i P( i, j) log P( j i) i= i= j= n Fondaenti di Inforatica 29 Entropia Congiunta Il prio terine non è altro che H(x), entre il secondo terine è H(y x) ( x, y) = H ( x) + H ( y x) H Se i siboli sono indipendenti allora: ( x, y) = H ( x) H ( y) H + Fondaenti di Inforatica 30
Fondaenti di Inforatica 3 Entropia Congiunta Se due sorgenti producono una successione di siboli che non hanno relazioni o legai fra loro, allora l entropia congiunta di una coppia di siboli qualsiasi è data dalla soa delle entropie relative ai due siboli Esepio Si consideri il lancio di una oneta Sia all uscita testa che croce è associata una inforazione pari a: log = bit 2 L inforazione edia o entropia è: H = log log = bit sibolo 2 2 2 2 Fondaenti di Inforatica 32 Esepio 2 Consideriao una sorgente con 6 siboli A, B, C, D, E, F le cui probabilità sono: P ( A) = 2 P( D) = 6 P( B) = 4 P( E) = 32 P( C) = 8 P( F ) = 32 Fondaenti di Inforatica 33
Fondaenti di Inforatica 34 L inforazione edia 2 H = log 2 log 6 + 4 + 6 log 4 log 32 log 8 + 8 + 32 + log 32 32 = 5 bit 6 sibolo Entropia in bit al secondo L entropia espressa in bit per sibolo è indicata con H L entropia isurata in bit/secondo è indicata con H Se s è il tasso di invio dei siboli (nuero di bit trasessi in un secondo) allora: H =sh Fondaenti di Inforatica 35 Esepio 3 P(i) P(j i) P(i,j)=P(i)P(j i) i P(i) i i A B C i i A B C A 9/27 A 0 4/5 /5 A 0 4/5 /5 B 6/27 B /2 /2 0 B 8/27 8/27 0 C 2/27 C /2 2/5 /0 C /27 4/35 /35 Fondaenti di Inforatica 36
Fondaenti di Inforatica 37 Ridondanza È evide te che la pres nza di una interd pendenza fra i siboli dii uisce l entropia della sorge te rispetto ad una che ab ia siboli tutti indip ndenti. Una successione di siboli che dipendono gli uni dagli altri si dice ridondante Misuriao la ridondanza di una successione di siboli calcolando di quanto è stata ridotta l entropia La ridondanza è quindi definita coe: H E = H ( y x) ( x) Canale discreto La capacità di trasettere inforazioni in un canale discreto si può isurare ediante il nuero di bit per unità di tepo che possono venire trasessi La capacità è quindi: C = li T log N T ( T ) Fondaenti di Inforatica 38 Diostrazione di Shannon Shannon ha diostrato che, codificando opportunaente il segnale da trasettere, la capacità di canale può al assio uguagliare l entropia della sorgente H Fondaenti di Inforatica 39
Fondaenti di Inforatica 40 Teorea Siano: H (bit/sibolo) l entropia di una sorgente C (bit/secondo) la capacità di un canale senza ruore; È possibile codificare i siboli eessi dalla sorgente in odo da trasettere in edia: (C/H)-ε siboli al secondo dove ε è un nuero positivo arbitrario (<C/H). Non è possibile trasettere con velocità superiore a C/H siboli al secondo. Esepio Poniao a 20 persone la doanda: Sei destro o ancino? La risposta sarà D=Destro o M=Mancino e sono equiprobabili e indipendenti: Supponiao che la risposta sia trasessa nell ordine giusto in cui è data: DDDMDDMDMDDDMD Non ci basta sapere quanti sono D e quanti M Fondaenti di Inforatica 4 Esepio Supponiao che, in edia, solo il 5% della popolazione è ancina. L inforazione edia delle risposte è: H = 0,95log 0,95 0,05log 0,05 = 0,2864bit / sibolo La capacità di canale è bit/sec Possiao ridurre la capacità di canale necessaria se codifichiao il essaggio Pertanto, la capacità di canale si riduce a 0,35 bit/sec Fondaenti di Inforatica 42
Fondaenti di Inforatica 43 Efficienza di codificazione Diciao efficienza di codificazione il rapporto fra entropia del essaggio originale e la capacità di canale richiesta Per l esepio precedente risulta: η c η c = C H 00% 0,2864 = 00% = 84,6% 0,35 Canali discreti con ruore Consideriao ora il caso in cui la trasissione non è perfetta a causa della presenza di ruore nel canale. Supponiao che il disturbo su un sibolo sia indipendente dai siboli precedenti e successivi. Fondaenti di Inforatica 44 Entropie H(x) = entropia della sorgente o d ingresso del canale H(y) = entropia del ricevente o d uscita del canale H(y/x) = entropia dell uscita, nota l entrata H(x/y) = entropia dell entrata, nota l uscita H(x,y) = entropia congiunta dell ingresso e dell uscita Relazioni H(x,y) = H(x) + H(y/x) H(x,y) = H(y) + H(x/y) Fondaenti di Inforatica 45
Fondaenti di Inforatica 46 Sistea ideale di counicazioni Osservatore + Sorgente Trasettitore Ricevitore + Dispositivo di correzione r(t) Canale binario sietrico -p 0 0 p H(x) H(y) p -p Sorgente Ricevente Fondaenti di Inforatica 47 L inforazione ( ) ( ) ( ) ( ) ( ) ( ) P nessunerrore = P 0 = P è P + P è0 P 0 0 Ossia: P( 0) = ( p) + ( p) = p 2 2 La probabilità che l osservatore invii un è: P = 2 2 ( errore) = P( ) = p + p p L entropia del segnale è: ( p) log( p) p log p Fondaenti di Inforatica 48
Fondaenti di Inforatica 49 Tasso di trasissione del canale Si diostra che la forula precedente è uguale ed H(x/y) τ = ( x) H ( x y) bit sec H H(x/y) viene detto equivocazione e rappresenta l inforazione perduta per la presenza di ruore nel canale Ruore non influente Se il ruore nel canale non provoca errori allora si ha: τ = H ( x) = H ( y) bit / sec Fondaenti di Inforatica 50 Capacità di un canale discreto La capacità di un canale discreto senza ruore era data dal assio tasso di inforazione che il canale peretteva di trasettere La capacità di canale con ruore è definita coe il tasso assio con cui il canale può fornire inforazione al ricevitore: { H ( x) H ( x y) } bit sec C = ax Fondaenti di Inforatica 5