Teoria dell informazione
|
|
- Emilio Nardi
- 7 anni fa
- Visualizzazioni
Transcript
1 Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Teoria dell informazione A.A Alberto Perotti DELEN-DAUIN Modello di sistema di comunicazione Il modello di sistema di comunicazione proposto da C. E. Shannon è il seguente: Sorgente Codificatore di sorgente Codificatore di canale Modulatore Voce, video, musica, dati, Zip, JPEG, MPEG, MP3, vocoder GSM e UMTS, Canale Destinatario Decodificatore di sorgente Decodificatore di canale Demodulatore 2 1
2 Sorgente stazionaria discreta La sorgente d informazione è caratterizzata da un alfabeto X costituito da M simboli: La sorgente emette messaggi costituiti da una sequenza di simboli: Sorgente x 0, x 1, 3 Sorgente stazionaria discreta (cont.) L emissione di un simbolo è un esperimento casuale il cui spazio campione coincide con l alfabeto X. Ogni simbolo è emesso dalla sorgente estraendolo dall alfabeto con probabilità Il messaggio è quindi rappresentabile come un processo casuale stazionario. Sorgente x 0, x 1, 4 2
3 Informazione Ad ogni simbolo dell alfabeto è associata una grandezza chiamata informazione: Interpretazione: Un simbolo molto probabile contiene poca informazione Un simbolo poco probabile contiene molta informazione Unità di misura: bit (logaritmo in base 2) 5 Informazione (cont.) Una generale proprietà dell informazione così definita: Simboli poco probabili, la cui emissione è un evento raro, forniscono una quantità elevata di informazione. Simboli molto probabili, la cui emissione è un evento frequente, forniscono una quantità ridotta di informazione. 6 3
4 Informazione (cont.) Altra proprietà interessante: Cioè l emissione di una coppia di simboli statisticamente indipendenti fornisce una quantità d informazione pari alla somma delle informazioni fornite dai singoli simboli 7 Entropia Il contenuto informativo medio dell intera sorgente, intesa come l insieme dell alfabeto e della sua associata distribuzione di probabilità, è misurato dall entropia di sorgente: Si tratta di una media pesata dell informazione associata ad ogni simbolo L informazione è pesata con la corrispondente probabilità di simbolo. Unità di misura: bit/simbolo (logaritmo in base 2) 8 4
5 Entropia (cont.) Esempio: sorgente binaria X = {0, 1} con p 0 = p, p 1 = 1 p. Valore massimo H(X) p = ½ H = 1 Valori minimi 1 p = 0, p =1 H = 0 0 ½ 1 p 9 Entropia (cont.) Teorema: l entropia di una sorgente con alfabeto X costituito da M simboli soddisfa la disuguaglianza L uguaglianza è raggiunta solo quando tutti i simboli sono equiprobabili. 10 5
6 Entropia (cont.) Esercizio: calcolare l entropia di una sorgente con alfabeto X costituito da 4 simboli con probabilità p 1 = ½ p 2 = ¼ p 3 = p 4 = 1/8 Soluzione: 11 Il canale discreto Si tratta di un sistema avente X ingressi e Y uscite, caratterizzato dalle probabilità condizionali di transizione. Esempio: il canale binario simmetrico X 1-p 1 1 p p 0 1-p 0 Y 12 6
7 Il canale discreto (cont.) Esempio: il canale quaternario. Può essere descritto mediante una matrice: x 1 p 11 p 12 y 1 X x 2 x 3 p 21 p 31 y 2 y 3 Y x 4 p 41 p 43 p 44 y 4 13 Il canale discreto (cont.) Si definisce l entropia d ingresso come x 1 p 11 p 12 y 1 p 21 x 2 y 2 Misura l informazione media dell alfabeto di sorgente. X p 31 x 3 y 3 Y p 41 p 43 x 4 y 4 p
8 Il canale discreto (cont.) Si definisce l entropia d uscita come x 1 p 11 p 12 y 1 p 21 x 2 y 2 Misura l informazione media dell alfabeto d uscita. X p 31 x 3 y 3 Y p 41 p 43 x 4 y 4 p Il canale discreto (cont.) Si definisce l entropia congiunta come x 1 p 11 p 12 y 1 p 21 x 2 y 2 Misura l informazione media fornita da una coppia costituita da un simbolo d ingresso e da uno d uscita. X p 31 x 3 p 41 p 43 y 3 Y x 4 y 4 p
9 Il canale discreto (cont.) Si definisce l entropia condizionale H(X Y) come x 1 p 11 p 12 y 1 Misura l informazione media necessaria per specificare un simbolo d ingresso dato il simbolo d uscita. X x 2 x 3 x 4 p 21 p 31 p 41 p 43 p 44 y 2 y 3 y 4 17 Y Mutua informazione L entropia condizionale H(X Y) (equivocazione) rappresenta la parte di informazione che viene persa durante la trasmissione sul canale. 18 9
10 Mutua informazione (cont.) La mutua informazione può anche essere espressa nel seguente modo: I ( X ; Y ) = H ( X ) H ( X Y ) = P{ x, y } X Y i i P{ xi, yi}log i= 1 j= 1 P{ xi} P{ yi} Significato: se le variabili casuali X e Y sono statisticamente indipendenti (cioè l uscita Y non fornisce alcuna informazione sull ingresso X), allora P{x i, y i } = P{x i }P{y i } e la mutua informazione si annulla. 19 Capacità del canale discreto La capacità del canale è definita come la massima mutua informazione: La massimizzazione è effettuata rispetto alla distribuzione di probabilità della sorgente
11 Capacità del canale binario simmetrico Per calcolare la mutua informazione I(X;Y) è necessario conoscere H(X) e H(X Y) L entropia di una sorgente binaria con probabilità {½, ½} vale H(X) = 1. L entropia condizionale H(X Y) vale quindi è necessario conoscere le probabilità P{x i y i } 21 Capacità del canale binario simmetrico Il canale binario simmetrico è definito mediante le probabilità 22 11
12 Capacità del canale binario simmetrico (cont.) Poiché e, per il teorema della probabilità totale si ottiene 23 Capacità del canale binario simmetrico (cont.) L entropia condizionale H(X Y) assume quindi la seguente forma: dove p è la probabilità di errore del canale binario simmetrico. Infine: 24 12
13 Capacità del canale binario simmetrico (cont.) Si può dimostrare che si ottiene per simboli d ingresso equiprobabili. 1 I(X;Y) p = 0 p = 0.1 p = 0.2 Nel caso binario, P{X = 0} = P{X = 1} = ½. 0 ½ 1 P{x 1 } 25 Codifica di sorgente Supponiamo di voler trasmettere i simboli dell alfabeto X usando un canale binario. Ogni simbolo x i deve essere rappresentato mediante una sequenza finita di bit c i, che chiameremo parola di codice, di lunghezza n i bit. Definiamo codificatore di sorgente il sistema che associa i simboli di sorgente x i alle parole di codice c i. Poiché ciascun simbolo di sorgente x i compare con probabilità p i all uscita della sorgente, anche la corrispondente parola di codice c i di lunghezza n i comparirà con la stessa probabilità p i all uscita del codificatore 26 13
14 Codifica di sorgente (cont.) Per ragioni di economia nell uso delle risorse trasmissive (bande di frequenza, potenza, ecc.), si è interessati alla minimizzazione della lunghezza media delle parole di codice: 27 Codifica di sorgente (cont.) L idea di fondo è quella di associare parole di codice corte ai simboli più frequenti parole di codice lunghe ai simboli meno frequenti In questo modo, si trasmettono più frequentemente parole di codice corte, mentre è più raro l utilizzo delle parole lunghe. In conclusione, si usa il canale per un numero di volte minore, ossia si opera una compressione
15 Codifica di sorgente (cont.) La minimizzazione di E[n] deve essere effettuata tenendo conto del seguente vincolo (vincolo del prefisso): un codice viola il vincolo del prefisso se esiste una parola di codice che contiene, come sua parte iniziale, un altra parola di codice Un codice che viola tale vincolo è non univocamente decodificabile. Un codice che non viola tale vincolo è anche chiamato prefix code. 29 Codifica di sorgente (cont.) Esempio: w 1 = 0, w 2 = 01, w 3 = 10, w 4 = 100 viola il vincolo del prefisso perché w 2 contiene w 1 come sua parte iniziale e w 4 contiene w 3 come sua parte iniziale. Il messaggio è decodificabile come w 1 w 4 w 3 w 2 w 1 w 1 w 3 w 1 w 3 w 2 w 1 w 1 w 3 w 1 w 3 Quindi tale codice è non univocamente decodificabile 30 15
16 Algoritmo di Huffman Consente di ottenere il prefix code ottimo (dal punto di vista della lunghezza media) dato un alfabeto e la sua distribuzione di probabilità. Consiste nell esecuzione della seguente procedura: Ordinare i simboli in base alla loro probabilità Raggruppare i due simboli x i e x j meno probabili in un nuovo simbolo equivalente avente probabilità pari alla somma delle loro probabilità: p i + p j Ripetere i passi precedenti finché si ottiene un solo simbolo equivalente con probabilità Algoritmo di Huffman (cont.) Esempio: è dato l alfabeto X = {x 1, x 2, x 3, x 4, x 5 } con distribuzione di probabilità { 1 / 3, 1 / 4, 1 / 6, 1 / 6, 1 / 12 } 32 16
17 Algoritmo di Huffman (cont.) Esempio: è dato l alfabeto X = {x 1, x 2, x 3, x 4, x 5 } con distribuzione di probabilità {1/3, 1/4, 1/6, 1/6, 1/12} 33 Algoritmo di Huffman (cont.) Esempio: è dato l alfabeto X = {x 1, x 2, x 3, x 4, x 5 } con distribuzione di probabilità {1/3, 1/4, 1/6, 1/6, 1/12} 34 17
18 Algoritmo di Huffman (cont.) Esempio: è dato l alfabeto X = {x 1, x 2, x 3, x 4, x 5 } con distribuzione di probabilità {1/3, 1/4, 1/6, 1/6, 1/12} 35 Algoritmo di Huffman (cont.) Esempio: è dato l alfabeto X = {x 1, x 2, x 3, x 4, x 5 } con distribuzione di probabilità {1/3, 1/4, 1/6, 1/6, 1/12} 36 18
19 Algoritmo di Huffman (cont.) Esempio: è dato l alfabeto X = {x 1, x 2, x 3, x 4, x 5 } con distribuzione di probabilità {1/3, 1/4, 1/6, 1/6, 1/12} 37 Algoritmo di Huffman (cont.) Esempio: è dato l alfabeto X = {x 1, x 2, x 3, x 4, x 5 } con distribuzione di probabilità {1/3, 1/4, 1/6, 1/6, 1/12} 38 19
20 Algoritmo di Huffman (cont.) Esempio: è dato l alfabeto X = {x 1, x 2, x 3, x 4, x 5 } con distribuzione di probabilità {1/3, 1/4, 1/6, 1/6, 1/12} 39 Algoritmo di Huffman (cont.) Esempio: è dato l alfabeto X = {x 1, x 2, x 3, x 4, x 5 } con distribuzione di probabilità {1/3, 1/4, 1/6, 1/6, 1/12} 40 20
21 Algoritmo di Huffman (cont.) Esempio: è dato l alfabeto X = {x 1, x 2, x 3, x 4, x 5 } con distribuzione di probabilità {1/3, 1/4, 1/6, 1/6, 1/12} 41 Algoritmo di Huffman (cont.) Tutte le parole di codice corrispondono alle foglie dell albero che si è costruito. Il codice ottenuto soddisfa quindi il vincolo del prefisso per costruzione. Inoltre, si ha 42 21
22 Lunghezza media Teorema: è sempre possibile trovare un codice che soddisfa il vincolo del prefisso con lunghezza media 43 Esercizio 1 La sorgente S emette simboli dall alfabeto X = {x i }, i = 1, 2, 3 con probabilità p 1 = 0.6 p 2 = 0.3 p 3 = 0.1 Calcolare l entropia della sorgente Determinare il codice di sorgente ottimo che rispetti il vincolo del prefisso. Calcolare la lunghezza media delle parole di codice
23 Esercizio 1 - soluzione L entropia della sorgente vale H ( X ) = 0.6 log + 0.3log + 0.1log = Si osservi che H ( X ) < log(3) = valore che si otterrebbe se in ingresso si avesse una distribuzione uniforme 45 Esercizio 1 - soluzione Applicando l algoritmo di Huffman, si ottengono le seguenti parole di codice C (x 1 ) = 0 C (x 2 ) = 10 C (x 3 ) = 11 La lunghezza media delle parole di codice è 1.4 bit
24 Esercizio 2 Con la sorgente definita nell esercizio precedente, considerando coppie di simboli di sorgente, determinare il codice di sorgente ottimo che rispetti il vincolo del prefisso. Calcolare la lunghezza media delle parole di codice e confrontarla con il risultato ottenuto all esercizio precedente. 47 Esercizio 2 soluzione Le parole di codice associate all alfabeto X 2 = {x i x j }, i, j = 1, 2, 3 sono C (x 1 x 1 ) = 0 C (x 1 x 2 ) = 100 C (x 2 x 1 ) = 101 C (x 2 x 2 ) = 1110 C (x 1 x 3 ) = 1100 C (x 3 x 1 ) = 1101 C (x 2 x 3 ) = C (x 3 x 2 ) = C (x 3 x 3 ) =
25 Esercizio 2 soluzione (cont.) La lunghezza media delle parole di codice è 2.67 Il valore ottenuto è maggiore rispetto al valore di 1.4 ottenuto all esercizio 1. Tuttavia, ogni parola di codice corrisponde a 2 simboli di sorgente, quindi la lunghezza media per simbolo di sorgente vale bit, valore minore del precedente. 49 Esercizio 3 È data una sorgente binaria X = {0, 1} con probabilità P{X = 0} = 1 P{X = 1} = 0.3. I simboli vengono trasmessi su un canale binario simmetrico con probabilità di errore p = 0.1. Determinare il codice di sorgente ottimo per X 2 e per X 3 che rispetti il vincolo del prefisso. Determinare la capacità (mutua informazione) del canale senza e con il codificatore di sorgente 50 25
26 Esercizio 3 - suggerimenti Determinare il codice di sorgente ottimo per X 2 e per X 3 che rispetti il vincolo del prefisso. Applicare l algoritmo di Huffman agli alfabeti X 2 e X 3 Determinare la capacità (mutua informazione) del canale Calcolare la mutua infomazione come I( X ; Y ) = H ( X ) H ( X Y ) 51 Esercizio 3 - suggerimenti È necessario calcolare, applicando il teorema della probabilità totale, le probabilità a posteriori P{ y0 } = P{ y0 x0} P{ x0} + P{ y0 x1} P{ x1} = 0.34 P{ y1 } = P{ y1 x0} P{ x0} + P{ y1 x1} P{ x1} = 0.66 Quindi si calcola 52 26
27 Esercizio 4 Un canale discreto (senza memoria) è caratterizzato dalla seguente matrice delle probabilità di transizione P= In ingresso, è presente una sorgente binaria equiprobabile. Calcolare la mutua informazione Considerare ora una sorgente che emette simboli binari con P{0} = 0.6 e P{1} = 0.4. Ripetere il calcolo della mutua informazione. 53 Riferimenti bibliografici [1] G. Prati, Videocorso Teoria dei Segnali [2] S. Benedetto, E. Biglieri, Principles of Digital Transmission with Wireless Applications, Kluwer, New York,
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche. Modulazione A.A Alberto Perotti
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Modulazione A.A. 8-9 Alberto Perotti DELEN-DAUIN Modello di sistema di comunicazione Il modello di sistema di comunicazione
DettagliTEORIA DELL INFORMAZIONE ED ENTROPIA FEDERICO MARINI
TEORIA DELL INFORMAZIONE ED ENTROPIA DI FEDERICO MARINI 1 OBIETTIVO DELLA TEORIA DELL INFORMAZIONE Dato un messaggio prodotto da una sorgente, l OBIETTIVO è capire come si deve rappresentare tale messaggio
Dettagli1) Probabilità di errore di trasmissione. 2) Capacità di canale. 3) Esempi di calcolo della capacità. 4) Disuguaglianza di Fano
Argomenti della Lezione 1) Probabilità di errore di trasmissione ) Capacità di canale 3) Esempi di calcolo della capacità 4) Disuguaglianza di Fano 5) Teorema inverso della codifica di canale 1 Probabilità
DettagliSorgenti discrete e informazione
Sorgenti discrete e informazione La definizione formale della quantità di informazione è dovuta a Shannon Nella sua teoria si fa riferimento ad una sorgente di messaggi connessa tramite un canale a un
DettagliComunicazioni Elettriche Esercizi
Comunicazioni Elettriche Esercizi Alberto Perotti 9 giugno 008 Esercizio 1 Un processo casuale Gaussiano caratterizzato dai parametri (µ = 0, σ = 0.5) ha spettro nullo al di fuori dellintervallo f [1.5kHz,
DettagliDef. La lunghezza media L(C) di un codice C per una v.c. Obiettivo: Codice ottimo rispetto alla lunghezza media. Lunghezza media di un codice
Lunghezza media di un codice Def. La lunghezza media L(C) di un codice C per una v.c. X con d.d.p. P(x) è data da L(C) = x X p (x) l (x) = E[l(X)] Obiettivo: Codice ottimo rispetto alla lunghezza media
DettagliLunghezza media. Teorema Codice D-ario prefisso per v.c. X soddisfa. L H D (X). Uguaglianza vale sse D l i. = p i. . p.1/27
Lunghezza media Teorema Codice D-ario prefisso per v.c. X soddisfa L H D (X). Uguaglianza vale sse D l i = p i.. p.1/27 Lunghezza media Teorema Codice D-ario prefisso per v.c. X soddisfa L H D (X). Uguaglianza
DettagliL informazione numerica
L informazione numerica Sorgenti di informazione Abbiamo esaminato delle sorgenti di informazione analogiche (audio, video). Abbiamo visto come trasmetterle a distanza per mezzo di sistemi analogici. Come
Dettagli2) Codici univocamente decifrabili e codici a prefisso.
Argomenti della Lezione ) Codici di sorgente 2) Codici univocamente decifrabili e codici a prefisso. 3) Disuguaglianza di Kraft 4) Primo Teorema di Shannon 5) Codifica di Huffman Codifica di sorgente Il
DettagliIndice. A Riassunto formule principali sulla Teoria dell Informazione per sorgenti135
Indice 8 Teoria dell Informazione per sorgenti 123 8.1 Introduzione.................................... 123 8.2 Codifica di sorgente............................... 123 8.2.1 Classificazione tecniche di
DettagliTeoria della probabilità Variabili casuali
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Teoria della probabilità Variabili casuali A.A. 2008-09 Alberto Perotti DELEN-DAUIN Variabile casuale Una variabile
Dettagli..., x M. : codice o sequenza di bit che rappresentano il messaggio x i ; n i : lunghezza in bit del codice C X i
Definizioni X : sorgente di informazione discreta; X k : messaggi prodotti da X ; ogni messaggio è una v.c.d., k è l'indice temporale; alfabeto di X : insieme {x,..., x } degli messaggi che la sorgente
DettagliIntroduzione alla codifica entropica
Compressione senza perdite Il problema Introduzione alla codifica entropica Abbiamo un alfabeto di simboli A (nota: non è detto che gli elementi di A siano numeri) Sappiamo che il simbolo a A si presenta
DettagliSTII/Teoria dell Informazione
STII/Teoria dell Informazione Docente: Prof. Luisa Gargano Classe: Matricole Pari Testo principale: T. Cover, J. Thomas, Elements of Information Theory, Wiley. p./28 Un pò di storia La Teoria dell informazione
Dettagli10.. Codici correttori d errore. Modulo TLC:TRASMISSIONI Codici correttori d errore
10.. Codici correttori d errore Codici correttori d errore 2 Obiettivi: correggere o rivelare errori nella trasmissione di sequenze numeriche (sequenze di simboli, usualmente binari) Correzione di errore
DettagliLa codifica di sorgente
Tecn_prog_sist_inform Gerboni Roberta è la rappresentazione efficiente dei dati generati da una sorgente discreta al fine poi di trasmetterli su di un opportuno canale privo di rumore. La codifica di canale
Dettagli1 Esercizio - caso particolare di ottimalità
Corso: Gestione ed elaborazione grandi moli di dati Lezione del: 5 giugno 2006 Argomento: Compressione aritmetica e Tecniche di compressione basate su dizionario Scribes: Andrea Baldan, Michele Ruvoletto
DettagliCampionamento e quantizzazione
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Campionamento e quantizzazione A.A. 2008-09 Alberto Perotti DELEN-DAUIN Conversione analogico-digitale L elaborazione
DettagliRoberto Maieli La trasmissione dell informazione
Roberto Maieli La trasmissione dell informazione Corso di AIC Sistema di comunicazione Sorgente messaggio Sistema di trasmissione Trasmettitore Canale di trasmissione segnale Ricevitore rumore messaggio
DettagliUnità 30. Sommario. Bibliografia. Auto-informazione di un evento Auto-informazione di un esperimento aleatorio Esempi. [Bel] -- [Ros] 9.
Unità 30 Sommario Auto-informazione di un evento Auto-informazione di un esperimento aleatorio Esempi Bibliografia [Bel] -- [Ros] 9.3 [Pap] -- 1 Auto-informazione di un evento Prima di effettuare un esperimento
DettagliCompressione Dati. Teorema codifica sorgente: Entropia fornisce un limite sia inferiore che superiore al numero di bit per simbolo sorgente.. p.
Compressione Dati Teorema codifica sorgente: Entropia fornisce un limite sia inferiore che superiore al numero di bit per simbolo sorgente.. p.1/21 Compressione Dati Teorema codifica sorgente: Entropia
Dettagli1 Entropia: Riepilogo
Corso: Gestione ed elaborazione grandi moli di dati Lezione del: 30 maggio 2006 Argomento: Entropia. Costruzione del modello di una sorgente. Codifica di Huffman. Scribes: Galato Filippo, Pesce Daniele,
DettagliInformatica. Caratterizzazione del canale I simboli emessi dalla sorgente passano attraverso un canale di trasmissione.
Informatica Pietro Storniolo storniolo@csai.unipa.it http://www.pa.icar.cnr.it/storniolo/info267 Entropia e flusso di informazione di una sorgente La sorgente viene caratterizzata dal valor medio di I(x
DettagliCapitolo 7 Strato Fisico- Codici correttori d errore e capacità di canale
Capitolo 7 Strato Fisico- Codici correttori d errore e capacità di canale 1 Obiettivi: Codici correttori d errore correggere o rivelare errori nella trasmissione di segnali numerici (sequenze di simboli,
Dettaglicarattere a b c d e f cod. var
Codici prefissi Un codice prefisso è un codice in cui nessuna parola codice è prefisso (parte iniziale) di un altra Ogni codice a lunghezza fissa è ovviamente prefisso. Ma anche il codice a lunghezza variabile
DettagliEntropia. Motivazione. ? Quant è l informazione portata dalla sequenza? Abbiamo una sequenza S di N simboli (campioni audio, pixel, caratteri,...
Entropia Motivazione Abbiamo una sequenza S di N simboli (campioni audio, pixel, caratteri,... ) s,s 2,s 3,... ognuno dei quali appartiene ad un alfabeto A di M elementi.? Quant è l informazione portata
DettagliTecniche di compressione senza perdita
FONDAMENTI DI INFORMATICA Prof. PIER LUCA MONTESSORO Facoltà di Ingegneria Università degli Studi di Udine Tecniche di compressione senza perdita 2000 Pier Luca Montessoro (si veda la nota di copyright
Dettagli3. TEORIA DELL INFORMAZIONE
3. TEORIA DELL INFORMAZIONE INTRODUZIONE MISURA DI INFORMAZIONE SORGENTE DISCRETA SENZA MEMORIA ENTROPIA DI UNA SORGENTE NUMERICA CODIFICA DI SORGENTE 1 TEOREMA DI SHANNON CODICI UNIVOCAMENTE DECIFRABILI
DettagliLa teoria dell informazione
La teoria dell informazione Perché la teoria dell informazione è importante per la linguistica computazionale 2005 Isabella Chiari 1 Informatica Informazione+automatica = informatica Trattamento automatico
DettagliLe variabili casuali o aleatorie
Le variabili casuali o aleatorie Intuitivamente un numero casuale o aleatorio è un numero sul cui valore non siamo certi per carenza di informazioni - ad esempio la durata di un macchinario, il valore
DettagliCodifica di Huffman e Lempel-Ziv-Welch A L B E R T O B E L U S S I A N N O A C C A D E M I C O /
Codifica di Huffman e Lempel-Ziv-Welch 1 A L B E R T O B E L U S S I A N N O A C C A D E M I C O 2 0 1 0 / 2 0 1 1 Tipi di compressione Senza perdita (lossless): permettono di ricostruire perfettamente
DettagliCODIFICA DI SORGENTE. Schematizzazione generale sistema di comunicazione
CODIFICA DI SORGENTE Informazione associata a sorgenti digitali, entropia Codifica di sorgenti senza memoria Codifica di sorgenti con memoria CODIFICA DI SORGENTE Schematizzazione generale sistema di comunicazione
DettagliCODIFICA CANALE. Comunicazione con successo: ricevitore ottiene output sorgente. Rumore. Sorgente Cofificatore Canale. Decodificatore.
CODIFICA CANALE Sorgente Cofificatore Canale Decodificatore Ricevitore Rumore Comunicazione con successo: ricevitore ottiene output sorgente. p.1/24 CODIFICA CANALE Sorgente Cofificatore Canale Decodificatore
DettagliAlgoritmi Greedy. Tecniche Algoritmiche: tecnica greedy (o golosa) Un esempio
Algoritmi Greedy Tecniche Algoritmiche: tecnica greedy (o golosa) Idea: per trovare una soluzione globalmente ottima, scegli ripetutamente soluzioni ottime localmente Un esempio Input: lista di interi
DettagliLezione 4 Ugo Vaccaro
Teoria dell Informazione II Anno Accademico 205 206 Lezione 4 Ugo Vaccaro Il risultato principale che abbiamo scoperto nella lezione scorsa è il seguente: data una sorgente DSSM X, X 2,..., X i,... con
DettagliEsame di AM2 & EAP (270/04) a.a. 2009/10
Quarto appello del 16 Luglio 2010 1. Un urna contiene delle palline numerate e distribuite in seguente maniera: Vengono estratte due palline senza rimpiazzo e siano X e Y rispettivamente il numero della
DettagliLa codifica digitale
La codifica digitale Codifica digitale Il computer e il sistema binario Il computer elabora esclusivamente numeri. Ogni immagine, ogni suono, ogni informazione per essere compresa e rielaborata dal calcolatore
DettagliEsercizi di Calcolo delle Probabilità
Esercizi di Calcolo delle Probabilità Versione del 1/05/005 Corso di Statistica Anno Accademico 00/05 Antonio Giannitrapani, Simone Paoletti Calcolo delle probabilità Esercizio 1. Un dado viene lanciato
DettagliCompressione dell Informazione (Parte I) Marco Gori
ompressione di testo Marco Gori, Università di Siena 1 Compressione dell Informazione (Parte I) Fondamenti e Richiami di Teoria dell Informazione Marco Gori marco@dii.unisi.it ompressione di testo Marco
DettagliLa dualità nella Programmazione Lineare
Capitolo 3 La dualità nella Programmazione Lineare 3.1 Teoria della dualità Esercizio 3.1.1 Scrivere il problema duale del seguente problema di Programmazione Lineare: min x 1 x 2 + x 3 2x 1 +3x 2 3 x
DettagliSistemi di Elaborazione delle Informazioni 6 CFU
Università degli Studi di Palermo Dipartimento di Ingegneria Chimica, Gestionale, Informatica, Meccanica Sistemi di Elaborazione delle Informazioni 6 CFU Anno Accademico 2015/2016 Docente: ing. Salvatore
DettagliSTATISTICA ESERCITAZIONE 9
STATISTICA ESERCITAZIONE 9 Dott. Giuseppe Pandolfo 19 Gennaio 2015 REGOLE DI CONTEGGIO Sequenze ordinate Sequenze non ordinate Estrazioni con ripetizione Estrazioni senza ripetizione Estrazioni con ripetizione
Dettagli1) Entropia di variabili aleatorie continue. 2) Esempi di variabili aleatorie continue. 3) Canali di comunicazione continui. 4) Canale Gaussiano
Argomenti della Lezione 1) Entropia di variabili aleatorie continue ) Esempi di variabili aleatorie continue 3) Canali di comunicazione continui 4) Canale Gaussiano 5) Limite di Shannon 1 Entropia di una
DettagliCodifica delle sequenze sorgente
Codifica delle sequenze sorgente Sorgente emette sequenza di simboli appartenenti ad un alfabeto X che vengono codificati come sequenze di simboli di un alfabeto D-ario.. p.1/?? Codifica delle sequenze
DettagliSistemi di Elaborazione delle Informazioni 6 CFU
Università degli Studi di Palermo Dipartimento dell Innovazione Industriale e Digitale Sistemi di Elaborazione delle Informazioni 6 CFU Anno Accademico 2016/2017 Docente: ing. Salvatore Sorce Rappresentazione
DettagliALGORITMI CORSO DI STUDIO IN INFORMATICA (laurea triennale) UNIVERSITÀ DEGLI STUDI DI CATANIA ANNO ACCADEMICO 2014/15
ANNO ACCADEMICO 2014/15 1 a prova in itinere 13 gennaio 2015 ESERCIZIO 1 Si risolva l equazione di ricorrenza al variare del parametro reale a>1. T (n) = 27 n a T + n 2 log n a ESERCIZIO 2 Si ordinino
DettagliCorso di Fondamenti di Telecomunicazioni
Corso di Fondamenti di Telecomunicazioni 1 - INTRODUZIONE Prof. Giovanni Schembra 1 Argomenti della lezione Definizioni: Sorgente di informazione Sistema di comunicazione Segnali trasmissivi determinati
DettagliSoluzioni di Esercizi di Esame di Segnali Aleatori per Telecomunicazioni
Corso di Laurea in Ingegneria Informatica corso di Telecomunicazioni (Prof. G. Giunta) (editing a cura dell ing. F. Benedetto) Soluzioni di Esercizi di Esame di Segnali Aleatori per Telecomunicazioni Esame
Dettagli4) Teorema fondamentale della codifica di canale. 6) Definizione di codifica di canale (FEC e ARQ)
Argomenti della Lezione 1) Classificazione dei codici di canale 2) Benefici della codifica di canale 3) Decodifica hard e soft 4) Teorema fondamentale della codifica di canale 5) Classificazione dei codici
DettagliTeoria dell Informazione
Fondamenti di Informatica per la Sicurezza a.a. 2008/09 Teoria dell Informazione Stefano Ferrari UNIVERSITÀ DEGLI STUDI DI MILANO DIPARTIMENTO DI TECNOLOGIE DELL INFORMAZIONE Stefano Ferrari Università
DettagliSperimentazioni di Fisica I mod. A Statistica - Lezione 2
Sperimentazioni di Fisica I mod. A Statistica - Lezione 2 A. Garfagnini M. Mazzocco C. Sada Dipartimento di Fisica G. Galilei, Università di Padova AA 2014/2015 Elementi di Statistica Lezione 2: 1. Istogrammi
DettagliEsercizi di riepilogo
Esercizi di riepilogo Es1: Scommesse al casinò Tizio e Caio si alternano al tavolo di un casinò. Tizio gioca negli istanti di tempo dispari, mentre Caio in quelli pari Ad ogni istante di tempo, il guadagno
DettagliNumeri interi. Laboratorio di Calcolo Paola Gallo
Numeri interi Alfabeto binario anche il segno può essere rappresentato da 0 o 1 è indispensabile indicare il numero k di bit utilizzati Modulo Modulo e segno 1 bit di segno (0 positivo, 1 negativo) k 1
DettagliElaborazione dell informazione. Elaborazione dell informazione. Rappresentazione dei numeri INFORMATICA PER LE DISCIPLINE UMANISTICHE 2 (13042)
Elaborazione dell informazione INFORMATICA PER LE DISCIPLINE UMANISTICHE 2 (13042) Elaborazione di informazione prevede una codifica come: Dato: insieme di simboli rappresentati su un supporto Negli elaboratori:
DettagliLa Rappresentazione dell Informazione
La Rappresentazione dell Informazione Parte III I codici Codici a.a. 27-28 Un codice è una funzione che associa ad una sequenza di simboli un significato Codice : {entità} {sequenze di simboli} Un codice
DettagliTeorema del limite centrale TCL
Teorema del limite centrale TCL Questo importante teorema della statistica inferenziale si applica a qualsiasi variabile aleatoria che sia combinazione lineare di N variabili aleatorie le cui funzioni
DettagliI circuiti dei calcolatori, le memorie, i bus. I fondamenti della rappresentazione dell informazione e della sua trasmissione ed elaborazione.
I circuiti dei calcolatori, le memorie, i bus. I fondamenti della rappresentazione dell informazione e della sua trasmissione ed elaborazione. Dispensina per gli studenti di Ingegneria Gestionale. A.A.
DettagliCodifica di canale. (dalle dispense e dalle fotocopie) Trasmissione dell Informazione
Codifica di canale (dalle dispense e dalle fotocopie) Codici lineari a blocchi Un codice lineare (n,k) è un codice che assegna una parola lunga n ad ogni blocco lungo k. Si dice che il codice abbia un
DettagliAnalogico vs. Digitale. LEZIONE II La codifica binaria. Analogico vs digitale. Analogico. Digitale
Analogico vs. Digitale LEZIONE II La codifica binaria Analogico Segnale che può assumere infiniti valori con continuità Digitale Segnale che può assumere solo valori discreti Analogico vs digitale Il computer
DettagliQUANTIZZAZIONE E CONVERSIONE IN FORMA NUMERICA. 1 Fondamenti Segnali e Trasmissione
UANTIZZAZIONE E CONVERSIONE IN FORMA NUMERICA Fondamenti Segnali e Trasmissione Campionamento e quantizzazione di un segnale analogico Si consideri il segnale x(t) campionato con passo T c. Campioni del
DettagliConversione Analogico/Digitale
Conversione Analogico/Digitale 1 Fondamenti di Segnali e Trasmissione Conversione analogico/digitale (A/D) Per rappresentare numericamente un segnale continuo nel tempo e nelle ampiezze è necessario: Campionare
DettagliL algoritmo di decodifica è semplice e computazionalmente meno oneroso rispetto a quello di codifica.
Decodificatore LZW L algoritmo di decodifica è semplice e computazionalmente meno oneroso rispetto a quello di codifica. A differenza di altre tecniche (ad es. Huffman), non è necessario fornire preventivamente
Dettagli01CXGBN Trasmissione numerica. parte 6: calcolo delle probabilità I
01CXGBN Trasmissione numerica parte 6: calcolo delle probabilità I 1 Probabilità di errore BER e SER Per rappresentare la bontà di un sistema di trasmissione numerica in termini di probabilità di errore
Dettagli1) Codici convoluzionali. 2) Circuito codificatore. 3) Diagramma a stati e a traliccio. 4) Distanza libera. 5) Algoritmo di Viterbi
Argomenti della Lezione 1) Codici convoluzionali 2) Circuito codificatore 3) Diagramma a stati e a traliccio 4) Distanza libera 5) Algoritmo di Viterbi 1 Codici convoluzionali I codici convoluzionali sono
DettagliCorso di Fondamenti di Telecomunicazioni 1 - INTRODUZIONE
Corso di Fondamenti di Telecomunicazioni 1 - INTRODUZIONE 1 Argomenti della lezione Definizioni: Sorgente di informazione Sistema di comunicazione Segnali trasmissivi determinati e aleatori Architettura
DettagliTeoria dell Informazione
Corso di Laurea Magistrale in Scienze dell Informazione Editoriale, Pubblica e Sociale Teoria dell Informazione Cosa è l informazione L informazione è qualcosa che si possiede e si può dare ad un altro
DettagliRapida Nota sulla Rappresentazione dei Caratteri
TECNOLOGIA DIGITALE TECNOLOGIA DIGITALE (segue) CPU, memoria centrale e dispositivi sono realizzati con tecnologia elettronica digitale Dati ed operazioni vengono codificati tramite sequenze di bit 8 bit
DettagliInformazione e sua rappresentazione: codifica
Corso di Calcolatori Elettronici I A.A. 2011-2012 Informazione e sua rappresentazione: codifica Lezione 2 Prof. Antonio Pescapè Università degli Studi di Napoli Federico II Facoltà di Ingegneria Corso
DettagliTEORIA DEI SISTEMI SISTEMI LINEARI
TEORIA DEI SISTEMI Laurea Specialistica in Ingegneria Meccatronica Laurea Specialistica in Ingegneria Gestionale Indirizzo Gestione Industriale TEORIA DEI SISTEMI SISTEMI LINEARI Ing. Cristian Secchi Tel.
DettagliP(X > 0) = P(X 1 = 1) + P(X 1 = 1, X 2 = 1, X 3 = 1) =
1 Esercizi settimana 3 Esercizio 1. Un urna contiene 8 palline bianche, 4 nere e rosse. Si assuma di vincere e ogni volta che si estragga una pallina nera, si perda 1e per ogni pallina bianca e non succeda
DettagliCapitolo 5 Variabili aleatorie discrete notevoli Insegnamento: Statistica Applicata Corso di Laurea in "Scienze e Tecnologie Alimentari"
Levine, Krehbiel, Berenson Statistica Capitolo 5 Variabili aleatorie discrete notevoli Insegnamento: Statistica Applicata Corso di Laurea in "Scienze e Tecnologie Alimentari" Unità Integrata Organizzativa
DettagliDipartimento di Ingegneria dell Informazione, Elettronica e Telecomunicazioni. Esercitazioni del corso di. Telecomunicazioni
Dipartimento di Ingegneria dell Informazione, Elettronica e Telecomunicazioni Esercitazioni del corso di Telecomunicazioni Corso di laurea in Ingegneria Gestionale Anno Accademico 2013-2014 Ing. Alfonso
DettagliAPPUNTI DI TEORIA DEI CODICI
UNIVERSITÀ DI CATANIA FACOLTÀ DI INGEGNERIA APPUNTI DI TEORIA DEI CODICI Autori: L. Cauchi V. La Terra R. Grasso F. Gullo Coperto da diritti di c copyright Ho letto questi appunti scritti da Lucia Cauchi,
DettagliCodifiche a lunghezza variabile
Sistemi Multimediali Codifiche a lunghezza variabile Marco Gribaudo marcog@di.unito.it, gribaudo@elet.polimi.it Assegnazione del codice Come visto in precedenza, per poter memorizzare o trasmettere un
DettagliUNIVERSITÀ di ROMA TOR VERGATA
UNIVERSITÀ di ROMA TOR VERGATA Corso di Laurea Magistrale in Scienze della Nutrizione Umana Corso di Statistica Medica, anno 05-6 P.Baldi Lista di esercizi, 8 gennaio 06. Esercizio Si sa che in una schedina
DettagliCodifica di sorgente. esempio di sorgente con memoria
Codifica di sorgente esercitazione su sorgenti markoviane 1 esempio di sorgente con memoria Esempio di sorgente con memoria markoviana a due stati NB: per la simmetria del sistema, i simboli sono equiprobabili
DettagliFondamenti di Telecomunicazioni Esercizi svolti e da svolgere. 1) A quanto corrisponde su base decimale un guadagno di 31 db? (Risp: = )
Fondamenti di Telecomunicazioni Esercizi svolti e da svolgere A quanto corrisponde su base decimale un guadagno di 3 db? (Risp: = 259 25 2 A quanti watt corrisponde una potenza di - 25 db m? (Risp: 3,25-6
DettagliCorso di Informatica Generale (C. L. Economia e Commercio) Ing. Valerio Lacagnina Rappresentazione dei numeri relativi
Codice BCD Prima di passare alla rappresentazione dei numeri relativi in binario vediamo un tipo di codifica che ha una certa rilevanza in alcune applicazioni: il codice BCD (Binary Coded Decimal). È un
DettagliCodici convoluzionali
Codici convoluzionali (dalle dispense e dal libro) Codici convoluzionali I codici lineari a blocchi sono caratterizzati dal fatto che il processo di codifica è senza memoria. I codici convoluzionali invece
DettagliNote sull implementazione in virgola fissa di filtri numerici
Note sull implementazione in virgola fissa di filtri numerici 4 settembre 2006 1 Introduction Nonostante al giorno d oggi i processori con aritmetica in virgola mobili siano molto comuni, esistono contesti
DettagliRappresentazione delle frazioni proprie Aritmetica in binario Barbara Masucci
Architettura degli Elaboratori Rappresentazione delle frazioni proprie Aritmetica in binario Barbara Masucci Punto della situazione Ø Abbiamo visto Ø ll sistema posizionale pesato, in particolare le rappresentazioni
DettagliE03 ESERCIZI SU LIVELLO FISICO
E03 ESERCIZI SU LIVELLO FISICO Esercizio 1 Un semaforo è una sorgente di informazione a) analogica. b) numerica, con alfabeto di quattro simboli (verde, rosso, giallo, lampeggiante). c) la cui natura dipende
DettagliAlgoritmi e Strutture Dati Laboratorio 15/12/2008. Daniele Loiacono
Algoritmi e Strutture Dati Laboratorio 15/12/2008 Problema della compressione Rappresentare i dati in modo efficiente Impiegare il numero minore di bit per la rappresentazione Goal: risparmio spazio su
DettagliALGORITMI: PROPRIETÀ FONDAMENTALI
ALGORITMI: PROPRIETÀ FONDAMENTALI Non si può risolvere un problema senza prima fissare un insieme di azioni, i di mosse elementari possibili per l'esecutore. Bisogna conoscerne le caratteristiche, le mosse
DettagliSTATISTICA: esercizi svolti sulle VARIABILI CASUALI
STATISTICA: esercizi svolti sulle VARIABILI CASUALI VARIABILI CASUALI 2 VARIABILI CASUALI. Variabili casuali generiche. Si supponga che un dado truccato, formato da sei facce contrassegnate dai numeri
DettagliRappresentazione dei numeri interi in un calcolatore
Corso di Calcolatori Elettronici I Rappresentazione dei numeri interi in un calcolatore Prof. Roberto Canonico Università degli Studi di Napoli Federico II Dipartimento di Ingegneria Elettrica e delle
DettagliTeoria della probabilità Assiomi e teoremi
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Teoria della probabilità Assiomi e teoremi A.A. 2008-09 Alberto Perotti DELEN-DAUIN Esperimento casuale Esperimento
DettagliDefinizioni. Soluzione ottima: migliore soluzione possibile Soluzione ottima localmente: soluzione ottima in un dominio contiguo. Il paradigma greedy
Il paradigma greedy Paolo Camurati, Fulvio Corno, Matteo Sonza Reorda Dip. Automatica e Informatica Politecnico di Torino Definizioni Soluzione ottima: migliore soluzione possibile Soluzione ottima localmente:
DettagliCapitolo 5 La trasmissione dell informazione
Capitolo 5 La trasmissione dell informazione Sistema di comunicazione Sorgente messaggio Sistema di trasmissione Trasmettitore Canale di trasmissione segnale Ricevitore rumore messaggio Destinazione Caratterizzazione
DettagliRETI DI TELECOMUNICAZIONE
RETI DI TELECOMUNICAZIONE Modelli delle Sorgenti di Traffico Generalità Per la realizzazione di un modello analitico di un sistema di telecomunicazione dobbiamo tenere in considerazione 3 distinte sezioni
DettagliCorso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Processi casuali A.A. 2007-08. Alberto Perotti, Roberto Garello
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Processi casuali A.A. 2007-08 Alberto Perotti, Roberto Garello DELEN-DAUIN Processi casuali Sono modelli probabilistici
DettagliReti di Calcolatori a.a
Analogico e digitale 2 Corso di laurea in Informatica Reti di Calcolatori a.a. 2007-2008 Prof. Roberto De Prisco Capitolo 3 Dati e segnali Per essere trasmessi i dati devono essere trasformati in segnali
DettagliSommario. Lempel-Ziv coding e varianti Run-length encoding. 1 Introduzione. 2 Codifica mediante predittori (Lossless JPEG, PNG, ecc.
Sommario Lempel-Ziv coding e varianti 1 2 Codifica mediante predittori (Lossless JPEG, PNG, ecc.) 3 Lempel-Ziv coding e varianti 4 Lempel-Ziv coding e varianti Il codice di Huffman visto prima sfrutta
DettagliTraining Set Test Set Find-S Dati Training Set Def: Errore Ideale Training Set Validation Set Test Set Dati
" #!! Suddivisione tipica ( 3 5 6 & ' ( ) * 3 5 6 = > ; < @ D Sistemi di Elaborazione dell Informazione Sistemi di Elaborazione dell Informazione Principali Paradigmi di Apprendimento Richiamo Consideriamo
DettagliUNIVERSITÀ DEGLI STUDI DI TRIESTE
UNIVERSITÀ DEGLI STUDI DI TRIESTE Corso di Elaborazione Elettronica di Immagini CODIFICA DI IMMAGINI SENZA PERDITA Sommario 1 2 (Lossless JPEG, PNG, ecc.) 3 4 Motivazione Gli algoritmi per la codifica
DettagliIntroduzione alla scienza della comunicazione (E. T. Jaynes)
Introduzione alla scienza della comunicazione (E T Jaynes) S Bonaccorsi Department of Mathematics University of Trento Corso di Mathematical model for the Physical, Natural and Social Sciences Outline
DettagliII Appello di Calcolo delle Probabilità Laurea Triennale in Matematica 2016/17
II Appello di Calcolo delle Probabilità Laurea Triennale in Matematica 6/7 Martedì 4 febbraio 7 Cognome: Nome: Email: Se non è espressamente indicato il contrario, per la soluzione degli esercizi è possibile
DettagliProgrammazione Lineare Intera: Piani di Taglio
Programmazione Lineare Intera: Piani di Taglio Andrea Scozzari a.a. 2014-2015 April 22, 2015 Andrea Scozzari (a.a. 2014-2015) Programmazione Lineare Intera: Piani di Taglio April 22, 2015 1 / 23 Programmazione
DettagliCapitolo 6. La distribuzione normale
Levine, Krehbiel, Berenson Statistica II ed. 2006 Apogeo Capitolo 6 La distribuzione normale Insegnamento: Statistica Corso di Laurea Triennale in Ingegneria Gestionale Facoltà di Ingegneria, Università
Dettagliun elemento scelto a caso dello spazio degli esiti di un fenomeno aleatorio;
TEST DI AUTOVALUTAZIONE - SETTIMANA 3 I diritti d autore sono riservati. Ogni sfruttamento commerciale non autorizzato sarà perseguito. Metodi statistici per la biologia 1 Parte A 1.1 Una variabile casuale
Dettagli