Modello di sistema di comunicazione
|
|
- Feliciano Piazza
- 5 anni fa
- Visualizzazioni
Transcript
1 Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Teoria dell informazione A.A Alberto Perotti DELEN-DAUIN Modello di sistema di comunicazione Il modello di sistema di comunicazione proposto da C. E. Shannon è il seguente: Sorgente Codificatore di sorgente Codificatore di canale Modulatore Voce, video, musica, dati, Zip, JPEG, MPEG, MP3, vocoder GSM e UMTS, Canale Destinatario Decodificatore di sorgente Decodificatore di canale Demodulatore 2 1
2 Sorgente stazionaria discreta La sorgente d informazione è caratterizzata da un alfabeto X costituito da M simboli: La sorgente emette messaggi costituiti da una sequenza di simboli: Sorgente x 0, x 1, 3 Sorgente stazionaria discreta (cont.) L emissione di un simbolo è un esperimento casuale il cui spazio campione coincide con l alfabeto X. Ogni simbolo è emesso dalla sorgente estraendolo dall alfabeto con probabilità Il messaggio è quindi rappresentabile come un processo casuale stazionario. Sorgente x 0, x 1, 4 2
3 Informazione Ad ogni simbolo dell alfabeto è associata una grandezza chiamata informazione: Interpretazione: Un simbolo molto probabile contiene poca informazione Un simbolo poco probabile contiene molta informazione Unità di misura: bit (logaritmo in base 2) 5 Informazione (cont.) Una generale proprietà dell informazione così definita: Simboli poco probabili, la cui emissione è un evento raro, forniscono una quantità elevata di informazione. Simboli molto probabili, la cui emissione è un evento frequente, forniscono una quantità ridotta di informazione. 6 3
4 Informazione (cont.) Altra proprietà interessante: Cioè l emissione di una coppia di simboli indipendenti fornisce una quantità informazione che è la somma delle informazioni fornite dai singoli simboli 7 Entropia Il contenuto informativo medio dell intera sorgente, intesa come l insieme dell alfabeto e della sua associata distribuzione di probabilità, è misurato dall entropia di sorgente: Si tratta di una media pesata dell informazione associata ad ogni simbolo L informazione è pesata con la corrispondente probabilità di simbolo. Unità di misura: bit/simbolo (logaritmo in base 2) 8 4
5 Entropia (cont.) Esempio: sorgente binaria X = {0, 1} con p 0 = p, p 1 = 1 p. Valore massimo p = ½ H = 1 1 H(X) Valori minimi p = 0, p =1 H = 0 0 ½ 1 p 9 Entropia (cont.) Teorema: l entropia di una sorgente con alfabeto X costituito da M simboli soddisfa la disuguaglianza L uguaglianza è raggiunta solo quando tutti i simboli sono equiprobabili. 10 5
6 Entropia (cont.) Esercizio: calcolare l entropia di una sorgente con alfabeto X costituito da 4 simboli con probbailità p 1 = ½ p 2 = ¼ p 3 = p 4 = 1/8 Soluzione: 11 Codifica di sorgente Supponiamo di voler trasmettere i simboli dell alfabeto X usando un canale binario. Ogni simbolo x i deve essere rappresentata mediante una sequenza finita di bit, che chiameremo parola di codice, di lunghezza n i bit. Si è interessati alla minimizzazione della lunghezza media della parola di codice: 12 6
7 Codifica di sorgente (cont.) L idea di fondo è quella di associare parole di codice corte ai simboli più frequenti parole di codice lunghe ai simboli meno frequenti In questo modo, si trasmettono più frequentemente parole di codice corte, mentre è più raro l utilizzo delle parole lunghe. In conclusione, si usa il canale per un numero di volte minore, ossia si opera una compressione. 13 Codifica di sorgente (cont.) La minimizzazione di E[n] deve essere effettuata tenendo conto del seguente vincolo (vincolo del prefisso): un codice viola il vincolo del prefisso se esiste una parola di codice che contiene, come sua parte iniziale, un altra parola di codice Un codice che viola tale vincolo è non univocamente decodificabile. Un codice che non viola tale vincolo è anche chiamato prefix code. 14 7
8 Codifica di sorgente (cont.) Esempio: w 1 = 0, w 2 = 01, w 3 = 10, w 4 = 100 viola il vincolo del prefisso perché w 2 contiene w 1 come sua parte iniziale e w 4 contiene w 3 come sua parte iniziale. Il messaggio è decodificabile come w 1 w 4 w 3 w 2 w 1 w 1 w 3 w 1 w 3 w 2 w 1 w 1 w 3 w 1 w 3 Quindi tale codice è non univocamente decodificabile 15 Algoritmo di Huffman Consente di ottenere il prefix code ottimo (dal punto di vista della lunghezza media) dato un alfabeto e la sua distribuzione di probabilità. Consiste nell esecuzione della seguente procedura: Ordinare i simboli in base alla loro probabilità Raggruppare i due simboli x i e x j meno probabili in un nuovo simbolo equivalente avente probabilità pari alla somma delle loro probabilità: p i + p j Ripetere i passi precedenti finché si ottiene un solo simbolo equivalente con probabilità
9 distribuzione di probabilità { 1 / 3, 1 / 4, 1 / 6, 1 / 6, 1 / 12 } 17 distribuzione di probabilità {1/3, 1/4, 1/6, 1/6, 1/12} 18 9
10 distribuzione di probabilità {1/3, 1/4, 1/6, 1/6, 1/12} 19 distribuzione di probabilità {1/3, 1/4, 1/6, 1/6, 1/12} 20 10
11 distribuzione di probabilità {1/3, 1/4, 1/6, 1/6, 1/12} 21 distribuzione di probabilità {1/3, 1/4, 1/6, 1/6, 1/12} 22 11
12 distribuzione di probabilità {1/3, 1/4, 1/6, 1/6, 1/12} 23 distribuzione di probabilità {1/3, 1/4, 1/6, 1/6, 1/12} 24 12
13 distribuzione di probabilità {1/3, 1/4, 1/6, 1/6, 1/12} 25 distribuzione di probabilità {1/3, 1/4, 1/6, 1/6, 1/12} 26 13
14 Tutte le parole di codice corrispondono alle foglie dell albero che si è costruito. Il codice ottenuto soddisfa quindi il vincolo del prefisso per costruzione. Inoltre, si ha 27 Lunghezza media Teorema: è sempre possibile trovare un codice che soddisfa il vincolo del prefisso con lunghezza media 28 14
15 Il canale discreto Si tratta di un sistema avente X ingressi e Y uscite, caratterizzato dalle probabilità condizionali di transizione. Esempio: il canale binario simmetrico X 1-p 1 1 p p 0 1-p 0 Y 29 Esercizio 1 La sorgente S emette simboli dall alfabeto X = {x i }, i = 1,, 3 con probabilità p 1 = 0.6 p 2 = 0.3 p 3 = 0.1 Determinare il codice di sorgente ottimo che rispetti il vincolo del prefisso. Calcolare la lunghezza media delle parole di codice
16 Esercizio 1 - soluzione Le parole di codice associate all alfabeto X = {x i }, i = 1,, 3 sono C (x 1 ) = 0 C (x 2 ) = 10 C (x 3 ) = 11 La lunghezza media delle parole di codice è 1.4 bit. 31 Esercizio 2 Con la sorgente definita nell esercizio precedente, considerando coppie di simboli di sorgente, determinare il codice di sorgente ottimo che rispetti il vincolo del prefisso. Calcolare la lunghezza media delle parole di codice e confrontarla con il risultato ottenuto all esercizio precedente
17 Esercizio 2 soluzione Le parole di codice associate all alfabeto X 2 = {x i x j }, i, j = 1, 2, 3 sono C (x 1 x 1 ) = 0 C (x 1 x 2 ) = 100 C (x 2 x 1 ) = 101 C (x 2 x 2 ) = 1110 C (x 1 x 3 ) = 1100 C (x 3 x 1 ) = 1101 C (x 2 x 3 ) = C (x 3 x 2 ) = C (x 3 x 3 ) = Esercizio 2 soluzione (cont.) La lunghezza media delle parole di codice è 2.67 Il valore ottenuto è maggiore rispetto al valore di 1.4 ottenuto all esercizio 1. Tuttavia, ogni parola di codice corrisponde a 2 simboli di sorgente, quindi la lunghezza media per simbolo di sorgente vale bit, valore minore del precedente
18 Esercizio 3 È data una sorgente binaria X = {x 1, x 2 } con probabilità P{X = 0} = 1 P{X = 1} = 0.3. I simboli vengono trasmessi su un canale binario simmetrico con probabilità di errore p = 0.1. Determinare il codice di sorgente ottimo per X 2 e per X 3 che rispetti il vincolo del prefisso. 35 Riferimenti bibliografici [1] G. Prati, Videocorso Teoria dei Segnali [2] S. Benedetto, E. Biglieri, Principles of Digital Transmission with Wireless Applications, Kluwer, New York,
Teoria dell informazione
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Teoria dell informazione A.A. 2008-09 Alberto Perotti DELEN-DAUIN Modello di sistema di comunicazione Il modello di
DettagliCorso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche. Modulazione A.A Alberto Perotti
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Modulazione A.A. 8-9 Alberto Perotti DELEN-DAUIN Modello di sistema di comunicazione Il modello di sistema di comunicazione
DettagliModello di sistema di comunicazione
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Modulazione A.A. 24-5 Alberto Perotti DELEN-DAUIN Modello di sistema di comunicazione Il modello di sistema di comunicazione
DettagliCorso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Teoria della probabilità A.A
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Teoria della probabilità A.A. 2004-05 Alberto Perotti DELEN-DAUIN Esperimento casuale Esperimento suscettibile di più
DettagliTEORIA DELL INFORMAZIONE ED ENTROPIA FEDERICO MARINI
TEORIA DELL INFORMAZIONE ED ENTROPIA DI FEDERICO MARINI 1 OBIETTIVO DELLA TEORIA DELL INFORMAZIONE Dato un messaggio prodotto da una sorgente, l OBIETTIVO è capire come si deve rappresentare tale messaggio
DettagliSorgenti discrete e informazione
Sorgenti discrete e informazione La definizione formale della quantità di informazione è dovuta a Shannon Nella sua teoria si fa riferimento ad una sorgente di messaggi connessa tramite un canale a un
DettagliComunicazioni Elettriche II
Comunicazioni Elettriche II Laurea Magistrale in Ingegneria Elettronica Università di Roma La Sapienza A.A. 2017-2018 Equiripartizione asintotica AEP Asymptotic Equiripartition Property AEP Nella teoria
DettagliDef. La lunghezza media L(C) di un codice C per una v.c. Obiettivo: Codice ottimo rispetto alla lunghezza media. Lunghezza media di un codice
Lunghezza media di un codice Def. La lunghezza media L(C) di un codice C per una v.c. X con d.d.p. P(x) è data da L(C) = x X p (x) l (x) = E[l(X)] Obiettivo: Codice ottimo rispetto alla lunghezza media
DettagliComunicazioni Elettriche II
Comunicazioni Elettriche II Laurea Magistrale in Ingegneria Elettronica Università di Roma La Sapienza A.A. 27-28 Teoria dell informazione Esercitazione 7 Teoria dell informazione Sorgente Codificatore
DettagliLunghezza media. Teorema Codice D-ario prefisso per v.c. X soddisfa. L H D (X). Uguaglianza vale sse D l i. = p i. . p.1/27
Lunghezza media Teorema Codice D-ario prefisso per v.c. X soddisfa L H D (X). Uguaglianza vale sse D l i = p i.. p.1/27 Lunghezza media Teorema Codice D-ario prefisso per v.c. X soddisfa L H D (X). Uguaglianza
DettagliL informazione numerica
L informazione numerica Sorgenti di informazione Abbiamo esaminato delle sorgenti di informazione analogiche (audio, video). Abbiamo visto come trasmetterle a distanza per mezzo di sistemi analogici. Come
DettagliComunicazioni Elettriche II
Comunicazioni Elettriche II Laurea Magistrale in Ingegneria Elettronica Università di Roma La Sapienza A.A. 27-28 Teoria dell informazione Esercitazione 6 Teorema della codifica di sorgente Si consideri
DettagliComunicazioni Elettriche Esercizi
Comunicazioni Elettriche Esercizi Alberto Perotti 9 giugno 008 Esercizio 1 Un processo casuale Gaussiano caratterizzato dai parametri (µ = 0, σ = 0.5) ha spettro nullo al di fuori dellintervallo f [1.5kHz,
Dettagli..., x M. : codice o sequenza di bit che rappresentano il messaggio x i ; n i : lunghezza in bit del codice C X i
Definizioni X : sorgente di informazione discreta; X k : messaggi prodotti da X ; ogni messaggio è una v.c.d., k è l'indice temporale; alfabeto di X : insieme {x,..., x } degli messaggi che la sorgente
DettagliIntroduzione alla codifica entropica
Compressione senza perdite Il problema Introduzione alla codifica entropica Abbiamo un alfabeto di simboli A (nota: non è detto che gli elementi di A siano numeri) Sappiamo che il simbolo a A si presenta
Dettagli1) Probabilità di errore di trasmissione. 2) Capacità di canale. 3) Esempi di calcolo della capacità. 4) Disuguaglianza di Fano
Argomenti della Lezione 1) Probabilità di errore di trasmissione ) Capacità di canale 3) Esempi di calcolo della capacità 4) Disuguaglianza di Fano 5) Teorema inverso della codifica di canale 1 Probabilità
DettagliSTII/Teoria dell Informazione
STII/Teoria dell Informazione Docente: Prof. Luisa Gargano Classe: Matricole Pari Testo principale: T. Cover, J. Thomas, Elements of Information Theory, Wiley. p./28 Un pò di storia La Teoria dell informazione
DettagliTeoria dell informazione
Teoria dell informazione Giuseppe Ruggeri Università Mediterranea di Reggio Calabria Italy Outline Cos è l informazione? E possibile misurare l informazione? Limiti matematici nella rappresentazione dell
DettagliLa codifica di sorgente
Tecn_prog_sist_inform Gerboni Roberta è la rappresentazione efficiente dei dati generati da una sorgente discreta al fine poi di trasmetterli su di un opportuno canale privo di rumore. La codifica di canale
DettagliComunicazioni Elettriche II
Comunicazioni Elettriche II Laurea Magistrale in Ingegneria Elettronica Università di Roma La Sapienza A.A. 207-208 Informazioni sul corso Mercoledì 0.00-2.00 Aula 22 Giovedì 0.00-2.00 Aula 25 Venerdì
DettagliTeoria della probabilità Variabili casuali
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Teoria della probabilità Variabili casuali A.A. 2008-09 Alberto Perotti DELEN-DAUIN Variabile casuale Una variabile
DettagliRoberto Maieli La trasmissione dell informazione
Roberto Maieli La trasmissione dell informazione Corso di AIC Sistema di comunicazione Sorgente messaggio Sistema di trasmissione Trasmettitore Canale di trasmissione segnale Ricevitore rumore messaggio
DettagliIndice. A Riassunto formule principali sulla Teoria dell Informazione per sorgenti135
Indice 8 Teoria dell Informazione per sorgenti 123 8.1 Introduzione.................................... 123 8.2 Codifica di sorgente............................... 123 8.2.1 Classificazione tecniche di
DettagliLa codifica di sorgente
Tecn_prog_sist_inform Gerboni Roberta è la rappresentazione efficiente dei dati generati da una sorgente discreta al fine poi di trasmetterli su di un opportuno canale privo di rumore. La codifica di canale
Dettagli2) Codici univocamente decifrabili e codici a prefisso.
Argomenti della Lezione ) Codici di sorgente 2) Codici univocamente decifrabili e codici a prefisso. 3) Disuguaglianza di Kraft 4) Primo Teorema di Shannon 5) Codifica di Huffman Codifica di sorgente Il
DettagliUnità 30. Sommario. Bibliografia. Auto-informazione di un evento Auto-informazione di un esperimento aleatorio Esempi. [Bel] -- [Ros] 9.
Unità 30 Sommario Auto-informazione di un evento Auto-informazione di un esperimento aleatorio Esempi Bibliografia [Bel] -- [Ros] 9.3 [Pap] -- 1 Auto-informazione di un evento Prima di effettuare un esperimento
DettagliCorso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Processi casuali A.A Alberto Perotti, Roberto Garello
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Processi casuali A.A. 2006-07 Alberto Perotti, Roberto Garello DELEN-DAUIN Processi casuali Sono modelli probabilistici
DettagliConversione analogico-digitale
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Campionamento e quantizzazione A.A. 2004-05 Alberto Perotti DELEN-DAUIN Conversione analogico-digitale L elaborazione
Dettagli10.. Codici correttori d errore. Modulo TLC:TRASMISSIONI Codici correttori d errore
10.. Codici correttori d errore Codici correttori d errore 2 Obiettivi: correggere o rivelare errori nella trasmissione di sequenze numeriche (sequenze di simboli, usualmente binari) Correzione di errore
DettagliCampionamento e quantizzazione
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Campionamento e quantizzazione A.A. 2008-09 Alberto Perotti DELEN-DAUIN Conversione analogico-digitale L elaborazione
Dettagli1 Esercizio - caso particolare di ottimalità
Corso: Gestione ed elaborazione grandi moli di dati Lezione del: 5 giugno 2006 Argomento: Compressione aritmetica e Tecniche di compressione basate su dizionario Scribes: Andrea Baldan, Michele Ruvoletto
Dettagli10 Proprietà di Equipartizione Asintotica
FX Teoria dell Informazione e della Trasmissione 0 Proprietà di Equipartizione Asintotica Docente: Nicolò Cesa-Bianchi versione 6 aprile 206 Come nel caso della codifica sorgente, anche nel caso della
Dettagli1 Entropia: Riepilogo
Corso: Gestione ed elaborazione grandi moli di dati Lezione del: 30 maggio 2006 Argomento: Entropia. Costruzione del modello di una sorgente. Codifica di Huffman. Scribes: Galato Filippo, Pesce Daniele,
DettagliCompressione Dati. Teorema codifica sorgente: Entropia fornisce un limite sia inferiore che superiore al numero di bit per simbolo sorgente.. p.
Compressione Dati Teorema codifica sorgente: Entropia fornisce un limite sia inferiore che superiore al numero di bit per simbolo sorgente.. p.1/21 Compressione Dati Teorema codifica sorgente: Entropia
DettagliLa teoria dell informazione
Intelligenza artificiale, informatica, linguistica, scienze umane e molte altre discipline concorrono a formare il campo che oggi si definisce informatica umanistica Informatica Informazione+automatica
DettagliLa teoria dell informazione
La teoria dell informazione Perché la teoria dell informazione è importante per la linguistica computazionale 2005 Isabella Chiari 1 Informatica Informazione+automatica = informatica Trattamento automatico
DettagliCapitolo 7 Strato Fisico- Codici correttori d errore e capacità di canale
Capitolo 7 Strato Fisico- Codici correttori d errore e capacità di canale 1 Obiettivi: Codici correttori d errore correggere o rivelare errori nella trasmissione di segnali numerici (sequenze di simboli,
DettagliElementi di teoria dell informazione e della trasmissione
VERSIONE 19.4.01 Elementi di teoria dell informazione e della trasmissione Introduzione Efficienza nell uso dei supporti Quantità di informazione ed entropia La caratterizzazione statistica dei canali
Dettagli8 Derivati dell entropia
(F1X) Teoria dell Informazione e della Trasmissione 8 Derivati dell entropia Docente: Nicolò Cesa-Bianchi versione 23 marzo 2016 Siano X e Y due variabili casuali con valori in insiemi finiti X e Y. Detta
DettagliRICHIAMI DI CALCOLO DELLE PROBABILITÀ
UNIVERSITA DEL SALENTO INGEGNERIA CIVILE RICHIAMI DI CALCOLO DELLE PROBABILITÀ ing. Marianovella LEONE INTRODUZIONE Per misurare la sicurezza di una struttura, ovvero la sua affidabilità, esistono due
DettagliCODIFICA DI SORGENTE. Schematizzazione generale sistema di comunicazione
CODIFICA DI SORGENTE Informazione associata a sorgenti digitali, entropia Codifica di sorgenti senza memoria Codifica di sorgenti con memoria CODIFICA DI SORGENTE Schematizzazione generale sistema di comunicazione
DettagliFondamenti dell Informatica
Informatica e Comunicazione Digitale (sede di Taranto) Fondamenti dell Informatica a.a. 2015-2016 Programma 2015-2016 1. Teoria dell Informazione 2. Algoritmi e problema 3. Algebra di Boole 4. La Macchina
DettagliCompressione dell Informazione (Parte I) Marco Gori
ompressione di testo Marco Gori, Università di Siena 1 Compressione dell Informazione (Parte I) Fondamenti e Richiami di Teoria dell Informazione Marco Gori marco@dii.unisi.it ompressione di testo Marco
DettagliINFORMAZIONE E COMPLESSITA
INFORMAZIONE E COMPLESSITA Antonio Restivo Università degli Studi di Palermo Lezioni Lincee di Scienze Informatiche Palermo 26 Febbraio 2015 Concetti fondamentali delle Scienze Informatiche Le Scienze
DettagliTecniche di compressione senza perdita
FONDAMENTI DI INFORMATICA Prof. PIER LUCA MONTESSORO Facoltà di Ingegneria Università degli Studi di Udine Tecniche di compressione senza perdita 2000 Pier Luca Montessoro (si veda la nota di copyright
DettagliQuale polinomio locatore ottiene il decodificatore? Quale parola propone in uscita? Commentare la scelta del decodificatore.
TIT - Esame del 21/1/2016 Una parola di BCH primitivo (15,11) con j 0 =1, è ricevuta con il bit c 4 errato Qual è il potere correttore del codice? Scrivere la Key Equation Determinare il polinomio locatore
DettagliUD 1.2e: La codifica Digitale dei Numeri CODIFICA DIGITALE DEI NUMERI
Modulo 1: Le I.C.T. : La codifica Digitale dei Numeri CODIFICA DIGITALE DEI NUMERI Prof. Alberto Postiglione Corso di Informatica Generale (AA 07-08) Corso di Laurea in Scienze della Comunicazione Università
DettagliModulo 1: Le I.C.T. UD 1.2e: La codifica Digitale dei Numeri
Modulo 1: Le I.C.T. : La codifica Digitale dei Numeri Prof. Alberto Postiglione Corso di Informatica Generale (AA 07-08) Corso di Laurea in Scienze della Comunicazione Università degli Studi di Salerno
DettagliInformatica. Caratterizzazione del canale I simboli emessi dalla sorgente passano attraverso un canale di trasmissione.
Informatica Pietro Storniolo storniolo@csai.unipa.it http://www.pa.icar.cnr.it/storniolo/info267 Entropia e flusso di informazione di una sorgente La sorgente viene caratterizzata dal valor medio di I(x
DettagliCodifica di Huffman e Lempel-Ziv-Welch A L B E R T O B E L U S S I A N N O A C C A D E M I C O /
Codifica di Huffman e Lempel-Ziv-Welch 1 A L B E R T O B E L U S S I A N N O A C C A D E M I C O 2 0 1 0 / 2 0 1 1 Tipi di compressione Senza perdita (lossless): permettono di ricostruire perfettamente
DettagliCodifica di Huffman e Lempel-Ziv-Welch
e Lempel-Ziv-Welch 1 A L B E R T O B E L U S S I A N N O A C C A D E M I C O 2 0 1 0 / 2 0 1 1 Tipi di compressione Senza perdita (lossless): permettono di ricostruire perfettamente la rappresentazione
DettagliInformatica 3. LEZIONE 16: Heap - Codifica di Huffmann. Modulo 1: Heap e code di priorità Modulo 2: Esempio applicativo: codifica di Huffmann
Informatica 3 LEZIONE 16: Heap - Codifica di Huffmann Modulo 1: Heap e code di priorità Modulo 2: Esempio applicativo: codifica di Huffmann Informatica 3 Lezione 16 - Modulo 1 Heap e code di priorità Introduzione
DettagliCodifica delle sequenze sorgente
Codifica delle sequenze sorgente Sorgente emette sequenza di simboli appartenenti ad un alfabeto X che vengono codificati come sequenze di simboli di un alfabeto D-ario.. p.1/?? Codifica delle sequenze
DettagliLezione 4 Ugo Vaccaro
Teoria dell Informazione II Anno Accademico 205 206 Lezione 4 Ugo Vaccaro Il risultato principale che abbiamo scoperto nella lezione scorsa è il seguente: data una sorgente DSSM X, X 2,..., X i,... con
Dettagli01GSZ Tecniche di protezione dell informazione
Politecnico di Torino III Facoltà Ingegneria dell informazione 01GSZ Tecniche di protezione dell informazione CORSO DI LAUREA SPECIALISTICA IN INGEGNERIA DELLE TELECOMUNICAZIONI PRIMO ANNO, IV PERIODO
Dettagli4) Teorema fondamentale della codifica di canale. 6) Definizione di codifica di canale (FEC e ARQ)
Argomenti della Lezione 1) Classificazione dei codici di canale 2) Benefici della codifica di canale 3) Decodifica hard e soft 4) Teorema fondamentale della codifica di canale 5) Classificazione dei codici
DettagliAlgoritmi Greedy. Tecniche Algoritmiche: tecnica greedy (o golosa) Un esempio
Algoritmi Greedy Tecniche Algoritmiche: tecnica greedy (o golosa) Idea: per trovare una soluzione globalmente ottima, scegli ripetutamente soluzioni ottime localmente Un esempio Input: lista di interi
DettagliCODICI CONVOLUZIONALI PUNTURATI
Con un unico decodificatore si possono ottenere vari tassi. Partendo da un unico codice convoluzionale madre di tasso 1/2, si ottiene un insieme di codici convoluzionali di tasso k/n, con k>1. Vantaggi:
DettagliCorso di Laurea in Ingegneria Informatica (Laurea on Line)
Milano 6//07 Corso di Laurea in Ingegneria Informatica (Laurea on Line) Corso di Fondamenti di Segnali e Trasmissione Seconda prova in itinere Carissimi studenti, scopo di questa seconda prova intermedia
DettagliSoluzioni di Esercizi di Esame di Segnali Aleatori per Telecomunicazioni
Corso di Laurea in Ingegneria Informatica corso di Telecomunicazioni (Prof. G. Giunta) (editing a cura dell ing. F. Benedetto) Soluzioni di Esercizi di Esame di Segnali Aleatori per Telecomunicazioni Esame
DettagliLa codifica digitale
La codifica digitale Codifica digitale Il computer e il sistema binario Il computer elabora esclusivamente numeri. Ogni immagine, ogni suono, ogni informazione per essere compresa e rielaborata dal calcolatore
Dettagli15 Informazione e Predizione
(FX) Teoria dell Informazione e della Trasmissione 5 Informazione e Predizione Docente: Nicolò Cesa-Bianchi versione 4 maggio 03 Consideriamo una sorgente X, p. Dallo studio della codifica sorgente, sappiamo
Dettaglicarattere a b c d e f cod. var
Codici prefissi Un codice prefisso è un codice in cui nessuna parola codice è prefisso (parte iniziale) di un altra Ogni codice a lunghezza fissa è ovviamente prefisso. Ma anche il codice a lunghezza variabile
DettagliCapitolo 3 Compressione sorgenti statiche
Capitolo 3 Compressione sorgenti statiche Elementi di codifica di sorgente Entropia Classificazione degli algoritmi Testo RLE Huffman statico Huffman dinamico Codifica aritmetica LZ Immagini Prestazioni
Dettagliassuma valori in un determinato intervallo è data dall integrale della sua densità ( = )=
VARIABILI ALEATORIE CONTINUE Esistono parecchi fenomeni reali per la cui descrizione le variabili aleatorie discrete non sono adatte. Per esempio è necessaria una variabile aleatoria continua ovvero una
DettagliNumeri interi. Laboratorio di Calcolo Paola Gallo
Numeri interi Alfabeto binario anche il segno può essere rappresentato da 0 o 1 è indispensabile indicare il numero k di bit utilizzati Modulo Modulo e segno 1 bit di segno (0 positivo, 1 negativo) k 1
DettagliElaborazione dell informazione. Elaborazione dell informazione. Rappresentazione dei numeri INFORMATICA PER LE DISCIPLINE UMANISTICHE 2 (13042)
Elaborazione dell informazione INFORMATICA PER LE DISCIPLINE UMANISTICHE 2 (13042) Elaborazione di informazione prevede una codifica come: Dato: insieme di simboli rappresentati su un supporto Negli elaboratori:
DettagliCalcolo delle Probabilità e Statistica Matematica Fisciano, 10/1/2012
Fisciano, 10/1/2012 Esercizio 1 Un esperimento consiste nel generare a caso un vettore di interi (x 1, x 2, x 3, x 4 ), dove x i {1, 2, 3, 4, 5, 6} i. (i) Si individui lo spazio campionario, determinandone
DettagliLe variabili casuali o aleatorie
Le variabili casuali o aleatorie Intuitivamente un numero casuale o aleatorio è un numero sul cui valore non siamo certi per carenza di informazioni - ad esempio la durata di un macchinario, il valore
DettagliEsercizi di riepilogo
Esercizi di riepilogo Es1: Scommesse al casinò Tizio e Caio si alternano al tavolo di un casinò. Tizio gioca negli istanti di tempo dispari, mentre Caio in quelli pari Ad ogni istante di tempo, il guadagno
DettagliCODIFICA CANALE. Comunicazione con successo: ricevitore ottiene output sorgente. Rumore. Sorgente Cofificatore Canale. Decodificatore.
CODIFICA CANALE Sorgente Cofificatore Canale Decodificatore Ricevitore Rumore Comunicazione con successo: ricevitore ottiene output sorgente p. 1/39 CODIFICA CANALE Sorgente Cofificatore Canale Decodificatore
DettagliModulo 1: Le I.C.T. UD 1.3c: La Codifica Digitale dei Suoni
Modulo 1: Le I.C.T. : La Codifica Digitale dei Suoni Prof. Alberto Postiglione Corso di Informatica Generale (AA 07-08) Corso di Laurea in Scienze della Comunicazione Università degli Studi di Salerno
DettagliCapitolo 4 Strato Fisico- Modellazione delle Sorgenti d Informazione e Codificazione di Sorgente
Capitolo 4 Strato Fisico- Modellazione delle Sorgenti d Informazione e Codificazione di Sorgente 1 Sorgenti d Informazione- Generalità Per valutare le prestazioni di un Sistema di TLC, è necessario descrivere
Dettagli1) Codici convoluzionali. 2) Circuito codificatore. 3) Diagramma a stati e a traliccio. 4) Distanza libera. 5) Algoritmo di Viterbi
Argomenti della Lezione 1) Codici convoluzionali 2) Circuito codificatore 3) Diagramma a stati e a traliccio 4) Distanza libera 5) Algoritmo di Viterbi 1 Codici convoluzionali I codici convoluzionali sono
DettagliDipartimento di Ingegneria dell Informazione, Elettronica e Telecomunicazioni. Esercitazioni del corso di. Telecomunicazioni
Dipartimento di Ingegneria dell Informazione, Elettronica e Telecomunicazioni Esercitazioni del corso di Telecomunicazioni Corso di laurea in Ingegneria Gestionale Anno Accademico 2013-2014 Ing. Alfonso
DettagliElaborazione statistica di dati
Elaborazione statistica di dati 1 CONCETTI DI BASE DI STATISTICA ELEMENTARE 2 Taratura strumenti di misura IPOTESI: grandezza da misurare identica da misura a misura Per la presenza di errori casuali,
DettagliL algoritmo di decodifica è semplice e computazionalmente meno oneroso rispetto a quello di codifica.
Decodificatore LZW L algoritmo di decodifica è semplice e computazionalmente meno oneroso rispetto a quello di codifica. A differenza di altre tecniche (ad es. Huffman), non è necessario fornire preventivamente
DettagliComunicazioni Elettriche II
Comunicazioni Elettriche II Laurea Magistrale in Ingegneria Elettronica Università di Roma La Sapienza A.A. 2017-2018 Codifica di canale Il codificatore di canale Bits della sorgente Codificatore di canale
DettagliTeoria dell Informazione
Fondamenti di Informatica per la Sicurezza a.a. 2008/09 Teoria dell Informazione Stefano Ferrari UNIVERSITÀ DEGLI STUDI DI MILANO DIPARTIMENTO DI TECNOLOGIE DELL INFORMAZIONE Stefano Ferrari Università
DettagliCodifica dell Informazione per il Calcolo Scientifico
Alfredo Cuzzocrea per il Calcolo Scientifico CODIFICA BINARIA Codifica binaria: usa un alfabeto di 2 simboli Utilizzata nei sistemi informatici Si utilizza una grandezza fisica (luminosità, tensione elettrica,
DettagliCODIFICA CANALE. Comunicazione con successo: ricevitore ottiene output sorgente. Rumore. Sorgente Cofificatore Canale. Decodificatore.
CODIFICA CANALE Sorgente Cofificatore Canale Decodificatore Ricevitore Rumore Comunicazione con successo: ricevitore ottiene output sorgente. p.1/24 CODIFICA CANALE Sorgente Cofificatore Canale Decodificatore
DettagliModulo 1 I numeri. Università degli Studi di Salerno
Modulo 1 I numeri Università degli Studi di Salerno Corso di Laurea in Scienze della Comunicazione Informatica generale Docente: Angela Peduto A.A. 2004/2005 Codifica dei numeri Il sistema di numerazione
DettagliSperimentazioni di Fisica I mod. A Statistica - Lezione 2
Sperimentazioni di Fisica I mod. A Statistica - Lezione 2 A. Garfagnini M. Mazzocco C. Sada Dipartimento di Fisica G. Galilei, Università di Padova AA 2014/2015 Elementi di Statistica Lezione 2: 1. Istogrammi
DettagliARCHITETTURA DEGLI ELABORATORI CLASSE 2 A.A. 2014/15. Docente: Vincenzo Auletta RAPPRESENTAZIONE DELL INFORMAZIONE
ARCHITETTURA DEGLI ELABORATORI CLASSE 2 A.A. 2014/15 Docente: Vincenzo Auletta RAPPRESENTAZIONE DELL INFORMAZIONE COSA È L INFORMAZIONE? 1 L'informazione è la scambio di conoscenza tra due o più persone
DettagliUniversità degli Studi di Cagliari Facoltà di Scienze Corso di Laurea in Matematica
Università degli Studi di Cagliari Facoltà di Scienze Corso di Laurea in Matematica Corso di Elementi di Informatica Lezione 4 21 marzo 2017 Dott. A.A. 2016/2017 pgarau.unica@gmail.com 1 nel campo dell'informatica
DettagliRapida Nota sulla Rappresentazione dei Caratteri
TECNOLOGIA DIGITALE TECNOLOGIA DIGITALE (segue) CPU, memoria centrale e dispositivi sono realizzati con tecnologia elettronica digitale Dati ed operazioni vengono codificati tramite sequenze di bit 8 bit
DettagliInformatica, Informazione e Telecomunicazioni. La codifica dell informazione. Supporto e informazione. Il concetto di informazione
La codifica dell informazione Fondamenti di Informatica A Ingegneria Gestionale Università degli Studi di Brescia Docente: Prof. Alfonso Gerevini Informatica, Informazione e Telecomunicazioni l informatica
DettagliTeoria della probabilità Assiomi e teoremi
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Teoria della probabilità Assiomi e teoremi A.A. 2008-09 Alberto Perotti DELEN-DAUIN Esperimento casuale Esperimento
DettagliInformatica, Informazione e Telecomunicazioni. La codifica dell informazione. Il concetto di informazione. Supporto e informazione
La codifica dell informazione Elementi di Informatica e Programmazione Ingegneria Gestionale Università degli Studi di Brescia Docente: Prof. Ivan Serina Prof. Alfonso Gerevini Informatica, Informazione
DettagliLa Rappresentazione dell Informazione
La Rappresentazione dell Informazione Parte III I codici Codici a.a. 27-28 Un codice è una funzione che associa ad una sequenza di simboli un significato Codice : {entità} {sequenze di simboli} Un codice
DettagliCompressione di Testo
Compressione di Testo Michelangelo Diligenti Dipartimento di Ingegneria dell Informazione Università di Siena Email: diligmic@dii.unisi.it http://www.dii.unisi.it/~diligmic/bdm2011 M. Diligenti 1 Lo standard
DettagliTECNOLOGIA DIGITALE. TECNOLOGIA DIGITALE (segue)
TECNOLOGIA DIGITALE CPU, memoria centrale e dispositivi sono realizzati con tecnologia elettronica digitale Dati ed operazioni vengono codificati a partire da due valori distinti di grandezze elettriche:
DettagliLa Rappresentazione Dell Informazione
La Rappresentazione Dell Informazione Parte III I codici I Codici Un codice è una funzione che associa ad una sequenza di simboli un significato Un codice serve a: Permettere l elaborazione e la memorizzazione
DettagliIngegneria Logistica e della Produzione - Teledidattico. Prova del
Compito A Statistica A Ingegneria Logistica e della Produzione - Teledidattico Prova del 4-04-2006 Cognome e Nome......N 0 di Matricola...... Esercizio 1 Si considerino tre variabili casuali X 1, X 2 e
DettagliCorso di Fondamenti di Telecomunicazioni
Corso di Fondamenti di Telecomunicazioni 1 - INTRODUZIONE Prof. Giovanni Schembra 1 Argomenti della lezione Definizioni: Sorgente di informazione Sistema di comunicazione Segnali trasmissivi determinati
DettagliLABORATORIO DI ARCHITETTURA DEI CALCOLATORI lezione n 5
LABORATORIO DI ARCHITETTURA DEI CALCOLATORI lezione n 5 Prof. Rosario Cerbone rosario.cerbone@libero.it a.a. 2005-2006 Ottimizzazione di circuiti combinatori In questa lezione vengono riassunti i concetti
DettagliStatistica e analisi dei dati Data: 14 Marzo Lezione 7. Figura 1: Spazio campionario relativo al problema della diagnosi
Statistica e analisi dei dati Data: 4 Marzo 06 Lezione 7 Docente: Prof. Giuseppe Boccignone Scriba: Noemi Tentori Teorema o regola di Byes Esempio. Diagnosi medica Figura : Spazio campionario relativo
DettagliScrivere su ogni foglio NOME e COGNOME. Le risposte devono essere giustificate sui fogli protocollo e riportate nel foglio RISPOSTE.
Corso di Laurea Triennale in Matematica Corso di Calcolo delle Probabilità (docenti G. Nappo, F. Spizzichino prova scritta giugno 5 (tempo a disposizione: ore La prova scritta consiste nello svolgimento
Dettagli